JP2010198408A - インターフェース装置およびプログラム - Google Patents

Abstract

【課題】高い操作性を有するインターフェース装置およびプログラムを提供すること。
【解決手段】ＣＰＵ１４は、モニタ６上に表示される複数種類のアイテムの画面上の表示位置を表すアイテム位置情報をワークエリア３１に記憶し、アイテム位置情報に応じたモニタ６上の表示位置にアイテムを表示する。ＣＰＵ１４は、マウス８からポインタの移動方向や移動量を表すポインタ位置情報を受信して、モニタ６上に移動可能なポインタＰ１を表示する。ＣＰＵ１４は、アイテムごとに固有のアイテム断続音周波数３０５または固有のアイテム断続音音量３０７を有するアイテム断続音を、アイテムの各々に対応付けてアイテムテーブル３０１に記憶する。ＣＰＵ１４は、アイテムに対応付けられたアイテム断続音を出力する。複数のアイテムがモニタ６上に表示されている場合には、複数のアイテム断続音が同時期に出力される。
【選択図】図２

Description

本発明は、コンピュータをインターフェース手段として機能させるプログラムおよびインターフェース装置に関する。

近年のコンピュータでは、ＧＵＩ（Graphical User Interface）が多く採用されている。また、視覚障害者のユーザがＧＵＩを使用する際に、ＧＵＩの可用性を向上させるための技術が開示されている。例えば、コンピュータの表示装置に表示されるポインタの位置に応じて、複合可聴信号を生成する。ユーザは、この複合可聴信号を用いて、表示装置に表示されている選択オブジェクトを探し出す。

特開平５−２３３１８８号公報

しかし、視覚障害者を対象とした場合、上記技術にあっても視覚障害者に十分な操作性を提供するものではない。特に上記技術にあっても、複数のアイテムが表示装置に表示され、そのうちから一つのアイテムを選ぶ必要がある際には、複合可聴信号からそれぞれの単音の音を聞き取る技術が要求され、熟練を要する。また、健常者を対象とした場合にあっても、常時画面を見ることが難しい使用形態にあっては、同様の問題が生じる。本明細書では、より高い操作性を有するインターフェース手段を提供することができる技術を提供する。

本発明に係るコンピュータおよびインターフェース装置は、アイテム表示手段と、ポインタ表示手段とを備える。アイテム表示手段は、画面上に表示される複数種類のアイテムの画面上の表示位置を表すアイテム位置情報を、記憶手段に記憶する。アイテムの一例としては、ＯＫボタン、ＣＡＮＣＥＬボタンなどが挙げられる。また、アイテムの表示位置の一例としては、アイテムの画面上における座標が挙げられる。また、アイテム表示手段は、アイテム位置情報に応じた表示位置を有するアイテムを、画面上に表示する。ポインタ表示手段は、ポインティングデバイスから、ポインタの移動方向や移動量を表すポインタ位置情報を受信する。ポインティングデバイスの一例としては、マウスや、ペンタブレットなどが挙げられる。ポインタの一例としては、画面上に表示される矢印などが挙げられる。また、ポインタ表示手段は、ポインタ位置情報に応じて、画面上に移動可能なポインタを表示する。

また、本発明に係るプログラムは、コンピュータを、記憶制御手段と、音出力手段と、して機能させる。また、本発明に係るインターフェース装置は、記憶制御手段と、音出力手段と、を備える。記憶制御手段は、アイテムごとに固有の周波数または固有の音量を有する断続音を、アイテムの各々に対応付けて記憶する。断続音は、無音部を有して途切れ途切れに発生する音である。また、断続音の周波数によって音の高さが決定する。音の高さは、周波数が高くなることに応じて高くなる。また、固有の周波数（音の高さ）を有する断続音をアイテムの各々に対応付けることで、断続音の音の高さを聞き分けることより、アイテム種類を認識可能にすることができる。また、固有の音量を有する断続音をアイテムの各々に対応付けることで、断続音の音の大きさを聞き分けることより、アイテム種類を認識可能にすることができる。なお、固有の周波数および固有の音量の両方を有する断続音を、アイテムの各々に対応付けてもよいことは言うまでもない。また、音出力手段は、アイテムに対応付けられた断続音を出力する。複数のアイテムが画面上に表示されている場合には、複数の断続音が同時期に出力される。

これにより、アイテムごとに固有の周波数（音の高さ）または固有の音量を有する音が、断続音として発生される。そして、複数の断続音が発生している場合においても、断続音は無音部を有するため、断続音同士が重なって発生してしまう事態を少なくすることができる。すると、複数の音が重なって発生することにより、音がうねって聞こえることや、歪んで聞こえることが少なくなるため、複数の断続音の各々の周波数（音の高さ）や音量を、明確に聞き分けることができる。よって、アイテムの判別性を高めることができ、ユーザの利便性を高めることが可能となる。

また、記憶制御手段は、アイテムごとに固有の断続周期を有する断続音を、アイテムの各々に対応付けて記憶する、としてもよい。断続周期を有する断続音とは、周期性を有して途切れ途切れに発生する音である。また、断続周期は、音と音との間隔時間である。これにより、周波数や音量に加えて、断続周期によっても、アイテムの識別が可能となる。よって、アイテム識別の基準が増えるため、アイテムの識別性をさらに高めることが可能となる。

また、コンピュータを、距離算出手段と、第１アイテム選出手段として機能させるとしてもよい。距離算出手段は、アイテム位置情報とポインタ位置情報とに基づいて、アイテムとポインタとの相互距離を算出する、としてもよい。また、第１アイテム選出手段は、アイテムが画面上に複数表示されている場合に、相互距離が小さいアイテムから順に第１所定個数のアイテムを選出する、としてもよい。第１所定個数は、予めユーザなどによって定められるとしてもよい。これにより、例えば、多数のアイテムが画面上に表示されている場合においても、ポインタの近傍の第１所定個数のアイテムについてのみ断続音を発生させることが可能となる。よって、同時に多数の断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。

また、コンピュータを、距離算出手段と、第２アイテム選出手段として機能させるとしてもよい。距離算出手段は、アイテム位置情報とポインタ位置情報とに基づいて、アイテムとポインタとの相互距離を算出する、としてもよい。また、第２アイテム選出手段は、アイテムが画面上に複数表示されている場合に、相互距離が予め定められる所定距離内のアイテムを選出する、としてもよい。所定距離は、予めユーザなどによって定められるとしてもよい。これにより、例えば、多数のアイテムが画面上に表示されている場合においても、ポインタを中心とする所定半径内に存在するアイテムについてのみ断続音を発生させることが可能となる。よって、同時に多数の断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。

また、コンピュータを、ウインドウ表示手段と、ウインドウ選択手段として機能させるとしてもよい。ウインドウ表示手段は、ウインドウの表示位置を表すウインドウ位置情報を、記憶手段に記憶する。ウインドウはアプリケーションにより起動される画面上の領域のことで、その表面に各種アイテムが配置される。アプリケーションの一例としては、ワープロソフト、表計算ソフト、写真加工ソフトなどが挙げられる。また、ウインドウの表示位置情報の一例としては、ウインドウの画面上における座標や、ウインドウのサイズが挙げられる。また、ウインドウ表示手段は、ウインドウ位置情報に応じた表示位置を有するウインドウを、画面上に表示する。ウインドウ選択手段は、ポインティングデバイスからの入力を受け付け、操作対象のウインドウを選択する。ポインティングデバイスからの入力の一例としては、画面上に表示されるウインドウのウインドウ上にポインタを移動させた上で、ポインティングデバイスのボタンをクリックする入力操作が挙げられる。 また、記憶制御手段は、ウインドウごとに固有の周波数または固有の音量を有する連続音を、ウインドウの各々に対応付けて記憶する、としてもよい。連続音は、無音部を有さず、途切れ目の存在しない音である。また、音出力手段は、ウインドウ選択手段によって操作対象として選択されているウインドウに対応付けられた連続音を、断続音と共に出力するとしてもよい。

これにより、アイテムごとに固有の周波数（音の高さ）または固有の音量を有する断続音と、ウインドウごとに固有の周波数（音の高さ）または固有の音量を有する連続音とが、同時期に発生される。そして、断続音と連続音とが同時期が発生している場合においても、断続音は無音部を有するため、当該無音部において連続音を聞き取ることができる。すると、連続音によってウインドウを識別できると同時に、断続音によってアイテムを識別することが可能となる。よって、ウインドウの識別とアイテムの識別とを同時期に行うことができるため、ユーザの利便性をさらに高めることが可能となる。

また、音出力手段は、相互距離が小さくなることに応じて、断続音の断続周期を短くする、としてもよい。これにより、ポインタがアイテムに近づく程、断続音の断続周期が短くなる（音と音との間隔が狭くなる）。よって、ユーザは断続音の断続周期により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。

また、音出力手段は、入力手段から第１指示が入力されることに応じて、アイテムの各々についての断続音の断続周期を所定割合で大きくする、としてもよい。所定割合は、予めユーザなどによって定められるとしてもよい。

これにより、複数の断続音を聞き分ける際に、断続周期が小さくて聞き分けが困難である場合には、第１指示を行うことで断続周期を広げることができる。よって、断続周期によるアイテムの識別性をさらに高めることが可能となる。また、所定割合で断続周期を広げるため、複数の断続音の間における断続周期の大小関係は保たれる。よって、断続周期によるアイテムの識別性を維持することができる。

また、第１アイテム選出手段は、入力手段から第１指示が入力されることに応じて、相互距離が小さいアイテムから順に、第１所定個数よりも少ない第２所定個数のアイテムを選出する、としてもよい。
また、音出力手段は、第２所定個数のアイテムの各々についての断続音の断続周期を、所定割合で大きくする、としてもよい。所定割合は、予めユーザなどによって定められるとしてもよい。

これにより、多数の断続音が同時期に発生しており聞き分けが困難である場合においても、第１指示を行うことで、断続音の発生数を第１所定個数よりも少ない第２所定個数に減らすことができる。よって、識別対象のアイテムをさらに絞り込むことができるため、アイテムの識別性をさらに高めることが可能となる。

また、音出力手段は、相互距離が小さくなることに応じて断続音の音量を大きくする、としてもよい。これにより、ポインタがアイテムに近づく程、断続音の音量が大きくなる。よってユーザは、断続音の音量により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。

また、音出力手段は、入力手段から第２指示が入力されることに応じて、アイテムに対応付けられた断続音と、アイテムの内容を表す識別情報とを関連付けて音声出力する、としてもよい。第２指示の一例としては、第２指示の入力用に割り当てられたキーボード上のキーが押下されることにより行われる指示が挙げられる。また、識別情報の一例としては、アイテムの名称やアイテムの内容説明が挙げられる。また、断続音と識別情報とを関連付けて音声出力する方法としては、例えば、断続音の音声出力直後に識別情報を音声出力する、といった方法が挙げられる。これによりユーザは、第２指示を入力することで、断続音とアイテムの内容との対応を確認することができるため、ユーザの利便性をさらに高めることが可能となる。

入力装置１の構成を示す図である。 ポインタ位置の監視フロー図（その１）である。 ポインタ位置の監視フロー図（その２）である。 アイテムとアイテム断続音との対応の確認フロー図である。 ウインドウとウインドウ連続音との対応の確認フロー図である。 モニタ上のアイテムおよびポインタの表示例である。 ウインドウテーブルおよびアイテムテーブルのテーブル例を示す図である。

図面を参照して実施例を説明する。図１で示すように、入力装置１は、制御部１０、キーボード２、スピーカ４、モニタ６、マウス８を備える。入力装置１の例としては、パーソナルコンピュータ（ＰＣ）などが挙げられる。キーボード２には、スペースキー、リターンキー、ファンクションキー（Ｆ１キーやＦ３キーなど）、数字キー、などが備えられている。スピーカ４は、音声出力プログラム２６によって生成された音声情報を出力する。モニタ６には、後述するアイテムやポインタなどが表示される。マウス８は、入力ボタンを備える。マウス８は、後述するポインタ位置情報や、入力ボタンの押下操作に関する情報を、制御部１０に送信する。

制御部１０は、ＣＰＵ１４、記憶装置２０、ＲＡＭ３０、インタフェイス１３が、バス１２を介して接続される。記憶装置２０は、ハードディスクやＮＶＲＡＭなどの不揮発性の記憶装置である。記憶装置２０には、制御プログラム２１、音声出力プログラム２６、パラメータ記憶領域２７などが格納されている。制御プログラム２１は、電源管理、入出力管理、各プログラムの制御など、入力装置１の全体を制御するプログラムである。音声出力プログラム２６は、アイテム名などを音声情報に変換し、読み上げるプログラムである。音声出力プログラム２６の例としては、ＯＳ（Operating System）に装備されているボイスオーバー機能などの、周知のソフトウエアが挙げられる。パラメータ記憶領域２７は、ＣＰＵ１４が制御プログラム２１に従って処理を実行する際に利用される各種パラメータを記憶するための記憶領域である。パラメータ記憶領域２７には、ウインドウテーブル２０１およびアイテムテーブル３０１が記憶される。

図７（Ａ）に、ウインドウテーブル２０１のテーブル例を示す。ウインドウテーブル２０１は、ウインドウについての各種設定が登録される。ウインドウは、描画ソフト、ワープロソフト、表計算ソフトなどのアプリケーションにより表示される。アプリケーションは一ないし複数のウインドウをモニタ６に表示する機能を有する。ウインドウテーブル２０１には、ウインドウ識別番号２０２、ウインドウ名２０３、ウインドウ連続音周波数２０４、ウインドウ連続音音量２０５が登録される。ウインドウ識別番号２０２は、ウインドウを区別するための数字である。ウインドウ名２０３は、ウインドウの名称である。本実施形態では、例として、ウインドウを表示しているアプリケーションの名称をウインドウ名２０３に用いる場合を説明する。ウインドウ連続音周波数２０４は、ウインドウ連続音の周波数である。ウインドウ連続音は、ウインドウごとに固有の周波数で、ウインドウの各々に対応付けられる音である。また、連続音は、無音部を有さず途切れ目の存在しない音である。ウインドウ連続音周波数２０４が高くなることに応じて、ウインドウ連続音の高さは高くなる。ユーザは、ウインドウ連続音の高さを聞き分けることによって、ウインドウの種類を識別することが可能となる。ウインドウ連続音音量２０５は、ウインドウ連続音の音量である。ユーザは、ウインドウ連続音の音量を聞き分けることによっても、ウインドウの種類を識別することが可能となる。このウインドウテーブル２０１には、新たなウインドウが表示される毎に、そのウインドウが追加され、またウインドウが消されるごとに消去される。この処理はＯＳの一部として組み込まれたサービスによりなされる。

図７（Ｂ）に、ウインドウＷ１に関するアイテムテーブル３０１のテーブル例を示す。アイテムテーブル３０１は、ウインドウごとに作成される。アイテムテーブル３０１には、アイテムについての各種設定が登録される。アイテムとは、モニタ６上で小さな絵や記号で表わされた、ポインタによって選択可能な対象である。アイテムの一例としては、ＯＫボタンなどの各種ボタンや、文字入力に用いられるテキストボックスなどが挙げられる。アイテムテーブル３０１には、アイテム識別番号３０２、アイテム種類３０３、アイテム名３０４、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７が登録される。アイテム識別番号３０２は、アイテムを区別するための数字である。アイテム種類３０３は、ボタンやテキストボックスなど、アイテム種類を表す情報である。アイテム名３０４は、アイテムの名称である。アイテム断続音周波数３０５は、アイテム断続音の周波数の初期値である。アイテム断続音は、アイテムごとに固有の周波数で、アイテムの各々に対応付けられる音である。また、断続音は、無音部を有して途切れ途切れに発生する音である。アイテム断続音周波数３０５が高くなることに応じて、アイテム断続音の高さは高くなる。断続周期３０６は、断続音の音と音との間隔時間の初期値である。アイテム断続音音量３０７は、断続音の音量である。なお、アイテムに割り当てられるアイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７の値は、任意の値でよい。

ユーザは、アイテム断続音のアイテム断続音周波数３０５（音の高さ）、断続周期３０６、アイテム断続音音量３０７、の少なくとも１つについてのアイテム間差を聞き分けることによって、アイテム種類の識別が可能となる。これにより、アイテム種類の識別のために、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７の３つの識別基準を用いることができるため、アイテムの識別性をさらに高めることが可能となる。

ＲＡＭ３０は、揮発性の読み書き可能なメモリであり、選択入力処理における種々の情報を一時的に記憶する領域である。ワークエリア３１は、アイテム位置情報や、ポインタ位置情報などを記憶する記憶領域である。

モニタ６上での、アイテムやポインタなどの表示形態について、図６の表示例を用いて説明する。ＣＰＵ１４は、選択されたアプリケーションの実行を行う。例えば、アプリケーションを表すアイコン上にポインタが位置する状態で、マウス８の入力ボタンをダブルクリックすることにより、当該アプリケーションが実行対象として選択され、プログラムの実行が開始される。アプリケーションは同時に複数実行可能であり、ひとつのアプリケーションは１ないし複数のウインドウをモニタ６上に表示する。さらにＣＰＵはアプリケーションプログラムにしたがって、ウインドウをモニタ６上に表示する。図６の例では、ウインドウ識別番号２０２＝１００１に該当するアプリケーション１が実行され、ウインドウＷ１が表示されている。また、ウインドウ識別番号２０２＝１００２に該当するアプリケーション２が実行され、ウインドウＷ２が表示されている。

また、ＣＰＵ１４は、各種アイテムのモニタ６上の表示位置を表すアイテム位置情報を、ワークエリア３１に記憶する。アイテム位置情報は、アイテムのモニタ６上の座標を含んだ情報である。そして、ＣＰＵ１４は、アイテム位置情報に応じたモニタ６上の表示位置に、アイテムを表示する。図６の例では、ウインドウＷ１内には、アイテム識別番号３０２の１０１ないし１０６のアイテムが表示される。また、ウインドウＷ２内には、アイテム識別番号が１１１および１１２のアイテムが表示される。

また、ＣＰＵ１４は、マウス８から、ポインタの移動方向や移動量を表すポインタ位置情報を受信して、ワークエリア３１に記憶する。また、ＣＰＵ１４は、ポインタ位置情報に応じて、モニタ６上にポインタを移動可能に表示する。図６の例では、矢印形状のポインタＰ１が、モニタ６上に表示される。

また、ＣＰＵ１４は、操作対象として選択されるウインドウ（入力フォーカスを持つウインドウ）を、強調表示する。ウインドウを操作対象として選択する方法の一例としては、ウインドウ上にポインタが位置する時にマウス８の入力ボタンをクリックする方法が挙げられる。図６の例では、アプリケーション１が操作対象として選択され、ウインドウＷ１がアクティブウインドウとされている場合を説明する。アクティブとされたウインドウＷ１は、最前面に配置されることにより、強調表示される。また、アクティブとされたウインドウＷ１の枠（実線）が、非アクティブのウインドウＷ２の枠（点線）よりも濃く表示されることにより、強調表示される。

本実施形態に係る入力装置１の動作を説明する。図２および図３を用いて、本実施形態に係るポインタ位置の監視フローを説明する。Ｓ１において、ＣＰＵ１４は、操作対象として選択されたウインドウが存在するか否かを判断する。存在しないと判断された場合（Ｓ１：ＮＯ）には、Ｓ３へ進み、ＣＰＵ１４は、ウインドウ連続音をＯＦＦする。そしてＳ７へ進み、ＣＰＵ１４は、アイテム断続音をＯＦＦにした状態で、Ｓ１へ戻る。

一方、操作対象として選択されたウインドウが存在すると判断された場合（Ｓ１：ＹＥＳ）には、Ｓ４へ進む。Ｓ４において、ＣＰＵ１４は、操作対象として選択されたウインドウに対応付けられたウインドウ連続音周波数２０４およびウインドウ連続音音量２０５を、ウインドウテーブル２０１から検索する。そして、検索したウインドウ連続音周波数２０４およびウインドウ連続音音量２０５を有するウインドウ連続音を、スピーカ４から出力した状態とする。図６の例では、ウインドウＷ１に対応するウインドウ連続音周波数２０４＝１．０（ＫＨｚ）、ウインドウ連続音音量２０５＝レベル８で、スピーカ４からウインドウ連続音が出力される。

Ｓ５に進むと、ＣＰＵ１４は、操作対象として選択されたアクティブなウインドウ上に、ポインタが存在するか否かを判断する。ポインタが存在しない場合（Ｓ５：ＮＯ）にはＳ７へ進み、アイテム断続音がＯＦＦ状態にされる。一方、ポインタが存在する場合（Ｓ５：ＹＥＳ）にはＳ９へ進む。

Ｓ９において、ＣＰＵ１４は、ポインタ移動速度の算出を行う。ポインタ移動速度は、マウス８から入力されるポインタの単位時間当たりの移動量を算出することで行われる。

Ｓ１１において、ＣＰＵ１４は、算出したポインタ移動速度が所定速度値以上か否かを判断する。所定速度値は、予めユーザなどによって定められるとしてもよい。ポインタ移動速度が所定速度値以上である場合（Ｓ１１：ＹＥＳ）には、ポインタが高速移動している場合に該当し、ユーザがアイテムを探索していない場合であると判断される。よってＳ１へ戻り、以後のアイテム断続音を出力する処理がキャンセルされる。これにより、アイテムを探索していない際にはアイテム断続音の出力を停止することで、入力装置１の利便性を高めることができる。一方、ポインタ移動速度が所定速度値より小さい場合（Ｓ１１：ＮＯ）には、ポインタが低速移動している場合であるとして、Ｓ１３へ進む。

Ｓ１３に進むと、ＣＰＵ１４は、Ｆ１キーが２回続けて押下されたか否かを判断する。２回続けて押下された場合（Ｓ１３：ＹＥＳ）には、ＣＰＵ１４は、操作対象ウインドウ内のホームポジションへポインタを移動させる旨の命令が入力されたと判断する。よってＳ１５に進み、ＣＰＵ１４は、操作対象ウインドウの中央にポインタを移動させる。これによりユーザは、Ｆ１キーの操作によりポインタをホームポジションへ移動させることができるため、ポインタの操作性を高めることができる。この処理は、視覚障害者が現在のポインタの位置が分からなくなった場合に、ウインドウ内の所定位置にポインタを移動させるためになされる。ホームポジションの位置は、ウインドウ左上、あるいは特定のアイテム（たとえば「ＯＫ」ボタン）の上などでもよい。

一方、Ｆ１キーが２回続けて押下されていないと判断された場合（Ｓ１３：ＮＯ）には、Ｓ１７へ進む。Ｓ１７において、ＣＰＵ１４は、Ｆ５キーが押下中であるか否かを判断する。Ｆ５キーは、後述するように、断続音を発生させるアイテムを絞り込むための命令を入力するキーである。Ｆ５キーが押下中ではないと判断される場合（Ｓ１７：ＮＯ）には、Ｓ２１（図３）へ進み、広範囲から所望のアイテムを探索する処理が行われる。

Ｓ２１において、ＣＰＵ１４は、ポインタが存在するウインドウのアイテムテーブル３０１が設定済みであるか否かを判断する。設定済みであると判断される場合（Ｓ２１：ＹＥＳ）にはＳ２５へ進む。一方、設定済みではないと判断される場合（Ｓ２１：ＮＯ）にはＳ２３へ進む。Ｓ２３において、ＣＰＵ１４は、ポインタが存在するウインドウのアイテムテーブル３０１の設定を行う。設定内容の一例としては、アイテムの追加および削除や、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７の値の変更などが挙げられる。ここでは、上記設定値は他のアイテムと重ならずかつ識別可能なユニークな値が自動的に設定されるものとする。ただし、ユーザインターフェースを用いてユーザの所望の値に設定するように構成してもよい。設定が終了すると、Ｓ２５へ進む。

Ｓ２５において、ＣＰＵ１４は、ポインタが存在するウインドウ内に表示されている各アイテムと、ポインタとの相互距離の計算を行う。具体的には、ＣＰＵ１４は、アイテム位置情報に含まれるアイテムの座標と、ポインタ位置情報を用いて算出されたポインタの座標とに基づいて、アイテムとポインタとの相互距離を算出する。図６の例では、ポインタＰ１が存在するウインドウＷ１内に表示されている、アイテム識別番号が１０１ないし１０６のアイテムと、ポインタＰ１との相互距離が計算される（矢印Ｙ１ないしＹ６）。なお、ポインタＰ１が存在しないウインドウＷ２内に表示されている、アイテム識別番号が１１１および１１２のアイテムと、ポインタＰ１との相互距離については、計算は行われない。

Ｓ２７に進むと、ＣＰＵ１４は、ポインタ近傍に存在する４つのアイテムを選出する。具体的には、ＣＰＵ１４は、アイテムがウインドウ内に複数表示されている場合には、相互距離が小さいアイテムから順に４個のアイテムを選出する。なお、選出されるアイテム数は、予めユーザなどによって定められるとしてもよい。図６の例では、相互距離が小さいアイテムから順に、アイテム識別番号３０２＝１０１、１０２、１０３、１０４の４つのアイテムが選出される（矢印Ｙ１ないしＹ４）。

これにより、例えば、多数のアイテムがウインドウＷ１内に表示されている場合においても、ポインタＰ１の近傍の４個のアイテムについてのみアイテム断続音を発生させることが可能となる。よって、同時に多数のアイテム断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。

Ｓ２９において、ＣＰＵ１４は、相互距離から断続周期３０６の変更量を決定する。具体的には、相互距離が小さくなることに応じて、断続周期３０６の値を小さくするように変更する。これにより、ポインタがアイテムに近づく程、アイテム断続音の断続周期が短くなる（音と音との間隔が狭くなる）。よって、ユーザは断続周期３０６の変化により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。また距離がゼロの場合、すなわちその状態でクリックあるいはダブルクリックすることにより、そのアイテムに関連する機能が起動する状態にあっては、同一周波数の連続音とし、さらにその音量を大きくするとしてもよい。これにより、ウインドウ上のアイテム位置を把握しているユーザにあっては、マウス８を動かしてアイテム断続音の周期変動を聞き分けることにより、どのアイテム断続音がどのアイテムに対応しているかを容易に判断することができる。本実施例では、後述するように、アイテム断続音とアイテムとの対応一覧をユーザに知らしめる仕組みを提供することも可能であるが、その仕組みを使うことなく迅速にアイテム選択を可能とすることができる。

Ｓ３１において、ＣＰＵ１４は、近傍４アイテムに対応付けられたアイテム断続音をＯＮにする。図６の例では、アイテム識別番号３０２が１０１から１０４の４つのアイテムについてのアイテム断続音が、同時期に出力される。ユーザは、この断続音のアイテム断続音の高さの違い、音量の違い、周期変化などを聞き分けることにより、マウスを動かすべき方向を判断できる。また、距離がゼロの場合にあっては連続音として聞こえるので、ユーザは、ポインタが所定のアイテム上に位置していることを認識することができる。

Ｓ３３において、ＣＰＵ１４は、ポインタ位置の監視フローを終了するか否かを判断する。終了すると判断された場合（Ｓ３３：ＹＥＳ）にはフローが終了され、終了しないと判断された場合（Ｓ３３：ＮＯ）にはＳ１（図２）へ戻る。

また、Ｓ１７（図２）において、Ｆ５キーが押下中であると判断される場合（Ｓ１７：ＹＥＳ）には、Ｓ４１へ進み、絞り込んだ範囲から所望のアイテムを探索する処理が行われる。Ｓ４１（図３）において、ＣＰＵ１４は、ポインタが存在するウインドウ内に表示されている各アイテムと、ポインタとの相互距離の計算を行う。Ｓ４３に進むと、ＣＰＵ１４は、ポインタ近傍に存在する２つのアイテムを選出する。Ｓ４３で選択されるアイテム数（２個）が、Ｓ２７で選択されるアイテム数（４個）よりも少なくされることで、探索対象のアイテム数を絞り込むことができる。

Ｓ４５において、ＣＰＵ１４は、ポインタの近傍２アイテムについてのアイテム断続音の断続周期３０６を、所定割合で大きくする。なお、所定割合は、予めユーザなどによって定められるとしてもよい。

Ｓ４７において、ＣＰＵ１４は、近傍２アイテムに対応付けられたアイテム断続音をＯＮにする。図６の例では、アイテム識別番号３０２が１０１および１０２の２つのアイテムについてのアイテム断続音が、同時期に出力される。

これにより、４つのアイテム断続音が同時期に発生しており聞き分けが困難である場合においても、Ｆ５キーを押下することで、アイテム断続音の発生数を２つに減らすことができる。よって、探索対象のアイテムをさらに絞り込むことができるため、アイテムの識別性をさらに高めることが可能となる。また、４つのアイテム断続音を聞き分ける際に、断続周期３０６が小さくて聞き分けが困難である場合においても、Ｆ５キーを押下することで、断続周期３０６を広げることができる。よって、断続周期３０６によるアイテムの識別性をさらに高めることが可能となる。また、所定割合で断続周期を広げるため、２つのアイテム断続音の間における断続周期３０６の大小関係は保たれる。よって、断続周期３０６によるアイテムの識別性を維持することができる。さらにアイテムが密集するために各断続音周期が近い値になってしまい、識別が困難な場合にあっても、この処理により断続周期３０６が広がるため、識別が容易になる。

次に、アイテムとアイテム断続音との対応の確認フローについて、図４を用いて説明する。図４に示す確認フローは、アイテム断続音を確認したい場合などの必要に応じて、ユーザによりＦ３キーが押下されることにより開始されるフローである。Ｆ３キーの押下に応じて、Ｓ５１へ進む。Ｓ５１において、ＣＰＵ１４は、アイテム選択を行う。アイテム選択は、例えば、ポインタが存在するウインドウ内に表示されている各アイテムのうち、ポインタとの相互距離が小さいアイテムから順に選択されるとしてもよい。

Ｓ５３において、ＣＰＵ１４は、Ｓ５１で選択されたアイテムのアイテム名を音声出力する。具体的には、ＣＰＵ１４は、音声出力プログラム２６を実行することにより、アイテムテーブル３０１に登録されたアイテム名３０４を音声読み上げする処理を行う。なお、Ｓ５３で音声出力される情報は、アイテムの識別を可能とする情報であればよいため、アイテム名３０４に限らず、アイテム種類３０３などであってもよい。

Ｓ５５に進むと、ＣＰＵ１４は、Ｓ５１で選択されたアイテムに対応付けられたアイテム断続音周波数３０５、その時点での断続周期３０６、アイテム断続音音量３０７を、アイテムテーブル３０１から検索する。そして、検索したアイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７を有するアイテム断続音を、３回鳴らす処理を行う。このとき、アイテム名３０４の音声出力直後にアイテム断続音が出力されることで、ユーザは、アイテム内容とアイテム断続音とを関連付けて聞き取ることができる。なお、アイテム断続音の鳴動回数は３回に限られないことは言うまでもない。

Ｓ５７に進むと、ＣＰＵ１４は、対象となる（ポインタが位置するウインドウの）全てのアイテムについて、アイテム断続音の確認操作が終了したか否かを判断する。終了していないと判断された場合（Ｓ５７：ＮＯ）にはＳ５１へ戻り、終了したと判断された場合（Ｓ５７：ＹＥＳ）にはフローを終了する。

これにより、ユーザは、Ｆ３キーを押下することで、アイテム断続音とアイテムの内容との対応を確認することができるため、ユーザの利便性をさらに高めることが可能となる。

次に、ウインドウとウインドウ連続音との対応の確認フローについて、図５を用いて説明する。図５に示す確認フローは、ウインドウ連続音を確認したい場合などの必要に応じて、ユーザによりＦ１キーが押下されることにより開始されるフローである。Ｆ１キーの押下に応じて、Ｓ６１へ進む。Ｓ６１において、ＣＰＵ１４は、ウインドウ選択を行う。ウインドウ選択は、現時点で操作対象とされているウインドウが最初に選択されるとしてもよい。そして、操作対象のウインドウが選択された後は、他のウインドウが所定の順番で選択されるとしてもよい。

Ｓ６３において、ＣＰＵ１４は、Ｓ６１で選択されたウインドウのウインドウ名および作成したアプリケーション名を音声出力する。具体的には、ＣＰＵ１４は、音声出力プログラム２６を実行することにより、ウインドウテーブル２０１に登録されたウインドウ名２０３を音声読み上げする処理を行う。

Ｓ６５に進むと、ＣＰＵ１４は、Ｓ６１で選択されたウインドウに対応付けられたウインドウ連続音周波数２０４およびウインドウ連続音音量２０５を、ウインドウテーブル２０１から検索する。そして、検索したウインドウ連続音周波数２０４およびウインドウ連続音音量２０５を有するウインドウ連続音を、１秒間鳴らす処理を行う。なお、ウインドウ連続音の鳴動時間は、１秒に限られないことは言うまでもない。

Ｓ６７に進むと、ＣＰＵ１４は、全てのウインドウについて、ウインドウ連続音の確認操作が終了したか否かを判断する。終了していないと判断された場合（Ｓ６７：ＮＯ）にはＳ６１へ戻り、終了したと判断された場合（Ｓ６７：ＹＥＳ）にはフローを終了する。

これにより、ユーザは、Ｆ１キーを押下することで、ウインドウ連続音とウインドウの内容との対応を確認することができるため、ユーザの利便性をさらに高めることが可能となる。

つまりユーザは、まず、Ｆ１キーを押下することによりウインドウとウインドウ連続音の音階の対応を聞き、所望のウインドウに対応するウインドウ連続音を知る。次に、ウインドウ連続音が所望のアプリケーションに対応するものか否かを判断し、違う場合には、ＯＳの提供するウインドウ切り替え機能を用いて、アプリケーションおよびウインドウを切り替える。次に、ユーザは、Ｆ３キーを押下することにより、そのウインドウの各アイテムとアイテム断続音の対応を聞いて記憶する。その後、ユーザは、マウス８を適当に動かすことにより、ポインタをモニタ６で彷徨わせることで、所望のアイテムの方向と距離の概略を知ることができる。その後、ユーザは、所望のアイテムに対応するアイテム断続音の断続周期が短くなる方向にマウス８を動かし、断続音が連続音に遷移した位置でクリックすることにより、所望のアイテムの機能を使用することができる。

本実施形態に係る発明の効果を以下に説明する。本実施形態の入力装置１では、アイテムごとに固有のアイテム断続音周波数３０５（音の高さ）、固有の断続周期３０６、固有のアイテム断続音音量３０７を有する断続音が、アイテム断続音として発生される。よって、ユーザは、アイテム断続音の高さ、断続周期、音量の少なくとも１つを聞き分けることで、アイテムの種類を識別することが可能となる。そして、複数のアイテム断続音が発生している場合においても、アイテム断続音は無音部を有するため、アイテム断続音同士が重なって発生してしまう事態を少なくすることができる。すると、複数の音が重なって発生することにより、音がうねって聞こえることや、歪んで聞こえることが少なくなるため、明確に複数のアイテム断続音の各々を聞き分けることができる。よって、アイテムの判別性を高めることができ、ユーザの利便性を高めることが可能となる。

また、アイテムごとに固有のアイテム断続音周波数３０５（音の高さ）およびアイテム断続音音量３０７を有するアイテム断続音と、ウインドウごとに固有のウインドウ連続音周波数２０４（音の高さ）およびウインドウ連続音音量２０５を有するウインドウ連続音とが、同時期に発生される。そして、アイテム断続音とウインドウ連続音とが同時期が発生している場合においても、アイテム断続音は無音部を有するため、当該無音部においてウインドウ連続音を聞き取ることができる。すると、ウインドウ連続音によってウインドウを識別できると同時に、アイテム断続音によってアイテムを識別することが可能となる。よって、ウインドウの識別とアイテムの識別とを同時期に行うことができるため、ユーザの利便性をさらに高めることが可能となる。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施例の変形例を以下に列挙する。

本実施形態では、アイテム種類の識別のために、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７の３つの識別基準を用いる場合を説明したが、この形態に限られない。３つの識別基準のうちの何れか２つを組み合わせて用いる場合や、何れか１つのみを用いる場合にも、アイテム種類の識別が可能であることは言うまでもない。例えば、アイテムごとに固有のアイテム断続音周波数３０５およびアイテム断続音音量３０７を割り当てると共に、各アイテムに共通の断続周期３０６を用いる形態としてもよい。このとき、アイテム断続音が互いに重ならないように、アイテム断続音の発音タイミングをアイテム断続音の間で異ならせるとしてもよい。

また、本実施形態では、ポインタ近傍のアイテムを選出する際に、ポインタとの相互距離が小さいアイテムから順に選出するとしたが、この形態に限られない。ポインタとの相互距離が、予め定められる所定距離内のアイテムを選出する形態としてもよい。なお、所定距離は、予めユーザなどによって定められるとしてもよい。また「ＯＫ」ボタンなど、使用する可能性が高いアイテムは常に選択されるようにしてもよい。

これにより、例えば、多数のアイテムがウインドウ内に表示されている場合においても、ポインタを中心とする所定半径内に存在するアイテムについてのみ、アイテム断続音を発生させることが可能となる。よって、同時に多数のアイテム断続音が発生するためにアイテムの識別性が低下する、という事態を防止することができる。

また、本実施形態では、ポインタとの相互距離が小さくなることに応じて、アイテム断続音の音量を大きくする形態を採用してもよい。これにより、ポインタがアイテムに近づく程、アイテム断続音の音量が大きくなる。よってユーザは、アイテム断続音の音量により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。

また、ポインタとの相互距離に応じてアイテム断続音のデューティ比を変えるようにしてもよい。デューティ比とは、断続音の有音期間と無音期間との比率である。これにより、ユーザは、アイテム断続音のデューティ比により、ポインタとアイテムとの相互距離についても認識することができるため、ユーザの利便性をさらに高めることが可能となる。

また、本実施形態では、アイテム断続音周波数３０５、断続周期３０６、アイテム断続音音量３０７とアイテム種類との対応は任意でよいとしたが、この形態に限られず、対応を固定としてもよい。例えば、よく使われるアイテム名が「ＯＫ」のアイテムには、アイテム断続音周波数３０５＝２．１（ＫＨｚ）、断続周期３０６＝０．７（ｓ）、アイテム断続音音量３０７＝レベル７、を固定して割り当てるとしてもよい。これにより、よく使われるアイテムについては、固定されたアイテム断続音周波数３０５などを聞き取ることでアイテム種類を認識できるため、ユーザの利便性を高めることができる。

また、本実施形態では、ポインタがウインドウ枠を超えてウインドウ内に移動してきた場合に、当該ウインドウに関連するウインドウ名２０３を音声読み上げする処理を行う形態を採用してもよい。これにより、ユーザは、ポインタが現在位置するウインドウの種類を、ウインドウ名２０３によって認識することができるため、ユーザの利便性をさらに高めることが可能となる。

また、本実施形態では、各種の指示を入力する際にＦ１キー、Ｆ３キー、Ｆ５キーを用いる場合を説明したが、これらのキーに限られない。キーボード２上の何れのキーを各種の指示の入力用に割り当てるかは任意であり、ユーザにより適宜設定できることは言うまでもない。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

なお、ワークエリア３１は記憶手段の一例、マウス８はポインティングデバイスの一例、Ｆ５キー押下は第１指示の一例、Ｆ３キー押下は第２指示の一例、である。

また、Ｓ３１、Ｓ４、Ｓ４５、Ｓ５３、Ｓ５５を実行する制御部は音出力手段の一例である。Ｓ２５を実行する制御部は距離算出手段の一例である。Ｓ２７、Ｓ４３を実行する制御部は第１アイテム選出手段の一例である。Ｓ１を実行する制御部はウインドウ選択手段の一例である。

１ 入力装置
６ モニタ
８ マウス
１４ ＣＰＵ
３１ ワークエリア
Ｐ１ ポインタ
Ｗ１、Ｗ２ ウインドウ
２０１ ウインドウテーブル
２０４ ウインドウ連続音周波数
２０５ ウインドウ連続音音量
３０１ アイテムテーブル
３０５ アイテム断続音周波数
３０６ 断続周期
３０７ アイテム断続音音量

Claims (11)

1. 画面上に表示される複数種類のアイテムの前記画面上の表示位置を表すアイテム位置情報を記憶手段に記憶し、前記アイテム位置情報に応じた前記画面上の前記表示位置に前記アイテムを表示するアイテム表示手段と、
   ポインティングデバイスからポインタの移動方向や移動量を表すポインタ位置情報を受信して前記画面上に移動可能な前記ポインタを表示するポインタ表示手段と、
   を備えるコンピュータを、
   前記アイテムごとに固有の周波数または固有の音量を有する断続音を前記アイテムの各々に対応付けて記憶する記憶制御手段と、
   前記アイテムに対応付けられた前記断続音を出力する音出力手段と、
   して機能させるためのプログラム。
2. 前記記憶制御手段は、
   前記アイテムごとに固有の断続周期を有する前記断続音を前記アイテムの各々に対応付けて記憶する
   ことを特徴とする請求項１に記載のプログラム。
3. 前記アイテム位置情報と前記ポインタ位置情報とに基づいて、前記アイテムと前記ポインタとの相互距離を算出する距離算出手段と、
   前記アイテムが前記画面上に複数表示されている場合に、前記相互距離が小さい前記アイテムから順に第１所定個数の前記アイテムを選出する第１アイテム選出手段と
   して前記コンピュータを機能させることを特徴とする請求項１または請求項２に記載のプログラム。
4. 前記アイテム位置情報と前記ポインタ位置情報とに基づいて、前記アイテムと前記ポインタとの相互距離を算出する距離算出手段と、
   前記アイテムが前記画面上に複数表示されている場合に、前記相互距離が予め定められる所定距離内の前記アイテムを選出する第２アイテム選出手段と
   して前記コンピュータを機能させることを特徴とする請求項１または請求項２に記載のプログラム。
5. 前記画面上に表示される複数種類のウインドウの前記画面上の表示位置を表すウインドウ位置情報を記憶手段に記憶し、前記ウインドウ位置情報に応じた前記画面上の前記表示位置に前記ウインドウを表示するウインドウ表示手段と、
   前記ポインティングデバイスからの入力を受け付け、操作対象の前記ウインドウを選択するウインドウ選択手段と、
   して前記コンピュータを機能させ、
   前記記憶制御手段は、前記ウインドウごとに固有の周波数または固有の音量を有する連続音を前記ウインドウの各々に対応付けて記憶し、
   前記音出力手段は、前記ウインドウ選択手段によって操作対象として選択されている前記ウインドウに対応付けられた前記連続音を前記断続音と共に出力する
   ことを特徴とする請求項１ないし請求項４の何れかに記載のプログラム。
6. 前記音出力手段は、
   前記相互距離が小さくなることに応じて前記断続音の前記断続周期を短くする
   ことを特徴とする請求項３ないし請求項５の何れかに記載のプログラム。
7. 前記音出力手段は、
   入力手段から第１指示が入力されることに応じて、前記アイテムの各々についての前記断続音の前記断続周期を所定割合で大きくする
   ことを特徴とする請求項３に記載のプログラム。
8. 前記第１アイテム選出手段は、入力手段から前記第１指示が入力されることに応じて、前記相互距離が小さい前記アイテムから順に、前記第１所定個数よりも少ない第２所定個数の前記アイテムを選出し、
   前記音出力手段は、前記第２所定個数の前記アイテムの各々についての前記断続音の前記断続周期を所定割合で大きくする
   ことを特徴とする請求項７に記載のプログラム。
9. 前記音出力手段は、
   前記相互距離が小さくなることに応じて前記断続音の音量を大きくする
   ことを特徴とする請求項３ないし請求項８の何れかに記載のプログラム。
10. 前記音出力手段は、
    入力手段から第２指示が入力されることに応じて、前記アイテムに対応付けられた前記断続音と、前記アイテムの内容を表す識別情報とを関連付けて音声出力する
    ことを特徴とする請求項１ないし請求項９の何れかに記載のプログラム。
11. 画面上に表示される複数種類のアイテムの前記画面上の表示位置を表すアイテム位置情報を記憶手段に記憶し、前記アイテム位置情報に応じた前記画面上の前記表示位置に前記アイテムを表示するアイテム表示手段と、
    ポインティングデバイスからポインタの移動方向や移動量を表すポインタ位置情報を受信して前記画面上に移動可能な前記ポインタを表示するポインタ表示手段と、
    前記アイテムごとに固有の周波数または固有の音量を有する断続音を前記アイテムの各々に対応付けて記憶する記憶制御手段と、
    前記アイテムに対応付けられた前記断続音を出力する音出力手段と、
    を備えることを特徴とするインターフェース装置。

Images