JP4185019B2

JP4185019B2 - 音声出力付き表示装置

Info

Publication number: JP4185019B2
Application number: JP2004144186A
Authority: JP
Inventors: 朗子中島; 浩平桃崎
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-05-13
Filing date: 2004-05-13
Publication date: 2008-11-19
Anticipated expiration: 2024-05-13
Also published as: JP2005327054A

Description

本発明は、端末操作を行う際にポインターの絶対位置を音で示す音声出力付き表示装置に関するものである。

パソコンなどの端末操作をする際に、操作内容などを表示する画面において、従来はポインター（カーソル）の位置を視覚によって確認している。

そのため、作業を中断した後に再び作業に戻る場合、ポインター位置を瞬時に見つけにくい。また、手許の資料を見ながら表示画面を見ないで操作を行う場合、ポインター位置を確認することができない。視力の低下した高齢者や弱視者にとっては、例えポインターを大きく表示したとしても視力だけに頼ることには限界がある。全盲者にとっては、視力だけに頼ったインターフェースを使うことができないという問題点がある。

このような問題点を解決するために、音声を利用した技術が既にいくつか提案されている。

特許文献１の発明では、ポインター位置の座標を数字で読み上げることを提案している。しかし、数字からは表示画面のポインター位置を直感的に認識しにくい。また、特許文献１では、ポインター位置から目標とするアイコンへの方向を音階で出力することも提案している。しかし、目標を決めずにポインターを移動させたい場合は使うことができない。また、方向を一定の音で表現しても直感的にわかりにくいという問題点がある。

特許文献２の発明では、表示装置の周りに２つ以上のスピーカーを配し、ポインターの移動方向に応じたスピーカーから音を出力することを提案している。これは音源位置をスピーカー位置と一致させた物理的な音像制御に相当するが、スピーカーの配置間隔が小さい場合などは、スピーカー配置位置の違いによる音の違いは小さく、聞き分けにくいという問題点がある。

特許文献３の発明では、カメラで撮影したユーザーの顔画像から、顔がどちらを向いているかを認識する顔向き推定技術を用いて、ユーザーの顔向きに応じてポインターを移動させることが提案されている。しかし、正確に顔の向きだけでポインターの位置を指定することが困難であるというという問題点がある。
特開平９−２５８９４６号公報特開平７−８４７２４号公報特開２００３−１４１５５２号公報

そこで、本発明は、視覚以外の感覚系も用いて、ポインターやアイコンなどの現在位置や移動方向を直感的に認識できる音付き表示装置を提供する。

本発明は、音声出力手段を有した表示装置において、前記表示装置における表示画面上の所定の位置を示すための２軸の直交座標系の座標値に対して、前記直交座標系の一方向の軸にはオクターブ毎に順番に音が上がるように音を割り当て、他方向の軸には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て手段と、音を出力したい座標の位置である指定座標値を指定する座標指定手段と、前記指定された一つの指定座標値に対応して、前記オクターブ上の前記音階によって表現された一つの音を取得する音声取得手段と、前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成手段と、を有し、前記音声出力手段は、前記生成した仮想の音像に従って、前記取得した音を出力することを特徴とする音声出力付き表示装置である。

本発明であると表示画面中の絶対位置に対して音階、オクターブを割り振り、割り振られた音を出力することによって、指定座標値（例えば、ポインター）の位置を直感的に認識できる。ポインターの位置や動きを、視覚効果だけではなく、音声で表すことにより、視力低下者、弱視や全盲者にも端末作業を行うことができるようになる。また、十分な視力を持っている場合でも、作業中断後などに、視覚だけに頼るよりもポインターを探しやすくなる。表示画面を見ないで作業を行うことも可能となる。

また、あたかも音源がポインターと同じように動いているかのように、音像を変化させることにより、ポインターの移動方向をより強調することができる。また、左端に設定した「ド」と右端に設定した「シ」などのように、割付座標は離れていても、音階が近いために左右を判断しにく場合、音像の違いにより左右を認識しやすくなる。

以下では、本発明の一実施形態の音声付き表示装置について図１から図６に基づいて説明する。

本実施形態の音声付き表示装置をパソコンに搭載した場合を例に説明する。

（１）音声付き表示装置の構成
図２に基づいて音声付き表示装置の構成を説明する。図２は、音声付き表示装置のブロック図を示す。

この音声付き表示装置は、液晶表示装置であり、また、音階割り付け部１、座標指定部２、音階取得部３、音源位置設定部４、音声出力部５を有し、各部１，２，３，４の各機能はパソコンに記憶されたプログラムによって実行される。

音階割り付け部１において、音階、オクターブを表示画面の直交座標系に割り付ける。割り付け方は様々な方法が考えられる。

その一例として、５オクターブ分の琉球音階を用いる場合を図３に示す。表示画面の左から右へはドミファソラシ、下から上へは１オクターブずつ上がるように設定する。音を出力したい表示画面上の座標値を（ｘ，ｙ）で、表示画面の横幅をW、縦幅をＨで表せば、表示画面のｘ座標が０以上W／６未満の領域にはドを割り付け、W／６以上２＊W／６未満の領域にはミを割り付ける。縦方向を例えば５オクターブで表すとすれば、０以上Ｈ／５未満の領域は、Ｈ／５以上２＊Ｈ／５未満の領域に対して１オクターブ高い音を設定する。

座標指定部２において、音を出力してほしい座標値（以下、指定座標値という）を指定する。座標の指定方法の詳細については後述する。

音階取得部３において、前記の音階割付に従って指定された指定座標値に対応する音階を決定する。また同時に、この表示画面上の指定座標値にポインターを表示してもよい。

表示装置の左右に搭載されたステレオ式のスピーカーである音声出力部６から音階取得部３において決定された音階、オクターブを出力する。なお、この音声出力部６はパソコンに搭載されたもの、または、表示装置と別体でもよい。

音源位置設定部４において、音源位置、音源速度、音源方向などを指定し、表示画面に対応した位置に音源が存在するかのように仮想の音像を生成することもできる。これについては、後述する。

本実施形態の音声付き表示装置では、図１に示すように、ポインターの位置を音階、オクターブで表現し、仮想的に音源が移動するかのような音像生成により、ユーザーは、ディスプレイを見なくてもポインターの絶対位置と動きを認識できる。

（２）音源位置設定部４の構成
次に、音源位置設定部４の構成について説明する。

音源方向は例えば、表示画面からユーザーに向かい、表示画面に対して垂直方向に設定する。音源位置を指定するために、まず表示画面に対応した音源座標系のＸ−Ｙ平面を設定する。図４に音源座標系の例を示す。表示画面の直交座標系（ｘ，ｙ）と音源座標系のＸ−Ｙ平面をそのまま一致させてもよい。音源位置の違いを認識しやすくなるよう、Ｘ−Ｙ座標のスケールを変えたり、表示画面より奥に音源座標系を設定することもできる。例えば図４のように、音源座標系のＸ−Ｙ平面が表示画面から距離Ｚ’だけ奥になるように、音源座標系を設定した場合、スケールaと表示画面上の指定座標（ｘ、ｙ）を用いて、音源座標（Ｘ，Ｙ，Ｚ）を（Ｘ,Ｙ,Ｚ）＝（ａｘ，ａｙ，０）と表せば、表示画面の位置関係をそのまま音源座標系に反映させることができる。

ここで、スケールａと奥行きＺ’はユーザーが自由に設定できるようにしておけば、ユーザーの音源位置認識能力に合わせて音像生成をカスタマイズできる。

音源の速度は常に０に設定しておいてもよいし、カーソルの移動に伴って音源も移動するかのように設定することもできる。後者の場合、音源の速度ベクトルは音源座標系系の時間微分によって得られる。このように設定された音階、音源座標、音源速度、音源方向などに従って生成される音像を音声出力部６から出力すれば、ユーザーには表示画面の直交座標系に対応した位置で音階が鳴っているかのように聞こえ、出力された音声からカーソル位置などを知ることができる。

（３）ユーザーの位置情報を考慮した音像の生成方法
次に、音源位置だけでなく、ユーザーの位置や向きの情報を考慮した音像を生成することもできる。これは、音声出力部６にヘッドホンなどを用いる場合に有効である。

例えば簡単に、ユーザーが表示画面に対して正面を向き、頭部中心が表示画面の中心の延長上に固定されていると仮定して、ユーザーの頭部位置と頭部向きを音源座標系で表現すればよい。このとき、頭部速度は（０，０，０）となる。図４で表される音源座標系のＸ−Ｙ平面と表示画面との距離をＺ’、表示画面とユーザーの頭部中心との距離をＺ’’とすれば、音源座標系（右手系）における頭部位置は（ａ＊Ｗ／２，ａ＊Ｈ／２，−Ｚ’−Ｚ’’）となる。

ただし、座標系の取り方は、ここで示す例が絶対的なものではなく、仮想の音像を生成するプログラムに合わせて設定あるいは変換すればよい。

ここではユーザーの頭部が固定されている場合を考えたが、実際にはユーザーの頭部の向きは作業中に移動する。より正確な仮想の音像を生成するために、ユーザーの頭部の動きを直接反映させてもよい。そのために、ユーザーの顔画像を撮影し、顔がどちらを向いているかを計算すれば、求まった顔向きをそのままユーザーの頭部の向きとして用いることができる。

図５に基づいて説明する。

画像入力部９において、ユーザーの顔画像を入力する。

顔向き計算部１０において、入力画像から顔向きを求める。そのために例えば、前述の特許文献３で提案されている顔向き計算手法を用いることができる。これは、顔画像を入力し、入力された画像から同一平面にない４点以上の顔の特徴点の二次元座標を検出し、あらかじめ登録しておいた特徴点の三次元座標を用いて、入力画像における顔の向きを求める方法である。

こうして求められた顔向きをユーザーの頭部の向きとして、音源位置設定部４において設定する。

また、頭部の位置は特徴点の重心座標から、頭部の速度ベクトルは頭部の位置座標の時間微分により設定できる。

以上のように設定された、音階、オクターブ、音源位置、音源速度、音源方向、ユーザー頭部位置、頭部速度、頭部向きに従って生成される仮想の音像を音声出力部６から出力すれば、ユーザーの頭部位置も考慮された正確な音像により表示画面の直交座標系における指定座標値を容易に想像することができる。

（４）座標指定方法−ポインターの存在位置
ところで、どの指定座標値を知りたいかによって、図２で表される座標指定部２における座標指定の方法も異なる。座標指定の例を図６に示す。

ポインターの存在位置を知りたい場合には、ポインター位置取得部６において、ポインターの位置している座標の位置を取得し、座標指定部２に渡せば、ポインターの位置している指定座標値での音階を出力できる。

ポインターが移動している場合も、移動のたびにポインターの座標の位置を取得し座標指定部２に渡せば、移動の軌跡を音階やオクターブの変化で知ることができる。

（５）座標指定方法−基準位置
ポインターの存在位置を知りたい場合、前記の座標指定方法でポインターの存在位置の音階を出力するだけでなく、その音を基準音と比較することができれば、絶対音感がなくても表示画面上の位置を想像しやすくなる。

そのために例えば、表示画面の四隅を基準点に設定する。図６で表される基準位置取得部７において、何らかのショートカットキーを設定し、設定したキーを押した場合に、表示画面の四隅の座標値を順に図６で表される座標指定部２に渡せば、表示画面の四隅での音階を基準音として順に出力できる。

（６）ポインターを操作するデバイス
ポインターを操作するデバイスとして、マウスがよく用いられる。これはマウスの相対的な動きをポインターの移動に反映させるため、全盲者には表示画面の絶対位置を把握しづらい。また作業中にキーボードから手を離す必要がある。

例えば、マウスの代わりに顔向きを利用してポインターを動かせば、作業中にキーボードから手を離す必要もなく、音声情報に物理的な顔の絶対向きが加わることによって表示画面上の指定座標値をより直感的に想像しやすくなる。

ユーザーの位置情報を考慮した音像生成方法に関して前記したように、図５の画像入力部９と顔向き計算部１０において、ユーザーの顔画像から顔向きを求めることができる。

図５で表されるポインター位置計算部１１において、特許文献３に従って顔向きからポインターの座標値を計算する。

図５で表されるポインター表示部１２において、求まったポインターの座標値にポインターを表示し、図５で表される座標指定部２において求まった座標値を指定座標値として指定すれば顔向きに対応したポインター位置の音階を出力することができる。

なお、表示画面を見ないで操作を行いたい場合もあるので、顔向きをポインター操作に利用するかしないかは、ユーザーが切り替えられるようにしておく。

また、ポインターを操作するためには顔に限らず、任意の三次元物体を用いることができる。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

（１）変更例１
音階としては、上記実施形態の琉球音階以外に平均律などがある。人間の認識できる周波数であれば、任意の周波数間隔をもつ音階を指定もできる。

（２）変更例２
音階割り付けとしては、上記実施形態の左から右へドレミファソラシ以外に右から左へドレミファソラシがある。また、上から下へ１オクターブずつ上がる設定にしてもよい。

また、縦方向と横方向を逆にして、下から上へドレミファソラシ、左から右へ１オクターブずつ上がる設定にしてもよい。

また、表示画面全体の範囲で音階を割り当てる以外に、アクティブなウィンドウなど、特定の表示領域内だけで音階を割り付けてもよい。

（３）変更例３
割り付け解像度としては、半音も入れて、横１２音階、縦６オクターブ、などがある。各音階名に対して音を重ねれば、より解像度を上げることができる。例えば、ドの領域をさらに、横１２音階、縦６オクターブに分割し、各音を重ね和音で表現すればよい。重ね和音以外にも、「ドミッ」「ドミドー」のような単音の連続でもよい。あるいは、ドの領域内で所定のキー操作を行ったら、その領域内を更に分割して単音で細かく表現する。この領域分割を繰り返せば、１画素単位の動きに対応できる。あるいは、所定のキー操作を行ったら、その座標を中心とした小領域に対して、その領域内を更に分割して単音で表現してもよい。また、分割毎に音色を変化させることもできる。

（４）変更例４
表示装置がマルチウィンドウの場合には、ウィンドウ毎に音色を変えることもできる。

（５）変更例５
ウィンドウのドラッグとしては、ウィンドウのドラッグ時にも、ドラッグ位置を音階で出力もできる。

（６）変更例６
ウィンドウの位置としては、位置を知りたいウィンドウを指定し、ウィンドウの四隅の音階を出力すれば、ウィンドウの位置もわかる。ポインターの位置の音階出力の合間に時々アクティブウィンドウの四隅の音階出力をすれば、ウィンドウ領域を基準にしたポインターの位置がわかる。また、ウィンドウをドラッグする場合は、ドラッグ中のウィンドウの四隅を音階出力する。

（７）変更例７
表示装置が三次元ディスプレイの場合には、奥行きを音色の変化で表し、３Ｄ音像制御を行えば三次元ディスプレイにも対応できる。また、顔向きも三次元で推定しているため対応可能である。

（８）変更例８
表示装置がマルチディスプレイの場合には、ディスプレイ毎に音色を変える。

（９）変更例９
アイコンの位置としては、位置を知りたいアイコンを指定し、アイコン位置の音階を出力すれば、アイコンの位置もわかる。アイコンの位置とポインターの位置を交互に音階出力すれば、ポインターをどちらに動かせば目標とするアイコンに近づけるかがわかる。

（１０）変更例１０
音声出力としては、位置情報を表す音階以外に、テキスト読み上げソフトを併用して、画面の文字情報を音声で伝達してもよい。これにより、音声情報での操作性が向上する。読み上げる位置を音階出力した後に読み上げたり、読み上げの声の高さを音階にあわせてもよい。

（１１）変更例１１
上記実施形態では、パソコンに搭載した場合について説明したが、これに限らず、例えば、情報携帯端末（ＰＤＡ）や携帯電話などに搭載してもよい。

本発明は、パソコン、情報携帯端末、携帯電話などに搭載するのが好適である。

本発明の一実施形態の音声出力付き表示装置の使用例の図である。同じく音声出力付き表示装置のブロック図である。表示画面上の音階、オクターブの割付例の図である。音源座標系の例の図である。顔向き利用の例の図である。座標指定の方法を示す図である。

符号の説明

１音階割り付け部
２座標指定部
３音階取得部
４音源位置設定部
５音声出力部
６ポインター位置取得部
７基準位置取得部
８顔向きによるポインター位置取得部
９画像入力部
１０顔向き計算部
１１ポインター位置計算部
１２ポインター表示部

Claims

音声出力手段を有した表示装置において、
前記表示装置における表示画面上の所定の位置を示すための２軸の直交座標系の座標値に対して、前記直交座標系の一方向の軸にはオクターブ毎に順番に音が上がるように音を割り当て、他方向の軸には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て手段と、
音を出力したい座標の位置である指定座標値を指定する座標指定手段と、
前記指定された一つの指定座標値に対応して、前記オクターブ上の前記音階によって表現された一つの音を取得する音声取得手段と、
前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成手段と、
を有し、
前記音声出力手段は、前記生成した仮想の音像に従って、前記取得した音を出力する
ことを特徴とする音声出力付き表示装置。
前記音階割り当て手段は、前記表示画面内の特定の表示領域に前記音を割り当てる
ことを特徴とする請求項１に記載の音声出力付き表示装置。
前記座標指定手段は、
前記表示画面上に表示されているポインターの座標の位置を取得する座標取得手段と、
前記取得した座標の位置を前記指定座標値とする座標決定手段と、
を有する
ことを特徴とする請求項１に記載の音声出力付き表示装置。
前記座標指定手段は、
前記表示画面上における所定の基準点の座標の位置を前記指定座標値とする座標決定手段を有する
ことを特徴とする請求項１に記載の音声出力付き表示装置。
前記座標指定手段は、所定の矩形領域の四隅を前記基準点とし、
前記音声取得手段は、前記指定座標値の各々に対応して、各々一つの音を取得し、
前記音声出力手段は、前記取得した各々の音を出力する
ことを特徴とする請求項４に記載の音声出力付き表示装置。
前記座標指定手段は、
前記表示画面上に表示されているポインターの座標の位置を取得して、前記取得した座標の位置を前記指定座標値とし、前記表示画面上における前記基準点の座標の位置をさらに前記指定座標値とし、
前記音声取得手段は、前記指定座標値の各々に対応して、各々一つの音を取得し、
前記音声出力手段は、前記取得した各々の音を出力する
ことを特徴とする請求項４又は請求項５に記載の音声出力付き表示装置。
ユーザーの顔を撮影した画像を入力する画像入力手段と、
前記入力画像からユーザーの顔向きを検出する顔向き検出手段と、
を有し、
前記音像生成手段は、前記指定座標値を表現する音源が前記音源座標系上に存在するかのように前記検出された向きに対応した仮想の音像を生成する
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の音声出力付き表示装置。
任意の三次元物体を撮影した画像を入力する画像入力手段と、
前記入力画像から三次元物体の向きを検出する三次元物体向き検出手段と、
前記座標指定手段は、
前記検出された向きに対応する表示画面上の座標の位置を指定座標値とする
ことを特徴とする請求項１乃至請求項６のいずれか一項に記載の音声出力付き表示装置。
音声出力手段を有した表示装置における音出力方法において、
前記表示装置における表示画面上の所定の位置を示すための２軸の直交座標系の座標値に対して、前記直交座標系の一方向の軸にはオクターブ毎に順番に音が上がるように音を割り当て、他方向の軸には前記オクターブ上の音階によって表現される音を割り当てる音階割り当てステップと、
音を出力したい座標の位置である指定座標値を指定する座標指定ステップと、
前記指定された一つの指定座標値に対応して、前記オクターブ上の前記音階によって表現された一つの音を取得する音声取得ステップと、
前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成ステップと、
前記生成した仮想の音像に従って、前記取得した音を前記音声出力手段から出力する出力ステップと、
を有することを特徴とする音声出力付き表示装置の音出力方法。
音声出力手段を有した表示装置における音出力方法を実現するコンピュータのプログラムにおいて、
前記表示装置における表示画面上の所定の位置を示すための２軸の直交座標系の座標値に対して、前記直交座標系の一方向の軸にはオクターブ毎に順番に音が上がるように音を割り当て、他方向の軸には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て機能と、
音を出力したい座標の位置である指定座標値を指定する座標指定機能と、
前記指定された一つの指定座標値に対応して、前記オクターブ上の前記音階によって表現された一つの音を取得する音声取得機能と、
前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成機能と、
前記生成した仮想の音像に従って、前記取得した音を前記音声出力手段から出力する出力機能と、
を実現することを特徴とする音声出力付き表示装置の音出力方法のプログラム。