JP4185019B2 - 音声出力付き表示装置 - Google Patents
音声出力付き表示装置 Download PDFInfo
- Publication number
- JP4185019B2 JP4185019B2 JP2004144186A JP2004144186A JP4185019B2 JP 4185019 B2 JP4185019 B2 JP 4185019B2 JP 2004144186 A JP2004144186 A JP 2004144186A JP 2004144186 A JP2004144186 A JP 2004144186A JP 4185019 B2 JP4185019 B2 JP 4185019B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- coordinate
- display device
- display screen
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Stereophonic System (AREA)
- User Interface Of Digital Computer (AREA)
Description
図2に基づいて音声付き表示装置の構成を説明する。図2は、音声付き表示装置のブロック図を示す。
次に、音源位置設定部4の構成について説明する。
次に、音源位置だけでなく、ユーザーの位置や向きの情報を考慮した音像を生成することもできる。これは、音声出力部6にヘッドホンなどを用いる場合に有効である。
ところで、どの指定座標値を知りたいかによって、図2で表される座標指定部2における座標指定の方法も異なる。座標指定の例を図6に示す。
ポインターの存在位置を知りたい場合、前記の座標指定方法でポインターの存在位置の音階を出力するだけでなく、その音を基準音と比較することができれば、絶対音感がなくても表示画面上の位置を想像しやすくなる。
ポインターを操作するデバイスとして、マウスがよく用いられる。これはマウスの相対的な動きをポインターの移動に反映させるため、全盲者には表示画面の絶対位置を把握しづらい。また作業中にキーボードから手を離す必要がある。
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
音階としては、上記実施形態の琉球音階以外に平均律などがある。人間の認識できる周波数であれば、任意の周波数間隔をもつ音階を指定もできる。
音階割り付けとしては、上記実施形態の左から右へドレミファソラシ以外に右から左へドレミファソラシがある。また、上から下へ1オクターブずつ上がる設定にしてもよい。
割り付け解像度としては、半音も入れて、横12音階、縦6オクターブ、などがある。各音階名に対して音を重ねれば、より解像度を上げることができる。例えば、ドの領域をさらに、横12音階、縦6オクターブに分割し、各音を重ね和音で表現すればよい。重ね和音以外にも、「ドミッ」「ドミドー」のような単音の連続でもよい。あるいは、ドの領域内で所定のキー操作を行ったら、その領域内を更に分割して単音で細かく表現する。この領域分割を繰り返せば、1画素単位の動きに対応できる。あるいは、所定のキー操作を行ったら、その座標を中心とした小領域に対して、その領域内を更に分割して単音で表現してもよい。また、分割毎に音色を変化させることもできる。
表示装置がマルチウィンドウの場合には、ウィンドウ毎に音色を変えることもできる。
ウィンドウのドラッグとしては、ウィンドウのドラッグ時にも、ドラッグ位置を音階で出力もできる。
ウィンドウの位置としては、位置を知りたいウィンドウを指定し、ウィンドウの四隅の音階を出力すれば、ウィンドウの位置もわかる。ポインターの位置の音階出力の合間に時々アクティブウィンドウの四隅の音階出力をすれば、ウィンドウ領域を基準にしたポインターの位置がわかる。また、ウィンドウをドラッグする場合は、ドラッグ中のウィンドウの四隅を音階出力する。
表示装置が三次元ディスプレイの場合には、奥行きを音色の変化で表し、3D音像制御を行えば三次元ディスプレイにも対応できる。また、顔向きも三次元で推定しているため対応可能である。
表示装置がマルチディスプレイの場合には、ディスプレイ毎に音色を変える。
アイコンの位置としては、位置を知りたいアイコンを指定し、アイコン位置の音階を出力すれば、アイコンの位置もわかる。アイコンの位置とポインターの位置を交互に音階出力すれば、ポインターをどちらに動かせば目標とするアイコンに近づけるかがわかる。
音声出力としては、位置情報を表す音階以外に、テキスト読み上げソフトを併用して、画面の文字情報を音声で伝達してもよい。これにより、音声情報での操作性が向上する。読み上げる位置を音階出力した後に読み上げたり、読み上げの声の高さを音階にあわせてもよい。
上記実施形態では、パソコンに搭載した場合について説明したが、これに限らず、例えば、情報携帯端末(PDA)や携帯電話などに搭載してもよい。
2 座標指定部
3 音階取得部
4 音源位置設定部
5 音声出力部
6 ポインター位置取得部
7 基準位置取得部
8 顔向きによるポインター位置取得部
9 画像入力部
10 顔向き計算部
11 ポインター位置計算部
12 ポインター表示部
Claims (10)
- 音声出力手段を有した表示装置において、
前記表示装置における表示画面上の所定の位置を示すための2軸の直交座標系の座標値に対して、前記直交座標系の一方向の軸にはオクターブ毎に順番に音が上がるように音を割り当て、他方向の軸には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て手段と、
音を出力したい座標の位置である指定座標値を指定する座標指定手段と、
前記指定された一つの指定座標値に対応して、前記オクターブ上の前記音階によって表現された一つの音を取得する音声取得手段と、
前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成手段と、
を有し、
前記音声出力手段は、前記生成した仮想の音像に従って、前記取得した音を出力する
ことを特徴とする音声出力付き表示装置。 - 前記音階割り当て手段は、前記表示画面内の特定の表示領域に前記音を割り当てる
ことを特徴とする請求項1に記載の音声出力付き表示装置。 - 前記座標指定手段は、
前記表示画面上に表示されているポインターの座標の位置を取得する座標取得手段と、
前記取得した座標の位置を前記指定座標値とする座標決定手段と、
を有する
ことを特徴とする請求項1に記載の音声出力付き表示装置。 - 前記座標指定手段は、
前記表示画面上における所定の基準点の座標の位置を前記指定座標値とする座標決定手段を有する
ことを特徴とする請求項1に記載の音声出力付き表示装置。 - 前記座標指定手段は、所定の矩形領域の四隅を前記基準点とし、
前記音声取得手段は、前記指定座標値の各々に対応して、各々一つの音を取得し、
前記音声出力手段は、前記取得した各々の音を出力する
ことを特徴とする請求項4に記載の音声出力付き表示装置。 - 前記座標指定手段は、
前記表示画面上に表示されているポインターの座標の位置を取得して、前記取得した座標の位置を前記指定座標値とし、前記表示画面上における前記基準点の座標の位置をさらに前記指定座標値とし、
前記音声取得手段は、前記指定座標値の各々に対応して、各々一つの音を取得し、
前記音声出力手段は、前記取得した各々の音を出力する
ことを特徴とする請求項4又は請求項5に記載の音声出力付き表示装置。 - ユーザーの顔を撮影した画像を入力する画像入力手段と、
前記入力画像からユーザーの顔向きを検出する顔向き検出手段と、
を有し、
前記音像生成手段は、前記指定座標値を表現する音源が前記音源座標系上に存在するかのように前記検出された向きに対応した仮想の音像を生成する
ことを特徴とする請求項1乃至請求項6のいずれか一項に記載の音声出力付き表示装置。 - 任意の三次元物体を撮影した画像を入力する画像入力手段と、
前記入力画像から三次元物体の向きを検出する三次元物体向き検出手段と、
前記座標指定手段は、
前記検出された向きに対応する表示画面上の座標の位置を指定座標値とする
ことを特徴とする請求項1乃至請求項6のいずれか一項に記載の音声出力付き表示装置。 - 音声出力手段を有した表示装置における音出力方法において、
前記表示装置における表示画面上の所定の位置を示すための2軸の直交座標系の座標値に対して、前記直交座標系の一方向の軸にはオクターブ毎に順番に音が上がるように音を割り当て、他方向の軸には前記オクターブ上の音階によって表現される音を割り当てる音階割り当てステップと、
音を出力したい座標の位置である指定座標値を指定する座標指定ステップと、
前記指定された一つの指定座標値に対応して、前記オクターブ上の前記音階によって表現された一つの音を取得する音声取得ステップと、
前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成ステップと、
前記生成した仮想の音像に従って、前記取得した音を前記音声出力手段から出力する出力ステップと、
を有することを特徴とする音声出力付き表示装置の音出力方法。 - 音声出力手段を有した表示装置における音出力方法を実現するコンピュータのプログラムにおいて、
前記表示装置における表示画面上の所定の位置を示すための2軸の直交座標系の座標値に対して、前記直交座標系の一方向の軸にはオクターブ毎に順番に音が上がるように音を割り当て、他方向の軸には前記オクターブ上の音階によって表現される音を割り当てる音階割り当て機能と、
音を出力したい座標の位置である指定座標値を指定する座標指定機能と、
前記指定された一つの指定座標値に対応して、前記オクターブ上の前記音階によって表現された一つの音を取得する音声取得機能と、
前記表示画面と相対的に対応する音源座標系上に、前記指定座標値を表現する音源が存在するかのような仮想の音像を生成する音像生成機能と、
前記生成した仮想の音像に従って、前記取得した音を前記音声出力手段から出力する出力機能と、
を実現することを特徴とする音声出力付き表示装置の音出力方法のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004144186A JP4185019B2 (ja) | 2004-05-13 | 2004-05-13 | 音声出力付き表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004144186A JP4185019B2 (ja) | 2004-05-13 | 2004-05-13 | 音声出力付き表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005327054A JP2005327054A (ja) | 2005-11-24 |
JP4185019B2 true JP4185019B2 (ja) | 2008-11-19 |
Family
ID=35473375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004144186A Expired - Fee Related JP4185019B2 (ja) | 2004-05-13 | 2004-05-13 | 音声出力付き表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4185019B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8037414B2 (en) * | 2006-09-14 | 2011-10-11 | Avaya Inc. | Audible computer user interface method and apparatus |
JP6065369B2 (ja) | 2012-02-03 | 2017-01-25 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP5763605B2 (ja) * | 2012-11-05 | 2015-08-12 | レノボ・シンガポール・プライベート・リミテッド | 情報入力装置及びその音声出力方法 |
JP2015046103A (ja) * | 2013-08-29 | 2015-03-12 | シャープ株式会社 | 対話型インタフェース及び情報処理装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60140420A (ja) * | 1983-12-28 | 1985-07-25 | Nippon Atom Ind Group Co Ltd | タツチスクリ−ン操作確認装置 |
JP2784811B2 (ja) * | 1989-08-25 | 1998-08-06 | ソニー株式会社 | 画像作成装置 |
CA2068476C (en) * | 1991-08-19 | 1996-07-23 | Frank A. Mckiel, Jr. | Audio user interface with stereo and filtered sound effects |
JPH0651887A (ja) * | 1992-07-30 | 1994-02-25 | Okuma Mach Works Ltd | 入力装置における音声発生装置 |
JPH0822373A (ja) * | 1994-07-07 | 1996-01-23 | Nec Corp | 入出力装置 |
JPH0876919A (ja) * | 1994-09-06 | 1996-03-22 | Fujitsu General Ltd | カーソル位置報知装置 |
JPH11110107A (ja) * | 1997-09-29 | 1999-04-23 | Toshiba Corp | 情報入力装置および自動取引装置 |
JP2001350578A (ja) * | 2000-06-06 | 2001-12-21 | Sensor:Kk | 視線による入力制御装置及び方法並びに視線により入力させる制御プログラムを記録した記録媒体 |
JP2003032776A (ja) * | 2001-07-17 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 再生システム |
JP3822483B2 (ja) * | 2001-10-31 | 2006-09-20 | 株式会社東芝 | 物体向き計算装置及びその方法 |
JP3952870B2 (ja) * | 2002-06-12 | 2007-08-01 | 株式会社東芝 | 音声伝送装置、音声伝送方法及びプログラム |
-
2004
- 2004-05-13 JP JP2004144186A patent/JP4185019B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005327054A (ja) | 2005-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6549751B2 (ja) | グラニュラーシンセシスを用いたハプティック変換システム | |
EP2891955B1 (en) | In-vehicle gesture interactive spatial audio system | |
US10585544B2 (en) | Information processing apparatus and method for outputting a haptic guiding operation to a user | |
US11443453B2 (en) | Method and device for detecting planes and/or quadtrees for use as a virtual substrate | |
CN114080585A (zh) | 在人工现实环境中使用***设备的虚拟用户界面 | |
EP2796973B1 (en) | Method and apparatus for generating a three-dimensional user interface | |
US20090256809A1 (en) | Three-dimensional touch interface | |
US20120124470A1 (en) | Audio display system | |
JP6429886B2 (ja) | 触感制御システムおよび触感制御方法 | |
US20120139863A1 (en) | Apparatus and method for inputting writing information according to writing pattern | |
KR20080041809A (ko) | 휴대용 단말기에서 디스플레이 제어 방법 및 장치 | |
JP2010026327A (ja) | 表示装置の制御装置、制御方法、及びコンピュータプログラム | |
JP2014241005A (ja) | 表示制御装置、表示制御方法、及び表示制御プログラム | |
JPWO2004097722A1 (ja) | 手書き文字入力装置および手書き文字入力処理方法 | |
JPWO2019069575A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
TW201512968A (zh) | 以語音辨識來發生事件裝置及方法 | |
KR101374961B1 (ko) | 사운드 기반 인터페이스 장치 및 방법 | |
JP4185019B2 (ja) | 音声出力付き表示装置 | |
JP5736005B2 (ja) | 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム | |
CN102495709B (zh) | 一种调节超声成像设备取样框的方法和装置 | |
CN113243000A (zh) | 用于增强现实对象的捕捉范围 | |
KR101535738B1 (ko) | 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법 | |
JP6751777B2 (ja) | コンピュータプログラム、表示装置、頭部装着型表示装置 | |
JP2004199260A (ja) | 図形作成装置及び図形作成方法 | |
KR20150076574A (ko) | 공간 터치 방법 및 공간 터치 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080904 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |