JP5511085B2 - 視覚障害者による客体操作が可能なタッチスクリーン装置及びその装置における客体操作方法 - Google Patents

Description

本発明は視覚障害者による客体操作が可能なタッチスクリーン装置及びその装置における客体操作方法に係り、さらに詳しくは、起動中のアプリケーションソフトウェアの制御のための仮想キーボードが活性化された状態で、前記仮想キーボードのタッチが感知された場合、前記タッチされた仮想キーボードのタッチポジションに対する位置、タッチ回数及びタッチ時間の情報に基づくキー値を生成して前記起動中のアプリケーションソフトウェアに転送すれば、前記アプリケーションソフトウェアが前記転送されたキー値に基づき動作して前記アプリケーションソフトウェアに含まれている全体客体のうち任意の客体がフォーカスされれば、フッキングメカニズムを用いて前記フォーカスされた客体のテキスト情報を読み込み、前記読み込まれた客体のテキスト情報をテキスト音声変換（ＴＴＳ：Ｔｅｘｔ ｔｏ Ｓｐｅｅｃｈ）エンジンを用いて音声データに変換して出力する視覚障害者による客体操作が可能なタッチスクリーン装置及びその装置における客体操作方法に関する。

通常、タッチスクリーン装置は、画面上にディスプレイされるアイコンを指やポインターなどを用いてタッチすることにより、ユーザーが指令や情報を入力することができるインタフェースである。前記タッチスクリーン装置は一種の入力装置であり、携帯電話、スマートフォン、現金自動預け払い機、パームサイズＰＣ、個人用の携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）など様々な端末に適用されている。

前記タッチスクリーン装置を用いた文字入力及び客体選択方法は、手書体操作方法とソフトキーボード操作方法とに大別される。前記手書体操作方法は、いつもの通りに紙にペンで文字を書くように画面にスタイラスペンで文字を書き、画面から客体を選択することにより操作する。前記ソフトキーボード操作方法は、画面に一般キーボード型のユーザーインタフェースを有するキーボードを表示して、ペンクリックにより文字を入力し且つ画面客体を選択する。

しかしながら、視覚障害者がフルタッチ方式により接近可能なものとして、ｉＰｈｏｎｅ（アイフォーン(登録商標)）の「ＶＯＩＣＥ ＯＶＥＲ」がある。この種のフルタッチ方式のタッチスクリーン装置は、スクリーンに表示された客体を指でフォーカスしたときに音声として出力するものであり、客体の位置及び方向を予測することができない視覚障害者に対してランダムな操作による偶然の動作を求める。

ところが、視覚障害者はタッチスクリーンの画面を見ることができず、タッチすべき客体の位置および方向を知ることができないため、タッチスクリーン装置においてタッチ方式により文字を入力したり、画面の客体を選択及び操作したりすることができないという問題がある。

本発明は上記事情に鑑みてなされたものであり、その目的は、視覚障害者がタッチスクリーン装置を使用するに際して、タッチスクリーンに表示された客体の情報および事前に規格化された仮想キーボードに基づいて客体を自由に選択及び起動することができる、視覚障害者による客体操作が可能なタッチスクリーン装置及びその装置における客体操作方法を提供するところにある。

上記の目的を達成するために、本発明によれば、起動中のアプリケーションソフトウェアの制御のための仮想キーボードが活性化された状態で、前記仮想キーボードのタッチが感知された場合、前記タッチされた仮想キーボードのタッチポジションに対する位置、タッチ回数及びタッチ時間の情報に基づくキー値を生成して前記起動中のアプリケーションソフトウェアに転送するタッチ感知部と、前記アプリケーションソフトウェアが前記タッチ感知部から転送されたキー値に基づき動作して前記アプリケーションソフトウェアに含まれている全体客体のうち任意の客体がフォーカスされれば、フッキングメカニズムを用いて前記フォーカスされた客体のテキスト情報を読み込む客体判断部と、前記客体判断部において読み込まれた客体のテキスト情報をテキスト音声変換（ＴＴＳ：Ｔｅｘｔ ｔｏ Ｓｐｅｅｃｈ）エンジンを用いて音声データに変換して出力する音声合成処理部と、を備える、視覚障害者による客体操作が可能なタッチスクリーン装置が提供される。

前記仮想キーボードは、所定数のタッチポジションが配列された構造のものであり、画面に視覚的に表示されずにバックグラウンドにおいて動作する。

前記客体は、前記アプリケーションソフトウェアの構成要素であり、前記客体の情報は、前記客体をテキストとして表示した名前、種別および状態を含む。

前記タッチ感知部は、ユーザーにより基準モードのためのキー値が割り当てられたタッチポジションのタッチが感知された場合、基準モードという音声メッセージを出力するように前記音声合成処理部に音声出力を要請しつつ基準モード状態を維持し、前記基準モード状態で他のタッチポジションのタッチが感知された場合、前記タッチされた他のタッチポジションのキー値を生成して前記アプリケーションソフトウェアに転送する。

本発明の他の側面によれば、タッチスクリーン装置が視覚障害者のタッチを用いて客体を操作する方法において、（ａ）起動中のアプリケーションソフトウェアの制御のための仮想キーボードが活性化された状態で、前記仮想キーボードのタッチが感知された場合、前記タッチされた仮想キーボードのタッチポジションに対する位置、タッチ回数及びタッチ時間の情報に基づくキー値を生成して前記起動中のアプリケーションソフトウェアに転送するステップと、（ｂ）前記アプリケーションソフトウェアが前記転送されたキー値に基づき動作して前記アプリケーションソフトウェアに含まれている全体客体のうち任意の客体がフォーカスされれば、フッキングメカニズムを用いて前記フォーカスされた客体のテキスト情報を読み込むステップと、（ｃ）前記読み込まれた客体のテキスト情報をテキスト音声変換（ＴＴＳ：Ｔｅｘｔ ｔｏ Ｓｐｅｅｃｈ）エンジンを用いて音声データに変換して出力するステップと、を含む、タッチスクリーン装置における視覚障害者による客体操作方法が提供される。

前記ステップ（ａ）は、前記ユーザーにより基準モードのための特定のタッチポジションのタッチが感知された場合、基準モードという音声メッセージを出力しつつ基準モード状態を維持するステップと、前記基準モード状態で他のタッチポジションのタッチが感知された場合、前記タッチされた他のタッチポジションのキー値を生成して前記起動中のアプリケーションソフトウェアに転送するステップと、をさらに含む。

本発明によれば、視覚障害者がタッチスクリーン装置を使用するに際して、タッチスクリーンに表示された客体の情報および事前に規格化された仮想キーボードに基づいて客体の位置および方向とは無関係に操作することができるので、客体を自由に選択及び起動することができる。

本発明の実施の形態に係る、視覚障害者による客体操作が可能なタッチスクリーン装置の構成を概略的に示すブロック図である。 本発明の実施の形態に係る、視覚障害者がタッチスクリーン装置を用いて客体を操作する方法を示すフローチャートである。 本発明に係る仮想キーボードの例示図である。

本発明の上述した目的と技術的構成及びそれによる作用効果に関する詳細事項は、本発明の明細書に添付された図面に基づく後述の説明により一層明らかになる。

図１は、本発明の実施の形態に係る、視覚障害者による客体操作が可能なタッチスクリーン装置の構成を概略的に示すブロック図であり、図３は、本発明に係る仮想キーボードの例示図である。

図１を参照すれば、視覚障害者による客体操作が可能なタッチスクリーン装置１００は、タッチ感知部１０２と、客体判断部１０４と、音声合成処理部１０６と、を備える。

前記タッチ感知部１０２は、起動中のアプリケーションソフトウェアの制御のための仮想キーボードが活性化された状態で、前記仮想キーボードのタッチが感知された場合、前記タッチされた仮想キーボードのタッチポジションに対する位置、タッチ回数及びタッチ時間の情報に基づくキー値を生成して前記起動中のアプリケーションソフトウェアに転送する。

ここで、前記起動中のアプリケーションソフトウェアとは、現在画面上に視覚的に表示された既存のアプリケーションソフトウェアのことをいい、これは、ｗｉｎｄｏｗｓ、アンドロイド、ＭＡＣＯＳ、Ｌｉｎｕｘなど通常のＯＳシステムにおいて動作するものであれば、必ずエンター値、方向キー値、文字キー値などを転送されるアーキテクチャとして設計されている。

すなわち、前記アプリケーションソフトウェアとは、従来より汎用されているソフトウェアのことをいうものであり、通常、キー値を転送されるアーキテクチャとして設計されている。

また、前記アプリケーションソフトウェアは、その制御に当たって、仮想キーボードと事前に相互作用のためにキー値を授受する以外は、いかなるメカニズムも使用しない。

前記仮想キーボードは、所定数のタッチポジションが配列された構造のものであり、画面上に視覚的に表示されずにＯＳレベルのバックグラウンドにおいて動作する。

前記仮想キーボードに対して「３×４」のタッチポジションが配列された場合を例に取って説明する。この場合、仮想キーボードは３×４の画面区画に分割され、これは、碁盤状のような区画を意味し、規模は横３縦４の升目を意味する。前記分割された画面区画は単にタッチ範囲を意味するだけであり、実際に画面に格子形状が表示されるわけではない。

すなわち、これは、３×４のタッチ区画で合計１２個のタッチポジションが存在し、タッチ境界に無効領域がなくて、１２個の有効タッチのみが作用することを意味する。そして、各タッチポジションは、配列順に、例えば、「ＴＰ１」、「ＴＰ２」、「ＴＰ３」、「ＴＰ４」、「ＴＰ６」、「ＴＰ７」、「ＴＰ８」、「ＴＰ９」、「ＴＰ１０」、「ＴＰ１１」、「ＴＰ１２」などの識別番号が付与される。

さらに、前記仮想キーボードは、「ＡＲＥＡ ＫＥＹＰＡＤ」、「ＦＵＮＣＴＩＯＮ ＫＥＹＰＡＤ」、「韓国語ＫＥＹＰＡＤ」、「英文ＫＥＹＰＡＤ」、「数字ＫＥＹＰＡＤ」、「記号ＫＥＹＰＡＤ」、「ＨＯＴ英文ＫＥＹＰＡＤ」、「ＨＯＴ数字ＫＥＹＰＡＤ」などが基本的に設けられており、類似の用途別に分類されているため、状況に応じて所望のキーパッドを選択することができる。

加えて、前記仮想キーボードのタッチ方式としては、当該タッチポジションの１回タッチ、連続２回タッチ、連続３回タッチがあり、長く０秒以上、１秒以上、２秒以上、３秒以上押下などがある。なお、タッチポジションの位置とは無関係に、「指で左右にフリック（軽くはらう操作）」、「上下にフリック」、「３本指が同時にタッチ」が追加機能と連携されている。

前記客体判断部１０４は、前記アプリケーションソフトウェアが前記タッチ感知部１０２から転送されたキー値に基づき動作して前記アプリケーションソフトウェアに含まれている全体客体のうち任意の客体がフォーカスされれば、フッキングメカニズムを用いて前記フォーカスされた客体のテキスト情報を読み込む。

すなわち、前記アプリケーションソフトウェアは、前記タッチ感知部１０２から転送されたキー値に基づき動作し、その動作の結果、前記アプリケーションソフトウェアに含まれている全体客体のうち任意の客体が活性化またはフォーカスされれば、前記客体判断部１０４は、フッキングメカニズムを用いて前記活性化またはフォーカスされた客体のテキスト情報を読み込む。

ここで、前記客体は前記アプリケーションソフトウェアの構成要素であり、自体的に生成したものではなく、既存の前記アプリケーションソフトウェアに含まれているものである。例えば、客体とは、ボタン、ファイル一覧、エディットウィンドウ、コンボボックスなどのことをいう。

前記客体の情報とは、当該客体をテキストとして表示した名前、種別および状態などをいう。

また、前記フッキングメカニズムは、ｗｉｎｄｏｗｓ(登録商標) ｃｅ、ｘｐ、２０００、ＬＩＮＵＸ(登録商標)などＯＳにおいてＡＰＩを通じて支援しており、フッキング要素は、現在起動中のアプリケーションソフトウェアの画面に表示された客体の名前、客体の種別、客体に表示されたテキスト文字などを含む。

さらに、活性化されたアプリケーションソフトウェアのフォーカスされた画面表示上の「客体名」と「客体種別」及び「プロセッサー名」により仮想キーボードのキーパッドの種別を自動的に切り替えることができるが、これは、予め収録されたデータベースに基づくものであり、例えば、フォーカスされた客体が「ファイル一覧」である場合、仮想キーボードのキーパッドの種別が「ＡＲＥＡ ＫＥＹＰＡＤ」に切り替わってタッチポジションのキーが方向キー値として転送され、フォーカスされた客体が「エディットウィンドウ」である場合、仮想キーボードのキーパッドの種別が「韓国語／英語ＫＥＹＰＡＤ」に切り替わってタッチポジションのキーが文字キー値として転送され、電話機や計算機ソフトウェアにおいては「数字キーパッド」に切り替わってタッチするキーに相当する数字値のみ転送される。

加えて、前記タッチ感知部１０２は、ユーザーにより基準モードのためのキー値が割り当てられたタッチポジションのタッチが感知された場合、基準モードという音声メッセージを出力するように前記音声合成処理部１０６に音声出力を要請しつつ基準モード状態を維持し、前記基準モード状態で他のタッチポジションのタッチが感知された場合、前記タッチされた他のタッチポジションのキー値を生成して起動中のアプリケーションソフトウェアに転送される

例えば、図３に示す如き３×４のタッチポジションが存在する仮想キーボードについて説明する。

図３を参照すれば、合計１２個のタッチポジションは、位置ごとに、配列順に、ＴＰ１、ＴＰ２．．．ＴＰ１２という識別名が付与されている。

ユーザーが中央部に配置されたタッチポジションＴＰ５をタッチしたままで所定時間維持する場合、前記タッチ感知部は「基準モード」であると判断する。

このとき、ユーザーが仮想キーボードのタッチポジションをタッチした状態で移動していく過程で「ＴＰ５」を通るときに「正常信号音」または「軽い振動」または「正しい位置です」というメッセージを音声として出力する。

前記ＴＰ５にポインターをタッチしたままで所定時間が経過したり、タッチした状態を維持し続けると、「基準モード」に切り替わる。ここで、前記ポインターとは、仮想キーボードがタッチ可能な指などをいう。

さらに、「基準モード」とは、第１ポインターが「ＴＰ５」に触れた状態を維持し続けることを許容し、第２ポインターのタッチに妨げ（作用）を引き起こさないことを意味する一連の機能である。上記の基準モードを維持した状態で、ユーザーが他のタッチポジションをタッチすれば、前記タッチ感知部１０２は当該キー値を生成し、既に起動中のアプリケーションソフトウェアに転送する。

すなわち、基準モード状態で、第２ポインターを用いて、「ＴＰ１」、「ＴＰ２」、「ＴＰ３」、「ＴＰ４」、「ＴＰ６」、「ＴＰ７」、「ＴＰ８」、「ＴＰ９」、「ＴＰ１０」、「ＴＰ１１」、「ＴＰ１２」をタッチすれば、当該「キー値」が転送される。なお、「基準モード」であるとき、「ＴＰ５」および「ＴＰ６」をタッチすることが容易ではないが、この場合には、既に支持している指を離して基準モードを解放し、直ちに「ＴＰ５」及び「ＴＰ６」を触った後に所定時間内に離すような方式によりタッチをする。

これが可能なのは、片手の指が中央部の「ＴＰ５」を支持して身動き上の基準が一緒に作用しているためであるが、視覚障害者は物事の位置を認知することができないだけであって、方向（主として８方向）は認知することができ、方向の基準点を１本指で支えているため一層容易である。

また、各仮想キーボードは種別ごとに各タッチポジションのキー値が予め設定されている。例えば、仮想キーボードが「文字キーパッド」として活性化された場合、ＴＰ１＝「ａ」（ＴＰ１がタッチされれば、クワーティキーボード「ａ」を押下したのと同様。）、ＴＰ１、ＴＰ１＝「ｂ」（限られた時間内にＴＰ１およびＴＰ１を連続して入力すれば、クワーティキーボード「ｂ」を押下したのと同様。）、ＴＰ１、ＴＰ２＝「ｃ」（限られた時間内にＴＰ１およびＴＰ２を連続して入力すれば、クワーティキーボード「ｃ」を押下したのと同様。）、ＴＰ８＝「｛ＤＯＷＮ｝」（ＴＰ８をタッチすれば、クワーティキーボード「下方向キー」を押下したのと同様。）などのように各タッチポジションのキーが文字要素のキー値に設定されている。

前記音声合成処理部１０６は、前記客体判断部１０４において読み込みた客体の情報を文字音声変換（ＴＴＳ：Ｔｅｘｔ ｔｏ Ｓｐｅｅｃｈ）エンジンを用いて音声データに変換して出力する。

図２は、本発明の実施の形態に係る、視覚障害者がタッチスクリーン装置を用いて客体を操作する方法を示すフローチャートである。

図２を参照すれば、タッチスクリーン装置は、起動中のアプリケーションソフトウェアにキー値を転送するための仮想キーボードが活性化された状態で（Ｓ２００）、前記仮想キーボードのタッチが感知された場合（Ｓ２０２）、前記タッチされた仮想キーボードのタッチポジションに対する位置、タッチ回数及びタッチ時間の情報に基づくキー値を生成して（Ｓ２０４）、前記起動中のアプリケーションソフトウェアに転送する（Ｓ２０６）。

このとき、前記タッチスクリーン装置は、ユーザーにより基準モードのためのキー値が割り当てられたタッチポジションのタッチが感知された場合、基準モードという音声メッセージを出力しつつ基準モード状態を維持し、前記基準モード状態で他のタッチポジションのタッチが感知された場合、前記タッチされた他のタッチポジションのキー値を生成して前記起動中のアプリケーションソフトウェアに転送する。

前記Ｓ２０６を行った後、前記アプリケーションソフトウェアが前記転送されたキー値に基づき動作して前記アプリケーションソフトウェアに含まれている全体客体のうち任意の客体がフォーカスされれば（Ｓ２０８）、前記タッチスクリーン装置は、フッキングメカニズムを用いて、前記フォーカスされた客体のテキスト情報を読み込む（Ｓ２１０）。このとき、前記タッチスクリーン装置は、フッキングメカニズムを用いて、現在起動中のアプリケーションソフトウェアの画面表示上の「客体名」と、フォーカスされた客体の種別およびフォーカスされた客体に表示されたテキスト文字などを読み込む。

前記Ｓ２１０を行った後、前記タッチスクリーン装置は、前記読み込まれた客体のテキスト情報をテキスト音声変換（ＴＴＳ：Ｔｅｘｔ ｔｏ Ｓｐｅｅｃｈ）エンジンを用いて音声データに変換して出力する（Ｓ２１２）。

このように本発明が属する技術分野における当業者であれば、本発明がその技術的思想や必須的特徴を変更することなく他の具体的な形態として実施可能であるということを理解できる筈である。よって、上述した実施の形態はあらゆる面で例示的なものであり、限定的なものでないと理解さるべきである。本発明の範囲は前記詳細な説明の欄よりは特許請求の範囲によって開示され、特許請求の範囲の意味、範囲及びその等価概念から導き出されるあらゆる変更または変形された形態が本発明の範囲に含まれるものであると解釈さるべきである。

１００：タッチスクリーン装置、
１０２：タッチ感知部、
１０４：客体判断部、
１０６：音声合成処理部、

Claims (5)

1. 起動中のアプリケーションソフトウェアの制御のための仮想キーボードが活性化された状態で、前記仮想キーボードのタッチが感知された場合、前記タッチされた仮想キーボードのタッチポジションに対する位置、タッチ回数及びタッチ時間の情報に基づくキー値を生成して前記起動中のアプリケーションソフトウェアに転送するタッチ感知部と、
   前記アプリケーションソフトウェアが前記タッチ感知部から転送されたキー値に基づき動作して前記アプリケーションソフトウェアに含まれている全体客体のうち任意の客体がフォーカスされれば、フッキングメカニズムを用いて前記フォーカスされた客体のテキスト情報を読み込む客体判断部と、
   前記客体判断部において読み込まれた客体のテキスト情報をテキスト音声変換（ＴＴＳ：Ｔｅｘｔ ｔｏ Ｓｐｅｅｃｈ）エンジンを用いて音声データに変換して出力する音声合成処理部と、
   を備え、
   前記タッチ感知部は、ユーザーにより基準モードのためのキー値が割り当てられたタッチポジションのタッチが感知された場合、基準モードという音声メッセージを出力するように前記音声合成処理部に音声出力を要請しつつ基準モード状態を維持し、
   前記基準モード状態で他のタッチポジションのタッチが感知された場合、前記タッチされた他のタッチポジションのキー値を生成して前記アプリケーションソフトウェアに転送する
   ことを特徴とする視覚障害者による客体操作が可能なタッチスクリーン装置。
2. 前記仮想キーボードは、所定数のタッチポジションが配列された構造のものであり、画面に視覚的に表示されずにバックグラウンドにおいて動作することを特徴とする、請求項１に記載の視覚障害者による客体操作が可能なタッチスクリーン装置。
3. 前記客体は、前記アプリケーションソフトウェアの構成要素であることを特徴とする、請求項１に記載の視覚障害者による客体操作が可能なタッチスクリーン装置。
4. 前記客体の情報は、前記客体をテキストとして表示した名前、種別および状態を含むことを特徴とする、請求項１に記載の視覚障害者による客体操作が可能なタッチスクリーン装置。
5. タッチスクリーン装置が視覚障害者のタッチを用いて客体を操作する方法において、
   （ａ）起動中のアプリケーションソフトウェアの制御のための仮想キーボードが活性化された状態で、前記仮想キーボードのタッチが感知された場合、前記タッチされた仮想キーボードのタッチポジションに対する位置、タッチ回数及びタッチ時間の情報に基づくキー値を生成して前記起動中のアプリケーションソフトウェアに転送するステップと、
   （ｂ）前記アプリケーションソフトウェアが前記転送されたキー値に基づき動作して前記アプリケーションソフトウェアに含まれている全体客体のうち任意の客体がフォーカスされれば、フッキングメカニズムを用いて前記フォーカスされた客体のテキスト情報を読み込むステップと、
   （ｃ）前記読み込まれた客体のテキスト情報をテキスト音声変換（ＴＴＳ：Ｔｅｘｔ ｔｏ Ｓｐｅｅｃｈ）エンジンを用いて音声データに変換して出力するステップと、
   を含み、
   前記ステップ（ａ）は、
   前記ユーザーにより基準モードのための特定のタッチポジションのタッチが感知された場合、基準モードという音声メッセージを出力しつつ基準モード状態を維持するステップと、
   前記基準モード状態で他のタッチポジションのタッチが感知された場合、前記タッチされた他のタッチポジションのキー値を生成して前記起動中のアプリケーションソフトウェアに転送するステップと、をさらに含む
   ことを特徴とするタッチスクリーン装置における視覚障害者による客体操作方法。

Images