JP5991808B2 - 触覚フィードバック支援によるテキスト操作 - Google Patents

Description

一実施の形態は、概してコンピュータータッチスクリーンに関し、特に、コンピュータータッチスクリーン用の触覚（ハプティック）フィードバックに関する。

タッチスクリーンは、表示領域内でタッチがあったこと及びその位置を検出することができる電子視覚ディスプレイである。「タッチ」は、一般に、デバイスのディスプレイを指又は手で触れることをいう。タッチスクリーンはまた、スタイラス等、他のパッシブオブジェクト（passive object）又はアクティブオブジェクト（active object）を検知することができる。

タッチスクリーンは２つの主な属性を有している。第１に、タッチスクリーンは、人が、マウス又はタッチパッドによって制御されるカーソルにより間接的にではなく、表示されているものと直接やりとりすることができるようにする。第２に、タッチスクリーンは、人がそのようなやりとりを、本来手で保持する必要のある、いかなる中間デバイスも必要とすることなく行えるようにする。タッチスクリーンを、コンピューターに又は端末としてネットワークに取り付けることができる。タッチスクリーンはまた、携帯情報端末（「ＰＤＡ」）、パーソナルメディアプレイヤー（「ＰＭＰ」）、衛星航法装置、携帯電話、及びビデオゲーム等、デジタル装置の設計において大きな役割も果たしている。

タッチスクリーンは、ワードプロセッシング、スプレッドシート等の標準的な「オフィス」アプリケーションを実施するコンピューター又はコンピューター「パッド」とともにますます使用されている。タッチ機能は、これらのアプリケーションのユーザーエクスペリエンスを向上させることができる場合がある。

一実施の形態は、タッチスクリーンに表示されているテキストの操作に応じて触覚効果を生成する該タッチスクリーンを備えたシステムである。本システムは、テキスト内のタッチを検知し、そのタッチがテキストの操作であるか否かを判断し、操作のタイプを特定する。そして、システムは、特定された操作のタイプに少なくとも部分的に基づく、或るタイプの触覚イベントを生成する。

本発明の一実施形態によるデバイスの平面図である。 本発明の一実施形態による触覚フィードバックシステムのブロック図である。 テキスト操作に応じて触覚フィードバックを提供する発明の一実施形態を示す図である。 指が左から右に移動して、単語の量を増やしながら選択／強調表示する際の拡大ウインドウの推移を示す図である。 一実施形態による、テキスト操作に応じて触覚フィードバックを生成する場合の触覚フィードバックモジュールの機能の流れ図である。

一実施形態は、ユーザーのジェスチャに応じて及び／又はテキストの内容に基づいて触覚フィードバック効果を組み込むことにより、ユーザーのテキスト操作を容易にするタッチスクリーンを有するデバイスである。したがって、ユーザーは、テキストのサイズ、タッチスクリーンのサイズ、又はユーザーが自身の人差し指若しくは他の物体の下にあるテキストを見ることができるか否かにかかわらず、より容易にかつ効率的にテキストを操作するとともにテキストとやりとりすることができる。

図１は、本発明の一実施形態によるデバイス５０の平面図である。デバイス５０は、図示するように、ハンドヘルドコンピュータータブレット又はパッドであり、タッチスクリーン５５を有している。しかしながら、デバイス５０を、他の実施形態では、ＰＤＡ、ポータブルメディアプレイヤー、ポータブルゲーム機等を含む、タッチスクリーンを有するいかなるタイプのハンドヘルドデバイスとすることも可能である。デバイス５０は、テキスト５８を生成するアプリケーションを実行し、ユーザーが、指５６又は他の物体を用いてテキスト５８とやりとりし、テキスト５８を操作することができるようにする。やりとりに応じて、デバイス５０は、指５６によって感覚することができる振動の形態とすることができる、触覚フィードバック５４を生成する。デバイス５０はまた、任意選択で、ユーザーが、マウス、タッチパッド等のような他のインターフェースデバイスを用いてテキスト５８を操作するのを可能にすることができる。

テキストの操作は、ユーザーが表示されたテキスト／文字に対して又はそれらに応じて実行することができる任意のタスクを含むことができる。操作の例には、ユーザーがテキストの本文内でカーソルを移動させること、表示されたテキスト中の特定の文字、単語、若しくは行を選択すること、及び表示されたテキストの一部をコピーしてペーストすること、テキストの一部の位置を変更すること、テキストを削除すること、テキストスタイル（例えば、太さ、傾き等）、サイズ、色、若しくは字体（例えばフォント）、順序（例えばアルファベット順リスト）を変更すること、作表、アウトライン、行間、カーニング等を書式設定すること、又は他の動作が挙げられる。

図２は、本発明の一実施形態による触覚フィードバックシステム１０のブロック図である。システム１０は、図１のデバイス５０の一部であり、テキスト操作機能に応じて触覚フィードバックを提供する。システム１０の機能は、単一システムとして示されるが、分散システムとして実施することができる。システム１０は、情報を通信するバス１２又は他の通信機構と、バス１２に結合され情報を処理するプロセッサ２２とを有している。プロセッサ２２を、いかなるタイプの汎用プロセッサ又は専用プロセッサとすることも可能である。システム１０は、更に情報及びプロセッサ２２が実行する命令を格納するメモリ１４を有している。メモリ１４を、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリーメモリ（「ＲＯＭ」）、磁気ディスク若しくは光ディスク等の静的記憶装置、又は他の任意のタイプのコンピューター可読媒体から構成することができる。

コンピューター可読媒体を、プロセッサ２２がアクセスすることができる任意の利用可能な媒体とすることができ、コンピューター可読媒体には、揮発性媒体及び不揮発性媒体の両方、リムーバブル媒体及び非リムーバブル媒体、並びに通信媒体が含まれる。通信媒体は、コンピューター可読命令、データ構造、プログラムモジュール、又は搬送波若しくは他の伝送機構等の変調データ信号での他のデータを含むことができ、任意の情報配信媒体（information delivery media）を含む。

一実施形態では、メモリ１４は、プロセッサ２２によって実行されるときに機能を提供するソフトウェアモジュールを格納する。モジュールは、システム１０のためのオペレーティングシステム機能を提供するオペレーティングシステム１５を、一実施形態におけるデバイス５０の他のものと同様に含む。モジュールは、以下でより詳細に開示するように、テキスト操作を認識し触覚フィードバックを生成する触覚フィードバックモジュール１６を更に含む。システム１０は、通常、モジュール１６にまだ組み込まれていない場合、図１のテキスト５８を生成するワードプロセッシングアプリケーション等の追加の機能を含む１つ又は複数の追加のアプリケーションモジュール１８を有している。

システム１０は、遠隔ソースにデータを送信し及び／又はそこからデータを受信する実施形態では、赤外線、無線、Ｗｉ−Ｆｉ、又は携帯電話ネットワーク通信等のモバイル無線ネットワーク通信を提供する、ネットワークインターフェースカード等の通信デバイス２０を更に有している。他の実施形態では、通信デバイス２０は、イーサネット（登録商標）接続又はモデム等の有線ネットワーク接続を提供する。

プロセッサ２２は、グラフィカル表現又はユーザーインターフェースをユーザーに表示し、ユーザーのタッチを認識するために、バス１２を介してタッチスクリーンディスプレイ２４に更に結合されている。タッチスクリーンディスプレイ２４を、マルチタッチスクリーンを含む任意のタイプのタッチスクリーンとすることができる。

システム１０は、１つ又は複数のアクチュエータ２６を更に有している。プロセッサ２２は、触覚効果又は「触覚イベント」に関連する触覚信号をアクチュエータ２６に送信することができ、それによりアクチュエータ２６は触覚フィードバック／効果を出力する。アクチュエータ２６は、例えば、電気モーター、電磁アクチュエータ、音声コイル、圧電アクチュエータ、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モーター（eccentric rotating mass motor）（「ＥＲＭ」）、又はリニア共振アクチュエータ（linear resonant actuator）（「ＬＲＡ」）とすることができる。図１のデバイス５０の場合、アクチュエータ２６は、タッチスクリーン５５若しくはデバイス５０のハウジングに結合されか、又はデバイス５０から遠隔に配置されうるが、依然としてユーザーによってアクセス可能とすることができる。例えば、プロセッサ２２からの信号によって生成される触覚フィードバックを、ユーザーの遠隔電話又は時計に「表示する」か又はそこで感知することができる。

一実施形態では、ユーザーがテキストを横切って指をドラッグすると、１つ又は複数のタイプの触覚フィードバックが、ユーザーに対して、テキストに対する指の位置に関する情報を提供することができる。一実施形態では、触覚フィードバックは、アクチュエータによって生成される振動であり、振動の振幅及び／若しくは周波数を変更するか、又は個々の触覚イベントの持続時間を変更することにより、種々のタイプの触覚フィードバック、又はユーザーによって識別可能な種々の触覚フィードバック「イベント」を生成することができる。いくつかの実施形態では、触覚フィードバックとともに、通常、ユーザーの指によって視覚的に遮られるカーソルの位置を見つけることができるように、テキストが拡大される。

図３は、テキスト操作に応じて触覚フィードバックを提供する発明の一実施形態を示す。図３に示すように、指５６が、タッチスクリーン５５にタッチすることによりテキスト５８の一部を選択する。図３の実施形態では、指５６によって覆われるテキスト（すなわち、「back' with un」）を表示するために、拡大ウインドウ７０が生成される。ユーザーが最初にテキスト５８にタッチしたときに、カーソルの初期位置を示す「ハンドル」７８が表示される。指５６がハンドル７８から右又は左にスライドすると、テキストのその部分が強調表示され（強調表示７４）、ユーザーがテキストのその部分を選択していることが示される。指５６がテキスト５８を横切ってスライドする時、異なる触覚イベントが、例えば、指５６がテキスト文字を覆っているか又は文字間若しくは単語間のスペースにあることを示す指標を生成している。

図４は、指５６が左から右に移動し、単語の量を増やしながら選択／強調表示する際の拡大ウインドウ７０の推移を示す。図示するように、ウインドウ７０は、指５６がテキスト５８の種々の単語を遮るに従い、「ch back' with」の表示から「back' with un」の表示へ、さらに「for an ever-gr」の表示へ推移する。

指５６がテキスト５８を横切ってタッチするか又はスライドするに従い、指５６の位置、テキストの内容等に応じて、種々の触覚イベントを生成することができる。例えば、文字が選択される場合、特定の触覚フィードバックイベントが生成される。一意の文字を一意の触覚イベントに関連付けることができる。文字群を触覚イベント群に関連付けることができる。さらに、完全な単語が選択される場合、異なる触覚イベントが生成される。完全な単語の選択を、選択されたスペースを探すことにより、又は他の手段により達成することができる。さらに、行が選択される場合、異なる触覚イベントが生成される。行の選択を、選択された改行文字を探すことにより、又は他の手段により達成することができる。またさらに、段落が選択される場合、異なる触覚イベントが生成される。段落の選択を、選択された段落区切り文字を探すことにより、又は他の手段より達成することができる。

さらに、触覚イベントを、選択された項目の最後に生成することができる。例えば、単語、文、又は段落が選択される場合、その単語、文、又は段落の最後に達すると、触覚イベントが生成される。この生成は、ジェスチャの方向によって決めることができ、そのため、例えば単語の場合、当該方向が左から右である場合は、最後の文字に達したときに触覚イベントが生成され、当該方向が右から左である場合は、最初の文字に達したときに触覚イベントが生成される（テキストが左から右に読まれるように意図されているものとする）。

一実施形態では、触覚イベントのタイプが、速度等、他のジェスチャのパラメーターによって影響を受ける場合がある。例えば、高速なジェスチャにより、低速なジェスチャのときに通常発生する触覚イベントのうちのいくつかを取り除くことができる。したがって、ユーザーがテキストを横切って指を低速に移動させている場合、触覚フィードバックは、文字間のスペースに遭遇したときに触覚イベントのタイプを変更することによって、ユーザーが各文字を感知するのを可能にすることができる。一方、ユーザーがテキストを横切って指をより迅速に移動させている場合、触覚フィードバックは、単語間のスペースに遭遇したときに触覚イベントのタイプを変更することによって、ユーザーが文字ではなく各個々の単語を感知することを可能にすることができる。速度の他の変形形態により、例えば、文又は段落を触覚イベントによって識別することができる。

図５は、一実施形態による、テキスト操作に応じて触覚フィードバックを生成するときの触覚フィードバックモジュール１６の機能のフローチャートである。一実施形態では、図５のフローチャートの機能は、メモリ若しくは他のコンピューター可読媒体又は有形の媒体に格納され、プロセッサによって実行されるソフトウェアによって実施される。他の実施形態では、機能を、ハードウェアにより（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）等を使用することによって）、又はハードウェア及びソフトウェアの任意の組合せによって実行することができる。

５０２において、モジュール１６は、図１のタッチスクリーン５５等のディスプレイにおいて、生成されたテキスト又は文字内でのジェスチャを検出する。「テキスト」は、アプリケーションによって生成される任意のタイプの文字、又はデータベースクエリ若しくは他の発生の結果として表示されるデータとすることができる。概して、テキストは、動的に生成され、より静的な入力コントロール、又はテキスト若しくはデータを制御若しくは変更するために用いられる他のタイプのユーザーインターフェースとは異なる。大部分の実施形態では、テキストは、ＵＩコントロール及び他の非テキスト領域から分離されているディスプレイの領域に表示される。

５０４において、ジェスチャが、ユーザーの指又は他の物体がテキストに接触したものであると判断された場合、モジュール１６は、ユーザーが、テキストを選択しようとしているか、又はテキスト内にカーソルを配置しようとしているか、又は他の方法でテキストを操作するように試みているかを判断する。

５０４においてＹＥＳ（はい）である場合、５０６において、テキスト選択又はカーソル挿入のタイプに基づいて、触覚フィードバックイベントが検索及び／又は生成される。例えば、文字が選択されているか、単語が選択されているか、行が選択されているか、又は段落が選択されているかに応じて、異なる触覚イベントを生成することができる。

触覚イベントを、選択中ではなくカーソルがテキスト内で移動しているときに提供することができる。カーソル配置を、区別するために選択とは異なる感覚とするか、又はユーザーエクスペリエンスの一貫性を重視するために同じ感覚とすることができる。

一実施形態では、テキストの種々の部分に適用する種々の触覚イベントを判断するインテリジェントテキスト処理（intelligent text processing）を用いて、触覚フィードバックを、選択が発生しているときの他の「関心点」において提供することも可能である。例えば、ユーザーが連絡先の名前、又は電話番号であると認識される一続きの番号を選択するときに、触覚効果を再生することができる。例えば、電子メール等のテキストには、アドレスが埋め込まれている可能性がある。アドレスは、ユーザーがタッチしたときに一意の触覚効果を生成することができ、そのため、テキストの残りのものから容易に識別することができる。したがって、ユーザーは、触覚フィードバックによって支援されてテキストアドレスを選択し、例えば、別のアプリケーションにアドレスをペーストすることができる。

触覚効果を、テキストの意味的内容（semantic context）に基づいて生成することができる。例えば、テキストが、所与の知識領域内の概念、用語及び関係の形式的記述により、意味的に（semantically）処理されるか又は注釈付けされる場合、これらの注釈は触覚効果を生成することができる。

触覚イベントは、選択されたテキストに対して行われるべき動作の可用性を示すことができる。例えば、或る触覚フィードバック効果を、選択されたテキストに「ペースト」コマンドを適用可能な場合又はその逆の場合に、生成することができる。さらに、カット、コピー、ペースト、挿入等のような、他のテキスト選択／操作機能が各々、一意の触覚効果を有することができ、それらを選択に関連付けることができる。例えば、「ペースト」に関連する触覚効果は、ペーストされているテキストの量とともに変化する強さを有することができる。ペースト効果の強さは、選択される個々の文字各々によって生成される触覚強さの合計を反映したものとすることができる。

実施形態は「テキスト」を例示するが、他の実施形態では、ユーザーが画面でのジェスチャによって選択したいと望む可能性がある、アイコン、画像、又は画面上に表示される他の仮想オブジェクト／ユーザーインターフェース（「ＵＩ」）オブジェクトを含む、ＵＩ要素又は他のタイプの「オブジェクト」の選択の操作を検出することができる。例えば、前景セクション及び背景セクションを有する画像が表示される場合、ユーザーの指が前景から背景に移動する際に触覚イベントを生成することができる。さらに、複数のアイコンが表示される場合、ユーザーがアイコン間で移動する際に触覚効果を変更することができる。

開示するように、実施形態は、ユーザーがテキスト、他のタイプの文字、又は他の情報を操作する際に、さまざまな触覚イベントを生成する。さまざまな触覚イベントは、ユーザーが、テキストのコピー及びペースト、テキストの選択、テキスト内のカーソル挿入等のようなやりとりを実行するのを助ける。

本明細書では、いくつかの実施形態を具体的に説明及び／又は記載している。しかしながら、開示した実施形態の変更及び変形は、本発明の趣旨及び意図された範囲から逸脱することなく、上記教示により及び添付の特許請求の範囲の範囲内に包含されることが理解されよう。

例えば、振動に基づく触覚イベントの代りに、ディスプレイを多様な（polymorphic）表面（すなわち、変形可能なサーフェイスアクチュエータ（surface actuator））で形成することができ、それにより、触覚効果を、振動以外の画面の表面に対する静的な変化、又は摩擦の変化とすることができる。さらに、振動の代りに、力又は電気触覚刺激を用いることができる。

Claims (15)

1. プロセッサによって実行されると、該プロセッサに対してタッチスクリーンを備えたデバイスで触覚フィードバックを提供させる、命令が格納されているコンピューター可読媒体であって、前記触覚フィードバックは、
   複数の文字を含む生成されたテキストを表示すること、
   物体による、前記生成されたテキスト内でのタッチを検知すること、
   行われ得る複数の異なるタイプの操作のうちから操作のタイプを特定することであって、前記生成されたテキストの操作は前記生成されたテキスト上で前記タッチを用いてタスクを実行することを含み、該タスクは前記生成されたテキストを横切って前記物体をスライドさせ、該スライドによって前記生成されたテキストのうちの少なくとも１つの前記文字を移動させることを含む、操作のタイプを特定すること、及び
   前記物体が前記生成されたテキストを横切ってスライドさせられ、前記タスクを実行している間に、少なくとも部分的に前記操作の前記タイプに基づいて、或るタイプの触覚イベントを生成することであって、前記触覚イベントは前記スライドの間に前記物体に適用される前記触覚フィードバックを生成する、触覚イベントを生成すること、
   を含む、コンピューター可読媒体。
2. 前記操作のタイプは、前記テキストの選択、前記テキスト内のカーソルの挿入若しくは位置決め、前記テキストのコピー、前記テキストの移動、又は前記テキストのペーストのうちの少なくとも１つを含む、請求項１に記載のコンピューター可読媒体。
3. 前記テキストの前記選択は、文字を選択すること、単語を選択すること、文を選択すること、又は段落を選択することのうちの１つを含み、第１の触覚イベントが、前記文字、前記単語、前記文、又は前記段落の各々に対して生成される、請求項２に記載のコンピューター可読媒体。
4. 複数のタイプの触覚イベントが、振動の振幅、持続時間、又は周波数のうちの１つ又は複数を変更することによって生成される、請求項１に記載のコンピューター可読媒体。
5. 触覚イベントの前記タイプは、少なくとも前記スライドの速度に基づく、請求項１に記載のコンピューター可読媒体。
6. 前記速度が第１の大きさである場合、第１のタイプの触覚イベントが個々の文字の感覚を提供し、前記速度が、前記第１の大きさよりも大きい第２の大きさである場合、第２のタイプの触覚イベントが個々の単語の感覚を提供する、請求項５に記載のコンピューター可読媒体。
7. 前記操作のタイプを特定することは、前記テキストの中の関心点がタッチされているか否か判断することを含み、該関心点は、連絡先の名前、電話番号、又はアドレスのうちの少なくとも１つを含む、請求項１に記載のコンピューター可読媒体。
8. 前記或るタイプの触覚イベントは、少なくとも、前記選択されたテキストに対する動作の可用性に基づき、該動作の可用性は、カット、コピー、ペースト又は挿入のうちの少なくとも１つを含む、請求項２に記載のコンピューター可読媒体。
9. 前記ペーストの可用性に応じて生成される前記触覚イベントは、選択されたテキストの量に基づく強さを有する、請求項８に記載のコンピューター可読媒体。
10. 背景及び前景を有する画像内での第２のタッチを検知することであって、該第２のタッチが前記前景から前記背景に横断する、検知すること、
    前記第２のタッチが前記背景まで移動するときに触覚イベントを生成すること、
    を更に含む、請求項１に記載のコンピューター可読媒体。
11. 複数のタイプの触覚イベントが、振動、表面の局所的変形、又は摩擦の変化のうちの少なくとも１つによって生成される、請求項１に記載のコンピューター可読媒体。
12. タッチスクリーンを備えたデバイスで触覚フィードバックを提供するコンピューター実施方法であって、
    複数の文字を含む生成されたテキストを表示すること、
    物体による、前記生成されたテキスト内でのタッチを検知すること、
    行われ得る複数の異なるタイプの操作のうちから操作のタイプを特定することであって、前記生成されたテキストの操作は前記生成されたテキスト上で前記タッチを用いてタスクを実行することを含み、該タスクは前記生成されたテキストを横切って前記物体をスライドさせ、該スライドによって前記生成されたテキストのうちの少なくとも１つの前記文字を移動させることを含む、操作のタイプを特定すること、及び
    前記物体が前記生成されたテキストを横切ってスライドさせられ、前記タスクを実行している間に、少なくとも部分的に前記操作の前記タイプに基づいて、或るタイプの触覚イベントを生成することであって、前記触覚イベントは前記スライドの間に前記物体に適用される前記触覚フィードバックを生成する、触覚イベントを生成すること、
    を含む、コンピューター実施方法。
13. 前記操作のタイプは、前記テキストの選択、前記テキスト内のカーソルの挿入、又は前記テキストのコピー、前記テキストの移動、及び前記テキストのペーストのうちの少なくとも１つを含む、請求項１２に記載の方法。
14. 前記テキストの前記選択は、文字を選択すること、単語を選択すること、文を選択すること、又は段落を選択することのうちの１つを含み、異なるタイプの触覚イベントが、前記文字、前記単語、前記文、及び前記段落の各々に対して生成される、請求項１３に記載の方法。
15. 装置であって、
    プロセッサと、
    前記プロセッサに結合され、命令を格納するメモリと、
    前記プロセッサに結合されたタッチスクリーンと、
    前記プロセッサに結合されたアクチュエータと、
    を具備し、
    前記命令が、前記プロセッサによって実行されると、該装置に対し、
    複数の文字を含む生成されたテキストを表示させ、
    物体による、前記生成されたテキスト内でのタッチを検知させ、
    行われ得る複数の異なるタイプの操作のうちから操作のタイプを特定させ、前記生成されたテキストの操作は前記生成されたテキスト上で前記タッチを用いてタスクを実行することを含み、該タスクは前記生成されたテキストを横切って前記物体をスライドさせ、該スライドによって前記生成されたテキストのうちの少なくとも１つの前記文字を移動させることを含み、かつ
    前記物体が前記生成されたテキストを横切ってスライドさせられ、前記タスクを実行している間に、少なくとも部分的に前記操作の前記タイプに基づいて、或るタイプの触覚イベントを生成させ、前記触覚イベントは前記スライドの間に前記物体に適用される前記触覚フィードバックを生成する、装置。