JP2000517445A - タッチ画面装置及び方法 - Google Patents

Abstract

(57)【要約】 本発明の実施形態による画面周辺システムは、主画像を生成する為の計算装置と、使用者の目に見える合成画像１１０を生成かつ表示する為のタッチパネル入力装置１０５とを含む。該合成画像１１０は、入力機能を起動させる少なくとも一つのキー、例えば、QWERTYキーボードの表示と、計算装置によって提供された主画像とを含む。該キーボード表示１０５は、望ましくは、主画像上に重ねて表示される。一実施形態によれば、該主画像は、計算装置によって実行されるアプリケーションによって生成される出力画像である。その他のタッチ画面システムや方法も開示される。

Description

【発明の詳細な説明】 タッチ画面装置及び方法 技術分野 本発明は、タッチパネル入出力装置に関し、特に、背景画像に重畳されたキー 入力画像を同時に表示することができるタッチ画面に関する。本発明はまたタッ チパネル入出力装置の他の特徴に関する。本発明の実施形態は、装着可能な計算 装置及び環境に特別な用途を有するが、非装着可能な実施形態も勿論考慮されて いる。 背景技術 当該分野では、タッチパネル入力表示装置に於いて、コンピュータ上で実行さ れるアプリケーションから出力される画像にキーボード、即ち仮想キーボードを 重畳することが知られている。例えば、その全てがここに参考文献として組み入 れられているオーレット他に特許されている米国特許番号5,581,243は、下に走 るアプリケーションの出力画像を遮蔽することなくタッチパネル表示装置上に仮 想キーボードを表示するシステムを記述している。出力画像は、第一の期間に於 いて、所定の持続期間、第一の輝度放射強度で生成表示される。仮想キーボード 画像は、より短い第二の期間に於いて、所定の持続期間、より低い第二の輝度放 射強度で生成表示される。キーボードと出力画像とは交互に生成され、両画像が 連続して表示されている様な錯覚を起こさせる様に、各々が表示されている時間 が制御される。 しかしながら、オーレット他で記述されるシステムには、多くの不都合がある と思われる。第一に、参考文献が開示する様に、アプリケーションとキーボード 画面間の点滅が、連続的に表示されたアプリケーション出力(又はキーボード)画 像に比べて、達成可能なリフレッシュレートを大幅に低下させるであろうと思わ れる。この低下は、見る者にかなりの害を与える可能性があり、表示された物の 特徴を見分けるに際して混乱を生じさせる可能性もある。第二に、キーボード とアプリケーション出力を交互に表示するには、適当な機能を備えたハードウエ ア、例えば、画面間で切換表示を行う為の第二フレームバッファーが必要である 。更に、これはオーレット他では開示されても熟考されてもいないのであるが、 オーレットの装置を無線送信（例えば高周波）環境、例えば装着可能なコンピュ ータ環境で用いるには、例えば無線送信される情報の二倍の情報を必要とし、従 って必要な帯域幅を大幅に拡大することになろう。 発明の開示 上記及び他の不都合を克服するために、本発明の一実施形態によれば、画面周 辺システムは、主画像を生成する為の計算装置と、使用者の目に見える合成画像 を生成かつ表示する為のタッチパネル入力装置とを含む。該合成画像は、入力機 能を起動させる少なくとも一つのキー、例えば、QWERTYキーボードの表示と、計 算装置によって提供された主画像とを含む。該キーボード表示は、望ましくは主 画像上に重ねて表示される。 該システムは、キーボードの表示と主画像を形成する為に、可変画素制御を行 い、それによりキーボードの表示を形成する為に選択された画素と主画像を形成 する為に選択された画素とを相互依存させる。換言すれば、キーボード表示画素 は、主画像画素からは独立していない。一実施形態によれば、該主画像は、計算 装置によって実行されるアプリケーションによって生成される出力画像である。 本発明に関連する様々な画像調整、モード切換、ズームアップ/ズームダウン 及び他の実施形態も勿論、対応する方法として説明されている。 本発明の実施形態は、ViA，Inc.やNorthfield，MNから入手可能な装着可能な 計算装置に向けての特別な用途を持っている。ここに各々参考文献として組み入 れられている以下の米国特許、即ち、5,581,492;5,572,401;5,555,490;5,491,65 1;及び5,285,398を参照されるとよいが、それらは全てViA，Inc.の所有である。 図面の簡単な説明 本発明の実施形態を図面を参照して説明するが、図中、同じ番号は同じ要素を 表す。 図１は、本発明の一実施形態による装着可能な計算装置環境の斜視図である。 図２は、本発明の一実施形態によるキーボード表示を示す。 図３は、本発明の一実施形態による主画像を示す。 図４は、本発明の一実施形態による合成画像を示す。 図５は、本発明の一実施形態による第二の合成画像を示す。 図６は、本発明の一実施形態による操作過程を示すフローチャートである。 図７は、縮小したキーボードを示す。 図８は、本発明の一実施形態によるタッチ画面を示す。 図９乃至１３は、本発明の一実施形態による取っ手を持つタッチ画面を示す。 好ましい実施形態の詳細な説明 本発明の実施形態は、多くの計算機環境に於いて広い用途を持っている。上記 した様に、本発明は、特に装着可能な計算機環境に適用でき、可搬性や小型であ ることは、基本的に考慮されている。本発明も、多くの異なった入出力装置に適 用可能である。例えば、本発明の実施形態は、一つ又はそれ以上の「キー」、「ボ タン」、「タッチ領域」等を有する完全な、部分的な、縮小したキーの、英数字 、或いは非英数字のキーボード等の入出力装置を考慮に入れている。本発明はま た、使用者が手、例えば指で直接触れることを要求する画面だけではなく、使用 者が起動されるべきキーを手で又は音声で指示する多くの入力方法を考慮に入れ ている。本発明の実施形態に包含された機能性の中に、近接、ペンそして声に基 づく入力がある。従って、特定の実施形態が、タッチ画面、キーボード、接触入 力に関して記述されているが、本発明は、それらを必要とはしているものの、必 ずしもそれら特定の実施形態に制限されず、より広い解釈を意図していることを 明記しておく。 更に、本発明の実施形態によれば、様々な画像を組み合わせ又は重畳すること ができる。第一の実施形態では、重畳された画像は、少なくとも１つのキー、例 えばキーボードである。背景画像は、計算装置によって実行される、例えば、グ ラフィックス、スプレッドシート、ワープロ等、個人、商業、軍事、社会奉仕 分野その他の分野で使用されるアプリケーションによって出力される。しかしな がら、背景画像や重畳画像は他の型であってもよく、例えば、背景画像又は両方 の画像が、本質的にアプリケーションプログラムの代わりに、システムに関連す るプロセッサか記憶装置によって提供されてもよい。異なったサイズの要素を持 つ合成画像を提供する為に、片方又は両方の画像を拡大又は縮小することができ る。また本発明によれば、同様に二つ以上の画像を一体化することができ、アプ リケーション、キーボードその他の画像の組合せを合成画像として一体化するこ とができる。従って、特定の実施形態が、アプリケーション出力画像、キーボー ド等に関して記述されているが、本発明は、それらを必要とはしているものの、 必ずしもそれら特定の実施形態に制限されず、より広い解釈を意図していること を明記しておく。 本発明の実施形態によるタッチ画面キーボードオーバレイは、関連する個人用 計算装置、例えば装着可能なパーソナルコンピュータの使用者によって選択的に オン／オフすることができる。キーボードの表示は、後で説明するが、タッチ画 面上の主画像に重ねられていて、主画像は主ソフトウェアアプリケーションに関 連して形成されるのが好ましい。本発明のキーボードオーバレイは、物理的なキ ーボードや、例えばタッチキーボードを下側に置き、主画面を残りの上側に詰め 込んだ様な分割画面を必要としていない。本発明のキーボードオーバレイはまた 、重畳画像キーボードが、アプリケーション出力画像の重要な部分と同じディス プレイ画面部分を占領する際に起きる空間対立問題を減少及び／又は除去する。 本発明のキーボードオーバレイは、非常に小さい画面に特に有利である。何故 なら、比較的大きくアクセス可能なオーバレイ「ボタン」(キー)が設けられていて 、同時にキーボードの後ろで全てのデータを見ることができるからである。 本発明の実施形態は、声に基づく入力が望ましくない状況で特に有利である。 音声認識技術はかなり進歩してきているが、それはまだ言葉による入力を必要と していて、例えば会合の席では破壊的な行動たり得る。言葉による入力はまた、 話者の発する音が届く範囲の人の全てに、取っている最中のノート等の内容を発 表してしまう可能性を持っている。本発明の実施形態によれば、従って、使用者 は完全な沈黙を保ったまま機械に直接入力するのである。尚、声に基づく入力が 望ましい場合も多いので、音声入力とキーボードオーバレイ入力との間の切り換 えも勿論オプションとして考慮されている。これは、タッチ画面の側か反対側の 表面、又は関連装置に設けられた物理的なボタン又はキーによって、もしくは画 面自体のタッチパネル部分の仮想ボタン又はキー、或いは声によって起動させる ことができる。 本発明の実施形態によるキーボードオーバレイは、様々な形態をとることがで きる。例えば、各々のキーの外形を表した実線又は破線/点線オーバレイが考え られる。或いは、使用者が選べる様に選択的に、各キーを点又は、ｘの並びや点 等のマーカーで区切られた区間の文字領域ゾーンとして表すことができる。理想 的には、キーボードの表示を標準画面にぼんやり映し、その結果それと主プログ ラムからのデータ/画像を同時に見ることができる様にする。以下に詳述する様 に、キーボード表示の濃度、輝度、及び／又はドット配置を変化させる可変画素 制御が設けられる。多くの場合、キーボードオーバレイは極度にぼかすことがで きる。 キーボード自体の文字、例えば、各キーや領域と関連した文字は、例えば使用 者がキーボード配置を記憶したならば、オフにすることができる。キーボードは 、各キーや領域の表示を見ないでタイプ打ちできる使用者にとっては、全く見え ない状態で起動させることができる。 キーボードと主画面との間でコントラストを調整する為に、コントラスト調整 ボタンが配慮されていて、望ましくはタッチ画面自体の上に表示されるが、タッ チ画面の筐体の上に表示されてもよい。キーボードオンオフボタンも配慮されて いる。また、これらの特徴を音声で制御することができる。可変画素制御 本発明の実施形態によれば、タッチ画面のどの画素をキーボード表示に用い、 どの画素を主画面表示に用いるかを決定かつ制御する為の、ソフトウェアに基づ いた可変画素制御が設けられている。画面の各画素が百パーセント、キーボード か主画像のどちらかに与えられる場合もある。また、タッチ画面の画素は、「混 合」効果を生む為に、キーボードと主画像の両方に与えられる場合もあり、それ は後で説明する。 本発明による、仮想キーボードの画像と正規出力画像とのディスプレイ上での 併合は、様々な方法やプログラミング手法で実現できる。しかしながら、現在の 大抵のビデオグラフィックスコントローラを用いれば、ビットブロックもしくは ビットブロック型転送動作、即ちビットビルト動作を用いて画像の併合を高効率 で行うことができると考えられる。 ビットビルト動作は、ラスタベースのディスプレイ装置に於いて、三組の画素 の論理的組み合わせの効率的な方法を提供する。本発明の実施形態によれば、ビ ットビルト動作は、以下の三組の画素を用いて行われる。 (1)ディスプレイ上の本来の画素、即ち仮想キーボードが無い場合に表示 される画像 (2)仮想キーボードの画像を表す画素 (3)画像マスクであり、それの仮想キーボード内の画素と本来のディスプ レイ画素との合併を制御することが可能 ビットビルト動作を使用して、様々な効果を使って仮想キーボードをディスプ レイと一体化することができる。以下のテーブルに、実行可能な動作をまとめて ある。 ここに記述される論理演算は、望ましくは、それぞれ異なった混合か併合効果 を有する。それらの内いくつかは実質的な効果がなく、例えばそれらはただ送出 先に情報源を複写するか又は０か１でただ満たしているだけであり、情報源や送 出先が持つものについては知らないのであって、これらの動作の大部分は、キー ボード画像とアプリケーション出力画像とをいかにして絡み合わせるかを決定す る為に用いることができる。また、例えば、他の画像に対して一つの画像の粗さ /強度といったさらに大きな視覚効果を生む為に、様々な論理演算を必要に応じ て一体化することができる。 本発明に従って考えられる絡み合わせの無数の可能性の中の二つの例を説明す る。第一の例では、キーボードは、キーボードを表す画素の２５％と本来の表示 画像を表す画素の７５％とを用いて、本来のディスプレイアプリケーション出力 画像と混合される。第二の例では、最終的な合成表示画像の各画素が両方の画像 からの貢献を受けている状態で、二つの画像が混合される。第二の例では、合成 実現画像が、例えば本来の画像からの混合された影像として現れる。両方の例に ついては、一実施形態によれば、コンピュータシステムのグラフィックスコント ローラが８ビットのビット平面を使用していると想定しているが、それは大半の パーソナルコンピュータが画素あたり２５６色をサポートしていることによる。 もちろんこれらの例は、当業者にとって、現行及び将来のグラフィックスコント ローラやビット平面等の使用には容易に適応可能であろう。 第一の例では、キーボードを表す画素の２５％と本来の表示画像を表す画素の ７５％を用いてキーボードはディスプレイと混合されているが、各表示の更新は 、三段階で行われるのが好ましい。第一段階では、キーボード画像の非可視の部 分を取り除く、即ち、キーボード画像の７５％を除去する。第二段階では、主画 像の非可視の部分を取り除く、即ち、主表示画像の２５％を除去する。第三段階 では、これら二つの画像を併合する。以下の擬似コードは、この例に従って使用 される関連処理の一実施形態を示す。 第一の例では、パフォーマンスを理由に、最初のビットビルトを初期化で一度 実行して、次に将来の表示更新での再使用の為に格納することができる。本質的 に、その処理は、二つの画像から、使用者に表示される単一の最終的な合成画像 に必要とされない画素を除去する。この様に、どちらの画像も重複する画素を含 んでいない。従って、一体化された画像では、各画素は１００％キーボードかデ ィスプレイのどちらかに関与していて、他者からの関与は０％である。 第二の例では、一実施形態によれば、二つの画像は単一のビットビルトを使用 して論理的に一体化される。以下の擬似コードはこの例に従って使用される関連 処理の一つの実施形態を示す。 本発明の現在の実施形態は、能力的な理由で、以下を想定する。即ち、本発明 の実施形態は、通常利用可能なオペレーティングシステムに向けたものであって 、各アプリケーションがそれ自身の制御スレッドを有するマルチタスクをサポー トし、ウィンドウスを各タスクの視覚表示として使用するグラフィカルユーザー インターフェースを考慮している。そのようなオペレーティングシステムの例と しては、マイクロソフトウィンドウス９５，マイクロソフトウィンドウスＮＴ、 ＳＣＯユニックス、及びサンのソラリスオペレーティングシステムなどがある。 本発明の実施形態はまた、典型的なビデオグラフィックスコントローラ、ビット ブロック転送(ビットビルト)動作をサポートするもの、プロセッサメモリと映 像メモリ間のＤＭＡ転送に向けたものである。例えば、チップス＆テクノロジー ズ、Ｓ３、ネオマジック、トライデント、その他の会社のグラフィックスコント ローラが全てこれらの動作をサポートしている。 ハードウェアとソフトウェア技術が徐々に発展するのであるから、本発明の実 施形態は、これらの想定に必ずしも依存せずに使用可能とするべきではある。現 在でも、本発明によれば、上記以外の環境での実施も配慮されてはいるが、そう した環境のいくつかに於ける実施では、より複雑で、より遅い操作を余儀なくさ れるかもしれない。 従って、本発明の実施形態、例えば図１乃至５で示されるように、本発明の一 実施形態による画面周辺システム５は、例えばソフトウェアアプリケーションを 実行する為の計算装置１０と、画面周辺システム５の使用者２０にとって目に見 える合成画像を生成かつ表示するタッチパネル入力装置１５とを含む。一実施形 態によれば、その合成画像は、入力機能、例えばキーボード入力機能を起動させ る為の少なくとも一つのキー表示を含む。その合成画像はもちろん主表示画像、 例えば計算装置１０によって実行されているソフトウェアアプリケーションによ って生成された出力画像を含む。少なくとも一つのキー表示は、ソフトウェアア プリケーションによって生成された主画像の上に重ねて置かれる。 図１は、前記した様に、本発明の実施形態に特にふさわしい装着可能な計算機 環境にある画面周辺システム５を示している。本発明の実施形態は、小型で、低 出力で、高帯域なボディＬＡＮ型のシステムであり、使用者が近接して選択制御 することができる。そのようなシステムに於いて、タッチパネル入力装置１５が 有線又は無線のいずれかで計算装置１０、及び／又は他の装置／システム、例え ばＬＡＮ、ＷＡＮ等と通信している。有線又は無線通信の実施形態も、もちろん 非装着計算装置と同様に考慮している。例えば開示した入力装置と装着可能な又 は他のコンピュータ間、又はそのシステムの他の機器間に於ける光ファイバー、 電気、赤外線、その他のデータ伝送手法が考慮されている。本発明の実施形態は 、タブレット型のタッチ画面と、他の小さく容易に携帯可能な/ポケットに入れ られる入出力装置で特に有用である。 本発明の実施形態はまた、高視線型及び／又は身体に装着するディスプレイ装 置、例えば二画面ステレオディスプレイとともに使用することができる。本発明 に係るキーボードオーバレイ、好ましくは音声で起動させる及び／又は音声制御 されたオーバレイがディスプレイ上に現れ、使用者が下を見ることなくデータ入 力することができる。 画面周辺システム５は、少なくとも一つのキー表示と出力画像を形成する為に 、可変画素制御を、例えば前記した様に実施する。可変画素制御は、少なくとも 一つのキー表示の形成に使われる画素と出力画像の形成に使われる画素とを、例 えば前記した様に直接相互依存させる。換言すれば、前記したオーレットの参考 文献とは異なり、画像を表すのに選択された画素は独立していない。 可変画素制御は、少なくとも一つのキー表示と、ソフトウェアアプリケーショ ンによって生成された出力画像との間のコントラスト調整を行うことができる。 そのコントラスト調整は、少なくとも一つのキー表示の濃度、輝度、及びドット 配置の中の少なくとも一つを変化させることもできる。 上記した様に、計算装置５の一例は、少なくとも一つのキーの全表示の画素の Ｘ％を除去するが、Ｘ％とは、キーボードが合成画像の内で非可視になる部分を 表す。前記した第一の例ではＸ＝７５であるが、Ｘは個別のディスプレイや目的 に合う様に、様々な値をとることができる。計算装置５は、全主画像の画素の(1 00-Ｘ)％、例えば前記した様に２５％を除去する。ここで、(100-Ｘ)％とは、ア プリケーション出力画像が合成画像の内で非可視になる部分を表す。計算装置５ は、該画素除去されたキー表示を該画素除去された主画像に併合させて合成画像 を形成する。その代わりに及び／又はそれに加えて、前記した第二の例の様に、 合成画像は、少なくとも一つのキー表示と主画像の混合影像を含むこともできる 。計算装置５は、一実施形態によれば、上記少なくとも一つのキー表示と上記主 画像の画素混合を制御することによって上記混合影像の明暗を制御することがで きる。合成画像の画素、例えば合成画像のキーボード部分の暗さを変えることに よって、キーボードが他の画像から「すり抜けて」出現するようにすることができ る。こうして、キーボードは主画像から適当な画素を「盗み出し」及び／又は選択 された異なった方法でそれらに陰影をつけ、キーボード画像を生成する。 当業者がこの開示を読めば、上記装置やシステムに対応する方法は、本発明に よって考慮されよう。 図２乃至５は、本発明の実施形態によるサンプル画像と合成画面を示す。図２ は少なくとも一つのキー表示を示すが、この例では、いくつかの機能/オプショ ンキー/ボタンを有する完全なQWERTYキーボードである。図３は、計算装置によ って生成される主画像を示す。また図３は、主画像が、計算装置のプロセッサか 他の要素によって実行されている一つ又は複数のアプリケーションの一つ又は複 数の画像であると理解されるべきである。図４は上記第一の例に係る合成画像を 示し、図５は上記第二の例に係る合成画像を示す。 図６は本発明の実施形態に係るフローチャートを示し、仮想キーボードが通常 のディスプレイ上に重ねて配置される様にする一般的な処理を示す。この処理に よって、表示された情報の残部と仮想キーボード画像の釣り合いを維持する。 開始ステップ１００の後、仮想キーボード画像がステップ１０５で生成される 。キーボードは、ステップ１１０で現在の表示にオーバレイするように描かれ、 次にステップ１１５で事象待ちの状態となる。ステップ１２０でタッチ事象が起 こされると、タッチされた仮想キーはステップ１２５で決定され、そのキーボー ド事象はステップ１３０で現在のタスク/ウィンドウに送られる。そして、ステ ップ１１５で次の事象待ちの状態となる。 ステップ１２０で何のタッチ事象もなされないならば、ステップ１３５で、関 係するウィンドウが再描画されているかを判断する。そうであれば、画面再描画 の領域がステップ１４０で決定され、次に画面再描画の領域がキーボード画像に 重ねられているかどうかがステップ１４５で決定される。そうでなければ、ステ ップ１１５で次の事象待ちの状態となる。そうであるなら、キーボードは、ステ ップ１１０で現在の表示にオーバレイするように（再）描画される。また、ウィ ンドウが削除されるかどうかをステップ１５０で決定し、ウィンドウを作成する かどうかをステップ１５５で決定する。答が肯定ならば、ステップ１４０、１４ ５及び１１０又は１１５が上記した様に行われる。答が否定ならば、ステップ１ １５で（依然として）次の事象待ちとなる。モード切り換え 一実施形態によれば、もしキー又はボタン表示が設定時間、例えば１秒間「押 される」と、カーソルが押されたキーの先に現れ、キーボード（オプション）の 残部は消える。タッチ画面に沿って指をドラッグすることによって、使用者はカ ーソルを所望の場所まで動かすことができる。一実施形態によれば、カーソルモ ードに入ると、多くの新しいキー/ボタン（又は上記した様にその表示）、例え ばカット、ペースト、コピー、デリート、及び／又はホールドボタンが画面の側 面に現れる。画面上、例えば画面の角に、使用者の親指によってアクセスされる マウスボタンを適切に置くことも考えられる。使用者の親指によってアクセス可 能な画面用の便利な保持機構を以下に示す。 使用に際して、使用者は所望の時間キーボードオーバレイ上でタイプ打ちし、 設定時間一本の指を押し下げてキーボードモードを終了し、カーソルモードに入 る。タッチ画面の角又はある面に配した上記マウスボタンを使用して、選択され たテキストを強調することができ、次にカットボタンか他の所望のボタンの上に カーソルをドラッグすることができる。指を押し下げている間、使用者の指の動 きがマウスの動きに等しく、画面の角にはマウス用のタッチボタンが設けられて いて、それは親指によってアクセス可能となっている。カーソルモードを終了す ると、使用者の指は再びタイピングに使用される。縮小キーの実施形態 キーボードオーバレイの一実施形態によれば、仮想のQWERTYキーボードのキー の数が、例えば１２となっていて、その内の９個が文字キーであり、残りの３個 が、例えばシフト、デリート、及びセレクトキーである。図７に、縮小キーキー ボード２００の一例を示す。各文字キーが複数の文字、例えば三つの文字か、又 は文字の組合せを表す。文字キーを叩くことによって、例えばセレクト（又はス ペース）キーを押すことによって、タイプされた単語を単語認識プログラムが認 識する。縮小キーキーボードのパターンは、本発明によって達成可能な小型化を 進展させ、かつ他の利点をもたらす。 本発明の一実施形態によれば、縮小キーキーボードは、図８に示す様な標準的 なタッチ画面／スライドパッドマウス２２０上の仮想又は物理的タッチレイアウ ト２１０に組み入れられている。プログラムはタッチ画面２２０を絶えず監視し ており、仮想のオプションボタン２３０又は物理的なオプションボタン２４０が 選択され動作モードを標準のタッチパッドマウス（「相対」モード）からキーボー ド入力タッチパッド（「絶対」モード）に変えるのを検出する。キーボードモード に入ると、本発明に係るキーパターンオーバレイ（例えば，文字キーボード、番 号パッド及び／又は個々のキー）がタッチ画面の上に直接現れるか、及び／又は 関連した画面に現れる。次に、使用者の指がキーボードのどのキーを叩いて文字 /単語又は他の入力を生成するのかを検出する。標準のタッチパッドマウスと連 関して縮小キーキーボードを用いることによって、上記した様にモード切り換え を行えば、著しい小型化、速度、及び他の利点がもたらされる。 別の実施形態によれば、仮想又は物理的な選択又は他のボタン２３０，２４０ は、様々なサブモード操作に入ったり及び／又は出たりする為に、数回入力でき る様になっている。最初のタッチで相対モードから絶対モードに切り替わり、そ の後のタッチでアルファベット、数値、句読点、及び／又は他のサブモードなど の絶対サブモードに入る。例えば、標準の相対マウスモードで、使用者が例えば 句読点の入力を希望しているとすれば、当該使用者は適切な一つ又は複数のボタ ンを二度叩き、最初に絶対モードに入って、そして句読点を入力するサブモード に入り、適切な句読点を入力して、次に一つ又は複数のボタンを再度二度叩き、 絶対キーパッドモードに戻る。相対モードと絶対モードとの間を切り換えるのに 一つ又は複数のボタンを使うことができ、そして例えば絶対モードに於いて、キ ーボード、番号パッド、句読点入力サブモード又は他のオプションを選ぶことが できる。 また当該分野では、アルファベット、数値、機能サブキーボードを備えたフル キーボードのサイズを、サブキーボードのキーを互いに重畳することによって縮 小させることが知られている。一実施形態によれば、アルファベットのサブキー ボードを数値、機能サブキーボードに重畳する。数値入力において、数字はそれ ぞれのキーの頭に印刷されているのではなく、複数の隣接文字キーが並存する、 キー間の隙間にある。四つの「四分の一」キーはこうして一緒に働き、希望の数字 を登録するのであるが、しかし各々の仮想数字キーはフルサイズである。各数字 と連関する四つの文字キーの下が感知領域、即ち点、素子又は領域であり、使 用者の指で感知領域を起動させることによって、希望の数字を登録するのである 。この技術はキーボードの総合的なサイズを、例えばクレジットカードサイズま で縮小させる。こうした型のキー配置の例が、とりわけ米国特許番号5,612,690 に示される。米国特許番号5,612,690は、参考文献としてここに組み入れられて いる。 様々なサブキーボードの相互重畳、例えばアルファベットサブキーボードを数 値及び／又は機能サブキーボードに重畳することは、本発明に係るキーボード又 はキーボードオーバレイのサイズを更に減少させる為に、図７乃至８に基づいて 開示した縮小キーボード概念と組み合わせることができる。例えば図７の実施形 態の配置で、数値及び／又は機能キーを、図示した三文字キー間の物理的又は仮 想の「隙間」に配置される。例えば、結果的に得られる合成画像は、前記した方法 で、アプリケーション出力の上に重畳される。ズームの実施形態 他の実施形態によると、タッチ画面か他のタッチパネル入力装置を通して、例 えば上記した技術と互換性のある方法で、ズームアップ/ズームダウン機能が与 えられる。適切なズームモードを、例えば仮想又は物理的なキーでひとたび起動 すると、使用者の一本、二本、三本或いは四本の指がタッチパネル表面に触れる と、その上の適切な数の感知領域及び／又は「領域」が、画面サイズ及び／又は表 示された倍率の量を制御する為に起動する。一実施形態によれば、一本の指を接 触させると通常の画面サイズ及び／又は倍率、二本の指を接触させるとズームア ップして二倍の画面サイズ及び／又は倍率、三本の指を接触させると三倍の画面 サイズ及び／又は倍率、等々の結果をもたらす。ズームダウン機能についても同 様の仕様となっている。連続的な段階的拡大又は縮小は必要とされない。何故な ら例えば、三倍の画面サイズ／倍率は、二倍の画面サイズ／倍率に入ることなく 、一本の指で単に触れるだけで通常の画面サイズ／倍率に縮小できるからである 。 こうして、使用者は、例えばマウスを使用してファイルメニューに行き、ズー ム機能まで降りて、そしてズームインズームアウト機能を選択する重荷から解放 される。仮想、物理的又は音声起動ズーム機能選択ボタンが起動され、そして同 時又はその後にタッチ画面／スライドパッド自身が、使用者の指（又は他のポイ ンティング装置）によって、ある時間に於いて、タッチ画面のどのくらいが覆わ れているかを決定し、使われている指の数に相当する特定の画面サイズ／倍率を 提供する。更に特殊な実施形態によれば、タッチパネル入力装置上で起動してい る感知領域又は接触領域の数に基づいて、適切なズーム機能を持たせる。 これらの特徴は、携帯用の、装着可能な計算に特に関与し、そこでは小型化さ れた画面が、例えば手首の上で用いられるが、一般にフルサイズではない。既存 のソフトウェアを使用するために、使用者は、時には画面をより大きく、ズーム インしたフォーマットで見たいと思うかもしれず、また別の機会には、ページ全 体の中で項目がどの様に見えているかを知る為に、ズームアウトしたフォーマッ トで見たいと思うかもしれない。他のハードウェアの実施形態 従来のタッチ画面の一つの問題は、小型コンピュータと小型画面に関して、使 用者の手の方が画面自体よりも大きいことはよくある。従って、本発明の実施形 態によれば、格納式のハンドル２６０（図９乃至１０）は、タッチ画面２７０に 対して伸展位置と格納位置の間でスライドし、２８０で示した様に、タッチ画面 ２７０の左右いずれかの側に便利な把持機構を設けている。ハンドル２６０を左 側から右側又はその逆に動かす為に、旋回軸２８５を設けてハンドルを２９０で 示す様にタッチ画面を越えて振れる様にしてある。格納位置では、ハンドルはタ ッチ画面の裏側に引っ掛けて止める様になっており、旋回動作を行える様にして いる。伸展位置に延びるか伸展位置に留まる場合、旋回を防ぐ為に、球かそれと 同様な突起を横の溝かそれと同等の機構にはめ込む。この様に、本発明の実施形 態は、図１０で示されるように左利きと右利き両方の人間のみならず、他方の手 を別の用事に使う必要のある人間による使用に著しく有利である。また、ハンド ル２６０は携帯ハンドル（図１１）、ネックレス実施形態の一部（図１２）、又 は手首バンド実施形態（図１３）として、例えばベルクロの様なマジックテープ を用いて使用することができる。さらに、別の実施形態によれば、ハンドルを一 方から他方へ旋回させずにタッチ画面を左利きか右利きの握持を可能とする為に 、音声又は接触によって画面を裏返す機能を有する両面式タッチ画面が設けられ て いる。 上記した様に、本発明の実施形態には音声認識及び／又はハンズフリーの適用 実施形態がある。タッチパネル入力装置の面にマイクロホン/スピーカを組み込 むことができ、使用者は、別のマイクロホン/スピーカを持たずに装置を見たり 話したりすることができる。キーボードオーバレイ及び／又は音声入力モードを オンオフする際に、またコントラスト、キーボード表示の型、キーボード/カー ソルモード等を変えるのに音声コマンドを使用することができる。音声コマンド はまたタッチ画面自体を起動するのに用いることができ、結果的に、それが例え ば使用者のポケットの中で、例えば押されて勝手にオンしてしまう様なことがな くなる。 本願に開示された特徴、並びに参考として組み入れられた用例の特徴は、特定 の状況に添う様に混合され適合され得る。当業者にとっては、様々な修正や変更 は明白であろう。 関連出願との関係 なお、本願の内容は、一般に割り当てられた米国仮出願番号、即ち1996年８月 28日付けの60/024,780，1996年10月９日付けの60/028,028及び1997年１月21日付 けの60/036,195の内容に関連するが、これら仮出願は全てここに参照文献として 組み込まれており、それに対する優先権は米国特許法である35 U.S.C.の119(e) 項に基づいて主張される。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/377 Ｇ０９Ｇ 5/36 ５２０Ｌ Ｈ０３Ｍ 11/04 (31)優先権主張番号 ６０／０３６，１９５ (32)優先日 平成９年１月21日(1997．1．21) (33)優先権主張国 米国（ＵＳ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ， ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，Ｆ Ｉ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ， ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，Ｍ Ｘ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ， ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 １．主画像を生成する為の計算装置と、使用者の目に見える合成画像を生成かつ 表示する為のタッチパネル入力装置とを備える画面周辺システムであって、 該合成画像は、入力機能を起動させる少なくとも一つのキー表示と、該計算装 置によって提供された主画像とを同時に備え、 少なくとも一つのキー表示が主画像上に重ねて表示され、 該画面周辺システムは、少なくとも一つのキー表示と主画像とを形成する為に 、可変画素制御を行い、該可変画素制御は、少なくとも一つのキー表示を形成す る為に選択された画素を、主画像を形成する為に選択された画素に依存させるこ とを特徴とする画面周辺システム。 ２．上記可変画素制御は、少なくとも一つのキー表示と、計算装置によって生成 された主画像との間のコントラスト調整を行うことを特徴とする請求項１記載の 画面周辺システム。 ３．上記コントラスト調整は、少なくとも一つのキー表示の濃度、輝度、及びド ット配置の中の少なくとも一つを変化させることを特徴とする請求項２記載の画 面周辺システム。 ４．上記少なくとも一つのキー表示は、点線表示であることを特徴とする請求項 １記載の画面周辺システム。 ５．上記少なくとも一つのキー表示は、全キーボード表示を含むことを特徴とす る請求項１記載の画面周辺システム。 ６．上記タッチパネル入力装置は二つのモードで働き、第一のモードは使用者が 入力装置を間欠的に触れることによって入力機能を起動させるキーボードモード であり、第二のモードは使用者がタッチパネル入力装置と連関したカーソルを動 かすカーソルモードであり、該第二のモードは、入力装置を所定時間連続的に触 れることで第一のモードから入る様にしたことを特徴とする請求項１記載の画面 周辺システム。 ７．上記計算装置は、少なくとも一つのキー表示を主画像に併合させることによ って合成画像を形成することを特徴とする請求項１記載の画面周辺システム。 ８．上記計算装置は、ビットブロック型転送動作を用いて少なくとも一つのキー 表示を主画像に併合させることを特徴とする請求項７記載の画面周辺システム。 ９．上記ビットブロック型転送動作は、 （ａ）主画像の画素と、 （ｂ）少なくとも一つのキー表示の画素と、 （ｃ）主画像のどの画素を、少なくとも一つのキー表示のどの画素に併 合させるかを制御するための画像マスクとからなる三組の画素間の論理的組み合 わせを行うことを特徴とする請求項８記載の画面周辺システム。 １０．上記合成画像の各画素は、主画像の画素又は少なくとも一つのキー表示の 画素から百パーセント構成されることを特徴とする請求項１記載の画面周辺シス テム。 １１．上記計算装置は、少なくとも一つのキーの全表示の画素のＸパーセントを 除去して、合成画像の内でＸパーセントの部分のキーボードを非可視にし、 更に上記計算装置は、全主画像の画素の(100-Ｘ)パーセントを除去して、合成 画像の内で(100-Ｘ)パーセントの部分の主画像を非可視にし、 更に上記計算装置は、該画素除去されたキー表示を該画素除去された主画像に 併合させて合成画像を形成することを特徴とする請求項１記載の画面周辺システ ム。 １２．上記合成画像は、上記少なくとも一つのキー表示と上記主画像との混合影 像を含むことを特徴とする請求項１記載の画面周辺システム。 １３．上記計算装置は、上記少なくとも一つのキー表示と上記主画像との画素混 合を制御することによって上記混合影像の明暗を制御することを特徴とする請求 項１２記載の画面周辺システム。 １４．上記計算装置は、ソフトウエアアプリケーションを実行し、上記主画像は 計算装置によって実行されるソフトウエアアプリケーションによって生成される 出力画像であることを特徴とする請求項１記載の画面周辺システム。 １５．上記タッチパネル入力装置は、該タッチパネル入力装置に触れる使用者の 指の数に基づいてズームアップ/ズームダウンを行う能力を有することを特徴と する請求項１記載の画面周辺システム。 １６．該タッチパネル入力装置は、使用者が上記タッチパネル入力装置の選択さ れた領域に触れる回数に基づいて、相対及び絶対入力モード間の切り換えを行う ことができることを特徴とする請求項１記載の画面周辺システム。 １７．該タッチパネル入力装置は、使用者が上記タッチパネル入力装置の選択さ れた領域に触れる回数に基づいて、キーボード英数セット間の切り換えを行うこ とができることを特徴とする請求項１記載の画面周辺システム。 １８．請求項１に記載の画面周辺システムを備えた装着可能な計算システム。 １９．計算装置によって提供される主画像上に少なくとも一つのキー表示を重畳 する方法であって、該方法は、 （ａ）少なくとも一つのキー表示を形成する為に可変画素制御を用い、 該少なくとも一つのキー表示は入力機能を起動させ、かつ主画像を形成する為に 、該可変画素制御は少なくとも一つのキー表示を形成する為に選択された画素を 、主画像を形成する為に選択された画素に依存させる工程と、 （ｂ）画面周辺システムの使用者の目に見える合成画像を生成かつ表示 し、該合成画像は少なくとも一つのキー表示と計算装置によって生成された主画 像を同時に含み、少なくとも一つのキー表示を主画像に重畳する工程とを備える ことを特徴とする方法。 ２０．上記工程（ｂ）は、上記少なくとも一つのキー表示を上記主画像に併合さ せる工程を含むことを特徴とする請求項１９記載の方法。 ２１．上記併合工程は、ビットブロック型転送動作を用いる工程を含むことを特 徴とする請求項２０記載の方法。 ２２．上記工程（ｂ）は、更に、 （ａａ）主画像の画素と、 （ｂｂ）少なくとも一つのキー表示の画素と、 （ｃｃ）主画像のどの画素を、少なくとも一つのキー表示のどの画素に 併合させるかを制御する画像マスクとの三組の画素間の組み合わせを行う工程を 有することを特徴とする請求項２１記載の方法。 ２３．上記工程（ｂ）は、更に、 （ｃ）少なくとも一つのキーの全表示の画素のＸパーセントを除去し て合成画像の内でＸパーセントの部分のキーボードを非可視にする工程と、 （ｄ）全主画像の画素の(100-Ｘ)パーセントを除去して合成画像の内で (100-Ｘ)パーセントの部分の主画像を非可視にする工程と、 （ｅ）該画素除去されたキー表示を該画素除去された主画像に併合させ て合成画像を形成する工程とを有することを特徴とする請求項２１に記載の方法 。 ２４．上記合成画像は、上記少なくとも一つのキー表示と上記主画像との混合影 像を含むことを特徴とする請求項１９記載の方法。 ２５．上記工程（ｂ）は、更に、上記少なくとも一つのキー表示と上記主画像と の画素混合を制御することによって、上記混合影像の明暗を制御する工程を含む ことを特徴とする請求項２４記載の方法。 ２６．少なくとも二つの基礎画像から合成画像を生成する方法であって、該方法 は、 （ａ）該基礎画像の第一の画像を表示する工程と、 （ｂ）該基礎画像の第二の画像を形成する工程と、 （ｃ）該第二の基礎画像を該第一の基礎画像に重ねて表示する工程と、 （ｄ）表示を待つ工程と、 （ｅ）表示の種類によって、何の動作も起こさないか、或いは該第一の 基礎画像に重ねて該第二の基礎画像を再描画する工程とを有することを特徴とす る方法。 ２７．上記工程（ｅ）は、表示中に再描画される表示領域を上記第二の基礎画像 に重ねるかどうかを決定する工程を含むことを特徴とする請求項２６に記載の方 法。