JP4810146B2 - 入力テキストを生成する方法および装置 - Google Patents

Description

本発明は、ポインタに関し、特にテキスト入力に使用されるポインタに関する。

ポインタは、視覚的なフィードバックを与えるために使用することができる。ハンドヘルドポインタの非常に単純な例はレーザポインタである。この装置は、ユーザが表面上に移動可能なポイントを表示することを可能にする。しかし、レーザポインタがハンドヘルド型である場合、移動するポイントによって形成される軌跡、例えば正方形を表示面上に表示することは困難である。従来技術において、軌跡を表示することができる一方法は、レーザポインタを固定カメラで補い、このカメラにより表示面上で移動するポイントを観察してレーザポイントの軌跡を復元することである。次に、固定プロジェクタを使用して、復元された軌跡のビューを表示することができる。したがって、ハンドヘルドレーザポインタは、固定カメラおよび固定プロジェクタで補われなければならず、これにより、システムの可搬性が大きく低下する。

Beardsley他に対して２００４年７月２０日付で発行された米国特許第６，７６４，１８５号「Projector as an Input and Output Device」は、可動ハンドヘルドプロジェクタに固定された移動座標系と現実世界中の固定表示面に固定された安定座標系との間の関係を検知するセンサを備えるインタラクティブディスプレイシステムを記載する。移動座標系は、安定座標系内で使用されて、例えば従来のウィンドウズ形式の計算環境と対話するための視覚的なユーザインタフェースを表示面により提供することができる。ユーザの対話のいくつかの例としては、表示されたボタンを「押すこと」、表示されたスライダをドラッグすること、またはディスプレイ中の関心のある領域のマウス方式による選択がある。ハンドヘルドプロジェクタは、ユーザがプロジェクタを動かす際に安定した可視の軌跡を表示することもできる。

図１は、Beardsley他によって記載されるハンドヘルドポインティングプロジェクタの動作を示す。可搬式プロジェクタ１００は、固定表示面１２０に対する可動プロジェクタの姿勢を求める動きセンサ１１０を備える。以下、「姿勢」はプロジェクタの３Ｄ位置および３Ｄ向きである。プロジェクタ１００は軌跡１０１に沿って移動することができるため、出力画像１０２は不規則な四辺形として表示面上に現れる可能性がある。動きセンサ１１０は、カメラ、傾斜センサ、または加速度計であることができる。

プロジェクタ１００は、動きセンサ１１０を使用して出力画像１０２を投影する。４つのタイプの画像、すなわち出力画像１０２、この出力画像１０２から分割される、ブラック画像部分１０３、安定画像部分１０４、および移動画像部分１０５（例えばカーソル）が画定される。ブラック部分のピクセルは安定部分と相互排他的であり、移動部分のピクセルは安定部分の境界内にある。

出力画像１０２は、プロジェクタの画像バッファまたはフレームバッファに格納されているすべてのソースデータのすべてのピクセルを含む。出力画像のピクセルは、従来通り、プロジェクタの移動座標系に従って表示面上で移動する。例えば、出力画像は、レーザドットのように見える小さな赤い「ドット」１０６を含むことができる。

図１には点描で示されるブラック画像部分１０３を作るために、出力ピクセルのいくつかを「ブラック」、すなわちゼロピクセル強度値に設定することができる。これらの「不可視」のピクセルもまた、プロジェクタの座標系に従って移動する。

安定画像部分１０４のピクセルは、現実世界の固定座標系に固定される。これらピクセルの、出力画像１０２内の場所は、動きセンサ１１０を使用して決定される。したがって、プロジェクタが別の姿勢に移動する１０１と、安定画像１０４は表示面１２０上の固定された場所に現れる。

移動画像部分１０５のピクセルは、プロジェクタの移動座標系に従って移動する１０７。例えば、これらピクセル１０５は矢印１０５、カーソル、「レーザ」ドット１０６、または他の何らかのアイコンとして現れることができる。したがって、プロジェクタが左から右に移動すると、矢印も安定画像部分内で同じように移動するように見える。プロジェクタの上下の動きも同様にして模倣されるため、プロジェクタはレーザ型またはマウス型ポインタとして事実上振る舞う。プロジェクタ上のボタン１１１を使用して、表示された項目を「クリック」することができる。

多くのユーザインタフェースの重要な部分は、メモリに格納されるか、あるいはユーザまたはコンピュータプログラムによって操作されることができるテキストを入力すること、例えばデータ入力および文書処理である。従来技術は、キーボード上のボタンを押すことから、個人情報端末（ＰＤＡ）において使用されるような続け文字認識装置（cursive script recognizer）あるいは一筆書き認識装置（uni-stroke recognizer）まで、テキストを入力するための多くの方法を記載している。ＰＤＡでは、ＰＤＡの表示面の感圧表面上でスタイラスを動かすことによって文字が生成される。しかし、感圧表面またはキーボードのいずれかを有して構成されたハンドヘルドプロジェクタは、使用し難く高価である。

したがって、ユーザが操作しなければならない、スタイラスやキーボード等の追加ハードウェアを必要とせず、かつ表示面との直接接触を必要としないハンドヘルドポインタを使用して入力テキストを生成する方法およびシステムを提供することが望ましい。すなわち、ポインタは表示面から「ある距離離れた」ものである。

方法は、書き込み面からある距離離れたポインティングデバイスを用いて入力テキストを生成する。ポインティングデバイスの移動座標系の動き情報が書き込み面の固定座標系に対して、ポインティングデバイスの動きを追跡するように構成された動きセンサを使用して検知される。

次に、動き情報から入力テキストが判定される。書き込み面上へのポインティングデバイスの動きの軌跡の投影も動き情報から求められることができ、軌跡を書き込み面上に入力テキストとして表示することができる。

ポインタの構造
図２は、本発明によるポインタ２００を示す。このポインタは、動きセンササブシステム２１０、ならびにバス２４０によって接続され、全体で処理装置として働くマイクロプロセッサ２１５、メモリ２２０、およびＩ／Ｏインタフェース２３０を含む他の構成部品を備える。処理装置の電子構造は従来通りであるが、本明細書中で説明する方法ステップを行う際の動作は従来と異なる。本ポインタはまた、出力画像２５１を表示するプロジェクタサブシステム２５０を含む。ネットワークサブシステム２７０は、プロジェクタがローカルであれ、リモートであれ、他の同様の装置、または他の演算装置およびメモリと通信することを可能にする。したがって、ネットワークサブシステムは、通信媒体に応じてアンテナまたは赤外線トランシーバ２８０に接続されることができる。

ユーザインタフェース２９０は、プロジェクタの操作に役立つ入力および出力データを供給することができる。ユーザインタフェースは外部ボタン１１１を含むことができる。Beardsley他に対して２００４年７月２０日付で発行された米国特許第６，７６４，１８５号「Projector as an Input and Output Device」（参照により本明細書中に援用される）を参照のこと。動きセンサ１１０は、プロジェクタの姿勢を求め、かつ、カメラ、傾斜センサ、または加速度計であることができる。さらなる詳細については、Beardsley他によって２００３年３月１９日付で出願された米国特許出願第１０／３９６，３１４号「Geometrically Aware Projector」（参照により本明細書中に援用される）を参照のこと。

ポインタの動作
ユーザは、ハンドヘルドポインタ２００を使用して、書き込み面、例えばプロジェクタスクリーン、壁、または天井の上のドットまたはカーソルを動かす。別法として、書き込み面は、ポインタに対してローカルまたはリモートのＣＲＴまたはＬＣＤ表示画面であることもできる。

ポインタは、書き込み面からある距離離れた場所にあり、ほとんどの従来技術のテキスト入力および書き込みシステムにおけるような表面との接触を行わないことに留意すべきである。「ある距離離れた」との語句は、本発明では具体的に、ポインタと書き込み面の間の距離がゼロよりも大きいことを意味する。例えば、この距離は１メートル以上である。ドットの軌跡が記録され、書き込み面上に視覚的に提示される。投影される軌跡は、ハンドヘルドプロジェクタが動いているにもかかわらず、書き込み面上のその正確な位置に固定されているように見える。

本発明によるポインタ２００を用いた場合、ユーザは、形成された文字の視覚的な指示を提示しながら、個々のまたは手書き文字を形成することができる。これは、表示目的のみに適している。本発明による方法は、軌跡を規定する動き情報から入力テキストも生成する。入力テキストとは、本発明では具体的に、あらゆる所定の言語の文字体系における文字、数字、および句読点のような文字またはグリフをデータ形式にしたものを意味する。例えば、入力テキストの各文字は８ビットからなる１バイトによって表される。

図３は、本発明によるポインタ２００を使用して入力テキストを生成する方法３００を示す。ポインタは、ポインタ２００、すなわちプロジェクタまたはレーザポインタの移動座標系と、ポインタが動作する環境の固定座標系、すなわち書き込み面の現実世界の座標系との間の相対的な動きを検知する３１０。

投影される出力画像は、移動座標系に対して固定の関係を有するブラック画像部分、固定座標系に対して固定の関係を有するブラック画像部分内の安定画像部分、および移動座標系に対して固定の関係を有する安定画像部分内のカーソルに分割される３２０。カーソルは、任意のタイプの表示アイコン、例えば小さなドットであることができる。

ユーザは、安定画像部分内でポインタを動かすことによってカーソルを動かし、入力テキスト３４１を形成する。すなわち、ユーザは、投影されたドットを用いて書き込み面上に１つまたは複数の文字を「書く」。ユーザは、例えばハンドヘルドポインタ上のボタン１１１を押すことによって、文字または手書きテキスト入力の開始時および終了時を指示することができる。個々の文字に関してテキスト入力を説明するが、テキストは複数の文字、例えば完全な単語または文章として入力することもできることを理解すべきである。センサ２１０は、書き込み面に対してポインタを動かす間に、入力文字を表す動き情報を取得する３３０。動き情報を使用して、入力テキスト３４１を判定する３４０。

取得される動きは、ユーザが入力テキストを形成している間の、連続的な瞬間における書き込み面に対するプロジェクタの明示的な場所および向き、すなわち姿勢であることができる。

動き情報は投影表現とすることもできる。投影表現の例は、ポインタが動かされて入力テキストが形成される際の、ポインタと書き込み面の間の動きを求めるための、連続する各瞬間につき１つずつのホモグラフィからなるシーケンスである。

動き情報は、書き込み面上の２Ｄ軌跡として表現することができる。軌跡は、書き込み面上の２Ｄポイントのシーケンスであることができる。別の実施態様は、ユーザが入力テキストを形成する際の連続する時点における安定画像部分内のカーソルの位置および速度の両方を含むことができる。軌跡は、ローカルまたはリモートの書き込み面上に表示できることに留意すべきである。しかし、本発明の基本的な効果は、動き情報に基づいてテキスト入力を取得することであることに留意されたい。したがって、ユーザが続け文字で「書く」ことが可能であると同時に、表示される入力テキストは、任意のフォント、書体、サイズまたは色であることができる。入力テキストは、メモリに格納するか、あるいは何らかの他の装置に送信することができる。

軌跡は、任意数の既知の続け文字認識装置、あるいはPalm社（カリフォルニア州サンタクララ）製のＧｒａｆｆｉｔｉソフトウェアといったテキスト入力用の一筆書き認識装置に入力することができる。ＰＤＡのような通常のハンドヘルドデバイスにおいて、続け文字認識装置または一筆書き認識装置への入力は、デバイスの書き込み面と物理的に直接接触したスタイラスを動かすことによって得られる。文字認識は単純に、文字を形成する際のスタイラスの２Ｄ経路に基づいて行うことができるか、あるいは認識は、書き込み面上のペンの位置および加速度を考慮することができる。

本発明によれば、筆記具、すなわちプロジェクタは、物理的な書き込み面からある距離離れているため、文字は、スタイラスで平坦な書き込み面を直接押圧するという従来技術のやり方では形成されない。

これは、安定画像部分に対する可動プロジェクタの３Ｄ関係を利用してテキスト入力を変更することができるため、本発明の利点である。例えば、ピリオドのような特殊文字は、ハンドヘルドプロジェクタ上のクリックボタンを押さえて文字入力の開始を指示し、プロジェクタを前方の投影された安定画像部分に向かって動かしてから開始位置に戻し、その後ボタンを離すことによって入力することができる。したがって、３Ｄで文字を形成することができる。

本発明の第２の利点は、書き込み面に対するプロジェクタの３Ｄの場所を使用して、物理的な書き込み面の同一部分への投影を依然として行いながら、異なるテキスト入力モードを指示することができることである。これは、書き込み面の正面のエリアを複数の領域に分割することによって行うことができる。例えば、書き込み面の左側の領域に立ってテキストを入力する場合、投影は物理的な書き込み面の同一部分で行われるにも関わらず、物理的な書き込み面の右側の領域に立ってテキストを入力する場合とは異なる動作モードになる。従来技術のペンに基づくテキスト入力システムには、これに類似するものはない。

本発明の第３の利点は、物理的な書き込み面への直接投影によってテキスト入力が行われることである。これは、テキストがその場所に固有の注釈である場合に有用である。例えば、ユーザは、ドアの特定の場所にメッセージを形成することができる。このメッセージは、メッセージが形成された場所とともに格納される。その後、ハンドヘルドプロジェクタをドアに向けると、テキストが取り出され、テキストが最初に入力された場所と同じ場所に表示される。したがって、入力テキストが処理される方法は書き込み面の特性に基づく。例えば、動きセンサがカメラである場合、入力テキストはさらに、書き込み面の色に従って処理することができる。

第４の利点として、書き込み面は、従来技術のように平坦である必要がない。従来の較正技法を使用して、書き込み面とプロジェクタの間のホモグラフィを求めることができる。これらのホモグラフィを使用して、出力画像を適宜ワーピングすることができる。

第５の利点として、書き込み面は任意の場所に配置されることができる。したがって、「書き手」は、或る１つの場所にメッセージを書くことができ、入力テキストをリモートの書き込み面に伝送することによって、このメッセージが別の場所で読めるようになる。この「空中に書かれたもの」は、入力テキストの安全性が問題となるのであれば、「書き手」を観察しても識別することは難しいが、書き込み面の近くにいる別の人物には、書かれたものがはっきりと見える。入力テキストは、後に取り出すためにデータとしてメモリに格納することができることに留意すべきである。したがって、ユーザは、メッセージを注意書きとして書き、このメッセージをポインタのメモリに格納し、後にメモリから取り出すことができる。

本発明を好適な実施の形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適応および変更を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入る、かかる変形および変更をすべて網羅することである。

従来技術のハンドヘルドプロジェクタのブロック図である。 本発明によるポインタのブロック図である。 図２のポインタの動作方法のフロー図である。

Claims (17)

1. 書き込み面からある距離離れた、動きセンサとプロジェクタを含むポインティングデバイスを用いて入力テキストを生成する方法であって、
   ポインティングデバイスの移動座標系の動き情報を、該ポインティングデバイスからある距離離れた書き込み面の固定座標系に対して、前記ポインティングデバイスに固定され、かつ該ポインティングデバイスの動きを追跡するように構成された前記動きセンサを使用して検知すること、
   前記動き情報の動きの軌跡の形状を認識することにより入力テキストを判定すること、
   前記プロジェクタを使用してフォントを用いた前記入力テキストを前記書き込み面上に表示すること、
   を含む、入力テキストを生成する方法。
2. 前記入力テキストをメモリに格納すること
   をさらに含む請求項１に記載の方法。
3. 前記入力テキストを伝送すること
   をさらに含む請求項１に記載の方法。
4. 前記ポインティングデバイスを向ける方向は、前記プロジェクタの画像平面上の特定のピクセルによって定義される請求項１に記載の方法。
5. 前記ポインティングデバイスはオン−オフボタンを備え、前記判定は、該オン−オフボタンがオンである期間中にのみ行われる請求項１に記載の方法。
6. 前記入力テキストの前記判定は、前記書き込み面に対する前記ポインティングデバイスの３Ｄ位置に応じて変更される請求項１に記載の方法。
7. 前記書き込み面の正面のエリアを複数の領域に分割すること、および
   前記ポインティングデバイスが占める特定の領域に応じて前記入力テキストの前記判定を変更すること
   をさらに含む請求項６に記載の方法。
8. 前記書き込み面に対する前記ポインティングデバイスの前方または後方への動きに応じて前記入力テキストの前記判定を変更すること
   をさらに含む請求項１に記載の方法。
9. 前記入力テキストの処理は、前記書き込み面上の前記表示された入力テキストの位置に依存する請求項１に記載の方法。
10. 前記動きセンサがカメラである請求項１に記載の方法。
11. 前記入力テキストは、続け文字認識装置を使用して判定される請求項１に記載の方法。
12. 前記入力テキストは、一筆書き文字認識装置を使用して判定される請求項１に記載の方法。
13. 前記書き込み面に対する前記ポインティングデバイスの位置を格納すること、および
    前記位置を前記格納された入力テキストと関連付けること
    をさらに含む請求項２に記載の方法。
14. 複数のポインティングデバイスの複数の移動座標系の前記動き情報を、該複数のポインティングデバイスからある距離離れた前記書き込み面の前記固定座標系に対して検知することであって、前記複数のポインティングデバイスはそれぞれ特定の動きセンサを含むこと、
    前記複数のポインティングデバイスのそれぞれの前記動き情報の動きの軌跡の形状を認識することにより入力テキストを判定すること、
    前記複数のポインティングデバイスのそれぞれのプロジェクタを使用してフォントを用いたそれぞれの前記入力テキストを前記書き込み面上に表示すること、
    をさらに含む請求項１に記載の方法。
15. 前記入力テキストは、選択されたフォントに従って前記書き込み面上に表示される請求項１に記載の方法。
16. 前記距離は１メートル以上である請求項１に記載の方法。
17. 入力テキストを生成する装置であって、
    動きセンサとプロジェクタを含むポインティングデバイスと、
    前記ポインティングデバイスの移動座標系の動き情報を、該ポインティングデバイスからある距離離れた書き込み面の固定座標系に対して、前記動きセンサを使用して検知する手段と、
    前記動き情報の動きの軌跡の形状を認識することにより入力テキストを判定する手段と、
    前記プロジェクタを使用してフォントを用いた前記入力テキストを前記書き込み面上に表示する手段と、
    を備える、入力テキストを生成する装置。

Images