JP2005515479A - ムーバブルユーザインターフェースとして小さなパネルディスプレイを用いた大型仮想表示のための方法および装置 - Google Patents

ムーバブルユーザインターフェースとして小さなパネルディスプレイを用いた大型仮想表示のための方法および装置 Download PDF

Info

Publication number
JP2005515479A
JP2005515479A JP2002586153A JP2002586153A JP2005515479A JP 2005515479 A JP2005515479 A JP 2005515479A JP 2002586153 A JP2002586153 A JP 2002586153A JP 2002586153 A JP2002586153 A JP 2002586153A JP 2005515479 A JP2005515479 A JP 2005515479A
Authority
JP
Japan
Prior art keywords
movable display
display
image
information
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002586153A
Other languages
English (en)
Other versions
JP2005515479A5 (ja
Inventor
シルヴァースタイン,アムノン・ディー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2005515479A publication Critical patent/JP2005515479A/ja
Publication of JP2005515479A5 publication Critical patent/JP2005515479A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1632External expansion units, e.g. docking stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1656Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

本発明は、情報がデータベースに入力され、後にデータベースからアクセスされる態様を向上させるための改善されたユーザインターフェースを提供することに関する。例示的な実施形態は、面内を移動することが可能なフラットデジタルディスプレイの形態のオーバーレイを用いることに関する。ムーバブルディスプレイの位置は追跡され、ディスプレイ上に提示されるデジタルコンテンツは、文書上のディスプレイの特定の位置と相関させられる。この能力は、例えば、はるかに大きな画像を、その画像をナビゲートすることができる比較的小さな携帯用ディスプレイを用いて見ることができるようにするために活用されることができる。大きな画像は、ムーバブルディスプレイ上でアクセスされると、他の情報にリンクするために用いられ、かつ/または所望の機能を果たすための実行可能なコードにアクセスするために用いられる情報を任意選択で含んでいてもよい。

Description

本発明は、一般的には、第1のサイズよりも小さい第2のサイズの表示装置を用いて、第1のサイズの第1の画像を表す情報を表示することに関し、特に、情報入力およびアクセスを制御するためのムーバブル(movable)ユーザインターフェースとして、機能が限られたキーパッドを有する比較的な小さな表示装置を用いることに関する。
入手可能な大半の製品は、ユーザがデータベースの情報を格納し、それにアクセスすることをさらに容易にすることを対象としている。しかし、これらの既知の技法は、キーボードまたはキーパッドに用いられ得るスペースが制限されているという、携帯情報端末(PDA)などの装置にまつわる問題には取り組んでいない。通常、物理的文書からの情報は、デジタルデータベースにキー入力され、そこにアクセスして表示することができる。このキー入力およびそれに続くアクセスは、通常、1回に1文字を選択する従来のキーボードまたはせいぜい小さなホイールを用いて行なわれる。
物理的文書を予めデジタル化させ、ユーザがPDAを用いて文書と電子的に対話することがきるようにするスキャナも知られている。ユーザは、デジタル文書を表示し、PDAディスプレイ上で表示された文書内をナビゲートすることは可能であるが、このようなナビゲーションは、PDA上に設けられた制限された数の比較的小さなキーを用いなければならないという点でやや不十分である。あるいは、画像は、デスクトップまたはラップトップコンピュータのディスプレイ上に表示され、画像の側部に沿って表示されるソフトウェアボタンと対話することが可能なマウスを用いてナビゲートすることができる。
デジタル情報を格納し、それにアクセスするためのユーザインターフェースは数多く知られているが、例えば、PDAに設けられた比較的小さなディスプレイを用いて情報をデジタルデータベースにリモートで入力し、それにアクセスする方法をさらに簡単にすると共に向上させることが望まれている。
本発明は、データベースに情報を入力し、後にそのデータベースから情報にアクセスするための改善されたユーザインターフェースを提供することに関する。例示的な実施形態は、面内を移動することが可能なフラットディスプレイの使用を対象とする。ムーバブルディスプレイ(movable display)の移動は、ディスプレイ上に提示されるデジタルコンテンツが面上のディスプレイの移動に対応するように追跡される。この能力は、例えば、はるかに大きな画像を、その画像をナビゲートすることができる比較的小さな携帯用ディスプレイを用いてリモートで見ることができるようにするために活用される。大きな画像は、ムーバブルディスプレイ上でアクセスされると、他の情報にリンクするために用いられ、かつ/または所望の機能を果たすための実行可能なコードにアクセスするために用いられる情報を、任意選択で含んでいてもよい。
包括的には、本発明は、画像とインターフェースする装置およびそれに関連する方法に関する。例示的な実施形態によると、装置は、第1の面上のムーバブルディスプレイの移動を検出するための手段と、ムーバブルディスプレイの移動をデータベース内に格納されている第1の画像の一部を表す情報に相関させ、その情報をムーバブルディスプレイに提示するための手段とを備えたムーバブルディスプレイとして構成される。例示的な実施形態では、ユーザは、ムーバブルディスプレイに提示される第1の画像の一部と選択的に対話することができる。例えば、第1の画像がキーボードの画像(すなわち、仮想ソフトウェアまたは仮想キーボード)である場合、ムーバブルディスプレイは、キーボード内をナビゲートし、仮想キーボード上のキーを選択的に起動させるために用いられ得る。
これより、本発明を以下の図面に示される例示的な実施形態により説明する。
図1Aは、データベースに格納された、従来のキーボード(すべてのキーが示されているわけではない)を表す第1の画像を示す。図1Bは、本発明の例示的な実施形態に従って情報を表示するための、ムーバブルディスプレイ100として示されている装置を示す。ムーバブルディスプレイ100は、表示スクリーン102を有し、2000年12月27日に提出された、「METHOD AND APPARATUS FOR VIRTUAL INTERACTION WITH PHYSICAL DOCUMENTS」(代理人整理番号第10003870/004号)という名称の同時係属中の米国出願第 号に記載されているのと同様に構成することができる。この文献には、ヒューレットパッカード社からJornada(商標)540シリーズとして入手できる携帯用表示装置が記載されている。この表示スクリーン102は、ケースに収容されたフラットスクリーンであることができ、表示装置は、表示画像の倍率を拡大および/または縮小するためのサムホイールを備えることができる。このような特徴は、表示されるデジタル画像のサイズを制御し、それによって、表示スクリーン102と相関して第1の画像の一部を制御するために、本発明の例示的な実施形態に従って用いられることができる。
表示装置は、(矢印106で示される)任意の方向における、テーブルまたは他の任意の適切な面などの第1の面104に対するムーバブルディスプレイの移動を検出するための手段を備えた図1の実施形態に従って構成されている。例示的なムーバブルディスプレイ100は、従来のマウスに含まれているようなトランスデューサ108を含むように構成され得る。ムーバブルディスプレイ100の検出された移動を図1Aのデジタル的に格納された画像上の位置と相関させることによって、その位置に関連する情報が抽出され、表示スクリーン102に提示され得る。
言うまでもなく、ムーバブルディスプレイを用いてどの画像をナビゲートするのかをムーバブルディスプレイにまず決定させるための手段が設けられていてもよい。例えば、所定のデータベースに格納されている各画像は、ユーザがキーボードを介してムーバブルディスプレイにまずキー入力することができる関連コード(例えば、識別番号)を有し得る。あるいは、各画像に対応する物理的文書は、それぞれ、ムーバブルディスプレイに含まれるバーコードリーダー(BCR)112によって読み出され得るバーコードを含むことができる。特定の文書を識別するために、入手が簡単な既知の画像認識システムを用いることもできる。どの画像をナビゲートするのかを決定すると、表示スクリーンは、データベースからその画像に対応する情報にアクセスするために用いられ得る。
画像内の初期位置にムーバブルディスプレイを位置合わせする必要はない。なぜなら、目的とするのは、ムーバブルディスプレイの相対的な位置だけであるからである。例えば、ムーバブルディスプレイは、ナビゲートする画像をまず検出した後、ムーバブルディスプレイを用いてナビゲートするための開始位置を選択するように起動(例えば、押下)される(従来のマウスの左ボタンと同様の)位置合わせキー114を備えることができる。画像に対するディスプレイの位置は、ディスプレイが面104内を移動する際に追跡され得る。当業者は、面に対する、すなわち、画像に対するムーバブルディスプレイの相対的な位置が確認されることだけが必要であることを理解するであろう。
面に対するムーバブルディスプレイの移動を検出ための手段が設けられると、この検出された移動は、表示スクリーン102上に提示される図1Aの画像を格納するデータベースから情報にアクセスするために用いられ得る。このため、図1の例示的なムーバブルディスプレイ100は、ムーバブルディスプレイの検出された移動と、図1Aの画像を表すものとしてデータベースに格納されている情報(すなわち、デジタルコンテンツ)とを相関させるための、プロセッサ(CPU)118および関連のメモリ120などの手段を有する。ある意味では、ムーバブルディスプレイはポインティング装置として作用し、これによってユーザは画像上の所定の位置をポイントし、画像上のその点に対応するリモート位置から情報にアクセスすることができる。
例えば、入手が簡単なJornada 540シリーズ装置に含まれるプロセッサおよび関連のメモリ、または他の任意の適切なプロセッサおよびメモリは、ムーバブルディスプレイの検出された移動を、所定のデータベースアドレス、URLアドレス、または他の場所に格納されている情報への他の任意の所望のリンクでアクセスされた表示画像中の移動に変換するために用いることができる。画像上の特定の点に関連するリンクにおいて得られる情報もまた、アクセスおよび検索され、表示スクリーン102に表示することができる。情報は、テキストに基づいた情報、数値情報、図形情報、またはそれらの任意の組み合わせを含むことができる。この表示された情報は、ウェブページなどの情報のブロックへのアクセスを含み、次に、ムーバブルディスプレイ100に含まれるキーまたはボタンを用いてさらに探索され得る。例えば、ムーバブルディスプレイを用いたページの選択に基づいて特定のウェブページにアクセスしたユーザは、ディスプレイを用いてウェブページ内を移動し、他のウェブページにアクセスすることができる。
例えば、ナビゲートする画像が、図1Aに示されるような従来のキーボードの画像であると想定しよう。画像全体は、キーボードに対応するか、または少なくとも部分的に図1Aのキーボードをサブ画像として含む任意の画像に対応し得る。(例えば、ムーバブルディスプレイ上でハードウェアキーを起動させることにより)画像に対するムーバブルディスプレイの相対的な位置が合わせられると、面104上のムーバブルディスプレイの移動を追跡することができる。この移動は、画像の完全なバージョンを含むデータベースまたはインターネットサイトと相関させられ得る。さらに詳細には、ムーバブルディスプレイの移動は、画像の一部が格納されているアドレスと相関させられ、アクセスされて表示スクリーン102上に表示され得る。例示的な実施形態は、任意の所望の形態での任意の所望の出力情報に対するムーバブルディスプレイの移動の相関関係を提供するように構成することが可能である。ユーザが望むような様式で画像の部分を確実にムーバブルディスプレイ上に配向させるために、面に対するディスプレイの正確な向きを検出することもできる。これは、例えば、面に対する表示スクリーンの向きの変化が決定され得るように、面104に対するムーバブルディスプレイ100の十分な位置座標を追跡することによって成し遂げられる。
表示スクリーン102が面104上で移動する間、データベースは、繰り返しリアルタイムでアクセスされ、表示スクリーンは更新され、画像の任意の部分がオンザフライ表示されることができる。ある意味では、表示スクリーンは、「レンズ」が面内を移動すると、画像の任意の所望される部分を、任意の所望の拡大/縮小率で、ユーザに提示するための「レンズ」または拡大ガラスとして作用する。
言うまでもなく、情報が表示される正確な様式は、ここでは言及できないほど多様に変更されるが、当業者には容易に明白となる。同様に、正確な提示も、多様に変更され得る。
他の実施形態では、様々な機能を可能にするためのハードウェアキーをムーバブルディスプレイ上に設けることができる。例えば、上記のように、表示画像の倍率の拡大/縮小を可能するためのハードウェアキー116を設けることができる。同様に、表示画像の回転を可能にするためのキー、表示画像の色を制御するためのキー、表示テキストのフォントを制御するためのキー、または表示テキスト、数値、音声、触覚、またはグラフィカル情報の任意の他の特性を変更するためのキーを設けることもできる。表示画像に関連するさらなる情報にさらにアクセスするためのキーを設けることもできる。例えば、ソフトウェアキーボードが表示される図1の例の状況では、ムーバブルディスプレイ上に設けられたハードウェアまたはソフトウェアキーを用いて、別個のディスプレイに対してキーボード上でポイントされたキーを起動させる(例えば、キーボード機能を実行する)ことができる。ムーバブルディスプレイをキーボードの所望のソフトウェアキーが表示される位置に配置し、(例えば、マウスキーに類似した)ハードウェアキーまたは(例えば、タッチセンシティブスクリーンを用いる)ムーバブルディスプレイ上のソフトウェアキーを起動させることにより、キーに関連する特定の文字をコンピュータシステム(例えば、デスクトップコンピュータ内に表示されるワード処理文書に)タイプすることができる。ムーバブルディスプレイは、限定はされないが、表示画像のワードの辞書定義にアクセスすること、目的とする他のアドレスにリンクすること等を含む、さらなる任意の所望される機能を含むことが可能である。
ムーバブルディスプレイは、オンボードデータベースを介して(前述の例でナビゲートしたキーボードの画像などの)情報にアクセスすることができ、この意味では、ムーバブルディスプレイは、完全に独立言語型であると言える。あるいは、柔軟性を向上させるために、ムーバブル装置は、デスクトップコンピュータまたはサーバと通信する、例えば、インターフェース122を介してアクセスされるワールド・ワイド・ウェブに含まれるウェブサイトなどのリモートデータベースへの有線または無線のリンクを含むことができる。このようなインターフェースは周知であるので、本明細書では詳細に説明する必要はない。
図2は、例示的な図1のムーバブルディスプレイ100のプロセッサ118によって実行されるプロセスの例示的なフローチャートを示す。ステップ202において、ナビゲートする画像が、例えば、何らかの識別番号、バーコード、または他の文書識別技法を用いて識別される。あるいは、画像は、所望の画像を選択するためにムーバブルディスプレイを用いてナビゲートすることができる(メニューまたは初期キーボードなどの)表示スクリーン102上に予め設定され得る。
ステップ204では、ムーバブルディスプレイは画像に位置合わせされ、ムーバブルディスプレイの初期位置が確立される。その後、ディスプレイの移動は、ムーバブルディスプレイが面104上で再配置される度に追跡され得る。繰り返すが、この位置合わせは、例えば、ムーバブルディスプレイ上のキー116の1つを起動させ、初期(0,0)位置を確立することによって成し遂げられ得る。
ステップ206では、面104に対するムーバブルディスプレイの検出された移動は、画像内の比例した(または、所望に応じて、比例していない)移動に変換される。ステップ208では、ムーバブルディスプレイに設けられたトランスデューサ108からの出力は、データベースリンク(例えば、データベースアドレス)と相関させられる。例示的な実施形態では、オンボードトランスデューサ108は、面104上のムーバブルディスプレイの移動を表す出力情報を生成する。メモリ120に設けられたルックアップテーブルを用いて、ムーバブルディスプレイは、検出された移動量をアドレスに相関させる(すなわち、間接的なアドレス技法を用いて)。次に、ムーバブルディスプレイ100のCPU118は、ステップ210においてデータベースにアクセスする。繰り返すが、データベースは、オンボードデータベースか、または別のコンピュータもしくはサーバへのインターフェース122の有線もしくは無線のリンクを通してアクセスされるデータベースであり得る。例えば、データベースは、インターネットを介してアクセスすることができる。
ステップ212では、情報がデータベースから検索され、ムーバブルディスプレイの表示スクリーン102に転送される。ステップ214では、オンボードプロセッサは、ムーバブルディスプレイがトランスデューサ108からの出力に基づいて再配置されたかどうかを判断する。再配置されたと判断されると、ディスプレイの新しい位置は、ステップ206において検出され、表示スクリーン102は、それに応じて更新される。あるいは、ディスプレイが再配置されていない場合には、表示スクリーンは、前に表示された情報を保持し、ステップ206で開始した一連のステップが、ムーバブルディスプレイがさらに移動することによって再び起動されるまで、動作は終了ブロック216に進む。
上記の実施形態は、例示を目的としているに過ぎず、他の多くの実施形態も当業者に容易に明白となる。他の実施形態では、面上のムーバブルディスプレイの相対的な移動は、所望の様式で検出され得る。例えば、ムーバブルディスプレイの移動は、限定はされないが、有線または無線リンクを介して、検出された位置変化を(例えば、赤外線リンクを介して)送信するムーバブルディスプレイに関連してパッシブボードを用いることを含む既知の検出技法を用いて、ムーバブルディスプレイの位置をモニターすることによって検出され得る。相対的な位置情報の変化は、任意の既知の位置検出システムを用いて出力され得る。
追跡マークを、面上に配置される透明−半透明シート上/内に確立(例えば、印刷、形成または埋め込み)してもよい。マークは、任意の可視マーク、および/または、例えば、紫外線(UV)、偏光、マイクロ印刷、光沢度差、導電性変化、絶縁耐力、触知可能な***、または他の任意の識別可能なタイプの不可視のマーキングであってよい。
本発明とともに用いることが可能な他の既知の移動検出技法としては、既知のボルタック(vortac)無線ナビゲーション技法が挙げられ、この技法は、ムーバブルディスプレイ上で赤外線ポートを用いて実施され得る。特に、例として、図3は、固定位置におけるパッシブタブレット302上に含まれる複数のダイオード304/306を示している。ダイオードの1つ304は、開始パルスを形成するために用いられるダイオードとして作用し得る。残りのダイオード306は、単一のダイオードに隣接して円形に構成され、順次発光し、電気の回転を形成する。ムーバブルディスプレイ100上に含まれる赤外線検出器308は、動き(motion)検出動作の開始として、単一のダイオードからの発光を読み取ることができる。次に、円形に配置されたダイオードは順次発光し、ムーバブルディスプレイ上の検出器は、回転シーケンスにおける各ダイオードからの光が検出される時を読み取ることが可能である。円形に配置された各ダイオードからの発光の検出に対する、単一のダイオード304からの初期開始パルスの検出に基づいて、ムーバブルディスプレイは、固定ダイオードに対するその向きを決定し、絶対位置座標における変化による移動を確かめることができる。
他の実施形態によると、面上に書き込まれたまたは埋め込まれた印は、ムーバブルディスプレイの移動を検出するために用いられ得る。例えば、面、または面上に配置されたオーバーレイは、交互の太線および細線などの、ナビゲーション格子線と共に予めプリントされてもよい。面上のムーバブルディスプレイ100の移動は、検出された太線および細線の数をモニターすることによって追跡され得る。方向の変更は、ムーバブルディスプレイが、細線から太線へ、またはその反対に移行しているかどうかを光学的にモニターすることによって検出され得る。太線および細線は共に、交差格子を形成する水平線312および垂直線314であり、互いに隣接した線は、間隔を置いて近接され、所望の位置検出解像度を得るようにしている。言うまでもなく、磁気、蛍光、もしくは赤外線インク、または他の任意の可視もしくは不可視インク、または他の印を用いてもよい。全地球測位システム(GPS)、レーザ干渉計、レーダ位置決め等の使用を含む既知の技法を用いてもよい。さらに、ディスプレイの相対的な位置は、ジャイロ、追跡ホイールまたはボール、加速度計等の機械的検出器を用いて追跡することもできる。例えば、ソナーまたは表面波位置決めに基づいた音響検出器(defactor)を用いてもよい。
例えば、Agilent Technologies, Inc.から入手可能な固体HDNS−2000光学マウスセンサとして容易に入手できる光学追跡センサなどの光センサ、または他の任意の追跡システムを用いてもよい。図4Aは、例示的な実施形態を示し、この実施形態では、追跡センサは、ムーバブルディスプレイ100に挿入することが可能なモジュラーユニット402として構成されている。図4Bは、モジュールの後部を示し、光学マウスなどのセンサ404が露出され、所定の面に対する表示装置の相対的な動きを追跡するために既知の様式で用いられ得る。
当業者は、表示スクリーン102として、入手可能な任意のディスプレイを用いることができることを理解しよう。例えば、任意のフラットパネルディスプレイ、または任意の他のディスプレイが用いられる。さらに、タッチセンシティブディスプレイが用いられてもよく、ユーザによって所望されるすべての機能属性が提供されてよい。例えば、タッチセンシティブディスプレイは、ユーザが、表示画像の特定部分の倍率を拡大または縮小できるように構成され得る。このように、タッチセンシティブディスプレイは、本明細書に記載される任意の機能、または当業者に明白な他の任意の機能を果たすためのボタンを含むように構成され得る。
また、本明細書では、ムーバブルディスプレイ100を用いた表示画像へのアクセスについて記載したが、当業者は、物理的文書上のムーバブルディスプレイの所定の位置に対応する音声出力を提供するために、音声データベースにアクセスすることもできることを理解するであろう。例えば、図1の例において、ムーバブルディスプレイ100を用いたデータベースへのアクセスによって、音声が出力され得る。当業者は、キーボードの各文字に関連する音声は、データベースに格納され、物理的文書上の特定の位置におけるムーバブルディスプレイの「ポインティング」に基づいて容易にアクセスできることを理解するであろう。さらに、触知可能な出力(例えば、マウスの振動)は、文書上のムーバブルディスプレイの位置に基づいて、触知可能なフィードバックの例示的な形態として提供され得る。例えば、Logitech Corp.は、このような特徴を提供するために、本発明に従って用いられる振動能力を有するマウスを製造する。
他の例示的な実施形態によると、画像の変形された表示は、サイズの小さいディスプレイを用いてナビゲートされる画像全体をユーザが見ることができるようにすることによって、ユーザが画像をナビゲートするのを助けるために用いられる。ユーザにとって見ることが困難な縮小された倍率で全体画像を生成させることを必要とせずに、比較的小さな表示スクリーンにはるかに大きな画像を表示させるために、本発明の例示的な実施形態は、画像の少なくとも一部を湾曲させるように構成され得る。例えば、ユーザが早急には関心を持たない画像の部分を圧縮し、画像の残りの部分は通常の解像度で表示することができる。
図5は、(アクセスされたばかりのウェブページなどの)表示される画像が、表示装置104の表示スクリーン102の縁部で湾曲される一例を示している。これは、例えば、縁部において精細になるように構成された格子を有する湾曲されたマップを用いて成し遂げられ得る。図5の例に示されるように、得られる画像は、画像の中央502において、高解像度および平坦な構造を有しており、縁部504においては、より低い解像度および丸みを帯びた構造を有するように圧縮されている。このように、画像の中央などの画像の第1の部分は、通常の解像度で表示され、画像の周囲などの画像の第2の部分は湾曲される(例えば、第1の部分が表示される低い解像度で表示される)。ムーバブルディスプレイ100が所定の面に対して移動すると、通常のように見える画像の部分に対する湾曲される画像の部分は、表示装置の移動に従って変更され得る。これにより、表示装置の比較的小さなディスプレイ上に表示される、より大きな画像内のナビゲーションが容易になる。
例示的な実施形態では、上記の効果は、複数の解像度で全体画像をまずコピーし、画像の所望の部分が異なる解像度のいずれかで表示されるようにすることで成し遂げられ得る。表示中、表示スクリーンの所定の部分(例えば、所望のサイズの中央部)は、通常の解像度で現れる画像の部分を表示するように設定することが可能である。表示スクリーンの残りの部分は、低い解像度で現れる画像の部分を表示するように設定することができる。
あるいは、水平線および垂直線を保持するようにして画像を拡大するために、任意のデジタルまたは光学技法を用いることができる。例えば、画像は、2つの独立関数xおよびyである一対の変換を用いて再度サンプリングされ得る。x,yの座標を有する任意の点に対して、再度サンプリングされた画像点x’,y’は、x’=f1(x)およびy’=f2(y)として計算される。新しいx座標は、古いx座標のみによって求められ、水平線の場合y座標が固定されるため、水平線は、変換後に水平直線として維持される。f1およびf2に対して任意の関数が選択され得る。例えば、2つの関数は、同一の滑らかに変化する拡大関数であり得る。作用する1つの関数は、2つの方向において円筒形マッピングを生成するコサイン関数である。関数は、ページ上の関心のある特定領域を拡大するように変更され得る。
拡大は、低解像度の装置上のウェブページを読みやすくするために用いられ得る。画像の中央エリアは、図5の例において拡大され、表示画像(例えば、表示されたウェブページ)の残りの部分は圧縮されているが、表示画像の任意の所望の部分が、空間位置および/または画像コンテンツに基づいて圧縮され得る。例えば、他の実施形態では、テキスト欄を表示するために用いられる表示スクリーンの特定の部分を拡大することができる。拡大は、選択される領域、かつ/またはサムホイール拡大コントローラなどのユーザからの入力によって、および/または画像コンテンツに基づいて、動的に変更され得る。
異なる解像度で画像を格納するために、メモリーバッファを用いることもできる。バッファは、画像の中央(または画像の任意の所望の部分)が、最大の解像度で表示され、画像の外側部分が低い解像度で表示され得るように選択的にアクセスされ得る。あるいは、画像の少なくとも一部を通常の解像度で提供し、残りの部分を低い解像度で表示し、元の画像のより大きな部分が見られるようにするための任意の既知の技法が用いられ得る。
2つの関数x1およびy1の選択に基づいて、図5の画像湾曲(function I2=orthomag(I1)と称する)を実施するために用いることができる例示的なコードセットは、以下のとおりである。
function I2=Orthomag(I1)
dx=1;dy=1;d=.01;
xmax=size(I1,1);
ymax=size(I1,2);
a=sqrt(d);
b=(2+d)/(2*a);
nx=floor((sqrt(xmax+b^2)−b)/a);
ny=floor((sqrt(ymax+b^2)−b)/a);
I2=unit8(zeros(nx*2,ny*2,3));
x2=1;y2=1;
x1=1;y1=1;
for xc=−nx:nx
for yc=−ny:ny
I2(x2,y2,:)=I1(floor(x1),floor(y1),:);
y1=y1+d*abs(yc)+1;
y2=y2+1;
end
y1=1;y2=1;
x1=x1+d*abs(xc)+1;x2=x2+1;
end
本発明に従って表示スクリーン上に情報を提示するために用いることができる他の任意の既知のグラフィカル視覚化技法としては、限定はされないが、Centre for Mathematics and Computer Science (CWI) Information Visualisation Homepageから入手可能なHerman, I.等による「Graph Visualisation and Navigation In Information Visualisation」という名称の文献、およびIEEE Transactions on Visualization and Computer Graphics、6(1), 24-43頁, 2000年に公開されている同様の文献に記載されているものが挙げられる。同様に、the Department of Computer Science, University of CalgaryのSaul Greenbergによる文献「A Fisheye Text Editor for Relaxed WYSIWIS Groupware」、1996年, ACM SIGCHI 1996 Conference on Human Factors in Computing Systems, Companion Proceedings, 212-213頁に記載されている技法も用いられ得る。上記の文献の開示はすべて、本明細書に参照により援用される。
当業者は、はるかに大きな画像の部分を見てナビゲートするための「レンズ」を提供することによって、本発明の例示的な実施形態は、画像に対する関連情報の無限のデータベースへのアクセスを可能にすることを理解するであろう。例示的な実施形態によると、比較的小さなディスプレイで、ユーザは、はるかに大きな仮想の作業スペースを見ることができる。
さらに、本発明の例示的な実施形態は、ムーバブルディスプレイをデスクトップコンピュータに接続することに関連して記載されているが、限定はされないが、ラップトップもしくはノートブック型コンピュータ、携帯情報端末(PDA)、無線電話、または他の任意の所望の装置を含む任意の装置に接続されてもよい。同様に、ムーバブルディスプレイは、ユーザによって望まれる任意のサイズに構成され、図1の例示的な実施形態は、図示される相対的なサイズに限定されない。
本発明を例示的な実施形態を参照しながら示し記載したが、形態および詳細の他の様々な変更が本発明の精神および範囲から逸脱せずになされ得ることは、当業者であれば理解するであろう。
本発明によるムーバブルディスプレイの例示的な実施形態の概観を示す図である。 本発明によるムーバブルディスプレイの例示的な実施形態の概観を示す図である。 図1のムーバブルディスプレイに関連する動作の例示的なフローチャートである。 本発明の他の実施形態を示す図である。 モジュラーユニットとして構成される動きセンサを含む例示的な実施形態を示す図である。 モジュラーユニットとして構成される動きセンサを含む例示的な実施形態を示す図である。 他の実施形態による画像の例示的な変形表示を示す図である。
符号の説明
100:ムーバブルディスプレイ
102:表示スクリーン
104:面
108:トランスデューサ
114:位置合わせキー
118:CPU
120:メモリ
122:インターフェース

Claims (17)

  1. ムーバブルディスプレイであって、
    第1の面に対する前記ムーバブルディスプレイの移動を検出する手段と、
    前記ムーバブルディスプレイの移動を、データベースに格納されている第1の画像の一部を表す情報に相関させ、該情報を前記ムーバブルディスプレイ上に提示する手段と、
    を備えているムーバブルディスプレイ。
  2. 前記検出手段が、前記ムーバブルディスプレイに含まれるトランスデューサである、請求項1に記載のムーバブルディスプレイ。
  3. 前記トランスデューサが、前記ムーバブルディスプレイの移動を、格納されている画像上の位置変化に相関させるために用いられる、請求項2に記載のムーバブルディスプレイ。
  4. 前記検出手段が、前記ムーバブルディスプレイの向きを検出するように構成されている、請求項1に記載のムーバブルディスプレイ。
  5. 前記相関手段が、プロセッサおよび関連のメモリを備えている、請求項1に記載のムーバブルディスプレイ。
  6. 前記データベースが、前記ムーバブルディスプレイに搭載されたメモリに格納されている、請求項5に記載のムーバブルディスプレイ。
  7. 前記情報が、前記ムーバブルディスプレイから離れたデータベースに格納されている、請求項5に記載のムーバブルディスプレイ。
  8. 前記ムーバブルディスプレイとは離れて格納されている前記情報が、有線リンクを介してアクセスされる、請求項7に記載のムーバブルディスプレイ。
  9. 前記ムーバブルディスプレイとは離れて格納されている前記情報が、無線リンクを介してアクセスされる、請求項7に記載のムーバブルディスプレイ。
  10. 物理的文書に関連する情報を表示するための方法であって、
    第1の面に対するムーバブルディスプレイの移動を検出するステップと、
    前記ムーバブルディスプレイの移動を、データベースに格納されている第1の画像の一部を表す情報に相関させるステップと、
    前記ムーバブルディスプレイ上に前記情報を提示するステップと、
    を含む方法。
  11. トランスデューサが、前記ムーバブルディスプレイの向きの変化を検出するために用いられる、請求項10に記載の方法。
  12. 前記データベースが、前記ムーバブルディスプレイに搭載されたメモリに格納されている、請求項10に記載の方法。
  13. 前記情報が、前記ムーバブルディスプレイから離れたデータベースに格納されている、請求項10に記載の方法。
  14. 前記情報が、前記ムーバブルディスプレイとは離れて格納され、有線リンクを介してアクセスされる、請求項10に記載の方法。
  15. 前記情報が、前記ムーバブルディスプレイとは離れて格納され、無線リンクを介してアクセスされる、請求項10に記載の方法。
  16. 前記第1の画像が、前記ムーバブルディスプレイを用いて作動することが可能なキーボードの画像である、請求項12に記載の方法。
  17. 前記第1の画像の第1の部分が、第1の解像度で表示され、前記第1の画像の第2の部分が、前記第1の解像度に対して低い解像度で表示される、請求項10に記載の方法。
JP2002586153A 2001-04-30 2002-04-30 ムーバブルユーザインターフェースとして小さなパネルディスプレイを用いた大型仮想表示のための方法および装置 Pending JP2005515479A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/843,755 US20020158921A1 (en) 2001-04-30 2001-04-30 Method and apparatus for virtual oversized display using a small panel display as a movable user interface
PCT/US2002/013546 WO2002088921A2 (en) 2001-04-30 2002-04-30 Method and apparatus for virtual oversized display using a small panel display as a movable user interface

Publications (2)

Publication Number Publication Date
JP2005515479A true JP2005515479A (ja) 2005-05-26
JP2005515479A5 JP2005515479A5 (ja) 2005-12-22

Family

ID=25290924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002586153A Pending JP2005515479A (ja) 2001-04-30 2002-04-30 ムーバブルユーザインターフェースとして小さなパネルディスプレイを用いた大型仮想表示のための方法および装置

Country Status (5)

Country Link
US (1) US20020158921A1 (ja)
EP (1) EP1428106A2 (ja)
JP (1) JP2005515479A (ja)
AU (1) AU2002256395A1 (ja)
WO (1) WO2002088921A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009543107A (ja) * 2006-07-07 2009-12-03 メンター グラフィックス コーポレイション 画像を拡大する装置および画像を拡大する方法
JP2019121393A (ja) * 2017-12-31 2019-07-22 サ−コス コーポレイション ロボット及びロボットデバイスによって見ることができる隠された識別タグ

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710754B2 (en) * 2001-11-29 2004-03-23 Palm, Inc. Moveable output device
US7096037B2 (en) * 2002-01-29 2006-08-22 Palm, Inc. Videoconferencing bandwidth management for a handheld computer system and method
DE10341580A1 (de) * 2003-09-09 2005-03-31 Siemens Ag Eingabevorrichtung für eine Datenverarbeitungsanlage
EP1679689B1 (en) * 2003-10-28 2014-01-01 Panasonic Corporation Image display device and image display method
US20050149258A1 (en) * 2004-01-07 2005-07-07 Ullas Gargi Assisting navigation of digital content using a tangible medium
US20060148674A1 (en) * 2004-12-31 2006-07-06 Luduena Richard F Therapeutic composition
JP5521226B2 (ja) * 2006-05-25 2014-06-11 富士フイルム株式会社 表示システム、表示方法、および表示プログラム
KR100913962B1 (ko) * 2007-05-14 2009-08-26 삼성전자주식회사 이동통신 단말기의 문자 입력 방법 및 장치
US8688734B1 (en) 2011-02-04 2014-04-01 hopTo Inc. System for and methods of controlling user access and/or visibility to directories and files of a computer
US9419848B1 (en) 2012-05-25 2016-08-16 hopTo Inc. System for and method of providing a document sharing service in combination with remote access to document applications
US8713658B1 (en) 2012-05-25 2014-04-29 Graphon Corporation System for and method of providing single sign-on (SSO) capability in an application publishing environment
US8856907B1 (en) 2012-05-25 2014-10-07 hopTo Inc. System for and methods of providing single sign-on (SSO) capability in an application publishing and/or document sharing environment
US9239812B1 (en) 2012-08-08 2016-01-19 hopTo Inc. System for and method of providing a universal I/O command translation framework in an application publishing environment
USD767588S1 (en) * 2013-12-16 2016-09-27 Tencent Technology (Shenzhen) Company Limited Display screen portion with graphical user interface
USD767589S1 (en) * 2013-12-16 2016-09-27 Tencent Technology (Shenzhen) Company Limited Display screen portion with animated graphical user interface
EP2977860A1 (en) * 2014-07-25 2016-01-27 Rovio Entertainment Ltd Interactive physical display
US9600099B2 (en) * 2014-07-25 2017-03-21 Rovio Entertainment Ltd Device for interaction with touch screen
US9727583B2 (en) 2014-07-25 2017-08-08 Rovio Entertainment Ltd Interactive physical display
US9639159B2 (en) * 2014-07-25 2017-05-02 Rovio Entertainment Ltd Physical surface interaction

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3737972A1 (de) * 1987-11-07 1989-05-24 Messerschmitt Boelkow Blohm Helm-lagedarstellungsgeraet
FR2676568B1 (fr) * 1991-05-17 1997-04-18 Aviau De Piolant Jean Louis D Systeme de dessin graphique.
US5543588A (en) * 1992-06-08 1996-08-06 Synaptics, Incorporated Touch pad driven handheld computing device
EP0609030B1 (en) * 1993-01-26 1999-06-09 Sun Microsystems, Inc. Method and apparatus for browsing information in a computer database
JP3242219B2 (ja) * 1993-06-23 2001-12-25 松下電器産業株式会社 表示装置及び表示方法
US5526481A (en) * 1993-07-26 1996-06-11 Dell Usa L.P. Display scrolling system for personal digital assistant
US5848373A (en) * 1994-06-24 1998-12-08 Delorme Publishing Company Computer aided map location system
GB9516762D0 (en) * 1995-08-16 1995-10-18 Phelan Sean P Computer system for identifying local resources
JPH10105362A (ja) * 1996-09-30 1998-04-24 Toshiba Corp 携帯型情報機器および拡大表示制御方法
US6208435B1 (en) * 1997-03-25 2001-03-27 Jan Scott Zwolinski Method and apparatus for providing a handheld scanner-dictionary apparatus
EP1028366A3 (en) * 1999-02-12 2001-03-21 Vega Vista, Inc. Motion driven access to object viewers
US20030182391A1 (en) * 2002-03-19 2003-09-25 Mike Leber Internet based personal information manager

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009543107A (ja) * 2006-07-07 2009-12-03 メンター グラフィックス コーポレイション 画像を拡大する装置および画像を拡大する方法
US9444970B2 (en) 2006-07-07 2016-09-13 Mentor Graphics Corporation Apparatus and method for magnifying an image
JP2019121393A (ja) * 2017-12-31 2019-07-22 サ−コス コーポレイション ロボット及びロボットデバイスによって見ることができる隠された識別タグ
US11413755B2 (en) 2017-12-31 2022-08-16 Sarcos Corp. Covert identification tags viewable by robots and robotic devices

Also Published As

Publication number Publication date
WO2002088921A3 (en) 2004-04-01
US20020158921A1 (en) 2002-10-31
AU2002256395A1 (en) 2002-11-11
EP1428106A2 (en) 2004-06-16
WO2002088921A2 (en) 2002-11-07

Similar Documents

Publication Publication Date Title
JP2005515479A (ja) ムーバブルユーザインターフェースとして小さなパネルディスプレイを用いた大型仮想表示のための方法および装置
US6781069B2 (en) Method and apparatus for virtual interaction with physical documents
CN1848081B (zh) 用于操作和查看数字文档的用户界面***和方法
Khan et al. An insight into smartphone-based assistive solutions for visually impaired and blind people: issues, challenges and opportunities
CN1834887B (zh) 调用电子墨水或手写界面的***和方法
US20180024719A1 (en) User interface systems and methods for manipulating and viewing digital documents
US6643824B1 (en) Touch screen region assist for hypertext links
CN101730874B (zh) 基于免接触的手势的输入
US9129207B2 (en) Systems and methods for printing maps and directions
US20130021250A1 (en) Method and handheld electronic device for displaying and selecting diacritics
WO2008029180A1 (en) An apparatus and method for position-related display magnification
US6955297B2 (en) Coordinate designation interface
US6018333A (en) Method and apparatus for selection and manipulation of an overlapping graphical element on a display
Engel et al. ATIM: automated generation of interactive, audio-tactile indoor maps by means of a digital pen
KR20140136471A (ko) 필기된 컨텐츠에 대해 공간적으로 관련된 주석의 디스플레이
JP5800386B2 (ja) 地図表示装置、地図表示方法、およびプログラム
JP2014042092A (ja) 電子黒板装置
KR20050073393A (ko) 캐드 도면을 자동 생성, 저장, 관리 하는 디지털전자펜마우스
US8878772B2 (en) Method and system for displaying images on moveable display devices
Lee et al. Tactile visualization with mobile ar on a handheld device
JP2009300734A (ja) 地図表示処理装置、地図表示装置、地図表示処理方法およびプログラム
JPH08235315A (ja) ペン・コンピュータ用の多次元文字構造体の自己区切り入力方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080516

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081104