JP2017182814A - 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置 - Google Patents

環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置 Download PDF

Info

Publication number
JP2017182814A
JP2017182814A JP2017079452A JP2017079452A JP2017182814A JP 2017182814 A JP2017182814 A JP 2017182814A JP 2017079452 A JP2017079452 A JP 2017079452A JP 2017079452 A JP2017079452 A JP 2017079452A JP 2017182814 A JP2017182814 A JP 2017182814A
Authority
JP
Japan
Prior art keywords
information
display
presentation
visual complexity
complexity level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017079452A
Other languages
English (en)
Other versions
JP6717773B2 (ja
Inventor
エイチ.グイェン デイビッド
h nguyen David
エイチ.グイェン デイビッド
エル.アシュブルック ダニエル
L Ashbrook Daniel
エル.アシュブルック ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of JP2017182814A publication Critical patent/JP2017182814A/ja
Application granted granted Critical
Publication of JP6717773B2 publication Critical patent/JP6717773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/10
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/69Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置およびコンピュータ・プログラム・プロダクトを提供する。
【解決手段】方法は、ディスプレイの上に情報の提示を生じさせるステップと、プロセッサが、環境情報の視覚的複雑性レベルを決定するステップと、少なくとも部分的には、決定した視覚的複雑性レベルに基づいて、ディスプレイの上の情報の少なくとも一部分の表現の修正をさせるステップと、を含む。
【選択図】図10

Description

本願発明の例示的実施形態は、一般に、ユーザ・インタフェース技術に関するものであり、より詳細には、環境情報の視覚的複雑性に基づいて、情報の提示を修正するための方法、装置およびコンピュータ・プログラム・プロダクトに関するものである。
現代の通信時代は、有線と無線ネットワークの素晴らしい拡大をもたらした。無線およびモバイル・ネットワーク技術は、関連した消費者需要に対処し、一方、情報伝達のより多くの柔軟性と直接性を提供した。ネットワーク技術の拡大と同時に、計算パワーの拡大が、現代のネットワーク技術により可能になったサービスを利用することができる入手可能な計算デバイスの開発において起こった。計算パワーのこの拡大は、計算デバイスのサイズの縮小に至り、ほんの数年前には最先端のデスクトップ・コンピュータだけが提供できた処理パワーを必要とした機能を実行することができるモバイル・デバイスの新世代を登場させた。それゆえに、小さな外形を有するモバイル計算デバイスは、ユビキタスとなり、あらゆる社会経済的バックグラウンドの消費者によって、ネットワーク・アプリケーションおよびサービスにアクセスするのに用いられている。
本願発明の実施形態は、環境情報の視覚的複雑性に基づいて、情報の提示を修正するための方法、装置およびコンピュータ・プログラム・プロダクトを提供する。1つの例示的実施形態において、この方法は、ディスプレイの上に情報の提示をさせることを含む。この方法は、環境情報の視覚的複雑性レベルを決定することを更に含む。この方法は、決定された視覚的複雑性レベルに少なくとも基づいて、ディスプレイの上の情報の少なくとも一部分の提示の修正をさせることを更に含む。
いくつかの実施形態において、この方法は、前記情報の前記少なくとも一部分の提示を、前記環境情報の前記決定された視覚的複雑性レベルが、所定の視覚的複雑性レベルより大きいインスタンスにおいて、複雑性がより少なくなるように、させることによって、前記情報の前記少なくとも一部分の提示の修正をさせるようにすることを更に含むことができる。いくつかの実施形態において、この方法は、前記情報の少なくとも前記一部分の提示を提示されている前記情報の前記少なくとも一部分を取り除かれるようにさせることによって、複雑性がより少なくなるように、させることを更に含むことができる。
いくつか実施形態において、この方法は、サイズ、色、または、輝度のうちの少なくとも1つにおいて、前記情報の前記少なくとも一部分に対して修正をさせることによって、前記情報の少なくとも前記一部分の提示の修正を生じさせるステップを更に含むことができる。
いくつか実施形態において、この方法は、少なくとも部分的に、視線追跡器または前面カメラのうちの少なくとも1つにより提供される出力に基づいて、前記視覚的複雑性レベルを決定することによって、前記視覚的複雑性レベルを決定することを更に含むことができる。
いくつかの実施形態において、ディスプレイは、各々が異なる環境情報に対応する複数の部分を規定することができる。この方法は、前記ディスプレイの少なくとも1つの部分に対応する情報環境に対する前記視覚的複雑性レベルを決定することによって、前記視覚的複雑性レベルを決定することを更に含むことができる。加えて、この方法は、前記ディスプレイの前記少なくとも1つの部分に対応する前記情報の前記少なくとも一部分の提示の修正をさせることによって、前記情報の少なくとも前記一部分の提示の修正を生じさせることを更に含むことができる。加えて、いくつかの実施形態において、この方法は、前記情報の前記少なくとも一部分が、前記環境情報に対して前記ディスプレイの動きに独立に、前記ユーザの前記視点から前記環境情報にわたって存在しているままであるように、前記ユーザの前記視点から環境情報に付着して修正される前記情報の少なくとも前記一部分の提示をさせることを更に含むことができる。
別の例示的実施形態で、装置は、少なくとも1つのプロセッサと、コンピュータ・プログラム・コードを格納すること含む少なくとも1つのメモリとを含む。ここで、この少なくとも1つのメモリと格納された前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサで、装置に、ディスプレイの上に情報の提示をさせることをさせるように構成される。この少なくとも1つのメモリと格納された前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサで、更に、装置に、環境情報の視覚的複雑性レベルを決定させるように構成される。この少なくとも1つのメモリと格納された前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサで、更に、装置に、少なくとも部分的には、前記決定した視覚的複雑性レベルに基づいて、前記ディスプレイの上の情報の少なくとも一部分の提示の修正をさせることをさせるように構成される。
別の例示的実施形態において、コンピュータ・プログラム・プロダクトが提供される。この例示的実施形態のコンピュータ・プログラム・プロダクトは、コンピュータ読取り可能プログラム命令をその中に格納した少なくとも1つのコンピュータ読取り可能記憶媒体を含む。この例示的実施形態のプログラム命令は、ディスプレイの上に情報の提示をさせることを含む方法を装置に実行させるように構成されたプログラム命令を含む。この方法は、環境情報の視覚的複雑性レベルを決定することを更に含む。この方法は、決定された視覚的複雑性レベルに少なくとも基づいて、前記ディスプレイの上の情報の少なくとも一部分の提示の修正をさせることを更に含む。
別の例示的実施形態で、装置が提供される。この装置は、ディスプレイの上に情報のを提示をさせる手段を備える。この装置は、環境情報の視覚的複雑性レベルを決定する手段を更に含む。この装置は、決定された視覚的複雑性レベルに少なくとも基づいて、前記ディスプレイの上の情報の少なくとも一部分の提示の修正をさせる手段を更に含む。
このように、一般的な用語で本願発明のいくつかの実施形態を記述したが、次に、添付の図面への参照がなされる。これは、必ずしも一定の比率描かれているというわけではない。ここで、
図1は、例示的実施形態にしたがう、ユーザ・インタフェースを有する装置のブロックを図示する。 図2は、例示的実施形態にしたがう、モバイル端末の概略ブロック図である。 図3Aは、たとえば、図1に示される装置を具体化する例示的ヘッドマウント式ディスプレイを図示する。ここで、ディスプレイは、本願発明の例示的実施形態にしたがって、都市スカイラインが、ディスプレイを通して見られるように、パススルーである。 図3Bは、たとえば、図1に示される装置を具体化することができる、車のための例示的なパススルー・フロント・ガラス・ディスプレイを図示する。ここで、本願発明の例示的実施形態にしたがって、都市スカイラインは、ディスプレイを通して見ることができる。 図4Aは、FIG 3Aで示されるヘッドマウント式のディスプレイを図示する。ここで、着信の通知を提供している情報は、ここに記述される例示的実施形態にしたがって、ディスプレイの上に示される。 図4Bは、図3Bで示されるパススルー・フロント・ガラス・ディスプレイを図示する。着信の通知を提供している情報は、ここに記述される例示的実施形態にしたがって、ディスプレイの上に示される。 図5Aは、FIG 3Aで示されるヘッドマウント・ディスプレイを図示する。ここで、コンピュータ・スクリーンは、ここに記述される例示的実施形態にしたがって、ヘッドマウント・ディスプレイの部分を通して見ることができる。 図5Bは、図3Bで示されるパススルー・フロント・ガラス・ディスプレイを図示する。ここで、都市スカイラインとサインを、ここに記述される例示的実施形態にしたがって、フロント・ガラス・ディスプレイの部分を通して見ることができる。 図6Aは、図4Aにおいてヘッドマウント式のディスプレイを図示する。ここで、提示されている情報が、ここに記述される例示的実施形態にしたがって、コンピュータ・スクリーンに基づいて、修正された。 図6Bは、図4Bに示されるパススルー・フロント・ガラス・ディスプレイを図示する。ここで、ここに記述される例示的実施形態にしたがって、都市スカイラインとサインに基づいて、提示されている情報が、修正された。 図7Aは、図5Aに示されるヘッドマウント・ディスプレイを図示する・ここで、ここに記述される例示的実施形態にしたがって、ヘッドマウント・ディスプレイは、異なる部分を規定する。 図7Bは、図5Bに示されるパススルー・フロント・ガラス・ディスプレイを図示する。ここで、ここに記述される例示的実施形態にしたがって、フロント・ガラス・ディスプレイは、異なる部分を規定する。 図8Aは、図7Aに示されるヘッドマウント式のディスプレイを図示する。ここで、提示されている情報は、ここに記述される例示的実施形態にしたがって、ヘッドマウント・ディスプレイの部分を通して見られる環境情報に基づいて、修正された。 図8Bは、図7Bに示されるパススルー・フロント・ガラス・ディスプレイを図示する。ここで、提示されている情報が、ここに記述される例示的実施形態にしたがって、フロント・ガラス・ディスプレイの部分を通して見られる環境情報に基づいて、修正された。 図9Aは、図8Aに示されるヘッドマウント式のディスプレイを図示する。ここで、提示されている情報は、ここに記述される例示的実施形態にしたがって、ブランク・ウォールに付着している。 図9Bは、図8Bにおけるパススルー・フロント・ガラス・ディスプレイを図示する。ここで、提示されている情報が、ここに記述される例示的実施形態にしたがって、大きな建物に付着している。 図10は、ここに記述される例示的実施形態にしたがって、環境情報の視覚的複雑性に基づいて、情報の提示を修正するための例示的方法によるフローチャートを図示する。 図11は、ここに記述される例示的実施形態にしたがって、環境情報の視覚的複雑性に基づいて、情報の提示を修正するための別の例示的方法による、フローチャートを図示する。
本願発明のいくつかの実施形態が、以下に、添付の図面を参照して、より詳細に記述される。本願発明の実施形態のすべてではないが、そのいくつかが示される。実際に、本願発明は、多くの異なる形で具体化することができる。そして、ここに述べられる実施形態に制限されるように、解釈されてはならないむしろ、これらの実施形態は、この開示が適用可能な法的要求を満たすように提供されるものである。以下を通して、同様の参照番号は、同様の要素を参照する。
ここで用いられるように、「データ」、「コンテンツ」、「情報」および同様の用語は、種々の例示的実施形態にしたがって、送信され、受信され、表示され、および/または、格納されることが可能な単数または複数のデータに言及するのに、互換的に用いることができる。このように、いかなるこのような用語の使用も、本願開示の要旨および範囲を制限するためであるととってはならない。
「コンピュータ読取り可能媒体」という用語は、ここで用いられるように、実行のための命令を含むプロセッサに情報を提供することに関与するように構成された任意の媒体を指す。そのような媒体は、固定コンピュータ読取り可能媒体(例えば、不揮発性媒体、揮発性媒体)、そして、伝送媒体含む、多くの形をとることができる。しかし、これらに限定されるものではない。伝送媒体は、たとえば、同軸ケーブル、銅線、光ファイバー・ケーブル、および、音波およびラジオ、光、赤外線波を含む電磁波などのワイヤーやケーブルなしで空間を伝播する搬送波を含む。信号は、振幅、周波数、位相、分極における人工的な過渡状態バリエーション、または、他の伝送媒体を通して伝送される物理的特性を含む。固定コンピュータ読取り可能媒体の例は、磁性コンピュータ読取り可能媒体(例えば、フロッピー(登録商標)・ディスク、ハード・ディスク、磁気テープ、他の任意の磁気媒体)、光学的コンピュータ読取り可能媒体例えば、コンパクト・ディスク・リード・オンリー・メモリ(CD−ROM)、ディジタル多用途ディスク(DVD)、ブルーレイ・ディスク、など)、ランダム・アクセス・メモリ(RAM)、プログラマブルROM(PROM)、消去可能プログラマブルROM(EPROM)、フラッシュEPROM、または、コンピュータが読み出すことができる他の任意の固定媒体を含む。「コンピュータ読取り可能記憶媒体」という用語は、ここでは、伝送媒体以外の任意のコンピュータ読取り可能媒体を指すために用いられる。しかしながら、ここで、実施形態はコンピュータ読取り可能記憶媒体を使うように記述されているが、他のタイプのコンピュータ読取り可能媒体を、代替的実施形態におけるコンピュータ読取り可能記憶媒体に替えて置換し、または、加えて使用することができることが理解される。
加えて、ここで用いられるように、「回路」という用語は、
(a)ハードウェアのみの回路インプリメンテーション(例えば、アナログ回路および/またはディジタル回路でのインプリメンテーション)、
(b)回路と、一緒に動作して装置に、ここに記述される1つ以上の機能を実行させる1つ以上のコンピュータで読取り可能メモリに格納されるソフトウェアやファームウェア命令を備えるコンピュータ・プログラム・プロダクトとの組合せ、および、
(c)たとえば、たとえソフトウェアまたはファームウェアが物理的に存在しないとしても動作のためにソフトウェアまたはファームウェアを要求するマイクロプロセッサ、または、マイクロプロセッサ部分、
などの回路を指す。この「回路」の定義は、すべての請求項を含む、ここでの、この用語のすべての用途に対して適用される。さらなる例として、ここに使われるように、用語「回路」は、1つ以上のプロセッサやその部分、および、付随するソフトウェアやファームウェアを備えるインプリメンテーションを含む。別の例として、ここで用いられる用語「回路」は、また、サーバ、携帯電話ネットワーク・デバイス、他のネットワーク・デバイスや他の計算デバイスにおける、たとえば、ベースバンド方式集積回路、または、携帯電話のための応用プロセッサ集積回路、あるいは、同様の集積回路を含む。
図1は、環境情報の視覚的複雑性に基づいて、情報の提示を修正するための装置102のブロック図を図示する。装置102は、1つの実施形態の例として提供され、そして、どんな形であれ発明の範囲または要旨を狭くするものであると解釈されてはならないことが認識される。これに関して、本願開示の範囲は、ここに図示され、記述されたものに加えて、多くの可能な実施形態におよぶ。そのように、図1は、ユーザ・インタフェースで対話を容易にするための装置の構成の1つの例を図示するものであるが、他の構成も、また、本願発明の実施形態をインプリメントするのに使うことができる。
装置102は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、モバイル端末、モバイル・コンピュータ、携帯電話、モバイル通信デバイス、ゲーム・デバイス、ディジタル・カメラ/ビデオカメラ、オーディオ/ビデオプレーヤー、テレビジョン・デバイス、無線受信機、ディジタル・ビデオテープ・レコーダー、測位デバイス、チップセット、チップセットを備える計算デバイス、これらの任意の組合せなどの、固定デバイスとして、または、モバイル・デバイスとしても具体化することができる。これに関して、装置102は、ディスプレイを備える、あるいは、ディスプレイと通信して動作している任意の計算デバイスを備えることができる。いくつかの例示的実施形態において、装置102は、図2の中で図示されるモバイル端末のようなモバイル・コンピュータとして具体化される。
これに関して、図2は、装置102の1つの例示的実施形態の代表例としてモバイル端末10のブロック図を図示する。しかしながら、以下で図示され、記述されるモバイル端末10は、本願発明の種々の例示的実施形態をインプリメントすることができる、および/または、利益を受けることができる装置102の1つのタイプの単に実例的なものであり、したがって、本願開示の範囲を制限するためであるととってはならないことが理解されるべきである。計算デバイスのいくつかの実施形態が図示され、そして、以下、例を目的として記述されるのであるが、携帯電話、モバイル・コンピュータ、個人情報機器(PDA)、ページャ、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ゲーム・デバイス、測位デバイス、タブレット型コンピュータ、テレビジョン、電子ペーパーなどの、他のタイプの計算デバイス、および、他のタイプの電子装置は、本願発明の種々の実施形態を用いることができる。
図示されるように、モバイル端末10は、送信器14および受信器16との通信において、アンテナ12(または複数のアンテナ12)を含むことができる。モバイル端末10は、また、送信器に信号を提供し、および受信器から信号を受けとるように構成されたプロセッサ20を含むことができる。プロセッサ20は、たとえば、回路、ディジタル信号プロセッサを伴う1つ以上のマイクロプロセッサ、ディジタル信号プロセッサを伴わない1つ以上のマイクロプロセッサ、1つ以上のコプロセッサ、1つ以上のマルチコア・プロセッサ、1つ以上のコントローラ、処理回路、1つ以上のコンピュータ、たとえば、ASIC(application specific integrated circuit)、またはFPGA(フィールドプログラマブルゲートアレイ)、または、いくつかのそれらの組合せなどの集積回路を含む種々の他の演算処理装置を含む種々の手段として具体化することができる。したがって、図2の中では、シングル・プロセッサとして、図示されるが、いくつかの実施形態において、プロセッサ20は、複数のプロセッサを備える。プロセッサ20によって送受信される信号は、適用可能なセルラ・システムのエアインタフェース規格、および/または、制限されるものではないが、電気電子学会(IEEE)802.11、802.16、その他などの、Wi−Fi、無線ローカル・アクセス・ネットワーク(WLAN)技術を含む、多数の異なる有線のまたは無線ネットワーク技術に従って信号伝達情報を含むことができる。加えて、これらの信号は、スピーチ・データ、ユーザ生成データ、ユーザ要求データ、その他を含むことができる。これに関して、モバイル端末は、1つ以上のエアインタフェース規格、通信プロトコル、変調タイプ、アクセス・タイプ、その他で、動作することができることができる。より詳細には、モバイル端末は、種々の第1世代(1G)、第2世代(2G)、2.5G、第3世代(3G)通信プロトコル、第4世代(4G)通信プロトコル、インターネット・プロトコル・マルチメディア・サブシステム(IMS)通信プロトコル(例えば、セッション・イニシエーション・プロトコル(SIP))、その他にしたがって、動作することができることができる。例えば、モバイル端末は、2G無線通信プロトコルIS−136(時分割多重アクセス(TDMA))、GSM(登録商標)(Global System for Mobile communications)、IS−95 CDMA(Code Division Multiple Access)、その他にしたがって、動作することができることができる。また、たとえば、モバイル端末は、2.5G無線通信プロトコル汎用パケット無線システム(GPRS:wireless communication protocols General Packet Radio Service)、EDGE(Enhanced Data GSM Environment)、その他にしたがって、動作することができることができる。さらに、たとえば、モバイル端末は、UMTS(Universal Mobile Telecommunications System)CDMA2000(Code Division Multiple Access 2000)WCDMA(登録商標)(Wideband Code Division Multiple Access)TD−SCDMA(Time Division−Synchronous Code Division Multiple Access)その他などの3G無線通信プロトコルにしたがって、動作することができることができる。モバイル端末は、さらに、追加的に、LTE(Long Term Evolution)またはE−UTRAN(Evolved Universal Terrestrial Radio Access Network)その他のような3.9Gの無線通信プロトコルにしたがって、動作することができることができる。加えて、たとえば、モバイル端末は、第4世代(4G)無線通信プロトコルその他、また、将来開発することができる同様の無線通信プロトコルにしたがって、動作することができることができる。
TACS(Total Access Communication System)ならびに、NAMPS(Narrow−band Advanced Mobile Phone System)など、携帯端末は、デュアルまたは高次モード電話(例えば、ディジタル/アナログ、または、TDMA/CDMA/アナログ電話)がそうであるように、本願発明の実施形態から利益を得ることもできる。加えて、モバイル端末10は、Wi−Fi、または、WiMAX(Worldwide Interoperability for Microwave Access)プロトコルにしたがい、動作することができることができる。
プロセッサ20は、オーディオ/ビデオ、そして、モバイル端末10のロジック機能をインプリメントするための回路を備えることができることが理解される。例えば、プロセッサ20は、ディジタル信号処理装置デバイス、マイクロプロセッサ・デバイス、アナログ・ディジタル変換器、D−A変換器、および/または、その他を備えることができる。モバイル端末のコントロールおよび信号処理機能は、それぞれの能力によってこれらのデバイスの間で割り当てることができる。プロセッサは、追加的に、内蔵音声符合化器(VC)20a、内蔵データ・モデム(DM)20b、その他を備えることができる。さらに、プロセッサは、1つ以上ソフトウェア・プログラム(例えば、アプリケーション)を操作する機能を備えることができる。これは、メモリに格納することができる。たとえば、プロセッサ20は、ウェブ・ブラウザなどの接続プログラムを操作することができる。接続プログラムは、モバイル端末10が、WAP(Wireless Application Protocol)HTTP(hypertext transfer protocol)その他などのプロトコルにしたがい、位置ベース・コンテンツのようなウェブ・コンテンツを送受信することを可能にする。モバイル端末10は、インターネットまたは他のネットワークにわたってウェブ・コンテンツを送受信するのに、TCP/IP(Transmission Control Protocol/Internet Protocol)を使用することができる。
モバイル端末10は、また、たとえば、イヤホン、または、スピーカー24、リンガー22、マイク26、ディスプレイ28、ユーザ入力インタフェースその他を含むユーザ・インタフェースを備えることができる。これらは、操作上、プロセッサ20に結合することができる。これに関して、プロセッサ20は、たとえば、スピーカー24、リンガー22、マイク26、ディスプレイ28、その他などのユーザ・インタフェースの1つ以上の要素の少なくともいくつかの機能を制御するように構成されるユーザ・インタフェース回路を含むことができる。プロセッサ20やプロセッサ20を備えているユーザ・インタフェース回路は、プロセッサ20にアクセスできるメモリ(例えば、揮発性メモリ40、不揮発性メモリ42、その他)に格納されたコンピュータ・プログラム命令(例えば、ソフトウェアやファームウェア)を通してユーザ・インタフェースの1つ以上の要素の1つ以上の機能を制御するように構成することができる。図示されていないが、モバイル端末は、たとえば、検出可能出力として機械的振動を提供する回路などモバイル端末に関連した種々の回路に電力供給するためにバッテリーを備えることができる。モバイル端末のディスプレイ28は、プラズマ・ディスプレイ・パネル(PDP)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、有機発光ダイオード・ディスプレイ(OLED)、パス・スルー・ディスプレイ、プロジェクター、ホログラフィック・ディスプレイその他を含むいくつかの例において、電子デバイスに対して適切な任意のタイプのものであることができる。ディスプレイ28は、たとえば、3次元タッチ・ディスプレイを備えることができる。その例は、以下で、さらに記述される。ユーザ入力インタフェースは、モバイル端末がデータを受信することを可能にするデバイスを備えることができる。例えば、キーパッド30、タッチ・ディスプレイ(例えば、ディスプレイ28がタッチ・ディスプレイとして構成されるいくつかの例示的実施形態)、ジョイスティック(図示せず)、その他の入力デバイスなどである。キーパッドを含む実施形態において、このキーパッドは、数値(0−9)および関連したキー(#、*)、モバイル端末10を操作するためのその他のキーを備えることができる。代替的に、または、追加的に、キーパッド30は、従来のQWERTYキーパッド配置を含むことができる。
モバイル端末10は、加入者識別モジュール(SIM) 38、取り外し可能なユーザ識別モジュール(R−UIM)、その他などのメモリを備えることができる。これらは、モバイル加入者に関係する情報要素を格納することができる。SIMに加えて、モバイル端末は、他の取り外し可能なおよび/または固定メモリを含むことができる。モバイル端末10は、揮発性メモリ40や不揮発性メモリ42を含むことができる。たとえば、揮発性メモリ40は、ダイナミックおよび/またはスタティックRAM、オン・チップまたはオフ・チップ・キャッシュ・メモリ、その他を含むランダム・アクセス・メモリ(RAM)を含むことができる。埋め込み、および/または、取り外し可能な不揮発性メモリ42は、たとえば、リードオンリー・メモリ、フラッシュ・メモリ、磁気記憶デバイス(例えば、ハード・ディスク、フロッピー(登録商標)・ディスク・ドライブ、磁気テープ、等)、光学ディスク・ドライブおよび/または媒体、非揮発性ランダム・アクセス・メモリ、(NVRAM)、その他を含むことができる。揮発性メモリ40のように、不揮発性メモリ42は、データの一時記憶のためにキャッシュ領域を含むことができる。このメモリは、固定で、1つ以上のソフトウェアプログラム、命令、情報のピース、データ、その他を格納することができる。これらは、モバイル端末によって、モバイル端末の機能を実行するのに使用することができる。たとえば、メモリは、モバイル端末10をユニークに識別することができるIMEI(international mobile equipment identification)コードなどの識別子を含むことができる。
図1に戻って、例示的実施形態において、装置102は、ここに記述される種々の機能を実行するための種々の手段を含む。これらの手段は、プロセッサ110、メモリ112、通信インタフェース114、ユーザ・インタフェース116、センサ118、または、ユーザ・インタフェース(UI)制御回路122のうちの1つ以上を備えることができる。装置102の手段は、ここに記載されるように、たとえば、回路、ハードウェア要素(例えば、適切にプログラムされたプロセッサ、組合せ論理回路、その他)、適切に構成された処理デバイス(例えば、プロセッサ110)によって実行可能であるコンピュータ読取り可能媒体(例えば、メモリ112)の上に格納された、コンピュータ読取り可能プログラム命令を含むコンピュータ・プログラム・プロダクト、(例えば、ソフトウェアまたはファームウェア)または、いくつかのそれらの組合せとして、具体化することができる。
いくつかの例示的実施形態において、図1の中で図示される1つ以上の手段は、チップとして、またはチップセットとして具体化することができる。言い換えると、装置102は、材料、コンポーネント、および/または、構造的アセンブリ(例えば、ダッシュボード)のワイヤーを含む1つ以上の物理的パッケージ(例えば、チップ)を備えることができる。構造的アセンブリは、物理的強度、サイズの保全、および/または、そこに含まれるコンポーネント回路に対する電気的インタラクションの制限を提供することができる。これに関して、プロセッサ110、メモリ112、通信インタフェース114やUI制御回路122は、チップまたはチップセットとして具体化することができる。したがって、装置102は、いくつかの場合において、単一のチップ上に、あるいは、単一の「システム・オン・チップ」として、本願発明の実施形態をインプリメントするように構成する、あるいは、そのように構成されたコンポーネントを含むことができる。そのように、いくつかの場合において、チップまたはチップセットは、ここに記述される機能を提供するための1つ以上の操作を実行するための、および/または、ここに記述される機能やサービスについてユーザ・インタフェース・ナビゲーションを可能にするための手段を構成することができる。
プロセッサ110は、たとえば、ディジタル・シグナル・プロセッサを伴う1つ以上のマイクロプロセッサ、ディジタル・シグナル・プロセッサがない1つ以上のマイクロプロセッサ、1つ以上のコプロセッサ、1つ以上のマルチコア・プロセッサ、1つ以上のコントローラ、処理回路、1つ以上のコンピュータ、たとえば、ASICまたはFPGAなどの集積回路を含む種々の他の演算処理装置、1つ以上の他のタイプのハードウェア・プロセッサ、または、いくつかのそれらの組合せを含む種々の手段として具体化することができる。したがって、図1の中では、シングル・プロセッサとして、図示されるが、いくつかの実施形態において、プロセッサ110は、複数のプロセッサを備える。複数のプロセッサは、互いに他と通信して動作することができ、そして、全体的に、ここに記載されるように、装置102の1つ以上の機能を実行するように構成することができる。複数のプロセッサは、1つの計算デバイスの上で、全体的に、装置102として機能するように構成される複数のコンピューティング・デバイスにわたって分散して具体化することができる。モバイル端末10として装置102が具体化された実施形態において、プロセッサ110は、プロセッサ20として、具体化することができる、あるいは、プロセッサ20を備えることができる(図2に図示する)。いくつかの例示的実施形態において、プロセッサ110は、メモリ112に格納された、または、さもなければ、プロセッサ110にアクセスできる命令を実行するように構成される。これらの命令、プロセッサ110によって実行されるとき、装置102に、ここに記載されるように、装置102の1つ以上の機能を実行させるようにさせることができる。そのように、ハードウェアで、またはソフトウェアで構成されていても、あるいは、その組合せによって、構成されていても、プロセッサ110は、それに応じて構成されており、本願発明の実施形態にしたがう、動作を実行することができるエンティティを備えることができる。したがって、たとえば、プロセッサ110が、ASIC、FPGA、その他として具体化されているとき、プロセッサ110は、ここに記述された1つ以上の動作を行うために特に構成されたハードウェアを備えることができる。代替的に、別の例として、プロセッサ110が、メモリ112に格納されているなどの、命令の実行主体として具体化されているとき、その命令は、特に、プロセッサ110を、ここに記述された1つ以上のアルゴリズムおよび動作を実行するように構成することができる。
メモリ112は、たとえば、揮発性メモリ、不揮発性メモリ、または、いくつかのそれらの組合せを備えることができる。これに関して、メモリ112は、固定コンピュータ読取り可能記憶媒体を備えることができる。図1において単一のメモリとして図示されているが、メモリ112は、複数のメモリを含むことができる。複数のメモリは、1つの計算デバイスの上で、具体化することができる。あるいは、全体的に、装置102として機能するように構成される複数の計算デバイスにわたって分散することができる。種々の例示的実施形態において、メモリ112は、ハード・ディスク、ランダム・アクセス・メモリ、キャッシュ・メモリ、フラッシュ・メモリ、コンパクト・ディスク・リード・オンリー・メモリ(CD−ROM)、ディジタル多用途ディスク・リード・オンリー・メモリ(DVD−ROM)光学的ディスク、情報を格納するように構成される回路、または、いくつかのそれらの組合せを備えることができる。装置102がモバイル端末10として具体化される実施形態において、メモリ112は、揮発性メモリ40および/または不揮発性メモリ42(図2に図示する)を備えることができる。メモリ112は、種々の例示的実施形態にしたがって、装置102が種々の機能を実行するのを可能にするために、情報、データ、アプリケーション、命令、その他を格納するように構成することができる。例えば、いくつかの例示的実施形態において、メモリ112は、プロセッサ110による処理のために、データをバッファするように構成される。追加的に、または、代替的に、メモリ112は、プロセッサ110による実行のためのプログラム命令を格納するように構成することができる。メモリ112静的および/または動的情報の形で、情報を格納することができる。格納された情報は、例えば、画像、コンテンツ、メディア・コンテンツ、利用者データ、アプリケーション・データ、その他を含むことができる。この格納された情報は、その機能性を実行する過程でUI制御回路122において、格納し、および/または、使用することができる。
通信インタフェース114は、任意のデバイス、または、回路に具体化された手段、ハードウェア、コンピュータ読取り可能媒体に格納された(例えば、メモリ112)コンピュータ読取り可能プログラム命令を含むコンピュータ・プログラム・プロダクトとして具体化することができる、そして、別の計算デバイスとデータを送受信するように構成された処理デバイス(例えば、プロセッサ110)または、その組合せによって、実行されることができる。いくつかの例示的実施形態において、通信インタフェース114は、少なくとも部分的に、プロセッサ110として、あるいは、さもなければ、プロセッサ110に制御されるように、具体化される。これに関して、通信インタフェース114は、例えば、バスを介して、プロセッサ110と通信していることができる。通信インタフェース114は、たとえば、アンテナ、送信器、受信器、トランシーバや、サポート・ハードウェア、または、1つ以上のリモート計算デバイスと通信を可能にするソフトウェアを含むことができる。装置102がモバイル端末10として具体化される実施形態において、通信インタフェース114は、送信器14と受信器16としてとして具体化することができる、または、送信器14と受信器16を備える(図2に図示する)。通信インタフェース114は、計算デバイスの間での通信のために使用することができる任意のプロトコルを使用してデータを受信および/または送信するように構成することができる。これに関して、通信インタフェース114は、無線ネットワーク、有線ネットワーク、それらのいくつかの組合せ、その他にわたるデータ伝送のために使用することができる任意のプロトコルを使用してデータを受信および/または送信するように構成することができる。これにより、装置102と1つ以上の計算デバイスとが、通信状態にあることができる。例として、通信インタフェース114は、サーバまたは、他のコンテンツ・ソースからネットワークをわたって、コンテンツ(例えば、ウェブページ・コンテンツ、ストリーミング・メディア・コンテンツ、その他)を受信し、および/または、さもなければアクセスするように構成することができる。通信インタフェース114は、さらに、例えば、バスを介して、メモリ112、ユーザ・インタフェース116、センサ118やUI制御回路122と通信状態にあることができる。
センサ118は、プロセッサ110、ユーザ・インタフェース116やUI制御回路122と通信状態にあることができる。装置102がモバイル端末10として具体化される実施形態において、センサ118は、センサ18として具体化できる、あるいは、それを備えることができる(図2に図示する)。いくつかの実施形態において、センサ118は、ユーザの目の運動または挙動における変化を検出するように構成することができる。いくつかの実施形態において、センサ118は、例えば、ユーザの目の位置や焦点を検出することによって、ユーザの視線を追跡するように構成することができる。例えば、センサ118は、ユーザの目(例えば、ユーザの角膜)で跳ね返る光線(beam)または、他の信号(例えば、赤外線)を伝送するように構成されることができる。センサ118は、また、その光線または他の信号を、戻ってきたときに受信するように構成することができる。いくつかの実施形態において、センサ118を、ユーザの眼球運動におけるパターンを検出するように構成することができる。追加的に、または、代替的に、センサ118は、ユーザの瞳孔拡張を検出する、あるいは、測定することができる。これらの同一線上で、センサ118は、3次元環境においてユーザの焦点(例えば、ユーザの焦点深度)を確定するために、ユーザの瞳孔のサイズを検出するように構成することができる。いくつかの実施形態において、センサ118は、出力(例えば、信号、光線、絵、ビデオなど)を、プロセッサ110ユーザの視線(例えば、位置、焦点、瞳孔拡張など)に関して特定の状況を決定するのを可能にするためにプロセッサ110に提供することができる。この情報は、ユーザの視線の運動または挙動における変化を決定するのに用いることができる。同様に、センサ118は、例えば、過度のまばたき、または、とりわけ、重いまぶたを閉じた挙動を含むユーザのまぶたの運動などの、ユーザの他の特徴をモニターするように構成することができる。いくつかの実施形態において、センサ118は、視線追跡器を備えることができる。そのような実施形態において、センサ118を、環境情報の視覚的複雑性の決定などのために、装置102(例えば、プロセッサ110)に、いかなる上記の検出を示す出力をも提供するように構成することができる。そして、ユーザがそれを見ることができる。
加えて、いくつかの実施形態において、センサ118は、前面カメラを備えることができる。いくつかの実施形態において、これらの前面カメラは、装置が、パス・スルー・ディスプレイで(例えば、写真、ビデオなどで)、(例えば、ユーザの視点から)ユーザがディスプレイを通して見ている環境情報を検出するのを支援するために有用でありえる。実際に、いくつかの実施形態において、これらの前面カメラは、装置102(例えば、プロセッサ110)に、出力を提供することができる。これは、本願発明の例示的実施形態に有用でありえる、環境情報の視覚的複雑性を決定する装置102を支援することができる。
ここで用いられるように、装置102の例示的実施形態は、任意のタイプのセンサ118、または、とりわけ、視線追跡器と前面カメラなどのセンサ118の組合せを含むことができる。
ユーザ・インタフェース116は、ユーザ入力の指標を受信するために、および/または、オーディオ、ビジュアル、機械的、あるいは他の、出力を、ユーザに提供するためにプロセッサ110と通信状態にあることができる。そのように、ユーザ・インタフェース116は、たとえば、キーボード、マウス、ジョイスティック、ディスプレイ、タッチ・スクリーン・ディスプレイ、マイク、スピーカーや他の入出力メカニズムを含むことができる。いくつかの実施形態において、ディスプレイは、スクリーン上、壁の上、眼鏡の上のディスプレイ(例えば、眼近接ディスプレイ)、空中にあるもの、その他を指すことができる。装置102がモバイル端末10として具体化される実施形態において、ユーザ・インタフェース116は、ディスプレイ28とキーパッド30として具体化することができる、あるいは、それらを備えることができる(図2に図示する)。ユーザ・インタフェース116は、例えば、バスを介して、メモリ112、通信インタフェース114、センサ118、および/またはUI制御回路122と通信状態であることができる。
いくつかの実施形態において、ユーザ・インタフェース116は、パス・スルー・ディスプレイを含むことができる。同様に、装置102がモバイル端末10として具体化される実施形態において、ディスプレイ28は、パス・スルー・ディスプレイとして具体化することができる。いくつかの実施形態において、パス・スルー・ディスプレイを、ユーザが提示されている情報が見えることができるように、少なくとも部分的に透明な形(例えば、画像オーバーレイ)で情報(例えば、テキスト、アイコン、写真、ビデオ、視覚的誘引物など)を提示するように構成することができる。
そのように、いくつかの例示的実施形態は、図3Aに示される眼鏡150のような、または、図3Bに示されるフロント・ガラス(windshield)170 のようなディスプレイを備えているデバイスを通して入力を提供するための装置(例えば、装置102)を提供することができる。パス・スルー・ディスプレイを有する装置は、通常の光学ガラス・レンズであるように見えるレンズを通したように、実質的に透明なディスプレイ表面上の情報の視覚的オーバーレイを提供することができる。この視覚的オーバーレイは、パス・スルー・ディスプレイの上で表示することができる追加情報を提供している間に、ユーザの典型的な覆い隠されていない視野において、ユーザが、対象物や人々を見るのを可能にする。情報の視覚的オーバーレイは、透明(または0%の不透明度)から不透明(または100%の不透明度)にわたる種々の不透明度のものであることができる。例えば、パス・スルー・ディスプレイの上で提示される情報は、いくつかの場合において、実質的に透明なディスプレイの上で実質的に不透明な方法で提示することによって、ディスプレイの上で提示される情報を越えて、ユーザの視界を完全にふさぐことがあり得る。いくつかの実施形態において、提示された情報は、ユーザ(例えば、着用者)が、パス・スルー・ディスプレイを越えて、環境を見ることができるように、部分的に透明であることができる。透明度の程度は、情報が示されない完全に透明なものから、完全に不透明なものにまたは非透過のものまで、または、その間での任意のどんな程度にも変化することができる。
例示的実施形態は、また、パス・スルー・ディスプレイのエッジにおいて情報を提示することができる。例えば、1つの実施形態のパス・スルー・ディスプレイは、透明度が小さく、その実質的に透明な領域のまわりに提示されるおそらく不透明である情報を有する実質的に透明であるディスプレイの中心領域を含むことができる。そのような実施形態は、ユーザが、中心領域を通して、その環境(例えば、環境情報)を見ることを可能とする。また、一方、ユーザが、そのあたりについて、周囲に見られるように、情報を提供する。
オブジェクト認識と結びつくパス・スルー・ディスプレイの上での情報の提示は、ダイナミックに対話的な情報をユーザに提示することを可能にする。パス・スルー・ディスプレイを有する装置は、2次元の(2−D)および/または、3次元の(3−D)視覚的要素の提示を可能にする。ディスプレイの平面で提示された2次元のグラフィック要素は、ユーザに、ユーザ・インタフェース、ステータス要素、または、他の情報を、典型的コンピュータ・スクリーン、または、モバイル端末のディスプレイ(例えば、モバイル端末10のディスプレイ28)の上で見られるように、提示することができる同様に、3次元グラフィック要素は、ディスプレイの上部、または、環境の上部に提示されることができる。そして、パス・スルー・ディスプレイを通して見ることができる。そのような方法において、これらのビジュアル要素は、メッセージを通信し、通知でユーザに対して注意を喚起し、現在使用中であるアプリケーションを提示する、などをすることができる。加えて、これらの視覚的要素は、ユーザが眺めている興味のポイントまたはランドマークを識別することによってなど、パス・スルー・ディスプレイのユーザがディスプレイを通して眺めているオブジェクトに関する画像を提供することができる。そのような識別は、物体認識ソフトウェア、または、装置の(例えば、装置102)または、モバイル端末10など装置を備えるデバイス(例えば、全地球位置測定システム(GPS)を介する)位置識別と連携した物体認識を含む種々の手段により達成される。
加えて、いくつかの実施形態において、装置(例えば、装置102)は、ユーザに追加的なフィードバックを提供するように、マルチ・モードであることができる。たとえば、装置は、情報の提示に加えて、音声フィードバックを提供することができる。追加的に、または、代替的に、この装置は、ユーザに触覚フィードバック(例えば、振動)を提供することができる。
パス・スルー・ディスプレイを有する装置(例えば、装置102)のいくつかの例は、図3Aおよび図3Bに図示される。図3Aは、左レンズ154と右レンズ152とを含む例示的ヘッドマウント式ディスプレイ(例えば、メガネ150)を図示する。そのような左レンズ154と右レンズ152とは、ユーザの左目と右目とで、それぞれ、対話するように構成することができる。加えて、メガネ150は、ユーザの頭にマウントするようにユーザの頭(例えば、耳)と係合するように構成されるフレーム151を含むことができる。
いくつかの実施形態において、メガネ150は、情報の提示を制御するように構成されるプロセッサ(例えば、プロセッサ110)を備える(または、それと通信する)ことができる。例えば、メガネ150の描かれた実施形態において、プロセッサは、左レンズ・ディスプレイ164および右レンズ・ディスプレイをつくるために情報の提示を制御するように構成することができる。いくつかの実施形態において、左レンズ・ディスプレイ164と右レンズ・ディスプレイ162との上で提示された情報は、独立していることができ、および/または、相補的でありえる。
図3Aに図示されるように、ユーザ(図示せず)は、都市スカイライン190として情報を見るために、左レンズ154と右レンズ152、そして、そこで示された左レンズ・ディスプレイ164と右レンズ・ディスプレイ162とを通して見ることができる加えて、いくつかの実施形態において、メガネ150は、左レンズ・ディスプレイ164および/または右レンズ・ディスプレイ162の上に表示をするように構成することができる。描かれた実施形態において、記載「都市スカイライン」180が、ユーザは、(例えば、左レンズ154と右レンズ152を通して)都市のスカイラインを見ていることを示すために、左レンズ・ディスプレイ164と右レンズ・ディスプレイ162とに、ユーザに示されている。ディスプレイの上で提示されるときに、単語も示されるけれども、本願発明のいくつかの実施形態は、ディスプレイの上での(例えば、写真、ビデオ、通知、視覚的誘引物など)他のタイプの情報を提示することを考えている。加えて、図3Aに示される単語が透明でないけれども、本願発明のいくつかの実施形態は、ディスプレイの上で、少なくとも部分的に透明な情報の提示を考える。
図3Bは、パス・スルー・ディスプレイがあるフロント・ガラス(windshield)を有する装置102を具体化することができる例示的な車170を図示する。描かれた実施形態において、車170は、ダッシュボード172、ステアリング・ホイール171、リヤビュー・ミラー173そして、フロント・ガラス175を含む。フロント・ガラス175は、ディスプレイ176を含む。いくつかの実施形態において、車170は、情報の提示を制御するように構成されるプロセッサ(例えば、プロセッサ110)を(またはある)備えることができる。例えば、車170の描かれた実施形態において、プロセッサは、フロント・ガラス175のディスプレイ176の上の情報の提示をコントロールするように構成することができる。
図3Bに図示されるように、ユーザ(図示せず)は、都市スカイライン190などの環境情報を見るために、フロント・ガラス175およびディスプレイ176を通して見ることができる。加えて、いくつかの実施形態において、車170は、ディスプレイ176に情報の提示をさせるように構成することができる。描かれた実施形態において、記載「都市スカイライン」180が、ユーザは、都市のスカイラインを(例えば、フロント・ガラス175を通して)見ていることを示すために、ディスプレイ176の上で、ユーザに提示されている。ディスプレイの上に、単語が提示されているように示されるが、本願発明のいくつかの実施形態は、ディスプレイの上での(例えば、写真、ビデオ、通知、視覚的誘引物など)他のタイプの情報を提示することを考えている。加えて、図3Bに示される単語は透明でないけれども、本願発明のいくつかの実施形態は、ディスプレイの上で、少なくとも部分的に透明な情報の提示を考える。
また、図3Aおよび図3Bが、それぞれ、パス・スルー・ディスプレイを有する装置の1つの例を図示しているが、パス・スルー・ディスプレイを有するように構成された多数の他の装置が、本願発明の実施形態に対して考えられる(例えば、ヘルメット・バイザー、コックピット・フロント・ガラスなど)ことに留意する。さらに、本願発明の実施形態は、パス・スルー・ディスプレイを有する装置に限られているものではなく、任意装置102(例えば、モバイル端末10)など、ここに記述される(例えば、モバイル計算デバイス、固定計算デバイス、など)ディスプレイを有するか、または、関連した他の例の装置とも有用でありえる。
図1に戻って、UI制御回路122は、例えば、回路、ハードウェア、コンピュータ読取り可能媒体(例えば、メモリ112)に格納され、処理デバイス(例えば、プロセッサ110)、または、それらのいくつかの組合せによって実行されるコンピュータ読取り可能プログラム命令を備えるコンピュータ・プログラム・プロダクトなど種々の手段として具体化することができる。そして、いくつかの実施形態において、プロセッサ110によって具体化されるか、さもなければ、プロセッサ110によって制御される。UI制御回路122が、プロセッサ110とは別に具体化される、いくつかの例示的実施形態において、UI制御回路122は、プロセッサ110と通信状態にあることができる。UI制御回路122は、さらに、例えば、バスを介して、メモリ112、通信インタフェース114、センサ118、および/または、インタフェース116、の1つ以上と通信状態にあることができる。
UI制御回路122は、タッチ・ディスプレイなどのユーザ・インタフェース116からユーザ入力を受信するように構成することができる。ユーザ入力または信号は、ユーザ入力を示す位置情報をもたらすことができる。これに関して、その位置は、2次元空間におけるユーザ入力の位置を含むことができる。これは、タッチ・ディスプレイ・ユーザ・インタフェースの表面に対して相対的であることができる。例えば、位置は、位置決定することができるように、2次元座標系(例えば、X軸およびY軸)に対して座標位置を備えることができる。したがって、UI制御回路122は、例えば、ユーザ入力に関係するディスプレイの一部分を決定するためなど、ユーザ入力の位置を決定することができる。
いくつかの実施形態において、装置102は、ユーザ入力の他の形(例えば、スピーチ、ジェスチャ、など)を受信するように構成することができる。同様に、ユーザによるタッチ入力の受け取りは、ディスプレイに制限されてはならず、装置102の任意の部分を含むことができる。
いくつかの実施形態において、装置102は、ディスプレイの上に情報の提示をさせるように構成することができる。ディスプレイの上に提示される情報は、いくつかの場合において、装置102によって実行されている動作に基づいているものであることができる。例えば、図4Aを参照すると、メガネ200(装置102の例示的実施形態などの)は、左レンズ・ディスプレイ214と右レンズ・ディスプレイ212とを、それぞれ有する左レンズ204と右レンズ202を含むことができる。メガネ200は、例えば、フレーム201でユーザの頭に、アタッチすることができる。描かれた実施形態において、そのユーザが着信を受信していることを示している情報は、左レンズ・ディスプレイ214と右レンズ・ディスプレイ212の両方の上で示されている。特に、メッセージ「あなたは、ジョン・ドウからの着信を受けています」 222が、左レンズ・ディスプレイ214の上で示される。加えて、電話アイコン226および、メッセージ「呼び出しを受けたいですか?」223が、右レンズ・ディスプレイ212の上で示される。図4Aで示すように、メッセージ222は、メッセージ223および電話アイコン226とは異なるユーザの視野の中で示すことができる。そのように、ユーザがメガネ200(例えば、左レンズ・ディスプレイ214と右レンズ・ディスプレイ212を通して)を通して見ていると、メッセージ222は、メッセージ223や電話アイコン226とオーバーラップしたり、混乱したりすることができない。
したがって、いくつかの実施形態において、例えば、図4Aに示されるように、左レンズ・ディスプレイ214と右レンズ・ディスプレイ212との上での情報の提示は、ユーザの別々の視野に整列するように配置することができる。これに関して、ここに記述されるいかなる実施形態においても、左レンズ・ディスプレイ214または右レンズ・ディスプレイ212の片方のみに提示される情報は、いくつかの実施形態において、他のレンズ・ディスプレイの上でそして、対応する視野の中に示すことができる。これらの同一線上で、描かれた実施形態のいくつかが、1つのレンズ・ディスプレイだけの上に、提示されている情報が、特定の背景情報「の上に」配置されるように、情報を提示するのであるが、いくつかの実施形態は、左レンズ・ディスプレイ214と右レンズ・ディスプレイ212との両方の上に情報を提示することができる、しかし、(例えば、ユーザの視点から)特定の背景情報に対応する視野の中である。例えば、図6Aに関して記述される例示的実施形態は、ブランク・ウォール217「の上に」、メッセージ「ジョン・ドウからの着信?」280を示す。このように、描かれた実施形態は、左のレンズ・ディスプレイ214の上に提示されているメッセージ280を示す。しかしながら、ブランク・ウォール217へのユーザの視野は、右レンズ・ディスプレイ212の部分を含むことができる。そのような状況において、いくつかの実施形態は、ブランク・ウォール217に対応するユーザの視野の中で右レンズ・ディスプレイ212の部分に情報を提示するように構成することができる。したがって、たとえ、メッセージ280が右レンズ・ディスプレイ212の上で提示されるとしても、それは、まだ、前記ユーザの前記視点からブランク・ウォール217「の上に」配置されていることができる。これらの同一線上で、コンピュータ・スクリーン296に対応するユーザの視野における左レンズ・ディスプレイ214の部分の上で、情報が全く提示されないことがあり得る。
別の例示的実施形態において、図4Bを参照すると、車250とフロント・ガラス252に結びついた例示的装置(例えば、装置102)は、パス・スルー・ディスプレイ258を含むことができる。車250は、また、ステアリング・ホイール251、および、リヤビュー・ミラー254を含むこともできる。車250に結びついた装置は、パス・スルー・ディスプレイ258の上で、情報(例えば、ユーザが着信を受信していることを示している情報)の提示をさせることができる。描かれた実施形態において、電話アイコン264、メッセージ「あなたは、ジョン・ドウからの着信を受けています」 262が、および、別のメッセージ「その呼び出しを受けたいですか?」263が、パス・スルー・ディスプレイ258の上に提示される。
いくつかの実施形態において、装置102は、ディスプレイ通して、見ることができる環境情報をモニターするように構成することができる。いくつかの実施形態において、装置102は、環境情報の視覚的複雑性レベルを決定することなどにより環境情報の視覚的複雑性を決定するように構成することができる。
いくつかの実施形態において、装置102は、センサ118を用いて、環境情報の視覚的複雑性を決定するように構成することができる。そのような実施形態においては、センサ118は、プロセッサ110などに対して出力を提供するように構成することができる。そして、装置102は、センサ118の出力に少なくとも部分的には基づいて環境情報の視覚的複雑性を決定することができる。
上記したように、いくつかの実施形態において、センサ118は、前面カメラを備えることができる。いくつかの実施形態において、装置102は、少なくとも部分的に、前面カメラから受信した出力に基づいて、環境情報の視覚的複雑性レベルを決定するように構成することができる。そのような関係において、前面カメラは、ユーザが見ている環境情報の画像データを記録、またはキャプチャすることができる。その画像データは、装置102に、環境情報の視覚的複雑性の決定において使用するために、提供されることができる。いくつかの実施形態において、画像データは、(例えば、色のコントラストの程度、サイズ、ユーザへの近接度、強度、明確さ、など)視覚的複雑性を示す環境情報の任意数の特性に対して分析することができる。例えば、画像データは、スクリーン上に多数の文字とともにコンピュータ・スクリーンの画像を提供することができる応答において、装置102は、コンピュータ・スクリーンの環境情報が、高い視覚的複雑性レベルを有することを決定することができる。これらの同一線上で、画像データは、ブランク・ウォールの画像を提供することができる。これは、装置102環境情報が、低い視覚的複雑性レベルを有することを決定させることができる。
追加的に、または、代替的に、上記したように、いくつかの実施形態において、センサ118は、視線追跡器を備えることができる。いくつかの実施形態において、装置102は、少なくとも部分的に、視線追跡器から受信した出力に基づいて、環境情報の視覚的複雑性レベルを決定するように構成することができる。例えば、視線追跡器は、ユーザの目またはまぶたの動きまたは挙動の少なくとも1つを検出するように構成することができる。実際に、そのような運動または挙動は、ユーザが見ている環境情報の視覚的複雑性の決定を支援することができるパターンを示すことができる。例えば、瞳孔拡張は、ユーザが、何かに集中していることを示すことができる。これは、ユーザが見ているものに対する高い視覚的複雑性レベルを示すことができる。同様に、ユーザの眼の焦点を早くシフトさせることも、また、環境情報の高い視覚的複雑性レベルを示すことができる。図5Aを参照すると、ユーザは、左レンズ・ディスプレイ214と右レンズ・ディスプレイ212とのパス・スルー・ディスプレイを有するメガネ200を通して見ているかもしれない。描かれた実施形態において、ユーザは、左レンズ・ディスプレイ214を通してウォール217、右レンズ・ディスプレイ212を通してコンピュータ・スクリーン296を見ている。メガネ200は、センサ(例えば、センサ118)などを通して、ウォール217(例えば、環境情報)が、低い視覚的複雑性レベルを有し、コンピュータ・スクリーン296(例えば、環境情報)が、高い視覚的複雑性レベルを有することを決定することができる。
図5Bを参照すると、ユーザは、パス・スルー・フロント・ガラス・ディスプレイ258を通して見ているかもしれない。描かれた実施形態において、ユーザは、フロント・ガラス・ディスプレイ258の左の部分の上で大きな建物291を見ており、そして、フロント・ガラス・ディスプレイ258の右の部分の上でマイレージ情報292を有するサイン290を見ている。フロント・ガラス・ディスプレイ258に結びついた装置は、センサ(例えば、センサ118)などを通して、大きな建物291(例えば、環境情報)が、低い視覚的複雑性レベルを有すること、および、マイレージ情報292(例えば、環境情報)を有するサイン290が、高い視覚的複雑性レベルを有することを決定することができる。
ここで用いられるように、視覚的複雑性レベルは、任意の絶対的または相対的な限定子(例えば、数、高い/低い、など)によって規定することができる。例えば、視覚的に複雑である環境情報は、高い視覚的複雑性レベルを有すると決定することができる。これらの同一線上で、より視覚的に複雑でない環境情報は、低い視覚的複雑性レベルを有すると決定することができる。同様に、視覚的複雑性レベルは、非常に視覚的に複雑な環境情報が、9の視覚的複雑性レベルを有すると決定することができ、そんなに視覚的に複雑でない環境情報は、3の視覚的複雑性レベルを有すると決定することができるように、記数法(例えば、0−10)に基づいたものであることができる。
パス・スルー・ディスプレイ(例えば、ヘッドマウント式のディスプレイ、拡張リアリティ・メガネ、ビデオ、または、光学的シースルー・ディスプレイなど)は、情報を通してユーザの環境とまだ対話している間に、ユーザに情報を提示することを可能にする。特に、上記したように、環境情報をオーバーレイするように、情報をディスプレイの上に提示することができる。しかしながら、増加した機能により使用が増加する結果になったが、これは、ディスプレイの上に提示すべき大量の情報を必要とし得る。さらに、いくつかの場合において、環境情報は、視覚的に複雑でありえる。このように、提示されている情報の量、および、環境の視覚的複雑性に依存して、提示された情報を読むことや処理することが、ユーザにとって難しくなり得る。さらに、視覚的に複雑な環境情報に関する情報を提示することは、ユーザが、彼らの現在のタスクを中断される原因になることがありえる。
そのように、本願発明のいくつかの実施形態は、環境情報の視覚的複雑性を説明するために情報の提示を修正する方法を提供しようとする。それによって、ユーザが見ている環境に適合する動的なユーザ・インタフェースを提供する。本願発明のいくつかの例示的実施形態は、ディスプレイの上の情報の提示を、情報が上に重ねて提示されている環境情報の視覚的複雑性に基づいて、修正することができる。そのような方法において、提示されている情報は、その環境に基づいて、最適化されることができる。それによって、ユーザが、より簡単に、その情報を知覚することを可能にする。
したがって、いくつかの実施形態において、装置102は、決定された視覚的複雑性レベルに少なくとも基づいて、前記ディスプレイの上の情報の少なくとも一部分の提示の修正をさせるように構成することができる。そのような関係において、装置102は、ユーザが見ている環境の視覚的複雑性に基づいて、情報の提示を適応させるように構成することができる。
図6Aを参照すると、メガネ200は、コンピュータ・スクリーン296が高い視覚的複雑性レベルを有すること、そして、ウォール217が低い視覚的複雑性レベルを有することを決定したかもしれない。このように、メガネ200は、環境情報の視覚的複雑性レベルによって、左レンズ・ディスプレイ214と右レンズ・ディスプレイ212との上で情報提示の修正をすることができる。例えば、図4Aに関して記述される状況と同様に、ユーザは、ジョン・ドウから着信を受信することができる。しかしながら、着信を示している情報を電話アイコン226で提示すること、そして、左レンズ・ディスプレイ214の上に提示されているメッセージ「あなたは、ジョン・ドウからの着信を受けています」 222、および、右レンズ・ディスプレイ212の上に提示されているメッセージ「その呼び出しを受けたいですか?」223の代わりに(図4A参照)、メガネ200は、「ジョン・ドウからの着信を受けるか?」の改訂メッセージ280を、左レンズ・ディスプレイ214だけの上に提示させることができる。改訂メッセージ280は、ユーザに提示されている情報を単純化することができ、そして、拡大したフォントサイズで提供することさえできる。加えて、メッセージ280を左レンズ・ディスプレイ214だけで提示することによって、コンピュータ・スクリーン296のユーザの眺め(例えば、高い視覚的複雑性レベルで)は、不明瞭にされない。その代わりに、メッセージ280は、ウォール217の「上に」重ねて表示される。これは、低い視覚的複雑性レベルを有すると決定され、それによって、ユーザがより簡単にメッセージ280を知覚することを可能とする。
図6Bを参照すると、パス・スルー・フロント・ガラス・ディスプレイ258と結びついた装置は、マイレージ情報292を有するサイン290が、高い視覚的複雑性レベルを有すること、そして、大きな建物291が、低い視覚的複雑性レベルを有することを決定したかもしれない。このように、この装置は、フロント・ガラス・ディスプレイ258の上の情報の提示を、環境情報の視覚的複雑性レベルによって、修正することができる。例えば、図4Bに関して記述された状況と同様に、ユーザは、ジョン・ドウから着信を受信することができる。しかしながら、着信を示している情報を電話アイコン264で提示すること、メッセージ「あなたは、ジョン・ドウからの着信を受けています」 262、および、フロント・ガラス・ディスプレイ258の上で提示されるメッセージ「その呼び出しを受けたいですか?」263の代わりに(図4B参照)、この装置は、「ジョン・ドウからの着信を受けるか?」の改訂メッセージを、フロント・ガラス・ディスプレイ258の上で提示させることができる。改訂メッセージ281は、ユーザに提示されている情報を単純化することができ、そして、拡大したフォントサイズで提供することさえできる。それによって、ユーザが、より簡単にメッセージ280を知覚することを可能にする。加えて、メッセージ281は、大きな建物291「の上に」提示することができる。この大きな建物は、低い視覚的複雑性レベルを有すると決定された。これは、ユーザの、(例えば、高い視覚的複雑性レベルで)マイレージ情報292を有するサイン290の眺めを隠さない。
いくつかの実施形態において、装置102は、情報を環境情報の決定された視覚的複雑性レベルが所定の視覚的複雑性レベルより大きいインスタンスにおいて複雑性がより少なくなるようにさせるように構成することができる。いくつかの場合において、装置102は、提示されている情報が、より複雑にならないために、自動的に修正されなければならないように、情報の特定の提示のためには、あまりに複雑である視覚的複雑性レベルに対応する所定の視覚的複雑性レベルを規定することができる。例えば、装置102は、高い所定の視覚的複雑性レベルを規定することができる。したがって、図6Aを参照すると、提示されている情報(例えば、メッセージ280)は、コンピュータ・スクリーン296の高い視覚的複雑性レベルの決定によって、複雑性がより少なくなるように(例えば、ディスプレイ上を移動される、拡大したフォント、部分を取り除かれる、等)修正された。同様に、図6Bを参照すると、提示されている情報(例えば、メッセージ281)は、マイレージ情報292を有するサイン290の高い視覚的複雑性レベルの決定によって、複雑性がより少なくなるように(例えば、ディスプレイ上を移動される、拡大したフォント、部分を取り除かれる、等)修正された。
加えて、いくつかの実施形態において、装置102は、情報の少なくとも一部を取り除かれるようにすることによって情報の提示を修正するように構成することができる。例えば、図4Aと図6Aとに示される情報の提示における差異を参照すると、電話アイコン226の提示は、終わっている。同様に、図4Bと図6Bとに示される情報の提示における差異を参照すると、電話アイコン264の提示は、終わっている。
ここで用いられるように、情報の提示を複雑性がより少なくなるように修正する多くの異なる方法が、本願発明の実施形態によって、考えられる。例えば、ここに記述される例示的実施形態は、提示された情報の異なる位置決めを示すけれども、他の修正が構想される(例えば、フォント・スタイル、色、コントラスト、テクスチャ、ディスプレイの上の位置、など)。同様に、例示的実施形態は、ディスプレイの提示を、他のように、情報をより複雑でない形で(例えば、気が散るような情報を削除する、現在のアイコンだけにする、など)提示させるように修正することができる。
上記したように、いくつかの実施形態において、装置102は、サイズ、色、または、輝度のうちの少なくとも1つにおいて、提示されている情報の少なくとも部分に対する修正をさせるように構成することができる。例えば、図6Aに図示されるように、メッセージ280は拡大され、そして、赤い色で表示される。同様に、図6Bに図示されるように、メッセージ281は拡大され、そして、赤い色で表示される。
いくつかの実施形態において、装置102は、ディスプレイは、各々が異なる環境情報に対応する複数の部分に分割して規定されるように構成することができる。そのような実施形態において、装置102は、ディスプレイの少なくとも1つの部分に対応する情報環境に対する視覚的複雑性レベルを決定するように構成することができる。例えば、図7Aを参照すると、メガネ200は、ウォール217に対応する部分219を規定することができる。メガネ200の実施形態における、そのような部分219は、左レンズ・ディスプレイ214の少なくとも部分に対応することができる。同様に、メガネ200は、コンピュータ・スクリーン296に対応する部分229を規定することができる。そのような部分229は、右レンズ・ディスプレイ212の少なくとも部分に対応することができるメガネ200は、ウォール217に一致している部分219は、低い視覚的複雑性レベルを有することを決定することができる。加えて、メガネ200は、コンピュータ・スクリーン296に一致している部分229は、高い視覚的複雑性レベルを有することを決定することができる。
これらの同一線上で、図7Bを参照すると、フロント・ガラス・ディスプレイ258に結びついた装置は、大きな建物291に対応する部分259を規定することができる。同様に、フロント・ガラス・ディスプレイ258に結びついた装置は、マイレージ情報292を有するサイン290に対応する部分269を規定することができる。この装置は、大きな建物291に一致している部分259は、低い視覚的複雑性レベルを有することを決定することができる。加えて、この装置は、マイレージ情報292を有するサイン290に一致している部分269は、高い視覚的複雑性レベルを有することを決定することができる。
いくつかの実施形態において、装置102は、前記ディスプレイの前記少なくとも1つの部分に対応する前記情報の少なくとも前記一部分の提示の修正をさせるように構成することができる。そのようにして、装置102は、対応する環境情報にしたがって、ディスプレイの部分を修正することによって、限られたディスプレイ空間の上で、情報の提示を最大にし、カスタマイズすることができる。例えば、図6Aと図6Bとに関して示された実施形態と同様に、高い視覚的複雑性レベルを有するディスプレイの部分の上に提示された情報は、複雑性がより少なくなるように修正することができる。そのような例は、メッセージ280が、ウォール217に対応する部分219の範囲内で提示され、そして、コンピュータ・スクリーン296に対応する部分229の範囲内に情報がなにも提示されないなど、図8Aの中で図示されるしたがって、そのような例示的実施形態においては、ユーザがブランク・ウォールを見ているならば、より複雑な情報が、パス・スルー・ディスプレイの上で提示される。対照的に、ユーザがその上で提示されるそれ自身の情報を有するコンピュータ・スクリーンを見ているならば、ディスプレイの上で更に情報を提示することは、情報をユーザが理解することを難しくすることがあり得る。このように、本願発明のいくつかの実施形態は、ユーザの経験を最適化ために、前記環境情報の視覚的複雑性に基づいて、情報の提示を修正するダイナミック・システムを提供する。
同様に、図8Bは、メッセージ281は、大きな建物291に対応する部分259の範囲内で提示されることを図示する。加えて、描かれた実施形態において、マイレージ情報292を有するサイン290に対応する部分269の範囲内では、情報が全く提示されていない。
いくつかの実施形態において、装置102は、情報の提示を環境情報に付着させるように構成することができる。上記したように、いくつかの環境情報は、低い視覚的複雑性レベルを有すると決定することができる。そのように、そのような環境情報「の上の」情報の提示を、ユーザが、提示された情報を簡単に読み、および/または、それを処理するのを続けることを可能にするように、残しておくことは有益でありえる。このように、たとえ、環境情報がディスプレイに相対して移動したとしても、提示された情報は、環境情報に「付着」する。そのような方法において、いくつかの実施形態において、装置102は、修正された情報の少なくとも一部分の提示を、情報の少なくとも一部分が、環境情報に対してディスプレイの動きに独立に、ユーザの視点から環境情報の上に重ねて提示されたままにされるように、ユーザの前記視点から環境情報に付着するようにさせるように構成することができる。
例えば、図9Aを参照すると、(メガネ200を装着している)ユーザが、(図8Aに示す)コンピュータ・スクリーン296が、左レンズ・ディスプレイ214または、右レンズ・ディスプレイ212を通して見えないように、頭を動かした。その代わりに、ウォール217を、次に、右レンズ・ディスプレイ212を通して見ることができる。そして、テーブル267を、左レンズ・ディスプレイ214を通して見ることができる。加えて、メガネ200は、メッセージ280が、依然として、ウォール217の「上に」提示されているが、実際には、(図8Aに示されたように左レンズ・ディスプレイ214の代わりに、)右レンズ・ディスプレイ212の異なる部分219’の上に存在しているように、メッセージ280が、ウォール217に付着されたままであるようにした。
同様に、図9Bを参照すると、車250は、(図8Bに示す)マイレージ情報292を有するサイン290が、フロント・ガラス・ディスプレイ258を通して見えないように、向きを変えた。その代わりに、大きな建物291を、次に、フロント・ガラス・ディスプレイ258を通してわずかに異なる視線から見ることができる。加えて、フロント・ガラス・ディスプレイ258に結びついた装置は、メッセージ281は、依然として、大きな建物291の「上に」存在しているのであるが、実際は、フロント・ガラス・ディスプレイ258の異なる部分259’の上で提示されているように、メッセージ281を大きな建物291に付着されたままにした。
本願発明の実施形態は、環境情報の視覚的複雑性に基づいて、情報の提示を修正するための方法、装置、および、コンピュータ・プログラム・プロダクトを提供する。本願発明の実施形態にしたがって、実行される動作の種々の例を、次に、図10、図11を参照して、提供する。
図10は、例示的実施形態300にしたがい、環境情報の視覚的複雑性に基づいて、情報の提示を修正するための例示的方法によるフローチャートを図示する。図10に関して、図示されて、記述される動作は、たとえば、プロセッサ110、メモリ112、通信インタフェース114、ユーザ・インタフェース116、センサ118、あるいは、UI制御回路122のうちの1つ以上によって、または、助けにより、および/または、そのコントロールの下で、実行されることができる。動作302は、ディスプレイの上に情報の表示をさせることを含むことができる。プロセッサ110、ユーザ・インタフェース116、および/または、UI制御回路122は、たとえば、動作302を実行するための手段を提供することができる。動作304は、環境情報の視覚的複雑性レベルを決定することを含むことができる。プロセッサ110、通信インタフェース114、ユーザ・インタフェース116、センサ118、および/または、UI制御回路122は、たとえば、動作304を実行するための手段を提供することができる。動作306は、少なくとも部分的には、決定した視覚的複雑性レベルに基づいて、ディスプレイの上の情報の少なくとも一部分の提示の修正をさせることを含むことができる。プロセッサ110、ユーザ・インタフェース116、および/または、UI制御回路122は、たとえば、動作306を実行するための手段を提供することができる。
図11は、例示的実施形態400にしたがい、環境情報の視覚的複雑性に基づいて、情報の提示を修正するための例示的方法によるフローチャートを図示する。図11に関して、図示されて、記述される動作は、たとえば、プロセッサ110、メモリ112、通信インタフェース114、ユーザ・インタフェース116、センサ118、あるいは、UI制御回路122のうちの1つ以上によって、または、助けにより、および/または、そのコントロールの下で、実行されることができる。動作402は、ディスプレイの上に情報の提示をさせることを含むことができる。ここで、ディスプレイは、各々が異なる環境情報に対応する複数の部分を規定する。プロセッサ110、ユーザ・インタフェース116、および/または、UI制御回路122は、たとえば、動作402を実行するための手段を提供することができる。動作404は、ディスプレイの少なくとも1つの部分に対応する環境情報の視覚的複雑性レベルを決定することを含むことができる。プロセッサ110、通信インタフェース114、ユーザ・インタフェース116、センサ118、および/または、UI制御回路122は、たとえば、動作404を実行するための手段を提供することができる。動作406は、決定された視覚的複雑性レベルの少なくとも部分に基づいて、ディスプレイの少なくとも1つの部分に対応するディスプレイの上の情報の少なくとも部分の提示の修正をさせることを含むことができる。プロセッサ110、ユーザ・インタフェース116、および/または、UI制御回路122は、たとえば、動作406を実行するための手段を提供することができる。いくつかの実施形態において、動作408は、情報の少なくとも部分が、環境情報に対してディスプレイの動きに独立に、ユーザの視点から環境情報の上に、提示されるままであるように、前記ユーザの前記視点から環境情報に付着するように修正される情報の少なくとも部分の表示をさせることを含むことができる。プロセッサ110、ユーザ・インタフェース116、および/または、UI制御回路122は、たとえば、動作408を実行するための手段を提供することができる。
図10および図11は、例示的実施形態にしたがう、システム、方法およびコンピュータ・プログラム・プロダクトのフローチャートを各々図示する。フローチャートの各々のブロック、および、フローチャートにおけるブロックの組合せは、例えば、その上に格納された読み取り可能なコンピュータ・プログラム命令を有する1つ以上のコンピュータ読取り可能媒体を備えているハードウェアおよび/またはコンピュータ・プログラム・プロダクトなど種々の手段によりインプリメントすることができることが理解される。例えば、ここに記述された1つ以上の手続きは、コンピュータ・プログラム・プロダクトのコンピュータ・プログラム命令により具体化することができる、これに関して、ここに記述される手続きを具体化するコンピュータ・プログラム・プロダクトは、モバイル端末、サーバ、または、(例えば、メモリ112の中の)他の計算デバイスの1つ以上のメモリ・デバイスにより格納することができ、そして、計算デバイスにおけるプロセッサによって(例えば、プロセッサ110により)、実行されることができる。いくつかの実施形態において、上述の手続きを具体化するコンピュータ・プログラム・プロダクトを備えるコンピュータ・プログラム命令は、複数の計算デバイスのメモリ・デバイスによって格納することができる。理解されるように、任意のそのようなコンピュータ・プログラム・プロダクトが、コンピュータ、または、マシンを生成する他のプログラム可能装置(たとえば、装置102)の上へ、コンピュータ、または、他のプログラム可能な装置の上で実行する命令を含むコンピュータ・プログラム・プロダクトが、フローチャート・ブロックの中で特定される機能をインプリメントするための手段をつくるように、ロードされることができる、さらに、コンピュータ・プログラム・プロダクトは、1つ以上のコンピュータ読取り可能メモリが、コンピュータまたは他のプログラム可能な装置に、特定のやり方で機能することを指示することができるように、コンピュータ・プログラム・プロダクトが、フローチャートのブロックにおける特定された機能をインプリメントする製造品を備えるように、コンピュータ・プログラム命令を格納することができる1つ以上のコンピュータ読取り可能メモリを備えることができる。1つ以上のコンピュータ・プログラム・プロダクトのコンピュータ・プログラム命令は、また、コンピュータの上で実行される一連の動作を引き起こすためにコンピュータまたは、他のプログラム可能な装置(たとえば、装置102)または、コンピュータまたは他のプログラム可能な装置の上で実行する命令が、フローチャートのブロックで特定される機能をインプリメントするように、コンピュータ・インプリメントされたプロセスを生じる他のプログラム可能な装置の上へロードされることもできる。
したがって、フローチャートのブロックは、特定の機能を実行するための手段の組合せをサポートする。1つ以上のフローチャートのブロック、そして、フローチャートにおけるブロックの組合せを、特定された機能を実行する特殊目的ハードウェア・ベースの計算機システム、または、特殊目的ハードウェアの組合せ、および、コンピュータ・プログラム・プロダクトによりインプリメントすることができることも、また、理解される。
上に記載された機能は、多くの方法で実行することができる。例えば、上述の機能の各々を実行するための任意に適切な手段を、本願発明の実施形態を実行するのに使用することができる。1つの実施形態において、適切に構成されたプロセッサ(たとえば、プロセッサ110は、)は、要素の全体または一部を提供することができる。別の実施形態においては、要素の全体または一部は、コンピュータ・プログラム・プロダクトにより構成され、そのコントロールの下で動作することができる。本願発明の例示的実施形態の方法を実行するためのコンピュータ・プログラム・プロダクトは、不揮発性ストレージ媒体、および、コンピュータ読取り可能ストレージ媒体の中で具体化されたコンピュータ命令のシリーズなどのコンピュータ読取り可能プログラム・コード部などコンピュータ読取り可能記憶媒体(例えば、メモリ112)を含む。
ここに述べられた発明の多くの修正と他の実施形態、すなわち、前述の説明と関連する図面の中で提示された教示の利益を有することに関係するこれらの発明が、当業者には思い浮かぶであろう。したがって、本願発明の実施形態は、開示された特定の実施形態に制限されないものであり、修正や他の実施形態が、本願発明の範囲の中に含まれることを意図するものであることが理解されるべきである。さらに、前述の記載、そして、関連する図面は、例自適実施形態を記述するものであるけれども、要素や機能の特定の例の組合せのコンテキストにおいて、異なる要素の組合せ、および/または、機能も、本願発明の範囲を逸脱することなく、代替的な実施形態によって、提供されることができることが理解されるべきである。これに関して、たとえば、明示的に上述された以外の異なる要素の組合せ、および/または、機能も、また、本願発明の範囲の中である考えられる。特定の用語が、ここに使用されるのであるが、それらは、一般的、説明的な意味においてのみ使用されており、制限の目的のためではない。

Claims (20)

  1. ディスプレイの上に情報の提示を生じさせるステップと、
    プロセッサが、環境情報の視覚的複雑性レベルを決定するステップと、
    少なくとも部分的には、前記決定した視覚的複雑性レベルに基づいて、前記ディスプレイの上の前記情報の少なくとも一部分の提示の修正を生じさせるステップと、
    を含む方法。
  2. 前記情報の少なくとも前記一部分の提示の修正を生じさせるステップは、前記情報の少なくとも前記一部分の提示を前記環境情報の前記決定された視覚的複雑性レベルが、所定の視覚的複雑性レベルより大きいインスタンスにおいて、複雑性がより少なくなるようにさせるステップを含む、請求項1に記載の方法。
  3. 前記情報の少なくとも前記一部分の提示を複雑性がより少なくなるようにさせるステップは、提示されている前記情報の一部分が、取り除かれるようにさせるステップを含む、請求項2に記載の方法。
  4. 前記情報の前記少なくとも一部分の提示の修正をさせるようにするステップは、サイズ、色、または、輝度のうちの少なくとも1つにおいて、前記情報の前記少なくとも部分に対する修正をさせるステップを含む、請求項1に記載の方法。
  5. 前記視覚的複雑性レベルを決定するステップは、少なくとも部分的に、視線追跡器、または、前面カメラののうちの少なくとも1つにより提供される出力に基づいて、前記視覚的複雑性レベルを決定するステップを含む、請求項1に記載の方法。
  6. 前記ディスプレイは、各々が異なる環境情報に対応する複数の部分を規定し、
    前記視覚的複雑性レベルを決定するステップは、前記ディスプレイの少なくとも1つの部分に対応する情報環境に対する前記視覚的複雑性レベルを決定するステップを含み、
    前記情報の少なくとも前記一部分の提示の修正を生じさせるステップは、前記ディスプレイの前記少なくとも1つの部分に対応する前記情報の前記少なくとも一部分の提示の修正をさせるようにするステップを含む、
    請求項1に記載の方法。
  7. 修正される前記情報の少なくとも前記一部分の提示を、前記情報の前記少なくとも一部分が、前記環境情報に対して前記ディスプレイの動きに独立に、前記ユーザの前記視点から前記環境情報にわたって存在しているままであるように、前記ユーザの前記視点からの環境情報に付着しているようにさせるステップを更に含む請求項6に記載の方法。
  8. 少なくとも1つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも1つのメモリとを備える装置であって、
    前記メモリと前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサにより、
    前記装置に、ディスプレイの上に情報の提示を生じさせることと、
    環境情報の視覚的複雑性レベルを決定することと、少なくとも部分的には、前記決定した視覚的複雑性レベルに基づいて、前記ディスプレイの上の前記情報の少なくとも一部分の提示の修正をさせることと、
    をさせるように構成される、装置。
  9. 前記少なくとも1つのメモリと前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、前記情報の前記少なくとも一部分の提示を、前記環境情報の前記決定された視覚的複雑性レベルが、所定の視覚的複雑性レベルより大きいインスタンスにおいて、複雑性がより少なくなるようにさせることによって、前記情報の少なくとも前記一部分の提示の修正をさせることをさせるようにさらに構成される、請求項8に記載の装置。
  10. 前記少なくとも1つのメモリと前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、提示されている前記情報の前記少なくとも一部分を取り除かれるようにさせることによって、複雑性がより少なくなるように、前記情報の少なくとも前記一部分の提示をさせることをさせるようにさらに構成される、請求項9に記載の装置。
  11. 前記少なくとも1つのメモリと前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、サイズ、色、または、輝度のうちの少なくとも1つにおいて、前記情報の前記少なくとも一部分に対して修正をさせることによって、前記情報の前記少なくとも一部分の提示の修正を行わせることをさせるようにさらに構成される、請求項8に記載の装置。
  12. 前記少なくとも1つのメモリと前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、少なくとも部分的に、視線追跡器、または、前面カメラのうちの少なくとも1つにより提供される出力に基づいて、前記視覚的複雑性レベルを決定することによって、視覚的複雑性レベルを決定させるようにさらに構成される、請求項8に記載の装置。
  13. 前記ディスプレイは、各々が異なる環境情報に対応する複数の部分を規定し、
    前記少なくとも1つのメモリと前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記ディスプレイの少なくとも1つの部分に対応する情報環境に対する前記視覚的複雑性レベルを決定することによって、前記装置に前記視覚的複雑性レベルを決定させるようにさらに構成され、
    前記少なくとも1つのメモリと前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、前記ディスプレイの前記少なくとも1つの部分に対応する前記情報の前記少なくとも一部分の提示の修正をさせることによって、前記情報の少なくとも前記一部分の提示の修正をさせることを、させる
    ようにさらに構成される、請求項8に記載の装置。
  14. 前記少なくとも1つのメモリと前記コンピュータ・プログラム・コードとは、前記少なくとも1つのプロセッサにより、前記装置に、修正される前記情報の少なくとも前記一部分の提示を前記情報の前記少なくとも一部分が、前記環境情報に対して前記ディスプレイの動きに独立に、前記ユーザの前記視点から前記環境情報にわたって存在しているままであるように、前記ユーザの前記視点からの環境情報に付着しているようにさせることをさせるようにさらに構成される、請求項13に記載の装置。
  15. その上に保存されるプログラム・コード部を有する固定コンピュータ読取り可能媒体を備えるコンピュータ・プログラム・プロダクトであって、
    前記プログラム・コード部は、コンピュータ読取り可能媒体であり、
    前記プログラム・プロダクトが、コンピュータまたはネットワーク・デバイスの上で動作するときに、
    ディスプレイの上に情報の提示をさせ、
    環境情報の視覚的複雑性レベルを決定し、決定された視覚的複雑性レベルに少なくとも基づいて、前記ディスプレイの上の情報の少なくとも一部分の提示の修正をさせる
    ように構成されている、コンピュータ・プログラム・プロダクト。
  16. 前記プログラム・プロダクトは、該プログラム・プロダクトが、コンピュータまたはネットワーク・デバイスの上で動作するときに、前記情報の前記少なくとも一部分の提示を、前記環境情報の前記決定された視覚的複雑性レベルが、所定の視覚的複雑性レベルより大きいインスタンスにおいて、複雑性がより少なくなるように、させることによって、前記情報の少なくとも前記一部分の提示の修正をさせるように構成されている、請求項15に記載のコンピュータ・プログラム・プロダクト。
  17. 前記プログラム・プロダクトは、該プログラム・プロダクトが、コンピュータまたはネットワーク・デバイスの上で動作するときに、前記情報の前記少なくとも一部分の提示を、提示されている前記情報の前記少なくとも一部分を取り除かれるようにさせることによって、複雑性がより少なくなるように、させるように構成されている、請求項15に記載のコンピュータ・プログラム・プロダクト。
  18. 前記プログラム・プロダクトは、該プログラム・プロダクトが、コンピュータまたはネットワーク・デバイスの上で動作するときに、サイズ、色、または、輝度のうちの少なくとも1つにおいて、前記情報の前記少なくとも一部分に対して修正をさせることによって、前記情報の少なくとも前記一部分の提示の修正をさせるように構成されている、請求項15に記載のコンピュータ・プログラム・プロダクト。
  19. 前記プログラム・プロダクトは、該プログラム・プロダクトが、コンピュータまたはネットワーク・デバイスの上で動作するときに、少なくとも部分的に、視線追跡器または前面カメラのうちの少なくとも1つにより提供される出力に基づいて、前記視覚的複雑性レベルを決定することによって、視覚的複雑性レベルを決定ように構成されている、請求項15に記載のコンピュータ・プログラム・プロダクト。
  20. 前記ディスプレイは、各々が異なる環境情報に対応する複数の部分を規定し、前記プログラム・プロダクトは、該プログラム・プロダクトが、コンピュータまたはネットワーク・デバイスの上で動作するときに、前記ディスプレイの少なくとも1つの部分に対応する情報環境に対する前記視覚的複雑性レベルを決定することによって、視覚的複雑性レベルを決定するように構成されており、
    前記プログラム・プロダクトは、該プログラム・プロダクトが、コンピュータまたはネットワーク・デバイスの上で動作するときに、前記ディスプレイの前記少なくとも1つの部分に対応する前記情報の前記少なくとも一部分の提示の修正をさせることによって、前記情報の少なくとも前記一部分の提示の修正をさせるように構成されている、
    請求項15に記載のコンピュータ・プログラム・プロダクト。
JP2017079452A 2012-06-29 2017-04-13 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置 Active JP6717773B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/538,358 US9339726B2 (en) 2012-06-29 2012-06-29 Method and apparatus for modifying the presentation of information based on the visual complexity of environment information
US13/538,358 2012-06-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015519261A Division JP2015529873A (ja) 2012-06-29 2013-06-10 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置

Publications (2)

Publication Number Publication Date
JP2017182814A true JP2017182814A (ja) 2017-10-05
JP6717773B2 JP6717773B2 (ja) 2020-07-08

Family

ID=48782379

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015519261A Pending JP2015529873A (ja) 2012-06-29 2013-06-10 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置
JP2017079452A Active JP6717773B2 (ja) 2012-06-29 2017-04-13 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015519261A Pending JP2015529873A (ja) 2012-06-29 2013-06-10 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置

Country Status (7)

Country Link
US (1) US9339726B2 (ja)
EP (1) EP2867862A2 (ja)
JP (2) JP2015529873A (ja)
KR (1) KR101671091B1 (ja)
CN (1) CN104395935B (ja)
TW (1) TWI622925B (ja)
WO (1) WO2014001615A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9428054B2 (en) 2014-04-04 2016-08-30 Here Global B.V. Method and apparatus for identifying a driver based on sensor information
GB2531051B (en) 2014-10-09 2018-11-14 Gurit Uk Ltd Carbon fibre-containing prepregs
CN105592434A (zh) * 2014-10-23 2016-05-18 中兴通讯股份有限公司 一种管理设备间d2d通信分组的方法及设备
TWI506533B (zh) * 2014-12-05 2015-11-01 Aten Int Co Ltd 多螢幕系統之校正系統與方法
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
US10152815B2 (en) * 2017-01-17 2018-12-11 Opentv, Inc. Overlay emphasis modification in augmented reality displays
US10096313B1 (en) * 2017-09-20 2018-10-09 Bose Corporation Parallel active noise reduction (ANR) and hear-through signal flow paths in acoustic devices
US10129633B1 (en) * 2017-10-13 2018-11-13 Bose Corporation Automated awareness for ANR systems
TWI691891B (zh) * 2018-09-07 2020-04-21 財團法人工業技術研究院 多重目標物資訊顯示方法及裝置
TWI689909B (zh) 2018-11-22 2020-04-01 財團法人工業技術研究院 透明顯示系統及其操作方法
EP3850469A4 (en) * 2019-01-15 2021-11-10 Huawei Technologies Co., Ltd. SYSTEMS AND PROCEDURES FOR HAPTIC STIMULATION
CN111443886B (zh) * 2019-10-25 2021-01-26 温峻峰 基于图像大数据处理的智能化现场模式切换***及方法
JPWO2021106614A1 (ja) * 2019-11-29 2021-06-03
WO2022018629A1 (en) * 2020-07-20 2022-01-27 Sky Italia S.R.L. Smart overlay : positioning of the graphics with respect to reference points
KR102535639B1 (ko) * 2020-10-27 2023-05-23 광운대학교 산학협력단 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02227340A (ja) * 1989-03-01 1990-09-10 Hitachi Ltd 端末装置
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JPH09101477A (ja) * 1995-10-04 1997-04-15 Canon Inc 情報表示装置
JPH1186034A (ja) * 1997-09-05 1999-03-30 Nippon Telegr & Teleph Corp <Ntt> 景観ラベル付ヒューマンナビゲーション装置およびシステム
JPH11142784A (ja) * 1997-11-04 1999-05-28 Shimadzu Corp 位置検出機能付きヘッドマウントディスプレイ
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2002163670A (ja) * 2000-11-24 2002-06-07 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及びその制御方法
JP2005044102A (ja) * 2003-07-28 2005-02-17 Canon Inc 画像再生方法及び画像再生装置
JP2005208159A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2009227245A (ja) * 2008-03-25 2009-10-08 Denso Corp 車載機器の操作装置
WO2009130985A1 (ja) * 2008-04-23 2009-10-29 コニカミノルタホールディングス株式会社 情報入力システム
JP2010067083A (ja) * 2008-09-11 2010-03-25 Brother Ind Ltd ヘッドマウントディスプレイ
JP2011123807A (ja) * 2009-12-14 2011-06-23 Dainippon Printing Co Ltd アノテーション表示システム,方法及びサーバ装置
JP2012068481A (ja) * 2010-09-24 2012-04-05 Asia Air Survey Co Ltd 拡張現実表現システムおよび方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983227B1 (en) * 1995-01-17 2006-01-03 Intertech Ventures, Ltd. Virtual models of complex systems
JP3895826B2 (ja) 1997-04-18 2007-03-22 株式会社東郷製作所 部材の取付け構造
US7890324B2 (en) * 2002-12-19 2011-02-15 At&T Intellectual Property Ii, L.P. Context-sensitive interface widgets for multi-modal dialog systems
US7792552B2 (en) 2003-04-15 2010-09-07 Ipventure, Inc. Eyeglasses for wireless communications
US8484576B2 (en) * 2003-04-17 2013-07-09 Supersonic Aerospace International, Llc System and method for customizing multiple windows of information on a display
US7130664B1 (en) 2003-06-12 2006-10-31 Williams Daniel P User-based signal indicator for telecommunications device and method of remotely notifying a user of an incoming communications signal incorporating the same
US20040266348A1 (en) 2003-06-30 2004-12-30 Nikhil Deshpande Method and apparatus for finding and sharing device capabilities
US20050071082A1 (en) * 2003-09-30 2005-03-31 Mazda Motor Corporation Route guidance apparatus, method and program
JP2008508621A (ja) 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US8983551B2 (en) 2005-10-18 2015-03-17 Lovina Worick Wearable notification device for processing alert signals generated from a user's wireless device
US20080293453A1 (en) 2007-05-25 2008-11-27 Scott J. Atlas Method and apparatus for an audio-linked remote indicator for a wireless communication device
US20090028179A1 (en) 2007-07-26 2009-01-29 Motorola, Inc. Storing device capability information in an address book
US8066372B2 (en) * 2007-10-23 2011-11-29 Mcgill University Binocular vision assessment and/or therapy
EP2826531A3 (en) * 2007-12-05 2015-09-23 Sony Computer Entertainment America LLC System and method for compressing video by allocating bits to image tiles based on detected intraframe motion or scene complexity
US8594883B2 (en) * 2009-01-09 2013-11-26 Bosch Automotive Service Solutions Llc Data meter with bar graph and histogram
US8542108B1 (en) * 2009-01-23 2013-09-24 Sprint Communications Company L.P. Dynamic dashboard display
KR101547556B1 (ko) * 2009-02-06 2015-08-26 삼성전자주식회사 이미지 표시 방법 및 장치
US8427395B2 (en) * 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
US8912978B2 (en) * 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US8188846B2 (en) * 2009-06-17 2012-05-29 General Electric Company System and method for displaying information to vehicle operator
US20110270135A1 (en) * 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
US20110287811A1 (en) 2010-05-21 2011-11-24 Nokia Corporation Method and apparatus for an augmented reality x-ray
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
EP2676498B1 (en) 2011-02-17 2021-04-07 Telefonaktiebolaget LM Ericsson (publ) Devices and methods for detecting potential displacement of a wireless transceiver
CN102214000B (zh) * 2011-06-15 2013-04-10 浙江大学 用于移动增强现实***的目标物体混合注册方法及***
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8692739B2 (en) * 2011-09-22 2014-04-08 GM Global Technology Operations LLC Dynamic information presentation on full windshield head-up display
US20130141460A1 (en) * 2011-12-02 2013-06-06 Yana Kane-Esrig Method and apparatus for virtual incident representation
US9230367B2 (en) * 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
US9646522B2 (en) * 2012-06-29 2017-05-09 Intel Corporation Enhanced information delivery using a transparent display

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02227340A (ja) * 1989-03-01 1990-09-10 Hitachi Ltd 端末装置
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JPH09101477A (ja) * 1995-10-04 1997-04-15 Canon Inc 情報表示装置
JPH1186034A (ja) * 1997-09-05 1999-03-30 Nippon Telegr & Teleph Corp <Ntt> 景観ラベル付ヒューマンナビゲーション装置およびシステム
JPH11142784A (ja) * 1997-11-04 1999-05-28 Shimadzu Corp 位置検出機能付きヘッドマウントディスプレイ
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2002163670A (ja) * 2000-11-24 2002-06-07 Mixed Reality Systems Laboratory Inc 複合現実感提示装置及びその制御方法
JP2005044102A (ja) * 2003-07-28 2005-02-17 Canon Inc 画像再生方法及び画像再生装置
JP2005208159A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2009227245A (ja) * 2008-03-25 2009-10-08 Denso Corp 車載機器の操作装置
WO2009130985A1 (ja) * 2008-04-23 2009-10-29 コニカミノルタホールディングス株式会社 情報入力システム
JP2010067083A (ja) * 2008-09-11 2010-03-25 Brother Ind Ltd ヘッドマウントディスプレイ
JP2011123807A (ja) * 2009-12-14 2011-06-23 Dainippon Printing Co Ltd アノテーション表示システム,方法及びサーバ装置
JP2012068481A (ja) * 2010-09-24 2012-04-05 Asia Air Survey Co Ltd 拡張現実表現システムおよび方法

Also Published As

Publication number Publication date
WO2014001615A2 (en) 2014-01-03
JP6717773B2 (ja) 2020-07-08
KR101671091B1 (ko) 2016-10-31
KR20150016974A (ko) 2015-02-13
EP2867862A2 (en) 2015-05-06
US9339726B2 (en) 2016-05-17
WO2014001615A3 (en) 2014-02-27
TWI622925B (zh) 2018-05-01
TW201411478A (zh) 2014-03-16
US20140002474A1 (en) 2014-01-02
CN104395935B (zh) 2018-04-17
JP2015529873A (ja) 2015-10-08
CN104395935A (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
JP6717773B2 (ja) 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置
US9400551B2 (en) Presentation of a notification based on a user&#39;s susceptibility and desired intrusiveness
US11160688B2 (en) Visual aid display device and method of operating the same
US9030505B2 (en) Method and apparatus for attracting a user&#39;s gaze to information in a non-intrusive manner
EP2996017B1 (en) Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
EP2972559B1 (en) Methods and apparatus for displaying images on a head mounted display
US20130300635A1 (en) Method and apparatus for providing focus correction of displayed information
US20130300759A1 (en) Method and apparatus for modifying the presentation of information based on the attentiveness level of a user
KR20140138178A (ko) 눈 추적에 기초한 디스플레이의 선택적 백라이팅
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
KR102459238B1 (ko) 물리적 입력 디바이스들을 가상 객체들로서 디스플레이
US9269325B2 (en) Transitioning peripheral notifications to presentation of information
CN113661477A (zh) 管理具有加法显示器的设备
WO2023049000A1 (en) Parallel renderers for electronic devices
US11341729B2 (en) Method and electronic device for correcting external reality pixels and virtual content pixels within an augmented reality environment
US20240019928A1 (en) Gaze and Head Pose Interaction
US20220114811A1 (en) Method and device for processing image
US11900845B2 (en) System and method for optical calibration of a head-mounted display
US20240185542A1 (en) Smart content rendering on augmented reality systems, methods, and devices
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
CN116529713A (zh) 多用户环境中的应用程序
CN115599205A (zh) 显示控制方法、装置、近眼显示设备及介质
CN116360906A (zh) 交互控制方法、装置、头戴显示设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200611

R150 Certificate of patent or registration of utility model

Ref document number: 6717773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250