JP2011527004A - ナビゲータとしてのモバイルイメージング装置 - Google Patents
ナビゲータとしてのモバイルイメージング装置 Download PDFInfo
- Publication number
- JP2011527004A JP2011527004A JP2011514663A JP2011514663A JP2011527004A JP 2011527004 A JP2011527004 A JP 2011527004A JP 2011514663 A JP2011514663 A JP 2011514663A JP 2011514663 A JP2011514663 A JP 2011514663A JP 2011527004 A JP2011527004 A JP 2011527004A
- Authority
- JP
- Japan
- Prior art keywords
- content
- mobile device
- identifying
- location
- imaging component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本発明の実施形態は、カメラ付き携帯電話のようなモバイルイメージング装置の方向に基づいて情報を取得することに関する。カメラにより視覚情報を収集し、この情報を使用してカメラの方向を特定し、この方向に基づいてコンテンツを検索し、周辺の3D仮想イメージを操作し、別様に方向情報を使用する。一連の画像を解析することにより、方向及び動きを特定する。現在の場所からの距離、入力した検索パラメータ、及びその他の基準を使用してこのような基準を適用したコンテンツを拡張し、又はフィルタにかけることができる。距離インジケータを含む検索結果をマップ又はカメラ入力の上に重ねることができる。現在の方向に関する様々なコンテンツを表示することができ、或いは会社の場所などの所望のコンテンツを、カメラがこの所望のコンテンツの方を向いているときにのみ表示することができる。
【選択図】 図1
【選択図】 図1
Description
〔関連出願との相互参照〕
本出願は、2008年6月20日に出願された米国特許出願第12/143,527号からの優先権を主張するものであり、該特許出願はその内容全体が引用により本明細書に組み入れられる。
本出願は、2008年6月20日に出願された米国特許出願第12/143,527号からの優先権を主張するものであり、該特許出願はその内容全体が引用により本明細書に組み入れられる。
本発明は、モバイルイメージング装置の方向に基づいて情報を取得することに関し、より具体的には、ユーザがモバイルイメージング装置の方向を合わせて方向誘導のための視覚的手がかりを捕捉することにより、現実及び/又は仮想世界において方向を確認できるようにすることに関する。
TomTom International社及びGarmin社が提供するような全地球測位システム(GPS)マッピングシステムでは、3次元(3D)ベクトルマップが使用されている。このようなマップは、「上空」から見た、又は地表から見た地域の透視図を提供することができる。ユーザは、透視図を見ることにより、自分がある場所からどれほど離れているかを測定できるようになる。既存のGPSベクトルマップシステムは、レストラン及びコーヒーショップなどのいくつかのローカルな目的地を予めプログラムされるようになったものが多い。ドライバは、GPSが追跡した空間内の直線的な動きの関数としてこれらのマップ内を自動的にスクロールすることができるが、マップ情報は一般に動きの方向に基づく。また通常、この直線的な動きの規模、及び対応するマップ上のナビゲーションは、足の動きよりはむしろ車の運転に合わせられている。
同様に、携帯情報端末(PDA)によって使用されるような現在のモバイル検索システムは、通常、2Dの上空から見たマップを使用して、ユーザが向いている方向ではなく、むしろモバイル装置の現在の場所周辺の半径内のローカルな結果を表示する。従って、現在の2D及び3Dマッピングシステムは、一般に進む方向の、又は場所の周りの半径内の検索情報を提供する。しかしながら、一般にこれらのシステムは、ドライバ又はユーザが向いている方向を特定することができない。例えば、車は後ろ向きに移動することができるが、ドライバは前又は横を向いている場合がある。本発明は、これらの及びその他の検討事項に関する。
以下の図面を参照しながら、本発明の非限定的かつ非包括的な実施形態について説明する。図面では、別途指定しない限り、様々な図を通じて同じ参照番号が同じ部分を示す。
本発明をより良く理解するために以下の実施形態の詳細な説明を参照し、これを添付図面と併せて読まれたい。
以下、本明細書の一部を形成するとともに本発明を実施できるようにするための特定の例示的な実施形態を実例として示す添付図面を参照しながら本発明についてより完全に説明する。しかしながら、本発明は多くの異なる形で具体化することができ、本明細書に示す実施形態に本発明が限定されると見なすべきではなく、むしろこれらの実施形態は、本開示を徹底的かつ完全なものにするとともに、当業者に本発明の範囲を完全に伝えるように提供するものである。とりわけ、本発明は方法又は装置として具体化することができる。従って、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとることができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではない。
明細書及び特許請求の範囲を通じて、以下の用語は、文脈において特に指定しない限り、本明細書で明確に関連付ける意味をとる。本明細書で使用する「1つの実施形態では」という語句は、同じ実施形態を示す場合もあるが、必ずしもそうとは限らない。さらに、本明細書で使用する「別の実施形態では」という語句は、異なる実施形態を示す場合もあるが、必ずしもそうとは限らない。従って、後述するように、本発明の範囲又は思想から逸脱することなく本発明の様々な実施形態を容易に組み合わせることができる。
また、本明細書で使用する場合、「又は」という用語は、文脈において特に指定しない限り包括的なもの、「又は」演算子であり、「及び/又は」という用語に相当する。「〜に基づいて」という用語は、文脈において特に指定しない限り排他的なものではなく、記載していない追加の要素に基づくことを可能にするものである。また、明細書全体を通じて、「1つの(英文不定冠詞)」及び「その(英文定冠詞)」の意味は複数の意味を含む。「〜内(in)」の意味は、「〜内(in)」及び「〜上(on)」という意味を含む。
簡潔に言えば、本発明の実施形態は、モバイルイメージング装置の方向に基づいて情報を取得することに関する。各実施形態は、ユーザがモバイルイメージング装置の方向を合わせて方向誘導のための視覚的手がかりを捕捉することにより、現実及び/又は仮想世界において方向を確認できるようにするものである。視覚的手がかりを使用して、モバイル装置の方向の特定、方向に基づく検索、3次元仮想世界の方向操作などを行う。方向情報を距離情報と組み合わせて、情報を拡げたり又はフィルタにかけたりすることもできる。
1つの実施形態では、モバイルマップアプリケーションを携帯電話機のハンドセットカメラとともに使用してユーザナビゲーションの改善を図り、識別された関心のある場所を発見する。ハンドセットカメラは、方向的な動き及び小規模の直線的な動きを追跡するために使用する。(GPS、ユーザ入力などにより)ユーザの位置が特定されると、ユーザは、円形に回転し、ハンドセットカメラに交差点、ストア、信号機などの視覚的/光学的手がかりを捕捉させることにより、方向に関する情報を収集することができる。これらの視覚的手がかりは、方向誘導のために、予め定めた3Dベクトルマップ情報に関連付けられる。別の実施形態では、(背景のパターンを追跡してハンドセットカメラの速度及び方向を判別するような)ハンドセットカメラからの光入力を使用して、3Dベクトルマップの周辺で動的にナビゲートを行う。予め定めたベクトルマップ情報をハンドセットへ送信して、識別された場所がより容易に発見されるようにする。例えば、通り、建物、ランドマーク、又はその他の関心点が、ユーザが現在位置している場所に対して数ブロック離れており、高い建物によって見えない場合がある。同様に、ベクトルマップ上に1又はそれ以上のソースからのローカルな商業情報を提供することもできる。ユーザは、方向を識別するために直線的な動きを行う必要なく、方向を示すことにより様々な種類の情報及び情報の量を管理することができる。本発明の実施形態は、方向データ及び複数の種類のコンテンツ情報を使用して、より関連性のあるモバイル検索結果、モバイルナビゲーション、及びその他の情報を可能にする。
方向情報により、ある方向における「無限に」離れた検索が可能となり、個々の検索結果に、ユーザの現在の位置に対する距離をマーク付けすることができる。距離の表示は、距離に比例して小さくなるアイコン、結果リスト上の下位のランク、透明度の度合い、又はその他のインジケータで行うことができる。例えば、ユーザが交差点で停止して、どちらに曲がれば最も近い(又は好みの会社の)ガソリンスタンドが見つかるかを判断しようと試みる場合がある。ユーザは、各々の道路に進む必要なく、また仮想マップをスクロールしたり、或いは仮想マップのズームレベルを変更したりする必要なく、モバイル装置を単純に各々の道路の方へ向けて距離インジケータ付きの結果を受け取るだけでよい。
1つの実施形態では、モバイル装置の方向的な動きに関する情報も利用する。最初に、モバイル装置が、GPS、ユーザ入力、現在の場面の画像解析などを介して現在の物理的位置を設定する。モバイル装置は、装置の最初の方向を設定するために装置のイメージング構成要素も使用する。画像を既知の方向の画像と比較することにより、方向を特定することもできる。モバイル装置によって取り込まれた及び記憶された画像に対して、ファインダ内の既知の物体の輪郭と重ねた画像に対して、画像の組み合わせに対して、又はその他の画像処理技術を使用してこの比較を行うことができる。別の又は追加の技術として、太陽の位置を日付及び時刻に関して分析すること、モバイル装置を指定した方向に向けるための命令を受け取り、クリックしてこれを確認すること、既知の場所にある看板上の文字又は記号を識別することなどを挙げることができる。
いくつかの実施形態では、最初の方向が設定されると、方向の変化及び/又は動いた後の新たな方向を検出する。例えば、モバイル装置は、装置がユーザの周囲を円形に動いている最中に、又は動いた後に装置が向いている新たな方向を検出することができる。モバイル装置は、最初の方向において、動いている最中に、及び/又は新たな方向において、方向及び方向の変化に基づいてマップを表示し、これを動かすことができる。モバイル装置はまた、1又はそれ以上のコンテンツ検索を行うこともでき、或いはモバイル装置が向いている(単複の)方向の関心点に関するコンテンツ情報を別様に取得する。表示マップ上にコンテンツ情報を重ね、方向及び方向の変化に基づいてこれを動かし及び/又は変更することができる。以下、実施形態例の追加の詳細について図を参照しながら説明する。
例示的動作環境
図1は、本発明が機能できる環境の1つの実施形態を示している。しかしながら、本発明を実施するためにこれらの構成要素が全て必要なわけではなく、本発明の思想又は範囲から逸脱することなく構成要素の構成及び種類を変化させることができる。
図1は、本発明が機能できる環境の1つの実施形態を示している。しかしながら、本発明を実施するためにこれらの構成要素が全て必要なわけではなく、本発明の思想又は範囲から逸脱することなく構成要素の構成及び種類を変化させることができる。
図示のように、システム100は、クライアント装置102〜104、ネットワーク105、及びサーバ106を含む。ネットワーク105は、クライアント装置102〜104の各々及びサーバ106と通信し、これらの間の通信を可能にする。
クライアント装置102〜104は、コンテンツサーバ108などの別のコンピュータ装置との間で及び互いになど、ネットワーク105などのネットワークを介してメッセージを送受信できる事実上あらゆるコンピュータ装置を含むことができる。このような装置の組として、携帯電話、スマートフォン、ページャ、ウォーキートーキー、無線周波数(RF)装置、赤外線(IR)装置、CB、前述の装置の1又はそれ以上を組み合わせた統合装置、又は事実上あらゆるモバイル装置などのような、一般に無線通信媒体を使用して接続する装置を挙げることができる。同様に、クライアント装置102〜104は、携帯情報端末(PDA)、ポケットPC、ウェアラブルコンピュータ、及び有線及び/又は無線通信媒体を介して通信することができる他のいずれかの装置などのような、有線又は無線通信媒体を使用して接続することができるいずれの装置であってもよい。このような装置の組として、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、及びネットワークPCなどような、一般に有線通信媒体を使用して接続する装置を挙げることもできる。
クライアント装置102〜104の中の個々のクライアント装置は、ウェブページを送信し、受信し、表示するように構成されたブラウザアプリケーションなどを含むことができる。ブラウザアプリケーションは、以下に限定されるわけではないが、ハイパーテキストマークアップ言語(HTML)などの汎用マークアップ言語(SMGL)、拡張可能マークアップ言語(XML)、無線マークアップ言語(WML)などのハンドヘルド装置マークアップ言語(HDML)、WMLScript、及びJavaScriptなどを含む、事実上あらゆるウェブベース言語を利用してグラフィクス、テキスト、マルチメディアなどを受信して表示するように構成することができる。クライアント装置102〜104は、以下に限定されるわけではないが、インスタントメッセージング(IM)、電子メール、ショートメッセージサービス(SMS)、マルチメディアメッセージサービス(MMS)、インターネットリレーチャット(IRC)、mIRC、及びJabberなどを含む別のメカニズムを利用して別のコンピュータ装置との間でメッセージを送信及び/又は受信するように構成されたメッセージングアプリケーションをさらに含むことができる。
ネットワーク105は、1つのコンピュータ装置を別のコンピュータ装置に結合してこれらが通信できるようにするように構成される。ネットワーク105は、1つの電子装置から別の電子装置に情報を伝達するためのあらゆる形のコンピュータ可読媒体を利用することができる。ネットワーク105は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、ユニバーサルシリアルバス(USB)ポートなどを介した直接接続、他の形のコンピュータ可読媒体、又はこれらのいずれかの組み合わせに加え、インターネットなどの無線インターフェイス及び/又は有線インターフェイスを含むことができる。異なるアーキテクチャ及びプロトコルに基づくものを含む相互接続されたLANの組では、ルータがLAN間のリンクとして機能し、互いにメッセージを送信できるようにする。また通常、LAN内の通信リンクとしてツイストペア線又は同軸ケーブルが挙げられるが、ネットワーク間の通信リンクは、アナログ電話回線、T1、T2、T3、及びT4を含む全体的又は部分的専用デジタル回線、デジタル信号レベル3(DS3)、光搬送波3(OC3)、OC12、OC48、非同期転送モード(ATM)、総合デジタル通信網(ISDN)、デジタル加入者回線(DSL)、衛星リンクを含む無線リンク、又は当業者に公知のその他の通信リンクを使用することもできる。さらに、リモートコンピュータ及びその他の関連する電子装置を、モデム及び仮設電話リンクを介してLAN又はWANのいずれかに遠隔接続することができる。ネットワーク105は、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、無線アプリケーションプロトコル(WAP)、global system for mobile communications(GSM)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、汎用パケット無線サービス(GPRS)、超広帯域(UWB)、及びIEEE802.16Worldwide Interoperability for Microwave Access(WiMax)などを含む様々な通信プロトコル及び技術とともに使用するように構成される。基本的に、ネットワーク105は、情報がクライアント装置102〜104及び/又はサーバ106間を移動できるようにするあらゆる通信方法を含む。
一般に、通信リンク内で情報を送信するために使用する上述したような媒体は、コンピュータ装置がアクセスできるあらゆる媒体を含む。コンピュータ可読媒体は、コンピュータ記憶媒体、有線及び無線通信媒体、又はこれらのいずれかの組み合わせを含むことができる。また通常、コンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータを具体化する。このようなデータを、あらゆる情報配信媒体を含む通信媒体を介して搬送波、データ信号、又はその他の搬送メカニズムなどの変調データ信号の形で通信することができる。「変調データ信号」及び「搬送波信号」という用語は、その特徴セットの1又はそれ以上を有する信号、又は情報、命令、及びデータなどを符号化する方法で信号に変化させた信号を含む。一例として、通信媒体は、音響、RF、赤外線、及びその他の無線信号のための流体又は空間などの無線媒体、及びツイストペア、同軸ケーブル、光ファイバ、導波、及びその他の有線媒体などの有線媒体を含む。
サーバ106は、複数のコンピュータ装置又は単一のコンピュータ装置を含むことができる。サーバ106は、ヒストグラムを求めたり、OCRを実行したり、画像を以前記憶した画像と比較したり、画像に関する情報を特定したり、データベース動作を実行したり、追加情報の検索を実行したり、画像に関する情報を記憶したり、ユーザの行動を追跡したりなどの画像解析サービスを提供することができる。サーバ106はまた、コンテンツ、及び/又はウェブサイト、(ブログなどの)オンラインジャーナル、写真、レビューなどのその他のサービス、メッセージング、検索、ニュース、ショッピング、広告、及び/又は同様のものなどのオンラインサービスを提供することもできる。サーバ106は、ウェブページなどのネットワークリソース間の関係の作成、修正、及び管理のような管理サービスをさらに提供することができる。簡潔に言えば、サーバ106は、ネットワーク105に接続できるあらゆるコンピュータ装置を含むことができ、クライアント装置102〜104のうちの少なくとも1つのユーザなどのネットワークユーザのためのサービスを管理することができる。サーバ106として動作できる装置として、専用サーバ装置、パーソナルコンピュータ、デスクトップコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、及びネットワークPCなどが挙げられる。サーバ106及び/又はクライアント102〜104のいずれかを、図2に関して説明するクライアントなどの1又はそれ以上のコンピュータ装置に実装することができる。
例示的クライアント装置
図2は、参照データ収集装置として使用される本発明の1つの実施形態による例示的なクライアント装置200を示している。1つの実施形態では、クライアント装置200は、ラップトップコンピュータなどのモバイル装置である。モバイル装置の別の例として、1又はそれ以上の無線通信インターフェイスを介して音声通信及びSMSメッセージなどのメッセージを送受信するように構成されたPDA又は携帯電話が挙げられる。多くの場合、モバイル電子装置は、1又はそれ以上の無線ネットワークに接続すること、単一の無線ネットワークの複数のノードに接続すること、1又はそれ以上のチャネルを介して1又はそれ以上のネットワークに通信すること、或いは1又はそれ以上の通信セッションに別様に関わることによりパーソナル通信を行うことができる。一般に、クライアント装置200は、あらゆるモバイル電子装置又は固定電子装置を含むことができる。このような装置には、ラップトップ、パームトップ、PDA、ハンドヘルドコンピュータ、携帯電話、スマートフォン、ページャ、無線周波数(RF)装置、赤外線(IR)装置、及び前述の装置の1又はそれ以上を組み合わせた統合装置などが含まれる。クライアント装置200はまた、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、ネットワークPC、及びウェアラブルコンピュータなどのその他の電子装置を含むこともできる。
図2は、参照データ収集装置として使用される本発明の1つの実施形態による例示的なクライアント装置200を示している。1つの実施形態では、クライアント装置200は、ラップトップコンピュータなどのモバイル装置である。モバイル装置の別の例として、1又はそれ以上の無線通信インターフェイスを介して音声通信及びSMSメッセージなどのメッセージを送受信するように構成されたPDA又は携帯電話が挙げられる。多くの場合、モバイル電子装置は、1又はそれ以上の無線ネットワークに接続すること、単一の無線ネットワークの複数のノードに接続すること、1又はそれ以上のチャネルを介して1又はそれ以上のネットワークに通信すること、或いは1又はそれ以上の通信セッションに別様に関わることによりパーソナル通信を行うことができる。一般に、クライアント装置200は、あらゆるモバイル電子装置又は固定電子装置を含むことができる。このような装置には、ラップトップ、パームトップ、PDA、ハンドヘルドコンピュータ、携帯電話、スマートフォン、ページャ、無線周波数(RF)装置、赤外線(IR)装置、及び前述の装置の1又はそれ以上を組み合わせた統合装置などが含まれる。クライアント装置200はまた、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、ネットワークPC、及びウェアラブルコンピュータなどのその他の電子装置を含むこともできる。
クライアント装置200が含むことができる構成要素は、図2に示すものより多くても又は少なくてもよい。しかしながら、本発明を実施するための例示的な実施形態を開示するには図示の構成要素で十分である。図示のように、クライアント装置200は、バス224を介して大容量メモリ230と通信する処理ユニット222を含む。
大容量メモリ230は、RAM232、ROM234、及びその他の記憶手段を含む。大容量メモリ230は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するための別のコンピュータ記憶媒体の例を示している。大容量メモリ230は、クライアント装置200の低レベル動作を制御するための基本入力/出力システム(「BIOS」)240を記憶する。大容量メモリは、クライアント装置200の動作を制御するためのオペレーティングシステム241も記憶する。この構成要素は、あるバージョンのWindows(登録商標)、UNIX(登録商標)、又はLINUX(登録商標)などの汎用オペレーティングシステム、又はWindows Mobile(商標)、又はSymbian(登録商標)オペレーティングシステムなどの専用モバイル通信オペレーティングシステムを含むことができる。オペレーティングシステムは、Javaアプリケーションプログラムを介してハードウェア構成要素及び/又はオペレーティングシステム動作の制御を可能にするJava(登録商標)仮想マシンモジュールを含むことができ、或いはこれにインターフェイス接続することができる。
メモリ230は1又はそれ以上のデータ記憶ユニット242をさらに含み、クライアント装置200がこれを利用して、とりわけプログラム244及び/又はその他のデータを記憶することができる。プログラム244は、クライアント装置200によって実行された場合、HTMLページ、XMLページ、及び(WAPカードと呼ばれることもある)WAPページなどのマークアップページを送信し、受信し、提供し、及び/又は別様に処理するコンピュータ実行可能命令を含むことができる。従って、プログラム244はコンピュータ実行可能命令からなるブラウザプログラムを含むことができ、これをオペレーティングシステム241の制御下で実行して、マークアップページ及び(HTTP、TCP/IP、SMS、MMS、IM、電子メール、及び/又はその他のメッセージなどの)メッセージ、オーディオ、ビデオを要求し、受信し、提供できるようにしてこれらを管理し、別のクライアント装置の別のユーザと電気通信できるようにすることができる。アプリケーションプログラムのその他の例として、カレンダー、コンタクトマネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、スプレッドシートプログラム、及びゲームが挙げられる。
また、大容量メモリ230は画像処理モジュール246及びマッピングモジュール248を記憶し、これらをオペレーティングシステム241の制御下で外部モジュールとして、ブラウザ内で、ウェブページ内で、又は別の構成を介してプラグインモジュールとして実行することができる。画像処理モジュール246は、画像データ、コンテキスト情報、画像データに対するユーザの要求、及びモバイル装置が取得又は受信した画像に関するその他のデータの初期処理又は完全処理を行うことができる。マッピングモジュール248は、マップ情報を表示し、透視し、動かし、画像又はコンテンツと一体化し、及びその他のマップ動作を行うように管理することができる。
クライアント装置200はまた、電源226、1又はそれ以上の無線インターフェイス250、オーディオインターフェイス252、ディスプレイ254、キーパッド256、照明器258、任意のデータ取り込みモジュール259、入力/出力インターフェイス260、任意の触覚インターフェイス262、任意のグローバルポジショニングシステム(GPS)受信機264、及び動き、方向、及び/又はクライアント装置の方向を感知する任意のセンサも含む。電源226がクライアント装置200に電力を供給する。再充電可能な又は再充電不可能なバッテリを使用して電力を供給することができる。ACアダプタ、又はバッテリを補完及び/又は再充電する電動ドッキングクレードルなどの外部電源により電力を供給することもできる。
クライアント装置200は、任意に基地局と、又は直接別のクライアント装置と通信することができる。無線インターフェイス250は、クライアント装置200を1又はそれ以上の無線ネットワークに結合するための回路を含み、以下に限定されるわけではないが、TCP/IP、UDP、GSM、CDMA、TDMA、SMS、GPRS、WAP、UWB、及びIEEE802.16(WiMax)などを含む1又はそれ以上の通信プロトコル及び技術とともに使用するように構成される。
オーディオインターフェイス252は、人間の声及び音楽などの音のようなオーディオ信号を生成し及び/又は受信するように構成される。例えば、オーディオインターフェイス252をスピーカ及びマイク(図示せず)に結合して他者と通信できるようにし、及び/又は何らかの行為に対する音声肯定応答を生成することができる。ディスプレイ254は、液晶ディスプレイ(LCD)、ガスプラズマ、発光ダイオード(LED)、又はクライアント装置とともに使用する他のいずれの種類のディスプレイであってもよい。ディスプレイ254はまた、スタイラス又は人間の手の指などの物体からの入力を受け取るように構成されたタッチセンサ式画面を含むこともできる。
キーパッド256は、ユーザからの入力を受け取るように構成されたあらゆる入力装置を含むことができる。例えば、キーパッド256は、キーボード又はプッシュボタン式数字ダイヤルなどを含むことができる。キーパッド256はまた、変更可能な処理を選択して実行することに関連する命令ボタンを含むこともできる。照明器258は、ステータス表示を提供し、及び/又は光を提供することができる。照明器258は、特定の時間にわたって、又はイベントに応答してアクティブのままにしておくことができる。例えば、照明器258は、アクティブなときにはキーパッド256上のボタンをバックライトで照らすことができ、クライアント装置が給電を受けている間オン状態を保つことができる。また、別のクライアント装置にダイヤルするなどの特定の動作が行われた場合、照明器258はこれらのボタンを様々なパターンでバックライト照明することもできる。照明器258はまた、モバイル装置の透明又は半透明なケース内に存在する光源を動作に応じて光らせることもできる。照明器258を画像取り込み用のフラッシュとしてさらに使用することもできる。クライアント装置200には、カメラなどのデータ取り込みモジュール259を含めることができる。クライアント装置は、画像、ビデオ、温度、圧力、又はその他のデータを取得することができる。
クライアント装置200はまた、ヘッドホンなどの外部装置と通信するための入力/出力インターフェイス260、又は図2には示していないその他の入力又は出力装置も含む。入力/出力インターフェイス260は、USB、赤外線、及びBluetooth(商標)などの1又はそれ以上の通信技術を利用することができる。任意の触覚インターフェイス262は、クライアント装置のユーザに触覚フィードバックを提供するように構成される。例えば、触覚インターフェイスを使用して、クライアント装置の別のユーザが電話をかけてきたときにクライアント装置200を特定の方法で振動させることができる。
任意のGPSトランシーバ264は、地表にあるクライアント装置200の物理座標を特定することができ、この結果、通常は緯度値及び経度値などの場所が出力される。GPSトランシーバ264はまた、以下に限定されるわけではないが、三角測量、アシスト型GPS(AGPS)、拡張観測時間差(E−OTD)、セル識別子(CI)、サービスエリア識別子(SAI)、拡張タイミングアドバンス(ETA)、又は基地局サブシステム(BSS)などを含むその他のジオポジショニングメカニズムを使用して、地表にあるクライアント装置200の物理的場所を特定することもできる。異なる条件により、GPSトランシーバ264は、クライアント装置200の物理的場所をミリメートルの範囲内で特定することもできれば、その他の場合には、特定される物理的場所がメートル又はかなり大きな距離の範囲内のようにそれほど正確ではないこともある。
任意のセンサ266は、モバイル装置の方向、向き、動き、又はその他の側面を検出することができる。このセンサは、静的情報、又はモバイル装置のあらゆる側面への変化などの動的情報を読み出すことができる。センサ266は、加速度計、ジャイロスコープ、コンパス、又は動き、方向などを検出するその他のセンサを含むことができる。このセンサは、変換用構成要素、信号処理用構成要素、及び/又はその他の構成要素を含み、又はこれらに結合することができる。
例示的ネットワーク装置
図3は、本発明の1つの実施形態によるネットワーク装置の1つの実施形態を示している。ネットワーク装置300が含むことができる構成要素は、図示のものより多くても又は少なくてもよい。しかしながら、本発明を実施するための例示的な実施形態を開示するには図示の構成要素で十分である。ネットワーク装置300は、例えばサーバ106又は図1の別のクライアント装置を表すことができる。例示を目的として、ネットワーク装置300をサーバ装置として説明する。
図3は、本発明の1つの実施形態によるネットワーク装置の1つの実施形態を示している。ネットワーク装置300が含むことができる構成要素は、図示のものより多くても又は少なくてもよい。しかしながら、本発明を実施するための例示的な実施形態を開示するには図示の構成要素で十分である。ネットワーク装置300は、例えばサーバ106又は図1の別のクライアント装置を表すことができる。例示を目的として、ネットワーク装置300をサーバ装置として説明する。
図示のように、サーバ装置300は、バス324を介して大容量メモリ330と通信する処理装置322を含む。一般に、大容量メモリ330は、RAM332、ROM334、及びその他の記憶手段を含む。大容量メモリ330は、ある種のコンピュータ可読媒体、すなわちコンピュータ記憶媒体を示している。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するためのあらゆる方法又は技術において実装される揮発性及び不揮発性の、取り外し可能な及び取り外し不可能な媒体を含むことができる。コンピュータ記憶媒体の他の例として、EEPROM、フラッシュメモリ又はその他の半導体メモリ技術、CD−ROM、デジタル多用途ディスク(DVD)又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置によりアクセスできるその他のあらゆる媒体が挙げられる。
大容量メモリ330は、サーバ装置300の低レベル動作を制御するための基本入力/出力システム(「BIOS」)340を記憶する。大容量メモリはまた、サーバ装置300の動作を制御するためのオペレーティングシステム341も記憶する。この構成要素は、あるバージョンのWindows、UNIX、LINUX、又はSolarisなどの汎用オペレーティングシステムを含むことができる。オペレーティングシステムはまた、Javaアプリケーションプログラムを介してハードウェア構成要素及び/又はオペレーティングシステム動作の制御を可能にするJava仮想マシンモジュールを含むこともでき、或いはこれにインターフェイス接続することもできる。
大容量メモリ330は1又はそれ以上のデータ記憶ユニット342をさらに含み、サーバ装置300がこれを利用して、とりわけプログラム344及び/又はその他のデータを記憶することができる。プログラム344は、HTTP通信を送信し、受信し、及び別様に処理するためのHTTPハンドラアプリケーション、及びWAP通信を送信し、受信し、及び別様に処理するためのWAPハンドラアプリケーションなどのマークアップハンドラアプリケーションを実施するためにサーバ装置300が実行できるコンピュータ実行可能命令を含むことができる。同様に、プログラム344は、外部アプリケーションとの通信をセキュアな方法で開始するなどのセキュアな接続を行うためのセキュアソケットレイヤ(SSL)ハンドラアプリケーションを含むことができる。アプリケーションプログラムの他の例として、コンテンツ管理アプリケーション、メッセージングアプリケーション、スケジューラ、カレンダー、ウェブサービス、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、及びスプレッドシートプログラムなどが挙げられる。従って、プログラム344は、画像、オーディオ、ビデオ、又はマークアップページを処理し、別の電子装置の別のユーザとの通信及び/又はその他のサービスを可能にすることができる。
また、大容量メモリ330は画像処理モジュール346を記憶する。画像処理モジュール346はコンピュータ実行可能命令を含むことができ、これをオペレーティングシステム341の制御下で実行して画像を解析したり、画像を比較したり、コンテキスト情報を特定したり、場所に関連する情報にアクセスしたり、ユーザ行動データを評価したり、検索語を決定したり、又は画像に関するその他の処理を実行したりすることができる。1つの実施形態では、一般に画像処理モジュール346がクライアント装置の画像処理モジュールと通信する。大容量メモリ330は検索モジュール348を含むこともでき、これは画像処理モジュール346の一部であってもよく、或いは画像処理モジュール346と通信するものであってもよい。検索モジュール348は、一般にコンテンツ検索などのデータ検索、ネットワークリソースへのリンクの検索、又はデータベース検索などを行う検索エンジンを含むことができる。
サーバ装置300はまた、キーボード、マウス、ホイール、ジョイスティック、ロッカースイッチ、キーパッド、プリンタ、スキャナ、及び/又は図3には具体的に示していないその他の入力装置などの入力/出力装置と通信するための入力/出力インターフェイス360も含む。サーバ装置300のユーザは入力/出力装置を使用して、オペレーティングシステム341、プログラム344、及び/又はその他のモジュールと別個のものであってもよく又は一体化したものであってもよいユーザインターフェイスとやりとりすることができる。ユーザインターフェイスとのやりとりは、ディスプレイ及びビデオディスプレイアダプタ354を介した目に見えるやりとりを含む。
サーバ装置300は、コンピュータ可読記憶媒体のための取り外し可能な媒体ドライブ352及び/又は恒久的な媒体ドライブ354を含むことができる。取り外し可能な媒体ドライブ352は、光学ディスクドライブ、フロッピー(登録商標)ディスクドライブ、及び/又はテープドライブのうちの1又はそれ以上を含むことができる。恒久的な又は取り外し可能な記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するためのあらゆる方法又は技術で実装される揮発性の、不揮発性の、取り外し可能な、及び取り外し不可能な媒体を含むことができる。コンピュータ記憶媒体の例として、CD−ROM355、デジタル多用途ディスク(DVD)又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、RAM、ROM、EEPROM、フラッシュメモリ又はその他のメモリ技術、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置によりアクセスできる他のあらゆる媒体が挙げられる。
サーバ300は、ネットワーク通信インターフェイスユニット350を介して、インターネットなどの広域ネットワーク、ローカルエリアネットワーク、有線電話ネットワーク、携帯電話ネットワーク、又は図1のネットワーク105などの他の何らかの通信ネットワークと通信することができる。ネットワーク通信インターフェイスユニット350は、トランシーバ、送受信装置、及びネットワークインターフェイスカード(NIC)などとして知られていることもある。
例示的ロジック
図4は、モバイル装置が向けられた方向に基づいて検索結果を特定するためのロジック例を示すフロー図である。この実施形態例では、主にクライアントモバイル装置に対して処理が行われる。しかしながら、処理によっては、ネットワークを介してサーバ装置に行うことができるものもある。
図4は、モバイル装置が向けられた方向に基づいて検索結果を特定するためのロジック例を示すフロー図である。この実施形態例では、主にクライアントモバイル装置に対して処理が行われる。しかしながら、処理によっては、ネットワークを介してサーバ装置に行うことができるものもある。
動作402において、モバイル装置の現在の物理的な地理的位置が特定される。内蔵型のGPS構成要素、既知の場所における高周波識別(RFID)タグ又はリーダ、又はその他の位置構成要素により、現在の場所を設定することができる。或いは、ユーザが、タップ、クリック、又はその他の方法で表示マップ上の地点を示し、この結果、緯度、経度、高度、通りの番地、税金区画番号、又はその他の位置情報が戻されるようにしてもよい。別の選択肢として、ユーザが、住所、交差点、建物名、ランドマーク名、又はその他の位置情報などの位置情報を単純に入力することもできる。
別の実施形態では、モバイル装置のカメラで画像を取り込み、その後これを既知の位置情報と比較して解析することができる。例えば、カメラで、道路標識、広告掲示板、店頭、建物、又はその他のシーンの画像を取り込むことができる。画像から文字、記号、ランドマーク、又はその他の情報を分析して場所を特定することができる。画像解析及び場所検出のさらなる詳細が、2008年5月22日に共同出願された「モバイル装置により記録された画像のコンテンツに基づくデータアクセス」という名称の米国特許出願第12/121,259号に記載されており、該特許出願はその内容全体が引用により本明細書に組み入れられる。
動作404において、モバイル装置を使用して、モバイル装置が向けられた最初の方向を設定する。この最初の方向はいくつかの方法で設定することができ、この方向を使用して、モバイル装置をマップピングモジュール又はその他のサービスと同期させることができる。例えば、モバイル装置は、特定された最初の位置に基づいて、モバイル装置を既知の通りに沿って、既知の物理的物体の方へ、既知のコンパス方位の方へ、又はユーザが容易に識別できるその他の方向へ向けるようにユーザに指示するメッセージを表示することができる。モバイル装置はまた、特定された最初の位置の周辺エリアの2D又は3Dマップを表示することもでき、このマップ上に、矢印、強調表示したアイコン、又はモバイル装置がユーザにモバイル装置を向けるように指示した地点にある通り、物体、又はその他の方向アイテムを示すものを表示することができる。この表示マップは、ユーザがモバイル装置を指示された方向にある点に向ける役に立つことができる。モバイル装置は、ユーザが指示された通りにモバイル装置を向けたことを示すべくユーザにモバイル装置上のボタンを押すようにさらに指示することができる。
別の実施形態では、モバイル装置が、最初の特定された位置の周辺エリアの3D一人称透視マップを使用することができる。より具体的には、3Dマップが、ユーザがモバイル装置を向けるべき建物、地形、又はその他の描画オブジェクトの3Dグラフィックシーンを示すことができる。この3Dグラフィックシーンは、モバイル装置のカメラ入力に重なる半透明なもの又は輪郭として示すことができる。ユーザが、モバイル装置のカメラレンズを異なる方向に動かすと、ユーザは、カメラファインダ内の画像が、示される3Dマップといつ一致するかを「認識」することができる。同様に、モバイル装置は、このカメラ入力を連続して走査し、3D透視オーバーレイと比較したいくつかのパターンの連続した画像認識を行うことができる。一致が検出されると、モバイル装置は、ユーザがカメラレンズをいつ正しい方向に向けたかを自動的に識別することができる。
さらなる実施形態では、モバイル装置がGPSモジュールを使用して、装置が或る方向に動いていることを検出し、(車、公共交通機関、徒歩などにより)ユーザが進んでいる方向にモバイル装置を向けるようにユーザに指示することができる。この場合も、モバイル装置がユーザに、モバイル装置を指示した方向に向けたことを示すべくボタンを押すように指示する。さらに別の実施形態では、モバイル装置がユーザに、モバイル装置のカメラレンズを太陽の方に向けるように指示することができる。モバイル装置は、ユーザがボタンを押した後に現在の時刻に関する情報を取得し、特定された場所を使用してモバイル装置が向いている方向を計算することができる。これに加えて、或いはこれとは別に、モバイル装置は、画像解析を使用して影を評価することができる。さらなる実施形態では、モバイル装置がコンパスを含むことができる。ユーザがボタンを押すと、モバイル装置は、コンパスから方位を読み取ることができる。このボタンは、(入力ボタンなどの)一般の物理的ボタンであってもよく、画面上に表示される仮想ボタンであってもよく、専用の「方位」ボタン又はその他の形のボタンであってもよい。
最初の方向に基づいて、モバイル装置は、この最初の方向に関するコンテンツ情報にアクセスすることができる。別の実施形態では、最初の方向を基準方向として使用して方向の変化を特定することができる。
この実施形態では、動作406において、モバイル装置が方向の変化を特定する。例えば、モバイル装置は、モバイル装置が最初の位置の周囲で円形に動いている最中又はこの後に新たな方向を検出することができる。モバイル装置は、モバイル装置が動いている最中に撮影した複数の画像の個々のフレームを解析して画像の変化を特定することができる。この変化が動きの量及び方向を示し、この結果モバイル装置が新たな方向を計算できるようになる。この実施形態では、モバイル装置のカメラが一連の写真を連続して撮影し、これらを線、ブロックなどのパターンに関して解析する。その後、モバイル装置は、これらのパターンの動きを評価して、ユーザがモバイル装置を背景に対していずれかの方向(又は方位)に動かしていた場合、モバイル装置は、この相対的動きを特定できるようになる。モバイル装置はまた、マップ表示又はその他の表示コンテンツを、(実際には逆方向になる場合があるが)同様の量だけ修正することもできる。モバイル装置は、連続したパターン間の、又は最初に取り込んだ画像の最初のパターンと、最後に取り込んだ画像の最後のパターンとの間の変化を検出することができる。これにより、表示マップが物理的世界へ向けて空間内で固定されている一方で、モバイル装置がこのマップ全体をパンしたように見える印象が得られる。
別の実施形態では、モバイル装置が、1又はそれ以上の加速度計、ジャイロスコープ、コンパス、歪みゲージ、又は動き、方向、又はその他の特性を検出するための他の構成要素を含むことができる。例えば、3つの加速度計を使用して3次元の動きを検出することができる。最初の方向に対する動きを使用して新たな方向を特定することもできる。
モバイル装置が動いている間、又はモバイル装置が新たな方向に保持された後、モバイル装置は、動作408において現在の方向に関連するコンテンツ情報を取得する。モバイル装置は、モバイル装置及び/又はリモートサーバに記憶されたコンテンツ情報にアクセスする。モバイル装置は、現在の場所及び方向情報に基づいてデータベースにアクセスし、又は検索要求を提出することができる。ユーザがキーワード又はその他の検索パラメータを入力することもできる。例えば、ユーザは、住所、商号、製品タイプ、又はモバイル装置が現在向いている方向においてユーザが発見したいと思っているその他の検索語を入力することができる。モバイル装置又は検索サーバは検索を行うことができ、或いは入力された検索語、現在の方向、及び現在の位置に基づいて検索結果にフィルタをかけることができる。同様に、ユーザが最大距離を入力することができ、或いは検索システムが現在の位置からのデフォルトの最大距離を使用することができる。結果を、指定した距離内又は指定した距離の周辺の範囲内に存在するものに限定することができる。
コンテンツ情報には地理的位置情報が伴う。検索システムは、現在の位置及びモバイル装置の方向に対する地理的位置の範囲を特定することができる。次に、検索システムは、特定された範囲内の地理的位置に伴うコンテンツを特定することができる。キーワード又はその他のパラメータに基づいて、結果をさらに特定することができる。例えば、モバイル装置のユーザに、検索システムに対する、又は動き、ネットワークインタラクション、購入、ゲーム活動、又はその他のモバイル装置の使用法を追跡するための別のサービスに対する許可を与えておくことができる。この情報を、モバイル装置に関連するプロファイルに蓄積することができる。集約情報を蓄積して、数多くのその他の装置又はユーザの行動に関して統計的に分析することもできる。これらのプロファイル情報及び/又は集約情報を検索システムが使用して、検索結果をモバイル装置のユーザにとってより関連性の高い情報にまでさらに高めることができる。
別の例では、モバイル装置上の表示マップにおいて、ユーザが、レストランなどの或る種の情報を示すタブを選択しておくことができる。選択したタブのための対応する検索語を、位置、方向、距離、及びキーワードとともに提出して、結果を現在の方向にあるレストランに限定することができる。
同様に、ユーザは、モバイル装置が向いている方向に現在存在する他のユーザに関する情報をユーザが望んでいる旨のタブを選択し、或いは別様にこれを示すことができる。例えば、ユーザは、メッセージシステムを使用して、ユーザIDを用いてポータルサービスにログインし、複数の度合いの関係によって分けられた人物の関係を管理することができるソーシャルネットワークシステムを使用して、或いは現在の位置情報を別様に提供してこれに検索システムがアクセスできるようにすることができる。1つの例では、2人のユーザが、通り沿いのどこかの建物内の非常に混み合った部屋の周囲で、或いは別の環境で互いに相手の位置を突き止めようと試みているかもしれない。「人物」タブを選択し、名前を入力し、ユーザIDを入力し、又はその他の関連する検索語を使用して、結果を検索語、現在の方向、及び現在の位置に関連する人物に限定することができる。検索システムにより任意の存在情報を使用して最終結果を特定することもできる。例えば、プライベートユーザは、このプライベートユーザの方向に自身のモバイル装置を向けている可能性のある他のユーザから「見えない」状態のままでいたいと望むことを示すことができる。或いは、グループユーザは、自分たちの存在をこのグループユーザの連絡先リストに載っているユーザにしか知られたくないと望むことを示すことができる。
検索システムは、検索結果を特定しながら、検索結果と検索を行っているモバイル装置の現在の位置との間の距離を計算することもできる。同様に、検索システムは、個々の検索結果とモバイル装置が向いている現在の方向との間のオフセット値を計算することができる。このオフセット値は、方向線からの角度的なオフセット値、直線的なオフセット値、又はその他のオフセット値であってもよい。
動作410において、距離情報及び最終結果がモバイル装置に提供され、これをモバイル装置が表示する。モバイル装置は、検索結果を単純なリストの形で又はグラフィックで表示することができる。例えば、モバイル装置は、モバイル装置の現在の位置からの距離に基づく順番でリストを表示することができる。個々の検索結果の隣に距離を明記することができる。同様に、モバイル装置は、個々の検索結果の隣にオフセット値を示すこともできる。検索結果は、情報の種類を示すアイコン又はその他のグラフィックを含むことができる。例えば、別のユーザを特定する検索結果をアバターで示すことができる。ガソリンスタンドを特定する検索結果を燃料記号で示すこともできる。同様に、カラー、フォント、又はその他のインジケータを使用して検索結果を区別することができる。
別の実施形態では、モバイル装置が、検索結果をグラフィック表示の上に重ねる。例えば、モバイル装置は、表示された3Dベクトルマップ上にアイコン、文字、又はその他の検索結果情報を重ねることができる。ユーザが選択したタブ、入力したキーワード、予め定めた優先順位、存在パラメータ、過去の行動、集約行動、又はその他のフィルタに基づいて検索結果の部分を表示することができる。検索結果によっては、現在のモバイル装置の表示分野に該当せず、ビューが変更されるか又はモバイル装置がこの検索結果の対応する物理的方向に向くまで表示されないものもあり得る。或いは、モバイル装置が動き回るにつれて実際の検索結果を動的に更新することができる。
1つの実施形態では、結果が、単純にモバイル装置のカメラからのファインダ入力である3D透視図で表示される。別の実施形態では、検索結果が、固定したように見える3D透視マップ上に重ねられることにより、表示が、モバイル装置が動くにつれてベクトルマップ全体をパンしたように見えるようになる。1つの実施形態では、半透明の3D透視マップの背景画像の上位に通りなどの要素の輪郭が描かれる。
モバイル装置の現在の場所のすぐ周辺にあるものの現在の視界の中にはない、又は限界距離を越えている検索結果については、モバイル装置を動かしながら素早く描画できるようにキャッシュすることができる。これに加えて、或いはこれとは別に、装置を一定の方向に静止したままにした場合、装置の現在の場所からますます遠くのますます多くの検索結果を表示するようにしてもよい。検索結果インジケータの相対的サイズにより距離を示して、物理的に近い結果及びそうでない結果の遠近感をより鮮明にすることもできる。結果のリストと同様に、グラフィック表示した結果の結果アイコンの隣に距離インジケータを含めることもできる。
さらなる実施形態では、「X線」検索結果を提供することができる。この実施形態では、建物及び地形を透視して、ある方向の障害物の後ろに存在するものを明らかにすることができる「X線」装置を有しているという感覚をユーザに与えることができる。例えば、結果を半透明に表示してもよいし、又は障害物を半透明に表示してもよい。レストラン、ガソリンスタンド、店舗、ユーザが作成したコンテンツ、又はその他の情報を表す対応するアイコン又はその他の結果インジケータを表示することができる。これは、情報のカテゴリ又は特定の文字列のような、ユーザが何を探しているかを自分ですでに大まかに分かっているときに特定のものを検索するのに有用である。
別の例では、ユーザが住所を入力した場合、検索システムは、特定された方向とは異なる方向を示す検索結果を提供することができる。この場合ユーザは、その住所の結果が(直接又は障害物を通じて)見えるようになるまで、モバイル装置を現在の位置を中心に円形などの形で動かすことができる。例えば、モバイル装置が入力した住所の方向へ動いた場合、赤色のドットを表示するようにしてもよい。この結果、ユーザは方向を発見し、所望の住所へ向けて進むことができるようになる。
同様に、さらに別の実施形態では、「オーバーレイ」及び「発見」機能を提供することができる。この実施形態は、物理的場所の上にデジタル的な又は仮想的なオーバーレイを重ねる感覚をユーザに与えることができ、ユーザが特に何も探さなくてもコンテンツを発見できるようにする。例えば、他のユーザが提供した場所にまつわる画像又はコメントなどの、ユーザが作成したコンテンツのようなものをモバイル装置のユーザの現在の場所の周囲に表示することができる。ユーザがモバイル装置の方向を動かすと、この場所にまつわる画像、コメント、又はその他のコンテンツが表示されるようにすることができる。これは、一般にコミュニティサービスに適用することができる。
任意の動作412において、モバイル装置は、ユーザがモバイル装置のズーム機能を起動させたことを検出することができる。モバイル装置は、視野に対する対応する変化を特定する。1つの実施形態では、視野の変化を、モバイル装置が向いている方向の距離範囲に対する拡張機能として単純に表すことができる。別の実施形態では、視野の変化を現在の位置のオフセット変化として表すことができる。奥行きを計算することにより、方向線からの角度的な又は直線的なオフセットの変化を特定することもできる。
任意の動作414において、視野の変化を反映するように検索結果の表示を更新することができる。或いは、新たな検索を要求し、検索結果を更新することができる。
上記明細書、用例、及びデータは、本発明の構成を作成して使用することについての完全な説明を提供するものである。例えば、検索結果に音声出力装置を与えて、ドライブ中又は法的に失明しているユーザにとって有用なものとすることができる。別の実施形態では、ウェブカメラなどの可動式イメージング装置をコンピュータ装置に結合して、可動式イメージング装置のみが位置及び/又は方向を変えるようにしてもよい。本発明の思想及び範囲から逸脱することなく本発明の多くの実施形態を作成できるので、本発明は以下に添付する特許請求の範囲の中に存在する。
100 システム
102 クライアント装置
103 クライアント装置
104 クライアント装置
105 ネットワーク
106 サーバ
102 クライアント装置
103 クライアント装置
104 クライアント装置
105 ネットワーク
106 サーバ
Claims (20)
- コンテンツを特定する方法であって、
モバイル装置の最初の地理的位置を特定するステップと、
前記モバイル装置のイメージング構成要素が向けられた最初の方向を特定するステップと、
前記モバイル装置の前記イメージング構成要素が新たな方向に向けられる方向の変化を、前記モバイル装置の前記イメージング構成要素を少なくとも部分的に使用することにより特定するステップと、
前記新たな方向に関連する、及び前記最初の地理的位置の予め定めた範囲内にあるコンテンツの位置に関連するコンテンツを特定するステップと、
前記特定されたコンテンツを出力構成要素に提供し、該出力構成要素が、前記最初の地理的位置から前記コンテンツの位置までの距離を示すとともに前記新たな方向に関するコンテンツの場所を示すコンテンツ場所インジケータと併せて前記コンテンツを出力するステップと、
を含むことを特徴とする方法。 - 方向の変化を特定するステップが、
前記モバイル装置の前記イメージング構成要素を使用して複数の画像を取り込むステップと、
前記複数の画像の各々を解析して、前記複数の画像の各々における実質的に同じ画像パターンを特定するステップと、
前記複数の画像のうちの最初の画像の最初の画像パターンと、前記複数の画像のうちの最後の画像の最後の画像パターンとの間の変化を特定するステップと、
前記変化に基づいて前記新たな方向を特定するステップと、
を含むことを特徴とする請求項1に記載の方法。 - 前記最初の方向を特定するステップが、
前記モバイル装置の前記イメージング構成要素が既知の方向に向けられたことを検出するステップと、
既知の地理的場所における既知の物体のパターンを前記モバイル装置上に表示し、前記モバイル装置が動いたことにより、前記パターンが前記モバイル装置の前記イメージング構成要素からのカメラ入力に重なるようになることを検出するステップと、
前記モバイル装置の前記イメージング構成要素が、前記モバイル装置の検出された直線的な動きの方向に向けられたことを検出するステップと、
前記モバイル装置が太陽の方に向けられたことを検出し、前記最初の地理的位置、現在の日付、及び現在の時刻に基づいて前記新たな方向を特定するステップと、
コンパスを読み取るステップと、
のうちの1つを含むことを特徴とする請求項1に記載の方法。 - 前記コンテンツを特定するステップが、
前記最初の地理的位置及び前記新たな方向を含む検索要求をネットワークを介して遠隔検索システムへ送信するステップと、
前記特定されたコンテンツを含む検索結果を前記遠隔検索システムからネットワークを介して受け取るステップと、
を含むことを特徴とする請求項1に記載の方法。 - 前記コンテンツを特定するステップが、
前記モバイル装置のユーザ入力構成要素を介して検索パラメータを受け取るステップと、
前記検索パラメータ、前記最初の地理的位置、及び前記新たな方向に基づいてコンテンツデータベースを検索するステップと、
を含むことを特徴とする請求項1に記載の方法。 - 前記モバイル装置に関連するユーザプロファイル情報と、
複数のユーザによる少なくとも1つのネットワークリソースとのやりとりに関する集約情報と、
の少なくとも一方に基づいて前記コンテンツをフィルタにかけるステップをさらに含む、
ことを特徴とする請求項1に記載の方法。 - 前記特定されたコンテンツを前記出力構成要素に提供するステップが、
前記特定されたコンテンツを表示マップ上に重ねるステップと、
前記特定されたコンテンツをカメラ入力上に重ねるステップと、
のうちの一方を含むことを特徴とする請求項1に記載の方法。 - 前記特定されたコンテンツを前記出力構成要素に提供するステップが、
前記モバイル装置の前記イメージング構成要素のさらなる方向的な動きを検出するステップと、
前記イメージング構成要素が前記特定されたコンテンツを指す方向へ動いた場合、前記特定されたコンテンツが前記イメージング構成要素の視野内に存在することを示すステップと、
を含むことを特徴とする請求項1に記載の方法。 - 前記イメージング構成要素のズーム動作を検出するステップと、
前記ズーム動作に基づいてズーム範囲を決定するステップと、
前記ズーム範囲内の代替のコンテンツ位置に関連する代替のコンテンツを、前記最初の地理的位置に関して及び前記新たな方向に関して特定するステップと、
を含むことを特徴とする請求項1に記載の方法。 - 前記特定されたコンテンツが、別のモバイル装置の場所情報を含む、
ことを特徴とする請求項1に記載の方法。 - 請求項1に記載のステップを含む複数の動作を電子機器に実行させる命令を保持する、
ことを特徴とする機械可読媒体。 - コンテンツを特定するためのシステムであって、
プロセッサと、
前記プロセッサと通信するイメージング構成要素と、
前記プロセッサと通信する出力構成要素と、
前記プロセッサと通信するユーザ入力インターフェイスと、
前記プロセッサと通信するとともに、データと、前記プロセッサに複数の動作を実行させる命令とを記憶するメモリと、
を備え、前記複数の動作が、
前記イメージング構成要素の最初の地理的位置を特定するステップと、
イメージング構成要素が向けられた最初の方向を特定するステップと、
前記イメージング構成要素が新たな方向に向けられる方向の変化を、前記イメージング構成要素を少なくとも部分的に使用することにより特定するステップと、
前記新たな方向に関連する、及び前記最初の地理的位置の予め定めた範囲内にあるコンテンツの位置に関連するコンテンツを特定するステップと、
前記特定されたコンテンツを前記出力構成要素に提供し、該出力構成要素が、前記最初の地理的位置から前記コンテンツの位置までの距離を示すとともに前記新たな方向に関するコンテンツの場所を示すコンテンツ場所インジケータと併せて前記コンテンツを出力するステップと、
を含むことを特徴とするシステム。 - 前記命令が、前記プロセッサに、
前記イメージング構成要素に複数の画像を取り込ませる動作と、
前記複数の画像の各々を解析して、前記複数の画像の各々における実質的に同じ画像パターンを特定する動作と、
前記複数の画像のうちの最初の画像の最初の画像パターンと、前記複数の画像のうちの最後の画像の最後の画像パターンとの間の変化を特定する動作と、
前記変化に基づいて前記新たな方向を特定する動作と、
をさらに実行させることを特徴とする請求項12に記載のシステム。 - 前記プロセッサと通信して前記最初の位置を特定する位置センサをさらに備える、
ことを特徴とする請求項12に記載のシステム。 - 前記プロセッサと通信するとともにネットワークと通信するネットワークインターフェイスをさらに備え、前記命令が、前記プロセッサに、
前記最初の地理的位置及び前記新たな方向を含む検索要求を前記ネットワークを介して遠隔検索システムへ送信する動作と、
前記特定されたコンテンツを含む検索結果を前記遠隔検索システムからネットワークを介して受け取る動作と、
をさらに実行させることを特徴とする請求項12に記載のシステム。 - 前記命令が、前記プロセッサに、
前記モバイル装置に関連するユーザプロファイル情報と、
複数のユーザによる少なくとも1つのネットワークリソースとのやりとりに関する集約情報と、
の少なくとも一方に基づいて前記コンテンツをフィルタにかける動作をさらに実行させる、
ことを特徴とする請求項12に記載のシステム。 - 前記命令が、前記プロセッサに、
前記特定されたコンテンツを表示マップ上に重ねる動作と、
前記特定されたコンテンツをカメラ入力上に重ねる動作と、
のうちの一方をさらに実行させることを特徴とする請求項12に記載のシステム。 - 前記システムがモバイル装置を含む、
ことを特徴とする請求項12に記載のシステム。 - 関心のある方向を特定する方法であって、
モバイル装置の最初の地理的位置を特定するステップと、
前記最初の地理的位置の予め定めた範囲内にあるコンテンツ位置に関連するコンテンツを特定するステップと、
前記モバイル装置が向けられた最初の方向を特定するステップと、
前記最初の地理的場所の前記予め定めた範囲内の前記最初の方向に関連するエリアの第1の部分を表示するステップと、
前記モバイル装置の前記イメージング構成要素が新たな方向に向けられる方向の変化を特定するステップと、
前記新たな方向が、前記コンテンツ位置が存在する前記エリアの第2の部分を指す場合、前記特定されたコンテンツを表示するステップと、
を含むことを特徴とする方法。 - 加速度計を使用して前記方向の変化を特定するステップと、
前記特定されたコンテンツを前記エリアの前記第2の部分の画像上に重ねるステップと、
のうちの少なくとも一方をさらに含むことを特徴とする請求項19に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/143,527 US8098894B2 (en) | 2008-06-20 | 2008-06-20 | Mobile imaging device as navigator |
US12/143,527 | 2008-06-20 | ||
PCT/US2009/044592 WO2009154927A2 (en) | 2008-06-20 | 2009-05-20 | Mobile imaging device as navigator |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014042643A Division JP5871976B2 (ja) | 2008-06-20 | 2014-03-05 | ナビゲータとしてのモバイルイメージング装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011527004A true JP2011527004A (ja) | 2011-10-20 |
Family
ID=41431340
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011514663A Pending JP2011527004A (ja) | 2008-06-20 | 2009-05-20 | ナビゲータとしてのモバイルイメージング装置 |
JP2014042643A Active JP5871976B2 (ja) | 2008-06-20 | 2014-03-05 | ナビゲータとしてのモバイルイメージング装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014042643A Active JP5871976B2 (ja) | 2008-06-20 | 2014-03-05 | ナビゲータとしてのモバイルイメージング装置 |
Country Status (6)
Country | Link |
---|---|
US (4) | US8098894B2 (ja) |
JP (2) | JP2011527004A (ja) |
KR (1) | KR101186025B1 (ja) |
CN (1) | CN102067164B (ja) |
TW (1) | TWI418763B (ja) |
WO (1) | WO2009154927A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013522938A (ja) * | 2010-02-24 | 2013-06-13 | ディジマーク コーポレイション | 直観的コンピューティング方法及びシステム |
JP2016524128A (ja) * | 2013-04-22 | 2016-08-12 | アルカテル−ルーセント | 位置特定システムおよび位置特定方法 |
US11049094B2 (en) | 2014-02-11 | 2021-06-29 | Digimarc Corporation | Methods and arrangements for device to device communication |
Families Citing this family (115)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8942483B2 (en) | 2009-09-14 | 2015-01-27 | Trimble Navigation Limited | Image-based georeferencing |
US8171237B2 (en) | 2006-10-31 | 2012-05-01 | Yahoo! Inc. | Automatic association of reference data with primary process data based on time and shared identifier |
US7728636B2 (en) * | 2007-08-14 | 2010-06-01 | Qimonda Ag | Clock signal synchronizing device with inherent duty-cycle correction capability |
JP5564946B2 (ja) * | 2007-09-20 | 2014-08-06 | 日本電気株式会社 | 映像提供システム、および映像提供方法 |
US10936650B2 (en) | 2008-03-05 | 2021-03-02 | Ebay Inc. | Method and apparatus for image recognition services |
US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
JP4999734B2 (ja) * | 2008-03-07 | 2012-08-15 | 株式会社日立製作所 | 環境地図生成装置、方法及びプログラム |
US8406531B2 (en) | 2008-05-15 | 2013-03-26 | Yahoo! Inc. | Data access based on content of image recorded by a mobile device |
US9753948B2 (en) | 2008-05-27 | 2017-09-05 | Match.Com, L.L.C. | Face search in personals |
US20090315766A1 (en) | 2008-06-19 | 2009-12-24 | Microsoft Corporation | Source switching for devices supporting dynamic direction information |
US8467991B2 (en) | 2008-06-20 | 2013-06-18 | Microsoft Corporation | Data services based on gesture and location information of device |
US8098894B2 (en) | 2008-06-20 | 2012-01-17 | Yahoo! Inc. | Mobile imaging device as navigator |
US8363618B2 (en) | 2008-08-29 | 2013-01-29 | Ciright Systems, Inc. | Content distribution platform |
US8294766B2 (en) * | 2009-01-28 | 2012-10-23 | Apple Inc. | Generating a three-dimensional model using a portable electronic device recording |
JP4816748B2 (ja) | 2009-03-06 | 2011-11-16 | ソニー株式会社 | ナビゲーション装置及びナビゲーション方法 |
US20100228612A1 (en) * | 2009-03-09 | 2010-09-09 | Microsoft Corporation | Device transaction model and services based on directional information of device |
US9024972B1 (en) * | 2009-04-01 | 2015-05-05 | Microsoft Technology Licensing, Llc | Augmented reality computing with inertial sensors |
KR101548273B1 (ko) * | 2009-04-08 | 2015-08-28 | 삼성전자주식회사 | 휴대용 단말기에서 웹 검색 속도를 향상시키기 위한 장치 및 방법 |
EP2244242A1 (en) * | 2009-04-23 | 2010-10-27 | Wayfinder Systems AB | Method and device for improved navigation |
US20100299134A1 (en) * | 2009-05-22 | 2010-11-25 | Microsoft Corporation | Contextual commentary of textual images |
US8792903B2 (en) * | 2009-06-30 | 2014-07-29 | Qualcomm Incorporated | Trajectory-based location determination |
US9026131B2 (en) | 2009-07-21 | 2015-05-05 | Modena Enterprises, Llc | Systems and methods for associating contextual information and a contact entry with a communication originating from a geographic location |
US8838080B2 (en) * | 2009-07-23 | 2014-09-16 | Qualcomm Incorporated | Methods and apparatus for context-based communications through visualization |
US8897541B2 (en) | 2009-09-14 | 2014-11-25 | Trimble Navigation Limited | Accurate digitization of a georeferenced image |
US9852156B2 (en) * | 2009-12-03 | 2017-12-26 | Google Inc. | Hybrid use of location sensor data and visual query to return local listings for visual query |
CN102098350A (zh) * | 2009-12-15 | 2011-06-15 | 鸿富锦精密工业(深圳)有限公司 | 信息下载服务器及便携式电子装置和信息获取方法 |
US9222798B2 (en) | 2009-12-22 | 2015-12-29 | Modena Enterprises, Llc | Systems and methods for identifying an activity of a user based on a chronological order of detected movements of a computing device |
US9215735B2 (en) | 2010-03-03 | 2015-12-15 | Modena Enterprises, Llc | Systems and methods for initiating communications with contacts based on a communication specification |
US9098905B2 (en) | 2010-03-12 | 2015-08-04 | Google Inc. | System and method for determining position of a device |
US9204040B2 (en) | 2010-05-21 | 2015-12-01 | Qualcomm Incorporated | Online creation of panoramic augmented reality annotations on mobile platforms |
US8933986B2 (en) | 2010-05-28 | 2015-01-13 | Qualcomm Incorporated | North centered orientation tracking in uninformed environments |
US20130103306A1 (en) * | 2010-06-15 | 2013-04-25 | Navitime Japan Co., Ltd. | Navigation system, terminal apparatus, navigation server, navigation apparatus, navigation method, and computer program product |
WO2011158352A1 (ja) * | 2010-06-16 | 2011-12-22 | 株式会社ナビタイムジャパン | ナビゲーションシステム、端末装置、ナビゲーションサーバ、ナビゲーション装置、ナビゲーション方法、および、プログラム |
KR101606727B1 (ko) * | 2010-06-25 | 2016-03-28 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 방법 |
JP5672814B2 (ja) * | 2010-07-22 | 2015-02-18 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US9069760B2 (en) * | 2010-08-24 | 2015-06-30 | Lg Electronics Inc. | Mobile terminal and controlling method thereof |
US8812014B2 (en) * | 2010-08-30 | 2014-08-19 | Qualcomm Incorporated | Audio-based environment awareness |
US8611594B2 (en) | 2010-09-10 | 2013-12-17 | Apple Inc. | Dynamic display of virtual content on several devices using reference tags |
US8593535B2 (en) | 2010-09-10 | 2013-11-26 | Apple Inc. | Relative positioning of devices based on captured images of tags |
KR101078769B1 (ko) * | 2010-11-08 | 2011-11-02 | 최승열 | 위치 기반 에이브이 휴대용 조명장치 및 동영상 관련 지도 표시방법 |
KR101266198B1 (ko) * | 2010-10-19 | 2013-05-21 | 주식회사 팬택 | 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법 |
US9408342B2 (en) | 2010-10-25 | 2016-08-09 | Trimble Navigation Limited | Crop treatment compatibility |
US9058633B2 (en) | 2010-10-25 | 2015-06-16 | Trimble Navigation Limited | Wide-area agricultural monitoring and prediction |
US8855937B2 (en) | 2010-10-25 | 2014-10-07 | Trimble Navigation Limited | Crop characteristic estimation |
US9846848B2 (en) | 2010-10-25 | 2017-12-19 | Trimble Inc. | Exchanging water allocation credits |
US8660369B2 (en) * | 2010-10-25 | 2014-02-25 | Disney Enterprises, Inc. | Systems and methods using mobile devices for augmented reality |
US10115158B2 (en) | 2010-10-25 | 2018-10-30 | Trimble Inc. | Generating a crop recommendation |
US9213905B2 (en) * | 2010-10-25 | 2015-12-15 | Trimble Navigation Limited | Automatic obstacle location mapping |
TWI419063B (zh) | 2010-11-19 | 2013-12-11 | Inventec Corp | 照相式行動通訊裝置及其閃光燈控制方法 |
US9134137B2 (en) | 2010-12-17 | 2015-09-15 | Microsoft Technology Licensing, Llc | Mobile search based on predicted location |
US20120221552A1 (en) * | 2011-02-28 | 2012-08-30 | Nokia Corporation | Method and apparatus for providing an active search user interface element |
US8868443B2 (en) * | 2011-03-17 | 2014-10-21 | Ebay Inc. | Targeted incentive actions based on location and intent |
EP3996029B1 (en) * | 2011-04-12 | 2024-04-10 | Google LLC | Integrating maps and street views |
US8860787B1 (en) | 2011-05-11 | 2014-10-14 | Google Inc. | Method and apparatus for telepresence sharing |
US8332424B2 (en) * | 2011-05-13 | 2012-12-11 | Google Inc. | Method and apparatus for enabling virtual tags |
US8442500B2 (en) * | 2011-06-21 | 2013-05-14 | Qualcomm Incorporated | Relevant content delivery |
US20130006953A1 (en) * | 2011-06-29 | 2013-01-03 | Microsoft Corporation | Spatially organized image collections on mobile devices |
US9031948B1 (en) | 2011-07-06 | 2015-05-12 | Shawn B. Smith | Vehicle prediction and association tool based on license plate recognition |
US8768009B1 (en) | 2011-07-26 | 2014-07-01 | Shawn B. Smith | Locating persons of interest based on license plate recognition information |
US9779450B2 (en) | 2011-12-13 | 2017-10-03 | Ebay Inc. | Mobile application to conduct an auction based on physical presence |
US9189852B2 (en) * | 2012-02-02 | 2015-11-17 | Google Inc. | Method for manually aligning two digital images on mobile devices |
JP2013161416A (ja) | 2012-02-08 | 2013-08-19 | Sony Corp | サーバ、クライアント端末、システム、およびプログラム |
US8837802B2 (en) * | 2012-03-12 | 2014-09-16 | National Chung Cheng University | Image analysis system and method for determining cancerous cells |
US8862764B1 (en) | 2012-03-16 | 2014-10-14 | Google Inc. | Method and Apparatus for providing Media Information to Mobile Devices |
US20130271488A1 (en) * | 2012-04-12 | 2013-10-17 | Nokia Corporation | Method and apparatus for filtering and transmitting virtual objects |
JP5668015B2 (ja) * | 2012-04-25 | 2015-02-12 | 株式会社Nttドコモ | 端末装置、情報表示システム、プログラム |
KR101329111B1 (ko) * | 2012-05-02 | 2013-11-14 | 한국과학기술연구원 | 실내 네비게이션 시스템 및 방법 |
US9261368B2 (en) * | 2012-06-20 | 2016-02-16 | Here Global B.V. | Method and apparatus for using a device flashlight as feedback for guidance purposes |
US10846766B2 (en) | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
TWI471528B (zh) * | 2012-08-15 | 2015-02-01 | E Lead Electronic Co Ltd | 目的地規劃方法 |
US9116546B2 (en) * | 2012-08-29 | 2015-08-25 | Immersion Corporation | System for haptically representing sensor input |
US9288374B1 (en) * | 2012-09-10 | 2016-03-15 | Amazon Technologies, Inc. | Systems and methods for updating camera characteristics using a remote computing device |
US9288387B1 (en) * | 2012-09-11 | 2016-03-15 | Amazon Technologies, Inc. | Content display controls based on environmental factors |
US9466144B2 (en) * | 2012-11-02 | 2016-10-11 | Trimble Navigation Limited | 3D mapping of a surveyed environment |
US20140156704A1 (en) | 2012-12-05 | 2014-06-05 | Google Inc. | Predictively presenting search capabilities |
US9330471B2 (en) * | 2013-02-14 | 2016-05-03 | Qualcomm Incorporated | Camera aided motion direction and speed estimation |
US11670046B2 (en) | 2013-07-23 | 2023-06-06 | Hover Inc. | 3D building analyzer |
US10861224B2 (en) | 2013-07-23 | 2020-12-08 | Hover Inc. | 3D building analyzer |
US10904700B2 (en) * | 2013-09-18 | 2021-01-26 | D2L Corporation | Common platform for personalized/branded applications |
US10397653B2 (en) | 2013-10-04 | 2019-08-27 | Samsung Electronics Co., Ltd. | Content control system with filtering mechanism and method of operation thereof |
US9870357B2 (en) * | 2013-10-28 | 2018-01-16 | Microsoft Technology Licensing, Llc | Techniques for translating text via wearable computing device |
US9247386B2 (en) | 2013-12-18 | 2016-01-26 | International Business Machines Corporation | Location-based mobile application and service selection |
US9473745B2 (en) * | 2014-01-30 | 2016-10-18 | Google Inc. | System and method for providing live imagery associated with map locations |
KR102238775B1 (ko) * | 2014-02-10 | 2021-04-09 | 삼성전자주식회사 | 전자 장치에서 증강 현실을 이용한 장비 관리 장치 및 방법 |
US11959749B2 (en) * | 2014-06-20 | 2024-04-16 | Profound Positioning Inc. | Mobile mapping system |
KR102340251B1 (ko) * | 2014-06-27 | 2021-12-16 | 삼성전자주식회사 | 데이터 관리 방법 및 그 방법을 처리하는 전자 장치 |
EP3183712B1 (en) * | 2014-08-18 | 2020-07-22 | Google LLC | Determining compass orientation of imagery |
CN104158885B (zh) * | 2014-08-21 | 2017-06-27 | 中南大学 | 一种基于位置信息流式加载应用的方法和*** |
US9582915B2 (en) | 2014-12-19 | 2017-02-28 | Here Global B.V. | Method, apparatus and computer program product for improved visualization of geo-located features |
US10757216B1 (en) | 2015-02-20 | 2020-08-25 | Amazon Technologies, Inc. | Group profiles for group item recommendations |
US11363460B1 (en) | 2015-03-03 | 2022-06-14 | Amazon Technologies, Inc. | Device-based identification for automated user detection |
US9706356B2 (en) | 2015-03-25 | 2017-07-11 | Htc Corporation | Positioning system and method |
US10028426B2 (en) | 2015-04-17 | 2018-07-24 | 360 Yield Center, Llc | Agronomic systems, methods and apparatuses |
US10291813B2 (en) | 2015-04-23 | 2019-05-14 | Google Llc | Sheet generator for image processor |
FR3035718B1 (fr) * | 2015-04-28 | 2017-05-26 | Centre Nat Detudes Spatiales Cnes | Procede de controle d'un dispositif de calcul via un element mobile et systeme de controle mettant en oeuvre ce procede |
US9530197B2 (en) * | 2015-04-30 | 2016-12-27 | Microsoft Technology Licensing, Llc | Digital signage for immersive views |
CN104915393A (zh) * | 2015-05-26 | 2015-09-16 | 百度在线网络技术(北京)有限公司 | 一种用于方向定向搜索的方法与设备 |
CN105163157B (zh) * | 2015-06-30 | 2018-08-03 | 北京奇艺世纪科技有限公司 | 一种弹幕内容的显示方法和装置 |
CN105045836B (zh) * | 2015-06-30 | 2019-03-15 | 百度在线网络技术(北京)有限公司 | 一种目标物信息的检索方法及装置 |
US9646433B1 (en) * | 2015-09-23 | 2017-05-09 | State Farm Mutual Automobile Insurance Company | Systems and methods for using image data to generate vehicle operation logs |
CN105426972A (zh) * | 2015-10-28 | 2016-03-23 | 上海同筑信息科技有限公司 | 基于bim的工程项目智能运维管理方法及*** |
US10012509B2 (en) * | 2015-11-12 | 2018-07-03 | Blackberry Limited | Utilizing camera to assist with indoor pedestrian navigation |
US20170161958A1 (en) * | 2015-12-02 | 2017-06-08 | Superb Reality Ltd. | Systems and methods for object-based augmented reality navigation guidance |
EP3876457A1 (en) * | 2016-03-25 | 2021-09-08 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for transmitting feedback information |
US11829927B2 (en) | 2016-05-04 | 2023-11-28 | United Parcel Service Of America, Inc. | Remote initiation of interaction by a computing entity |
US9905100B2 (en) * | 2016-05-04 | 2018-02-27 | United Parcel Service Of America, Inc. | Remote initiation of interaction by a computing entity |
US11321951B1 (en) | 2017-01-19 | 2022-05-03 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for integrating vehicle operator gesture detection within geographic maps |
US20190007672A1 (en) | 2017-06-30 | 2019-01-03 | Bobby Gene Burrough | Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections |
US10552680B2 (en) * | 2017-08-08 | 2020-02-04 | Here Global B.V. | Method, apparatus and computer program product for disambiguation of points of-interest in a field of view |
US11276025B2 (en) | 2017-10-24 | 2022-03-15 | United Parcel Service Of America, Inc. | Automated occupant tracking systems and methods |
WO2020028843A1 (en) | 2018-08-02 | 2020-02-06 | Lutron Technology Company Llc | Camera-based commissioning and control of devices in a load control system |
CN109141442B (zh) * | 2018-09-07 | 2022-05-17 | 高子庆 | 基于uwb定位与图像特征匹配的导航方法和移动终端 |
WO2021081054A1 (en) * | 2019-10-22 | 2021-04-29 | Tyler Jonathan A | Device, system, and method for determining a location of a vehicle |
JPWO2022065217A1 (ja) * | 2020-09-23 | 2022-03-31 | ||
WO2024015051A1 (en) * | 2022-07-13 | 2024-01-18 | Google Llc | Immmersive digital map navigation using one hand |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003319388A (ja) * | 2003-04-04 | 2003-11-07 | Canon Inc | 画像処理方法及び装置 |
JP2005134352A (ja) * | 2003-10-31 | 2005-05-26 | Sony Corp | ナビゲーション装置 |
JP2005202397A (ja) * | 2005-01-11 | 2005-07-28 | Hitachi Ltd | 端末装置 |
JP2006023193A (ja) * | 2004-07-08 | 2006-01-26 | Denso Corp | ナビゲーション装置およびプログラム |
JP2006059136A (ja) * | 2004-08-20 | 2006-03-02 | Seiko Epson Corp | ビューア装置及びそのプログラム |
WO2006043319A1 (ja) * | 2004-10-20 | 2006-04-27 | Fujitsu Limited | 端末及びサーバ |
Family Cites Families (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5164992A (en) | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
WO1996029674A1 (en) | 1995-03-20 | 1996-09-26 | Lau Technologies | Systems and methods for identifying images |
US5978773A (en) | 1995-06-20 | 1999-11-02 | Neomedia Technologies, Inc. | System and method for using an ordinary article of commerce to access a remote computer |
EP0814611B1 (de) | 1996-06-17 | 2002-08-28 | Siemens Aktiengesellschaft | Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder |
JP3893647B2 (ja) * | 1996-09-30 | 2007-03-14 | マツダ株式会社 | ナビゲーション装置 |
US5938721A (en) * | 1996-10-24 | 1999-08-17 | Trimble Navigation Limited | Position based personal digital assistant |
JP2002515149A (ja) | 1996-11-08 | 2002-05-21 | ネオメディア テクノロジーズ,インク. | 印刷文書の機械可読コードによる電子情報の自動アクセス |
US6044168A (en) | 1996-11-25 | 2000-03-28 | Texas Instruments Incorporated | Model based faced coding and decoding using feature detection and eigenface coding |
US6983478B1 (en) | 2000-02-01 | 2006-01-03 | Bellsouth Intellectual Property Corporation | Method and system for tracking network use |
CA2286707C (en) | 1997-05-09 | 2006-06-06 | Neomedia Technologies, Inc. | Method and system for accessing electronic resources via machine-readable data on intelligent documents |
US6091957A (en) * | 1997-06-12 | 2000-07-18 | Northern Telecom Limited | System and method for providing a geographic location of a mobile telecommunications unit |
JP2001521250A (ja) | 1997-10-27 | 2001-11-06 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 情報の検索および検索システム |
ES2296609T3 (es) | 1999-02-01 | 2008-05-01 | Neomedia Technologies, Inc. | Sistema interactivo para buscar productos en una red. |
US6651053B1 (en) | 1999-02-01 | 2003-11-18 | Barpoint.Com, Inc. | Interactive system for investigating products on a network |
EP1183613A4 (en) | 1999-04-05 | 2006-06-21 | Neomedia Tech Inc | SYSTEM AND METHOD FOR USING MACHINE-LIKE OR MACHINE-READABLE LINK CODES TO ACCESS NETWORK DATA RESOURCES |
US20020072815A1 (en) * | 2000-01-21 | 2002-06-13 | Mcdonough William A. | Portable information system and method for golf play enhancement, analysis, and scorekeeping |
CA2298194A1 (en) | 2000-02-07 | 2001-08-07 | Profilium Inc. | Method and system for delivering and targeting advertisements over wireless networks |
US6766363B1 (en) | 2000-02-28 | 2004-07-20 | Barpoint.Com, Inc. | System and method of linking items in audio, visual, and printed media to related information stored on an electronic network using a mobile device |
US6675165B1 (en) | 2000-02-28 | 2004-01-06 | Barpoint.Com, Inc. | Method for linking a billboard or signage to information on a global computer network through manual information input or a global positioning system |
US6385541B1 (en) * | 2000-02-29 | 2002-05-07 | Brad Wayne Blumberg | Global positioning-based real estate database access device and method |
US6865608B2 (en) | 2000-03-31 | 2005-03-08 | Neomedia Technologies, Inc. | Method and system for simplified access to internet content on a wireless device |
US6882313B1 (en) * | 2000-06-21 | 2005-04-19 | At Road, Inc. | Dual platform location-relevant service |
JP2002007432A (ja) | 2000-06-23 | 2002-01-11 | Ntt Docomo Inc | 情報検索システム |
JP2002183742A (ja) | 2000-12-18 | 2002-06-28 | Yamaha Motor Co Ltd | 旅の電子アルバム作成方法および装置並びに電子アルバム作成用モバイルツール |
JP2002183186A (ja) | 2000-12-18 | 2002-06-28 | Yamaha Motor Co Ltd | モバイル機を用いた情報交換システム |
GB2370709A (en) * | 2000-12-28 | 2002-07-03 | Nokia Mobile Phones Ltd | Displaying an image and associated visual effect |
US20020147029A1 (en) | 2001-04-09 | 2002-10-10 | Chung-Wei Wu | Mobile phone |
US7535492B2 (en) | 2002-07-02 | 2009-05-19 | Lightsurf Technologies, Inc. | Imaging system providing automated fulfillment of image photofinishing based on location |
US7133555B2 (en) | 2002-08-02 | 2006-11-07 | Intel Corporation | Image color matching scheme |
US7180622B2 (en) | 2002-11-25 | 2007-02-20 | Eastman Kodak Company | Method and system for automatically forwarding an image product |
KR100703444B1 (ko) * | 2003-06-03 | 2007-04-03 | 삼성전자주식회사 | 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법 |
GB2402536B (en) | 2003-06-05 | 2008-04-02 | Canon Kk | Image processing |
WO2005001628A2 (en) | 2003-06-06 | 2005-01-06 | Neomedia Technologies, Inc. | Automatic access of internet content with a camera-enabled cell phone |
US6911957B2 (en) * | 2003-07-16 | 2005-06-28 | Harris Corporation | Dynamically variable frequency selective surface |
KR100533033B1 (ko) | 2003-07-28 | 2005-12-02 | 엘지전자 주식회사 | 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법 |
US7627152B2 (en) | 2003-11-26 | 2009-12-01 | Ge Medical Systems Information Technologies, Inc. | Image-based indicia obfuscation system and method |
US7872669B2 (en) | 2004-01-22 | 2011-01-18 | Massachusetts Institute Of Technology | Photo-based mobile deixis system and related techniques |
JP3959393B2 (ja) * | 2004-01-29 | 2007-08-15 | ソフトバンクモバイル株式会社 | 移動体通信端末 |
KR100651508B1 (ko) | 2004-01-30 | 2006-11-29 | 삼성전자주식회사 | 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템 |
US8421872B2 (en) | 2004-02-20 | 2013-04-16 | Google Inc. | Image base inquiry system for search engines for mobile telephones with integrated camera |
US7751805B2 (en) | 2004-02-20 | 2010-07-06 | Google Inc. | Mobile image-based information retrieval system |
US20070159522A1 (en) | 2004-02-20 | 2007-07-12 | Harmut Neven | Image-based contextual advertisement method and branded barcodes |
US7565139B2 (en) | 2004-02-20 | 2009-07-21 | Google Inc. | Image-based search engine for mobile phones with camera |
GB0405267D0 (en) * | 2004-03-09 | 2004-04-21 | Trigen Ltd | Compounds |
WO2005119591A1 (ja) * | 2004-06-04 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | 表示制御方法および装置、プログラム、並びに携帯機器 |
EP1762822A4 (en) | 2004-06-29 | 2011-06-29 | Sony Corp | INFORMATION PROCESSING DEVICE AND METHOD, PROGRAM AND INFORMATION PROCESSING SYSTEM |
JP4074275B2 (ja) | 2004-08-09 | 2008-04-09 | 宏三 大塩 | 紫外線施療具 |
US7349910B2 (en) | 2004-08-20 | 2008-03-25 | International Business Machines Corporation | Method for inserting records into a database |
JP2006105640A (ja) * | 2004-10-01 | 2006-04-20 | Hitachi Ltd | ナビゲーション装置 |
JP4632793B2 (ja) | 2005-01-12 | 2011-02-16 | 京セラ株式会社 | ナビゲーション機能付き携帯型端末機 |
JP2006201944A (ja) * | 2005-01-19 | 2006-08-03 | Doshisha | 情報処理システム |
US20060164382A1 (en) * | 2005-01-25 | 2006-07-27 | Technology Licensing Company, Inc. | Image manipulation in response to a movement of a display |
US20060242565A1 (en) * | 2005-04-20 | 2006-10-26 | Nokia Corporation | System and method for handling absolute positioning in a small screen optimized layout |
KR100734678B1 (ko) | 2005-06-14 | 2007-07-02 | 엘지전자 주식회사 | 건물정보 표시방법 |
US7728869B2 (en) | 2005-06-14 | 2010-06-01 | Lg Electronics Inc. | Matching camera-photographed image with map data in portable terminal and travel route guidance method |
KR100668969B1 (ko) | 2005-06-23 | 2007-01-12 | 엘지전자 주식회사 | 카메라 영상을 통한 길안내 방법 |
KR100674805B1 (ko) | 2005-06-14 | 2007-01-29 | 엘지전자 주식회사 | 카메라 영상과 지도 데이터 간에 건물 매칭 방법 |
US7523132B2 (en) | 2006-02-06 | 2009-04-21 | Itaggit, Inc. | Data tag creation from a physical item data record to be attached to a physical item |
JP4228082B2 (ja) * | 2006-03-14 | 2009-02-25 | 国立大学法人 千葉大学 | カメラの姿勢変化の検知方法及びその装置 |
US8036428B2 (en) * | 2006-04-28 | 2011-10-11 | Pixart Imaging Inc. | Method and apparatus for detecting motion of image in optical navigator |
EP2254063A3 (en) | 2006-09-28 | 2011-04-27 | SFGT Inc. | Apparatuses, methods, and systems for code triggered information querying and serving |
US7620026B2 (en) * | 2006-10-12 | 2009-11-17 | At&T Intellectual Property I, L.P. | Methods, systems, and computer program products for providing advertising and/or information services over mobile ad hoc cooperative networks using electronic billboards and related devices |
US8171237B2 (en) | 2006-10-31 | 2012-05-01 | Yahoo! Inc. | Automatic association of reference data with primary process data based on time and shared identifier |
EP2090867A4 (en) | 2006-12-05 | 2012-03-21 | Navitime Japan Co Ltd | NAVIGATION SYSTEM, PORTABLE TERMINAL DEVICE, AND PERIPHERAL IMAGE DISPLAY METHOD |
US20080147730A1 (en) * | 2006-12-18 | 2008-06-19 | Motorola, Inc. | Method and system for providing location-specific image information |
US20100309226A1 (en) | 2007-05-08 | 2010-12-09 | Eidgenossische Technische Hochschule Zurich | Method and system for image-based information retrieval |
US20090083232A1 (en) | 2007-09-24 | 2009-03-26 | Taptu Ltd. | Search results with search query suggestions |
US8406531B2 (en) | 2008-05-15 | 2013-03-26 | Yahoo! Inc. | Data access based on content of image recorded by a mobile device |
US9753948B2 (en) | 2008-05-27 | 2017-09-05 | Match.Com, L.L.C. | Face search in personals |
US8724909B2 (en) | 2008-06-03 | 2014-05-13 | Kooaba Ag | Method and system for generating a pictorial reference database using geographical information |
US8098894B2 (en) | 2008-06-20 | 2012-01-17 | Yahoo! Inc. | Mobile imaging device as navigator |
-
2008
- 2008-06-20 US US12/143,527 patent/US8098894B2/en active Active
-
2009
- 2009-05-20 KR KR1020117001509A patent/KR101186025B1/ko active IP Right Grant
- 2009-05-20 CN CN2009801233218A patent/CN102067164B/zh active Active
- 2009-05-20 JP JP2011514663A patent/JP2011527004A/ja active Pending
- 2009-05-20 WO PCT/US2009/044592 patent/WO2009154927A2/en active Application Filing
- 2009-06-01 TW TW098117952A patent/TWI418763B/zh not_active IP Right Cessation
-
2011
- 2011-10-03 US US13/252,003 patent/US8478000B2/en active Active
-
2012
- 2012-08-08 US US13/570,070 patent/US8798323B2/en active Active
-
2013
- 2013-02-11 US US13/764,172 patent/US8897498B2/en active Active
-
2014
- 2014-03-05 JP JP2014042643A patent/JP5871976B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003319388A (ja) * | 2003-04-04 | 2003-11-07 | Canon Inc | 画像処理方法及び装置 |
JP2005134352A (ja) * | 2003-10-31 | 2005-05-26 | Sony Corp | ナビゲーション装置 |
JP2006023193A (ja) * | 2004-07-08 | 2006-01-26 | Denso Corp | ナビゲーション装置およびプログラム |
JP2006059136A (ja) * | 2004-08-20 | 2006-03-02 | Seiko Epson Corp | ビューア装置及びそのプログラム |
WO2006043319A1 (ja) * | 2004-10-20 | 2006-04-27 | Fujitsu Limited | 端末及びサーバ |
JP2005202397A (ja) * | 2005-01-11 | 2005-07-28 | Hitachi Ltd | 端末装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013522938A (ja) * | 2010-02-24 | 2013-06-13 | ディジマーク コーポレイション | 直観的コンピューティング方法及びシステム |
JP2016524128A (ja) * | 2013-04-22 | 2016-08-12 | アルカテル−ルーセント | 位置特定システムおよび位置特定方法 |
US11049094B2 (en) | 2014-02-11 | 2021-06-29 | Digimarc Corporation | Methods and arrangements for device to device communication |
Also Published As
Publication number | Publication date |
---|---|
WO2009154927A2 (en) | 2009-12-23 |
KR20110022067A (ko) | 2011-03-04 |
TW201013158A (en) | 2010-04-01 |
US20090316951A1 (en) | 2009-12-24 |
US20120299960A1 (en) | 2012-11-29 |
US8798323B2 (en) | 2014-08-05 |
CN102067164B (zh) | 2013-01-09 |
US20130144905A1 (en) | 2013-06-06 |
US20120020522A1 (en) | 2012-01-26 |
JP2014160471A (ja) | 2014-09-04 |
TWI418763B (zh) | 2013-12-11 |
US8478000B2 (en) | 2013-07-02 |
KR101186025B1 (ko) | 2012-09-27 |
CN102067164A (zh) | 2011-05-18 |
WO2009154927A3 (en) | 2010-08-05 |
US8098894B2 (en) | 2012-01-17 |
JP5871976B2 (ja) | 2016-03-01 |
US8897498B2 (en) | 2014-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5871976B2 (ja) | ナビゲータとしてのモバイルイメージング装置 | |
US9858723B2 (en) | Augmented reality personalization | |
EP1987683B1 (en) | User-defined private maps | |
US9874454B2 (en) | Community-based data for mapping systems | |
EP2455713B1 (en) | Building directory aided navigation | |
US8339419B1 (en) | Systems and methods for collecting and providing map images | |
US8139514B2 (en) | Method and system for communicating with multiple users via a map over the internet | |
JP5334911B2 (ja) | 3次元地図画像生成プログラムおよび3次元地図画像生成システム | |
WO2012059627A1 (en) | Method and apparatus for annotating point of interest information | |
WO2011070228A1 (en) | Method and apparatus for presenting a first-person world view of content | |
WO2011144798A1 (en) | Method and apparatus for presenting location-based content | |
KR101568741B1 (ko) | 모바일 증강현실 기반의 정보 제공 시스템 | |
KR101497994B1 (ko) | 멀티미디어 지도서비스 시스템 및 이의 제공방법 | |
KR101854665B1 (ko) | 전자 기기, 서버, 사용자 컨텐츠 제공 방법 및 시스템 | |
KR102247897B1 (ko) | 전자 기기, 교통 관련 컨텐츠 제공 방법 및 시스템 | |
KR102188008B1 (ko) | 전자 기기, 교통 관련 컨텐츠 제공 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131105 |