JP2014524577A - 屋内測位のためのロゴ検出 - Google Patents

屋内測位のためのロゴ検出 Download PDF

Info

Publication number
JP2014524577A
JP2014524577A JP2014526077A JP2014526077A JP2014524577A JP 2014524577 A JP2014524577 A JP 2014524577A JP 2014526077 A JP2014526077 A JP 2014526077A JP 2014526077 A JP2014526077 A JP 2014526077A JP 2014524577 A JP2014524577 A JP 2014524577A
Authority
JP
Japan
Prior art keywords
mobile device
pois
location
brand
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014526077A
Other languages
English (en)
Other versions
JP5844463B2 (ja
Inventor
チャオ、フイ
フ、ナン
ダス、サウミトラ・モハン
グプタ、ラジャルシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014524577A publication Critical patent/JP2014524577A/ja
Application granted granted Critical
Publication of JP5844463B2 publication Critical patent/JP5844463B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

モバイルデバイスの中でまたはそれとともに使用するための屋内測位のためのロゴ検出に対する1つまたは複数の動作または技法を容易化または支援するために、全体的または部分的に利用され得る例示的な方法、装置、または製造品を、本明細で開示する。簡略に言えば、一実装形態によれば、方法は、モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を、モバイルデバイスにおいて抽出することと;抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数の関心地点に関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいてモバイルデバイスのロケーションを推定することとを含み得る。いくつかの例では、モバイルデバイスの推定ロケーションは、1つまたは複数の知られているロケーションの1つまたは複数のPOIの少なくとも1つの追加のPOIに少なくとも部分的に基づいて改良され得る。

Description

関連出願
本願は、参照によりその全体が本明細書に組み込まれる、2011年8月19日に出願した米国仮出願第61/525,704号、「Method and/or Apparatus for Position Estimation」、および2012年6月1日に出願した米国特許出願第13/486,359号、「Logo Detection for Indoor Positioning」に対する優先権を主張するPCT出願である。
本開示は、一般に、位置推定技法に関し、より詳細には、モバイル通信デバイスの中でまたはそれとともに使用するための屋内測位のためのロゴ検出に関する。
モバイル通信デバイス、たとえば、携帯電話、ポータブルナビゲーションユニット、ラップトップコンピュータ、携帯情報端末などが、より日常的になってきている。いくつかのモバイル通信デバイス、たとえばロケーションアウェア携帯電話、スマートフォンなどは、様々なシステムから取得または収集した位置情報を提供することによって、それらの地理的ロケーションをユーザが推定するのを支援し得る。たとえば、屋外環境において、いくつかのモバイル通信デバイスは、携帯電話もしくは他のワイヤレス通信ネットワークを介して、全地球測位システム(GPS)または他の同様の全地球航法衛星システム(GNSS)などの衛星測位システム(SPS)、セルラー基地局、ロケーションビーコンなどからワイヤレス信号を収集することによって、位置推定値またはいわゆる「位置フィックス」を取得し得る。いくつかの例では、受信されたワイヤレス信号は、モバイル通信デバイスによってまたはおいて処理され得、それのロケーションは、知られている技法、たとえばアドバンストフォワードリンク三辺測量(AFLT)、基地局識別などを使用して推定され得る。
屋内環境では、時々、モバイル通信デバイスは、1つまたは複数の位置推定技法を容易化または支援するために衛星または類似のワイヤレス信号を確実に受信または収集することができないことがある。たとえば、SPSまたは他のワイヤレス送信機からの信号は、減衰されるかまたはさもなければ(たとえば、不十分、微弱、断片的など)何らかの形で影響されることがあり、そのことが、位置推定のためにそれらの信号を使用することを少なくとも部分的に妨げることがある。したがって、屋内環境では、異なる技法が、ナビゲーションサービスまたはロケーションサービスを可能にするために使用されることがある。たとえば、モバイル通信デバイスは、知られているロケーションに位置する3つ以上の地上波ワイヤレスアクセスポイントまでの距離を測定することによって、位置フィックスを取得し得る。距離は、たとえば、適切なアクセスポイントから受信されたワイヤレス信号からメディアアクセス制御識別子(MAC ID)アドレスを取得し、信号強度、往復遅延などの受信された信号の1つまたは複数の特性を測定することによって測定され得る。たとえば屋内環境内など、モバイル通信デバイスの位置はまた、ヒートマップまたは無線マップの署名照合(signature matching)を介して推定され得る。たとえば、モバイル通信デバイスにおいて受信されたワイヤレス信号の現在のまたはライブの特性が、データベース内にヒートマップ値として記憶されている予測信号特性または前に測定された信号特性と比較され得る。モバイル通信デバイスにおいて最近受信された信号によって示される特性に、より密接に一致する署名をデータベース内で発見することによって、一致する署名に関連するロケーションが、デバイスの推定ロケーションとして使用され得る。
しかしながら、たとえば、より大きい屋内または類似のエリア、マルチパスまたはフェージングの影響を受けやすい比較的密集した環境(たとえば、ショッピングモール、小売アウトレットなど)の中など、いくつかの事例では、アクセスポイントまたは類似のワイヤレス送信機の分配は、正確なまたはさもなければ適切な測位に対して十分または妥当でないことがある。加えて、時々、特定の関心のある屋内エリアに対してヒートマップを構築するために信号特性をあらかじめ測定することは、多くの労力を要し、多くの時間を要し、高価である、などの可能性がある。また、構築されると、ヒートマップはいくぶん静的である傾向があり、したがって、対応する物理的ロケーションに関連する比較的動的な環境において更新または再構築することは困難または高価となることがある。したがって、たとえば、屋内または類似の環境など(たとえば、ビルの谷間など)において位置精度をいかにして改良あるいは強化するかは、成長分野であり続ける。
以下の図を参照しながら非限定的で非網羅的な態様について説明し、別段の規定がない限り、様々な図の全体を通して、同様の参照番号は同様の部分を指す。
例示的な動作環境の実装形態に関連する特徴を示す概略図。 屋内測位のためのロゴ検出を容易化または支援するために使用され得る例示的な座標系の実装形態。 屋内測位のためのロゴ検出とともに実行され得る例示的なプロセスの一実装形態の概要を示すフロー図。 1つまたは複数の関心のあるロゴをキャプチャするモバイルデバイスの実装形態を示す概略図。 屋内測位のためのロゴ検出とともに使用され得る例示的な情報構造の実装形態。 モバイルデバイスの位置を推定する例示的な使用事例を示すプロセスの実装形態のフロー図。 屋内測位のためのロゴ検出に対する例示的なプロセスの実装形態を示すフロー図。 モバイルデバイスに関連する例示的なコンピューティング環境の実装形態を示す概略図。 サーバに関連する例示的なコンピューティング環境の実装形態を示す概略図。
例示的な実装形態は、モバイル通信デバイスの中でまたはそれとともに使用するための屋内測位のためのロゴ検出に関する。一実装形態では、モバイルデバイスのロケーションを推定するためのモバイルベースの方法は、1つまたは複数の知られているロケーションの1つまたは複数の関心地点(POI)に関連付けられた1つまたは複数のブランド固有の視覚署名を、モバイルデバイスにおいて受信することと、モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出することと、抽出された視覚特徴と1つまたは複数の受信されたブランド固有の視覚署名とを照合することと、抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて、モバイルデバイスのロケーションを推定することとを備え得る。
別の実装形態では、装置は、視覚支援情報を受信するためのワイヤレストランシーバと;1つまたは複数の画像をキャプチャするためのカメラセンサーと;少なくとも1つの画像処理モジュールであって、カメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出し、かつ抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて、モバイルデバイスのロケーションを推定するために、1つまたは複数の画像を処理するための、メモリに結合された、少なくとも1つの画像処理モジュールとを備えるモバイルデバイスを備え得る。
さらに別の実装形態では、モバイルデバイスのロケーションを推定するための装置は、1つまたは複数の知られているロケーションの1つまたは複数の関心地点(POI)に関連付けられた1つまたは複数のブランド固有の視覚署名を、モバイルデバイスにおいて受信するための受信手段と、モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出するための抽出手段と、抽出された視覚特徴と1つまたは複数の受信されたブランド固有の視覚署名とを照合するための照合手段と、抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて、モバイルデバイスのロケーションを推定するための推定手段とを備え得る。
さらに別の実装形態では、物品は、命令を記憶した非一時的記憶媒体を備え得、その命令は、モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出し;抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて、モバイルデバイスのロケーションを推定するために、モバイルデバイスにおいて専用コンピューティングプラットフォームによって実行可能である。ただし、これらは例示的な実装形態にすぎず、特許請求する主題はこれらの特定の実装形態に限定されないことを理解されたい。
以下の詳細な説明では、請求する主題の完全な理解を与えるために、多数の具体的な詳細が記載される。ただし、請求する主題は、これらの具体的な詳細を伴わず実施され得ることが当業者には理解されよう。他の例では、請求する主題を不明瞭にしないように、当業者には既知であろう方法、装置、またはシステムは、詳細に説明されていない。
たとえば、モバイル通信デバイスの中でまたはそれとともに使用され得る、屋内または類似の環境内での測位に対するロゴ検出のための1つまたは複数の動作または技法を、全体的または部分的に容易化または支援するために実装され得る、いくつかの例示的な方法、装置、または製造品を、本明細書で開示する。本明細書で使用する「モバイル通信デバイス」、「ワイヤレスデバイス」、「ロケーションアウェアモバイルデバイス」、またはそのような用語の複数形は、交換可能に使用されることがあり、位置またはロケーションが時折変化し得る、任意の種類の専用コンピューティングプラットフォームまたは装置を指し得る。いくつかの例では、モバイル通信デバイスは、たとえば、1つまたは複数の通信プロトコルに従った、適切な通信ネットワークを通じた情報のワイヤレス送信または受信を通して、モバイルの、または他の方式の他のデバイスと通信することが可能であり得る。例示として、本明細書では単にモバイルデバイスと呼ばれ得る専用モバイル通信デバイスは、たとえば、携帯電話、衛星電話、スマートフォン、携帯情報端末(PDA)、ラップトップコンピュータ、個人用エンターテイメントシステム、タブレットパーソナルコンピュータ(PC)、個人用オーディオまたはビデオデバイス、個人用ナビゲーションデバイスなどを含み得る。しかしながら、これらは、屋内測位のためのロゴ検出と併せて利用され得るモバイルデバイスの説明のための例にすぎず、請求する主題はこの点について限定されないことを理解されたい。
上記で言及したように、モバイルデバイスは、たとえば、三辺測量、三角測量、ヒートマップまたは無線マップ信号署名照合など、適用可能な位置推定技法を使用して、デバイスがそれの地理的ロケーションを推定することを可能にする、ロケーションアウェア能力を特徴づけることができる。いくつかの例では、ロケーションアウェア能力に加えて、モバイルデバイスは、たとえば、ライブのビデオ画像キャプチャ能力を特徴づけることができる。たとえば、モバイルデバイスは、モバイルデバイスに関連するスクリーンまたはディスプレイ内にそのような画像を同時またはリアルタイム表示するために、ライブのビデオ画像をキャプチャ可能なカメラセンサーまたは類似の画像キャプチャデバイスを備え得る。本明細書で使用する「リアルタイム」とは、電子通信さらには他の情報処理に起因する時間の長さだけ遅延されている、コンテンツまたは情報の適時性の程度を指し得る。
下記で分かるように、画像キャプチャ能力は、たとえば屋内または類似の環境内のロゴ検出などを介して、モバイルデバイスの位置を少なくとも部分的に推定するために使用され得る。本明細書で使用する「ロゴ」、「視覚署名」、「ブランド固有の視覚署名」、または「原文ラベル(textual label)」は、互換的に使用され得、それらの、商業またはそれ以外における比較的均一な表現または使用の一貫性に少なくとも部分的に基づいて識別または認識され得る1つまたは複数の視覚的要素を指し得る。いくつかの例では、ロゴは、たとえば、商品またはサービスを他の商品またはサービスと区別するため、あるいはそのような商品またはサービスの供給者を示すために、店舗、喫茶店、小売アウトレット、銀行など、1つまたは複数の関心地点(POI)において提供されている商品またはサービスに関連付けられ得る。時々、ロゴは、たとえば、街路の角、交差点、建築物など、1つまたは複数の関心地点に設けられた、都市計画または交通関連のインフラストラクチャなどの適切なインフラストラクチャに関連付けられ得る。別の可能な実施態様を単に示すために、ロゴはまた、たとえば、建築物の外部の特定の部分など(たとえば、正面、側面、背面など)、適切なインフラストラクチャの特性を表し得る。言い換えれば、本明細書のコンテキストでは、「ロゴ」は、広く解釈され得、たとえば、屋内または類似の環境内で1つまたは複数の測位動作を容易化または支援し得る1つまたは複数のコンピュータビジョンまたは類似の手法を介するなどで電気的に識別され得る任意の視覚的要素を備え得る。
例示として、ロゴは、たとえば、商標、屋号、建築物のトレードドレス(trade dress)(たとえば、正面、店頭など)、看板(たとえば、交通標識、街路表示、規制用絵文字など)、ロゴタイプまたはワードマーク、シンボル、アイコン、エンブレム、バッジなどを備え得る。いくつかの例では、ロゴは、たとえば、それの形状、色彩、サイズ、テキスト、テキストサイズ、視覚的要素の配置または配列などに関する使用の均一性または一貫性に少なくとも部分的に基づいて識別または認識され得る。時々、ロゴは、たとえば、そのようなロゴのコンテンツまたはコンテキストが、特定の設定、時刻、季節、ロケーション、照明条件、商品、サービスなどに応じて変化し得ることを意味する動的ロゴを備え得る。限定ではなく例として、いくつかの例では、Gap(登録商標)、Gap Outlet(登録商標)、GapKids(登録商標)、babyGap(登録商標)、GapMaternity(登録商標)などのブランド固有の視覚署名が、動的ロゴを表し得る。動的ロゴの変形態は、異なるロゴと見なされても見なされなくてもよく、そのことは、アプリケーション、環境、視覚特徴抽出技法、ロゴ検出手法などに少なくとも部分的に依存し得ることを諒解されたい。当然、これらは、ロゴに関する例にすぎなく、請求する主題はそのように限定されない。
前述のように、たとえば、より大きい屋内または類似のエリア、比較的密集した環境など(たとえば、ショッピングモール、工場アウトレットなど)の中のようないくつかの例では、いくつかのモバイルデバイスは、正確なまたはさもなければ十分な測位を容易化または支援するために、知られている送信機から必要なワイヤレス信号を確実に受信または収集することができないことがある。たとえば、ワイヤレス信号は、減衰されるかまたは(たとえば、不十分、微弱、断片的、遮断など)何らかの形で影響を受けることがあり、そのことが、所与の位置推定技法におけるそれらのワイヤレス信号の使用を妨げることがある。したがって、時々、いくつかのモバイルデバイスの測位能力は、あまり有用でないかまたは場合によっては不良であることがある。「位置」および「ロケーション」という用語は、本明細では互換的に使用され得ることに留意されたい。
たとえば、概略ロケーションと併せて関心エリアのデジタルマップ(たとえば、ショッピングモールの間取図)など、いくつかの支援情報を提供することは、たとえば、何らかのコンテキスト、基準系などを確立することによって、モバイルデバイスの位置特定に部分的に役立ち得る。したがって、モバイルデバイスは、たとえば、関連するユーザが、関心エリア(たとえば、ワシントンスクエアモールなどのフードコート付近、北端など)の特定の建築物、建築物の一部分の中、特定のフロア上などに位置することを概略的に推定し得る。しかしながら、より正確なまたはさもなければ十分な屋内測位を容易化または支援するために、時々、前述のように、アクセスポイント、ワイヤレスタグ、格子点など、知られている基準点からの何らかの追加情報(たとえば、信号強度、往復遅延など)が必要とされるかまたはさもなければ有用であることがある。しかしながら、上記でも示したように、より大きいかまたは密集した屋内エリア内など、ワイヤレス送信機の不適切または不十分な配分では、たとえば、推定ロケーションの正確さを低下させるかまたはさもなければそれに悪影響を与えることがある。いくつかの例では、利用可能であれば、ヒートマップ関連情報は有用であり得るが、極めて膨大または包括的であり、モバイルデバイスのワイヤレス通信リンク内の利用可能帯域幅、メモリ空間、バッテリー寿命などに重い負担を掛けることがある。したがって、たとえば、屋内または類似の環境などにおいて、より正確な、精密な、ロバストな、またはさもなければ有用な測位を容易化または支援し得る1つまたは複数の方法、システム、または装置を開発することが望ましいことがある。
一実装形態では、たとえば、特定の屋内または類似の関心エリアの間取図にマッピングされた、1つまたは複数の知られているPOIを示す基準ロゴなど、適切なロゴのセットが取得され得る。以下で説明するように、基準ロゴは、たとえば、モバイルデバイスのカメラの視野内に同時に示される1つまたは複数のPOIに関連するブランド固有の視覚署名の、1つまたは複数のキャプチャされた画像から抽出された視覚特徴と照合され得る。モバイルデバイスの方位が、たとえば、1つまたは複数の関連するセンサーなどを介して決定され得、1つまたは複数の示されたPOIに対するポーズが推定され得る。いくつかの例では、ポーズは、たとえば、1つまたは複数の示されたPOIに対する視線角度に少なくとも部分的に基づいて推定され得る。たとえば、推定されたポーズと、特定の屋内または類似の関心エリアの間取図にマッピングされ、かつ照合された視覚特徴に関連する、1つまたは複数の示されたPOIなど、1つまたは複数のPOIの知られているロケーションとに少なくとも部分的に基づいて、モバイルデバイスの推定ロケーションが計算され得る。時々、モバイルデバイスの推定ロケーションは、たとえば、下記でも示すように、ライブのカメラの視野内に同時に示される少なくとも1つの追加のPOIの視覚特徴を照合することなどを介して改良され得る。
図1は、たとえば、ロゴ検出などを介するモバイルデバイス102の位置推定のための1つまたは複数のプロセスまたは動作を容易化または支援可能な、例示的な動作環境100の実装形態に関連する特徴を示す概略図である。動作環境100は、本明細書では、公衆ネットワーク(たとえば、インターネット、ワールドワイドウェブ)、私的ネットワーク(たとえば、イントラネット)、ワイヤレスローカルエリアネットワーク(WLANなど)など、様々な通信ネットワークまたはネットワークの組合せのコンテキストにおいて、全体的にまたは部分的に実装され得る非限定的な例として説明されることを諒解されたい。請求する主題は、屋内の実装形態に限定されないことも留意されたい。たとえば、時々、本明細書で説明する1つまたは複数の動作または技法は、ビルの谷間、都市広場、講堂、駐車場ビル、屋上庭園、中庭など、部分的または実質的に閉じたエリアを含み得る屋内のような環境内で、少なくとも部分的に実行され得る。時々、本明細書で説明する1つまたは複数の動作または技法は、屋外環境内で、少なくとも部分的に実行され得る。
図示のように、動作環境100は、たとえば、1つまたは複数の通信プロトコルに従ってワイヤレス通信リンク110を介してモバイルデバイス102と通信可能な1つまたは複数の衛星104、トランシーバ基地局106、ワイヤレス送信機108などを備え得る。衛星104は、たとえば、米国の全地球測位システム(GPS)、ロシアのGLONASSシステム、欧州のGalileoシステム、ならびに衛星システムまたは将来開発される任意の衛星システムの組合せから衛星を利用し得る任意のシステムなど、1つまたは複数の衛星測位システム(SPS)に関連付けられ得る。トランシーバ基地局106、ワイヤレス送信機108などは、たとえば、実装形態に応じて、同じまたは類似のタイプのデバイスであってよく、あるいはアクセスポイント、無線ビーコン、セルラー基地局、フェムトセルなど、異なるタイプのデバイスを表してもよい。時々、たとえばワイヤレス送信機108など、1つまたは複数のワイヤレス送信機は、ワイヤレス信号を送信ならびに受信可能であってよい。
いくつかの例では、1つまたは複数のトランシーバ基地局106、ワイヤレス送信機108などは、たとえば、1つまたは複数の通信リンク114などを介して適切なまたは望ましい情報を提供可能な1つまたは複数のワイヤードまたはワイヤレスの通信ネットワークまたは計算ネットワークを備え得るネットワーク112に動作可能に結合され得る。下記で分かるように、1つの可能な実装形態を単に例示すると、情報は、たとえば、関連するPOIを、屋内または類似の関心エリア内の知られているロケーションと、これらのPOIに起因するブランド固有の視覚署名とに関連付ける支援情報を含み得る。時々、支援情報は、たとえば、動作環境100に関連する1つまたは複数の動作またはプロセスを容易化または支援するために、1つまたは複数のトランシーバ基地局106、ワイヤレス送信機108などのアイデンティティまたはロケーションを含み得る。例示として、支援情報は、たとえば、アプリケーション、ネットワーク、環境、ロゴ検出または視覚特徴抽出技法などに少なくとも部分的に依存し得る、デジタルマップ、参照表、数式、適切なモデル、アルゴリズムなどの形態で提供され得る。一実装形態では、ネットワーク112は、たとえば、モバイルデバイス102、1つまたは複数のトランシーバ基地局106、ワイヤレス送信機108、ならびに動作環境100に関連する1つまたは複数のサーバなど、適切なコンピューティングプラットフォームまたはデバイス間の通信を容易化または支援することが可能であり得る。いくつかの例では、サーバは、たとえば、動作環境100に関連する1つまたは複数の動作またはプロセスを容易化または支援可能な、ロケーションサーバ116、視覚支援サーバ118、ならびに120で全般に示す1つまたは複数の他のサーバ(たとえば、ナビゲーション、情報、マップなどのサーバなど)を含み得る。
以下でより詳細に説明するように、ロケーションサーバ116は、たとえば、動作環境100に関連する屋内または類似の関心エリア内など、モバイルデバイス102の概略ロケーションを提供し得る。加えて、下記でも示すように、時々、ロケーションサーバ116は、たとえば、特定の屋内または類似の関心エリアに対するロケーションコンテキスト識別子(LCI)を提供し得る。1つの可能な実装形態を単に例示すると、たとえば、LCIは、グローバル座標系に従ってマッピングされていない建築物または他の屋内または類似の関心エリアの特定のフロアなど、ローカルに定義されるエリアを備え得るかまたはそのエリアに関連付けられ得る。したがって、たとえば、いくつかの例では、屋内または類似の関心エリアの入口においてまたは入場時などに、モバイルデバイス102は、必要な場合、そのエリアまたは隣接エリアをカバーする1つまたは複数のLCIを提供するように、ロケーションサーバ116に要求を伝達し得る。ここで、要求は、たとえば、上述のように、モバイルデバイス102の概略ロケーションを参照またはさもなければ含むことができ、それにより、ロケーションサーバ116は、モバイルデバイス102の概略ロケーションを、1つまたは複数のLCIによってカバーされる屋内または類似のエリアに関連付け、次いで関連するLCIをモバイルデバイス102に伝達することができる。いくつかの例では、モバイルデバイス102は、たとえば、ナビゲーション、マップ、または1つまたは複数の関連LCIによって識別されるエリアに関連する類似の情報(たとえば、デジタルマップ、ワイヤレス送信機のロケーションまたは識別子、無線マップまたはヒートマップ、ルータビリティグラフなど)を取得するために、サーバ120などの適切なサーバによる後続のメッセージ内の、全体的または部分的に知られているロケーションを有する、1つまたは複数の受信されたLCIを利用し得る。下記でも分かるように、視覚支援サーバ118は、たとえば、表、グラフ、またはブランド固有の視覚署名を、知られているロケーションを有する1つまたは複数の関連POIに関連付ける類似の情報構造など、視覚支援情報を提供し得るが、請求する主題はそのように限定されない。たとえば、いくつかの例では、視覚支援情報は、エリア内に位置する1つまたは複数の関連POI(たとえば、店舗、小売店など)を識別するために、特定の屋内または類似の関心エリアの間取図にマッピングされている店舗名、ブランド、店頭外観(storefront appearance)などを表すロゴのセットを備え得る。
一定数のコンピューティングプラットフォームまたはデバイスを本明細書で示すが、任意の数の適切なコンピューティングプラットフォームまたはデバイスが、動作環境100に関連する1つまたは複数の技法またはプロセスを容易化またはさもなければ支援するために実装されてよい。たとえば、時々、ネットワーク112は、モバイルデバイス102、1つまたは複数のトランシーバ基地局106、ワイヤレス送信機108、サーバ116、118、120などと通信するためのカバレージエリアを拡張するために、1つまたは複数のワイヤードまたはワイヤレス通信ネットワーク(たとえば、Wi−Fiなど)に結合され得る。いくつかの例では、ネットワーク112は、たとえば、カバレージのフェムトセルベースの動作領域を容易化または支援し得る。この場合も、これらは実装形態の例にすぎず、請求する主題はこの点について限定されない。
上述のように、たとえば、いくつかの例では、1つまたは複数のロゴ検出動作に関連するような、モバイルデバイスの推定ロケーションを計算するために、屋内または類似の環境内のモバイルデバイスの方位を決定することが有用であり得る。このコンテキストにおいて、「方位」は、たとえば、固定点と基準位置とを有する何らかの基準系に対する、モバイルデバイスの相対的配置を指し得る。一般的には、必ずしも必要ではないが、方位は、それぞれn−次元空間内で特定の方向(複数可)または点(複数可)に対する1つまたは複数の角度またはベクトルを介して、少なくとも部分的に定義または指定され得る。下記で分かるように、モバイルデバイスは、それの方位の知識を用いて、たとえば、デバイスのライブのカメラの視野内に示される1つまたは複数のPOIのブランド固有の視覚署名に対するポーズを推定することが可能であり得、それの位置を計算し得る。
したがって、モバイルデバイスは、たとえば、1つまたは複数のロゴ検出動作または技法を容易化または支援するために、デバイスに関連するアプリケーションプロセッサなど、適切なプロセッサに測定信号を提供し得る1つまたは複数のセンサーを起用する(feature)ことができる。たとえば、モバイルデバイスは、重力の方向、空間の方位、線形運動または角運動、周囲の環境、あるいはデバイスが経験する他の力または場を測定可能な1つまたは複数の加速度計、ジャイロスコープ、磁力計、周辺光検出器、近接センサー、気圧計などを起用し得る。センサーは、たとえば、個別に利用されてよく、またはモバイルデバイスの方位、概略のまたはそうでないロケーション(たとえば、現場(venue)フロアを示す気圧測定値などを介して)などを示す測定信号を提供するためなどで、他のセンサーと組み合わせて使用されてもよく、そのことは、アプリケーション、環境、ロゴ検出または視覚特徴抽出手法などに応じて決まることがある。下記で分かるように、このことは、たとえば、関心のある小売店、アウトレットなどが、同じまたは類似のブランド固有の視覚署名を有する複数の入口、フロア、店頭などを有するような場合などに、モバイルデバイスの位置特定を少なくとも部分的に容易化または支援し得る。たとえば、加速度計は、地球の中心へ向かう重力の方向を感知し得、直交座標空間において次元または軸X、Y、およびZと呼ばれることが多い、1つ、2つ、または3つの方向に関する運動を、検出または測定し得る。随意にまたは代替として、加速度計はたとえば、様々な加速度の大きさの測定結果も提供し得る。ジャイロスコープは、コリオリ効果を利用することができ、ロール、ピッチ、またはヨーの次元での角速度の測定結果を提供することができ、たとえば、進行方向または方位角の変化を求めるアプリケーションにおいて使用され得る。磁力計は、X、Y、Z次元における磁場の方向を測定することができ、たとえば、様々なナビゲーションアプリケーションにおいて、真北または絶対的な進行方向を感知するのに使用され得る。
たとえば、図2は、モバイルデバイス202の方位など、屋内測位のためのロゴ検出に対する1つまたは複数の動作または技法を容易化または支援するために全体的または部分的に使用され得る、例示的な座標系200の一実装形態を示す。図示のように、例示的な座標系200は、たとえば、3次元直交座標系を備え得るが、請求する主題はそのように限定されない。ここで、モバイルデバイス202の運動の1つまたは複数の並進運動的側面が、例示的な座標系200の原点204に対する3つの次元または軸X、Y、およびZに関して、たとえば3D加速度計のような適切な加速度計によって、少なくとも部分的に検出または測定され得る。たとえば、重力周りの方位の変化など、モバイルデバイス202の運動の1つまたは複数の回転運動的側面がまた、1つまたは2つの次元に関する適切な加速度計によって少なくとも部分的に検出または測定され得る。たとえば、モバイルデバイス202の回転運動は、座標(φ,τ)に関して検出または測定され得、ここで、ファイ(φ)は、206において矢印によって全般に示されるように、ロールまたはX軸周りの回転を表し、タウ(τ)は、208で全般に示されるように、ピッチまたはY軸周りの回転を表す。したがって、ここで、たとえば、3D加速度計は、ロールまたはピッチの次元に対して、重力の方向ならびに重力周りの変化を少なくとも部分的に検出または測定し得、それにより、5次元の可観測性(X、Y、Z、φ、τ)を提供する。ただし、これらは、例示的な座標系200に関して加速度計によって少なくとも部分的に検出または測定され得る様々な運動の例にすぎず、請求する主題は、これらの特定の運動または座標系に限定されないことを理解されたい。
別の可能な実装形態を単に例示すると、時々、モバイルデバイス202の運動の1つまたは複数の回転運動的側面は、たとえば、適度な可観測性を提供することが可能な適切なジャイロスコープによって、少なくとも部分的に検出または測定され得る。たとえば、ジャイロスコープは、1つ、2つ、または3つの次元に関して、モバイルデバイス202の回転運動を検出または測定することができる。したがって、ジャイロ回転は、たとえば、座標(φ,τ,ψ)に関して少なくとも部分的に検出または測定され得、ここで、ファイ(φ)はロールまたはX軸周りの回転206を表し、タウ(τ)はピッチまたはY軸周りの回転208を表し、プサイ(ψ)は210で全般に参照される、ヨーまたはZ軸周りの回転を表す。一般的に、ジャイロスコープは、必ずしも必要ではないが、たとえば、カメラの視野内に示される1つまたは複数のPOIに対するポーズを決定するために少なくとも部分的に使用され得る角度変化に関する測定値を提供し得る。当然、例示的な座標系200に対する様々な回転運動に関する詳細は例にすぎず、請求する主題はそのように限定されない。
モバイルデバイス202の方位は、たとえば、座標の原点または中心がモバイルデバイス202に固定され、モバイルデバイス202とともに移動するローカル座標系など、任意の適切な座標系に対して決定または推定され得ることを諒解されたい。随意にまたは代替として、たとえば、地心座標系または地球中心座標系を利用するグローバル基準系が、少なくとも部分的に使用されてもよい。時々、基準系の軸が、たとえば、ショッピングモール内の玄関の間、回廊など、屋内または類似の関心エリア内の何らかの構造要素に固定または整合され得る相対座標系が、使用され得る。いくつかの例では、座標系は、互いに直交する次元を定義し得る。当然、使用され得る座標系に関する詳細は例にすぎず、請求する主題はこの点に関して限定されない。いくつかの実装形態では、モバイルデバイス202は、屋内測位のためのロゴ検出に対する1つまたは複数の動作またはプロセスを容易化または支援するために挙げられたセンサー以外の他のセンサーを含み得ることにも留意されたい。たとえば、モバイルデバイス202は、周辺光検出器、近接センサー、温度センサー、気圧センサー、磁気コンパスなどを含み得る。
このことを念頭に置いて次に図3を注目すると、図3は、たとえば、屋内または類似の環境内で、ロゴ検出などを介してモバイルデバイスの位置を推定するために全体的または部分的に実行され得る例示的なプロセス300の実装形態の概要を示すフロー図である。たとえば、例示的なプロセス300に関連する入力信号、出力信号、動作、結果など、収集または作成された情報が、1つまたは複数のデジタル信号を介して表され得ることに留意されたい。1つまたは複数の動作が、同時に、またはある順序に関して、示されまたは説明されていても、他の順序または同時の動作が利用されてもよいことも諒解されたい。加えて、以下の説明は、いくつかの他の図に示される特定の態様はまた特徴に言及するが、1つまたは複数の動作は、他の態様または特徴とともに実行され得る。
例示的なプロセスは、たとえば、モバイルデバイスのカメラの視野内の屋内または類似の関心エリア(たとえば、店頭など)に関連する1つまたは複数のPOIを示す1つまたは複数のロゴのライブのビデオ画像をキャプチャすることによって、動作302で開始し得る。上述のように、ビデオ画像は、スクリーンまたはディスプレイ内のそのような画像の同時またはリアルタイム表示のために、ライブのビデオ画像をキャプチャ可能なカメラセンサーまたは類似のデバイスなど、任意の適切なビデオセンシング技法を介してキャプチャされ得る。たとえば、図4に示すように、モバイルデバイス400のユーザは、ディスプレイ408内に屋内または類似の環境のライブのビデオ画像を同時に見ながら、たとえば、カメラセンサー402など、関連する画像キャプチャデバイスを、特定の店頭のロゴなどの方に向ける(point)かまたは照準を合わせる(aim)ことができ、あるいは全般に矢印406で参照するように、周囲をパニングすることができる。一般的に、必ずしも必要ではないが、「パニング」は、表示エリア内にコンテンツを再配置またはリセンタリングするために、モバイルまたはそれ以外のデバイスを移動または操作することを指し得る。たとえば、パニングは、比較的大きいかまたは小さいことがあるコンテンツを検索して、表示エリア内に都合よく表示または閲覧されるようにするために使用され得る。この図示の例では、ディスプレイ408は、たとえば、全般に410において両頭矢印で示す視野を定義する、カメラセンサー402に対するビューファインダーとして少なくとも部分的に使用され得る。
図4を引き続き参照すると、一実装形態では、たとえば、屋内または類似の関心エリアに関連する1つまたは複数のロゴ(たとえば、Aldo(登録商標)、Gap(登録商標)など)を閲覧またはキャプチャするために、パニングシーケンスを介して取得された一連のビデオフレームがキャプチャされ得る。ビデオフレームは、任意の適切なコンピュータビジョンまたは類似の視覚特徴抽出技法を使用してモバイルデバイス400のカメラの視野内に同時に示されるロゴ(たとえば、Aldo(登録商標)、Gap(登録商標)など)の1つまたは複数のキャプチャされた画像から視覚特徴を抽出するために、少なくとも部分的に使用され得る。いくつかの例では、視覚特徴を抽出するために、カメラの作動(たとえば、写真を撮ることなど)は、必要でないかまたはさもなければ有用でないことがあることに留意されたい。たとえば、1つまたは複数のロゴに関連する特徴は、モバイルデバイス400をパニング、ポインティング、またはさもなければ移動している間に抽出され得る。視覚特徴は、たとえば、ほんの数例を挙げると、スケール不変特徴変換(SIFT:Scale-Invariant Feature Transform)、Speeded−Up Robust Feature(SURF)、Nearest Feature Trajectory(NFT)など、任意の適切な技法または手法、または所有権を主張できるコーナー検出タイプ技法を使用して抽出され得る。当然、請求する主題は、これらの手法に限定されない。いくつかの抽出された特徴が(たとえば、視覚署名照合、位置計算などに対して)十分でないかまたはさもなければ有用でないようないくつかの例では、モバイルデバイス400は、パニングを反復すること、より低速でパニングすること、より広いエリアをパニングすることなどに対してユーザにプロンプトを出し得る。視覚特徴抽出は、モバイルデバイス、適切なサーバ(たとえば、図1の視覚支援サーバ118など)、またはそれらの任意の組合せにおいてまたはよって、実装され得ることに留意されたい。
図3に戻って参照すると、動作304で、たとえば、現在の現場に対する支援情報など、適切な支援情報が取得され得る。このコンテキストでは、現在の「現場」は、場所(locale)、建築物(たとえば、ショッピングモール、小売アウトレットなど)、場所や建築物の中の一般的エリア、または他の部分的または実質的に閉じたエリア(たとえば、ビルの谷間など)など、モバイルデバイスに関連する、任意の適切な屋内または類似の関心エリアを指し得る。いくつかの例では、支援情報は、たとえば、現在の現場、適用可能なマップまたは現場の情報などに関連するワイヤレス送信機、基準点などのアイデンティティまたはロケーションを備え得る。マップまたは現場の情報は、たとえば、現場の壁、部屋、扉、廊下、エレベータ、階段、はしご、フロア、天井など、1つまたは複数の構造的特徴を識別する、モバイルデバイスに関連する現場のデジタルマップ(たとえば、間取図など)を備え得る。随意にまたは代替として、マップまたは現場の情報は、たとえば、動作316などにおいて、他の支援情報から個別に提供されてもよいが、請求する主題はそのように限定されない。
動作306で参照されるように、いくつかの例では、支援情報は、たとえば、ユーザ入力、SPSから取得された最新の位置フィックスなどに少なくとも部分的に基づいて取得されたモバイルデバイスの概略ロケーションを備え得る。前述のように、概略ロケーションは、たとえば、モバイルデバイスが、知られているロケーションに位置する送信機から必要なワイヤレス信号を確実に受信または収集することができない場合において有用であり得る。時々、支援情報は、たとえば、図1のサーバ116、118または120など、1つまたは複数の適切なサーバとの通信を介して取得され得るが、請求する主題はそのように限定されない。たとえば、支援情報は、要求時に(たとえば、モバイルデバイスなどによって)、屋内または類似の関心エリアに入ったときに、または入った後で、取得されてよく、任意の適切なプッシュ技術またはプル技術などを介してモバイルデバイス(たとえば、キャッシュ、メモリなどの中)にプリフェッチ(pre-fetch)またはプリロード(pre-load)されてもよい。動作306は、いくつかの例示的な実装形態では随意であってよいことに留意されたい。
いくつかの例では、モバイルデバイスの概略ロケーションに少なくとも部分的に基づいて、ロケーションコンテキスト識別子が、たとえば、支援情報の一部としてまたはそれに関連して、デバイスによる使用のために決定または提供され得る。本明細書で使用する「ロケーションコンテキスト識別子」(LCI)は、モバイルデバイスの概略ロケーションに関連するかまたはさもなければ対応することがあるロゴのセットを有する屋内または類似の関心エリアの特定の一部分を指し得る。たとえば、LCIは、ショッピングモールのセクションまたは翼部(wing)、建築物のフロア、あるいはモバイルデバイスの概略ロケーション周りの類似のエリアを備え得、そのようなセクション、翼部、フロアなどに適用可能な1つまたは複数のPOIを識別するロゴのセットを有する。たとえば、全部または大部分の関連するPOIに対するロゴを有する完全なエリアの代わりに、1つまたは複数の関連のあるPOIを識別するためにより小さいロゴのセットを有する関心エリアの一部分を提供することによって、より少ないコンピューティングリソースまたは通信リソース(たとえば、帯域幅、メモリ、動作生存期間(operating lifetime)、ダウンロード速度など)が、有利に利用され得る。実装形態に応じて、LCIによってカバーされるエリアに対する支援情報は、たとえば、1つまたは複数の関連のあるPOI、関連のあるPOIのロケーション、ならびにこれらのPOIに起因するブランド固有の視覚署名を関係付けることが可能な適切な情報構造の形態で提供され得る。
限定ではなく例として、少なくとも1つの実装形態において全体的または部分的に利用され得る情報構造を図5に示す。分かるように、情報構造は、たとえば、店舗IDフィールド502、画像特徴フィールド504、ならびにロケーション情報フィールド506など、いくつかのフィールドを有する表500を備え得るが、請求する主題はそのように限定されない。店舗IDフィールド502は、たとえば、LCIに関連付けられた特定の店舗など、屋内または類似の環境を識別し得、画像特徴フィールド504は、そのような店舗に関連するロゴの画像から導出されたブランド固有の視覚署名の視覚特徴を備え得、ロケーション情報フィールド506は、そのような店舗のロケーション(たとえば、POIなど)を識別する座標を備え得る。店舗ロケーションは、ローカル基準データ(たとえば、ショッピングモールの間取図など)、グローバル基準データ(たとえば、地球中心座標など)、またはそれらの任意の組合せに対する2次元(X、Y)、3次元(X、Y、Z)などの座標系など、任意の適切な座標系に準拠して識別され得る。別の可能な実装形態を単に例示すると、いくつかの例では、情報構造は、たとえば、エリア内に位置する1つまたは複数の関連のあるPOIを識別するために、LCIによってカバーされるエリアの間取図にマッピングされているロゴのセットを有するデジタルマップの形態であってよい。随意にまたは代替として、情報構造は、たとえば、全部または大部分のPOIを、エリア内のこれらのPOIに起因するロケーションに関連付けるロゴのセットを有する、ショッピングモール、小売アウトレットなどの完全な関心エリアを備え得る。
いくつかの例では、たとえば、表500などの支援情報は、適切なPOIを識別するために使用される1つまたは複数のブランド固有の視覚署名を備える、より大きいデータベースまたは類似の情報リポジトリから導出され得る。たとえば、1つまたは複数の店頭(たとえば、POIなど)を識別するために1つまたは複数の企業体(たとえば、店舗チェーン、小売企業など)によって使用されるロゴのセットは、任意の適正な技法を使用してブランド固有の視覚署名の中央データベース内に集められ得る。POIを屋内または類似の関心エリア内のロケーションに関連付けるロゴのセットは、たとえば、現場の所有者によって提供されてよく、クラウドソーシングなどを介して取得されてもよい。例示のために、ショッピングモールの買い物客または常連は、所望のタスクを実行し(たとえば、ロゴ、店頭画像を与える、POIをロケーションに関連付ける、など)、そのように実行することによって何らかの形で報いられ得る。一実装形態では、中央データベースは、たとえば、図1の視覚支援サーバ118など適切なサーバに関連する視覚支援データベースを備え得る。所与のLCIに対して、視覚支援データベース内の関連のあるPOIに対する1つまたは複数のロゴは、たとえば、1つまたは複数の適正な技法を使用して識別され、抽出され得る。LCIによってカバーされるエリアが、たとえば、店舗チェーンに対する小売店頭など、特定の企業体に関連付けられたPOIを含む場合、中央データベースからの代表的なブランド固有の視覚署名が、表500などの支援情報に組み込まれ得る。
図3に戻って参照すると、動作308で、たとえば、ロゴ識別のために、画像クエリが、適切なサーバなど(たとえば、図1のサーバ118、120など)に提出され得る。より具体的には、モバイルデバイスのライブのカメラの視野内に示される1つまたは複数のPOIのロゴの1つまたは複数のキャプチャされた画像から抽出された視覚特徴が、一致が存在するかどうかを判断するために、適切なデータベース(たとえば、視覚支援データベースなど)の中の基準ロゴと比較され得る。分かるように、いくつかの例では、LCIまたは関心エリア、モバイルデバイスの概略ロケーションなどの1つまたは複数のパラメータなど、適切な支援情報が、使用またはさもなければ考察され得る。動作310で、クエリに応答することなどで、1つまたは複数のキャプチャされたロゴ画像に十分に類似する視覚特徴を有するロゴの、1つまたは複数の候補基準画像が、たとえば、任意の適切な視覚特徴照合手法を使用して、最高の一致(top match)として識別され得る。1つの可能な実装形態を単に例示すると、たとえば、最高の一致は、適用可能なロゴ画像に関連するメタデータ、コンテキストパラメータ(たとえば、時刻、照明条件など)、視覚特徴などの加重比較(weighted comparison)に少なくとも部分的に基づいて識別され得る。利用可能な場合、ライブのカメラの視野内に示されるPOIに関連するブランド固有の視覚署名を表すロゴの、最良のまたはさもなければ適切な候補画像が、モバイルデバイス、適切なサーバなどによってまたはおいて選択され得る。
動作312に関して、たとえば、モバイルデバイスの概略ロケーション周りのエリア内にあることが知られており(たとえば、LCIなどによって識別可能であり)、一致したロゴに関連するPOIなど、1つまたは複数の適切なPOIが識別され得る。1つまたは複数の識別されたPOIは、引き続いて、たとえば、動作314および316を介して参照されるように、現場マップ内の1つまたは複数のPOIの検索(look up)などを介して、最良のまたはさもなければ適切な候補画像によって表される選択されたロゴに関連する1つまたは複数の特定のロケーションにおける1つまたは複数のPOIと関連付けられ得る。
動作318で、モバイルデバイスの方位の知識を用いて、たとえば、ビデオフレームがキャプチャされている間などに、ライブのカメラの視野内に示される1つまたは複数のPOIに対するポーズが、1つまたは複数の適正な技法を使用して推定され得る。例示として、1つまたは複数の適用可能なアルゴリズムまたはモデル(たとえば、Levenberg−Marquardt、3点、4点など、正射影および繰返し調整によるポーズ(pose from orthography and scaling with iterations)(POSIT)アルゴリズムなど)を利用する分析的、幾何学的、代数的などの手法が、全体的または部分的に使用され得る。いくつかの例では、ポーズは、たとえば、カメラの視野内に示され、1つまたは複数の関心のあるブランド固有の視覚署名に一致する1つまたは複数のPOIに対するような、モバイルデバイスの視線角度に少なくとも部分的に基づいて推定され得る。1つの可能な実装形態を単に例示すると、たとえば、図4に概略的に表しているように、時々、視線角度は、任意の適切な平面(たとえば、画像平面、投影平面など)の中など、412において一点鎖線で参照されるカメラレンズの光軸に関連して推定され得る。限定ではなく例として、たとえば、光軸412に整合された方向ベクトルを計算することによる方位検出プロセスを適用することによって、関連するPOIを識別するAldo(登録商標)のブランド固有の視覚署名に対するポーズが、光軸412とロゴ監視線416とによって形成される角度414を介して推定され得る。同様に、関連するPOIを識別するGap(登録商標)のブランド固有の視覚署名に対するポーズが、たとえば、光軸412とロゴ監視線420とによって形成される、418において参照される角度を介して推定され得る。当然、これらは、ポーズ推定に関する詳細にすぎなく、請求する主題はそのように限定されない。
図3に戻って参照すると、動作320で、たとえば、推定されたポーズならびに現場マップに関連して取得される関心のあるPOI(たとえば、Aldo(登録商標)など)の知られているロケーションに少なくとも部分的に基づいて、モバイルデバイスの推定位置が計算され得る。いくつかの例では、モバイルデバイスの位置は、たとえば、適切な、カメラの視野−現場マップ−整合およびマッピングプロセスに関連して計算され得る。たとえば、プロセスの間、カメラのロケーションがユーザの基準点である(たとえば、モバイルデバイスなどに関連する)カメラの視点を表すかまたはモデリングするために、1つまたは複数の知られているPOIが、特定の現場のデジタルマップ上に整列され、通常の座標系(たとえば、ローカル、グローバルなど)にマッピングされ得る。ここで、たとえば、特定の現場のトポロジー(たとえば、構造要素、エリアの制約など)、現場トポロジーに基づくロゴに対するユーザの潜在的な位置などを考慮し得る任意の適切な整合またはマッピングの動作または技法が、全体的または部分的に使用され得る。整合およびマッピングのプロセスは一般に知られており、ここでより詳細に説明する必要はない。
いくつかの例では、モバイルデバイスの推定位置は、たとえば、上記で説明した1つまたは複数の動作またはプロセスを利用して、ライブのカメラの視野内に同時に示される少なくとも1つの追加のPOI(たとえば、Gap(登録商標)など)の視覚特徴を照合することなどを介して改良され得る。例示として、時々、たとえば、図4のモバイルデバイス400などのモバイルデバイスの改良された位置が、線416および420など、ロゴ監視線の交差点においてまたは交差点付近で(たとえば、交点、遠近法の中心などにおいて)推定され得るが、請求する主題はそのように限定されない。加えて、いくつかの例では、適切なモバイルデバイスから1つまたは複数の関心のあるPOIまでの距離が、たとえば、1つまたは複数の適正な技法を使用して1つまたは複数の検出されたロゴの(たとえば、実際の、元の、投影されたなどの)サイズの知識を用いることなどによって推定され得る。たとえば、視覚特徴の抽出または照合、ポーズ推定、位置計算など、例示的なプロセス300に関連する1つまたは複数の動作またはプロセスが、適切なサーバ、モバイルデバイス、またはそれらの任意の組合せにおいてまたはよって実装され得ることに留意されたい。
図6は、たとえば、屋内または類似の環境内などにおける、ロゴ検出を介してモバイルデバイスの位置を推定する例示的な使用事例または使用場面を示す、プロセス600の実装形態のフロー図であり、LCIは、モバイルデバイスの概略ロケーションを含むエリアに対応する。602で参照されるように、関心エリアに入ると、ユーザは、モバイルデバイス上で提供される、適切な位置またはナビゲーションのアプリケーションをオンにするかまたは起動することができる。モバイルデバイスは、たとえば、デバイスの概略ロケーションに少なくとも部分的に基づいて、エリアに関連するLCIに対して適用可能な支援情報を取得するために、適切なサーバと通信し得る。モバイルデバイスの概略ロケーションは、たとえば、SPSまたは他のワイヤレス送信機(たとえば、WiFiアクセスポイントなど)、1つまたは複数の関連するセンサー(たとえば、加速度計、ジャイロスコープ、気圧計など)などを介して取得された最新の位置フィックスに少なくとも部分的に基づいて取得され得る。前述のように、このことは、たとえば、小売店舗、アウトレットなどが、同じまたは類似のロゴを介して識別される複数の店頭、入口、フロアなどを有する場合に、モバイルデバイスのロケーションを判断するのに有用であり得る。随意にまたは代替として、概略ロケーションは、たとえば、同様に上述のように、ユーザ入力を介して取得され得る。したがって、図示のように、支援情報は、たとえば、モバイルデバイスの概略ロケーション、1つまたは複数の関連のあるロゴ画像などの適用可能なPOI情報に関連する現場のデジタルマップ、ロゴに関連する視覚特徴、POIのロケーションなどを備え得る。
604で示すように、必要な場合、ユーザは、たとえば、関連する画像キャプチャデバイス(たとえば、カメラセンサーなど)を起動し得る、モバイルデバイス上で提供される適切な位置エンジンまたは類似のアプリケーションを起動またはオンにすることができる。いくつかの例では、たとえば、ローカルエリアネットワーク(たとえば、WiFiなど)に関連する1つまたは複数のアクセスポイントなど、屋内または類似の関心エリア内の1つまたは複数のワイヤレス送信機のロケーションが、前述のように、知られていないことがある。また、時々、1つまたは複数の知られているワイヤレス送信機からの信号が、減衰されるか、またはさもなければ、不十分、微弱、断片的など、何らかの形で影響を受けることがある。このことは、同様に上述のように、たとえば、モバイルデバイスがそれのロケーションを推定するのを妨げることがある。この図示の例では、モバイルデバイスは、1つまたは複数のロゴ検出動作を実施するためにデバイスの周辺でデバイスをパニングするようにユーザに促す適切なメッセージ(たとえば、「WiFiで測位不可能」など)を表示し得る。
606で示すように、メッセージに応答して、ユーザは、たとえば、1つまたは複数の関連するセンサーによって認識可能または検出可能な一定の方位にモバイルデバイスを配置し得る。カメラの視野を使用して、ユーザは、屋内または類似の関心エリアのライブのビデオ画像をキャプチャし、かつその画像を関連するスクリーンまたはディスプレイの中に同時に表示するために、たとえば、カメラセンサーまたは類似の画像キャプチャデバイスを利用して、モバイルデバイスを様々な方向にパニングするかまたは向けることができる。608で全般に示すように、モバイルデバイスを様々な方向にパニングするかまたは向ける間に、ユーザは、1つまたは複数の適切なロゴ(たとえば、Roots(登録商標)、Indigo(登録商標)など)がスクリーンまたはディスプレイ内のユーザの視野に入るまで、カメラの視野内にキャプチャされたビデオ画像を見ることができる。したがって、モバイルデバイスおよび関連するユーザのロケーションが、たとえば、1つまたは複数のPOIが見えている、可能な領域またはエリアに少なくとも部分的に基づいて推定され得る。
1つの可能な実装形態を単に例示すると、610および612のそれぞれで参照されるように、キャプチャされたロゴ(たとえば、Roots(登録商標)など)の画像が、たとえば、上記で説明した1つまたは複数のロゴ検出または照合動作などを介して、何らかの方法で処理され得、ロゴに関連するPOIが、ポーズ推定動作に関連する現場マップなどを介して識別され得る。キャプチャされたロゴに関連するPOIの推定されたポーズおよび知られているロケーションに少なくとも部分的に基づいて、モバイルデバイスの推定ロケーションが計算され得る。時々、モバイルデバイスの推定ロケーションは、たとえば、614で全般に参照されるように、ライブのカメラの視野内に同時に示される少なくとも1つの追加のPOI(たとえば、Indigo(登録商標)など)に少なくとも部分的に基づいて改良され得る。当然、図示の使用事例に関連する詳細は例にすぎず、請求する主題はそうした例に限定されない。
したがって、本明細書で説明するように、たとえば、屋内または類似の環境内など、屋内測位のためのロゴ検出は、利益を提供し得る。たとえば、有利なことに、より小さいロゴのセットは、それぞれの現場またはさもなければ適切な現場を訪問またはマッピングすることなく、多数の現場(たとえば、ショッピングモール、小売アウトレットなど)におけるロケーション推定を満足することができる。加えて、前述のように、屋内または類似の環境内などにおける、より正確な、精密な、ロバストな、またはさもなければ有用な測位が、有利なことに、たとえば、モバイルデバイスのワイヤレス通信リンク内の利用可能帯域幅、メモリ空間またはバッテリー寿命などに重い負担を掛けることなく達成され得る。当然、屋内測位のためのロゴ検出のいくつかの態様およびそれの利益の説明は例にすぎず、請求する主題はそのように限定されない。
次に図7を注目すると、図7は、屋内測位のためのロゴ検出に対する1つまたは複数の動作または技法を容易化または支援するために、全体的または部分的に実行され得る例示的なプロセス700の実装形態を示すフロー図である。1つまたは複数の動作が、同時にまたはある順序に関して示されまたは説明されていても、他の順序または同時の動作が利用されてもよいことを諒解されたい。加えて、以下の説明は、いくつかの他の図に示される特定の態様はまた特徴に言及するが、1つまたは複数の動作は、他の態様または特徴とともに実行され得る。
例示的なプロセス700は、たとえば、1つまたは複数の知られているロケーションの1つまたは複数の関心地点(POI)に関連付けられた1つまたは複数のブランド固有の視覚署名を、モバイルデバイスにおいて受信することを伴う動作702で開始し得る。上述のように、1つまたは複数のブランド固有の視覚署名は、たとえば、POIを屋内または類似の関心エリア内のロケーションに関連付けるために少なくとも部分的に使用され得るモバイルデバイスによってアクセス可能な視覚支援データベースなど、適切なデータベースから導出され得る。いくつかの例では、1つまたは複数のブランド固有の視覚署名は、たとえば、モバイルデバイスからの要求に応答することなどで、適切なサーバ(たとえば、図1の視覚支援サーバ118など)によって通信され得る。
動作704で、視覚特徴は、たとえば、モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から抽出され得る。たとえば、視覚特徴は、屋内または類似の関心エリアに関連する1つまたは複数のロゴを見るためにパニングシーケンスを介して取得された一連のビデオフレームから抽出され得る。視覚特徴は、たとえば、SIFT、SURF、NFTなど、所有権を主張できるかまたはそれ以外のコーナー検出タイプの技法を含む、任意の適切なコンピュータビジョンまたは類似の視覚特徴抽出技法を使用して抽出され得る。
動作706に関して、抽出された視覚特徴は、たとえば、1つまたは複数の受信されたブランド固有の視覚署名と照合され得る。たとえば、抽出された視覚特徴は、適切な支援情報など(たとえば、デバイスのLCI、概略ロケーションなど)に関して一致が存在するかどうかを判断するために、適切なデータベース(たとえば、視覚支援データベースなど)内の基準ロゴと比較され得る。同様に上述のように、関心のあるPOIに関連するブランド固有の視覚署名を表すロゴの、最良のまたはさもなければ適切な候補画像が、たとえば、選択され得る。
動作708で、モバイルデバイスのロケーションが、抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて推定され得る。たとえば、モバイルデバイスの方位の知識を用いて、上記で説明したように、ビデオフレームがキャプチャされている間などに、モバイルデバイスのポーズが推定され得る。たとえば、推定されたポーズと、特定の屋内または類似の関心エリアの間取図にマッピングされ、照合された視覚特徴に関連する、1つまたは複数の示されたPOIなど、1つまたは複数のPOIの知られているロケーションとに少なくとも部分的に基づいて、モバイルデバイスの推定ロケーションが計算され得る。
動作710で、モバイルデバイスの推定ロケーションは、たとえば、1つまたは複数の知られているロケーションの1つまたは複数のPOIのうちの少なくとも1つの追加のPOIに少なくとも部分的に基づいて改良され得る。たとえば、前述のように、モバイルデバイスの改良された位置が、投影されたロゴ画像のポーズ線(pose lines)の交差点にあるものと推定され得るが、請求する主題はそのように限定されない。同様に上述のように、いくつかの例では、モバイルデバイスから1つまたは複数の関心のあるPOIまでの推定距離が、たとえば、1つまたは複数の適正な技法を使用して1つまたは複数の検出されたロゴの(たとえば、実際の、元の、投影されたなどの)サイズの知識を用いることなどで計算され得る。
図8は、屋内または類似の環境内の測位のためのロゴ検出に対する1つまたは複数の動作または技法を容易化または支援するために少なくとも部分的に使用され得るモバイルデバイスに関連する例示的なコンピューティング環境の実装形態の概略図である。例示的なコンピューティング環境は、たとえば、図1のモバイルデバイス102の1つまたは複数の特徴または態様を含み得るモバイルデバイス800を備え得るが、請求する主題はそのように限定されない。たとえば、いくつかの例では、モバイルデバイス800は、適切なワイヤレス通信ネットワークに対するアンテナ806などを介して、804で全般に参照されるワイヤレス信号を送信または受信可能なワイヤレストランシーバ802を備え得る。ワイヤレストランシーバ802は、たとえば、ワイヤレストランシーババスインターフェース810を介してバス808に結合または接続され得る。実装形態に応じて、時々、ワイヤレストランシーババスインターフェース810は、たとえば、ワイヤレストランシーバ802に少なくとも部分的に統合され得る。いくつかの実装形態は、ほんのいくつかの例を挙げれば、ワイヤレスフィデリティー(WiFi)、符号分割多重アクセス(CDMA)、広帯域CDMA(W−CDMA)、ロングタームエボリューション(LTE)、Bluetooth(登録商標)など、対応する複数のワイヤレス通信規格に従って、信号を送信または受信することを可能にするために、複数のワイヤレストランシーバ802またはアンテナ806を含み得る。
一実装形態では、モバイルデバイス800は、たとえば、SPSアンテナ816などを介して1つまたは複数のSPS信号814を受信または収集可能なSPS受信機812を備え得る。SPS受信機812は、モバイルデバイス800のロケーションを推定するために、1つまたは複数の収集されたSPS信号814を全体的または部分的に処理し得る。いくつかの例では、1つまたは複数の汎用プロセッサ818、メモリ820、デジタルシグナルプロセッサ(DSP)822、または図示していない類似の専用デバイスまたはプロセッサが、収集されたSPS信号814を全体的または部分的に処理するため、SPS受信機812などとともにモバイルデバイス800のロケーションを計算するため、などに利用され得る。たとえば、ロゴ検出などに関連する1つまたは複数の測位動作を実施するための、SPSまたは他の信号の記憶は、メモリ820、適切なレジスタまたはバッファ(図示せず)の中に少なくとも部分的に実行され得る。図示されていないが、少なくとも一実装形態では、1つまたは複数のプロセッサ818、メモリ820、DSP 822、または類似の専用デバイスまたはプロセッサは、カメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出すること、抽出された視覚特徴と1つまたは複数の受信されたブランド固有の視覚署名とを照合すること、抽出された視覚特徴と1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいてモバイルデバイスのロケーションを推定することなどが可能な1つまたは複数の画像処理モジュールを備え得ることを諒解されたい。1つまたは複数の画像処理モジュールのうちの全部または一部が、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組合せを使用して、またはさもなければ含んで実装され得ることにも留意されたい。
図示のように、DSP 822は、バス808を介してプロセッサ818とメモリ820とに結合または接続され得る。図示していないが、いくつかの例では、バス808は、DSP 822、プロセッサ818、メモリ820など、モバイルデバイス800の1つまたは複数の適用可能な構成要素と統合され得る1つまたは複数のバスインターフェースを備え得る。様々な実施形態では、本明細書で説明する1つまたは複数の動作または機能は、ほんのいくつかの例を挙げれば、RAM、ROM、FLASH、ディスクドライブのようなコンピュータ可読記憶媒体上など、メモリ820に記憶された1つまたは複数の機械可読命令の実行に応答して実行され得る。命令は、たとえば、プロセッサ818、図示していない1つまたは複数の専用プロセッサ、DSP 822などを介して実行可能であり得る。メモリ820は、本明細書で説明する動作または機能を実行するために、プロセッサ818、DSP 822などによって実行可能であり得るソフトウェアコード(たとえば、プログラミングコード、命令など)を記憶し得る、非一時的プロセッサ可読メモリ、コンピュータ可読命令などを備え得る。
モバイルデバイス800は、ほんのいくつかの例を挙げれば、たとえば、スピーカー、マイクロフォン、ディスプレイデバイス、振動デバイス、キーボード、タッチスクリーンなど、いくつかのデバイスのうちのいずれか1つ含み得るユーザインターフェース824を備え得る。少なくとも一実装形態では、ユーザインターフェース824は、ユーザがモバイルデバイス800上で提供される1つまたは複数のアプリケーションと対話することを可能にし得る。たとえば、ユーザインターフェース824の1つまたは複数のデバイスは、ユーザからの入力または作動に応答して、DSP 822、プロセッサ818などによってさらに処理されるために、メモリ820上にアナログまたはデジタルの信号を記憶し得る。同様に、モバイルデバイス800上で提供される1つまたは複数のアプリケーションは、出力信号をユーザに提示するために、メモリ820内にアナログまたはデジタルの信号を記憶し得る。いくつかの実装形態では、モバイルデバイス800は、随意に、たとえば、専用のスピーカー、マイクロフォン、デジタル−アナログ回路、アナログ−デジタル回路、増幅器、利得制御などを備える専用のオーディオ入力/出力(I/O)デバイス826を含み得る。しかしながら、これは、オーディオI/Oデバイス826がいかに実装され得るかの例にすぎず、請求する主題がこの点で限定されないことを理解されたい。分かるように、モバイルデバイス800は、キーボード、タッチスクリーンなどに加えられるタッチまたは類似の圧力に応答する、1つまたは複数のタッチスクリーン828を備え得る。
一実装形態では、モバイルデバイス800は、たとえば、静止画または動画をキャプチャするためなどで、専用またはそれ以外のカメラ830を備え得る。カメラ830は、ほんのいくつかの例を挙げれば、たとえば、カメラセンサーまたは類似の撮像デバイス(たとえば、電荷結合デバイス、相補型金属酸化物半導体(CMOS)タイプ撮像素子など)、レンズ、アナログ−デジタル回路、フレームバッファなどを備え得る。いくつかの例では、1つまたは複数のキャプチャされた画像を表す信号の追加の処理、調整、符号化、または圧縮が、たとえば、プロセッサ818、DSP 822などにおいて、少なくとも部分的に実行され得る。随意にまたは代替として、専用またはそれ以外のビデオプロセッサ832は、1つまたは複数のキャプチャされた画像を表す信号の調整、符号化、圧縮、または操作を実行し得る。加えて、ビデオプロセッサ832は、たとえば、モバイルデバイス800のディスプレイ(図示せず)上に表示するために、1つまたは複数の記憶された画像を復号または解凍することができる。
モバイルデバイス800は、たとえば、1つまたは複数の慣性センサー、周囲環境センサーなど、バス808に結合または接続された1つまたは複数のセンサー834を備え得る。センサー834の慣性センサー834は、ほんのいくつかの例を示せば、たとえば、(たとえば、1次元、2次元または3次元におけるモバイルデバイス800の加速度などに集合的に応答する)1つまたは複数の加速度計、(たとえば、1つまたは複数のコンパス用途などを支援するための)ジャイロスコープまたは磁力計などを備え得る。モバイルデバイス800の周囲環境センサーは、ほんのいくつかの例を挙げれば、たとえば、1つまたは複数の温度センサー、気圧センサー、周辺光検出器、カメラセンサー、マイクロフォンなどを備え得る。センサー834は、メモリ820に記憶され得、測位またはナビゲーション動作、通信、ゲームなどを対象とする1つまたは複数のアプリケーションの支援などにおいて、DSP 822、プロセッサ818などによって処理され得る、アナログまたはデジタルの信号を生成し得る。
特定の一実装形態では、モバイルデバイス800は、ワイヤレストランシーバ802、SPS受信機812などを介して受信またはダウンコンバートされた信号のベースバンド処理を実行可能な、専用またはそれ以外のモデムプロセッサ836を備え得る。同様に、モデムプロセッサ836は、たとえば、ワイヤレストランシーバ802を介する送信のためにアップコンバートされるべき信号のベースバンド処理を実行し得る。代替実装形態では、専用のモデムプロセッサを有するのではなく、ベースバンド処理が、プロセッサ818、DSP 822などによって少なくとも部分的に実行され得る。加えて、いくつかの例では、インターフェース838は、別個の構成要素として示されているが、たとえば、バス808またはSPS受信機812など、モバイルデバイス800の1つまたは複数の適用可能な構成要素に全体的または部分的に統合されてもよい。随意にまたは代替として、SPS受信機812は、バス808に直接、結合または接続されてもよい。しかしながら、これらは、ベースバンド処理を実行し得る構成要素または構造の例にすぎないこと、および請求する主題がこの点について限定されないことを理解されたい。
図9は、たとえば、図1に関連して上記で説明したような、屋内または類似の環境内の測位のためのロゴ検出に対する1つまたは複数の動作またはプロセスを部分的または実質的に実施または支援可能な1つまたは複数のサーバまたは他のデバイスに関連するかまたはそれらを含むことができる、例示的なコンピューティング環境またはシステム900の実装形態を示す概略図である。コンピューティング環境900は、たとえば、通信ネットワーク908を介して一緒に動作可能に結合され得る第1のデバイス902、第2のデバイス904、第3のデバイス906などを含み得る。いくつかの例では、第1のデバイス902は、たとえば、基地局アルマナックなど、測位支援情報を提供可能なサーバを備え得る。第1のデバイス902はまた、モバイルデバイスのロケーションの概略推定に少なくとも部分的に基づいてLCIを、要求しているモバイルデバイスに供給可能なサーバを備え得る。第1のデバイス902はまた、モバイルデバイスからの要求において指定されるLCIのロケーションに関連のある屋内測位支援情報を提供可能なサーバを備え得る。第2のデバイス904または第3のデバイス906は、1つの可能な実装形態を単に例示すると、たとえば、モバイルデバイスを備え得る。加えて、通信ネットワーク908は、アクセスポイント、フェムトセルなど、1つまたは複数のワイヤレス送信機を備え得る。当然、請求する主題は、これらの点で範囲を限定されない。
第1のデバイス902、第2のデバイス904、または第3のデバイス906は、通信ネットワーク908上で情報を交換可能であり得る任意のデバイス、機器、プラットフォーム、または機械を表し得る。限定ではなく例として、第1のデバイス902、第2のデバイス904、または第3のデバイス906のいずれかは、たとえばデスクトップコンピュータ、ラップトップコンピュータ、ワークステーション、サーバデバイスなどの1つまたは複数のコンピューティングデバイスまたはプラットフォーム;たとえば携帯情報端末、モバイル通信デバイスなど、1つまたは複数の個人用のコンピューティングデバイスまたは機器、あるいは通信デバイスまたは機器;たとえばデータベースまたは情報ストレージサービスプロバイダ/システム、ネットワークサービスプロバイダ/システム、インターネットまたはイントラネットサービスプロバイダ/システム、ポータルまたはサーチエンジンサービスプロバイダ/システム、ワイヤレス通信サービスプロバイダ/システムなどのコンピューティングシステムまたは関連するサービスプロバイダ機能;あるいはそれらの任意の組合せを含み得る。第1のデバイス902、第2のデバイス904、または第3のデバイス906のいずれかは、本明細書で説明する例示的な実装形態に従って、モバイルデバイス、ワイヤレス送信機または受信機、サーバなどのうちの1つまたは複数を備え得る。
一実装形態では、通信ネットワーク908は、第1のデバイス902、第2のデバイス904、または第3のデバイス906のうちの少なくとも2つの間の情報の交換を支援可能な1つまたは複数の通信リンク、プロセス、またはリソースを表し得る。限定ではなく例として、通信ネットワーク908は、ワイヤレスまたはワイヤード通信リンク、電話または電気通信システム、情報バスまたはチャネル、光ファイバー、地上波または宇宙飛行体リソース、ローカルエリアネットワーク、広域ネットワーク、イントラネット、インターネット、ルーターまたはスイッチなど、あるいはそれらの任意の組合せを含み得る。図示のように、たとえば、第3のデバイス906の側で部分的にかくれている破線の箱によって、通信ネットワーク908に動作可能に結合される追加の類似のデバイスが存在することがある。本明細書で説明するように、コンピューティング環境900内に示す様々なデバイスまたはネットワーク、あるいはプロセスまたは方法の全部または一部は、ハードウェア、ファームウェア、ソフトウェアまたはそれらの任意の組合せを使用して、またはさもなければ含めて実装され得ることも認識されたい。
限定ではなく例として、第2のデバイス904は、バス914を介してメモリ912に動作可能に結合され得る少なくとも1つの処理ユニット910を含み得る。処理ユニット910は、適切なコンピューティングプロシージャまたはプロセスの少なくとも一部分を実行可能な1つまたは複数の回路を表し得る。たとえば、処理ユニット910は、1つまたは複数のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、デジタルシグナルプロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイなど、またはこれらの任意の組合せを含み得る。
メモリ912は、任意の情報ストレージ機構または機器を表し得る。たとえば、メモリ912は、1次メモリ916および2次メモリ918を含み得る。たとえば、1次メモリ916は、ランダムアクセスメモリ、読取り専用メモリなどを含み得る。この例では処理ユニット910とは別個であるものとして示されているが、1次メモリ916の全部または一部は、処理ユニット910内に設けられてよく、またはそうでなければ処理ユニット910と併設/結合されてよいことを理解されたい。たとえば、2次メモリ918は、1次メモリまたは1つまたは複数の情報記憶デバイスもしくはシステム、たとえば、ディスクドライブ、光ディスクドライブ、テープドライブ、ソリッドステートメモリドライブなどと、同じまたは同様のタイプのメモリを含み得る。いくつかの実装形態では、2次メモリ918は、コンピュータ可読媒体920を動作可能に受け入れることができ、またはそうでなければ、コンピュータ可読媒体920に結合するように構成可能であり得る。コンピュータ可読媒体920は、たとえば、コンピューティング環境900内の1つまたは複数のデバイスに対する情報、コード、または命令を搬送し得るかまたはアクセス可能にし得る、任意の非一時的記憶媒体を含み得る。コンピュータ可読媒体920はまた、記憶媒体と呼ばれることもある。
第2のデバイス904は、たとえば、第2のデバイス904を少なくとも通信ネットワーク908に動作可能に結合することをもたらすかまたはさもなければ支援することができる、通信インターフェース922を含み得る。限定ではなく例として、通信インターフェース922は、ネットワークインターフェースデバイスまたはカード、モデム、ルーター、スイッチ、トランシーバなどを含み得る。第2のデバイス904はまた、たとえば、入力/出力デバイス924を含み得る。入力/出力デバイス924は、人間または機械の入力を受容またはさもなければ導入するように構成可能であり得る1つまたは複数のデバイスまたは特徴、あるいは人間または機械の出力を配信またはさもなければ提供可能であり得る1つまたは複数のデバイスまたは特徴を表し得る。限定ではなく例として、入力/出力デバイス924は、動作可能に構成されたディスプレイ、スピーカー、キーボード、マウス、トラックボール、タッチスクリーン、情報ポートなどを含み得る。
本明細書で説明した方法は、特定の特徴または例に従って適用例に応じて様々な手段によって実装され得る。たとえば、そのような方法は、ハードウェア、ファームウェア、ソフトウェア、個別/固定論理回路、またはそれらの任意の組合せなどで実装され得る。ハードウェアまたは論理回路実装では、たとえば、処理ユニットは、ほんの数例を挙げると、1つまたは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明した機能を実行するように設計された他のデバイスもしくはユニット、あるいはそれらの組合せの中で実装され得る。
ファームウェアまたはソフトウェア実装の場合、方法は、本明細書で説明した機能を実行する命令を有するモジュール(たとえば、プロシージャ、関数など)を用いて実装され得る。命令を有形に実施するいずれのコンピュータ可読媒体も、本明細書で説明する方法の実装において使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され、プロセッサによって実行され得る。メモリは、プロセッサの内部またはプロセッサの外部に実装され得る。本明細書で使用する「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかのタイプを指し、メモリの特定のタイプまたはメモリの数、あるいはメモリが記憶される媒体のタイプに限定されない。少なくともいくつかの実装形態では、本明細書で説明する記憶媒体の1つまたは複数の部分は、記憶媒体の特定の状態によって表される情報を表す信号を記憶することができる。たとえば、情報を表す電子信号は、情報をバイナリ情報(たとえば、1と0)として表すために、記憶媒体のそのような部分の状態に影響を及ぼすまたは変更することによって、(たとえば、メモリなど)記憶媒体の一部に「記憶」され得る。したがって、特定の実装形態では、情報を表す信号を記憶するための記憶媒体の部分の状態のそのような変更は、異なる状態または物への記憶媒体の変換を構成する。
図示のように、1つまたは複数の例示的な実装形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、個別/固定論理回路、それらの何らかの組合せなどで実装され得る。ソフトウェアで実装する場合、機能は、1つまたは複数の命令またはコードとして物理的なコンピュータ可読媒体に記憶され得る。コンピュータ可読媒体は物理的コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な物理媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令または情報構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータまたはそれのプロセッサによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、情報を磁気的に再生し、ディスク(disc)は、情報をレーザで光学的に再生する。
上記のように、モバイルデバイスは、1つまたは複数のワイヤレス通信技法を使用して、様々な通信ネットワークを介して、情報のワイヤレス送信または受信を介して1つまたは複数の他のデバイスと通信することができる。ここでは、たとえば、ワイヤレス通信技法は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などを使用して実施され得る。「ネットワーク」および「システム」という用語は、本明細書では互換的に使用されることがある。WWANは、符号分割多元接続(CDMA)ネットワーク、時間分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC−FDMA)ネットワーク、Long Term Evolution(LTE)ネットワーク、WiMAX(IEEE802.16)ネットワークなどであり得る。CDMAネットワークは、ほんのいくつかの無線技術を挙げれば、cdma2000、広帯域CDMA(W−CDMA)、時分割同期符号分割多元接続(TD−SCDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装し得る。この場合、cdma2000は、IS−95規格、IS−2000規格、およびIS−856規格に従って実装される技術を含み得る。TDMAネットワークは、Global System for Mobile Communications(GSM)(登録商標)、Digital Advanced Mobile Phone System(D−AMPS)、または何らかの他のRATを実装することができる。GSMおよびW−CDMAは、「3rd Generation Partnership Project」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「3rd Generation Partnership Project 2」(3GPP2)という名称の組織からの文書に記載されている。3GPPおよび3GPP2の文書は公に入手可能である。WLANは、IEEE802.11xネットワークを含み得、WPANは、Bluetoothネットワーク、IEEE802.15xネットワーク、または他の何らかのタイプのネットワークを含み得る。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せに関して実装され得る。ワイヤレス通信ネットワークは、たとえば、Long Term Evolution(LTE)、Advanced LTE、WiMAX、Ultra Mobile Broadband(UMB)など、いわゆる次世代技術(たとえば、「4G」)を含み得る。
一実装形態では、モバイルデバイスは、たとえば、それのロケーションを推定すること、支援情報を取得すること、携帯電話サービスをビジネスまたは家庭に展開することなどを目的として、1つまたは複数のフェムトセルとの通信が可能であり得る。本明細書で使用する「フェムトセル」は、1つまたは複数の適正な技法を使用してモバイルデバイスから送信されるワイヤレス信号を検出可能であり得る1つまたは複数のより小サイズのセルラー基地局を指し得る。一般的に、必ずしも必要ではないが、フェムトセルは、数ある中でもほんのいくつかの例を挙げれば、たとえばUniversal Mobile Telecommunications System(UTMS)、Long Term Evolution(LTE)、Evolution−Data OptimizedまたはEvolution−Data Only(EV−DO)、GSM、Worldwide Interoperability for Microwave Access(WiMAX)、符号分割多元接続(CDMA)2000、時分割同期符号分割多元接続(TD−SCDMA)など、様々なタイプの通信技法を使用することができ、または場合によっては様々なタイプの通信技法に適合し得る。いくつかの実装形態では、フェムトセルは、たとえば、一体型WiFiを備え得、インターネットなど、別の広帯域ネットワークを経由して、より大きいセルラー電気通信ネットワークへのモバイルデバイスアクセスを提供し得る。しかし、フェムトセルに関するそのような詳細は、単に例にすぎず、請求する主題はそのように限定されない。
本明細書で説明する技法は、いくつかのGNSSまたはGNSSの組合せのうちの任意の1つを含むSPSを用いて使用され得る。さらに、技法は、「スードライト」として働く地上波送信機、またはSVとそのような地上波送信機との組合せを利用する測位システムを用いて使用され得る。地上波送信機は、たとえば、PNコードまたは(たとえば、GPSまたはCDMAセルラー信号などと同様の)他のレンジングコードをブロードキャストする地上送信機を含み得る。そのような送信機には、遠隔受信機による識別を可能にするように一意のPNコードが割り当てられ得る。地上波送信機は、たとえば、トンネルの中、鉱山内、建築物の中、都市ビルの谷間または他の閉じられたエリア内などの、軌道を回るSVからのSPS信号が利用できないことがある状況においてSPSを補強するのに有用であり得る。スードライトの別の実装形態は無線ビーコンとして知られている。本明細書で使用する「宇宙飛行体」(SV)という用語は、スードライト、スードライトの等価物、および場合によっては他のものとして働く地上波送信機を含むものとする。本明細書で使用する「SPS信号」または「SV信号」という用語は、スードライトまたはスードライトの等価物として働く地上波送信機を含む、地上波送信機からのSPS様の信号を含むものとする。
また、コンピュータ可読コードまたは命令は、送信機から受信機に物理伝送媒体上で信号を介して(たとえば、電気デジタル信号を介して)送信され得る。たとえば、ソフトウェアは、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、あるいは赤外線、無線、またはマイクロ波などのワイヤレス技術の物理構成要素を使用してウェブサイト、サーバ、または他のリモートソースから送信され得る。上記の組合せも物理伝送媒体の範囲内に含まれ得る。そのようなコンピュータ命令は、異なる時間に(たとえば、第1および第2の時間に)部分(たとえば、第1および第2の部分)ごとに送信され得る。この発明を実施するための形態のいくつかの部分は、特定の装置あるいは専用コンピューティングデバイスまたはプラットフォームのメモリ内に記憶され得る2値デジタル信号に対する演算のアルゴリズムまたは記号表現に関して提示した。この特定の明細書の文脈では、特定の装置などの用語は、プログラムソフトウェアからの命令に従って特定の関数を実行するようにプログラムされた後の汎用コンピュータを含む。アルゴリズムの説明または記号表現は、信号処理または関連技術において当業者が、彼らの仕事の本質を他の当業者に伝達するために使用する技法の例である。アルゴリズムは、本明細書では、また一般に、所望の結果をもたらす自己無撞着な一連の演算または同様の信号処理であると考えられる。この文脈では、演算または処理は物理量の物理操作に関係する。必ずしもそうとは限らないが、一般に、そのような量は、格納、転送、組合せ、比較、または他の操作が可能な、電気信号または磁気信号の形態をとる。
主に一般的な用法という理由で、信号をビット、情報、値、要素、記号、文字、変数、項、数、数字などと呼ぶことは時々便利であることが分かっている。ただし、これらおよび同様の用語はすべて、適切な物理量に関連すべきものであり、便利なラベルにすぎないことを理解されたい。別段に明記されていない限り、上記の議論から明らかなように、本明細書全体にわたって、「処理する」、「算出する」、「計算する」、「判定する」、「解明する」、「識別する」、「関連付ける」、「測定する」、「実行する」などの用語を利用する議論は、専用コンピュータまたは同様の専用電子コンピューティングデバイスのような、特定の装置の動作またはプロセスを指すことを理解されたい。したがって、本明細書の文脈では、専用コンピュータまたは同様の専用電子コンピューティングデバイスは、専用コンピュータまたは同様の専用電子コンピューティングデバイスのメモリ、レジスタ、または他の情報記憶デバイス、送信デバイス、またはディスプレイデバイス内の、電子的、電気的、または磁気的な物理量として通常表される信号を操作または変換することが可能である。
本明細書で使用される「および」および「または」という用語は、そのような用語が使用される文脈に少なくとも一部依存することも予想される、様々な意味を含み得る。通常、「または」がA、BまたはCなどの列挙を関連付けるために使用される場合、包含的な意味で使用される場合はA、B、およびCを意味し、さらに、排他的な意味で使用される場合はA、BまたはCを意味するものとする。本明細書全体にわたる「1つの例」または「一例」という言及は、その例に関して説明する特定の特徴、構造、または特性が、特許請求する主題の少なくとも1つの例の中に含まれることを意味する。したがって、本明細書全体にわたる様々な箇所における「1つの例では」または「一例」という句の出現は、必ずしもすべてが同じ例を指すわけではない。さらに、本明細書で使用する「1つまたは複数」という用語は、単数形の任意の機能、構造、または特性について説明するために使用することができ、または機能、構造または特性の何らかの組合せについて説明するために使用することもできる。しかし、これは例示的な例にすぎないこと、および請求する主題がこの例に限定されないことに留意されたい。さらに、それらの特定の特徴、構造、または特性を組み合わせて1つまたは複数の例にすることができる。本明細書で説明する例は、機械、デバイス、エンジン、またはデジタル信号を使用して動作する装置を含み得る。そのような信号は、電子信号、光信号、電磁信号、またはロケーション間で情報を提供する任意の形態のエネルギーを備え得る。
本明細書では様々な方法またはシステムを使用していくつかの例示的な技法を説明し、示したが、請求する主題を逸脱することなく、他の様々な変形を行うことができ、均等物を代用することができることが、当業者には理解されよう。さらに、本明細書に記載の中心概念から逸脱することなく、請求する主題の教示に特定の状況を適合させるために多くの変更を行うことができる。したがって、請求する主題は、開示された特定の例に限定されず、そのような請求する主題は、添付の特許請求の範囲の範囲内に入るすべての実装形態と、その均等物とをも含むものとする。
本明細書では様々な方法またはシステムを使用していくつかの例示的な技法を説明し、示したが、請求する主題を逸脱することなく、他の様々な変形を行うことができ、均等物を代用することができることが、当業者には理解されよう。さらに、本明細書に記載の中心概念から逸脱することなく、請求する主題の教示に特定の状況を適合させるために多くの変更を行うことができる。したがって、請求する主題は、開示された特定の例に限定されず、そのような請求する主題は、添付の特許請求の範囲の範囲内に入るすべての実装形態と、その均等物とをも含むものとする。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
モバイルデバイスのロケーションを推定するためのモバイルベースの方法であって、
1つまたは複数の知られているロケーションの1つまたは複数の関心地点(POI)に関連付けられた1つまたは複数のブランド固有の視覚署名を、前記モバイルデバイスにおいて受信することと、
前記モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出することと、
前記抽出された視覚特徴と前記1つまたは複数の受信されたブランド固有の視覚署名とを照合することと、
前記抽出された視覚特徴と、1つまたは複数の知られているロケーションの前記1つまたは複数のPOIに関連付けられた前記1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて前記モバイルデバイスのロケーションを推定することとを備える、方法。
[C2]
前記モバイルデバイスの概略ロケーションに少なくとも部分的に基づいてエリアを識別するロケーションコンテキスト識別子(LCI)を決定することと、
前記決定されたLCIに少なくとも部分的に基づいて前記エリア内の前記1つまたは複数のPOIを識別することとをさらに備える、請求項1に記載の方法。
[C3]
前記1つまたは複数の識別されたPOIに関連付けられた前記1つまたは複数のブランド固有の視覚署名をメモリに記憶することをさらに備える、請求項2に記載の方法。
[C4]
前記モバイルデバイスの前記ロケーションが、屋内環境に対するマップに関連して推定される、請求項1に記載の方法。
[C5]
前記屋内環境が現場を備える、請求項4に記載の方法。
[C6]
前記ロケーションを前記推定することが、
前記1つまたは複数のPOIに対するポーズを推定することと、
前記推定されたポーズに少なくとも部分的に基づいて前記モバイルデバイスの前記ロケーションを推定することとをさらに備える、請求項1に記載の方法。
[C7]
前記ポーズが、前記1つまたは複数のPOIに対する前記モバイルデバイスの視線角度に少なくとも部分的に基づいて推定される、請求項6に記載の方法。
[C8]
前記視線角度が、前記モバイルデバイスのカメラレンズの光軸とロゴ観察線とによって形成される角度を備える、請求項7に記載の方法。
[C9]
前記視覚特徴が、1つまたは複数の視覚特徴抽出技法のうちのあるアプリケーションを介して抽出される、請求項1に記載の方法。
[C10]
前記1つまたは複数のブランド固有の視覚署名が、前記モバイルデバイスによってアクセス可能なデータベースを介して、前記1つまたは複数のPOIに関連付けられる、請求項1に記載の方法。
[C11]
前記データベースが、屋内環境の識別子(ID)、前記1つまたは複数のPOIに関係するロケーション情報、前記1つまたは複数のブランド固有の視覚署名の前記抽出された視覚特徴、またはそれらの任意の組合せのうちの少なくとも1つを備える視覚支援データベースを備える、請求項10に記載の方法。
[C12]
前記1つまたは複数の画像が、前記1つまたは複数のブランド固有の視覚署名を閲覧するために、パニングシーケンスを介して取得された一連のビデオフレームを備える、請求項1に記載の方法。
[C13]
1つまたは複数の知られているロケーションの前記1つまたは複数のPOIの少なくとも1つの追加のPOIに少なくとも部分的に基づいて、前記推定ロケーションを改良することをさらに備える、請求項1に記載の方法。
[C14]
前記少なくとも1つの追加のPOIが、前記モバイルデバイスのライブのカメラの視野内に現在示されているPOIを備える、請求項13に記載の方法。
[C15]
前記ロケーションが、前記1つまたは複数のPOIが視認可能なエリアに少なくとも部分的に基づいて推定される、請求項1に記載の方法。
[C16]
視覚支援情報を受信するためのワイヤレストランシーバと、
1つまたは複数の画像をキャプチャするためのカメラセンサーと、
少なくとも1つの画像処理モジュールであって、
前記カメラセンサーを介してキャプチャされた前記1つまたは複数の画像から視覚特徴を抽出し、かつ
前記抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて前記モバイルデバイスのロケーションを推定する
ために、前記1つまたは複数の画像を処理するための、メモリに結合された、少なくとも1つの画像処理モジュールと、を備えるモバイルデバイスを備える、装置。
[C17]
前記少なくとも1つの画像処理モジュールが、さらに、
前記1つまたは複数のPOIに対するポーズを推定し、
前記推定されたポーズに少なくとも部分的に基づいて前記モバイルデバイスの前記ロケーションを推定するためのものである、請求項16に記載の装置。
[C18]
前記ポーズが、前記1つまたは複数のPOIに対する前記モバイルデバイスの視線角度に少なくとも部分的に基づいて推定される、請求項17に記載の装置。
[C19]
前記1つまたは複数のブランド固有の視覚署名が、前記モバイルデバイスによってアクセス可能であり、屋内環境の識別子(ID)、前記1つまたは複数のPOIに関係するロケーション情報、前記1つまたは複数のブランド固有の視覚署名の前記抽出された視覚特徴、またはそれらの任意の組合せのうちの少なくとも1つを備える、支援データベースを介して前記1つまたは複数のPOIに関連付けられる、請求項16に記載の装置。
[C20]
前記少なくとも1つの画像処理モジュールが、さらに、
前記モバイルデバイスの概略ロケーションに少なくとも部分的に基づいてエリアを識別するLCIを決定し、
前記決定されたLCIに少なくとも部分的に基づいて前記エリア内の前記1つまたは複数のPOIを識別するためのものである、請求項16に記載の装置。
[C21]
モバイルデバイスのロケーションを推定するための装置であって、
1つまたは複数の知られているロケーションの1つまたは複数の関心地点(POI)に関連付けられた1つまたは複数のブランド固有の視覚署名を、前記モバイルデバイスにおいて受信するための受信手段と、
前記モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出するための抽出手段と、
前記抽出された視覚特徴と前記1つまたは複数の受信されたブランド固有の視覚署名とを照合するための照合手段と、
前記抽出された視覚特徴と、1つまたは複数の知られているロケーションの前記1つまたは複数のPOIに関連付けられた前記1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて前記モバイルデバイスのロケーションを推定するための推定手段とを備える、装置。
[C22]
前記ロケーションを推定するための前記推定手段が、
前記1つまたは複数のPOIに対するポーズを推定するための手段と、
前記推定されたポーズに少なくとも部分的に基づいて前記モバイルデバイスの前記ロケーションを推定するための手段とをさらに備える、請求項21に記載の装置。
[C23]
前記ポーズが、前記1つまたは複数のPOIに対する視線角度に少なくとも部分的に基づいて推定される、請求項22に記載の装置。
[C24]
前記抽出された視覚特徴と前記1つまたは複数のPOIとの間に一致が存在するかどうかを判断するために、前記抽出された視覚特徴と前記1つまたは複数のブランド固有の視覚署名とを比較するための比較手段をさらに備える、請求項21に記載の装置。
[C25]
前記視覚特徴が、1つまたは複数の視覚特徴抽出技法のうちのあるアプリケーションを介して抽出される、請求項21に記載の装置。
[C26]
前記1つまたは複数の知られているロケーションが、屋内環境に対する1つまたは複数のマップを介して取得される、請求項21に記載の装置。
[C27]
前記屋内環境が現場を備える、請求項26に記載の装置。
[C28]
前記1つまたは複数のブランド固有の視覚署名が、前記モバイルデバイスによってアクセス可能なデータベースを介して、前記1つまたは複数のPOIに関連付けられる、請求項21に記載の装置。
[C29]
前記データベースが、屋内環境の識別子(ID)、前記1つまたは複数のPOIに関係するロケーション情報、前記1つまたは複数のブランド固有の視覚署名の前記抽出された視覚特徴、またはそれらの任意の組合せのうちの少なくとも1つを備える視覚支援データベースを備える、請求項28に記載の装置。
[C30]
前記モバイルデバイスの概略ロケーションに少なくとも部分的に基づいてエリアを識別するLCIを決定するための決定手段と、
前記決定されたLCIに少なくとも部分的に基づいて前記エリア内の前記1つまたは複数のPOIを識別するための識別手段とをさらに備える、請求項21に記載の装置。
[C31]
前記1つまたは複数の識別されたPOIに関連付けられた前記1つまたは複数のブランド固有の視覚署名をメモリに記憶するための記憶手段をさらに備える、請求項30に記載の装置。
[C32]
1つまたは複数の知られているロケーションの前記1つまたは複数のPOIの少なくとも1つの追加のPOIに少なくとも部分的に基づいて、前記推定ロケーションを改良するための改良手段をさらに備える、請求項21に記載の装置。
[C33]
命令を記憶された非一時的記憶媒体を備える物品であって、前記命令が、
前記モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出し、かつ
前記抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて前記モバイルデバイスのロケーションを推定する
ために、モバイルデバイスにおいて専用コンピューティングプラットフォームによって実行可能である、物品。
[C34]
前記記憶媒体が、
前記1つまたは複数のPOIに対するポーズを推定し、
前記推定されたポーズに少なくとも部分的に基づいて前記モバイルデバイスの前記ロケーションを推定するための命令をさらに備える、請求項33に記載の物品。
[C35]
前記ポーズが、前記1つまたは複数のPOIに対する視線角度に少なくとも部分的に基づいて推定される、請求項34に記載の物品。
[C36]
前記1つまたは複数のブランド固有の視覚署名が、前記モバイルデバイスによってアクセス可能であり、屋内環境の識別子(ID)、前記1つまたは複数のPOIに関係するロケーション情報、前記1つまたは複数のブランド固有の視覚署名の前記抽出された視覚特徴、またはそれらの任意の組合せのうちの少なくとも1つを備える、支援データベースを介して前記1つまたは複数のPOIに関連付けられる、請求項33に記載の物品。
[C37]
前記記憶媒体が、
前記モバイルデバイスの概略ロケーションに少なくとも部分的に基づいてエリアを識別するLCIを決定し、
前記決定されたLCIに少なくとも部分的に基づいて前記エリア内の前記1つまたは複数のPOIを識別するための命令をさらに備える、請求項33に記載の物品。

Claims (37)

  1. モバイルデバイスのロケーションを推定するためのモバイルベースの方法であって、
    1つまたは複数の知られているロケーションの1つまたは複数の関心地点(POI)に関連付けられた1つまたは複数のブランド固有の視覚署名を、前記モバイルデバイスにおいて受信することと、
    前記モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出することと、
    前記抽出された視覚特徴と前記1つまたは複数の受信されたブランド固有の視覚署名とを照合することと、
    前記抽出された視覚特徴と、1つまたは複数の知られているロケーションの前記1つまたは複数のPOIに関連付けられた前記1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて前記モバイルデバイスのロケーションを推定することとを備える、方法。
  2. 前記モバイルデバイスの概略ロケーションに少なくとも部分的に基づいてエリアを識別するロケーションコンテキスト識別子(LCI)を決定することと、
    前記決定されたLCIに少なくとも部分的に基づいて前記エリア内の前記1つまたは複数のPOIを識別することとをさらに備える、請求項1に記載の方法。
  3. 前記1つまたは複数の識別されたPOIに関連付けられた前記1つまたは複数のブランド固有の視覚署名をメモリに記憶することをさらに備える、請求項2に記載の方法。
  4. 前記モバイルデバイスの前記ロケーションが、屋内環境に対するマップに関連して推定される、請求項1に記載の方法。
  5. 前記屋内環境が現場を備える、請求項4に記載の方法。
  6. 前記ロケーションを前記推定することが、
    前記1つまたは複数のPOIに対するポーズを推定することと、
    前記推定されたポーズに少なくとも部分的に基づいて前記モバイルデバイスの前記ロケーションを推定することとをさらに備える、請求項1に記載の方法。
  7. 前記ポーズが、前記1つまたは複数のPOIに対する前記モバイルデバイスの視線角度に少なくとも部分的に基づいて推定される、請求項6に記載の方法。
  8. 前記視線角度が、前記モバイルデバイスのカメラレンズの光軸とロゴ観察線とによって形成される角度を備える、請求項7に記載の方法。
  9. 前記視覚特徴が、1つまたは複数の視覚特徴抽出技法のうちのあるアプリケーションを介して抽出される、請求項1に記載の方法。
  10. 前記1つまたは複数のブランド固有の視覚署名が、前記モバイルデバイスによってアクセス可能なデータベースを介して、前記1つまたは複数のPOIに関連付けられる、請求項1に記載の方法。
  11. 前記データベースが、屋内環境の識別子(ID)、前記1つまたは複数のPOIに関係するロケーション情報、前記1つまたは複数のブランド固有の視覚署名の前記抽出された視覚特徴、またはそれらの任意の組合せのうちの少なくとも1つを備える視覚支援データベースを備える、請求項10に記載の方法。
  12. 前記1つまたは複数の画像が、前記1つまたは複数のブランド固有の視覚署名を閲覧するために、パニングシーケンスを介して取得された一連のビデオフレームを備える、請求項1に記載の方法。
  13. 1つまたは複数の知られているロケーションの前記1つまたは複数のPOIの少なくとも1つの追加のPOIに少なくとも部分的に基づいて、前記推定ロケーションを改良することをさらに備える、請求項1に記載の方法。
  14. 前記少なくとも1つの追加のPOIが、前記モバイルデバイスのライブのカメラの視野内に現在示されているPOIを備える、請求項13に記載の方法。
  15. 前記ロケーションが、前記1つまたは複数のPOIが視認可能なエリアに少なくとも部分的に基づいて推定される、請求項1に記載の方法。
  16. 視覚支援情報を受信するためのワイヤレストランシーバと、
    1つまたは複数の画像をキャプチャするためのカメラセンサーと、
    少なくとも1つの画像処理モジュールであって、
    前記カメラセンサーを介してキャプチャされた前記1つまたは複数の画像から視覚特徴を抽出し、かつ
    前記抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて前記モバイルデバイスのロケーションを推定する
    ために、前記1つまたは複数の画像を処理するための、メモリに結合された、少なくとも1つの画像処理モジュールと、を備えるモバイルデバイスを備える、装置。
  17. 前記少なくとも1つの画像処理モジュールが、さらに、
    前記1つまたは複数のPOIに対するポーズを推定し、
    前記推定されたポーズに少なくとも部分的に基づいて前記モバイルデバイスの前記ロケーションを推定するためのものである、請求項16に記載の装置。
  18. 前記ポーズが、前記1つまたは複数のPOIに対する前記モバイルデバイスの視線角度に少なくとも部分的に基づいて推定される、請求項17に記載の装置。
  19. 前記1つまたは複数のブランド固有の視覚署名が、前記モバイルデバイスによってアクセス可能であり、屋内環境の識別子(ID)、前記1つまたは複数のPOIに関係するロケーション情報、前記1つまたは複数のブランド固有の視覚署名の前記抽出された視覚特徴、またはそれらの任意の組合せのうちの少なくとも1つを備える、支援データベースを介して前記1つまたは複数のPOIに関連付けられる、請求項16に記載の装置。
  20. 前記少なくとも1つの画像処理モジュールが、さらに、
    前記モバイルデバイスの概略ロケーションに少なくとも部分的に基づいてエリアを識別するLCIを決定し、
    前記決定されたLCIに少なくとも部分的に基づいて前記エリア内の前記1つまたは複数のPOIを識別するためのものである、請求項16に記載の装置。
  21. モバイルデバイスのロケーションを推定するための装置であって、
    1つまたは複数の知られているロケーションの1つまたは複数の関心地点(POI)に関連付けられた1つまたは複数のブランド固有の視覚署名を、前記モバイルデバイスにおいて受信するための受信手段と、
    前記モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出するための抽出手段と、
    前記抽出された視覚特徴と前記1つまたは複数の受信されたブランド固有の視覚署名とを照合するための照合手段と、
    前記抽出された視覚特徴と、1つまたは複数の知られているロケーションの前記1つまたは複数のPOIに関連付けられた前記1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて前記モバイルデバイスのロケーションを推定するための推定手段とを備える、装置。
  22. 前記ロケーションを推定するための前記推定手段が、
    前記1つまたは複数のPOIに対するポーズを推定するための手段と、
    前記推定されたポーズに少なくとも部分的に基づいて前記モバイルデバイスの前記ロケーションを推定するための手段とをさらに備える、請求項21に記載の装置。
  23. 前記ポーズが、前記1つまたは複数のPOIに対する視線角度に少なくとも部分的に基づいて推定される、請求項22に記載の装置。
  24. 前記抽出された視覚特徴と前記1つまたは複数のPOIとの間に一致が存在するかどうかを判断するために、前記抽出された視覚特徴と前記1つまたは複数のブランド固有の視覚署名とを比較するための比較手段をさらに備える、請求項21に記載の装置。
  25. 前記視覚特徴が、1つまたは複数の視覚特徴抽出技法のうちのあるアプリケーションを介して抽出される、請求項21に記載の装置。
  26. 前記1つまたは複数の知られているロケーションが、屋内環境に対する1つまたは複数のマップを介して取得される、請求項21に記載の装置。
  27. 前記屋内環境が現場を備える、請求項26に記載の装置。
  28. 前記1つまたは複数のブランド固有の視覚署名が、前記モバイルデバイスによってアクセス可能なデータベースを介して、前記1つまたは複数のPOIに関連付けられる、請求項21に記載の装置。
  29. 前記データベースが、屋内環境の識別子(ID)、前記1つまたは複数のPOIに関係するロケーション情報、前記1つまたは複数のブランド固有の視覚署名の前記抽出された視覚特徴、またはそれらの任意の組合せのうちの少なくとも1つを備える視覚支援データベースを備える、請求項28に記載の装置。
  30. 前記モバイルデバイスの概略ロケーションに少なくとも部分的に基づいてエリアを識別するLCIを決定するための決定手段と、
    前記決定されたLCIに少なくとも部分的に基づいて前記エリア内の前記1つまたは複数のPOIを識別するための識別手段とをさらに備える、請求項21に記載の装置。
  31. 前記1つまたは複数の識別されたPOIに関連付けられた前記1つまたは複数のブランド固有の視覚署名をメモリに記憶するための記憶手段をさらに備える、請求項30に記載の装置。
  32. 1つまたは複数の知られているロケーションの前記1つまたは複数のPOIの少なくとも1つの追加のPOIに少なくとも部分的に基づいて、前記推定ロケーションを改良するための改良手段をさらに備える、請求項21に記載の装置。
  33. 命令を記憶された非一時的記憶媒体を備える物品であって、前記命令が、
    前記モバイルデバイスのカメラセンサーを介してキャプチャされた1つまたは複数の画像から視覚特徴を抽出し、かつ
    前記抽出された視覚特徴と、1つまたは複数の知られているロケーションの1つまたは複数のPOIに関連付けられた1つまたは複数のブランド固有の視覚署名との間の照合に少なくとも部分的に基づいて前記モバイルデバイスのロケーションを推定する
    ために、モバイルデバイスにおいて専用コンピューティングプラットフォームによって実行可能である、物品。
  34. 前記記憶媒体が、
    前記1つまたは複数のPOIに対するポーズを推定し、
    前記推定されたポーズに少なくとも部分的に基づいて前記モバイルデバイスの前記ロケーションを推定するための命令をさらに備える、請求項33に記載の物品。
  35. 前記ポーズが、前記1つまたは複数のPOIに対する視線角度に少なくとも部分的に基づいて推定される、請求項34に記載の物品。
  36. 前記1つまたは複数のブランド固有の視覚署名が、前記モバイルデバイスによってアクセス可能であり、屋内環境の識別子(ID)、前記1つまたは複数のPOIに関係するロケーション情報、前記1つまたは複数のブランド固有の視覚署名の前記抽出された視覚特徴、またはそれらの任意の組合せのうちの少なくとも1つを備える、支援データベースを介して前記1つまたは複数のPOIに関連付けられる、請求項33に記載の物品。
  37. 前記記憶媒体が、
    前記モバイルデバイスの概略ロケーションに少なくとも部分的に基づいてエリアを識別するLCIを決定し、
    前記決定されたLCIに少なくとも部分的に基づいて前記エリア内の前記1つまたは複数のPOIを識別するための命令をさらに備える、請求項33に記載の物品。
JP2014526077A 2011-08-19 2012-08-08 屋内測位のためのロゴ検出 Expired - Fee Related JP5844463B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161525704P 2011-08-19 2011-08-19
US61/525,704 2011-08-19
US13/486,359 2012-06-01
US13/486,359 US8938257B2 (en) 2011-08-19 2012-06-01 Logo detection for indoor positioning
PCT/US2012/050045 WO2013028359A1 (en) 2011-08-19 2012-08-08 Logo detection for indoor positioning

Publications (2)

Publication Number Publication Date
JP2014524577A true JP2014524577A (ja) 2014-09-22
JP5844463B2 JP5844463B2 (ja) 2016-01-20

Family

ID=47713005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014526077A Expired - Fee Related JP5844463B2 (ja) 2011-08-19 2012-08-08 屋内測位のためのロゴ検出

Country Status (6)

Country Link
US (1) US8938257B2 (ja)
EP (1) EP2745079A1 (ja)
JP (1) JP5844463B2 (ja)
KR (1) KR101570195B1 (ja)
CN (1) CN103827634B (ja)
WO (1) WO2013028359A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023509099A (ja) * 2020-04-14 2023-03-06 北京邁格威科技有限公司 室内視覚ナビゲーション方法、装置、システム及び電子機器

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253607B2 (en) * 2011-12-16 2016-02-02 Maxlinear, Inc. Method and system for location determination and navigation using textual information
FI124153B (en) * 2012-01-11 2014-04-15 Indooratlas Oy Using magnetic field navigation
US9332392B1 (en) * 2012-06-11 2016-05-03 Google Inc. Remotely activating a combination of mobile device functions
US10419890B2 (en) 2012-06-15 2019-09-17 Qualcomm Incorporated Client access to mobile location services
US11265673B2 (en) 2012-06-15 2022-03-01 Qualcomm Incorporated Client access to mobile location services
US20140162693A1 (en) * 2012-06-15 2014-06-12 Qualcomm Incorporated Methods and systems for providing location based services in a venue
US9578115B2 (en) 2012-06-15 2017-02-21 Qualcomm Incorporated Indoor location server provision and discovery
KR101960280B1 (ko) * 2012-07-23 2019-03-20 삼성전자주식회사 자기장 지도를 수정하는 방법, 자기장 지도를 수정하는 사용자 단말 및 서버
US9692875B2 (en) 2012-08-31 2017-06-27 Analog Devices, Inc. Grip detection and capacitive gesture system for mobile devices
US8744418B2 (en) * 2012-08-31 2014-06-03 Analog Devices, Inc. Environment detection for mobile devices
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
US20140180627A1 (en) * 2012-12-20 2014-06-26 Qualcomm Incorporated System, method and/or devices for applying magnetic signatures for positioning
US9330047B2 (en) 2013-01-15 2016-05-03 Qualcomm Incorporated Wireless docking service with direct connection to peripherals
US9342930B1 (en) * 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
GB2511096A (en) * 2013-02-22 2014-08-27 Fox Murphy Ltd A Mobile Indoor Navigation System
US9959674B2 (en) 2013-02-26 2018-05-01 Qualcomm Incorporated Directional and X-ray view techniques for navigation using a mobile device
US9341483B2 (en) * 2013-03-11 2016-05-17 Qualcomm Incorporated Methods and apparatus for position estimation
US9256795B1 (en) 2013-03-15 2016-02-09 A9.Com, Inc. Text entity recognition
US9154919B2 (en) * 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
CN104166657A (zh) * 2013-05-17 2014-11-26 北京百度网讯科技有限公司 电子地图搜索方法以及服务器
US8738036B1 (en) * 2013-05-29 2014-05-27 Joingo, Llc Method and system for wayfinding at a venue
WO2015069320A2 (en) * 2013-05-31 2015-05-14 Andrew Llc System and method for mobile identification and tracking in location systems
WO2015036056A1 (en) 2013-09-16 2015-03-19 Metaio Gmbh Method and system for determining a model of at least part of a real object
US9338603B2 (en) * 2013-09-30 2016-05-10 Qualcomm Incorporated Location based brand detection
CN104657389A (zh) * 2013-11-22 2015-05-27 高德软件有限公司 定位方法、***及移动终端
US9424598B1 (en) 2013-12-02 2016-08-23 A9.Com, Inc. Visual search in a controlled shopping environment
US9813676B2 (en) 2013-12-11 2017-11-07 Qualcomm Incorporated Use of mobile device with image sensor to retrieve information associated with light fixture
US9638783B2 (en) 2013-12-12 2017-05-02 Qualcomm Incorporated Broadcast-based positioning for device-to-device proximity services
US9506761B2 (en) 2014-01-10 2016-11-29 Alcatel Lucent Method and apparatus for indoor position tagging
US10102616B2 (en) 2014-01-28 2018-10-16 Ent. Services Development Corporation Lp Method and system for surface wear determination
CN104936283B (zh) * 2014-03-21 2018-12-25 中国电信股份有限公司 室内定位方法、服务器和***
US9584980B2 (en) * 2014-05-27 2017-02-28 Qualcomm Incorporated Methods and apparatus for position estimation
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
US9317921B2 (en) * 2014-07-10 2016-04-19 Qualcomm Incorporated Speed-up template matching using peripheral information
WO2016014020A1 (en) 2014-07-21 2016-01-28 Hewlett-Packard Development Company, L.P. Radial histogram matching
US10139869B2 (en) 2014-07-23 2018-11-27 Analog Devices, Inc. Capacitive sensors for grip sensing and finger tracking
US11127039B2 (en) * 2014-08-01 2021-09-21 Oracle International Corporation Delivering geo-context information to a mobile device based on predicted mobile device locations
CN104378822B (zh) * 2014-11-14 2019-02-05 联想(北京)有限公司 一种定位方法、服务器、电子设备及定位***
US10333619B2 (en) 2014-12-12 2019-06-25 Nokia Technologies Oy Optical positioning
KR102250947B1 (ko) 2014-12-26 2021-05-12 삼성전자주식회사 전자 장치의 위치 확인 방법, 전자 장치 및 서버의 동작 방법
US9824481B2 (en) 2014-12-30 2017-11-21 Qualcomm Incorporated Maintaining heatmaps using tagged visual data
US10582105B2 (en) * 2014-12-30 2020-03-03 Qualcomm Incorporated Changing camera parameters based on wireless signal information
US10001376B1 (en) * 2015-02-19 2018-06-19 Rockwell Collins, Inc. Aircraft position monitoring system and method
US20160258761A1 (en) * 2015-03-03 2016-09-08 Qualcomm Incorporated Vlc-based vector field fingerprint mapping
US9524435B2 (en) * 2015-03-20 2016-12-20 Google Inc. Detecting the location of a mobile device based on semantic indicators
CN105371848B (zh) * 2015-11-05 2018-03-02 广东欧珀移动通信有限公司 一种室内导航方法及用户终端
US10012509B2 (en) * 2015-11-12 2018-07-03 Blackberry Limited Utilizing camera to assist with indoor pedestrian navigation
US11528452B2 (en) * 2015-12-29 2022-12-13 Current Lighting Solutions, Llc Indoor positioning system using beacons and video analytics
CN105808717A (zh) * 2016-03-07 2016-07-27 苏州中德睿博智能科技有限公司 一种基于dr定位信息的视觉标签匹配方法
GB2568158B (en) * 2016-04-04 2021-12-01 Walmart Apollo Llc Systems and methods for estimating a geographical location of an unmapped object within a defined environment
CN107270906A (zh) * 2016-04-08 2017-10-20 北京黎阳之光科技有限公司 一种基于wifi的人员精准定位***
CN106403942B (zh) * 2016-08-30 2022-04-29 全球能源互联网研究院 基于变电站景深图像识别的人员室内惯性定位方法
KR101882370B1 (ko) * 2016-09-05 2018-07-26 네이버랩스 주식회사 지역 분할과 파노라마 분할 기법을 이용한 위치기반 관심지점 정보 검색 시스템 및 방법
CN106528592B (zh) * 2016-09-21 2022-07-26 北京国芯能集成电路科技有限公司 一种对矿场进行盘点的方法及***
US9813150B1 (en) * 2016-09-23 2017-11-07 Qualcomm Incorporated Controllable selection of light-capture devices
DE102017116327A1 (de) * 2017-07-19 2019-01-24 Pracht Andreas Edmund, Herfurtner Alexander GbR (vertretungsberechtigter Gesellschafter: Andreas Edmund Pracht) Elektrisches Installationsgerät, System zur Realisierung eines Smart Homes und Verfahren zum Betrieb eines derartigen Systems
US11106716B2 (en) * 2017-11-13 2021-08-31 Accenture Global Solutions Limited Automatic hierarchical classification and metadata identification of document using machine learning and fuzzy matching
US11126846B2 (en) * 2018-01-18 2021-09-21 Ebay Inc. Augmented reality, computer vision, and digital ticketing systems
US11318050B2 (en) * 2018-01-24 2022-05-03 American Printing House for the Blind, Inc. Navigation assistance for the visually impaired
WO2019183393A1 (en) * 2018-03-21 2019-09-26 Lei Zhou Controlling movement of an automated guided vehicle
CN112020630B (zh) * 2018-04-27 2024-06-28 北京嘀嘀无限科技发展有限公司 用于更新建筑物的3d模型的***和方法
KR102529190B1 (ko) 2018-05-25 2023-05-04 삼성전자주식회사 위치를 결정하기 위한 전자 장치 및 그의 동작 방법
US11074351B2 (en) * 2018-08-21 2021-07-27 International Business Machines Corporation Location specific identity verification system
EP3671120B1 (en) * 2018-12-17 2023-07-26 HERE Global B.V. Enhancing the accuracy for device localization
US11107099B2 (en) * 2018-12-21 2021-08-31 Google Llc Brand penetration determination system using image semantic content
US20200380252A1 (en) 2019-05-29 2020-12-03 Walmart Apollo, Llc Systems and methods for detecting egress at an entrance of a retail facility
EP3798986A1 (en) * 2019-09-27 2021-03-31 Apple Inc. Location aware visual markers
CN112629532B (zh) * 2019-10-08 2023-10-20 宏碁股份有限公司 提升准确率之室内定位方法及应用其之行动装置
CN110706490A (zh) * 2019-10-25 2020-01-17 上海市保安服务总公司宝山区公司 一种智能交通终端管理设备的数据处理方法及设备
US11417104B2 (en) 2019-11-01 2022-08-16 Walmart Apollo, Llc Systems and methods for automatically determining location of an object inside a retail store
US11200407B2 (en) * 2019-12-02 2021-12-14 Motorola Solutions, Inc. Smart badge, and method, system and computer program product for badge detection and compliance
US11049206B1 (en) 2020-08-20 2021-06-29 Eric Schneider Enhanced content generation system, method, and device
US20220198178A1 (en) * 2020-12-22 2022-06-23 Here Global B.V. Method and apparatus for identifying the floor of a building
US11520806B1 (en) * 2021-12-08 2022-12-06 Dapper Labs, Inc. Tokenized voice authenticated narrated video descriptions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111128A (ja) * 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2003344093A (ja) * 2002-05-31 2003-12-03 Equos Research Co Ltd 歩行者用経路案内データ配信装置、歩行者用経路案内データ配信システム及び歩行者用経路案内データ配信プログラム
JP2005151563A (ja) * 2003-11-10 2005-06-09 Hewlett-Packard Development Co Lp パノラマ画像の生成方法およびパノラマ画像用カメラ
WO2006035476A1 (ja) * 2004-09-27 2006-04-06 Mitsubishi Denki Kabushiki Kaisha 位置特定サーバ及び移動体端末
WO2010102260A1 (en) * 2009-03-06 2010-09-10 Qualcomm Incorporated Methods and apparatus for automated local network formation using alternate connected interfaces

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175644B1 (en) 1998-05-01 2001-01-16 Cognex Corporation Machine vision system for object feature analysis and validation based on multiple object images
AU2002255695A1 (en) * 2001-03-09 2002-09-24 Radianse, Inc. A system and method for performing object association using a location tracking system
AU2002356555A1 (en) 2001-10-09 2003-04-22 Sirf Technologies, Inc. Method and system for sending location coded images over a wireless network
US6674391B2 (en) 2002-05-08 2004-01-06 Lockheed Martin Corporation System and method of simulated image reconstruction
DE10248534B4 (de) 2002-10-14 2013-04-11 T-Mobile Deutschland Gmbh Verfahren zur genauen Positionsbestimmung eines mobilen Endgerätes
US7373109B2 (en) * 2003-11-04 2008-05-13 Nokia Corporation System and method for registering attendance of entities associated with content creation
US7831387B2 (en) 2004-03-23 2010-11-09 Google Inc. Visually-oriented driving directions in digital mapping system
WO2005098364A1 (ja) 2004-03-31 2005-10-20 Pioneer Corporation 経路案内システム及び方法
US7707239B2 (en) * 2004-11-01 2010-04-27 Scenera Technologies, Llc Using local networks for location information and image tagging
GB2427100B (en) * 2005-06-09 2008-07-09 Motorola Inc A notification apparatus and method for a cellular communication system
JP4935145B2 (ja) 2006-03-29 2012-05-23 株式会社デンソー カーナビゲーション装置
US7672669B2 (en) 2006-07-18 2010-03-02 Veriwave, Inc. Method and apparatus for controllable simulation of mobility
US8305935B2 (en) * 2006-07-27 2012-11-06 Mobitrum Corporation Method and system for dynamic information exchange on location aware mesh network devices
US20100092093A1 (en) 2007-02-13 2010-04-15 Olympus Corporation Feature matching method
US8483442B2 (en) 2007-02-16 2013-07-09 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US20090083237A1 (en) 2007-09-20 2009-03-26 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Visual Search Interface
US20090083275A1 (en) 2007-09-24 2009-03-26 Nokia Corporation Method, Apparatus and Computer Program Product for Performing a Visual Search Using Grid-Based Feature Organization
US8478226B2 (en) * 2008-06-02 2013-07-02 Research In Motion Limited Updating a request related to an IMS emergency session
US20090315766A1 (en) 2008-06-19 2009-12-24 Microsoft Corporation Source switching for devices supporting dynamic direction information
US9509867B2 (en) 2008-07-08 2016-11-29 Sony Corporation Methods and apparatus for collecting image data
US8688058B2 (en) 2008-11-24 2014-04-01 Chiewcharn Narathong Techniques for improving transmitter performance
EP2219367B1 (en) * 2009-02-16 2011-12-21 Research In Motion Limited Using gravity to direct a rotatable camera in a mobile device
US8412577B2 (en) 2009-03-03 2013-04-02 Digimarc Corporation Narrowcasting from public displays, and related methods
US8938355B2 (en) 2009-03-13 2015-01-20 Qualcomm Incorporated Human assisted techniques for providing local maps and location-specific annotated data
US8060302B2 (en) 2009-03-31 2011-11-15 Microsoft Corporation Visual assessment of landmarks
US20100309225A1 (en) 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
KR101622110B1 (ko) 2009-08-11 2016-05-18 삼성전자 주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
US8611592B2 (en) 2009-08-26 2013-12-17 Apple Inc. Landmark identification using metadata
US8549044B2 (en) * 2009-09-17 2013-10-01 Ydreams—Informatica, S.A. Edificio Ydreams Range-centric contextual information systems and methods
US8150367B1 (en) * 2009-09-30 2012-04-03 Google Inc. System and method of determining a location based on location of detected signals
US8238671B1 (en) 2009-12-07 2012-08-07 Google Inc. Scene classification for place recognition
US8489127B2 (en) * 2010-04-20 2013-07-16 Apple Inc. Context-based reverse geocoding
US8897816B2 (en) 2010-06-17 2014-11-25 Nokia Corporation Method and apparatus for locating information from surroundings
US8332429B2 (en) 2010-06-22 2012-12-11 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes
KR20120017821A (ko) 2010-08-20 2012-02-29 삼성전자주식회사 휴대용 단말기에서 데이터를 공유하기 위한 장치 및 방법
US8634848B1 (en) * 2010-09-29 2014-01-21 Amazon Technologies, Inc. Inter-device location determinations
US8676623B2 (en) 2010-11-18 2014-03-18 Navteq B.V. Building directory aided navigation
US9874454B2 (en) 2011-01-13 2018-01-23 Here Global B.V. Community-based data for mapping systems
US20120270573A1 (en) 2011-04-20 2012-10-25 Point Inside, Inc. Positioning system and method for single and multilevel structures
US8706137B2 (en) * 2011-08-02 2014-04-22 Qualcomm Incorporated Likelihood of mobile device portal transition
US20130212094A1 (en) 2011-08-19 2013-08-15 Qualcomm Incorporated Visual signatures for indoor positioning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111128A (ja) * 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2003344093A (ja) * 2002-05-31 2003-12-03 Equos Research Co Ltd 歩行者用経路案内データ配信装置、歩行者用経路案内データ配信システム及び歩行者用経路案内データ配信プログラム
JP2005151563A (ja) * 2003-11-10 2005-06-09 Hewlett-Packard Development Co Lp パノラマ画像の生成方法およびパノラマ画像用カメラ
WO2006035476A1 (ja) * 2004-09-27 2006-04-06 Mitsubishi Denki Kabushiki Kaisha 位置特定サーバ及び移動体端末
WO2010102260A1 (en) * 2009-03-06 2010-09-10 Qualcomm Incorporated Methods and apparatus for automated local network formation using alternate connected interfaces

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023509099A (ja) * 2020-04-14 2023-03-06 北京邁格威科技有限公司 室内視覚ナビゲーション方法、装置、システム及び電子機器

Also Published As

Publication number Publication date
CN103827634B (zh) 2017-03-01
KR20140052045A (ko) 2014-05-02
JP5844463B2 (ja) 2016-01-20
US8938257B2 (en) 2015-01-20
KR101570195B1 (ko) 2015-11-18
US20130045751A1 (en) 2013-02-21
CN103827634A (zh) 2014-05-28
EP2745079A1 (en) 2014-06-25
WO2013028359A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
JP5844463B2 (ja) 屋内測位のためのロゴ検出
US9906921B2 (en) Updating points of interest for positioning
US9582720B2 (en) Image-based indoor position determination
TWI536034B (zh) 用於較快初次固定時間的技術
US20170078851A1 (en) Associating a signal observation with a location tag
US9395189B2 (en) Indoor structure inference using points of interest
US20140323160A1 (en) Utilizing a pressure profile to determine a location context identifier
US20140274151A1 (en) Systems and Methods for Using Three-Dimensional Location Information to improve Location Services
US20130267260A1 (en) Map modification using ground-truth measurements
US20140180627A1 (en) System, method and/or devices for applying magnetic signatures for positioning
US20160116290A1 (en) Simultaneous localization and mapping by using earth's magnetic fields
JP2017532537A (ja) ロケーション関係データの選択的クラウドソーシング
CN106104207A (zh) 用于传送定位辅助数据的***、方法和装置
JP2017503366A (ja) 無線ヒートマップのパラメータを学習するためにモバイルデバイスを利用すること
EP3084351A1 (en) System, method and/or devices for aligning a movement path with an indoor routing graph
CN107003385B (zh) 以无线信号信息标记视觉数据
Yim Design of smart-phone sensor-based indoor location based service system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151118

R150 Certificate of patent or registration of utility model

Ref document number: 5844463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees