JP2018532984A - クレードル回転インセンシティブ慣性ナビゲーション - Google Patents
クレードル回転インセンシティブ慣性ナビゲーション Download PDFInfo
- Publication number
- JP2018532984A JP2018532984A JP2018510330A JP2018510330A JP2018532984A JP 2018532984 A JP2018532984 A JP 2018532984A JP 2018510330 A JP2018510330 A JP 2018510330A JP 2018510330 A JP2018510330 A JP 2018510330A JP 2018532984 A JP2018532984 A JP 2018532984A
- Authority
- JP
- Japan
- Prior art keywords
- body frame
- image
- images
- change
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/3877—Arrangements for enabling portable transceivers to be used in a fixed position, e.g. cradles or boosters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/024—Guidance services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
クレードルインセンシティブ慣性ナビゲーションを提供するためにモバイルデバイスにおいて様々な方法および/または装置を使用してインプリメントされ得る技法が提供される。本開示による第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための例となる方法は、第1のボディフレームと第2のボディフレームとの間のアライメントの変化を検出することに応答して、第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、1つまたは複数の画像の分析に基づいて補償情報を決定することと、1つまた複数の慣性センサおよび補償情報に基づいて位置を決定することと、を含む。【選択図】 図8
Description
[0001] 全地球航法衛星システム(GNSS:Global Navigation Satellite System)受信機は、モバイルフォン、腕時計、および他のポータブルデバイスのようなモバイルデバイスを含む、多数のデバイスに組み込まれている。多くの小型のモバイルデバイスは、クレードルデバイス(cradle device)に搭載されるように、またはユーザによって装着されるように構成され、測位情報を提供するためにGNSS信号および慣性ナビゲーションシステム(INS:Inertial Navigation Systems)を活用し得る。測位推定値は、衛星測位信号を受信および処理することによって計算され得る。しかしながら、衛星測位信号は、しばしば妨害され、モバイルデバイスは、インクリメンタルな位置を推定するために慣性ナビゲーション技法を利用し得る。GNSS受信機は、また、一般に、より多くの電力を必要とし、それは、より小型のモバイルデバイスの問題となる場合もある。モバイルデバイスは、バッテリ電力を節約しようとするために慣性ナビゲーション技法を利用することを選び得る。
[0002] 慣性ナビゲーション技法は、慣性センサ(inertial sensors)(例えば、加速度計およびジャイロスコープ)からの測定データに頼り得る。しかしながら、慣性センサから生成された位置結果における誤差が、センサと、動いているオブジェクトとの間の相対的な向きがミスアラインしている(misaligned)ときに生じることもある。このようなミスアライメント(misalignment)は、位置結果があまり信頼できなくなることを引き起こすこともあり、ミスアライメントは、較正および補償されなければいけない。増加するドリフト、不正確なミスアライメント較正(misalignment calibration)、またはセンサと動いているオブジェクトとの間の相対的なアライメントにおけるその後の変化により、位置推定値の信頼性は、時間にわたってさらに少なくなることもある。
[0003] 本開示による第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための例となる装置は、メモリユニットと、1つまたは複数の慣性センサと、前記メモリユニットおよび前記1つまたは複数の慣性センサに通信的に(communicatively)結合された少なくとも1つのプロセッサと、を含み、前記少なくとも1つのプロセッサは、前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、前記1つまたは複数の画像の分析に基づいて補償情報を決定することと、前記1つまた複数の慣性センサおよび前記補償情報に基づいて位置を決定することと、を行うように構成される。
[0004] そのような装置のインプリメンテーションは、以下の特徴のうちの1つまたは複数を含み得る。前記補償情報は、変位変化(displacement change)およびポーズ変化(pose change)を含み得る。前記1つまたは複数の画像の前記分析は、前記1つまたは複数の画像中の特徴を識別することと、前記識別された特徴に基づいて回転行列(rotation matrix)を計算することと、前記回転行列に基づいてポーズ変化推定値を生成することと、を含み得る。前記ポーズ変化推定値は、前記少なくとも1つのプロセッサによって生成された不確定値(uncertainty value)を含み得る。前記1つまたは複数の慣性センサは加速度計であり得る。前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、前記慣性センサのうちの少なくとも1つから導出され得る。前記少なくとも1つのプロセッサは、同期信号を提供することと、前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定することと、前記画像キャプチャデバイスを用いて最初の第1の画像を取得することと、ここにおいて、前記最初の第1の画像は前記第1の向きに関連付けられ、前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定することと、を行うように構成され得る。
[0005] 本開示による第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための例となる方法は、前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、前記1つまたは複数の画像の分析に基づいて補償情報を決定することと、1つまた複数の慣性センサおよび前記補償情報に基づいて位置を決定することと、を含む。
[0006] そのような方法のインプリメンテーションは、以下の特徴のうちの1つまたは複数を含み得る。前記補償情報は、変位変化およびポーズ変化を含み得る。前記1つまたは複数の画像の前記分析は、前記1つまたは複数の画像中の共通の特徴を識別することと、前記識別された共通の特徴に基づいて回転行列を計算することと、前記回転行列に基づいてポーズ変化推定値を生成することと、を含み得る。前記ポーズ変化推定値を生成することは、不確定値を生成することを含み得る。前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、慣性センサから受信された情報に基づき得る。アライメントの前記変化の検出および前記補償情報の前記決定は同期され得る。前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きが決定され得、最初の第1の画像は、前記最初の第1の画像が前記第1の向きに関連付けられるように、前記画像キャプチャデバイスを用いて取得され得、前記補償情報は、前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて決定され得る。前記補償情報は、慣性ナビゲーションシステムに出力され得る。
[0007] 本開示による第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための非一時的な機械可読媒体の例は、前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得するためのコードと、前記1つまたは複数の画像の分析に基づいて補償情報を決定するためのコードと、1つまた複数の慣性センサおよび前記補償情報に基づいて位置を決定するためのコードと、を含む。
[0008] そのような非一時的な機械可読媒体のインプリメンテーションは、以下の特徴のうちの1つまたは複数を含み得る。前記補償情報は、変位変化およびポーズ変化を含み得る。前記1つまたは複数の画像の前記分析に基づいて前記補償情報を決定するための前記コードは、前記1つまたは複数の画像中の共通の特徴を識別するためのコードと、前記識別された共通の特徴に基づいて回転行列を計算するためのコードと、前記回転行列に基づいてポーズ変化推定値を生成するためのコードと、を含み得る。前記回転行列に基づいて前記ポーズ変化推定値を生成するための前記コードは、不確定値を生成するためのコードを含み得る。前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、慣性センサから情報を受信するためのコードを含み得る。前記命令は、アライメントの前記変化の検出および前記補償情報の前記決定を同期させるためのコードを含み得る。前記命令は、また、前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定するためのコードと、最初の第1の画像が前記第1の向きに関連付けられるように、前記画像キャプチャデバイスを用いて前記最初の第1の画像を取得するためのコードと、前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定するためのコードと、を含み得る。前記命令は、ナビゲーションユニットに前記補償情報を出力するためのコードを含み得る。
[0009] 本開示による第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための装置の例は、前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得するための手段と、前記1つまたは複数の画像の分析に基づいて補償情報を決定するための手段と、1つまた複数の慣性センサおよび前記補償情報に基づいて位置を決定するための手段と、を含む。
[0010] そのような装置のインプリメンテーションは、以下の限定のうちの1つまたは複数を含み得る。前記補償情報を決定するための前記手段は、変位変化を決定するための手段と、ポーズ変化を決定するための手段と、を含み得る。前記1つまたは複数の画像の前記分析は、前記1つまたは複数の画像中の共通の特徴を識別するための手段と、前記識別された共通の特徴に基づいて回転行列を計算するための手段と、前記回転行列に基づいてポーズ変化推定値を生成するための手段と、を含み得る。前記装置は、さらに、前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定することと、前記画像キャプチャデバイスを用いて最初の第1の画像を取得するための手段と、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられ、前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定するための手段と、を含み得る。前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、慣性センサから情報を受信するための手段を含み得る。前記補償情報を出力するための前記手段は、アプリケーションプロセッサに前記補償情報を出力するための手段を含み得る。
[0011] 本明細書で説明される項目および/または技法は、下記の能力のうちの1つまたは複数、および/または記載されていない他の能力を提供することができる。モバイルデバイスは、車両内にあるクレードルに、または他の移動可能なロケーションに置かれ得る。車両基準フレーム(vehicle reference frame)(すなわち、v−フレーム)とモバイルデバイス基準フレーム(mobile device reference frame)(すなわち、b−フレーム)との間のミスアライメントが検出され得る。GNSS測位が、ミスアライメントを較正するために使用され得る。ミスアライメントが較正されたときに、時間タグ(time-tag)が作成および記憶され得る。モバイルデバイスは、ミスアライメントが較正されたときに第1の画像を取得するように構成される。モバイルデバイス上の前面カメラまたは背面カメラが、画像を取得するために使用され得る。モバイルデバイスは、モバイルデバイス内の慣性センサが測位(例えば、自律航法(dead reckoning))のために使用されることができるように、INS状態に置かれる。モバイルデバイスは、その次に、向きが変えられる(reoriented)か、動かされることもあり、v−フレームとb−フレームとの間の新たなミスアライメントが検出される。新たなミスアライメントが検出されたときに時間タグが作成および記憶され得る。モバイルデバイスは、新たなミスアライメントが検出されたときに(例えば、前面または背面カメラを用いて)第2の画像を取得するように構成される。ポーズ推定が第1および第2の画像中の共通のオブジェクトを使用して行われる。ポーズ推定情報は、ミスアライメントの変化を補償し、よって、新たなミスアライメントに関して再較正する必要性を低減するために使用される。モバイルデバイスは、慣性センサが測位情報を提供し続けるように、INS状態のままであり得る。INSシステムの関与率(engagement rate)が増加し得、INS測位情報の精度が改善され得る。非常に長いGNSS再較正プロセスが回避されることができ、モバイルデバイス上のバッテリ電力が節約されることができる。他の能力が提供されることができ、本開示による全インプリメンテーションが、説明されている能力の、すべては言うまでもなく、任意のものを提供しなければならないわけではない。
[0012] 非限定的かつ非包括的な態様が、以下の図面を参照して説明され、ここで、別途指定されていない限り、同様の参照番号は、様々な図面全体を通して同様の部分を指す。
[0023] いくつかの例となる技法が本明細書中に提示され、それらは、クレードル回転インセンシティブ慣性ナビゲーションを場合によると提供する、またはそうでない場合サポートするためにモバイルデバイスにおいて様々な方法および装置でインプリメントされ得る。多くの車両(例えば、自動車、自転車、ボート、レクリエーション用車両、等)は、モバイルデバイスを車両に固定するように構成されているクレードルを含む。しかしながら、これらのクレードルは、モバイルデバイスと車両との間の相対的な向きが時間にわたって変化することを可能にし得る。すなわち、クレードル内の機械アセンブリが緩く、モバイルデバイスが動くことを可能にし得るか、またはクレードルは、ユーザに対する視野角を改善するためにモバイルデバイスが回転する、またはそうでない場合調整されることを可能にするように構成され得る。多くのGNSSおよびINS可能なシステムでは、車両フレーム(例えば、v−フレーム)とモバイルボディフレーム(b−フレーム)との間のミスアライメントが、INSが関与する(engaged)前に較正され得る。一旦較正されると、v−フレームとb−フレームとの間の向きが変化した場合、INSは解除される(disengaged)ことになり、再較正シーケンスが実行され得る。このような再較正シーケンスは、GNSS測位のさらなる使用と、GNSS回路をアクティベートするのに必要とされる対応するバッテリ電力の損失を必要とすることもある。
[0024] ある特定の車載GNSS/INSナビゲーションのインプリメンテーションでは、モバイルボディフレーム(b−フレーム)と車両フレーム(v−フレーム)との間のミスアライメントが、慣性ナビゲーションシステム(INS)が関与する前に較正される。モバイルデバイスは、車載GNSS/INSナビゲーション目的では、典型的には、ダッシュボード上に取り付けられたクレードル、フロントガラスに取り付けられたクレードル、ハンドルに取り付けられたクレードルに搭載されるか、またはカップホルダ、座席上、グローブボックスにただ置かれ得るか、あるいはユーザによって装着され得る。INSナビゲーション機能(feature)の関与の前に、GNSSの助けでミスアライメントが決定される必要がある。ミスアライメントの変化が検出された場合、INSナビゲーション機能は、典型的には、別のGNSS較正プロシージャが実行されるまで解除される。モバイルデバイス上のINSナビゲーション能力は、それゆえ、クレードル回転によって引き起こされるミスアライメントのその後の変化、または車両に対するモバイルデバイスの向きの他の変化に影響されやすい。例えば、車両が動いている間にモバイルデバイスクレードルが回転した場合、INSは解除され得、INSが再関与する前にミスアライメントはオンザフライ(on-the-fly)で再較正され得る。ミスアライメントの較正および再較正は、一般に、車両力学(vehicle dynamics)およびGNSS信号状態の影響を受けやすく、最終的には、時間を消費することもあるか、またはINS関与率に悪影響を及ぼすこともある。さらに、向きの変化に基づく関与から解除へのINSナビゲーション状態の繰り返しのサイクルは、モバイルデバイスによって消費される電力に影響する(すなわち、バッテリ充電を激減させる)こともある。本明細書で説明されている例となる技法は、従来の車載モバイルINSナビゲーションを強化し、それにより、強化されたシステムは、クレードル回転によって引き起こされる影響にあまりセンシティブでなく、また影響をあまり受けやすくないので、増加したINS関与率、関与状態と解除状態とのサイクルの減少、および電力消費の減少が実現されることができる。
[0025] 図1Aを参照すると、クレードルインセンシティブ慣性ナビゲーション技法をインプリメントするために使用されることができるモバイルデバイス100のブロック図が図示されている。モバイルデバイス100は、様々なモバイル通信および/またはコンピューティングデバイスの機能性を含む、またはインプリメントすることができ、複数例が、現存するものでも将来開発されるものでも、車載ナビゲーションシステム、ウェアラブルナビゲーションデバイス、スマートフォン、腕時計、ヘルメットカメラ、等を含むが、それらに限定されない。モバイルデバイス100は、プロセッサ111(またはプロセッサコア)、1つまたはデジタルシグナルプロセッサ(DSP)120、およびメモリユニット160を含む。プロセッサ111は、中央処理ユニット(CPU)、マルチコアCPU、グラフィックス処理ユニット(GPU)、マルチコアGPU、ビデオエンジン、またはこれらの任意の組合せであり得る。プロセッサコアは、アプリケーションプロセッサ(applications processor)であり得る。ナビゲーションプロセッサ115および視覚支援プロセッサ(vision aiding processor)125が、限定ではなくただの例としてモバイルデバイス100内に図示されている。ナビゲーションプロセッサ115および視覚支援プロセッサ125は、メモリユニット160に含まれ、プロセッサ111を利用し得る。ナビゲーションプロセッサ115および/または視覚支援プロセッサ125は、モバイルデバイス内のシステムオンチップ(SoC)であり得る(例えば、それは専用ハードウェアであり得るか、または(例えば、ディスクリートアプリケーションプロセッサ上の)ディスクリートチップセットあるいはディスクリートチップセットの一部であり得る)か、または(例えば、モバイルデバイス100から遠隔にある)1つまたは複数の補助システムに含まれ得る。1つの実施形態において、モバイルデバイスは、例えば、適切なレンズ構成を有する相補型金属酸化膜半導体(CMOS)画像センサのような、1つまたは複数のカメラ105(例えば、前面および/または背面)を含む。電荷結合素子(CCD)および裏面照射型CMOS(back side illuminated CMOS)のような他のイメージング技術が使用され得る。カメラ105は、画像情報を取得し、それを視覚支援プロセッサ125に提供するように構成される。別の実施形態において、1つまたは複数の外部カメラが使用され得る。例えば、設置されたカメラを車両が含み得、モバイルデバイスは、ミスアライメントを決定するために、それらの設置されたカメラによって取得された画像を処理するように構成され得る。
[0026] モバイルデバイス100は、また、ワイヤレスネットワーク上でワイヤレスアンテナ132を介してワイヤレス信号134を送信および受信するように構成されたワイヤレストランシーバ130を含み得る。ワイヤレストランシーバ130は、バス101に接続されている。ここで、モバイルデバイス100は、単一のワイヤレストランシーバ130を有するものとして例示されている。しかしながら、モバイルデバイス100は、代替的に、Wi−Fi(登録商標)、CDMA、広帯域CDMA(WCDMA(登録商標))、ロングタームエボリューション(LTE(登録商標))、Bluetooth(登録商標)短距離ワイヤレス通信技術、等のような、複数の通信規格をサポートするために、複数のワイヤレストランシーバ130およびワイヤレスアンテナ132を有することができる。
[0027] ワイヤレストランシーバ130は、複数のキャリア(異なる周波数の波形信号)上の動作をサポートし得る。マルチキャリア送信機は、変調された信号を複数のキャリア上で同時に送信することができる。変調された各信号は、符号分割多元接続(CDMA)信号、時分割多元接続(TDMA)信号、直交周波数分割多元接続(OFDMA)信号、単一キャリア周波数分割多元接続(SC−FDMA)信号、等であり得る。変調された各信号は、異なるキャリア上で送られ得、パイロット、オーバヘッド情報、データ、等を搬送し得る。
[0028] モバイルデバイス100は、また、衛星測位システム(SPS:satellite positioning system)アンテナ172を介して(例えば、SPS衛星から)SPS信号174を受信する全地球航法衛星システム(GNSS)受信機170を含む。GNSS受信機170は、単一の全地球航法衛星システム(GNSS)または複数のそのようなシステムと通信することができる。GNSSは、全地球測位システム(GPS)、ガリレオ、Glonass、北斗(コンパス)、等を含み得るが、これらに限定されない。SPS衛星は、また、衛星、宇宙ビークル(SV:space vehicle)、等と称される。GNSS受信機170は、全体的または部分的にSPS信号174を処理し、モバイルデバイス100のロケーションを決定するためにこれらのSPS信号174を使用する。プロセッサ111、DSP120、およびメモリ16、および/または特殊プロセッサ(単数または複数)(図示せず)もまた、GNSS受信機170と連動して、全体的または部分的に、SPS信号174を処理し、および/またはモバイルデバイス100のロケーションを計算するために利用され得る。SPS信号174または他のロケーション信号からの情報の記憶が、メモリユニット160またはレジスタ(図示せず)を使用して実行される。ナビゲーションプロセッサ115は、GNSS信号に基づいて位置情報を算出し、および/または加速度計140、ジャイロスコープ145、および/または他のセンサ150(例えば、圧力センサ、磁力計、マイクロフォン)のような、微小電気機械システム(MEMS:microelectromechanical system)から受信された情報に基づいて自律航法位置情報を算出するように構成された命令を備え得る。1つのみのプロセッサ111、DSP120、およびメモリユニット160が図1Aに図示されているが、これらのコンポーネントのすべて、ペア、またはいずれかのうちの1つより多くのものがモバイルデバイス100によって使用されることができる。
[0029] メモリユニット160は、1つまたは複数の命令またはコードとして機能を記憶する、非一時的な機械可読記憶媒体(単数または複数)を含むことができる。メモリユニット160を構成することができる媒体は、RAM、ROM、FLASH、ディスクドライブ、等を含むが、それらに限定されない。一般に、メモリユニット160によって記憶される機能は、プロセッサ111、DSP120、または他の特殊プロセッサによって実行される。よって、メモリユニット160は、説明されている機能をプロセッサ111に行わせるように構成されたソフトウェア(プログラミングコード、命令、機械コード、等)を記憶するプロセッサ可読メモリおよび/またはコンピュータ可読メモリである。代替的に、モバイルデバイス100の1つまたは複数の機能は、全体的または部分的にハードウェアにおいて実行され得る。メモリユニット160は、バス101を介してプロセッサ111に通信的に結合され得る。通信的に結合される、という用語は、電子信号を交換および処理するモバイルデバイス100または他のシステム内のコンポーネントの能力を説明している。
[0030] モバイルデバイス100は、モバイルデバイス100が利用可能なビューおよび/または情報内の他の通信エンティティに基づいて、様々な技法を使用して関連するシステム内のそれの現在位置を推定することができる。例えば、モバイルデバイス100は、1つまたは複数のワイヤレスローカルエリアネットワーク(LAN)、Bluetooth(登録商標)またはZigBee(登録商標)のような短距離ワイヤレス通信技術を利用するパーソナルエリアネットワーク(PAN)等に関連付けられたアクセスポイント、SPS衛星、および/またはマップサーバあるいはLCIサーバから取得されたマップ制約データから取得された情報を使用して、それの位置を推定することができる。モバイルデバイス100は、また、加速度計140、ジャイロスコープ145、および他のセンサ150(例えば、磁力計、圧力センサ、固体コンパス(solid state compass))のような慣性センサを使用する自律航法技法に基づいてそれの現在位置を推定し得る。ある例において、モバイルデバイス100は、カメラ105によって取得された画像に少なくとも部分的に基づいて(例えば、現在の画像を以前に記憶された画像と比較することによって)現在位置を決定し得る。一般に、慣性センサは、モバイルデバイス100の変位を測定するために使用される。例えば、モバイルデバイス100は、ナビゲーションプロセッサ115が1つまたは複数の慣性センサ(例えば、加速度計、ジャイロスコープ、固体コンパス)から信号を受信し、自律航法位置を算出するように構成されるように、INS状態に入り得る。自律航法位置は、周期的なベースで、および/または進路および速度情報が変化したときに算出され得る。ある例において、自律航法位置は、別の位置が決定(例えば、GNSS、三辺測量、ユーザ入力)されると調整され得る。歩行者アプリケーションの場合、加速度計140は、歩数計を駆動し、歩数または歩数速度を決定するために、3軸加速度計を含み得る。
[0031] 図1Bは、本明細書で説明されている機能を行うように動作可能なモバイルデバイス100の例示である。図1Bは、図1Aのモバイルデバイスの1つまたは複数のコンポーネントを使用するスマートフォンを表し得る。しかしながら、本明細書で説明されている機能性は、スマートフォンを使用することに限定されるものではなく、図1Aに類似し、そのような機能性を実行するのに好適な能力を有する任意のデバイスを使用することができる。これらのデバイスは、モバイルデバイス、デジタルカメラ、カムコーダ、タブレット、PDA、または他の任意の同様のデバイスを含み得る。図1Bは、モバイルデバイス100の前面180と背面190とを例示している。前面180は、ディスプレイ182と第1のカメラ105aとを含む。第1のカメラ105aは、モバイルデバイス100の前面側に結合されており、前面カメラ(front-facing camera)とも称される。モバイルデバイス100の背面190は、本明細書では背面カメラ(rear-facing camera)とも称される、第2のカメラ105bを含む。モバイルデバイス100は、前面カメラ105aがモバイルデバイス100のユーザを向き、背面カメラ105bがデバイスのユーザから向きがそれるように、持たれ得るか搭載され得る。代替的に、モバイルデバイス100がどのようにユーザによって持たれているか、またはクレードルに搭載されているかに依存して、その反対が当てはまり得る。前面カメラ105aと背面カメラ105bの両方は、図1Aを参照して説明されたように、カメラ(単数または複数)105のインプリメンテーションであり、視覚支援プロセッサ125に画像情報を提供するように構成され得る。
[0032] 図2を参照すると、図1Aのモバイルデバイスと通信するように構成された例となるネットワークアーキテクチャ200が図示されている。モバイルデバイス100は、ワイヤレス通信ネットワークに無線信号を送信し、ワイヤレス通信ネットワークから無線信号を受信し得る。1つの例において、モバイルデバイス100は、ワイヤレス通信リンク222を介して、ワイヤレスベーストランシーバサブシステム(BTS)、ノードB、または進化型ノードB(eノードB)を備え得るセルラトランシーバ220にワイヤレス信号を送信すること、またはセルラトランシーバ220からワイヤレス信号を受信することによって、セルラ通信ネットワークと通信し得る。同様に、モバイルデバイス100は、ワイヤレス通信リンク232を介して、ローカルトランシーバ230にワイヤレス信号を送信する、またはローカルトランシーバ230からワイヤレス信号を受信し得る。ローカルトランシーバ230は、アクセスポイント(AP)、フェムトセル、ホーム基地局、スモールセル基地局、ホームノードB(HNB)またはホームeノードB(HeNB)を備え得、ワイヤレスローカルエリアネットワーク(WLAN、例えば、IEEE802.11ネットワーク)、ワイヤレスパーソナルエリアネットワーク(WPAN、例えば、Bluetooth(登録商標)ネットワーク)またはセルラネットワーク(例えば、LTEネットワークまたは次の段落で説明されるもののような他のワイヤレスワイドエリアネットワーク)へのアクセスを提供し得る。当然ながら、これらは、ワイヤレスリンクを介してモバイルデバイスと通信することができるネットワークの例にすぎず、特許請求される主題が、この点に関して限定されるものではないことが理解されるべきである。
[0033] ワイヤレス通信リンク222をサポートすることができるネットワーク技術の例は、移動通信のためのグローバルシステム(GSM(登録商標))、符号分割多元接続(CDMA)、広帯域CDMA(WCDMA)、ロングタームエボリューション(LTE)、高速パケットデータ(HRPD)である。GSM、WCDMA、およびLTEは、3GPP(登録商標)によって定義されている技術である。CDMAおよびHRPDは、第3世代パートナーシッププロジェクト2(3GPP2)によって定義されている技術である。WCDMAは、また、ユニバーサルモバイル電気通信システム(UMTS)の一部でもあり、HNBによってサポートされ得る。セルラトランシーバ220は、(例えば、サービス契約下の)サービスのためにワイヤレス電気通信ネットワークへの加入者アクセスを提供する機器の配備を備え得る。ここで、セルラトランシーバ220は、セルラトランシーバ220がアクセスサービスを提供することが可能である範囲に少なくとも部分的に基づいて決定されるセル内の加入者デバイスにサービス提供する際にセルラ基地局の機能を実行し得る。ワイヤレス通信リンク222をサポートすることができる無線技術の例は、IEEE802.11、Bluetooth(登録商標)、およびLTEである。
[0034] 特定のインプリメンテーションにおいて、セルラトランシーバ220およびローカルトランシーバ230は、ネットワーク225上で1つまたは複数のサーバ240と通信し得る。ここで、ネットワーク225は、ワイヤードおよび/またはワイヤレスリンクの任意の組合せを備え得、セルラトランシーバ220および/またはローカルトランシーバ230および/またはサーバ240を含み得る。特定のインプリメンテーションにおいて、ネットワーク225は、ローカルトランシーバ230またはセルラトランシーバ220を通したモバイルデバイス100とサーバ240との間の通信を容易にすることが可能なインターネットプロトコル(IP)または他のインフラストラクチャを備え得る。あるインプリメンテーションにおいて、ネットワーク225は、モバイルデバイス100とのモバイルセルラ通信を容易にするために、例えば、基地局コントローラまたはパケットベースあるいは回路ベースのスイッチングセンタ(図示せず)のようなセルラ通信ネットワークインフラストラクチャを備え得る。特定のインプリメンテーションにおいて、ネットワーク225は、WLAN AP、ルータ、およびブリッジのようなローカルエリアネットワーク(LAN)エレメントを備え得、そのケースでは、インターネットのようなワイドエリアネットワークへのアクセスを提供するゲートウェイエレメントへのリンクを含むか、または有し得る。他のインプリメンテーションでは、ネットワーク225は、LANを備え得、ワイドエリアネットワークへのアクセスを有すことも有さないこともあるが、モバイルデバイス100に、(サポートされている場合)いずれのそのようなアクセスも提供しないこともある。いくつかのインプリメンテーションにおいて、ネットワーク225は、複数のネットワーク(例えば、1つまたは複数のワイヤレスネットワークおよび/またはインターネット)を備え得る。1つのインプリメンテーションにおいて、ネットワーク225は、1つまたは複数のサービングゲートウェイまたはパケットデータネットワークゲートウェイを含み得る。加えて、サーバ240のうちの1つまたは複数は、E−SMLC、セキュアユーザプレーンロケーション(SUPL:Secure User Plane Location)ロケーションプラットフォーム(SLP:SUPL Location Platform)、SUPLロケーションセンタ(SLC:SUPL Location Center)、SUPL測位センタ(SPC:SUPL Positioning Center)、位置決定エンティティ(PDE:Position Determining Entity)、および/またはゲートウェイモバイルロケーションセンタ(GMLC:gateway mobile location center)であり得、それらの各々は、ネットワーク225において1つまたは複数のロケーション取出し機能(LRF:location retrieval function)および/またはモビリティ管理エンティティ(MME:mobility management entities)に接続し得る。
[0035] 特定の態様において、また以下に説明されるように、モバイルデバイス100は、(例えば、GPSまたは他の衛星測位システム(SPS)の衛星210、セルラトランシーバ220、またはローカルトランシーバ230から受信される信号に関する)ロケーション関連測定値を取得し、場合によると、これらのロケーション関連測定値に基づいてモバイルデバイス100の位置フィックスまたは推定されたロケーションを算出することが可能な処理リソースおよび回路を有し得る。いくつかのインプリメンテーションにおいて、モバイルデバイス100によって取得されるロケーション関連測定値は、(例えば、1つまたは複数のサーバ240のうちの1つであり得る)エンハンスドサービングモバイルロケーションセンタ(E−SMLC:enhanced serving mobile location center)またはSUPLロケーションプラットフォーム(SLP)のようなロケーションサーバに転送され得、その後、ロケーションサーバは、それら測定値に基づいてモバイルデバイス100に関するロケーションを推定または決定し得る。現在例示されている例では、モバイルデバイス100によって取得されるロケーション関連測定値は、GPS、GLONASS、ガリレオ、または北斗のような全地球航法衛星システム(GNSS)またはSPSに属する衛星から受信されるSPS信号174の測定値を含み得、および/または(例えば、セルラトランシーバ220のような)既知のロケーションで固定された地上送信機(terrestrial transmitters)から受信された信号(例えば、222および/または232)の測定値を含み得る。モバイルデバイス100または別個のロケーションサーバは、次いで、例えば、GNSS、A−GNSS(Assisted GNSS)、アドバンスド順方向リンク三辺測量(AFLT:Advanced Forward Link Trilateration)、観測到着時間差(OTDOA:Observed Time Difference Of Arrival)または強化型セルID(E−ID:Enhanced Cell ID)またはこれらの組合せのような、いくつかの測位方法のうちのいずれか1つを使用して、これらのロケーション関連測定値に基づいて、モバイルデバイス100に関するロケーション推定値を取得し得る。これらの技法のうちのいくつか(例えば、A−GNSS、AFLT、およびOTDOA)では、送信機または衛星によって送信され、モバイルデバイス100において受信されるパイロット、測位基準信号(PRS)、または他の測位関連信号に少なくとも部分的に基づいて、既知のロケーションで固定された3つ以上の地上送信機に対する、あるいは正確に知られている軌道データを有する4つ以上の衛星に対する、またはこれらの組合せの、疑似距離(pseudoranges)またはタイミング差がモバイルデバイス100において測定され得る。セルラトランシーバ220、ローカルトランシーバ230、および衛星210、およびその中での様々な組合せのような様々な信号源に対して、ドップラー測定が行われ得る。1つまたは複数のサーバ240は、例えば、A−GNSS、AFLT、OTDOA、およびE−CIDのような測位技法を容易にするために、GNSS衛星に関する信号、タイミング、および軌道情報、地上送信機のロケーションおよびアイデンティティ、および/または測定されるべき信号に関する情報(例えば、信号タイミング)を含む、測位支援データをモバイルデバイス100に提供することが可能であり得る。例えば、1つまたは複数のサーバ240は、特定の会場のような特定の1つの領域または複数の領域にあるセルラトランシーバおよび/またはローカルトランシーバのロケーションおよびアイデンティティを示すアルマナック(almanac)を備え得、送信電力および信号タイミングのような、セルラ基地局またはAPによって送信される信号を説明する情報を提供し得る。E−CIDのケースでは、モバイルデバイス100は、セルラトランシーバ220および/またはローカルトランシーバ230から受信された信号に関する信号強度の測定値を取得し得、および/またはモバイルデバイス100とセルラトランシーバ220またはローカルトランシーバ230との間のラウンドトリップ信号伝搬時間(round trip signal propagation time)(RTT)を取得し得る。モバイルデバイス100は、モバイルデバイス100に関するロケーションを決定するために、1つまたは複数のサーバ240から受信された補助データ(例えば、地上アルマナックデータ、またはGNSSアルマナックおよび/またはGNSSエフェメリス情報のようなGNSS衛星データ)と共にこれらの測定値を使用し得るか、または1つまたは複数のサーバ240に測定値を転送して同じ決定を行い得る。ある実施形態において、サーバ240は、モバイルデバイスから画像情報を受信することと、本明細書で説明されている特徴分析およびポーズ推定を実行することとを行うように構成された視覚支援プロセッサを含み得る。
[0036] モバイルデバイス(例えば、図1Aのモバイルデバイス100)は、デバイス、ワイヤレスデバイス、モバイル端末、端末、モバイル局(MS)、ユーザ機器(UE)、SUPL対応端末(SET)、または他の何らかの名称で称されることもあり、セルフォン、スマートフォン、腕時計、車載ナビゲーションシステム、タブレット、PDA、追跡デバイスまたは他の何らかのポータブルあるいは移動可能なデバイスに対応し得る。必ずではないが、典型的に、モバイルデバイスは、例えば、GSM、WCDMA、LTE、CDMA、HRPD、Wi−Fi(登録商標)、BT、WiMax、等を使用するワイヤレス通信をサポートすることができる。モバイルデバイスは、また、例えば、ワイヤレスLAN(WLAN)、DSL、またはパケットケーブルを使用するワイヤレス通信もサポートすることができる。モバイルデバイスは、ユーザがオーディオ、ビデオ、および/またはデータI/Oデバイスならびに/あるいはボディセンサおよび別個のワイヤラインまたはワイヤレスモデムを用い得る、例えば、パーソナルエリアネットワークに、複数のエンティティを備え得るか、または単一のエンティティを備え得る。モバイルデバイス(例えば、モバイルデバイス100)のロケーションの推定は、ロケーション、ロケーション推定値、ロケーションフィックス、フィックス、位置、位置推定値、または位置フィックスと称されることもあり、地理的であり得、よって、高度コンポーネント(例えば、海水面からの高さ、地表面、床面、または地下面からの高さまたはそれより下の深さ)を含むことも含まないこともある、モバイルデバイスに関するロケーション座標(例えば、緯度および経度)を提供する。代替的に、モバイルデバイスのロケーションは、シビック(civic)ロケーションとして(例えば、郵便宛先または特定の部屋あるいはフロアのような建物内の何らかの地点あるいは狭いエリアの指定として)表され得る。モバイルデバイスのロケーションは、また、その中にモバイルデバイスが何らかの確率または信頼レベル(例えば、67%または95%)で位置することが予想される、(地理的またはシビック形式のいずれかで定められる)エリアまたはボリュームとしても表され得る。モバイルデバイスのロケーションは、さらに、例えば、地理的に、またはシビックの用語で、または地図、フロアプラン、または建物プラン上に示される地点、エリア、またはボリュームへの参照によって、定められ得る、距離および方向または既知のロケーションにおける何らかの起点(origin)に対して定められた相対的なX、Y、(およびZ)座標を備える、相対的なロケーションであり得る。本明細書に含まれる説明では、ロケーションという用語の使用は、別途示されていない限り、これらの変形物の任意のものを備え得る。
[0037] 図1Aおよび図1Bをさらに参照しながら図3を参照すると、モバイルデバイス100の慣性センサを介して取得される測定を容易にする、またはサポートするために、全体的または部分的に使用され得る、例となる座標システム300が図示されている。慣性センサ測定値は、例えば、関連付けられた加速度計140またはジャイロスコープ145によって生成される出力信号に少なくとも部分的に基づいて取得され得る。例となる座標システム300は、例えば、3次元デカルト座標システム(Cartesian coordinate system)を備え得る。例えば、加速度振動(acceleration vibration)を表す、モバイルデバイス100の変位が、少なくとも部分的に、例となる座標システム300の起点に対する3つの線形次元(linear dimensions)または直線軸X、Y、およびZを参照して、例えば、3次元(3D)加速度計のような好適な加速度計によって検出または測定され得る。例となる座標システム300は、モバイルデバイス100のボディとアラインされることもされないこともあることが認識されるべきである。あるインプリメンテーションでは、非デカルト座標システムが使用され得るか、または座標システムは、相互に直交する次元を定め得る。
[0038] 時に、例えば、重力についての向きの変化のような、モバイルデバイス100の回転運動(rotational motion)が、少なくとも部分的に、1次元または2次元を参照する好適な加速度計によって検出または測定され得る。例えば、いくつかの事例において、モバイルデバイス100の回転運動は、座標(φ(ファイ)、τ(タウ))の観点で検出または測定され得、ここで、ファイ(φ)は、306において矢印によって概して例示されているように、ロールまたはX軸周りの回転を表し、タウ(τ)は、308において概して例示されているように、ピッチまたはY軸周りの回転を表す。以下に説明されるように、モバイルデバイス100の回転運動は、また、例えば、X、Y、およびZ直交軸等に関して、好適なジャイロスコープによって検出または測定され得る。したがって、3D加速度計は、少なくとも部分的に、加速度振動のレベルと、ならびに、例えば、ロールまたはピッチ次元に関する重力についての変化とを検出または測定し得、よって、5次元の可観測性(observability)(X、Y、Z、φ、τ)を提供する。当然ながら、これらは、少なくとも部分的に、例となる座標システム300を参照して検出または測定されることができる動きの例にすぎず、特許請求される主題は、特定の動きまたは座標システムに限定されるものではない。
[0039] ある例において、モバイルデバイス100の回転運動が、少なくとも部分的に、適当または好適な程度の可観測性を提供するように、好適なジャイロスコープ145によって検出または測定され得る。ジャイロスコープ145は、1次元、2次元、または3次元を参照してモバイルデバイス100の回転運動を検出または測定し得る。よって、いくつかの事例において、例えば、ジャイロスコープの回転は、少なくとも部分的に、座標(φ、τ、Ψ)の観点で検出または測定され得、ここで、ファイ(φ)は、ロールまたはX軸周りの回転306を表し、タウ(τ)は、ピッチまたはY軸周りの回転308を表し、プサイ(ψ)は、310において概して参照されるように、ヨーまたはZ軸周りの回転を表す。ジャイロスコープは、必ずではないが、典型的に、角加速度(angular acceleration)(例えば、時間の単位の二乗ごとの角度の変化)、角速度(angular velocity)(例えば、時間の単位ごとの角度の変化)、または同様のものの観点で測定値を提供し得る。同様に、ここで、少なくとも部分的に、例となる座標システム300を参照してジャイロスコープによって検出または測定され得る動きに関する詳細は例にすぎず、特許請求される主題はそのように限定されるものではない。
[0040] 図4を参照すると、クレードルインセンシティブINSをインプリメントするための分散システム400の例のブロック図が図示されている。分散システムは、補助プロセッサ(AP:auxiliary processor)402とメインプロセッサ(MP)404とを含む。AP402はMP404に動作可能に接続され、MP404から受信されるイベントのインジケーションに応答するように構成される。一般に、AP402は、視覚センサ405から受信される情報に基づいてポーズ推定のような画像分析情報を提供するように構成される。視覚センサ405は、図1Aのカメラ105のようなCMOSイメージング技術であり得る。AP402は、視覚センサ405に動作可能に接続され、視覚センサ405をアクティベートして画像情報を受信するように構成された視覚支援プロセッサ(VA)425を含む。MP404は、GNSSプロセッサ470に動作可能に結合されたナビゲーションプロセッサ(NAV)415を含む。慣性センサ450は、ナビゲーションプロセッサ415からコマンドを受信し、加速度計およびジャイロスコープによる出力のような慣性データを返すように構成される。GNSSプロセッサ470は、衛星測位信号474を受信し、ナビゲーションプロセッサ415に位置情報を提供するように構成される。他の測位方法が位置情報を提供するために使用され得る。例えば、モバイルデバイス100または別個のサーバ240は、A−GNSS(Assisted GNSS)、アドバンスド順方向リンク三辺測量(AFLT)、観測到着時間差(OTDOA)または強化型セルID(E−ID)に基づいて、モバイルデバイス100に関するロケーション推定値を取得し得る。実施形態において、AP402、MP404、視覚センサ405、および慣性センサ450は、モバイルデバイス100のような単一のデバイス内に含まれ得る。別の実施形態において、図4に図示されているように、AP402、MP404、視覚センサ405、および慣性センサ450は、別個のデバイスに含まれ、ワイヤードまたはワイヤレス通信経路を介して情報を交換するように構成され得る。ある例において、視覚センサ405は、車両フレームに対して固定位置に設置され得る。慣性センサを含むモバイルデバイスは、車両内のクレードルに搭載され得、その結果、車両フレームに対するモバイルデバイスの向きが変わり得る。視覚センサ405は、クレードルに置かれた(cradled)モバイルデバイスの画像が取得されることができるように、車両内に配設され得る。すなわち、視覚センサ405および視覚支援プロセッサ425は、モバイルデバイスに関するポーズ推定情報を算出し、よって、変位および/または向きの変化(例えば、X、Y、Z、φ、τ、ψ)を検出するように構成され得る。
[0041] 図1A、図1B、図2、および図3をさらに参照しながら図5Aを参照すると、クレードル回転補償をインプリメントするための例となるメッセージフロー図500が図示されている。メッセージフロー図500は、ナビゲーションプロセッサ115、視覚支援(VA)プロセッサ125、およびカメラ(単数または複数)105間の情報フローを含む。ある例において、ナビゲーションプロセッサ115、視覚支援プロセッサ125、およびカメラ(単数または複数)105はモバイルデバイス100に含まれ、情報はバス101を介して通信され得る。ある実施形態において、ナビゲーションプロセッサ115および視覚支援プロセッサ125は、別個のプロセッサを有する別個のハードウェアエレメント(例えば、AP402、MP404)に配設され得、ワイヤードおよび/またはワイヤレスリンクを介して情報を交換するように構成され得る。ナビゲーションプロセッサ115および視覚支援プロセッサ125は、周期的なベースで、またはトリガリングイベント(例えば、ミスアライメント較正の完了またはミスアライメントの変化の検出)に基づいて、1つまたは複数の時間同期信号メッセージ502を交換するように構成される。典型的には、ナビゲーションプロセッサ115はSPS信号174を介して時間アップデートを受信し、時間同期信号メッセージ502を介して視覚支援プロセッサ125に時間情報を提供する。時間同期信号メッセージ502は、ミスアライメント較正の変化の検出の同期を可能にする。時間同期信号メッセージ502は、また、ポーズ変化推定値の生成を開始するためにも利用され得る。
[0042] ステージ504において、ナビゲーションプロセッサ115は、第1のボディフレームと第2のボディフレームとの間のミスアライメント較正を決定するように構成される。ある例において、第1のボディフレームは車両フレーム(v−フレーム)であり、第2のボディフレームは、モバイルボディフレーム(b−フレーム)である。モバイルボディはモバイルデバイス100であり得、モバイルフレームは、1つまたは複数のカメラ105とアラインされ得る。ステージ504で決定されたミスアライメント較正は、v−フレームとb−フレームとの間の最初のミスアライメントまたは向きを表す。ミスアライメント較正は、概して、GNSS信号から導出された位置情報と、対応するINS位置を比較することによって、ある時間期間にわたって決定される。すなわち、ナビゲーションプロセッサ115は、GNSS受信機170を用いて決定された一連のナビゲーションフィックスを、慣性センサを介して取得された対応する自律航法位置と比較するように構成される。プロセッサ111は、ミスアライメント較正を決定するための手段である。例えば、ミスアライメント較正は、GNSSおよびINS位置情報に基づく回転行列であり得る。ミスアライメント較正が完了すると、ナビゲーションプロセッサ115は、視覚支援プロセッサ125に較正完了メッセージ506を送るように構成される。較正完了メッセージ506は、(例えば、現在のシステム時間を示す)時間タグと、(例えば、メッセージを較正完了メッセージとして示す)イベントタグとを含み得る。現在ロケーション、進行方向、および速度のような他の情報がオプションとして含まれ得る。
[0043] 視覚支援プロセッサ125は、較正完了メッセージ506を受信し、カメラ105を用いて画像を取得するように構成される。モバイルデバイス100が2つのカメラ(例えば、前面カメラ105aおよび背面カメラ105b)を含む場合、視覚支援プロセッサは、画像を取得するためにカメラのうちの一方を選択するように構成される。カメラを選択するための基準は、レンズが塞がれている(例えば、いずれの画像情報も利用可能でない)かどうか、適正な露出(例えば、レンズが直射光を受けていない)、または画像品質(例えば、1つまたは複数のハイコントラストエリア)を決定することを含み得る。視覚支援プロセッサ125は、ステージ510においてカメラ105に第1の画像を取得するように命令するために、第1の画像取得トリガ508のようなトリガを発行し得る。第1の画像(すなわち、最初の画像)は、車両の内部のものであり得、車両とモバイルデバイスとの間の向きを覚えるために使用されることができる。ある例において、第1の画像は、車両の外部のもの(例えば、フロントガラスの外を見ているもの)であり得、ボンネットライン、フロントガラスフレーム、ボンネットの装飾品、アンテナ、等のような、車両に関連付けられた1つまたは複数の固定されたオブジェクトをキャプチャし得る。別の例において、カメラ105は、モバイルデバイス100の外部にあり、第1の画像は、(例えば、固定されたカメラと比較して)モバイルデバイスの相対的な向きをキャプチャする。カメラは、記憶およびその後の処理のために、第1の画像情報512を視覚支援プロセッサ125に提供するように構成される。第1の画像情報512は、画像データを含み、オプションとして、カメラが使用された日付、時間のような画像メタデータとカメラ設定(例えば、利得、オフセット、焦点)とを含み得る。視覚支援プロセッサ125は、画像セグメンテーションおよびエリア/オブジェクト検出のような、第1の画像に対する画像処理を実行するように構成され得る。第1の画像情報512は、メモリユニット160に記憶され得るか、または(例えば、AP402内の)視覚支援プロセッサにローカルに記憶され得る。
[0044] ステージ514において、ナビゲーションプロセッサ115は、位置変化イベントを検出するように構成される。ある例において、モバイルデバイス100内の慣性センサは、縦置きから横置きへの向きの変化によるY軸(τ)周りの回転のような再構成イベントを検出し得る。他の回転イベント(例えば、φ、Ψ)および変位変化イベント(例えば、X、Y、Z)もまた検出され得る。例えば、ユーザは、ダッシュボードからカップホルダにモバイルデバイス100を再配置し得る。回転および変位変化イベントは極端である必要はない。微妙な変化(例えば、90未満の向きの変化)が検出され得る。すなわち、(例えば、重力、車両の動き、等による)クレードルの向きの小さい変化が検出され得る。別の例において、クレードル回転イベントは、時間の経過に基づいて検出されると考えられ得る。すなわち、ミスアライメント較正は、ミスアライメント較正が最後に完了した時間から測定されながら周期的なベースで検証され得る。
[0045] ナビゲーションプロセッサ115は、視覚支援プロセッサ125に位置変化メッセージ516を送るように構成される。位置変化メッセージ516は、検出されたクレードル回転の時間タグ、イベント識別情報、および詳細を含み得る。例えば、詳細は、(単数または複数の)回転(例えば、φ、τ、および/またはΨ)の量、誤差値(例えば、GNSSが計算した位置とINSが計算した位置との間の距離)、および/またはミスアライメント較正から経過した時間を含み得る。視覚支援プロセッサ125は、第2の画像取得トリガ518をカメラ105に送るように構成される。ステージ520において、カメラ105は第2の画像を取得する。第2の画像は第1の画像と比較されることになるので、同じカメラ(例えば、前面、背面)が利用されるべきである。カメラは、ポーズ推定処理のために、第2の画像情報521を視覚支援プロセッサ125に提供する。
[0046] ステージ522において、視覚支援プロセッサ125は、第1の画像(すなわち、ステージ510で取得されたもの)と第2の画像(すなわち、ステージ520で取得されたもの)とに基づいてポーズ推定情報を決定するように構成される。視覚支援プロセッサ125は、第1および第2の画像に対して画像分析を実行するためにプロセッサ111を利用し得る。画像分析は、セグメンテーションおよび特徴認識を含み得る。ある実施形態において、視覚支援プロセッサ125は、画像中の特徴を識別(すなわち、画像認識)するように構成される。画像中の特徴を識別することは、また、遠隔で(例えば、サーバ240上で)も実行され得る。特徴は、画像の各々の中の共通の特徴の相対的なロケーションを比較するために使用され得る、ウィンドウライン、オーバーヘッドライト、シートバック、または画像中の他の共通の特徴のような、それぞれの画像中のハイコントラストエリアを含み得る。ポーズ変化推定は、第1および第2の画像中の共通の特徴の相対的なピクセルロケーションに基づく回転行列を含み得る。回転行列は、(例えば、ステージ514で検出された位置変化イベントによって引き起こされた)車両に対するモバイルボディの向きの変化を識別する。ある例において、ポーズ変化推定値は、低画像品質、特徴の相対的な位置、または複数軸の移動によって引き起こされる他の偏差に基づく不確定値を含み得る。不確定性は、第1および第2の画像における特徴次元(feature dimensions)の矛盾した計算によるものであり得る(例えば、対応問題)。他のポーズ推定および画像分析技法が、回転行列および不確定値を導出するために使用され得る。視覚支援プロセッサ125は、ポーズ情報メッセージ524をナビゲーションプロセッサ115に送る。ポーズ情報メッセージ524は、回転行列、不確定値、またはミスアライメント較正を修正するためにナビゲーションプロセッサ115によって使用されることになる他のポーズ情報を含み得る。
[0047] ステージ526において、ナビゲーションプロセッサ115は、ポーズ情報メッセージ524に含まれるポーズ情報を伝搬および適用し、INSナビゲーションを継続するように構成される。例えば、ステージ504で決定されたミスアライメント較正が、ポーズ情報メッセージ524に含まれる回転行列および不確定値によって修正され得る。結果として、INSナビゲーションシステムの適応性および継続性、ならびにナビゲーション精度が増加し得る。
[0048] 図1A、図1B、図2、図3、および図5Aをさらに参照しながら図5Bを参照すると、1つまたは複数の画像を用いてクレードル回転補償をインプリメントするための例となるメッセージフロー図550が図示されている。メッセージフロー図550は、ナビゲーションプロセッサ115、視覚支援(VA)プロセッサ125、および(単数または複数の)カメラ105間の情報フローを含む。ある例において、ナビゲーションプロセッサ115、視覚支援プロセッサ125、およびカメラ(単数または複数)105はモバイルデバイス100に含まれ、情報はバス101を介して通信され得る。ある実施形態において、ナビゲーションプロセッサ115および視覚支援プロセッサ125は、別個のプロセッサを有する別個のハードウェアエレメント(例えば、AP402、MP404)に配設され得、ワイヤードおよび/またはワイヤレスリンクを介して情報を交換するように構成され得る。ナビゲーションプロセッサ115は、ステージ514において位置変化イベントを検出するように構成され、前述されている。モバイルデバイス100内の慣性センサは、回転イベント(例えば、φ、Ψ)および/または変位イベント(例えば、X、Y、Z)のような位置変化イベントを検出し得る。例えば、回転イベントと変位イベントの両方は、ユーザが地図を読む、または通話を聞くためにモバイルデバイスを取り上げたときに生じ得る。ある例において、GNSSは、変化する信号強度または位置計算値に基づいて位置変化イベントを検出し得る。ナビゲーションプロセッサ115は、視覚支援プロセッサ125に位置変化メッセージ516を送るように構成される。位置変化メッセージ516は、検出されたクレードル回転の時間タグ、イベント識別情報、および詳細を含み得る。例えば、詳細は、(単数または複数の)回転(例えば、φ、τ、および/またはΨ)の量、誤差値(例えば、GNSSが計算した位置とINSが計算した位置との間の距離)、および/またはミスアライメント較正から経過した時間を含み得る。視覚支援プロセッサ125は、1つまたは複数の画像取得トリガ558をカメラ105に送るように構成される。ステージ560において、カメラ105は1つまたは複数の画像を取得する。カメラは、ポーズ推定処理のために、1つまたは複数の画像情報561を視覚支援プロセッサ125に提供する。
[0049] ステージ562において、視覚支援プロセッサ125は、ステージ560で取得された1つまたは複数の画像に基づいてポーズ推定情報を決定するように構成される。視覚支援プロセッサ125は、1つまたは複数の画像に対して画像分析を実行するためにプロセッサ111を利用し得る。画像分析は、1つまたは複数の画像中の特徴を識別することと、識別された特徴に基づいて回転行列を計算することと、回転行列に基づいてポーズ変化推定値を生成することと、を含み得る。前述されたように、画像中の特徴を識別することは、ローカルで、または遠隔で(例えば、サーバ240上で)実行され得る。特徴は、水平および垂直のハイコントラストエリア(例えば、ボンネットライン、後部のウィンドウフレーム、シートバックの外形)のような、既知の、すなわち推定された向きを有する特徴を含み得る。特徴の向きは、以前に取得された画像から決定され、画像ではないフォーマット(例えば、バイナリ特徴ファイル)で記憶され得る。ある例において、既知の特徴は、1つまたは複数の以前に記憶された画像(例えば、車両に関連付けられた単一の較正画像)に基づき得る。不確定性は、特徴の向きおよび/または次元の矛盾した決定によるものであり得る。他のポーズ推定および画像分析技法が、1つまたは複数の画像から回転行列および不確定値を導出するために使用され得る。視覚支援プロセッサ125は、ポーズ情報メッセージ524をナビゲーションプロセッサ115に送る。ポーズ情報メッセージ524は、回転行列、不確定値、またはミスアライメント較正を修正するためにナビゲーションプロセッサ115によって使用されることになる他のポーズ情報を含み得る。
[0050] 図1A〜図5Bをさらに参照しながら図6を参照すると、ミスアライメント較正の変化を補償するためのプロセス600は、図示されているステージを含む。しかしながら、プロセス600は、単に例であり、限定するものではない。プロセス600は、例えば、ステージを追加、除去、並べ替え、組合せ、同時に実行をすることによって、および/または単一のステージを複数のステージに分けることによって、変更することができる。
[0051] ステージ602において、画像キャプチャデバイスは、第1のボディフレームと第2のボディフレームとの間のアライメントの変化を検出することに応答して、第1のボディフレームに関連付けられた1つまたは複数の画像を取得するように構成される。ある例において、視覚センサ405は、画像キャプチャデバイスであり、1つまたは複数の画像を取得するための手段である。視覚センサ405は、例えば、クレードル回転イベントに応答して視覚支援プロセッサ425からトリガ信号を受信し得る。ある例において、第1のボディフレームは(例えば、モバイルデバイスに関連付けられた)b−フレームであり得、画像は、v−フレームに関して固定された1つまたは複数の特徴を含み得る。別の例において、第1のボディフレームはv−フレーム(すなわち、固定された車両カメラ)であり得、画像は、クレードルに置かれたモバイルデバイスの向きを含み得る。画像は、対応する光路(optical path)(例えば、レンズ)および処理能力に基づく解像度を有し得る(例えば、1.3メガピクセルまたはそれよりも高い値が典型である)。ステージ602において取得された1つまたは複数の画像画像は、画像内のオブジェクト/特徴のポーズ変化および/または変位変化を検出しようとするために、ほぼ同じ視点から以前に記憶された画像と比較され得る。1つまたは複数の画像中の特徴は、第1のボディフレームの1つまたは複数の以前に取得された画像から導出された情報と比較され得る。例えば、車両の内部の単一の「セットアップ」のような最初の第1の画像または較正画像は、将来の参照のために取得および記憶され得る。後続の画像は、そのような較正画像と比較され得る。
[0052] ステージ604において、視覚支援プロセッサ425は、1つまたは複数の画像の分析に基づいて補償情報を決定するように構成される。例えば、モバイルデバイス100内のプロセッサ111は、補償情報を決定するための手段であり得る。ある例において、最初のミスアライメント較正が、モバイルデバイス上のナビゲーション機能がアクティベートされたときに決定され得る。ミスアライメント較正は、第1のボディフレーム(例えば、b−フレーム)と第2のボディフレーム(例えば、v−フレーム)との間の向きの差を説明(accounts for)する。前述されたように、ミスアライメント較正は、GNSS位置情報および慣性センサから導出された自律航法データから決定され得る。ミスアライメント較正が完了したときに、画像キャプチャデバイスは画像ファイルを取得して記憶する。以前に記憶された画像ファイルとステージ602で取得された画像が比較される。視覚支援プロセッサ425は、プロセッサ111または他のプロセッサに、画像に対して画像分析およびポーズ推定を行わせるように構成された命令を含み得る。画像を処理することから取得されたポーズおよびアライメント情報は、ミスアライメント較正の変化を表す。例えば、変化は、画像から導出された、回転行列および場合によると不確定値として示され得る。ある例において、プロセッサ111は、回転行列および不確定値を計算するための手段(例えば、ローカル画像処理)であり得る。別の例において、サーバ240は、モバイルデバイス100から画像ファイルを受信し、回転行列および不確定値を返すように構成され得る(例えば、遠隔画像処理)。ナビゲーションプロセッサ415および1つまたは複数のプロセッサ(例えば、モバイルデバイス100プロセッサ111)は、補償情報を決定するための手段である。ナビゲーションプロセッサ415は、視覚支援プロセッサ425からポーズおよびアライメント情報を受信するように構成される。例えば、視覚支援プロセッサ425は、画像分析に基づいて回転行列および不確定値を出力し得る。画像分析は、1つまたは複数の画像中の共通の特徴を識別することと、共通の特徴に基づいて回転行列を計算することと、回転行列に基づいてポーズ変化推定値を生成することと、を含み得る。ナビゲーションプロセッサ415は、ミスアライメント較正および受信された回転行列に基づいて、新たな補償行列を生成するように構成され得る。
[0053] ステージ606において、ナビゲーションプロセッサ115は、補償情報および1つまたは複数の慣性センサに基づいて位置を決定するように構成される。例えば、加速度計140、ジャイロスコープ145、および/または他のセンサ150は、慣性情報をナビゲーションプロセッサ115に提供し得る。補償情報は、自律航法位置推定値を生成するために慣性センサ信号(すなわち、ナビゲーションプロセッサ115によって受信されたもの)に適用され得る。ある実施形態において、補償情報は、自律航法計算または他のロケーションベースのサービスでのその後の使用のために、アプリケーションプロセスまたは他のナビゲーションユニットに出力され得る。
[0054] 図1A〜図5をさらに参照しながら図7を参照すると、慣性ナビゲーションプロセッサを用いて現在位置を決定するためのプロセス700は、図示されているステージを含む。しかしながら、プロセス700は、単に例であり、限定するものではない。プロセス700は、例えば、ステージを、追加、除去、並べ替え、組合せ、同時に実行をすることによって、および/または単一のステージを複数のステージに分けることによって変更することができる。
[0055] ステージ702において、モバイルデバイス100は、モバイルボディフレームと車両フレームとの間の第1の向き決定するように構成される。ある例において、モバイルデバイス100は、車両内のクレードルに設置され得、ナビゲーション機能がアクティベートされる。モバイルデバイスは、慣性センサ(例えば、加速度計140)を有するINSと、GNSS受信機170とを含む。例えば、ナビゲーション機能をアクティベートすると、モバイルデバイス100は、GNSSベースの位置情報を計算し、その結果をINSによって計算された位置情報と比較し得る。プロセッサ111は、第1の向きを決定するための手段である。例えば、それぞれのGNSS/INS位置情報は、車両の移動と比較したクレードルにおけるモバイルデバイス100の向きに基づいて第1の回転行列を決定するために分析され得る。
[0056] ステージ704において、モバイルデバイス100は、画像キャプチャデバイスを用いて第1の画像を取得するように構成され、その結果、第1の画像は第1の向きに関連付けられる。カメラ(単数または複数)105は、第1の画像を取得するための手段である。第1の向きがステージ702において決定された後、モバイルデバイス100は、周囲のエリアの画像を取得するように構成され得る。モバイルデバイス100が複数のカメラ(例えば、前面カメラ105a、背面カメラ105b)を含む場合、それらカメラの各々は、ひとまとめに第1の画像を作ることになる画像を取得し得る。別の例において、モバイルデバイスは、それぞれのカメラの各々に関する画像品質を分析し、一方を選択することができる。取得された画像は、メモリユニット160に記憶され得る。ある例において、第1の画像は、第1の画像がモバイルデバイス100と車両(例えば、自動車、自転車、ボート、レクリエーション用車両、等)との間の第1の向きの記録であることを示す、時間タグまたは他のインデキシング方式(indexing system)に基づいて第1の向きに関連付けられ得る。
[0057] ステージ706において、モバイルデバイス100は、モバイルボディフレームと車両フレームとの間の第2の向きを検出するように構成される。ある例において、モバイルデバイス内のナビゲーションプロセッサ115および慣性センサは、第2の向きを検出するための手段である。すなわち、慣性センサは、いつクレードルが回転またはそうでない場合変位したかを検出し得る。他の例において、第2の向きは、周期的なGNSS位置およびそれぞれのINS位置との間の誤差として検出され得る。INS位置計算値は第1の向きを組み込み、しきい値が、第1の向きに対する可能な変化を示すために確立され得る。しきい値の違反(例えば、距離を超えること)は、第2の向きを検出するためのオプションである。
[0058] ステージ708において、モバイルデバイス100は、画像キャプチャデバイスを用いて第2の画像を取得するように構成され、その結果、第2の画像は第2の向きに関連付けられる。カメラ(単数または複数)105は、第2の画像を取得するための手段である。ある例において、モバイルデバイス100は、ステージ704において第1の画像を取得するために使用された同じカメラ(または複数のカメラ)を利用するように構成される。第1の画像は、第2の画像を取得するために使用され得る画像パラメータ(例えば、利得、オフセット)を示すメタデータを含み得る。第2の画像は、その後の画像分析のためにメモリユニット160に記憶され得る。ある例において、第2の画像は、第2の画像がモバイルデバイス100と車両との間の第2の向きの記録であることを示す、時間タグまたは他のインデキシング方式に基づいて第2の向きに関連付けられ得る。
[0059] ステージ710において、モバイルデバイス100内のプロセッサ111は、第1の画像および第2の画像に基づいて、推定されたポーズ変化を決定するように構成される。視覚支援プロセッサ125は、プロセッサ111または他のプロセッサ(図示せず)を、ポーズ変化推定値を決定するために第1および第2の画像に対して画像分析を実行するように構成するための命令を含む。例えば、分析は、画像をセグメント化することと、動いているアイテムと静止アイテムとを識別することとを含み得る。特徴抽出ステップが、各画像と、第1および第2の画像中の共通の特徴間の平行移動に対応する基礎行列(fundamental matrix)とについて実行され得る。モバイルデバイス100に関するポーズ変化は、基礎行列に基づいて推定され得る。
[0060] ステージ712において、モバイルデバイス100内のプロセッサ111は、ミスアライメント較正行列が慣性ナビゲーションシステムによって利用されるように、推定されたポーズ変化に基づいてミスアライメント較正行列を決定するように構成される。ナビゲーションプロセッサ115は、プロセッサ111または他のプロセッサを、ミスアライメント較正を決定するように構成するための命令を含む。ステージ710で決定された推定されたポーズ変化は、行列によって概して表され、ステージ702において決定された第1の向きと組み合わされ得る。結果は、ミスアライメント較正行列である。ミスアライメント較正行列および場合によると不確定値は、ミスアライメント較正行列を第2の画像に関連付ける、時間タグまたは他のインデックス情報と共にメモリユニット160に記憶され得る。ミスアライメント較正行列の第2の画像との相関は反復解(iterative solution)として意図されており、モバイルボディフレームと車両フレームとの間の追加の向きが検出された場合(例えば、モバイルデバイス100がクレードル内でさらに回転した場合)に使用され得る。すなわち、その後の各ミスアライメント較正行列は、対応する後続の画像にリンクされ得る。
[0061] ステージ714において、ナビゲーションプロセッサ115は、慣性ナビゲーションシステムを用いて現在位置を決定するように構成される。プロセッサ111および慣性センサ(例えば、加速度計140、ジャイロスコープ145、および他のセンサ150)は、現在位置を決定するための手段である。慣性センサから取得された自律航法情報は、モバイルデバイス100と車両フレームとの間の現在の向き(例えば、第2の向き)に基づいて較正される。位置情報が(例えば、ディスプレイ182を介して)表示され得るか、またはロケーションベースのサービスのような他のアプリケーションによって使用され得る。
[0062] 図1A〜図5をさらに参照しながら図8を参照すると、推定されたポーズ変化情報に基づいてINSミスアライメント較正を修正するための別のプロセス800は、図示されているステージを含む。しかしながら、プロセス800は、単に例であり、限定するものではない。プロセス800は、例えば、ステージを、追加、除去、並べ替え、組合せ、同時に実行をすることによって、および/または単一のステージを複数のステージに分けることによって変更することができる。本明細書で説明されている例は、ただの例であり、モバイルデバイス100を限定するものではない。
[0063] ステージ802において、モバイルデバイス100内のプロセッサ111は、GNSS信号およびINSセンサに基づいてロケーション情報を算出するように構成される。ナビゲーションプロセッサ115は、SPS信号174から導出された位置情報と、1つまたは複数の慣性センサ(例えば、加速度計140、ジャイロスコープ145、および/または他のセンサ150)から導出された自律航法情報とを含むロケーション情報を算出するためにプロセッサ111を利用するように構成される。
[0064] ステージ804において、モバイルデバイス100内のプロセッサ111は、ロケーション情報に基づいて、INSミスアライメント較正を計算するように構成される。ナビゲーションプロセッサ115は、GNSS位置をINS位置と比較するためにプロセッサ111を利用するように構成される。ロケーション情報における位置の数は、GNSS衛星の可視性(例えば、GNSS測位の精度)と車両の通った道筋とに基づいて変わり得る。ある例において、車両は、満足のいくINS位置情報を取得するために速度と方向を変更しなければいけない(例えば、コンパスの方位を順に読み上げる(box the compass))こともある。やがて(例えば、十分なデータ点があれば)、プロセッサ111は、回転行列の形式でGNSS位置情報とINS位置情報との間の相関を決定するように構成される。最初の回転行列は、INSミスアライメント較正として使用され得る。
[0065] ステージ806において、モバイルデバイス100のカメラ105は、モバイルデバイスを用いて第1の画像を取得するように構成される。説明されたように、カメラのうちの一方または両方(例えば、105a、105b)は、画像を取得するために使用され得る。第1の画像は、INSミスアライメント較正に関連付けられる。すなわち、画像は、ステージ804でINSミスアライメント較正が計算された後に取得され、それに応じて記憶およびインデックス付けされ得る。1つより多くの画像が、INSミスアライメント較正データに対してインデックス付けされ得る。
[0066] ステージ808において、モバイルデバイス100内のプロセッサ111は、クレードル回転イベントを検出するように構成される。クレードル回転イベントは、典型的には、モバイルデバイス100の向きを変更するように(例えば、縦置きから横置きにより良く見る、まぶしさを低減する、等のため)車両オペレータによって行われる調整である。重力または車両の動きによる小さい変化のような他のクレードル回転イベントもまた検出され得る。モバイルデバイス100内の慣性センサは、クレードル回転イベントのようなモバイルデバイス100の向きの相対的な変化を検出するための手段である。ナビゲーションプロセッサ115は、クレードル回転イベントが生じたことを示す時間タグまたは他のデータのような、インジケーションを記憶し得る。
[0067] ステージ810において、モバイルデバイス100のカメラ105は、第2の画像を取得するように構成される。視覚支援プロセッサ125は、第2の画像が取得されるべきであることを示すためのイベントメッセージをナビゲーションプロセッサ115から受信し得る。ある例において、イベントメッセージは、ステージ808におけるクレードル回転イベントを検出することに応じて生成される。ナビゲーションプロセッサによって送られたイベントメッセージは、クレードル回転イベントの時間を示す時間タグを含み得る。第2の画像および対応する時間タグは、メモリユニット160に記憶され得る。
[0068] ステージ812において、モバイルデバイス100内のプロセッサ111は、第1および第2の画像中のオブジェクトに基づいて、推定されたポーズ変化情報を決定するように構成される。視覚支援プロセッサ125は、画像セグメンテーション、特徴検出、およびポーズ推定のような画像処理アルゴリズムのためのコードを含む。ある例において、第1の画像および第2の画像中の共通の特徴が、(例えば、強度しきい値(intensity threshold)に基づいて)バイナリパターンに変換され得る。機能が特徴のxおよびy値にわたって定義され得る。プロセッサ111は、特徴間の距離を決定するためにそれぞれのx値およびy値に沿って一連の畳み込みを実行するように構成され得る。消失点および平面パターン検出のような他のポーズ推定技法が使用され得る。
[0069] ステージ814において、モバイルデバイス100内のプロセッサ111は、ポーズ変化情報に基づいて、INSミスアライメント較正を修正するように構成される。ポーズ変化情報は、第1および第2の画像に基づいて、向きの変化を示す回転行列として表され得る。プロセッサ111は、INSミスアライメント較正を修正するための手段である。例えば、ポーズ推定情報から導出された回転行列は、修正されたINSミスアライメント較正を作成するために、ステージ804において計算されたINSミスアライメント較正に適用され得る。修正されたINSミスアライメント較正は、メモリユニット160に記憶され、第2の画像に関連付けられ得る。関連付けは、時間タグまたは他のインデキシングスキームに基づき得る。
[0070] ステージ816において、モバイルデバイス100内のプロセッサ111は、INSセンサおよび修正されたINSミスアライメント較正に基づいてINSロケーションを算出するように構成される。ナビゲーションプロセッサ115は、慣性センサから信号を受信することと、修正されたINSミスアライメント較正を適用することと、INSロケーションを出力することと、を行うためのコードを含む。例えば、INSロケーションは、ディスプレイ182上に提示され得、および/または他のロケーションベースのサービスによって使用され得る。
[0071] 本明細書全体を通しての、「1つの例」、「ある例」、「ある特定の例」、または「実例的なインプリメンテーション」への参照は、特徴および/または例と関連して説明される特定の特徴、構造、または特性が、特許請求される主題の少なくとも1つの特徴および/または例に含まれ得ることを意味する。よって、本明細書全体にわたる様々な場所に「1つの例において」、「ある例」、「ある特定の例」、または「ある特定のインプリメンテーションにおいて」というフレーズ、または他の同様のフレーズが現れても、必ずしもすべて同じ特徴、例、および/または限定を指しているわけではない。さらに、特定の特徴、構造、または特性は、1つまたは複数の例および/または特徴において組み合わされ得る。
[0072] 本明細書に含まれる詳細な説明のいくつかの部分は、特定の装置、または専用コンピューティングデバイスあるいはプラットフォームのメモリ内に記憶される2値デジタル信号上の動作の象徴的な表現またはアルゴリズムの用語で提示される。この明細書の文脈では、特定の装置という用語または同様の用語は、一旦それがプログラムソフトウェアからの命令に従って特定の動作を行うようにプログラムされると、汎用コンピュータを含む。アルゴリズム的記述または象徴的表現は、信号処理または関連技術分野における当業者によって、それらの働きの実体を他の当業者に伝達するために、使用される技法の例である。アルゴリズムは、ここで、また一般に、所望の結果に至る、首尾一貫した一連の動作または同様の信号処理であると考えられる。この文脈では、動作または処理は、物理量の物理的な操作を伴う。必ずではないが、典型的には、そのよう量は、記憶、転送、組み合わせ、比較、またはそうでなければ操作されることが可能な電気信号または磁気信号の形態をとり得る。このような信号を、ビット、データ、値、エレメント、シンボル、文字、用語、番号、数字、または同様のものと称することが、主に共通使用の理由で、時として便利であることが証明されている。しかしながら、これらまたは同様の用語のすべてが、適切な物理量と関連付けられるべきであり、便利なラベルにすぎないことが理解されるべきである。別途明記されていない限り、本明細書の説明から明らかであるように、本明細書全体を通して、「処理する」、「算出する」、「計算する」、「決定する」、または同様のもののような用語を利用した説明が、専用コンピュータ、専用コンピューティング装置、または同様の専用電子コンピューティングデバイスのような、特定の装置のアクションまたはプロセスを指すことが認識される。本明細書の文脈では、それゆえ、専用コンピュータまたは同様の専用電子コンピューティングデバイスは、典型的には、専用コンピュータまたは同様の専用電子コンピューティングデバイスのメモリ、レジスタ、または他の情報記憶デバイス、送信デバイス、またはディスプレイデバイス内の物理的な電子量または磁気量として表される信号を操作または変換することが可能である。
[0073] 本明細書で説明されているワイヤレス通信技法は、ワイヤレスワイドエリアネットワーク(「WWAN」)、ワイヤレスローカルエリアネットワーク(「WLAN」)、ワイヤレスパーソナルエリアネットワーク(WPAN)、等のような様々なワイヤレス通信ネットワークと接続し得る。「ネットワーク」および「システム」という用語は、本明細書では交換可能に使用され得る。WWANは、符号分割多元接続(「CDMA」)ネットワーク、時分割多元接続(「TDMA」)ネットワーク、周波数分割多元接続(「FDMA」)ネットワーク、直交周波数多元接続(「OFDMA」)ネットワーク、シングルキャリア周波数分割多元接続(「SC−FDMA」)ネットワーク、または上記ネットワークの任意の組み合せ、等であり得る。CDMAネットワークは、ごくわずかの無線技術を挙げると、cdma2000、広帯域CDMA(「W−CDMA(登録商標)」)のような、1つまたは複数の無線アクセス技術(「RAT」)をインプリメントし得る。ここで、cdma2000は、IS−95、IS−2000、およびIS−856規格によってインプリメントされる技術を含み得る。TDMAネットワークは、モバイル通信のためのグローバルシステム(「GSM」)、デジタルアドバンスドモバイルフォンシステム(「D−AMPS」)、または他の何らかのRATをインプリメントし得る。GSMおよびW−CDMAは、「第3世代パートナーシッププロジェクト(「3GPP」)という名称のコンソーシアムによる文書で説明されている。cdma2000は、「第3世代パートナーシッププロジェクト2(「3GPP2」)」という名称のコンソーシアムによる文書で説明されている。3GPPおよび3GPP2の文書は、公的に入手可能である。4Gロングタームエボリューション(「LTE」)通信ネットワークは、また、ある態様において、特許請求される主題にしたがってインプリメントされ得る。WLANは、IEEE802.11xネットワークを備え得、WPANは、例えば、Bluetooth(登録商標)ネットワーク、IEEE802.15xを備え得る。本明細書で説明されているワイヤレス通信のインプリメンテーションは、また、WWAN、WLAN、またはWPANの任意の組合せと関連して使用され得る。
[0074] 別の態様において、先に記載されたように、ワイヤレス送信機またはアクセスポイントは、セルラトランシーバデバイスを備え得、セルラ電話サービスをビジネルまたは自宅に拡張するために利用される。このようなインプリメンテーションにおいて、1つまたは複数のモバイルデバイスは、例えば、符号分割多元接続(「CDMA」)セルラ通信プロトコルを介してセルラトランシーバデバイスと通信し得る。
[0075] 本明細書で説明されている技法は、いくつかのGNSSのうちのいずれか1つおよび/またはGNSSの組合せを含むSPSと使用され得る。さらに、そのような技法は、「スードライト(pseudolites)」として働く地上送信機、またはSVとそのような地上送信機の組合せを利用する測位システムを用いて使用され得る。地上送信機は、例えば、PNコードまたは(例えば、GPSまたはCDMAセルラ信号と同様の)他のレンジングコードをブロードキャストする地上型送信機(ground-based transmitters)を含み得る。そのような送信機は、遠隔受信機による識別を可能にするために一意的なPNコードが割り当てられ得る。地上送信機は、例えば、トンネル、鉱山、建物、都市キャニオン、または他の囲まれたエリアの中のような、軌道周回SVからのSPS信号が利用不可能であり得る状況でSPSを増大させるのに有用であり得る。スードライトの別のインプリメンテーションは無線ビーコンとして知られている。「SV」という用語は、本明細書で使用される場合、スードライト、スードライトの同等物、および場合によると他のものとして働く地上送信機を含むように意図されている。「SPS信用」および/または「SV信号」という用語は、本明細書で使用される場合、地上送信機からのSPSのような信号を含むように意図されており、スードライトまたはスードライトの同等物として働く地上送信機を含む。
[0076] 先の詳細な説明では、特許請求される主題の完全な理解を提供するために、多くの特定の詳細が述べられている。しかしながら、特許請求される主題がこれらの特定の詳細なしに実施され得ることが当業者によって理解されるであろう。他の事例において、当業者であれば既知である方法および装置は、特許請求される主題を曖昧にしないように、詳細には説明されていない。
[0077] 「および」、「または」、および「および/または」という用語は、本明細書で使用される場合、このような用語が使用される文脈に少なくとも部分的に依存することもまた期待される様々な意味を含み得る。典型的には、「または」は、A、B、またはCのようなリストを関連付けるために使用される場合、ここでは包括的な感覚で使用される、A、B、およびC、と同様に、ここでは排他的な感覚で使用される、A、B、またはC、を意味するように意図されている。さらに、「1つまたは複数の」という用語は、本明細書で使用される場合、任意の特徴、構造、または特性を単数形で説明するために使用され得るか、または、複数または何らかの組合せの特徴、構造、または特性を説明するために使用され得る。しかしながら、これは、例示的な例にすぎず、特許請求される主題がこの例に限定されないことが留意されるべきである。
[0078] 例となる特徴であると現在考えられているものが例示および説明されてきたが、特許請求される主題から逸脱することなく、様々な他の修正が行われ得、同等物が置き換えられ得ることが、当業者によって理解されるであろう。追加的に、本明細書で説明されている中心的な概念から逸脱せずに、多くの修正が、特許請求される主題の教示に特定の状況を適応させるために行われ得る。
[0079] それゆえ、特許請求される主題が、開示された特定の例に限定されるものではなく、このような特許請求される主題が、添付の特許請求の範囲内にあるすべての態様およびその同等物もまた含み得ることが意図されている。
[0080] ファームウェアおよび/またはソフトウェアを伴うインプリメンテーションの場合、これら方法は、本明細書で説明されている機能を行うモジュール(例えば、プロセッサ、メモリ、プロシージャ、関数、等)でインプリメントされ得る。命令を有形的に具現化する任意の機械可読媒体が、本明細書で説明されている方法をインプリメントする際に使用され得る。例えば、ソフトウェアコードは、メモリに記憶され、プロセッサユニットによって実行され得る。メモリは、プロセッサユニット内、またはプロセッサユニットの外部にインプリメントされ得る。本明細書で使用される場合、「メモリ」という用語は、任意のタイプの長期、短期、揮発性、不揮発性、または他のメモリを指し、任意の特定のタイプのメモリあるいは任意の特定の数のメモリ、またはメモリが記憶される媒体のタイプに限定されるものではない。
[0081] ファームウェアおよび/またはソフトウェアにおいてインプリメントされる場合、これら機能は、非一時的な機械可読記憶媒体上に1つまたは複数の命令またはコードとして記憶され得る。複数例が、データ構造で符号化されたコンピュータ可読媒体、およびコンピュータプログラムで符号化されたコンピュータ可読媒体を含む。機械またはコンピュータ可読媒体は、物理的なコンピュータ可読記憶媒体(例えば、非一時的な機械可読媒体)を含む。記憶媒体は、コンピュータによってアクセスされることができる任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROM、または他の光ディスク記憶装置、磁気ディスク記憶装置、半導体記憶装置、または他の記憶デバイス、あるいは、命令またはデータ構造の形態で所望のプログラムコードを記憶するように使用されることができ、かつ、コンピュータによってアクセスされることができる任意の他の媒体を備えることができ、ディスク(disk)およびディスク(disc)は、本明細書で使用される場合、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、およびblu−ray(登録商標)ディスクを含み、ここで、ディスク(disk)は通常、磁気的にデータを再生するが、ディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
[0081] コンピュータ可読記憶媒体上での記憶に加えて、命令および/またはデータは、通信装置に含まれる伝送媒体上の信号として提供され得る。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。これら命令およびデータは、特許請求の範囲に概要が説明されている機能を、1つまたは複数のプロセッサにインプリメントさせるように構成される。すなわち、通信装置は、開示された機能を行うための情報を示す信号を有する伝送媒体を含む。一回目では、通信装置に含まれる伝送媒体は、開示された機能を実行するための情報の第1の部分を含み得るが、二回目では、通信装置に含まれる伝送媒体は、開示された機能を実行するための情報の第2の部分を含み得る。
[0081] コンピュータ可読記憶媒体上での記憶に加えて、命令および/またはデータは、通信装置に含まれる伝送媒体上の信号として提供され得る。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。これら命令およびデータは、特許請求の範囲に概要が説明されている機能を、1つまたは複数のプロセッサにインプリメントさせるように構成される。すなわち、通信装置は、開示された機能を行うための情報を示す信号を有する伝送媒体を含む。一回目では、通信装置に含まれる伝送媒体は、開示された機能を実行するための情報の第1の部分を含み得るが、二回目では、通信装置に含まれる伝送媒体は、開示された機能を実行するための情報の第2の部分を含み得る。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための装置であって、
メモリユニットと、
1つまたは複数の慣性センサと、
前記メモリユニットおよび前記1つまたは複数の慣性センサに通信的に結合され、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定することと、
前記1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定することと
を行うように構成された少なくとも1つのプロセッサと
を備える、装置。
[C2]
前記補償情報は、変位変化およびポーズ変化を含む、C1に記載の装置。
[C3]
前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の特徴を識別することと、
前記識別された特徴に基づいて回転行列を計算することと、
前記回転行列に基づいてポーズ変化推定値を生成することと
を備える、C1に記載の装置。
[C4]
前記ポーズ変化推定値は、前記少なくとも1つのプロセッサによって生成された不確定値をさらに備える、C3に記載の装置。
[C5]
前記1つまたは複数の慣性センサは加速度計である、C1に記載の装置。
[C6]
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、少なくとも前記1つまたは複数の慣性センサから導出される、C1に記載の装置。
[C7]
前記少なくとも1つのプロセッサは、同期信号を提供するように構成される、C1に記載の装置。
[C8]
前記少なくとも1つのプロセッサは、
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定することと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得することと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定することと
を行うように構成される、C1に記載の装置。
[C9]
第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための方法であって、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定することと、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定することと
を備える、方法。
[C10]
前記補償情報は、変位変化およびポーズ変化を含む、C9に記載の方法。
[C11]
前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の共通の特徴を識別することと、
前記識別された共通の特徴に基づいて回転行列を計算することと、
前記回転行列に基づいてポーズ変化推定値を生成することと
を備える、C9に記載の方法。
[C12]
前記ポーズ変化推定値を生成することは、不確定値を生成することを含む、C11に記載の方法。
[C13]
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、慣性センサから受信された情報に基づく、C9に記載の方法。
[C14]
アライメントの前記変化の検出をおよび前記補償情報の前記決定を同期させることをさらに備える、C13に記載の方法。
[C15]
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定することと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得することと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定することと
をさらに備える、C9に記載の方法。
[C16]
前記補償情報を慣性ナビゲーションシステムに出力することをさらに備える、C9に記載の方法。
[C17]
第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための命令を備える非一時的な機械可読媒体であって、前記命令は、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得するためのコードと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定するためのコードと、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定するためのコードと
を備える、非一時的な機械可読媒体。
[C18]
前記補償情報は、変位変化およびポーズ変化を含む、C17に記載の非一時的な機械可読媒体。
[C19]
前記1つまたは複数の画像の前記分析に基づいて前記補償情報を決定するための前記コードは、
前記1つまたは複数の画像中の共通の特徴を識別するためのコードと、
前記識別された共通の特徴に基づいて回転行列を計算するためのコードと、
前記回転行列に基づいてポーズ変化推定値を生成するためのコードと
を含む、C17に記載の非一時的な機械可読媒体。
[C20]
前記回転行列に基づいて前記ポーズ変化推定値を生成するための前記コードは、不確定値を生成するためのコードを含む、C19に記載の非一時的な機械可読媒体。
[C21]
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、前記1つまたは複数の慣性センサから情報を受信するためのコードを含む、C17に記載の非一時的な機械可読媒体。
[C22]
前記命令は、アライメントの前記変化の検出および前記補償情報の前記決定を同期させるためのコードを含む、C21に記載の非一時的な機械可読媒体。
[C23]
前記命令は、
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定するためのコードと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得するためのコードと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定するためのコードと
を含む、C17に記載の非一時的な機械可読媒体。
[C24]
前記命令は、前記補償情報をナビゲーションユニットに出力するためのコードを含む、C17に記載の非一時的な機械可読媒体。
[C25]
第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための装置であって、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得するための手段と、
前記1つまたは複数の画像の分析に基づいて補償情報を決定するための手段と、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定するための手段と
を備える、装置。
[C26]
前記補償情報を決定するための前記手段は、変位変化を決定するための手段と、ポーズ変化を決定するための手段とを含む、C25に記載の装置。
[C27]
前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の共通の特徴を識別するための手段と、
前記識別された共通の特徴に基づいて回転行列を計算するための手段と、
前記回転行列に基づいてポーズ変化推定値を生成するための手段と
を備える、C25に記載の装置。
[C28]
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定するための手段と、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得するための手段と、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定するための手段と
をさらに備える、C25に記載の装置。
[C29]
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、前記1つまたは複数の慣性センサから情報を受信するための手段を含む、C25に記載の装置。
[C30]
前記補償情報を出力するための前記手段は、アプリケーションプロセッサに前記補償情報を出力するための手段を含む、C29に記載の装置。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための装置であって、
メモリユニットと、
1つまたは複数の慣性センサと、
前記メモリユニットおよび前記1つまたは複数の慣性センサに通信的に結合され、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定することと、
前記1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定することと
を行うように構成された少なくとも1つのプロセッサと
を備える、装置。
[C2]
前記補償情報は、変位変化およびポーズ変化を含む、C1に記載の装置。
[C3]
前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の特徴を識別することと、
前記識別された特徴に基づいて回転行列を計算することと、
前記回転行列に基づいてポーズ変化推定値を生成することと
を備える、C1に記載の装置。
[C4]
前記ポーズ変化推定値は、前記少なくとも1つのプロセッサによって生成された不確定値をさらに備える、C3に記載の装置。
[C5]
前記1つまたは複数の慣性センサは加速度計である、C1に記載の装置。
[C6]
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、少なくとも前記1つまたは複数の慣性センサから導出される、C1に記載の装置。
[C7]
前記少なくとも1つのプロセッサは、同期信号を提供するように構成される、C1に記載の装置。
[C8]
前記少なくとも1つのプロセッサは、
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定することと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得することと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定することと
を行うように構成される、C1に記載の装置。
[C9]
第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための方法であって、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定することと、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定することと
を備える、方法。
[C10]
前記補償情報は、変位変化およびポーズ変化を含む、C9に記載の方法。
[C11]
前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の共通の特徴を識別することと、
前記識別された共通の特徴に基づいて回転行列を計算することと、
前記回転行列に基づいてポーズ変化推定値を生成することと
を備える、C9に記載の方法。
[C12]
前記ポーズ変化推定値を生成することは、不確定値を生成することを含む、C11に記載の方法。
[C13]
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、慣性センサから受信された情報に基づく、C9に記載の方法。
[C14]
アライメントの前記変化の検出をおよび前記補償情報の前記決定を同期させることをさらに備える、C13に記載の方法。
[C15]
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定することと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得することと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定することと
をさらに備える、C9に記載の方法。
[C16]
前記補償情報を慣性ナビゲーションシステムに出力することをさらに備える、C9に記載の方法。
[C17]
第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための命令を備える非一時的な機械可読媒体であって、前記命令は、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得するためのコードと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定するためのコードと、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定するためのコードと
を備える、非一時的な機械可読媒体。
[C18]
前記補償情報は、変位変化およびポーズ変化を含む、C17に記載の非一時的な機械可読媒体。
[C19]
前記1つまたは複数の画像の前記分析に基づいて前記補償情報を決定するための前記コードは、
前記1つまたは複数の画像中の共通の特徴を識別するためのコードと、
前記識別された共通の特徴に基づいて回転行列を計算するためのコードと、
前記回転行列に基づいてポーズ変化推定値を生成するためのコードと
を含む、C17に記載の非一時的な機械可読媒体。
[C20]
前記回転行列に基づいて前記ポーズ変化推定値を生成するための前記コードは、不確定値を生成するためのコードを含む、C19に記載の非一時的な機械可読媒体。
[C21]
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、前記1つまたは複数の慣性センサから情報を受信するためのコードを含む、C17に記載の非一時的な機械可読媒体。
[C22]
前記命令は、アライメントの前記変化の検出および前記補償情報の前記決定を同期させるためのコードを含む、C21に記載の非一時的な機械可読媒体。
[C23]
前記命令は、
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定するためのコードと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得するためのコードと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定するためのコードと
を含む、C17に記載の非一時的な機械可読媒体。
[C24]
前記命令は、前記補償情報をナビゲーションユニットに出力するためのコードを含む、C17に記載の非一時的な機械可読媒体。
[C25]
第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための装置であって、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得するための手段と、
前記1つまたは複数の画像の分析に基づいて補償情報を決定するための手段と、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定するための手段と
を備える、装置。
[C26]
前記補償情報を決定するための前記手段は、変位変化を決定するための手段と、ポーズ変化を決定するための手段とを含む、C25に記載の装置。
[C27]
前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の共通の特徴を識別するための手段と、
前記識別された共通の特徴に基づいて回転行列を計算するための手段と、
前記回転行列に基づいてポーズ変化推定値を生成するための手段と
を備える、C25に記載の装置。
[C28]
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定するための手段と、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得するための手段と、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定するための手段と
をさらに備える、C25に記載の装置。
[C29]
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、前記1つまたは複数の慣性センサから情報を受信するための手段を含む、C25に記載の装置。
[C30]
前記補償情報を出力するための前記手段は、アプリケーションプロセッサに前記補償情報を出力するための手段を含む、C29に記載の装置。
Claims (30)
- 第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための装置であって、
メモリユニットと、
1つまたは複数の慣性センサと、
前記メモリユニットおよび前記1つまたは複数の慣性センサに通信的に結合され、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定することと、
前記1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定することと
を行うように構成された少なくとも1つのプロセッサと
を備える、装置。 - 前記補償情報は、変位変化およびポーズ変化を含む、請求項1に記載の装置。
- 前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の特徴を識別することと、
前記識別された特徴に基づいて回転行列を計算することと、
前記回転行列に基づいてポーズ変化推定値を生成することと
を備える、請求項1に記載の装置。 - 前記ポーズ変化推定値は、前記少なくとも1つのプロセッサによって生成された不確定値をさらに備える、請求項3に記載の装置。
- 前記1つまたは複数の慣性センサは加速度計である、請求項1に記載の装置。
- 前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、少なくとも前記1つまたは複数の慣性センサから導出される、請求項1に記載の装置。
- 前記少なくとも1つのプロセッサは、同期信号を提供するように構成される、請求項1に記載の装置。
- 前記少なくとも1つのプロセッサは、
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定することと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得することと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定することと
を行うように構成される、請求項1に記載の装置。 - 第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための方法であって、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得することと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定することと、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定することと
を備える、方法。 - 前記補償情報は、変位変化およびポーズ変化を含む、請求項9に記載の方法。
- 前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の共通の特徴を識別することと、
前記識別された共通の特徴に基づいて回転行列を計算することと、
前記回転行列に基づいてポーズ変化推定値を生成することと
を備える、請求項9に記載の方法。 - 前記ポーズ変化推定値を生成することは、不確定値を生成することを含む、請求項11に記載の方法。
- 前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、慣性センサから受信された情報に基づく、請求項9に記載の方法。
- アライメントの前記変化の検出をおよび前記補償情報の前記決定を同期させることをさらに備える、請求項13に記載の方法。
- 前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定することと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得することと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定することと
をさらに備える、請求項9に記載の方法。 - 前記補償情報を慣性ナビゲーションシステムに出力することをさらに備える、請求項9に記載の方法。
- 第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための命令を備える非一時的な機械可読媒体であって、前記命令は、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得するためのコードと、
前記1つまたは複数の画像の分析に基づいて補償情報を決定するためのコードと、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定するためのコードと
を備える、非一時的な機械可読媒体。 - 前記補償情報は、変位変化およびポーズ変化を含む、請求項17に記載の非一時的な機械可読媒体。
- 前記1つまたは複数の画像の前記分析に基づいて前記補償情報を決定するための前記コードは、
前記1つまたは複数の画像中の共通の特徴を識別するためのコードと、
前記識別された共通の特徴に基づいて回転行列を計算するためのコードと、
前記回転行列に基づいてポーズ変化推定値を生成するためのコードと
を含む、請求項17に記載の非一時的な機械可読媒体。 - 前記回転行列に基づいて前記ポーズ変化推定値を生成するための前記コードは、不確定値を生成するためのコードを含む、請求項19に記載の非一時的な機械可読媒体。
- 前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、前記1つまたは複数の慣性センサから情報を受信するためのコードを含む、請求項17に記載の非一時的な機械可読媒体。
- 前記命令は、アライメントの前記変化の検出および前記補償情報の前記決定を同期させるためのコードを含む、請求項21に記載の非一時的な機械可読媒体。
- 前記命令は、
前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定するためのコードと、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得するためのコードと、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定するためのコードと
を含む、請求項17に記載の非一時的な機械可読媒体。 - 前記命令は、前記補償情報をナビゲーションユニットに出力するためのコードを含む、請求項17に記載の非一時的な機械可読媒体。
- 第1のボディフレームと第2のボディフレームとの間のアライメント変化を決定するための装置であって、
前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの変化を検出することに応答して、前記第1のボディフレームに関連付けられた画像キャプチャデバイスから1つまたは複数の画像を取得するための手段と、
前記1つまたは複数の画像の分析に基づいて補償情報を決定するための手段と、
1つまたは複数の慣性センサおよび前記補償情報に基づいて位置を決定するための手段と
を備える、装置。 - 前記補償情報を決定するための前記手段は、変位変化を決定するための手段と、ポーズ変化を決定するための手段とを含む、請求項25に記載の装置。
- 前記1つまたは複数の画像の前記分析は、
前記1つまたは複数の画像中の共通の特徴を識別するための手段と、
前記識別された共通の特徴に基づいて回転行列を計算するための手段と、
前記回転行列に基づいてポーズ変化推定値を生成するための手段と
を備える、請求項25に記載の装置。 - 前記第1のボディフレームと前記第2のボディフレームとの間の第1の向きを決定するための手段と、
前記画像キャプチャデバイスを用いて最初の第1の画像を取得するための手段と、ここにおいて、前記最初の第1の画像は、前記第1の向きに関連付けられる、
前記1つまたは複数の画像および前記最初の第1の画像の前記分析に基づいて前記補償情報を決定するための手段と
をさらに備える、請求項25に記載の装置。 - 前記第1のボディフレームと前記第2のボディフレームとの間のアライメントの前記変化を検出することは、前記1つまたは複数の慣性センサから情報を受信するための手段を含む、請求項25に記載の装置。
- 前記補償情報を出力するための前記手段は、アプリケーションプロセッサに前記補償情報を出力するための手段を含む、請求項29に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/837,815 US10088318B2 (en) | 2015-08-27 | 2015-08-27 | Cradle rotation insensitive inertial navigation |
US14/837,815 | 2015-08-27 | ||
PCT/US2016/040255 WO2017034673A1 (en) | 2015-08-27 | 2016-06-30 | Cradle rotation insensitive inertial navigation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018532984A true JP2018532984A (ja) | 2018-11-08 |
Family
ID=56413890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018510330A Pending JP2018532984A (ja) | 2015-08-27 | 2016-06-30 | クレードル回転インセンシティブ慣性ナビゲーション |
Country Status (7)
Country | Link |
---|---|
US (1) | US10088318B2 (ja) |
EP (1) | EP3341685A1 (ja) |
JP (1) | JP2018532984A (ja) |
KR (1) | KR20180044401A (ja) |
CN (1) | CN108419442A (ja) |
BR (1) | BR112018003731A2 (ja) |
WO (1) | WO2017034673A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9606241B2 (en) | 2013-02-21 | 2017-03-28 | Apple Inc. | Sensor-assisted location fix |
US10238962B2 (en) | 2015-12-27 | 2019-03-26 | Spin Master Ltd. | System and method for recharging battery in augmented reality game system |
US10197998B2 (en) * | 2015-12-27 | 2019-02-05 | Spin Master Ltd. | Remotely controlled motile device system |
US10990111B2 (en) * | 2017-09-22 | 2021-04-27 | Hyundai Mobis Co., Ltd. | Position determination apparatus and method for vehicle |
US10511943B2 (en) * | 2017-11-29 | 2019-12-17 | Qualcomm Incorporated | Method and apparatus for requesting a transport vehicle from a mobile device |
JP7131266B2 (ja) * | 2018-10-01 | 2022-09-06 | カシオ計算機株式会社 | 情報端末、リスト情報機器、及びそれらを備えるシステム |
WO2022005830A1 (en) * | 2020-06-30 | 2022-01-06 | Qualcomm Incorporated | User equipment sensor calibration |
US11754726B2 (en) * | 2020-07-13 | 2023-09-12 | Qualcomm Incorporated | Method and apparatus for in motion initialization of global navigation satellite system—inertial navigation system |
US11743686B2 (en) * | 2020-11-25 | 2023-08-29 | Here Global B.V. | Aligning in-vehicle mobile device and vehicle bodies for improved global positioning |
CN112378422B (zh) * | 2020-12-01 | 2023-07-25 | 中国人民解放军国防科技大学 | 激光陀螺惯导***诊断推理***及在线诊断方法 |
US20230104188A1 (en) * | 2021-09-28 | 2023-04-06 | Here Global B.V. | Method, apparatus, and system for calibrating vehicle motion data based on mobile device sensor data |
FR3137764B1 (fr) * | 2022-07-08 | 2024-07-12 | Sysnav | Procédé de recalage d’une attitude fournie par un système de navigation à l’estime au moyen d’un système de positionnement relatif |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2770317B1 (fr) * | 1997-10-24 | 2000-12-08 | Commissariat Energie Atomique | Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes |
US6975959B2 (en) * | 2002-12-03 | 2005-12-13 | Robert Bosch Gmbh | Orientation and navigation for a mobile device using inertial sensors |
US9229540B2 (en) * | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US20160098095A1 (en) * | 2004-01-30 | 2016-04-07 | Electronic Scripting Products, Inc. | Deriving Input from Six Degrees of Freedom Interfaces |
US7337650B1 (en) * | 2004-11-09 | 2008-03-04 | Medius Inc. | System and method for aligning sensors on a vehicle |
JP5127128B2 (ja) | 2004-12-21 | 2013-01-23 | 韓國電子通信研究院 | カメラの位置及び姿勢情報補正方法及びその装置 |
EP1972893A1 (en) | 2007-03-21 | 2008-09-24 | Universiteit Gent | System and method for position determination |
US8086405B2 (en) * | 2007-06-28 | 2011-12-27 | Sirf Technology Holdings, Inc. | Compensation for mounting misalignment of a navigation device |
US8698875B2 (en) * | 2009-02-20 | 2014-04-15 | Google Inc. | Estimation of panoramic camera orientation relative to a vehicle coordinate frame |
US8855929B2 (en) | 2010-01-18 | 2014-10-07 | Qualcomm Incorporated | Using object to align and calibrate inertial navigation system |
US8843290B2 (en) * | 2010-07-22 | 2014-09-23 | Qualcomm Incorporated | Apparatus and methods for calibrating dynamic parameters of a vehicle navigation system |
US20120173195A1 (en) * | 2010-12-03 | 2012-07-05 | Qualcomm Incorporated | Inertial sensor aided heading and positioning for gnss vehicle navigation |
US9160980B2 (en) * | 2011-01-11 | 2015-10-13 | Qualcomm Incorporated | Camera-based inertial sensor alignment for PND |
US8810649B2 (en) | 2011-06-30 | 2014-08-19 | Qualcomm Incorporated | Navigation in buildings with rectangular floor plan |
US9151613B2 (en) * | 2011-08-12 | 2015-10-06 | Qualcomm Incorporated | Methods and apparatus for detecting, measuring, and mitigating effects of moving an inertial navigation device's cradle |
US9111351B2 (en) * | 2011-12-15 | 2015-08-18 | Sony Corporation | Minimizing drift using depth camera images |
US9986208B2 (en) | 2012-01-27 | 2018-05-29 | Qualcomm Incorporated | System and method for determining location of a device using opposing cameras |
US8831290B2 (en) | 2012-08-01 | 2014-09-09 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection |
CN103675859A (zh) * | 2012-09-10 | 2014-03-26 | 迈实电子(上海)有限公司 | 卫星导航接收机、设备和用于定位卫星导航接收机的方法 |
US8818420B2 (en) | 2012-09-28 | 2014-08-26 | Intel Corporation | Rotation-tolerant devices and schemes for pedestrian-dead-reckoning (PDR) location determination |
US9488736B2 (en) * | 2012-12-28 | 2016-11-08 | Trimble Navigation Limited | Locally measured movement smoothing of GNSS position fixes |
FR3013829B1 (fr) * | 2013-11-22 | 2016-01-08 | Sagem Defense Securite | Procede d'alignement d'une centrale inertielle |
US20160179218A1 (en) * | 2014-12-23 | 2016-06-23 | Intel Corporation | Systems and methods for improving the quality of motion sensor generated user input to mobile devices |
-
2015
- 2015-08-27 US US14/837,815 patent/US10088318B2/en active Active
-
2016
- 2016-06-30 WO PCT/US2016/040255 patent/WO2017034673A1/en active Application Filing
- 2016-06-30 EP EP16739345.3A patent/EP3341685A1/en not_active Withdrawn
- 2016-06-30 BR BR112018003731A patent/BR112018003731A2/pt not_active Application Discontinuation
- 2016-06-30 CN CN201680046649.4A patent/CN108419442A/zh active Pending
- 2016-06-30 JP JP2018510330A patent/JP2018532984A/ja active Pending
- 2016-06-30 KR KR1020187008719A patent/KR20180044401A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
BR112018003731A2 (pt) | 2018-09-25 |
KR20180044401A (ko) | 2018-05-02 |
EP3341685A1 (en) | 2018-07-04 |
CN108419442A (zh) | 2018-08-17 |
US20170059326A1 (en) | 2017-03-02 |
WO2017034673A1 (en) | 2017-03-02 |
US10088318B2 (en) | 2018-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10088318B2 (en) | Cradle rotation insensitive inertial navigation | |
US10939247B2 (en) | Method and/or system for positioning of a mobile device | |
US9947100B2 (en) | Exterior hybrid photo mapping | |
CN109076486B (zh) | 接入点移动性指示 | |
CN110383099B (zh) | 稳健下行链路定位 | |
US10132933B2 (en) | Alignment of visual inertial odometry and satellite positioning system reference frames | |
US20140232601A1 (en) | Position estimation assistance information for mobile station | |
US11293769B2 (en) | Techniques for route selection | |
JP7011074B2 (ja) | ターゲットデバイスの測位をハンドリングするための方法および装置 | |
WO2017045461A1 (en) | Position determination of a mobile device in an emergency | |
US20230305139A1 (en) | Position accuracy using sensor data | |
EP4252041A1 (en) | Ionospheric delay estimation for global navigation satellite system signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180514 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180515 |