JP7100815B2 - 位置決定 - Google Patents

位置決定 Download PDF

Info

Publication number
JP7100815B2
JP7100815B2 JP2020501803A JP2020501803A JP7100815B2 JP 7100815 B2 JP7100815 B2 JP 7100815B2 JP 2020501803 A JP2020501803 A JP 2020501803A JP 2020501803 A JP2020501803 A JP 2020501803A JP 7100815 B2 JP7100815 B2 JP 7100815B2
Authority
JP
Japan
Prior art keywords
orientation
image
determining
line
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020501803A
Other languages
English (en)
Other versions
JP2020528180A5 (ja
JP2020528180A (ja
Inventor
ジュン ワン、ジェン
ラオ、ジューン
ナ ニィエ、リー
ウェイ グォ、イャ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2020528180A publication Critical patent/JP2020528180A/ja
Publication of JP2020528180A5 publication Critical patent/JP2020528180A5/ja
Application granted granted Critical
Publication of JP7100815B2 publication Critical patent/JP7100815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Description

本開示は、測位技術、より具体的には、モバイル・デバイスの位置を決定するステップに関する。
今日では、測位技術がますます広範囲に用いられている。例えば、ユーザがタクシーを予約したいと望むとき、最新のタクシーの運転手は、ユーザの位置を知る必要があろう。ユーザの位置を決定するために全地球測位システム(GPS:Global Positioning System)または他の衛星ベースの測位システムを用いることができる。
一般に、GPS受信機は、受信機の場所を算出するために少なくとも3つのアクセス可能な衛星信号を必要とする。
本開示の一実施形態によれば、デバイスに関する位置を返すための方法が提供される。本方法に従って、デバイスによってキャプチャーされた、第1の画像を1つ以上のネットワークを通じてデバイスから受信できる。デバイスの第1の方位を1つ以上のネットワークを通じてデバイスから受信できる。デバイスによってキャプチャーされた、第2の画像を1つ以上のネットワークを通じてデバイスから受信できて、デバイスの第2の方位をデバイスから受信できる。第1の画像に含まれた第1のオブジェクトの第1の位置および第2の画像に含まれた第2のオブジェクトの第2の位置をそれぞれデータベースから決定できる。データベースは、複数のオブジェクト位置を含むことができる。第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じてデバイスの位置を決定できる。デバイス位置をデバイスへ送信できる。
本開示の別の実施形態によれば、コンピュータ・システムが提供される。コンピュータ・システムは、プロセッサおよびプロセッサに結合されたコンピュータ可読メモリを備える。メモリは、プロセッサによって実行されたときに、以下の動作、すなわち、デバイスによってキャプチャーされた第1の画像およびデバイスの第1の方位を1つ以上のネットワークを通じてデバイスから受信するステップと、デバイスによってキャプチャーされた第2の画像およびデバイスの第2の方位を1つ以上のネットワークを通じてデバイスから受信するステップと、第1の画像に含まれた第1のオブジェクトの第1の位置および第2の画像に含まれた第2のオブジェクトの第2の位置を複数のオブジェクト位置を含んだデータベースから決定するステップと、第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じてデバイスの位置を決定するステップと、デバイスの位置をデバイスへ送信するステップとを行う命令を備える。
本開示の別の実施形態によれば、コンピュータ・プログラム製品が提供される。本コンピュータ・プログラム製品は、それを以て具現されたプログラム命令を有するコンピュータ可読ストレージ媒体を備え、プログラム命令は、プロセッサに、デバイスによってキャプチャーされた第1の画像およびデバイスの方位を1つ以上のネットワークを通じてデバイスから受信し、デバイスによってキャプチャーされた第2の画像およびデバイスの第2の方位を1つ以上のネットワークを通じてデバイスから受信し、第1の画像に含まれた第1のオブジェクトの第1の位置および第2の画像に含まれた第2のオブジェクトの第2の位置を複数のオブジェクト位置を含んだデータベースから決定し、第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じてデバイスの位置を決定して、デバイスの位置をデバイスへ送信するようにさせるために、プロセッサによって実行可能である。
本開示の別の実施形態によれば、デバイスに関する位置を返すためのコンピュータ実装方法が提供される。本方法によれば、デバイスによってキャプチャーされた第1の画像およびデバイスの第1の方位が1つ以上のネットワークを通じてサーバへ送信される。デバイスによってキャプチャーされた第2の画像およびデバイスの第2の方位が1つ以上のネットワークを通じてサーバへ送信される。第1の画像に含まれた第1のオブジェクトの第1の位置が1つ以上のネットワークを通じて受信される。第2の画像に含まれた第2のオブジェクトの第2の位置が1つ以上のネットワークを通じて受信される。第1の位置および第2の位置をオブジェクト位置のデータベースを用いて特定できる。デバイスのデバイス位置が第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じて決定される。
上記の概要は、示された各実施形態または本開示のあらゆる実装を記載することは意図されない。
本出願書に含まれる図面は、明細書に組み込まれて、その一部を成す。それらは、本開示の実施形態を示して、記載と併せて、本開示の原理を説明する役割を果たす。図面は、いくつかの実施形態を説明するに過ぎず、本開示を限定しない。
本発明のある実施形態によるクラウド・コンピューティング・ノードを図示する。 本発明のある実施形態によるクラウド・コンピューティング環境を図示する。 本発明のある実施形態による抽象化モデル層を図示する。 本開示のある実施形態による環境の例を示す概略図である。 本開示のある実施形態による座標系の例を示す。 本開示のある実施形態による座標系の別の例を示す。 本開示のある実施形態による測位のための方法例のフローチャートである。 本開示のある実施形態による測位のための別の方法例のフローチャートである。
本発明は、様々な修正および代わりの形態に耐えるが、それらの細部が例として図面に示され、詳細に記載される。しかしながら、記載される特定の実施形態に本発明を限定する意図はないことが理解されるべきである。逆に、本発明の趣旨および範囲内にあるすべての修正、均等物、および選択肢をカバーすることが意図される。
本開示の態様は、測位技術に関し、より詳しい態様は、モバイル・デバイスの位置を決定するステップに関する。本開示は、かかる用途には必ずしも限定されないが、本開示の様々な態様が、この文脈を用いた様々な例の考察を通してよく理解されるであろう。
本開示の好ましい実施形態が示された、添付図面を参照して、いくつかの好ましい実施形態がより詳細に記載される。しかしながら、本開示を様々な仕方で実装することができ、従って、本明細書に開示される実施形態に本開示が限定されると解釈されるべきではない。
理解されるべきは、本開示が、クラウド・コンピューティングについて詳細な記載を含むが、本明細書に列挙される教示の実装がクラウド・コンピューティング環境には限定されないことである。むしろ、本発明の実施形態を現在知られているか、または後に開発される任意の他のタイプのコンピューティング環境と併せて実装することが可能である。
クラウド・コンピューティングは、コンフィギュラブルなコンピューティング・リソース(例えば、ネットワーク、ネットワーク・バンド幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシンおよびサービス)の共有プールへの便利なオンデマンド・ネットワーク・アクセスを可能にするためのサービス配信のモデルであり、これらのリソースを最小限の管理努力、またはサービス・プロバイダとの相互作用によって迅速にプロビジョンし、かつリリースできる。このクラウド・モデルは、少なくとも5つの特徴、少なくとも3つのサービス・モデル、および少なくとも4つのデプロイメント・モデルを含んでよい。
特徴は、次の通りである。
オンデマンド・セルフサービス:クラウド・コンシューマは、サーバ時間およびネットワーク・ストレージのような、コンピューティング・ケイパビリティをサービス・プロバイダとのヒューマン・インタラクションを要することなく、必要に応じて、自動的、一方向的にプロビジョンできる。
広範なネットワークアクセス:ケイパビリティは、ネットワークを通じて利用可能であり、ヘテロジニアスなシンまたはシック・クライアント・プラットフォーム(例えば、携帯電話、ラップトップ、およびPDA)による使用を促進する標準的なメカニズムを通してアクセスされる。
リソース・プーリング:プロバイダのコンピューティング・リソースが複数のコンシューマにサービスするためにマルチテナント・モデルを用いてプールされ、要求に応じて、異なる物理および仮想リソースが動的に割り当ておよび再割り当てされる。コンシューマは、一般に、提供されるリソースの正確な位置を制御しえず、またはそれに関する知識を有さないが、より高い抽象化レベルにおいて位置(例えば、国、州、またはデータセンタ)を特定することが可能でありうるという点で位置独立性に意義がある。
迅速な弾力性:速やかにスケールアウトするためにケイパビリティを迅速かつ弾性的に、いくつかのケースでは自動的に、プロビジョンでき、かつ速やかにスケールインするために迅速にリリースできる。コンシューマには、プロビジョニングのために利用可能なケイパビリティがしばしば無制限であるように見え、いつでも任意の量を購入できる。
測定されるサービス:クラウド・システムは、サービスのタイプ(例えば、ストレージ、処理、バンド幅、およびアクティブなユーザ・アカウント)に適したある抽象化レベルで計量ケイパビリティを活用することによって、リソース使用を自動的に制御して最適化する。リソース使用法をモニタリング、制御および報告して、利用されるサービスのプロバイダおよびコンシューマの両方にトランスペアレンシーを提供することができる。
サービス・モデルは、以下の通りである。
ソフトウェア・アズ・ア・サービス(SaaS:Software as a Service):コンシューマへ提供されるケイパビリティは、クラウド・インフラストラクチャ上で実行するプロバイダのアプリケーションを用いることである。アプリケーションは、webブラウザのようなシン・クライアント・インターフェース(例えば、webベースの電子メール)を通して様々なクライアント・デバイスからアクセス可能である。コンシューマは、限られたユーザ固有のアプリケーション構成設定のありうる例外を除いて、ネットワーク、サーバ、オペレーティング・システム、ストレージ、あるいは個別のアプリケーション・ケイパビリティも含む、基礎をなすクラウド・インフラストラクチャを管理または制御しない。
プラットフォーム・アズ・ア・サービス(PaaS:Platform as a Service):コンシューマへ提供されるケイパビリティは、プロバイダによってサポートされるプログラミング言語およびツールを用いて生成された、コンシューマにより生成され、または取得されたアプリケーションをクラウド・インフラストラクチャ上へデプロイすることである。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む、基礎をなすクラウド・インフラストラクチャを管理または制御しないが、デプロイされたアプリケーション、および場合によってはアプリケーションをホストする環境構成を制御する。
インフラストラクチャ・アズ・ア・サービス(IaaS:Infrastructure as a Service):コンシューマへ提供されるケイパビリティは、オペレーティング・システムおよびアプリケーションを含みうる、任意のソフトウェアをコンシューマがデプロイして実行することが可能な、処理、ストレージ、ネットワーク、および、他の基本的なコンピューティング・リソースをプロビジョンすることである。コンシューマは、基礎をなすクラウド・インフラストラクチャを管理または制御しないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションを制御し、場合によっては選ばれたネットワーキング・コンポーネント(例えば、ホスト・ファイヤウォール)の限られた制御を行う。
デプロイメント・モデルは、以下の通りである。
プライベート・クラウド:クラウド・インフラストラクチャは、専らある組織のために運用される。クラウド・インフラストラクチャは、その組織またはサードパーティによって管理されてよく、オンプレミスまたはオフプレミスに存在してよい。
コミュニティ・クラウド:クラウド・インフラストラクチャは、いくつかの組織によって共有され、共通の関心事(例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス考慮事項)を有する特定のコミュニティをサポートする。コミュニティ・クラウドは、それらの組織またはサードパーティによって管理されてよく、オンプレミスまたはオフプレミスに存在してよい。
パブリック・クラウド:クラウド・インフラストラクチャは、一般の人々または大規模業界団体に利用可能にされて、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド:クラウド・インフラストラクチャは、2つ以上のクラウド(プライベート、コミュニティ、またはパブリック)の合成体であり、これらのクラウドは、ユニークなエンティティのままであるが、データおよびアプリケーション・ポータビリティ(例えば、クラウド間の負荷バランシングのためのクラウド・バースティング)を可能にする標準化されるかまたは特許で保護された技術によって一緒にまとめられる。
クラウド・コンピューティング環境は、ステートレス、疎結合、モジュール性、およびセマンティック・インターオペラビリティに焦点を絞ったサービス指向型である。クラウド・コンピューティングの核心にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。
次に、図1を参照すると、クラウド・コンピューティング・ノードの例の概略図が示される。クラウド・コンピューティング・ノード10は、適切なクラウド・コンピューティング・ノードの例に過ぎず、本明細書に記載される本発明の実施形態の使用法または機能性の範囲についていかなる限定も示唆するものではない。それでも、クラウド・コンピューティング・ノード10は、先に提示された機能性のいずれかを実装しもしくは行うこと、またはその両方が可能である。
クラウド・コンピューティング・ノード10には、コンピュータ・システム/サーバ12、あるいは多くの他の汎用もしくは専用コンピューティング・システム環境または構成を用いて操作可能な、通信デバイスのような、ポータブル電子デバイスがある。コンピューティング・システム/サーバ12とともに用いるのに適しうる、よく知られたコンピューティング・システム、環境、もしくは、構成またはそれらのすべての例は、以下に限定されないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セットトップ・ボックス、プログラム可能な家電製品、ネットワークPC、ミニコンピュータ・システム、メインフレームコンピュータ・システム、および上記のシステムまたはデバイスのいずれかを含む分散クラウド・コンピューティング環境、および同様のものを含む。
コンピュータ・システム/サーバ12は、コンピュータ・システムによって実行される、プログラム・モジュールのような、コンピュータ・システムにより実行可能な命令の一般的な文脈で記載されてよい。一般に、プログラム・モジュールは、特定のタスクを行う、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含んでよい。コンピュータ・システム/サーバ12は、通信ネットワークを通してリンクされたリモート処理デバイスによってタスクが行われる分散クラウド・コンピューティング環境において実行されてよい。分散クラウド・コンピューティング環境では、プログラム・モジュールがメモリ・ストレージ・デバイスを含むローカルおよびリモート・コンピュータ・システム・ストレージ媒体の両方に配置されてよい。
図1に示されるように、クラウド・コンピューティング・ノード10中のコンピュータ・システム/サーバ12は、汎用コンピューティング・デバイスの形態で示される。コンピュータ・システム/サーバ12のコンポーネントは、以下には限定されないが、1つ以上のプロセッサまたは処理ユニット16、システム・メモリ28、およびシステム・メモリ28を含めて様々なシステム・コンポーネントをプロセッサ16へ結合するバス18を含んでよい。
バス18は、メモリ・バスまたはメモリ・コントローラ、周辺バス、アクセラレイティッド・グラフィックス・ポート、および様々なバス・アーキテクチャのいずれかを用いたプロセッサまたはローカル・バスを含めて、いくつかのタイプのバス構造のいずれかの1つ以上を表す。限定ではなく、例として、かかるアーキテクチャは、工業標準アーキテクチャ(ISA:Industry Standard Architecture)バス、マイクロ・チャネル・アーキテクチャ(MCA:Micro Channel Architecture)バス、エンハンストISA(EISA:Enhanced ISA)バス、ビデオエレクトロニクス規格協会(VESA:Video Electronics Standards Association)ローカル・バス、およびペリフェラル・コンポーネント・インターコネクト(PCI:Peripheral Component Interconnect)バスを含む。
コンピュータ・システム/サーバ12は、典型的に、様々なコンピュータ・システム可読媒体を含む。かかる媒体は、コンピュータ・システム/サーバ12によってアクセス可能な任意の利用可能な媒体であってよく、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体の両方を含む。
システム・メモリ28は、ランダム・アクセス・メモリ(RAM:random access memory)30もしくはキャッシュ・メモリ32またはその両方のような、揮発性メモリの形態のコンピュータ・システム可読媒体を含むことができる。コンピュータ・システム/サーバ12は、さらに、他のリムーバブル/非リムーバブル、揮発性/不揮発性コンピュータ・システム・ストレージ媒体を含んでよい。例としてのみ、非リムーバブル、不揮発性磁気媒体(示されず、典型的に、「ハードドライブ」と呼ばれる)から読み取り、それらに書き込むためにストレージ・システム34を設けることができる。示されないが、リムーバブル、不揮発性磁気ディスク(例えば、「フレキシブルディスク」)から読み取り、それらに書き込むための磁気ディスク・ドライブ、およびCD-ROM、DVD-ROMまたは他の光媒体のようなリムーバブル、不揮発性光ディスクから読み取り、それらに書き込むための光ディスク・ドライブを設けることができる。かかる事例では、各々を1つ以上のデータ媒体インターフェースによってバス18へ接続できる。以下にさらに図示され、記載されるように、メモリ28は、本発明の実施形態の機能を実施するように構成されたプログラム・モジュールのセット(例えば、少なくとも1つ)を有する少なくとも1つのプログラム製品を含んでよい。
プログラム・モジュール42のセット(少なくとも1つ)、ならびにオペレーティング・システム、1つ以上のアプリケーション・プログラム、他のプログラム・モジュールおよびプログラム・データを有する、プログラム/ユーティリティ40が、限定ではなく、例として、メモリ28に記憶されてよい。オペレーティング・システム、1つ以上のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データの各々またはそれらの何らかの組み合わせがネットワーキング環境の実装を含んでもよい。プログラム・モジュール42は、一般に、本明細書に記載されるような、本発明の実施形態の機能もしくは方法論またはその両方を実施する。
コンピュータ・システム/サーバ12は、さらに、キーボード、ポインティング・デバイス、ディスプレイ24などのような1つ以上の外部デバイス14、ユーザがコンピュータ・システム/サーバ12と対話することを可能にする1つ以上のデバイス、もしくはコンピュータ・システム/サーバ12が1つ以上の他のコンピューティング・デバイスと通信することを可能にする任意のデバイス(例えば、ネットワーク・カード、モデムなど)またはそれらのすべてと通信してよい。かかる通信は、入力/出力(I/O)インターフェース22を介して発生することができる。なおさらに、コンピュータ・システム/サーバ12は、1つ以上のネットワーク、例えば、ローカル・エリア・ネットワーク(LAN:local area network)、一般的なワイド・エリア・ネットワーク(WAN:wide area network)、もしくは公衆ネットワーク(例えば、インターネット)またはそれらのすべてとネットワーク・アダプタ20を介して通信できる。図示されるように、ネットワーク・アダプタ20は、バス18を介してコンピュータ・システム/サーバ12の他のコンポーネントと通信する。理解されるべきは、示されないが、他のハードウェアもしくはソフトウェア・コンポーネントまたはその両方をコンピュータ・システム/サーバ12とともに用いることができるであろうということである。例は、以下には限定されないが、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、RAIDシステム、テープ・ドライブ、およびデータ・アーカイブ・ストレージ・システムなどを含む。
次に、図2を参照すると、例示的なクラウド・コンピューティング環境50が図示される。示されるように、クラウド・コンピューティング環境50は、例えば、携帯情報端末(PDA:personal digital assistant)または携帯電話54A、デスクトップ・コンピュータ54B、ラップトップ・コンピュータ54C、もしくは自動車コンピュータ・システム54Nまたはそれらのすべてなど、クラウド・コンシューマによって用いられるローカル・コンピューティング・デバイスが通信してよい、1つ以上のクラウド・コンピューティング・ノード10を含む。ノード10は、互いに通信してよい。これらのノードは、先に記載されたプライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはそれらの組み合わせのような、1つ以上のネットワークにおいて、物理的または仮想的にグループ分けされてよい(示されない)。これは、クラウド・コンシューマがそのためのリソースをローカル・コンピューティング・デバイス上に維持する必要がない、インフラストラクチャ、プラットフォームもしくはソフトウェア・アズ・サービスまたはそれらのすべてをクラウド・コンピューティング環境50が提供することを許容する。理解されるのは、図2に示されるタイプのコンピューティング・デバイス54A~Nが、例示に過ぎないことが意図され、コンピューティング・ノード10およびクラウド・コンピューティング環境50が、任意のタイプのネットワークもしくはネットワークによりアドレス可能な接続またはその両方を通じて(例えば、webブラウザを用いて)、任意のタイプのコンピュータ化デバイスと通信できることである。
次に、図3を参照すると、クラウド・コンピューティング環境50(図2)によって提供される機能抽象化層のセットが示される。予め理解されるべきは、図3に示されるコンポーネント、層、および機能が例示に過ぎないことが意図され、本発明の実施形態がそれらには限定されないことである。図示されるように、以下の層および対応する機能が提供される。
ハードウェアおよびソフトウェア層60は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム61、RISC(縮小命令セット・コンピュータ:Reduced Instruction Set Computer)アーキテクチャ・ベースのサーバ62、サーバ63、ブレード・サーバ64、ストレージ・デバイス65、ならびにネットワークおよびネットワーキング・コンポーネント66を含む。いくつかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア67およびデータベース・ソフトウェア68を含む。
仮想化層70は、仮想エンティティの以下の例、すなわち、仮想サーバ71、仮想ストレージ72、仮想プライベート・ネットワークを含む、仮想ネットワーク73、仮想アプリケーションおよびオペレーティング・システム74、ならびに仮想クライアント75がそれから提供されてよい抽象化層を提供する。
一例では、管理層80は、以下に記載される機能を提供してよい。リソース・プロビジョニング81は、クラウド・コンピューティング環境内でタスクを行うために利用されるコンピューティング・リソースおよび他のリソースの動的な調達を提供する。計量及び料金設定82は、クラウド・コンピューティング環境内でリソースが利用される際のコスト追跡、およびこれらのリソースの消費に対する課金または請求を提供する。一例では、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含んでよい。セキュリティは、クラウド・コンシューマおよびタスクについての識別情報検証、ならびにデータおよび他のリソースのための保護を提供する。ユーザ・ポータル83は、コンシューマおよびシステム・アドミニストレータのためにクラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理84は、要求されるサービス・レベルが満たされるように、クラウド・コンピューティング・リソース割り当ておよび管理を提供する。サービス・レベル・アグリメント(SLA:Service Level Agreement)計画および履行85は、それらに対する将来の要求がSLAに従って予期されるクラウド・コンピューティング・リソースのための事前配置およびその調達を提供する。
ワークロード層90は、クラウド・コンピューティング環境がそのために利用されてよい機能性の例を提供する。この層から提供されてよいワークロードおよび機能の例は、マッピングおよびナビゲーション91、ソフトウェア開発およびライフサイクル管理92、仮想教室教育配信93、データ解析処理94、取引処理95、および測位96を含む。
近頃、測位技術に対するニーズが増加している。例えば、ユーザがタクシーを予約したいと望むときに、タクシーの運転手は、ユーザの位置を知る必要があろう。ユーザの位置を、ユーザによって用いられる携帯電話のような、デバイスを用いて決定できる。デバイスの位置をユーザの位置と見做すことができる。ユーザの位置を決定するためにGPSまたは他の衛星ベースの測位システムを用いることできる。しかしながら、GPSまたは他の衛星ベースの測位システムは、完全ではなく、いくつかのケースでは安定に作動できない。例えば、GPSシステムは、測位サービスを提供するために、十分な強度かつ少なくとも3つの測位衛星の衛星信号がモバイル・デバイスによって検出されることを必要とする。そのうえ、GPSシステムの精度を損なう条件がありうる。
図4は、本開示のある実施形態に従ってデバイス410の位置を決定するための環境400の概略図を示す。デバイス410は、モバイル・デバイス、ハンドへルド・デバイス、携帯電話、スマートフォン、カメラ、ラップトップ、タブレット、トランシーバ、携帯情報端末(PDA)、または本開示の測位技術を適用するのに適した現在知られているか、また開発されることになる任意の他のタイプのデバイスとすることができる。デバイス410をユーザによって運び、または車両中にデプロイできる。デバイス410は、画像または写真を取得するのに適した撮影装置を備えることができる。撮影装置は、カメラを備えることができる。デバイス410は、デバイス410の方位を決定するためのセンサも備えることができる。センサは、デジタル・コンパス、ジャイロスコープ、または現在知られているか、または開発されることになる他の指向性装置とすることができる。
デバイス410の位置を決定するために、デバイス410の撮影装置を用いて少なくとも2つの画像を取得できる。少なくとも2つの画像を、同じ位置で、または測位システムによって単一の位置と見做されるのに互いに十分に近い2つの位置で取得できる。例えば、第1の画像を取得した後に、デバイスが角度を回転させることができて、その後、第2の画像を取得できる。少なくとも2つの画像は、第1の画像および第2の画像を備えることができる。少なくとも1つの対象を、それぞれ、第1の画像および第2の画像の各々において特定できる。一例では、第1の画像中で特定された第1のオブジェクト420をレストランとすることができ、第2の画像中で特定された第2のオブジェクト430をホテルとすることができる。
第1の画像を取得するステップに加えて、デバイスの第1の方位440を決定できる。第2の画像を取得するステップに加えて、デバイスの第2の方位450を決定できる。本開示の様々な実施形態によれば、第1の画像または第2の画像を取得するステップを第1の方位440または第2の方位450を取得するステップの前、同時、または後に実装できる。一例では、デバイス410の撮影装置を用いて第1のオブジェクト420および第2のオブジェクト430を撮影するステップと並行して、第1の方位440および第2の方位450を取得できる。
第1の方位440は、撮影装置を用いて第1のオブジェクト420を撮影するときのデバイスの軸方向と参照方向との間の角度とすることができる。第2の方位450は、第2のオブジェクト430を撮影するときのデバイスの軸方向と参照方向との間の角度とすることができる。本開示の様々な実施形態によれば、参照方向は、東、あるいはデバイス410、ユーザ、デバイス上で実行しているアプリケーション、ローカルもしくはリモート・サーバ、またはサービス・プロバイダなどによって設定もしくは選択される任意の他の方向とすることができる。デバイスの軸方向は、デバイスから、それぞれ、第1のオブジェクト420または第2のオブジェクト430へ向かう方向とすることができる。
本開示の様々な実施形態によれば、デバイス410の撮影装置を用いて画像を撮影する間にマーカまたは識別子をデバイス410の表示装置上に示すことができる。一例として、第1のオブジェクト420もしくは第2のオブジェクト430またはその両方を撮影するためにデバイス410を回すことができる。表示装置上に示されるオブジェクト420またはオブジェクト430が、撮影中に表示装置上に示されたマーカまたは識別子とマッチングすれば、デバイス410の軸方向と参照方向との間の角度を、それそれ、第1の方位440または第2の方位450として記録できる。
本開示の様々な実施形態によれば、デバイス410の第1の方位440および第2の方位450を決定するためにデバイス410のセンサも用いることができる。表示装置上に示されるオブジェクト420またはオブジェクト430が、撮影中に表示装置上に示されたマーカまたは識別子とマッチングすれば、デバイス410の方位を決定するためにセンサを用いることができて、センサを用いて取得された方位を、それぞれ、第1の方位440または第2の方位450として記録できる。
第1のオブジェクト420および第2のオブジェクト430の位置を取得できる。本開示の様々な実施形態によれば、第1のオブジェクトの位置または第2のオブジェクトの位置を取得するステップを第1の方位440または第2の方位450を取得するステップの前、同時、または後に実装できる。位置は、オブジェクト位置のデータベース、例えば、複数の実施形態によれば、記憶されたストリートビュー・マップをもつクラウド・サーバから引き出されてもよい。
本開示の様々な実施形態によれば、種々の建物または他のタイプのランドマークの位置を予め取得して、データベース中に記録できる。データベース中の記録は、建物またはランドマークの識別子、建物またはランドマークの画像、あるいはこれらの建物またはランドマークの位置などを備えることができる。データベースは、デバイス自体に記憶されてもよく、またはクラウド・ストレージのようなリモート・ストレージ中にあってもよい。例えば、複数の実施形態において、ストリートビュー・マップがデータベースとしての役割を果たしてもよい。かかる実施形態では、第1のオブジェクトおよび第2のオブジェクトの写真が1つ以上のネットワークを介してサーバへアップロードされてよい。複数の実施形態において、写真は、アップロードする前に白黒へ変換されてよい。第1の画像および第2の画像を取得するステップに応答し、現在知られているか、また開発されることになる様々なタイプの画像特定技術を用いて、第1のオブジェクト420および第2のオブジェクト430を、それぞれ、第1の画像および第2の画像中で特定できる。第1のオブジェクト420および第2のオブジェクト430の識別子を決定して、それぞれ、データベース中の記録とマッチングさせることができる。データベース記録は、様々な位置画像および関連する位置データを含んでよい。位置データは、複数の実施形態において、記憶されたGPSデータを含む。対応する記録を発見するステップに応答して、第1のオブジェクト420および第2のオブジェクト430の位置を、それぞれ対応する記録に基づいて、決定できる。別の例では、第1の画像中の第1のオブジェクト420を備える領域をデータベース中の記録の画像と比較できる。
本開示の様々な実施形態によれば、第1のオブジェクト420もしくは第2のオブジェクト430またはその両方を特定するためにユーザ入力も用いることができる。例えば、ユーザは、撮影された建物またはランドマークをよく知っていれば、第1のオブジェクト420もしくは第2のオブジェクト430またはその両方の特定に寄与するために建物またはランドマークの名称または他の情報を入力できる。本開示の様々な実施形態によれば、第1のオブジェクト420の第1の位置がデータベースから取得されず、または第2のオブジェクト430の第2の位置が取得されなければ、デバイス410のユーザへ通知を提示することができる。一例として、通知は、デバイス410の表示装置上に示された通知メッセージとすることができる。別の例では、サーバからデバイス410へ通知メッセージを送り、次に、デバイス410の表示装置上に示すことができる。
図5は、本開示のある実施形態に従ってデバイス410の位置を決定するための座標系の例500の概略図を示す。一例では、第1のオブジェクト420および第2のオブジェクト430の位置を座標系中の第1の点520および第2の点530へマッピングできる。一例として、座標系の原点510として参照位置を選択し、座標系のX軸として参照方向を選択し、座標系のY軸としてX軸(参照方向)に垂直な方向を選択することによって座標系を動的に確立できる。別の例では、参照方向からある角度をもつ方向を座標系のX軸として選択することによって座標系を確立できる。
本開示の様々な実施形態によれば、第1のオブジェクト420および第2のオブジェクト430の位置を経度および緯度、あるいは現在知られているか、または開発されることになる位置を提示するのに適した任意の他のフォーマットで表すことができる。参照位置を選択して、座標系の原点510として設定できる。一例では、参照位置は、第1のオブジェクト420および第2のオブジェクト430の位置に近い位置とすることができる。第1のオブジェクト420の(経度1,緯度1)と参照位置の(経度3,緯度3)との間の差を第1の点520のx座標およびy座標として設定できる。第2のオブジェクト430の(経度2,緯度2)と参照位置の(経度3,緯度3)との間の差を第2の点530のx座標およびy座標として設定できる。位置と座標との間のマッピングが一例として表1に示される。位置および座標をマッピングするために他のタイプのマッピング方法も用いることができる。例えば、位置の経度および緯度を数で表すことができて、これらの数に座標系中の座標を取得するために予め設定された定数を乗算できる。定数は、座標系の精度要件に合致する任意の値とすることができる。
Figure 0007100815000001
座標系中の第1の方位440および第2の方位450に応じて第1の線および第2の線を決定できる。第1の線は、第1の点520を通過し、第1の線と座標系のX軸との間の角度540は、第1の方位440に等しい。第2の線は、第2の点530を通過し、第2の線とX軸との間の角度550は、第2の方位450に等しい。第1の線および第2の線は、交点510で互いに交わってよい。交点510のx座標およびy座標を決定して、次に、位置へマッピングできる。座標系中の点が位置に対応するので、交点510のx座標およびy座標に応じてデバイス410の位置を取得できる。
本開示の様々な実施形態によれば、座標系中の交点510のx座標およびy座標は、以下の式:
=(Yb-tanθ・Xb-+tanθ・X)/(tanθ2-tanθ)、
=tanθ・X+Ya-tanθ
により、ここでXは、交点510のx座標であり、Yは、交点510のy座標であり、Xは、第1の点520のx座標であり、Yは、第1の点520のy座標であり、Xは、第2の点530のx座標であり、Yは、第2の点530のy座標であり、θは、デバイスの第1の方位440に等しく、θは、デバイスの第2の方位450に等しい。交点510のx座標およびy座標に応じてデバイス410の位置を取得できる。座標と位置との間のマッピングが一例として表2に示される。座標および位置をマッピングするために他のタイプのマッピング方法も用いることができる。
Figure 0007100815000002
本開示の様々な実施形態によれば、座標系中の座標を用いて位置を表すことができる。一例では、座標系の原点、X軸、およびY軸を予め設定できて、種々の建物またはランドマークの位置の座標をデータベース中に記録できる。第1のオブジェクト420および第2のオブジェクト430を特定するステップに応答する際に、第1のオブジェクト420および第2のオブジェクト430の位置の座標をデータベースから直接に取得できる。図5を参照すると、第1のオブジェクト420および第2のオブジェクト430の位置が座標系中の第1の点520および第2の点530に対応する。
座標系中の第1の方位440および第2の方位450に応じて第1の線および第2の線を決定できる。第1の線は、第1の点520を通過し、第1の線と座標系のX軸との間の角度540は、第1の方位440に応じて決定される。第2の線は、第2の点530を通過し、第2の線とX軸との間の角度550は、第2の方位450に応じて決定される。
一例では、参照方向は、座標系のX軸方向と同じとすることができ、角度540が第1の方位440と等しく、角度550が第2の方位450と等しい。別の例では、参照方向とX軸方向との間に差があり、角度540および角度550を取得するためにこの差を第1の方位440または第2の方位450とともに考慮することができる。例えば、X軸方向が東方向であり、参照方向が東10度北であれば、差は10度であり、角度540を取得するためには第1の方位440にこの差を加えることができる。別の例では、X軸方向が東方向であり、参照方向が東10度南であれば、差は-10度である。
第1の線および第2の線は、交点510で互いに交わってよい。交点510のx座標およびy座標を決定できる。座標系中の点が位置に対応するので、デバイス410の位置を決定できる。
本開示の様々な実施形態によれば、座標系中の交点510のx座標およびy座標は、以下の式:
=(Yb-tanθ・Xb-+tanθ・X)/(tanθ2-tanθ)、
=tanθ・X+Ya-tanθ
により、ここでXは、交点510のx座標であり、Yは、交点510のy座標であり、Xは、第1の点520のx座標であり、Yは、第1の点520のy座標であり、Xは、第2の点530のx座標であり、Yは、第2の点530のy座標であり、θは、デバイスの第1の方位440に応じて決定され、θは、デバイスの第2の方位450に応じて決定される。一例では、参照方向は、座標系のX軸方向と同じとすることができ、θは、第1の方位440と等しく、θは、第2の方位450と等しい。別の例では、参照方向とX軸方向との間に差があり、θおよびθを取得するためにこの差を第1の方位440または第2の方位450に加えることができる。
図6は、本開示のある実施形態に従ってデバイス410の位置を決定するための別の座標系の例600の概略図を示す。第1のオブジェクト420および第2のオブジェクト430の位置を座標系中の第1の点620および第2の点630へマッピングできる。一例として、座標系の原点510として第1の点620を選択し、座標系のX軸として参照方向を選択し、座標系のY軸としてX軸(参照方向)に垂直な方向を選択することによって座標系を確立できる。別の例では、参照方向からある角度をもつ方向を座標系のX軸として選択することによって座標系を確立できる。
本開示の様々な実施形態によれば、第1のオブジェクト420および第2のオブジェクト430の位置を経度および緯度、あるいは現在知られているか、または開発されることになる位置を提示するのに適した任意の他のフォーマットで表すことができる。第2のオブジェクト430の位置の(経度2,緯度2)と第1のオブジェクト420の位置の(経度1,緯度1)との間の差を第2の点630のx座標およびy座標として設定できる。位置と座標との間のマッピングが一例として表3に示される。位置および座標をマッピングするために他のタイプのマッピング方法も用いることができる。例えば、位置の経度および緯度を数で表すことができて、これらの数に座標系中の座標を取得するために予め設定された定数を乗算できる。定数は、必要とされる任意の値とすることができる。
Figure 0007100815000003
座標系中の第1の方位440および第2の方位450に応じて第1の線および第2の線を決定できる。第1の線は、第1の点620(座標系の原点)を通過し、第1の線と座標系のX軸との間の角度640は、第1の方位440に等しい。第2の線は、第2の点630を通過し、第2の線とX軸との間の角度650は、第2の方位450に等しい。第1の線および第2の線は、交点610で互いに交わってよい。交点610のx座標およびy座標を決定して、次に、位置へマッピングできる。交点610のx座標および座標に応じてデバイス410の位置を取得できる。
本開示の様々な実施形態によれば、座標系中の交点610のx座標およびy座標は、以下の式:
=(Yb-tanθ1・)/(tanθ2-tanθ)、
=tanθ2・
により、ここでXは、交点630のx座標であり、Yは、交点630のy座標であり、Xは、第2の点520のx座標であり、Yは、第2の点520のy座標であり、θは、デバイスの第1の方位440に等しく、θは、デバイスの第2の方位450に等しい。
図7は、本開示のある実施形態による測位のための方法例700のフローチャートである。本開示の様々な実施形態によれば、デバイス410、またはデバイス410の近くにある別のデバイスによって方法700を実装できる。別の例では、方法のいくつかのステップをデバイス410またはデバイス410の近くにある別のデバイスによって実装でき、方法のいくつかのステップをデバイス410が1つ以上のネットワークを通じて通信するローカルまたはリモート・サーバにおいて実装できる。いくつかの環境では、方法を1つ以上のデバイス410、デバイス410の近くにある別のデバイス、およびローカルもしくはリモート・サーバによって共同で実装できる。
ブロック710において、デバイスを用いて第1の画像を取得できて、デバイスの第1の方位を決定できる。ブロック720において、デバイスを用いて第2の画像を取得できて、デバイスの第2の方位を決定できる。
一例では、デバイスの撮影装置を用いて第1の画像および第2の画像を取得できる。少なくとも2つの画像を、同じ位置で、または測位システムによって単一の位置と見做されるのに互いに概して十分に近い2つの位置で取得できる。第1の方位は、撮影装置を用いて第1のオブジェクトを撮影するときのデバイスの軸方向と参照方向との間の角度とすることができる。第2の方位は、第2のオブジェクトを撮影するときのデバイスの軸方向と参照方向との間の角度とすることができる。
ブロック730において、第1の画像に含まれた第1のオブジェクトの第1の位置および第2の画像に含まれた第2のオブジェクトの第2の位置をストリートビュー・データベースから決定できる。ブロック740において、第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じてデバイスの位置を決定できる。
理解されるべきは、これらのステップ(第1の画像を取得するステップ、第2の画像を取得するステップ、第1の方位を決定するステップ、第2の方位を決定するステップ、第1の位置を決定するステップ、第2の位置を決定するステップなど)のシーケンスが随意的なことである。例えば、第1の方位を決定する、または第2の方位を決定するステップを第1の画像を取得する、または第2の画像を取得するステップの前、同時、または後に実装できる。第1の位置を決定する、または第2の位置を決定するステップを第1の方位を取得する、または第2の方位を取得するステップの前、同時、または後に実装することもできる。
本開示のいくつかの実施形態において、デバイスを用いて第3の画像も取得できて、デバイスの第3の方位を決定できる。次に、第3の画像に含まれた第3のオブジェクトの第3の位置を決定できる。本開示の様々な方法を用いて、第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じてデバイスの第1の位置を決定できる。本開示の様々な方法を用いて、第1の方位、第3の方位、第1のオブジェクトの第1の位置および第3のオブジェクトの第3の位置に応じてデバイスの第2の位置を決定できる。次に、デバイスの第1の位置およびデバイスの第2の位置を用いて、デバイスの位置を取得することができる。例えば、デバイスの第1の位置およびデバイスの第2の位置の中間位置を算出して、デバイスの位置として用いることができる。
図8は、本開示のある実施形態による測位のための別の方法例800のフローチャートである。本開示の様々な実施形態によれば、方法800をデバイス410、またはデバイス410の近くにある別のデバイスによって実行できる。別の例では、方法800を1つ以上のネットワークを通じてデバイス410と通信するローカルまたはリモート・サーバにおいて実行できる。いくつかの環境では、方法を1つ以上のデバイス410、デバイス410の近くにある別のデバイス、およびローカルもしくはリモート・サーバによって共同で実装できる。
ブロック810において、デバイスによってキャプチャーされた、第1の画像をデバイスから受信できる。デバイスの第1の方位も同様にデバイスから受信できる。ブロック820において、デバイスによってキャプチャーされた、第2の画像をデバイスから受信できて、デバイスの第2の方位も同様に受信できる。
一例では、デバイスの撮影装置を用いて第1の画像および第2の画像を取得して、1つ以上のネットワークを通じてリモート・サーバへ送信できる。少なくとも2つの画像を、同じ位置で、または測位システムによって単一の位置と見做されるのに互いに概して十分に近い2つの位置で取得できる。第1の方位は、撮影装置を用いて第1のオブジェクトを撮影するときのデバイスの軸方向と参照方向との間の角度とすることができる。第2の方位は、第2のオブジェクトを撮影するときのデバイスの軸方向と参照方向との間の角度とすることができる。
ブロック830において、第1の画像に含まれた第1のオブジェクトの第1の位置および第2の画像に含まれた第2のオブジェクトの第2の位置をオブジェクト位置のデータベースから決定できる。ブロック840において、第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じてデバイスの位置を決定できる。1つ以上のネットワークを通じてデバイスの位置をデバイスへ送信できる。
理解されるべきは、これらのステップ(第1の画像を取得、受信するステップ、第2の画像を受信するステップ、第1の方位を決定するステップ、第2の方位を決定するステップ、第1の位置を決定するステップ、第2の位置を決定するステップなど)のシーケンスが随意的なことである。例えば、第1の方位を受信する、または第2の方位を受信するステップを第1の画像を受信する、または第2の画像を受信するステップの前、同時、または後に実装できる。第1の位置を決定する、または第2の位置を決定するステップを第1の方位を受信する、または第2の方位を受信するステップの前、同時、または後に実装することもできる。
本開示の別の実施形態によれば、コンピュータ・システムが提供される。コンピュータ・システムは、プロセッサおよびプロセッサに結合されたコンピュータ可読メモリを備える。メモリは、プロセッサによって実行されたときに、以下の動作、すなわち、デバイスを用いて第1の画像を取得し、デバイスの第1の方位を決定するステップと、デバイスを用いて第2の画像を取得し、デバイスの第2の方位を決定するステップと、第1の画像に含まれた第1のオブジェクトの第1の位置および第2の画像に含まれた第2のオブジェクトの第2の位置を決定するステップと、第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じてデバイスの位置を決定するステップとを行う命令を備える。
本開示の別の実施形態によれば、コンピュータ・プログラム製品が提供される。コンピュータ・プログラム製品は、それを以て具現されたプログラム命令を有するコンピュータ可読ストレージ媒体を備え、プログラム命令は、プロセッサに、デバイスを用いて第1の画像を取得して、デバイスの第1の方位を決定し、デバイスを用いて第2の画像を取得して、デバイスの第2の方位を決定し、第1の画像に含まれた第1のオブジェクトの第1の位置および第2の画像に含まれた第2のオブジェクトの第2の位置を決定して、第1の方位、第2の方位、第1のオブジェクトの第1の位置および第2のオブジェクトの第2の位置に応じてデバイスの位置を決定するようにさせるために、プロセッサによって実行可能である。
本発明は、集積化の任意の可能な技術的詳細レベルにおけるシステム、方法、もしくはコンピュータ・プログラム製品またはそれらのすべてであってよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令をその上に有する(1つまたは複数の)コンピュータ可読ストレージ媒体を含んでよい。
コンピュータ可読ストレージ媒体は、命令実行デバイスによる使用のための命令を保持して記憶することができる、有形のデバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、以下には限定されないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または前述のものの任意の適切な組み合わせであってよい。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM)、リード・オンリ・メモリ(ROM:read-only memory)、消去可能プログラマブル・リード・オンリ・メモリ(EPROM:erasable programmable read-only memoryまたはフラッシュ・メモリ)、スタティック・ランダム・アクセス・メモリ(SRAM:static random access memory)、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ(CD-ROM:portable compact disc read-only memory)、デジタル多用途ディスク(DVD:digital versatile disk)、メモリ・スティック、フレキシブルディスク、パンチ・カードまたはその上に記録された命令を有する溝中の***構造など、機械的に符号化されたデバイス、および前述のものの任意の適切な組み合わせを含む。コンピュータ可読ストレージ媒体は、本明細書では、例えば、電波、または他の自由に伝搬する電磁波、導波路もしくは他の送信媒体中を通って伝搬する電磁波(例えば、光ファイバ・ケーブルを通過する光パルス)、またはワイヤを通って送信される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。
本明細書に記載されるコンピュータ可読プログラム命令を、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング/処理デバイスへ、あるいはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはそれらのすべてを介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードできる。ネットワークは、銅送信ケーブル、光送信ファイバ、無線送信、ルータ、ファイヤウォール、スイッチ、ゲートウェイ・コンピュータもしくはエッジ・サーバまたはそれらのすべてを備えてよい。各コンピューティング/処理デバイス中のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それらのコンピュータ可読プログラム命令をそれぞれのコンピューティング/処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。
本発明のオペレーションを実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ(ISA:instruction-set-architecture)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路素子のための構成データ、あるいはSmalltalk、C++などのようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様なプログラミング言語のような、手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組合せで書かれた、ソース・コードまたはオブジェクト・コードのいずれかであってよい。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンド・アロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上かつ部分的にリモート・コンピュータ上で、あるいは全体的にリモート・コンピュータまたはサーバ上で実行してよい。後者のシナリオにおいては、リモート・コンピュータが、ローカル・エリア・ネットワーク(LAN)またはワイド・エリア・ネットワーク(WAN)を含む、任意のタイプのネットワークを通してユーザのコンピュータへ接続されてよく、あるいは(例えば、インターネット・サービス・プロバイダを用いてインターネットを通して)外部コンピュータへ接続が行われてもよい。いくつかの実施形態では、本発明の態様を行うために、例えば、プログラマブル・ロジック回路素子、フィールド・プログラマブル・ゲート・アレイ(FPGA:field-programmable gate array)、またはプログラマブル・ロジック・アレイ(PLA:programmable logic arrays)を含む、電子回路素子が、コンピュータ可読プログラム命令の状態情報を利用して電子回路素子をパーソナライズすることによって、コンピュータ可読プログラム命令を実行してよい。
本発明の態様が、本発明の実施形態による方法、装置(システム)、およびコンピュータ・プログラム製品のフローチャート説明図もしくはブロック図またはその両方を参照して本明細書に記載される。フローチャート説明図もしくはブロック図またはその両方の各ブロック、およびフローチャート説明図もしくはブロック図またはその両方におけるブロックの組み合わせをコンピュータ可読プログラム命令によって実装できることが理解されるであろう。
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行する、それらの命令が、フローチャートもしくはブロック図またはその両方の1つまたは複数のブロックにおいて指定される機能/動作を実装するための手段を作り出すような、マシンを生成するように汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサへ提供されてよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体に記憶されてもよく、これらのプログラム命令は、その中に記憶された命令を有するコンピュータ可読ストレージ媒体が、フローチャートもしくはブロック図またはその両方の1つまたは複数のブロックにおいて指定された機能/動作の態様を実装する命令を含んだ製造品を備えるような、特定の仕方で機能するように、コンピュータ、プログラマブル・データ装置、もしくは他のデバイスまたはそれらのすべてに命令することができる。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令がフローチャートもしくはブロック図またはその両方の1つまたは複数のブロックにおいて指定される機能/動作を実装するような、コンピュータ実装プロセスを生成するための一連の操作ステップがコンピュータ、他のプログラマブル装置、または他のデバイス上で行われるようにするために、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上へロードされてもよい。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能性、およびオペレーションを示す。この点において、フローチャートまたはブロック図中の各ブロックは、指定された論理機能(単数または複数)を実装するための1つ以上の実行可能な命令を備える、モジュール、セグメント、または命令の一部を表してよい。いくつかの代わりの実装では、ブロック中に記された機能が図中に記された順序以外で発生してもよい。例えば、連続して示される2つのブロックが、実際には、実質的に同時に実行されてもよく、または関与する機能性によっては、ブロックがときには逆の順序で実行されてもよい。ブロック図もしくはフローチャート説明図またはその両方の各ブロック、およびブロック図もしくはフローチャート説明図またはその両方におけるブロックの組み合わせを、指定された機能または動作を行う、あるいは専用ハードウェアとコンピュータ命令との組み合わせを実施する専用ハードウェア・ベースのシステムによって実装できることにも気付くであろう。
本開示の様々な実施形態の記載が説明のために提示されたが、これらが網羅的であること、または開示される実施形態を限定することは意図されない。記載された実施形態の範囲および趣旨から逸脱することなく、多くの修正および変更が当業者には明らかであろう。本明細書に用いられる用語法は、実施形態の原理、実用用途または市場に見られる技術を超える技術的改良を説明するために、あるいは本明細書に開示される実施形態を当業者が理解できるようにするために選ばれた。

Claims (10)

  1. デバイスに関する位置を返す方法であって、前記方法は、
    デバイスによってキャプチャされた第1の画像および前記デバイスの第1の方位を1つ以上のネットワークを通じて前記デバイスから受信するステップと、
    前記デバイスによってキャプチャされた第2の画像および前記デバイスの第2の方位を前記1つ以上のネットワークを通じて前記デバイスから受信するステップと、
    前記第1の画像に含まれた第1のオブジェクトの第1の位置および前記第2の画像に含まれた第2のオブジェクトの第2の位置を決定するステップであって、前記第1の位置および前記第2の位置は、オブジェクト位置のデータベースを用いて取得される、前記決定するステップと、
    前記第1の方位、前記第2の方位、前記第1のオブジェクトの前記第1の位置および前記第2のオブジェクトの前記第2の位置に応じて前記デバイスのデバイス位置を決定するステップと、
    前記デバイス位置を前記デバイスへ送信するステップと
    を備え
    前記デバイス位置を決定するステップは、
    ある座標系において、前記第1のオブジェクトの前記第1の位置に対応する第1の点を通過する前記第1の方位をもつ第1の線、および前記第2のオブジェクトの前記第2の位置に対応する第2の点を通過する前記第2の方位をもつ第2の線を決定するステップと、
    前記座標系における前記第1の線と前記第2の線との交点に基づいて前記デバイスの前記デバイス位置を決定するステップと
    を備える、方法。
  2. 前記第1の位置および前記第2の位置を取得するステップは、
    前記第1のオブジェクトおよび前記第2のオブジェクトを特定するために前記第1の画像および前記第2の画像の画像解析を行うステップと、
    前記第1のオブジェクトおよび前記第2のオブジェクトを前記データベース中の複数の位置画像と比較するステップと、
    前記第1のオブジェクトを前記複数の位置画像の少なくとも1つに、かつ前記第2のオブジェクトを前記複数の位置画像の少なくとも1つにマッチングさせるステップであって、前記第1の位置は、前記第1のオブジェクトにマッチングされた前記少なくとも1つの位置画像と関連付けられた位置データによって与えられ、前記第2の位置は、前記第2のオブジェクトにマッチングされた前記少なくとも1つの位置画像と関連付けられた位置データによって与えられる、前記マッチングさせるステップと
    を備える、請求項1に記載の方法。
  3. 前記デバイスから受信される前記第1の方位および前記第2の方位は、前記デバイスによって前記デバイス中のセンサを用いて決定される、請求項1に記載の方法。
  4. 前記デバイスの前記第1の方位は、前記デバイスの軸方向と参照方向との間の角度である、請求項1に記載の方法。
  5. 前記デバイス位置を決定するステップは、リモート・サーバによって行われ、前記方法は、前記デバイス位置をあるデバイスへ送信するステップをさらに備える、請求項1に記載の方法。
  6. 前記デバイス位置を決定するステップは、前記デバイスによって行われ、前記方法は、
    前記デバイス位置を前記デバイス上に表示するステップと、
    前記デバイスから第3のオブジェクトの第3の画像を受信するステップと、
    前記第3のオブジェクトの位置を取得できないことに応答して、前記デバイスのユーザへ通知を提示するステップと
    をさらに備える、請求項1に記載の方法。
  7. デバイスに関する位置を返すためのコンピュータ・システムであって、前記システムは、
    プロセッサ、および
    前記プロセッサに結合されたコンピュータ可読メモリ
    を備え、前記メモリは、前記プロセッサによって実行されたときに、以下の動作:
    デバイスによってキャプチャされた第1の画像および前記デバイスの第1の方位を1つ以上のネットワークを通じて前記デバイスから受信するステップと、
    前記デバイスによってキャプチャされた第2の画像および前記デバイスの第2の方位を前記1つ以上のネットワークを通じて前記デバイスから受信するステップと、
    前記第1の画像に含まれた第1のオブジェクトの第1の位置および前記第2の画像に含まれた第2のオブジェクトの第2の位置を決定するステップであって、前記第1の位置および前記第2の位置は、オブジェクト位置のデータベースを用いて取得される、前記決定するステップと、
    前記第1の方位、前記第2の方位、前記第1のオブジェクトの前記第1の位置および前記第2のオブジェクトの前記第2の位置に応じて前記デバイスのデバイス位置を決定するステップと、
    前記デバイス位置を前記デバイスへ送信するステップと
    行う命令を備え
    前記デバイス位置を決定するステップは、
    ある座標系において、前記第1のオブジェクトの前記第1の位置に対応する第1の点を通過する前記第1の方位をもつ第1の線、および前記第2のオブジェクトの前記第2の位置に対応する第2の点を通過する前記第2の方位をもつ第2の線を決定するステップと、
    前記座標系における前記第1の線と前記第2の線との交点に基づいて前記デバイスの前記デバイス位置を決定するステップと
    を備える、コンピュータ・システム。
  8. コンピュータ・プログラムであって、プロセッサに、
    デバイスによってキャプチャされた第1の画像および前記デバイスの第1の方位を1つ以上のネットワークを通じて前記デバイスから受信させ、
    前記デバイスによってキャプチャされた第2の画像および前記デバイスの第2の方位を前記1つ以上のネットワークを通じて前記デバイスから受信させ、
    前記第1の画像に含まれた第1のオブジェクトの第1の位置および前記第2の画像に含まれた第2のオブジェクトの第2の位置を決定し、前記第1の位置および前記第2の位置は、オブジェクト位置のデータベースを用いて取得させ、
    前記第1の方位、前記第2の方位、前記第1のオブジェクトの前記第1の位置および前記第2のオブジェクトの前記第2の位置に応じて前記デバイスのデバイス位置を決定して、
    前記デバイス位置を前記デバイスへ送信させ
    前記デバイス位置の決定において、
    ある座標系において、前記第1のオブジェクトの前記第1の位置に対応する第1の点を通過する前記第1の方位をもつ第1の線、および前記第2のオブジェクトの前記第2の位置に対応する第2の点を通過する前記第2の方位をもつ第2の線を決定して、
    前記座標系における前記第1の線と前記第2の線との交点に基づいて前記デバイスの前記デバイス位置を決定する
    ためのコンピュータ・プログラム。
  9. 請求項に記載のコンピュータ・プログラムを記憶したコンピュータ可読記憶媒体。
  10. デバイスに関する位置を返す方法であって、前記方法は、
    デバイスによってキャプチャされた第1の画像および前記デバイスの第1の方位を1つ以上のネットワークを通じてサーバへ送信するステップと、
    前記デバイスによってキャプチャされた第2の画像および前記デバイスの第2の方位を前記1つ以上のネットワークを通じてサーバへ送信するステップと、
    前記1つ以上のネットワークを通じて前記第1の画像に含まれた第1のオブジェクトの第1の位置および前記第2の画像に含まれた第2のオブジェクトの第2の位置を受信するステップであって、前記第1の位置および前記第2の位置は、オブジェクト位置のデータベースを用いて取得される、前記受信するステップと、
    前記第1の方位、前記第2の方位、前記第1のオブジェクトの前記第1の位置および前記第2のオブジェクトの前記第2の位置に応じて前記デバイスのデバイス位置を決定するステップと
    を備え
    前記デバイス位置を決定するステップは、
    ある座標系において、前記第1のオブジェクトの前記第1の位置に対応する第1の点を通過する前記第1の方位をもつ第1の線、および前記第2のオブジェクトの前記第2の位置に対応する第2の点を通過する前記第2の方位をもつ第2の線を決定するステップと、
    前記座標系における前記第1の線と前記第2の線との交点に基づいて前記デバイスの前記デバイス位置を決定するステップと
    を備える、方法。
JP2020501803A 2017-07-20 2018-07-05 位置決定 Active JP7100815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/654,962 2017-07-20
US15/654,962 US10740612B2 (en) 2017-07-20 2017-07-20 Location determination
PCT/IB2018/054954 WO2019016640A1 (en) 2017-07-20 2018-07-05 LOCATION DETERMINATION

Publications (3)

Publication Number Publication Date
JP2020528180A JP2020528180A (ja) 2020-09-17
JP2020528180A5 JP2020528180A5 (ja) 2021-01-07
JP7100815B2 true JP7100815B2 (ja) 2022-07-14

Family

ID=65015018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501803A Active JP7100815B2 (ja) 2017-07-20 2018-07-05 位置決定

Country Status (4)

Country Link
US (1) US10740612B2 (ja)
JP (1) JP7100815B2 (ja)
CN (1) CN110869701B (ja)
WO (1) WO2019016640A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110159A1 (zh) * 2020-11-30 2022-06-02 深圳市大疆创新科技有限公司 定位方法、装置、可移动平台、地标及地标阵列

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103249142A (zh) 2013-04-26 2013-08-14 东莞宇龙通信科技有限公司 一种定位方法、***及移动终端
US20130236107A1 (en) 2012-03-09 2013-09-12 Kabushiki Kaisha Topcon Moving image processing device, moving image processing method, and recording medium having moving image processing program
US20140118536A1 (en) 2012-11-01 2014-05-01 Novatel Inc. Visual positioning system
US8933993B1 (en) 2012-01-16 2015-01-13 Google Inc. Hybrid local and cloud based method for pose determination of a mobile device
JP2016142577A (ja) 2015-01-30 2016-08-08 株式会社リコー 画像処理装置、画像処理方法、画像処理システム、及びプログラム
CN106289263A (zh) 2016-08-25 2017-01-04 乐视控股(北京)有限公司 室内导航方法和装置
WO2017057052A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6756913B1 (en) 1999-11-01 2004-06-29 Mourad Ben Ayed System for automatically dispatching taxis to client locations
SG144769A1 (en) 2007-01-30 2008-08-28 Phua Chiew Chuan Mobilenet
WO2012122269A2 (en) * 2011-03-07 2012-09-13 Kba2, Inc. Systems and methods for analytic data gathering from image providers at an event or geographic location
US8442848B2 (en) 2011-03-09 2013-05-14 David Myr Automatic optimal taxicab mobile location based dispatching system
WO2013034953A1 (en) 2011-09-06 2013-03-14 Mobile Credit Payment Pte Ltd Locating system and method for taxi drivers and passengers
US9986208B2 (en) * 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
CN102651167A (zh) 2012-05-15 2012-08-29 成都美璞科技有限公司 一种基于无线通信网寻找附近出租车和打车者的***及方法
US9157748B2 (en) 2012-07-31 2015-10-13 Flatiron Apps LLC System and method for hailing taxicabs
CN103903428B (zh) 2014-03-24 2016-05-04 宇龙计算机通信科技(深圳)有限公司 预约出租车的方法、终端及***
WO2016134509A1 (zh) 2015-02-26 2016-09-01 刘一佳 一种呼叫出租车时发送用户信息的方法以及移动终端
CN106813649A (zh) * 2016-12-16 2017-06-09 北京远特科技股份有限公司 一种图像测距定位的方法、装置及adas

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933993B1 (en) 2012-01-16 2015-01-13 Google Inc. Hybrid local and cloud based method for pose determination of a mobile device
US20130236107A1 (en) 2012-03-09 2013-09-12 Kabushiki Kaisha Topcon Moving image processing device, moving image processing method, and recording medium having moving image processing program
US20140118536A1 (en) 2012-11-01 2014-05-01 Novatel Inc. Visual positioning system
CN103249142A (zh) 2013-04-26 2013-08-14 东莞宇龙通信科技有限公司 一种定位方法、***及移动终端
JP2016142577A (ja) 2015-01-30 2016-08-08 株式会社リコー 画像処理装置、画像処理方法、画像処理システム、及びプログラム
WO2017057052A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN106289263A (zh) 2016-08-25 2017-01-04 乐视控股(北京)有限公司 室内导航方法和装置

Also Published As

Publication number Publication date
US10740612B2 (en) 2020-08-11
CN110869701B (zh) 2022-09-13
US20190026556A1 (en) 2019-01-24
WO2019016640A1 (en) 2019-01-24
JP2020528180A (ja) 2020-09-17
CN110869701A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
US9716827B2 (en) Location aware photograph recommendation notification
US20170206786A1 (en) Parking space management using virtual parking spaces
US10289855B2 (en) Ad hoc target based photograph sharing
US20130346543A1 (en) Cloud service selector
US20180121876A1 (en) Recipient customized delivery paths for unmanned aerial vehicle deliveries
US10013622B2 (en) Removing unwanted objects from a photograph
US10582115B1 (en) Panoramic photograph with dynamic variable zoom
JP2022519456A (ja) リアルタイムLiDARモデル生成の忠実度を増加させるための3D表面推定及び予測
US9704245B2 (en) Determining localization from images of a vicinity
JP7100815B2 (ja) 位置決定
US11204735B2 (en) Receiving audio from a listening device associated with a selected geographic area
US10334027B2 (en) Collaborative communication between colony applications
US20180341855A1 (en) Location tagging for visual data of places using deep learning
US10599097B2 (en) Image and/or video capture from different viewing angles of projected mirror like reflective holographic image surface
US9733101B2 (en) Vehicle convergence analysis based on sparse location data
US10896144B2 (en) Automated configuring of computer system settings for peripheral device(s)
US20210116912A1 (en) Dynamically Controlling Unmanned Aerial Vehicles Using Execution Blocks
US11270459B2 (en) Enterprise system augmented reality detection
US11900314B2 (en) Asset and sensor mapping
US11189063B2 (en) Commenting in 360 degree view image
US12003968B2 (en) Verifying indicated device location using analysis of real-time display element interaction
US20230343093A1 (en) Relative anchors based on density of feature points
US11178531B2 (en) Link devices using their relative positions
WO2022095696A1 (en) Determining peripheral device position relative to a primary display
JP2024528368A (ja) ビデオ通話中のマルチユーザ・カメラ切り替えアイコン

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20220328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220615

R150 Certificate of patent or registration of utility model

Ref document number: 7100815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150