JP2022510418A - 時間同期処理方法、電子機器及び記憶媒体 - Google Patents

時間同期処理方法、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP2022510418A
JP2022510418A JP2021531851A JP2021531851A JP2022510418A JP 2022510418 A JP2022510418 A JP 2022510418A JP 2021531851 A JP2021531851 A JP 2021531851A JP 2021531851 A JP2021531851 A JP 2021531851A JP 2022510418 A JP2022510418 A JP 2022510418A
Authority
JP
Japan
Prior art keywords
angular velocity
different sensors
information
velocity information
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021531851A
Other languages
English (en)
Inventor
シアオフォン ワン
ユーチエン リウ
グオフォン ジャン
Original Assignee
シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド filed Critical シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド
Publication of JP2022510418A publication Critical patent/JP2022510418A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Manufacturing & Machinery (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)
  • Traffic Control Systems (AREA)

Abstract

時間同期処理方法であって、前記方法は、２つの異なるセンサにより収集された角速度情報をそれぞれ得ること（Ｓ１０１）であって、角速度情報は、電子機器が回転運動を行う時の角速度情報であり、２つの異なるセンサはいずれも、電子機器に設けられ、且つ固定に接続される、こと（Ｓ１０１）と、得られた２つの角速度情報に対してアライメント処理を行い、２つの異なるセンサ間の遅延時間情報を決定すること（Ｓ１０２）と、遅延時間情報に基づいて、２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うこと（Ｓ１０３）と、を含む。時間同期処理装置、電子機器及びコンピュータ可読記憶媒体を更に開示する。

Description

（関連出願の相互参照）
本願は、２０１９年６月２１日に提出された、出願番号が２０１９１０５４５２１８．８である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、コンピュータビジョン分野に関し、具体的には時間同期処理方法、電子機器及び記憶媒体に関する。
視覚慣性オドメトリは、現在のコンピュータビジョン分野の焦点になっており、電子機器のナビゲーション及び娯楽に広く適用されている。その主な原理は、視覚と慣性センサをフュージョンすることで、動き過程において、カメラ自体の位置及び姿勢を推定し、正確な測位情報を得ることであり、これは、自律ナビゲーションに属する。
異なるセンサに、異なるトリガ遅延及び伝送遅延が存在するため、電子機器は、異なるセンサの測定結果をフュージョンする時に、異なるセンサ間の遅延時間情報を決定する必要がある。現在、一般的には、三次元空間における動きにより、異なるセンサ間の遅延時間情報をキャリブレーションし、又は、異なるセンサ間の時間遅延を常数として処理を行う。しかしながら、電子機器の動き過程において、異なるセンサ間の遅延時間が変わるものであるため、時間同期精度が低いという課題がある。
本願の実施例は、時間同期処理方法、電子機器及び記憶媒体を提供することが望ましい。
第１態様によれば、本願の実施例は、時間同期処理方法を提供する。前記方法は、２つの異なるセンサにより収集された角速度情報をそれぞれ得ることであって、前記角速度情報は、電子機器が回転運動を行う時の角速度情報であり、前記２つの異なるセンサはいずれも、前記電子機器に設けられ、且つ固定に接続される、ことと、得られた２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の遅延時間情報を決定することと、前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うことと、を含む。
第２態様によれば、本願の実施例は、時間同期処理装置を提供する。前記装置は、第１取得モジュールと、アライメントモジュールと、同期モジュールと、を備え、前記第１取得モジュールは、２つの異なるセンサにより収集された角速度情報をそれぞれ得るように構成され、前記角速度情報は、電子機器が回転運動を行う時の角速度情報であり、前記２つの異なるセンサはいずれも、前記電子機器に設けられ、且つ固定に接続され、前記アライメントモジュールは、得られた２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の遅延時間情報を決定するように構成され、前記同期モジュールは、前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うように構成される。
第３態様によれば、本願の実施例は、電子機器を提供する。前記電子機器は少なくとも、プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を備え、前記プロセッサは、前記コンピュータプログラムを実行する時、上記時間同期処理方法におけるステップを実行するように構成される。
第４態様によれば、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、上記時間同期処理方法におけるステップを実現する。
本願の実施例は、時間同期処理方法、電子機器及び記憶媒体を提供する。電子機器に設けられて固定に接続される２つの異なるセンサにより、２つの異なるセンサにより収集された角速度情報をそれぞれ得て、得られた２つの角速度情報に対してアライメント処理を行い、異なる２つのセンサ間の遅延時間情報を決定し、更に遅延時間情報に基づいて、２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行う。これにより、固定に接続されることによって角速度情報が同じであるという原理を十分に利用して、異なるセンサの時間同期を実現する。
本願の実施例による時間同期処理方法に適用されるシステム構造を示す第１概略図である。 本願の実施例による時間同期処理方法に適用されるシステムアーキテクチャを示す第２概略図である。 本願の実施例による時間同期処理方法に適用されるシステムアーキテクチャを示す第３概略図である。 本願の実施例による時間同期処理方法の実現フローを示す第１概略図である。 本願の実施例による例示的な視覚センサの角速度と慣性センサの角速度との間に時間遅延が存在する場合を示す概略図である。 本願の実施例による例示的な視覚センサの角速度と慣性センサの角速度が同期されたことを示す概略図である。 本願の実施例による時間同期処理方法の実現フローを示す第２概略図である。 本願の実施例による時間同期処理方法の実現フローを示す第３概略図である。 本願の実施例による時間同期処理方法の実現フローを示す第４概略図である。 本願の実施例による四元数で、位置姿勢型センサにより測定された位置姿勢回転行列情報を表すことを示す第１概略図である。 本願の実施例による四元数で、位置姿勢型センサにより測定された位置姿勢回転行列情報を表すことを示す第２概略図である。 本願の実施例による時間同期処理装置の構造を示す概略図である。 本願の実施例による電子機器の構造を示す概略図である。
本願の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。説明される実施例は、本願の実施例を限定するものと認められるべきではなく、当業者が創造的な労力なしに得られる他の実施例の全ては、本発明の保護範囲に含まれる。
図１は、本願の実施例による時間同期処理方法に適用されるシステム構造を示す第１概略図である。図１に示すように、該システムは、プロセッサ１１と、２つの異なるセンサ１２と、メモリ１３とを備えてもよい。２つの異なるセンサ１２はそれぞれ取得した情報をプロセッサ１１に送信して処理する。２つの異なるセンサ１２のうちの１つのセンサは、角速度を直接測定するセンサであってもよく、もう１つのセンサは、角速度を間接的に測定するセンサであってもよい。角速度を間接的に測定するセンサは、センサ自体の回転運動を独立して推定できる（つまり、位置姿勢回転行列情報を取得する）センサである。２つの異なるセンサ１２は、他の構造のセンサであってもよく、本願の実施例は、２つの異なるセンサの構造を限定しない。
ここで、２つの異なるセンサ１２のうちの２つのセンサは、剛性的に固定される。つまり、電子機器の２つの異なるセンサ１２間は、相対的に固定される。動き過程において、異なるセンサが同一の時刻で測定した角速度は同じである。２つの異なるセンサ１２はそれぞれ、取得した情報をプロセッサ１１に入力する。プロセッサ１１は、本願の実施例で提供される方法を実行することで、時間同期処理を行う。
幾つかの実施例において、電子機器は、時間同期処理装置及び２つの異なるセンサ１２を備えてもよい。時間同期処理装置は、上記プロセッサ１１及びメモリ１３を備えてもよい。電子機器に上記２つの異なるセンサ１２を設けることで、２つの異なるセンサにより収集された角速度情報をそれぞれ得る。２つの異なるセンサ１２はそれぞれ、得られた情報をプロセッサ１１に入力する。プロセッサ１１は、本願の実施例で提供される方法を実行することで、時間同期処理を行う。
また幾つかの実施例において、該時間同期処理方法のシステムアーキテクチャは、図２Ａ及び２Ｂに示す通りであってもよい。該システムは、時間同期処理装置２０、第１センサ２２ａ及び第２センサ２２ｂを備える。第１センサ２２ａ及び第２センサ２２ｂは、例えば、車両の電子機器に設けられる。時間同期処理装置２０は、車両内の車載機器であってもよい。第１センサ２２ａ及び第２センサ２２ｂは、電気的接続又は無線通信接続により、取得された情報を時間同期処理装置２０に送信することができる。時間同期処理装置２０は、プロセッサと、メモリと、を備え、第１センサ２２ａ及び第２センサ２２ｂは、得られた情報を時間同期処理装置２０に送信し、プロセッサより処理を行い、本願の実施例で提供される時間同期処理方法を実現することが理解されるべきである。
図２Ａ及び図２Ｂに示すように、第１センサ２２ａ及び第２センサ２２ｂは、車両における異なる位置に設けられてもよく、車両における同一の位置に設けられてもよい。例えば、図２Ｂに示すように、第１センサ２２ａ及び第２センサ２２ｂはいずれも車両のタイヤ部に設けられてもよい。また例えば、図２Ａに示すように、第１センサ２２ａは、車両のタイヤ部に設けられ、第２センサ２２ｂは車両の他の部位に設けられてもよい。例えば、車載装置部に設けられる。本願の実施例は、第１センサ２２ａ及び第２センサ２２ｂの配置位置を限定しない。
プロセッサが異なるセンサからの情報を処理する方式は異なる。例えば、センサが角速度を直接測定するセンサである場合、プロセッサは、得られた角速度情報を直接処理することができる。センサが角速度を間接的に測定するセンサである場合、プロセッサは、まず、位置姿勢回転行列情報を得て、位置姿勢回転行列情報に基づいて、角速度情報を取得してから、取得された角速度情報を処理する。
一般的には、時間同期処理装置は、実行過程において、情報処理能力を有する種々のタイプの電子機器に適用可能である。時間同期処理装置は、オンライン方式で、２つの異なるセンサにより収集されたデータをリアルタイムで取得し、本願の実施例の技術的解決手段により時間同期処理を行うことができる。時間同期処理装置は、オフライン方式で、２つの異なるセンサにより収集されたデータを取得し、本願の実施例の技術的解決手段により時間同期処理を行うこともできる。ここで、オフライン方式で２つの異なるセンサにより収集されたデータを取得することは、２つの異なるセンサにより収集されたデータを記憶し、必要に応じて、記憶されたデータを導出し、異なるセンサのそれぞれの測定結果に対して同期処理を行うことを含んでもよい。オンライン方式で２つの異なるセンサにより収集されたデータを取得することは、２つの異なるセンサにより収集されたデータをリアルタイムで取得し、異なるセンサのそれぞれの測定結果に対して同期処理を行うことを含んでもよい。
ここで、時間同期処理装置は、電子機器内に設けられてもよく、電子機器外に設けられてもよい。２つの異なるセンサは、電子機器内に設けられる。ここで、電子機器は例えば、移動ロボット機器、無人運転機器又は種々の携帯端末などの機器であってもよい。ここで、無人運転機器は、車両、飛行機又は艦艇を含んでもよいが、これらに限定されない。本願の実施例は、ここで限定しない。
上記アーキテクチャによれば、本願の実施例は、異なるセンサ間の時間遅延のキャリブレーションの精度が低くて複雑であるという課題を解決できる時間同期処理方法を提供する。該時間同期処理方法により実現される機能は、時間同期処理装置におけるプロセッサにより実行可能な命令を呼び出すことで実現してもよい。勿論、実行可能な命令は、メモリの記憶媒体に記憶されてもよい。従って、該時間同期処理装置は少なくともプロセッサ及び記憶媒体を備える。
図３は、本願の実施例による時間同期処理方法の実現フローを示す第１概略図である。該方法は時間同期処理装置に適用される。図３に示すように、前記時間同期処理方法は以下を含む。
Ｓ１０１において、２つの異なるセンサにより収集された角速度情報をそれぞれ得て、前記角速度情報は、電子機器が回転運動を行う時の角速度情報であり、前記２つの異なるセンサはいずれも、前記電子機器に設けられ、且つ固定に接続される。
本願の実施例において、２つの異なるセンサは、固定に接続される。つまり、２つの異なるセンサは、相対的に固定される。電子機器が回転運動を行う過程において、２つの異なるセンサが同一の時刻で取得した角速度情報で表される角速度は同じである。
本願の実施例における２つの異なるセンサは、構造が異なるセンサを含み、又は、構造が同じであるが配置位置が異なるセンサを含む。
例えば、２つの異なるセンサは、構造が異なるセンサである場合、前記２つの異なるセンサは、視覚センサ、慣性センサ、磁力センサ、レーザレーダーセンサ及びホイールセンサのうちのいずれか２つの構造を含んでもよく、本願の実施例は、ここで限定しない。
また例えば、２つの異なるセンサは、構造が同じであって位置が異なるセンサである場合、前記２つの異なるセンサは、電子機器における異なる位置に配置される視覚センサ又は磁力センサなどであってもよく、本願の実施例は、ここで限定しない。
本願の実施例において、前記角速度情報は、２つの異なるセンサによりそれぞれ取得された、所定の期間内で電子機器が回転運動を行う時の角速度情報であってもよい。つまり、電子機器が回転運動を行う時、一定の角度で回転し、更に、所定の期間内で、異なるセンサにより収集された角速度情報をそれぞれ取得することができる。
上記所定の期間は、ユーザにより実際の状況に応じて設定されたものであってもよく、例えば、該所定の期間を半時間又は１５分間などとしてもよく、本願の実施例は、これを限定しない。
上記２つの異なるセンサは、角速度情報を直接取得するという方式又は角速度情報を間接的に取得するという方式のような取得方式に応じて分類されることができる。例示的に、１つのタイプのセンサは、角速度情報を直接測定できるジャイロセンサであり、もう１つのタイプのセンサは、角速度情報を間接的に測定できる位置姿勢センサである。又は、上記２つの異なるセンサをセンサの構造に基づいて分類することもできる。例示的に、ジャイロセンサ及び位置姿勢センサは、構造が異なるセンサである。
本願の実施例における幾つかの選択可能な実施例において、前記２つの異なるセンサのうちの少なくとも１つは、位置姿勢センサであり、２つの異なるセンサにより収集された角速度情報をそれぞれ得ることは、位置姿勢センサにより収集された位置姿勢回転行列情報を得ることと、位置姿勢回転行列情報により、電子機器が回転運動を行う時の角速度情報を決定することと、を含む。
本願の実施例における幾つかの選択可能な実施例において、前記２つの異なるセンサのうちの少なくとも１つは、ジャイロセンサであり、２つの異なるセンサにより収集された角速度情報をそれぞれ得ることは、ジャイロセンサにより収集された角速度情報を得ることを含む。
本願の実施例において、２つの異なるセンサにより、電子機器が回転運動を行う時の角速度情報を得ることは、下記複数の適用シーンを含む。
シーン１において、２つの異なるセンサは、いずれもジャイロセンサであり、２つのジャイロセンサの配置位置は異なる。２つのジャイロセンサにより、電子機器が回転運動を行う時の角速度情報を直接収集する。
シーン２において、２つの異なるセンサはいずれも位置姿勢センサであり、２つの位置姿勢センサの配置位置は異なる。２つの位置姿勢センサにより、電子機器が回転運動を行う時の位置姿勢回転行列情報をそれぞれ得て、更に、位置姿勢回転行列情報により、電子機器が回転運動を行う時の角速度情報をそれぞれ算出する。
シーン３において、２つの異なるセンサのうち、１つは、位置姿勢センサであり、もう１つは、ジャイロセンサである。位置姿勢センサにより、電子機器が回転運動を行う時の位置姿勢回転行列情報を得て、更に、位置姿勢回転行列情報により、電子機器が回転運動を行う時の角速度情報を算出することができる。一方で、ジャイロセンサにより、電子機器が回転運動を行う時の角速度情報を直接収集することができる。
例示的に、ジャイロセンサは、慣性センサ、磁力センサ及びホイールオドメトリーセンサのうちのいずれか１つのセンサを含み、位置姿勢センサは、視覚センサ及びレーザレーダーセンサのうちのいずれか１つのセンサを含む。
Ｓ１０２において、得られた２つの角速度情報に対してアライメント処理を行い、２つの異なるセンサ間の遅延時間情報を決定する。
本願の実施例において、異なるセンサのデータ取得頻度が異なるため、２つの角速度情報を得た後、２つの角速度情報に対してアライメント処理を行い、２つの異なるセンサ間の遅延時間情報を決定する必要がある。
本願の実施例において、２つの角速度情報に対してアライメント処理を行うことは、２つの異なるセンサによりそれぞれ取得される角速度情報を頻度で一致させることを目的とする。これにより、アライメントした２つの角速度情報に基づいて、２つの異なるセンサ間の遅延時間情報を決定することができる。
本願の実施例において、２つの角速度に対して補間処理を行うことで、２つの角速度情報をアライメントすることができる。
例示的に、補間処理は、線形補間、三次スプライン補間及び球面補間のうちのいずれか１つの補間処理方式を用いることができ、本願の実施例は、ここで限定しない。
Ｓ１０３において、遅延時間情報に基づいて、２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行う。
本願の実施例において、２つの異なるセンサ間の遅延時間情報を決定した後、遅延時間情報に基づいて、２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うことができる。２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うことは、同一の時刻での２つの異なるセンサのそれぞれの測定結果を決定することである。これにより、異なるセンサの間のトリガ遅延及び伝送遅延による時間同期精度が低いという課題を解決することができる。
本願の実施例において、２つの異なるセンサのそれぞれの測定結果は、電子機器が回転運動を行う時、該２つの異なるセンサがそれぞれ電子機器の回転運動を測定することで得られた測定結果である。
例示的に、２つの異なるセンサによりそれぞれ得られた測定結果は、角速度情報、方向位置角度情報及び加速度情報のうちの少なくとも１つの情報を含んでもよい。例えば、慣性センサの測定結果は、電子機器が回転運動を行う時の角速度情報及び加速度情報を含んでもよく、磁力センサの測定結果は、電子機器が回転運動を行う時の方向位置角度情報を含んでもよい。
１つの実施例において、電子機器に少なくとも３つのセンサが設けられてもよく、該少なくとも３つのセンサは、固定に接続される。該少なくとも３つのセンサにより収集された角速度情報をそれぞれ得る。得られた３つの角速度情報に対してアライメント処理を行い、少なくとも３つのセンサ間の遅延時間情報を決定する。遅延時間情報に基づいて、少なくとも３つのセンサのそれぞれの測定結果に対して時間同期処理を行う。
電子機器に少なくとも３つのセンサが設けられる場合、少なくとも３つのセンサを２つずつ組み合わせ、任意の２つのセンサ間の遅延時間情報を取得し、更に、該遅延時間情報により、同一の時刻で対応する２つのセンサのそれぞれの測定結果に対して時間同期処理を行い、少なくとも３つのセンサの時間同期処理を実現する。
例示的に、電子機器に設けられる２つの異なるセンサがそれぞれ視覚センサ及び慣性センサである場合、取得された視覚センサと慣性センサとの間の遅延時間情報に基づいて、視覚センサの測定結果及び慣性センサの測定結果に対して時間同期処理を行い、視覚センサの測定結果と慣性センサの測定結果との時間同期を実現することができる。
例示的に、電子機器に設けられる３つのセンサがそれぞれ視覚センサ、慣性センサ及びレーザレーダーセンサである場合、まず、視覚センサと慣性センサとの間の遅延時間情報を決定し、該遅延時間情報に基づいて、視覚センサの測定結果及び慣性センサの測定結果に対して時間同期処理を行い、視覚センサの測定結果と慣性センサの測定結果との時間同期を実現する。続いて、視覚センサとレーザレーダーセンサとの間の遅延時間情報を決定し、該遅延時間情報に基づいて、視覚センサの測定結果及びレーザレーダーセンサの測定結果に対して時間同期処理を行い、視覚センサの測定結果とレーザレーダーセンサの測定結果との時間同期を実現する。このように、２回の時間同期処理により、視覚センサ、慣性センサ及びレーザレーダーセンサという３つのセンサ間の測定結果の時間同期を実現する。
２つの異なるセンサの測定結果の、同期前後の相違点をより明確に表現するために、以下、２つの異なるセンサのうちの１つのセンサが視覚センサであり、もう１つのセンサが慣性センサであり、測定結果が角速度情報であることを例として、本願の実施例における時間同期処理を説明する。
図４は、本願の実施例による例示的な視覚センサの角速度と慣性センサの角速度との間に時間遅延が存在する場合を示す概略図である。図５は、本願の実施例による例示的な視覚センサの角速度と慣性センサの角速度が同期されたことを示す概略図である。図４及び図５において、破線は、視覚線センサの角速度を表し、実線は、慣性センサの角速度を表す。
図４から分かるように、視覚センサの角速度曲線と慣性センサの角速度曲線は、ずれており、しかも視覚センサの角速度曲線は、タイムラグがある。視覚センサと慣性センサとの間の遅延時間情報により、視覚センサの角速度に対して同期を行った後、図５から分かるように、視覚センサの角速度曲線と慣性センサの角速度曲線はアライメントされたものであり、ずれていない。これにより、決定された遅延時間情報に基づいて、視覚センサと慣性センサの角速度情報の時間同期処理を実現することができる。
本願の実施例において、２つの異なるセンサ間の遅延時間情報を決定した後、直接遅延時間情報に基づいて、２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うことができる。
１つの実施例において、得られた２つの角速度情報に対してアライメント処理を行い、２つの異なるセンサ間の遅延時間情報を決定した後、遅延時間情報を記憶することもできる。電子機器が非運動状態である場合、記憶された遅延時間情報に基づいて、２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行う。
本願の実施例の技術的解決手段は、オンライン時間同期処理を実現することができるだけでなく、オフライン時間同期処理を実現することもでき、その時間同期処理はより柔軟である。それと同時に、本願の実施例における時間同期処理は、格子画像のようなキャリブレーション参照物に依存することなく、その時間同期はより便利かつ簡単であり、適応性が高い。
本願の実施例において、回転運動を実行できることが電子機器に求められる。つまり、電子機器は少なくとも回転軸の周りを回転さえすれば、電子機器における異なるセンサ間の遅延時間情報をキャリブレーションすることができる。複数軸の周りを回転するように動作する必要がなく、異なるセンサの時間同期の複雑さを低減させ、異なるシーンの需要に適応することができる。また、本願の実施例は、電子機器が複数の軸の周りを回転することで発生した回転運動に基づいて、遅延時間をキャリブレーションすることもできる。これにより、より豊かな回転情報を得て、時間同期の精度を向上させることができる。本願の実施例において、センサが角速度情報を独立して取得できることが求められる。これにより、異なるセンサ間の遅延時間情報を決定することができる。複数のセンサ間の時間同期に広く適用可能であり、汎用適応性を有する。本願の実施例において、ソフトウェアに基づいて時間同期を実現する方法であり、時間同期のための専用ハードウェアを別途配置する必要がない。本願の実施例において、リアルタイムで取得された遅延時間情報に基づいて、時間同期を行い、時間同期処理をオンラインで行うことができる。本願の実施例において、電子機器が回転運動を行う時に取得された角速度情報に基づいて遅延時間情報を決定する。遅延時間情報を常数として処理することなく、時間同期の精度を向上させる。
図６は、本願の実施例による時間同期処理方法の実現フローを示す第２概略図である。図６に示すように、本願の実施例において、２つの異なるセンサのそれぞれが取得した角速度情報に対してアライメント処理を行うことで、２つの異なるセンサ間の遅延時間情報を決定するステップＳ１０２は、以下のように、Ｓ１０２ａ及びＳ１０２ｂを含んでもよい。
Ｓ１０２ａにおいて、２つの角速度情報のうちの少なくとも１つに対して補間処理を行い、２つの角速度をアライメントする。
本願の実施例において、構造が異なるセンサの補間処理は、構造が同じであるセンサの処理方式と異なる可能性がある。従って、２つのセンサの異なる構造に基づいて、２つの角速度情報のうちの少なくとも１つに対して補間処理を行い、２つの角速度情報をアライメントする。
例えば、２つの異なるセンサがいずれもジャイロセンサである場合、得られた２つのジャイロセンサのそれぞれが収集した角速度情報のうちの少なくとも１つに対して補間処理を行い、２つの角速度情報をアライメントする。
また例えば、２つの異なるセンサがいずれも位置姿勢センサである場合、２つの位置姿勢センサのそれぞれにより収集された位置姿勢回転行列情報のうちの少なくとも１つに対して補間処理を行い、２つの角速度情報をアライメントする。
また例えば、２つの異なるセンサがそれぞれ位置姿勢センサ及びジャイロセンサである場合、位置姿勢センサにより収集された位置姿勢回転行列情報に対して補間処理を行い、２つの角速度情報をアライメントする。
２つの角速度情報のうちの少なくとも１つに対して補間処理を行うことは、２つの角速度情報に対していずれも補間処理を行うことと、２つの角速度情報のうちのいずれか１つに対して補間処理を行うことと、を含む。
１つの実施例において、２つの角速度情報に対して補間処理を行うことは、そのうちの１つのデータ取得頻度を標準データ取得頻度として選択し、該標準データ取得頻度に基づいて、２つの角速度情報に対して補間処理を行うことを含む。ここで、該標準データ取得頻度は、２つのセンサのそれぞれのデータ取得頻度の間であってもよく、又は２つのセンサのそれぞれのデータ取得頻度より高くてもよい。
例示的に、２つのセンサのデータ取得頻度がそれぞれ１０Ｈｚ及び１５Ｈｚであると、該２つのセンサのデータ取得頻度より高いものを標準データ取得頻度として選択することができる。例えば、標準データ取得頻度は、１７Ｈｚである。勿論、２つのセンサのデータ取得頻度の間の頻度を標準データ取得頻度として選択することもできる。例えば、標準データ取得頻度は、１３Ｈｚである。
選択された標準データ取得頻度が１３Ｈｚである場合、標準データ取得頻度に基づいて、２つのセンサにより取得された角速度情報に対して補間処理を行い、第１センサの角速度取得頻度と第２センサの角速度取得頻度をそれぞれ標準データ取得頻度と同じであるようにし、いずれも１３Ｈｚにする。このように、異なるセンサのデータ取得頻度が不一致することにより、データ処理に偏差が存在するという課題を解決することができる。アライメントされた角速度に基づいて、より正確な遅延時間情報を得ることに寄与する。
１つの実施例において、２つの異なるセンサをそれぞれ第１センサ及び第２センサと表記し、第１センサのデータ取得頻度が第２センサのデータ取得頻度より高いとすれば、２つのセンサのうちの１つのセンサに対して補間処理を行うことは、第１センサのデータ取得頻度に基づいて、取得された、第２センサにより収集された角速度情報に対して補間処理を行うことを含む。
例示的に、第１センサのデータ取得頻度が１５Ｈｚであり、第２センサのデータ取得頻度が１０Ｈｚである場合、第１センサのデータ取得頻度１５Ｈｚに基づいて、第２センサにより取得された角速度情報に対して補間処理を行い、第１センサの角速度取得頻度と第２センサの角速度取得頻度を同じであるようにし、いずれも１５Ｈｚにする。このように、異なるセンサのデータ取得頻度が不一致することにより、データ処理に偏差が存在するという課題を解決することができる。アライメントされた角速度に基づいて、より正確な遅延時間情報を得ることに寄与する。
１つの実施例において、電子機器における２つの異なるセンサがそれぞれ位置姿勢センサ及びジャイロセンサである場合、取得された、位置姿勢センサにより収集された位置姿勢回転行列情報に対して補間処理を行い、２つの角速度情報をアライメントする。具体的には、以下のように、Ｓ０１、Ｓ０２及びＳ０３を含んでもよい。
Ｓ０１において、複数の位置姿勢回転行列情報から、隣接する位置姿勢回転行列情報を取得する。
本願の実施例において、複数の位置姿勢回転行列情報を取得した後、複数の位置姿勢回転行列情報から、隣接する位置姿勢回転行列情報を取得することができる。位置姿勢センサが所定の期間内で収集した位置姿勢回転行列情報は、複数の位置姿勢回転行列情報である。
例示的に、位置姿勢センサが視覚センサである場合、隣接するフレーム画像の位置姿勢回転行列情報を取得することができる。位置姿勢センサがレーザレーダーセンサである場合、レーザレーダーセンサにより、所定の期間内の位置姿勢回転行列情報を単独で取得して、電子機器の回転運動の推定に用いることができる。
Ｓ０２、ジャイロセンサで取得された角速度情報の頻度に基づいて、隣接する位置姿勢回転行列情報に対して補間処理を行い、補間後の回転行列情報を得る。
本願の実施例において、隣接する位置姿勢回転行列情報を取得した後、隣接する位置姿勢回転行列情報に基づいて、補間後の回転行列情報を取得することができる。
隣接する位置姿勢回転行列情報に基づいて、補間後の回転行列情報を取得する過程において、補間モデルを構築し、更に、補間モデル及び隣接する位置姿勢回転行列情報により、補間後の回転行列情報を取得することができる。
補間モデルは、隣接の位置姿勢回転情報の限られている数の点における値により、隣接の位置姿勢回転情報の間の他の隣接の位置姿勢回転情報を推算するために用いられる。
例示的に、該補間モデルは、球面線形補間（Ｓｐｈｅｒｉｃａｌ Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）モデル、三次スプライン補間（Ｃｕｂｉｃ Ｓｐｌｉｎｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）モデル及び最近傍補間モデルを含んでもよく、本願の実施例は、補間モデルを限定しない。
Ｓ０３において、補間後の回転行列情報に対して微分処理を行い、位置姿勢センサに対応する角速度情報を得て、位置姿勢センサ及びジャイロセンサのそれぞれにより取得された２つの角速度情報をアライメントする。
本願の実施例において、補間後の回転行列情報を取得した後、幾何方式で、補間後の回転行列情報に対して微分処理を行い、位置姿勢センサに対応する角速度情報を取得することができる。
補間後の回転行列情報に対して微分処理を行い、位置姿勢センサに対応する角速度情報を取得する過程において、微分モデルを構築することができる。構築された微分モデル及び補間後の回転行列情報により、位置姿勢センサに対応する角速度情報を取得する。
例示的に、微分モデルは、式（１）を満たす。
Figure 2022510418000002
（１）
ここで、
Figure 2022510418000003
は、微分位置姿勢回転行列情報であり、
Figure 2022510418000004
は、第２サブ角速度情報であり、
Figure 2022510418000005
は、補間後の位置姿勢回転行列情報である。
本願の実施例における微分モデルは、角速度情報を表すためのモデルである。幾つかの可能な実現形態において、該微分モデルは、四元数微分モデル又は他の数学的表現形態のモデルであってもよく、本願の実施例は、ここで限定しない。
Ｓ１０２ｂにおいて、アライメント後の２つの角速度情報に基づいて、２つの異なるセンサ間の遅延時間情報を決定する。
本願の実施例において、電子機器が回転運動を行う過程において、異なるセンサが同一時刻で取得した角速度情報が同じであるため、アライメント後の２つの角速度情報に基づいて、２つの異なるセンサ間の遅延時間情報を決定することができる。
アライメント後の２つの角速度情報に基づいて、２つの異なるセンサ間の遅延時間情報を決定する前に、まず、誤差モデルを構築し、続いて、アライメント後の２つの角速度情報及び該誤差モデルに基づいて、２つの異なるセンサ間の遅延時間情報を決定することができる。
本願の実施例において、誤差モデルを構築する過程において、異なるセンサが、異なる座標軸に対応し、異なるセンサの角速度情報を比較する時に、同一の座標系に対応する座標軸で行う必要があるため、誤差モデルを構築する場合、２つの異なるセンサのそれぞれに対応する異なる座標軸の間の回転パラメータを導入することで、同一の時刻での２つの異なるセンサの角速度情報を同一の座標軸にする。
また、異なるセンサにより取得された角速度情報に偏差が存在するため、誤差モデルを構築する時に、２つのセンサ間の誤差パラメータを導入し、誤差モデルにより決定された遅延時間情報をより正確にする。
例示的に、誤差モデルは、式（２）に示す通りである。
Figure 2022510418000006
（２）
ここで、
Figure 2022510418000007
は、２つの異なるセンサのそれぞれに対応する異なる座標軸の間の回転パラメータであり、
Figure 2022510418000008
は、２つの異なるセンサ間の遅延時間情報であり、
Figure 2022510418000009
は、２つの異なるセンサの間の誤差パラメータであり、
Figure 2022510418000010
及び
Figure 2022510418000011
はそれぞれ、同一の時刻ｔで、２つの異なるセンサのそれぞれにより取得された角速度情報であり、
Figure 2022510418000012
は、角速度間の誤差である。
１つの実施例において、取得された２つの角速度情報に対してアライメント処理を行い、２つの異なるセンサ間の遅延時間情報を決定した後、前記方法は、２つの角速度情報に対してアライメント処理を行うことで、２つの異なるセンサ間の外部パラメータを決定することであって、外部パラメータは、２つの異なるセンサのそれぞれに対応する異なる座標軸の間の回転パラメータ及び２つの異なるセンサの間の誤差パラメータを含む、ことを更に含む。
本願の実施例において、アライメント後の２つの角速度情報により、遅延時間情報だけでなく、２つの異なるセンサ間の回転パラメータ及び誤差パラメータも取得でき、電子機器の機能をより豊かにすることができる。
図７は、本願の実施例による時間同期処理方法の実現フローを示す第３概略図である。図７に示すように、アライメント後の２つの角速度情報に基づいて、２つの異なるセンサ間の遅延時間情報を決定するステップＳ１０２ｂは、以下のように、Ｓ１０２ｂ１、Ｓ１０２ｂ２及びＳ１０２ｂ３を含んでもよい。
Ｓ１０２ｂ１において、アライメント後の２つの角速度情報に基づいて、２つの異なるセンサの異なる時刻に対応するサブ誤差方程式を決定する。
本願の実施例において、２つの角速度情報をアライメントした後、アライメント後の２つの角速度情報に基づいて、電子機器が回転運動を行う過程において、２つの異なるセンサの異なる時刻に対応するサブ誤差方程式を決定することができる。
所定の期間内の異なる時刻ｎは、実際の状況に応じて事前設定されてもよい。例えば、所定の期間内で、１５個の時刻又は２０個の時刻を設定し、更に、各時刻に対応するサブ誤差方程式を得ることができる。
例示的に、時刻１に対応する異なるセンサにより収集された角速度情報がそれぞれ
Figure 2022510418000013
及び
Figure 2022510418000014
であり、時刻２に対応する異なるセンサにより収集された角速度情報がそれぞれ
Figure 2022510418000015
及び
Figure 2022510418000016
であり、このように類推して、時刻ｎに対応する異なるセンサにより収集された角速度情報がそれぞれ
Figure 2022510418000017
及び
Figure 2022510418000018
であると、誤差モデルが式（２）を満たす場合、その異なる時刻ｎに対応するサブ誤差方程式は、以下の通りである。
時刻１に対応するサブ誤差方程式は、式（３）を満たす。
Figure 2022510418000019
（３）
時刻２に対応するサブ誤差方程式は、式（４）を満たす。
Figure 2022510418000020
（４）
このように類推して、時刻ｎに対応するサブ誤差方程式は、式（５）を満たす。
Figure 2022510418000021
（５）
Ｓ１０２ｂ２において、異なる時刻に対応するサブ誤差方程式の和を算出し、最終的な誤差方程式を得る。
本願の実施例において、各時刻に対応するサブ誤差方程式を決定した後、異なる時刻に対応するサブ誤差方程式の和を算出し、最終的な誤差方程式を得る。
本願の実施例において、異なる時刻の累積誤差を求めることで、遅延時間情報を取得し、更に、異なる時刻に対応するサブ誤差方程式の和を算出して、最終的な誤差方程式を得る。
例示的に、異なる時刻に対応するサブ誤差方程式はそれぞれ上記式（３）、式（４）及び式（５）である場合、対応する最終的誤差方程式は、式（６）を満たす。
Figure 2022510418000022
（６）
Ｓ１０２ｂ３において、最終的な誤差方程式に対して最小値処理を行い、遅延時間情報を得る。
本願の実施例において、最終的な誤差方程式を得た後、最終的な誤差方程式に対して最小値処理を行い、遅延時間情報を得ることができる。
上記最小値処理は、最終的な誤差方程式の値を最小化し、更に、誤差モデルにおける遅延時間情報、回転パラメータ及びセンサ間の誤差パラメータを推定するためのものである。
例示的に、最終的な誤差方程式に対して最小値処理を行う場合、非線形モデル又は反復最接近点モデルにより、最終的な誤差方程式に対して最小値処理を行うことができる。
本願の実施例において、最終的な誤差方程式に対して最小値処理を行い、遅延時間情報を得る過程は、最終的な誤差方程式に対して反復最接近点処理を行い、第２最小化方程式を得ることと、解が所定第２閾値を満たすまで第２最小化方程式を解き、第２最小化方程式の解が所定第２閾値を満たすようになってから、第２最小化方程式における遅延時間情報を取得することと、を含んでもよい。
最終的な誤差方程式に対して反復最接近点処理を行い、第２最小化方程式を得る場合、遅延時間を所定の期間内にすることができる。例えば、黄金分割法で１つの遅延時間を選択し、更に誤差モデルに代入する。この場合、得られた誤差項は、回転パラメータ及びセンサ間の誤差パラメータという２つの未知数だけである。ここで、反復最接近点処理を再び行うことで、回転パラメータ及びセンサ間の誤差パラメータを取得することができる。
例示的に、遅延時間情報が
Figure 2022510418000023
の間にあり、黄金分割法で選択される遅延時間が0.3であるとすれば、得られた第２最小化方程式は、式（７）を満たす。
Figure 2022510418000024
（７）
ここで、
Figure 2022510418000025
は、角速度間の誤差であり、ｎは、最近傍点対の数であり、
Figure 2022510418000026
は、２つのセンサ間の回転行列であり、
Figure 2022510418000027
は、２つのセンサ間の誤差パラメータであり、
Figure 2022510418000028
及び
Figure 2022510418000029
はそれぞれ、２つのセンサにそれぞれ対応する角速度ポイントクラウドにおける１つのポイントである。
本願の実施例において、最終的な誤差方程式に対して最小値処理を行い、遅延時間情報を得る過程は、最終的な誤差方程式に対して非線形最適化処理を行い、第１最小化方程式を得ることと、解が所定第１閾値を満たすまで第１最小化方程式を解き、第１最小化方程式の解が所定第１閾値を満たすようになってから、第１最小化方程式における遅延時間情報を取得することと、を更に含んでもよい。
最終的な誤差方程式が非線形関数であるため、それに対してテーラー展開を行う必要があり、最終的な誤差方程式に対して最小化反復を行うことで、所定第１閾値を満たす時に対応する遅延時間情報を探し、それによって最終的な誤差方程式を最小値まで降下させる。
本願の実施例において、最終的な誤差方程式に対して非線形最適化処理を行い、第１最小化方程式を得る過程において、非線形最適化モデルを構築することができる。最終的な誤差方程式及び非線形最適化モデルに基づいて、第１最小化方程式を決定する。
例示的に、所定の非線形最適化モデルは、ガウスニュートン（Ｇａｕｓｓ－Ｎｅｗｔｏｎ）アルゴリズムモデル又はレーベンバーグ・マルカート（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ）アルゴリズムモデルを含んでもよく、第１閾値は、ユーザの実際の需要に応じて設定されてもよく、例えば、０．１又は０．０１であり、本願の実施例は、ここで限定しない。
本願の実施例において、解が所定第１閾値を満たすまで第１最小化方程式を解き、第１最小化方程式の解が所定第１閾値を満たすようになってから、第１最小化方程式における遅延時間情報を取得することは、初回目の遅延時間情報の決定であると決定した場合、所定の初期変数値及び所定の非線形最適化モデルに基づいて、現在変数値を取得することと、初期変数値、現在変数値及び第１最小化方程式に基づいて、最小化方程式の現在の解の値を決定し、該解の値が所定第１閾値を満たす場合、第１最小化方程式における遅延時間情報を取得することと、を含む。
第１方程式は、隣接する変数値に対応する最終的な誤差方程式からなる。例えば、第１最小化方程式は、式（８）であってもよい。
Figure 2022510418000030
（８）
ここで、
Figure 2022510418000031
は、現在変数値であり、
Figure 2022510418000032
は、初期変数値であり、
Figure 2022510418000033
は、最小化方程式の現在の解の値である。
初回前の遅延時間情報の決定ではないと決定した場合、前回の変数値を取得する。前回の変数値及び所定の非線形最適化モデルに基づいて、現在変数値を取得する。前回の変数値、現在変数値及び第１最小化方程式に基づいて、最小化方程式の現在の解の値を決定し、該現在の解の値が所定第１閾値を満たす場合、第１最小化方程式における遅延時間情報を取得する。
該現在の解の値が所定第１閾値を満たしない場合、現在変数値及び所定の非線形最適化モデルに基づいて、次の変数値を取得する必要がある。次の変数値、現在変数値及び第１最小化方程式に基づいて、最小化方程式の次回の解の値を決定し、該次回の解の値が所定第１閾値を満たすかどうかを繰り返して順次判定し、次回の解の値が該所定第１閾値を満たすまで、反復を終了し、第１最小化方程式における遅延時間情報を決定する。
本願の実施例において、最終的な誤差方程式に対して最小化処理を行い、遅延時間情報を得ると同時に、回転パラメータ及びセンサ偏差パラメータを得ることもできる。このように、得られた回転パラメータにより、異なる座標系の測定情報を同一の座標系に変換することができる。
１つの実施例において、前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行った後、同期後の測定結果に対してフュージョン処理を行うことと、フュージョン処理後の測定結果に基づいて、測位処理、距離測定処理、電子機器の所在するシーンにおけるターゲット検出、地図の生成又は更新のうちの少なくとも１つを実行することと、を更に含んでもよい。
本願の実施例において、同期後の２つの測定結果に対してフュージョン処理を行うことは、同一の時刻での２つの測定結果に対して分析及び統合を行い、確実なフュージョン処理結果を得ることを含む。
例示的に、フュージョン処理結果を測位処理プロセスに適用することで、電子機器に対する正確な測位を実現することができる。フュージョン処理結果を距離測定処理プロセスに適用することで、測定精度を向上させることができる。フュージョン処理結果を、電子機器の所在するシーンにおけるターゲット検出プロセスに適用することで、正確なターゲット検出結果を得ることができる。フュージョン処理結果を地図の生成又は更新プロセスに適用することで、正確な地図を得ることができる。
本願の実施例において、同期後の測定結果に対してフュージョンを行う過程において、フュージョンアルゴリズムモデルを構築し、正確なフュージョン処理結果を得ることができる。
例示的に、フュージョンアルゴリズムモデルは、カルマンフィルタリングフュージョンアルゴリズムモデル及びクラスタリング分析認識アルゴリズムモデルを含んでもよく、本願の実施例は、ここで限定しない。
１つの実施例において、カルマンフィルタリングフュージョンアルゴリズムモデルを用いて、同期後の測定結果に対してフュージョン処理を行うことは、電子機器に設けられる２つの異なるセンサの測定結果を利用して、状態伝播を行い、前の時刻の第１測定結果の位置姿勢推定から、現在の時刻の位置姿勢の推定を得て、更に、現在の時刻の第２測定結果を観測情報として、現在の時刻の位置姿勢の一次推定を補正し、現在の時刻の位置姿勢の最適な推定を得ることであって、該最適な推定は、フュージョン処理結果である、ことを含む。
本願の実施例における時間同期処理方法は同様に３つ以上のセンサに適用可能である。電子機器に少なくとも３つのセンサが設けられる場合、２つずつのセンサの時間同期処理された測定結果を取得し、時間同期処理された測定結果に対してフュージョン処理を行い、フュージョン処理結果を得る。２つのセンサに対応する測定結果に対するフュージョン処理に比べて、少なくとも３つのセンサに対応する測定結果に対してフュージョン処理を行うことで、より正確な測定結果を得ることができる。
図８は、本願の実施例による時間同期処理方法の実現フローを示す第４概略図である。図８に示すように、本願の実施例において、電子機器に設けられる２つの異なるセンサはそれぞれ視覚センサ及び慣性センサであり、本実施例の時間同期処理方法は下記ステップを含んでもよい。
Ｓ２０１において、慣性センサにより、電子機器が回転運動を行う時の第１角速度情報を取得する。
本願の実施例において、電子機器における慣性センサは、独自で角速度情報を取得することができる。慣性センサにジャイロユニットが設けられるため、ジャイロユニットにより、電子機器が回転運動を行う時の角速度情報を直接取得することができる。
慣性センサは、三軸姿勢角（又は角速度）及び加速度を測定するセンサであり、該慣性センサは、ジャイロユニットに加えて、加速度ユニットを更に含んでもよく、ここで、加速度ユニットは、その座標の３本の軸での電子機器の加速度情報を検出することができる。
Ｓ２０２において、視覚センサにより、電子機器が回転運動を行う時の位置姿勢回転行列情報を取得する。
本願の実施例において、電子機器における視覚センサは、位置姿勢回転行列情報を独自で取得することができる。視覚センサに位置姿勢推定ユニットが設けられ、位置姿勢推定ユニットにより、電子機器が回転運動を行う時の位置姿勢回転行列情報を取得することができる。
視覚センサは主に、１つ又は２つのグラフィックセンサからなる。また、光投射器及び他の補助機器を配置する必要もある。これは、所定期間内のオリジナル画像を取得し、取得された画像をメモリにおける基準と比較して分析することで、位置姿勢回転行列情報を得て、更に、電子機器の位置姿勢回転行列情報を解くことができる。
例示的に、四元数で電子機器の回転運動を表すことができる。また、三次元回転群で電子機器の回転運動を表すこともでき、本願の実施例は、これを限定しない。
Ｓ２０３において、位置姿勢回転行列情報に基づいて、第２角速度情報を決定し、第２角速度情報と第１角速度情報をアライメントする。
本願の実施例において、視覚センサの画像頻度が一般的に１０Ｈｚであり、慣性センサの頻度が一般的に１００Ｈｚであり、視覚センサによる２フレームの画像の間に、ほぼ１０個の、慣性センサにより測定された第１角速度情報があるため、視覚センサの位置姿勢回転行列情報に対して補間処理を行い、視覚センサと慣性センサの頻度を一致させ、更に、補間後の位置姿勢回転行列情報により取得された第２角速度情報は、第１角速度情報とアライメントすることができる。
本実施例において、補間モデルにより、第２角速度情報及び第１角速度情報のうちの少なくとも１つに対して補間処理を行うことができる。電子機器の回転運動の様々な表現形態によって、用いられる補間モデルも異なる。例えば、四元数で表される回転運動に対して、球面線形補間モデルにより、該位置姿勢回転行列に対して補間処理を行うことができる。三次元回転群で表される回転運動に対して、三次スプライン補間モデル及び最近傍補間モデルにより、位置姿勢回転行列情報に対して補間処理を行うことができる。
四元数で表される回転運動に対して、４つのパラメータで三次元回転を表すことが求められる。三次元回転群で表される回転運動に対して、９個のパラメータで三次元回転を表すことが求められる。
以下、四元数で表される回転運動に対して、球面線形補間モデルを例として、視覚センサの位置姿勢回転行列情報に対して補間処理を行うプロセスを例示的に説明する。
例示的に、四元数は、式（９）に示すように、実数及び虚数からなるものである。
Figure 2022510418000034
（９）
ここで、
Figure 2022510418000035
、
Figure 2022510418000036
、
Figure 2022510418000037
、
Figure 2022510418000038
は、実数であり、i、j、kは、相互直交する虚数単位であり、ｑは、四元数で表される位置姿勢回転行列情報である。
四元数で位置姿勢回転行列情報を表す方式は、三角式及び指数式を含み、ここで、指数式表現は、式（１０）に示す通りである。
Figure 2022510418000039
（１０）
ここで、
Figure 2022510418000040
は、角速度であり、ｔは時刻であり、ｑは、四元数の指数マッピングで表される位置姿勢回転行列情報である。
例示的に、構築された球面補間モデルは、式（１１）に示す通りである。
Figure 2022510418000041
（１１）
ここで、
Figure 2022510418000042
及び
Figure 2022510418000043
はそれぞれ、隣接する姿勢回転行列であり、
Figure 2022510418000044
は、姿勢回転行列に対して球面補間処理を行うことで得られた補間後の位置姿勢回転行列情報である。
姿勢回転行列情報
Figure 2022510418000045
、
Figure 2022510418000046
及び球面補間モデルにより、補間後の位置姿勢回転行列情報を取得することができる。
例示的に、図９は、本願の実施例による四元数で、位置姿勢型センサにより測定された位置姿勢回転行列情報を表すことを示す第１概略図である。図９に示すように、電子機器は、連続的に運動して前の時刻から現在時刻まで回転する。つまり、実線円から点線円まで回転する。図１０は、本願の実施例による四元数で、位置姿勢型センサにより測定された位置姿勢回転行列情報を表すことを示す第２概略図である。図１０に示すように、図９から取り出した点線枠の平面図である。
Figure 2022510418000047
及び
Figure 2022510418000048
はそれぞれ、隣接する姿勢回転行列であり、
Figure 2022510418000049
は、姿勢回転行列に対して球面補間処理を行うことで得られた補間後の位置姿勢回転行列情報であり、回転角度は、
Figure 2022510418000050
であり、ｔは時間であり、０≦ｔ≦１である。
本願の実施例において、補間後の位置姿勢回転行列情報に基づいて、第２角速度情報を取得する過程において、補間後の位置姿勢回転行列情報及び微分モデルに基づいて、視覚センサに対応する角速度情報を決定することができる。該微分モデルは、式（１）に示す通りである。
位置姿勢回転行列情報に対して、まず、補間処理を行い、続いて微分処理を行うことで、第２角速度情報を間接的に取得することができ、このように、多くのセンサ間の時間同期に適応でき、汎用性を有することが理解されるべきである。
Ｓ２０４において、視覚センサと慣性センサとの間の遅延時間情報を決定する。
本願の実施例において、第１角速度情報及び第２角速度情報に対してアライメント処理を行った後、第１角速度情報及び第２角速度情報に基づいて、視覚センサと慣性センサとの間の時間遅延情報を決定することもできる。
他の実施例において、第１角速度情報及び第２角速度情報により、視覚センサと慣性センサとの間の遅延時間情報を解くことができるだけでなく、回転パラメータとセンサとの間の誤差パラメータを解くこともできる。
Ｓ２０５において、遅延時間情報に基づいて、視覚センサの測定結果及び慣性センサの測定結果に対して時間同期処理を行う。
本願の実施例で提供される時間同期処理方法は、無人運転又は移動ロボットナビゲーションに適用可能である。無人運転又は移動ロボットナビゲーション過程において、該無人運転電子機器又は移動ロボット電子機器は、本願の実施例で提供される時間同期処理方法で、正確な測位を実現することができる。
なお、本願の実施例において、視覚センサ及び慣性センサを例として、電子機器による時間同期処理方法のプロセスを説明するだけであり、本願の実施例で提供される時間同期処理方法は、視覚センサ及び慣性センサという２つのセンサに限定されず、他のセンサにも適用可能である。他のセンサは、角速度情報及び位置姿勢回転行列情報を独自で取得できればよい。それと同時に、本願の実施例は、３つ以上のセンサを含む電子機器にも適用可能であり、つまり、上記時間同期処理方法は同様に、３つ以上のセンサを含む電子機器に適用可能である。
上記時間同期処理方法を基に、本願の実施例は、時間同期処理装置を提供する。図１１は、本願の実施例による時間同期処理装置の構造を示す概略図である。図１１に示すように、時間同期処理装置３００は、第１取得モジュール３０１と、アライメントモジュール３０２と、同期モジュール３０３と、を備え、
第１取得モジュール３０１は、２つの異なるセンサにより収集された角速度情報をそれぞれ得るように構成され、前記角速度情報は、電子機器が回転運動を行う時の角速度情報であり、前記２つの異なるセンサはいずれも、前記電子機器に設けられ、且つ固定に接続され、
アライメントモジュール３０２は、得られた２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の遅延時間情報を決定するように構成され、
同期モジュール３０３は、前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うように構成される。
本願の実施例の時間同期処理装置は、電子機器が回転運動を実行できることが求められる。つまり、電子機器は少なくとも回転軸周りの回転を実行すれば、電子機器における異なるセンサ間の遅延時間情報をキャリブレーションすることができる。複数軸周りの動きを必要とせず、異なるセンサの時間同期の複雑さを低減させ、異なるシーンの需要に適応することができる。また、本願の実施例は、電子機器が複数の軸の周りを回転することで発生した回転運動に基づいて、遅延時間をキャリブレーションすることもできる。これにより、より豊かな回転情報を得て、時間同期の精度を向上させることができる。本願の実施例において、センサが角速度情報を独自で取得することができることが求められる。これにより、異なるセンサ間の遅延時間情報を決定することができる。複数のセンサ間の時間同期に広く適用可能であり、汎用適応性を有する。本願の実施例において、ソフトウェアに基づいて時間同期を実現する方法であり、時間同期のための専用ハードウェアを別途配置する必要がない。本願の実施例において、リアルタイムで取得された遅延時間情報に基づいて、時間同期を行い、時間同期処理をオンラインで行うことができる。本願の実施例において、電子機器が回転運動を行う時に取得された角速度情報に基づいて遅延時間情報を決定する。遅延時間情報を常数として処理することなく、時間同期の精度を向上させる。
他の実施例において、第１取得モジュール３０１は、位置姿勢センサにより収集された位置姿勢回転行列情報を取得し、前記位置姿勢回転行列情報に基づいて、電子機器が回転運動を行う時の角速度情報を決定するように構成され、前記２つの異なるセンサのうちの少なくとも１つは、位置姿勢センサである。
他の実施例において、第１取得モジュール３０１は、ジャイロセンサにより収集された角速度情報を取得するように構成され、前記２つの異なるセンサのうちの少なくとも１つは、ジャイロセンサである。
他の実施例において、前記アライメントモジュール３０２は、前記２つの角速度情報のうちの少なくとも１つに対して補間処理を行い、前記２つの角速度情報をアライメントし、アライメント後の２つの角速度情報に基づいて、前記２つの異なるセンサ間の遅延時間情報を決定するように構成される。
他の実施例において、前記アライメントモジュール３０２は、前記２つの異なるセンサがいずれもジャイロセンサである場合、取得された、前記２つのジャイロセンサのそれぞれにより収集された角速度情報のうちの少なくとも１つに対して補間処理を行い、前記２つの角速度情報をアライメントするように構成される。
他の実施例において、前記アライメントモジュール３０２は、前記２つの異なるセンサがいずれも位置姿勢センサである場合、取得された、前記２つの位置姿勢センサのそれぞれにより収集された位置姿勢回転行列情報のうちの少なくとも１つに対して補間処理を行い、前記２つの角速度情報をアライメントするように構成される。
他の実施例において、前記アライメントモジュール３０２は、前記２つの異なるセンサがそれぞれ位置姿勢センサ及びジャイロセンサである場合、取得された、前記位置姿勢センサにより収集された位置姿勢回転行列情報に対して補間処理を行い、前記２つの角速度情報をアライメントするように構成される。
他の実施例において、時間同期処理装置３００は、前記アライメントモジュール３０２により前記２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の外部パラメータを決定するように構成される第２取得モジュール３０４を更に備え、前記外部パラメータは、前記２つの異なるセンサのそれぞれに対応する異なる座標軸の間の回転パラメータ及び前記２つの異なるセンサの間の誤差パラメータを含む。
他の実施例において、時間同期処理装置３００は、前記遅延時間情報を記憶するように構成される記憶モジュール３０５を更に備え、
前記同期モジュールは、前記電子機器が非運動状態である場合、前記記憶モジュール３０５により記憶された前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うように構成される。
他の実施例において、前記アライメントモジュール３０２は、前記アライメント後の２つの角速度情報に基づいて、前記２つの異なるセンサの異なる時刻に対応するサブ誤差方程式を決定し、前記異なる時刻に対応するサブ誤差方程式の和を算出し、最終的な誤差方程式を得て、前記最終的な誤差方程式に対して最小値処理を行い、前記遅延時間情報を得るように構成される。
他の実施例において、前記アライメントモジュール３０２は、前記最終的な誤差方程式に対して非線形処理を行い、第１最小化方程式を得て、解が所定第１閾値を満たすまで前記第１最小化方程式を解き、前記第１最小化方程式の解が所定第１閾値を満たすようになってから、前記第１最小化方程式における前記遅延時間情報を取得するように構成される。
他の実施例において、前記アライメントモジュール３０２は、前記最終的な誤差方程式に対して反復最接近点処理を行い、第２最小化方程式を得て、解が所定第２閾値を満たすまで前記第２最小化方程式を解き、前記第２最小化方程式の解が所定第２閾値を満たすようになってから、前記第２最小化方程式における前記遅延時間情報を取得するように構成される。
他の実施例において、時間同期処理装置３００は、
同期後の測定結果に対してフュージョン処理を行うように構成されるフュージョンモジュール３０７と、
フュージョン処理後の測定結果に基づいて、測位処理、距離測定処理、電子機器の所在するシーンにおけるターゲット検出、地図の生成又は更新のうちの少なくとも１つを実行するように構成される実行モジュール３０８と、を更に備える。
上記実施例で提供される時間同期処理装置が時間同期処理を行う場合、上記各プログラムモジュールの分割を例として説明するだけであり、実際の適用において、必要に応じて、異なるプログラムモジュールにより上記処理を完了することができる。つまり、装置の内部構造を異なるプログラムモジュールに分割し、上述した全て又は一部の処理を完了する。なお、上記実施例で提供される時間同期処理装置は、時間同期処理方法と同一の構想に属し、その具体的な実現過程は、方法の実施例を参照されたい。ここで詳細な説明を省略する。
本願の実施例は、電子機器を更に提供する。図１２は、本願の実施例による電子機器の構造を示す概略図である。図１２に示すように、電子機器は少なくとも、プロセッサ２１と、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリ２３と、を備え、プロセッサ２１は、前記コンピュータプログラムを実行する時、上記実施例で提供される時間同期処理方法におけるステップを実行するように構成される。
本実施例における上記実施例で提供される時間同期処理方法におけるステップを実行するための電子機器は、２つの異なるセンサが設けられる電子機器と同じであっても異なってもよい。
任意選択的に、電子機器は、通信インタフェース２４を更に備えてもよく、通信インタフェース２４は、角速度情報及び位置姿勢回転行列情報を取得するように構成される。電子機器における各コンポーネントは、バスシステム２５を介して結合される。バスシステム２５は、これらのコンポーネント間の接続及び通信を実現するためのものであることが理解されるべきである。バスシステム２５はデータバスを含む以外、電源バス、制御バス及び状態信号バスを含む。しかしながら、明確に説明するために、図１２において、全てのバスをバスシステム２５と表記する。
理解すべき点として、メモリ２３は、揮発性メモリ又は不揮発性メモリであってもよいし、揮発性メモリと不揮発性メモリの両方であってもよい。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ：ｆｅｒｒｏｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁気面メモリ、光ディスク、又は読み出し専用型光ディスク（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。磁気面メモリは、磁気ディスクメモリ又は磁気テープメモリであってもよい。揮発性メモリは、外部キャッシュとして用いられるランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。非限定的な例証として、ＲＡＭは、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期スタティックランダムアクセスメモリ（ＳＳＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ：Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、エンハンスト同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、同期リンクダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：Ｓｙｎｃｈｌｉｎｋ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びダイレクトラムバスランダムアクセスメモリ（ＤＲＲＡＭ：Ｄｉｒｅｃｔ Ｒａｍｂｕｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの多数の形態で使用可能である。本発明の実施例に記載されているメモリ２３は、これら及び任意の他の適切な形態のメモリを含むが、これらに限定されない。
上記本発明の実施例に開示された方法はプロセッサ２１に適用されるか、又はプロセッサ２１により実現される。プロセッサ２１は、信号を処理する能力を有する集積回路チップであり得る。上記方法の各ステップは、実現する過程において、プロセッサ２１におけるハードウェアの集積論理回路又はソフトウェアの形の指令により完成することができる。上記プロセッサ２１は、汎用プロセッサ、ＤＳＰ、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネント等であってもよい。プロセッサ２１は、本発明の実施例に開示されている各方法、ステップ及び論理的ブロック図を実現又は実行することができる。汎用プロセッサはマイクロプロセッサであってもよいし、該プロセッサは如何なる従来のプロセッサ等であってもよい。本発明の実施例に開示されている方法のステップに合わせて、ハードウェア解読プロセッサによって実行し、又は解読プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせで実行して完成するように示す。ソフトウェアモジュールは、記憶媒体内に存在してもよい。該記憶媒体は、メモリ２３内に位置し、プロセッサ２１はメモリ２３中の情報を読み取り、そのハードウェアと共に上記方法のステップを完了する。
ロジックエラーを生成しないか又は矛盾しない限り、本願の実施例で提供される複数の方法又は機器の実施例に開示されている特徴を任意に組み合わせて、新たな方法の実施例又は機器の実施例を得ることができる。
上述した実施例を基に、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、該コンピュータプログラムが上記プロセッサにより実行される時、上記実施例における時間同期処理方法のステップを実現する。
本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。
上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者でれば、理解すべきである。
又は、本願の上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク装置など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
以上は本願の実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

Claims (28)

  1. 時間同期処理方法であって、
    ２つの異なるセンサにより収集された角速度情報をそれぞれ得ることであって、前記角速度情報は、電子機器が回転運動を行う時の角速度情報であり、前記２つの異なるセンサはいずれも、前記電子機器に設けられ、且つ固定に接続される、ことと、
    得られた２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の遅延時間情報を決定することと、
    前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うことと、を含む、時間同期処理方法。
  2. 前記２つの異なるセンサのうちの少なくとも１つは、位置姿勢センサであり、２つの異なるセンサにより収集された角速度情報をそれぞれ得ることは、
    前記位置姿勢センサにより収集された位置姿勢回転行列情報を取得し、前記位置姿勢回転行列情報に基づいて、前記電子機器が回転運動を行う時の角速度情報を決定することを含むことを特徴とする
    請求項１に記載の方法。
  3. 前記２つの異なるセンサのうちの少なくとも１つは、ジャイロセンサであり、２つの異なるセンサにより収集された角速度情報をそれぞれ得ることは、
    前記ジャイロセンサにより収集された角速度情報を取得することを含むことを特徴とする
    請求項１又は２に記載の方法。
  4. 得られた２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の遅延時間情報を決定することは、
    前記２つの角速度情報のうちの少なくとも１つに対して補間処理を行い、前記２つの角速度情報をアライメントすることと、
    アライメント後の２つの角速度情報に基づいて、前記２つの異なるセンサ間の遅延時間情報を決定することと、を含むことを特徴とする
    請求項１に記載の方法。
  5. 前記２つの角速度情報のうちの少なくとも１つに対して補間処理を行うことは、
    前記２つの異なるセンサがいずれもジャイロセンサである場合、取得された、前記２つのジャイロセンサのそれぞれにより収集された角速度情報のうちの少なくとも１つに対して補間処理を行うことを含むことを特徴とする
    請求項４に記載の方法。
  6. 前記２つの角速度情報のうちの少なくとも１つに対して補間処理を行うことは、
    前記２つの異なるセンサがいずれも位置姿勢センサである場合、取得された、前記２つの位置姿勢センサのそれぞれにより収集された位置姿勢回転行列情報のうちの少なくとも１つに対して補間処理を行うことを含むことを特徴とする
    請求項４に記載の方法。
  7. 前記２つの角速度情報のうちの少なくとも１つに対して補間処理を行うことは、
    前記２つの異なるセンサがそれぞれ位置姿勢センサ及びジャイロセンサである場合、取得された、前記位置姿勢センサにより収集された位置姿勢回転行列情報に対して補間処理を行うことを含むことを特徴とする
    請求項４に記載の方法。
  8. 得られた２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の遅延時間情報を決定した後、前記方法は、
    前記２つの角速度情報に対してアライメント処理を行うことで、前記２つの異なるセンサ間の外部パラメータを決定することであって、前記外部パラメータは、前記２つの異なるセンサのそれぞれに対応する異なる座標軸の間の回転パラメータ及び前記２つの異なるセンサの間の誤差パラメータを含む、ことを更に含むことを特徴とする
    請求項１－７のいずれか一項に記載の方法。
  9. 得られた２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の遅延時間情報を決定した後、前記方法は、
    前記遅延時間情報を記憶することと、
    前記電子機器が非運動状態である場合、記憶された前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うことと、を更に含むことを特徴とする
    請求項１－８のいずれか一項に記載の方法。
  10. アライメント後の２つの角速度情報に基づいて、前記２つの異なるセンサ間の遅延時間情報を決定することは、
    前記アライメント後の２つの角速度情報に基づいて、前記２つの異なるセンサの異なる時刻に対応するサブ誤差方程式を決定することと、
    前記異なる時刻に対応するサブ誤差方程式の和を算出し、最終的な誤差方程式を得ることと、
    前記最終的な誤差方程式に対して最小値処理を行い、前記遅延時間情報を得ることと、を含むことを特徴とする
    請求項４に記載の方法。
  11. 前記最終的な誤差方程式に対して最小値処理を行い、前記遅延時間情報を得ることは、
    前記最終的な誤差方程式に対して非線形処理を行い、第１最小化方程式を得ることと、
    解が所定第１閾値を満たすまで前記第１最小化方程式を解き、前記第１最小化方程式の解が所定第１閾値を満たすようになってから、前記第１最小化方程式における前記遅延時間情報を取得することと、を含むことを特徴とする
    請求項１０に記載の方法。
  12. 前記最終的な誤差方程式に対して最小値処理を行い、前記遅延時間情報を得ることは、
    前記最終的な誤差方程式に対して反復最接近点処理を行い、第２最小化方程式を得ることと、
    解が所定第２閾値を満たすまで前記第２最小化方程式を解き、前記第２最小化方程式の解が所定第２閾値を満たすようになってから、前記第２最小化方程式における前記遅延時間情報を取得することと、を含むことを特徴とする
    請求項１０に記載の方法。
  13. 前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行った後、前記方法は、
    同期後の測定結果に対してフュージョン処理を行うことと、
    フュージョン処理後の測定結果に基づいて、測位処理、距離測定処理、電子機器の所在するシーンにおけるターゲット検出、地図の生成又は更新のうちの少なくとも１つを実行することと、を更に含むことを特徴とする
    請求項１－１２のいずれか一項に記載の方法。
  14. 時間同期処理装置であって、前記装置は、第１取得モジュールと、アライメントモジュールと、同期モジュールと、を備え、
    前記第１取得モジュールは、２つの異なるセンサにより収集された角速度情報をそれぞれ得るように構成され、前記角速度情報は、電子機器が回転運動を行う時の角速度情報であり、前記２つの異なるセンサはいずれも、前記電子機器に設けられ、且つ固定に接続され、
    前記アライメントモジュールは、得られた２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の遅延時間情報を決定するように構成され、
    前記同期モジュールは、前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うように構成される、時間同期処理装置。
  15. 前記第１取得モジュールは、位置姿勢センサにより収集された位置姿勢回転行列情報を取得し、前記位置姿勢回転行列情報に基づいて、前記電子機器が回転運動を行う時の角速度情報を決定するように構成され、前記２つの異なるセンサのうちの少なくとも１つは、位置姿勢センサであることを特徴とする
    請求項１４に記載の装置。
  16. 前記第１取得モジュールは、ジャイロセンサにより収集された角速度情報を取得するように構成され、前記２つの異なるセンサのうちの少なくとも１つは、ジャイロセンサであることを特徴とする
    請求項１４又は１５に記載の装置。
  17. 前記アライメントモジュールは、前記２つの角速度情報のうちの少なくとも１つに対して補間処理を行い、前記２つの角速度情報をアライメントし、アライメント後の２つの角速度情報に基づいて、前記２つの異なるセンサ間の遅延時間情報を決定するように構成されることを特徴とする
    請求項１４に記載の装置。
  18. 前記アライメントモジュールは、前記２つの異なるセンサがいずれもジャイロセンサである場合、取得された、前記２つのジャイロセンサのそれぞれにより収集された角速度情報のうちの少なくとも１つに対して補間処理を行い、前記２つの角速度情報をアライメントするように構成されることを特徴とする
    請求項１７に記載の装置。
  19. 前記アライメントモジュールは、前記２つの異なるセンサがいずれも位置姿勢センサである場合、取得された、前記２つの位置姿勢センサのそれぞれにより収集された位置姿勢回転行列情報のうちの少なくとも１つに対して補間処理を行い、前記２つの角速度情報をアライメントするように構成されることを特徴とする
    請求項１７に記載の装置。
  20. 前記アライメントモジュールは、前記２つの異なるセンサがそれぞれ位置姿勢センサ及びジャイロセンサである場合、取得された、前記位置姿勢センサにより収集された位置姿勢回転行列情報に対して補間処理を行い、前記２つの角速度情報をアライメントするように構成されることを特徴とする
    請求項１７に記載の装置。
  21. 前記装置は、
    前記アライメントモジュールにより前記２つの角速度情報に対してアライメント処理を行い、前記２つの異なるセンサ間の外部パラメータを決定するように構成される第２取得モジュールを更に備え、前記外部パラメータは、前記２つの異なるセンサのそれぞれに対応する異なる座標軸の間の回転パラメータ及び前記２つの異なるセンサの間の誤差パラメータを含むことを特徴とする
    請求項１４－２０のいずれか一項に記載の装置。
  22. 前記装置は、
    前記遅延時間情報を記憶するように構成される記憶モジュールを更に備え、
    前記同期モジュールは、前記電子機器が非運動状態である場合、前記記憶モジュールにより記憶された前記遅延時間情報に基づいて、前記２つの異なるセンサのそれぞれの測定結果に対して時間同期処理を行うように構成されることを特徴とする
    請求項１４－２１のいずれか一項に記載の装置。
  23. 前記アライメントモジュールは、前記アライメント後の２つの角速度情報に基づいて、前記２つの異なるセンサの異なる時刻に対応するサブ誤差方程式を決定し、前記異なる時刻に対応するサブ誤差方程式の和を算出し、最終的な誤差方程式を得て、前記最終的な誤差方程式に対して最小値処理を行い、前記遅延時間情報を得るように構成されることを特徴とする
    請求項１７に記載の装置。
  24. 前記アライメントモジュールは、前記最終的な誤差方程式に対して非線形処理を行い、第１最小化方程式を得て、解が所定第１閾値を満たすまで前記第１最小化方程式を解き、前記第１最小化方程式の解が所定第１閾値を満たすようになってから、前記第１最小化方程式における前記遅延時間情報を取得するように構成されることを特徴とする
    請求項２３に記載の装置。
  25. 前記アライメントモジュールは、前記最終的な誤差方程式に対して反復最接近点処理を行い、第２最小化方程式を得て、解が所定第２閾値を満たすまで前記第２最小化方程式を解き、前記第２最小化方程式の解が所定第２閾値を満たすようになってから、前記第２最小化方程式における前記遅延時間情報を取得するように構成されることを特徴とする
    請求項２３に記載の装置。
  26. 前記装置は、
    同期後の測定結果に対してフュージョン処理を行うように構成されるフュージョンモジュールと、
    フュージョン処理後の測定結果に基づいて、測位処理、距離測定処理、電子機器の所在するシーンにおけるターゲット検出、地図の生成又は更新のうちの少なくとも１つを実行するように構成される実行モジュールと、を更に備えることを特徴とする
    請求項１４－２５のいずれか一項に記載の装置。
  27. 電子機器であって、前記電子機器は少なくとも、プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を備え、前記プロセッサは、前記コンピュータプログラムを実行する時、請求項１から１３のいずれか一項に記載の方法を実行するように構成される、電子機器。
  28. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサにより実行される時、請求項１から１３のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
JP2021531851A 2019-06-21 2020-02-26 時間同期処理方法、電子機器及び記憶媒体 Pending JP2022510418A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910545218.8A CN112113582A (zh) 2019-06-21 2019-06-21 时间同步处理方法、电子设备及存储介质
CN201910545218.8 2019-06-21
PCT/CN2020/076836 WO2020253260A1 (zh) 2019-06-21 2020-02-26 时间同步处理方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
JP2022510418A true JP2022510418A (ja) 2022-01-26

Family

ID=73796638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021531851A Pending JP2022510418A (ja) 2019-06-21 2020-02-26 時間同期処理方法、電子機器及び記憶媒体

Country Status (4)

Country Link
JP (1) JP2022510418A (ja)
KR (1) KR20210084622A (ja)
CN (1) CN112113582A (ja)
WO (1) WO2020253260A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177440A (zh) * 2021-04-09 2021-07-27 深圳市商汤科技有限公司 图像同步方法、装置、电子设备和计算机存储介质
CN113310505B (zh) * 2021-06-15 2024-04-09 苏州挚途科技有限公司 传感器***的外参标定方法、装置及电子设备
CN113591015A (zh) * 2021-07-30 2021-11-02 北京小狗吸尘器集团股份有限公司 时间延迟的计算方法、装置、存储介质及电子设备
CN113610136A (zh) * 2021-07-30 2021-11-05 深圳元戎启行科技有限公司 传感器数据同步方法、装置、计算机设备和存储介质
CN113848696B (zh) * 2021-09-15 2022-09-16 北京易航远智科技有限公司 基于位置信息的多传感器时间同步方法
CN114217665A (zh) * 2021-12-21 2022-03-22 清华大学 一种相机和激光雷达时间同步方法、装置及存储介质
CN114413878B (zh) * 2021-12-24 2024-02-13 苏州浪潮智能科技有限公司 一种时间校准***、方法、电子设备及存储介质
CN115235527B (zh) * 2022-07-20 2023-05-12 上海木蚁机器人科技有限公司 传感器外参标定方法、装置以及电子设备
CN115451932B (zh) * 2022-09-16 2024-05-24 湖南航天机电设备与特种材料研究所 多通道陀螺仪数据同步采集与计算方法、***
CN115979277B (zh) * 2023-02-22 2023-06-02 广州导远电子科技有限公司 时间同步方法、装置、电子设备和计算机可读存储介质
CN117034201A (zh) * 2023-10-08 2023-11-10 东营航空产业技术研究院 一种多源实时数据融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090151A (ja) * 2000-09-14 2002-03-27 Japan Aviation Electronics Industry Ltd センサ異常判定回路および操向制御装置
CN108680196A (zh) * 2018-04-28 2018-10-19 远形时空科技（北京）有限公司 一种时延校正方法、***及计算机可读介质
CN109506617A (zh) * 2018-12-28 2019-03-22 歌尔科技有限公司 传感器数据处理方法、存储介质、电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2770339B1 (de) * 2013-02-26 2019-11-27 Hexagon Technology Center GmbH Sensorsynchronisationsverfahren und ebensolches Sensormesssystem
CN103616710A (zh) * 2013-12-17 2014-03-05 靳文瑞 基于fpga的多传感器组合导航时间同步***
CN104501817A (zh) * 2014-11-24 2015-04-08 李青花 一种基于误差消除的车载导航***
CN107728617B (zh) * 2017-09-27 2021-07-06 速感科技（北京）有限公司 多目在线标定方法、可移动机器人及***
CN108871311B (zh) * 2018-05-31 2021-01-19 北京字节跳动网络技术有限公司 位姿确定方法和装置
CN109029433B (zh) * 2018-06-28 2020-12-11 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109186596B (zh) * 2018-08-14 2020-11-10 深圳清华大学研究院 Imu测量数据生成方法、***、计算机装置及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090151A (ja) * 2000-09-14 2002-03-27 Japan Aviation Electronics Industry Ltd センサ異常判定回路および操向制御装置
CN108680196A (zh) * 2018-04-28 2018-10-19 远形时空科技（北京）有限公司 一种时延校正方法、***及计算机可读介质
CN109506617A (zh) * 2018-12-28 2019-03-22 歌尔科技有限公司 传感器数据处理方法、存储介质、电子设备

Also Published As

Publication number Publication date
CN112113582A (zh) 2020-12-22
WO2020253260A1 (zh) 2020-12-24
KR20210084622A (ko) 2021-07-07

Similar Documents

Publication Publication Date Title
JP2022510418A (ja) 時間同期処理方法、電子機器及び記憶媒体
CN109084732B (zh) 定位与导航方法、装置及处理设备
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
Heng et al. Self-calibration and visual slam with a multi-camera system on a micro aerial vehicle
CN106803271B (zh) 一种视觉导航无人机的摄像机标定方法及装置
KR102016551B1 (ko) 위치 추정 장치 및 방법
Schmid et al. Autonomous vision‐based micro air vehicle for indoor and outdoor navigation
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
CN112037260B (zh) 一种跟踪目标的位置估计方法、装置及无人飞行器
US10841570B2 (en) Calibration device and method of operating the same
US20210183100A1 (en) Data processing method and apparatus
CN110880189A (zh) 联合标定方法及其联合标定装置和电子设备
CN111427061A (zh) 一种机器人建图方法、装置，机器人及存储介质
TW201832185A (zh) 利用陀螺儀的相機自動校準
CN112230242A (zh) 位姿估计***和方法
Zhang et al. Vision-aided localization for ground robots
KR101985344B1 (ko) 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2019191288A1 (en) Direct sparse visual-inertial odometry using dynamic marginalization
Tomažič et al. Fusion of visual odometry and inertial navigation system on a smartphone
KR20120065067A (ko) 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
Deng et al. Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments
CN111307174A (zh) 一种传感器的标定方法、运动物体及存储介质
WO2023087681A1 (zh) 定位初始化方法、装置、计算机可读存储介质和计算机程序产品
CN114111776A (zh) 定位方法及相关装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210603

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230418