JP7210429B2 - 視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体 - Google Patents

視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体 Download PDF

Info

Publication number
JP7210429B2
JP7210429B2 JP2019229698A JP2019229698A JP7210429B2 JP 7210429 B2 JP7210429 B2 JP 7210429B2 JP 2019229698 A JP2019229698 A JP 2019229698A JP 2019229698 A JP2019229698 A JP 2019229698A JP 7210429 B2 JP7210429 B2 JP 7210429B2
Authority
JP
Japan
Prior art keywords
image frame
sliding window
reference image
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019229698A
Other languages
English (en)
Other versions
JP2020107336A (ja
Inventor
崔華坤
王▲カイ▼
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Beijing Technologies Co Ltd
Original Assignee
Cloudminds Beijing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Beijing Technologies Co Ltd filed Critical Cloudminds Beijing Technologies Co Ltd
Publication of JP2020107336A publication Critical patent/JP2020107336A/ja
Application granted granted Critical
Publication of JP7210429B2 publication Critical patent/JP7210429B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明の実施例は視覚と慣性航法を融合させる位置推定とマッピングの同時実行の分野に関し、特に、視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器に関する。
位置推定とマッピングの同時実行システム（ＳＬＡＭ、Ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ、以下はＳＬＡＭと略称する）とは、ロボット、無人機、ＡＲ機器など、特定のセンサーが搭載される本体は、環境の先験的情報がない場合、移動中に環境のモデルを作成すると同時に、自己移動のプロセスを推定するものである。ＳＬＡＭにおけるセンサーは、視覚カメラ、ＩＭＵ、ＧＰＳ、レーザレーダなどであってもよいが、本明細書に説明されるセンサーは主に、視覚カメラ及びＩＭＵとされ、常に、このような視覚と慣性計測ユニットＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）との融合に基づくＳＬＡＭシステムは、ＶＩＮＳ（ｖｉｓｕａｌ－ｉｎｅｒｔｉａｌ ｓｙｓｔｅｍ）またはＶＩＯ（ｖｉｓｕａｌ－ｉｎｅｒｔｉａｌ ｏｄｏｍｅｔｒｙ）、即ち、視覚的慣性オドメトリシステムと呼ばれる。
ＶＩＯは、視覚とＩＭＵの状態ベクトルを一体にして最適化するか否かによって、疎結合と密結合に分けられる。密結合の視覚的慣性オドメトリシステムでは、視覚が提供する再投影誤差である視覚的制約と、ＩＭＵが提供するフレーム間制約とを、１つの目的関数全体において最適化する。しかしながら、高速回転、高速移動、カメラが遮られたり、テクスチャがなかったりするなどの場合には、視覚的制約がなくなり、このような状況は、ＡＲ、ロボットなどにおいて、よく現れる。携帯電話などのＡＲ機器を例として、高速移動する場合は、移動ぼけなどの原因で、画像の品質上のぼけが生じ、この場合、このような画像上に視覚的特徴点の検出と追跡を行うことは現実に実施できなくなる。
視覚的制約がなくなる場合、視覚的慣性オドメトリシステムの目的関数全体において、ＩＭＵ制約のみが機能し、また、ＩＭＵの累積誤差で、算出する状態ベクトルが誤ることになり、視覚的制約がなくなってから動かない場合でも、カメラ軌跡は依然としてある方向に沿って速くドリフトをする。
本発明の実施例は、上記の課題に鑑みてなされたもので、上記の課題を解決する方法、装置、ロボット機器及びコンピュータ記憶媒体を提供することを目的とする。
上記の課題を解決すべく本発明の実施例が用いる１つの技術的解決手段として、視覚的慣性オドメトリシステムのロバストネスを向上させる方法が提供され、前記方法は、
参照画像フレームを確定することと、
前記参照画像フレームを修正することと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うことと、を含む。
前記参照画像フレームは同じフレームの前画像フレームである。
参照画像フレームを確定することは、さらに、周辺化を必要とする画像フレームを確定することを含み、
現画像フレームに基づいて、最初画像フレームが周辺化を必要とする画像フレームであるか否かを判定することと、
イエスならば、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
ノーならば、さらに現画像フレームと前画像フレームが同じであるか否かを判定し、同じであれば、前画像フレームを参照画像フレームとして確定し、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
現画像フレームと前画像フレームが同じではなければ、前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、参照画像フレームを修正しないことと、を含む。
現画像フレームと前画像フレームが同じであるか否かを判定こすることは、具体的には、
現画像フレームと前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、小さくなければ、現画像フレームと前画像フレームが同じであると考えられ、小さければ、現画像フレームと前画像フレームが同じではないと考えられることである。
参照画像フレームを修正することは、具体的には、参照画像フレームの速度及び回転を修正することである。
Figure 0007210429000001
最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、最初画像フレームを周辺化し、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させることを含む。
最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、ノーならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前画像フレームを周辺化することを含む。
参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行う前に、さらに、
前記参照画像フレームがスライディングウインドウ内にあるか否かW判定し、なければ、すべてのフレームに対して非線形最適化を行うこと含む。
本発明の実施例はさらに、視覚的慣性オドメトリシステムのロバストネスを向上させる装置を提供し、前記装置は、
現在のスライディングウインドウ内の参照画像フレームを確定するための参照画像フレーム確定モジュールと、
参照画像フレームを修正するための参照画像フレーム修正モジュールと、
最初画像フレームと修正後の参照画像フレームに基づいて、前記参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うための非線形最適化モジュールと、を含む。
本発明の実施例はさらに、ロボットを提供し、前記ロボットは、プロセッサ、メモリ、通信インタフェース及び通信バスを含み、前記プロセッサ、前記メモリ及び前記通信インタフェースは、前記通信バスにより、相互の通信を完了する。
前記メモリは少なくとも１つの実行可能なコマンドを記憶するために用いらえ、前記実行可能なコマンドは前記プロセッサに上記の実施例に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させる。
本発明の実施例はさらに、コンピュータ記憶媒体を提供し、前記記憶媒体には少なくとも１つの実行可能なコマンドが記憶されており、前記実行可能なコマンドはプロセッサに上記の方法の実施例に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させる。
以上から分かるように、本発明の実施例は、参照画像フレームを修正し、続いて参照画像フレームと最初画像フレームを固定し、新しい視覚的制約をシステムに導入し、従来の視覚的制約と慣性制約メカニズムを最適化することで、軌跡ドリフト問題をよく解決し、システムのロバストネスを顕著に向上させる。
以上の説明は、本発明の技術的解決手段の概要に過ぎず、本発明の技術的解決手段をより明らかに理解するために、明細書の内容に従って実施してもよく、また、本発明の上記及び他の目的、特徴及び利点をより分かりやすくするために、以下は、特に本発明の具体的な実施例を挙げる。
好適な実施例につていの詳細な説明により、他の利点及び有益な効果は当業者にとって明らかになる。図面は、好適な実施例を示すことを目的とするもので、本発明を限定するものではない。また、全体の図面において、同一の参照符号は同一の部材を示している。図面において、
本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態２である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態３である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態４である。 本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させるフローチャート１である。 本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させるフローチャート２である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態５である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態６である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態７である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態８である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態９である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１０である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１１である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１２である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１３である。 本発明の実施例にて提供されるスライディングウインドウ内の各画像フレームの状態１４である。 本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させる装置である 本発明の実施例にて提供されるロボットの構造図である。
以下、図面を参照して本開示の実施例についてより詳細に説明する。図面には、本開示の実施例が表示されているが、本開示は各種の形態で実現でき、ここで説明されている実施例に限定されるものではないことが理解されたい。逆に、本開示を深く理解し、本開示の範囲を当業者に完全に伝えることができるために、これらの実施例が提供される。
本発明の実施例にて提供される技術的解決手段は、画像収集機器は、視覚的制約がなくなった後、動かない場合、新しい視覚的制約を追加し、静止画像フレームの回転行列を修正することにより、軌跡のドリフトを阻止することである。画像収集機器が高速移動した後に静止すると仮定し、且つ当該仮定が合理的であると考えられると、例えば、ＡＲにおいて、携帯電話を持って、急に別の方向に向かい、動かず観察することがあり、動いていない場合で操作を行う。
Figure 0007210429000002
収集ポイントは高速回転中に、視覚的制約がなくなる場合があり、図２に示すように、Ｐ５は高速回転中に収集する画像であり、移動ぼけなどの問題で、視覚追跡が失敗して、視覚的制約がなくなる（図中の破線枠）。このとき、すべての状態ベクトルは、ＩＭＵ制約のみにより最適化され、アクティブウィンドウ内の画像フレーム数を一定に維持するために、最初画像フレームＰ０を周辺化する。
収集ポイントが高速回転後に、急に静止する場合、画質が明瞭であるが、静止後の１番目の画像フレームＰ６は相変わらず回転中のぼけ画像Ｐ５の追跡に成功できないため、図３に示すように、視覚的制約を導入できないことになる。このとき、相変わらず最初画像フレームＰ１を周辺化する。このとき、回転中の計算のエラー状態が依然として修正できないため、Ｐ６は相変わらず問題がある。
静止後の２番目の画像フレームＰ７がスライディングウインドウに入る場合、図４に示すように、Ｐ６の画像に類似して、視差量が小さすぎ、三角化を行うことができないため、相変わらず視覚的制約を導入できない。このとき、Ｐ６がＰ７の画像に似ているため、Ｐ６を周辺化することになる。このとき、そのまま静止していくと、軌跡の直線ドリフトが発生することになる。
本発明の実施例は、静止後の画像の鮮明さを考慮し、且つオプティカルフローによる追跡の結果に基づいて、２つの画像フレームの間（Ｐ６とＰ７）の追跡マッチング関係を明らかに知ることができ、本発明の実施例は、この制約を目的関数全体に加えることで、回転中の純粋なＩＭＵ計算ミスに基づくプロセス量を修正し、位置姿勢のドリフト問題を解決することを提示する。
図５に示すように、本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させる方法は、５０１～５０３を含む。
５０１、参照画像フレームを確定する。
本発明の実施例は相変わらずスライディングウインドウ内に最適化を行う方式を用い、新しい画像フレームがスライディングウインドウ内に入る場合、システムは現画像フレームと前画像フレームを比べ、参照画像フレームと周辺化を必要とする画像フレームを確定する。
図４に示すように、０番目の画像フレームはＰ２であり、４番目の画像フレームＰ５はぼける動的フレームであり、５目の画像フレームＰ６は１番目の静止画像フレームである。Ｐ７がスライディングウインドウに入る場合、Ｐ７も静止画像フレームである。
常に、Ｐ７がスライディングウインドウに入る場合、システムは、現画像フレームの追跡ポイントの数及び隣接する画像フレームの視差量に基づいて、周辺化を必要とする画像フレームを決定し、例えば、Ｐ７がスライディングウインドウに入る場合、Ｐ６とＰ７の視差量が小さければ、前画像フレームＰ６を周辺化する必要があり、前画像フレームが周辺化を必要とする画像フレームであると確定する。Ｐ６とＰ７の視差量が大きければ、Ｐ７が多くの代表的情報を有すると考えられ、最初画像フレームを選択して周辺化を行い、最初画像フレームが周辺化を必要とする画像フレームであると確定する。
周辺化を必要とする画像フレームが前画像フレームであると仮定すると、システムはさらに、Ｐ７がＰ６と同じであるか否か、即ちＰ６のような静止画像フレームであるか否かを判定し、常に、現画像フレームと前画像フレームの追跡に成功するポイントの数がある閾値より大きいか否かに基づいて、判定する。予め設定された閾値より大きい場合は、現画像フレームと前画像フレームが同じであり、即ちカメラが静止状態にあると考えられる。
現画像フレームと前画像フレームが同じである場合、システムは最初画像フレームを、周辺化を必要とする画像フレームとして確定する。現画像フレームと前画像フレームが同じではない場合、システムは前画像フレームを、周辺化を必要とする画像フレームとして確定する。
既定では、システムは初期的参照画像フレームを設定することなく、即ちシステムに静止画像フレームがない場合、システムには参照画像フレームがなく、静止画像フレームが２つ以上ある場合だけで、システムは参照画像フレームを設定する。
５０２、確定した参照画像フレームを修正する。
現画像フレームと前画像フレームがすべて静止状態にあると判定する場合、静止後の画像の鮮明さを考慮し、オプティカルフローによる追跡の結果に基づいて、２つの画像フレームの間（Ｐ６とＰ７）の追跡マッチング関係を明らかに知ることができるが、従来のＶＩＯフレームワークはこのような制約を考慮しないに対して、このような制約を目的関数全体に加えることで、回転中の単純なＩＭＵ計算ミスに基づくプロセス量を修正し、位置姿勢のドリフト問題を解決するように、参照画像フレームの速度及び回転を修正してもよい。
５０３、最初画像フレームと修正後の参照画像フレームに基づいて、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行う。
システムは、修正後の参照画像フレームと最初画像フレームを固定するとともに、非線形最適化問題の解決のプロセスにおいて、この２つのフレームを最適化せず、修正後の参照画像フレームと最初画像フレームに基づいて、この２つのフレーム以外の他の画像フレームのみに対して非線形最適化問題を解決する。
参照画像フレームを確定した後、システムは参照画像フレームがスライディングウインドウ内にあるかを判定し、なければ、通常の方式で非線形最適化問題を解決し、フレームごとに非線形最適化を行う。参照画像フレームがスライディングウインドウ内にある場合、システムは最初画像フレームＰ２と参照画像フレームＰ６を固定し、それらに対して非線形最適化を行わず、最初画像フレームＰ２と参照画像フレームＰ６以外の他の画像フレームのみに対して非線形最適化問題を解決する。
さらに、周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させ、現在の参照画像フレームを、次の画像が来る時に、そのまま参照画像フレームとして保持する。周辺化を必要とする画像フレームが最初画像フレームではなく、前画像フレームであれば、非線形最適化を直接行い、即ち現在の静止画像フレームを、次の画像が来る時に、参照画像フレームとする。
本発明の実施例は上記の方法により、参照画像フレームを修正し、続いて参照画像フレームと最初画像フレームを固定し、新しい視覚的制約をシステムに導入することで、従来の視覚的制約と慣性制約メカニズムを最適化し、軌跡のドリフト問題をよく解決し、システムのロバストネスを顕著に向上させる。
本発明の別の実施例は、図６に示すように、詳細なフローチャートを提示する。図７－１のフレームモードに基づいて、詳細に説明すると仮定すると、図３中のＰ５フレームは動的フレームであり、Ｐ６は１番目の静止画像フレームである。スライディングウインドウの長さをＮ＝５、システムにおける最初画像フレームを０番目のフレームと仮定し、ＭａｒｇＦｌａｇが周辺化を必要とする画像フレームのフラグであり、ＯＬＤが最初画像フレームを代表し、ＳＥＣＯＮＤ＿ＮＥＷが前画像フレームを代表し、ＮｕｍＮｅｅｄＦｉｘが参照画像フレームのフラグであり、ＮｕｍＮｅｅｄＦｉｘの初期値が－１であるように設定する。
６０１、スライディングウインドウに入る現画像フレームに対して、最初画像フレームを周辺化する必要があるか否かを判定する。
常に、システムは、現画像フレームの追跡ポイントの数及び隣接するフレームの視差量に基づいて、周辺化を必要とする画像フレームを判定し、ここで、最初画像フレームを０目のフレーム、スライディングウインドウのフレームの総数をＮ＋１とすると、現画像フレームはＮ目のフレームであり、前画像フレームはＮ－１番目のフレームである。
現画像フレームと前画像フレームの視差量が大きければ、現画像フレームが重要なフレームであると考えられ、最初画像フレームを周辺化する。
現画像フレームと前画像フレームの視差量が小さければ、現画像フレームが前画像フレームに類似すると考えられ、前画像フレームを周辺化する。
図３において、Ｐ５は動的フレームであり、Ｐ６は１番目の静止画像フレームであるため、Ｐ５とＰ６の視差量が大きく、周辺化を必要とする画像フレームは最初画像フレームＰ１である。
図６に基づいて、ステップ６０５に進む。
６０５、周辺化を必要とする画像フレームを最初画像フレームに設定する。
ＭａｒｇＦｌａｇ＝ＯＬＤと設定し、ステップ６０７に進む。
６０７、ＮｕｍＮｅｅｄＦｉｘが０より大きいか否かを判定する。
システムの予め設定に基づいて、ＮｕｍＮｅｅｄＦｉｘの初期値は－１であり、したがって、ＮｕｍＮｅｅｄＦｉｘ＜０、ステップ６１１に進む。
６１１、非線形最適化問題を解決する。
修正後の参照画像フレームと最初画像フレームに基づいて、スライディングウインドウ内のすべてのフレームに対して非線形最適化を行う。
６１２、ＭａｒｇＦｌａｇの値を判定する。
ＭａｒｇＦｌａｇ＝＝ＯＬＤならば、最初画像フレームＰ１を周辺化する。
ＭａｒｇＦｌａｇ＝＝ＳＥＣＯＮＤ＿ＮＥＷならば、前画像フレームを周辺化する。
図３から分かるように、システムは最初画像フレームＰ１を周辺化する。続いて、システムは次のフレームの到来を継続的に監視する。
図７－１に示すように、Ｐ７がスライディングウインドウに入ると仮定し、Ｐ７は静止画像フレームであり、Ｐ６とＰ７は同一の画像であると仮定する。システムは以下のフローを行う。
６０１、最初画像フレームを周辺化するか否かを判定する。
Ｐ６とＰ７は同様に静止画像フレームであり、両者の視差量が小さく、したがって、システムは、図７－１に示すように、前画像フレームを周辺化し、最初画像フレームを保存する必要があり、そして、ステップ６０２に進む。
６０２、現画像フレームと前画像フレームの追跡に成功するポイントの数がある閾値より大きいか否かを判定する。
現画像フレームと前画像フレームの追跡に成功するポイントの数に基づいて、Ｐ６とＰ７のフレームの違いを比較し、常に、９７％を閾値として設定し、２つのフレームの追跡に成功するポイントの数の割合が９７％より大きければ、２つの画像が同一の画像であると考えられ、ステップ６０４に進む。９７％より小さければ、２つの画像が完全に同じではないと考えられ、ステップ６０３に進む。
６０４、ＭａｒｇＦｌａｇ＝ＯＬＤと設定する。
Ｐ７とＰ６が２つの同一の画像である場合は、図７－２に示すように、周辺化を必要とする画像フレームを最初画像フレームに設定し、ＭａｒｇＦｌａｇ＝ＯＬＤと設定する。そして、ステップ６０６に進む。
６０６、前画像フレームの速度及び回転を修正し、ＮｕｍＮｅｅｄＦｉｘをＮ－１に設定する。
現画像フレームと前画像フレームがすべて静止状態にあると判定する場合、静止後の画像の鮮明さを考慮し、オプティカルフローによる追跡の結果に基づいて、２つのフレームの間（Ｐ６とＰ７）の追跡マッチング関係を明らかに知ることができるが、従来のＶＩＯフレームワークはこのような制約を考慮しないに対して、このような制約を目的関数全体に加えることで、回転中の純粋なＩＭＵ計算ミスに基づくプロセス量を修正し、これにより、位置姿勢のドリフト問題を解決する。
画像が静止している場合、即ち２つの隣接するフレームの追跡ポイントの数がある閾値より大きいと、この２つのフレームの速度差がゼロになる。
Figure 0007210429000003
Figure 0007210429000004
Figure 0007210429000005
Figure 0007210429000006
Figure 0007210429000007
Figure 0007210429000008
Figure 0007210429000009
Figure 0007210429000010
Figure 0007210429000011
６０７、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘが０より大きいか否かを判定し、イエスならば、ステップ６０８に進み、ノーならば、６１１に進む。
前のステップ６０７から分かるように、ＮｕｍＮｅｅｄＦｉｘ＝Ｎ－１、Ｎは５であり、こうすると、ＮｕｍＮｅｅｄＦｉｘ＝４、したがって、ＮｕｍＮｅｅｄＦｉｘ＞０、ステップ６０８に進む。
６０８、最初画像フレームとＮｕｍＮｅｅｄＦｉｘ番目のフレームを固定する。
即ち、最初画像フレームＰ２と参照画像フレームＰ６を固定し、前記固定とは、非線形最適化問題を解決する過程において、最初画像フレームと参照画像フレームに対して非線形最適化問題を解決せず、他の画像フレームのみに対して非線形最適化問題を解決することである。
６０９、周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定する。
即ち、ＭａｒｇＦｌａｇがＯＬＤに等しいか否かを判定し、等しければ、ステップ６１０に進み、等しくなければ、ステップ６１１に進む。
ステップ６０４から分かるように、ＭａｒｇＦｌａｇ＝＝ＯＬＤ。
６１０、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させる。
即ち、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘをＮｕｍＮｅｅｄＦｉｘ－１に修正し、即ち、ＮｕｍＮｅｅｄＦｉｘ＝３。
６１１、非線形最適化問題を解決する。
ステップ６０８において、最初画像フレームＰ２と参照画像フレームＰ６を固定し、即ち、非線形最適化問題の解決に参加させないため、システムは、修正後の参照画像フレームと最初画像フレームに基づいて、最初画像フレームＰ２と参照画像フレームＰ６以外のすべてのフレームのみに対して、非線形最適化問題を解決する。非線形最適化問題の解決の方式は従来の非線形最適化問題の解決の方式と同じであるため、ここでは説明を省略する。
６１２、周辺化を必要とする画像フレームを判定し、最初画像フレームならば、ステップ６１４に進み、前画像フレームならば、６１３に進む。
システムは、ＭａｒｇＦｌａｇの値を判定し、周辺化を必要とする画像フレームのフラグに基づいて、対応するフレームを周辺化する。
６１３、ＭａｒｇＦｌａｇ＝＝ＳＥＣＯＮＤ＿ＮＥＷならば、前画像フレームを周辺化する。
６１４、ＭａｒｇＦｌａｇ＝＝ＯＬＤならば、最初画像フレームＰ２を周辺化する。
ステップ６０４から分かるように、システムはＭａｒｇＦｌａｇをＳＥＣＯＮＤ＿ＮＥＷからＯＬＤに修正し、したがって、ＭａｒｇＦｌａｇ＝ＯＬＤ、最初画像フレームＰ２を周辺化する。最終的に、最適化後のフレームの構造は図７－３に示すとおりであり、周辺化されるフレームはＰ２であり、最初画像フレームはＰ３であり、参照画像フレームはＰ６になり、また、Ｐ６は修正後のフレームであり、Ｐ６とＰ７との間の新しい制約の導入に成功する。
システムはスライディングウインドウ内に入る新しいフレームを継続的に監視する。スライディングウインドウに入る後続フレームはすべてＰ７のような静止画像フレームであると仮定する場合、システムは最初画像フレームを絶えず周辺化し、前画像フレームを参照画像フレームとして継続的に修正し、最初画像フレームと前画像フレームを固定して、非線形最適化問題を解決し、最終的に、スライディングウインドウ内のすべてのフレームは、画像収集機器が再移動するか、または画像が変化するまで、修正後の静止画像フレームになる。
画像収集機器が速い移動から遅い移動へ変化することで、画像が不鮮明になると仮定する場合、システムにとっては、前画像フレームを周辺化する必要があるが、実際に、２つのフレームは異なり、例えば、新しいフレームＰ１１がスライディングウインドウに入り、Ｐ１１の画像に微小な変化が生じると、システムは以下の操作を実行する。
６０１、最初画像フレームを周辺化するか否かを判定する。
Ｐ１１とＰ１０の２つのフレームの画像は微小な変化が生じるため、両者の視差量が小さく、したがって、システムは、図８－１に示すように、前画像フレームを周辺化し、最初画像フレームを保存し、ステップ６０２に進む。
６０２、現画像フレームと前画像フレームの追跡に成功するポイントの数がある閾値より大きいか否かを判定する。
Ｐ１１とＰ１０の違いを比較し、同様に、閾値を９７％とし、２つのフレームは微小な変化が生じるため、２つのフレームの追跡に成功するポイントの数が９７％より小さく、したがって、システムはＰ１０とＰ１１が異なると考えるため、カメラが完全に静止している状態にあると考えず、ステップ６０３に進む。
６０３、周辺化を必要とする画像フレームを前画像フレームに設定する。
図８－２に示すように、ＭａｒｇＦｌａｇをＳＥＣＯＮＤ＿ＮＥＷに設定し、ステップ６０７に進む。
６０７、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘが０より大きいか否かを判定し、イエスならば、ステップ６０８に進み、ノーならば、６１１に進む。
以上から分かるように、前述した各画像フレームはいずれも静止画像フレームであるため、参照画像フレームをずっと前画像フレームにし、即ち、ＮｕｍＮｅｅｄＦｉｘ＝４、したがって、０より大きく、ステップ６０８に進む。
６０８、最初画像フレーム０とＮｕｍＮｅｅｄＦｉｘ番目のフレームを固定する。
即ち、最初画像フレームＰ６と参照画像フレームＰ９を固定し、前記固定とは、非線形最適化問題を解決する過程において、最初画像フレームと参照画像フレームに対して非線形最適化問題を解決せず、他の画像フレームのみに対して非線形最適化問題を解決することである。
６０９、周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定する。
ステップ６０３から分かるように、ＭａｒｇＦｌａｇ＝ＳＥＣＯＮＤ＿ＮＥＷ、最初画像フレームではなくステップ６１１に進む。
６１１、非線形最適化問題を解決する。
ステップ６０８において、最初画像フレームＰ６と参照画像フレームＰ９を固定し、即ち、非線形最適化問題の解決に参加させないため、システムは最初画像フレームＰ６と参照画像フレームＰ９以外のすべてのフレームのみに対して、非線形最適化問題を解決する。非線形最適化問題の解決の方式は従来の非線形最適化問題の解決の方式と同じであるため、ここでは説明を省略する。
６１２、周辺化を必要とする画像フレームを判定し、最初画像フレームならば、ステップ６１４に進み、前画像フレームならば、６１３に進む。
以上から、ＭａｒｇＦｌａｇ＝ＳＥＣＯＮＤ＿ＮＥＷが分かり、したがって、ステップ６１３に進む。
６１３、ＭａｒｇＦｌａｇ＝＝ＳＥＣＯＮＤ＿ＮＥＷならば、前画像フレームを周辺化する。
したがって、新しいフレームと前画像フレームは微小な違いがある場合、システムは、図８－３に示すように、最初画像フレームＰ６と参照画像フレームＰ９をそのまま維持し、前画像フレームＰ１０を周辺化する。システムはスライディングウインドウ内に入る他の画像フレームを継続的に監視し、微小な違いがあるフレームが継続的に入る場合、システムは、最初画像フレームＰ６と参照画像フレームＰ９をそのまま維持し、最も正確フレームを基にして最適化を行うように保持する。
画像収集機器が移動し始めた後、スライディングウインドウに入る新しいフレームＰ１２が収集されると仮定すると、システムは以下の操作を行い、図９－１に示すように、Ｐ１２は正常な移動状態の移動フレームであり、具体的な実行プロセスは以下のとおりである。
６０１、最初画像フレームを周辺化するか否かを判定する。
Ｐ１２フレームは画像収集機器の移動状態で収集されるフレームであるため、それとＰ１１の視差量及び現画像フレームの追跡ポイントの数の差が大きく、システムは最初画像フレームＰ６を周辺化すると判定する。ステップ６０５に進む。
６０５、ＭａｒｇＦｌａｇ＝ＯＬＤと設定する。
周辺化を必要とする画像フレームを最初画像フレームに設定し、ＭａｒｇＦｌａｇ＝ＯＬＤと設定する。ステップ６０７に進む。
６０７、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘが０より大きいか否かを判定し、イエスならば、ステップ６０８に進み、ノーならば、６１１に進む。
図８－３から分かるように、参照画像フレームはＰ９であり、即ち、ＮｕｍＮｅｅｄＦｉｘ＝４、したがって、ＮｕｍＮｅｅｄＦｉｘ＞０、６０８に進む。
６０８、最初画像フレームとＮｕｍＮｅｅｄＦｉｘ番目のフレームを固定する。
即ち、最初画像フレームＰ６とＰ９を固定し、その後、他の画像フレームのみに対して非線形最適化問題を解決する。
６０９、ＭａｒｇＦｌａｇがＯＬＤに等しいか否かを判定する。
図９－１から分かるように、周辺化を必要とする画像フレームは最初画像フレームであるため、ＭａｒｇＦｌａｇ＝＝ＯＬＤ、ステップ６１０に進む。
６１０、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させる。
即ち、参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘをＮｕｍＮｅｅｄＦｉｘ－１に修正し、即ち、ＮｕｍＮｅｅｄＦｉｘ＝３。
６１１、非線形最適化問題を解決する。
Ｐ６とＰ９以外の他の画像フレームに対して非線形最適化問題を解決する。
６１２、周辺化を必要とする画像フレームを判定し、最初画像フレームならば、ステップ６１４に進み、前画像フレームならば、６１３に進む。
以上から分かるように、ＭａｒｇＦｌａｇ＝ＯＬＤ、したがって、ステップ６１４に進む。
６１４、ＭａｒｇＦｌａｇ＝＝ＯＬＤならば、最初画像フレームＰ６を周辺化する。
図９－２に示すように、新しい移動フレームＰ１２がスライディングウインドウに入る場合、前画像フレームとの違いが大きいため、システムは最初画像フレームと参照画像フレームを固定し、そして、参照画像フレームは修正後の参照画像フレームであり、他の画像フレームのみに対して非線形最適化問題を解決すると同時に、最初画像フレームを周辺化する。即ち、Ｐ６フレームは周辺化され、最初画像フレームはＰ７になり、参照画像フレームは相変わらずＰ９であり、Ｐ１１とＰ１２の間の新しい制約の導入に成功する。
システムはスライディングウインドウ内に入る新しいフレームを継続的に監視し、スライディングウインドウに入る後続のフレームは、Ｐ１２と同様に、異なる移動フレームであると仮定すると、システムは始終に参照画像フレームをＰ９に固定し、Ｐ９は修正後のフレームであり、そして、参照画像フレームがスライディングウインドウから出るまで、参照画像フレームを最初画像フレームの方向へ移動させるため、システムは正常な移動状態での視覚的制約に回復する。
Figure 0007210429000012
上記の実施例により、静止画像フレーム間の追跡マッチング関係を利用し、新しい制約を導入し、参照画像フレームを修正し、そして、修正後の参照画像フレームに基づいて、回転中の純粋なＩＭＵ計算ミスに基づくプロセス量を修正することで、位置姿勢のドリフト問題を解決する。
上記の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させる方法を実行するために、本発明の実施例はさらに、視覚的慣性オドメトリシステムのロバストネスを向上させる装置１０を提供し、装置１０は、具体的に図１０に示すように、
現在のスライディングウインドウ内の参照画像フレームを確定するための参照画像フレーム確定モジュール１００２と、
参照画像フレームを修正するための参照画像フレーム修正モジュール１００３と、
最初画像フレームと修正後の参照画像フレームに基づいて、参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行うための非線形最適化モジュール１００４と、を含む。
前記参照画像フレーム確定モジュールはさらに、同じフレームの前画像フレームを参照画像フレームとして確定するために用いられる。
さらに、該装置はさらに、現画像フレームに基づいて、最初画像フレームが周辺化を必要とする画像フレームであるか否かを判定し、イエスならば、最初画像フレームを、周辺化を必要とする画像フレームとして確定し、ノーならば、さらに現画像フレームと前画像フレームが同じであるか否かを判定し、同じであれば、最初画像フレームを、周辺化を必要とする画像フレームとして確定し、同じではなければ、参照画像フレーム確定モジュールに前記前画像フレームを参照画像フレームとして確定すると通知するための周辺化を必要とする画像フレーム確定モジュール１００１を含む。周辺化を必要とする画像フレーム確定モジュールは現画像フレームと前画像フレームが同じであるか否かを判定することは、さらに、現画像フレームと前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、小さくなければ、現画像フレームと前画像フレームが同じであると考えられ、小さければ、現画像フレームと前画像フレームが同じではないと考えられる。具体的な実行プロセスは上記の方法の実施例にて提供される方法と同じであるため、ここでは説明を省略する。
Figure 0007210429000013
該装置はさらに、周辺化を必要とする画像フレームを周辺化するための周辺化モジュールを含む。
前記周辺化を必要とする画像フレーム確定モジュールはさらに、周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、最初画像フレームを周辺化し、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させるために用いられる。
前記非線形最適化モジュールはさらに、参照画像フレームがスライディングウインドウ内にあるか否かを判定し、あれば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うと同時に、周辺化モジュールに前画像フレームを周辺化する通知し、なければ、すべてのフレームに対して非線形最適化を行うために用いられる。
前記周辺化モジュールは、ＭａｒｇＦｌａｇのフラグに基づいて、対応するフレームに対して周辺化処理を行う。
本発明の実施例にて提供される視覚的慣性オドメトリシステムのロバストネスを向上させる装置により、静止画像フレーム間の追跡マッチング関係を利用し、新しい制約を導入し、参照画像フレームを修正しそして、修正後の参照画像フレームに基づいて、回転中の純粋なＩＭＵ計算ミスに基づくプロセス量を修正することで、位置姿勢のドリフト問題を解決する。
本願の実施例は不揮発性コンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体には少なくとも１つの実行可能なコマンドが記憶されており、当該コンピュータ実行可能なコマンドは上記の任意の方法の実施例における視覚的慣性オドメトリシステムのロバストネスを向上させる方法を実行できる。
図１１は本発明の実施例にて提供されるロボットの構造模式図であり、本発明の具体的な実施例はロボットの具体的な実施を限定しない。
図１１に示すように、当該ロボット機器は、プロセッサ（ｐｒｏｃｅｓｓｏｒ）５０１、通信インタフェース（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｉｎｔｅｒｆａｃｅ）５０２、メモリ（ｍｅｍｏｒｙ）５０４及び通信バス５０３を含んでもよい。
そのうち、
プロセッサ、通信インタフェース及びメモリは通信バスにより、相互の通信を完了する。
通信インタフェースは、クライアントまたは他のサーバなど、他の機器のネットワークエレメントと通信するために用いられる。
プロセッサは、プログラム５０５を実行し、具体的には、上記の視覚的慣性オドメトリシステムのロバストネスを向上させる方法の実施例における関連するステップを実行するために用いられる。
具体的には、プログラムは、プログラムコードを含んでもよく、当該プログラムコードはコンピュータ操作コマンドを含む。
プロセッサは、中央処理装置ＣＰＵ、特定用途向け集積回路ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、または、１つ若しくは複数の本発明の実施例を実施する集積回路のように配置されるものを含んでもよい。ロボットは１つまたは複数のプロセッサを含み、同一のタイプのプロセッサとしてもよく、例えば、１つまたは複数のＣＰＵが挙げられ、異なるタイプのプロセッサとしてもよく、例えば、１つまたは複数のＣＰＵ及び１つまたは複数のＡＳＩＣが挙げられる。
メモリはプログラム４１０を記憶するために用いられる。メモリは、高速のＲＡＭメモリを含む可能性があり、また、例えば、少なくとも１つの磁気ディスクメモリのような不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含む可能性がある。
プログラムは、具体的には、プロセッサに以下の操作を実行させるために用いられる。
参照画像フレームを確定し、
前記参照画像フレームを修正し、
参照画像フレームと最初画像フレーム以外のフレームに対して非線形最適化を行う。
さらに、前記プログラムはさらに、プロセッサが以下の操作を実行するように制御してもよい。
同じフレームの前画像フレームを参照画像フレームとして確定する。
さらに、周辺化を必要とする画像フレームを確定することは、
現画像フレームに基づいて、最初画像フレームが周辺化を必要とする画像フレームであるか否かを判定することと、
イエスならば、最初画像フレームを、周辺化を必要とする画像フレームとして確定することと、
ノーならば、さらに現画像フレームと前画像フレームが同じであるか否かを判定し、同じであれば、前画像フレームを参照画像フレームとして確定し、最初画像フレームを、周辺化を必要とする画像フレームとして確定し、現画像フレームと前画像フレームが同じではなければ、前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、参照画像フレームを修正しないことと、を含む。
現画像フレームと前画像フレームが同じであるか否かを判定することは、具体的に、
現画像フレームと前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、小さくなければ、現画像フレームと前画像フレームが同じであると考えられ、小さければ、現画像フレームと前画像フレームが同じではないと考えられることである。
Figure 0007210429000014
最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、最初画像フレームを周辺化し、参照画像フレームを最初画像フレームの方向へ１フレーム平行移動させることを含む。
最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、イエスならば、最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前画像フレームを周辺化することを含む。
最初画像フレームと参照画像フレーム以外の他の画像フレームに対して非線形最適化を行う前に、さらに、
前記参照画像フレームがスライディングウインドウ内にあるか否かを判定し、なければ、すべてのフレームに対して非線形最適化を行うことを含む。
ここにて提供されるアルゴリズム及び表示は、いかなる特定のコンピュータ、仮想システムまたは他の機器と本質的に関係がない。各種の汎用システムもここに基づく教示とともに用いてもよい。以上の説明に基づいて、このようなシステムに要求される構造の構築が明らかである。また、本発明はいかなる特定のブログラミング言語に対するものではない。各種のブログラミング言語を用いて、ここで説明されている本発明の内容を実現することができ、また、以上の特定の言語に対する説明は本発明を開示するための最適な実施例であることが理解されたい。
ここにて提供される明細書は、大量の詳細を説明するが、本発明の実施例は、これらの詳細がなくても実施できることが理解されたい。いくつかの実施例では、本明細書を鮮明に理解するために、公知の方法、構造及び技術が詳細に示されない。
同様に、本開示を簡素化し、発明態様の１つまたは複数を分かりやすくするために、以上の本発明の実施例についての説明において、本発明の各特徴は、単一の実施例、図面、またはその説明にグループ化されることがあるが、当該開示の方法については、保護を請求する本発明は各請求項に明確に記載の特徴よりも多くの特徴を請求すると意図するように解釈すべきではない。具体的には、特許請求の範囲に示されるように、発明の態様は、前に開示された単一の実施例のすべての特徴より少ない。したがって、具体的な実施例に従う特許請求の範囲は、これにより、当該具体的な実施例に明らかに組み込まれ、各請求項は本発明の単独な実施例とする。
当業者ならば理解できるように、実施例に係る機器におけるモジュールを自己適応的に変更して、当該実施例と異なる１つまたは複数の機器に設置してもよい。実施例におけるモジュール、ユニットまたはアセンブリを１つのモジュール、ユニットまたはアセンブリに組み合わせてもよいし、複数のサブモジュール、サブユニットまたはサブアセンブリに分割してもよい。特徴及び／又はプロセス、またはユニットにおける少なくとも一部が相互に排他的である以外、あらゆる組み合わせで、本明細書（添付する特許請求の範囲、要約及び図面を含む）にて開示されているすべての特徴及、及びこのように開示されるあらゆる方法または機器のすべてのプロセス若しくはユニットを組み合わせてもよい。明確に説明しない限り、本明細書（添付する特許請求の範囲、要約及び図面を含む）にて開示されている各特徴は、同じ、同等または類似の目的を提供する置換特徴で置換してもよい。
また、当業者ならば理解できるように、ここに記載のいくつかの実施例は、他の特徴ではなく、他の実施例に含まれるいくつかの特徴を含むが、異なる実施例の特徴の組み合わせは、本発明の範囲にあるとともに、異なる実施例を形成すると意味している。例えば、特許請求の範囲において、保護を請求する実施例のいずれか１つは、あらゆる組み合わせ方式により用いてもよい。
本発明の各部材の実施例は、ハードウェア、１つ若しくは複数のプロセッサで動作するソフトウェアモジュール、またはそれらの組み合わせにより実現できる。当業者ならば、実施中にマイクロプロセッサまたはデジタルシグナルプロセッサ（ＤＳＰ）を用いて、本発明の実施例によるメッセージポップアップウィンドウの表示装置における一部または全部の部材の一部または全部の機能を実現できることを理解すべきである。本発明はさらに、ここで説明されている方法の一部または全部を実行するための機器または装置プログラム（例えば、コンピュータプログラム及びコンピュータプログラム製品）として実現できる。このように本発明を実現するプログラムは、コンピュータ可読媒体に記憶されてもよいし、１つまたは複数の信号の態様を有してもよい。このような信号はインターネットウェッブからダウンロードして得てもよいし、キャリア信号上で、または任意の他の態様で提供してもよい。
ただし、上記の実施例は本発明を説明するもので、本発明を限定するものではなく、当業者は添付する特許請求の範囲から逸脱せず、変形例を設計することができる。特許請求の範囲では、括弧にあるあらゆる参照符号は特許請求の範囲を限定するものではない。単語の「含む」は特許請求の範囲に挙げられない素子またはステップの存在を排除しない。素子の前の単語の「１」または「１つ」はこのような複数の素子の存在を排除しない。本発明は異なる複数の素子を含むハードウェア及び適当にプログラミングするコンピュータにより実現できる。複数の装置のユニットが挙げられる特許請求の範囲では、これらの装置のうち複数は同一のハードウェアにより具体的に実現してもよい。単語の「第１」、「第２」及び「第３」などは順序を表すものではない。これらの単語を名称として解釈してもよい。

Claims (11)

  1. 視覚的慣性オドメトリシステムのスライディングウインドウ内において、参照画像フレームを確定することと、
    前記参照画像フレームの速度及び回転を修正することと、
    最初画像フレームと修正後の参照画像フレームに基づいて、前記スライディングウインドウ内における前記参照画像フレームと前記最初画像フレーム以外の画像フレームに対して非線形最適化を行うことと、
    を含み、
    前記参照画像フレームは、前記スライディングウインドウ内の同じ画像フレームにおけるスライディングウインドウ内に入った時間が最も早い画像フレームであり、前記同じ画像フレームは、画像の内容が同じ画像フレームである、
    ことを特徴とする視覚的慣性オドメトリシステムのロバストネスを向上させる方法。
  2. 参照画像フレームを確定することは、
    現画像フレームと前画像フレームの画像内容が同じであるか否かを判定し、前記現画像フレームと前記前画像フレームの画像内容が同じであれば、前記前画像フレームを前記参照画像フレームとして確定し、前記最初画像フレームを、周辺化を必要とする画像フレームとして確定することを含み、
    前記現画像フレームは、前記スライディングウインドウ内の全ての画像フレームのうち前記スライディングウインドウに入った時間が最も遅い画像フレームであり、前記前画像フレームは、前記スライディングウインドウの全ての画像フレームのうち前記スライディングウインドウに入った時間が２番目に遅い画像フレームである、ことを特徴とする請求項１に記載の方法。
  3. 前記現画像フレームと前記前画像フレームが同じではなければ、前記前画像フレームを、周辺化を必要とする画像フレームとして確定し、その後、前記参照画像フレームを修正しないことを特徴とする請求項２に記載の方法。
  4. 前記現画像フレームと前記前画像フレームの画像内容が同じであるか否かを判定することは、具体的には、
    前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さいか否かを判定し、前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さくなければ、前記現画像フレームと前記前画像フレームが同じであると考えられ、前記現画像フレームと前記前画像フレームの追跡に成功するポイントの数が予め設定された閾値より小さければ、前記現画像フレームと前記前画像フレームが同じではないと考えられることであることを特徴とする請求項２または請求項３に記載の方法。
  5. 前記参照画像フレームの速度及び回転を修正することは、具体的には、
    参照画像フレームの速度を
    Figure 0007210429000015
    に設定し、
    参照画像フレームの回転を
    Figure 0007210429000016
    に設定することであり、
    ｂｋは、ｋ番目の画像フレームの時刻におけるＩＭＵ局所座標系であり、ｗは、ワールド座標系であり、ｇｗは、ワールド座標系における重力加速度であり、Δｔｋは、ｋ番目の画像フレームからｋ＋１番目の画像フレームの時間間隔であり、
    Figure 0007210429000017
    は、ＩＭＵ事前積分によるｋ番目の画像フレームからｋ＋１番目の画像フレームの速度変化量であることを特徴とする請求項１に記載の方法。
  6. 前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
    前記周辺化を必要とする画像フレームが最初画像フレームであるか否かを判定し、前記周辺化を必要とする画像フレームが前記最初画像フレームであれば、前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前記最初画像フレームを周辺化し、前記スライディングウインドウ内において前記参照画像フレームを前記最初画像フレームの参照画像フレームのフラグＮｕｍＮｅｅｄＦｉｘをＮｕｍＮｅｅｄＦｉｘ－１に修正することを含むことを特徴とする請求項２又は３に記載の方法。
  7. 前記スライディングウインドウ内における前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行うことは、さらに、
    前記周辺化を必要とする画像フレームが前記最初画像フレームであるか否かを判定し、前記周辺化を必要とする画像フレームが前記最初画像フレームでなければ、前記スライディングウインドウ内において前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行った後、前記前画像フレームを周辺化することを含むことを特徴とする請求項２又は３に記載の方法。
  8. 前記スライディングウインドウにおける前記最初画像フレームと前記参照画像フレーム以外の他の画像フレームに対して非線形最適化を行う前に、さらに、
    前記参照画像フレームが前記スライディングウインドウ内にあるか否かを判定し、前記参照画像フレームが前記スライディングウインドウ内になければ、前記スライディングウインドウにおけるすべての画像フレームに対して非線形最適化を行うことを含むことを特徴とする請求項１に記載の方法。
  9. 視覚的慣性オドメトリシステムのスライディングウインドウ内において、参照画像フレームを確定するための参照画像フレーム確定モジュールと、
    参照画像フレームの速度及び回転を修正するための参照画像フレーム修正モジュールと、
    最初画像フレームと修正後の参照画像フレームに基づいて、前記スライディングウインドウ内における前記参照画像フレームと前記最初画像フレーム以外の画像フレームに対して非線形最適化を行うための非線形最適化モジュールと、
    を含み、
    前記参照画像フレームは、前記スライディングウインドウ内の同じ画像フレームにおけるスライディングウインドウ内に入った時間が最も早い画像フレームであり、前記同じ画像フレームは、画像の内容が同じ画像フレームであることを特徴とする視覚的慣性オドメトリシステムのロバストネスを向上させる装置。
  10. プロセッサ、メモリ、通信インタフェース及び通信バスを含み、前記プロセッサ、前記メモリ及び前記通信インタフェースは、前記通信バスにより、相互の通信を完了し、
    前記メモリは少なくとも１つの実行可能なコマンドを記憶するために用いられ、前記実行可能なコマンドは前記プロセッサに請求項１から請求項８のいずれか一項に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させることを特徴とするロボット。
  11. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体には少なくとも１つの実行可能なコマンドが記憶されており、前記実行可能なコマンドはプロセッサに請求項１から請求項８のいずれか一項に記載の視覚的慣性オドメトリシステムのロバストネスを向上させる方法に対応する操作を実行させることを特徴とするコンピュータ記憶媒体。
JP2019229698A 2018-12-26 2019-12-19 視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体 Active JP7210429B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811603305.6 2018-12-26
CN201811603305.6A CN109917644B (zh) 2018-12-26 2018-12-26 一种提高视觉惯导***鲁棒性的方法、装置和机器人设备

Publications (2)

Publication Number Publication Date
JP2020107336A JP2020107336A (ja) 2020-07-09
JP7210429B2 true JP7210429B2 (ja) 2023-01-23

Family

ID=66960013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229698A Active JP7210429B2 (ja) 2018-12-26 2019-12-19 視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体

Country Status (3)

Country Link
US (1) US11188754B2 (ja)
JP (1) JP7210429B2 (ja)
CN (1) CN109917644B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633122B (zh) * 2020-12-17 2024-01-23 厦门大学 一种单目vio***的前端里程计算法及***
EP4024005A1 (en) * 2021-01-04 2022-07-06 Aptiv Technologies Limited Method, device, and computer program for determining the change in position and/or orientation of the mobile apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108592919A (zh) 2018-04-27 2018-09-28 百度在线网络技术（北京）有限公司 相对边缘化的制图与定位方法、装置、存储介质和终端设备
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
JP2020057264A (ja) 2018-10-03 2020-04-09 株式会社日立製作所 計算機システム及びデータ分類の分析方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US20140192210A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Mobile device based text detection and tracking
US9658070B2 (en) * 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
US10365363B2 (en) * 2015-05-08 2019-07-30 Humatics Corporation Mobile localization using sparse time-of-flight ranges and dead reckoning
US10132933B2 (en) * 2016-02-02 2018-11-20 Qualcomm Incorporated Alignment of visual inertial odometry and satellite positioning system reference frames
US10317214B2 (en) * 2016-10-25 2019-06-11 Massachusetts Institute Of Technology Inertial odometry with retroactive sensor calibration
CN107869989B (zh) * 2017-11-06 2020-02-07 东北大学 一种基于视觉惯导信息融合的定位方法及***
CN108827315B (zh) * 2018-08-17 2021-03-30 华南理工大学 基于流形预积分的视觉惯性里程计位姿估计方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
CN108592919A (zh) 2018-04-27 2018-09-28 百度在线网络技术（北京）有限公司 相对边缘化的制图与定位方法、装置、存储介质和终端设备
JP2020057264A (ja) 2018-10-03 2020-04-09 株式会社日立製作所 計算機システム及びデータ分類の分析方法

Also Published As

Publication number Publication date
US20200210701A1 (en) 2020-07-02
US11188754B2 (en) 2021-11-30
CN109917644A (zh) 2019-06-21
JP2020107336A (ja) 2020-07-09
CN109917644B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN110118554B (zh) 基于视觉惯性的slam方法、装置、存储介质和设备
CN110084832B (zh) 相机位姿的纠正方法、装置、***、设备和存储介质
CN110310326B (zh) 一种视觉定位数据处理方法、装置、终端及计算机可读存储介质
CN112734852A (zh) 一种机器人建图方法、装置及计算设备
US11363192B2 (en) Method, and apparatus for clock synchronization, device, storage medium and vehicle
JP7210429B2 (ja) 視覚的慣性オドメトリシステムのロバストネスを向上させる方法、装置及びロボット機器、コンピュータ記憶媒体
JP7369847B2 (ja) 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
CN111209978A (zh) 三维视觉重定位方法、装置及计算设备、存储介质
US20190080190A1 (en) System and method of selecting a keyframe for iterative closest point
CN111985300B (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
CN114623817A (zh) 基于关键帧滑窗滤波的含自标定的视觉惯性里程计方法
JP2020052687A (ja) 位置推定装置
CN112884840A (zh) 一种视觉定位方法、装置、设备及存储介质
CN111127551A (zh) 一种目标检测的方法及装置
CN111192303A (zh) 一种点云数据处理方法及装置
CN114268787B (zh) 基于ar-hud的延时补偿方法、装置、设备及存储介质
CN116105742A (zh) 复合场景巡检导航方法、***及相关设备
CN111721305A (zh) 定位方法和装置、自动驾驶车辆、电子设备和存储介质
CN111783611B (zh) 无人车的定位方法、装置、无人车及存储介质
CN112731503B (zh) 一种基于前端紧耦合的位姿估计方法及***
CN107993247B (zh) 追踪定位方法、***、介质和计算设备
CN114440877B (zh) 一种异步多相机视觉惯性里程计定位方法
CN115984417A (zh) 一种语义建图方法、装置及存储介质
CN113899357B (zh) 视觉slam的增量建图方法、装置、机器人及可读存储介质
CN115128655B (zh) 自动驾驶车辆的定位方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211005

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220202

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220712

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221206

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230104

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230111

R150 Certificate of patent or registration of utility model

Ref document number: 7210429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150