JP7209115B2 - 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、3d再現および追跡 - Google Patents
複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、3d再現および追跡 Download PDFInfo
- Publication number
- JP7209115B2 JP7209115B2 JP2021568783A JP2021568783A JP7209115B2 JP 7209115 B2 JP7209115 B2 JP 7209115B2 JP 2021568783 A JP2021568783 A JP 2021568783A JP 2021568783 A JP2021568783 A JP 2021568783A JP 7209115 B2 JP7209115 B2 JP 7209115B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- parameters
- image
- error
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
この既に普及しているビデオ画像から3Dストラクチャを抽出するためのアプローチは、間接的な方法を応用している。即ち、前処理ステップにおいて、複数のカメラ画像から、画像対応が割出される。後続のステップにおいて初めてエピポール幾何、3Dストラクチャ、並びに、カメラの相対的動きの割出しが実施される。この「間接的方法」と言う用語は、先ず光学的な流れを割出し、その流れから3Dストラクチャを算出(SFM)していると言う二段階ステップを用いているという意味で用いられている。
バンドル調整とは、多数の画像を用いてストラクチャと動きに関するパラメータを最適化するために用いられる方法である。これにより、点対応や線対応の幾何学的エラー、例えば、バックプロジェクションエラーが、最小に抑えられる。
フォトメトリック・バンドル調整は、確率的フォトメトリック・エラーモデルをベースに、画像の彩度やグラデーションを用いてストラクチャと動きを最適化する方法である。
Alismail et al., Photometric Bundle Adjustment for Vision-Based SLAM, arXiv: 1608.02026v1 [cs.CV], 2016/08/05。
フォトメトリック・バンドル調整は、シングル・オブジェクト問題(例えば、動いているカメラ + リジッド且つ動かない周辺部)に用いられ、これは、ビジュアル・オドメトリ(VO)、或いは、自己位置推定とマッピングの同時実行(SLAM)の問題に相当している。
複数オブジェクトの3D再現のための既知の方法としては、例えば、低密度フローフィールドが、前もって算出されるキーポイントをベースとする方法や、前もって算出された高密度のオプティカル・フローフィールドをベースとする方法が挙げられる。
間接的方法は、特定の領域やシナリオでは、直接的なフォトメトリックなアプローチよりも、精度や頑健性の面から劣っていること。測定精度の低下は、マルチオブジェクトSFMアプローチでは、多くの領域において多義的となり、これが更に、誤ったオブジェクト・クラスタリングの原因となること。例えば、差異が少ない動いているオブジェクトは、二つのオブジェクトとして認識できないこと。結果として、オブジェクト・クラスタリング/動いているオブジェクトの認識のクオリティは、間接的アプローチに伴う、予め割出されたオプティカル・フロー内のエラー分布における不確定性によって、低密度のオプティカル・フローにおいても、キーポイント集合が低密度であることによって限定されること。これに起因して、
1.挙動モデル毎の最小空間角度が制限される(→最小オブジェクトが大きい/オブジェクトまでの最大距離が小さい)、
2.該方法によって検出可能な最小移動方向誤差が、大きい、そして、
3.キーポイントが少ないシチュエーションでは、使用が制限される。
本発明は、適合された形態において拡張されたフォトメトリック・バンドル調整と組み合わせることが可能なカメラ・ビデオ内において様々な動きをしている全てのリジッドなオブジェクト(リジッドで静止している周辺は、一つのオブジェクトであると言える)を識別するためにオブジェクト・クラスタリングを実施するメソッド、特に好ましくは、直接スパースオドメトリ(DSO)において使用される方法を、拡張したものである。よってその結果は、自ら動いているオブジェクトの軌道とストラクチャの同定のみならず、動かない周辺や、動かない周辺のストラクチャに対するカメラシステムの相対的な動きも包含している。
複数の時点の画像データを基に全てのパラメータの一括した最適化が実施されるにもかかわらず、該方法は、(データ捕捉後にバッチ・メソッドとしてバンドル調整を用いるのとは異なり)データ補足中の同時使用にも適している。また該方法は、一時的にしか見えないオブジェクトの捕捉にも適している。
フォトメトリック・バンドル調整に必要な計算負荷を低減するため、全てのオブジェクトの軌道推定の答えを得ることに対して、おそらく重要であり得る寄与、又は、重要であり得る制約(Constraint)を有するピクセルのみを選択する。この様な点の数は、通常、入力画像にあるピクセル数よりも何桁も少ない。ここでは、深度推定の正則化のための正則化項は必要されないため、これに伴って起こり得るシステム的なエラーは、回避されることができる。
- 複数のオブジェクトの複数の選択された画像において複数選択された点の逆深度によって表される深度(点とオブジェクト毎に1パラメータ)
- オプションとして、複数のオブジェクト用に選択された点毎の法線ベクトル(点とオブジェクト毎に2パラメータ)
- 挙動モデルの数
- 各挙動モデルの軌道(キー・サイクル毎のポーズや3Dポジションと3Dローテーション)
- 選択された点の挙動モデルへの帰属(点と挙動モデル毎に1パラメータ、ソフト割当またはハード割当を用いる)
- 画像毎のセンサ特性曲線(例えば、アフィン)の推定(下記では、読みやすさを考慮し、記載せず、例えば、「Engel et al. DSO 第2.1章 較正」を参照)、並びに、
- 焦点距離と主点の推定(下記では、読みやすさを考慮し、記載せず。「Engel et al. DSO 第2.1章 較正」を参照)。
フォトメトリック・エラーの項は、
エラー汎関数を最適化するためには、固定されたオブジェクト帰属において、Levenberg-Marquardt法が、交互に軌道パラメータとストラクチャ・パラメータに対して用いられ(これは、オブジェクト毎のフォトメトリック・バンドル調整に相当)、続いて、オブジェクトの固定されたジオメトリと固定された数において、例えば、内点法が用いられる、または、帰属の最適化のためにグラフカット法が用いられる。そのため、他のオブジェクト用に各々の選択された点の深度パラメータが必要とされ、バンドル調整中に最適化されなかった場合、これらは、予め最適化できる。
バンドル調整に使用するための画像データストリームからの画像の最適な選択は、オブジェクト固有に実施されることができる。ストラテジーの例としては、オブジェクトが、略動いていない→非常に低いキー・サイクル頻度を選択する、他のオブジェクトは、早く動いている→高いキー・サイクル頻度を選択することが挙げられる。
バンドル調整におけるオブジェクト・ポーズは、オブジェクト固有のキー・サイクル内においてのみ割出されるため、全キー・サイクルの和集合の全オブジェクトに対してフォトメトリック・エラー項を割出すことはできないことから、クラスタリング・パラメータは、最適化できない。
全てのオブジェクト用に、全ての他の(それぞれオブジェクト固有でない)キー・サイクルに対してポーズを、ダイレクト・イメージ・アライメントを用いて割出す。この場合、その時点においては、ストラクチャは最適化せず、ポーズのみを割出す。これにより、各々の点と各々の挙動モデル用に、点・挙動モデル帰属の最適化に必要となる全ての自己キー・サイクルと他のキー・サイクルに対するフォトメトリック・エラー項を割出すことができる。
他の挙動モデルの、又は、更なる別の動いているオブジェクトの検出は、以下の方法によって実施される:オブジェクト・コンフィグレーション用の仮説(仮説Hは、具体的な集合、又は、全てのモデル・パラメータ値の仮定である)は、付加的な高密度に分散された点の(フォトメトリック)エラーの分析を基に、最適化された深度で構築されることができる(但し、付加的な点は、フォトメトリック・バンドル調整には関与していない)。最適化済みの仮説Hold(例えば、最後の回帰のコンフィグレーション)における大きなエラーの場所的及び時間的な頻発さが割出され、必要に応じて、新しい仮説Hnewが、定義されるが、新しい仮説は、割出されたエラー頻発領域に更なるオブジェクトを包含している。新しい仮説を立て、評価するためのクライテリアは、以下のように定義されていることができる。
Ecomp(Hnew)+Egeo(Hnew)+Cphoto(Hnew)<E(Hold)
式中:Cphoto(Hnew)は、新しい仮説において起こり得るフォトメトリック・エラーの、例えば、先験的仮定や割出されたエラーの頻発さを基にした経験則的推定である。ここでは、新しいオブジェクトのストラクチャと軌道は、まだ正確には知られていないため、先ずは、一つの経験則的推定Cphoto(Hnew)のみが使用される。仮説の評価(即ち、Cphoto(Hnew)とE(Hnew)の割出し)は、イニシャライズプロセスの最適化中に実施される。仮説は、総エラーが、他の最適化済みの仮説(例えば、最後の回帰のコンフィグレーション)の総エラーと比較して大きくなった場合、粗から細へのイニシャライズプロセス中に却下される。最後に却下されなかった仮説が、その時点のサイクルの新しいコンフィグレーションとなる。
以下に記載する隠覆のモデル化は、隠覆による偽陽性検出を回避するため、仮説立ての際に重要である。
考慮されるオブジェクトが多すぎる、即ち、特定の挙動モデルの存在が、総エラーを高めると判定された場合、これらの挙動モデルとそれに帰属するパラメータは、エラー汎関数から排除される。挙動モデルの存在が総エラーを高めるか否かを判定する場合、以下の方法が用いられる。
各々のオブジェクトに対して、その時点までのコンフィグレーション仮説Holdを基に、そのオブジェクトを含んでいない新しいコンフィグレーション仮説Hnewを立てる。Hnewを、最適化し、総エラーを割出す。基本的に、一つのオブジェクトが排除された仮説に対しては、通常、Ecomp(Hnew)<Ecomp(Hold)且つEphoto(Hnew)>Ephoto(Hold)であることが期待できる。続いて、E(Hnew)<E(Hold)であるか否か、即ち、新仮説の総エラーが、基の仮設のそれよりも小さくなったか否かを確認する。これが真である場合、新仮説が採用され、該挙動モ
デルは、排除される。
新しい点・深度の最適化は、離散化された深度値に関する一次元のブルートフォース(総当たり)サーチと、それに続くLevenberg-Marquardt最適化法によって実施できる。離散化間隔は、最適化の期待される収束半径に合わせられる(例えば、射影の1ピクセル間隔)。代案的に、ランタイムの削減のため、粗から細アプローチとブルートフォースサーチの組み合わせも可能である。
画像に対しては、画像ピラミッドを作成することができるが、例えば、ピラミッドレベル0は、オリジナル画像(最大のピクセル解像度)、ピラミッドレベル1は、(画像軸に沿って)半分のピクセル解像度、ピラミッドレベル2は、四分の一のピクセル解像度と言った具合である。
粗いピラミッドレベル(低減したピクセル解像度)から開始し、(ピラミッド解像度に合わせて)離散化された深度値に関するブルートフォースサーチを用いて、エラー値が高い場合、点・深度・領域が、排除される。細かいピラミッドレベルに変更後は、未だ排除されていない点・深度・領域のみが、ブルートフォースサーチによって、改めて評価される。その後、例えば、最も細かいピラミッドレベルの後、Levenberg-Marquardt法を用いて、最善の深度仮説に向上させる。他の残っている仮説は、各々の点・深度の多義性を示すために、残しておくことができる。
イニシャライズ中は、隠覆とその他のモデル化されていない影響は、例えば、「隠覆」の章にある方法、異常値・射影の排除、及び/或いは、射影の加重、例えば、経時的間隔に応じて隠覆確率の先験的推定によって、考慮されなければならない。
新しい挙動モデルのストラクチャと軌道パラメータは、始めは、未知でるため、非凸最適化問題の収束半径内において、イニシャライズされなければならない。
1.フォトメトリック・バンドル調整の収束領域は、全ての画像において、全ての射影が、正しい射影から約1ピクセル以上は離れていないパラメータ空間内の領域によって、大まかに推定できる。軌道の全てのパラメータ(複数の画像!)及び点・深度は、Levenberg-Marquardt最適化法を実施できる様になる前に、可能な限り多くの点の射影が、この時点において既に、正しいソリューションを得るのに最大1ピクセル以内の距離にある様に、十分に良好にイニシャライズされていなければならない。
2.最初の挙動推定を作成するためのマッチングや光学的流れが用意されていない。
全てのキー・サイクルのローカルなストラクチャ・パラメータは、「1」で、軌道パラメータは、「0」で、イニシャライズされる(代案的に、後に述べるように、イニシャル値に対して、先験的推定、並びに、上位のブルートフォースサーチを採用することもできる)。
最初に
a)大まかに選択されたピラミッドレベル上の点、並びに、
b)それらの観測のみ、即ち、各々のオーナ画像に対する時間的/位置的近さが評価される(例えば、五枚目の画像の点に対しては、四枚目と六枚目の画像における観測のみが評価される)。
続いて、バンドル調整最適化の間、逐次的に解像度が高められ、徐々に遠くの観測も評価される。遅くとも最後の回帰において、最大解像度のピラミッドレベルと全ての観測が用いられる。
複数のフレームの全てのパラメータをイニシャライズする必要があることに加え、DSOの2フレーム粗から細アプローチと比較した際の利点は、一度目の回帰において既に、トリリニア制約(>=3フレーム)を内在的に使用することにあり、これによって初めて、ライン・フューチャの様な点が、制約条件となる。誤って割り当てられた点の謂わば「モデル異物」としての同定も、一回目の回帰から既に信頼性を有している。更に、粗から細・ブルートフォースサーチが、収束のリスクをローカル最小値に削減するために、補足される(フォトメトリック・バンドル調整問題は、非常に非凸であるため、極小値を包含している)。
起こり得る問題。
隠覆は、バンドル調整エラーにおいて、モデリングされず、誤ったオブジェクト・クラスタリングの、或いは、誤った仮説の原因となる可能性を秘めている。
隠覆のモデリングは、「スパース」なアプローチ故に困難である。
仮説立てのために用いた非常に高密度な点分布は、点同士の互いの隠覆を幾何学的に予測するために用いる事が可能である。観測によって隠覆が割出された場合、これらの観測は、エラー汎関数から排除される。
(低密度)バンドル調整用として選択する点は、小さなオブジェクトであっても画像内の制約に全てを用いる事ができる様に選択される。例えば、オブジェクト毎に定まった数の点を選択する。しかしこのやり方では、非常に小さなオブジェクトに対しては非常に高密度な点選択となるため、該オブジェクトを表している画像領域の略全ての使用可能な関連する画像情報を実質的に使用することになり得る。
本発明により、上記1のマルチ・オブジェクト・アプローチを、マルチカメラシステムに拡張することができる。(一台の或いは)リジッドに接続されている潜在的に異なる内在的特性(例えば、焦点距離/歪みなど)や捕捉領域を有している複数台の同期されたカメラのビデオは、一括した最適化プロセスにおいて処理される。
エラー汎関数を適応させることにより、
a)様々なカメラモデルや、該カメラの(既知の)相対ポジションを、様々な投影ファンクション
b)時間サイクルと挙動モデル毎に、(カメラ中央の代わりに)カメラシステム基準点に対するポジション・パラメータ(ローテーションとトランスレーション)を推定する、そして
c)Fは、選択されたキー・サイクルの全てのカメラの全ての画像の集合を示し、obs(p)は、全ての画像の集合と全てのカメラとキー・サイクルにおける一点pの観察を示している(オプションとして冗長的観察は、計算時間を節約するために排除できる)。これらの点は、全ての画像内で、Fにおいて選択できる。
全てのカメラにおけるフォトメトリック・エラーの合計が、最小限に抑えられると共に、(カメラ中央の代わりに)カメラシステム基準点に対する軌道最適化が実施される。ここでは、全ての使用可能な制約が用いられるが、それには、インター・カメラ射影のフォトメトリック・エラーも含まれる。またここでは、投影ファンクションもそれぞれ各々のカメラモデルとカメラシステム内の相対的ポジションに対して適合されなければならない。
新しいエラー汎関数の最小化が、コンフィグレーション仮説のイニシャライズの一部であるため、イニシャライズフェーズにおいても全てのカメラの全ての使用可能な制約が、用いられる。これにより、例えば、重複領域におけるオブジェクトのスケーリングが、自動的に割出される。カメラ内でイニシャライズされ、且つ、後に第二カメラの視野内に進入してくるオブジェクトは、推定されたスケーリングが、正しい値から過度にずれている場合、必要に応じて、改めてイニシャライズされなければならない。
リジッドな背景をセグメント化するだけでなく、マルチ・カメラの最適化も採用することにより、DSOと比べた場合、特に、画像の大部分が、動いているオブジェクトを含む難しいシナリオである場合や、一台のカメラのみでストラクチャが少ない様なシーンにおいて、ビジュアル・オドメトリの正確さと頑健性が向上される。
静的又は動的な重複領域を有するカメラシステムでは、カメラ間の相対的ポジションの寸法が既知の場合、点のインター・カメラ観察の評価により、ビジュアル・オドメトリの絶対的スケーリングを割出すことが可能である。
ビネッティング(けられ)は、パラメータによって近似、又は、モデル化することができる。センサ特性曲線のモデルにおいても同様である。得られる各々のカメラのパラメータは、上述のダイレクト・マルチ・オブジェクト・バンドル調整によって最適化することができる。ストラクチャと軌道推定の精度が高いことから、並びに、自己運動しているオブジェクトのモデル化によって、例えば、単なるビジュアル・オドメトリとの組み合わせなどと比較して、モデル最適化の精度の更なる改善が期待できる。
外在的パラメータの推定。互いに対するカメラの相対的なポジションは、上述のダイレクト・マルチ・オブジェクト・バンドル調整によって最適化することができる。ストラクチャと軌道推定の精度が高いことから、並びに、自己運動しているオブジェクトのモデル化によって、例えば、単なるヴィジュアル・マルチ・カメラ・オドメトリとの組み合わせなどと比較して、モデル最適化の精度の更なる改善が期待できる。
ここで注意しなければならないことは:後にメートル法で再現する場合は、少なくとも二台のカメラの間隔を絶対的なメートル基準を、スケーリングのドリフトを回避するために、固定しておく必要がある。
a.オブジェクト認識の他の方法(例えば、パターン認識(深層ニューラルネットワークなど))との融合には、双方のアプローチのエラー分布が、概ね相関していないことから、高いポテンシャルが期待できる。アプリケーションの例としては、オブジェクト検出、3D再現やトラッキングにおいて、ステレオカメラやサラウンドビュー・カメラシステムを備えた自動化された車両におけるパターン認識をベースとしたシステムとの融合などを挙げることができる。
b.車載の慣性センサ類とオドメトリとの融合には、クリティカルなシナリオにおける自己運動推定(==静的な周辺部の「オブジェクト」の3D再現)や絶対的スケーリングの割出しのソリューションとして、高いポテンシャルが期待できる。
c.周辺把握センサ類、特に、レーダ及び/或いはライダとの融合。
動いている交通参加者の検出とトラッキング、リジッドな動いていない車両周辺部の再現、及びドライバーアシスタント(ADAS)システムや自動走行(AD、Automated Driving)による自己運動の推定における上記1.から5.の応用。
この様な特徴を、従来の間接的な方法は、備えていない。
この特徴も、従来の間接的な方法は、備えていない。
a.総捕捉空間角度ができる限り大きいカメラ(例えば、水平方向に合計360度カバーするマルチカメラシステム)を用いることにより、自己運動推定を高い精度と頑健性において実施できる。
b.更に、アイデアa)に捕捉範囲/解像度が高い一台又は複数台のカメラ(望遠カメラ)を組み合わせることにより、遠くにあるオブジェクトの軌道も更に正確に測定できるため、アイデアa)によって達成された頑健且つ正確な(或いは、静的周辺部の相対的な動きに対する)自己運動推定を、明確に定めることができる。
c.そこにおいて、ストラクチャの絶対的スケーリングを観測可能な二台のカメラの視野領域の重複領域は、カメラの互いに対する相対的なポジションが既知な場合に得られる。アイデアa)とb)を使用することにより、絶対的な距離推定を、非常に不均一なカメラ、例えば、望遠カメラと魚眼カメラの重複区域を用いても、実施することができるようになる。
d.重複領域にあるステレオ・深度情報によって、動いているオブジェクトの認識が、有意に簡略化され、これは、例えば、オブジェクトが、同じ移動方向ではあるが、異なる速度を有している、例えば、道路交通において珍しくないが、モノ・ケースでは多義的となるシチュエーションにおいても可能である。
a)少なくとも一台のカメラの画像のシーケンスから特定の撮影時点(=キー・サイクル)における画像を選択するステップ、
b)キー・サイクルの画像を用い、キー・サイクルにおいて低密度(スパース)に選択されたピクセルを基にして複数の相対的に接近する様に動いているリジッドなオブジェクトを記述するためのモデルの全てのパラメータを一括に最適化するステップ、但し、モデル・パラメータは、キー・サイクル内のリジッドなオブジェクトの数、3Dストラクチャ、ポーズを記述し、選択されたピクセルのリジッドなオブジェクトへの帰属を包含している、
c)エラー汎関数(S20)を最小化するステップ、但し、エラー汎関数は、複数のキー・サイクルの画像の輝度に依存するフォトメトリック・エラーEphoto、及び、リジッドなオブジェクトの数に依存する第一先験的エネルギー項Ecompを包含している、並びに、
d)画像のシーケンスの(その時点に)検出された複数の相対的に接近する様に動いているリジッドなオブジェクトの数、3Dストラクチャ及び軌道を周期的に出力するステップ。
ステップa)における最適化は、低密度(「スパース」)に選択されたピクセルを基に、或いは、ピクセルの低密度集合を基に、即ち、一枚の画像、又は、画像の一部の全てのピクセル(「デンス」)やある程度高密度に選択された画像領域(「セミ・デンス」)を基にすることなく、実施される。例えば、J. Engel et al. LSD-SLAM: Large-Scale Direct Monocular SLAM, ECCV, 2014年09月には、「セミ・デンス」の深度マップを用いる方法が示されている。特に好ましくは、例えば、他の点に対して最低限の間隔を有し、その周辺部から特徴をもって目立ち、以降の画像においても識別しやすい、それぞれの動きを再現することに自ら寄与しているピクセルが選択される。(仮想)オブジェクトの3Dストラクチャは、オブジェクトの空間的ジオメトリに対応している。あるオブジェクトのポーズは、そのオブジェクトの三次元空間内におけるポジションとオリエンテーションに対応している。あるオブジェクトのポーズの時間的推移は、そのオブジェクトの軌道に相当している。好ましくは、オブジェクトの数、3Dストラクチャ及び軌道を決定するパラメータの出力は、周期的に、特に好ましくは、「オンライン」で実施されるが、ここでは、少なくとも一台のカメラの新しい画像を受信中、リアルタイム又は継続的に実施されるという意味である。画像は、「新しい画像が作成されるのと同じ速度で処理される」ことができる。
挙動モデル毎に選択された各ピクセルの逆深度。
挙動モデルの数、但し、その時点において推定されている動いているリジッドなオブジェクト毎に、一つの挙動モデルが、割り当てられる。
挙動モデルとアクティブなキー・サイクル毎のポーズ(3Dポジションと3Dローテーション、即ち、6つのパラメータ)、並びに、
挙動モデル毎の各々の選択されたピクセルの帰属確率。最適化後、一つの挙動モデルの一つの選択されたピクセルの帰属確率は、「1」であり、他の挙動モデルでは、「0」である。
オプションとして、挙動モデル毎に選択されたそれぞれのピクセルの法線も、付加的なパラメータとして考慮される。
各画像用のセンサ特性曲線、並びに、
それぞれのカメラの焦点距離と主点(Engel et al. DSO第2.1章 Calibrationを参照)、要するに、これにより全てのパラメータの一括した最適化が、該少なくとも一台のカメラの自動較正として作用する。
選択されたピクセルに対しては、少なくとも一台のカメラと少なくとも一つのキー・サイクルにおける観測が、フォトメトリック・エラーのエネルギー項として考慮される。この際、個別のジオメトリックとフォトメトリック・カメラモデルとカメラの互いに対する相対位置が、考慮される。
a)ポーズが既知、且つ、既知の深度の点が選択された全てのサイクルの全ての画像。これらは、繰り返し組み合わされ、その際ねじら(warpさ)れる(各カメラに対して、ポーズが探されるサイクル内において期待される画像の予測が得られる)。
b)ポーズが探されるサイクルの全画像。これらは、それぞれそのカメラと組み合わされているa)の予測画像と繰り返し比較される。
選択ユニットは、画像のシーケンスから、複数の(選択ユニットによって割出された)撮影時点(=キー・サイクル)の画像を選択できるように構成されている。
最適化ユニットは、以下を実施できるように構成されている。
a)キー・サイクルの画像を用い、キー・サイクルにおいて低密度に選択されたピクセルを基にして複数の相対的に接近する様に動いているリジッドなオブジェクトを記述するためのモデルの全てのモデル・パラメータを一括に最適化すること、但し、モデル・パラメータは、キー・サイクル内のリジッドなオブジェクトの数、3Dストラクチャ、ポーズを記述し、選択されたピクセルのリジッドなオブジェクトへの帰属を包含している、
b)エラー汎関数を最小化すること、但し、エラー汎関数は、複数のキー・サイクルの画像の輝度に依存するフォトメトリック・エラーEphoto、及び、リジッドなオブジェクトの数に依存する第一先験的エネルギー項Ecompを包含している。
出力ユニットは、最適化ユニットによって画像のシーケンスから検出された複数の相対的に接近する様に動いているリジッドなオブジェクトの数、3Dストラクチャ(ジオメトリ)及び軌道を周期的に出力できる様に構成されている。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア又はソフトウェアとして実施されることができる。
本方法を一台のカメラのみをベースとして実施するのであれば、一枚の画像が、一回の(撮影)サイクルに相当する。五枚の画像が、写っている車両(=一つの挙動モデルが割り当てられているオブジェクト)にとって、五回のキー・サイクルであるとみなすと、こられのキー・サイクルが、挙動モデル固有のキー・サイクルであると言うことを意味する。
左下には、左側を向いている車載カメラの修正された画像L10が見える。その横には、それぞれ、前、右、そして後ろに向けられた車載カメラの修正された画像F10,R10,H10が、示されている。四枚全ての画像L10,F10,R10,H10では、各々の視野内において、黒色の道路表面と白色の路面標示12,13,15,16を認識できる。自車両の右斜め前を他の車両19が走行している。他の車両19の後部は、左のカメラの画像L10に、前部は、フロントカメラの画像F10に捕捉されている。描写されている車両19は、自己運動しているリジッドなオブジェクトである。左のカメラの画像L10でも、道路と道路を取り囲む景色(木、丘)との間の道路境界としての壁11を認識できる。壁11の下には、三車線道路の左車線の縁を限定する実線として引かれた車線境界マーク(ライン)12が描かれている。サラウンド・ビュー・システムのフロントカメラの画像F10には、現在自車両が走行している中央車線の左右の縁を限定する点線として引かれた左側車線マーク13と右側車線マーク15が描かれている。道路の右縁は、もう一本の実線として引かれている車線境界マーク16によって示されている。右側のカメラの画像R10には、ガードレール17が、車線境界として写っていて、その下には、車線境界マーク16が認識できる。リアカメラの画像H10からも、自車両が、三車線中の真ん中を走行していて、双方の実線で引かれている車線境界マーク(画像R10では、番号はつけられていない)の間において、自車線から見て画像の左側に右の走行レーンマーク15が、画像の右側に左の走行レーンマーク13が、破線として認識できる。四枚全ての画像の上部では、空を推測することができる。壁11、路面標示12,13,15,16とガードレール17は、自車両の静止している周辺部の構成要素である。全ての静止している自車両の周辺部は、リジッドなオブジェクトとして観察される。
自車両の走行の推移中、四台のカメラ各々によって画像系列(ビデオ)が撮影される。これらの画像系列より、複数の(同期された)カメラを用いる本方法の実施形態に従ってシーンの3D再現が達成される。図2上には、3Dコンディションを描写する点が見えている。可視化は、鳥瞰図(トップビュー)として実施される。実線と引かれているライン24によって自車両のこれまでの起動が、図示されている。このラインは、3Dストラクチャの構成要素ではないが、自車両の、カメラシステムの再現された起動を可視化したものである。ライン24の右の末端28は、図2では、それ自体は描かれていない自車両のその時点のポジションに対応している。自車両の左前(又は、図2上の右上方)には、他の車両29の輪郭を認識できる。動いているオブジェクトは、頑健且つ正確に追跡できるため、その特性を、自車両のアシスタント又は自動走行を実施するためのシステムのために、割出すことが可能である。3D再現は、動かない背景の構成要素としては、以下の要素が見てとれる(上から下へ)。壁(左走行レーン縁の境界)が、多少高密度且つ多少拡張された(点からなる)ライン21として、左側の実線で引かれた車線境界マーク22、自車線の左側の破線として引かれた走行レーンマーク23、自車線の右側の破線として引かれた走行レーンマーク25、右側の実線で引かれた車線境界マーク26、並びに、ガードレールの支柱を含む多少高密度且つ多少拡張されたライン27。右側の実線として描かれている車線境界マーク26とガードレールの「ライン」27との間には、道路の路肩(ハードショルダ)がある。
第一ステップS12では、エラー汎関数のパラメータが、イニシャライズされる。エラー汎函数は、パラメータに応じて、ワンサイクルの個別画像のエラーを算出する役割を担っている。よってエラー汎関数の最小化によって、モデルを最適に個々の画像に合わせるパラメータが提供される。パラメータとしては、
- 複数のオブジェクト用の複数の画像の複数の点の深度パラメータ
- オプションとして、各選択された点の法線ベクトル(点毎に2つのパラメータ)
- 挙動モデルの数
- 複数の挙動モデル(各々3+3個のパラメータ即ち、タイムステップ毎にポジションとローテーション)、但し、一つのオブジェクトに一つの挙動モデルが、割り当てられている。動かない背景(即ち、現実空間において動いていない周辺部)も。オブジェクトとして取り扱われる。背景オブジェクトにも一つの挙動モデルが、割り当てられている。
- 点の挙動モデルへの割り当て(点と挙動モデル毎に1つのパラメータ、ソフト割当またはオプションとして、ハード割当を用いる)
- センサ特性曲線の推定、及び、
- 焦点距離と主点の推定。
パラメータのイニシャライズは、挙動モデルの数に対して「1」を選択し、軌道は、「0」、そして、逆深度は、「1」でイニシャライズし、粗から細イニシャライズを実施することによって成される。
ダイレクト・イメージ・アライメントは、バンドル調整とは異なってはいるが、フォトメトリック・バンドル調整と共通点を有している。最小化するべきフォトメトリック・エラー汎関数は、同じである。ダイレクト・イメージ・アライメントでは、深度は、最適化されず、既知であると言う前提であり、フォトメトリック・エラー(グレー値からの差)を最小化する際に、新しポーズのみが推定される。この際、新しいサイクルの画像の予測が、回帰的に、イメージ・ワーピング又は似通った3Dレンダリングによって(古い画像、既知のストラクチャや軌道を基に)生成され、新しいオブジェクト・ポーズが、予測が、新しい画像に最も類似するまで適合される。同形異義性を基にしたシングル・カメラ・ダイレクト・イメージ・アライメントの詳細は、例えば、以下に示されている。https://sites.google.com/site/imagealignment/tutorials/feature-based-vs-direct-image-alignment(2019/03/12にダウンロードしたバージョン)。
この際得られたパラメータは、次のステップS22において出力される。続いて、ステップS14を続行する、即ち、新しいサイクルの新しい個別画像を得る。
数が合わない場合、次のステップS209において、挙動モデルも数が、確認される。
数が多すぎる場合、ステップS210において削除され、帰属するパラメータが取り除かれ、該方法は、ステップS200から続行される。この際、以下の様な手順でおこなう。各々のオブジェクト毎に、該オブジェクトを含んでいない新しいコンフィグレーション仮説が評価される。これにより、総エラーが低減するか否かが確認される。正である場合、コンフィグレーションが採用される、又は、該オブジェクトが、排除される。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
1.少なくとも一台のカメラの画像シーケンスから複数の相対的に接近する様に動いているリジッドなオブジェクト(11,13,15,16,17、19)を検出し、3D再現し、追跡するための方法であって、
a)少なくとも一台のカメラの画像のシーケンスから特定の撮影時点(=キー・サイクル)における画像を選択するステップ、
b)キー・サイクルの画像を用い、キー・サイクルにおいて低密度に選択されたピクセルを基にしてリジッドなオブジェクト(11,13,15,16,17、19)を記述するためのモデルの全てのパラメータを一括に最適化するステップであって、モデル・パラメータは、キー・サイクル内のリジッドなオブジェクト(11,13,15,16,17、19)の数、3Dストラクチャ、ポーズを記述し、選択されたピクセルのリジッドなオブジェクト(11,13,15,16,17、19)への帰属を包含している、前記モデルのすべてのパラメータを一括に最適化するステップ、
c)エラー汎関数を最小化するステップ(S20)であって、該エラー汎関数は、複数のキー・サイクルの画像の輝度に依存するフォトメトリック・エラーE photo 、及び、リジッドなオブジェクト(11,13,15,16,17、19)の数に依存する第一先験的エネルギー項E comp を包含している、エラー汎関数を最小化するステップ、並びに、
d)画像のシーケンスから検出されたリジッドなオブジェクト(11,13,15,16,17、19)の数、3Dストラクチャ及び軌道を周期的に出力するステップ、
を備える方法。
2.エラー汎関数が、リジッドなオブジェクト(11,13,15,16,17、19)の3Dストラクチャに依存する第二の先験的エネルギー項E geo を包含することを特徴とする上記1の方法。
3.エラー汎関数が、以下のモデル・パラメータ、即ち、
挙動モデル毎に選択された各ピクセルの逆深度、
挙動モデルの数であって、その時点において推定されているリジッドなオブジェクト(11,13,15,16,17、19)毎に、一つの挙動モデルが、割り当てられる、挙動モデルの数、
一つの挙動モデルとアクティブなキー・サイクル毎のポーズ、並びに、
挙動モデル毎の各々の選択されたピクセルの帰属確率、
を含むことを特徴とする上記1又は2の方法。
4.エラー汎関数が、更に以下のモデル・パラメータ、即ち、
各画像用のセンサ特性曲線、並びに、
全てのパラメータの一括した最適化が、該少なくとも一台のカメラの自動較正として作用するような、それぞれのカメラの焦点距離と主点、
を含むことを特徴とする上記3の方法。
5.一つの、或いは、複数の画像ピラミッドレベルを有するダイレクト・イメージ・アライメントが、個々のオブジェクト(11,13,15,16,17、19)の追跡のために実施されることを特徴とする上記1から4のうち何れか一つの方法。
6.エラー汎関数を最適化するために、オブジェクト固有のキー・サイクルを用いたフォトメトリック・バンドル調整により、軌道パラメータとストラクチャ・パラメータが交互に最適化され(S203)、且つ、挙動モデルへのピクセルの帰属が、最適化される(S205)ことを特徴とする上記1から5のうち何れか一つの方法。
7.続いて、挙動モデルの数も最適化される(S207)が、エラー汎函数に挙動モデルを加える場合、或いは、エラー汎関数から挙動モデルを削除する場合は、選択されたピクセルの挙動モデルへの新しい帰属を実施し、且つ、エラー汎関数の最適化を改めて開始することを特徴とする上記6の方法。
8.該少なくとも一台のカメラが、静止しているリジッドな背景に相当するオブジェクト(11,13,15,16,17、19)に対して動いていることを特徴とする上記1から7のうち何れか一つの方法。
9.複数の画像シーケンスが、複数の同期されたカメラを包含するカメラシステムによって、撮影され、モデル・パラメータは、カメラシステムに対する各々のオブジェクト(11,13,15,16,17、19)のポーズを包含し、ピクセルは、全てのカメラから選択することができ、該ピクセルは、少なくとも一台のカメラのキー・サイクルの画像から選択され、選択されたピクセルに対しては、少なくとも一台のカメラと少なくとも一つのキー・サイクルにおける観測が、フォトメトリック・エラーのエネルギー項として考慮され、且つ、結果として得られるエラー汎関数を最小化するための全てのパラメータの一括した最適化が、実施されることを特徴とする上記1から8のうち何れか一つの方法。
10.一つの、或いは、複数のピラミッドレベルを有するマルチ・カメラ・ダイレクト・イメージ・アライメントが、個々のオブジェクト(11,13,15,16,17、19)の追跡用に実施され、結果として得られるエラー汎関数を最小化するための全てのパラメータの一括した最適化が、実施され、モデル・パラメータは、カメラシステムに対する各々のオブジェクト(11,13,15,16,17、19)のポーズを包含し、選択されたピクセルに対しては、少なくとも一台のカメラと少なくとも一つのキー・サイクルにおける観測が、フォトメトリック・エラーのエネルギー項として考慮されることを特徴とする上記9の方法。
11.全てのパラメータの一括した最適化が、少なくとも一台のカメラの自動較正として作用するように、モデル・パラメータが、少なくとも一台のカメラの更なる内因的フォトメトリック・パラメータ、更なる内因的ジオメトリック・パラメータ及び/或いは外在的パラメータを包含していることを特徴とする上記4から10の何れか一つの方法。
12.少なくとも一台のカメラの画像のシーケンス(一連の画像)から複数の相対的に接近する様に動いているリジッドなオブジェクト(11,13,15,16,17、19)を検出し、3D再現し、追跡するための装置(2)であって、入力ユニット、選択ユニット、最適化ユニット、並びに、出力ユニットを包含している装置(2)において、
該選択ユニットは、
a)少なくとも一台のカメラの画像のシーケンスから特定の撮影時点(=キー・サイクル)における画像を選択する様に構成されていて、
該最適化ユニットは、
b)キー・サイクルの画像を用い、キー・サイクルにおいて低密度に選択されたピクセルを基にして相対的に接近する様に動いているリジッドなオブジェクト(11,13,15,16,17、19)を記述するためのモデルの全てのパラメータを一括に最適化し、モデル・パラメータが、キー・サイクル内のリジッドなオブジェクト(11,13,15,16,17、19)の数、3Dストラクチャ、ポーズを記述し、選択されたピクセルのリジッドなオブジェクト(11,13,15,16,17、19)への帰属を包含していて、
c)エラー汎関数を最小化し、エラー汎関数が、複数のキー・サイクルの画像の輝度に依存するフォトメトリック・エラーE photo 、及び、リジッドなオブジェクト(11,13,15,16,17、19)の数に依存する第一先験的エネルギー項E comp を包含している、
様に構成されていて、
該出力ユニットは、
d)画像のシーケンスから検出されたリジッドなオブジェクト(11,13,15,16,17、19)の数、3Dストラクチャ及び軌道を周期的に出力する、様に構成されている、
ことを特徴とする装置(2)。
Claims (12)
- 少なくとも一台のカメラの画像シーケンスから複数の相対的に接近する様に動いているリジッドなオブジェクト(11,13,15,16,17、19)を検出し、3D再現し、追跡するための方法であって、
a)少なくとも一台のカメラの画像のシーケンスから特定の撮影時点(=キー・サイクル)における画像を選択するステップ、
b)キー・サイクルの画像を用い、キー・サイクルにおいて低密度に選択されたピクセルを基にしてリジッドなオブジェクト(11,13,15,16,17、19)を記述するためのモデルの全てのパラメータを一括に最適化するステップであって、モデル・パラメータは、キー・サイクル内のリジッドなオブジェクト(11,13,15,16,17、19)の数、3Dストラクチャ、ポーズを記述し、選択されたピクセルのリジッドなオブジェクト(11,13,15,16,17、19)への帰属を包含している、前記モデルのすべてのパラメータを一括に最適化するステップ、
c)エラー汎関数を最小化するステップ(S20)であって、該エラー汎関数は、複数のキー・サイクルの画像の輝度に依存するフォトメトリック・エラーEphoto、及び、リジッドなオブジェクト(11,13,15,16,17、19)の数に依存する第一先験的エネルギー項Ecompを包含している、エラー汎関数を最小化するステップ、並びに、
d)画像のシーケンスから検出されたリジッドなオブジェクト(11,13,15,16,17、19)の数、3Dストラクチャ及び軌道を周期的に出力するステップ、
を備えることを特徴とする方法。 - エラー汎関数が、リジッドなオブジェクト(11,13,15,16,17、19)の3Dストラクチャに依存する第二の先験的エネルギー項Egeoを包含することを特徴とする請求項1に記載の方法。
- エラー汎関数が、以下のモデル・パラメータ、即ち、
挙動モデル毎に選択された各ピクセルの逆深度、
挙動モデルの数であって、その時点において推定されているリジッドなオブジェクト(11,13,15,16,17、19)毎に、一つの挙動モデルが、割り当てられる、挙動モデルの数、
一つの挙動モデルとアクティブなキー・サイクル毎のポーズ、並びに、
挙動モデル毎の各々の選択されたピクセルの帰属確率、
を含むことを特徴とする請求項1又は2に記載の方法。 - エラー汎関数が、更に以下のモデル・パラメータ、即ち、
各画像用のセンサ特性曲線、並びに、
全てのパラメータの一括した最適化が、該少なくとも一台のカメラの自動較正として作用するような、それぞれのカメラの焦点距離と主点、
を含むことを特徴とする請求項3に記載の方法。 - 一つの、或いは、複数の画像ピラミッドレベルを有するダイレクト・イメージ・アライメントが、個々のオブジェクト(11,13,15,16,17、19)の追跡のために実施されることを特徴とする請求項1から4のうち何れか一項に記載の方法。
- エラー汎関数を最適化するために、オブジェクト固有のキー・サイクルを用いたフォトメトリック・バンドル調整により、軌道パラメータとストラクチャ・パラメータが交互に最適化され(S203)、且つ、挙動モデルへのピクセルの帰属が、最適化される(S205)ことを特徴とする請求項1から5のうち何れか一項に記載の方法。
- 続いて、挙動モデルの数も最適化される(S207)が、エラー汎函数に挙動モデルを加える場合、或いは、エラー汎関数から挙動モデルを削除する場合は、選択されたピクセルの挙動モデルへの新しい帰属を実施し、且つ、エラー汎関数の最適化を改めて開始することを特徴とする請求項6に記載の方法。
- 該少なくとも一台のカメラが、静止しているリジッドな背景に相当するオブジェクト(11,13,15,16,17、19)に対して動いていることを特徴とする請求項1から7のうち何れか一項に記載の方法。
- 複数の画像シーケンスが、複数の同期されたカメラを包含するカメラシステムによって、撮影され、モデル・パラメータは、カメラシステムに対する各々のオブジェクト(11,13,15,16,17、19)のポーズを包含し、ピクセルは、全てのカメラから選択することができ、該ピクセルは、少なくとも一台のカメラのキー・サイクルの画像から選択され、選択されたピクセルに対しては、少なくとも一台のカメラと少なくとも一つのキー・サイクルにおける観測が、フォトメトリック・エラーのエネルギー項として考慮され、且つ、結果として得られるエラー汎関数を最小化するための全てのパラメータの一括した最適化が、実施されることを特徴とする請求項1から8のうち何れか一項に記載の方法。
- 一つの、或いは、複数のピラミッドレベルを有するマルチ・カメラ・ダイレクト・イメージ・アライメントが、個々のオブジェクト(11,13,15,16,17、19)の追跡用に実施され、結果として得られるエラー汎関数を最小化するための全てのパラメータの一括した最適化が、実施され、モデル・パラメータは、カメラシステムに対する各々のオブジェクト(11,13,15,16,17、19)のポーズを包含し、選択されたピクセルに対しては、少なくとも一台のカメラと少なくとも一つのキー・サイクルにおける観測が、フォトメトリック・エラーのエネルギー項として考慮されることを特徴とする請求項9に記載の方法。
- 全てのパラメータの一括した最適化が、少なくとも一台のカメラの自動較正として作用するように、モデル・パラメータが、少なくとも一台のカメラの更なる内因的フォトメトリック・パラメータ、更なる内因的ジオメトリック・パラメータ及び/或いは外在的パラメータを包含していることを特徴とする請求項4から10の何れか一項に記載の方法。
- 少なくとも一台のカメラの画像のシーケンス(一連の画像)から複数の相対的に接近する様に動いているリジッドなオブジェクト(11,13,15,16,17、19)を検出し、3D再現し、追跡するための装置(2)であって、入力ユニット、選択ユニット、最適化ユニット、並びに、出力ユニットを包含している装置(2)において、
該選択ユニットは、
a)少なくとも一台のカメラの画像のシーケンスから特定の撮影時点(=キー・サイクル)における画像を選択する様に構成されていて、
該最適化ユニットは、
b)キー・サイクルの画像を用い、キー・サイクルにおいて低密度に選択されたピクセルを基にして相対的に接近する様に動いているリジッドなオブジェクト(11,13,15,16,17、19)を記述するためのモデルの全てのパラメータを一括に最適化し、モデル・パラメータが、キー・サイクル内のリジッドなオブジェクト(11,13,15,16,17、19)の数、3Dストラクチャ、ポーズを記述し、選択されたピクセルのリジッドなオブジェクト(11,13,15,16,17、19)への帰属を包含していて、
c)エラー汎関数を最小化し、エラー汎関数が、複数のキー・サイクルの画像の輝度に依存するフォトメトリック・エラーEphoto、及び、リジッドなオブジェクト(11,13,15,16,17、19)の数に依存する第一先験的エネルギー項Ecompを包含している、
様に構成されていて、
該出力ユニットは、
d)画像のシーケンスから検出されたリジッドなオブジェクト(11,13,15,16,17、19)の数、3Dストラクチャ及び軌道を周期的に出力する、様に構成されている、
ことを特徴とする装置(2)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019208216.5 | 2019-06-05 | ||
DE102019208216.5A DE102019208216A1 (de) | 2019-06-05 | 2019-06-05 | Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten |
PCT/DE2020/200040 WO2020244717A1 (de) | 2019-06-05 | 2020-05-28 | Detektion, 3d-rekonstruktion und nachverfolgung von mehreren relativ zueinander bewegten starren objekten |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022532792A JP2022532792A (ja) | 2022-07-19 |
JPWO2020244717A5 JPWO2020244717A5 (ja) | 2022-12-19 |
JP7209115B2 true JP7209115B2 (ja) | 2023-01-19 |
Family
ID=71078388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021568783A Active JP7209115B2 (ja) | 2019-06-05 | 2020-05-28 | 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、3d再現および追跡 |
Country Status (7)
Country | Link |
---|---|
US (1) | US12008785B2 (ja) |
EP (1) | EP3980968B1 (ja) |
JP (1) | JP7209115B2 (ja) |
KR (1) | KR20210141668A (ja) |
CN (1) | CN113994376A (ja) |
DE (2) | DE102019208216A1 (ja) |
WO (1) | WO2020244717A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220025600A (ko) * | 2020-08-24 | 2022-03-03 | 삼성전자주식회사 | 영상 생성 방법 및 장치 |
CN113108771B (zh) * | 2021-03-05 | 2022-08-16 | 华南理工大学 | 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法 |
CN112633261A (zh) * | 2021-03-09 | 2021-04-09 | 北京世纪好未来教育科技有限公司 | 图像检测方法、装置、设备及存储介质 |
DE102021113111A1 (de) | 2021-04-12 | 2022-10-13 | Conti Temic Microelectronic Gmbh | Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs sowie Fahrassistenzsystem |
US20240192316A1 (en) | 2021-04-12 | 2024-06-13 | Continental Autonomous Mobility Germany GmbH | Method for calibrating sensor information from a vehicle, and vehicle assistance system |
CN116894841B (zh) * | 2023-09-08 | 2023-11-28 | 山东天鼎舟工业科技有限公司 | 一种变速箱合金壳体质量视觉检测方法 |
CN117671022B (zh) * | 2023-11-02 | 2024-07-12 | 武汉大学 | 一种室内弱纹理环境的移动机器人视觉定位***及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002367077A (ja) | 2001-06-07 | 2002-12-20 | Mitsubishi Electric Corp | 交通渋滞判定装置及び交通渋滞判定方法 |
DE102006013318A1 (de) | 2005-03-21 | 2006-09-28 | Daimlerchrysler Ag | 3D-Rekonstruktion von statischen Szenen durch vereinheitlichte Kombination von geometrischen und photometrischen Verfahren |
JP2011096216A (ja) | 2009-09-29 | 2011-05-12 | Panasonic Corp | ステレオ画像処理を用いた車両検出装置 |
US20130265387A1 (en) | 2012-04-06 | 2013-10-10 | Adobe Systems Incorporated | Opt-Keyframe Reconstruction for Robust Video-Based Structure from Motion |
JP2013257630A (ja) | 2012-06-11 | 2013-12-26 | Mitsubishi Electric Corp | 画像処理装置 |
JP2017130871A (ja) | 2016-01-22 | 2017-07-27 | トヨタ自動車株式会社 | 車両用画像生成装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016212730A1 (de) | 2016-07-13 | 2018-01-18 | Conti Temic Microelectronic Gmbh | Fahrzeugkameravorrichtung mit Bildauswertungselektronik |
EP3474230B1 (en) * | 2017-10-18 | 2020-07-22 | Tata Consultancy Services Limited | Systems and methods for edge points based monocular visual slam |
GB201804194D0 (en) * | 2018-03-15 | 2018-05-02 | Blue Vision Labs Uk Ltd | Urban Environmrnt labeling |
WO2019191288A1 (en) * | 2018-03-27 | 2019-10-03 | Artisense Corporation | Direct sparse visual-inertial odometry using dynamic marginalization |
-
2019
- 2019-06-05 DE DE102019208216.5A patent/DE102019208216A1/de not_active Withdrawn
-
2020
- 2020-05-28 KR KR1020217034239A patent/KR20210141668A/ko not_active Application Discontinuation
- 2020-05-28 US US17/596,245 patent/US12008785B2/en active Active
- 2020-05-28 DE DE112020002663.9T patent/DE112020002663A5/de active Pending
- 2020-05-28 CN CN202080043551.XA patent/CN113994376A/zh active Pending
- 2020-05-28 WO PCT/DE2020/200040 patent/WO2020244717A1/de unknown
- 2020-05-28 EP EP20731789.2A patent/EP3980968B1/de active Active
- 2020-05-28 JP JP2021568783A patent/JP7209115B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002367077A (ja) | 2001-06-07 | 2002-12-20 | Mitsubishi Electric Corp | 交通渋滞判定装置及び交通渋滞判定方法 |
DE102006013318A1 (de) | 2005-03-21 | 2006-09-28 | Daimlerchrysler Ag | 3D-Rekonstruktion von statischen Szenen durch vereinheitlichte Kombination von geometrischen und photometrischen Verfahren |
JP2011096216A (ja) | 2009-09-29 | 2011-05-12 | Panasonic Corp | ステレオ画像処理を用いた車両検出装置 |
US20130265387A1 (en) | 2012-04-06 | 2013-10-10 | Adobe Systems Incorporated | Opt-Keyframe Reconstruction for Robust Video-Based Structure from Motion |
JP2013257630A (ja) | 2012-06-11 | 2013-12-26 | Mitsubishi Electric Corp | 画像処理装置 |
JP2017130871A (ja) | 2016-01-22 | 2017-07-27 | トヨタ自動車株式会社 | 車両用画像生成装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3980968A1 (de) | 2022-04-13 |
KR20210141668A (ko) | 2021-11-23 |
EP3980968B1 (de) | 2023-07-12 |
US12008785B2 (en) | 2024-06-11 |
DE112020002663A5 (de) | 2022-05-19 |
DE102019208216A1 (de) | 2020-12-10 |
WO2020244717A1 (de) | 2020-12-10 |
US20220319042A1 (en) | 2022-10-06 |
CN113994376A (zh) | 2022-01-28 |
JP2022532792A (ja) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7209115B2 (ja) | 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、3d再現および追跡 | |
Bensrhair et al. | A cooperative approach to vision-based vehicle detection | |
Brasch et al. | Semantic monocular SLAM for highly dynamic environments | |
Zhou et al. | Ground-plane-based absolute scale estimation for monocular visual odometry | |
KR101708659B1 (ko) | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 | |
Held et al. | Precision tracking with sparse 3d and dense color 2d data | |
Bensrhair et al. | Stereo vision-based feature extraction for vehicle detection | |
KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
EP2854104A1 (en) | Semi-dense simultaneous localization and mapping | |
JP2015060595A (ja) | 物体の自己運動推定方法 | |
WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
CN111937036A (zh) | 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质 | |
EP3293700B1 (en) | 3d reconstruction for vehicle | |
JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
JPWO2020244717A5 (ja) | ||
Contreras et al. | A Stereo Visual Odometry Framework with Augmented Perception for Dynamic Urban Environments | |
JP6886136B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
Rabe | Detection of moving objects by spatio-temporal motion analysis | |
US11227166B2 (en) | Method and device for evaluating images, operating assistance method, and operating device | |
Gao et al. | Vehicle-borne multi-sensor temporal–spatial pose globalization via cross-domain data association | |
KR102424664B1 (ko) | 3차원 영상정보 기반 객체 추적 장치 및 방법 | |
Ducrot et al. | Real-time quasi dense two-frames depth map for autonomous guided vehicles | |
Clipp et al. | Structure from Motion via Two-State Pipeline of Extended Kalman Filters. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220914 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20221208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7209115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |