JP7107931B2 - 移動オブジェクトのレンジを推定する方法および装置 - Google Patents

移動オブジェクトのレンジを推定する方法および装置 Download PDF

Info

Publication number
JP7107931B2
JP7107931B2 JP2019528135A JP2019528135A JP7107931B2 JP 7107931 B2 JP7107931 B2 JP 7107931B2 JP 2019528135 A JP2019528135 A JP 2019528135A JP 2019528135 A JP2019528135 A JP 2019528135A JP 7107931 B2 JP7107931 B2 JP 7107931B2
Authority
JP
Japan
Prior art keywords
moving object
features
vehicle
camera
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528135A
Other languages
English (en)
Other versions
JP2020508501A (ja
Inventor
プラウマン・ロビン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of JP2020508501A publication Critical patent/JP2020508501A/ja
Application granted granted Critical
Publication of JP7107931B2 publication Critical patent/JP7107931B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、移動オブジェクトのレンジを推定する方法および装置、特に、車両近傍の歩行者のような移動オブジェクトのレンジを推定する方法および装置に関する。
車両は、運転操作を遂行する際に車両のドライバーを支援するドライバー支援システムを益々装備するようになっている。ドライバーをサポートするため、車両は、異なる側の車両のシャーシに搭載される車載カメラを含むことができる。こうしたカメラは、車両周囲の画像を捕捉する。捕捉された画像から、車両周囲のサラウンドビューを計算し、車両のドライバーに対して表示することができる。車両は、周囲の画像を捕捉するためにフロントビューカメラ、リアビューカメラ、および2台のサイドビューカメラを含むことができる。車両のドライバー支援システムは、処理されたカメラ画像を使用して、運転操作中のドライバーに支援機能を提供することができる。例えば、ドライバー支援システムは、駐車操作の遂行時にドライバーをサポートすることができる。従来のドライバー支援システムは、処理されたカメラ画像に基づきセキュリティ機能を提供することもできる。益々多くの運転操作が、ドライバー支援機能を用いて半自動で、あるいは全自動でも遂行されるようになっている。
多くの使用事例で、車両の近傍にある移動オブジェクトのレンジを検出することが重要である。この移動オブジェクトは、例えば歩行者、または車両周囲で動いている自動車もしくは車両のような別の移動オブジェクトで構成することができる。例えば、駐車操作中、車両のシャーシが車両周囲を移動している歩行者に衝突しないことは不可欠である。
従って、本発明の目的は、移動オブジェクトのレンジを推定する方法および装置を提供することである。
本発明は、第1の態様によると、請求項1の特徴を含む移動オブジェクトのレンジを推定する方法を提供する。
本発明は、第1の態様によると、
少なくとも1台のカメラにより周囲の画像を捕捉するステップ、
捕捉された画像の特徴を処理して、捕捉された画像内の移動オブジェクトに属する特徴の検出されたクラスタに基づき移動オブジェクトの方位を判定するステップ、および
移動オブジェクトによって遮蔽されていない移動オブジェクトの判定された方位に沿う地表面に属する地表特徴に基づき移動オブジェクトのレンジを推定するステップを含む、移動オブジェクトのレンジを推定する方法を提供する
本発明の第1の態様による方法の可能な実施形態において、移動オブジェクトによって遮蔽されていない、判定された地表特徴から、最大距離を有する地表特徴が選択され、移動オブジェクトのレンジが最大距離に応じて推定される。
本発明の第1の態様による方法の可能な実施形態において、車両の車載カメラによって、車両周囲の画像が車両の移動中に捕捉される。
本発明の第1の態様による方法の更なる可能な実施形態において、捕捉された画像内の特徴が各捕捉された画像において検出されてマッチングされ、捕捉された画像における対応する特徴の位置の間に特徴軌跡が生成される。
本発明の第1の態様による方法の更なる可能な実施形態において、特徴の位置座標が、カメラ較正を使用して正規化された同次画像座標に変換される。
本発明の第1の態様による方法の更なる可能な実施形態において、捕捉された画像間の期間内のカメラの並進および回転が、車両のスピードV、車両の操舵角α、およびホイールベースWに基づき判定される。
本発明の第1の態様による方法の更なる可能な実施形態において、三次元空間における各特徴の位置を示す特徴の三次元点群が、正規化された同次画像座標とカメラの計算された並進および回転に基づき計算される。
本発明の第1の態様による方法の更なる可能な実施形態において、カメラの判定された回転および並進に基づきカメラの運動について基本行列が計算される。
本発明の第1の態様による方法の更なる可能な実施形態において、追跡された特徴に対して基本行列を使用してエピポーラ拘束が適用される。
本発明の第1の態様による方法の更なる可能な実施形態において、追跡された特徴が誤差関数に基づき移動オブジェクトに属する特徴と静止オブジェクトに属する特徴とにセグメント化され、それは、特徴がどれだけよくエピポーラ拘束を満たすかを評価し、ここで、誤差関数は、代数距離、幾何学的距離、再投影誤差、またはサンプソン誤差を含む。
本発明の第1の態様による方法の更なる可能な実施形態において、追跡された特徴が、他の適切な方法、例えば経時的な誤差関数の変化の測定に基づき、移動オブジェクトに属する特徴と静止オブジェクトに属する特徴とにセグメント化される。
本発明の第1の態様による方法の更なる可能な実施形態において、移動オブジェクトに属するセグメント化された特徴がクラスタ化され、各クラスタのセグメント化された特徴の周囲の凸包が計算される。
本発明の第1の態様による方法の更なる可能な実施形態において、移動オブジェクトに属するセグメント化された特徴のクラスタ周囲の計算された凸包に基づき、移動オブジェクトの方位角方位が判定される。
本発明の第1の態様による方法の更なる可能な実施形態において、高さが閾値高さより低い静止オブジェクトに属する三角形分割された特徴を選択することにより、地表特徴が判定される。
本発明は、更なる態様によると、請求項12の特徴を含む移動オブジェクトのレンジを推定するようになされた装置を更に提供する。
本発明は、第2の態様によると、移動オブジェクトのレンジを推定するようになされた装置を提供し、ここで、前記装置は、捕捉された画像の特徴を処理して、捕捉された画像内の移動オブジェクトに属する特徴の検出されたクラスタに基づき移動オブジェクトの方位を判定するようになされ、移動オブジェクトによって遮蔽されていない、移動オブジェクトの判定された方位に沿う地表面に属する地表特徴に基づき移動オブジェクトのレンジを推定するようになされた処理ユニットを備える。
本発明は、第3の態様によると、請求項13の特徴を含む車両を更に提供する。
本発明は、第3の態様によると、車両周囲の画像を捕捉するようになされた少なくとも1台の車両カメラを備え、車両の周囲の移動オブジェクトのレンジを推定するようになされた本発明の第2の態様による装置を備える車両を提供する。
本発明の第3の態様による車両の可能な実施形態において、移動オブジェクトは、車両周囲の歩行者または別の車両からなる。
下記において、本発明の様々な態様の可能な実施形態を、添付図面を参照してより詳細に記載する。
本発明の一態様による、移動オブジェクトのレンジを推定する装置を備える車両の可能な例示的実施形態を示すための概略ブロック図を示す。 本発明の一態様による、移動オブジェクトのレンジを推定する方法の可能な例示的実施形態のフローチャートを示す。 本発明による方法および装置の動作を示すための概略図を示す。
図1の概略ブロック図において見て取れるように、車両1は、図示した実施形態において、車両周囲の移動オブジェクトMOのレンジを推定するようになされた装置3を備える。装置3は、車両1のドライバー支援システムの一部を形成することができる。車両1は、図示した例示的実施形態において、異なる車載カメラ2-1、2-2、2-3、2-4を備える。車両1は、図1に示すように、特定の方向に速度またはスピードVで走行することができる。図1に示した例において、移動オブジェクトMOは、車両のシャーシの左側に搭載された車載カメラ2-3の視界FoV内にある。図1に概略的に示した移動オブジェクトMOは、例えば車両1の近傍を移動している歩行者または別の車両とすることができる。装置3は、異なる車載カメラ2-iからデジタルカメラ画像を受信する。装置3は、捕捉された画像の特徴を処理して、それぞれの車載カメラ、即ち、図1の図示した例では単一の車載カメラ2-3の捕捉された画像内の移動オブジェクトMOに属する特徴の検出されたクラスタに基づき移動オブジェクトMOの方位Bを判定するようになされた処理ユニットを備える。
処理ユニットは更に、移動オブジェクトMOによって遮蔽されていない、移動オブジェクトMOの判定された方位Bに沿う領域または方位レンジにおける地表面に属する地表特徴に基づき移動オブジェクトMOのレンジを推定するようになされている。移動オブジェクトMOのレンジは、図1の図示した例では、移動オブジェクトMOから車両のシャーシまでの距離である。車載カメラ2-iの数は、車両ごとに異なるものとすることができる。図1に示す車両1は、例えば道路上を移動している、または駐車スペースを移動している自動車またはトラックとすることができる。
図2は、本発明の一態様による、移動オブジェクトMOのレンジを推定する方法の可能な例示的実施形態のフローチャートを示す。図示した実施形態において、方法は、3つの主要ステップS1、S2、S3を含む。
第1のステップS1において、カメラにより周囲の画像が捕捉される。
更なるステップS2において、捕捉された画像の特徴が処理され、カメラの捕捉された画像内の移動オブジェクトMOに属する特徴の検出されたクラスタに基づき移動オブジェクトMOの方位Bが判定される。
最後に、ステップS3において、移動オブジェクトMOによって遮蔽されていない、移動オブジェクトMOの判定された方位Bの周囲の方位レンジにおける地表面に属する判定された地表特徴に基づき、移動オブジェクトMOのレンジが推定される。
可能な実施形態において、画像は、車両1の車載カメラによって捕捉される。車両周囲の画像は、車両1の移動中に車両1の少なくとも1台の車載カメラ2によって捕捉される。カメラ画像は、異なる時点に撮影される。カメラ画像は、車両周囲の地表面を含み、少なくとも1つの移動オブジェクトMO、例えば歩行者または別の車両を含み得る。可能な実施形態において、カメラ画像は、例えば毎秒1~50フレームを含むことができる所定のフレームレートで捕捉される。フレームレートは、使用するハードウェアプラットフォーム、CPU負荷、特に同じ処理ユニットでどれだけ多くの他のアルゴリズムが実行中であるかに依存する可能性がある。カメラ2は、一連のカメラ画像を捕捉し、ここで、2つのカメラ画像間の時間差は、上記のフレームレートの場合1/50秒と1秒の間で変化し得る。約60km/hの速度またはスピードでは、これは、第1のカメラ画像に捕捉された特徴の多くが第2の(次の)カメラ画像でも依然として可視であることを意味する。ストラクチャーフロムモーションSFMを用いて静的特徴を三角形分割するときには、三次元特徴の位置が計算できるように、車両1周囲の地表特徴または地表面の2つのビューまたはカメラ画像が必要なため、これは、重要である。車両1のスピードVの増加に伴い、車載カメラにより捕捉されるフレームのフレームレートを上昇させることができる。車両1の速度Vによっては、第1の画像において可視の特物は、カメラ画像シーケンスの第2の画像において依然として可視であり、そのため、ストラクチャーフロムモーションSFMを使用して検出された特徴の三次元点群を生成すれば、地表面特徴を再構築することができる。
捕捉された画像内の特徴を各捕捉された画像において検出してマッチングし、捕捉された画像における対応する特徴の位置の間に特徴軌跡を生成することができる。特徴は、各カメラ画像において検出されてマッチングされ、特徴のリストx1およびx2を生成することができ、ここで、x1は、第1の画像における特徴の位置のリストであり、x2は、第2の(次の)カメラ画像における同じ特徴の位置のリストである。マッチングできない特徴は、破棄される。特徴は、特徴検出器、例えばHarrisコーナー検出器、FASTまたはSIFTによって計算し検出することができる。第1のカメラ画像における特徴と第2のカメラ画像における特徴の2つのリストは、特徴軌跡または特徴対応を形成する。
可能な実施形態において、特徴の座標は、カメラ較正を用いて正規化された同次画像座標に変換することができる。焦点距離fのピンホールカメラモデルの場合、これは、下記のように表すことができる:
Figure 0007107931000001
式中、
Figure 0007107931000002
は、三次元空間における点Pの三次元座標であり、
fは、カメラ較正から既知のカメラの焦点距離であり、
Figure 0007107931000003
は、正規化された同次座標、即ち、点Pの像平面への投影である。
非ピンホールカメラモデル(例えば魚眼レンズを搭載したカメラ)の場合も、同様の式を使用することができる。
特徴の位置座標は、カメラ較正を用いて正規化された同次画像座標に変換することができる。内部較正は、画素がカメラからの光線にマッピングされるように、カメラレンズの特性を記載する。外部較正は、車両のシャーシに搭載されたカメラの位置と向きを記載する。これは、画像画素座標を正規化された同次画像座標に変換できることを意味する。カメラ較正を用いて三次元空間において画素座標を光線にマッピングすることは、コンピュータビジョンの分野では周知の技術である。
可能な実施形態において、捕捉された画像間の期間内の車載カメラ2の並進および回転が、車両のスピードV、車両の操舵角α、およびホイールベースWに基づき判定される。
可能な実施形態において、第1の画像と後続の第2の画像の間でのカメラ2の位置の変化を、車両1のスピードと操舵データを第1の画像のフレームと第2の画像のフレームの間の期間にわたり積分することにより計算することができる。
ホイールベースW、スピードVおよび操舵角αが与えられた場合、期間Δt、即ち、第1の捕捉から第2の画像の捕捉までの期間にわたる車両1の回転の変化Δφは、下記の通りである:
Figure 0007107931000004
結果として得られる運動行列は、下記のように表すことができる:
Figure 0007107931000005
車両1上の車両カメラ2の既知の位置を用いて、これをカメラの並進および回転[Rcamera/tcamera]に変換することができる。
代替的実施形態において、カメラ2の位置の変化は、視覚エゴモーションを用いることにより、またはGPSを用いることにより判定することもできる。位置の変化を判定する異なる方法を更に融合させることもできる。可能な実施において、カルマンフィルターを使用してGPSデータを車両1の視覚エゴモーションと組合せて位置の変化を判定することができる。
可能な実施形態において、三次元空間における各特徴の位置を示す特徴の三次元点群を、正規化された同次画像座標とカメラ2の計算された並進および回転に基づき計算することができる。ストラクチャーフロムモーションSFMを遂行して三次元点群を生成することができる。三次元空間における各特徴の位置は、正規化された同次座標とカメラの並進および回転の知識を使用して計算することができる。三次元点群は、一連の画像から生成することができる。この点群は、数百の画像フレームから生成される三次元点を合成したものとすることができる。少なくとも2つの後続する画像フレームに基づき三次元点群を生成することが可能である。可能な実施形態において、三次元点群は、所定期間格納することができる。群の中の三次元点がオブジェクトによって遮られるようになった場合、この情報が、移動オブジェクトMOがどこに位置しているかに関する更なる手掛かりを提供することができる。他の可能な実施形態において、レーダまたはライダを用いて、車両1周囲の三次元空間における特徴の位置を示す特徴の三次元点群を計算することもできる。
可能な実施形態において、それぞれのカメラの判定された回転および並進に基づき、カメラ2の運動について基本行列Eを計算することができる。
Figure 0007107931000006
基本行列Eは次いで、費用関数に使用して特徴がエピポーラ拘束にどの程度合致するか測定することができる。この費用関数は次いで、特徴をセグメント化するのに使用できる。適する費用関数は、代数距離、幾何学的距離、再投影誤差、またはサンプソン誤差の測定を含む。
可能な実施形態において、追跡された特徴を、計算された誤差に基づき、例えば、計算された誤差を閾値εthresholdと比較することにより、移動オブジェクトMOに属する特徴と静止オブジェクトSOに属する特徴とにセグメント化することができる。閾値εthresholdの値は、オプティカルフローの精度に依存する可能性があり、カメラ位置の推定の精度と待ち時間に依存する可能性がある。
可能な実施形態において、移動オブジェクトMOに属するセグメント化された特徴をクラスタ化することができ、各クラスタのセグメント化された特徴の周囲の凸包を計算することができる。可能な実施において、セグメント化された特徴は、ノイズを伴うアプリケーションの密度に基づく空間クラスタリング(DBSCAN)アルゴリズムをセグメント化された特徴に適用することによりクラスタ化することができる。次いで、移動オブジェクトMOのセグメント化された特徴の周囲で凸包が計算される。
図3は、移動オブジェクトMOの周囲に凸包を有するクラスタの例を示す。図示した例において、移動オブジェクトMOは、地面に様々な駐車場所を有する駐車スペースを移動している歩行者である。図示した例において、乳母車も静的特徴点を含む地面上に位置している。図3の図示した例において、地表面GPに属する複数の検出された特徴が図示されている。地表特徴は、高さが閾値高さより低い静止オブジェクトに属する三角形分割された特徴を選択することにより判定することができる。値の閾値は、調節することができる。図3に図示する乳母車BCも、乳母車BCの構造物の交点のような特徴を検出するために使用できる構造成分を有する静止オブジェクトSOを形成する。更に、地表面GP上の線も、地表面GPの特徴fを検出するために使用することができる。図示した例における一部の特徴は、移動オブジェクトMOに属するものとしてセグメント化されている。これらの特徴は、セグメント化されてクラスタを形成し、各クラスタのセグメント化された特徴の周囲の凸包Hが計算される。移動オブジェクトMO、例えば、図3に図示する歩行者の方位Bが、移動オブジェクトMOに属する検出されたクラスタまたは特徴に基づき判定される。可能な実施形態において、それぞれの移動オブジェクトMOに属するセグメント化された特徴のクラスタ周囲の計算された凸包Hに基づき、移動オブジェクトMOの方位角方位を判定することができる。可能な実施形態において、凸包Hに含まれる特徴点の最小および最大方位を取ることにより方位角方位のレンジを判定することができる。あるいは、凸包H自体の方位角方位B1、B2の最小値または最大値を使用することもできる。更なる可能な実施形態において、移動オブジェクトMOのサイズも考慮に入れることができる。例えば、オブジェクトが実質的に矩形ではない場合、それぞれの移動オブジェクトの下半分の最小値または最大値を使用することができる。
図3は、車両1のカメラ2に関する方位B1、B2の間の移動オブジェクトMOの判定された方位角方位レンジまたは領域を示す。図3において見て取れるように、移動オブジェクトMO、即ち歩行者によって遮蔽されていない移動オブジェクトMOの前の推定方位レンジ内に、地表面GPの幾つかの特徴が存在する。図3の例において、移動オブジェクトMOの判定された方位レンジ内に、地表面GPに属する4つの特徴f、f、f、fが存在し、これらは移動オブジェクトMOによって遮蔽されていない。移動オブジェクトMO、即ち歩行者のレンジ、即ち距離は、移動オブジェクトMOによって遮蔽されていない、移動オブジェクトMOの判定された方位Bに沿う地表面GPに属する判定された地表特徴に基づき推定することができる。方位Bは、最小方位B1と最大方位B2との平均値として計算することができる。可能な実施形態において、判定された地表特徴から、最大距離を有する地表特徴が選択される。図2の図示した例において、B1、B2の間の方位レンジ内に位置し、車両カメラ2までの最大距離を含む特徴fが選択され、移動オブジェクトのレンジMOがこの最大距離から導出される。概ね高さがゼロの三角形分割された特徴を検索することにより、地表点、即ち地表面特徴を判定することができる。あるいは、例えばRANSACアルゴリズムまたは最小二乗近似を使用して地表面GPを三角形分割された点に当てはめて、地表面GPに属する特徴を見出すことができる。次いで、移動オブジェクトMOの方位角方位レンジ内の全ての三角形分割された静的三次元地表点を考慮し、車両カメラ2からの最大距離を含む地表面特徴を選択することにより、移動オブジェクトMOのレンジを推定することができる。
魚眼レンズを搭載したカメラは、車両1に近い地表面特徴について高密度の三次元点群を生成することができる。したがって、移動オブジェクトMOのレンジの推定は、移動オブジェクトMOが車両1に近づくほど正確になる。計算された推定値は常に移動オブジェクトMOまでの実際の距離よりも短く、したがって、距離を過大評価する可能性および移動オブジェクトMOと衝突する危険が低減される。図3の単純な例において、移動オブジェクトMOまでの距離は、カメラ2と、車載カメラ2から最も離れているが、移動オブジェクトMOによって遮蔽されていない方位レンジ内の地表面特徴である地表面GPに属する特徴fとの間の距離に基づき推定される。
本発明による方法は、二次元特徴はカメラ画像を通じて追跡することができ、車両1が移動すると共に三次元地表面を再構築することができるという事実を利用する。地表面GPを横切って移動する移動オブジェクトMOは、地表面上の三次元点を遮蔽する。この遮蔽を用いて移動オブジェクトMOのレンジを推定することができる。方法は、異なる種類の移動オブジェクトMO、例えば他の車両または歩行者のレンジを推定するために使用することができる。移動オブジェクトMOが堅固なオブジェクトであることは必要ない。また、オブジェクト上で多くの特徴が追跡できる必要もない。本発明による方法を用いて、車両周囲の地表面上を移動する任意の移動オブジェクトMOのレンジを推定することができる。方法は、移動する車両1に搭載された単一のカメラ2を使用して地表面上を移動する非堅固なオブジェクトを追跡する必要がある如何なる状況でも使用することができる。方法は、歩行者の検出、バックアップ警告、または自動制動に利用することができる。静止オブジェクトSOの三次元モデルが創出され、加えて、移動オブジェクトMOが二次元画像において追跡されてクラスタ化されるバックアップ警告システムを実施することができ、そこでは、レンジを三次元地表面上の遮蔽された点から推定することができる。車両1と衝突する可能性がある移動オブジェクトMOが検出された場合、警告を自動的に生成し、車両1のドライバーに対して出力することができる。

Claims (14)

  1. -移動オブジェクト(MO)のレンジを推定する方法であって、
    -(a)カメラ(2)により周囲の画像を捕捉するステップ(S1);
    -(b)捕捉された画像の特徴を処理して、前記捕捉された画像内の前記移動オブジェクト(MO)に属する特徴の検出されたクラスタに基づき前記移動オブジェクト(MO)の方位を判定するステップ(S2);および
    -(c)前記移動オブジェクト(MO)によって遮蔽されていない、前記移動オブジェクト(MO)の前記判定された方位に沿う地表面(GP)に属する判定された地表特徴に基づき前記移動オブジェクトのレンジ(MO)を推定し、前記移動オブジェクト(MO)によって遮蔽されていない、前記判定された地表特徴から、最大距離を有する前記地表特徴が選択され、前記移動オブジェクトのレンジ(MO)が前記最大距離に応じて推定されるステップ(S3)を含む、方法。
  2. 車両(1)の車載カメラ(2)によって、車両周囲の画像が前記車両(1)の移動中に捕捉される、請求項1に記載の方法。
  3. 前記捕捉された画像内の特徴が各捕捉された画像において検出されてマッチングされ、前記捕捉された画像における対応する特徴の位置の間に特徴軌跡が生成される、請求項1又は2に記載の方法。
  4. 前記特徴の位置座標が、カメラ較正を用いて正規化された同次画像座標に変換される、請求項1から3の何れか一項に記載の方法。
  5. 捕捉された画像間の期間内の車載カメラ(2)の並進および回転が、前記車両のスピードV、前記車両の操舵角α、およびホイールベースWに基づき判定される、請求項2から4の何れか一項に記載の方法。
  6. 三次元空間における各特徴の位置を示す特徴の3D点群が、前記正規化された同次画像座標と前記カメラ(2)の前記計算された並進および回転に基づき計算される、請求項4又は5に記載の方法。
  7. 前記カメラ(2)の前記判定された回転および並進に基づき前記カメラ(2)の運動について基本行列Eが計算される、請求項に記載の方法。
  8. 追跡された特徴のエピポーラ拘束に関する誤差が計算され、前記追跡された特徴が、前記計算された誤差に基づき移動オブジェクト(MO)に属する特徴と静止オブジェクト(SO)に属する特徴とにセグメント化される、請求項3から7の何れか一項に記載の方法。
  9. 移動オブジェクト(MO)に属する前記セグメント化された特徴がクラスタ化され、各クラスタの前記セグメント化された特徴の周囲の凸包(H)が計算される、請求項に記載の方法。
  10. 前記移動オブジェクト(MO)に属するセグメント化された特徴のクラスタ周囲の前記計算された凸包(H)に基づき、移動オブジェクト(MO)の方位角方位が判定される、請求項に記載の方法。
  11. 高さが閾値高さより低い静止オブジェクト(SO)に属する三角形分割された特徴を選択することにより、地表特徴が判定される、請求項1から10の何れか一項に記載の方法。
  12. -移動オブジェクト(MO)のレンジを推定するようになされた装置であって、
    -捕捉された画像の特徴を処理して、前記捕捉された画像内の前記移動オブジェクト(MO)に属する特徴の検出されたクラスタに基づき前記移動オブジェクト(MO)の方位を判定するようになされ、前記移動オブジェクト(MO)によって遮蔽されていない、前記移動オブジェクト(MO)の前記判定された方位に沿う地表面に属する地表特徴に基づき前記移動オブジェクトのレンジ(MO)を推定し、前記移動オブジェクト(MO)によって遮蔽されていない、前記判定された地表特徴から、最大距離を有する前記地表特徴が選択され、前記移動オブジェクトのレンジ(MO)が前記最大距離に応じて推定されるようになされた処理ユニットを備える、装置(3)。
  13. 車両周囲の画像を捕捉するようになされた少なくとも1台の車載カメラ(2)を備え、前記車両の周囲の移動オブジェクト(MO)のレンジを推定するようになされた請求項12に記載の装置(3)を備える、車両(1)。
  14. 前記移動オブジェクト(MO)が、前記車両周囲の歩行者または別の車両からなる、請求項13に記載の車両(1)。
JP2019528135A 2017-02-20 2017-12-18 移動オブジェクトのレンジを推定する方法および装置 Active JP7107931B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17157004.7 2017-02-20
EP17157004.7A EP3364336B1 (en) 2017-02-20 2017-02-20 A method and apparatus for estimating a range of a moving object
PCT/EP2017/083233 WO2018149539A1 (en) 2017-02-20 2017-12-18 A method and apparatus for estimating a range of a moving object

Publications (2)

Publication Number Publication Date
JP2020508501A JP2020508501A (ja) 2020-03-19
JP7107931B2 true JP7107931B2 (ja) 2022-07-27

Family

ID=58098528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528135A Active JP7107931B2 (ja) 2017-02-20 2017-12-18 移動オブジェクトのレンジを推定する方法および装置

Country Status (4)

Country Link
US (1) US10832428B2 (ja)
EP (1) EP3364336B1 (ja)
JP (1) JP7107931B2 (ja)
WO (1) WO2018149539A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
US20210383562A1 (en) * 2020-06-05 2021-12-09 Izak Jan van Cruyningen Off-axis Observation for Moving Target Ranging
US11605173B2 (en) * 2020-12-29 2023-03-14 Waymo Llc Three-dimensional point cloud labeling using distance field data
CN112734908B (zh) * 2020-12-31 2023-09-01 大连海事大学 一种面向行驶车辆的汽车底盘三维重建***及其工作方法
CN113822941B (zh) * 2021-09-03 2023-12-19 大连中科创达软件有限公司 相机倾斜校准方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108434A (ja) 1999-10-13 2001-04-20 Matsushita Electric Ind Co Ltd 距離測定方法及び距離測定装置
JP2005030968A (ja) 2003-07-08 2005-02-03 Nissan Motor Co Ltd 車載用距離算出装置
JP2006023242A (ja) 2004-07-09 2006-01-26 Nissan Motor Co Ltd 物体検出装置
JP2015184929A (ja) 2014-03-24 2015-10-22 株式会社東芝 立体物検出装置、立体物検出方法、および立体物検出プログラム
JP2016176736A (ja) 2015-03-19 2016-10-06 トヨタ自動車株式会社 画像測距装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4425495B2 (ja) * 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
DE102007002813A1 (de) * 2007-01-18 2008-07-24 Robert Bosch Gmbh Verfahren zum Abschätzen einer Entfernung eines Fahrzeugs zu einem Objekt und Fahrerassistenzsystem
JP2008242544A (ja) * 2007-03-26 2008-10-09 Hitachi Ltd 衝突回避装置および方法
WO2013081984A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
WO2013081985A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US10210399B2 (en) * 2013-12-20 2019-02-19 Magna Electronics Inc. Vehicle vision system with image processing
US9898671B2 (en) * 2015-05-11 2018-02-20 Magna Electronics Inc. Vehicle vision system with structure and motion estimation
US10019637B2 (en) * 2015-11-13 2018-07-10 Honda Motor Co., Ltd. Method and system for moving object detection with single camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108434A (ja) 1999-10-13 2001-04-20 Matsushita Electric Ind Co Ltd 距離測定方法及び距離測定装置
JP2005030968A (ja) 2003-07-08 2005-02-03 Nissan Motor Co Ltd 車載用距離算出装置
JP2006023242A (ja) 2004-07-09 2006-01-26 Nissan Motor Co Ltd 物体検出装置
JP2015184929A (ja) 2014-03-24 2015-10-22 株式会社東芝 立体物検出装置、立体物検出方法、および立体物検出プログラム
JP2016176736A (ja) 2015-03-19 2016-10-06 トヨタ自動車株式会社 画像測距装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. Yamaguchi et al,Moving Obstacle Detection using Monocular Vision,2006 IEEE Intelligent Vehicles Symposium,米国,IEEE,2006年06月15日,https://ieeexplore.ieee.org/document/1689643

Also Published As

Publication number Publication date
US20190362512A1 (en) 2019-11-28
WO2018149539A1 (en) 2018-08-23
EP3364336A1 (en) 2018-08-22
EP3364336B1 (en) 2023-12-20
US10832428B2 (en) 2020-11-10
JP2020508501A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
CN112292711B (zh) 关联lidar数据和图像数据
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
CN107111879B (zh) 通过全景环视图像估计车辆自身运动的方法和设备
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
CN107038723B (zh) 棒状像素估计方法和***
US8744169B2 (en) Voting strategy for visual ego-motion from stereo
JP7485612B2 (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
JP4899424B2 (ja) 物体検出装置
CN111046743B (zh) 一种障碍物信息标注方法、装置、电子设备和存储介质
EP3678096A1 (en) Method for calculating a tow hitch position
US20130222589A1 (en) Single-camera distance estimation
EP3594902B1 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
US20110169957A1 (en) Vehicle Image Processing Method
US11721028B2 (en) Motion segmentation in video from non-stationary cameras
JP2019511780A (ja) 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両
JP2009139324A (ja) 車両用走行路面検出装置
JP2007280387A (ja) 物体移動の検出方法及び検出装置
JP6826010B2 (ja) カメラ運動推定装置、カメラ運動推定方法及びプログラム
US20210049382A1 (en) Non-line of sight obstacle detection
US11832019B2 (en) Method for harmonizing images acquired from non overlapping camera views
EP3227827B1 (en) Driver assistance system, motor vehicle and method for classifying a flow vector
Abad et al. Parking space detection
JP2018194417A (ja) 位置推定装置、移動装置
JP2002352249A (ja) 画像処理装置及びその方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220714

R150 Certificate of patent or registration of utility model

Ref document number: 7107931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S631 Written request for registration of reclamation of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313631

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350