JP2023516661A - 車両トレーラ角度計算方法およびシステム - Google Patents

車両トレーラ角度計算方法およびシステム Download PDF

Info

Publication number
JP2023516661A
JP2023516661A JP2022552586A JP2022552586A JP2023516661A JP 2023516661 A JP2023516661 A JP 2023516661A JP 2022552586 A JP2022552586 A JP 2022552586A JP 2022552586 A JP2022552586 A JP 2022552586A JP 2023516661 A JP2023516661 A JP 2023516661A
Authority
JP
Japan
Prior art keywords
feature
angle
trailer
algorithm
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022552586A
Other languages
English (en)
Other versions
JPWO2021197651A5 (ja
JP7437523B2 (ja
Inventor
プラウマン・ロビン
Original Assignee
コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング filed Critical コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
Publication of JP2023516661A publication Critical patent/JP2023516661A/ja
Publication of JPWO2021197651A5 publication Critical patent/JPWO2021197651A5/ja
Application granted granted Critical
Publication of JP7437523B2 publication Critical patent/JP7437523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/245Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating push back or parking of trailers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58Auxiliary devices
    • B60D1/62Auxiliary devices involving supply lines, electric circuits, or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本発明は、複数の撮影された画像に含まれる少なくとも1つの特徴(F1、F2)に基づいて、少なくとも1つの角度推定(α1、α2)を計算するための複数のアルゴリズムを提供して、牽引車両(1)の前後方向軸(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法に関する。

Description

本発明は、一般に、車両支援システムの分野に関する。特に、本発明は、牽引車両と連結されているトレーラのヨー角を車両のカメラにより提供される画像情報に基づいて計算する方法およびシステムに関する。
牽引車両に対するトレーラの角度を車両のカメラにより提供される画像情報に基づいて計算する方法は既知である。
特に、トレーラのピボット点の位置を考慮に入れずにトレーラヨー角の信頼性高い近似を提供する第1タイプの方法が知られている。その一方、第1タイプの方法のヨー角近似の正確度は、ヨー角が大きい場合に低い。
また、トレーラのピボット点の位置を考慮に入れる第2タイプの方法が知られている。その一方、ある状況において、第2タイプの方法は高ノイズを有する。
本発明の実施形態の課題は、トレーラのヨー角を高いロバストネスと高い信頼性で計算する方法を提供することである。本課題は、独立請求項の特徴により解決される。好ましい実施形態は従属請求項に記載されている。明示的に記載されていないが、本発明の実施形態は互いに自由に組み合わせ可能である。
1つの態様によると、本発明は、牽引車両の前後方向軸に対するトレーラのヨー角を決定する方法に関する。本方法は以下の方法を備える。
まず、カメラを用いてトレーラの少なくとも第1および第2画像が撮影される。第1および第2画像は、車両に対するトレーラの方向が少なくとも2つの画像上において異なるように撮影される。
この画像の撮影後、トレーラの少なくとも第1特徴が決定される。この第1特徴は第1および第2画像上において可視である必要がある。
また、この少なくとも第1特徴に基づいて、角度推定を計算するための少なくとも第1および第2アルゴリズムが提供される。この第1アルゴリズムは、トレーラの回転幾何を調べ、特にトレーラのピボット点の位置を考慮に入れるアルゴリズムであってよい。第2アルゴリズムは、トレーラの異なる回転位置における2つ以上の特徴を考慮に入れることにより、トレーラのヨー角を近似するアルゴリズムであってよい。この第2アルゴリズムは、トレーラの回転幾何を調べる必要はない。
この第1および/または第2アルゴリズムに基づいて、この第1特徴について少なくとも第1角度推定が提供される。
第1形態によると、第1角度推定の提供は、この第1角度推定を計算するために第1または第2アルゴリズムを用いるべきかを各特徴についての1つまたは複数の基準に基づいて決定し、この第1特徴について選択されたアルゴリズムに基づいてこの第1角度推定を計算することにより行われる。従って、言い換えれば、どのアルゴリズムを用いるかについての決定は、角度推定の計算前になされる。
第2形態によると、第1角度推定の提供は、この第1および第2アルゴリズムに基づいて少なくとも1つの特徴についての第1角度推定を計算し、第1アルゴリズムにより得られた第1角度推定または第2アルゴリズムにより得られた第1角度推定がさらなる処理に用いられるか否かを1つまたは複数の基準に基づいて決定することにより行われる。従って、言い換えれば、第2形態においては、第1角度推定は、複数のアルゴリズムに基づいて計算され、どの角度推定が用いられるべきかについての決定は、この角度推定計算の結果を考慮に入れてなされる。このようにして、上記第1形態とは対照的に、どのアルゴリズムを用いるかについての決定は、角度推定の計算後になされる。
最後に、トレーラのヨー角はこの第1角度推定に基づいて計算される。
この方法が有利であるのは、角度推定を提供するために各特徴について複数の方法からどの方法を用いるべきかを決定するからであり、ヨー角決定の結果が非常に正確でロバストであるのは、各特徴について、最も信頼性の高い角度推定結果を提供する好適な方法を選択することができるからである。
1つの形態によると、各特徴について、第1アルゴリズム、つまりトレーラの回転幾何を利用するアルゴリズムに基づいて角度推定を計算する試みがなされる。1つまたは複数の基準、特に所定の基準が満たされないことを理由にこの第1アルゴリズムが失敗する場合、第2アルゴリズムが用いられる。
1つの形態によると、第1アルゴリズムは以下のステップを行うように構成される。
-カメラと第1画像上の決定された第1特徴との間の第1光線が構築され、水平面上に投影されることにより、第1投影特徴位置を得る。同様に、カメラと第2画像上の決定された第1特徴との間の第2光線が構築され、この水平面上に投影されることにより、第2投影特徴位置を得る。
-第1直交二等分線は、第1投影特徴位置の位置と第2投影特徴位置の位置との間に構築される。より詳細には、第1直交二等分線は、第1投影特徴位置の位置と第2投影特徴位置の位置とを結ぶ線の中点を通って直交する直線であってよい。このようにして、第1直交二等分線は水平面に構築されてよい。
-第1直交二等分線の構築後、基準軸またはさらなる直交二等分線との第1直交二等分線の第1交点が構築される。
-この第1直交二等分線に基づいて、第1角度推定が計算される。第1角度推定は、第1投影特徴位置からこの第1交点までの第1線と、第2投影特徴位置からこの第1交点までの第2線との間であって、水平面上における角度である。
「第1/第2画像上の第1特徴の位置」の記載は、画像特徴の2D画像座標またはそれに対応する光線(例えば、3D単位ベクトルまたは方位角/仰角として示される)に関することは言及に値する。2D画像座標は、カメラ較正情報を用いて光線へと変換されてよい。
この第1角度推定は牽引車両からトレーラに向かって開口していてよい。
1つの形態によると、第1および第2画像上において可視のトレーラの第2特徴は決定され、この第2特徴は第1特徴とは異なるトレーラの位置に配置される。角度推定を提供するために第1アルゴリズムはトレーラの2つ以上の特徴を用いる。特に、第1アルゴリズムは、
-カメラと第1画像上の決定された第2特徴との間の光線を水平面上に投影することにより、第3投影特徴位置を得て、カメラ(3)と第2画像上の決定された第2特徴との間の光線をこの水平面上に投影することにより、第4投影特徴位置を得て、
-第2直交二等分線を、第3投影特徴位置の位置と第4投影特徴位置の位置との間に構築し、
-この基準軸、この第1直交二等分線またはさらなる直交二等分線との第2直交二等分線の第2交点を決定し、
-第2角度推定は、第3投影特徴位置からこの第2交点までの第1線と、第4投影特徴位置からこの第2交点までの第2線との間であって、この水平面上における角度である、この第2角度推定を計算するように構成される。
2つ以上の特徴を用いることにより、ノイズおよびミスマッチの影響を低減する様々な特徴に基づいて複数の角度推定を計算することができる。
1つの形態によると、第2アルゴリズムは、第1角度推定を計算するように構成される。第1角度推定は、牽引車両の固定点に対する、第1画像上の第1特徴と第2画像上の第1特徴との間の水平面におけるピボット角度を特徴付ける。
1つの形態によると、第1および第2画像上において可視のトレーラの第2特徴は決定され、第2特徴は第1特徴とは異なるトレーラの位置に配置され、第2アルゴリズムは、第2角度推定を計算するように構成され、第2角度推定は、牽引車両の固定点に対する、第1画像上の第2特徴と第2画像上の第2特徴との間の水平面におけるピボット角度を特徴付ける。第2アルゴリズムにおいて2つ以上の特徴を用いることにより、ノイズおよびミスマッチの影響を低減する様々な特徴に基づいて複数の角度推定を計算することができる。
1つの形態によると、1つまたは複数の基準に基づいて決定するステップは、第1画像上の特徴と第2画像上のこの特徴との間の底辺線の長さを決定し、この長さを長さ閾値と比較することを含む。底辺線のこの長さは、第1および第2画像上で捕捉された第1および第2特徴を共通の写像または座標系に変換した後に決定されてよく、この座標系は、車両の1つまたは複数の固定点の位置、例えばカメラの位置に関する情報も含んでよい。好ましくは、底辺線の長さがこの長さ閾値未満の場合、角度推定は第1アルゴリズムの代わりに第2アルゴリズムにより提供される。これにより、高ノイズを有する不正確な角度推定を避けることができる。
1つの形態によると、1つまたは複数の基準に基づいて決定するステップは、トレーラのロールおよび/またはピッチを決定し、ロールをロール閾値と比較しかつ/またはピッチをピッチ閾値と比較することを含む。好ましくは、ロールがロール閾値を超過しかつ/またはピッチがピッチ閾値を超過する場合、角度推定は第1アルゴリズムの代わりに第2アルゴリズムにより提供される。これにより、高ノイズを有する不正確な角度推定を避けることができる。
1つの形態によると、1つまたは複数の基準に基づいて決定するステップは、水平方向の基準面に対する特徴の垂直方向の距離を決定し、この垂直方向の距離を距離閾値と比較することを含む。この垂直方向の距離は、第1および第2画像上で捕捉された少なくとも1つの特徴を共通の写像または座標系に変換した後に決定されてよい。この座標系は、車両の1つまたは複数の固定点の高さレベル、例えばカメラの高さレベル、特に水平方向の基準平面に対するカメラの高さレベルに関する情報も含んでよい。垂直方向の距離がこの距離閾値未満の場合、角度推定は第1アルゴリズムの代わりに第2アルゴリズムにより提供される。これにより、高ノイズを有する不正確な角度推定を避けることができる。
1つの形態によると、第1または第2画像において、車両に対するトレーラのヨー角はゼロである。これにより、この画像を「ゼロポーズ画像」として、つまり車両の前後方向軸とトレーラの前後方向軸との厳密な位置合わせの基準として用いることができる。その一方、他のヨー角が既知である限り、この別のヨー角値も基準値として用いることができる。
1つの形態によると、第2アルゴリズムにおいて、この少なくとも1つの角度推定を計算することは、この固定点と第1および第2画像における少なくとも1つの特徴との間の光線を決定することを含む。この光線は、この固定点とそれぞれの特徴との間に延在する直線に関する。この光線に基づいて、現在のピボット角度を、例えば幾何的方法に基づいて、演算コストを抑えつつ決定することができる。
1つの形態によると、特に第2アルゴリズムにおいて、この第1および/または第2特徴の位置を光線に変換するためにカメラ較正情報が用いられる。例えば、カメラ較正情報を用いてカメラ位置の情報を有することで、画像上のある特徴の位置を、カメラの位置に応じてまたはそれに相関付けて位置情報に変換することができる。
1つの形態によると、この第1および/または第2特徴の位置を画像の局所領域から車両または車両のある固定点の位置の局所領域へと変換するために、カメラ較正情報が用いられる。例えば、カメラ較正情報を用いてカメラ位置を得ることで、画像上のある特徴の位置を、車両に含まれているか取り付けられているカメラの位置に応じてまたはそれに相関付けて位置情報に変換することができる。
1つの形態によると、ヨー角を計算するために、この少なくとも1つの特徴に加えて、トレーラの少なくとも1つのさらなる特徴が用いられる。この少なくとも1つのさらなる特徴は、第1特徴とは異なるトレーラの位置に配置される。例えば、第1特徴はトレーラの第1位置における明らかな第1特徴であってよく、第2特徴は第2位置における明らかな第2特徴であってよい。2つ以上の特徴を用いることで、さらなる角度推定が得られ、これによりヨー角決定のロバストネスと信頼性がさらに向上する。
1つの形態によると、ヨー角は、第1および第2アルゴリズムにより提供される少なくとも2つの角度推定に基づいて中央値を構築することにより計算される。これにより、非常に安定したヨー角決定を得ることができる。
他の形態によると、ヨー角は、第1および第2アルゴリズムにより提供される少なくとも2つの角度推定の平均値を構築することによりまたはこの角度推定に適用される統計的方法を用いることにより計算される。
1つの形態によると、本方法は、角度窓を決定するステップをさらに備える。この角度窓は、このヨー角の周りに上方境界と下方境界とを備えてよい。さらに、1セットの特徴が決定され、このセットの特徴内のこの特徴によりこの角度窓内に位置する角度推定が得られる。この決定されたセットの特徴、好ましくはこのセットの特徴に含まれる特徴のみが以降のヨー角計算に用いられる。従って、言い換えれば、以前のヨー角決定の情報を用いることにより、決定されたヨー角に非常に近い角度推定(つまり角度窓内)となるトレーラの2つ以上の特徴を決定し、決定されたヨー角から著しく逸脱する角度推定(つまり角度窓外)となるような特徴は追跡されない。これにより、角度推定の演算の複雑さと正確度を著しく低減することができる。
1つの形態によると、過小評価を矯正するために、計算されたヨー角の値はある程度分またはある割合分だけ増加される。計算結果の過小評価を矯正するために、例えば、計算されたヨー角は5%~15%分、特に10%分だけスケール化されてよい。
1つの形態によると、第1アルゴリズムにおいて、カメラと車両の牽引棒とが、垂直方向に方向付けられた平面であって、牽引車両の前後方向軸を含む平面に配置されている場合、基準軸は牽引車両のこの前後方向軸である。
別の形態によると、第1アルゴリズムにおいて、カメラおよび/または牽引棒が牽引車両の前後方向軸に対して横方向オフセットを有する場合、基準軸はカメラと牽引棒との間に延在する直線である。これにより、カメラと牽引棒との間の横方向オフセットを補償することができる。
1つの形態によると、カメラは、車両のリアビューカメラである。リアビューカメラに基づいて、技術的コストを抑えてトレーラの画像を撮影することができる。
さらなる態様によると、牽引車両の前後方向軸に対するトレーラのヨー角を決定するシステムが開示される。本システムは、トレーラの画像を撮影するカメラと、この撮影された画像を処理する処理エンティティと、を備える。本システムは、
-カメラを用いてトレーラの少なくとも第1および第2画像を撮影するステップにおいて、車両に対するトレーラの方向が少なくとも2つの画像上において異なる、ステップと、
-第1および第2画像上において可視のトレーラの少なくとも第1特徴を決定するステップと、
-少なくとも第1特徴に基づいて、少なくとも1つの角度推定を計算するための少なくとも第1および第2アルゴリズムを提供するステップと、
-第1特徴について少なくとも第1角度推定を提供するステップにおいて、
第1角度推定を計算するために第1または第2アルゴリズムを用いるべきかを各特徴についての1つまたは複数の基準に基づいて決定し、第1特徴について選択されたアルゴリズムに基づいて第1角度推定を計算することにより提供するステップ、または
第1および第2アルゴリズムに基づいて第1特徴についての第1角度推定を計算し、第1アルゴリズムにより得られた第1角度推定または第2アルゴリズムにより得られた第1角度推定がさらなる処理に用いられるか否かを1つまたは複数の基準に基づいて決定することにより提供するステップと、
-ヨー角を第1角度推定に基づいて計算するステップと、を実行するようにさらに構成される。
本方法の1つの形態として記載された上記特徴の何れも、本開示のシステムにおけるシステム特徴としても適用可能である。
さらに別の形態によると、上記形態の何れか1つによるシステムを備える車両が開示される。
本開示で用いられる「車両」の用語は、乗用車、貨物自動車、バス、列車または任意の他の船舶に関してよい。
本開示で用いられる「ヨー角」の用語は、車用の前後方向軸とトレーラの前後方向軸との間のピボット角度に関してよい。
本開示で用いられる「中央値」の用語は、データサンプルまたは確率分布の上半分と下半分を分ける値に関してよい。
本発明で用いられる「本質的に」または「略」の語は、厳密な値に対する+/-10%、好ましくは+/-5%の偏差ならびに/または関数および/もしくは交通法規に関して重要ではない変化の形態の偏差を意味する。
その具体的な特徴と有利な点とを含む本発明の様々な態様は、以下の詳細な説明と添付の図面から容易に理解されるだろう。
図1は、トレーラを牽引する車両の例示的な上面図を示す。 図2は、第1アルゴリズムによる、トレーラと牽引車両との間の異なるピボット角度でカメラ画像により捕捉された第1特徴に基づく角度推定を概略的に示す。 図3は、第1アルゴリズムによる、トレーラと牽引車両との間の異なるピボット角度でカメラ画像により捕捉された第1および第2特徴に基づく2つの角度推定を概略的に示す。 図4は、第2アルゴリズムによる、トレーラと牽引車両との間の異なるピボット角度でカメラ画像により捕捉された第1および第2特徴に基づく角度推定を概略的に示す。 図5は、牽引車の前後方向軸に対するトレーラのヨー角を決定する方法のステップを示す概略的なブロック図を示す。
以下、例示的な実施形態が示される添付の図面を参照して本発明をより完全に説明する。図中の実施形態は好ましい実施形態に関する一方、実施形態に関連して説明される全ての要素および特徴は、適切である限り、特に上記した任意の他の実施形態に関連する、本明細中において説明される任意の他の実施形態および特徴とも組み合わせて用いられてよい。その一方、本発明は、本明細書に記載されている実施形態に限定されると見なされるべきではない。以下の説明を通して、同様の参照符号は、該当する場合、同様の要素、部材、アイテムまたは特徴を示すために用いられている。
明細書、特許請求の範囲、実施形態例および/または図面により開示されている本発明の特徴は、別個とその任意の組み合わせの両方において、その様々な形態において本発明を実現する材料であってよい。
図1は、トレーラ2を牽引する車両1の上面図を示す。車両1は、車両1の中心を通る前後方向軸LAVを備える。同様に、トレーラ2は、トレーラ2の中心を通る前後方向軸LATを備える。トレーラ2は、牽引棒4を備えるトレーラヒッチを用いて車両1と連結されている。
いくつかの走行状況において、車両1の前後方向軸LAVおよびトレーラ2の前後方向軸LATは平行に配置されていない場合があり、互いに一致しない場合があるが、これらの軸はヨー角YAを限定できる。言い換えれば、ヨー角YAは、車両1の前後方向軸LAVに対するトレーラ2の前後方向軸LATの角度のずれを定義している。ヨー角YAは、トレーラ2の前後方向軸LATと車両1の前後方向軸LAVとを含む水平方向平面において測定されてよい。
ヨー角YAを得ることは、とりわけ、例えばトレーラ支援システムにおいて有利である。
ヨー角YAを決定するために、トレーラ2の少なくとも一部の複数の画像がカメラ3を用いて撮影される。カメラ3は、例えば、車両1のリアビューカメラであってよく、リアビューカメラは後退時に車両1の周辺の画像を撮影するために用いられてもよい。撮影画像の1つは、牽引車両1に対するトレーラ2の既知の角度配置を示してよい。この画像は、ヨー角YAを算出するための基準として用いられてよい。この、牽引車両1に対するトレーラ2の既知の角度配置において、ヨー角YAは0°であってよく、他の任意の角度値であってもよい。
図2は、トレーラ2が牽引車両1に対して異なるヨー角YAを有する異なる時点におけるトレーラ2の第1特徴の角度関係を示す概略図を示す。
カメラ3は、車両1に対するトレーラ2の角度位置が異なっている、異なる時点における2つ以上の画像を撮影してよい。例えば、画像系列が撮影されてよい。
本例において、第2画像は、ヨー角YA=0°における、車両に対するトレーラの方向を示してよい。
経時的なトレーラ2の角度移動を理由に、トレーラで検出されるある特徴が第1および第2画像において異なる位置に現れる場合がある。図2において、第1特徴は正方形で示される。
第1特徴の上方表示(特徴をカメラ3と結ぶ実線の光線Rに関連)は第1画像において識別され、第1特徴の下方表示(特徴をカメラ3と結ぶ破線の光線Rに関連)は異なる時点における第2画像において識別される。各画像における第1特徴の位置を車両1の位置、特に車両1の所定の固定点と相関付けるために、カメラ3の較正情報が用いられてよい。特に、第1特徴をカメラ3と結ぶ光線Rを決定するために、カメラ3の較正情報が用いられ、画像座標におけるこの第1特徴の位置を光線へと変換してよい。言い換えれば、カメラ位置と特徴位置とを関連付けるために、画像上の位置はカメラ3の較正情報に基づいて車両の固定点の位置と相関付けられる。
トレーラの特徴は、特徴検出およびマッチングのアルゴリズムを用いて位置特定およびマッチングされる。例えば、ハリスのコーナー検出法、スケール不変特徴変換(SIFT)アルゴリズム、高速化ロバスト特徴(SURF)アルゴリズム、バイナリロバスト不変スケーラブルキーポイント(BRISK)アルゴリズム、バイナリロバスト独立基本特徴(BRIEF)、方向付きFASTおよび回転BRIEF(ORB)アルゴリズムまたは他の好適な特徴検出およびマッチングのアルゴリズムを用いてよい。
特徴検出およびマッチングのアルゴリズムはトレーラ上にあるかまたはトレーラ上にはない画像特徴を検出してよい。トレーラ特徴を非トレーラ特徴からセグメント化するために、複数の様々な方法が用いられてよい。例えば、直線前進走行の場合、トレーラ特徴は、経時的に同一位置のままである特徴を探すことにより非トレーラ特徴からセグメント化されてよい。代替的に、背景特徴のモーションは車両の既知のモーションを用いて経時的にモデル化されてよい。これは、速度と操舵に関するCANデータから抽出されてよい。この場合、基本行列のエピポーラ拘束にフィットしない特徴をトレーラ特徴として考慮してよい。
ある状況または条件に応じて、ヨー角YAを示す少なくとも1つの角度推定α1、α2を決定するために単一のアルゴリズムのみを用いる代わりに、1セットのアルゴリズムからあるアルゴリズムを選択することが好ましい場合があるように思われた。以下、少なくとも1つの角度推定α1、α2を決定するための第1および第2アルゴリズムと、この少なくとも1つの角度推定α1、α2を決定するためにどのアルゴリズムを用いるべきか決定するフレームワークが提供される。
第1アルゴリズムに基づくヨー角YAの決定は、図2においてより詳細に示される。この第1および第2画像間の少なくとも1つの特徴の位置の変化は、少なくとも第1角度推定α1を決定するために用いられる。
それぞれの画像における特徴識別後、第1および第2画像の第1特徴は共通の水平面に投影される。より詳細には、カメラ3と第1画像上の決定された第1特徴との間の光線が水平面上に投影されることにより、第1投影特徴位置PFP1aが得られる。さらに、カメラ3と第2画像上の決定された第1特徴との間の光線が同一の水平面上に投影されることにより、第2投影特徴位置PFP1bが得られる。この投影は垂直方向に行われることにより、光線の仰角のみを変化させるのであって、方位角は変化させないことは言及に値する。
第1および第2投影特徴位置PFP1a、PFP1bを決定した後、第1直交二等分線B1が、この第1および第2投影特徴位置PFP1a、PFP1bに基づいて構築される。図2に示されるように、第1直交二等分線B1は、第1および第2投影特徴位置PFP1a、PFP1bを結ぶ線に直交する線である。さらに、第1直交二等分線B1は、この連結線の中点を通る。この第1直交二等分線B1は、本実施形態においては車両の前後方向軸LAVである基準軸と交差する。第1直交二等分線B1と基準軸とのこの交点により回転点が得られ、この回転点の周りにトレーラ2は回転する。より詳細には、この交点により牽引棒4の位置が示される。
この第1直交二等分線B1に基づいて、第1角度推定α1が計算される。この第1角度推定α1は、第1投影特徴位置PFP1aと、第1直交二等分線B1と基準軸との交点と、を結ぶ第1線L1と、第2投影特徴位置PFP1bと、第1直交二等分線B1と基準軸との交点と、を結ぶ第2線L2との間に設けられる角度である。交点は、牽引棒4の位置を示してよい。より詳細には、第1角度推定α1は、水平面上に投影された第1画像における第1特徴の位置とこの水平面上に投影された第2画像における第1特徴の位置との間で、(牽引棒4の少なくとも略位置である)この第1交点IP1の周りの、この水平面におけるトレーラ2のピボット角度を特徴付ける。
本実施形態において、基準軸が牽引車両1の前後方向軸LAVであるのは、カメラ3および牽引棒4が車両1のこの前後方向軸LAV上に位置しているからである。他の実施形態において、カメラ3または牽引棒4が車両1の前後方向軸LAVに対して横方向オフセットを有する場合または車両1の前後方向軸LAVに対するカメラ3と牽引棒4の横方向オフセットが異なる場合、基準軸はカメラ3と牽引棒4を結ぶ直線により形成されてもよい。
第1角度推定α1は、トレーラ2のその実際の回転点の周りのヨー角YAを表す。
図3は、ヨー角YAを構築するために、第1アルゴリズムを用いて、異なる時点(トレーラ2が牽引車両1に対する異なるヨー角YAを有する時点)において捕捉されたトレーラ2の第1および第2特徴(つまり2つの異なる特徴)を用いる、図2と同様の実施形態を示す。
カメラ3により撮影された画像上において、複数の異なる特徴が識別可能であってよい。図3に示されるように、この特徴は、車両1の固定点に対して異なる角度位置において識別されている。第1特徴は正方形で示され、第2特徴は三角形により示されている。この固定点はカメラ3の位置であってよくまたは牽引棒4の位置であってよい。
図3において、第1および第2特徴の上方ペア(PFP1a、PFP2aにより示され、特徴をカメラ3と結ぶ実線の光線に関連)が第1画像において識別され、第1および第2特徴F1、F2の下方ペア(PFP1b、PFP2bにより示され、特徴をカメラ3と結ぶ破線の光線に関連)が異なる時点で第2画像において識別されている。
ヨー角YAの決定は図2の実施形態と同様に行われる。主な相違点は、2つの角度推定α1、α2が構築され、トレーラのヨー角YAがこの2つの角度推定α1、α2に基づいて展開されることである。より詳細には、第1直交二等分線B1を構築し、第1角度推定α1を得ることは、上述したように行われる。
さらに、第2角度推定α2は、第3投影特徴位置PFP2aと第4投影特徴位置PFP2bとを構築し、第2交点IP2を得るために第2直交二等分線B2を構築し、第3投影特徴位置PFP2aおよび第4投影特徴位置PFP2bをこの第2交点IP2と結ぶことにより得られる。この第3投影特徴位置PFP2aは、第1画像における第2特徴をこの水平面上に投影することにより得られ、第4投影特徴位置PFP2bは、第2画像における第2特徴をこの水平面上に投影することにより得られる。第2交点IP2は、第2直交二等分線B2が基準軸、本実施形態においては車両の前後方向軸LAVと交差する点であってよい。第2角度推定α2は、第3投影特徴位置PFP2aと交点IP2とを結ぶ第1線と、第4投影特徴位置PFP2bと交点IP2とを結ぶ第2線との間の角度である。
図3の実施形態においても、基準軸が牽引車両1の前後方向軸LAVであるのは、カメラ3および牽引棒4が車両1のこの前後方向軸LAV上に位置しているからである。他の実施形態において、カメラ3または牽引棒4が車両1の前後方向軸LAVに対して横方向オフセットを有する場合または車両1の前後方向軸LAVに対するカメラ3と牽引棒4の横方向オフセットが異なる場合、基準軸はカメラ3と牽引棒4を結ぶ直線により形成されてもよい。
トレーラ2の3つ以上の特徴が決定され、複数の画像にわたって追跡できることは言及に値する。さらに、好ましくは、ヨー角推定の結果を向上させるために、3つ以上の画像が異なる時点で撮影される。これにより、ヨー角決定の質を向上させるために3つ以上の角度推定α1、α2を構築することができる。
以下、少なくとも1つの角度推定α1、α2を決定するための第2アルゴリズムについて図4を参照して説明する。
図4は、トレーラ2の第1および第2特徴F1、F2の角度関係を説明する概略図であって、この特徴F1、F2が車両1の固定点に対して異なる時点および異なる角度位置で識別されている、概略図を示す。
カメラ3は、車両1に対するトレーラ2の角度位置が異なっている、異なる時点における2つ以上の画像を撮影してよい。例えば、画像系列が撮影されてよい。この画像系列は3つ以上、特に、6つ以上の画像を含んでよい。
本例において、第2画像は、ヨー角YA=0°における、車両に対するトレーラ2の方向を示してよい。その一方、他の実施形態において、ヨー角YAは、既知のものであって、現在のヨー角を決定するために用いることができる他の任意の基準ヨー角であってもよい。
カメラ3により撮影された画像において、複数の異なる特徴は識別可能であってよい。図4において、車両1のカメラ3の位置または基準軸に対して異なる角度位置で識別されている特徴F1、F2が示されている。第1特徴F1は正方形で示され、第2特徴は三角形により示されている。3つ以上の特徴と3つ以上の画像をヨー角推定のために用いることができることは言及に値する。また、ヨー角推定のために1つのみの特徴を用いることも可能である。
このようにして、第1および第2特徴F1、F2の上方ペア(特徴F1、F2をカメラ3と結ぶ実線の光線に関連)が第1画像において識別されてよく、第1および第2特徴F1、F2の下方ペア(特徴F1、F2をカメラ3と結ぶ破線の光線に関連)が異なる時点で第2画像において識別されてよい。
また、第2アルゴリズムにおいて、トレーラ2の特徴は、特徴検出およびマッチングのアルゴリズムを用いて位置特定およびマッチングされてよい。例えば、ハリスのコーナー検出法、スケール不変特徴変換(SIFT)アルゴリズム、高速化ロバスト特徴(SURF)アルゴリズム、バイナリロバスト不変スケーラブルキーポイント(BRISK)アルゴリズム、バイナリロバスト独立基本特徴(BRIEF)、方向付きFASTおよび回転BRIEF(ORB)アルゴリズムまたは他の好適な特徴検出およびマッチングのアルゴリズムを用いてよい。
特徴検出およびマッチングのアルゴリズムはトレーラ上にあるかまたはトレーラ上にはない画像特徴を検出してよい。トレーラ特徴を非トレーラ特徴からセグメント化するために、複数の様々な方法が用いられてよい。例えば、直線前進走行の場合、トレーラ特徴は、経時的に同一位置のままである特徴を探すことにより非トレーラ特徴からセグメント化されてよい。代替的に、背景特徴のモーションは車両の既知のモーションを用いて経時的にモデル化されてよい。これは、速度と操舵に関するCANデータから抽出されてよい。この場合、基本行列のエピポーラ拘束にフィットしない特徴をトレーラ特徴として考慮してよい。
角度推定α1、α2を構築するために、第1および第2アルゴリズムは同一の検出された特徴を用いてよいことは言及に値する。従って、言い換えれば、両方のアルゴリズムについて特徴検出は一度のみ行われるだけでよい。
角度推定α1、α2を決定するために、特徴F1、F2をカメラ3と結ぶ光線Rが用いられる。撮影画像の特徴F1、F2をカメラ3の位置と関連付けるために、カメラ3の較正情報を用いて、画像座標における特徴F1、F2の位置をカメラ3の空間領域へと変換してよく、これにより、それぞれの特徴F1、F2の位置をこのカメラ位置と結ぶ光線Rを提供することが可能になる。言い換えれば、カメラ位置と特徴位置とを関連付けるために、画像上の特徴F1、F2の位置は、カメラ3の較正情報に基づいて、車両1の局所領域、それぞれ車両1のカメラ3の局所領域において変換される。
カメラ位置と第1および第2画像における1つまたは複数の特徴との間の光線Rを決定した後、第1特徴F1および/または第2特徴F2のピボット角度が決定される。図4において、α1は2つの撮影画像間の第1特徴F1のピボット角度の角度推定を示し、α2はこれら画像間の第2特徴F2のピボット角度の角度推定を示す。実施形態において、トレーラの1つのみまたは3つ以上の特徴が決定され、複数の画像にわたって追跡される。さらに、好ましくは、ヨー角推定の結果を向上させるために、3つ以上の画像が異なる時点で撮影される。
上述のように、撮影画像のうちの1つは、車両1に対するトレーラ2の角度位置が既知である基準画像となってよい。牽引車両1に対するトレーラ2のこの既知の角度構成において、ヨー角YAは0°であってよく、他の任意の角度値であってもよい。従って、この少なくとも1つの角度推定α1、α2に基づいて、ヨー角YAは算出されてよい。図4を再び参照すると、例えば、破線で示される光線Rの角度構成が既知であってよいのは、この光線Rを参照して画像を撮影する場合、トレーラ2は車両1に対して既知の基準方向を有するからである。
上記第2アルゴリズムは非常にロバストであり、つまり画質が劣悪な場合でも角度推定を提供するが、角度推定の正確度は低い。
本開示において、各特徴F1、F2について、提示されるアルゴリズムのうちの1つ(第1または第2アルゴリズム)が選択されてよく、少なくとも1つの角度推定α1、α2を提供するために用いられてよい。この選択は1つまたは複数の条件をチェックすることによりなされてよい。
好ましい実施形態において、少なくとも1つの直交二等分線B1、B2(図2、図3)を用いる第1アルゴリズムは、好ましくは少なくとも1つの角度推定α1、α2を決定するために用いられてよい。より詳細には、この第1アルゴリズムに基づく少なくとも1つの角度推定α1、α2の計算を試みるために、複数のチェックが行われる。このチェックの結果に応じて、第1または第2アルゴリズムを用いて、特定の特徴についての角度推定を決定する。
チェックされる第1条件は、直交二等分線を作成するために用いられる底辺線BLの長さLである(図2参照)。この底辺線BLは、第1および第2画像の特定の特徴F1、F2の位置を結ぶ直線であってよい。長さLが所定の長さ閾値未満である場合、第1アルゴリズムの代わりに第2アルゴリズムが用いられるのは、第1アルゴリズムは著しいノイズを有する可能性があるからである。
チェックされる第2条件は、一連の撮影画像における不均一な地面に起因するトレーラ2のピッチおよび/またはロールの変化が生じるか否かである。ピッチおよび/またはロールの変化が所定のピッチ/ロール閾値を超過する場合、第2アルゴリズムの代わりに第1アルゴリズムが用いられるのは、第2アルゴリズムは著しいノイズを有する可能性があるからである。
さらに、チェックされる第3条件は、少なくとも1つの角度推定α1、α2の決定前に特徴が変換される基準平面を構成する上記水平面に対する垂直方向における特徴F1、F2の距離である。この基準平面に対するある特徴の垂直方向の距離が所定の距離閾値未満である場合、第1アルゴリズムの代わりに第2アルゴリズムが用いられるのは、第1アルゴリズムは著しいノイズを有する可能性があるからである。
このようにして、チェックされる上記基準または条件のうちの1つまたは複数が満たされる場合、第1アルゴリズムはスキップされ、第2アルゴリズムが用いられ、この少なくとも1つの角度推定α1、α2が決定される。
どのアルゴリズムに基づいて少なくとも1つの角度推定α1、α2が決定されるか、各特徴F1、F2について別々の決定がなされてよい。従って、言い換えれば、角度推定α1、α2は同一または異なるアルゴリズムに基づいて計算されてよい。
理想的な条件下において、あるアルゴリズムに基づく複数の角度推定を構築する場合、第1角度推定α1および少なくとも1つのさらなる角度推定α2は等しい(α1=α2)ものであり、ヨー角YAを示すものである。その一方、ノイズとミスマッチに起因して、角度推定α1、α2の値は異なる場合がある。ヨー角決定の質を向上させるために3つ以上の角度推定を構築することができることは言及に値する。
異なる値を有する複数の角度推定α1、α2に基づいてヨー角YAを決定するために、統計的計測を用いてよい。第1実施形態において、2つ以上の角度推定α1、α2の中央値を用いてヨー角YAを決定してよい。他の実施形態において、統計的方法を用いて2つ以上の角度推定α1、α2に基づいてヨー角YAを決定してよい。統計的方法は、例えばRANSACアルゴリズム(RANSAC:random sample consensus)または最小二乗アルゴリズムであってよい。
撮影画像上において可視の全ての特徴がヨー角YAの計算に等しく好適であるわけではないようであった。演算の複雑さとロバストネスを小さくするために、そのような特徴が選択され、ヨー角YAを決定するためにさらに用いられ、これにより、実際のヨー角に非常に近いピボット角度が得られる。特徴選択のために、これらの特徴のみがそれ以降の画像において追跡され、これにより、実際のヨー角の周りの一定の窓における角度推定α1、α2が得られる。例えば、窓は上方境界と下方境界により定義されてよく、この上方および下方境界はこの実際のヨー角の周りの角度窓を定義する。例えば、窓は2°~10°、特に3°~5°の距離にわたって広がってよい。最後の2つ以上のヨー角決定ステップにおいてこの窓内のピボット角度を導いた全ての特徴は、次の撮影画像中においてさらに追跡される。
複数の画像について特定のトレーラ特徴を追跡する場合、トレーラ2の動きに起因して、この特徴のサンプルは円形のセグメントに配置されてよい。この円形のセグメントの中心は牽引棒4の位置を示す。従って、複数の画像にわたる特定のトレーラ特徴を追跡することにより、牽引棒4の位置を導出することができる。
ノイズを緩和するために、牽引棒4の位置の決定は、複数の画像にわたる期間に追跡される複数のトレーラ特徴を考慮に入れてよい。各トレーラ特徴は所定の中心推定を有する円形のセグメントに対応してよい。この複数の中心推定についての統計的方法を適用することにより、牽引棒4の実際の位置を展開することができる。統計的方法は、例えばRANSACアルゴリズムまたは最小二乗アルゴリズムであってよい。
図5は、牽引車1の前後方向軸LAVに対するトレーラ2のヨー角YAを決定する方法の方法ステップを示すブロック図を示す。
第1ステップとして、トレーラの第1および第2画像が撮影される(S10)。
画像撮影後、第1および第2画像上において可視のトレーラの少なくとも1つの特徴が決定される(S11)。
さらに、少なくとも1つの角度推定を計算するための少なくとも第1および第2アルゴリズムが提供される(S12)。
第1特徴について少なくとも第1角度推定が提供される。第1選択肢において、角度推定を計算するために第1または第2アルゴリズムを用いるべきかをこの第1特徴についての1つまたは複数の基準に基づいて決定し、この第1特徴について選択されたアルゴリズムに基づいてこの第1角度推定を計算することにより、この少なくとも1つの角度推定が提供される(S13A)。
第2選択肢において、この第1および第2アルゴリズムに基づいてこの第1特徴についての角度推定を計算し、第1アルゴリズムにより得られた角度推定または第2アルゴリズムにより得られた角度推定がさらなる処理に用いられるか否かを1つまたは複数の基準に基づいて決定することにより、この少なくとも1つの角度推定が提供される(S13B)。
最後に、ヨー角が、この少なくとも1つの角度推定に基づいて計算される(S14)。
なお、明細書と図面は提案される発明の原理を例示するに過ぎないことに留意すべきである。当業者であれば、明示的に本開示において説明または図示されていなくても、本発明の原理を具現化する様々な構成を実施できるだろう。
1 車両
2 トレーラ
3 カメラ
4 牽引棒
α1 第1角度推定
α2 第2角度推定
B1 第1直交二等分線
B2 第2直交二等分線
BL 底辺線
F1 第1特徴
F2 第2特徴
IP1 第1交点
IP2 第2交点
L 長さ
LAT トレーラの前後方向軸
LAV 車両の前後方向軸
R 光線
YA ヨー角

Claims (15)

  1. 牽引車両(1)の前後方向軸(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法であって、
    -カメラ(3)を用いて前記トレーラ(2)の少なくとも第1および第2画像を撮影するステップにおいて、前記車両(1)に対する前記トレーラ(2)の方向が前記少なくとも2つの画像上において異なる、ステップ(S10)と、
    -第1および第2画像上において可視の前記トレーラ(2)の少なくとも第1特徴(F1)を決定するステップ(S11)と、
    -前記少なくとも第1特徴に基づいて、少なくとも1つの角度推定を計算するための少なくとも第1および第2アルゴリズムを提供するステップ(S12)と、
    -前記第1特徴(F1)について少なくとも第1角度推定(α1)を提供するステップにおいて、
    前記第1角度推定(α1)を計算するために前記第1または前記第2アルゴリズムを用いるべきかを各特徴(F1)についての1つまたは複数の基準に基づいて決定し、第1特徴(F1)について選択されたアルゴリズムに基づいて前記第1角度推定(α1)を計算することにより提供するステップ(S13A)、または
    前記第1および前記第2アルゴリズムに基づいて前記第1特徴(F1)についての第1角度推定(α1)を計算し、前記第1アルゴリズムにより得られた前記第1角度推定(α1)または前記第2アルゴリズムにより得られた第1角度推定(α1)がさらなる処理に用いられるか否かを1つまたは複数の基準に基づいて決定することにより提供するステップ(S13B)と、
    -前記ヨー角(YA)を前記第1角度推定(α1)に基づいて計算するステップ(S14)と、を備える方法。
  2. 前記第1アルゴリズムは、
    -前記カメラ(3)と前記第1画像上の決定された第1特徴との間の光線を水平面上に投影することにより、第1投影特徴位置(PFP1a)を得て、前記カメラ(3)と前記第2画像上の決定された第1特徴との間の光線を前記水平面上に投影することにより、第2投影特徴位置(PFP1b)を得て、
    -第1直交二等分線(B1)を、前記第1投影特徴位置(PFP1a)の位置と前記第2投影特徴位置(PFP1b)の位置との間に構築し、
    -基準軸またはさらなる直交二等分線との第1直交二等分線(B1)の第1交点(IP1)を決定し、
    -第1角度推定(α1)は、第1投影特徴位置(PFP1a)から前記第1交点(IP1)までの第1線と、第2投影特徴位置(PFP1b)から前記第1交点(IP1)までの第2線との間であって、前記水平面上における角度である、前記第1角度推定(α1)を計算するように構成される、請求項1に記載の方法。
  3. 第1および第2画像上において可視の前記トレーラ(2)の第2特徴(F2)は決定され、前記第2特徴(F2)は前記第1特徴(F1)とは異なる前記トレーラ(2)の位置に配置され、角度推定を提供するために前記第1アルゴリズムは前記トレーラ(2)の2つ以上の特徴を用い、前記第1アルゴリズムは、
    -前記カメラ(3)と前記第1画像上の決定された第2特徴(F2)との間の光線を水平面上に投影することにより、第3投影特徴位置(PFP2a)を得て、前記カメラ(3)と前記第2画像上の決定された第2特徴(F2)との間の光線を前記水平面上に投影することにより、第4投影特徴位置(PFP2b)を得て、
    -第2直交二等分線(B2)を、前記第3投影特徴位置(PFP2a)の位置と前記第4投影特徴位置(PFP2b)の位置との間に構築し、
    -基準軸、前記第1直交二等分線(B1)またはさらなる直交二等分線との第2直交二等分線(B2)の第2交点(IP2)を決定し、
    -第2角度推定(α2)は、第3投影特徴位置(PFP2a)から前記第2交点(IP2)までの第1線と、第4投影特徴位置(PFP2b)から前記第2交点(IP2)までの第2線との間であって、前記水平面上における角度である、前記第2角度推定(α2)を計算するように構成される、請求項2に記載の方法。
  4. 前記第2アルゴリズムは、第1角度推定(α1)を計算するように構成され、前記第1角度推定(α1)は、前記牽引車両(1)の固定点に対する、前記第1画像上の前記第1特徴(F1)と前記第2画像上の前記第1特徴(F1)との間の水平面におけるピボット角度を特徴付ける、請求項1~3の何れか1項に記載の方法。
  5. 第1および第2画像上において可視の前記トレーラ(2)の第2特徴(F2)は決定され、前記第2特徴(F2)は前記第1特徴(F1)とは異なる前記トレーラ(2)の位置に配置され、前記第2アルゴリズムは、第2角度推定(α2)を計算するように構成され、前記第2角度推定(α2)は、前記牽引車両(1)の前記固定点に対する、前記第1画像上の前記第2特徴(F2)と前記第2画像上の前記第2特徴(F2)との間の水平面におけるピボット角度を特徴付ける、請求項4に記載の方法。
  6. 1つまたは複数の基準に基づいて決定する前記ステップは、前記第1画像上の特徴(F1、F2)と前記第2画像上の前記特徴(F1、F2)との間の底辺線(BL)の長さ(L)を決定し、前記長さ(L)を長さ閾値と比較することを含む、請求項1~5の何れか1項に記載の方法。
  7. 1つまたは複数の基準に基づいて決定する前記ステップは、前記トレーラ(2)のロールおよび/またはピッチを決定し、前記ロールをロール閾値と比較しかつ/または前記ピッチをピッチ閾値と比較することを含む、請求項1~6の何れか1項に記載の方法。
  8. 1つまたは複数の基準に基づいて決定する前記ステップは、水平方向の基準面に対する特徴(F1、F2)の垂直方向の距離を決定し、前記垂直方向の距離を距離閾値と比較することを含む、請求項1~7の何れか1項に記載の方法。
  9. 前記第2アルゴリズムにおいて、少なくとも1つの角度推定(α1、α2)を計算することは、前記固定点と第1および第2画像における前記少なくとも1つの特徴(F1、F2)との間の光線(R)を決定することを含む、請求項1~8の何れか1項に記載の方法。
  10. 前記光線(R)を決定するために、前記第1および/または第2特徴(F1、F2)の位置を前記画像の局所領域から前記車両(1)の局所領域へと変換するために、カメラ較正情報が用いられる、請求項9に記載の方法。
  11. 前記ヨー角(YA)を計算するために、前記第1および第2特徴(F1、F2)に加えて、前記トレーラ(2)の少なくとも1つのさらなる特徴が用いられる、請求項1~10の何れか1項に記載の方法。
  12. 前記ヨー角(YA)は、前記少なくとも2つの角度推定に基づいて中央値を構築することにより、前記少なくとも2つの角度推定の平均値を構築することによりまたは前記角度推定に適用される統計的方法を用いることにより計算される、請求項1~11の何れか1項に記載の方法。
  13. 角度窓を決定するステップにおいて、前記角度窓は、ヨー角(YA)の周りに上方境界と下方境界とを備え、1セットの特徴を決定し、前記角度窓内の角度推定が得られ、以降のヨー角(YA)計算に前記決定されたセットの特徴を用いるステップをさらに備える、請求項1~12の何れか1項に記載の方法。
  14. 牽引車両(1)の前後方向軸(LAV)に対するトレーラ(2)のヨー角(YA)を決定するシステムであって、前記トレーラ(2)の画像を撮影するカメラ(3)と、前記撮影された画像を処理する処理エンティティと、を備え、
    -カメラ(3)を用いて前記トレーラ(2)の少なくとも第1および第2画像を撮影するステップにおいて、前記車両(1)に対する前記トレーラ(2)の方向が前記少なくとも2つの画像上において異なる、ステップ(S10)と、
    -第1および第2画像上において可視の前記トレーラ(2)の少なくとも第1特徴(F1)を決定するステップ(S11)と、
    -前記少なくとも第1特徴に基づいて、少なくとも1つの角度推定を計算するための少なくとも第1および第2アルゴリズムを提供するステップ(S12)と、
    -前記第1特徴(F1)について少なくとも第1角度推定(α1)を提供するステップにおいて、
    前記第1角度推定(α1)を計算するために前記第1または前記第2アルゴリズムを用いるべきかを各特徴(F1)についての1つまたは複数の基準に基づいて決定し、前記第1特徴(F1)について選択されたアルゴリズムに基づいて前記第1角度推定(α1)を計算することにより提供するステップ(S13A)、または
    前記第1および前記第2アルゴリズムに基づいて前記第1特徴(F1)についての第1角度推定(α1)を計算し、前記第1アルゴリズムにより得られた前記第1角度推定(α1)または前記第2アルゴリズムにより得られた前記第1角度推定(α1)がさらなる処理に用いられるか否かを1つまたは複数の基準に基づいて決定することにより提供するステップ(S13B)と、
    -前記ヨー角(YA)を前記第1角度推定(α1)に基づいて計算するステップ(S14)と、を実行するようにさらに構成されるシステム。
  15. 請求項14に記載のシステムを備える車両。
JP2022552586A 2020-03-31 2020-12-01 車両トレーラ角度計算方法及びシステム Active JP7437523B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20167191.4 2020-03-31
EP20167191.4A EP3889906A1 (en) 2020-03-31 2020-03-31 Method and system for calculating vehicle trailer angle
PCT/EP2020/084111 WO2021197651A1 (en) 2020-03-31 2020-12-01 Method and system for calculating vehicle trailer angle

Publications (3)

Publication Number Publication Date
JP2023516661A true JP2023516661A (ja) 2023-04-20
JPWO2021197651A5 JPWO2021197651A5 (ja) 2023-11-17
JP7437523B2 JP7437523B2 (ja) 2024-02-22

Family

ID=70110144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552586A Active JP7437523B2 (ja) 2020-03-31 2020-12-01 車両トレーラ角度計算方法及びシステム

Country Status (5)

Country Link
US (1) US20230322032A1 (ja)
EP (1) EP3889906A1 (ja)
JP (1) JP7437523B2 (ja)
CN (1) CN115335862A (ja)
WO (1) WO2021197651A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4012330B1 (en) * 2020-12-10 2024-07-03 Volvo Truck Corporation A system and method for estimating an articulation angle of an articulated vehicle combination
US11897469B2 (en) * 2021-10-20 2024-02-13 Continental Autonomous Mobility US, LLC System and method for adjusting trailer reverse assist parameters based upon estimated trailer position

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242943A (ja) * 2005-02-04 2006-09-14 Canon Inc 位置姿勢計測方法及び装置
JP2006246951A (ja) * 2005-03-08 2006-09-21 Konica Minolta Medical & Graphic Inc 画像処理装置
DE102011113197A1 (de) * 2011-09-10 2013-03-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger
DE102016117284A1 (de) * 2016-09-14 2018-03-15 Connaught Electronics Ltd. Bestimmen einer Position einer Anhängerkupplung
EP3537382A1 (en) * 2018-03-09 2019-09-11 Continental Automotive GmbH Device and method for calculating a vehicle trailer pose using a camera
EP3552926A1 (en) * 2018-04-09 2019-10-16 Continental Automotive GmbH Apparatus for determining an angle of a trailer attached to a vehicle

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2505666B (en) * 2012-09-06 2015-07-01 Jaguar Land Rover Ltd Method and system for preventing instability in a vehicle-trailer combination
JP5868816B2 (ja) * 2012-09-26 2016-02-24 楽天株式会社 画像処理装置、画像処理方法、及びプログラム
US9511799B2 (en) * 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
CN105829178B (zh) * 2013-11-18 2018-06-15 罗伯特·博世有限公司 用于牵引车辆的基于矢量的驾驶辅助
US20150286878A1 (en) * 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
US9963004B2 (en) * 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US20160048966A1 (en) * 2014-08-13 2016-02-18 Bendix Commercial Vehicle Systems Llc Learning the distance between cameras for articulated vehicles
US9522699B2 (en) * 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9751558B2 (en) * 2015-03-25 2017-09-05 Ford Global Technologies, Llc Handwheel obstruction detection and inertia compensation
JP2018512593A (ja) * 2015-04-10 2018-05-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両の移動データを使用した車載カメラによる物***置測定
US9821845B2 (en) * 2015-06-11 2017-11-21 Ford Global Technologies, Llc Trailer length estimation method using trailer yaw rate signal
US9527528B1 (en) * 2015-09-04 2016-12-27 Continental Automotive Systems, Inc. Trailer radius indication
US9796228B2 (en) * 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
US10106193B2 (en) * 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10552976B2 (en) * 2017-03-22 2020-02-04 Magna Electronics Inc. Trailer angle detection system for vehicle
US10771776B2 (en) * 2017-09-12 2020-09-08 Sony Corporation Apparatus and method for generating a camera model for an imaging system
JP6972938B2 (ja) * 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
US11941847B2 (en) * 2018-03-19 2024-03-26 Jaguar Land Rover Limited Controller for a vehicle
US11050933B2 (en) * 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
EP3678096B1 (en) * 2019-01-07 2021-06-23 Continental Automotive GmbH Method for calculating a tow hitch position
US11657635B2 (en) * 2019-08-28 2023-05-23 Ford Global Technologies, Llc Measuring confidence in deep neural networks
US11332191B2 (en) * 2019-09-09 2022-05-17 Ford Global Technologies, Llc Trailer sideswipe avoidance system
US11772557B2 (en) * 2019-11-05 2023-10-03 Ford Global Technologies, Llc Guided coaching for vehicle positioning to operate an automated hitching feature

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242943A (ja) * 2005-02-04 2006-09-14 Canon Inc 位置姿勢計測方法及び装置
JP2006246951A (ja) * 2005-03-08 2006-09-21 Konica Minolta Medical & Graphic Inc 画像処理装置
DE102011113197A1 (de) * 2011-09-10 2013-03-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger
DE102016117284A1 (de) * 2016-09-14 2018-03-15 Connaught Electronics Ltd. Bestimmen einer Position einer Anhängerkupplung
EP3537382A1 (en) * 2018-03-09 2019-09-11 Continental Automotive GmbH Device and method for calculating a vehicle trailer pose using a camera
EP3552926A1 (en) * 2018-04-09 2019-10-16 Continental Automotive GmbH Apparatus for determining an angle of a trailer attached to a vehicle

Also Published As

Publication number Publication date
CN115335862A (zh) 2022-11-11
EP3889906A1 (en) 2021-10-06
JP7437523B2 (ja) 2024-02-22
US20230322032A1 (en) 2023-10-12
WO2021197651A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
CN106054174B (zh) 使用雷达和摄像机用于横越交通应用的融合方法
CN106054191B (zh) 车轮检测和其在物体跟踪以及传感器配准中的应用
US20200406967A1 (en) Trailer assist system with enhanced beam length estimation
US8134479B2 (en) Monocular motion stereo-based free parking space detection apparatus and method
EP3678096B1 (en) Method for calculating a tow hitch position
EP2237988B1 (en) Object detection and recognition system
JP3895238B2 (ja) 障害物検出装置及びその方法
JP2021522592A (ja) トレーラ牽引カプラの中心を求める装置および方法
JP2023516661A (ja) 車両トレーラ角度計算方法およびシステム
Zhang et al. Robust inverse perspective mapping based on vanishing point
CN111572633B (zh) 转向角度检测方法、装置及***
JP2023514846A (ja) 車両トレーラ角度算出方法およびシステム
CN115298696A (zh) 计算车辆拖车角度的方法和***
JPWO2021197651A5 (ja)
JP2023516660A (ja) 車両トレーラ角度計算方法およびシステム
JPWO2021197652A5 (ja)
JPWO2021197650A5 (ja)
JPWO2021197649A5 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230830

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20231108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240209

R150 Certificate of patent or registration of utility model

Ref document number: 7437523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150