JP7437523B2 - 車両トレーラ角度計算方法及びシステム - Google Patents

車両トレーラ角度計算方法及びシステム Download PDF

Info

Publication number
JP7437523B2
JP7437523B2 JP2022552586A JP2022552586A JP7437523B2 JP 7437523 B2 JP7437523 B2 JP 7437523B2 JP 2022552586 A JP2022552586 A JP 2022552586A JP 2022552586 A JP2022552586 A JP 2022552586A JP 7437523 B2 JP7437523 B2 JP 7437523B2
Authority
JP
Japan
Prior art keywords
feature
angle
trailer
algorithm
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022552586A
Other languages
English (en)
Other versions
JP2023516661A (ja
JPWO2021197651A5 (ja
Inventor
プラウマン・ロビン
Original Assignee
コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング filed Critical コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
Publication of JP2023516661A publication Critical patent/JP2023516661A/ja
Publication of JPWO2021197651A5 publication Critical patent/JPWO2021197651A5/ja
Application granted granted Critical
Publication of JP7437523B2 publication Critical patent/JP7437523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58Auxiliary devices
    • B60D1/62Auxiliary devices involving supply lines, electric circuits, or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60DVEHICLE CONNECTIONS
    • B60D1/00Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/245Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating push back or parking of trailers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、一般に、車両支援システムの分野に関する。特に、本発明は、牽引車両と連結されているトレーラのヨー角を車両のカメラにより提供される画像情報に基づいて計算する方法及びシステムに関する。
牽引車両に対するトレーラの角度を車両のカメラにより提供される画像情報に基づいて計算する方法は既知である。
特に、トレーラの旋回点の場所を考慮に入れずにトレーラヨー角の信頼性高い近似を提供する第1タイプの方法が知られている。しかしながら、第1タイプの方法のヨー角近似の正確度は、ヨー角が大きい場合に低い。
加えて、トレーラの旋回点の場所を考慮に入れる第2タイプの方法が知られている。しかしながら、ある状況において、第2タイプの方法は高ノイズを有する。
本発明の実施形態の課題は、トレーラのヨー角を高いロバストネスと高い信頼性で計算する方法を提供することである。本課題は、独立請求項の特徴により解決される。好ましい実施形態は従属請求項に記載されている。明示的に記載されていないが、本発明の実施形態は互いに自由に組み合わせ可能である。
1つの観点によると、本発明は、牽引車両の前後方向軸に対するトレーラのヨー角を決定する方法に関する。本方法は以下の方法を備える。
まず、カメラを使ってトレーラの少なくとも第1及び第2画像が撮影される。第1及び第2画像は、車両に対するトレーラの方向が少なくとも2つの画像上において異なるように撮影される。
この画像の撮影後、トレーラの少なくとも第1特徴が決定される。この第1特徴は第1及び第2画像上において可視である必要がある。
加えて、この少なくとも第1特徴に基づいて、角度推定を計算する少なくとも第1及び第2アルゴリズムが提供される。この第1アルゴリズムは、トレーラの回転幾何を調べ、特にトレーラの旋回点の場所を考慮に入れるアルゴリズムであってよい。第2アルゴリズムは、トレーラの異なる回転位置における2つ又はそれより多い特徴を考慮に入れることにより、トレーラのヨー角を近似するアルゴリズムであってよい。この第2アルゴリズムは、トレーラの回転幾何を調べる必要はない。
この第1アルゴリズムと第2アルゴリズムとの少なくとも一方に基づいて、この第1特徴について少なくとも第1角度推定が提供される。
第1実施形態によると、第1角度推定の提供は、この第1角度推定を計算するために第1又は第2アルゴリズムを使うべきかを各特徴についての1つ又はそれより多い複数の基準に基づいて決定し、この第1特徴について選択されたアルゴリズムに基づいてこの第1角度推定を計算することにより行われる。従って、言い換えれば、どのアルゴリズムを使うかについての決定は、角度推定の計算前になされる。
第2実施形態によると、第1角度推定の提供は、この第1及び第2アルゴリズムに基づいて少なくとも1つの特徴についての第1角度推定を計算し、第1アルゴリズムにより得られた第1角度推定又は第2アルゴリズムにより得られた第1角度推定がさらなる処理に使われるか否かを1つ又はそれより多い複数の基準に基づいて決定することにより行われる。従って、言い換えれば、第2形態においては、第1角度推定は、複数のアルゴリズムに基づいて計算され、どの角度推定が使われるべきかについての決定は、この角度推定計算の結果を考慮に入れてなされる。このようにして、上記第1形態とは対照的に、どのアルゴリズムを使うかについての決定は、角度推定の計算後になされる。
最後に、トレーラのヨー角はこの第1角度推定に基づいて計算される。
この方法が有利であるのは、角度推定を提供するために各特徴について複数の方法からどの方法を使うべきかを決定するからであり、ヨー角決定の結果が非常に正確でロバストであるのは、各特徴について、最も信頼性の高い角度推定結果を提供する好適な方法を選択できるからである。
実施形態によると、各特徴について、第1アルゴリズム、つまりトレーラの回転幾何を利用するアルゴリズムに基づいて角度推定を計算する試みがなされる。1つ又はそれより多い基準、特に所定の基準が満たされないことを理由にこの第1アルゴリズムが失敗する場合、第2アルゴリズムが使われる
実施形態によると、第1アルゴリズムは以下のステップを行うように構成される。
-カメラと第1画像上の決定された第1特徴との間の第1光線が設定され、水平面上に投影されることにより、第1投影特徴位置を得る。同様に、カメラと第2画像上の決定された第1特徴との間の第2光線が設定され、この水平面上に投影されることにより、第2投影特徴位置を得る。
-第1直交二等分線は、第1投影特徴位置の場所と第2投影特徴位置の場所との間に設定される。より詳細には、第1直交二等分線は、第1投影特徴位置の場所と第2投影特徴位置の場所とを結ぶ線の中点を通って直交する直線であってよい。このようにして、第1直交二等分線は水平面に設定されてよい。
-第1直交二等分線の設定後、基準軸線又はさらなる直交二等分線との第1直交二等分線の第1交点が設定される。
-この第1直交二等分線に基づいて、第1角度推定が計算される。第1角度推定は、第1投影特徴位置からこの第1交点までの第1線と、第2投影特徴位置からこの第1交点までの第2線との間であって、水平面上における角度である。
「第1画像又は第2画像上の第1特徴の位置」の記載は、画像特徴の2D画像座標又はそれに対応する光線(例えば、3D単位ベクトルもしくは方位角又は仰角として示される)に関することは言及に値する。2D画像座標は、カメラ較正情報を使って光線へと変換されてよい。
この第1角度推定は牽引車両からトレーラに向かって開口していてよい。
実施形態によると、第1及び第2画像上において可視のトレーラの第2特徴は決定され、この第2特徴は第1特徴とは異なるトレーラの位置に配置される。角度推定を提供するために第1アルゴリズムはトレーラの2つ又はそれより多い特徴を使う。特に、第1アルゴリズムは、
- カメラと第1画像上の決定された第2特徴との間の光線を水平面上に投影することにより、第3投影特徴位置を得て、カメラ(3)と第2画像上の決定された第2特徴との間の光線をこの水平面上に投影することにより、第4投影特徴位置を得て、
- 第2直交二等分線を、第3投影特徴位置の場所と第4投影特徴位置の場所との間に設定し、
- この基準軸、この第1直交二等分線又はさらなる直交二等分線との第2直交二等分線の第2交点を決定し、
- 第2角度推定は、第3投影特徴位置からこの第2交点までの第1線と、第4投影特徴位置からこの第2交点までの第2線との間であって、この水平面上における角度である、この第2角度推定を計算するように構成される。
2つ又はそれより多い特徴を使うことにより、ノイズ及び不一致の影響を低減する様々な特徴に基づいて複数の角度推定を計算できる。
実施形態によると、第2アルゴリズムは、第1角度推定を計算するように構成される。第1角度推定は、牽引車両の固定点に対する、第1画像上の第1特徴と第2画像上の第1特徴との間の水平面における旋回角度を特徴付ける。
実施形態によると、第1及び第2画像上において可視のトレーラの第2特徴は決定され、第2特徴は第1特徴とは異なるトレーラの位置に配置され、第2アルゴリズムは、第2角度推定を計算するように構成され、第2角度推定は、牽引車両の固定点に対する、第1画像上の第2特徴と第2画像上の第2特徴との間の水平面における旋回角度を特徴付ける。第2アルゴリズムにおいて2つ又はそれより多い特徴を使うことにより、ノイズ及び不一致の影響を低減する様々な特徴に基づいて複数の角度推定を計算できる。
実施形態によると、1つ又はそれより多い基準に基づいて決定するステップは、第1画像上の特徴と第2画像上のこの特徴との間の底辺線の長さを決定し、この長さを長さ閾値と比較することを備える。底辺線のこの長さは、第1及び第2画像上で捕捉された第1及び第2特徴を共通の写像又は座標系に変換した後に決定されてよく、この座標系は、車両の1つ又はそれより多い固定点の位置、例えばカメラの位置に関する情報も備えてよい。好ましくは、底辺線の長さがこの長さ閾値未満の場合、角度推定は第1アルゴリズムの代わりに第2アルゴリズムにより提供される。これにより、高ノイズを有する不正確な角度推定を避けられる
実施形態によると、1つ又はそれより多い複数の基準に基づいて決定するステップは、トレーラのロールピッチとの少なくとも一方を決定し、ロールをロール閾値と比較することと、ピッチをピッチ閾値と比較することとの少なくとも一方備える。好ましくは、ロールがロール閾値を超過している場合と、ピッチがピッチ閾値を超過している場合との少なくとも一方の場合、角度推定は第1アルゴリズムの代わりに第2アルゴリズムにより提供される。これにより、高ノイズを有する不正確な角度推定を避けられる
実施形態によると、1つ又はそれより多い基準に基づいて決定するステップは、水平方向の基準面に対する特徴の垂直方向の距離を決定し、この垂直方向の距離を距離閾値と比較することを備える。この垂直方向の距離は、第1及び第2画像上で捕捉された少なくとも1つの特徴を共通の地図又は座標系に変換した後に決定されてよい。この座標系は、車両の1つ又はそれより多い固定点の高さレベル、例えばカメラの高さレベル、特に水平方向の基準平面に対するカメラの高さレベルに関する情報も含んでよい。垂直方向の距離がこの距離閾値未満の場合、角度推定は第1アルゴリズムの代わりに第2アルゴリズムにより提供される。これにより、高ノイズを有する不正確な角度推定を避けられる
実施形態によると、第1又は第2画像において、車両に対するトレーラのヨー角はゼロである。これにより、この画像を「ゼロポーズ画像」として、つまり車両の前後方向軸とトレーラの前後方向軸との厳密な位置合わせの基準として使えるしかしながら、他のヨー角が既知である限り、この別のヨー角値も基準値として使える
実施形態によると、第2アルゴリズムにおいて、この少なくとも1つの角度推定を計算することは、この固定点と第1及び第2画像における少なくとも1つの特徴との間の光線を決定することを備える。この光線は、この固定点とそれぞれの特徴との間に延在する直線に関する。この光線に基づいて、現在の旋回角度を、例えば幾何的方法に基づいて、演算コストを抑えつつ決定できる。
実施形態によると、特に第2アルゴリズムにおいて、この第1特徴と第2特徴との少なくとも一方の位置を光線に変換するためにカメラ較正情報が使われる。例えば、カメラ較正情報を使ってカメラ位置の情報を有することで、画像上のある特徴の位置を、カメラの位置に応じて又はそれに相関付けて場所情報に変換できる。
実施形態によると、この第1特徴と第2特徴との少なくとも一方の位置を画像の局所領域から車両又は車両のある固定点の位置の局所領域へと変換するために、カメラ較正情報が使われる。例えば、カメラ較正情報を使ってカメラ位置を得ることで、画像上のある特徴の位置を、車両に含まれているか取り付けられているカメラの位置に応じて又はそれに相関付けて場所情報に変換できる。
実施形態によると、ヨー角を計算するために、この少なくとも1つの特徴に加えて、トレーラの少なくとも1つのさらなる特徴が使われる。この少なくとも1つのさらなる特徴は、第1特徴とは異なるトレーラの位置に配置される。例えば、第1特徴はトレーラの第1場所における明らかな第1特徴であってよく、第2特徴はトレーラの第2場所における明らかな第2特徴であってよい。2つ又はそれより多い特徴を使うことで、さらなる角度推定が得られ、これによりヨー角決定のロバストネスと信頼性がさらに向上する。
実施形態によると、ヨー角は、第1及び第2アルゴリズムにより提供される少なくとも2つの角度推定に基づいて中央値を設定することにより計算される。これにより、非常に安定したヨー角決定を得られる
他の実施形態によると、ヨー角は、第1及び第2アルゴリズムにより提供される少なくとも2つの角度推定の平均値を設定することにより又はこの角度推定に適用される統計的方法を使うことにより計算される。
実施形態によると、本方法は、角度窓を決定するステップをさらに備える。この角度窓は、このヨー角の周りに上方境界と下方境界とを備えてよい。さらに、1セットの特徴が決定され、このセットの特徴内のこの特徴によりこの角度窓内に位置する角度推定が得られる。この決定されたセットの特徴、好ましくはこのセットの特徴に含まれる特徴のみが以降のヨー角計算に使われる。従って、言い換えれば、以前のヨー角決定の情報を使うことにより、決定されたヨー角に非常に近い角度推定(つまり角度窓内)となるトレーラの2つ又はそれより多い特徴を決定し、決定されたヨー角から著しく逸脱する角度推定(つまり角度窓外)となるような特徴は追跡されない。これにより、角度推定の演算の複雑さと正確度を著しく低減できる。
実施形態によると、過小評価を矯正するために、計算されたヨー角の値はある程度分又はある割合分だけ増加される。計算結果の過小評価を矯正するために、例えば、計算されたヨー角は5%から15%分、特に10%分だけスケール(加減)されてよい。
実施形態によると、第1アルゴリズムにおいて、カメラと車両のトウボールとが、垂直方向に方向付けられた平面であって、牽引車両の前後方向軸を含む平面に配置されている場合、基準軸は牽引車両のこの前後方向軸である。
別の実施形態によると、第1アルゴリズムにおいて、カメラとトウボールとの少なくとも一方が牽引車両の前後方向軸に対して横方向オフセットを有する場合、基準軸はカメラとトウボールとの間に延在する直線である。これにより、カメラとトウボールとの間の横方向オフセットを補償できる。
実施形態によると、カメラは、車両のリアビューカメラである。リアビューカメラに基づいて、技術的コストを抑えてトレーラの画像を撮影できる。
さらなる観点によると、牽引車両の前後方向軸に対するトレーラのヨー角を決定するシステムが開示される。本システムは、トレーラの画像を撮影するカメラと、この撮影された画像を処理する処理実体と、を備える。本システムは、
- カメラを使ってトレーラの少なくとも第1及び第2画像を撮影するステップにおいて、車両に対するトレーラの方向が少なくとも2つの画像上において異なる、ステップと、
- 第1及び第2画像上において可視のトレーラの少なくとも第1特徴を決定するステップと、
- 少なくとも第1特徴に基づいて、少なくとも1つの角度推定を計算する少なくとも第1及び第2アルゴリズムを提供するステップと、
- 第1特徴について少なくとも第1角度推定を提供するステップであって、
・第1角度推定を計算するために第1又は第2アルゴリズムを使うべきかを各特徴についての1つ又はそれより多い基準に基づいて決定し、第1特徴について選択されたアルゴリズムに基づいて第1角度推定を計算するステップ、もしくは
・第1及び第2アルゴリズムに基づいて第1特徴についての第1角度推定を計算し、第1アルゴリズムにより得られた第1角度推定又は第2アルゴリズムにより得られた第1角度推定がさらなる処理に使われるか否かを1つ又はそれより多い基準に基づいて決定するステップ
によって、第1特徴について少なくとも第1角度推定を提供するステップと、
- ヨー角を第1角度推定に基づいて計算するステップと、を実行するようにさらに構成される。
本方法の1実施形態として記載された上記特徴の何れも、本開示のシステムにおけるシステム特徴としても適用可能である。
さらに別の形態によると、上記形態の何れか1つによるシステムを備える車両が開示される。
本開示で使われる「車両」の用語は、乗用車、貨物自動車、バス、列車又は任意の他の船舶に関してよい。
本開示で使われる「ヨー角」の用語は、車用の前後方向軸とトレーラの前後方向軸との間の旋回角度に関してよい。
本開示で使われる「中央値」の用語は、データサンプル又は確率分布の上半分と下半分を分ける値に関してよい。
本発明で使われる用語「本質的に」又は「略」は、
厳密な値に対する+/-10%、好ましくは+/-5%の逸脱意味することと、
関数交通法規との少なくとも一方に重要ではない変化の形での逸脱を意味すること
との少なくとも一方を意味する。
その具体的な特徴と有利な点とを備える本発明の様々な観点は、以下の詳細な説明と添付の図面から容易に理解されるだろう。
図1は、トレーラを牽引する車両の例示的な上面図を示す。 図2は、第1アルゴリズムによる、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第1特徴に基づく角度推定を概略的に示す。 図3は、第1アルゴリズムによる、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第1及び第2特徴に基づく2つの角度推定を概略的に示す。 図4は、第2アルゴリズムによる、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第1及び第2特徴に基づく角度推定を概略的に示す。 図5は、牽引車の前後方向軸に対するトレーラのヨー角を決定する方法のステップを示す概略的なブロック図を示す。
以下、例示的な実施形態が示される添付の図面を参照して本発明をより完全に説明する。図中の実施形態は好ましい実施形態に関する一方、実施形態に関連して説明される全ての要素及び特徴は、適切である限り、特に上記した任意の他の実施形態に関連する、本明細中において説明される任意の他の実施形態及び特徴とも組み合わせて用いられてよい。しかしながら、本発明は、本明細書に記載されている実施形態に限定されると見なされるべきではない。以下の説明を通して、同様の参照符号は、該当する場合、同様の要素、部材、アイテム又は特徴を示すために用いられている。
明細書、特許請求の範囲、実施形態例と、図面との少なくともいずれかにより開示されている本発明の特徴は、別個とその任意の組み合わせの両方において、その様々な形態において本発明を実現する材料であってよい。
図1は、トレーラ2を牽引する車両1の上面図を示す。車両1は、車両1の中心を通る前後方向軸LAVを備える。同様に、トレーラ2は、トレーラ2の中心を通る前後方向軸LATを備える。トレーラ2は、トウボール4を備えるトレーラヒッチを使って車両1と連結されている。
いくつかの走行状況において、車両1の前後方向軸LAV及びトレーラ2の前後方向軸LATは平行に配置されていない場合があり、互いに一致しない場合があるが、これらの軸はヨー角YAを閉じ込めるだろう。言い換えれば、ヨー角YAは、車両1の前後方向軸LAVに対するトレーラ2の前後方向軸LATの角度の逸脱を定義している。ヨー角YAは、トレーラ2の前後方向軸LATと車両1の前後方向軸LAVとを含む水平方向平面において測定されてよい。
ヨー角YAを得ることは、とりわけ、例えばトレーラ支援システムにおいて有利である。
ヨー角YAを決定するために、トレーラ2の少なくとも一部の複数の画像がカメラ3を使って撮影される。カメラ3は、例えば、車両1のリアビューカメラであってよく、リアビューカメラ後退時に車両1の周辺の画像の撮影に使われるだろう。撮影画像の1つは、牽引車両1に対するトレーラ2の既知の角度配置を示してよい。この画像は、ヨー角YAを算出する基準として用いられてよい。この、牽引車両1に対するトレーラ2の既知の角度配置において、ヨー角YAは0°であってよく、他の任意の角度値であってもよい。
図2は、トレーラ2が牽引車両1に対して異なるヨー角YAを有する異なる時点におけるトレーラ2の第1特徴の角度関係を示す概略図を示す。
カメラ3は、車両1に対するトレーラ2の角度位置が異なっている、異なる時点における2つ又はそれより多い画像を撮影してよい。例えば、画像系列が撮影されてよい。
本例において、第2画像は、ヨー角YA=0°における、車両に対するトレーラの方向を示してよい。
経時的なトレーラ2の角度移動を理由に、トレーラで検出されるある特徴が第1及び第2画像において異なる位置に現れる場合がある。図2において、第1特徴は正方形で示される。
第1特徴の上方表示(特徴をカメラ3と結ぶ実線の光線Rに関連)は第1画像において識別され、第1特徴の下方表示(特徴をカメラ3と結ぶ破線の光線Rに関連)は異なる時点における第2画像において識別される。各画像における第1特徴の場所を車両1の場所、特に車両1の所定の固定点と相関付けるために、カメラ3の較正情報が用いられてよい。特に、第1特徴をカメラ3と結ぶ光線Rを決定するために、カメラ3の較正情報が用いられ、画像座標におけるこの第1特徴の場所を光線へと変換してよい。言い換えれば、カメラ位置と特徴位置とを関連付けるために、画像上の特徴の場所はカメラ3の較正情報に基づいて車両の固定点の位置と相関付けられる。
トレーラの特徴は、特徴検出及びマッチングのアルゴリズムを使って位置特定及びマッチングされる。例えば、ハリスのコーナー検出法、スケール不変特徴変換(SIFT)アルゴリズム、高速化ロバスト特徴(SURF)アルゴリズム、バイナリロバスト不変スケーラブルキーポイント(BRISK)アルゴリズム、バイナリロバスト独立基本特徴(BRIEF)、方向付きFAST及び回転BRIEF(ORB)アルゴリズム又は他の好適な特徴検出及びマッチングアルゴリズムを使ってよい。
特徴検出及びマッチングアルゴリズムはトレーラ上にあるか又はトレーラ上にはない画像特徴を検出してよい。トレーラ特徴を非トレーラ特徴から区分けるために、複数の様々な方法が用いられてよい。例えば、直線前進走行の場合、トレーラ特徴は、経時的に同一位置のままである特徴を探すことにより非トレーラ特徴から区分けられてよい。代替的に、背景特徴の動き(モーションは車両の既知のモーションを使って経時的にモデル化されてよい。これは、速度と操舵に関するCANデータから抽出されてよい。この場合、基本行列のエピポーラ拘束に当てはまらない特徴をトレーラ特徴として考慮してよい。
ある状況又は条件に応じて、ヨー角YAを示す少なくとも1つの角度推定α1、α2を決定するために単一のアルゴリズムのみを使う代わりに、1セットのアルゴリズムからあるアルゴリズムを選択することが好ましい場合があるように思われた。以下、少なくとも1つの角度推定α1、α2を決定する第及び第2アルゴリズムと、この少なくとも1つの角度推定α1、α2を決定するためにどのアルゴリズムを使うべきか決定するフレームワークが提供される。
第1アルゴリズムに基づくヨー角YAの決定は、図2においてより詳細に示される。この第1及び第2画像間の少なくとも1つの特徴の場所の変化は、少なくとも第1角度推定α1を決定するために使われる
それぞれの画像における特徴識別後、第1及び第2画像の第1特徴は共通の水平面に投影される。より詳細には、カメラ3と第1画像上の決定された第1特徴との間の光線が水平面上に投影されることにより、第1投影特徴位置PFP1aが得られる。さらに、カメラ3と第2画像上の決定された第1特徴との間の光線が同一の水平面上に投影されることにより、第2投影特徴位置PFP1bが得られる。この投影は垂直方向に行われることにより、光線の仰角のみを変化させるのであって、方位角は変化させないことは言及に値する。
第1及び第2投影特徴位置PFP1a、PFP1bを決定した後、第1直交二等分線B1が、この第1及び第2投影特徴位置PFP1a、PFP1bに基づいて設定される。図2に示されるように、第1直交二等分線B1は、第1及び第2投影特徴位置PFP1a、PFP1bを結ぶ線に直交する線である。さらに、第1直交二等分線B1は、この連結線の中点を通る。この第1直交二等分線B1は、本実施形態においては車両の前後方向軸LAVである基準軸と交差する。第1直交二等分線B1と基準軸とのこの交点により回転点が得られ、この回転点の周りにトレーラ2は回転する。より詳細には、この交点によりトウボール4の位置が示される。
この第1直交二等分線B1に基づいて、第1角度推定α1が計算される。この第1角度推定α1は、第1投影特徴位置PFP1aと、第1直交二等分線B1と基準軸との交点と、を結ぶ第1線L1と、第2投影特徴位置PFP1bと、第1直交二等分線B1と基準軸との交点と、を結ぶ第2線L2との間に設けられる角度である。交点は、トウボール4の位置を示してよい。より詳細には、第1角度推定α1は、水平面上に投影された第1画像における第1特徴の場所とこの水平面上に投影された第2画像における第1特徴の場所との間で、(トウボール4の少なくとも略位置である)この第1交点IP1の周りの、この水平面におけるトレーラ2の旋回角度を特徴付ける。
本実施形態において、基準軸が牽引車両1の前後方向軸LAVであるのは、カメラ3及びトウボール4が車両1のこの前後方向軸LAV上に位置しているからである。他の実施形態において、カメラ3又はトウボール4が車両1の前後方向軸LAVに対して横方向のずれ(オフセット)を有する場合又は車両1の前後方向軸LAVに対するカメラ3とトウボール4の横方向オフセットが異なる場合、基準軸はカメラ3とトウボール4を結ぶ直線により形成されてもよい。
第1角度推定α1は、トレーラ2のその実際の回転点の周りのヨー角YAを表す。
図3は、ヨー角YAを設定するために、第1アルゴリズムを使って、異なる時点(トレーラ2が牽引車両1に対する異なるヨー角YAを有する時点)において捕捉されたトレーラ2の第1及び第2特徴(つまり2つの異なる特徴)を使う、図2と同様の実施形態を示す。
カメラ3により撮影された画像上において、複数の異なる特徴が識別可能であってよい。図3に示されるように、この特徴は、車両1の固定点に対して異なる角度位置において識別されている。第1特徴は正方形で示され、第2特徴は三角形により示されている。この固定点はカメラ3の場所であってよく又はトウボール4の場所であってよい。
図3において、第1及び第2特徴の上方の対(PFP1a、PFP2aにより示され、特徴をカメラ3と結ぶ実線の光線に関連)が第1画像において識別され、第1及び第2特徴F1、F2の下方の対(PFP1b、PFP2bにより示され、特徴をカメラ3と結ぶ破線の光線に関連)が異なる時点で第2画像において識別されている。
ヨー角YAの決定は図2の実施形態と同様に行われる。主な相違点は、2つの角度推定α1、α2が設定され、トレーラのヨー角YAがこの2つの角度推定α1、α2に基づいて展開されることである。より詳細には、第1直交二等分線B1を設定し、第1角度推定α1を得ることは、上述したように行われる。
さらに、第2角度推定α2は、第3投影特徴位置PFP2aと第4投影特徴位置PFP2bとを設定し、第2交点IP2を得るために第2直交二等分線B2を設定し、第3投影特徴位置PFP2a及び第4投影特徴位置PFP2bをこの第2交点IP2と結ぶことにより得られる。この第3投影特徴位置PFP2aは、第1画像における第2特徴をこの水平面上に投影することにより得られ、第4投影特徴位置PFP2bは、第2画像における第2特徴をこの水平面上に投影することにより得られる。第2交点IP2は、第2直交二等分線B2が基準軸、本実施形態においては車両の前後方向軸LAVと交差する点であってよい。第2角度推定α2は、第3投影特徴位置PFP2aと交点IP2とを結ぶ第1線と、第4投影特徴位置PFP2bと交点IP2とを結ぶ第2線との間の角度である。
図3の実施形態においても、基準軸が牽引車両1の前後方向軸LAVであるのは、カメラ3及びトウボール4が車両1のこの前後方向軸LAV上に位置しているからである。他の実施形態において、カメラ3又はトウボール4が車両1の前後方向軸LAVに対して横方向のずれ(オフセット)を有する場合又は車両1の前後方向軸LAVに対するカメラ3とトウボール4の横方向オフセットが異なる場合、基準軸はカメラ3とトウボール4を結ぶ直線により形成されてもよい。
トレーラ2の2つより多い特徴が決定され、複数の画像にわたって追跡できることは言及に値する。さらに、好ましくは、ヨー角推定の結果を向上させるために、2つより多い画像が異なる時点で撮影される。これにより、ヨー角決定の質を向上させるために2つより多い角度推定α1、α2を設定できる。
以下、少なくとも1つの角度推定α1、α2を決定する第2アルゴリズムについて図4を参照して説明する。
図4は、トレーラ2の第1及び第2特徴F1、F2の角度関係を説明する概略図であって、この特徴F1、F2が車両1の固定点に対して異なる時点及び異なる角度位置で識別されている、概略図を示す。
カメラ3は、車両1に対するトレーラ2の角度位置が異なっている、異なる時点における2つ又はそれより多い画像を撮影してよい。例えば、画像系列が撮影されてよい。この画像系列は3つ又はそれより多く特に、5つより多い画像を含んでよい。
本例において、第2画像は、ヨー角YA=0°における、車両に対するトレーラ2の方向を示してよい。しかしながら、他の実施形態において、ヨー角YAは、既知のものであって、現在のヨー角の決定に使える他の任意の基準ヨー角であってもよい。
カメラ3により撮影された画像において、複数の異なる特徴は識別可能であってよい。図4において、車両1のカメラ3の位置又は基準軸に対して異なる角度位置で識別されている特徴F1、F2が示されている。第1特徴F1は正方形で示され、第2特徴は三角形により示されている。2つより多い特徴と2つより多い画像をヨー角推定に使えることは言及に値する。また、ヨー角推定のために1つのみの特徴を使うことも可能である。
このようにして、第1及び第2特徴F1、F2の上方の対(特徴F1、F2をカメラ3と結ぶ実線の光線に関連)が第1画像において識別されてよく、第1及び第2特徴F1、F2の下方の対(特徴F1、F2をカメラ3と結ぶ破線の光線に関連)が異なる時点で第2画像において識別されてよい。
また、第2アルゴリズムにおいて、トレーラ2の特徴は、特徴検出及びマッチングのアルゴリズムを使って位置特定及びマッチングされてよい。例えば、ハリスのコーナー検出法、スケール不変特徴変換(SIFT)アルゴリズム、高速化ロバスト特徴(SURF)アルゴリズム、バイナリロバスト不変スケーラブルキーポイント(BRISK)アルゴリズム、バイナリロバスト独立基本特徴(BRIEF)、方向付きFAST及び回転BRIEF(ORB)アルゴリズム又は他の好適な特徴検出及びマッチングアルゴリズムを使ってよい。
特徴検出及びマッチングアルゴリズムはトレーラ上にあるか又はトレーラ上にはない画像特徴を検出してよい。トレーラ特徴を非トレーラ特徴から区分けるために、複数の異なる方法を使ってよいだろう。例えば、直線前進走行の場合、トレーラ特徴は、経時的に同一位置のままである特徴を探すことにより非トレーラ特徴から区分けてよい。代替的に、背景特徴の運動(モーション)を車両の既知のモーションを使って経時的にモデル化てよい。これは、速度と操舵に関するCANデータから抽出されてよい。この場合、基本行列のエピポーラ拘束に当てはまらない特徴をトレーラ特徴として考慮してよい。
角度推定α1、α2の決定に、第1及び第2アルゴリズムは同一の検出された特徴を使ってよいことは言及に値する。従って、言い換えれば、両方のアルゴリズムについて特徴検出は一度のみ行われるだけでよい。
角度推定α1、α2を決定するために、特徴F1、F2をカメラ3と結ぶ光線Rが使われる。撮影画像の特徴F1、F2をカメラ3の位置と関連付けるために、カメラ3の較正情報を使って、画像座標における特徴F1、F2の場所をカメラ3の空間領域へと変換してよく、これにより、それぞれの特徴F1、F2の場所をこのカメラ位置と結ぶ光線Rを提供することが可能になる。言い換えれば、カメラ位置と特徴位置(複数)とを関連付けるために、画像上の特徴F1、F2の位置は、カメラ3の較正情報に基づいて、車両1の局所領域、それぞれ車両1のカメラ3の局所領域において変換される。
カメラ位置と第1及び第2画像における1つ又はそれより多い複数の特徴との間の光線Rを決定した後、第1特徴F1第2特徴F2との少なくとも一方旋回角度が決定される。図4において、α1は2つの撮影画像間の第1特徴F1の旋回角度の角度推定を示し、α2はこれら画像間の第2特徴F2の旋回角度の角度推定を示す。実施形態において、トレーラの1つのみもしくは2つ又はそれより多い特徴が決定され、複数の画像にわたって追跡される。さらに、好ましくは、ヨー角推定の結果を向上させるために、2つより多い画像が異なる時点で撮影される。
上述のように、撮影画像のうちの1つは、車両1に対するトレーラ2の角度位置が既知である基準画像となってよい。牽引車両1に対するトレーラ2のこの既知の角度構成において、ヨー角YAは0°であってよく、他の任意の角度値であってもよい。従って、この少なくとも1つの角度推定α1、α2に基づいて、ヨー角YAは算出されてよい。図4を再び参照すると、例えば、破線で示される光線Rの角度構成が既知であってよいのは、この光線Rを参照して画像を撮影する場合、トレーラ2は車両1に対して既知の基準方向を有するからである。
上記第2アルゴリズムは非常にロバストであり、つまり画質が劣悪な場合でも角度推定を提供するが、角度推定の正確度は低い。
本開示において、各特徴F1、F2について、提示されるアルゴリズムのうちの1つ(第1又は第2アルゴリズム)が選択されてよく、少なくとも1つの角度推定α1、α2を提供するために使われてよい。この選択は1つ又はそれより多い複数の条件を検査することによりなされてよい。
好ましい複数実施形態において、少なくとも1つの直交二等分線B1、B2(図2、図3)を使う第1アルゴリズムは、好ましくは少なくとも1つの角度推定α1、α2を決定するために使われてよい。より詳細には、この第1アルゴリズムに基づく少なくとも1つの角度推定α1、α2の計算を試みるために、複数の検査が行われる。この検査の結果に応じて、第1又は第2アルゴリズムを使って、特定の特徴についての角度推定を決定する。
検査される第1条件は、直交二等分線を作成するために使われる底辺線BLの長さLである(図2参照)。この底辺線BLは、第1及び第2画像の特定の特徴F1、F2の場所を結ぶ直線であってよい。長さLが所定の長さ閾値未満である場合、第1アルゴリズムの代わりに第2アルゴリズムが使われるのは、第1アルゴリズムは著しいノイズを有する可能性があるからである。
検査される第2条件は、一連の撮影画像における不均一な地面に起因するトレーラ2のピッチロールとの少なくとも一方の変化が生じるか否かである。ピッチロールとの少なくとも一方の変化が所定のピッチ又はロール閾値を超過する場合、第2アルゴリズムの代わりに第1アルゴリズムが使われるのは、第2アルゴリズムは著しいノイズを有する可能性があるからである。
加えて検査される第3条件は、少なくとも1つの角度推定α1、α2の決定前に特徴が変換される基準平面を構成する上記水平面に対する垂直方向における特徴F1、F2の距離である。この基準平面に対するある特徴の垂直方向の距離が所定の距離閾値未満である場合、第1アルゴリズムの代わりに第2アルゴリズムが使われるのは、第1アルゴリズムは著しいノイズを有する可能性があるからである。
このようにして、検査される上記基準又は条件のうちの1つ又はそれより多いが満たされる場合、第1アルゴリズムはスキップされ、第2アルゴリズムが用いられ、この少なくとも1つの角度推定α1、α2が決定される。
どのアルゴリズムに基づいて少なくとも1つの角度推定α1、α2が決定されるか、各特徴F1、F2について別々の決定がなされてよい。従って、言い換えれば、角度推定α1、α2は同一又は異なるアルゴリズムに基づいて計算されてよい。
理想的な条件下において、あるアルゴリズムに基づく複数の角度推定を設定する場合、第1角度推定α1及び少なくとも1つのさらなる角度推定α2は等しい(α1=α2)ものであり、ヨー角YAを示すものである。しかしながら、ノイズと不一致に起因して、角度推定α1、α2の値は異なる場合がある。ヨー角決定の質を向上させるために2つより多い角度推定を設定できることは言及に値する。
異なる値を有する複数の角度推定α1、α2に基づいてヨー角YAを決定するために、統計的計測を使ってよい。第1実施形態において、2つ又はそれより多い角度推定α1、α2の中央値を使ってヨー角YAを決定してよい。他の実施形態において、統計的方法を使って2つ又はより多い角度推定α1、α2に基づいてヨー角YAを決定してよい。統計的方法は、例えばRANSACアルゴリズム(RANSAC:random sample consensus)又は最小二乗アルゴリズムであってよい。
撮影画像上において可視の全ての特徴がヨー角YAの計算に等しく好適であるわけではないようであった。演算の複雑さとロバストネスを小さくするために、そのような特徴が選択され、ヨー角YAを決定するためにさらに用いられ、これにより、実際のヨー角に非常に近い旋回角度が得られる。特徴選択のために、これらの特徴のみがそれ以降の画像において追跡され、これにより、実際のヨー角の周りの一定の窓における角度推定α1、α2が得られる。例えば、窓は上方境界と下方境界により定義されてよく、この上方及び下方境界はこの実際のヨー角の周りの角度窓を定義する。例えば、窓は2°から10°、特に3°から5°の距離にわたって広がってよい。最後の2つ又はそれより多いヨー角決定ステップにおいてこの窓内の旋回角度を導いた全ての特徴は、次の撮影画像中においてさらに追跡される。
複数の画像について特定のトレーラ特徴を追跡する場合、トレーラ2の動きに起因して、この特徴のサンプルは円形のセグメントに配置されてよい。この円形のセグメントの中心はトウボール4の場所を示す。従って、複数の画像にわたる特定のトレーラ特徴を追跡することにより、トウボール4の場所を導出できる。
ノイズを緩和するために、トウボール4の場所の決定は、複数の画像にわたる期間に追跡される複数のトレーラ特徴を考慮に入れてよい。各トレーラ特徴は所定の中心推定を有する円形のセグメントに対応してよい。この複数の中心推定についての統計的方法を適用することにより、トウボール4の実際の場所を展開できる。統計的方法は、例えばRANSACアルゴリズム又は最小二乗アルゴリズムであってよい。
図5は、牽引車1の前後方向軸LAVに対するトレーラ2のヨー角YAを決定する方法の方法ステップを示すブロック図を示す。
第1ステップとして、トレーラの第1及び第2画像が撮影される(S10)。
画像撮影後、第1及び第2画像上において可視のトレーラの少なくとも1つの特徴が決定される(S11)。
さらに、少なくとも1つの角度推定を計算する少なくとも第1及び第2アルゴリズムが提供される(S12)。
第1特徴について少なくとも第1角度推定が提供される。第1選択肢において、角度推定を計算するために第1又は第2アルゴリズムを使うべきかをこの第1特徴についての1つ又はそれより多い複数の基準に基づいて決定し、この第1特徴について選択されたアルゴリズムに基づいてこの第1角度推定を計算することにより、この少なくとも1つの角度推定が提供される(S13A)。
第2選択肢において、この第1及び第2アルゴリズムに基づいてこの第1特徴についての角度推定を計算し、第1アルゴリズムにより得られた角度推定又は第2アルゴリズムにより得られた角度推定がさらなる処理に使われるか否かを1つ又はそれより多い複数の基準に基づいて決定することにより、この少なくとも1つの角度推定が提供される(S13B)。
最後に、ヨー角が、この少なくとも1つの角度推定に基づいて計算される(S14)。
なお、明細書と図面は提案される発明の原理を例示するに過ぎないことに留意すべきである。当業者であれば、明示的に本開示において説明又は図示されていなくても、本発明の原理を具現化する様々な構成を実施できるだろう。
1 車両
2 トレーラ
3 カメラ
トウボール
α1 第1角度推定
α2 第2角度推定
B1 第1直交二等分線
B2 第2直交二等分線
BL 底辺線
F1 第1特徴
F2 第2特徴
IP1 第1交点
IP2 第2交点
L 長さ
LAT トレーラの前後方向軸
LAV 車両の前後方向軸
R 光線
YA ヨー角

Claims (14)

  1. 牽引車両(1)の前後方向軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法であって、前記方法が、
    - カメラ(3)を使って前記トレーラ(2)の少なくとも第1及び第2画像を撮影するステップにおいて、前記牽引車両(1)に対する前記トレーラ(2)の方向が前記少なくとも第1及び第2画像上において異なる、ステップ(S10)と、
    - 第1及び第2画像上において可視の前記トレーラ(2)の少なくとも第1特徴(F1)を決定するステップ(S11)と、
    - 前記少なくとも第1特徴に基づいて、少なくとも1つの角度推定を計算する少なくとも第1及び第2アルゴリズムを提供するステップ(S12)と、
    - 前記第1特徴(F1)について少なくとも第1角度推定(α1)を提供するステップであって、
    ・前記第1角度推定(α1)の計算に前記第1又は前記第2アルゴリズムを使うべきかを、各特徴(F1)についての少なくとも1つ基準に基づいて決定し、第1特徴(F1)について選択されたアルゴリズムに基づいて前記第1角度推定(α1)を計算するステップ(S13A)、もしくは
    ・前記第1及び前記第2アルゴリズムに基づいて前記第1特徴(F1)についての第1角度推定(α1)を計算し、前記第1アルゴリズムにより得られた前記第1角度推定(α1)又は前記第2アルゴリズムにより得られた前記第1角度推定(α1)がさらなる処理に使われるか否かを少なくとも1つ基準に基づいて決定するステップ(S13B)
    によって、前記第1特徴(F1)について少なくとも第1角度推定(α1)を提供するステップと、
    - 前記ヨー角(YA)を前記第1角度推定(α1)に基づいて計算するステップ(S14)と、を備え
    前記少なくとも1つの基準に基づいて決定する前記ステップが、前記第1画像上の特徴(F1、F2)と前記第2画像上の前記特徴(F1、F2)との間の底辺線(BL)の長さ(L)を決定し、前記長さ(L)を長さ閾値と比較することを備える、牽引車両(1)の前後方向軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定する方法。
  2. 前記第1アルゴリズムは、
    - 前記カメラ(3)と前記第1画像上の決定された第1特徴との間の光線を水平面上に投影することにより、第1投影特徴位置(PFP1a)を得て、前記カメラ(3)と前記第2画像上の決定された第1特徴との間の光線を前記水平面上に投影することにより、第2投影特徴位置(PFP1b)を得て、
    - 第1直交二等分線(B1)を、前記第1投影特徴位置(PFP1a)の場所と前記第2投影特徴位置(PFP1b)の場所との間に設定し、
    - 基準軸線又はさらなる直交二等分線との第1直交二等分線(B1)の第1交点(IP1)を決定し、
    - 第1投影特徴位置(PFP1a)から前記第1交点(IP1)までの第1線と、第2投影特徴位置(PFP1b)から前記第1交点(IP1)までの第2線との間の角度であり、前記水平面上における角度である、第1角度推定(α1)を計算するように構成されている、請求項1に記載の方法。
  3. 前記第1及び第2画像上において可視の前記トレーラ(2)の第2特徴(F2)が決定され、前記第2特徴(F2)は前記第1特徴(F1)とは異なる前記トレーラ(2)の位置に配置され、角度推定を提供するために前記第1アルゴリズムは前記トレーラ(2)の2つ又はそれより多い特徴を使い、前記第1アルゴリズムは、
    - 前記カメラ(3)と前記第1画像上の決定された第2特徴(F2)との間の光線を水平面上に投影することにより、第3投影特徴位置(PFP2a)を得て、前記カメラ(3)と前記第2画像上の決定された第2特徴(F2)との間の光線を前記水平面上に投影することにより、第4投影特徴位置(PFP2b)を得て、
    - 第2直交二等分線(B2)を、前記第3投影特徴位置(PFP2a)の場所と前記第4投影特徴位置(PFP2b)の場所との間に設定し、
    前記基準軸線、前記第1直交二等分線(B1)又はさらなる直交二等分線との第2直交二等分線(B2)の第2交点(IP2)を決定し、
    前記第3投影特徴位置(PFP2a)から前記第2交点(IP2)までの第1線と、前記第4投影特徴位置(PFP2b)から前記第2交点(IP2)までの第2線との間の角度であり、前記水平面上における角度である、第2角度推定(α2)を計算するように構成される、請求項2に記載の方法。
  4. 前記第2アルゴリズムは、前記第1角度推定(α1)を計算するように構成され、前記第1角度推定(α1)は、前記牽引車両(1)の固定点に対する、前記第1画像上の前記第1特徴(F1)と前記第2画像上の前記第1特徴(F1)との間の水平面における旋回角度を特徴付ける、請求項1から3の何れか1項に記載の方法。
  5. 前記第1及び第2画像上において可視の前記トレーラ(2)の第2特徴(F2)は決定され、前記第2特徴(F2)は前記第1特徴(F1)とは異なる前記トレーラ(2)の位置に配置され、前記第2アルゴリズムは、第2角度推定(α2)を計算するように構成され、前記第2角度推定(α2)は、前記牽引車両(1)の前記固定点に対する、前記第1画像上の前記第2特徴(F2)と前記第2画像上の前記第2特徴(F2)との間の水平面における旋回角度を特徴付ける、請求項4に記載の方法。
  6. 前記少なくとも1つ基準に基づいて決定する前記ステップは、前記トレーラ(2)のロールとピッチとの少なくとも一方を決定し、前記ロールをロール閾値と比較することと、前記ピッチをピッチ閾値と比較することとの少なくとも一方を備える、請求項1からの何れか1項に記載の方法。
  7. 前記少なくとも1つ基準に基づいて決定する前記ステップは、水平方向の基準面に対する特徴(F1、F2)の垂直方向の距離を決定し、前記垂直方向の距離を距離閾値と比較することを備える、請求項1からの何れか1項に記載の方法。
  8. 前記第2アルゴリズムにおいて、少なくとも1つの角度推定(α1、α2)を計算することは、前記固定点と第1及び第2画像における前記少なくとも1つの特徴(F1、F2)との間の光線(R)を決定することを備える、請求項4又は5に記載の方法。
  9. 前記光線(R)を決定するために、前記第1特徴と第2特徴(F1、F2)との少なくとも一方の位置を前記画像の局所領域から前記牽引車両(1)の局所領域へと変換するために、カメラ較正情報が使われる、請求項に記載の方法。
  10. 前記ヨー角(YA)を計算するために、前記第1及び第2特徴(F1、F2)に加えて、前記トレーラ(2)の少なくとも1つのさらなる特徴が使われる、請求項3又は5に記載の方法。
  11. 前記ヨー角(YA)は、前記少なくとも2つの角度推定に基づいて中央値を設定することにより、前記少なくとも2つの角度推定の平均値を設定することにより又は前記角度推定に適用される統計的方法を使うことにより計算される、請求項3又は5に記載の方法。
  12. 角度窓を決定するステップを備え、前記角度窓は、ヨー角(YA)の周りに上方境界と下方境界とを備え、前記角度窓内の複数の角度推定につながる1セットの特徴を決定し、将来のヨー角(YA)計算に前記決定されたセットの特徴を使う、請求項1から11の何れか1項に記載の方法。
  13. 牽引車両(1)の前後方向軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定するシステムであって、
    前記システムが、前記トレーラ(2)の画像を撮影するカメラ(3)と、前記撮影された画像を処理する処理実体と、を備え、
    前記システムが、
    - カメラ(3)を使って前記トレーラ(2)の少なくとも第1及び第2画像を撮影するステップにおいて、前記牽引車両(1)に対する前記トレーラ(2)の方向が前記少なくとも第1及び第2画像上において異なる、ステップ(S10)と、
    - 第1及び第2画像上において可視の前記トレーラ(2)の少なくとも第1特徴(F1)を決定するステップ(S11)と、
    - 前記少なくとも第1特徴に基づいて、少なくとも1つの角度推定を計算する少なくとも第1及び第2アルゴリズムを提供するステップ(S12)と、
    - 前記第1特徴(F1)について少なくとも第1角度推定(α1)を提供するステップであって、
    ・前記第1角度推定(α1)を計算するために前記第1又は前記第2アルゴリズムを使うべきかを各特徴(F1)についての少なくとも1つ基準に基づいて決定し、前記第1特徴(F1)について選択されたアルゴリズムに基づいて前記第1角度推定(α1)を計算するステップ(S13A)、もしくは
    ・前記第1及び前記第2アルゴリズムに基づいて前記第1特徴(F1)についての第1角度推定(α1)を計算し、前記第1アルゴリズムにより得られた前記第1角度推定(α1)又は前記第2アルゴリズムにより得られた前記第1角度推定(α1)がさらなる処理に使われるか否かを少なくとも1つ基準に基づいて決定するステップ(S13B)
    によって、前記第1特徴(F1)について少なくとも第1角度推定(α1)を提供するステップと、
    - 前記ヨー角(YA)を前記第1角度推定(α1)に基づいて計算するステップ(S14)と
    を実行するようにさらに構成されていて、
    前記少なくとも1つの基準に基づいて決定する前記ステップが、前記第1画像上の特徴(F1、F2)と前記第2画像上の前記特徴(F1、F2)との間の底辺線(BL)の長さ(L)を決定し、前記長さ(L)を長さ閾値と比較することを備える、牽引車両(1)の前後方向軸線(LAV)に対するトレーラ(2)のヨー角(YA)を決定するシステム。
  14. 請求項13に記載のシステムを備える車両。
JP2022552586A 2020-03-31 2020-12-01 車両トレーラ角度計算方法及びシステム Active JP7437523B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20167191.4 2020-03-31
EP20167191.4A EP3889906A1 (en) 2020-03-31 2020-03-31 Method and system for calculating vehicle trailer angle
PCT/EP2020/084111 WO2021197651A1 (en) 2020-03-31 2020-12-01 Method and system for calculating vehicle trailer angle

Publications (3)

Publication Number Publication Date
JP2023516661A JP2023516661A (ja) 2023-04-20
JPWO2021197651A5 JPWO2021197651A5 (ja) 2023-11-17
JP7437523B2 true JP7437523B2 (ja) 2024-02-22

Family

ID=70110144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552586A Active JP7437523B2 (ja) 2020-03-31 2020-12-01 車両トレーラ角度計算方法及びシステム

Country Status (5)

Country Link
US (1) US20230322032A1 (ja)
EP (1) EP3889906A1 (ja)
JP (1) JP7437523B2 (ja)
CN (1) CN115335862A (ja)
WO (1) WO2021197651A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4012330B1 (en) * 2020-12-10 2024-07-03 Volvo Truck Corporation A system and method for estimating an articulation angle of an articulated vehicle combination
US11897469B2 (en) * 2021-10-20 2024-02-13 Continental Autonomous Mobility US, LLC System and method for adjusting trailer reverse assist parameters based upon estimated trailer position

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242943A (ja) 2005-02-04 2006-09-14 Canon Inc 位置姿勢計測方法及び装置
JP2006246951A (ja) 2005-03-08 2006-09-21 Konica Minolta Medical & Graphic Inc 画像処理装置
DE102011113197A1 (de) 2011-09-10 2013-03-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger
DE102016117284A1 (de) 2016-09-14 2018-03-15 Connaught Electronics Ltd. Bestimmen einer Position einer Anhängerkupplung

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2505666B (en) * 2012-09-06 2015-07-01 Jaguar Land Rover Ltd Method and system for preventing instability in a vehicle-trailer combination
JP5868816B2 (ja) * 2012-09-26 2016-02-24 楽天株式会社 画像処理装置、画像処理方法、及びプログラム
US9511799B2 (en) * 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
CN105829178B (zh) * 2013-11-18 2018-06-15 罗伯特·博世有限公司 用于牵引车辆的基于矢量的驾驶辅助
US20150286878A1 (en) * 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
US9963004B2 (en) * 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US20160048966A1 (en) * 2014-08-13 2016-02-18 Bendix Commercial Vehicle Systems Llc Learning the distance between cameras for articulated vehicles
US9522699B2 (en) * 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9751558B2 (en) * 2015-03-25 2017-09-05 Ford Global Technologies, Llc Handwheel obstruction detection and inertia compensation
JP2018512593A (ja) * 2015-04-10 2018-05-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両の移動データを使用した車載カメラによる物***置測定
US9821845B2 (en) * 2015-06-11 2017-11-21 Ford Global Technologies, Llc Trailer length estimation method using trailer yaw rate signal
US9527528B1 (en) * 2015-09-04 2016-12-27 Continental Automotive Systems, Inc. Trailer radius indication
US9796228B2 (en) * 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
US10106193B2 (en) * 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10552976B2 (en) * 2017-03-22 2020-02-04 Magna Electronics Inc. Trailer angle detection system for vehicle
US10771776B2 (en) * 2017-09-12 2020-09-08 Sony Corporation Apparatus and method for generating a camera model for an imaging system
JP6972938B2 (ja) * 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
EP3537382A1 (en) * 2018-03-09 2019-09-11 Continental Automotive GmbH Device and method for calculating a vehicle trailer pose using a camera
US11941847B2 (en) * 2018-03-19 2024-03-26 Jaguar Land Rover Limited Controller for a vehicle
EP3552926A1 (en) * 2018-04-09 2019-10-16 Continental Automotive GmbH Apparatus for determining an angle of a trailer attached to a vehicle
US11050933B2 (en) * 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
EP3678096B1 (en) * 2019-01-07 2021-06-23 Continental Automotive GmbH Method for calculating a tow hitch position
US11657635B2 (en) * 2019-08-28 2023-05-23 Ford Global Technologies, Llc Measuring confidence in deep neural networks
US11332191B2 (en) * 2019-09-09 2022-05-17 Ford Global Technologies, Llc Trailer sideswipe avoidance system
US11772557B2 (en) * 2019-11-05 2023-10-03 Ford Global Technologies, Llc Guided coaching for vehicle positioning to operate an automated hitching feature

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242943A (ja) 2005-02-04 2006-09-14 Canon Inc 位置姿勢計測方法及び装置
JP2006246951A (ja) 2005-03-08 2006-09-21 Konica Minolta Medical & Graphic Inc 画像処理装置
DE102011113197A1 (de) 2011-09-10 2013-03-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger
DE102016117284A1 (de) 2016-09-14 2018-03-15 Connaught Electronics Ltd. Bestimmen einer Position einer Anhängerkupplung

Also Published As

Publication number Publication date
JP2023516661A (ja) 2023-04-20
CN115335862A (zh) 2022-11-11
EP3889906A1 (en) 2021-10-06
US20230322032A1 (en) 2023-10-12
WO2021197651A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP7444605B2 (ja) 牽引ヒッチの位置を計算する方法
US9784829B2 (en) Wheel detection and its application in object tracking and sensor registration
JP7437523B2 (ja) 車両トレーラ角度計算方法及びシステム
US10909395B2 (en) Object detection apparatus
Zhou et al. Reliable scale estimation and correction for monocular visual odometry
US20220373572A1 (en) Method of Determining an Uncertainty Estimate of an Estimated Velocity
JP2002123818A (ja) 車両用周辺障害物検出装置
WO2020137110A1 (ja) 移動量推定装置
JP2023514846A (ja) 車両トレーラ角度算出方法およびシステム
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
JPWO2021197651A5 (ja)
US20230173998A1 (en) Method and system for calculating vehicle trailer angle
Bahramgiri et al. Hitch angle estimation for trailer backup system—An object detection and tracking approach
JPWO2021197652A5 (ja)
JP7493051B2 (ja) 車両トレーラ角度計算方法及びシステム
JP7430783B2 (ja) トレーラの向きの決定
JP2002352249A (ja) 画像処理装置及びその方法
JPWO2021197650A5 (ja)
JPWO2021197649A5 (ja)
JP7225079B2 (ja) 障害物認識装置
Gao et al. Panoramic visual odometry for ground vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230830

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20231108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240209

R150 Certificate of patent or registration of utility model

Ref document number: 7437523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150