JP7480324B2 - 車両トレーラ角度を計算する方法及びシステム - Google Patents

Description

本発明は、一般に、車両支援システムの分野に関する。特に、本発明は、牽引車両と連結されているトレーラのヨー角を車両のカメラにより提供される画像情報に基づいて計算する方法及びシステムに関する。

牽引車両に対するトレーラの角度を車両のカメラにより提供される画像情報に基づいて計算する方法は既知である。

特に、トレーラの旋回点の場所を考慮に入れずにトレーラヨー角の信頼性高い近似を提供する方法が知られている。その一方、この方法のヨー角近似の正確度は、特にヨー角が大きい場合に低い。

本発明の実施形態の課題は、トレーラのヨー角を高ロバストネスと高正確度で計算する方法を提供することである。本課題は、独立請求項の特徴により解決される。好ましい実施形態は従属請求項に記載されている。明示的に記載されていないが、本発明の実施形態は互いに自由に組み合わせ可能である。

１観点によると、本発明は、牽引車両の前後方向軸線に対するトレーラのヨー角を決定する方法に関する。牽引車両はトウボールを備える。このトウボールに基づいて、トレーラを車両と連結できる。本方法は以下の方法を備える。

まず、カメラを使ってトレーラの少なくとも第１及び第２画像が撮影される。第１及び第２画像は、車両に対するトレーラの方向が少なくとも２つの画像上において異なるように撮影される。

前述の画像の撮影後、トレーラの少なくとも第１特徴が決定される。この第１特徴は第１及び第２画像上において可視である必要がある。

この決定された第１特徴に基づいて、第１角度推定が計算される。第１角度推定は、牽引車両のカメラの位置に対する、第１画像上の第１特徴と第２画像上の第１特徴との間の水平面における旋回角度を特徴付ける。言い換えれば、第１角度推定は、第１画像上の第１特徴の位置とこのカメラの位置との間に延在する第１線と、第２画像上の第１特徴の位置とこのカメラの位置との間に延在する第２線との間で限定される旋回角度についてである。この旋回角度は車両からトレーラに向かって開口している。

以下において、少なくとも２つの画像上で検出された少なくとも１つの特徴に基づく少なくとも１つの角度推定を使う方法は、「基礎アルゴリズム」として参照される。

「第１画像（又は第２画像）上の第１特徴の位置」の記載は、その画像の特徴の２Ｄ画像座標又はそれに対応する光線（例えば、３Ｄ単位ベクトルもしくは方位角又は仰角として示される）についてである。２Ｄ画像座標は、カメラ較正情報を使って光線へと変換されてよい。

さらに、１つ又はそれより多い角度係数が提供される。この１つ又はそれより多い角度係数がこの第１角度推定についてのスケール情報を提供する。従って、言い換えれば、この角度係数に基づいて、正確性の欠如を緩和するために角度推定を修正可能である。

最後に、この第１角度推定に基づいてかつこの１つ又はそれより多い角度係数に基づいて、トレーラのヨー角が計算される。

本方法が有利であるのは、ヨー角の計算に２画像又はそれより多い画像を使いかつ少なくとも１つのトレーラ特徴を使うので、トレーラ特徴の検出が高ノイズの悪影響を受けているかもしくは画質が劣悪である場合でも、ヨー角決定の結果が非常に信頼性高くかつロバストであるからである。この１つ又はそれより多い角度係数を使うので、正確性を向上するため角度推定をスケールできる。

１実施形態によると、トレーラの少なくとも第１及び第２特徴が決定される。この第１特徴は、第２特徴とは異なるトレーラの位置に配置される。例えば、第１特徴はトレーラの第１場所で明らかな第１特徴であってよく、第２特徴は第２場所で明らかな第２特徴であってよい。さらに、少なくとも第２角度推定が計算される。第２角度推定は、牽引車両のカメラの位置に対する、第１画像上の第２特徴と第２画像上の第２特徴との間の水平面における旋回角度を特徴付ける。言い換えれば、第２角度推定は、第１画像上の第２特徴の位置とこのカメラの位置との間に延在する第１線と、第２画像上の第２特徴の位置とこのカメラの位置との間に延在する第２線との間で限定される旋回角度に関する。この旋回角度は車両からトレーラに向かって開口している。

トレーラの２つ又はそれより多い特徴を使うことにより、ノイズ及び不一致の影響を低減できるので、高信頼性を持つ結果を得られる。

１実施形態によると、この１つ又はそれより多い角度係数は、幾何情報に基づいて設定される。この幾何情報はカメラとトウボールとの間の距離と、カメラとトレーラの１つ又はそれより多い特徴との間の距離とを考慮に入れてよい。これにより、車両特徴（特にカメラとトウボールとの間の局所関係）間及び車両とトレーラとの間の未知の幾何関係に起因する正確度の欠如を緩和できる。

１実施形態によると、角度係数は、カメラとトウボールとの間の距離をカメラとトレーラの特徴との間の距離で除したものである。特徴がカメラから遠ざかるほど、係数はゼロに近づく。

１実施形態によると、１つ又はそれより多い角度係数は、カメラとトウボールとの間の距離をカメラとトレーラの１つ又はそれより多い特徴との間の距離で除して計算される。これら距離の商を計算することにより、ヨー角決定の正確度をさらに向上できる。

１実施形態によると、角度係数は、車両それぞれについて調整されている単一の係数である。この角度係数は、特定の車両特徴（特にカメラとトウボールとの間の局所関係）について予め定められてよく、具体的なトレーラを考慮に入れることなく使われる。従って、言い換えれば、この単一の係数は「１つが全てのトレーラに当てはめる」係数であってよい。これにより、演算コストを抑えつつ正確度の向上を達成できる。単一の係数は、各角度推定に適用されるか、少なくとも２つの角度推定に基づいて設定される中央値又は平均値に適用されてよい。従って、言い換えれば、少なくとも１つの角度推定がこの角度係数に基づいて直接的にスケールされるか、複数の角度推定の平均値又は中央値が計算され、この平均値又は中央値がこの単一の角度係数によりスケールされるかの何れかである。

１実施形態によると、この角度係数はトレーラそれぞれについて動的に適合される。従って、言い換えれば、角度係数は「１つが全てのトレーラに当てはめる」係数として固定されていないが、どのトレーラが現在用いられているかに応じて動的に適合される。これにより、ヨー角決定の正確度がさらに向上する。

１実施形態によると、この角度係数の動的な適合は、ヨー角基準情報を決定し、この２つ又はそれより多い角度推定をこの基準アルゴリズムにより提供されるヨー角基準情報と比較することにより角度係数を適合する基準アルゴリズムを使うことにより行われる。基準アルゴリズムは、少なくともある状況において、基礎アルゴリズムにより提供される少なくとも１つの角度推定よりも正確であり、この１つ又はそれより多い角度係数を動的に設定するために使われるヨー角基準情報を提供してよい。従って、言い換えれば、基礎アルゴリズムの結果は、この基準アルゴリズムにより提供される角度推定をスケールするために使われる。

１実施形態によると、基準アルゴリズムは以下のステップを行うように構成される。
‐カメラと第１画像上の決定された第１特徴との間の光線が展開され、この光線は水平面上に投影され、これにより第１投影特徴位置の場所が得られる。同様に、カメラと第２画像上の決定された第１特徴との間の光線が展開され、この光線はこの水平面上に投影され、これにより第２投影特徴位置の場所が得られる。
‐この決定された第１特徴に基づいて、第１直交二等分線が第１投影特徴位置の場所と第２投影特徴位置の場所との間に設定される。より詳細には、第１直交二等分線は、第１投影特徴位置の位置と第２投影特徴位置の位置とを結ぶ線の中点を通って直交する直線であってよい。
‐第１直交二等分線の設定後、基準軸線又はさらなる直交二等分線との第１直交二等分線の第１交点が決定される。
‐最後に、第１基準角度推定に基づいてヨー角基準情報が提供され、この第１基準角度推定は、第１投影特徴位置からこの第１交点まで延在する第１線と第２投影特徴位置からこの第１交点まで延在する第２線との間のこの水平面における角度に関する。

「第１画像上の第１特徴の位置」の記載は、画像特徴の２Ｄ画像座標又はそれに対応する光線（例えば、３Ｄ単位ベクトルもしくは方位角又は仰角として示される）についてである。２Ｄ画像座標は、カメラ較正情報を使って光線へと変換されてよい。

この第１基準角度推定は牽引車両からトレーラに向かって開口していてよい。

１実施形態によると、異なるヨー角に関する複数のヨー角基準情報はこの基準アルゴリズムに基づいて展開され、角度係数はこの複数のヨー角基準情報の平均値を展開することにより決定される。他の統計的方法も使ってよく、例えば、外れ値を除外するために分散を使ってよい。これにより、基準アルゴリズムのノイズの影響を緩和できる。

１実施形態によると、第１又は第２画像において、車両に対するトレーラのヨー角はゼロである。これにより、この画像を「ゼロポーズ画像」として、つまり車両の前後方向軸とトレーラの前後方向軸との厳密な位置合わせの基準として使える。しかしながら、他のヨー角がわかっている限り、別のヨー角も基準値として使ってよい。

１実施形態によると、基礎アルゴリズムにおいて、第１角度推定を計算することは、カメラのこの位置と第１及び第２画像におけるこの第１特徴との間の光線を決定することを備える。この光線は、このカメラ位置とこの第１特徴との間に延在する直線についてである。この光線に基づいて、現在の旋回角度を、例えば幾何的方法に基づいて、演算コストを抑えつつ決定できる。

１実施形態によると、特に基礎アルゴリズムにおいて、この第１特徴の位置を光線に変換するのにカメラ較正情報が使われる。例えば、カメラ較正情報を使ってカメラ位置の情報を持つことで、画像上のある特徴の位置を、カメラの位置に応じて又はそれに相関させて場所の情報に変換できる。

１実施形態によると、この第１特徴の位置を画像のローカルドメインから車両又は車両のカメラの位置のローカルドメインへと変換するために、カメラ較正情報が使われる。例えば、カメラ較正情報を使ってカメラ位置の情報を有することで、画像上のある特徴の位置を、車両に含まれているか取り付けられているカメラの位置に応じて又はそれに相関付けて場所の情報に変換できる。

１実施形態によると、ヨー角を計算するために、この第１特徴に加えて、トレーラの少なくとも１つのさらなる特徴が使われる。２つ又はそれより多い特徴を使うことで、さらなる角度推定が得られ、これによりヨー角決定のロバストネスと信頼性がさらに向上する。

１実施形態によると、ヨー角は、少なくとも２つの角度推定に基づいて中央値を設定することにより計算される。これにより、非常に安定したヨー角決定を得られる。

他の実施形態によると、ヨー角は、少なくとも２つの角度推定の平均値を設定することにより又はこの角度推定に適用される統計的方法を使うことにより計算される。

１実施形態によると、ヨー角基準情報を提供するのに、少なくとも２つの異なるトレーラ特徴に基づく少なくとも２つの基準角度推定が設定され、ヨー角基準情報が、少なくとも２つの基準角度推定に基づいて中央値を設定することにより計算される。これにより、ヨー角基準情報の非常に安定した決定を得られる。

他の実施形態によると、ヨー角基準情報は、少なくとも２つの角度推定の平均値を設定することにより又はこの角度推定に適用される統計的方法を使うことにより計算される。

１実施形態によると、本方法は、角度窓を決定するステップをさらに備える。この角度窓は、このヨー角の周りに上方境界と下方境界とを備えてよい。さらに、１セットの特徴が決定され、このセットの特徴内のこの特徴によりこの角度窓内に位置する角度推定が得られる。この決定されたセットの特徴、好ましくはこのセットの特徴に含まれる特徴のみが以降のヨー角計算に使われる。従って、言い換えれば、以前のヨー角決定の情報を使うことにより、決定されたヨー角に非常に近い角度推定（つまり角度窓内）となるトレーラの２つ又はそれより多い特徴を決定し、決定されたヨー角から著しく逸脱する角度推定（つまり角度窓外）となるような特徴は追跡されない。これにより、角度推定の演算の複雑さと正確度を著しく低減できる。

１実施形態によると、基準アルゴリズムにおいて、カメラと車両のトウボールとが、垂直方向に方向付けられた平面であって、牽引車両の前後方向軸線を含む平面に配置されている場合、基準軸線は牽引車両の前後方向軸線である。

別の実施形態によると、基準アルゴリズムにおいて、カメラとトウボールとの少なくとも一方が牽引車両の前後方向軸線に対して横方向のずれ（オフセット）を有する場合、基準軸線はカメラとトウボールとの間に延在する直線である。これにより、カメラとトウボールとの間の横方向オフセットを補償できる。

１実施形態によると、カメラは、車両のリアビューカメラである。リアビューカメラに基づいて、技術的コストを抑えてトレーラの画像を撮影できる。

別の実施形態によると、角度係数は、各特徴に関して独立して、その特徴について基準アルゴリズムに基づき、その特徴について基礎アルゴリズムに基づいて計算されてよい。（角度）係数はトレーラ角度とは独立しているため、基準アルゴリズムがその時点で正確でないか利用不可能である（数学的不安定、例えば低ヨー角におけるゼロ除算に起因する）場合でさえも、角度係数が異なるトレーラ角度で計算された場合でさえも、基礎アルゴリズムを変える（スケールする）ために角度係数を依然として使ってよい。

この場合、各画像特徴は、角度係数により基礎角度推定をスケールして正確な角度推定を生成する。各特徴からのヨー角推定に基づいて推定トレーラヨー角を出力するために、平均値、中央値又は他の統計的計測を使ってよい。

さらなる観点によると、牽引車両の前後方向軸線に対するトレーラのヨー角を決定するシステムが開示される。本システムは、トレーラの画像を撮影するカメラと、この撮影された画像を処理する処理実体と、を備える。本システムは、
‐カメラを使うトレーラの少なくとも第１及び第２画像を撮影するステップにおいて、車両に対するトレーラの方向が少なくとも２つの画像上において異なる、ステップと、
‐第１及び第２画像上において可視のトレーラの少なくとも第１特徴を決定するステップと、
‐第１角度推定を計算するステップにおいて、第１角度推定が、牽引車両のカメラの位置に対する、第１画像上の第１特徴と第２画像上の第１特徴との間の水平面における旋回角度を特徴付ける、ステップと、
‐１つ又はそれより多い角度係数を提供するステップにおいて、この１つ又はそれより多い角度係数がこの第１角度推定についてのスケール情報を提供する、ステップと、
‐この第１角度推定に基づいて及びこの１つ又はそれより多い角度係数に基づいてヨー角を計算するステップと、を実行するようにさらに構成される。

本方法の１実施形態として記載された上記特徴の何れも、本発明に係るシステムにおけるシステム特徴としても適用可能である。

さらに別の実施形態によると、上記実施形態の何れか１つによるシステムを備える車両が開示される。

本開示で使われる用語「車両」は、乗用車、貨物自動車、バス、列車又は任意の他の船舶を意味してよい。

本開示で使われる用語「ヨー角」は、車用の前後方向軸線とトレーラの前後方向軸との間の旋回角度に関してよい。

本開示で使われる「中央値」の用語は、データサンプル又は確率分布の上半分と下半分を分ける値を意味してよい。

本発明で使われる用語「本質的に」又は「略」は、
厳密な値に対する＋／－１０％、好ましくは＋／－５％の逸脱を意味することと、
関数と交通法規との少なくとも一方に重要ではない変化の形での逸脱を意味すること
との少なくとも一方を意味する。

その具体的な特徴と有利な点とを含む本発明の様々な観点は、以下の詳細な説明と添付の図面から容易に理解されるだろう。

図１は、トレーラを牽引する車両の例示的な上面図を示す。 図２は、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第１及び第２特徴に基づく角度推定を概略的に示す。 図３は、基準アルゴリズムによる、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第１特徴に基づく基準角度推定を概略的に示す。 図４は、この基準アルゴリズムによる、トレーラと牽引車両との間の異なる旋回角度でカメラ画像により捕捉された第１及び第２特徴に基づく基準角度推定を概略的に示す。 図５は、牽引車の前後方向軸線に対するトレーラのヨー角を決定する方法のステップを示す概略的なブロック図を示す。

以下、例示的な実施形態が示される図面を参照して本発明をより完全に説明する。図中の実施形態は好ましい実施形態に関する一方、実施形態に関連して説明される全ての要素及び特徴は、適切である限り、特に以下において説明される任意の他の実施形態に関連する、本明細中において説明される任意の他の実施形態及び特徴とも組み合わせて使用されてよい。その一方、本発明は、本明細書に記載されている実施形態に限定されると見なされるべきではない。以下の説明を通して、同様の参照符号は、該当する場合、同様の要素、部材、アイテム又は特徴を示すのに使われている。

明細書、特許請求の範囲、実施形態、図面の少なくともいずれかにより開示されている本発明の特徴は、別個とその組み合わせの両方において、その様々な実施形態において本発明を実現する材料であってよい。

図１は、トレーラ２を牽引する車両１の上面図を示す。車両１は、車両１の中心を通る前後方向軸線ＬＡＶを備える。同様に、トレーラ２は、トレーラ２の中心を通る前後方向軸線ＬＡＴを備える。トレーラ２は、トウボール４を備えるトレーラヒッチを使う車両１と連結されている。

いくつかの走行状況において、車両１の前後方向軸線ＬＡＶ及びトレーラ２の前後方向軸線ＬＡＴは平行に配置されていない場合があり、又は互いに一致しない場合があるが、これらの軸はヨー角ＹＡを限定できる。言い換えれば、ヨー角ＹＡは、車両１の前後方向軸線ＬＡＶに対するトレーラ２の前後方向軸線ＬＡＴの角度の逸脱を定義している。ヨー角ＹＡは、トレーラ２の前後方向軸線ＬＡＴと車両１の前後方向軸線ＬＡＶとを含む水平方向平面において測定されてよい。

ヨー角ＹＡがわかると、とりわけ、例えばトレーラ支援システムにおいて有利である。

ヨー角ＹＡを決定するために、トレーラ２の少なくとも一部の複数の画像がカメラ３を使って撮影される。カメラ３は、例えば、車両１のリアビューカメラであってよく、リアビューカメラは後退時に車両１の周辺の画像の撮影に使用されてもよい。撮影画像の１つは、牽引車両１に対するトレーラ２の既知の角度配置を示してよい。この画像は、ヨー角ＹＡを算出するための基準として使われてよい。この、牽引車両１に対するトレーラ２の既知の角度配置において、ヨー角ＹＡは０°であってよく、他の任意の角度値であってもよい。

図２は、トレーラ２の第１及び第２特徴Ｆ１、Ｆ２の角度関係を説明する概略図であって、それら特徴Ｆ１、Ｆ２が車両１の固定点に対して異なる時点及び異なる角度位置で識別されている、概略図を示す。

カメラ３は、車両１に対するトレーラ２の角度位置が異なっている、異なる時点における２つ又はそれより多い画像を撮影してよい。例えば、画像系列が撮影されてよい。この画像系列は３つ又はそれより多い、特に、５つより多い画像を備えてよい。

本例において、第２画像は、ヨー角ＹＡ＝０°における、車両に対するトレーラ２の方向を示してよい。その一方、他の実施形態において、ヨー角ＹＡは、前もってわかっているものであり、現在のヨー角の決定に使用し得る他の任意の基準ヨー角であってよい。

カメラ３により撮影された画像において、複数の異なる特徴が識別可能であってよい。図２において、車両１のカメラ３の位置又は基準軸線に対して異なる角度位置で識別されている特徴Ｆ１、Ｆ２が示されている。第１特徴Ｆ１は正方形で示され、第２特徴は三角形により示されている。２つより多い特徴と２つより多い画像をヨー角推定に使用できることは言及に値する。また、ヨー角推定に１特徴のみ使うのもあり得る。

このようにして異なる時点で、第１及び第２特徴Ｆ１、Ｆ２の上方の対（特徴Ｆ１、Ｆ２をカメラ３と結ぶ実線の光線に関連）が第１画像において識別されてよく、第１及び第２特徴Ｆ１、Ｆ２の下方の対（特徴Ｆ１、Ｆ２をカメラ３と結ぶ破線の光線に関連）が第２画像において識別されてよい。

トレーラ２の特徴は、特徴検出及びマッチングアルゴリズムを使って、場所を特定してマッチングされてよい。例えば、ハリスのコーナー検出法、スケール不変特徴変換（ＳＩＦＴ）アルゴリズム、高速化ロバスト特徴（ＳＵＲＦ）アルゴリズム、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）アルゴリズム、バイナリロバスト独立基本特徴（ＢＲＩＥＦ）アルゴリズム、方向付きＦＡＳＴ及び回転ＢＲＩＥＦ（ＯＲＢ）アルゴリズム又は他の好適な特徴検出及びマッチングアルゴリズムを使用できるであろう。

特徴検出及びマッチングアルゴリズムはトレーラ上にあるか又はトレーラ上にはない画像の特徴を検出してよい。トレーラの特徴を非トレーラの特徴から区分けるために、複数の異なる方法を使ってよいだろう。例えば、直線前進走行の場合、トレーラの特徴は、経時的に同一位置のままである特徴を探すことにより非トレーラの特徴から区分けてよい。代替的に、背景の特徴の運動（モーション）を車両の既知のモーションを用いて経時的にモデル化してよい。これは、速度と操舵に関するＣＡＮデータから抽出されてよい。この場合、基本行列のエピポーラ拘束に当てはまらない特徴をトレーラの特徴として考慮してよい。

角度推定α１、α２の決定に、特徴Ｆ１、Ｆ２をカメラ３と結ぶ光線Ｒが使われる。撮影画像の特徴Ｆ１、Ｆ２をカメラ３の位置と関連付けるために、カメラ３の較正情報を用いて、画像座標における特徴の場所をカメラの空間ドメインへと変換してよく、これにより、それぞれの特徴Ｆ１、Ｆ２の位置をこのカメラ位置と結ぶ光線Ｒを提供可能になる。言い換えれば、カメラ位置と特徴位置とを関連付けるために、画像上の（複数の）特徴の場所は、それぞれ、車両１のローカルドメインに、カメラ３の較正情報に基づいて車両１のカメラのローカルドメインに変換される。

カメラ位置と第１及び第２画像内の１つ又はそれより多い特徴との間の光線Ｒを決定した後、第１特徴Ｆ１及び第２特徴Ｆ２の旋回角度が決定される。図２において、α１は２つの撮影画像間の第１特徴Ｆ１の旋回角度の角度推定を示し、α２は２つの撮影画像間の第２特徴Ｆ２の旋回角度の角度推定を示す。複数の実施形態において、トレーラの１つのみ又は２つより多い特徴が、複数の画像にわたって、決定されて追跡される。さらに、好ましくは、ヨー角推定の結果を向上させるために、２つより多い画像が異なる時点で撮影される。

上述のように、撮影画像のうちの１つは、車両１に対するトレーラ２の角度位置がわかっている基準画像となってよい。牽引車両１に対するトレーラ２のこの角度構成において、ヨー角ＹＡは０°であってよいし他の任意の角度値でよい。それゆえ、この少なくとも１つの角度推定α１、α２に基づいて、ヨー角ＹＡは算出できる。図２を再び参照すると、例えば、光線Ｒについての画像を撮影するとき、トレーラ２の、車両１に対する基準の配向がわかるならば、破線で示される光線Ｒの角度構成がわかることになるだろう。

上記方法は非常にロバストであり、つまり画質が劣悪な場合でも角度推定を提供するが、角度推定の正確度は低い。多くの場合、少なくとも１つの角度推定α１、α２が実際のヨー角ＹＡよりも低いようであった。

正確度を向上させるため、本方法は１つ又はそれより多い角度係数を用い、これに基づいて角度推定がスケール又は修正されることにより、実際のヨー角に非常に近い角度推定が提供される。

角度係数は、車両１とトレーラ２との間の幾何状況を特徴付ける幾何情報に基づいて設定されてよい。より詳細には、角度係数は１セットの距離情報に基づいて計算されてよく、この１セットの距離情報は、カメラ３と車両１のトウボール４との間の距離と、車両１のカメラ３とトレーラ２の少なくとも１つの特徴Ｆ１、Ｆ２との間の距離とを含む。特に、角度係数は、カメラ３とトウボール４との間の距離と、車両１のカメラ３とトレーラ２のある特徴Ｆ１、Ｆ２との間の距離との除法（例えば、第１距離／第２距離）により計算されてよい。

角度推定をスケールする１つ又はそれより多い角度係数を使う複数の異なる可能性が存在する。

まず単一の角度係数が、トレーラ２の複数の特徴に使用し得る。それぞれの車両１について単一の角度係数が予め設定されているかもしれない。角度係数は、トウボール４に対するカメラ３の距離を考慮してよい。この単一の角度係数は、車両１の保存装置に保存されてよく、又は車両１のソフトウェアにしっかり実装されてもよい。

２つ又はそれより多い角度推定α１、α２を計算した後、この角度推定α１、α２に基づいて平均値を計算してよい。この平均値は、例えば、この展開された角度推定α１、α２の中央値であってよい。別の実施形態において、ヨー角ＹＡは展開された角度推定α１、α２の算術平均を計算することにより決定されてよい。さらなる別の実施形態において、ヨー角ＹＡはこの角度推定α１、α２に基づく確率過程、例えばＲＡＮＳＡＣアルゴリズム（ＲＡＮＳＡＣ、ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）又は最小二乗アルゴリズムを用いて決定されてよい。

１つ又はそれより多い角度係数を提供する第２の可能性は、基準アルゴリズムに基づいて１つ又はそれより多い角度係数を動的に設定することである。特に、特定のトレーラ２について単一の角度係数が設定されてよく、又は各角度係数がトレーラ２のある特徴Ｆ１、Ｆ２と関連付けられている複数の角度係数が設定されてよい。よって、言い換えれば、角度係数はトレーラ単位又は特徴単位で動的に設定されてよい。

角度係数のこの動的な設定は上述のような角度推定α１、α２を使うものであり、つまり、ある特徴について、第１画像上の特徴Ｆ１、Ｆ２と第２画像上の同一の特徴Ｆ１、Ｆ２との間の旋回角度が決定される。

単一の角度推定α１、α２又は複数の角度推定α１、α２の平均値又は中央値を実際のヨー角ＹＡへとスケールする角度係数を決定するために、単一の角度推定α１、α２又は複数の角度推定α１、α２の平均値又は中央値は基準アルゴリズムの結果と比較され、これにより、基礎アルゴリズムの角度推定よりも正確度が高いヨー角基準情報が得られ、角度係数は、角度推定がヨー角基準情報と同等又は本質的であるように選択される。特に、基準方法は、トレーラ２がその周りを旋回するトウボール４の場所を考慮するように構成されてよい。

以下、図３に基づいて例示的な基準方法が開示される。図２と同様に、図３もまた、トレーラ２が牽引車両１とは異なるヨー角ＹＡを有する異なる時点におけるトレーラ２の第１及び第２特徴Ｆ１、Ｆ２の角度関係を説明する概略図を示す。

角度係数が同一のトレーラ位置、それぞれトレーラヨー角に基づいて設定されることを確実にするために、基準アルゴリズムは、角度推定の計算にも使われる同一の画像を用いることは言及に値する。

この基準アルゴリズムに基づく基準ヨー角の決定は、図３においてより詳細に示される。

図２と同様に図３においても、第１特徴Ｆ１に基づいて設定される第１投影特徴位置ＰＦＰ１ａ（第１投影特徴位置ＰＦＰ１ａをカメラ３と結ぶ実線の光線に関連）が第１画像において識別され、第２特徴Ｆ２に基づいて設定される第２投影特徴位置ＰＦＰ１ｂ（第２投影特徴位置ＰＦＰ１ｂをカメラ３と結ぶ実線の光線に関連）が異なる時点で第２画像において識別される。

この基準アルゴリズムに基づく基準ヨー角の決定は、図３においてより詳細に示される。この第１及び第２画像間の第１及び第２投影特徴位置ＰＦＰ１ａ、ＰＦＰ１ｂの場所の変化は、少なくとも１つの基準角度推定β１を決定するために使われる。

それぞれの画像における特徴識別後、第１及び第２画像の第１特徴Ｆ１は共通の水平面に投影される。より詳細には、カメラ３と第１画像上の決定された第１特徴Ｆ１との間の光線が水平面上に投影されることにより、第１投影特徴位置ＰＦＰ１ａが得られる。さらに、カメラ３と第２画像上の決定された第１特徴Ｆ１との間の光線が同一の水平面上に投影されることにより、第２投影特徴位置ＰＦＰ１ｂが得られる。この投影は垂直方向に行われることにより、光線の仰角のみを変化させるのであって、方位角は変化させないことは言及に値する。

第１及び第２投影特徴位置ＰＦＰ１ａ、ＰＦＰ１ｂを決定した後、第１直交二等分線Ｂ１が、この第１及び第２投影特徴位置ＰＦＰ１ａ、ＰＦＰ１ｂに基づいて設定される。図３に示されるように、第１直交二等分線Ｂ１は、第１及び第２投影特徴位置ＰＦＰ１ａ、ＰＦＰ１ｂを結ぶ線に直交する線である。さらに、第１直交二等分線Ｂ１は、この連結線の中点を通る。この第１直交二等分線Ｂ１は、本実施形態においては車両の前後方向軸線ＬＡＶである基準軸線と交差する。（ＩＰ１により示される）第１直交二等分線Ｂ１と基準軸線とのこの交点により回転点が得られ、この回転点の周りにトレーラは回転する。より詳細には、この交点によりトウボール４の位置が得られる。

この第１直交二等分線Ｂ１に基づいて、第１基準角度推定β１が計算される。この第１基準角度推定β１は、第１投影特徴位置ＰＦＰ１ａと、第１直交二等分線Ｂ１と基準軸線との交点と、を結ぶ第１線Ｌ１と、第２投影特徴位置ＰＦＰ１ｂと、第１直交二等分線Ｂ１と基準軸線との交点と、を結ぶ第２線Ｌ２との間に設けられる角度である。交点は、トウボール４の位置を示してよい。より詳細には、第１基準角度推定β１は、水平面上に投影された第１画像内の第１特徴Ｆ１の場所とこの水平面上に投影された第２画像内の第１特徴Ｆ１の場所との間で、（トウボール４の位置である）この第１交点ＩＰ１の周りの、水平面におけるトレーラ２の旋回角度を特徴付ける。

第１基準角度推定β１は、トレーラ２のその現在の回転点の周りのヨー角ＹＡを表す。

図４は、ヨー角基準情報を設定するために異なる時点（トレーラ２が牽引車両１に対する異なるヨー角ＹＡを有する時点）に撮影されたトレーラ２の第１及び第２特徴Ｆ１、Ｆ２を使う、図３と同様の実施形態を示す。特徴配置は図２の記載と同様である。

カメラ３により撮影された画像上にて、複数の異なる特徴が識別可能かもしれない。図４に示されるように、この特徴は、車両１のカメラ３の位置に対して異なる角度位置にて識別される。第１特徴は正方形で示され、第２特徴は三角形により示されている。

図４では、第１及び第２特徴Ｆ１、Ｆ２の上方の対（ＰＦＰ１ａ、ＰＦＰ２ａにより示され、特徴をカメラ３と結ぶ実線の光線に関連）が第１画像内に識別され、第１及び第２特徴Ｆ１、Ｆ２の下方の対（ＰＦＰ１ｂ、ＰＦＰ２ｂにより示され、特徴をカメラ３と結ぶ破線の光線に関連）が異なる時点で第２画像内に識別されている。

ヨー角基準情報の決定は図３の実施形態と同様に行われる。主な相違点は、２つの基準角推定β１、β２が設定され、ヨー角基準情報がこの２つの基準角推定β１、β２に基づいて展開されることである。より詳細には、第１直交二等分線Ｂ１を設定し、第１基準角推定β１を得ることは、図３に関して上述したように行われる。

加えて、第２基準角推定β２は、第３投影特徴位置ＰＦＰ２ａと第４投影特徴位置ＰＦＰ２ｂとを設定し、第２交点ＩＰ２を得るために第２直交二等分線Ｂ２を設定し、第３投影特徴位置ＰＦＰ２ａ及び第４投影特徴位置ＰＦＰ２ｂをこの第２交点ＩＰ２と結ぶことにより得られる。この第３投影特徴位置ＰＦＰ２ａは、第１画像における第２特徴Ｆ２をこの水平面上に投影することにより得られ、第４投影特徴位置ＰＦＰ２ｂは、第２画像における第２特徴Ｆ２をこの水平面上に投影することにより得られる。第２交点ＩＰ２は、第２直交二等分線Ｂ２が基準軸線、本実施形態においては車両の前後方向軸線ＬＡＶと交差する点であってよい。第２基準角度推定β２は、第３投影特徴位置ＰＦＰ２ａと交点ＩＰ２とを結ぶ第１線Ｌ１と、第４投影特徴位置ＰＦＰ２ｂと交点ＩＰ２とを結ぶ第２線Ｌ２との間の角度である。

本実施形態において、カメラ３及びトウボールの場所が車両１のこの前後方向軸線ＬＡＶ上にあるので、基準軸線が牽引車両１の前後方向軸線ＬＡＶである。他の実施形態では、カメラ３又はトウボール４が車両１の前後方向軸線ＬＡＶに対して横方向のずれを持つ場合又は車両１の前後方向軸線ＬＡＶに対するカメラ３とトウボール４の横方向のずれが異なる場合、基準軸線はカメラ３とトウボール４を結ぶ直線により形成されてもよい。

理想的な条件下において、第１基準角度推定β１及び第２基準角度推定β２は等しい（β１＝β２）ものであり、ヨー角ＹＡを示すものである。その一方、ノイズと不一致に起因して、第１及び第２基準角度推定β１、β２の値は異なる場合がある。

トレーラ２の２つより多い特徴が、複数の画像にわたって、決定そして、複数の画像にわたって追跡可能となるであろうことは言及に値する。さらに、好ましくは、ヨー角基準情報の結果を向上させるために、３つ以上の画像が異なる時点で撮影される。これにより、ヨー角基準情報決定の質を向上させるために２つより多い基準角度推定β１、β２を設定できる。

異なる値を有する第１及び第２基準角度推定β１、β２に基づいてヨー角基準情報を決定するために、統計的計測を用いてよい。第１実施形態において、２つ又はそれより多い基準角度推定β１、β２の中央値を用いてヨー角基準情報を決定してよい。他の実施形態において、統計的方法を用いて２つ又はそれより多い基準角度推定β１、β２に基づいてヨー角基準情報を決定してよい。統計的方法は、例えばＲＡＮＳＡＣアルゴリズム（ＲＡＮＳＡＣ、ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）又は最小二乗アルゴリズムであってよい。

角度係数のスケール又は適合に利用可能な上記基準アルゴリズムは、方法の一例に過ぎないことは言及に値する。その一方、角度係数のスケール又は適合するために、他の基準アルゴリズムも用いられてよい。

この少なくとも１つの基準角度推定β１、β２に基づいて、ヨー角基準情報は展開されてよく、ここでは、角度係数の値は、角度推定α１、α２がヨー角基準情報に合わされるように選択されてよいということに基づいている。

上記基準方法に内在するかもしれないノイズを除去するために、トレーラ２の異なるヨー角に関して複数の基準角度係数が展開されてよい。基準角度係数はヨー角の値に依存しない場合がある。それで、複数の角度係数を平均化することにより、例えば、移動平均又は指数移動平均により、ノイズの影響を緩和できる。

第３の例として、複数の角度係数が設定されてよく、各角度係数はトレーラ２のある特徴Ｆ１、Ｆ２に対応する。従って、言い換えれば、トレーラの全ての特徴Ｆ１、Ｆ２について単一の角度係数が使われるのではなく、第１特徴Ｆ１に第１角度係数が使われてよく、第２特徴Ｆ２に第２角度係数が使われてよい。

この複数の角度係数は上記基準アルゴリズムを用いて動的に設定されてよい。

一例によると、角度推定α１、α２と角度係数とに基づいてヨー角ＹＡを決定するために以下の式を使ってよい。

角度推定α１、基準角度推定β１、基準角度推定β１に基づいて得られたヨー角基準情報それぞれを使い、角度係数を決定すべく、上記式を再構成してよい。

基準角度推定β１、ヨー角基準情報それぞれが、例えばノイズが多い特徴マッチングに起因して利用不可能な場合、以前に計算された角度係数を用いて正確な角度推定を生成するために、ノイズが多い特徴マッチングに対してロバストな角度推定α１を使ってよい。

上記式は一例にすぎず、本開示はこの式の使用に限定されないことは言及に値する。従って、角度推定α１、α２と角度係数とに基づいてヨー角ＹＡを計算するために、他の式も用いられてよい。

理想的な条件下において、複数の角度推定α１、α２を設定する場合、第１角度推定α１及び第２角度推定α２は等しい（α１＝α２）ものである。その一方、ノイズと不一致に起因して、第１及び第２角度推定α１、α２の値は異なる場合がある。ヨー角決定の質を向上させるために３つ以上の角度推定を設定できることは言及に値する。

異なる値を有する第１及び第２角度推定α１、α２に基づいてヨー角ＹＡを決定するために、統計的計測を用いてよい。第１実施形態において、２つ又はそれより多い角度推定α１、α２の中央値を用いてヨー角ＹＡを決定してよい。他の実施形態において、統計的方法を用いて２つ又はそれより多い角度推定α１、α２に基づいてヨー角ＹＡを決定してよい。統計的方法は、例えばＲＡＮＳＡＣアルゴリズム（ＲＡＮＳＡＣ、ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）又は最小二乗アルゴリズムであってよい。

撮影画像上の全ての可視の特徴がヨー角ＹＡの計算に好適であるわけではないようであった。演算の複雑さとロバストネスを小さくするために、そのような特徴が選択され、ヨー角ＹＡを決定するためにさらに使われて、実際のヨー角に非常に近い旋回角度α１、α２を提供する。特徴の選択に、これらの特徴のみがそれ以降の画像において追跡され、これにより、実際のヨー角の周りの一定の窓内に旋回角度α１、α２が得られる。例えば、窓は上方境界と下方境界により定義されてよく、この上方及び下方境界はこの実際のヨー角の周りの角度窓を定義する。例えば、窓は２°から１０°、特に３°から５°の距離にわたって広がってよい。最後の２又はそれより多いヨー角決定ステップにおいてこの窓内の旋回角度を導いた全ての特徴は、次の撮影画像中においてさらに追跡される。

複数の画像について特定のトレーラの特徴を追跡する場合、トレーラ２の動きに起因して、この特徴のサンプルは円形のセグメントに配置されてよい。この円形のセグメントの中心はトウボール４の場所を示す。従って、複数の画像にわたる特定のトレーラ特徴を追跡することにより、トウボール４の場所を導出できる。

ノイズを緩和するために、トウボール４の場所の決定は、複数の画像にわたる期間に追跡される複数のトレーラ特徴を考慮に入れてよい。各トレーラ特徴は所定の中心推定を有する円形のセグメントに対応してよい。この複数の中心推定についての統計的方法を適用することにより、トウボール４の実際の場所を展開できる。統計的方法は、例えばＲＡＮＳＡＣアルゴリズム又は最小二乗アルゴリズムであってよい。

図５は、牽引車１の前後方向軸線ＬＡＶに対するトレーラ２のヨー角ＹＡを決定する方法の方法ステップを示す概略的なブロック図を示す。

第１ステップとして、トレーラの第１及び第２画像が撮影される（Ｓ１０）。

画像撮影後、第１及び第２画像上において可視のトレーラの少なくとも１つの特徴が決定される（Ｓ１１）。

この少なくとも１つの特徴の決定後、少なくとも第１角度推定が計算される（Ｓ１２）。

さらに、１つ又はそれより多い角度係数が提供されてよい（Ｓ１３）。この１つ又は複数の角度係数は、この少なくとも１つの角度推定についてのスケール情報を提供する。

最後に、ヨー角が、第１角度推定に基づいて及びこの角度推定について訂正情報を提供する１つ又はそれより多い角度係数に基づいて計算される（Ｓ１４）。

なお、明細書と図面は提案される発明の原理を例示するに過ぎない。当業者であれば、明示的に本開示において説明又は図示されていなくても、本発明の原理を具現化する様々な構成を実施できるだろう。

１ 車両
２ トレーラ
３ カメラ
４ トウボール
α１ 第１角度推定
α２ 第２角度推定
β１ 第１基準角度推定
β２ 第２基準角度推定
Ｂ１ 第１直交二等分線
Ｂ２ 第２直交二等分線
ＰＦＰ１ａ 第１画像における第１特徴の投影特徴位置
ＰＦＰ１ｂ 第２画像における第１特徴の投影特徴位置
ＰＦＰ２ａ 第１画像における第２特徴の投影特徴位置
ＰＦＰ２ｂ 第２画像における第２特徴の投影特徴位置
Ｆ１ 第１特徴
Ｆ２ 第２特徴
ＩＰ１ 第１交点
ＩＰ２ 第２交点
ＬＡＴ トレーラの前後方向軸線
ＬＡＶ 車両の前後方向軸線
Ｒ 光線
ＹＡ ヨー角

Claims (14)

1. トウボール（４）を有する牽引車両（１）の前後方向軸線（ＬＡＶ）に対するトレーラ（２）のヨー角（ＹＡ）を決定する方法であって、前記方法が
   － 前記車両（１）に対する前記トレーラ（２）の方向が少なくとも２つの画像上において異なる、カメラ（３）を使って前記トレーラ（２）の少なくとも第１及び第２画像を撮影するステップ（Ｓ１０）と、
   － 前記少なくとも第１及び第２画像上において可視の前記トレーラ（２）の少なくとも第１特徴（Ｆ１）を決定するステップ（Ｓ１１）と、
   － 第１角度推定（α１）が、前記牽引車両（１）の前記カメラ（３）の位置に対する、前記第１画像上の前記第１特徴（Ｆ１）と前記第２画像上の前記第１特徴（Ｆ１）との間の水平面内の旋回角度を特徴付ける、第１角度推定（α１）を計算するステップ（Ｓ１２）と、
   － 少なくとも１つの角度係数が前記第１角度推定（α１）のためのスケール情報を提供する、少なくとも１つの角度係数を提供するステップ（Ｓ１３）と、
   － 前記第１角度推定（α１）に基づいて及び前記少なくとも１つの角度係数に基づいて前記ヨー角（ＹＡ）を計算するステップ（Ｓ１４）と
   を備え、
   前記少なくとも１つ角度係数が、前記カメラ（３）と前記トウボール（４）との間の距離を、前記カメラ（３）と前記トレーラ（２）の少なくとも１つの特徴（Ｆ１、Ｆ２）との間の距離で除することにより設定される、
   トウボール（４）を有する牽引車両（１）の前後方向軸線（ＬＡＶ）に対するトレーラ（２）のヨー角（ＹＡ）を決定する方法。
2. 前記少なくとも１つの角度係数は、幾何情報に基づいて設定され、前記幾何情報は前記カメラ（３）と前記トウボール（４）との間の距離と、前記カメラ（３）と前記トレーラ（２）の前記少なくとも１つの特徴（Ｆ１、Ｆ２）との間の距離とを考慮に入れる、請求項１に記載の方法。
3. 前記角度係数は、前記牽引車両それぞれについて調整されている単一の係数である、請求項１又は２に記載の方法。
4. 前記単一の係数は、少なくとも１つの角度推定（α１、α２）に適用されるか、少なくとも２つの角度推定（α１、α２）に基づいて設定される中央値又は平均値に適用される、請求項３に記載の方法。
5. 前記角度係数はトレーラ（２）それぞれについて動的に適合される、請求項１又は２に記載の方法。
6. 前記角度係数の前記動的な適合は、ヨー角（ＹＡ）を決定し、前記少なくとも１つの角度推定（α１、α２）を基準アルゴリズムにより提供されるヨー角基準情報と比較することにより前記角度係数を適合する前記基準アルゴリズムを用いることにより行われる、請求項５に記載の方法。
7. 前記基準アルゴリズムは、
   － 前記カメラ（３）と前記第１画像上の決定された前記第１特徴との間の光線を水平面上に投影し、これにより第１投影特徴位置（ＰＦＰ１ａ）を得て、前記カメラ（３）と前記第２画像上の決定された前記第１特徴との間の光線を前記水平面上に投影し、これにより第２投影特徴位置（ＰＦＰ１ｂ）を得て、
   － 前記第１投影特徴位置（ＰＦＰ１ａ）の場所と前記第２投影特徴位置（ＰＦＰ１ｂ）の場所との間の第１直交二等分線（Ｂ１）を設定し、
   － 基準軸線又はさらなる直交二等分線との前記第１直交二等分線（Ｂ１）の第１交点（ＩＰ１）を決定し、
   － 第１基準角度推定（β１）に基づいてヨー角基準情報を提供し、前記第１基準角度推定（β１）は、前記第１投影特徴位置（ＰＦＰ１ａ）から前記第１交点（ＩＰ１）まで延在する第１線と前記第２投影特徴位置（ＰＦＰ１ｂ）から前記第１交点（ＩＰ１）まで延在する第２線との間の前記水平面における角度についてである
   ように構成される、請求項６に記載の方法。
8. 異なるヨー角についての複数のヨー角基準情報は前記基準アルゴリズムに基づいて展開され、前記角度係数は前記複数のヨー角基準情報の平均値を展開することにより決定される、請求項６又は７に記載の方法。
9. 各特徴当たりに、異なる角度係数が提供されるか設定される、請求項１、２、５、６、７及び８の中のいずれか１項に記載の方法。
10. 各角度係数は、前記角度係数に対応する、前記カメラ（３）と前記トウボール（４）との間の距離と、前記カメラ（３）と前記トレーラ（２）の前記特徴（Ｆ１、Ｆ２）それぞれとの間の距離との関係を考慮することにより設定される、請求項９に記載の方法。
11. 前記第１角度推定（α１）を計算するステップは、前記カメラ（３）の位置と第１及び第２画像における前記少なくとも１つの特徴（Ｆ１、Ｆ２）との間の光線（Ｒ）を決定することを備える、請求項１から１０のいずれか１項に記載の方法。
12. 前記光線（Ｒ）を決定するために、前記少なくとも１つの特徴（Ｆ１、Ｆ２）の位置を前記画像のローカルドメインから前記車両（１）のローカルドメインへと変換するために、カメラ較正情報が使われる、請求項１１に記載の方法。
13. 前記ヨー角（ＹＡ）を計算するために、前記第１特徴（Ｆ１）に加えて、前記トレーラ（２）の１つ又はそれより多いのさらなる特徴が使われる、請求項１から１２のいずれか１項に記載の方法。
14. トウボール（４）を有する牽引車両（１）の前後方向軸線（ＬＡＶ）に対するトレーラ（２）のヨー角（ＹＡ）を決定するシステムであって、
    前記システムが、前記トレーラ（２）の画像を撮影するカメラ（３）と、前記撮影された画像を処理する処理実体と、を備え、
    前記システムが、
    － 前記車両（１）に対する前記トレーラ（２）の方向が前記少なくとも２つの画像上において異なる、カメラ（３）を使って前記トレーラ（２）の少なくとも第１及び第２画像を撮影するステップ（Ｓ１０）と、
    － 第１及び第２画像上において可視の前記トレーラ（２）の少なくとも第１特徴（Ｆ１）を決定するステップ（Ｓ１１）と、
    － 第１角度推定（α１）が、前記牽引車両（１）の前記カメラ（３）の位置に対する、前記第１画像上の前記第１特徴（Ｆ１）と前記第２画像上の前記第１特徴（Ｆ１）との間の水平面における旋回角度を特徴付ける、第１角度推定（α１）を計算するステップ（Ｓ１２）と、
    － 少なくとも１つの角度係数が前記第１角度推定（α１）についてのスケール情報を提供する、少なくとも１つの角度係数を提供するステップ（Ｓ１３）と、
    － 前記第１角度推定（α１）に基づいて及び前記少なくとも１つの角度係数に基づいて前記ヨー角（ＹＡ）を計算するステップ（Ｓ１４）と、
    を実行するようにさらに構成されていて、
    前記少なくとも１つの角度係数が、前記カメラ（３）と前記トウボール（４）との間の距離を、前記カメラ（３）と前記トレーラ（２）の少なくとも１つの特徴（Ｆ１、Ｆ２）との間の距離で除することにより設定される、
    牽引車両（１）の前後方向軸線（ＬＡＶ）に対するトレーラ（２）のヨー角（ＹＡ）を決定するシステム。

Images