JP7171743B2 - 自動車のためのカメラモニタシステム、および自動車のためのカメラモニタシステムを動作させるための方法および装置 - Google Patents

Description

本発明は、自動車のための、とりわけ被牽引車を有する自動車のためのカメラモニタシステムに関する。本発明はさらに、自動車のためのカメラモニタシステムを動作させるための方法と、当該方法を実施するように構成された装置とに関する。

自動車、例えばトラックおよび乗用車は、従来、外部ミラーを有する。ミラー代替システムも知られており、このミラー代替システムでは、通常の外部ミラーの視野領域がカメラおよびモニタによって写される。このようなミラー代替システムは、カメラモニタシステムとも称される。

とりわけ自動車の被牽引車による高信頼性の動作を可能にする、自動車のためのカメラモニタシステムを動作させるための方法を提供することが望ましい。さらに、高信頼性の動作を可能にするカメラモニタシステムを動作させるための装置を提供することが望ましい。さらに、とりわけ被牽引車における高信頼性の動作を可能にするカメラモニタシステムを提供することが望ましい。

本発明は、被牽引車を有する自動車のためのカメラモニタシステムを動作させるための方法と、当該方法を実施するように構成された対応する装置とを特徴とする。

少なくとも１つの実施形態によれば、本カメラモニタシステムは、被牽引車の後面に対応付けられたカメラを有する。カメラは、例えば、被牽引車の後面における環境を撮影するために、被牽引車の後面に取り付けられるように構成されている。カメラモニタシステムは、自動車の長手方向側面に対応付けられた別のカメラを有する。この側面は、とりわけ、通常の走行方向において自動車の前方のフロントガラスと被牽引車の後方端部との間に延在している長手方向側面である。別のカメラは、とりわけ、自動車の側面の領域における自動車の環境の画像を提供するように構成されている。

本カメラモニタシステムはさらに、カメラの画像を表示するためのモニタを有する。

カメラの画像が提供される。別のカメラの別の画像が提供される。自動車の特定された軌道に基づいて、画像および別の画像からの１つの全体画像が決定される。全体画像がモニタ上に表示される。

したがって、本方法により、リアビューカメラとも称することができるカメラと、例えば、従来の外部ミラーの代替となるミラー代替システムの一部である別のカメラとを組み合わせることが可能になる。車両においてカメラの画像を表示するために追加的なモニタは必要ない。カメラの画像は、別のカメラの別の画像と一緒に、ミラー代替システムのモニタ上に表示される。モニタは、例えば、自動車の側方の領域に配置されている。これにより、被牽引車を有する自動車の場合であっても、表示された環境をユーザが直感的に把握することが可能となる。とりわけ、従来のミラー代替システムまたは従来の外部ミラーでは写すことができない領域を、モニタに写すことができる。

被牽引車の後方の領域を見ることが可能となる。この場合、従来の外部ミラーの代替としてのモニタの位置に関する法定要件を満たすことができる。

運転者は、被牽引車の後方の背面領域を確認することができるようにするために、例えば車両の中央に配置されている別のモニタに目を向ける必要がなくなる。これによって、運転者にとっての利便性がより快適になる。左右の従来の外部ミラーに代わる２つのモニタ上では、バック走行時に、例えばカーブ内側の領域と、カーブ外側の領域と、背面領域とが見て取れる。したがって、背面領域を、快適かつ直感的に把握することができる。このために、とりわけ後方領域を表示するための別個のモニタは必要ない。オプションで、別のモニタを、例えば自動車の中央の領域に設けることが可能である。これによって、運転者は、別のモニタを見る必要なく、後方領域を快適に見ることができる。

自動車は、例えば被牽引車を有するトラック、例えばトレイラを有するトラクタである。自動車は、被牽引台車を有するトラックおよび／または被牽引車を有するバスであってもよい。別の実施例によれば、代替的または追加的に、自動車は、被牽引車を有する乗用車である。

自動車の軌道を考慮することにより、画像および別の画像の表示をその都度の走行状況に合わせて適合させることが可能になる。例えば、表示される全体画像が、自動車の牽引車と被牽引車との間のアーティキュレート角度（Knickwinkel）に基づいて適合される。

少なくとも１つの別の実施形態によれば、軌道を特定することは、自動車の速度を特定することを含む。代替的または追加的に、軌道を特定することは、操舵角度を特定することを含む。

代替的または追加的に、軌道を特定することは、被牽引車のヨーレートを特定することを含む。したがって、自動車の走行状態に基づいて、環境のうちの所望の区分がモニタ上に表示されるように、画像と別の画像とを組み合わせて、全体画像を形成することが可能である。

少なくとも１つの実施形態によれば、画像と別の画像とが、スティッチング（Stitching）によって合成される。したがって、画像および／または別の画像は、１つの一貫した全体画像がモニタ上に表示されるように歪められる。

少なくとも１つの実施形態によれば、カメラの視野領域と別のカメラの視野領域とから構成されている視野領域が全体画像内に表示されるように、画像と別の画像とが合成される。とりわけ、別のカメラの視野領域が、カメラの視野領域によって補足される。別のカメラの視野領域は、例えば、一方の側面にある従来の外部ミラーの視野領域に実質的に相当する。この視野領域は、被牽引車の後面に対応付けられたカメラの視野領域によって補足される。したがって、例えば、モニタ上の全体画像内において、被牽引車を部分的に透明に表示することが可能である。自動車の側方の環境を表示することに加えて。

少なくとも１つの別の実施形態によれば、カメラの視野領域と別のカメラの視野領域の部分領域とから構成されている視野領域が全体画像内に表示されるように、画像と別の画像とが合成される。とりわけカーブ走行時には、別のカメラの視野領域が、被牽引車自体によって覆われる。視野領域のこの部分は、例えば、全体画像内には表示されない。被牽引車に隣接する環境を写し続けている別のカメラの視野領域の部分領域が表示される。この部分領域は、アーティキュレート角度が０°である場合における別のカメラの従来の視野領域が全体的にシミュレート可能となるように、カメラの視野領域によって補足される。

少なくとも１つの実施形態によれば、カメラは、取り外し可能なカメラとして構成されている。カメラは、被牽引車に非破壊で取り付け可能であり、かつ再び取り外し可能である。したがって、被牽引車の後面に元々カメラが装備されていない自動車においても、本方法および本カメラモニタシステムを使用することが可能である。較正のために、画像および別の画像内において所定の画像内容がそれぞれ特定される。特定された画像内容に基づいて、別のカメラに対する相対的なカメラの位置が特定される。これにより、取り外し可能なカメラを取り付ける際の誤差を補償することができる。

少なくとも１つの実施形態によれば、画像内容を特定することは、画像および別の画像内において被牽引車の側面縁部を特定することを含む。代替的または追加的に、それぞれ画像および別の画像内において被牽引車の車幅灯が特定される。代替的または追加的に、画像および別の画像内に写されている、環境の良好に認識可能で特徴的な点が使用される。工場環境における較正点を使用して、カメラおよび別のカメラの較正を実施することも可能である。

少なくとも１つの実施形態によれば、本カメラモニタシステムは、カメラと、別のカメラと、モニタと、少なくとも１つの実施形態による本方法を実施するように構成された装置とを有する。

方法に関して説明した利点、特徴、および発展形態は、装置およびシステムにも適用され、その逆もまた同様である。

さらなる利点、特徴、および発展形態は、図面に関連して説明される以下の例から明らかとなる。同一、類似、および同等の要素には、全ての図面にわたって同一の参照記号が付されている場合がある。

１つの実施例によるカメラモニタシステムを有する自動車の概略図である。 自動車の概略図である。 自動車の概略図である。

図１は、１つの実施例による自動車１０１の概略図を示す。自動車１０１は、例えば、牽引車２０１および被牽引車２０２を有するトラックである。別の実施例によれば、自動車１０１は、被牽引車２０２を有するバスおよび／または乗用車である。

自動車１０１は、ミラー代替システムとしてのカメラモニタシステム１００を有する。カメラモニタシステム１００は、自動車１０１のそれぞれの長手方向側面１０６につき１つのカメラ１０３を有する。カメラ１０３は、それぞれの対応する側面１０６のそれぞれの側方の環境１１１を撮影するために使用される。

カメラモニタシステム１００は、２つのモニタ１０４を有し、これらのモニタ１０４は、側面１０６のうちの１つにそれぞれ対応付けられている。動作時には、環境１１１の一区域が、それぞれの対応するモニタ１０４上に表示される。とりわけ、法律によって規定された視界クラス、例えば視界クラス２，４，および５（Sichtfeldklassen 2, 4 und 5）を表示するために、カメラ１０３の視野領域Ｓ１の全体または一部が、対応するモニタ１０４上に表示される。モニタ１０４上に表示される画像は、とりわけ、従来の外部ミラーのミラー像を表示するように、かつとりわけ、環境１１１のうちの、従来の外部ミラーでは写すことができない別の区域を表示するように構成されている。

カメラ１０３およびモニタ１０４に信号技術的に結合された装置１１０が設けられている。装置１１０は、カメラ１０３およびモニタ１０４の両方を制御するように構成されている。例えば、装置１１０は、自動車１０１の制御装置または制御装置の一部である。

被牽引車２０２の後面１０５には、追加的なカメラ１０２が配置されている。被牽引車２０２の後面１０５は、通常の動作時には、牽引車２０１とは反対側を向いている。カメラ１０２は、装置１１０に信号技術的に結合されている。装置１１０は、カメラ１０２を制御するように構成されている。例えば、カメラ１０２は、装置１１０に信号技術的に無線で接続されている。ケーブルによる接続も可能である。

実施例によれば、装置１１０は、カメラ１０２，１０３およびモニタ１０４とは別個の構成要素である。別の実施例によれば、装置１１０は、カメラ１０２，１０３のうちの少なくとも１つおよび／またはモニタ１０４のうちの少なくとも１つの構成要素である。

リアビューカメラとも称することができるカメラ１０２は、例えば可搬式のカメラである。可搬式のカメラ１０２は、被牽引車２０２に取り付け可能であり、非破壊で再び取り外し可能であり、例えば別の被牽引車２０２に取り付け可能である。別の実施例によれば、カメラ１０２は、被牽引車２０２に固定的に取り付けられている。

カメラ１０２は、被牽引車２０２の後方の環境１１１の領域を検出するように構成されている。カメラ１０２の視野領域Ｓ２は、被牽引車２０２の後方の環境１１１を検出する。視野領域Ｓ２は、とりわけ、牽引車１０１とは反対側を向いた領域である。

カメラ１０２のカメラ画像は、牽引車２０１内の装置１１０に有線または無線で送信される。カメラ１０２の画像は、ミラー代替システムのモニタ１０４上に表示される。例えば、モニタ１０４は、ミラー代替システムの既存のモニタである。

従来のミラー代替システムと比較して追加されている視野領域Ｓ２は、例えばスティッチングによって視野領域Ｓ１と適応的に組み合わされる。このために装置１１０は、とりわけ自動車１０１の軌道を特定する。この際には、例えば自動車１０１の速度が考慮される。例えば、速度は、ＣＡＮ（Controller Area Network）情報から特定される。代替的または追加的に、自動車１０１の操舵角度が考慮される。代替的または追加的に、アーティキュレート角度１０７（図３）および／またはヨーレートが考慮される。ヨーレートは、例えばジャイロスコープセンサまたは他の制御装置によって特定される。

図２から見て取れるように、カメラ１０２および１０３の視野領域Ｓ１およびＳ２は、少なくとも部分的に合成されて１つの全体視野領域３を形成し、対応するモニタ１０４上に表示される。

運転者のためにモニタ１０４上に後面１０５の領域も挿入するために、車両の軌道と、長さ、高さ、および／または幅のような自動車１０１の既知のパラメータと、カメラ１０２および１０３の既知の視野領域Ｓ１およびＳ２とに基づいて、視野領域Ｓ１およびＳ２をどのように合成して全体視野領域Ｓ３を形成するかが決定される。視野領域Ｓ１およびＳ２の合成は、とりわけ特定された軌道に基づいて、例えば牽引車２０１と被牽引車２０２との間のアーティキュレート角度に基づいて、変更および適合される。

カメラ１０２と装置１１０との間のデータ接続は、例えば、いわゆるブローダー・リーチ（BroadR-Reach）ネットワークを介して有線で実施されるか、または例えばＩＥＥＥ８０２．１１規格に準拠した無線ローカルネットワークを介して無線で実施される。無線ネットワークを使用する場合には、アンテナを、ミラー代替システムのカメラ１０３のカメラアームに配置することができる。

複数の異なるカメラ１０２および１０３の画像の合成は、とりわけ装置１１０においてスティッチングによって実施される。この際には、複数の異なるビューをモニタ１０４上に表示することができる。例えば、従来のように法律によって規定された視界クラスを表示することに加えて、リアビューカメラの画像が表示される。例えばモニタ１０４上には、視界クラス４が表示され、追加的に、視界クラス２に隣接してカメラ１０２の画像が表示される。例えば、カメラ１０２の画像は、視界クラス４に加えて、視界クラス５に隣接して表示される。例えば、図２に示すように、被牽引車２０２を部分的に透明に表示することも可能である。ここでは、カメラ１０３の視野領域Ｓ１は、従来のミラー代替システムと比較して拡大された１つの全体視野領域３が作成されるように、カメラ１０２の視野領域Ｓ２の部分領域Ｓ２’によって補足される。この全体視野領域３は、被牽引車２０２を透過するビューをシミュレートするような、モニタ１０４上の表示を可能にする。

とりわけ自動車１０１の運転状況または特定された軌道に基づいて、視野領域Ｓ１およびＳ２を種々異なるように組み合わせて、全体視野領域Ｓ３を形成することが可能である。この際には、カメラ１０３の視野領域Ｓ１は、例えば、自動車１０１、とりわけ被牽引車２０２の側面１０６に沿って整列するように、または自動車１０１、とりわけ被牽引車２０２を最小限に被覆または横断するように構成されている。別のカメラ１０３の視野領域Ｓ１は、例えば、法定の視界クラス２、４、および５の視界から構成されている。このために、複数のカメラを使用することもできる。

図２に示されているように、部分領域Ｓ２によって視界Ｓ１を拡大することにより、ミラー代替システムの従来の領域Ｓ１を表示することが可能であると同時に、部分領域Ｓ２’と組み合わせることによって、被牽引車２０２の後方の領域を表示することも可能となる。このような被牽引車２０２の後方の領域は、カメラ１０２なしでは写すことができなかった。全体視野領域３がより大きな開口角度を有する単一の視界であるかのように、２つの視野領域Ｓ１およびＳ２’が組み合わされて、全体視野領域３を形成する。

２つのカメラ１０２および１０３の画像は、これらの画像をできるだけ良好に合成することが可能となるように歪められる。このために、それぞれのカメラ１０２および１０３の、互いに対する相対的な位置と、自動車１０１に対する相対的な位置とが特定される。動作中、例えばカーブ走行時には、例えばアーティキュレート角度１０７に基づいて、カメラ１０２，１０３の互いに対する相対的な向きの変化が考慮され、これに応じてカメラ１０２および１０３の画像の合成が適合される。

図面では、視野領域は、運転席側に関して概略的に図示されている。本方法および本システムは、助手席側に関しても相応に実現可能である。

図３は、カメラ１０２および１０３の視野領域Ｓ１およびＳ２の、またはこれらの視野領域の部分領域の、代替的な合成を示す。

例えば、自動車１０１が真っ直ぐに方向決めされている場合、すなわちアーティキュレート角度が１８０°±５°である場合には、視界Ｓ１だけがモニタ１０４上に表示される。カーブ走行時には、アーティキュレート角度１０７が減少する。アーティキュレート角度１０７に基づいて、さらに視野領域Ｓ１の部分領域Ｓ１’だけが表示される。この部分領域Ｓ１’は、視野領域Ｓ１のうちの、被牽引車２０２の側面縁部１０８から外側に向いている領域である。視野領域Ｓ１のうちの、被牽引車２０２の側面１０６だけを写している残りの部分領域Ｓ１’’は、全体視野領域３をモニタ１０４上に表示するためには使用されない。この領域Ｓ１’’は、後面１０５における環境１１１を写しているカメラ１０２の部分領域Ｓ２’によって置き換えられる。したがって、全体視野領域３は、アーティキュレート角度１０７に関係なく常に同じ大きさである。

部分領域Ｓ２’を用いて全体視野領域３から被牽引車２０２をフェードアウトさせる代わりに、被牽引車２０２を、ほぼ透明にではあるが依然として表示することも可能であり、この場合には、例えば透明度を設定することが可能である。表示された全体視野領域３内において、被牽引車２０２の位置を有色透明にオーバーレイすることも可能である。代替的または追加的に、被牽引車２０２の縁部を、線を用いて、例えばボックスとしてモニタ１０４上に表示することも可能である。代替的または追加的に、ワイヤフレームビューも可能である。古典的な縁部検出によってフィルタリングされた画像をオーバーレイすることも可能である。

部分領域Ｓ２’のない全体視野領域３に加えて、モニタ１０４上に部分領域Ｓ１’’を写すことも可能である。例えば、２つの領域Ｓ１’およびＳ１’’と、Ｓ１’およびＳ２’とが、モニタ１０４上に並べて表示される。これにより、運転者は、両方のビューを考慮することができる。

ミラー代替システムの従来の表示に加えて、モニタ１０４における下位の２つのクラス５の領域のうちの一方の領域内に、視野領域Ｓ２またはＳ２’を表示することも可能である。

代替的または追加的に、カメラ１０２の画像が、モニタ１０４の専用の領域上に、または追加的なモニタ上に表示される。このために例えば、補足としてミラー代替システムのカメラ１０３の画像が使用され、組み合わされたビューが、例えば、ナビゲーションシステムのモニタ上に表示される。

カメラ１０２が取り外し可能なカメラとして構成されている場合には、カメラ１０２の位置を特定するために、例えば、カメラ１０２および１０３の画像内容が使用される。カメラ１０２のカメラレンズが１８０°より大きい角度をカバーしている場合には、例えば、カメラ１０２の画像内において、被牽引車２０２の２つの側面縁部１０８が検出される。自動車１０１の側面１０６のうちの一方の側面の縁部も、例えば、別のカメラ１０３の画像内において検出される。代替的または追加的に、カメラ１０２，１０３のそれぞれの画像内において、例えば車幅灯１０９が認識される。車幅灯１０９は、リアポジションランプとも称される。実施例によれば、車幅灯１０９は、画像および別の画像内において車幅灯１０９を良好に識別することができるようにするために、カメラ１０２，１０３の位置を特定している間、所定のパターンによって制御される。例えば、所定の点滅パターンが実施される。

他の画像内容、例えば車線標示および／または較正点、および／または環境内の簡単に認識可能な顕著な画像内容を、較正のために使用することもできる。

とりわけ、固定的に設置されたリアビューカメラシステムの場合には、例えば視差を最小化するために、被牽引車２０２の後面１０５のそれぞれ左右にある２つのカメラ１０２を使用することができる。無線接続の場合には、２つのカメラ１０２が互いに接続を確立することができ、その場合、これらのカメラ１０２のうちの一方が、マスタの役割を引き受けることができる。２つのカメラ１０２をケーブルによって接続することも可能であり、これにより、装置１１０との１つの無線データ接続のみを形成すればよくなる。とりわけ、取り外し可能なカメラ１０２の場合には、２つのカメラ１０２の互いに対する相対的な位置の特定を、上述した方法により、とりわけカメラ１０２のそれぞれの画像内において画像内容を特定することによって実施することもできる。

上述の実施例によるカメラモニタシステム１００により、被牽引車２０２の後方の環境１１１のうちの、カメラ１０２なしでは従来見えなかった領域を、自動車１０１の運転者のためにモニタ１０４上に快適かつ直感的に表示することが可能となる。

Claims (9)

1. 被牽引車（２０２）を有する自動車（１０１）のための、ミラー代替システムとしてのカメラモニタシステム（１００）を動作させるための方法であって、
   前記カメラモニタシステム（１００）は、
   前記被牽引車（２０２）の後面（１０５）に対応付けられたカメラ（１０２）と、
   前記自動車（１０１）の長手方向側面（１０６）に対応付けられ、従来の外部ミラーの代替となる前記ミラー代替システムの一部である別のカメラ（１０３）と、
   前記自動車（１０１）の側方の領域に配置され、前記カメラ（１０２，１０３）の画像を表示するための、前記ミラー代替システムのモニタ（１０４）と、
   を有し、
   前記カメラ（１０２）は、取り外し可能なカメラとして構成されており、
   当該方法は、
   前記カメラ（１０２）の画像を提供するステップと、
   前記別のカメラ（１０３）の別の画像を提供するステップと、
   前記自動車（１０１）の特定された軌道に基づいて、前記画像および前記別の画像からの１つの全体画像を決定するステップと、
   前記全体画像を前記モニタ（１０４）上に表示するステップと、
   を含み、
   当該方法は、
   前記画像および前記別の画像内において所定の画像内容を特定するステップと、
   特定された前記画像内容に基づいて、前記別のカメラ（１０３）に対する相対的な前記カメラ（１０２）の位置を特定するステップと、
   を含み、
   前記画像内容を特定するステップは、前記画像および前記別の画像内において前記被牽引車（２０２）の車幅灯（１０９）を特定するステップを含み、
   前記車幅灯（１０９）は、前記カメラの位置を特定している間、所定の点滅パターンによって制御される、
   方法。
2. 前記軌道を特定するステップは、
   前記自動車（１０１）の速度を特定するステップと、
   操舵角度を特定するステップと、
   前記自動車（１０１）の牽引車（２０１）と前記被牽引車（２０２）との間のアーティキュレート角度（１０７）を特定するステップと、
   前記被牽引車（２０２）のヨーレートを特定するステップと、
   のうちの少なくとも１つを含む、請求項１記載の方法。
3. 前記全体画像を決定するステップは、
   前記画像と前記別の画像とを、スティッチングによって合成するステップ
   を含む、請求項１または２記載の方法。
4. 前記全体画像を決定するステップは、
   前記カメラ（１０２）の視野領域（Ｓ２，Ｓ２’）と前記別のカメラ（１０３）の視野領域（Ｓ１，Ｓ２’，Ｓ１’’）とから構成されている全体視野領域（Ｓ３）が前記全体画像内に表示されるように、前記画像と前記別の画像とを合成するステップ
   を含む、請求項１から３までのいずれか１項記載の方法。
5. 前記全体画像を決定するステップは、
   前記カメラ（１０２）の視野領域（Ｓ２，Ｓ２’）と前記別のカメラ（１０３）の視野領域（Ｓ１）の部分領域（Ｓ１’）とから構成されている全体視野領域（Ｓ３）が前記全体画像内に表示されるように、前記画像と前記別の画像とを合成するステップ
   を含む、請求項１から４までのいずれか１項記載の方法。
6. 前記画像内容を特定するステップは、
   前記画像および前記別の画像内において前記被牽引車（２０２）の側面縁部（１０８）を特定するステップと、
   を含む、請求項１から５までのいずれか１項記載の方法。
7. 前記カメラモニタシステム（１００）は、前記後面（１０５）に対応付けられた少なくとも２つのカメラ（１０２）を有し、
   当該方法は、
   前記少なくとも２つのカメラ（１０２）のそれぞれの画像内において所定の画像内容を特定するステップと、
   特定された前記画像内容に基づいて、前記少なくとも２つのカメラ（１０２）の、互いに対する相対的な位置、および／または前記別のカメラ（１０３）に対する相対的な位置を特定するステップと、
   を含む、
   請求項１から６までのいずれか１項記載の方法。
8. 請求項１から７までのいずれか１項記載の方法を実施するように構成された、被牽引車（２０２）を有する自動車（１０１）のための装置。
9. 被牽引車（２０２）を有する自動車（１０１）のための、ミラー代替システムとしてのカメラモニタシステム（１００）であって、当該カメラモニタシステム（１００）は、
   前記被牽引車（２０２）の後面（１０５）に対応付けられたカメラ（１０２）と、
   前記自動車（１０１）の長手方向側面（１０６）に対応付けられ、従来の外部ミラーの代替となる前記ミラー代替システムの一部である別のカメラ（１０３）と、
   前記自動車（１０１）の側方の領域に配置され、前記カメラ（１０２，１０３）の画像を表示するための、前記ミラー代替システムのモニタ（１０４）と、
   請求項８記載の装置（１１０）と、
   を有し、
   前記カメラ（１０２）は、取り外し可能なカメラとして構成されている、
   カメラモニタシステム（１００）。

Images