JP7247173B2 - 画像処理方法及び装置 - Google Patents

Description

本開示は、画像処理方法及び装置に関する。限定されるものではないが、具体的には、本開示は、車両に配置されるイメージ中の標的オブジェクトを特定するための方法及び装置に関する。

車両上のカメラを利用し、これらのカメラからのイメージを表示して運転手を補助することが知られている。例えば、後面カメラを車両のバンパーに設けて、車両の駐車を促進することが知られている。イメージは、有益なソースの追加情報を運転手に提供することができ、例えば、潜在的な妨害物を特定することができる。被牽引車両（例えば、トレーラ）の操作を促進する目的で、牽引車両及びトレーラ上にカメラを設けることが知られている。カメラは、例えば、トレーラの後方に設けて、トレーラをバックさせることを促進することができる。本出願人の先願ＧＢ１４１４６３２．８から知られていることとして、車両に設けられるカメラからのイメージを、トレーラに設けられるカメラからのイメージと組み合わせることが知られている。得られる複合イメージは、運転手へ補助を提供するためのアウトプットとなる可能性がある。

本発明（複数可）は、こうしたタイプの表示システムの発展及び改変に関する。

発明の概要
本発明の態様は、添付された特許請求の範囲に記載されるコントローラ、方法、及び非一時的なコンピュータ可読媒体に関する。

本発明の更なる態様によれば、以下を提供する：牽引車両に接続される被牽引車両の周囲を特定するためのコントローラであって、コントローラは以下の動作を行うように構成される、コントローラ：
牽引車両のカメラによってキャプチャされる牽引車両イメージに対応する牽引車両イメージ・データを受信すること；
牽引車両イメージ・データを処理して、複数の移動ベクトルを生成すること；及び、
複数の移動ベクトルに依存して、被牽引車両の周囲を特定すること。
コントローラは、移動ベクトルを生成し、そして、これを利用して、牽引車両イメージの異なる特徴同士の区別を行うことができる。周囲は、車両搭載カメラの視界からみたときに、被牽引車両の外部の目に見える境界（又はエッジ）を表す。移動ベクトルを比較することにより、周囲を特定して処理を促進することができ、例えば、他のイメージとのブレンドを促進することができる。少なくとも特定の態様において、周囲は自動的に特定することができ、これにより、被牽引車両の境界をユーザが特定する必要性を排除又は低減させることができる。トレーラに対応する牽引車両イメージの一部又はサブセットは、被牽引車両の特定される周囲に基づいて選択されてもよい。トレーラ・イメージの構成要素を抽出して、例えば、イメージ・データを別のソースと組み合わせてもよい。

少なくとも特定の態様において、牽引車両及び被牽引車両の両方が動いているとき、コントローラは、被牽引車両の周囲を特定することができる。実際に、牽引車両及び被牽引車両が動いているとき、移動ベクトルは、コントローラに対して以下のことを可能にする：被牽引車両と、互いに対して動きあう背景又は周辺の特徴との区別を行うこと。コントローラは、車両の参照速度が予め決められた速度閾値以上である場合にのみ、被牽引車両の周囲を特定するように構成されてもよい。或いは、コントローラは、移動ベクトルの大きさの平均が予め決められた閾値を超える場合のみ、被牽引車両の周囲を特定するように構成されてもよい。

移動ベクトルは、それぞれ大きさを含んでもよい。移動ベクトルは、ｘ及びｙ方向の構成要素を有するスカラー値をそれぞれ含むことができる（ここで、ｘ及びｙは、イメージ軸に対応する）。ｘ及びｙ方向の構成要素は、各移動ベクトルの大きさを決定するために組み合わせることができる。

移動ベクトルの大きさは、瞬間の大きさを含んでもよく、例えば、予め決められた時間間隔で決定されてもよい。或いは、移動ベクトルの大きさは、時間に関して分析されてもよい。例えば、大きさの平均（ａｎ ａｖｅｒａｇｅ ｏｒ ｍｅａｎ）は、時間に関して決定されてもよい。大きさは、時間的な大きさの平均を含んでもよい。コントローラは、各移動ベクトルの時間的な大きさの平均を計算するように構成されてもよい。被牽引車両の周囲の特定は、複数の移動ベクトルの大きさを比較することを含んでもよい。

コントローラは、移動ベクトルの大きさの勾配を決定するように構成されてもよい。移動ベクトルの大きさの勾配は、サンプル場所間の距離に対する大きさの変化を表す。サンプル場所間の距離は、例えば、イメージ内のピクセルにて測定されてもよい。例示的な意味で、第１座標（ｘ１，ｙ１）での第１移動ベクトルは、第１の大きさＭ１を有することができる；そして、第２座標（ｘ２，ｙ２）での第２移動ベクトルは、第２の大きさＭ２を有することができる。ｘ方向での大きさの勾配は、（Ｍ２－Ｍ１）／（ｘ２－ｘ１）になるであろう；そして、ｙ方向での大きさの勾配は、（Ｍ２－Ｍ１）／（ｙ２－ｙ１）になるであろう。従って、以下の点を理解されたい：移動ベクトルの大きさの勾配は、単一のイメージ内のイメージにわたって空間的に大きさがどのように変化するかを定義することができる。計算される大きさの勾配は、ある時間にわたって平均化されてもよい。コントローラは、時間的な勾配の平均を計算するように構成されてもよい。被牽引車両の周囲は、決定される勾配に依存して特定されてもよい。決定される勾配を閾値と比較して、被牽引車両の周囲を特定してもよい。閾値よりも大きい任意の決定される勾配は、イメージ中の有意な境界（例えば、被牽引車両の周囲に対応するもの）を表すものと考えてもよい。閾値は、予め決定されてもよく、又は、動的に計算されてもよい。

移動ベクトルは、牽引車両イメージ全体に関して生成されてもよい。

コントローラは、閉鎖アルゴリズム（ｃｌｏｓｉｎｇ ａｌｇｏｒｉｔｈｍ）を適用して、被牽引車両の特定される周囲を閉じるように構成されてもよい。

コントローラは、被牽引車両の特定される周囲に依存して、牽引車両イメージのトレーラ・イメージの構成要素を選択するように構成されてもよい。

コントローラは、トレーラのカメラでキャプチャされるトレーラ・イメージに対応するトレーラ・イメージ・データを受信するように構成されてもよい。コントローラは、任意で、トレーラ・イメージの構成要素をトレーラ・イメージに重ね合わせてもよい。

コントローラは、トレーラのカメラでキャプチャされるトレーラ・イメージに対応するトレーラ・イメージ・データを受信するように構成されてもよい。コントローラは、被牽引車両の特定される周囲に依存して、被牽引車両イメージの構成要素を選択するように構成されてもよい。不明瞭化構成要素は、例えば、被牽引車両の背後の領域に対応してもよく、当該領域は、被牽引車両によるある視界から（牽引車両の運転手の視界から）不明瞭化されてもよい。コントローラは、不明瞭化構成要素を牽引車両イメージに重ね合わせてもよい。コントローラは、任意で、不明瞭化構成要素を再スケール化して、牽引車両のカメラとトレーラのカメラとの間の長手方向のオフセットを可能にするように構成されてもよい。牽引車両イメージの対応する領域の透明性（即ち、被牽引車両に対応するものとして特定される領域）は、任意で、上昇させてもよい。透明性を上昇させ、牽引車両イメージが部分的に透明になるようにすることで、トレーラは、複合イメージとして、見えてもよい（例えば、半透明（「ゴースト」）イメージとして）。

コントローラは、組み合わされる牽引車両イメージ及び被牽引車両イメージに依存して生成される複合イメージを出力するように構成されてもよい。複合イメージは、例えば、ディスプレイ・スクリーンに出力されてもよい。

コントローラは、牽引車両イメージ・データのオプティカル・フロー分析を実行して、移動ベクトルを生成してもよい。

本発明の更なる態様によれば、以下を提供する：牽引車両に接続される被牽引車両の周囲を特定する方法であって、以下を含む方法：
牽引車両イメージに対応する牽引車両イメージ・データを受信すること；
牽引車両イメージに関する複数の移動ベクトルを生成すること；及び、
前記移動ベクトルに基づいて、被牽引車両の周囲を特定すること。

方法は、車両の参照速度が予め決められた速度閾値以上である場合のみ、被牽引車両の周囲を特定することを含むことができる。参照速度は、車両に搭載される適切な速度センサから受信してもよい。或いは、方法は、移動ベクトルの大きさの平均が予め決められた閾値を超える場合のみ、被牽引車両の周囲を特定することを含むことができる。

各移動ベクトルは大きさを含むことができる。移動ベクトルは、ｘ及びｙ方向の構成要素を有するスカラー値をそれぞれ含むことができる（ここで、ｘ及びｙは、イメージ軸に対応する）。ｘ及びｙ方向の構成要素は、各移動ベクトルの大きさを決定するために組み合わせることができる。

移動ベクトルの大きさは、特定の時間にて決定される瞬時の大きさを含むことができる。或いは、移動ベクトルの大きさは、時間に関して分析されてもよい。例えば、大きさの平均（ａｎ ａｖｅｒａｇｅ ｏｒ ｍｅａｎ）は、時間に関して決定されてもよい。大きさは、時間的な大きさの平均を含んでもよい。方法は、各移動ベクトルの時間的な大きさの平均を計算することを含むことができる。方法は、被牽引車両の周囲を特定すること、複数の移動ベクトルの大きさを比較することを含むことができる。

方法は、移動ベクトルの大きさの勾配を決定することを含むことができる。計算される大きさの勾配は、ある時間にわたって平均化されてもよい。方法は、決定される勾配に依存して、被牽引車両の周囲を特定することを含むことができる。方法は、決定される勾配を閾値と比較して、被牽引車両の周囲を特定することを含むことができる。閾値よりも大きい任意の決定される勾配は、イメージ中の有意な境界（例えば、被牽引車両の周囲に対応するもの）を表すものと考えてもよい。閾値は、予め決定されてもよく、又は、動的に計算されてもよい。

方法は、牽引車両イメージ全体に関する移動ベクトルを生成することを含むことができる。

方法は、閉鎖アルゴリズムを適用して被牽引車両の特定される周囲を閉じることを含むことができる。

方法は、被牽引車両の特定される周囲に依存して、牽引車両イメージのトレーラ・イメージの構成要素を選択することを含むことができる。方法は、トレーラのカメラでキャプチャされるトレーラ・イメージに対応するトレーラ・イメージ・データを受信することを含むことができる。方法は、トレーラ・イメージの構成要素をトレーラ・イメージに重ね合わせることを含むことができる。

方法は、トレーラのカメラでキャプチャされるトレーラ・イメージに対応するトレーラ・イメージ・データを受信することを含むことができる。方法は、被牽引車両の特定される周囲に依存して、被牽引車両イメージの構成要素を選択することを含むことができる。方法は、不明瞭化構成要素を牽引車両イメージに重ね合わせることを含むことができる。不明瞭化構成要素は、例えば、被牽引車両の背後の領域に対応してもよく、当該領域は、被牽引車両によるある視界から（牽引車両の運転手の視界から）不明瞭化されてもよい。方法は、不明瞭化構成要素を牽引車両イメージに重ね合わせることを含むことができる。方法は、任意で、不明瞭化構成要素を再スケール化して、牽引車両のカメラとトレーラのカメラとの間の長手方向のオフセットを可能にすることを含むことができる。牽引車両イメージの対応する領域の透明性（即ち、被牽引車両に対応するものとして特定される領域）は、任意で上昇させてもよい。透明性を上昇させ、牽引車両イメージが部分的に透明になるようにすることで、トレーラは、複合イメージとして、見えてもよく、例えば、半透明（「ゴースト」）イメージとして、見えてもよい。

方法は、組み合わされる牽引車両イメージ及び被牽引車両イメージに依存して生成される複合イメージを出力することを含むことができる。

方法は、オプティカル・フロー分析を実行して、牽引車両イメージ・データに関する移動ベクトルを生成することを含むことができる。

本発明の更なる態様によれば、以下を提供する：非一時的コンピュータ可読媒体であって、媒体の中に記憶される１組のインストラクションを有し、実行されると、プロセッサに、本明細書に記載の方法を実行させる、媒体。

本明細書に記載の任意のコントロール・ユニット又はコントローラは、１以上の電気的プロセッサを有するコンピュータ装置を適宜含むことができる。システムは、単独のコントロール・ユニット又は電気的コントローラを含むことができ、或いは、異なる機能のコントローラは、異なるコントロール・ユニット又はコントローラにて埋め込まれたり、又はホストされたりしてもよい。本明細書で使用する用語「コントローラ」又は「コントロール・ユニット」は、以下の両方を含むものとして理解されたい：単一のコントロール・ユニット又はコントローラ、及び、任意の記述した制御機能を提供するために集合的に動作する複数のコントロール・ユニット又はコントローラ。コントローラ又はコントロール・ユニットを構成するために、適切な１組のインストラクションを提供してもよく、実行されると、前記コントロール・ユニット又はコンピュータ装置に、本明細書で特定されるコントロール技術を実行させることができる。１組のインストラクションは、適宜、前記１以上の電気的プロセッサ内に埋め込まれてもよい。或いは、１組のインストラクションは、ソフトウェアとして提供されてもよく、インストラクションは、１以上メモリに保存されてもよく、メモリは、前記コントローラと関連してもよく、前記コンピュータ装置上で実行されてもよい。コントロール・ユニット又はコントローラは、１以上のプロセッサ上で実行されるソフトウェア内で実装されてもよい。１以上の他のコントロール・ユニット又はコントローラは、１以上のプロセッサ（任意で第１コントローラとしての同一の１以上のプロセッサ）上で実行されるソフトウェア内で実装されてもよい。他の適切な配置も用いることができる。

本出願の範囲内で、明示的に意図することとして、様々な態様、実施形態、実施例、及び代替が、以降の段落、請求項、及び／又は、以降の明細書及び図面、並びに、これらの具体的な個々の特徴において記述されるが、これらは、独立して採用してもよく、任意の組み合わせで採用してもよい。即ち、全ての実施形態及び／又は任意の実施形態の特徴は、こうした特徴が適用できない状態に該当しない限りは、任意の方法及び／又は組み合わせで、組み合わせてもよい。本出願人は、以下の権利を確保する：任意の元々提出した請求項を変更すること、又は、これに従って、任意の新たな請求項を提出すること（ここで、含む権利として、任意の元々提出した請求項を補正して、元々請求項に記載されていなかったものの任意の請求項の任意の他の特徴を引用及び／又は取り込むようにしてもよい）。

本発明の１以上の実施形態を以下説明するが、当該説明は例示的な意味としてのみであり、以下の添付した図面に言及しながら行う：
本発明の実施形態に従った、後方閲覧ディスプレイ・システムを取り込んだ車両及びトレーラを示す； 図１に示す後方閲覧ディスプレイ・システムの構成要素を概念的に表現したものを示す； 牽引車両に搭載される牽引車両のカメラからの牽引車両イメージを示す； トレーラに搭載されるトレーラのカメラからのトレーラ・イメージを示す。； トレーラの周囲を決定するための牽引車両イメージの処理を表すブロック図を示す； 複合イメージを示し、この複合イメージは、図３Ａ及び３Ｂに示す牽引車両イメージ及びトレーラ・イメージを組み合わせることによって生成される； 第１イメージを示し、第１イメージは、牽引車両のカメラによってキャプチャされるイメージ内のオプティカル・フロー・ベクトルを示す； 図６に示す第１イメージの拡大部分を示す； 第２イメージを示し、第２イメージは、図６及び７に示すイメージに関するオプティカル・フロー・ベクトルの時間的な大きさの平均を示す；及び、 第３イメージを示し、第３イメージは、閾値より大きい勾配を有する時間的な大きさの平均を示す。

本発明の実施形態に従った後方閲覧ディスプレイ・システム１を添付図に言及しながら以下説明する。後方閲覧ディスプレイ・システム１は、被牽引車両Ｔに接続される牽引車両Ｖにて使用されることを意図する。本実施形態における被牽引車両Ｔは、トレーラＴを含む。牽引車両Ｖは、第１長軸Ｘ１を有し、そして、トレーラＴは、第２長軸Ｘ２を有する。

図１に示すように、後方閲覧ディスプレイ・システム１は、コントローラ２、牽引車両のカメラＣ１、及びトレーラのカメラＣ２を備える。牽引車両のカメラＣ１は、牽引車両Ｖの後方に配置され、そして、後面方向を向いている。牽引車両のカメラＣ１は、第１長軸Ｘ１と実質的に平行な光軸を有する。牽引車両のカメラＣ１は、第１視野ＦＯＶ１を有し、第１視野は、牽引車両Ｖの後方に対する領域を包含する。使用の際には、牽引車両のカメラＣ１は、牽引車両イメージＩＭＧ１に対応する牽引車両イメージ・データＤＶ１をキャプチャする。牽引車両イメージＩＭＧ１は、牽引車両のカメラＣ１によってキャプチャされる、牽引車両Ｖからの後面シーンを含む。牽引車両イメージＩＭＧ１は、例えば、以下を含むことができる：トレーラＴの前方の少なくとも一部、並びに、トレーラＴ周辺の環境の一部、例えば、トレーラＴに対する側方、及び／又は、上方、及び／又は、下方。トレーラのカメラＣ２は、トレーラＴの後方に配置され、そして、後面方向を向いている。トレーラのカメラＣ２は、第２長軸Ｘ２と実質的に平行な光軸を有する。トレーラのカメラＣ２は、第２視野ＦＯＶ２を有し、第２視野は、トレーラＴの後方に対する領域を包含する。使用の際には、トレーラのカメラＣ２は、トレーラ・イメージＩＭＧ２に対応するトレーラ・イメージ・データＤＶ２をキャプチャする。トレーラ・イメージＩＭＧ２は、トレーラのカメラＣ２によってキャプチャされる、トレーラＴからの後面シーンを含む。トレーラ・イメージＩＭＧ２は、例えば、以下を含むことができる：トレーラＴの後方の道路のイメージ、及び、トレーラＴの後方の車両。牽引車両イメージＩＭＧ１、及び／又は、トレーラ・イメージＩＭＧ２の水平、及び／又は、垂直方向の拡張は、牽引車両のカメラＣ１及びトレーラのカメラＣ２のビュー・アングルに依存する。

本実施形態において、コントローラ２は、牽引車両Ｖに配置される。図２に示すように、コントローラ２は、プロセッサ３を含み、プロセッサは、システムメモリ４及びワイヤレス・レシーバ５に接続される。プロセッサ３は、システムメモリ４内に保持される１組のソフトウェア・インストラクションを実行するように構成され、そして、イメージ処理モジュール（参照番号６で示す）を実装する。プロセッサ３は、通信バス８（例えば、牽引車両ＣＡＮバス）に接続され、通信バスは、他の牽引車両システムとの通信のためのものである。ワイヤレス・レシーバ５は、第１アンテナ７を含む。トレーラのカメラＣ２は、第２アンテナ１１を有するワイヤレス・トランスミッタ９に接続される。使用の際には、ワイヤレス・トランスミッタ９は、トレーラのカメラＣ２によってキャプチャされるトレーラ・イメージ・データＤＶ２をワイヤレス・レシーバ５に送信する。牽引車両Ｖは、ディスプレイ・スクリーン１０を含み、ディスプレイ・スクリーン上で、車両カメラ及びトレーラのカメラＣ１、Ｃ２からそれぞれ受信する牽引車両イメージ及びトレーラ・イメージを選択的に表示することができる。

牽引車両のカメラ及びトレーラのカメラＣ１、Ｃ２は、両方とも、ビデオ・イメージを生成するための後面デジタル・カメラである。牽引車両のカメラ及びトレーラのカメラＣ１、Ｃ２は、それぞれ広角レンズを備え、凡そ１８０°のビュー・アングルを提供する。牽引車両のカメラＣ１は、後方のナンバープレート（図示しない）の上方の牽引車両Ｖの後方の中央に搭載され、そして、本実施形態において、牽引車両Ｖに連結されるトレーラＴが無い場合には、駐車を補助するためのバック・カメラとして選択的に機能することができる。トレーラのカメラＣ２は、トレーラＴの後方の中央に搭載される。牽引車両のカメラ及びトレーラのカメラＣ１、Ｃ２は、地面の上とほぼ同じ垂直高さにて配置される。別の配置として、牽引車両のカメラ及びトレーラのカメラＣ１、Ｃ２は、互いにオフセットであってもよく、垂直方向、及び／又は、横方向にオフセットであってもよい。イメージ処理モジュール６は、任意のこうした位置的なオフセットを校正するように構成されてもよい。同様に、イメージ処理モジュール６は、牽引車両のカメラ及びトレーラのカメラＣ１、Ｃ２の間の角度的なオフセットに関する校正を行うように構成されてもよく（例えば、牽引車両のカメラＣ１及びトレーラのカメラＣ２のうち片方又は両方が第１及び第２長軸Ｘ１、Ｘ２それぞれから角度的にオフセットである場合）。

牽引車両のカメラＣ１は、第１シグナルＳ１を出力し、第１シグナルは、牽引車両イメージＩＭＧ１に対応する前記牽引車両イメージ・データＤＶ１を含む。第１シグナルＳ１は、通信バス８へ公開され、イメージ処理モジュール６へ第１入力を提供する。トレーラのカメラＣ２は、トレーラ・イメージＩＭＧ２に対応する前記トレーラ・イメージ・データＤＶ２を出力する。第２シグナルＳ２は、ワイヤレス・トランスミッタ９によって、ワイヤレス・レシーバ５へ送信され、イメージ処理モジュール６へ第２入力を提供する。ワイヤレス・トランスミッタ９は、適切な無線通信規格（例えば、Ｗｉ－Ｆｉ（登録商標））を使用して、第２シグナルＳ２を送信することができる。変形例として、第２シグナルＳ２は、トレーラＴと牽引車両Ｖとの間の有線接続を介して送信されてもよい。

イメージ処理モジュール６は、牽引車両イメージ・データＤＶ１の一部とトレーラ・イメージ・データＤＶ２とを組み合わせて、複合イメージ・データＤＶ３を生成するように構成される。本明細書で記載するが、イメージ処理モジュール６は、牽引車両イメージＩＭＧ１を分析してトレーラＴの周囲Ｐ１を特定するように構成されてもよい。周囲Ｐ１は、車両搭載カメラＣ１の視点からの、トレーラＴの外部の目に見える境界（又はエッジ）を表す。周囲Ｐ１によって閉じられる牽引車両イメージＩＭＧ１の領域は、トレーラＴを表し、そして、本明細書にて、牽引車両イメージＩＭＧ１のトレーラ・イメージの構成要素ＴＣ１（図５に示す）として言及する。周囲Ｐ１に対応する被牽引車両イメージＩＭＧ２の隠された、又は不明瞭化構成要素ＴＣ２を、牽引車両イメージＩＭＧ１に重ね合わせる目的で選択してもよい。被牽引車両イメージＩＭＧ２の不明瞭化部分ＴＣ２は、トレーラＴの周囲Ｐ１に依存して選択される。牽引車両イメージ・データＤＶ１とトレーラ・イメージ・データＤＶ２とが組み合わされ、その結果、被牽引車両イメージＩＭＧ２の不明瞭化構成要素ＴＣ２が、牽引車両イメージＩＭＧ１の対応領域に重ね合わせされる。不明瞭化構成要素ＴＣ２は、半透明イメージとしてレンダリングされ、その結果、トレーラＴを表すトレーラ・イメージＩＭＧ２の特徴は、見える状態を維持する。従って、複合イメージＤＶ３は、トレーラＴの後方の領域の連続的な、途切れることのないビューを提供し、ここで、トレーラＴのイメージ（牽引車両Ｖの後方から見たときの）を含む重ね合わせを有する。トレーラＴのイメージを示すことにより、牽引車両Ｖの運転手は、トレーラ・イメージＩＭＧ２において見えるオブジェクトに対するトレーラＴの相対的位置をより容易に決定することができる。不明瞭さを減少させるため、被牽引車両イメージＩＭＧ２の不明瞭化構成要素ＴＣ２は、牽引車両イメージＩＭＧ１に重ね合わせされるが、できるだけ、トレーラＴの目に見えるアウトラインにできるだけ近づくようにマッチさせるべきである。以下の点を理解されたい：牽引車両Ｖに対するトレーラＴの相対的な向きの変化は、牽引車両イメージＩＭＧ１におけるトレーラＴの可視部分を変化させる。こうした問題は、以下の事実によって悪化する：異なるサイズ及び／又は形を有するトレーラＴが牽引車両Ｖに接続される可能性があること。結果として、牽引車両イメージＩＭＧ１内で見たときに、トレーラＴのプロファイルに関しては、著しいバリエーションが存在する可能性がある。こうしたバリエーションを補償する目的で、イメージ処理モジュール６は、牽引車両イメージ・データＤＶ１を分析して、牽引車両イメージＩＭＧ１内のトレーラＴの周囲を動的に特定するように構成される。トレーラ・イメージＩＭＧ２の不明瞭化構成要素ＴＣ２は、前記特定に依存して、動的に選択されてもよい。イメージ処理モジュール６によるトレーラ・イメージの構成要素ＴＣ１の特定及び選択について以下説明する。

イメージ処理モジュール６は、牽引車両イメージ・データＤＶ１を分析して、牽引車両イメージＩＭＧ１内のトレーラＴの周囲Ｐ１の境界を検出するように構成される。本実施形態において、イメージ処理モジュール６は、牽引車両イメージＩＭＧ１の２以上のフレーム間のｄｅｎｓｅ型オプティカル・フローを計算するように構成される。ｄｅｎｓｅ型オプティカル・フローは、牽引車両イメージＩＭＧ１においてキャプチャされるシーン全体にわたって計算される。こうした分析は、牽引車両ＶとトレーラＴが動いているときに行われる。イメージ処理モジュール６は、牽引車両イメージＩＭＧ１の２以上のフレーム間（例えば、連続フレーム間）のピクセルのオプティカル・フロー・ベクトルを計算する。オプティカル・フロー・ベクトルは、牽引車両イメージＩＭＧ１にわたって定期的に分散している（例えば、グリッド配置における）ピクセルに関して計算される。得られるオプティカル・フロー・ベクトルは、フレーム全体にわたって定期的に分散される。本発明の範囲を逸脱することなく、他の分析技術を用いて、オプティカル・フロー・ベクトルを派生させることができる。牽引車両ＶとトレーラＴが動いているとき、トレーラＴに対応する牽引車両イメージＩＭＧ１の領域内のピクセルのオプティカル・フロー・ベクトルは、比較的小さい大きさを有し（理由として、牽引車両Ｖに対するトレーラＴの動きは、牽引車両Ｖが動いているときでさえ、比較的低いままであるため）、そして、トレーラＴ周辺の領域に対応する牽引車両イメージＩＭＧ１の領域内のピクセルのオプティカル・フロー・ベクトルは、比較的大きさが大きい（理由として、牽引車両Ｖが動いているとき、背景部分の特徴の動きは、比較的高いため）。

イメージ処理モジュール６は、牽引車両イメージＩＭＧ１における領域を特定するために模索し、ここで、オプティカル・フロー・ベクトルは、比較的大きさが小さい状態から、比較的大きさが大きい状態へと移行する；このことがトレーラＴの周囲Ｐ１を表現する。こうした分析を行うべく、イメージ処理モジュール６は、牽引車両イメージＩＭＧ１内のオプティカル・フロー・ベクトルの大きさを計算する。本実施形態において、オプティカル・フロー・ベクトルの大きさは、時間に関して（例えば、牽引車両イメージＩＭＧ１の連続するフレームにわたって）平均化される。時間的な大きさの平均の計算は、牽引車両イメージＩＭＧ１においてキャプチャされるシーン全体にわたって、実行される。オプティカル・フロー・ベクトルの大きさの勾配をその後牽引車両イメージＩＭＧ１にわたって計算する。オプティカル・フロー・ベクトルの大きさの勾配は、時間にわたって平均化されてもよい。勾配は、互いに近くに配置される移動ベクトルに関して計算され、互いに対するこれらの動きを特定させる。勾配は、車両トレーラ・イメージＩＭＧ１内の空間的なオプティカル・フロー・ベクトルの大きさの変化率を表す。勾配は、オプティカル・フロー・ベクトルの大きさの違いに正比例し、大きさにおける変化が最も顕著となるときに最も大きくなる。勾配がトレーラＴの周囲Ｐ１において最も大きくなると予想されるのは、以下の場合である：トレーラＴに関する牽引車両イメージＩＭＧ１の領域に関連する（そして、比較的低い動きを有する）ピクセルが、背景に関する牽引車両イメージＩＭＧ１の領域と関連する（そして、比較的高い動きを有する）ピクセルの近くに、又は、隣り合って配置される場合。イメージ処理モジュール６は、予め決められた閾値を、決定される大きさに対して適用し、トレーラＴの周囲Ｐ１を特定する。特定される周囲Ｐ１は不完全である可能性がある（例えば、牽引車両イメージＩＭＧ１においてピクセルが特定されない領域において）。イメージ処理モジュール６は、周囲Ｐ１を完成させる（例えば、閉じた領域を形成するための形態閉鎖技術を活用して）。閉じた領域は、トレーラＴに対応する牽引車両イメージＩＭＧ１のトレーラ・イメージの構成要素ＴＣ１として特定される。本明細書に記載の技術を用いて、不定形なオブジェクト、及び牽引車両Ｔによって牽引されるトレーラＴを検出することができるが、対象領域をイメージ内で予め決定することを要しない。従って、トレーラ・イメージの構成要素ＴＣ１の選択は、自動的に行うことができる。

イメージ処理モジュール６は、トレーラＴのモデルを記憶することができ、トレーラＴのモデルは、周囲Ｐ１を含み、そして、任意で、そこに含まれるイメージ・データ（トレーラＴを表す）も含むことができる。記憶されるモデルは、後方閲覧ディスプレイ・システム１を将来活用する際の検出目的で使用することができる。続いて、記憶されるモデルを用いて、トレーラＴのエッジを定義する（例えば、牽引車両Ｖが、予め決められた速度閾値よりも低い速度で動いているとき）。例えば、記憶されるモデルを、周囲Ｐ１を計算する目的で、牽引車両速度が、予め決められた速度閾値以上になるまで、初期テンプレートとして使用することができる。或いは、又は、これに加えて、記憶されるモデルは、次回牽引車両Ｖを用いてトレーラＴを牽引する際に使用する目的で、イメージ処理モジュール６によってアクセスされてもよい。

以下の点を理解されたい：オプティカル・フロー・ベクトルの計算される勾配は、車両の速度とともに上昇するであろう、その理由として、こうしたことは、典型的には、牽引車両イメージＩＭＧ１の背景の一部に関連するピクセルに関して計算される光学ベクトルの大きさの上昇につながるからである。イメージ処理モジュール６は、牽引車両速度が予め決められた速度閾値以上である場合にのみ、牽引車両イメージＩＭＧ１を特定するように構成されてもよい。こうした構成において、イメージ処理モジュール６は、参照速度シグナルＶＲＥＦを、例えば、通信バス８から受信するように構成されてもよい。イメージ処理モジュール６は、牽引車両速度が予め決められた速度閾値以上であることを参照速度シグナルＶＲＥＦが特定した場合のみ、周囲Ｐ１を特定するように構成してもよい。決められた車両速度に依存してプロセスをコントロールするのではなく、イメージ処理モジュール６は、計算されるオプティカル・フロー・ベクトルの１以上の大きさ（又は、牽引車両イメージ全体ＩＭＧ１にわたるオプティカル・フロー・ベクトルの大きさの平均）が予め決められた閾値を上回るときに、周囲Ｐ１を検出することができる。

本明細書で記載するが、イメージ処理モジュール６は、牽引車両イメージ・データＤＶ１とトレーラ・イメージ・データＤＶ２とを組み合わせて、複合イメージ・データＤＶ３を生成させる。牽引車両ＶとトレーラＴとがともに並ぶとき（第１及び第２長軸Ｘ１、Ｘ２が一致するように）、第１イメージ及びトレーラ・イメージＩＭＧ１、ＩＭＧ２は、同一のシーンに関するものではあるものの、第１及び第２カメラＣ１、Ｃ２の縦方向、及び／又は、垂直方向のオフセットが原因となって、互いにオフセットとなる可能性がある。イメージ処理モジュール６は、イメージ・マッチング・プロシージャを実行して、牽引車両イメージＩＭＧ１をトレーラ・イメージＩＭＧ２と並べるように構成されてもよい。イメージ処理モジュール６は、相互相関技術を自動的に実行して、牽引車両イメージＩＭＧ１とトレーラ・イメージＩＭＧ２との両方に共通する特徴をマッチさせるように構成されてもよい。イメージ処理モジュール６は、相互相関の結果を活用して、イメージ登録を実行し、その結果、第１イメージ及びトレーラ・イメージＩＭＧ１、ＩＭＧ２が共に並ぶようにする。イメージ登録は、以下の変換を１以上含むことができる：イメージ回転、スケーリング、トリミング、拡大（ズーム）、歪み補正、及び変換。トレーラ・イメージＩＭＧ２の選択される構成要素ＴＣ２は、その後、牽引車両イメージＩＭＧ１に重ね合わせされ、複合イメージＩＭＧ３を形成する（例えば、アルファ・チャンネル技術を用いて）。牽引車両イメージＩＭＧ１におけるトレーラ・イメージの選択される構成要素ＴＣ１の透明性は、任意で上昇させてもよい。得られる複合イメージＩＭＧ３は、牽引車両Ｖの運転手が見ることができるディスプレイ・スクリーン１０に出力される（例えば、中央コンソール、又は機器クラスタにて）。

本発明の実施形態に従った後方閲覧ディスプレイ・システム１のオペレーションを、図３～９に言及しながら以下説明する。第１カメラＣ１は、牽引車両イメージＩＭＧ１に対応する牽引車両イメージ・データＤＶ１を生成し、これは、牽引車両Ｖの後部にて牽引されるトレーラＴの前部を含む（図３Ａに示すように）。第２カメラＣ２は、トレーラ・イメージＩＭＧ２に対応するトレーラ・イメージ・データＤＶ２を生成し、これは、トレーラＴの後部の領域の障害物のないビューである（図３Ｂに示すように）。イメージ処理モジュール６は、牽引車両イメージＩＭＧ１を処理して、トレーラＴの周囲Ｐ１を特定する。周囲Ｐ１に対する計算を示すブロック図１００を図４に示す。イメージ処理モジュール６は、牽引車両イメージＩＭＧ１でキャプチャされるシーン全体にわたってｄｅｎｓｅ型オプティカル・フローの計算を行う（ステップ１０５）。第１カメラＣ１によってキャプチャされるシーンにわたるｄｅｎｓｅ型オプティカル・フローを示す第１イメージ２００を図６に示す；そして、第１イメージ２００の部分を拡大したビューを図７に示す。オプティカル・フロー・ベクトルの大きさを、連続するフレームにわたって計算し、そして、平均化して、牽引車両イメージＩＭＧ１にわたる時間的な大きさの平均を生成する（ステップ１１０）。時間的な大きさの平均を示す第２イメージ３００を図８に示す。ベクトルの時間的な大きさの平均の勾配を牽引車両イメージＩＭＧ１にわたって計算する（ステップ１１５）。計算される勾配を閾値と比較する；閾値よりも大きい勾配に対しては、牽引車両イメージＩＭＧ１におけるエッジを検出するようにする（ステップ１２０）。第３イメージ４００を図９に示すが、図９では、閾値よりも大きい値を有する勾配を示す。本実施形態における閾値は、予め決められてもよいが、しかし、動的に計算されてもよい（例えば、キャプチャされるシーン内のオプティカル・フロー・ベクトルの大きさのピーク又は平均に基づいて）。図９に示すように、トレーラＴの周囲Ｐ１は、イメージに関する勾配データに閾値を適用した後で、特定可能である。勾配エッジは、閉じられた領域が形成されるまで検出される（ステップ１２５）。形態学的な閉鎖を、勾配エッジによって定められる周囲Ｐ１によって閉鎖される領域に対して行う（ステップ１３０）。閉鎖される領域は、トレーラＴに対応する牽引車両イメージＩＭＧ１のトレーラ・イメージの構成要素ＴＣ１として特徴づけられる（ステップ１３５）。検出されるエッジ、及びその中に記憶されるイメージ・データを記憶する（ステップ１４０）。イメージ処理モジュール６は、任意で、イメージ・マッチング・プロシージャを実行して、牽引車両イメージＩＭＧ１とトレーラ・イメージＩＭＧ２とをマッチさせる（並べる）。牽引車両イメージＩＭＧ１及びトレーラ・イメージＩＭＧ２を組み合わせて、複合イメージＩＭＧ３を形成する（図５に示すように）。複合イメージＩＭＧ３を、牽引車両に設けられるディスプレイ・スクリーン１０（例えば、液晶ディスプレイ）に表示するための第３シグナルＳ３として出力する。ディスプレイ・スクリーン１０は、例えば、中央コンソール又は機器クラスタに設けることができる。或いは、又は、これに加えて、ディスプレイ・スクリーンは、バックミラーに組み込まれてもよく、例えば、反射イメージとともに、複合イメージＩＭＧ３を表示してもよい。

以下の点を理解されたい：特定される周囲Ｐ１のプロファイルを動的に、少なくとも実質的にリアルタイムにアップデートすることができ、車両Ｖに対する位置、及び／又は、トレーラＴの向きの変化を反映させることができる。かくして、トレーラ・イメージＩＭＧ２に重ね合わせされる牽引車両イメージＩＭＧ１の選択されるトレーラ・イメージの構成要素ＴＣ１は動的に変更することができる。

示した例において、牽引車両Ｖは、自動車（例えば、スポーツ用途の車両）であり、トレーラＴはキャラバンである。しかし、以下の点を理解されたい：本明細書に記載の装置及び方法（複数可）は、この観点から制限されるものではなく、他のタイプ及びカテゴリの車両において、及び他のタイプのトレーラに対して実施することができる。装置及び方法（複数可）は、例えば、多関節型の車両、セミトレーラ、又はトラクター・トレーラに適用することができる。

以下の点を理解されたい：本発明の範囲を逸脱することなく、本明細書に記載の装置及び方法に対する更なる変更及び改変を行うことができる。

本明細書に記載の装置後方閲覧ディスプレイ・システム１は、３以上のカメラからのイメージを組み合わせるように改変して、例えば、牽引車両Ｖ、及び／又は、トレーラＴの横側に搭載される１以上カメラによって生成されるイメージを取り込んでもよい。イメージ処理モジュール６は、追加のイメージ処理を実行することができ、例えば、周囲Ｐ１に対してスムージング・アルゴリズムを適用してもよい。特定される周囲Ｐ１は、トレーラ・イメージＩＭＧ１に直接重ね合わせされ、例えば、トレーラＴのシルエット又はアウトラインを表現してもよい。

牽引車両イメージＩＭＧ１とトレーラ・イメージＩＭＧ２との組み合わせに具体的に言及しながら、システム１について本明細書で説明してきた。しかし、以下の点を理解されたい：本明細書に記載の方法及び装置は、牽引車両Ｖに対する他の応用においても使用することができる。例えば、同じ技術を用いて、以下を表す複合イメージを形成することができる：牽引車両の前方の領域（例えば、ボンネットの部分を特定するために）、及び／又は、牽引車両Ｖのベンダー（牽引車両の前面に搭載されるイメージ・カメラのトップに、半透明イメージとして重ね合わせるために）。

Claims (21)

1. 牽引車両に接続される被牽引車両の周囲を特定するためのコントローラであって、前記コントローラは以下の動作を行うように構成される、コントローラ：
   牽引車両のカメラによってキャプチャされる牽引車両イメージに対応する牽引車両イメージ・データを受信すること；
   前記牽引車両イメージ・データを処理して、複数の移動ベクトルを生成すること；
   各前記移動ベクトルの大きさを計算すること；
   前記移動ベクトルの前記大きさの勾配を決定すること、ここで、前記勾配は、前記各移動ベクトルのピクセル位置間の距離に対する大きさにおける変化を表す：及び、
   前記決定される勾配に依存して、前記被牽引車両の前記周囲を特定すること。
2. 請求項１のコントローラであって、前記コントローラは以下の動作を行うように構成される、コントローラ：前記車両の参照速度が予め決められた速度閾値以上の場合のみ、前記被牽引車両の前記周囲を特定すること。
3. 請求項１のコントローラであって、前記コントローラは以下の動作を行うように構成される、コントローラ：前記移動ベクトルの大きさの時間的平均が予め決められた閾値を超える場合のみ、前記被牽引車両の前記周囲を特定すること。
4. 請求項１のコントローラであって、前記大きさは、時間的な大きさの平均を含む、コントローラ。
5. 請求項４のコントローラであって、前記被牽引車両の前記周囲を特定することは、前記複数の移動ベクトルの前記大きさを比較することを含む、コントローラ。
6. 請求項４又は５のコントローラであって、前記決定される勾配を閾値と比較して、前記被牽引車両の前記周囲を特定する、コントローラ。
7. 請求項１～６のいずれか１項に記載のコントローラであって、前記移動ベクトルは、前記牽引車両イメージ全体に関して生成される、コントローラ。
8. 請求項１～７のいずれか１項に記載のコントローラであって、前記コントローラは以下の動作を行うように構成される、コントローラ：閉鎖アルゴリズムを適用して、前記被牽引車両の前記特定される周囲を閉鎖すること。
9. 請求項１～８のいずれか１項に記載のコントローラであって、前記コントローラは以下の動作を行うように構成される、コントローラ：
   トレーラのカメラでキャプチャされるトレーラ・イメージに対応するトレーラ・イメージ・データを受信すること；及び
   前記被牽引車両の前記特定される周囲に依存して、前記トレーラ・イメージ・データの構成要素を選択すること。
10. 請求項９のコントローラであって、前記コントローラは以下の動作を行うように構成される、コントローラ：
    前記構成要素を、前記牽引車両イメージに重ね合わせること。
11. 請求項１～１０のいずれか１項に記載のコントローラであって、前記コントローラは、前記牽引車両イメージ・データのオプティカル・フロー分析を実行して、前記移動ベクトルを生成する、コントローラ。
12. 牽引車両に接続される被牽引車両の周囲を特定する方法であって、以下を含む方法：
    牽引車両イメージに対応する牽引車両イメージ・データを受信すること；
    前記牽引車両イメージに関する複数の移動ベクトルを生成すること；
    各前記移動ベクトルの大きさを計算すること；
    前記移動ベクトルの前記大きさの勾配を決定すること、ここで、前記勾配は、前記各移動ベクトルのピクセル位置間の距離に対する大きさにおける変化を表す：及び、
    前記決定される勾配に基づいて、前記被牽引車両の前記周囲を特定すること。
13. 請求項１２の方法であって、前記方法は、前記車両の参照速度が予め決められた速度閾値以上の場合のみ、前記被牽引車両の前記周囲を特定することを含む、方法。
14. 請求項１２又は１３の方法であって、前記被牽引車両の前記周囲を特定することは、前記複数の移動ベクトルの前記大きさを比較することを含む、方法。
15. 請求項１２～１４いずれか１項に記載の方法であって、前記方法は、前記複数の移動ベクトルのピーク勾配に対応する前記被牽引車両の前記周囲を特定することを含む、方法。
16. 請求項１２～１５いずれか１項に記載の方法であって、前記方法は、前記牽引車両イメージ全体に関する前記移動ベクトルを生成することを含む、方法。
17. 請求項１２～１６いずれか１項に記載の方法であって、前記方法は、閉鎖アルゴリズムを適用して前記被牽引車両の前記特定される周囲を閉じることを含む、方法。
18. 請求項１２～１７いずれか１項に記載の方法であって、以下を含む方法：
    トレーラのカメラでキャプチャされるトレーラ・イメージに対応するトレーラ・イメージ・データを受信すること；及び、前記被牽引車両の前記特定される周囲に依存して前記トレーラ・イメージ・データの不明瞭化構成要素を選択すること。
19. 請求項１８の方法であって、前記方法は、前記不明瞭化構成要素を前記牽引車両イメージに重ね合わせることを含む、方法。
20. 請求項１２～１９いずれか１項に記載の方法であって、前記方法は、オプティカル・フロー分析を実行して、前記牽引車両イメージ・データに関する前記移動ベクトルを生成することを含む。
21. 非一時的なコンピュータ可読媒体であって、前記媒体の中に記憶される１組のインストラクションを有し、実行されると、プロセッサに、請求項１２～２０いずれか１項に記載の方法を実行させる、媒体。

Images