JP5591364B2 - 動的画像処理方法および車両画像を処理するシステム - Google Patents

Description

ここに開示する本発明の実施形態は車両画像処理に関し、特に車両画像上に較正点を規定することによって上記車両画像を処理するための動的画像処理方法に関する。

周辺視界モニターシステム（ＡＶＭＳ）は、車両の周辺を示す周辺視界モニター（ＡＶＭ）画像／鳥瞰的視界画像を生成する。これにより、運転者は車両周辺の状況をリアルタイムで監視することができる。ＡＶＭＳを有する車両には、複数の車両周辺画像を取得するための複数の撮像装置（例えば、カメラ）を備えるものもある。上記車両周辺画像は、ＡＶＭ画像を生成するために、画像ステッチング（つなぎ合わせ）などの画像操作によって処理される。車の画像を上記ＡＶＭ画像に貼り付けて、車両画像を生成してもよい。上記車両画像／ＡＶＭ画像は通常上面画像なので（すなわち、視野角は固定されているので）、上記車両画像／ＡＶＭ画像上の上記車両周辺画像に対応する画像ステッチング線は固定されている。車両周辺のよりコンパクトな風景を運転者に提供するために、上記車両画像／ＡＶＭ画像は様々な視野角から見るべきであり、これは、それに応じて上記画像ステッチング線を調整する必要があることを意味している。

したがって、様々な視野角から車両画像／ＡＶＭ画像を見るための要件を満足するために、動的に調整可能な画像ステッチング線を生成できる画像処理方法が必要である。

したがって、本発明の目的は、車両画像上で較正点を規定することによって上記車両画像を処理するための動的画像処理方法と、上記要件を満足する、関連する動的画像処理システムとを提供することである。

本発明の実施形態は、例示的な車両画像処理方法を開示する。上記例示的な車両画像処理方法は、複数の第１画像を供給する工程と、上記第１画像を合成して第２画像を生成する工程と、上記第２画像上で複数の較正点を選択する工程と、上記第１画像に対して幾何学変換を実行する工程と、上記較正点に対して上記幾何学変換を実行して複数の変換後較正点を生成する工程と、上記変換後較正点に基づいて少なくとも１つの画像特性境界を生成する工程と、を含む。

本発明の実施形態は、例示的な動的画像処理システムを開示する。上記例示的な動的画像処理システムは、処理ユニットと記憶ユニットとを備える。上記処理ユニットは、複数の第１画像に対して合成操作または幾何学変換を実行し、第２画像上で複数の較正点を選択して、較正点情報を生成する処理ユニットであって、上記第２画像は上記第１画像に対して上記合成操作を実行した後で生成されるように構成されている。上記記憶ユニットは、上記処理ユニットに接続され、上記較正点情報を記憶するように構成されている。上記処理ユニットは、上記第１画像に対して上記幾何学変換を実行するように構成される時、上記較正点に対して同一の上記幾何学変換を実行して複数の変換後較正点を生成し、また、上記変換後較正点に基づいて少なくとも１つの画像特性境界を生成するように構成される。

ここで提案する動的画像処理方法は、車両画像に対して較正点を規定するものであり、上記較正点から生成される画像特性境界は、車両画像の表示設定に基づいて調整することができる。したがって、上記画像特性境界を画像ステッチング線／警告線／駐車線として用いる時、動的な画像ステッチング線／警告線／駐車線を実現でき、これにより、上記車両画像／ＡＶＭ画像を様々な視野角から見る際の運転者／利用者の求める要件を満足する。

本発明の上記目的およびその他の目的は、各種図面に示される好ましい実施形態に関する以下の具体的な記載を読めば、当業者には明らかになるであろう。

本発明の実施形態に係る動的画像処理方法の概略を例示する図である。 本発明の実施形態に係る車両画像上に規定される画像特性境界の例を示す図である。 本発明の実施形態に係る図２に示す車両画像上で複数の較正点を選択することにより生成される画像ステッチング線の例を示す図である。 本発明の実施形態に係る図３に示す第１画像のステッチングを示す図である。 本発明の実施形態に係る図３に示す車両画像の幾何学変換後における変更後の表示の例を示す図である。 本発明の実施形態に係る図５に示す第２画像の生成を示す図である。 本発明の他の実施形態に係る図３に示す車両画像の幾何学変換後における変更後の表示の例を示す図である。 本発明の実施形態に係る図２に示す車両画像上で複数の較正点を選択することによって生成される警告線の例を示す図である。 本発明の実施形態に係る図８に示す車両画像の幾何学変換後における変更後の表示の例を示す図である。 本発明の他の実施形態に係る図８に示す車両画像の幾何学変換後における変更後の表示の例を示す図である。 本発明の実施形態に係る動的画像ステッチングにおいて用いられる動的画像処理方法の例を示すフローチャートである。

本発明の概念は、車両画像／ＡＶＭ画像上の複数の較正点を規定し、上記車両画像の表示が変更される時（例えば、上記表示が拡大される時、上記表示の視野角が変更される時、またはその他の表示設定が変更される時）、それに応じて表示上の各較正点の位置を調整する。すなわち、表示上の較正点の位置と、車両画像のその時の表示設定（例えば、通常表示モード、拡大表示モード、またはその他の表示モード）との間には対応関係が存在する。上記対応は、上記車両画像処理に関する数多くの用途を実現するために利用することができる。

ここで、図１を参照する。図１は、本発明の実施形態に係る動的画像処理方法の概略を例示する図である。結果が実質的に同一であれば、各工程は図１に示す順番通りに実行する必要はない。上記方法の概要は、以下のように述べることができる。

工程１１０：開始。

工程１２０：複数の第１画像を供給する。

工程１３０：上記第１画像を合成して第２画像を生成する。

工程１４０：第２画像上で、複数の較正点を選択する。

工程１５０：上記第１画像に対して幾何学変換を実行して、複数の変換第１画像を生成する。

工程１６０：上記較正点に対して上記幾何学変換を実行して、複数の変換後較正点を生成する。

工程１７０：上記変換後較正点に基づいて、少なくとも１つの画像特性境界を生成する。

工程１８０：終了。

上記方法をＡＶＭＳにおいて採用する場合、上記第１画像は複数の補正後画像／上面画像であり、上記第２画像はＡＶＭ画像であってもよい。具体的には、まず複数のサブ画像（例えば、歪み広角画像）を受信し、その後、上記サブ画像に対して画像補正（例えば、広角歪み補正および上面変換）を実行して上記補正後画像／上面画像をそれぞれ生成してもよい。上記補正後画像／上面画像は、上記ＡＶＭ画像として合成してもよい。

工程１４０〜１６０に示すように、選択された上記較正点および上記第１画像は、同一の上記幾何学変換によって処理される。上記幾何学変換は、回転操作、移動操作、拡大操作、最小化操作、傾き操作、または視野角変更操作であってもよい。上記少なくとも１つの画像特性境界が少なくとも１つの画像ステッチング線である場合、上記少なくとも１つの画像ステッチング線と上記変換第１画像とに基づいて、他の第２画像を生成してもよい。したがって、画像の視野角によって場所が変更される動的画像ステッチング線は、上記車両画像／ＡＶＭ画像を様々な視野角から見るための要件を満足するように実現されている。さらに、上記少なくとも１つの画像特性境界は、運転上の安全性を向上させるための車両注意線／領域として、または駐車を補助するための動的駐車線として用いてもよく、上記車両画像処理に関するその他の用途に用いてもよい。画像上に規定される較正点と、上記画像のその時の表示設定との間の上記対応関係を参照することによって動的画像処理方法が実現される限り、上記動的画像処理方法は本発明の精神に則るものとなる。以下に詳細を述べる。

ここで、図２を参照する。図２は、本発明の実施形態に係る車両画像ＩＭＧ＿Ｖ上に規定される画像特性境界の例を示す図である。まず、（物体画像ＩＭＧ＿ＯＢで表わされる）車両に配置された４つの撮像装置Ｃ１〜Ｃ４が、複数のサブ画像（すなわち、上記車両の周囲に対応する歪み広角画像）を受信してもよく、上記サブ画像に対して画像補正（すなわち、広角歪み補正および上面変換）を実行して、複数の第１画像（すなわち、上面画像）ＩＭＧ１＿Ｃ１〜ＩＭＧ１＿Ｃ４をそれぞれ生成してもよい。次に、上記第１画像ＩＭＧ１＿Ｃ１〜ＩＭＧ１＿Ｃ４を、第２画像ＩＭＧ２（すなわち、ＡＶＭ画像）として合成してもよい。最後に、上記物体画像ＩＭＧ＿ＯＢを上記第２画像ＩＭＧ２に貼り付けて、上記車両画像ＩＭＧ＿Ｖを生成してもよい。

図２に示すように、上記各第１画像ＩＭＧ１＿Ｃ１〜ＩＭＧ１＿Ｃ４間には、複数の重複領域が存在する。上記重複領域においてゴースト・イメージまたは不連続部分が生成されるのを避けるためには、上記重複画像をつなぎ合わせるための適切な画像ステッチング線が必要である。上記第２画像ＩＭＧ２の重複領域上で複数の較正点ＣＰ１およびＣＰ２を選択してもよい。上記重複領域は、隣接する２つの第１画像ＩＭＧ１＿Ｃ２およびＩＭＧ１＿Ｃ３の間に形成されている。上記較正点ＣＰ１およびＣＰ２に基づいて、画像特性境界を生成してもよく、したがって上記画像特性境界は画像ステッチング線（すなわち、上記較正点ＣＰ１およびＣＰ２を通過する光線）として用いてもよい。上記較正点ＣＰ１およびＣＰ２のそれぞれの位置（つまり、上記画像ステッチング線の場所）は、車両の車両画像システムによって予め設定しておいてもよく、利用者／運転者の求める要件に基づいて選択してもよい。

上記較正点を動的画像ステッチング線として用いる場合、上記較正点は、上記重複領域上で選択される他に、所定の画像ステッチング線を参照して選択されてもよい。ここで、図３を参照する。図３は、本発明の実施形態に係る図２に示す車両画像ＩＭＧ＿Ｖ上で複数の較正点を選択することにより生成される画像ステッチング線の例を示す図である。まず、第１画像ＩＭＧ１＿Ｃ１〜ＩＭＧ１＿Ｃ４に対して所定の画像ステッチング操作を実行して、所定の画像ステッチング線（例えば、所定の画像ステッチング線ＳＬ０）を生成してもよい。次に、生成された上記所定の画像ステッチング線を参照することによって、複数の較正点を選択して所望の画像ステッチング線を生成してもよい。以下の記載では、上記第１画像ＩＭＧ１＿Ｃ１および上記第１画像ＩＭＧ１＿Ｃ２について述べて、画像ステッチングの一例を示す。

ここで、図４を参照する。図４は、本発明の実施形態に係る図３に示す第１画像ＩＭＧ１＿Ｃ１と第１画像ＩＭＧ１＿Ｃ２とのステッチングを示す図である。歪み広角画像ＩＭＧ＿Ｆ１は上記撮像装置Ｃ１の撮影したサブ画像であり、歪み広角画像ＩＭＧ＿Ｆ２は上記撮像装置Ｃ２の撮影したサブ画像である。上面画像ＩＭＧ＿Ｔ１は、上記歪み広角画像ＩＭＧ＿Ｆ１に対して広角歪み補正および上面変換を実行することによって生成される。上面画像ＩＭＧ＿Ｔ２は、上記歪み広角画像ＩＭＧ＿Ｆ２に対して広角歪み補正および上面変換を実行することによって生成される。上記第１画像ＩＭＧ１＿Ｃ１は、実際は上記上面画像ＩＭＧ＿Ｔ１の一部である。上記第１画像ＩＭＧ１＿Ｃ２は、実際は上記上面画像ＩＭＧ＿Ｔ２の一部である。

本実施形態では、上記第１画像ＩＭＧ１＿Ｃ１は上記第１画像ＩＭＧ１＿Ｃ２と重複領域Ｒ＿ＯＶにおいて重複している。上記第１画像ＩＭＧ１＿Ｃ１と上記第１画像ＩＭＧ１＿Ｃ２とをつなぎ合わせるためには、上記重複領域Ｒ＿ＯＶにおける各画素の画素データを判定する必要がある。例えば、図３に示す第２画像ＩＭＧ２における画素Ｐに対応する画素データを判定するためには、上記画素Ｐと、上記歪み広角画像ＩＭＧ＿Ｆ１における所定の画素ＰＰ１（すなわち、広角レンズの光心に対応する画素）との間の距離ｄ１を、上記画素Ｐと、上記歪み広角画像ＩＭＧ＿Ｆ２における所定の画素ＰＰ２（すなわち、広角レンズの光心に対応する画素）との間の距離ｄ２と比較してもよい。次に、上記第１画像ＩＭＧ１＿Ｃ１における上記画素Ｐに対応する画素データまたは上記第１画像ＩＭＧ１＿Ｃ２における上記画素Ｐに対応する画素データを、上記第２画像ＩＭＧ２における上記画素Ｐに対応する画素データとして選択してもよい。図４に示すように、上記距離ｄ２は上記距離ｄ１よりも短い。画素が歪み広角画像の中心に近いほど、対応する画像歪みは少ないことが知られている。したがって、上記第１画像ＩＭＧ１＿Ｃ２における上記画素Ｐに対応する画素データを、図３に示す上記第２画像ＩＭＧ２における上記画素Ｐに対応する画素データとして選択してもよい。

ここで、図３を再度参照する。上記重複領域Ｒ＿ＯＶにおける各画素の画素データを判定した後、上記重複領域Ｒ＿ＯＶにおける各画素データと上記第１画像ＩＭＧ１＿Ｃ１との間の対応関係だけでなく、上記重複領域Ｒ＿ＯＶにおける各画素データと、上記第１画像ＩＭＧ１＿Ｃ２との間の対応関係を参照することによって、所定の画像ステッチング線ＳＬ０を生成してもよい。具体的には、（上記重複領域Ｒ＿ＯＶにおける）上記所定の画像ステッチング線ＳＬ０の右側に位置する全ての画素データが上記第１画像ＩＭＧ１＿Ｃ１に対応し、（上記重複領域Ｒ＿ＯＶにおける）上記所定の画像ステッチング線ＳＬ０の左側に位置する全ての画素データが上記第１画像ＩＭＧ１＿Ｃ２に対応するので、上記所定の画像ステッチング線ＳＬ０は画素データ境界と見なすことができる。すなわち、上記所定の画像ステッチング線ＳＬ０は、上記第１画像ＩＭＧ１＿Ｃ１と上記第１画像ＩＭＧ１＿Ｃ２とをつなぎ合わせるための画像ステッチング線として用いられる。別の設計では、上記所定の画像ステッチング線ＳＬ０は曲線である（ただし、これには限定されない）ので、数値計算（例えば、線形最小二乗フィッティング）を用いて近似する線（例えば、他の所定の画像ステッチング線ＳＬ１）を取得してもよい。上記所定の画像ステッチング線ＳＬ０／ＳＬ１を取得した後、複数の較正点ＣＰ１およびＣＰ２を選択して、上記所定の画像ステッチング線ＳＬ０／ＳＬ１を参照することによって所望の画像ステッチング線を生成してもよい。それに加えて、上記線形近似から得られる上記所定の画像ステッチング線ＳＬ１は、後続の画像ステッチングのための画像ステッチング線としてそのまま選択してもよい。

上述した画像ステッチング線生成の実施例に基づいて、複数の較正点ＣＰ３〜ＣＰ８と複数の所定の画像ステッチング線ＳＬ２〜ＳＬ４とを取得してもよい。上記所定の画像ステッチング線ＳＬ１〜ＳＬ４を直接参照することによって、上記撮像装置Ｃ１〜Ｃ４が後に受信する複数の画像を合成することによって他のＡＶＭ画像を生成してもよい。なお、画像ステッチング線生成の上記実施は、単に本発明を説明する目的のものであり、本発明を制限することを意図するものではない。例えば、画像ステッチング線は、所定の画像ステッチング線ではなく、画像を見る際の運転者の好みに応じて複数の較正点を選択することによって生成してもよい。それに加えて、生成される上記画像ステッチング線は、直線には限定されない。すなわち、３を超える数の較正点を選択して、屈曲した画像ステッチング線を生成することも可能である。

表示上の選択された較正点のそれぞれ位置は、車両画像のその時の表示設定に対応するので、選択された較正点の位置（すなわち、画像ステッチング線）は、車両画像の表示設定が変更される時、それに応じて調整する。ここで、図５を参照する。図５は、本発明の実施形態に係る図３に示す車両画像ＩＭＧ＿Ｖの幾何学変換後における変更後の表示の例を示す図である。図５に示す（物体画像ＩＭＧ＿ＯＢ’と第２画像ＩＭＧ２’とを含む）車両画像ＩＭＧ＿Ｖ’は、図３に示す（物体画像ＩＭＧ＿ＯＢと第２画像ＩＭＧ２とを含む）車両画像ＩＭＧ＿Ｖを時計回りに回転させることによって生成される画像と見なすことができる。図５に示す較正点ＣＰ１’〜ＣＰ８’は、図３に示す較正点ＣＰ１〜ＣＰ８に対して上記回転操作と同一の回転操作を実行することによって生成される。すなわち、上記車両画像ＩＭＧ＿Ｖ’の画像オブジェクトに対する上記較正点ＣＰ１’〜ＣＰ８’の相対位置は、上記車両画像ＩＭＧ＿Ｖの画像オブジェクトに対する上記較正点ＣＰ１〜ＣＰ８の相対位置と同一である。したがって、（上記較正点ＣＰ１’〜ＣＰ８’に基づいて生成される）画像ステッチング線ＳＬ１’〜ＳＬ４’は、上記画像ステッチング線ＳＬ１〜ＳＬ４に対して上記回転操作と同一の回転操作を実行することによって生成される画像ステッチング線と見なすことができる。

なお、本実施形態では、上記車両画像ＩＭＧ＿Ｖ’は図３に示す車両画像ＩＭＧ＿Ｖに対して回転操作を直接実行することによって生成されるものではない。ここで、図３と、図５と、図６とを同時に参照する。図６は、本発明の実施形態に係る図５に示す第２画像ＩＭＧ２’の生成を示す図である。図３に示す第２画像ＩＭＧ２は、図６に示す上面画像ＩＭＧ＿Ｔ１〜ＩＭＧ＿Ｔ４を用いて合成される。ここで、第１画像ＩＭＧ１＿Ｃ１〜ＩＭＧ１＿Ｃ４は、それぞれ上記上面画像ＩＭＧ＿Ｔ１〜ＩＭＧ＿Ｔ４の一部である。図６に示すように、図３に示す車両画像ＩＭＧ＿Ｖに対して回転操作を実行することは、実際には上記上面画像ＩＭＧ＿Ｔ１〜ＩＭＧ＿Ｔ４に対して回転操作を実行して上面画像ＩＭＧ＿Ｔ１’〜ＩＭＧ＿Ｔ４’を生成し、さらに、上記較正点ＣＰ１〜ＣＰ８に対して上記回転操作を実行して較正点ＣＰ１’〜ＣＰ８’を生成することを意味する。それに加えて、図５の物体画像ＩＭＧ＿ＯＢ’は、図３の物体画像ＩＭＧ＿ＯＢに対して上記回転操作を実行することで生成される。次に、上記第２画像ＩＭＧ２’は、（上記較正点ＣＰ１’〜ＣＰ８’から生成された）画像ステッチング線ＳＬ１’〜ＳＬ４’と、上記上面画像ＩＭＧ＿Ｔ１’〜ＩＭＧ＿Ｔ４’の対応する出力位置とに基づいて上記上面画像ＩＭＧ＿Ｔ１’〜ＩＭＧ＿Ｔ４’を合成することで生成してもよい。最後に、図５に示すように、上記物体画像ＩＭＧ＿ＯＢ’は、上記第２画像ＩＭＧ２’に貼り付けられて、車両画像ＩＭＧ＿Ｖ’を生成する。

図５に示すように、利用者は、上述の回転操作が実行された後、上記第２画像ＩＭＧ２’の表示から、運転に関するより多くの情報（例えば、前方車両のルーフ）を得ることができる。別の設計では、図６の画像ステッチング線ＳＬ１〜ＳＬ４に対して回転操作を直接実行して画像ステッチング線ＳＬ１’〜ＳＬ４’を形成することも可能である。なお、上述の幾何学変換は、上記回転操作以外にも、拡大、最小化、移動および関連するその他の２次元変換を含んでいてもよい点は、当業者であれば容易に理解できるであろう。

上面画像を合成してＡＶＭ画像を生成する前に、幾何学変換が実行される。したがって、ここで提案する画像処理方法は、車両画像の表示を変更するための３次元変換に用いてもよい。ここで、図７を参照する。図７は、本発明の他の実施形態に係る図３に示す車両画像ＩＭＧ＿Ｖの幾何学変換後における変更後の表示の例を示す図である。図７に示す車両画像ＩＭＧ＿Ｖ’は、図３に示す車両画像ＩＭＧ＿Ｖを傾ける（すなわち、視野角を変更する）ことによって生成された画像と見なすことができる。図７に示す較正点ＣＰ１’〜ＣＰ８’は、図３に示す較正点ＣＰ１〜ＣＰ８に対して上記傾き操作と同一の傾き操作を実行することによって生成される。当業者であれば、図５を参照する上記記載を読めば、図７に示す車両画像ＩＭＧ＿Ｖ’を生成するための具体的な操作は容易に理解できるであろうから、簡潔さのために、さらなる記載はここでは省く。

ここで提案する車両画像処理方法を用いて、前方車両との安全な距離を保つよう運転者に警告するための運転上の安全機構を実現することもできる。ここで、図２を再度参照する。図２に、運転者の前方に位置する（車両オブジェクトＯＢ＿Ｖによって表わされる）車両を示す。複数の較正点ＣＰ３およびＣＰ４を上記第２画像ＩＭＧ２上で選択してもよい。上記較正点ＣＰ３およびＣＰ４を参照することによって、上記車両オブジェクトＯＢ＿Ｖと上記物体画像ＩＭＧ＿ＯＢとの間に、警告線（すなわち、終点ＣＰ３およびＣＰ４を有する線分）として画像特性境界を生成してもよい。上記較正点ＣＰ３およびＣＰ４のそれぞれの位置（つまり、上記警告線の場所）は、車両画像システムによって予め設定しておいてもよく、利用者／運転者の求める要件に基づいて選択してもよい。

ここで、図８を参照する。図８は、本発明の実施形態に係る図２に示す車両画像ＩＭＧ＿Ｖ上で複数の較正点を選択することによって生成される警告線の例を示す図である。運転者の前方に位置する（車両オブジェクトＯＢ＿Ｖによって表わされる）車両が存在するため、以下の記載では車両オブジェクトＯＢ＿Ｖと物体画像ＩＭＧ＿ＯＢとの間の警告線について述べて、警告線選択の一例を示す。

まず、第２画像ＩＭＧ２上の物体画像ＩＭＧ＿ＯＢの場所に基づいて複数の較正点ＣＰＡおよびＣＰＢを選択してもよい。例えば、上記較正点ＣＰＡおよびＣＰＢは、上記物体画像ＩＭＧ＿ＯＢにおける車両の前方端部から、車両の長さの３分の１の距離だけ離れて位置していてもよく、それに応じて警告線ＷＬ１を生成する。別の設計では、上記警告線ＷＬ１の場所は、車両速度と、上記第２画像ＩＭＧ２上での上記物体画像ＩＭＧ＿ＯＢの場所とに基づいて調整してもよい。具体的には、車両速度が増加する時、上記警告線ＷＬ１は上記物体画像ＩＭＧ＿ＯＢからより遠くに（すなわち、上記車両オブジェクトＯＢ＿Ｖのより近くに）位置して、高速運転での安全な距離を保証する。上記車両オブジェクトＯＢ＿Ｖが、上記車両画像ＩＭＧ＿Ｖの表示上において上記警告線ＷＬ１を越える場合、上記車両画像システムは警告信号を生成して運転者に対して警告してもよい。それに加えて、複数の較正点ＣＰＣおよびＣＰＤを選択して、上記第２画像ＩＭＧ２上での上記物体画像ＩＭＧ＿ＯＢの場所および／または上記物体画像ＩＭＧ＿ＯＢと、その周囲の物体との間の距離に基づいて複数の警告線ＷＬ２〜ＷＬ４を生成してもよい。本実施形態では、上記警告線ＷＬ１〜ＷＬ４は警告区域ＷＡを形成してもよい。

なお、上述の記載は、単に本発明を説明する目的のものであり、本発明を制限することを意図するものではない。例えば、運転者の求める要件に応じて少なくとも２つの較正点を直接選択することによって、少なくとも１つの警告線を生成されてもよい。警告区域は、予め警告線を画定することなく較正点を選択することによって生成してもよい。さらに、生成される上記警告線は、直線には限定されない。３を超える数の較正点を選択して屈曲する警告線を生成することも可能である。すなわち、生成される上記警告区域の形状は、利用者の求める要件に基づいて調整してもよい。

表示上での選択された較正点（すなわち、警告線）のそれぞれの位置は、車両画像の表示設定が変更される時、それに応じて調整される。ここで、図９を参照する。図９は、本発明の実施形態に係る図８に示す車両画像ＩＭＧ＿Ｖの幾何学変換後における変更後の表示の例を示す図である。図９に示す（物体画像ＩＭＧ＿ＯＢ’と第２画像ＩＭＧ２’とを含む）車両画像ＩＭＧ＿Ｖ’は、図８に示す車両画像ＩＭＧ＿Ｖを時計回りに回転させることによって生成される画像と見なすことができる。図９に示す較正点ＣＰＡ’〜ＣＰＤ’は、図８に示す較正点ＣＰＡ〜ＣＰＤに対して上記回転操作と同一の回転操作を実行することによって生成される。すなわち、上記車両画像ＩＭＧ＿Ｖ’の画像オブジェクトに対する上記較正点ＣＰＡ’〜ＣＰＤ’の相対位置は、上記車両画像ＩＭＧ＿Ｖの画像オブジェクトに対する上記較正点ＣＰＡ〜ＣＰＤの相対位置と同一である。したがって、（上記較正点ＣＰＡ’〜ＣＰＤ’に基づいて生成される）警告線ＷＬ１’〜ＷＬ４’は、上記警告線ＷＬ１〜ＷＬ４に対して上記回転操作と同一の回転操作を実行することによって生成される警告線と見なすことができる。それに加えて、（上記警告線ＷＬ１’〜ＷＬ４’に基づいて生成された）警告区域ＷＡ’は、上記警告区域ＷＡに対して上記回転操作を実行することによって生成される警告区域と見なすこともできる。これにより、異なる表示設定においても、運転上の安全を確実に保証できる。なお、上述の幾何学変換は、上記回転操作以外にも、拡大、最小化、移動および関連するその他の２次元変換を含んでいてもよい点は、当業者であれば容易に理解できるであろう。

ここで提案する画像処理方法は、車両画像の表示を変更するための３次元変換に用いてもよい。ここで、図１０を参照する。図１０は、本発明の他の実施形態に係る図８に示す車両画像ＩＭＧ＿Ｖの幾何学変換後における変更後の表示の例を示す図である。図１０に示す車両画像ＩＭＧ＿Ｖ’は、図８に示す車両画像ＩＭＧ＿Ｖを傾ける（すなわち、視野角を変更する）ことによって生成された画像と見なすことができる。図１０に示す較正点ＣＰＡ’〜ＣＰＤ’は、図８に示す較正点ＣＰＡ〜ＣＰＤに対して上記傾き操作と同一の傾き操作を実行することによって生成される。当業者であれば、図９を参照する上記記載を読めば、図１０に示す車両画像ＩＭＧ＿Ｖ’を生成するための具体的な操作は容易に理解できるであろうから、簡潔さのために、さらなる記載はここでは省く。

要するに、図３／図８に示す車両画像ＩＭＧ＿Ｖの表示設定が通常表示モードであるとすると、図５／図９に示す車両画像ＩＭＧ＿Ｖ’の表示設定は回転モードであってもよく、図７／図１０に示す車両画像ＩＭＧ＿Ｖ’の表示設定は傾きモードであってもよい。ここで、上記較正点のそれぞれの位置は、上記車両画像ＩＭＧ＿Ｖのその時の表示設定に基づいて調整してもよい。すなわち、表示モードに基づいて調整することができる動的画像ステッチング線と動的警告線とを生成する。さらに、本発明の概念は、上記画像ステッチング線と上記警告線とのみでの利用に限定されるものではない。ある実施例では、適切な較正点を選択して、図２に示す物体画像ＩＭＧ＿ＯＢの横方向両側に対する接線を生成してもよく、生成された上記接線は、動的な補助用駐車線として用いてもよい。他の実施例では、適切な較正点を選択して、画像を除去する、または画像を所望の画像に置き換えるためのマスク領域を生成してもよい。

ここで、図１１を参照する。図１１は、本発明の実施形態に係る動的画像ステッチングにおいて用いられる動的画像処理方法の例を示すフローチャートである。結果が実質的に同一であれば、各工程は図１１に示す順番通りに実行する必要はない。上記方法の概要は、以下のように述べることができる。

工程１１００：開始。

工程１１１０：較正点情報を取得する。

工程１１１２：複数の歪み広角画像を受信する。

工程１１１４：車両画像を供給する。

工程１１２０：複数の較正点に対して３次元変換を実行して、複数の画像ステッチング線を生成する。

工程１１２１：複数のサブ画像に対して広角歪み補正および上面変換を実行して、複数の上面画像を生成する。

工程１１２２：上記上面画像に対して上記３次元変換を実行して複数の変換上面画像を生成する。

工程１１２４：上記車両画像に対して上記３次元変換を実行して変換車両画像を生成する。

工程１１３０：画像ステッチング線と、上記変換上面画像の対応する出力位置とに基づいて画像合成操作を実行し、それに応じて、ＡＶＭ画像を生成する。

工程１１４０：上記変換車両画像を上記ＡＶＭ画像に貼り付けて車両画像を生成する。

工程１１５０：終了。

上記画像合成操作の前に、上記較正点は選択され、車両画像システムに保存されている。したがって、工程１１１０において、上記較正点情報は、さらなる画像ステッチングのために直接取得してもよい。工程１１２０、１１２２および１１２４において、上記較正点と、上記上面画像と、上記車両画像とは同一の上記３次元変換によって処理される。当業者であれば、図１〜図７を参照する上記記載を読めば、図１１に示す各工程における具体的な操作は容易に理解できるであろうから、簡潔さのために、さらなる記載はここでは省く。なお、１つの車両画像に対して、異なる用途に複数の画像特性境界を生成してもよい。例えば、１つの車両画像に対して、動的画像ステッチング線、動的警告線および／または動的駐車線を同時に規定してもよい。

以上を要約すると、ここで提案する動的画像処理方法は、車両画像に対して較正点を規定するものであり、上記較正点から生成される画像特性境界は、車両画像の表示設定に基づいて調整することができる。したがって、上記画像特性境界を画像ステッチング線／警告線／駐車線として用いる時、動的な画像ステッチング線／警告線／駐車線を実現でき、これにより、上記車両画像／ＡＶＭ画像を様々な視野角から見る際の運転者／利用者の求める要件を満足する。

上記装置および方法に対しては、本発明の教示内容を維持しつつ、種々の修正および変更を行うことができる点は、当業者には容易に理解されるであろう。したがって、上記開示内容は、付随する請求項の示す境界によってのみ限定して解釈すべきものである。

Claims (10)

1. 複数の第１画像を供給する工程と、
   上記第１画像を合成して第２画像を生成する工程と、
   上記第２画像上で複数の較正点を選択する工程と、
   上記選択する工程の後に、上記第１画像に対して幾何学変換を実行する工程と、
   上記較正点に対して上記幾何学変換を実行して複数の変換後較正点を生成する工程と、
   上記変換後較正点に基づいて少なくとも１つの画像特性境界を生成する工程と、
   を含む動的画像処理方法。
2. 上記少なくとも１つの画像特性境界は、少なくとも１つの画像ステッチング線であり、
   上記少なくとも１つの画像ステッチング線に基づいて上記幾何学変換後第１画像を合成し、それに応じて幾何学変換後第２画像を生成する工程をさらに含む、
   請求項１に記載の動的画像処理方法。
3. 上記第２画像は隣接する上記第１画像同士の間で少なくとも１つの重複領域を含み、
   選択された上記較正点は上記少なくとも１つの重複領域に位置する、
   請求項２に記載の動的画像処理方法。
4. 上記少なくとも１つの画像特性境界は、少なくとも１つの警告線である、
   請求項１に記載の動的画像処理方法。
5. 上記第２画像は物体画像を含み、
   上記少なくとも１つの警告線は、上記第２画像における上記物体画像の周囲に位置し、
   上記少なくとも１つの警告線は、物体が上記少なくとも１つの警告線を越えて上記物体画像に近づくかどうかを判定するために用いられる、
   請求項４に記載の動的画像処理方法。
6. 上記第１画像を供給する上記工程は、
   複数のサブ画像を受信する工程と、
   上記サブ画像に対して画像補正を実行して上記第１画像をそれぞれ生成する工程とを含む、
   請求項１に記載の動的画像処理方法。
7. 上記第１画像を合成して上記第２画像を生成する上記工程は、隣接する上記第１画像同士の間の重複領域から画像ステッチング線を取得する工程を含む、
   請求項１に記載の動的画像処理方法。
8. 上記第２画像上で上記較正点を選択する上記工程は、上記画像ステッチング線上で上記較正点を選択する工程を含む、
   請求項７に記載の動的画像処理方法。
9. 上記幾何学変換は、回転操作、移動操作、拡大操作、最小化操作、傾き操作、または視野角変更操作を含む、
   請求項１に記載の動的画像処理方法。
10. 複数の第１画像に対して合成操作または幾何学変換を実行し、第２画像上で複数の較正点を選択して、較正点情報を生成する処理ユニットであって、上記第２画像は上記第１画像に対して上記合成操作を実行した後で生成される処理ユニットと、
    上記処理ユニットに接続され、上記較正点情報を記憶する記憶ユニットと、
    を備え、
    上記処理ユニットは、上記選択の後に、上記第１画像に対して上記幾何学変換を実行するように構成される時、上記較正点に対して上記幾何学変換を実行して複数の変換後較正点を生成し、且つ、上記変換後較正点に基づいて少なくとも１つの画像特性境界を生成するように構成される、
    動的画像処理システム。

Images