JP5217860B2 - 死角画像表示装置および死角画像表示方法 - Google Patents

Description

本発明は、車両に設けられた撮像装置で自車両の死角を撮影して得られた死角画像を乗員に提示する死角画像表示装置ならびに死角画像表示方法に関する。

従来、この種の技術としては、例えば以下に示す文献に記載されたものが知られている（特許文献１参照）。この文献に記載された技術では、見通しの悪い交差点等で乗員によるスイッチ等の操作によりモニタに死角画像を表示する（ブラインドモニタ（死角画像表示装置）を作動させる）と、この場所のリンク番号、走行方向、交差点までの距離を記憶した後、次回以降に車両がこの場所を走行して、この走行路のリンク番号、走行方向ならびに交差点までの距離が前回の記憶情報と一致し、かつ車速が所定の値以下であると、ブラインドモニタを自動的に作動させるようにしている。
特開平１０−２７４５３４号公報

上記従来のブラインドモニタにおいては、モニタに死角画像を表示させる初回の場所では、乗員による操作が必要となり、煩わしいという問題点があった。

そこで、本発明は、上記に鑑みてなされたものであり、その目的とするところは、乗員操作を要することなく死角画像を表示することを可能にした死角画像表示装置ならびに死角画像表示方法を提供することにある。

上記目的を達成するために、フロントグリルに設置された第１の撮像手段で撮像された前記自車両の前方左側方及び前方右側方の少なくとも一方の画像と、サイドミラーに設置された第２の撮像手段で撮像された、前記第１の撮像手段で撮像する撮像領域の一部と少なくとも重複する前方側方の画像との一致度合いを判別し、判別の結果、両画像の一致度合いが予め設定された一致度合いよりも低いと判別された場合には、前記第１の撮像手段で撮像された死角画像を前記表示手段に表示することを特徴とする。

本発明によれば、見通しの悪い交差点などで自動的に死角画像が表示されるので、乗員による操作を要することなく、死角画像を表示することができる。

以下、図面を用いて本発明を実施するための最良の実施例を説明する。

図１は本発明の実施例１に係る死角画像表示装置の構成を示す図である。図１に示す実施例１の死角画像表示装置は、自車両の周囲を撮影する複数のカメラ１１（１１ａ，１１ｂ）と、これらのカメラ１１による撮像で得られた画像データを処理、表示制御する画像処理制御装置１２と、この画像処理制御装置１２で得られた画像を表示するモニタ１３とを備えて構成されている。

カメラ１１ａは、自車両のフロントグリル中央に設置され、図２に符号Ａで示すように、カメラ１１ａが設置された自車両２０のフロントグリル中央を中心に左右対称となる前方ならびに前方左右側方を撮像する。この撮像範囲には、自車両２０の前方左右の運転者にとって視認が困難な死角となる死角領域が含まれる。したがって、死角画像表示装置は、カメラ１１ａで撮像された死角領域の画像を含む撮像画像を表示する。

カメラ１１ｂは、自車両２０の左右のドアミラーに設置され、左ドアミラーに設置されたカメラ１１ｂは、図２の符号Ｂで示すように、自車両２０の左側斜め前方を撮像し、右ドアミラーに設置されたカメラ１１ｂは、図示されていないが自車両２０の前後の中心線を中心に左のドアミラーに設置されたカメラ１１ｂの撮像領域と左右対称となる自車両２０の右側斜め前方を撮像する。なお、以下の説明では、カメラ１１ａと左ドアミラーに設置されたカメラ１１ｂとの撮像領域について説明するが、カメラ１１ａと右ドアミラーに設置されたカメラ１１ｂとの撮像領域についても同様である。

ここで、カメラ１１ａの撮像領域Ａと左ドアミラーに設置されたカメラ１１ｂの撮像領域Ｂとが重複する重複撮像領域とは、図２の符号Ｃで示す領域（斜線で示す領域）を指すものとし、以下に説明する交差点における見通しが良好が否かを判断するために予め設定される特定領域とは、上記重複撮像領域Ｃ内の所定の領域に設定され、図２の符号Ｄで示す領域（交斜線で示す領域）として設定される。

これらのカメラ１１ａ、１１ｂは、例えばＣＣＤカメラやＣＭＯＳカメラ等で構成され、撮像で得られた画像データは、画像処理制御装置１２に与えられる。

画像処理制御装置１２は、各カメラ１１の撮像で得られた画像データを受けて、この画像データを画像処理し、得られた画像をモニタ１３に表示する。画像処理制御装置１２は、カメラ１１ａの撮像で得られた画像データに対して、画像処理技術の分野で従来公知の画像処理技術の内、画像内のオブジェクトの輪郭を抽出するエッジ検出処理を施し、走行路においるガードレールの有無を判定する。すなわち、画像処理制御装置１２は、カメラ１１ａで得られた画像の内、予め設定された領域に対してエッジ抽出を行う際に適用されるしきい値を用いてエッジを抽出し、抽出したエッジが先に設定した特定領域を２つに分割するものであるか否かを判別し、２つに分割するものであるならば走行路にガードレールが設置されているものと判別する。ガードレールが設置されている場合には、ブラインドモニタを起動せずに、従来周知のナビゲーションシステム１４によって経路案内等の画面がモニタ１３の画面に表示される。

画像処理制御装置１２は、カメラ１１ａの撮像で得られた画像データとカメラ１１ｂの撮像で得られた画像データとを比較して、両画像データの一致度合いを算出する。すなわち、画像処理制御装置１２は、既述した図２に示すカメラ１１ａの撮像領域Ａと左ドアミラーに設置されたカメラ１１ｂの撮像領域Ｂとが重複した重複撮像領域Ｃ内に予め設定された特定領域Ｄにおける輝度の標準偏差等の統計量をそれぞれのカメラ１１ａ、１１ｂに対応した特定領域Ｄに対して算出し、カメラ１１ａに対応した統計量とカメラ１１ｂに対応した統計量とを比較し、その差が予め設定された一致度合いの判別値以上か否かを判別し、判別結果によりそれぞれのカメラ１１ａ、１１ｂの特定領域Ｄの画像データにおける標準偏差等の統計量の一致度合いを判別し、一致度合いに基づいてカメラ１１ａで撮像された死角画像をモニタ１３に表示するか否かを選択する。

例えば、図２に示すように自車両２０が交差点にさしかかったときに、同図（ａ）に示すように、カメラ１１ａの撮像領域Ａとカメラ１１ｂの撮像領域Ｂとが重複した重複撮像領域Ｃ内に設定された特定領域Ｄに対してそれぞれのカメラ１１ａ，１１ｂ毎に算出された例えば標準偏差の差が予め設定された値以下である場合には、カメラ１１ａの撮像で得られた画像とカメラ１１ｂで得られた撮像画像の両画像は概ね一致している（一致度合いは高い）ものと判別して、運転者から見て交差点の見通しは良好なものと判断し、死角画像をモニタ１３に表示せずにモニタ１３のそれまでの画面表示を継続する。

一方、同図（ｂ）に示すように、それぞれのカメラ１１ａ，１１ｂに対応した特定領域Ｄの標準偏差の差が予め設定された値以上である場合には、カメラ１１ａの撮像で得られた画像とカメラ１１ｂで得られた撮像画像の両画像は一致していない（一致度合いは低い）ものと判別して、運転者から見て交差点の見通しはよくないものと判断し、モニタ１３の画面にカメラ１１ａで得られた自車両２０の運転者に対して死角方向の死角画像を表示する。これは交差点の角に建物などが存在する場合には、カメラ１１ａは建物が写りこまないため、遠方範囲を直接撮像することになるが、カメラ１１ｂでは建物が写りこむために、その建物より遠方の範囲はカメラ１１ｂで撮像できないことになる。従って、両者の特定領域Ｄは異なる映像となり、標準偏差も異なり、よって一致度合いが低くなる。

なお、カメラ１１ａとカメラ１１ｂの両画像データの一致度合いを判別する手法としては、上記の他に例えば画像処理の技術分野で従来から一般的に広く知られているパターンマッチングの技術を適用して両画像データの一致度合いを判別するようにしてもよい。

画像処理制御装置１２は、プログラムに基づいて各種動作処理を制御するコンピュータに必要な、ＣＰＵ、記憶装置、入出力装置等を備えた例えばマイクロコンピュータ、ＡＳＩＣやＦＰＧＡといった既存の特定用途向けの集積回路を含んで構成される。

モニタ１３は、車内の少なくとも運転者にとって画面が見やすい位置に設置され、ナビゲーションシステム１４が起動されている場合には、経路案内等のナビゲーションシステム１４から与えられる画像を表示して運転者に提示する一方、ブラインドモニタが起動された場合には、ナビゲーションシステム１４から与えられる画像に優先させてカメラ１１ｃで撮像された死角画像を表示して運転者に提示する。モニタ１３は、ＣＲＴやＬＣＤといった既存の表示装置で構成される。

次に、図３のフローチャートを参照して、この実施例１における死角画像表示装置の動作手順について説明する。

図３を参照して、先ずカメラ１１ａの撮像領域Ａ内に設定された特定領域Ｄに対して、画像処理技術のエッジ抽出手法ならびに抽出用のしきい値を適用してエッジを抽出する（ステップＳ３０１）。その後、抽出されたエッジが先の特定領域Ｄを２つに分割するか否かを判別する（ステップＳ３０２）。判別の結果、抽出されたエッジが領域を２つに分割する場合には、撮像領域にガードレールが存在するものと推定して、モニタ１３に死角画像を表示せずに、例えばナビゲーションシステム１４から与えられた、モニタ１３の画面にそれまで表示されていた内容を継続して表示する（ステップＳ３０３）。

一方、判別結果において、抽出したエッジが領域を２つに分割していない場合には、続いてカメラ１１ａの画像データの内特定領域Ｄの画像データにおける輝度の標準偏差（Ｌａσ）を算出する（ステップＳ３０４）。同様に、カメラ１１ｂの画像データの内特定領域Ｄの画像データにおける輝度の標準偏差（Ｌｂσ）を算出する（ステップＳ３０５）。

次に、上記両標準偏差の差の絶対値が、予め設定された一致度合いの判定値（α）よりも大きいか否かを判別する（ステップＳ３０６）。判別の結果、大きくない場合には、上記特定領域Ｄの両画像データは概ね一致して一致度合いは高いものと判別し、運転者にとって交差点等の見通しはよいものと推定し、モニタ１３に死角画像を表示せずにモニタ１３のそれまでの画面表示（例えばナビゲーション画面）を継続する（ステップＳ３０７）。

一方、判別の結果、大きい場合には、運転者にとって交差点等の見通しはよくないもの（運転者が死角画像の表示を必要としているもの）と推定して、それまで表示されていた画面表示に代えてカメラ１１ａの撮像で得られた死角画像をモニタ１３に表示する（ステップＳ３０８）。

なお、モニタ１３に死角画像を表示するか否かにおいて、図４に示すように、自車両の車速や自車両が交差点付近を走行しているか否かの情報の要件を加えるようにしてもよい。すなわち、ナビゲーションシステム１４で用いられる車速が予め設定された速度以下（要件１）であればモニタ１３に死角画像を表示し、あるいは要件１に加えて、ナビゲーションシステム１４が備えている地図情報から得られる自車両の位置が交差点付近である（要件２）場合にはモニタ１３に死角画像を表示し、もしくは要件１、要件２に加えて、上記実施例１の要件が満たされた場合にモニタ１３に死角画像を表示するようにしてもよい。

このように、上記実施例１においては、交差点等の見通しがよくないことを判別して運転者が死角画像の表示を必要とするであろうことを事前に判断し、その判断結果に基づいてモニタ１３に死角画像を表示するようにしたので、乗員による起動操作を行うことなく的確にモニタ１３に死角画像を表示することができる。これにより、乗員による表示操作や、モニタ１３に死角画像を表示させる場所を事前に登録するといった登録作業は不要となり、煩わしさを低減することができる。

また、見通しのよい交差点等の本来死角画像の表示が不要な場所でモニタ１３に死角画像を表示することは抑制される。これにより、ナビゲーションシステム１４から与えられる経路案内等の、現時点でモニタ１３に死角画像を表示することよりも運転者にとって必要性の高い情報をモニタ１３に表示して提示することが可能となり、利用者の意図と一致させることができる。

次に、本発明の実施例２について説明する。この実施例２の特徴とするところは、俯瞰画像を用いて、先の実施例１で採用した輝度の標準偏差やパターンマッチングにより画像データの一致度を算出するようにしたことにあり、他は先の実施例１と同様である。

上記特徴的な技術を実現するにあたって、画像処理制御装置１２は、カメラ１１ａ、１１ｂで撮像されて得られた画像データに基づいて、両画像にそれぞれ対応した俯瞰画像を生成する。この俯瞰画像は、例えば従来から知られている視点変換の技術を用いる。この視点変換の画像処理の技術は、例えば特開２０００−３３９０１号公報に記載された車両用画像表示システムで採用されており、車両周囲の所定の領域を撮像するカメラで得られた実画像を、所定の仮想視点例えば車両上方からみた仮想画像に変換する技術である。具体的には、例えば視点変換後の仮想画像における出力画素の位置座標と、カメラの撮像で得られた実画像における入力画素の位置座標との対応関係を示す変換アドレス（マッピングテーブル）を予め用意し、このマッピングテーブルにしたがって入力画素の画素位置を変更して出力画像を生成することで、例えば車両上方に設定された仮想視点から俯瞰した俯瞰画像へと変換することをリアルタイムで実現している。

なお、カメラ１１ａとカメラ１１ｂの設置位置が異なることにより両カメラの俯瞰画像の向きが異なるので、画像処理制御装置１２では、一方の俯瞰画像の向きを他方の俯瞰画像の向きに一致させるように一方の俯瞰画像を回転させた後、両俯瞰画像をパターンマッチングにより比較している。

例えば図５（ａ）に示すように、カメラ１１ａ、１１ｂで撮像された画像において、符号５０で示す領域を例えば先の実施例１で説明した特定領域Ｄに設定した場合に、この領域の画像は同図（ａ）に示すように歪んだ画像となり、かつその歪み具合は両カメラ間で異なるために、このような画像を用いて一致度を判定すると、判定精度が低下するおそれがある。

これに対して、図５（ｂ）に示すように、カメラ１１ａ、１１ｂの両実画像を上記視点変換技術を用いて俯瞰画像に変換することで、両俯瞰画像の形状が一致することになる。

以上説明したように、実施例２においては、実施例１と同様の効果を有すると共に、俯瞰変換した画像を用いて一致度を判定するようにしたので、歪みの影響を受け難くなるために、一度の判定精度を高くすることができるという効果が得られる。

次に、本発明の実施例３について説明する。図６はこの実施例３に係る死角画像表示装置の構成を示す図である。

この実施例３は、先に説明した実施例１もしくは実施例２の構成にカメラ１１ｃを加え、画像処理装置１２は、先の実施例１で説明したカメラ１１ａとカメラ１１ｂとの両画像データにおける一致度合いの判別結果に優先させて、カメラ１１ｃの撮像で得られた画像に基づいて運転者の視線移動が検出された場合にはモニタ１３に死角画像を表示する機能を加えている。

カメラ１１ｃは、運転者の顔を撮像できる位置に設置され、運転者の視線の動きを検出できるように運転者の顔を撮像し、運転者の視線移動を検出する検出手段として機能する。カメラ１１ｃの撮像で得られた画像データは画像処理制御装置１２に与えられる。

画像処理制御装置１２は、カメラ１１ｃから与えられた画像データを解析して、運転者の視線移動を検出する。すなわち、自車両が交差点等にさしかかったときに運転者が左右の安全を確認するために、例えば図７（ａ）に示すように左右のＡピラー７１の方向に運転者７２が視線を移動させたか否かを判別し、視線の移動を検出した場合には、続いて同図（ｂ）に示すように運転者７２がモニタ１３の画面を視認するべくモニタ１３が設置された方向に視線を移動させたか否かを判別し、視線の移動を検出した場合には、カメラ１１ａとカメラ１１ｂとの両画像データにおける一致度合いの判別結果に優先させて、モニタ１３に死角画像を表示する。

次に、図８のフローチャートを参照して、実施例３における動作の手順を説明する。図８において、先ずナビゲーションシステム１４が備えてる自車両の位置ならびに地図データとに基づいて、自車両の現在位置が交差点の付近か否かを判別する（ステップＳ８０１）。判別の結果、自車両が交差点付近を走行している場合には、続いてナビゲーションシステム１４の機能から得られる自車両の速度が予め設定された車速、例えばモニタ１３に死角画像を表示するに足る程度に低速であるか否かを判別する（ステップＳ８０２）。判別の結果、車速が設定された低速である場合には、続いて運転者の視線が左右のＡピラーの方向に移動したか否かを判別する（ステップＳ８０３）。判別の結果、運転者の視線がＡピラーの方向に移動した場合には、続いて運転者の視線がモニタ１３の画面に移動したか否かを判別する（ステップＳ８０４）。判別の結果、運転者の視線がモニタ１３の画面に移動した場合には、モニタ１３に死角画像を表示する（ステップＳ８０５）。一方、視線移 以上説明したように、実施例３においては、実施例１と同様の効果を有すると共に、運転者が左右に視線を移動させたことを検出した場合に、モニタ１３に死角画像を表示するようにしたので、的確に死角画像を表示することが可能となる。

上記各実施例の構成要件と、特許請求の範囲における構成要件との対応関係は以下の通りである。すなわち、カメラ１１ａが第１の撮像手段を、カメラ１１ｂが第２の撮像手段を、画像処理装置１２が判別手段ならびに表示制御手段を、モニタ１３が表示手段を構成する。

本発明の実施例１に係る死角画像表示装置の構成を示す図である。 カメラ１１ａ、１１ｂの撮像領域と画像の一致度合いとの関係を示す図である。 本発明の実施例１に係る動作処理の手順を示すフローチャートである。 死角画像の表示要件を示す図である。 本発明の実施例２に係る画像の俯瞰画像変換例を示す図である。 本発明の実施例３に係る死角画像表示装置の構成を示す図である。 本発明の実施例３に係る運転者の視線移動の様子を示す図である。 本発明の実施例３に係る動作処理の手順を示すフローチャートである。

符号の説明

１１ａ〜１１ｄ…カメラ
１２…画像処理制御装置
１３…モニタ
１４…ナビゲーションシステム

Claims (5)

1. 自車両の死角を撮像した死角画像を表示手段に表示する死角画像表示装置において、
   フロントグリルに設置され、前記自車両の前方左側方及び前方右側方の少なくとも一方を撮像する第１の撮像手段と、
   ドアミラーに設置され、前記第１の撮像手段で撮像する撮像領域の一部と少なくとも重複する前方側方を撮像する第２の撮像手段と、
   前記第１の撮像手段で撮像された撮像領域と前記第２の撮像手段で撮像された撮像領域とが重複する重複撮像領域における、前記第１の撮像手段の画像と前記第２の撮像手段の画像との一致度合いを判別する判別手段と、
   前記判別手段により両画像の一致度合いが予め設定された一致度合いよりも低いと判別された場合には、前記表示手段に前記第１の撮像手段で撮像された死角画像を表示する表示制御手段と
   を有することを特徴とする死角画像表示装置。
2. 前記判別手段は、前記両画像を俯瞰変換して得られた俯瞰画像の一致度合いを判別する
   ことを特徴とする請求項１に記載の死角画像表示装置。
3. 前記自車両の運転者の視線移動を検出する検出手段を備え、
   前記表示制御手段は、前記検出手段で運転者の視線の移動が検出された場合には、前記判別手段の判別結果に優先させて前記表示手段に死角画像を表示する
   ことを特徴とする請求項１または２に記載の死角画像表示装置。
4. 前記判別手段は、前記重複撮像領域内に予め設定された特定領域の画像における輝度の標準偏差を、第１の撮像手段の前記特定領域と前記第２の撮像手段の前記特定領域とでそれぞれ算出し、両輝度の標準偏差の差が予め設定された判別値よりも大きい場合には両画像の一致度合いは低いものと判別する
   ことを特徴とする請求項１，２及び３のいずれか１項に記載の死角画像表示装置。
5. 自車両の死角を撮像した死角画像を表示手段に表示する死角画像表示方法において、
   フロントグリルに設置された第１の撮像手段で撮像された前記自車両の前方左側方及び前方右側方の少なくとも一方の画像と、サイドミラーに設置された第２の撮像手段で撮像された、前記第１の撮像手段で撮像する撮像領域の一部と少なくとも重複する前方側方の画像との一致度合いを判別し、
   判別の結果、両画像の一致度合いが予め設定された一致度合いよりも低いと判別された場合には、前記前記表示手段に前記第１の撮像手段で撮像された死角画像を表示する
   ことを特徴とする死角画像表示方法。

Images