JP2013247470A - 車両側方画像出力装置 - Google Patents

Abstract

【課題】道路に対する車両の正確な進入角度を算出し、該車両の左右側方の適切な画像を出力する。
【解決手段】本発明は、左右の撮像手段と、該左右の撮像手段が撮像した左右側方の画像から導き出された道路の消失点に基づき車両の進入角度を算出する第１の進入角度算出手段と、前記左右側方の画像からオプティカルフローにより導き出された前記道路を走行する他の車両の走行方向に基づき前記進入角度を算出する第２の進入角度算出手段と、前記左右側方の画像からカーナビゲーション情報に基づき前記進入角度を算出する第３の進入角度算出手段と、該各進入角度の少なくとも２つの進入角度の誤差が所定範囲内にあるか否かを判断する進入角度比較手段と、該誤差が所定範囲内にあると判断された場合には、その進入角度に基づき前記左右側方の画像から出力画像を切り出す画像切り出し手段と、を備えていることを特徴とする。
【選択図】図２

Description

本発明は、道路に対する車両の進入角度に対応させて該車両の側方画像を出力する車両側方画像出力装置に関する。

従来、見通しの悪い交差点等において車両の左右方向の安全を確認するため、車両の左右前部にカメラを取り付け、該カメラが撮像した車両の左右側方の画像を該車両の室内に設置したモニター画面上に表示する装置が知られている。

この種の従来の装置としては、例えば、カメラが撮像した画像から、道路のセンターラインや路側ライン等の白線の消失点をハフ（Hough）変換によって二値化して抽出し、この消失点から算出した前記道路に対する車両の進入角度に基づき、前記モニター画面上に表示する画像を切り出す車両用周辺視認装置（例えば、特許文献１参照）や、或いは、カメラが撮像した画像から、カーナビゲーション情報によって算出した前記車両の進入角度に基づき前記モニター画面上に表示する画像を切り出す車両用周辺視認装置（例えば、特許文献２参照）等が知られている。

特開２００３−１７９９１５号公報 特開平１０−２６２２４０号公報

しかしながら、上記した特許文献１に記載の装置では、道路上に白線がない場合や白線が不明瞭である場合、或いは、夜間のため白線の表示が視認し難い場合等には、車両の進入角度を算出することができない。また、車両が進入しようとする道路がコーナー部である場合には、車両の正確な進入角度を算出することができない。したがって、このような場合には、車両の左右側方の適切な画像を車内のモニター画面上に表示することができないという問題がある。

一方、上記した特許文献２に記載の装置では、カーナビゲーションのＧＰＳや地図情報に誤差が生じたり、或いは、ビルやトンネルの出口等でＧＰＳの電波が正確に届かなかったりすることがある。また、駐車場等の走行車線のない場所から道路に車両を進入させる場合や、道路に対して斜めに車両を進入させる場合には、車両の正確な進入角度を算出することができない。したがって、このような場合には、車両の左右側方の適切な画像をモニター画面上に表示することができないという問題がある。

本発明は上記した課題を解決すべくなされたものであり、道路に対して車両が進入する際に、道路や車両が例えどのような状況にあったとしても、車両の正確な進入角度を算出することができ、該車両の左右側方の適切な画像を出力することのできる車両側方画像出力装置を提供することを目的とする。

上記した目的を達成するため、本発明は、道路に対する車両の進入角度に対応させて該車両の側方画像を出力する車両側方画像出力装置であって、車両の左右前部に取り付けられ、該車両の左右側方を所定の画角でそれぞれ撮像する左右の撮像手段と、該左右の撮像手段がそれぞれ撮像した前記車両の左右側方の画像から導き出された前記道路の消失点に基づき前記車両の進入角度を算出する第１の進入角度算出手段と、前記左右の撮像手段がそれぞれ撮像した前記車両の左右側方の画像からオプティカルフローにより導き出された前記道路を走行する他の車両の走行方向に基づき前記車両の進入角度を算出する第２の進入角度算出手段と、前記左右の撮像手段がそれぞれ撮像した前記車両の左右側方の画像からカーナビゲーション情報に基づき前記車両の進入角度を算出する第３の進入角度算出手段と、前記第１〜第３の進入角度算出手段がそれぞれ算出した３つの進入角度を比較し、該３つの進入角度のうち少なくとも２つの進入角度の誤差が所定範囲内にあるか否かを判断する進入角度比較手段と、該進入角度比較手段が、前記３つの進入角度のうちの少なくとも２つの進入角度の誤差が所定範囲内にあると判断した場合には、該少なくとも２つの進入角度に基づき前記撮像手段がそれぞれ撮像した前記車両の左右側方の画像から出力画像を切り出す画像切り出し手段と、を備えていることを特徴とする。

この特徴によれば、第１〜第３の進入角度算出手段により算出された３つの進入角度を比較した上で、道路に対する車両の進入角度を決定しているため、道路や車両が例えどのような状況にあったとしても、道路に対する車両の正確な進入角度を算出することができる。したがって、左右側方の適切な画像を出力することができ、装置の信頼性を高めることができると共に車両の運転者及びその周りの他の車両や歩行者等の安全性を高めることができる。

また、本発明に係る車両側方画像出力装置において、前記進入角度比較手段が、前記３つの進入角度のうちのいずれの進入角度の誤差も所定範囲内にないと判定した場合には、前記画像切り出し手段は、前記左右の撮像手段がそれぞれ撮像した前記車両の左右側方の画像から該左右側方の画像同士が重なり合う部分を削除して出力画像を切り出すことを特徴とする。

この特徴によれば、例え信頼性の高い進入角度の情報が得られなかったとしても、左右側方の適切な画像を出力することができ、車両の運転者及びその周りの他の車両や歩行者等の安全性を高く保持することができる。

本発明によれば、道路に対して車両が進入する際に、道路や車両が例えどのような状況にあったとしても、道路に対する車両の正確な進入角度を算出することができるため、左右側方の適切な画像を出力することができ、装置の信頼性を高めることができると共に車両の運転者及びその周りの他の車両や歩行者等の安全性を高めることができる等、種々の優れた効果を得ることができる。

本発明の実施の形態に係る車両側方画像出力装置の全体構成を示すブロック図である。 本発明の実施の形態に係る車両側方画像出力装置の作用を示すフローチャートである。 本発明の実施の形態に係る車両側方画像出力装置を備えた車両が道路に対して斜めに進入する状態を示す平面図である。

以下、図面を参照しつつ、本発明の実施の形態に係る車両側方画像出力装置について説明する。ここで、図１は本発明の実施の形態に係る車両側方画像出力装置の全体構成を示すブロック図、図２は本発明の実施の形態に係る車両側方画像出力装置の作用を示すフローチャート、図３は本発明の実施の形態に係る車両側方画像出力装置を備えた車両が道路に対して斜めに進入する状態を示す平面図である。

図１及び図３に示されているように、本発明の実施の形態に係る車両側方画像出力装置は、車両１０の左側前部に取り付けられる左側前部カメラ１１と、車両の右側前部に取り付けられる右側前部カメラ１２と、車両１０の曲がる方向を検出するウィンカスイッチ１３と、車両１０の回転角度を検出する舵角センサ１４と、ＧＰＳ（全地球測位システム）からの位置情報を得て車両１０の現在位置や目的地への経路案内を行なうカーナビゲーション１５と、全体を制御するコントロールユニット２０と、車両１０の室内に設置されるモニター画面３０と、を備えて構成されている。

左側前部カメラ１１及び右側前部カメラ１２は、それぞれ、車両１０の左右のフロントフェンダーミラー（図示省略）に固定されており、車両１０の左側方及び右側方の所定角度の画像を撮像できるようになっている。本実施の形態では、左側前部カメラ１１及び右側前部カメラ１２は、それぞれ、１８０度程度の画角を有する超広角カメラにより構成されており、両方のカメラ１１，１２で前方約２７０度の視野範囲を確保することができるようになっている。

コントロールユニット２０は、第１の進入角度算出部２１、第２の進入角度算出部２２、第３の進入角度算出部２３、進入角度比較部２４、及び画像切り出し部２５を有する制御部や、各種プログラムやデータを格納する記憶部２６等を備えている。
次に、上記した構成を備えた本発明の実施の形態に係る車両側方画像出力装置の作用について説明する。

図３中に矢印で示すように、自分の車両１０が、例えば駐車場等の走行車線のない場所４０から道路５０に対して進入角度θで右方向斜めに進入する場合、図２に示すように、コントロールユニット２０は、ウィンカスイッチ１３のＯＮ信号から車両１０が右方向に曲がることを検出する（Ｓ１）と共に、舵角センサ１４の舵角信号からを車両１０の舵角を検出する（Ｓ２）。この時、舵角センサ１４の舵角信号から舵角を検出することによって、ウィンカスイッチ１３の操作が行われなかった場合でも右方向に曲がることを検出することができると共に、後述するＳ３〜Ｓ５における進入角度算出処理により算出された車両の進入角度と前記舵角とを比較することで車両の進入角度の検出精度をより高めることができ、画像を適切に切り出すことができる。

次に、各ステップＳ３〜Ｓ５において、第１〜第３の３つの進入角度算出処理により車両の進入角度を算出する。

Ｓ３の第１の進入角度算出処理では、左側前部カメラ１１及び右側前部カメラ１２が撮像した車両１０の左右側方の画像ＬＰ，ＲＰ中において、第１の進入角度算出部２１が、道路５０上の平行なセンターライン５１や両側の路側ライン５２が交差する交差する点（以降「消失点」と言う。）を、ハフ（Hough）変換によって導き出し、この消失点から道路５０に対する車両１０の進入角度θ１を算出する。なお、第１の進入角度算出処理は、例えば上記した特許文献１に記載されているように、公知技術であるので、ここでの詳細な説明は省略する。

また、Ｓ４の第２の進入角度算出処理では、左側前部カメラ１１及び右側前部カメラ１２が撮像した車両１０の左右側方の画像ＬＰ，ＲＰ中において、第２の進入角度算出部２２が、オプティカルフローを演算することにより道路５０を走行する他の車両５３，５４の走行方向を導き出し、該走行方向から道路５０に対する車両１０の進入角度θ２を算出する。なお、第２の進入角度算出処理におけるオブティカルフローの演算方法は、例えば特開２０１１−７０５９３号公報や特開２０１０−７３０３６号公報に記載されているように、公知技術であるので、ここでの詳細な説明は省略する。

また、Ｓ５の第３の進入角度算出処理では、左側前部カメラ１１及び右側前部カメラ１２が撮像した車両１０の左右側方の画像ＬＰ，ＲＰ中において、第３の進入角度算出部２３が、カーナビゲーション１５に格納されているＧＰＳ（全地球測位システム）の位置情報や地図情報から、道路５０に対する車両１０の進入角度θ３を算出する。なお、第３の進入角度算出処理は、例えば上記した特許文献２に記載されているように、公知技術であるので、ここでの詳細な説明は省略する。

次のステップにおいて、進入角度比較部２４は、前記ステップＳ３〜Ｓ５において第１〜第３の進入角度算出部２１，２２，２３がそれぞれ算出した第１〜第３の３つの進入角度θ１，θ２，θ３を比較し（Ｓ６）、該３つの進入角度θ１，θ２，θ３のうち少なくとも２つの進入角度の誤差が所定範囲内にあるか否かを判断する（Ｓ７）。

この結果、少なくとも２つの進入角度の誤差が所定範囲内にあると進入角度比較部２４が判断した場合には、該少なくとも２つの進入角度に基づき進入角度θが決定された後、ステップＳ８に進む。

一方、少なくとも２つの進入角度の誤差が所定範囲内にないと進入角度比較部２４が判断した場合には、進入角度θを決定することなく、ステップＳ９に進む。

より具体的に説明すると、ステップＳ７における、３つの進入角度θ１，θ２，θ３のうち少なくとも２つの進入角度の誤差が所定範囲内にあるか否かの判断と車両１０の進入角度θの決定は、該所定範囲を例えば５度と設定した場合、以下のように行われる。

すなわち、仮に、第１の進入角度算出部２１により算出された第１の進入角度θ１が５０度、第２の進入角度算出部２２により算出された第２の進入角度θ２が４５度、第３の進入角度算出部２３により算出された第３の進入角度θ３が６０度であった場合、第１の進入角度θ１と第２の進入角度θ２との誤差が５度以内であるのに対して、第３の進入角度θ３と第１の進入角度θ１又は第２の進入角度θ２との誤差が５度を超えているため、第１の進入角度θ１と第２の進入角度θ２が進入角度θの算出根拠として採用され、第１の進入角度θ１と第２の進入角度θ２の平均値から、進入角度θは４７．５度に決定される。

また、仮に、第１の進入角度θ１が５０度、第２の進入角度θ２が４５度、第３の進入角度θ３が４０度であった場合、第１の進入角度θ１と第３の進入角度θ３との誤差は１０度となり５度を超えているが、第１の進入角度θ１と第２の進入角度θ２との誤差及び第２の進入角度θ２と第３の進入角度θ３との誤差がいずれも５度以内であるため、第１の進入角度θ１と第２の進入角度θ２と第３の進入角度θ３とが進入角度θの算出根拠として採用され、第１の進入角度θ１と第２の進入角度θ２と第３の進入角度θ３との平均値から、進入角度θは４５度に決定される。

また、前記所定範囲を、上記したように所定の角度（５度）に設定する代わりに、例えば１０％のように所定割合に設定してもよく、この場合の、ステップＳ７における処理は以下のように行われる。

すなわち、仮に、第１の進入角度θ１が５０度、第２の進入角度θ２が４５度、第３の進入角度θ３が６０度であった場合、第１の進入角度θ１と第２の進入角度θ２との誤差が進入角度の大きい方の第１の進入角度θ１の１０％（５度）以内であるのに対して、第３の進入角度θ３と第１の進入角度θ１又は第２の進入角度θ２との誤差は進入角度の大きい方の第３の進入角度θ３の１０％（６度）を超えているため、第１の進入角度θ１と第２の進入角度θ２が進入角度θの算出根拠として採用され、第１の進入角度θ１と第２の進入角度θ２の平均値から、進入角度θは４７．５度に決定される。

また、仮に、第１の進入角度θ１が５０度、第２の進入角度θ２が４５度、第３の進入角度θ３が４０度であった場合、第１の進入角度θ１と第２の進入角度θ２との誤差が進入角度の大きい方の第１の進入角度θ１の１０％（５度）以内であるのに対して、第１の進入角度θ１と第３の進入角度θ３との誤差が進入角度の大きい方の第１の進入角度θ１の１０％（５度）を超えていると共に第２の進入角度θ２と第３の進入角度θ３との誤差が進入角度の大きい方の第２の進入角度θ２の１０％（４．５度）を超えているため、第１の進入角度θ１と第２の進入角度θ２が進入角度θの算出根拠として採用され、第１の進入角度θ１と第２の進入角度θ２の平均値から、進入角度θは４７．５度に決定される。

再び図２を参照すると、ステップＳ８において、画像切り出し部２５は、前記ステップＳ７において決定された進入角度θに基づき画像の切り出し角度を算出し、左側前部カメラ１１及び右側前部カメラ１２が撮像した車両１０の左右側方の画像ＬＰ，ＲＰから画像ＬＰ１，ＲＰ１をそれぞれ切り出す。

一方、ステップＳ９では、画像切り出し部２５は、左側前部カメラ１１及び右側前部カメラ１２が撮像した車両１０の左右側方の画像ＬＰ，ＲＰから該画像ＬＰ，ＲＰ同士が重なり合う部分ＬＲＰを削除した画像ＬＰ２，ＲＰ２をそれぞれ切り出す。

その後、画像切り出し部２５は、ステップＳ１０において前記切り出した画像ＬＰ１，ＲＰ１又はＬＰ２，ＲＰ２の歪み補正を行った上、ステップＳ１１においてモニター画面３０上にそれらの画像を出力する。

上記したように、本発明の実施の形態に係る車両側方画像出力装置によれば、第１〜第３の進入角度算出部２１，２２，２３により算出された３つの進入角度θ１，θ２，θ３を比較した上で、道路５０に対する車両１０の進入角度を決定しているため、道路５０上に白線がない場合や白線が不明瞭である場合、或いは、夜間のため白線の表示が視認し難い場合、或いは、車両１０が進入しようとする道路がコーナー部である場合、道路５０上に他の車両５３，５４が走行していない場合等であっても、車両１０の進入角度を正確に算出することができる。また、カーナビゲーション１５のＧＰＳや地図情報に誤差が生じたり、或いは、ビルやトンネルの出口等でＧＰＳの電波が正確に届かなかったりした場合や、或いは、駐車場等の走行車線のない場所から道路５０に車両１０を進入させる場合や、道路５０に対して斜めに車両１０を進入させる場合等であっても、車両１０の正確な進入角度を算出することができる。したがって、道路５０に対して車両１０が進入する際に、道路５０や車両１０が例えどのような状況にあったとしても、左右側方の適切な画像（例えば、図３の左右の一点鎖線の楕円で囲む人や自転車や他の車両等を含む画像）をモニター画面３０に出力することができ、装置の信頼性を高めることができると共に、車両の運転者及びその周りの他の車両や歩行者等の安全性を高めることができる。

なお、上記した本発明の実施の形態の説明は、本発明における好適な実施の形態を説明しているため、技術的に好ましい種々の限定を付している場合もあるが、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。すなわち、上記した本発明の実施の形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、かつ、他の既存の構成要素との組合せを含む様々なバリエーションが可能であり、上記した本発明の実施の形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

１０ 車両
１１ 左側前部カメラ（撮像手段）
１２ 右側前部カメラ（撮像手段）
２１ 第１の進入角度算出部（第１の進入角度算出手段）
２２ 第２の進入角度算出部（第２の進入角度算出手段）
２３ 第３の進入角度算出部（第３の進入角度算出手段）
２４ 進入角度比較部（進入角度比較手段）
２５ 画像切り出し部（画像切り出し手段）

Claims (2)

1. 道路に対する車両の進入角度に対応させて該車両の側方画像を出力する車両側方画像出力装置であって、
   車両の左右前部に取り付けられ、該車両の左右側方を所定の画角でそれぞれ撮像する左右の撮像手段と、
   該左右の撮像手段がそれぞれ撮像した前記車両の左右側方の画像から導き出された前記道路の消失点に基づき前記車両の進入角度を算出する第１の進入角度算出手段と、
   前記左右の撮像手段がそれぞれ撮像した前記車両の左右側方の画像からオプティカルフローにより導き出された前記道路を走行する他の車両の走行方向に基づき前記車両の進入角度を算出する第２の進入角度算出手段と、
   前記左右の撮像手段がそれぞれ撮像した前記車両の左右側方の画像からカーナビゲーション情報に基づき前記車両の進入角度を算出する第３の進入角度算出手段と、
   前記第１〜第３の進入角度算出手段がそれぞれ算出した３つの進入角度を比較し、該３つの進入角度のうち少なくとも２つの進入角度の誤差が所定範囲内にあるか否かを判断する進入角度比較手段と、
   該進入角度比較手段が、前記３つの進入角度のうちの少なくとも２つの進入角度の誤差が所定範囲内にあると判断した場合には、該少なくとも２つの進入角度に基づき前記撮像手段がそれぞれ撮像した前記車両の左右側方の画像から出力画像を切り出す画像切り出し手段と、
   を備えていることを特徴とする車両側方画像出力装置。
2. 前記進入角度比較手段が、前記３つの進入角度のうちのいずれの進入角度の誤差も所定範囲内にないと判定した場合には、前記画像切り出し手段は、前記左右の撮像手段がそれぞれ撮像した前記車両の左右側方の画像から該左右側方の画像同士が重なり合う部分を削除して出力画像を切り出すことを特徴とする請求項１に記載の車両側方画像出力装置。