JP2007158639A - 車両運転支援装置 - Google Patents

Abstract

【課題】カメラやレンズを交換した後に少ない手間で歪みのない画像を得ることができる「車両運転支援装置」を提供すること。
【解決手段】魚眼レンズを通して車両周辺を撮影するカメラ１０ａ等と、撮影された画像データを格納する撮影画像格納部１２ａ等と、ＶＲＡＭ２３と、撮影画像格納部１２ａ等から画像データを読み出す際の読み出しアドレスとこの読み出した画像データをＶＲＡＭ２３に格納する際の書込みアドレスとの関係を示すマッピングテーブルが格納されたマッピングテーブル格納部３２、３６と、マッピングテーブルに基づいて画像データをＶＲＡＭ２３に書き込むトップビュー画像変換部２０と、カメラ１０ａ等を用いて撮影された画像に対して設定された基準位置に基づいてマッピングテーブルの内容を補正するマッピングテーブル変換部３４とが備わっている。
【選択図】図１

Description

本発明は、魚眼レンズが取り付けられたカメラを用いて車両周辺を撮影して画面に表示することにより車両の運転を支援する車両運転支援装置に関する。

従来から、魚眼レンズが取り付けられたカメラを用いて撮影した歪曲画像を補整して正常な画像を得るようにした装置が知られている（例えば、特許文献１参照。）。この装置では、魚眼レンズを通して撮影された画像データを画像メモリに格納しておいて、ルックアップテーブルで変換されたアドレスを用いてこの画像データを読み出すことにより、歪曲した画像を正常な画像に変換する処理が行われる。
特表平１１−５１０３４１号公報（第６−１７頁、図１−８）

ところで、上述した特許文献１に開示された装置では、歪曲した画像のアドレスと補正後の画像のアドレスとの対応付けをルックアップテーブルで行っているが、この対応付けは魚眼レンズの取り付け位置がずれると変わってしまうため、カメラ全体あるいは魚眼レンズを交換すると歪みを除去した正しい画像が得られなくなるおそれがあるという問題があった。このような不都合を回避するためには、ルックアップルテーブルが格納されたメモリを交換する必要があり、カメラやレンズを交換する際に多大な手間がかかるという問題があった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラやレンズを交換した後に少ない手間で歪みのない画像を得ることができる車両運転支援装置を提供することにある。

上述した課題を解決するために、本発明の車両運転支援装置は、広角レンズを通して車両周辺を撮影するカメラと、カメラによる撮影によって得られた画像データを格納する撮影画像格納手段と、格納アドレスが表示画面上の表示位置に対応した表示用メモリと、撮影画像格納手段から画像データを読み出す際の読み出しアドレスとこの読み出した画像データを表示用メモリに格納する際の書込みアドレスとの関係を示すアドレス変換情報が格納されたアドレス変換情報格納手段と、アドレス変換情報に基づいて撮影画像格納手段から読み出した画像データを表示用メモリに書き込む画像データ読み書き手段と、カメラを用いて撮影された画像に対して相対位置が設定された基準位置を判定し、この基準位置に基づいてアドレス変換情報の内容を補正する補正手段とを備えている。カメラやこれに装着された広角レンズを交換すると、取り付け位置の変更に伴う撮影位置のずれが発生するが、この撮影位置のずれ量を算出して、このずれ量に応じてアドレス変換情報の内容変更を行えばよいため、アドレス変更情報が格納されたメモリ等の全体を交換する必要がなく、カメラや広角レンズを交換する際に少ない手間で歪みのない画像を得ることができるようになる。

また、上述した補正手段は、広角レンズを通した撮影によって得られた円形の画像に対してその円心を基準位置として判定することが望ましい。魚眼レンズ等の広角レンズを用いることにより円形の画像が得られるが、円形の画像に対してその円心を求めることは容易であり、しかも、円心は円形画像に対して一意に決まるため、正確に基準位置のずれ量を判定することができる。

また、上述した補正手段は、カメラの所定位置に広角レンズが取り付けられた場合の基準位置に対して、カメラに実際に広角レンズが取り付けられた場合の基準位置のずれ量を算出し、アドレス変換情報に含まれる撮影画像格納手段から画像データを読み出すアドレスをこのずれ量分ずらす補正を行うことが望ましい。読み出しアドレスをずれ量分だけずらす処理は、単純な減算（あるいは加算）によって実現可能であり、補正処理に要する負担を軽減することができ、安価なＣＰＵ等の処理装置を用いることが可能となる。

また、上述した補正手段による補正は、カメラの設置時、交換後あるいはカメラに装着された広角レンズの交換後に行われることが望ましい。各車両に車両運転支援装置を搭載後やカメラ等の交換後に１回だけ補正処理を実施すればよいため、その後の運用に支障をきたすことを回避することができる。

以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示す車両運転支援装置１００は、カメラ１０ａ〜１０ｄ、撮影画像格納部１２ａ〜１２ｄ、トップビュー画像変換部２０、表示処理部２２、表示装置２４、カメラ特性判定部３０、マッピングテーブル格納部３２、３６、マッピングテーブル変換部３４を含んで構成されている。

カメラ１０ａ〜１０ｄは、自車両の周囲を広角レンズとしての魚眼レンズを通して撮影する。図２は、４台のカメラ１０ａ〜１０ｄの設置位置を示す図である。自車両である車両２００の右側のドアミラーにカメラ１０ａが設置されている。また、左側のドアミラーにカメラ１０ｂが設置されている。後部のトランクドアにカメラ１０ｃが設置されている。前部のバンパー近傍にカメラ１０ｄが設置されている。これらのカメラ１０ａ〜１０ｄのそれぞれは、１８０度の視野角を有する魚眼レンズを通して車両２００の周辺を撮影する。これらのカメラ１０ａ〜１０ｄによって、車両２００に対して地面を含む水平方向のサイドビュー画像が得られる。カメラ１０ａ〜１０ｄのそれぞれから出力されるサイドビュー画像データは、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納される。

トップビュー画像変換部２０は、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納されたサイドビュー画像に基づいてトップビュー画像を生成するための視点変換処理を行う。具体的には、魚眼レンズを通して撮影されたサイドビュー画像は歪曲しているため、この歪曲した画像を構成する各画素毎のデータを読み出して、歪曲を取り除いた後のトップビュー画像を構成する座標位置（アドレス）に各画素のデータを書き込むことにより、視点変換処理が行われる。すなわち、各画素毎のデータを読み出すアドレスと書き込むアドレスを変更することによってトップビュー画像の生成が行われており、このアドレスの変換がアドレス変換情報としてのマッピングテーブルを用いて行われる。マッピングテーブルについては後述する。トップビュー画像変換部２０は、撮影画像格納部１２ａ〜１２ｄのそれぞれから読み出した各画素毎のデータを表示処理部２２内のＶＲＡＭ（ビデオＲＡＭ）２３に書き込む。ＶＲＡＭ２３は、表示用のメモリであり、格納位置と表示位置とが対応付けられている。本実施形態では、車両周辺の画像を表示対象としているため、カメラ１０ａによって撮影されたサイドビュー画像に基づいて生成されたトップビュー画像が表示画面の右側に、カメラ１０ｂによって撮影されたサイドビュー画像に基づいて生成されたトップビュー画像が表示画面の左側に、カメラ１０ｃによって撮影されたサイドビュー画像に基づいて生成されたトップビュー画像が表示画面の下側に、カメラ１０ｄによって撮影されたサイドビュー画像に基づいて生成されたトップビュー画像が表示画面の上側にそれぞれ配置されるようにＶＲＡＭ２３に対する書き込みが行われる。

表示処理部２２は、ＶＲＡＭ２３に格納されたトップビュー画像データを読み出して、所定形式の映像信号（例えばＮＴＳＣ方式の映像信号）に変換する。この映像信号は表示装置２４に向けて出力され、その画面上にトップビュー画像が表示される。表示装置２４は、例えば液晶表示装置（ＬＣＤ）を用いて構成されており、運転者が容易に目視可能な車室内位置に設置されている。

カメラ特性判定部３０は、カメラ１０ａ〜１０ｄのそれぞれの撮影範囲をカメラ特性として判定する。具体的には、カメラ特性判定部３０は、カメラ１０ａ〜１０ｄのそれぞれに取り付けられた魚眼レンズの取り付け位置をカメラ特性として判定する。図３は、魚眼レンズの取り付け位置の説明図である。図３において、矩形枠Ａはカメラ１０ａに備わったＣＣＤ（電荷結合素子）等の撮像素子に対応する領域であり、本実施形態では魚眼レンズを通した被写体が撮影されるため、その中で円Ｂに含まれる領域のみが有効な撮影範囲となる。また、この矩形枠Ａに対する円Ｂの相対的な位置は、魚眼レンズの取り付け位置によって若干ずれるため、カメラ１０ａ〜１０ｄのそれぞれ毎に、あるいは、魚眼レンズを交換した場合には各魚眼レンズ毎に固有の値となる。カメラ特性判定部３０は、図３に示す円Ｂの中心Ｏの座標（ｘ０，ｙ０）を魚眼レンズの取り付け位置として判定する。この取り付け位置の判定は、カメラ１０ａ〜１０ｄのそれぞれについて行われる。本実施形態では、円Ｂの中心Ｏが、カメラ１０ａ等によって魚眼レンズを通して撮影された円形の画像に対して相対位置が設定された基準位置として扱われている。

マッピングテーブル格納部３２は、魚眼レンズが設計値通りに理想的な位置に取り付けられている場合に、撮影画像格納部１２ａからアドレスを指定して読み出した画像データをＶＲＡＭ２３のどのアドレスに書込むかを示すマッピングテーブルを格納する。図４は、マッピングテーブルの説明図であり、カメラ１０ａに関する内容が示されている。図４に示すように、カメラ１０ａによって撮影された画像は矩形枠Ａで格納アドレスが示された撮影画像格納部１２ａに格納される。このカメラ１０ａは、車両の右側面を撮影するものであるため、ＶＲＡＭ２３では矩形枠Ｃで示される表示範囲の右側領域Ｄに対応している。このように、魚眼レンズを通して撮影されて撮影画像格納部１２ａに格納された画像データは、ＶＲＡＭ２３内の一部の領域に対応しており、しかも撮影画像格納部１２ａから画像データを読み出してＶＲＡＭ２３に格納する際に読み書きアドレスの関係を調整することにより（例えばＰ１に対応する読み出しアドレスとＱ１に対応する書込みアドレスを対応させるとともに、Ｐ２に対応する読み出しアドレスとＱ２に対応する書込みアドレスを対応させるように各座標位置に対応する画像データの読み書きアドレスを対応させる）、魚眼レンズを通して得られた歪曲した画像データを歪曲のない画像データに変換することができ、この読み書きアドレスの関係を示したものがマッピングテーブルである。マッピングテーブル格納部３２には、この設計値に対応したマッピングテーブル、すなわち、図４に示すように撮影画像格納部１２ａに対応する矩形枠Ａの中心と魚眼レンズに対応する円Ｂの中心Ｏとが一致する場合を想定して作成されたマッピングテーブルが格納されている。

しかし、実際には、カメラ毎に魚眼レンズの取り付け位置が設計値からずれるため、マッピングテーブル格納部３２に格納されたマッピングテーブルを用いると、この取り付け位置のずれに伴って歪みが生じる。マッピングテーブル変換部３４は、魚眼レンズの取り付け位置のずれによる歪みを除去するために、マッピングテーブル格納部３２に格納されたマッピングテーブルの内容を補正する処理を行って、魚眼レンズの取り付け位置を考慮したマッピングテーブルを作成する。この補正後のマッピングテーブルは、マッピングテーブル格納部３６に格納される。

図５は、マッピングテーブル変換部３４によるマッピングテーブルの補正処理の概要を示す図である。図５において、円Ｂが理想的な取り付けがなされた魚眼レンズを通して撮影された範囲を示しており、円Ｂ’が実際に取り付けられた魚眼レンズを通して撮影された範囲を示している。このように、実際の取り付け位置は、中心（円心）の座標で見ると水平方向にΔｘ、垂直方向にΔｙだけ設計値からずれている（Ｏ→Ｏ’）。これらの値Δｘ、Δｙは、カメラ特性判定部３０によって判定された魚眼レンズの取り付け位置に基づいて算出される。マッピングテーブル格納部３２は、マッピングテーブル格納部３２に格納されているマッピングテーブルに含まれる読み出しアドレスの値をこれらの値Δｘ、Δｙだけずらすことにより（実際には各読み出しアドレスの水平座標値からΔｘを、垂直座標値からΔｙを減算する）、補正後のマッピングテーブルを作成し、マッピングテーブル格納部３６に格納する。トップビュー画像変換部２０は、このようにして作成された補正後のマッピングテーブルを用いて視点変換処理を行ってトップビュー画像を生成する。

上述した撮影画像格納部１２ａ〜１２ｄが撮影画像格納手段に、ＶＲＡＭ２３が表示用メモリに、マッピングテーブル格納部３２がアドレス変換情報格納手段に、トップビュー画像変換部２０が画像データ読み書き手段に、マッピングテーブル変換部３４が補正手段にそれぞれ対応する。

本実施形態の車両運転支援装置はこのような構成を有しており、次にマッピングテーブルを補正する動作について説明する。マッピングテーブルの補正は、その必要が生じたとき、例えばカメラ１０ａ〜１０ｄのいずれかを交換したとき、あるいはカメラ１０ａ〜１０ｄのいずれかに装着された魚眼レンズを交換したときに行われる。

図６は、マッピングテーブルを補正する動作手順を示す流れ図である。カメラ特性判定部３０は、マッピングテーブル再設定指示がなされたか否かを判定しており（ステップ１００）、指示がなされるまで否定判断を行ってこの判定を繰り返す。カメラ１０ａ〜１０ｄあるいはこれらに装着された魚眼レンズが交換された後に、利用者によって操作部（図示せず）が操作されてマッピングテーブル再設定が指示されるとステップ１００の判定において肯定判断が行われる。なお、再設定指示では、どのカメラに対応したマッピングテーブルの再設定を行うかが指示される。例えば、カメラ１０ａが交換されたものとして以下の説明を行うものとする。

次に、カメラ特性判定部３０は、交換対象のカメラ１０ａに対応する撮影画像格納部１２ａから撮影画像を取り込み（ステップ１０１）、図５に示す撮影画像に対応する円Ｂ’の中心Ｏ’の座標を判定する（ステップ１０２）。

次に、マッピングテーブル変換部３４は、理想的な取り付けがなされた場合の円Ｂの中心Ｏに対して実際の取り付け位置に対応する円Ｂ’の中心Ｏ’のずれ量Δｘ、Δｙを算出し（ステップ１０３）、このずれ量Δｘ、Δｙを用いてマッピングテーブルの内容を補正する変換処理を行う（ステップ１０４）。このようにしてカメラあるいは魚眼レンズを交換した後にマッピングテーブルの補正が１回行われる。

このように、本実施形態の車両運転支援装置では、カメラ１０ａ〜１０ｄやこれに装着された魚眼レンズを交換すると、取り付け位置の変更に伴う撮影位置のずれが発生するが、この撮影位置のずれ量を算出して、このずれ量に応じてマッピングテーブル（アドレス変換情報）の内容変更を行えばよいため、マッピングテーブルが格納されたメモリ等の全体を交換する必要がなく、カメラ１０ａ〜１０ｄや魚眼レンズを交換する際に少ない手間で歪みのない画像を得ることができるようになる。特に、魚眼レンズを通した撮影によって得られた円形の画像に対してその円心を基準位置として判定している。魚眼レンズを用いることにより円形の画像が得られるが、円形の画像に対してその円心を求めることは容易であり、しかも、円心は円形画像に対して一意に決まるため、正確に基準位置のずれ量を判定することができる。

また、マッピングテーブルの内容補正は、カメラの交換等の後に実際に得られた円形画像の円心のずれ量を算出し、マッピングテーブルに含まれる読み出しアドレスをこのずれ量分だけずらすことにより行われている。読み出しアドレスをずれ量分だけずらす処理は、単純な減算（あるいは加算）によって実現可能であり、補正処理に要する負担を軽減することができ、安価なＣＰＵ等の処理装置を用いることが可能となる。

また、マッピングテーブルの補正は、カメラの設置時、交換後あるいはカメラに装着された広角レンズの交換後に行われている。各車両に車両運転支援装置を搭載後やカメラ等の交換後に１回だけ補正処理を実施すればよいため、その後の運用に支障をきたすことを回避することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、車両の周辺に４つのカメラ１０ａ〜１０ｄを設置する場合について説明したが、カメラの台数は１台あるいは４以外の複数台であってもよい。

また、上述した実施形態では、カメラ１０ａ〜１０ｄのそれぞれを通して得られる円形の画像の中心（円心）Ｏを基準位置に設定したが、この画像に対して相対的に決まる位置であれば中心以外を基準位置として設定してもよい。例えば、円形画像の円周と円心をとおる水平線との交点を基準位置に設定したり、円心から水平方向および垂直方向に所定距離隔たった位置を基準位置に設定したりしてもよい。

一実施形態の車両運転支援装置の構成を示す図である。 ４台のカメラの設置位置を示す図である。 魚眼レンズの取り付け位置の説明図である。 マッピングテーブルの説明図である。 マッピングテーブル変換部によるマッピングテーブルの補正処理の概要を示す図である。 マッピングテーブルを補正する動作手順を示す流れ図である。

符号の説明

１０ａ〜１０ｄ カメラ
１２ａ〜１２ｄ 撮影画像格納部
２０ トップビュー画像変換部
２２ 表示処理部
２３ ＶＲＡＭ
２４ 表示装置
３０ カメラ特性判定部
３２、３６ マッピングテーブル格納部
３４ マッピングテーブル変換部

Claims (4)

1. 広角レンズを通して車両周辺を撮影するカメラと、
   前記カメラによる撮影によって得られた画像データを格納する撮影画像格納手段と、
   格納アドレスが表示画面上の表示位置に対応した表示用メモリと、
   前記撮影画像格納手段から前記画像データを読み出す際の読み出しアドレスとこの読み出した画像データを前記表示用メモリに格納する際の書込みアドレスとの関係を示すアドレス変換情報が格納されたアドレス変換情報格納手段と、
   前記アドレス変換情報に基づいて前記撮影画像格納手段から読み出した前記画像データを前記表示用メモリに書き込む画像データ読み書き手段と、
   前記カメラを用いて撮影された画像に対して相対位置が設定された基準位置を判定し、この基準位置に基づいて前記アドレス変換情報の内容を補正する補正手段と、
   を備えることを特徴とする車両運転支援装置。
2. 請求項１において、
   前記補正手段は、前記広角レンズを通した撮影によって得られた円形の画像に対してその円心を基準位置として判定することを特徴とする車両運転支援装置。
3. 請求項１または２において、
   前記補正手段は、前記カメラの所定位置に前記広角レンズが取り付けられた場合の前記基準位置に対して、前記カメラに実際に前記広角レンズが取り付けられた場合の前記基準位置のずれ量を算出し、前記アドレス変換情報に含まれる前記撮影画像格納手段から画像データを読み出すアドレスをこのずれ量分ずらす補正を行うことを特徴とする車両運転支援装置。
4. 請求項１〜３のいずれかにおいて、
   前記補正手段による補正は、前記カメラの設置時、交換後あるいは前記カメラに装着された前記広角レンズの交換後に行われることを特徴とする車両運転支援装置。
   

Images