JP2015106777A - 画像処理装置並びに運転支援装置およびナビゲーション装置およびカメラ装置 - Google Patents

Abstract

【課題】表示装置の画面に映し出される画像の視認性を高めることができる画像処理装置を提供する。
【解決手段】画像処理装置２４は、車載カメラ１６で撮像される画像を特定する撮像信号に基づき、表示装置１５の画面に表示される画像を特定する画像表示信号を生成する生成部２５と、地面に対して車両の姿勢変化を示す姿勢情報信号に応じて撮像信号の画像に座標変換を施す処理部２６とを備える。地面に対して車両の姿勢が変化しても、被写体の傾きは修正される。
【選択図】図２

Description

本発明は画像処理装置に関する。

特許文献１は車載カメラのキャリブレーション装置を開示する。車載カメラは車両に固定される。車載カメラで校正板が撮像される。校正板には校正パターンが描かれる。校正パターンの画像に基づき車載カメラの位置や姿勢は特定される。位置や姿勢に応じて車載カメラの校正パラメータは特定される。校正パラメータに従って画像内で被写体のずれは修正される。こうして車載カメラのキャリブレーションは実施される。

特開２０１０−１０３７３０号公報 特開２００１−３２８４８４号公報

一度決められた校正パラメータは固定される。その車載カメラに対して変更されることはない。ここで、車両が配置される地面に対して車両が傾くと、車載カメラは同様に傾く。車載カメラで撮像された画像内で被写体は傾く。その一方で、車両は車が配置される地面に平行にしか動くことはできない。その結果、実際の車両の動きと画面内の被写体の動きとの間に方向のずれが生まれる。動きの向きが一致しない。運転手は車両の動きと画面内の被写体の動きとを良好に結び付けることができない。被写体の視認性は低下してしまう。

本発明のいくつかの態様によれば、表示装置の画面に映し出される画像の視認性を高めることができる画像処理装置を提供する。

本発明の一態様は、車載カメラで撮像される車外の画像を特定する撮像信号に基づき、表示装置の画面に表示される画像を特定する画像表示信号を生成する生成部と、車両が配置される地面に対して車両の姿勢変化を示す姿勢情報信号に応じて前記撮像信号の画像に座標変換を施す処理部とを備える画像処理装置に関する。

車載カメラは車両に固定される。車両が配置される地面に対して車両の姿勢が変化すると、地面に対して車載カメラの姿勢は同様に変化する。したがって、車載カメラで撮像された画像内で被写体は傾く。このとき、画像に座標変換が施されると、被写体の傾きは修正されることができる。その結果、表示装置の画面には車両が配置される地面に対して傾くことなく真っ直ぐな被写体に基づき画像は映し出される。画像の視認性は確実に高まる。運転手は車両の動きと画面内の被写体の動きとを良好に結び付けることができる。

前記座標変換は、前記車両に設定される直交三軸座標系の軸回りで角度を変換することができる。こうして角度変換は確実に実現される。

画像処理装置は記憶部をさらに備え、前記生成部は、前記画像表示信号の生成にあたって前記記憶部に記憶されている処理パラメータを用いて前記撮像信号に画像処理を施すことができ、前記処理部は、前記姿勢情報信号に応じて前記処理パラメータを変更することができる。こうして角度変換は確実に実現される。

前記画像処理は俯瞰変換であることができる。撮像信号の画像では被写体の傾きは修正されることから、俯瞰変換後の画像では車両が配置される地面に対して垂直方向の視線で被写体は映し出されることができる。

以上のような画像処理装置は運転支援装置に組み込まれることができる。このとき、運転支援装置は画像処理装置を備える。こうした運転支援装置は例えば車両に搭載されて利用されることができる。

その他、以上のような画像処理装置はナビゲーション装置に組み込まれることができる。このとき、ナビゲーション装置は画像処理装置を備える。こうしたナビゲーション装置は例えば車両に搭載されて利用されることができる。

その他、以上のような画像処理装置はカメラ装置に組み込まれることができる。このとき、カメラ装置はデータ変換装置を備える。こうしたカメラ装置は車両に搭載されて利用されることができる。

以上のように開示の装置によれば、表示装置の画面に映し出される画像の視認性は高まる。

一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。 運転支援装置の構成を概略的に示すブロック図である。 ディスプレイパネルの画面に表示される画像の一具体例を示す図である。 カメラ装置で撮像される画像の一具体例を示す図である。 カメラ装置で撮像される画像の他の具体例を示す図である。 カメラ装置で撮像される画像のさらに他の具体例を示す図である。 ディスプレイパネルの画面に表示される画像の他の具体例を示す図である。 カメラ装置で撮像される画像のさらに他の具体例を示す図である。 ディスプレイパネルの画面に表示される画像のさらに他の具体例を示す図である。 カメラ装置で撮像される画像のさらに他の具体例を示す図である。 他の実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。

図１は一実施形態に係る自動車１１を概略的に示す。自動車１１の車両１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル（表示装置）１５を有する。ディスプレイパネル１５は例えば車両１２のダッシュボードに組み込まれることができる。ディスプレイパネル１５の表示画面には地図その他の情報が表示されることができる。

運転支援装置１３はカメラ装置１６を備える。カメラ装置１６は例えば車両１２の後部に設置される。カメラ装置１６は例えば車両１２のリアバンパーの上方に取り付けられる。カメラ装置１６の光軸１７は例えば水平面に対して所定の角度に設定される。光軸１７は、車両１２から後方に離れるにつれて車両１２が置かれている地面に近づくように傾斜する。カメラ装置１６は車両１２後方の被写体を撮像する。ここでは、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。

カメラ装置１６は撮像画像に基づき表示画像の画像信号（以下「表示用画像信号」という）を生成する。表示用画像信号は車両１２後方に関してカメラ視点の画像や車両１２が配置される地面の俯瞰画像を特定する。画像や俯瞰画像は任意に切り替えられればよい。カメラ装置１６はナビゲーション装置１４に接続される。ナビゲーション装置１４にはカメラ装置１６から表示用画像信号が供給される。ディスプレイパネル１５の表示画面には表示用画像信号に基づき車両１２後方の映像が表示されることができる。この運転支援装置１３では、例えば駐車場で駐車スペースに後進で進入する際に運転手は車両１２の後方の様子を確認することができる。こうして運転支援装置１３は運転手の後方確認を支援することができる。車両１２はドア１８を備える。ドア１８は乗員の乗降に開閉される。

図２に示されるように、カメラ装置１６は魚眼レンズ２１を備える。魚眼レンズ２１は、例えば光軸１７に直交する赤道面を有する半球面で被写体の入射面を規定する。その結果、被写体から反射する光は、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。画像では円の中心から外側に遠ざかるにつれて被写体は縮小する。

カメラ装置１６は撮像素子２２を備える。撮像素子２２は、魚眼レンズ２１から投影される被写体の画像を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。

カメラ装置１６は画像処理部２３を備える。画像処理部２３は撮像素子２２に電気的に接続される。画像処理部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。画像処理部２３はデジタルの撮像信号すなわち撮像データを出力する。撮像データは画素ごとに画像情報を特定する。

カメラ装置１６には画像処理装置２４が組み込まれる。画像処理装置２４は画像処理部２３から撮像データを受信する。画像処理装置２４は表示画像生成部２５および処理部２６を備える。表示画像生成部２５は、撮像データに基づき、ディスプレイパネル１５の画面に表示される画像を特定する画像表示信号を生成する。表示画像生成部２５は画像表示信号の生成にあたって処理パラメータを用いて撮像データに俯瞰変換を施す。処理パラメータは例えば記憶部２７から取得されればよい。このとき記憶部２７には固定の処理パラメータが複数予め記憶されていてもよいし、車両１２が配置される地面に対して車両１２の姿勢変化を示す姿勢情報信号に応じて処理部２６で演算された処理パラメータを記憶してもよい。記憶部２７では撮像データの個々の画素ごとに画面上の座標値が指定される。俯瞰変換により俯瞰画像は生成される。

処理部２６は姿勢情報信号に応じて前記撮像信号の画像に座標変換を施す。処理部２６は姿勢情報信号に応じて処理パラメータを変更する。変更分によれば画面内で車両１２が配置される地面に対して被写体の傾きは解消される。処理パラメータは車両１２の姿勢に応じて変更される。記憶部２７には傾きの角度ごとに１対１で処理パラメータを記憶させておいてもよいし、姿勢に応じて処理パラメータを処理部２６で演算させてもよい。

処理部２６には個々の車輪（右前輪ＦＲ、左前輪ＦＬ、右後輪ＲＲ、左後輪ＲＬ）ごとに設けられた検出センサ２８が接続される。個々の検出センサ２８の信号線はコネクタ２９に接続される。検出センサ２８は対応の車輪ＦＲ、ＦＬ、ＲＲ、ＲＬに取り付けられるサスペンション３１の沈み量を検出する。車輪ＦＲ、ＦＬ、ＲＲ、ＲＬごとの沈み量に応じて車両１２の姿勢は姿勢情報信号として出力される。ここでは、例えば車両１２単体の重心に直交三軸座標系の原点が当てはめられる。直交三軸座標系の１軸（例えばｚ軸）は車両１２が配置される地面に平行に車両１２の前後方向を規定し、１軸（例えばｘ軸）は車両１２が配置される地面に平行に車両１２の車幅方向を規定し、１軸（例えばｙ軸）は車両１２が配置される地面に直交する方向を規定する。車両１２の姿勢は例えば直交三軸座標系の各軸回りの回転角で特定される。処理パラメータはこれら回転角を打ち消す値に設定される。

処理部２６にはロックセンサ３２が接続される。ロックセンサ３２の信号線はコネクタ３３に接続される。ロックセンサ３２はドアロック３４の操作を検出する。ドアロック３４の施錠や解錠は例えば無線や光通信を通じて電気的に実現される。ドアロック３４は解錠の動作を検出すると検出信号を出力する。処理部２６は検出信号の受信に応じて検出センサ２８の初期値を取得する。自動車１１のエンジンが停止し、キーが抜かれ所定時間（例えば１０分）以上経過した以降に、ドアロック３４が解除されたときには、自動車１１にはだれも乗車していないと推定されることから、車両１２の姿勢は基準姿勢に相当する。検出センサ２８の出力によれば、基準姿勢からの車両１２の姿勢変化は特定されることができる。

ナビゲーション装置１４は演算処理部３６を備える。演算処理部３６は画像処理装置２４に電気的に接続される。演算処理部３６は例えばＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部３６はソフトウェアで実行される処理に従ってカメラ装置１６から画像処理装置２４により座標変換された後の画像情報を取得することができる。演算処理部３６はナビゲーション装置１４のナビゲーション動作と運転支援動作とを切り替えることができる。例えば自動車１１のギアがバックに入れられると、演算処理部３６はナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替えることができる。

ディスプレイパネル１５は演算処理部３６に電気的に接続される。ディスプレイパネル１５には演算処理部３６から画像情報が供給される。供給される画像情報に応じてディスプレイパネル１５の表示画面には地図や車両１２後方の映像が映し出されることができる。

次に運転支援装置１３の動作を間単に説明する。自動車１１に乗員等が乗り込み、ドア１８が閉じられ、エンジンが始動されると、検出センサ２８は沈み量の初期値を特定する。処理部２６は初期値からの乖離量に基づき車両１２の傾きを検出する。処理部２６は車両１２に設定される三次元座標系の軸回りでそれぞれ回転角を算出する。処理部２６は算出された回転角を打ち消す形で処理パラメータを特定する。処理部２６は回転角の変化に応じて処理パラメータを変更する。

いま、例えば後部座席に乗員が乗車し車両１２の後方が沈む場合を想定する。このとき、処理部２６はｘ軸回りで車両１２の傾き（チルト角）を検出し姿勢情報信号として出力する。出力された姿勢情報信号に応じて処理パラメータは変更される。ここで、自動車１１のギアがバックギアに入れられると、演算処理部３６はナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替える。記憶部２７に格納されている処理パラメータと姿勢情信号とに基づき俯瞰画像ではカメラ視線の傾きは修正される。修正は、記憶部２７に多数の処理パラメータを格納しておき、姿勢制御信号に基づき処理部２６で選択する形でもよいし、予め初期値として記憶部２７に格納されている処理パラメータに、姿勢情報信号を基に処理部２６で演算された値を加減算する形でもよい。図３に示されるように、ディスプレイパネル１５の画面には車両１２が配置される地面に対して傾くことなく真っ直ぐなカメラ視線に基づき俯瞰画像は映し出される。画像の視認性は高まる。したがって、運転手は車両１２の動きと画面内の被写体の動きとを良好に結び付けることができる。運転手は車両１２と駐車線との平行度を容易く確認することができる。運転手は良好にバックから駐車スペース内で規定の位置に自動車１１を止めることができる。その一方で、カメラ装置１６で撮像される画像では、カメラ装置１６の光軸１７は下向きに傾くことから、図４に示されるように、被写体の範囲が狭まると同時にｙ軸に平行な直線は車両１２から遠ざかるにつれて相互に離れるように傾斜する。こうした画像がそのままディスプレイパネル１５の画面に映し出されると、車両１２と駐車線との平行度を確認することは難しい。バックで駐車スペース内の規定の位置に向かって進むことは難しい。駐車動作の支援に支障を来す。

例えば自動車１１の助手席側に前後の座席で多人数が乗り込むと、処理部２６はｚ軸回りで車両１２の傾き（ロール角）を姿勢情報信号として出力する。出力された姿勢情報信号に応じて処理パラメータは変更される。記憶部２７の処理パラメータに基づき俯瞰画像ではカメラ視線の傾きは修正される。前述と同様に、ディスプレイパネル１５の画面には車両１２が配置される地面に対して傾くことなく真っ直ぐなカメラ視線に基づき俯瞰画像は映し出される。その一方で、カメラ装置１６で撮像される画像では、図５に示されるように、画面の左右で被写体の遠近が描写される。こうした画像がそのままディスプレイパネル１５の画面に映し出されると、運転手は操舵の操作と画面内の被写体の動きとを関連づけることが難しい。バックで駐車スペース内の規定の位置に向かって進むことは難しい。駐車動作の支援に支障を来す。

その他、乗員の乗車位置やサスペンション３１の設定に応じて、処理部２６はｙ軸回りで車両１２の傾き（パン角）を姿勢情報信号として出力する。出力された姿勢情報信号に応じて処理パラメータは変更される。記憶部２７の処理パラメータに基づき俯瞰画像ではカメラ視線の傾きは修正される。前述と同様に、ディスプレイパネル１５の画面には車両１２が配置される地面に対して傾くことなく真っ直ぐなカメラ視線に基づき俯瞰画像は映し出される。その一方で、カメラ装置１６で撮像される画像では、図６に示されるように、車両１２の直進方向は左右の中心線から傾いて描写される。こうした画像がそのままディスプレイパネル１５の画面に映し出されると、運転手は操舵の操作と画面内の被写体の動きとを関連づけることが難しい。バックで駐車スペース内の規定の位置に向かって進むことは難しい。駐車動作の支援に支障を来す。

表示画像生成部２５は前述の俯瞰変換に代えてガイド線重畳処理を実施してもよい。図７に示されるように、ガイド線（図中の点線）３８は画面内で地平線に平行に描かれる。ガイド線３８は車両１２が配置される地面の特定の位置を示す。図７では実際の駐車スペースでガイド線３８に対応する位置に白テープ３９が貼られる。白テープ３９は被写体の一部として撮像される。処理部２６は前述と同様に車両１２が配置される地面に対して車両１２の姿勢変化を検出する。検出された傾きに応じて処理パラメータは変更される。記憶部２７の処理パラメータに基づき画像では車両１２が配置される地面の傾きは修正される。ディスプレイパネル１５の画面には地面に対して傾くことなく真っ直ぐなカメラ視線で遠近画像は映し出される。その一方で、カメラ装置１６で撮像される画像では、図８に示されるように、画面の水平線に対して車両１２が配置される地面は傾いて描写される。ガイド線３８は車両１２が配置される地面の水平方向に重なることができない。こうした画像がそのままディスプレイパネル１５の画面に映し出されると、運転手は操舵の操作と画面内の被写体の動きとを関連づけることが難しい。バックで駐車スペース内の規定の位置に向かって進むことは難しい。駐車動作の支援に支障を来す。

表示画像生成部２５では前述の俯瞰変換に代えて画像は水平なカメラ視線の画像に変換されてもよい。魚眼レンズ２１で撮像される撮像画像では光軸１７から画面の縁に向かって遠ざかるにつれて被写体は拡大する。その結果、実空間の水平面に直交する被写体の直線形状や、光軸１７を含む鉛直平面に直交する被写体の直線形状は損なわれ、直線形状は湾曲する。特に、光軸１７が下向きに傾く場合には、車両１２が配置される地面が湾曲したり道路脇の建物が傾いたり被写体は不自然に描写される。図９に示されるように、画面の下縁から地平線の中央位置に向かって直進性が維持されつつ、同時に画面の垂直方向に被写体の直線形状が維持されると、水平なカメラ視線の画像は得られる。こうした変換にあたって処理部２６は前述と同様に車両１２が配置される地面に対して車両１２の姿勢変化を検出する。検出された傾きに応じて処理パラメータは変更される。記憶部２７の処理パラメータに基づき画像では地面の傾きは修正される。ディスプレイパネル１５の画面には車両１２が配置される地面に対して傾くことなく真っ直ぐなカメラ視線で遠近画像は映し出される。その一方で、カメラ装置１６で撮像される画像では、図１０に示されるように、画面の水平線に対して車両１２が配置される地面は傾いて描写される。同様に、水平線に直交する垂直線は傾いて描写される。こうした画像がそのままディスプレイパネル１５の画面に映し出されると、運転手は操舵の操作と画面内の被写体の動きとを関連づけることが難しい。バックで駐車スペース内の規定の位置に向かって進むことは難しい。駐車動作の支援に支障を来す。

図１１に示されるように、カメラ装置１６は車両１２前方の被写体を撮像してもよい。こうした撮像画像は例えば自動車１１の自動運転やブレーキ支援システムなどに利用されることができる。例えば画像認識技術に基づき車両１２前方の環境は把握されることができる。カメラ装置１６は車両１２の前後に搭載されてもよい。

なお、カメラ装置１６のレンズは必ずしも前述のように魚眼レンズ２１である必要はなく中心射影方式のレンズが用いられてもよい。また、車両１２の傾きを検出する検出センサ２８には座席に組み込まれる重量センサが用いられることができる。例えばシートベルト着用の警告信号に用いられる座席センサが車両１２の傾きの検出に利用されれば、運転支援装置１３の実現にあたってコストは低減されることができる。その他、検出センサ２８の初期値は、エンジン停止時のドアロック３４の解錠に応じて特定される必要はなく、予め個々の検出センサ２８ごとに絶対値として処理部２６に保存されてもよい。また、画像処理装置２４は、前述のようにカメラ装置１６に組み込まれることができるだけでなく、カメラ装置１６とは別に構成されてもよく、ナビゲーション装置１４に組み込まれてもよい。

１２ 車両、１３ 運転支援装置、１４ ナビゲーション装置、１５ 表示装置（ディスプレイパネル）、１６ 車載カメラ（カメラ装置）、２４ 画像処理装置、２５ 表示画像生成部、２６ 処理部。

Claims (7)

1. 車載カメラで撮像される車外の画像を特定する撮像信号に基づき、表示装置の画面に表示される画像を特定する画像表示信号を生成する生成部と、
   車が配置される地面に対して車両の姿勢変化を示す姿勢情報信号に応じて前記撮像信号の画像に座標変換を施す処理部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記座標変換は、前記車両に設定される直交三軸座標系の軸回りで角度を変換することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、処理パラメータを記憶する記憶部をさらに備え、前記生成部は、前記画像表示信号の生成にあたって前記記憶部に記憶されている処理パラメータを用いて前記撮像信号に画像処理を施す機能を有し、前記処理部は、該処理部に入力された前記姿勢情報信号に応じて前記処理パラメータを変更する機能を有することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、前記画像処理は俯瞰変換であることを特徴とする画像処理装置。
5. 請求項１〜４のいずれか１項に記載の画像処理装置を備えることを特徴とする運転支援装置。
6. 請求項１〜４のいずれか１項に記載の画像処理装置を備えることを特徴とするナビゲーション装置。
7. 請求項１〜４のいずれか１項に記載の画像処理装置を備えることを特徴とするカメラ装置。