JP7423973B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

例えば、魚眼レンズを用いた車載用カメラで撮像された被写体の画像から湾曲収差を補正するように画像変換して出力する画像処理装置がある（例えば特許文献１）。

このような画像処理装置では、魚眼レンズの光軸に向かう直線状の被写体と、縦方向に直線の被写体とを出力画像内でほぼ直線状となるように入力画像全体を画像変換する。また、画像処理装置では、横方向に直線の被写体を、出力画像の中央部分、及び同中央部分と左右に連なる左側部分と右側部分とでほぼ直線状に、また、出力画像の中央部分と、左側部分及び右側部分との境目付近で屈曲するように入力画像全体を画像変換する。その結果、画像処理装置は利用者に違和感を与えない広角画像が見易い出力画像を提供している。

また、上記のような画像処理装置から出力された出力画像を入力とした表示装置において車両が進行する方向に進路線を重畳して表示する技術が知られている（例えば特許文献２）。

特開２００８－３１１８９０号公報 特開平１１－３３４４７０号公報

このような表示装置では一般的に進路線のデータに対し、魚眼レンズの湾曲収差や他の画像変換処理によって変形した画像に合致するように、進路線のデータに対して画像変換を行い、画像処理装置が出力した画像内に実際に車両が進む進路を重畳して表示させる。そのため上述した進路線のデータに対する画像変換処理は、画像処理装置内で行う車載カメラで撮像された画像に対する画像変換処理と同様な画像変換処理となる。

より具体的には表示装置側において、例えば表示装置の出力画像の出力座標（Ｘ，Ｙ）毎に、予め記憶された進路線のデータを入力とした入力座標（ｘ，ｙ）を対応づけるテーブルを使用し、出力座標（Ｘ，Ｙ）の画素の輝度と色の情報を、入力座標（ｘ，ｙ）の画素の輝度と色の情報を参照（転写）し生成する画像変換処理を行うことが考えられる。このような処理においては一般的に出力座標に対し、その座標に対応する入力座標をデーブル化した変換データを予め記憶させておき、そのデーブルに従って変換処理を行う。

しかし、このようなデーブル化した変換データは出力画像の画素数分の入力座標（ｘ，ｙ）が必要となり、近年の表示装置の高画素化の流れに合わせその容量が大きくなりメモリのコストアップを招くという問題があった。

本発明ではこのような問題に鑑み、表示装置のメモリの増大を抑えつつ進路線を重畳することができる画像処理装置等を提供することを目的とする。

一つの態様の画像処理装置は、入力画像を画像変換し出力画像を出力する画像処理装置であって、第１の変換部と、第２の変換部と、第３の変換部と、合成部とを有する。第１の変換部は、前記入力画像の第１の画像領域内の画素毎に第１の歪補正を施した画像を出力する。第２の変換部は、前記入力画像の第２の画像領域内の画素毎に第２の歪補正を施した画像を出力する。第３の変換部は、前記入力画像の第３の画像領域内の画素毎に第３の歪補正を施した画像を出力する。合成部は、前記第１の変換部からの画像出力と、前記第２の変換部からの画像出力と、前記第３の変換部からの画像出力とから前記出力画像を生成し出力する。前記第１の画像領域は、前記入力画像毎の進路線を描画するための所定画像領域を全て包含する画像領域である。前記出力画像は、前記第１の変換部から出力された画像と前記第２の変換部から出力された画像との間に前記第３の変換部から出力された画像が配置され、前記第１の変換部からの出力された画像は歪曲収差のみを持つ、又は、歪みを持たない画像である。

本発明によれば、表示装置のメモリ容量の増大を抑えつつ進路線を描画できる。

図１は、前提技術の画像表示システムのハードウェア構成の一例を示す説明図である。 図２は、前提技術の撮像装置の機能構成の一例を示すブロック図である。 図３は、撮像装置で撮像した入力画像の一例を示す説明図である。 図４は、第１の変換テーブルのテーブル構成の一例を示す説明図である。 図５は、実像高と理想像高との関係の一例第１の変換部の第１の歪補正前後の画像の一例を示す説明図である。 図６は、第１の変換部の第１の歪補正前後の画像の一例を示す説明図である。 図７Ａは、画像変換モデルの一例を示す説明図である。 図７Ｂは、第２の変換テーブルのテーブル構成の一例を示す説明図である。 図８は、第２の変換部の第２の歪補正前後の画像の一例を示す説明図である。 図９Ａは、第１の歪補正後の出力画像の一例を示す説明図である。 図９Ｂは、第１の歪補正後の出力画像内の第１の画像領域と、第１の画像領域以外の画像領域とを明暗で表現した説明図である。 図９Ｃは、出力画像内の第１の画像領域と、第２の画像領域と、第３の画像領域と明暗で表現した説明図である。 図１０は、割合テーブルのテーブル構成の一例を示す説明図である。 図１１は、第３の歪を補正する第３の入力座標を算出する際の算出方法の一例を示す説明図である。 図１２は、第３の変換テーブルのテーブル構成の一例を示す説明図である。 図１３は、出力画像の一例を示す説明図である。 図１４は、実施例１の撮像装置の機能構成の一例を示すブロック図である。 図１５Ａは、第１－１の取付位置の撮像装置で撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。 図１５Ｂは、第１－２の取付位置の撮像装置で撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。 図１６Ａは、第１－１の取付位置の撮像装置で撮像した第１の歪補正後の画像内の第１－１の所定画像領域の一例を示す説明図である。 図１６Ｂは、第１－２の取付位置の撮像装置で撮像した第１の歪補正後の画像内の第１－２の所定画像領域の一例を示す説明図である。 図１７Ａは、第１－１の取付位置での第１の歪補正後の画像内の第１－１の所定画像領域と第１－１の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図１７Ｂは、第１－２の取付位置での第１の歪補正後の画像内の第１－２の所定画像領域と第１－２の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図１８は、第１の画像領域と第１の画像領域以外の画像領域とを明暗で表現した説明図である。 図１９は、実施例１の第１の画像領域と、第２の画像領域と、第３の画像領域とを明暗で表現した説明図である。 図２０Ａは、第１－１の取付位置の撮像装置で撮像した際の出力画像の一例を示す説明図である。 図２０Ｂは、第１－２の取付位置の撮像装置で撮像した際の出力画像の一例を示す説明図である。 図２１Ａは、実施例２の第１－１のチルト角度位置の撮像装置で撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。 図２１Ｂは、第１－２のチルト角度位置の撮像装置で撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。 図２１Ｃは、第１－３のチルト角度位置の撮像装置で撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。 図２１Ｄは、第１－４のチルト角度位置の撮像装置で撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。 図２２Ａは、第１－１のチルト角度位置の撮像装置で撮像した第１の歪補正後の画像内の第１－１の所定画像領域の一例を示す説明図である。 図２２Ｂは、第１－２のチルト角度位置の撮像装置で撮像した第１の歪補正後の画像内の第１－２の所定画像領域の一例を示す説明図である。 図２２Ｃは、第１－３のチルト角度位置の撮像装置で撮像した第１の歪補正後の画像内の第１－３の所定画像領域の一例を示す説明図である。 図２２Ｄは、第１－４のチルト角度位置の撮像装置で撮像した第１の歪補正後の画像内の第１－４の所定画像領域の一例を示す説明図である。 図２３Ａは、第１－１のチルト角度位置での第１の歪補正後の画像内の第１－１の所定画像領域と第１－１の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図２３Ｂは、第１－２のチルト角度位置での第１の歪補正後の画像内の第１－２の所定画像領域と第１－２の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図２３Ｃは、第１－３のチルト角度位置での第１の歪補正後の画像内の第１－３の所定画像領域と第１－３の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図２３Ｄは、第１－４のチルト角度位置での第１の歪補正後の画像内の第１－４の所定画像領域と第１－４の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図２４は、第１の画像領域と第１の画像領域以外の画像領域とを明暗で表現した説明図である。 図２５は、実施例２の第１の画像領域と、第２の画像領域と、第３の画像領域とを明暗で表現した説明図である。 図２６Ａは、第１－１のチルト角度位置の撮像装置で撮像した際の出力画像の一例を示す説明図である。 図２６Ｂは、第１－２のチルト角度位置の撮像装置で撮像した際の出力画像の一例を示す説明図である。 図２６Ｃは、第１－３のチルト角度位置の撮像装置で撮像した際の出力画像の一例を示す説明図である。 図２６Ｄは、第１－４のチルト角度位置の撮像装置で撮像した際の出力画像の一例を示す説明図である。 図２７は、５種類のハンドル回転角度を左回転で車両を後退させた際の車両後端位置と車両軌跡との関係の一例を示す説明図である。 図２８Ａは、実施例３の第１－１のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。 図２８Ｂは、第１－２のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。 図２８Ｃは、第１－３のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。 図２８Ｄは、第１－４のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。 図２８Ｅは、第１－５のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。 図２９Ａは、第１－１のハンドル回転角度時の第１の歪補正後の画像内の第１－１の所定画像領域の一例を示す説明図である。 図２９Ｂは、第１－２のハンドル回転角度時の第１の歪補正後の画像内の第１－２の所定画像領域の一例を示す説明図である。 図２９Ｃは、第１－３のハンドル回転角度時の第１の歪補正後の画像内の第１－３の所定画像領域の一例を示す説明図である。 図２９Ｄは、第１－４のハンドル回転角度時の第１の歪補正後の画像内の第１－４の所定画像領域の一例を示す説明図である。 図２９Ｅは、第１－５のハンドル回転角度時の第１の歪補正後の画像内の第１－５の所定画像領域の一例を示す説明図である。 図３０Ａは、第１－１のハンドル回転角度時の第１の歪補正後の画像内の第１－１の所定画像領域と第１－１の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図３０Ｂは、第１－２のハンドル回転角度時の第１の歪補正後の画像内の第１－２の所定画像領域と第１－２の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図３０Ｃは、第１－３のハンドル回転角度時の第１の歪補正後の画像内の第１－３の所定画像領域と第１－３の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図３０Ｄは、第１－４のハンドル回転角度時の第１の歪補正後の画像内の第１－４の所定画像領域と第１－４の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図３０Ｅは、第１－５のハンドル回転角度時の第１の歪補正後の画像内の第１－５の所定画像領域と第１－５の所定画像領域以外の画像領域とを明暗で表現した説明図である。 図３１は、第１の画像領域と第１の画像領域以外の画像領域とを明暗で表現した説明図である。 図３２は、実施例３の第１の画像領域と、第２の画像領域と、第３の画像領域とを明暗で表現した説明図である。 図３３Ａは、第１－１のハンドル回転角度時の出力画像の一例を示す説明図である。 図３３Ｂは、第１－２のハンドル回転角度時の出力画像の一例を示す説明図である。 図３３Ｃは、第１－３のハンドル回転角度時の出力画像の一例を示す説明図である。 図３３Ｄは、第１－４のハンドル回転角度時の出力画像の一例を示す説明図である。 図３３Ｅは、第１－５のハンドル回転角度時の出力画像の一例を示す説明図である。

以下、図面に基づいて、本願の開示する画像処理装置の実施例を詳細に説明する。尚、各実施例により、開示技術が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。

図１は、前提技術の画像表示システム１のハードウェア構成の一例を示す説明図である。図１に示す画像表示システム１は、撮像装置２と、ナビゲーション装置３と、表示装置４とを有する。撮像装置２は、レンズ１１と、撮像素子１２と、画像処理プロセッサ１３と、ＲＯＭ（Read Only Memory）１４と、ＲＡＭ(Radom Access Memory)１５とを有する。撮像装置２は、例えば、車両後部のナンバープレート付近に配置されたカメラ装置である。レンズ１１は、例えば、魚眼レンズである。撮像素子１２は、レンズ１１を通じて車両後方の特定範囲の画像を撮像するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサである。画像処理プロセッサ１３は、撮像装置２内部の画像処理を実行する画像処理装置である。ＲＯＭ１４は、各種プログラム等の情報を格納する。ＲＡＭ１５は、各種情報を記憶する。

ナビゲーション装置３は、地図情報等の案内情報を表示装置に出力すると共に、撮像装置２からの出力画像に進路線５０を描画し、進路線５０を描画した出力画像を表示装置４に出力する。表示装置４は、例えば、運転席の正面パネルに配置され、例えば、ナビゲーション装置３からの出力画像や地図情報を表示出力するモニタ装置である。尚、ナビゲーション装置３は、画像の歪み補正後の出力画像に合致するように画像変換された進路線５０を描画する設定としている。

図２は、前提技術の撮像装置２の構成の一例を示す説明図である。図２に示す撮像装置２は、制御部２０及び記憶部３０を備える。制御部２０は図１での画像処理プロセッサ１３に対応し、記憶部３０は図１でのＲＯＭ１４に対応する。制御部２０は、第１の変換部２１と、第２の変換部２２と、算出部２３と、第３の変換部２４と、合成部２５と有する。記憶部３０は、第１の変換テーブル３１と、第２の変換テーブル３２と、割合テーブル３３と、第３の変換テーブル３４とを有する。

図３は、撮像装置２で撮像した画像を表示装置４に表示させた一例を示す説明図である。図３に示す入力画像４０は、第１の画像領域４１と、第２の画像領域４２と、第３の画像領域４３とを有する。画像処理プロセッサ１３は、入力画像内の第１の画像領域４１、第２の画像領域４２及び第３の画像領域４３を識別する。すなわち、画像処理プロセッサ１３は、入力画像内の各画素値を入力座標で識別し、第１の画像領域４１内の各画素値を第１の入力座標、第２の画像領域４２内の各画素値を第２の入力座標、第３の画像領域４３内の各画素値の第３の入力座標で識別する。

破線Ｌ１で囲まれた第１の画像領域４１は、例えば、入力画像内の中央部分の画像領域に相当し、例えば、歪曲収差のみを持つ、又は、歪を持たないように、歪を補正（第１の歪み補正）する対象領域であって、ハンドル回転等の舵角に応じて変化する進路線を描画するための画像領域である。一点鎖線Ｌ２と点線Ｌ３とに囲まれた第２の画像領域４２は、例えば、前述の特許文献１に示すような直線の物体を直線で表示し利用者に違和感を与えない歪補正（第２の歪み補正）する画像領域である。この部分は歪曲収差を持たない。破線Ｌ１と一点鎖線Ｌ２とに囲まれた第３の画像領域４３は、第１の歪補正と第２の歪補正とを加重平均する第３の歪補正を行う画像領域である。加重平均については後述する。

第１の変換部２１は、入力画像４０の第１の画像領域４１内の画素毎に第１の歪補正を施し出力する変換部である。尚、第１の画像領域４１内の画素は、例えば、第１の入力座標の画素値とも言える。第１の変換部２１は、例えば、第１の変換テーブル３１を参照し、入力画像４０内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を出力画像内の出力座標の画素値として出力する。図４は、第１の変換テーブル３１のテーブル構成の一例を示す説明図である。第１の変換テーブル３１は、出力画像の出力座標毎に、入力画像内の歪を補正した画素値の第１の入力座標を対応付けて管理するテーブルである。第１の変換部２１は、出力画像の第１の画像領域４１内の出力座標毎の画素値を合成部２５に出力する。

ここでナビゲーション装置３が進路線５０を画像の歪み補正後の出力画像に合致するように画像変換する動作について説明する。例えば第１の画像領域４１の画像は歪曲収差を有するとした場合、ナビゲーション装置３は進路線５０のデータに対し同じ前述の歪曲収差と同じ収差を持つように画像変換を行う。歪曲収差があると実像高と理想像高が異なる。図５は、実像高と理想像高との関係の一例を示す説明図である。ナビゲーション装置３は、理想像高の極座標（Ｒ，φ）の画素値を実像高の極座標（ｒ、φ）に画像変換する。この変換は図５の線Ｌ上の任意の画素を同じ線Ｌ上の別な箇所に移動させる変換であり、この変換テーブルは出力画像の出力座標（Ｘ，Ｙ）毎に、入力画像の入力座標（ｘ，ｙ）を対応づけた変換テーブルと比較しデータのサイズが小さい。尚、第１の画像領域４１の画像は歪みのないものであってもよい。このとき画像内の極座標（Ｒ，φ）の画素値から極座標（ｒ、φ）の画素値への変換においては前述のような画素の移動は発生しないため変換テーブルは不要となる。

第２の変換部２２は、入力画像４０の第２の画像領域４２内の画素毎に第２の歪補正を施し出力する変換部である。尚、第２の画像領域４２内の画素は、例えば、第２の入力座標の画素値と言える。第２の変換部２２は、例えば、第２の変換テーブル３２を参照し、入力画像４０内の第２の画像領域４２内の歪を補正した第２の入力座標の画素値を出力画像内の第２の出力座標の画素値として出力する。第２の変換テーブル３２は、第２の画像領域４２内の第２の入力座標毎に、第２の歪を補正した画素値の第２の入力座標を対応付けて管理するテーブルである。第２の変換部２２は、出力画像の第２の画像領域４２内の出力座標毎の画素値を合成部２５に出力する。

算出部２３は、入力画像４１内の第３の画像領域４３内の歪を補正した画素値の出力座標毎に、第３の画像領域４３内の出力座標から直近の第１の画像領域４１内の出力座標までの第１の距離と、第３の画像領域４３内の出力座標から直近の第２の画像領域４２内の出力座標までの第２の距離との比率を算出する。更に、算出部２３は、その比率を割合として、出力座標毎に割合テーブル３３内に記憶する。算出部２３は、入力画像４１の画素毎に第１の歪補正を施して得られた出力と第２の歪補正を施して得られた出力とを入力とし、それらを加重平均して出力する。算出部２３は、例えば、割合テーブル３３を参照し、出力座標毎の割合（第１の距離：第２の距離）に応じて第１の入力座標及び第２の入力座標を補正する。算出部２３は、割合補正後の第１の入力座標及び割合補正後の第２の入力座標同士を加算することで出力画像の第３の入力座標を算出する。

算出部２３は、出力座標毎に、第３の入力座標を第３の変換テーブル３４に記憶する。第３の変換部２４は、入力画像の第３の画像領域４３内の画素毎に第３の歪補正を施し出力する変換部である。尚、第３の画像領域４３内の画素は、例えば、第３の入力座標の画素値と言える。第３の変換部２４は、例えば、第３の変換テーブル３４を参照し、入力画像４０内の第３の画像領域４３内の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として出力する。第３の変換部２４は、第３の画像領域４３内の出力座標毎の画素値を合成部２５に出力する。

図６は、第１の変換部２１の第１の歪補正前後の画像の一例を示す説明図である。第１の変換部２１は、第１の変換テーブル３１を参照し、出力座標毎に、歪を補正した第１の入力座標の画素値を出力座標の画素値として出力する。第１の変換部２１は、第１の画像領域４１内の出力座標の画素値を合成部２５に出力する。その結果、第１の変換部２１は、図６に示すように第１の歪補正前の画像を第１の歪補正後の画像として出力できる。第１の変換部２１は、例えば、入力画像内の入力座標β１の画素値を出力画像内の出力座標α１の画素値として、入力画像内の入力座標β３の画素値を出力画像内の出力座標α３の画素値として出力する。尚、説明の便宜上、図６の例では、入力画像内の全ての第１の入力座標の画素値を出力座標の画素値として出力する場合を例示した。しかしながら、実際には、第１の変換部２１は、入力画像内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力するものである。

図７Ａは、画像変換モデルの一例を示す説明図である。図７Ａに示す画像変換モデルは、円形の平面からなる入力画像５１と、レンズ１１と対応して被写体が映し出される半球状の仮想物体面５２と、湾曲収差を補正する補正面５３と、画像変換される表示面５４とを順に並べて構成する。レンズ１１の光軸と対応する仮想光軸ｚは、入力画像５１の中央に位置する光軸原点０からこれらの面の中央を直角に挿通する。補正面５３は、中央に配置された中央面５３Ａと、同中央面５３Ａの左右にそれぞれ配置された左側面５３Ｂ及び右側面５３Ｃとで構成され、同左側面５３Ｂと右側面５３Ｃとは光軸原点に向かって屈曲して構成する。仮想光軸ｚ方向の補正面５３に投射された仮想物体面５２上の画像は、表示面５４へ正射影方式で投射され、投射された表示面５４の画像を出力画像とする。

画像変換モデルでは、表示面５４の画素位置を補正面５３の画素位置に変換し、補正面５３の画素位置を仮想物体面５２の半球面の極座標に変換し、最終的に入力画像５１の画素位置へ変換する。画像変換モデルでは、表示面５４の画素位置毎に入力画像５１の画素位置を変換し、これら表示面５４の画素位置毎に入力画像５１の画素位置を格納する。すなわち、第２の変換テーブル３２は、出力座標毎に歪を補正した画素値の第２の入力座標を管理する。

図７Ｂは、第２の変換テーブル３２のテーブル構成の一例を示す説明図である。図７Ｂに示す第２の変換テーブル３２は、出力座標と、第２の入力座標とを対応付けて管理している。出力座標は、出力画像の画素値を出力する座標である。第２の入力座標は、出力座標毎に歪を補正した画素値を入力する座標である。尚、第２の変換テーブル３２内の出力座標毎に第２の歪を補正した画素値の入力座標を算出する上での原理は、本出願人が特許文献１（特開２００８－３３４４７０号公報）で提案している。尚、ここでは特許文献１で示す技術を適用したが、これに限定されず、広角レンズに起因する歪みを補正する公知の技術が用いられてもよい。

図８は、第２の変換部２２の第２の歪補正前後の画像の一例を示す説明図である。第２の変換部２２は、第２の変換テーブル３２を参照し、出力座標毎に、第２の歪を補正した第２の入力座標の画素値を出力座標の画素値として出力する。第２の変換部２２は、例えば、図８に示すように、入力画像内の入力座標β５の画素値を出力画像内の出力座標α５の画素値として、入力画像内の入力座標β６の画素値を出力画像内の出力座標α６の画素値として出力する。第２の変換部２２は、第２の画像領域４２内の各出力座標の画素値を合成部２５に出力する。その結果、第２の変換部２２は、第２の歪補正前の画像を第２の歪補正後の画像として出力する。尚、説明の便宜上、図８の例では、入力画像内の全ての第２の入力座標の画素値を出力座標の画素値として出力する場合を例示した。しかしながら、第２の変換部２２は、実際には、入力画像内の第２の画像領域４２内の第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力するものである。

図９Ａは、第１の歪補正後の出力画像の一例を示す説明図である。図９Ａに示す出力画像の中央部分には、第１の画像領域４１がある。図９Ｂは、第１の歪補正後の出力画像内の第１の画像領域４１と、第１の画像領域４１以外の画像領域とを明暗で表現した説明図である。出力画像内の第１の画像領域４１は、図９Ｂに示すように白地で表現できる。出力画像内の第１の画像領域４１以外の画像領域は、第２の画像領域４２及び第３の画像領域４３であって、図９Ｂに示すように黒地で表現できる。図９Ｃは、出力画像内の第１の画像領域４１と、第２の画像領域４２と、第３の画像領域４３と明暗で表現した説明図である。図９Ｃに示す出力画像は、第１の画像領域４１は白地、第２の画像領域４２は黒地、第１の画像領域４１と第２の画像領域４２との境界である第３の画像領域４３はグラデーションで表現できる。白地は、輝度が１００％であるため、第１の画像領域４１であることを示し、黒地は、輝度が０％であるため、第２の画像領域４２であることを示し、明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３の画像領域４３であることを示している。この明暗は第１の歪補正により出力される出力座標と画像と第２の歪補正により出力される出力座標とを加重平均し新たな出力座標とする第３の歪補正における加重平均の割合を示している。

ここで前述の加重平均について詳述する。第３の画像領域４３内の出力座標毎の割合は、第３の画像領域４３内の出力座標から直近の第１の画像領域４１内の出力座標までの第１の距離と、当該第３の画像領域４３内の出力座標から直近の第２の画像領域４２内の第２の出力座標までの第２の距離との比率に応じた割合である。算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との割合が５：５の場合、出力座標の割合として５０％を算出する。また、算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との割合が７：３の場合、出力座標の割合として７０％を算出する。また、算出部２３は、例えば、出力座標に対する第１の距離と第２の距離との比率が３：７の場合、出力座標の割合として３０％を算出する。尚、第３の画像領域４３内の出力座標の割合Ｘは、０％＜Ｘ＜１００％である。

また、算出部２３は、第１の画像領域４１内の出力座標の場合、出力座標に対する第１の距離と第２の距離との比率が１０：０となるため、出力座標の割合として１００％を算出する。尚、第１の画像領域４１内の出力座標の割合は、１００％となる。また、算出部２３は、第２の画像領域４２内の出力座標の場合、出力座標に対する第１の距離と第２の距離との比率が０：１０となるため、出力座標の割合として０％を算出する。尚、第２の画像領域４２内の出力座標の割合は、０％となる。そして、算出部２３は、出力座標毎の割合を算出した場合、出力座標毎に割合を割合テーブル３３内に記憶する。

図１０は、割合テーブル３３のテーブル構成の一例を示す説明図である。図１０に示す割合テーブル３３は、出力画像内の出力座標毎に割合を対応付けて管理している。割合は、第３の歪を補正した画素値の第３の入力座標を算出する際に使用する、出力座標毎の第１の入力座標及び第２の入力座標の加重平均の割合である。

算出部２３は、例えば、第１の歪を補正した画素値の第１の入力座標をｆ（ｘ，ｙ）で算出する。算出部２３は、例えば、第２の歪を補正した画素値の第２の入力座標をｇ（ｘ，ｙ）で算出する。図１１は、第３の歪を補正する第３の入力座標を算出する際の算出方法の一例を示す説明図である。図１２は、第３の変換テーブル３４のテーブル構成の一例を示す説明図である。算出部２３は加重平均処理を行う。より詳細には図１１に示すように、出力座標の割合をｎ％とした場合、第１の入力座標ｆ（ｘ，ｙ）×ｎ％で第１の入力座標を割合補正する。更に、算出部２３は、第２の入力座標ｇ（ｘ，ｙ）×（１００％－ｎ％）で第２の入力座標を割合補正する。更に、算出部２３は、割合補正後の第１の入力座標と割合補正後の第２の入力座標とを加算して第３の入力座標を出力座標毎に算出する。つまり、算出部２３は、ｆ（ｘ，ｙ）×ｎ％＋ｇ（ｘ，ｙ）×（１００％－ｎ％）の（数式１）で第３の入力座標を出力座標毎に算出する。算出部２３は、割合テーブル３３内の出力座標に対応する割合を参照し、例えば、出力座標の割合が５０％の場合、出力座標に対応する第１の入力座標の５０％と、出力座標に対応する第２の入力座標の５０％とを加算する。そして、算出部２３は、その加算値を第３の入力座標として算出し、図１２に示すように、出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

算出部２３は、例えば、出力座標の割合が７０％の場合、出力座標に対応する第１の入力座標の７０％と、出力座標に対応する第２の入力座標の３０％とを加算する。そして、算出部２３は、その加算値を出力座標の第３の入力座標として算出し、図１２に示すように出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

算出部２３は、例えば、出力座標の割合が３０％の場合、出力座標に対応する第１の入力座標の３０％と、出力座標に対応する第２の入力座標の７０％とを加算する。そして、算出部２３は、その加算値を出力座標の第３の入力座標として算出し、図１２に示すように出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶する。

第３の変換部２４は、第３の変換テーブル３４を参照し、第３の画像領域４３内の第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

つまり、第１の変換部２１は、入力画像内の第１の画像領域４１内の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、入力画像内の第２の画像領域４２内の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、入力画像内の第３の画像領域４３内の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１の画像領域４１内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３内の出力座標の画素値とを合成した出力画像をナビゲーション装置３に出力する。図１３は、出力画像の一例を示す説明図である。尚、出力画像は、図１３に示すように第１の歪を補正した第１の画像領域４１と、第２の歪を補正した第２の画像領域４２と、第３の歪を補正した第３の画像領域４３とを含む画像である。出力画像は、例えば、第１の画像領域４１と第２の画像領域４２との間に第３の画像領域４３が配置されることになる。

そして、ナビゲーション装置３は、合成部２５からの出力画像内の第１の画像領域４１上のエリアに進路線５０を描画し、図１３に示すように、描画後の出力画像を表示装置４に出力する。尚、進路線５０は、例えば、横幅が車幅程度の範囲、かつ、奥行きを２メートルの範囲とする。

次に前提技術の画像表示システム１の動作について説明する。尚、説明の便宜上、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３の内容は事前に記憶されているものとする。

第１の変換部２１は、第１の変換テーブル３１を参照し、撮像素子１２にて撮像された入力画像内の第１の画像領域４１内の出力座標毎に、第１の歪を補正した第１の入力座標の画素値を第１の画像領域４１内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、第２の変換テーブル３２を参照し、撮像素子１２にて撮像された入力画像内の第２の画像領域４２内の出力座標毎に、第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、第３の変換テーブル３４を参照し、撮像素子１２にて撮像された入力画像内の第３の画像領域４３内の出力座標毎に、第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１の画像領域４１内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３内の出力座標の画素値とを合成して出力画像を生成する。合成部２５は、生成した出力画像をナビゲーション装置３に出力する。ナビゲーション装置３は、合成部２５からの出力画像内の第１の画像領域４１のエリアに進路線５０を描画し、進路線５０を描画した出力画像を表示装置４に出力する。進路線５０の生成にあたっては第１の画像領域４１に適用されている第１の歪み補正と同じ補正処理を進路線５０の元データに対し行う。その結果、利用者は、進路線５０は出力画像上を車両がどのように進むかを出力画像上に重畳表示することができる。

ナビゲーション装置３は、前述の通り歪曲収差のみを持つ、又は、歪を持たないような第１の歪み補正の画像部分において、進路線のデータに対し同様な画像変換を行なった進路線を重畳する。前述の通り、この画像変換を行うための変換テーブルは容量の小さいメモリに格納が可能なため、メモリ容量を小さくすることができる。メモリ容量増大に伴うコストアップは抑制される。

しかしながら、車両に対する撮像装置２の取付位置は、例えば、車種等に応じて一定ではなく、取付位置が異なると、撮像装置２で撮像する撮像方向も異なるため、入力画像の撮像範囲も異なる。撮像装置２で撮像した入力画像は、取付位置に応じてナビゲーション装置３で進路線５０を描画する第１の画像領域４１の範囲も変化する。従って、表示装置４では、取付位置毎に異なる画像の出力座標と入力座標とを対応付けるテーブルが取付位置毎に必要となるため、メモリ容量が増大して製品のコストアップを招く。

また、撮像装置２で撮像した入力画像は、車両のハンドルの回転角度等の車両情報の変化に応じて、ナビゲーション装置３で進路線５０を描画する第１の画像領域４１の範囲が変化する。従って、表示装置４では、ハンドルの回転角度毎に異なる画像の出力座標と入力座標とを対応付けるテーブルがハンドル回転角度毎に必要となるため、メモリ容量が増大して製品のコストアップを招く。

そこで、例えば、進路線５０を描画する第１の画像領域４１内の範囲の変化に順応できる画像表示システム１を提供すべく、その実施の形態につき、実施例１として以下に説明する。尚、前提技術と同一の構成には、同一符号を付すことで、その重複する構成及び動作の説明については省略する。

図１４は、実施例１の撮像装置２Ａの構成の一例を示す説明図である。図１４に示す撮像装置２Ａ内の制御部２０は、第１の変換部２１と、第２の変換部２２と、算出部２３と、第３の変換部２４と、合成部２５とを有する。撮像装置２Ａ内の記憶部３０は、第１の変換テーブル３１、ディストーションテーブル３１Ａ、第２の変換テーブル３２、割合テーブル３３及び第３の変換テーブル３４を有する。

図１５Ａは、第１－１の取付位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。尚、第１－１の取付位置は、例えば、高さ１００ｃｍ、左右中央、チルト角度４０度の状態で車両後部に取り付けた撮像装置２Ａの取付位置である。図１５Ａに示す画像は、第１－１の取付位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像であって、第１－１の所定画像領域Ｓ１を含む画像である。尚、図１５Ａに示す第１－１の所定画像領域Ｓ１は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図１５Ｂは、第１－２の取付位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。尚、第１－２の取付位置は、例えば、高さ８０ｃｍ、左５ｃｍ、チルト角度４０度の状態で車両後部に取り付けた撮像装置２Ａの取付位置である。図１５Ｂに示す画像も、第１－２の取付位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像であって、第１－２の所定画像領域Ｓ２を含む画像である。尚、図１５Ｂに示す第１－２の所定画像領域Ｓ２は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。図１５Ａに示す画像と図１５Ｂに示す画像とは、撮像範囲が異なるため、第１－１の所定画像領域Ｓ１及び第１－２の所定画像領域Ｓ２の範囲が異なる。

図１６Ａは、第１－１の取付位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１－１の所定画像領域Ｓ１の一例を示す説明図である。図１６Ａに示す画像は、第１－１の取付位置の撮像装置２Ａで撮像した第１の歪補正後の画像である。図１６Ａに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－１の所定画像領域Ｓ１を特定できる。第１－１の所定画像領域Ｓ１は、第１－１の取付位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図１６Ｂは、第１－２の取付位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１－２の所定画像領域Ｓ２の一例を示す説明図である。図１６Ｂに示す画像は、第１－２の取付位置の撮像装置２Ａで撮像した第１の歪補正後の画像である。図１６Ｂに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－２の所定画像領域Ｓ２を特定できる。第１－２の所定画像領域Ｓ２は、第１－２の取付位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図１７Ａは、第１－１の取付位置での第１の歪補正後の画像内の第１－１の所定画像領域Ｓ１と第１－１の所定画像領域Ｓ１以外の画像領域とを明暗で表現した説明図である。画像内の第１－１の所定画像領域Ｓ１は、図１７Ａに示すように白地で表現した。画像内の第１－１の所定画像領域Ｓ１以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図１７Ａに示すように黒地で表現した。

図１７Ｂは、第１－２の取付位置での第１の歪補正後の画像内の第１－２の所定画像領域Ｓ２と第１－２の所定画像領域Ｓ２以外の画像領域とを明暗で表現した説明図である。画像内の第１－２の所定画像領域Ｓ２は、図１７Ｂに示すように白地で表現した。画像内の第１－２の所定画像領域Ｓ２以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図１７Ｂに示すように黒地で表現した。

図１８は、第１の画像領域４１αと第１の画像領域４１α以外の画像領域とを明暗で表現した説明図である。図１８に示す第１の画像領域４１αは、白地で表現した通り、図１７Ａに示す第１－１の所定画像領域Ｓ１と、図１７Ｂに示す第１－２の所定画像領域Ｓ２とを全て包含した画像領域である。第１の画像領域４１α以外の画像領域は、黒地で表現した通り、第２の画像領域４２α及び第３の画像領域４３αとなる。

図１９は、実施例１の第１の画像領域４１αと、第２の画像領域４２αと、第３の画像領域４３αとを明暗で表現した説明図である。図１９に示す第１の画像領域４１αは、第１－１の所定画像領域Ｓ１と第１－２の所定画像領域Ｓ２とを全て包含した画像領域である。そして、図１９に示す画像内の第１の画像領域４１αは白地、第２の画像領域４２αは黒地、第１の画像領域４１αと第２の画像領域４２αとの境界である第３の画像領域４３αはグラデーションで表現した。輝度が１００％である白地は、第１の画像領域４１αであることを示す。輝度が０％である黒地は、第２の画像領域４２αであることを示す。明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３の画像領域４３αであることを示している。この明暗のグラデーションで表現された部分は第１の歪補正により出力される出力座標の画素の輝度と第２の歪補正により出力される出力座標の画素の輝度とを加重平均し新たな出力座標とする第３の歪補正における加重平均の割合を示している。尚、加重平均の詳細な方法については後述する。

第１の変換部２１は、入力画像４０の第１の画像領域４１α内の画素毎に第１の歪補正を施し出力する。尚、第１の画像領域４１α内の画素は、例えば、第１の入力座標の画素値とも言える。第１の変換部２１は、例えば、第１の変換テーブル３１を参照し、入力画像４０内の第１の画像領域４１α内の歪を補正した第１の入力座標の画素値を出力画像内の出力座標の画素値として合成部２５に出力する。第１の変換テーブル３１は、出力画像の出力座標毎に、入力画像内の歪を補正した画素値の第１の入力座標を対応付けて管理するテーブルである。

第２の変換部２２は、入力画像４０の第２の画像領域４２α内の画素毎に第２の歪補正を施し出力する。尚、第２の画像領域４２α内の画素は、例えば、第２の入力座標の画素値と言える。第２の変換部２２は、例えば、第２の変換テーブル３２を参照し、入力画像４０内の第２の画像領域４２α内の歪を補正した第２の入力座標の画素値を出力画像内の第２の出力座標の画素値として合成部２５に出力する。第２の変換テーブル３２は、第２の画像領域４２内の第２の入力座標毎に、第２の歪を補正した画素値の第２の入力座標を対応付けて管理するテーブルである。

算出部２３は、入力画像４１内の第３の画像領域４３α内の歪を補正した画素値の出力座標毎に、第３の画像領域４３α内の出力座標から直近の第１の画像領域４１α内の出力座標までの第１の距離と、第３の画像領域４３α内の出力座標から直近の第２の画像領域４２α内の出力座標までの第２の距離との比率を算出する。更に、算出部２３は、その比率を割合として、出力座標毎に割合テーブル３３内に記憶する。

割合テーブル３３は、図１９に示すように第１の画像領域４１α、第２の画像領域４２αと第３の画像領域４３α内の画素毎の加重平均の割合を管理している。尚、第１の画像領域４１αは、例えば、ｎ箇所の取付位置毎に撮像した入力画像内の第１－１～第１－ｎの所定画像領域Ｓ１～Ｓｎを全て包含する範囲である。

算出部２３は、入力画像４１の画素毎に第１の歪補正を施して得られた出力と第２の歪補正を施して得られた出力とを入力とし、それらを加重平均して出力する。算出部２３は、例えば、割合テーブル３３を参照し、出力座標毎の割合（第１の距離：第２の距離）に応じて第１の入力座標及び第２の入力座標を補正する。算出部２３は、割合補正後の第１の入力座標及び割合補正後の第２の入力座標同士を加算することで出力画像の第３の入力座標を算出する。

算出部２３は、例えば、第１の歪を補正した画素値の第１の入力座標をｆ（ｘ，ｙ）で算出する。算出部２３は、例えば、第２の歪を補正した画素値の第２の入力座標をｇ（ｘ，ｙ）で算出する。算出部２３は、例えば、第３の歪を補正した画素値の第３の入力座標を（数式１）で算出する。算出部２３は加重平均処理を行う。算出部２３は、割合テーブル３３を参照し、出力座標の割合をｎ％とした場合、第１の入力座標ｆ（ｘ，ｙ）×ｎ％で第１の入力座標を割合補正する。更に、算出部２３は、割合テーブル３３を参照し、第２の入力座標ｇ（ｘ，ｙ）×（１００％－ｎ％）で第２の入力座標を割合補正する。更に、算出部２３は、割合補正後の第１の入力座標と割合補正後の第２の入力座標とを加算して第３の入力座標を出力座標毎に算出する。つまり、算出部２３は、割合テーブル３３を参照して、ｆ（ｘ，ｙ）×ｎ％＋ｇ（ｘ，ｙ）×（１００％－ｎ％）の（数式１）で第３の入力座標を出力座標毎に算出する。算出部２３は、割合テーブル３３内の出力座標に対応する割合を参照し、例えば、出力座標の割合が５０％の場合、出力座標に対応する第１の入力座標の５０％と、出力座標に対応する第２の入力座標の５０％とを加算する。そして、算出部２３は、その加算値を第３の入力座標として算出し、出力座標に対応する第３の入力座標を第３の変換テーブル３４内に記憶することになる。

算出部２３は、出力座標毎に、第３の入力座標を第３の変換テーブル３４に記憶する。第３の変換部２４は、入力画像の第３の画像領域４３α内の画素毎に第３の歪補正を施し出力する。尚、第３の画像領域４３α内の画素は、例えば、第３の入力座標の画素値と言える。第３の変換部２４は、例えば、第３の変換テーブル３４を参照し、入力画像４０内の第３の画像領域４３α内の歪を補正した第３の入力座標の画素値を第３の画像領域４３α内の出力座標の画素値として出力する。第３の変換部２４は、第３の画像領域４３内の出力座標毎の画素値を合成部２５に出力する。

つまり、第１の変換部２１は、入力画像内の第１の画像領域４１α内の第１の歪を補正した第１の入力座標の画素値を第１の画像領域４１α内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、入力画像内の第２の画像領域４２α内の第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２α内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、第３の変換テーブル３４を参照して、入力画像内の第３の画像領域４３α内の第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３α内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１の画像領域４１α内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２α内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３α内の出力座標の画素値とを合成した出力画像をナビゲーション装置３に出力する。

図２０Ａは、第１－１の取付位置の撮像装置２Ａで撮像した際の出力画像の一例を示す説明図である。尚、出力画像は、図２０Ａに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１Ａと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－１の取付位置の入力画像を取得した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－１の取付位置で撮像した画像でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画し、図２０Ａに示すように、描画後の出力画像を表示装置４に出力する。

また、図２０Ｂは、第１－２の取付位置で撮像した際の出力画像の一例を示す説明図である。尚、出力画像は、図２０Ｂに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－２の取付位置の入力画像を取得した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－２の取付位置で撮像した画像でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画し、図２０Ｂに示すように、描画後の出力画像を表示装置４に出力する。

実施例１の撮像装置２Ａでは、ｎ箇所の取付位置毎に異なる各所定画像領域Ｓ１～Ｓｎを全て包含する範囲を第１の画像領域４１αとし、第１の画像領域４１αを基本にして第２の画像領域４２α及び第３の画像領域４３αを特定する。更に、撮像装置２Ａは、第１の画像領域４１α、第２の画像領域４２α及び第３の画像領域４３α内の画素毎の第１の入力座標及び第２の入力座標の割合を示す割合テーブル３３を生成する。更に、撮像装置２Ａは、割合テーブル３３に基づき、第３の変換テーブル３４を生成する。そして、撮像装置２Ａは、第３の変換テーブル３４を参照し、歪み補正の画像変換処理を実行する。その結果、撮像装置２Ａの取付位置が第１－１の取付位置と第１－ｎの取付位置との間の場合でも、当該取付位置で撮像した入力画像から速やかに第１の歪補正、第２の歪補正及び第３の歪補正を円滑に実現できる。つまり、見やすい歪み補正としては不十分なレンズ自体の歪みだけを補正する部分を最小化でき、自然に見える領域が増えることで視認性を良好に保つことができる。

つまり、撮像装置２Ａでは、第１－１の取得位置から第１－ｎの取得位置までの所定画像領域Ｓ１～Ｓｎからで形成した第１の画像領域４１αに基づき、第３の変換テーブル３４を生成する。その結果、第１－１の取付位置から第１－ｎの取付位置までの範囲内の取付位置の入力画像を取得した場合でも、第３の変換テーブル３４を参照して取付位置の変化に順応した視認性の良好な出力画像を出力できる。しかも、表示装置４では、出力座標と入力座標とを対応付けるテーブルを取付位置毎に備える必要がなくなるため、メモリ容量を小さくして製品のコストアップを抑制できる。

尚、実施例１の撮像装置２Ａでは、例えば、２箇所の取付位置の所定画像領域Ｓ１及びＳ２で第１の画像領域４１αの範囲を定める場合を例示した。しかしながら、２箇所の取付位置に限定されるものではなく、ｎ箇所の取付位置の所定画像領域Ｓ１～Ｓｎで第１の画像領域４１αの範囲としても良く、適宜変更可能である。

上記実施例１の撮像装置２Ａでは、取付位置毎に異なる所定画像領域Ｓ１～Ｓｎで第１の画像領域４１αの範囲とする場合を例示したが、同一取付位置の場合でも、撮像装置２Ａのレンズ１１のチルト角度毎にｎ箇所の所定画像領域Ｓ１１～Ｓ１ｎの範囲が異なる。尚、チルト角度は、撮像装置２Ａのレンズ１１の上下方向の傾き角度である。従って、チルト角度毎に異なる所定画像領域Ｓ１１～Ｓｎで第１の画像領域４１αの範囲としても良く、その実施の形態につき、実施例２として以下に説明する。尚、実施例１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。

図２１Ａは、実施例２の第１－１のチルト角度位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。第１－１のチルト角度位置は、例えば、高さ１００ｃｍ、左右中央、チルト角度０度の状態で車両後部に取り付けた撮像装置２Ａの取付位置である。図２１Ａに示す画像は、第１－１のチルト角度位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像であって、第１－１の所定画像領域Ｓ１１を含むものである。図２１Ａに示す第１－１の所定画像領域Ｓ１１は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図２１Ｂは、第１－２のチルト角度位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。第１－２のチルト角度位置は、例えば、高さ１００ｃｍ、左右中央、チルト角度２０度の状態で車両後部に取り付けた撮像装置２Ａの取付位置である。図２１Ｂに示す画像も、第１－２のチルト角度位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像であって、第１－２の所定画像領域Ｓ１２を含む画像である。尚、図２１Ｂに示す第１－２の所定画像領域Ｓ１２は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図２１Ｃは、第１－３のチルト角度位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。第１－３のチルト角度位置は、例えば、高さ１００ｃｍ、左右中央、チルト角度４０度の状態で車両後部に取り付けた撮像装置２Ａの取付位置である。図２１Ｃに示す画像も、第１－３のチルト角度位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像であって、第１－３の所定画像領域Ｓ１３を含む画像である。尚、図２１Ｃに示す第１－３の所定画像領域Ｓ１３は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図２１Ｄは、第１－４のチルト角度位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像の一例を示す説明図である。第１－４のチルト角度位置は、例えば、高さ１００ｃｍ、左右中央、チルト角度６０度の状態で車両後部に取り付けた撮像装置２Ａの取付位置である。図２１Ｄに示す画像も、第１－４のチルト角度位置の撮像装置２Ａで撮像した原画像の第１の歪補正後の画像であって、第１－４の所定画像領域Ｓ１４を含む画像である。尚、図２１Ｄに示す第１－４の所定画像領域Ｓ１４は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。同一取付位置でもチルト角度が異なる場合には、図２１Ａ～図２１Ｄに示すように第１－１～第１－４の所定画像領域Ｓ１１～Ｓ１４の範囲が異なる。

図２２Ａは、第１－１のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１－１の所定画像領域Ｓ１１の一例を示す説明図である。図２２Ａに示す画像は、第１－１のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像である。図２２Ａに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－１の所定画像領域Ｓ１１を特定できる。第１－１の所定画像領域Ｓ１１は、第１－１のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図２２Ｂは、第１－２のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１－２の所定画像領域Ｓ１２の一例を示す説明図である。図２２Ｂに示す画像は、第１－２のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像である。図２２Ｂに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－２の所定画像領域Ｓ１２を特定できる。第１－２の所定画像領域Ｓ１２は、第１－２のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図２２Ｃは、第１－３のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１－３の所定画像領域Ｓ１３の一例を示す説明図である。図２２Ｃに示す画像は、第１－３のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像である。図２２Ｃに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－３の所定画像領域Ｓ１３を特定できる。第１－３の所定画像領域Ｓ１３は、第１－３のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図２２Ｄは、第１－４のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１－４の所定画像領域Ｓ１４の一例を示す説明図である。図２２Ｄに示す画像は、第１－４のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像である。図２２Ｄに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－４の所定画像領域Ｓ１４を特定できる。第１－４の所定画像領域Ｓ１４は、第１－４のチルト角度位置の撮像装置２Ａで撮像した第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図２３Ａは、第１－１のチルト角度位置での第１の歪補正後の画像内の第１－１の所定画像領域Ｓ１１と第１－１の所定画像領域Ｓ１１以外の画像領域とを明暗で表現した説明図である。画像内の第１－１の所定画像領域Ｓ１１は、図２３Ａに示すように白地で表現した。画像内の第１－１の所定画像領域Ｓ１１以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図２３Ａに示すように黒地で表現した。

図２３Ｂは、第１－２のチルト角度位置での第１の歪補正後の画像内の第１－２の所定画像領域Ｓ１２と第１－２の所定画像領域Ｓ１２以外の画像領域とを明暗で表現した説明図である。画像内の第１－２の所定画像領域Ｓ１２は、図２３Ｂに示すように白地で表現した。画像内の第１－２の所定画像領域Ｓ１２以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図２３Ｂに示すように黒地で表現した。

図２３Ｃは、第１－３のチルト角度位置での第１の歪補正後の画像内の第１－３の所定画像領域Ｓ１３と第１－３の所定画像領域Ｓ１３以外の画像領域とを明暗で表現した説明図である。画像内の第１－３の所定画像領域Ｓ１３は、図２３Ｃに示すように白地で表現した。画像内の第１－３の所定画像領域Ｓ１３以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図２３Ｃに示すように黒地で表現した。

図２３Ｄは、第１－４のチルト角度位置での第１の歪補正後の画像内の第１－４の所定画像領域Ｓ１４と第１－４の所定画像領域Ｓ１４以外の画像領域とを明暗で表現した説明図である。画像内の第１－４の所定画像領域Ｓ１４は、図２３Ｄに示すように白地で表現した。画像内の第１－４の所定画像領域Ｓ１４以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図２３Ｄに示すように黒地で表現した。

図２４は、第１の画像領域４１αと第１の画像領域４１α以外の画像領域とを明暗で表現した説明図である。図２４に示す第１の画像領域４１αは、白地で表現した通り、図２３Ａ～図２３Ｂに示す第１－１～第１－４の所定画像領域Ｓ１１～Ｓ１４を全て包含した画像領域である。第１の画像領域４１α以外の画像領域は、黒地で表現した通り、第２の画像領域４２α及び第３の画像領域４３αである。

図２５は、実施例２の第１の画像領域４１αと、第２の画像領域４２αと、第３の画像領域４３αとを明暗で表現した説明図である。図２５に示す第１の画像領域４１αは、第１－１～第１－４の所定画像領域Ｓ１１～Ｓ１４を全て包含した画像領域である。そして、図２５に示す画像内の第１の画像領域４１αは白地、第２の画像領域４２αは黒地、第１の画像領域４１αと第２の画像領域４２αとの境界である第３の画像領域４３αはグラデーションで表現できる。輝度が１００％である白地は、第１の画像領域４１αであることを示す。輝度が０％である黒地は、第２の画像領域４２αであることを示す。明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３の画像領域４３αであることを示している。この明暗は第１の歪補正により出力される出力座標と画像と第２の歪補正により出力される出力座標とを加重平均し新たな出力座標とする第３の歪補正における加重平均の割合を示している。

割合テーブル３３は、図２５に示すように第１の画像領域４１α、第２の画像領域４２αと第３の画像領域４３α内の画素毎の加重平均の割合を管理している。尚、第１の画像領域４１αは、例えば、ｎ箇所の取付位置毎に撮像した入力画像内の第１－１～第１－ｎの所定画像領域Ｓ１～Ｓｎを全て包含する範囲とする。つまり、割合テーブル３３は、第１の画像領域４１αを含む画像内の出力座標毎の第１の入力座標と第２の入力座標の加重平均の割合を管理している。

第１の変換部２１は、入力画像内の第１の画像領域４１α内の第１の歪を補正した第１の入力座標の画素値を第１の画像領域４１α内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、入力画像内の第２の画像領域４２α内の第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２α内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、第３の変換テーブル３４を参照して、入力画像内の第３の画像領域４３αの第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３α内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１の画像領域４１α内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２α内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３α内の出力座標の画素値とを合成した出力画像をナビゲーション装置３に出力する。

図２６Ａは、第１－１のチルト角度位置の撮像装置２Ａで撮像した際の出力画像の一例を示す説明図である。尚、出力画像は、図２６Ａに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－１のチルト角度位置の入力画像を取得した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－１のチルト角度位置で撮像した画像でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画し、図２６Ａに示すように、描画後の出力画像を表示装置４に出力する。

また、図２６Ｂは、第１－２のチルト角度位置の撮像装置２Ａで撮像した際の出力画像の一例を示す説明図である。尚、出力画像は、図２６Ｂに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－２のチルト角度位置の入力画像を取得した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－２のチルト角度位置で撮像した画像でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画し、図２６Ｂに示すように、描画後の出力画像を表示装置４に出力する。

また、図２６Ｃは、第１－３のチルト角度位置の撮像装置２Ａで撮像した際の出力画像の一例を示す説明図である。尚、出力画像は、図２６Ｃに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－３のチルト角度位置の入力画像を取得した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－３のチルト角度位置で撮像した画像でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画し、図２６Ｃに示すように、描画後の出力画像を表示装置４に出力する。

また、図２６Ｄは、第１－４のチルト角度位置の撮像装置２Ａで撮像した際の出力画像の一例を示す説明図である。尚、出力画像は、図２６Ｄに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－４のチルト角度位置の入力画像を取得した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－４のチルト角度位置で撮像した画像でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画し、図２６Ｄに示すように、描画後の出力画像を表示装置４に出力する。

実施例２の撮像装置２Ａでは、ｎ個のチルト角度位置毎に異なる各所定画像領域Ｓ１１～Ｓｎを全て包含する範囲で第１の画像領域４１αの範囲をし、第１の画像領域４１αを基本にして第２の画像領域４２α及び第３の画像領域４３αを特定する。更に、撮像装置２Ａは、第１の画像領域４１α、第２の画像領域４２α及び第３の画像領域４３α内の画素毎の第１の入力座標及び第２の入力座標の割合を示す割合テーブル３３を生成する。更に、撮像装置２Ａは、割合テーブル３３に基づき、第３の変換テーブル３４を生成する。そして、撮像装置２Ａは、第３の変換テーブル３４を参照し、歪み補正の画像変換処理を実行する。その結果、撮像装置２Ａのチルト角度位置が第１－１のチルト角度位置と第１－ｎのチルト角度位置との間の場合でも、当該チルト角度位置で撮像した入力画像から速やかに第１の歪補正、第２の歪補正及び第３の歪補正を円滑に実現できる。つまり、見やすい歪み補正としては不十分なレンズ自体の歪みだけを補正する部分を最小化でき、自然に見える領域が増えることで視認性を良好に保つことができる。

つまり、撮像装置２Ａでは、第１－１のチルト角度位置から第１－ｎのチルト角度位置までの所定画像領域Ｓ１１～Ｓｎを全て包含する範囲の第１の画像領域４１αに基づき、第３の変換テーブル３４を生成する。その結果、第１－１のチルト角度位置から第１－ｎのチルト角度位置までの範囲内のチルト角度位置の入力画像を取得した場合でも、第３の変換テーブル３４を参照してチルト角度位置の変化に順応した視認性の良好な出力画像を出力できる。しかも、表示装置４では、出力座標と入力座標とを対応付けるテーブルがチルト角度位置毎に備える必要がなくなるため、メモリ容量が小さくして製品のコストアップを抑制できる。

上記実施例２の撮像装置２Ａでは、チルト角度が０度、２０度、４０度、６０度の場合を例示したが、これらに限定されるものではなく、ｎ個のチルト角度を使用しても良く、適宜変更可能である。

上記実施例２の撮像装置２Ａでは、チルト角度位置毎に異なる所定画像領域Ｓｎから第１の画像領域４１αの範囲を定める場合を例示した。しかしながら、チルト角度に限定されるものではなく、例えば、パン角度やロール角度等に適用しても良く、同様の効果が得られることは言うまでもない。尚、パン角度は、例えば、左右方向の傾き角度、ロール角度は、例えば、回転方向の傾き角度である。

また、実施例１及び２の撮像装置２Ａでは、取付位置やチルト角度位置に応じて異なる所定画像領域Ｓ１（Ｓ１１）～Ｓｎで第１の画像領域４１αの範囲を定める場合を例示した。しかしながら、車両ハンドルの回転角度等の車両情報に応じて所定画像領域Ｓ１（Ｓ１１）～Ｓｎで第１の画像領域４１αの範囲を定めても良く、その実施の形態につき、実施例３として以下に説明する。

図２７は、５種類のハンドル回転角度を左回転で車両を後退させた際の車両後端位置と車両軌跡との関係の一例を示す説明図である。図２７では、車両後端の中心位置が５０ｃｍ後退、１００ｃｍ後退、２００ｃｍ後退した場合の車両後端の右側軌跡、車両後端の左右中心の軌跡及び車両後端の左側の軌跡の推移を示している。

図２８Ａは、実施例３の第１－１のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。第１－１のハンドル回転角度は、例えば、高さ１００ｃｍ、左右中央、チルト角度０度の状態で車両後部に撮像装置２Ａが取り付けられた状態で、車両ハンドルを左２回転にした状態である。図２８Ａに示す画像は、第１－１のハンドル回転角度時の原画像の第１の歪補正後の画像であって、第１－１の所定画像領域Ｓ２１を含む画像である。尚、図２８Ａに示す第１－１の所定画像領域Ｓ２１は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図２８Ｂは、第１－２のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。第１－２のハンドル回転角度は、例えば、高さ１００ｃｍ、左右中央、チルト角度０度の状態で車両後部に撮像装置２Ａが取り付けられた状態で、車両ハンドルを左１回転にした状態である。図２８Ｂに示す画像も、第１－２のハンドル回転角度時の原画像の第１の歪補正後の画像であって、第１－２の所定画像領域Ｓ２２を含む画像である。尚、図２８Ｂに示す第１－２の所定画像領域Ｓ２２は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図２８Ｃは、第１－３のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。第１－３のハンドル回転角度は、例えば、高さ１００ｃｍ、左右中央、チルト角度０度の状態で車両後部に撮像装置２Ａが取り付けられた状態で、車両ハンドルを０回転にした状態である。図２８Ｃに示す画像も、第１－３のハンドル回転角度時の原画像の第１の歪補正後の画像であって、第１－３の所定画像領域Ｓ２３を含む画像である。尚、図２８Ｃに示す第１－３の所定画像領域Ｓ２３は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図２８Ｄは、第１－４のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。第１－４のハンドル回転角度は、例えば、高さ１００ｃｍ、左右中央、チルト角度０度の状態で車両後部に撮像装置２Ａが取り付けられた状態で、車両ハンドルを右１回転にした状態である。図２８Ｄに示す画像も、第１－４のハンドル回転角度時の原画像の第１の歪補正後の画像であって、第１－４の所定画像領域Ｓ２４を含む画像である。尚、図２８Ｄに示す第１－４の所定画像領域Ｓ２４は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。

図２８Ｅは、第１－５のハンドル回転角度時の原画像の第１の歪補正後の画像の一例を示す説明図である。第１－５のハンドル回転角度は、例えば、高さ１００ｃｍ、左右中央、チルト角度０度の状態で車両後部に撮像装置２Ａが取り付けられた状態で、車両ハンドルを右２回転にした状態である。図２８Ｅに示す画像も、第１－５のハンドル回転角度時の原画像の第１の歪補正後の画像であって、第１－５の所定画像領域Ｓ２５を含む画像である。尚、図２８Ｅに示す第１－５の所定画像領域Ｓ２５は、説明の便宜上、実際に地面に描かれた範囲であって、車両後端から奥行き５０ｃｍの線と、奥行き１００ｃｍの線と、奥行き２００ｃｍの線と、車幅を示す線とを含むものとする。ハンドル回転角度が変動した場合、図２９Ａ～図２９Ｅに示すように、第１－１～第１－５の所定画像領域Ｓ２１～Ｓ２５の範囲が異なる。

図２９Ａは、第１－１のハンドル回転角度時の第１の歪補正後の画像内の第１－１の所定画像領域Ｓ２１の一例を示す説明図である。図２９Ａに示す画像は、第１－１のハンドル回転角度時の第１の歪補正後の画像である。図２９Ａに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－１の所定画像領域Ｓ２１を特定できる。第１－１の所定画像領域Ｓ２１は、第１－１のハンドル回転角度時の第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図２９Ｂは、第１－２のハンドル回転角度時の第１の歪補正後の画像内の第１－２の所定画像領域Ｓ２２の一例を示す説明図である。図２９Ｂに示す画像は、第１－２のハンドル回転角度時の第１の歪補正後の画像である。図２９Ｂに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－２の所定画像領域Ｓ２２を特定できる。第１－２の所定画像領域Ｓ２２は、第１－２のハンドル回転角度時の第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図２９Ｃは、第１－３のハンドル回転角度時の第１の歪補正後の画像内の第１－３の所定画像領域Ｓ２３の一例を示す説明図である。図２９Ｃに示す画像は、第１－３のハンドル回転角度時の第１の歪補正後の画像である。図２９Ｃに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－３の所定画像領域Ｓ２３を特定できる。第１－３の所定画像領域Ｓ２３は、第１－３のハンドル回転角度時の第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図２９Ｄは、第１－４のハンドル回転角度時の第１の歪補正後の画像内の第１－４の所定画像領域Ｓ２４の一例を示す説明図である。図２９Ｄに示す画像は、第１－４のハンドル回転角度時の第１の歪補正後の画像である。図２９Ｄに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－４の所定画像領域Ｓ２４を特定できる。第１－４の所定画像領域Ｓ２４は、第１－４のハンドル回転角度時の第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図２９Ｅは、第１－５のハンドル回転角度時の第１の歪補正後の画像内の第１－５の所定画像領域Ｓ２５の一例を示す説明図である。図２９Ｅに示す画像は、第１－５のハンドル回転角度時の第１の歪補正後の画像である。図２９Ｅに示す画像内の中央部分、例えば、車両後端から奥行き２００ｃｍ×車幅の範囲を枠で囲むことで、画像内に第１－５の所定画像領域Ｓ２５を特定できる。第１－５の所定画像領域Ｓ２５は、第１－５のハンドル回転角度時の第１の歪補正後の画像内の第１の画像領域４１αの一部となる。

図３０Ａは、第１－１のハンドル回転角度時の第１の歪補正後の画像内の第１－１の所定画像領域Ｓ２１と第１－１の所定画像領域Ｓ２１以外の画像領域とを明暗で表現した説明図である。画像内の第１－１の所定画像領域Ｓ２１は、図３０Ａに示すように白地で表現した。画像内の第１－１の所定画像領域Ｓ２１以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図３０Ａに示すように黒地で表現した。

図３０Ｂは、第１－２のハンドル回転角度時の第１の歪補正後の画像内の第１－２の所定画像領域Ｓ２２と第１－２の所定画像領域Ｓ２２以外の画像領域とを明暗で表現した説明図である。画像内の第１－２の所定画像領域Ｓ２２は、図３０Ｂに示すように白地で表現した。画像内の第１－２の所定画像領域Ｓ２２以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図３０Ｂに示すように黒地で表現した。

図３０Ｃは、第１－３のハンドル回転角度時の第１の歪補正後の画像内の第１－３の所定画像領域Ｓ２３と第１－３の所定画像領域Ｓ２３以外の画像領域とを明暗で表現した説明図である。画像内の第１－３の所定画像領域Ｓ２３は、図３０Ｃに示すように白地で表現した。画像内の第１－３の所定画像領域Ｓ２３以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図３０Ｃに示すように黒地で表現した。

図３０Ｄは、第１－４のハンドル回転角度時の第１の歪補正後の画像内の第１－４の所定画像領域Ｓ２４と第１－４の所定画像領域Ｓ２４以外の画像領域とを明暗で表現した説明図である。画像内の第１－４の所定画像領域Ｓ２４は、図３０Ｄに示すように白地で表現した。画像内の第１－４の所定画像領域Ｓ２４以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図３０Ｄに示すように黒地で表現した。

図３０Ｅは、第１－５のハンドル回転角度時の第１の歪補正後の画像内の第１－５の所定画像領域Ｓ２５と第１－５の所定画像領域Ｓ２５以外の画像領域とを明暗で表現した説明図である。画像内の第１－５の所定画像領域Ｓ２５は、図３０Ｅに示すように白地で表現した。画像内の第１－５の所定画像領域Ｓ２５以外の画像領域は、第２の画像領域４２α及び第３の画像領域４３αの一部であって、図３０Ｅに示すように黒地で表現した。

図３１は、第１の画像領域４１αと第１の画像領域４１α以外の画像領域とを明暗で表現した説明図である。図３１に示す第１の画像領域４１αは、白地で表現した通り、図３０Ａ～図３０Ｅに示す第１－１～第１－５の所定画像領域Ｓ２１～Ｓ２５を全て包含した画像領域である。第１の画像領域４１α以外の画像領域は、黒地で表現した通り、第２の画像領域４２α及び第３の画像領域４３αとなる。

図３２は、実施例３の第１の画像領域４１αと、第２の画像領域４２αと、第３の画像領域４３αとを明暗で表現した説明図である。図３２に示す第１の画像領域４１αは、第１－１～第１－５の所定画像領域Ｓ２１～Ｓ２５を全て包含した画像領域である。そして、図３２に示す画像内の第１の画像領域４１αは白地、第２の画像領域４２αは黒地、第１の画像領域４１αと第２の画像領域４２αとの境界である第３の画像領域４３αはグラデーションで表現できる。白地は、輝度が１００％であるため、第１の画像領域４１αであることを示す。黒地は、輝度が０％であるため、第２の画像領域４２αであることを示す。明暗が白である１００％未満、かつ、黒である０％を超えている部分は、第３の画像領域４３であることを示している。この明暗は第１の歪補正により出力される出力座標と画像と第２の歪補正により出力される出力座標とを加重平均し新たな出力座標とする第３の歪補正における加重平均の割合を示している。

割合テーブル３３は、図３２に示すように第１の画像領域４１α、第２の画像領域４２α及び第３の画像領域４３α内の画素毎の加重平均の割合を管理している。尚、第１の画像領域４１αは、例えば、ｎ箇所の取付位置毎に撮像した入力画像内の第１－１～第１－ｎの所定画像領域Ｓ１～Ｓｎを全て包含する範囲とする。つまり、割合テーブル３３は、第１の画像領域４１αを含む画像内の出力座標毎の第１の入力座標と第２の入力座標の加重平均の割合を管理している。

第１の変換部２１は、入力画像内の第１の画像領域４１α内の第１の歪を補正した第１の入力座標の画素値を第１の画像領域４１α内の出力座標の画素値として合成部２５に出力する。第２の変換部２２は、入力画像内の第２の画像領域４２α内の第２の歪を補正した第２の入力座標の画素値を第２の画像領域４２α内の出力座標の画素値として合成部２５に出力する。第３の変換部２４は、第３の変換テーブル３４を参照して、入力画像内の第３の画像領域４３α内の第３の歪を補正した第３の入力座標の画素値を第３の画像領域４３α内の出力座標の画素値として合成部２５に出力する。

合成部２５は、第１の変換部２１からの第１の画像領域４１α内の出力座標の画素値と、第２の変換部２２からの第２の画像領域４２α内の出力座標の画素値と、第３の変換部２４からの第３の画像領域４３α内の出力座標の画素値とを合成した出力画像をナビゲーション装置３に出力する。

図３３Ａは、第１－１のハンドル回転角度時の出力画像の一例を示す説明図である。尚、出力画像は、図３３Ａに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－１のハンドル回転角度位置に応じて所定画像領域Ｓ２１が変更した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－１のハンドル回転角度位置に応じて所定画像領域Ｓ２１が変更した場合でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画する。そして、ナビゲーション装置３は、図３３Ａに示すように、描画後の出力画像を表示装置４に出力する。

また、図３３Ｂは、第１－２のハンドル回転角度時の出力画像の一例を示す説明図である。尚、出力画像は、図３３Ｂに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－２のハンドル回転角度位置に応じて第１－２の所定画像領域Ｓ２２が変更した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－２のハンドル回転角度位置に応じて第１－２の所定画像領域Ｓ２２が変更した場合でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画する。そして、ナビゲーション装置３は、図３３Ｂに示すように、描画後の出力画像を表示装置４に出力する。

また、図３３Ｃは、第１－３のハンドル回転角度時の出力画像の一例を示す説明図である。尚、出力画像は、図３３Ｃに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－３のハンドル回転角度位置に応じて第１－３の所定画像領域Ｓ２３が変更した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－３のハンドル回転角度位置に応じて第１－３の所定画像領域Ｓ２３が変更した場合でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画する。そして、ナビゲーション装置３は、図３３Ｃに示すように、描画後の出力画像を表示装置４に出力する。

また、図３３Ｄは、第１－４のハンドル回転角度時の出力画像の一例を示す説明図である。尚、出力画像は、図３３Ｄに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－４のハンドル回転角度位置に応じて第１‐４の所定画像領域Ｓ２４が変更した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－４のハンドル回転角度位置に応じて第１‐４の所定画像領域Ｓ２４が変更した場合でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画する。そして、ナビゲーション装置３は、図３３Ｄに示すように、描画後の出力画像を表示装置４に出力する。

また、図３３Ｅは、第１－５のハンドル回転角度時の出力画像の一例を示す説明図である。尚、出力画像は、図３３Ｅに示すように第１の歪を補正した第１の画像領域４１αと、第２の歪を補正した第２の画像領域４２αと、第３の歪を補正した第３の画像領域４３αとを含む画像である。出力画像は、例えば、第１の画像領域４１αと第２の画像領域４２αとの間に第３の画像領域４３αが配置されることになる。合成部２５は、第１－５のハンドル回転角度位置に応じて第１－５の所定画像領域Ｓ２５が変更した場合でも、視認性の優れた出力画像を円滑に出力できる。そして、ナビゲーション装置３は、第１－５のハンドル回転角度位置に応じて第１－５の所定画像領域Ｓ２５が変更した場合でも、合成部２５からの出力画像内の第１の画像領域４１α上のエリアに進路線５０を描画する。そして、ナビゲーション装置３は、図３３Ｅに示すように、描画後の出力画像を表示装置４に出力する。

実施例３の撮像装置２Ａでは、ハンドル回転角度位置に応じて変動する各所定画像領域Ｓ２１～Ｓｎを全て包含する範囲を第１の画像領域４１αとし、第１の画像領域４１αを基本にして第２の画像領域４２α及び第３の画像領域４３αを特定する。更に、撮像装置２Ａは、第１の画像領域４１α、第２の画像領域４２α及び第３の画像領域４３α内の画素毎の第１の入力座標及び第２の入力座標の割合を示す割合テーブル３３を生成する。更に、撮像装置２Ａは、割合テーブル３３に基づき、第３の変換テーブル３４を生成する。そして、撮像装置２Ａは、第３の変換テーブル３４を参照し、歪み補正の画像変換処理を実行する。その結果、ハンドル回転角度が第１－１のハンドル回転角度と第１－ｎのハンドル回転角度との間の場合でも、当該ハンドル回転角度で変更した所定画像領域の画像から速やかに第１の歪補正、第２の歪補正及び第３の歪補正を円滑に実現できる。つまり、見やすい歪み補正としては不十分なレンズ自体の歪みだけを補正する部分を最小化でき、自然に見える領域が増えることで視認性を良好に保つことができる。

つまり、撮像装置２Ａでは、第１－１のハンドル回転角度から第１－ｎのハンドル回転角度までの所定画像領域Ｓ２１～Ｓ２ｎから形成した第１の画像領域４１αに基づき、第３の変換テーブル３４を生成する。その結果、第１－１のハンドル回転角度から第１－ｎのハンドル回転角度までの範囲内のハンドル回転角度に応じて所定画像領域が変動した場合でも、第３の変換テーブル３４を参照してハンドル回転角度の変化に順応した視認性の良好な出力画像を出力できる。しかも、表示装置４では、出力座標と入力座標とを対応付けるテーブルがハンドル回転角度毎に備える必要がなくなるため、メモリ容量が小さくして製品のコストアップを抑制できる。

尚、上記実施例３の撮像装置２Ａでは、第１の画像領域４１αを定めるのに、左２回転、左１回転、０回転、右１回転及び右２回転の５個のハンドル回転角度の所定画像領域を例示した。しかしながら、５個のハンドル回転角度の所定画像領域に限定されるものではなく、４個以下又は６個以上であるｎ個のハンドル回転角度の所定画像領域でも良く、適宜変更可能である。

上記実施例３の撮像装置２Ａでは、ハンドルの回転角度の変更に応じて変動する所定画像領域で第１の画像領域４１αを定める場合を例示した。しかしながら、ハンドルの回転角度に限定されるものではなく、例えば、車両速度に応じて所定画像領域の長さや幅が変更する場合にも適用可能であって、適宜変更可能である。車両情報としてハンドル回転角度の変更に応じた所定画像領域を例示したが、車両のタイヤの回転角度の変更に応じた所定画像領域としても良く、適宜変更可能である。

撮像装置２Ａは、例えば、図１８に示す取付位置を考慮した第１の画像領域４１αと、図２４に示すチルト角度位置を考慮した第１の画像領域４１αとを全て包含した第１の画像領域４１αを生成しても良く、適宜変更可能である。

また、撮像装置２Ａは、例えば、図２４に示すチルト角度を考慮した第１の画像領域４１αと、図３１に示すハンドル回転角度を考慮した第１の画像領域４１αとを全て包含した第１の画像領域４１αを生成しても良く、適宜変更可能である。

また、撮像装置２Ａは、例えば、図１８に示す取付位置を考慮した第１の画像領域４１αと、図３１に示すハンドル回転角度を考慮した第１の画像領域４１αとを全て包含した第１の画像領域４１αを生成しても良く、適宜変更可能である。

また、撮像装置２Ａは、例えば、図１８に示す取付位置を考慮した第１の画像領域４１αと、図２４に示すチルト角度を考慮した第１の画像領域４１αと、図３１に示すハンドル回転角度を考慮した第１の画像領域４１αとを全て包含した第１の画像領域４１αを生成しても良く、適宜変更可能である。

撮像装置２Ａでは、例えば、縦列駐車中であることを認識し、全く異なる位置に描画される進路線５０に対応する場合にも適用可能である。

撮像装置２（２Ａ）では、撮像装置２（２Ａ）内のＲＡＭ１５に第３の変換テーブル３４等の記憶部３０を格納した。しかしながら、ＲＡＭ１５に限定されるものではなく、例えば、撮像装置２（２Ａ）と外部接続可能な図示せぬ記憶装置に格納しても良く、適宜変更可能である。

撮像装置２（２Ａ）では、撮像装置２（２Ａ）内のＲＡＭ１５に第１の変換テーブル３１、第２の変換テーブル３２、割合テーブル３３及び第３の変換テーブル３４を格納した。しかしながら、ＲＡＭ１５に限定されるものではなく、例えば、撮像装置２（２Ａ）と外部接続可能な図示せぬ記憶装置に格納しても良く、適宜変更可能である。

撮像装置２（２Ａ）は、第１の変換テーブル３１、第２の変換テーブル３２及び割合テーブル３３を内蔵したが、事前に第３の変換テーブル３４のテーブル内容が格納されている場合には、第３の変換テーブル３４のみの内蔵でも良く、適宜変更可能である。

撮像装置２（２Ａ）では、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３を使用した。しかしながら、出力座標毎に、第１の歪を補正した画素値の第１の入力座標を算出するための関数ｆ、第２の歪を補正した画素値の第２の入力座標を算出するための関数ｇ、第３の歪を補正した画素値の入力座標を算出する（数式１）を記憶しても良い。

この場合、撮像装置２（２Ａ）では、第１の変換テーブル３１、第２の変換テーブル３２、第３の変換テーブル３４及び割合テーブル３３を準備しなくても、関数ｆ、関数ｇ及び数式１で、第１の歪補正、第２の歪補正及び第３の歪補正を施した画素値の入力座標を算出する。そして、撮像装置２（２Ａ）は、第１の歪を補正した第１の画像領域４１内の出力座標の画素値と、第２の歪を補正した第２の画像領域４２内の出力座標の画素値と、第３の歪を補正した第３の画像領域４３内の出力座標の画素値とを含む出力画像をナビゲーション装置３に出力する。

尚、上記実施例では、撮像装置２（２Ａ）内のＲＡＭ１５等に入力画像を記憶したが、撮像装置２（２Ａ）と接続する外部の記憶装置に入力画像を記憶しても良く、適宜変更可能である。

上記実施例では、例えば、第２の歪補正を特許文献１により歪み補正とし説明したが、これらの歪に限定されるものではなく、利用者が見易い他の補正方法を採用してもよい。

上記実施例では、第１の画像領域４１（第１の画像領域４１α）内の第１の歪補正、第２の画像領域４２（第２の画像領域４２α）内の第２の歪補正、第３の画像領域４３（第３の画像領域４３α）内の第３の歪補正を実行する歪補正処理（画像処理）を撮像装置２内の画像処理プロセッサ１３で実行した。しかしながら、撮像装置２と接続する外部装置、例えば、ナビゲーション装置３に歪補正処理を実行しても良く、適宜変更可能である。

上記実施例では、第１の変換部２１で第１の歪補正、第２の変換部２２で第２の歪補正、第３の変換部２４で第３の歪補正を実行した。しかしながら、これら第１の歪補正、第２の歪補正及び第３の歪補正を順不同で順次実行、若しくは並列に実行しても良く、適宜変更可能である。

上記実施例のナビゲーション装置３は、撮像装置２内のディストーションテーブル３１Ａを使用して第１の画像領域４１（第１の画像領域４１α）のエリアに進路線５０を描画したが、ナビゲーション装置３内に第１の変換テーブル３１を別途設けても良く、適宜変更可能である。

上記実施例では、第１の歪を補正した第１の画像領域４１（第１の画像領域４１α）を含む出力画像に進路線５０を描画したが、進路線５０に限定されるものではなく、例えば、固定の進路線等の線を描画しても良く、適宜変更可能である。

２Ａ 撮像装置
１３ 画像処理プロセッサ
２１ 第１の変換部
２２ 第２の変換部
２３ 算出部
２４ 第３の変換部
２５ 合成部
３１ 第１の変換テーブル
３２ 第２の変換テーブル
３３ 割合テーブル
３４ 第３の変換テーブル

Claims (7)

1. 入力画像を画像変換し出力画像を出力する画像処理装置であって、
   前記入力画像の第１の画像領域内の画素毎に第１の歪補正を施し画像として出力する第１の変換部と、
   前記入力画像の第２の画像領域内の画素毎に第２の歪補正を施し画像として出力する第２の変換部と、
   前記入力画像の第３の画像領域内の画素毎に第３の歪補正を施し画像として出力する第３の変換部と、
   前記第１の変換部からの画像出力と、前記第２の変換部からの画像出力と、前記第３の変換部からの画像出力とから前記出力画像を生成し出力する合成部と、
   を有し、
   前記第１の画像領域は、
   異なる撮像範囲の前記入力画像毎の進路線を描画するための所定画像領域を全て包含する画像領域であり、
   前記出力画像は、前記第１の変換部からの出力された画像と前記第２の変換部から出力された画像との間に前記第３の変換部から出力された画像が配置され、前記第１の変換部からの出力された画像は歪曲収差のみを持つ、又は、歪みを持たない画像であることを特徴とする画像処理装置。
2. 前記第１の画像領域は、
   異なる撮像方向から撮像装置が撮像した前記異なる撮像範囲の入力画像毎の前記所定画像領域を全て包含する画像領域であることを特徴とする請求項１に記載の画像処理装置。
3. 車両に取り付けられた前記撮像装置の取付位置を変えて前記異なる撮像方向から前記撮像装置が前記異なる撮像範囲の入力画像を撮像することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の画像領域は、
   前記入力画像の車両情報毎に変動する前記所定画像領域を全て包含する画像領域であることを特徴とする請求項１に記載の画像処理装置。
5. 前記車両情報は、
   車両のハンドルの回転角度の変化又は前記車両のタイヤの回転角度の変化に応じて変動する変化量であることを特徴とする請求項４に記載の画像処理装置。
6. 前記入力画像は、被写体と、被写体からの光を集光するレンズと、前記集光された光が結像する撮像素子とから生成され、
   前記第２の変換部は、
   前記レンズの光軸に向かう直線状の前記被写体と、縦方向に直線の前記被写体とを前記出力画像内でほぼ直線状となり、かつ、横方向に直線の前記被写体を、前記出力画像の中央部分、及び同中央部分と左右に連なる左側部分と右側部分とでほぼ直線状に、また、前記出力画像の中央部分と、左側部分及び右側部分との境目付近で屈曲するように歪補正すること特徴とする請求項１に記載の画像処理装置。
7. 前記第３の変換部は、
   前記入力画像の画素毎に前記第１の歪補正を施し得られた出力と前記第２の歪補正を施し得られた出力とを入力とし、それらを加重平均し出力することを特徴とする請求項１に記載の画像処理装置。

Images