JPWO2003034738A1 - 画像処理装置 - Google Patents

Abstract

画像処理装置には、２種類の撮像装置が接続されている。一方の撮像装置は、車両の周囲の状況を撮影し、他方は、車両の室内の状況を撮影する。プロセッサは、撮像装置からの画像を使って、車両の周囲および室内の双方の状況を表す運転支援画像を作成する。これによって、より多くの情報をドライバに提供できる運転支援画像を作成する画像処理装置を提供することができる。

Description

技術分野
本発明は、画像処理装置に関し、より特定的には、車両に取り付けられた複数の撮像装置により取り込まれた画像を処理する画像処理装置に関する。
背景技術
上記の画像処理装置の一つして、多機能車載カメラシステムがある。多機能車載カメラシステムは、大略的に、第１〜第８の撮像装置と、画像処理部と、第１〜第３の表示装置とを備えている。
第１〜第８の撮像装置はそれぞれ、車両の周囲に取り付けられる。より具体的には、第１の撮像装置は、車両の前方エリアを撮影する。第２の撮像装置は、車両の左斜め前方のエリアを撮影する。第３の撮像装置は、車両の右斜め前方のエリアを撮影する。第４の撮像装置は、車両の左側にあるドアミラーに映るエリアと実質的に同じエリアを撮影する。第５の撮像装置は、車両の右側にあるドアミラーに映るエリアと実質的に同じエリアを撮影する。第６の撮像装置は、車両の左斜め後方のエリアを撮影する。第７の撮像装置は、車両の右斜め後方のエリアを撮影する。第８の撮像装置は、車両の後方エリアを撮影する。
画像処理部は、上記の第１〜第８の撮像装置の内、予め定められたものにより撮影された画像（以下、撮影画像と称する）を合成して、第１〜第３の表示装置のいずれかで表示される画像（以下、表示画像と称する）を作成する。表示画像として、上視点画像、パノラマ画像、全周画像、結合画像及び視野角限定画像の５種類が作成される。
上視点画像は、車両周囲のエリアを上から見下ろした時の画像である。また、パノラマ画像は、複数の撮影画像を繋ぎ合わせた超広角画像である。全周画像は、全撮像装置からの撮影画像を次々と繋ぎ合わせることにより作成され、車両周囲の様子を連続的に表示可能な画像である。結合画像は、不連続なエリアの状況を表す複数の撮影画像を繋ぎ合わせた画像である。なお、複数の撮影画像の境界は、ドライバが明確に視認可能に表現される。視野角限定画像は、第４及び第５の撮像装置による撮影画像から作成され、各ドアミラーと同程度の視野角を有する画像である。
第１〜第３の表示装置は、以上の５種類の画像を、車両の運転状況に応じた適切なタイミングで表示する。
以上のような処理により、多機能車載カメラシステムは、車両の安全運転を支援することができる。なお、以上の多機能車載カメラシステムは既に、欧州特許庁によって公開されており、公開番号はＥＰ １０７７１６１ Ａ２である。
次に、以上の多機能車載カメラシステムが抱えている問題点について説明する。上述の５種類の画像は全て、車両周囲の状況を表している。従って、多機能車載カメラシステムは、車両の室内の状況をドライバに提供することができない。その結果、例えば、同乗者、特に、後部座席の同乗者がシートの正しい位置に座っているか、又はシートベルトを装着しているかを、ドライバは簡単に把握できないという問題点があった。
それ故に本発明の目的は、車内の状況も提供可能な画像処理装置を提供することである。
発明の開示
上記目的を達成するため、本発明の一局面は、画像処理装置であって、車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する第１及び第２のバッファと、第１及び第２のバッファに格納された第１画像及び第２画像に基づいて、車両の周囲及び室内の双方の様子を表す運転支援画像を作成するプロセッサとを備える。
発明を実施するための最良の形態
図１は、本発明の一実施形態に係る画像処理装置Ａ_ＩＰが組み込まれた運転支援装置Ａ_ＤＡの全体構成を示すブロック図である。図１において、運転支援装置Ａ_ＤＡは、車両Ｖ（図３参照）に設置され、５台の撮像装置１〜５と、画像処理装置Ａ_ＩＰと、表示装置６とを備えている。なお、図１では、都合上、撮像装置２〜４の図示を省略している。
次に、図２〜図４を参照して、撮像装置１〜５について詳細に説明する。図２は、各撮像装置１〜５の視野角θ_Ｖ及び視野Ｆ_Ｖ１〜Ｆ_Ｖ５を示す模式図である。図２において、各撮像装置１〜５は好ましくは、１４０°程度の視野角θ_Ｖを有する。なお、視野角θ_Ｖは、撮像装置１〜５の実用性及びコストを考慮して選ばれ、１４０°以外でも構わない。また、撮像装置１〜５の視野角θ_Ｖは互いに異なっていても良いが、本実施形態では便宜上、全ての視野角θ_Ｖは実質的に同じであると仮定する。また、以降の説明では、撮像装置１〜５の視野角θ_Ｖの範囲内を、視野Ｆ_Ｖ１〜Ｆ_Ｖ５と称する。
また、図３は、路面Ｓ_Ｒ上に静止する車両Ｖの斜視図であり、以降の説明で必要となる３次元空間座標系を説明するための図である。なお、説明の便宜のため、路面Ｓ_Ｒは水平面と仮定する。図３において、３次元空間座標系は、Ｘ軸、Ｙ軸及びＺ軸からなる。Ｘ軸は、鉛直面Ｐ_Ｖと路面Ｓ_Ｒとの交線からなる。鉛直面Ｐ_Ｖは、車両Ｖの縦中心面Ｐ_ＬＭに直交し、かつ車両Ｖの後端に接する平面である。縦中心面Ｐ_ＬＭは、直進姿勢にある車両Ｖの左右の車輪間の中点を通る鉛直面である。Ｙ軸は、縦中心面Ｐ_ＬＭと鉛直面Ｐ_Ｖとの交線からなる。Ｚ軸は、縦中心面Ｐ_ＬＭと路面Ｓ_Ｒとの交線からなる。
さらに、図４は、上記撮像装置１〜５を設置例を示す模式図である。また、図４には、説明の便宜のため、上記車両Ｖの上面（上段に図示）及び側面（下段に図示）が描かれている。図４に示すように、撮像装置１は好ましくは、車両Ｖの右後ろ角付近に設置される。より具体的には、撮像装置１のレンズ１１の頂点が上記３次元空間座標系において、座標値（Ｘ_１，Ｙ_１，０）に位置するように、撮像装置１は設置される。以上のレンズ１１の頂点位置から、撮像装置１の光軸Ａ_Ｐ１は、車両Ｖの後方右側のエリアへと向かい、路面Ｓ_Ｒと交差する。より具体的には、光軸Ａ_Ｐ１は、Ｙ−Ｚ平面に対して角度α_１で交差し、さらに、Ｘ−Ｚ平面と角度β_１で交差する。以上のような位置において、撮像装置１は、図１に示すように、車両Ｖの後方右側のエリアを撮影して画像（以下、撮影画像と称する）Ｉ_Ｃ１を作成し、画像処理装置Ａ_ＩＰに送る。
ここで、図５の（ａ）は、上記撮影画像Ｉ_Ｃ１の模式図である。図５の（ａ）において、撮影画像Ｉ_Ｃ１は、予め定められた個数の画素Ｐ_Ｃ１からなる。各画素Ｐ_Ｃ１の位置は、Ｕ_Ｃ軸及びＶ_Ｃ軸を有する第１の視平面座標系における座標値（Ｕ_Ｃ，Ｖ_Ｃ）により特定される。なお、説明の便宜上、撮影画像Ｉ_Ｃ１は、図５（ａ）には代表的に、１つの画素Ｐ_Ｃ１のみが図示されている。
次に、角度α_１の好ましい値について説明する。車両Ｖの運転支援のために、撮像装置１は、ドライバの死角エリアを撮影することが要求される。もし角度α_１が０°に近ければ、撮像装置１は、上記死角エリアとなる車両Ｖの後端直下のエリアを撮影できなくなる。逆に角度α_１が９０°に近ければ、撮像装置１は、上記死角エリアとなる車両Ｖの右側後方のエリアを撮影できなくなる。以上の点や、周囲の撮像装置２及び４の撮影エリアを考慮して、角度α_１は適切な値に設定される。例えば、視野角θ_Ｖが上述のように１４０°程度の場合には、α_１は２０°程度に設定されることが好ましい。
次に、角度β_１の好ましい値について説明する。上述のように、撮像装置１はドライバの死角エリアを撮影することが要求される。もし角度β_１が０°に近ければ、撮像装置１は車両Ｖから離れたエリアしか撮影することができない。つまり、撮像装置１は、車両Ｖの後端直下のエリアを撮影できなくなる。また、一般的に、ドライバは、車両Ｖの進路を遮る障害物を避けて運転するので、障害物は車両Ｖからある程度離れた位置に存在する。従って、角度β_１が９０°に近い場合、撮像装置１は車両Ｖに極めて近いエリアしか撮影することができない。つまり、この場合、撮像装置１は、障害物を撮影し難くなる。以上の点や、周囲の撮像装置２及び４の撮影エリアとを考慮して、角度β_１は適切な値に設定される。視野角θ_Ｖが上述のように１４０°程度の場合には、角度β_１は３０°〜７０°程度に設定されることが好ましい。
また、図４に示すように、撮像装置２は好ましくは、車両Ｖの右側のドアミラーに設置される。より具体的には、撮像装置２のレンズ２１の頂点が上記３次元空間座標において、座標値（Ｘ_２，Ｙ_２，Ｚ_１）に位置するように、撮像装置２は設置される。以上のレンズ２１の頂点位置から、撮像装置２の光軸Ａ_Ｐ２は、車両Ｖの右側後方のエリアへと向かい、Ｚ−Ｘ平面（つまり、路面Ｓ_Ｒ）と交差する。より具体的には、光軸Ａ_Ｐ２は、Ｙ−Ｚ平面と角度α_２で交差し、さらに、Ｘ−Ｚ平面と角度β_２で交差する。ここで、角度α_２及びβ_２は、撮像装置２の設置位置等を考慮して設定され、角度α_２は例えば、３０°〜４５°程度に設定される。また、角度β_２は例えば、２０°〜７０°程度に設定される。以上のような位置において、撮像装置２は、車両Ｖの右側後方のエリアを撮影して、図５の（ｂ）に示すような画像（以下、撮影画像と称する）Ｉ_Ｃ２を作成し、画像処理装置Ａ_ＩＰに送る。ここで、撮影画像Ｉ_Ｃ２を構成する画素を、以下の説明では、画素Ｐ_Ｃ２と称する。各画素Ｐ_Ｃ２は、画素Ｐ_Ｃ１の場合と同様に、第１の視平面座標系の座標値（Ｕ_Ｃ，Ｖ_Ｃ）で特定される。
なお、図４から明らかなように、撮像装置３は、Ｙ−Ｚ平面を基準にして、撮像装置２と面対称な位置に設置される。撮像装置４は、Ｙ−Ｚ平面を基準として、撮像装置１と面対称な位置に設置される。このような位置において、撮像装置３は、車両Ｖの左側後方のエリアを撮影して、図６の（ａ）に示すような画像（以下、撮影画像と称する）Ｉ_Ｃ３を作成し、撮像装置４は、車両Ｖの後方右側のエリアを撮影して、図６の（ｂ）に示すような画像（以下、撮影画像と称する）Ｉ_Ｃ４を作成する。これら撮影画像Ｉ_Ｃ３及びＩ_Ｃ４もまた、画像処理装置Ａ_ＩＰに送られる。
また、図４に示すように、撮像装置５は、車両Ｖの室内、より具体的にはルームミラー（インサイドミラー）に設置される。さらに具体的には、撮像装置５のレンズ５１の頂点が上記３次元空間座標において、座標値（０，Ｙ_３，Ｚ_２）に位置するように、撮像装置５は設置される。以上のレンズ５１の頂点位置から、撮像装置５の光軸Ａ_Ｐ５は、室内の後部座席の方向に向かい、Ｚ−Ｘ平面と交差する。より具体的には、光軸Ａ_Ｐ５は、Ｙ−Ｚ平面と平行であり、かつＸ−Ｚ平面と角度β_５で交差する。ここで、角度β_５は、撮像装置５が、車両Ｖの室内全体を撮影できるように、適切な値に設定される。上記のように、撮像装置５の視野角θ_Ｖが１４０°程度の場合、角度β_５は２０°〜７０°程度であることが好ましい。このような位置において、撮像装置５は、車両Ｖの室内全体を撮影して、図７（ａ）に示すような画像（以下、撮影画像と称する）Ｉ_Ｃ５を作成し、画像処理装置Ａ_ＩＰに送る。
画像処理装置Ａ_ＩＰは、図１に示すように、プロセッサ８と、作業領域９と、プログラムメモリ１０とを備えている。プロセッサ８は、プログラムメモリ１０に格納されているコンピュータプログラム（以下、単にプログラムと称する）１０１に従って動作する。その結果、プロセッサ８は、上述の撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ５を使って、運転支援画像Ｉ_ＤＡを作成する。
作業領域９は典型的には、ランダムアクセスメモリで構成され、運転支援画像Ｉ_ＤＡの作成時にプロセッサ８により使用される。作業領域９は、図８に示すように、撮影画像用のバッファ９１〜９５と、運転支援画像用のバッファ９６とからなる。バッファ９１は、撮像装置１に割り当てられており、撮像装置１の撮影画像Ｉ_Ｃ１（図５の（ａ）参照）を格納する。つまり、バッファ９１は、第１の視平面座標系の各座標値（Ｕ_Ｃ，Ｕ_Ｃ）毎に、撮影画像Ｉ_Ｃ１を構成する各画素Ｐ_Ｃ１の値を格納可能に構成される。同様に、バッファ９２〜９５は、撮像装置２〜５に割り当てられており、撮影画像Ｉ_Ｃ２〜Ｉ_Ｃ５を格納する。また、以上のバッファ９１〜９５には、それぞれを一意に特定できるよう、互いに重複しない識別番号ＩＤが割り当てられる。本実施形態では、バッファ９１〜９５には、識別番号ＩＤとして＃１〜＃５が割り当てられると仮定する。なお、バッファ９１〜９５は、撮像装置１〜５に割り当てられるので、識別番号ＩＤとしての＃１〜＃５は撮像装置１〜５も一意に特定する。
また、運転支援画像Ｉ_ＤＡは、図７の（ｂ）に示すように、仮想カメラＣ_Ｖ（図９参照）から、車両Ｖの室内及び外部の双方の様子を表す。仮想カメラＣ_Ｖの位置は、車両Ｖの室内であればどこでも構わないが、本実施形態では、車両Ｖのルームミラー近傍に選ばれている。なお、仮想カメラＣ_Ｖの位置をルームミラー近傍にするのは、車両Ｖのドライバは、ルームミラーに映る像を見慣れていると想定できるので、運転支援画像Ｉ_ＤＡをドライバが受け入れ易いと想定できるからである。より具体的には、撮像装置５と実質的に同じ位置に、仮想カメラＣ_Ｖは置かれる。また、仮想カメラＣ_Ｖの光軸Ａ_Ｖは、３次元座標空間におけるＹ−Ｚ平面と平行であり、かつＸ−Ｚ平面と角度β_５で交差する。
また、単純に仮想カメラＣ_Ｖを位置及び向きを撮像装置５と同じにしただけでは、運転支援画像Ｉ_ＤＡは、撮影画像Ｉ_Ｃ５と同じものになってしまう。つまり、運転支援画像Ｉ_ＤＡにおいて車両Ｖの周囲の状況は、ドアに代表される車両Ｖの構成により遮られて隠れてしまい、本願で設定された目的を十分に達成できない。そのため、後述するブレンディング処理により、運転支援画像Ｉ_ＤＡにおいて、車両Ｖの大部分は半透明で描かれ、これによって、運転支援画像Ｉ_ＤＡは、図７の（ｂ）に示すように、車両Ｖの外部の状況をドライバに提供する事が可能になる。なお、以下の説明では、運転支援画像Ｉ_ＤＡにおいて、ブレンディング処理により半透明で描かれる領域を混合エリアＲ_ＭＸ（左下がりの斜線領域）と定義し、そうでない領域を非混合エリアＲ_ＮＢ（右下がりの斜線領域）と定義する。混合エリアＲ_ＭＸは、車両Ｖの外部及び室内の双方の様子が描かれるエリアであり、非混合エリアＲ_ＮＢは、車両Ｖの室内の様子のみが描かれるエリアである。このように非混合エリアＲ_ＮＢができてしまうのは、撮像装置１〜５は上述のように配置されるので、車両Ｖの全周囲を完全に撮影することはできないからである。例えば、車両Ｖのフロア直下については撮影できない。また、撮像装置１〜５の位置は決まっているので、混合エリアＲ_ＭＸ及び非混合エリアＲ_ＮＢが運転支援画像Ｉ_ＤＡにおいてどの範囲を占めるかは、予め定まる。
また、図７の（ｂ）において、運転支援画像Ｉ_ＤＡは、第２の視平面座標系の座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）で特定される、（Ｎ_Ｕ×Ｎ_Ｖ）個の画素Ｐ_ＤＡから構成される。ここで、Ｎ_Ｕ及びＮ_Ｖの双方は自然数である。また、便宜上、運転支援画像Ｉ_ＤＡは、Ｕ_ＤＡ軸の方向にＮ_Ｕ個の画素Ｐ_ＤＡが並び、Ｖ_ＤＡ軸の方向にＮ_Ｖ個の画素Ｐ_ＤＡ軸上が並ぶ長方形状のものであると仮定する。
図８に示すバッファ９６は、以上の運転支援画像Ｉ_ＤＡをプロセッサ８が作成する際に使用され、上述の（Ｎ_Ｕ×Ｎ_Ｖ）個の画素Ｐ_ＤＡの値を格納可能に構成される。
また、図１において、プログラムメモリ１０は典型的には、リードオンリーメモリで構成され、少なくとも、上述のプログラム１０１と、マッピングテーブル１０２とを含んでいる。プログラム１０１には、プロセッサ８による画像処理の手順が少なくとも記述される。この処理手順については、図１２及び図１３を参照して、後で詳説する。
次に、マッピングテーブル１０２について詳説する。プロセッサ８は、後述するように、画像処理において、撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ５から、いくつかの画素Ｐ_Ｃ１〜Ｐ_Ｃ５を選択し、選択した画素Ｐ_Ｃ１〜Ｐ_Ｃ５を使って運転支援画像Ｉ_ＤＡを作成する。この選択・作成時に、マッピングテーブル１０２が参照される。例えば、プロセッサ８は、マッピングテーブル１０２に従って、図１０に示すように、撮影画像Ｉ_Ｃ５における画素Ｐ_Ｃ５１の値から、上記非混合エリアＲ_ＮＢにおける、ある画素Ｐ_ＤＡ１の値を決定する。同様にして、撮影画像Ｉ_Ｃ２における画素Ｐ_Ｃ２１の値、及び撮影画像Ｉ_Ｃ５における画素Ｐ_Ｃ５２の値が予め定められた比率Ｒ_ＢＲで混合されることで、上記混合エリアＲ_ＭＸにおける、他の画素Ｐ_ＤＡ２の値が決定される。なお、以下の説明では、比率Ｒ_ＢＲのことを、ブレンド比Ｒ_ＢＲと称する。上述以外の画素Ｐ_ＤＡの値もまた、同じようにして決定される。
ここで注意を要するのは、上述のように運転支援画像Ｉ_ＤＡは、仮想カメラＣ_Ｖ（図９参照）から見た時の車両Ｖの室内及び、車両Ｖの外部の様子を表しており、撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ４は、撮像装置１〜４から車両Ｖの周囲を見た時の様子を表す。従って、撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ４から、運転支援画像Ｉ_ＤＡを作成する際には、視点変換処理が行われる必要があるが、画像処理装置Ａ_ＩＰでは、国際公開ＷＯ００／０７３７３号公報に開示されている技術を応用する。その結果、マッピングテーブル１０２を参照して、プロセッサ８が画素Ｐ_Ｃ１〜Ｐ_Ｃ５の中からいくつかを選択すると同時に、視点変換処理が行われる。
各画素Ｐ_ＤＡの値を決定可能にするために、マッピングテーブル１０２には、各画素Ｐ_ＤＡの値が、どの画素Ｐ_Ｃ１〜Ｐ_Ｃ５の値を使って決定されるかが記述される。ここで、図１１は、マッピングテーブル１０２の一構成例を示す模式図である。図１１において、マッピングテーブル１０２は、（Ｎ_Ｕ×Ｎ_Ｖ）個の単位レコードＵＲから構成される。単位レコードＵＲのそれぞれは、互いに重複しない一つの画素Ｐ_ＤＡに一意に割り当てられ、レコード種別Ｔ_ＵＲと、第２の視平面座標系の座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）と、少なくとも１組の識別番号ＩＤ及び第１の視平面座標系の座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）と、ブレンド比Ｒ_ＢＲとを含む。
レコード種別Ｔ_ＵＲは、自身を含む単位レコードＵＲの種類を典型的には、「１」及び「２」のいずれか一方の番号で示す。本実施形態では、便宜上、「１」は、上述のブレンディングが不要であることを示す、「２」は、ブレンディングが必要であることを示す。従って、上述の非混合エリアＲ_ＮＢに属する画素Ｐ_ＤＡに割り当てられる単位レコードＵＲにおいて、レコード種別Ｔ_ＵＲの欄には、「１」が記述される。また、混合エリアＲ_ＭＸに属するものの単位レコードＵＲにおいて、レコード種別Ｔ_ＵＲの欄には「２」が記述される。
座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）は、自身を含む単位レコードＵＲがどの画素Ｐ_ＤＡに割り当てられているかを示す。
識別番号ＩＤ及び座標値（Ｕ_Ｃ，Ｖ_Ｃ）については上述した通りである。ここで注意を要するのは、画素Ｐ_ＤＡの値は、同じ単位レコードＵＲの識別番号ＩＤ及び座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）の組み合わせにより一意に特定される、画素Ｐ_Ｃ１〜Ｐ_Ｃ５のいずれか１つ又は２つの値を使って決定される点である（図９参照）。他にも注意を要するのは、同じ単位レコードＵＲのレコード種別Ｔ_ＵＲが「１」の場合には、識別番号ＩＤ及び座標値（Ｕ_Ｃ，Ｖ_Ｃ）の組み数は１つであり、それが「２」の場合には、識別番号ＩＤ及び座標値（Ｕ_Ｃ，Ｖ_Ｃ）の組み数は２つである。
また、ブレンド比Ｒ_ＢＲは、その値を含む単位レコードＵＲに記述される画素Ｐ_ＤＡの値を決定するためのパラメータである。本実施形態では、好ましい例として、ブレンド比Ｒ_ＢＲは、レコード種別Ｔ_ＵＲが「２」である単位レコードＵＲにのみ記述され、より具体的には、識別番号ＩＤ及び座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）の組みの一方にのみ割り当てられる。ここで、割り当てられたブレンド比Ｒ_ＢＲをα（０＜α＜１）とおくと、識別番号ＩＤ及び座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）の組みの他方のブレンド比Ｒ_ＢＲは（１−α）となる。
表示装置６は、画像処理装置Ａ_ＩＰにより作成された運転支援画像Ｉ_ＤＡを表示する。
次に、図１２のフローチャートを参照して、画像処理装置Ａ_ＩＰの動作について説明する。運転支援装置Ａ_ＤＡの起動後、プロセッサ８は、プログラムメモリ１０内のプログラム１０１の実行を開始する。そして、所定のタイミング（例えば３０ｍｓ毎）で、プロセッサ８は、好ましくは１つの撮像指示Ｃ_ＩＣを作成し、全ての各撮像装置１〜５に送信する（ステップＳ１）。本実施形態では、撮像指示Ｃ_ＩＣは、全撮像装置１〜５に対して撮像を指示するための命令である。各撮像装置１〜５は、撮像指示Ｃ_ＩＣの受信に応答して、上述の撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ５を作成して、作業領域９に転送する。その結果、バッファ９１〜９５には、撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ５が格納される（ステップＳ２）。
なお、本実施形態では、各撮像装置１〜５は、撮像指示Ｃ_ＩＣに応答して、撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ５を作成し、それぞれをバッファ９１〜９５に格納する。しかし、これに限らず、各撮像装置１〜５は、予め定められたタイミングで、撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ５を自発的又は能動的に作成して、バッファ９１〜９５に格納するようにしても良い。
次に、プロセッサ８は、プログラムメモリ１０のマッピングテーブル１０２に従って画像処理を行う。つまり、プロセッサ８は、バッファ９１〜９５に格納されている撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ５を使って、運転支援画像Ｉ_ＤＡをバッファ９５上で作成する（ステップＳ３）。
ここで、図１３は、ステップＳ３の詳細な処理手順を示すフローチャートである。図１３において、プロセッサ８は、マッピングテーブル１０２の中から、未選択の単位レコードＵＲを１つ選択し、選択したものから、レコード種別Ｔ_ＵＲを取り出す（ステップＳ２１）。そして、プロセッサ８は、今回取り出したものが「１」か否かを判断する（ステップＳ２２）。
レコード種別Ｔ_ＵＲが「１」の場合、上述したようにブレンディングは不要であり、今回選択した単位レコードＵＲには、１組みの識別番号ＩＤ及び座標値（Ｕ_Ｃ，Ｖ_Ｃ）が記述されている。プロセッサ８は、ステップＳ２２でレコード種別Ｔ_ＵＲが「１」であると判断した場合、今回の単位レコードＵＲから、識別番号ＩＤ及び座標値（Ｕ_Ｃ，Ｖ_Ｃ）を読み出す（ステップＳ２３）。次に、プロセッサ８は、バッファ９１〜９５の中から、今回読み出した識別番号ＩＤで特定されるものにアクセスし、さらに、今回アクセスしたもの（バッファ９１〜９５のいずれか）から、今回読み出した座標値（Ｕ_Ｃ，Ｖ_Ｃ）で特定される画素Ｐ（画素Ｐ_Ｃ１〜Ｐ_Ｃ５のいずれか）の値を取り出す（ステップＳ２４）。次に、プロセッサ８は、今回の単位レコードＵＲから、座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）を読み出す（ステップＳ２５）。そして、プロセッサ８は、画素Ｐ_Ｃ１〜Ｐ_Ｃ５の内、今回取り出した値を、今回選択した単位レコードＵＲに記述される座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）で特定される画素Ｐ_ＤＡの値とする。つまり、プロセッサ８は、バッファ９６において座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）で特定される画素Ｐ_ＤＡの値を格納する領域に、ステップＳ２３で取り出した画素Ｐ_Ｃ１〜Ｐ_Ｃ５のいずれかをそのまま格納する（ステップＳ２６）。
一方、ステップＳ２２で、今回のレコード種別Ｔ_ＵＲが「２」と判断した場合には、今回の単位レコードＵＲから、識別番号ＩＤ及び座標値（Ｕ_Ｃ，Ｖ_Ｃ）と、それと同じ組みのブレンド比Ｒ_ＢＲとを読み出す（ステップＳ２７）。次に、プロセッサ８は、バッファ９１〜９５の中から、今回読み出した識別番号ＩＤで特定されるものにアクセスし、さらに、今回アクセスしたもの（バッファ９１〜９５のいずれか）から、今回読み出した座標値（Ｕ_Ｃ，Ｖ_Ｃ）で特定される画素Ｐ（画素Ｐ_Ｃ１〜Ｐ_Ｃ５のいずれか）の値を取り出す（ステップＳ２８）。その後、プロセッサ８は、今回取り出した画素Ｐ_Ｃ１〜Ｐ_Ｃ５のいずれかに、今回読み出したブレンド比Ｒ_ＢＲを乗算し、その乗算値Ｍ_Ｐ×Ｒを作業領域９で保持する（ステップＳ２９）。次に、プロセッサ８は、今回選択した単位レコードＵＲに、未選択の組み合わせ（識別番号ＩＤ及び座標値（Ｕ_Ｃ，Ｖ_Ｃ））が残っているか否かを判断する（ステップＳ２１０）。未選択の組み合わせがあれば、プロセッサ８は、それ及びブレンド比Ｒ_ＢＲを読み出して（ステップＳ２１１）、ステップＳ２８を行う。それに対して、未選択の組み合わせがなければ、プロセッサ８は、ステップＳ２１２を行う。
プロセッサ８がステップＳ２１０で未選択の組み合わせが無いと判断した時点で、作業領域９には、複数の乗算値Ｍ_Ｐ×Ｒが格納されていることになる。プロセッサ８は、複数の乗算値Ｍ_Ｐ×Ｒの総計Ｖ_ＳＵＭを計算し（ステップＳ２１２）、今回の単位レコードＵＲから、座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）を読み出す（ステップＳ２１３）。プロセッサ８は、ステップＳ２１２で算出した総計Ｖ_ＳＵＭを、ステップＳ２１３で読み出した座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）で特定される画素Ｐ_ＤＡの値とする。つまり、プロセッサ８は、バッファ９６において、座標値（Ｕ_ＤＡ，Ｖ_ＤＡ）で特定される画素Ｐ_ＤＡの値を格納する領域に、今回算出した総計Ｖ_ＳＵＭを格納する（ステップＳ２１４）。
以上のステップＳ２６又はＳ２１４が終了すると、プロセッサ８は、未選択の単位レコードＵＲが残っているか否かを判断し（ステップＳ２１５）、未選択のものが残っていれば、ステップＳ２１を行い、運転支援画像Ｉ_ＤＡを構成する各画素Ｐ_ＤＡの値を決定していく。つまり、プロセッサ８は、全ての単位レコードＵＲを選択し終えるまで、ステップＳ２１５までの処理を行う。その結果、バッファ９６には、１フレームの運転支援画像Ｉ_ＤＡが完成し、プロセッサ８は、ステップＳ２から抜ける。
次に、プロセッサ８は、バッファ９６上に作成された運転支援画像Ｉ_ＤＡを表示装置６に転送する（ステップＳ４）。表示装置６は、受信した運転支援画像Ｉ_ＤＡを表示する。画像処理装置Ａ_ＩＰでは、以上のステップＳ１からＳ４までの一連の処理が繰り返し実行される。また、以上の運転支援画像Ｉ_ＤＡを見ることで、車両Ｖの室内の様子及び車両Ｖの外部の様子の双方をドライバは視認できる。より具体的には、ドライバは、車両Ｖの周囲において、自身の死角領域の状況を把握することができ、同時に、他の乗員が座席に安全な姿勢で座っているかを確認することが可能となる。これによって、従来よりも安全な運転を支援可能な運転支援画像Ｉ_ＤＡを作成できる画像処理装置Ａ_ＩＰを提供することができる。
なお、以上の実施形態では好ましい例として、運転支援画像Ｉ_ＤＡは、仮想カメラＣ_Ｖから見たとき車両Ｖの外部及び内部の様子を表していた。これにより、例えば、車両Ｖの外部に障害物があったとしても、ドライバは、その障害物の車両Ｖに対する位置を直感的に理解することができる。しかし、画像処理装置Ａ_ＩＰは、図７の（ｂ）に示す以外にも、例えば、図１４の（ａ）に示すように、車両Ｖの内部及び外部の様子が別々に描かれた運転支援画像Ｉ_ＤＡを作成しても良い。
また、以上の実施形態では好ましい例として、撮像装置１〜５は図４に示すように設置されていたが、これに限らず、別の位置に取り付けられても良い。また、撮像装置の台数も５台に限らず、５台を超えていても良いし、それ未満であっても良い。
次に、図１５は、図１の運転支援装置ＡＤＡの変型例に係る運転支援装置Ａ_ＤＡ１の構成を示すブロック図である。図１５において、運転支援装置Ａ_ＤＡ１は、運転支援装置Ａ_ＤＡと比較すると、いくつかの着座センサ１１及び／又はいくつかの装着センサ１２をさらに備える点で相違する。それ以外に両運転支援装置Ａ_ＤＡ及びＡ_ＤＡ１の間に構成面での相違点は無いので、図１５において、図１の構成に相当するものには同一の参照符号を付け、それぞれの説明を省略する。
着座センサ１１は、車両Ｖの各席に取り付けられ、プロセッサ８からの指示に応答して、自身が取り付けられている座席（以下、対象座席と称する）に乗員が座っているか否かを検出して、検出結果を通知するための通知信号Ｄ_ＳＴをプロセッサ８に送信する。
装着センサ１２は、上述の対象座席用のシートベルトに１つずつ取り付けられ、プロセッサ８からの指示に応答して、自身が取り付けられているシートベルトが着用されているか否かを検出して、検出結果を通知するための通知信号Ｄ_ＳＢをプロセッサ８に送信する。
次に、図１６のフローチャートを参照して、図１５のプロセッサ８の動作を説明する。図１６は、図１２と比較すると、ステップＳ５〜Ｓ８をさらに含む点で相違する。それ以外に両フローチャートの間には相違点はないので、図１６において、図１２のステップに相当するものには、同じステップ番号を付けて、その説明を省略する。
図１６において、ステップＳ３の終了後、プロセッサ８は、各着座センサ１１から通知信号Ｄ_ＳＴを受け取る（ステップＳ５）。さらに、プロセッサ８は、各装着センサ１２から通知信号Ｄ_ＳＢを受け取る（ステップＳ６）。
次に、プロセッサ８は、受け取った通知信号Ｄ_ＳＴおよびＤ_ＳＢを使って、乗員が座っているが、シートベルトが着用されていない座席（以下、警告対象座席と称する）の有無を判断する（ステップＳ７）。より具体的には、各通知信号Ｄ_ＳＴが示す検出結果から、プロセッサ８は、現在乗員が座っている座席（以下、使用座席と称する）を特定する。さらに、各通知信号Ｄ_ＳＢが示す検出結果から、プロセッサ８は、現在シートベルトが着用されていない座席（以下、非着用座席と称する）を特定する。プロセッサ８は、利用座席でありかつ非着用座席でもある警告対象座席があるか無いかを判断する。そして、プロセッサ８は、そのような警告対象座席がないと判断すると、ステップＳ８を行う事無く、ステップＳ４を行う。
それに対して、プロセッサ８は、ステップＳ７において、１つ以上の警告対象座席があると判断した場合、人間の顔に類似した形を表すマーク画像Ｄ_ＭＫを、運転支援画像Ｉ_ＤＡにおける所定位置に重畳し（ステップＳ８）、その結果、図１４の（ｂ）に示すような運転支援画像Ｉ_ＤＡが作成される。なお、マーク画像Ｄ_ＭＫの重畳位置は、運転支援画像Ｉ_ＤＡにおいて、警告対象座席に座る乗員の顔があると想定される位置を意味する。このような所定位置は、撮像装置１〜５が車両Ｖに固定されるので、予め導出しておくことが可能である。以上のステップＳ８が終了すると、プロセッサ８は、ステップＳ４を行う。
以上のように、本変型例では、運転支援画像Ｉ_ＤＡ上にマーク画像Ｄ_ＭＫが重畳されるので、ドライバは、シートベルトを着用していない乗員を簡単に視認することができる。
次に、図１７は、上述の画像処理装置Ａ_ＩＰが組み込まれた車両用画像記録装置Ａ_ＲＥＣの全体構成を示すブロック図である。図１７において、画像記録装置Ａ_ＲＥＣは、上述のの運転支援装置Ａ_ＤＡと比較すると、外部記憶装置１３と、タイマ１４と、送信装置１５と、ロケータ１６と、衝撃センサ１７とをさらに備える点で相違する。それ以外に、両者の間に構成面での相違点は無いので、図１７において、図１の構成に相当するものには同一の参照符号を付け、それぞれの説明を省略する。
外部記憶装置１３は、不揮発性の記憶装置であり、画像処理装置Ａ_ＩＰのバッファ９６から転送されてくる運転支援画像Ｉ_ＤＡを、車両Ｖの室内状況及び周囲状況の双方を表す車両状況画像Ｉ_ＶＳとして格納する。さらに、外部記憶装置１３には、車両状況画像Ｉ_ＶＳと共に、タイマ１４により計時された現在時刻Ｔ_Ｃが日時情報Ｄ_ｄｄとして格納される。タイマ１４は、プロセッサ８の指示に応答して、自身が計る現在時刻Ｔ_Ｃを画像処理装置Ａ_ＩＰに送信する。以上の現在時刻Ｔ_Ｃは、本実施形態では、年月日も含むものとし、上述のように、車両状況画像Ｉ_ＶＳと共に外部記憶装置１３に記録される。送信装置１５は、典型的には携帯電話からなり、プロセッサ８の指示に応答して動作し、少なくとも、バッファ９６に作成される運転支援画像Ｉ_ＤＡを、上述の車両状況画像Ｉ_ＶＳとして車両Ｖの外部に送信する。詳細は後述するが、車両状況画像Ｉ_ＶＳの送信先としては、警察署および／または救急センタに代表される施設が典型的である。ロケータ１６は典型的には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の受信機からなり、車両Ｖの現在位置Ｄ_ＣＰを導出する。なお、本実施形態では、便宜上、ロケータ１６はＧＰＳ受信機からなるとして説明を続けるが、周知のように、ＧＰＳ受信機による現在位置Ｄ_ＣＰは誤差を含む。そのため、ロケータ１６は、自律航法センサを含んでいても良い。以上の現在位置Ｄ_ＣＰは好ましくは、車両状況画像Ｉ_ＶＳと共に送信装置１５から車両Ｖの外部に送信される。衝撃センサ１７は典型的には、シートベルトを補助するＳＲＳ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｒｅｓｔｒａｉｎｔ Ｓｙｓｔｅｍ）エアバッグシステムで使用される加速度センサであり、車両Ｖへの衝撃度を検出する。そして、衝撃センサ１７は、検出した衝撃度が所定の基準値を超える場合に、車両Ｖが交通事故に巻き込まれたとみなして、そのことを示す通知信号Ｄ_ＴＡをプロセッサ８に送信する。
次に、図１８のフローチャートを参照して、図１７のプロセッサ８の動作について説明する。図１８は、図１２のフローチャートと比較すると、ステップＳ４の代わりにステップＳ９を含む点で相違する。それ以外に両フローチャートの間に相違点は無い。そのため、図１８において、図１２のステップに相当するものには同一の参照符号を付け、それぞれの説明を省略する。
ステップＳ３の次に、プロセッサ８はさらに、バッファ９６に作成した運転支援画像Ｉ_ＤＡを、表示装置６及び外部記憶装置１３に転送する（ステップＳ９）。表示装置６は、前述と同様、受信した運転支援画像Ｉ_ＤＡを表示する。また、外部記憶装置１３は、受信した運転支援画像Ｉ_ＤＡを、車両状況画像Ｉ_ＶＳとしてを記憶する。以上の車両状況画像Ｉ_ＶＳの記録により、運転中における車両Ｖの周囲および室内の双方の状況が外部記憶装置１３に記録されることになる。そのため、万が一、車両Ｖが交通事故に巻き込まれた場合に、旅客機のフライトレコーダと同じように、外部記憶装置１３内の車両状況画像Ｉ_ＶＳを、その通事故の原因究明に役立てることができる。また、画像記録装置Ａ_ＲＥＣでは、複数の撮像装置１〜５が作成した撮影画像Ｉ_Ｃ１〜Ｉ_Ｃ５をそのまま外部記憶装置１３に格納するのでは無く、それらを１つにまとめた車両状況画像Ｉ_ＶＳを格納する。したがって、小容量の外部記憶装置１３を画像記録装置Ａ_ＲＥＣに組み込むことが可能となる。これによって、車両Ｖの室内という狭い空間を有効に利用できる。
なお、ステップＳ９において、より好ましくは、プロセッサ８は、まず、タイマ１８から現在時刻Ｔ_Ｃを受け取る。その後、プロセッサ８は、バッファ９６上の運転支援画像Ｉ_ＤＡに加えて、受信現在時刻Ｔ_Ｃを外部記憶装置１３に転送する。外部記憶装置１３は、受信した運転支援画像Ｉ_ＤＡ及び現在時刻Ｔ_Ｃの双方を格納する。これによって、車両Ｖが巻き込まれた交通事故の発生時刻Ｔ_Ｃの特定に役立てることができる。
また、衝撃センサ１７は、上述したように、自身が検出した衝撃度が所定の基準値を超える場合に、車両Ｖが交通事故に巻き込まれたことを示す通知信号Ｄ_ＴＡをプロセッサ８に送信する。プロセッサ８は、通知信号Ｄ_ＴＡの受信に応答して、図１９に示すような割り込み処理を実行する。図１９において、プロセッサ８は、ロケータ１６から車両Ｖの現在位置Ｄ_ＣＰを受け取る（ステップＳ３１）。その後、プロセッサ８は、その時点でバッファ９６に格納されている車両状況画像Ｉ_ＶＳ、および受信した現在位置Ｄ_ＣＰの双方を送信装置１５に転送する（ステップＳ３２）。送信装置１５は、受信した車両状況画像Ｉ_ＶＳ、および受信した現在位置Ｄ_ＣＰの双方を、車両Ｖの外部（遠隔）に位置する救急センタおよび／または警察署に送信する。救急センタおよび／または警察署には、車両状況画像Ｉ_ＶＳ、の受信局および表示装置が設置されており、救急センタ等のオペレータは、受信した車両状況画像Ｉ_ＶＳ、および受信した現在位置Ｄ_ＣＰの双方から、車両Ｖが巻き込まれた交通事故の発生を知ることができ、さらに、車両Ｖ内のけが人の様子および当該交通事故の発生場所を知ることができる。
産業上の利用可能性
本発明に係る画像処理装置は、車両の安全運転を支援する運転支援装置に組み込むことができる。
【図面の簡単な説明】
図１は、本発明の一実施形態に係る画像処理装置Ａ_ＩＰが組み込まれた運転支援装置Ａ_ＤＡの全体構成を示すブロック図である。
図２は、各撮像装置１〜５の視野角θ_Ｖ及び視野Ｆ_Ｖ１〜Ｆ_Ｖ６を示す模式図である。
図３は、図１の運転支援装置Ａ_ＤＡが設置される車両Ｖの斜視図である。
図４は、図１に示す撮像装置１〜５を設置例を示す模式図である。
図５は、図１に示す撮像装置１及び２による撮影画像Ｉ_Ｃ１及びＩ_Ｃ２を示す模式図である。
図６は、図１に示す撮像装置３及び４による撮影画像Ｉ_Ｃ３及びＩ_Ｃ４を示す模式図である。
図７は、図１に示す撮像装置５による撮影画像Ｉ_Ｃ５及び、図１のプロセッサ８が作成する運転支援画像Ｉ_ＤＡを示す模式図である。
図８は、図１に示す作業領域９の詳細な構成を示す模式図である。
図９は、図７の（ｂ）に示す運転支援画像Ｉ_ＤＡを作成するために必要となる仮想カメラＣ_Ｖの位置を示す模式図である。
図１０は、図１のプロセッサ８が行う画像処理を説明するための模式図である。
図１１は、マッピングテーブル１０２の一構成例を示す模式図である。
図１２は、図１のプロセッサ８の処理手順を示すフローチャートである。
図１３は、図１２のステップＳ３の詳細な処理手順を示すフローチャートである。
図１４は、図１のプロセッサ８が作成する運転支援画像Ｉ_ＤＡを他の例を示す模式図である。
図１５は、図１の運転支援装置Ａ_ＤＡの変型例に係る運転支援装置Ａ_ＤＡ１の構成を示すブロック図である。
図１６は、図１５のプロセッサ８の処理手順を示すフローチャートである。
図１７は、図１の画像処理装置Ａ_ＩＰが組み込まれた車両用画像記録装置Ａ_ＲＥＣの全体構成を示すブロック図である。
図１８は、図１７のプロセッサ８の処理手順を示すフローチャートである。
図１９は、図１７のプロセッサ８の割り込み処理の手順を示すフローチャートである。

【０００３】
乗者がシートの正しい位置に座っているか、又はシートベルトを装着しているかを、ドライバは簡単に把握できないという問題点があった。
それ故に本発明の目的は、車内の状況も提供可能な画像処理装置を提供することである。
発明の開示
上記目的を達成するため、本発明の一局面は、画像処理装置であって、車両の周囲の様子を表す第１画像、及び室両の室内の様子を表す第２画像を格納する第１及び第２のバッファと、第１及び第２のバッファに格納された第１画像及び第２画像を所定の比率でブレンディングを行って、車両の周囲及び室内の双方の様子を表す運転支援画像を作成するプロセッサとを備える。
図面の簡単な説明
図１は、本発明の一実施形態に係る画像処理装置Ａ_ＩＰが組み込まれた運転支援装置Ａ_ＤＡの全体構成を示すブロック図である。
図２は、各撮像装置１〜５の視野角θ_Ｖ及び視野Ｆ_Ｖ１〜Ｆ_Ｖ６を示す模式図である。
図３は、図１の運転支援装置Ａ_ＤＡが設置される車両Ｖの斜視図である。
図４は、図１に示す撮像装置１〜５を設置例を示す模式図である。
図５は、図１に示す撮像装置１及び２による撮影画像Ｉ

Claims (12)

1. 画像処理装置であって、
   車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する第１及び第２のバッファと、
   前記第１及び第２のバッファに格納された第１画像及び第２画像に基づいて、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成するプロセッサとを備える、画像処理装置。
2. 前記プロセッサは、前記車両に取り付けられた表示装置に、作成した運転支援画像を送信し、
   前記表示装置は、受信した運転支援画像を表示する、請求の範囲第１項に記載の画像処理装置。
3. 前記プロセッサは、予め定められた位置から前記車両の周囲及び室内の双方を見たときの運転支援画像を作成する、請求の範囲第１項に記載の画像処理装置。
4. 前記プロセッサは、ブレンディングを行って、前記車両の室内が部分的に半透明で描かれた運転支援画像を作成する、請求の範囲第３項に記載の画像処理装置。
5. 前記プロセッサは、前記車両に取り付けられた着座センサ及び装着センサのそれぞれから検出結果を受け取り、
   前記着座センサは、前記車両の座席に乗員が座っているか否かを検出し、
   前記装着センサは、前記車両のシートベルトが着用されているか否かを検出し、
   前記プロセッサは、前記着座センサ及び前記装着センサから受け取った検出結果に基づいて、シートベルトを着用していない乗員を示すマーク画像を重畳した運転支援画像を作成する、請求の範囲第１項に記載の画像処理装置。
6. 前記プロセッサは、前記車両に取り付けられた不揮発性の外部記憶装置に、作成した運転支援画像を格納する、請求の範囲第１項に記載の画像処理装置。
7. 前記プロセッサは、前記車両に取り付けられたタイマから受け取った現在時刻をさらに、前記外部記憶装置に格納する、請求の範囲第６項に記載の画像処理装置。
8. 前記プロセッサは、前記車両に取り付けられた送信装置に、作成した運転支援画像を転送し、
   前記送信装置は、受信した運転支援画像を、前記車両の外部に送信する、請求の範囲第１項に記載の画像処理装置。
9. 前記プロセッサは、前記車両に取り付けられたロケータから、前記車両の現在位置を受け取り、前記送信装置に転送し、
   前記送信装置はさらに、受信した現在位置を、前記車両の外部に送信する、請求の範囲第８項に記載の記載の画像処理装置。
10. 前記プロセッサには衝撃センサが接続されており、
    前記衝撃センサは、前記車両に加わる衝撃を検出して、前記車両が交通事故に巻き込まれたか否かを示す通知信号を前記プロセッサに送信し、
    前記プロセッサは、前記衝撃センサからの通知信号に基づいて、前記車両が交通事故に巻き込まれたと判断した場合に、作成した運転支援画像を前記送信装置に転送する、請求の範囲第８項に記載の画像処理装置。
11. 画像処理方法であって、
    車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する格納ステップと、
    前記格納ステップで格納された第１画像及び第２画像に基づいて、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成する作成ステップとを備える、画像処理方法。
12. 画像処理プログラムであって、
    車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する格納ステップと、
    前記格納ステップで格納された第１画像及び第２画像に基づいて、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成する作成ステップとを備える、画像処理プログラム。

Images