JP6999239B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特に、サイドカメラの撮影結果に基づく画像と、リアカメラの撮影結果に基づく画像とを合成して表示する画像処理装置および当該画像処理装置による画像処理方法に用いて好適なものである。

従来、撮影範囲に車両の車体の一部が含まれた状態で撮影を行うサイドカメラの撮影結果に基づく画像と、サイドカメラの撮影範囲のうち車体により死角となる範囲を撮影範囲に含んだ状態で撮影を行うリアカメラの撮影結果基づく画像とを合成することによって、サイドカメラの死角がリアカメラの撮影結果によって補われた合成画像を生成し、生成した合成画像を表示する画像処理装置が知られている。ユーザーは、表示装置に表示された合成画像を視認することによって、サイドミラーを視認したときに確認できる風景と同等の風景を確認することができ、さらに、サイドミラーを視認した場合には車体が死角となって視認できない部分も確認することができる。

なお、特許文献１には、地図ＤＢ１１に記憶された地図情報や、ＧＰＳ受信機１２を利用した自車位置情報、カメラ１３が生成する画像情報等に基づいて、道路測量データを分析し、分析後の道路測量データと地図情報とを比較し、比較結果に応じて地図情報を適宜更新する車載情報処理装置１０について記載されている。また、特許文献２には、地図データや、メッシュ標高データ、道路設計基準データ等に基づいて、道路の勾配および標高を推測する道路情報推測装置２０について記載されている。

特開２００１－２８０９７５号公報 特開２００４－２５２１５２号公報

上述した合成画像を生成し、表示する従来の画像処理装置では、合成画像が示す風景に、車両の後方に位置する相対傾斜道路（上り坂または下り坂の道路）が含まれる場合に、以下の問題があった。すなわち、サイドカメラとリアカメラはそれぞれ、車両の異なる位置に設けられる。この各カメラの設置位置の相違に起因して、合成画像におけるサイドカメラの撮影結果に基づく画像とリアカメラの撮影結果に基づく画像との境界で、相対傾斜道路の画像にズレが生じてしまうという問題があった。境界において相対傾斜道路の画像にズレが生じるとは、境界の左右で相対傾斜道路の終端を示す画像や、始端を示す画像、相対傾斜道路に描画された道路標示の画像等にズレが生じることを意味する。

本発明は、このような問題を解決するために成されたものであり、サイドカメラの撮影画像とリアカメラの撮影画像とに基づいて、サイドカメラの死角がリアカメラの撮影結果によって補われた合成画像を生成する画像処理装置について、車両の後方に相対傾斜道路がある場合に、合成画像の境界における相対傾斜道路の画像のズレを抑制できるようにすることを目的とする。

上記した課題を解決するために、本発明では、リアカメラのリアカメラ撮影画像を画像変換することによって補完画像を生成し、サイドカメラ撮影画像の死角領域に補完画像を合成して合成画像を生成し、合成画像を表示装置に表示する。そして、本発明では、補完画像の生成に際し、車両の後方の相対傾斜道路に沿った投影面を用いてリアカメラ撮影画像を画像変換するようにしている。

上記のように構成した本発明によれば、車両の後方の相対傾斜道路に沿った投影面を用いてリアカメラ撮影画像が画像変換されて補完画像が生成されるため、始端から終端に至る相対傾斜道路の表面の全域が、相対傾斜道路に沿って投影面上に位置した状態で画像変換が行われることになる。このため、合成画像に記録される相対傾斜道路の画像については、サイドカメラ撮影画像と補完画像との境界における連続性が保たれた状態となり、合成画像の境界における相対傾斜道路の画像のズレを抑制できる。

本発明の一実施形態に係る画像処理装置の機能構成例を示すブロック図である。 リアカメラおよび右サイドカメラの設置位置および撮影範囲を示す図である。 リアカメラ撮影画像およびサイドカメラ撮影画像を示す図である。 相対傾斜道路の例を示す図である。 自車両の後方に相対傾斜道路が存在しない場合に生成される右側合成画像を示す図である。 自車両と相対傾斜道路との位置関係において設定される投影面を示す図である。 自車両および後続車両と共に垂直投影面を示す図である。 右側仮想カメラの撮影画像およびリアカメラの撮影画像を示す図である。 自車両の後方に相対傾斜道路が存在する場合に生成される右側合成画像を示す図である。 本発明の一実施形態に係る画像処理部の動作例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、運転手が車両の右サイドミラーＭＲまたは左サイドミラーＭＬを視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。

図１に示すように、画像処理装置１には、右モニター２Ｒ、左モニター２Ｌ、リアカメラ３、右サイドカメラ４Ｒおよび左サイドカメラ４Ｌ、記憶装置５および自車位置検出装置６が接続されている。以下、画像処理装置１が搭載された車両を「自車両」という。

右モニター２Ｒは、自車両のダッシュボードの右端部（車内において右サイドミラーＭＲに近い位置）に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。左モニター２Ｌは、自車両のダッシュボードの左端部（車内において左サイドミラーＭＬに近い位置）に設けられた表示パネルである。右モニター２Ｒおよび左モニター２Ｌは、特許請求の範囲の「表示装置」に相当する。

リアカメラ３は、自車両の後部に設けられた撮影装置である。右サイドカメラ４Ｒは、自車両の前部座席の右サイドドアの右サイドミラーＭＲに設けられた撮影装置である。左サイドカメラ４Ｌは、自車両の前部座席の左サイドドアの左サイドミラーＭＬに設けられた撮影装置である。

図２は、リアカメラ３および右サイドカメラ４Ｒの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ４Ｒと左サイドカメラ４Ｌとを区別しない場合は「サイドカメラ４Ｒ，４Ｌ」と表現し、右サイドカメラ４Ｒの撮影画像と左サイドカメラ４Ｌの撮影画像とを区別しない場合は「サイドカメラ撮影画像」と表現する。

図２に示すように、リアカメラ３は、自車両の後端において、自車両の幅方向の中央に設けられており、自車両の後方に向かう方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＢは、リアカメラ３の撮影範囲を模式的に示している。以下、リアカメラ３の撮影範囲を「リアカメラ撮影範囲ＨＢ」という。リアカメラ３は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ３は、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ３が生成し、出力する撮影画像を「リアカメラ撮影画像」という。図３（Ａ）は、リアカメラ撮影画像の一例を示している。

図２に示すように、右サイドカメラ４Ｒは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた方向を撮影方向（光軸の方向）として撮影を実行する。図２において、符号ＨＲは、右サイドカメラ４Ｒの撮影範囲を模式的に示している。右サイドカメラ４Ｒは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲ＨＢの水平画角よりも小さい。以下、右サイドカメラ４Ｒの撮影範囲を「右サイドカメラ撮影範囲ＨＲ」という。

図２に示すように、右サイドカメラ４Ｒの撮影範囲には、車両の車体に遮蔽された死角範囲ＤＨが形成される。死角範囲ＤＨについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ３のリアカメラ撮影範囲ＨＢには、死角範囲ＤＨが含まれている。つまり、リアカメラ３は、死角範囲ＤＨの風景を撮影可能である。右サイドカメラ４Ｒは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ４Ｒが生成し、出力する撮影画像を「右サイドカメラ撮影画像」という。

図３（Ｂ）は、図３（Ａ）のリアカメラ撮影画像が生成されたときの環境と同じ環境で右サイドカメラ４Ｒが生成する右サイドカメラ撮影画像の一例を示す図である。図３（Ｂ）に示すように、右サイドカメラ撮影画像の左端部には、自車両の車体の画像ＪＳｒが記録された死角領域ＤＲが形成されている。死角領域ＤＲは、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲの死角範囲ＤＨ（図２参照）に対応する領域である。右サイドカメラ４Ｒは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定である。

左サイドカメラ４Ｌは、右サイドカメラ４Ｒと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーＭＬに、右サイドカメラ４Ｒと同様の態様で設置されている。左サイドカメラ４Ｌは、所定の周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ４Ｌが生成し、出力する撮影画像を「左サイドカメラ撮影画像」という。

記憶装置５は、各種情報を記憶可能なメモリーを有する装置である。記憶装置５は、道路情報５ａを記憶している。道路情報５ａは、道路網の結節点を示すノードごとにノード情報を有し、ノードとノードとの間の道路区間を示すリンクごとにリンク情報を有する。リンク情報は、リンクＩＤの他、対応する道路の道幅や、道路が延びる方角、道路種別、両端の地図上の位置等を示す情報を含んでいる。特に本実施形態では、リンク情報は、対応する道路が坂道を含む場合、その坂道の上り始めの端部の地図上の位置（高度を含む）、および、上り終わりの端部の地図上の位置（高度を含む）を示す情報を含んでいる。坂道に係るリンク情報に基づいて、坂道は、上り始めの端部と、上り終わりの端部との間で延在する道路として認識できる。

自車位置検出装置６は、図示しないＧＰＳユニット、ジャイロセンサー、加速度センサー、車速センサー等の各種センサーの検出値や、記憶装置５が記憶する道路情報５ａに基づいて、既存の技術により自車両の現在位置（以下、「自車位置」という）を所定の周期で検出し、出力する。

図１に示すように、画像処理装置１は、機能構成として、撮影画像取得部１０、相対傾斜道路態様検出部１１、画像処理部１２および表示制御部１３を備えている。上記各機能ブロック１０～１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリー等の記録媒体に記憶されたプログラムが動作することによって実現される。また、図１に示すように、画像処理装置１は、記憶手段として、ルックアップテーブル記憶部１５を備えている。ルックアップテーブル記憶部１５は、後述するように、各種ルックアップテーブルを記憶する。

撮影画像取得部１０は、リアカメラ３からリアカメラ撮影画像を所定の周期で入力する。また、撮影画像取得部１０は、右サイドカメラ４Ｒから右サイドカメラ撮影画像を所定の周期で入力する。また、撮影画像取得部１０は、左サイドカメラ４Ｌから左サイドカメラ撮影画像を所定の周期で入力する。撮影画像取得部１０は、リアカメラ撮影画像、右サイドカメラ撮影画像および左サイドカメラ撮影画像を所定の周期で画像処理部１２に出力する。

相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在するか否かを所定の周期で検出する。相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在する場合には、その相対傾斜道路の態様を検出する。相対傾斜道路とは、自車両が現在走行している路面を水平面としたときに、自車両から後方に向かって、その水平面に対して上り坂または下り坂となっている道路を意味する。図４の各図は、相対傾斜道路の例を示している。図４（Ａ）の道路Ｄ１、図４（Ｂ）の道路Ｄ２および図４（Ｃ）の道路Ｄ３はそれぞれ、相対傾斜道路である。以下、相対傾斜道路態様検出部１１の処理について詳述する。

相対傾斜道路態様検出部１１は、自車両の後方に相対傾斜道路が存在するか否かの検出に関して、以下の処理を実行する。すなわち、相対傾斜道路態様検出部１１は、自車両が走行している道路において、自車両の後方であって、自車両を中心とする所定範囲内に相対傾斜道路がある場合、自車両の後方に相対傾斜道路が存在すると判定し、ない場合は存在しないと判定する。所定範囲は、後述する合成画像を表示したときに、ユーザーが明確に相対傾斜道路を認識し得る程度に相対傾斜道路の画像が現れるかどうかという観点から事前に適切に定められる。

相対傾斜道路態様検出部１１は、記憶装置５が記憶する道路情報５ａおよび自車位置検出装置６により検出された自車位置に基づいて、自車両が走行する道路のリンクを特定し、特定したリンクのリンク情報を取得する。更に、相対傾斜道路態様検出部１１は、自車両が走行する道路に後続する道路（後方に向かって連続する複数の道路であってもよい）のリンクを特定し、特定したリンクのリンク情報を取得する。そして、相対傾斜道路態様検出部１１は、自車両が走行する道路のリンク情報、および、当該道路に後続する道路のリンク情報に基づいて、自車両が走行する道路と、後続する道路との相対的な位置関係および各道路の坂道の状況を認識し、所定範囲内に相対傾斜道路が存在するか否かを判定する。例えば、自車両が坂道を下り終えた直後（または上り終えた直後）から、自車両が直進するしばらくの期間は、自車両の後方に相対傾斜道路が存在する状況となる。

また、相対傾斜道路態様検出部１１は、相対傾斜道路の態様の検出について、以下の処理を実行する。すなわち、相対傾斜道路態様検出部１１は、自車位置検出部１１により検出された自車位置と、記憶装置５が記憶する道路情報５ａとに基づいて、相対傾斜道路を含む道路のリンクを特定し、特定したリンクのリンク情報を取得する。次いで、相対傾斜道路態様検出部１１は、取得したリンク情報に基づいて、「相対傾斜道路の始端の地図上の位置（高度を含む）」および「相対傾斜道路の終端の地図上の位置（高度を含む）」を認識する。相対傾斜道路の始端は、相対傾斜道路の両端のうち自車両に近い側の端を意味し、相対傾斜道路の終端は、自車両から遠い側の端を意味する。なお、図４（Ｂ）に示すように、自車両が坂道を上っており、坂道を有さない道路が相対傾斜道路となっている場合、相対傾斜道路態様検出部１１は、相対傾斜道路に相当する道路の端のうち、自車両から遠い側の端（図４（Ｂ）の端ＳＴ）を、相対傾斜道路の終端とする。

相対傾斜道路の始端の位置、および、相対傾斜道路の終端の位置により、相対傾斜道路の始端から終端に至るまでの形状は定まる。これを踏まえ、本実施形態では、相対傾斜道路の始端の位置、および、相対傾斜道路の終端を認識することが、相対傾斜道路の態様を検出することに相当する。

なお、相対傾斜道路の態様が、相対傾斜道路の始端および終端の位置によって特定されるのではなく、相対傾斜道路の傾斜角度や、相対傾斜道路の高さ（始端の高度と終端の高度との差）等用いて特定される構成でもよい。また、相対傾斜道路態様検出部１１が相対傾斜道路の態様を検出する方法は、例示した方法に限られない。

例えば、以下の構成でもよい。すなわち、走行軌跡情報が記憶装置５に記憶される。走行軌跡情報は、高度も加味した３次元座標系で、所定の周期毎の自車両の位置がプロットされた情報である。走行軌跡情報は、自車両の走行に応じて随時更新される。そして、相対傾斜道路態様検出部１１は、車両の走行軌跡に沿って道路の面が形成されているものとして、走行軌跡情報を分析し、相対傾斜道路の態様を検出する。なお、この場合、自車両の後方に相対傾斜道路が存在するか否かの検出についても、走行軌跡情報に基づいて行われる構成でもよい。

この他、自車両の後方における相対傾斜道路の有無および相対傾斜道路の態様の検出に際し、リアカメラ撮影画像およびサイドカメラ撮影画像の少なくとも一方を分析し、分析結果を利用するようにしてもよい。その他、リアカメラ３およびサイドカメラ４Ｒ，４Ｌ以外のカメラや、レーダー装置等の他の装置を利用して当該検出を行う構成でもよい。

画像処理部１２は、撮影画像取得部１０から所定の周期でリアカメラ撮影画像およびサイドカメラ撮影画像を入力する度に、入力する撮影画像に基づいて合成画像生成処理を実行する。合成画像生成処理に関し、画像処理部１２は、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合と存在すると判定されている場合とで異なる処理を実行する。以下、右サイドカメラ４Ｒの右サイドカメラ撮影画像およびリアカメラ３のリアカメラ撮影画像に基づいて、右側合成画像（合成画像）を生成する場合を例にして合成画像生成処理について詳述する。なお、画像処理部１２は、右側合成画像の生成と並行して、左サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて左側合成画像を生成する。

＜自車両の後方に相対傾斜道路が存在しないと判定されている場合＞
相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合、合成画像生成処理において、まず、画像処理部１２は、ルックアップテーブル記憶部１５に記憶された右側ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像を補完画像に変換する。

右側ルックアップテーブルとは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ４Ｒと同じ撮影方向、撮影範囲の仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ４Ｒの視点に視点変換する際に概念的に用いられる。

右側ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。なお、上述したように、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定であり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置は事前に特定されている。

右側ルックアップテーブルの対応関係情報は、リアカメラ３の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系におけるリアカメラ３および右側仮想カメラの配置位置および配置角度、リアカメラ３の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、右側仮想カメラの仕様、視点変換に用いる投影面の態様、その他の要素を反映して事前に適切に設定されている。なお、本実施形態では、自車両の後方に相対傾斜道路が存在しない場合に用いられる右側ルックアップテーブルにおいて、投影面は、路面に対応する投影面と、この路面投影面に対して垂直に起立し、リアカメラ３の光学原点から所定の位置に設けられた投影面とにより構成される。

画像処理部１２は、右側ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。補完画像の生成後、画像処理部１２は、右サイドカメラ撮影画像の死角領域ＤＲに、補完画像を合成し、右側合成画像を生成する。

図５は、自車両の後方に相対傾斜道路が存在しない場合に、図３（Ａ）のリアカメラ撮影画像、および、図３（Ｂ）の右サイドカメラ撮影画像に基づいて生成される右側合成画像を示している。なお、図５では、右サイドカメラ撮影画像と補完画像との境界に破線を引いているが、この破線は、実際には表示されない。図５と図３（Ｂ）との比較で明らかな通り、右側合成画像では、死角領域ＤＲがリアカメラ撮影画像に基づいて生成された補完画像によって補われ、これにより死角範囲ＤＨの風景が表示された状態となる。

＜自車両の後方に相対傾斜道路が存在すると判定されている場合＞
相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在すると判定されている場合、合成画像処理において、まず、画像処理部１２は、リアカメラ撮影画像を右側仮想カメラの視点に視点変換（画像変換）するときに用いる投影面を設定する。

図６（Ａ）は、自車両と相対傾斜道路との位置関係において設定される投影面を示す図である。図６（Ａ）では、自車両の後方に、自車両の後方に向かって上り坂となっている相対傾斜道路が存在している。

図６（Ａ）の例の場合、画像処理部１２は、相対傾斜道路の始端の位置Ｐ１から自車両が走行する路面に対して垂直に下方に向かって延在する第１投影面ＴＭ１と、相対傾斜道路に沿って始端の位置Ｐ１から終端の位置Ｐ２に至るまで傾斜角度αだけ傾いた状態で延在する第２投影面ＴＭ２と、終端の位置Ｐ２から上記路面に対して垂直に上方に向かって延在する第３投影面ＴＭ３とにより構成される投影面を設定する。以下、自車両の後方に相対傾斜道路が存在すると判定されている場合に設定される投影面（第１投影面ＴＭ１、第２投影面ＴＭ２および第３投影面ＴＭ３により構成される投影面）を「設定投影面」という。

なお、画像処理部１２は、自車位置検出部１１により検出された自車位置と、相対傾斜道路態様検出部１１の検出結果とに基づいて、始端の位置Ｐ１および終端の位置Ｐ２を、自車両に対する相対的な位置として認識する。また、画像処理部１２は、始端の位置Ｐ１および終端の位置Ｐ２を、自車両の前後方向に対して直行する方向に延びる線分状の位置として認識する。また、画像処理部１２は、第２投影面ＴＭ２を、始端の位置Ｐ１から終点の位置Ｐ２に至るまで、傾斜角度αで傾く平面状の投影面として設定する。

設定投影面の設定後、画像処理部１２は、相対傾斜道路用ルックアップテーブルを生成する。相対傾斜道路用ルックアップテーブルは、右側ルックアップテーブルと同様、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルである。特に、相対傾斜道路用ルックアップテーブルは、視点変換に用いる投影面が、設定投影面とされる。つまり、相対傾斜道路用ルックアップテーブルは、車両座標系におけるリアカメラ３の配置位置および配置角度と右側仮想カメラの配置位置および配置角度との相違を反映して、「設定投影面」を用いてリアカメラ３の視点を右側仮想カメラの視点に変更するためのマッピングテーブルである。相対傾斜道路用ルックアップテーブルでは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられている。

以下、相対傾斜道路用ルックアップテーブルを生成する処理について詳述する。ここで、本実施形態に係るルックアップテーブル記憶部１５は、異なる複数の「垂直投影面」の距離に対応する複数の右側特定ルックアップテーブルを記憶している。右側特定ルックアップテーブルは、リアカメラ撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像（＝補完画像）」に変換するために用いられるマッピングテーブルであり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。

特に、本実施形態では、右側特定ルックアップテーブルのそれぞれは、リアカメラ３の視点から右側仮想カメラの視点への視点変換に用いられる垂直投影面の距離が異なっている。図７は、垂直投影面を説明するため、自車両と後続車両とを横から見た様子を模式的に示す図である。図７に示すように、垂直投影面は、路面に対応する水平面に対して垂直に立ち上がった投影面のことを意味する。また、垂直投影面の距離は、リアカメラ３の光学原点から垂直投影面までの距離を意味する。

本実施形態では、視点変換に用いられる垂直投影面の距離が「０．５メートル」、「１メートル」、「２メートル」、「３メートル」、「４メートル」、「５メートル」、「７メートル」、「１０メートル」、「２０メートル」、「３０メートル」の右側特定ルックアップテーブルがルックアップテーブル記憶部１５に記憶されている。

相対傾斜道路用ルックアップテーブルの生成に際し、画像処理部１２は、右側仮想カメラの仮想的な撮影画像の死角領域を構成するドットラインごとに以下の処理を行ってドットライン対応関係情報を生成する。ドットラインとは、左右方向に延びる１行分のドットのラインを意味する。図８（Ａ）は、右側仮想カメラの仮想的な撮影画像、および、当該画像における死角領域ＤＲを示す図である。以下、自車両と相対傾斜道路との関係が図６（Ａ）に示す状態であるものとして、死角領域ＤＲを構成するドットラインのうち、ある１つのドットラインＬ１（図８（Ａ）参照）について画像処理部１２が実行する処理を説明する。

まず、画像処理部１２は、設定投影面（第１投影面ＴＭ１＋第２投影面ＴＭ２＋第３投影面ＴＭ３）において、ドットラインＬ１に対応するポイントＸ１（図６（Ａ）参照）を特定する。次いで、画像処理部１２は、ポイントＸ１における投影面の距離（＝リアカメラ３の光学原点からポイントＸ１までの距離）を算出する。画像処理部１２は、自車両に対する相対傾斜道路の相対的な形状に基づいて、ポイントＸ１における投影面の距離を算出する。図６の例では、ポイントＸ１における投影面の距離は、「４．２５メートル」であるものとする。

次いで、画像処理部１２は、ドットラインＬ１に含まれる全てのドットについて、各ドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置との対応関係が定義されたドットライン対応関係情報を生成する。

ドットラインＬ１についてのドットライン対応関係情報を算出する処理について詳述する。上述の通り、ドットラインＬ１に対応するポイントＸ１の投影面の距離は「４．２５メートル」である。この場合において、まず、画像処理部１２は、右側特定ルックアップテーブルのうち、垂直投影面の距離が、ポイントＸ１の投影面の距離よりも小さく、ポイントＸ１の投影面の距離に最も近い距離である右側特定ルックアップテーブルを特定する。本例では、ポイントＸ１の投影面の距離は「４．２５メートル」であるため、画像処理部１２は、垂直投影面の距離が「４メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「小側ルックアップテーブル」という。

次いで、画像処理部１２は、右側特定ルックアップテーブルのうち、垂直投影面の距離が、ポイントＸ１の投影面の距離よりも大きく、ポイントＸ１の投影面の距離に最も近い距離である右側ルックアップテーブルを特定する。本例では、ポイントＸ１の投影面の距離は「４．２５メートル」であるため、画像処理部１２は、垂直投影面の距離が「５メートル」の右側特定ルックアップテーブルを特定する。以下、ここで特定された右側特定ルックアップテーブルを「大側ルックアップテーブル」という。

更に、画像処理部１２は、小側ルックアップテーブルに係る垂直投影面の距離およびドットラインＬ１に対応するポイントＸ１の投影面の距離の差Ｓ１（絶対値）と、大側ルックアップテーブルに係る垂直投影面の距離およびドットラインＬ１に対応するポイントＸ１の投影面の距離の差Ｓ２（絶対値）との比を算出する。本例では、「差Ｓ１：差Ｓ２」＝「１：３」である。

「差Ｓ１：差Ｓ２」を算出した後、画像処理部１２は、小側ルックアップテーブルのドットライン対応関係情報に対する反映度と、大側ルックアップテーブルのドットライン対応関係情報に対する反映度との比が、「差Ｓ２：差Ｓ１」となるように、各テーブルを加工してドットライン対応関係情報を生成する。ドットライン対応関係情報は、ドットラインＬ１に含まれる全てのドットのドット位置と、リアカメラ撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた情報である。

ドットライン対応関係情報を生成する際に、ドットラインＬ１のある特定のドット（「特定ドットＤＸ」とする）について、リアカメラ撮影画像の対応するドット（「対応ドットＤＱ」とする）を特定する処理を、図８（Ａ）および図８（Ｂ）を用いて詳述する。図８（Ｂ）は、所定の座標系に展開したリアカメラ撮影画像の領域を模式的に示している。

図８（Ｂ）において、符号ＤＹのドット（「小側ドットＤＹ」とする）は、小側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。また、図８（Ｂ）において、符号ＤＺのドット（「大側ドットＤＺ」とする）は、大側ルックアップテーブルにおいて、特定ドットＤＸと対応付けられているドットである。以上の状況の下、画像処理部１２は、リアカメラ撮影画像において、小側ドットＤＹと大側ドットＤＺを結ぶ線分において、以下の式ＳＫ１を満たすドットを対応ドットＤＱとする。
［式ＳＫ１］ 小側ドットＤＹからの距離：大側ドットＤＺからの距離＝差Ｓ１：差Ｓ２
このようにして特定される対応ドットＤＱは、「小側ルックアップテーブルの反映度：大側ルックアップテーブルの反映度」＝「差Ｓ２：差Ｓ１」となる。なお、ドットライン対応関係情報を生成する方法は、本実施形態で例示する方法に限られない。ドットラインに対応する投影面の位置が適切に反映されて生成されればよい。

画像処理部１２は、画像処理部１２は、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットラインごとにドットライン対応関係情報を生成する。ドットラインごとにドットライン対応関係情報を生成した後、画像処理部１２は、全てのドットラインのドットライン対応関係情報に基づいて、相対傾斜道路用ルックアップテーブルを生成する。なお、相対傾斜道路用ルックアップテーブルを生成する方法は、本実施形態で例示する方法に限られない。相対傾斜道路用ルックアップテーブルは、設定投影面の態様が適切に反映されるように生成されればよい。

画像処理部１２は、相対傾斜道路用ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットの画素値が、リアカメラ撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。補完画像の生成後、画像処理部１２は、右サイドカメラ撮影画像の死角領域ＤＲに、補完画像を合成し、右側合成画像を生成する。

図９（Ａ）は、自車両の後方に相対傾斜道路が存在する場合に、合成画像生成処理によって生成される右側合成画像を示している。なお、図９（Ａ）では、右サイドカメラ撮影画像と補完画像との境界（以下、単に「境界」という）に破線を引いているが、この破線は、実際には表示されない。図９（Ａ）は、図６（Ａ）の環境で生成された右サイドカメラ撮影画像およびリアカメラ撮影画像に基づいて生成される右側合成画像を示している。図９（Ａ）において、符号ＧＤは、相対傾斜道路の始端を表す画像であり、符号ＧＵは、相対傾斜道路の終端を表す画像である。図９（Ａ）に示すように、自車両の後方に相対傾斜道路が存在する場合も、存在しない場合と同様、右側合成画像では、死角領域ＤＲがリアカメラ撮影画像に基づく補完画像によって補われ、死角範囲ＤＨの風景が表示された状態となる。

また、図９（Ａ）に示すように、右側合成画像では、境界において、相対傾斜道路の画像にズレが生じず、相対傾斜道路の画像の連続性が保たれた状態である。境界において相対傾斜道路の画像にズレが生じるとは、図９（Ｂ）に一例として示すように、境界の左右で、相対傾斜道路の終端を示す画像や、始端を示す画像等の相対傾斜道路の要素の画像に、ユーザーが違和感を覚える程度にズレが生じることを意味する。

本実施形態で、合成画像の境界において、相対傾斜道路の画像にズレが生じず、相対傾斜道路の画像の連続性が保たれた状態となる理由は以下である。すなわち、本実施形態では、第２投影面ＴＭ２は、相対傾斜道路の始端から終端に至るまで相対傾斜道路に沿って延在する平面状の投影面であるため、始端および終端を含む相対傾斜道路の全域が、相対傾斜道路に沿った投影面上に位置する。つまり、相対傾斜道路に形成された要素（始端や、終端、相対傾斜道路に描画された道路標示等）は全て、相対傾斜道路に沿った投影面上に位置している。このため、「第２投影面ＴＭ２を含む設定投影面を用いた視点変換により生成された補完画像」が合成されて生成された合成画像において、相対傾斜道路の要素の画像の大きさおよび上下方向における位置は、補完画像と右サイドカメラ撮影画像とで基本的には一致し、相対傾斜道路に形成された要素の画像が境界を跨いでいる場合には、境界間でこれら画像のズレが生じない状態となる。

画像処理部１２は、以上の合成画像生成処理を所定の周期で行って合成画像（右側合成画像および左側合成画像）を生成する。画像処理部１２は、生成した合成画像を表示制御部１３に出力する。

表示制御部１３は、所定の周期で画像処理部１２から合成画像（右側合成画像および左側合成画像）を入力し、右側合成画像を右モニター２Ｒに表示し、左側合成画像を左モニター２Ｌに表示する。この結果、右モニター２Ｒには、リアカメラ３および右サイドカメラ４Ｒの撮影結果がリアルタイムに反映された動画として、車両の右サイドミラーＭＲを視認したときに確認できる風景と同等の風景が、右サイドミラーＭＲを視認したときには車体により遮蔽されて確認できない部分も含めて表示される。左モニター２Ｌについても同様である。

次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図１０のフローチャートは、画像処理部１２が、リアカメラ撮影画像および右サイドカメラ撮影画像に基づいて右側合成画像を生成するときの合成画像生成処理の詳細を示すフローチャートである。上述したように、画像処理装置１の画像処理部１２は、所定の周期で合成画像生成処理を実行する。

図１０に示すように画像処理部１２は、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されたか、存在すると判定されたかを判定する（ステップＳＡ１）。相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在しないと判定されている場合（ステップＳＡ１：「存在しない」）、画像処理部１２は、ルックアップテーブル記憶部１５に記憶された右側ルックアップテーブルを用いて、撮影画像取得部１０から入力したリアカメラ撮影画像を補完画像に変換する（ステップＳＡ２）。画像処理部１２は、ステップＳＡ２で生成した補完画像を右サイドカメラ撮影画像の死角領域ＤＲに合成し、右側合成画像を生成する（ステップＳＡ３）。ステップＳＡ３の処理後、画像処理部１２は合成画像生成処理を終了する。

一方、相対傾斜道路態様検出部１１により自車両の後方に相対傾斜道路が存在すると判定した場合（ステップＳＡ１：「存在する」）、画像処理部１２は、設定投影面を設定する（ステップＳＡ４）。次いで、画像処理部１２は、ステップＳＡ４で設定した設定投影面を用いて視点変換を行う相対傾斜道路用ルックアップテーブルを生成する（ステップＳＡ５）。次いで、画像処理部１２は、ステップＳＡ５で生成した相対傾斜道路用ルックアップテーブルを用いて補完画像を生成する（ステップＳＡ６）。次いで、画像処理部１２は、ステップＳＡ６で生成した補完画像を右サイドカメラ撮影画像の死角領域ＤＲに合成し、右側合成画像を生成する（ステップＳＡ７）。ステップＳＡ７の処理後、画像処理部１２は合成画像生成処理を終了する。

以上、本発明の実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

例えば、上記実施形態では、道路情報５ａを外部の記憶装置５が記憶する構成であるが、これを画像処理装置１（自機）自体が記憶する構成としてもよい。また、記憶装置５は、自車両に設けられた装置（例えば、ナビゲーション装置に含まれる装置）であってもよく、ネットワークを介して通信可能な車外の装置（例えば、サーバー装置）であってもよい。

例えば、上記実施形態では、図６（Ａ）に示すように、第１投影面ＴＭ１は、位置Ｐ１から垂直下方に延在する投影面であり、第３投影面ＴＭ３は位置Ｐ２から垂直情報に延在する投影面であった。この点に関し、図６（Ｂ）に示すように、第１投影面ＴＭ１を自車両が走行する路面に沿って延在する投影面とし、また、第３投影面ＴＭ３を位置Ｐ２よりも後方（例えば、無限遠に相当する位置）に位置する投影面としてもよい。

また、上記実施形態では、第２投影面ＴＭ２は、位置Ｐ１から傾斜角度αで傾斜する平らな面という単純な形状であったが、第２投影面ＴＭ２の形状は上記実施形態で例示した形状に限らない。第２投影面ＴＭ２の形状が車両の進行方向に対して傾いたり、部分的に傾斜角度が異なるような複雑な形状の場合、例えば、第２投影面ＴＭ２を、所定の３次元座標系のポリゴンデータ（第２投影面を３次元座標権のドットの集合として表すデータ）とすることにより、第２投影面ＴＭ２の形状を適切に定義することが可能である。

また、上記実施形態では、リアカメラ３が魚眼カメラにより構成され、サイドカメラ４Ｒ，ＲＬが標準カメラにより構成されていたが、リアカメラ３やサイドカメラ４Ｒ，４Ｌをどのようなカメラにより構成するかは、実施形態の例に限定されない。

また、上記実施形態では、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌであった。しかしながら、合成画像を表示する表示装置は、右モニター２Ｒおよび左モニター２Ｌに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーＭＲおよび左サイドミラーＭＬに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルへの表示に際しては、ユーザーの指示に応じて、右側合成画像と左側合成画像との何れか一方を表示する構成でもよく、表示領域を分割し各画像を同時に表示する構成でもよい。表示装置は、携帯端末であってもよい。

また、サイドカメラ４Ｒ，４Ｌの自車両における設置位置は、上記実施形態で例示した位置に限られない。例えば、サイドカメラ４Ｒ，４Ｌは、車両の側面であって、車両の前端に近い位置に設けられてもよい。

１ 画像処理装置
２Ｒ 右モニター（表示装置）
２Ｌ 左モニター（表示装置）
３ リアカメラ
４Ｒ 右サイドカメラ（サイドカメラ）
４Ｌ 左サイドカメラ（サイドカメラ）
１０ 撮影画像取得部
１１ 相対傾斜道路態様検出部
１２ 画像処理部
１３ 表示制御部

Claims (6)

1. 車両の側面部に設けられ、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行うサイドカメラのサイドカメラ撮影画像と、車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる死角範囲を撮影範囲に含んだ状態で前記車両の後方を撮影するリアカメラのリアカメラ撮影画像とを取得する撮影画像取得部と、
   前記撮影画像取得部により取得された前記リアカメラ撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記サイドカメラ撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記サイドカメラ撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する画像処理部と、
   前記画像処理部により生成された前記合成画像を表示装置に表示する表示制御部と、
   前記車両の後方に位置し、前記車両が走行中の路面を水平面としたときに、その水平面に対して傾斜する相対傾斜道路の態様を検出する相対傾斜道路態様検出部とを備え、
   前記画像処理部は、
   前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
   ことを特徴とする画像処理装置。
2. 前記画像処理部は、
   前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記車両の後方の所定位置から所定角度で傾く平面な投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   前記相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いた画像変換を行うためのルックアップテーブルを生成し、生成した前記ルックアップテーブルを用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記相対傾斜道路態様検出部は、
   自機または外部装置が記憶する道路情報５ａに基づいて、前記相対傾斜道路の態様を検出する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記相対傾斜道路態様検出部は、
   前記車両の走行軌跡に基づいて、前記相対傾斜道路の態様を検出する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 画像処理装置の撮影画像取得部が、車両の側面部に設けられ、撮影範囲に前記車両の車体の一部が含まれた状態で撮影を行うサイドカメラのサイドカメラ撮影画像と、車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる死角範囲を撮影範囲に含んだ状態で前記車両の後方を撮影するリアカメラのリアカメラ撮影画像とを取得する第１のステップと、
   前記画像処理装置の画像処理部が、前記撮影画像取得部により取得された前記リアカメラ撮影画像を画像変換することによって、前記撮影画像取得部により取得された前記サイドカメラ撮影画像における前記死角範囲に対応する死角領域を補完する補完画像を生成し、前記サイドカメラ撮影画像の前記死角領域に前記補完画像を合成して合成画像を生成する第２のステップと、
   前記画像処理装置の表示制御部が、前記画像処理部により生成された前記合成画像を表示装置に表示する第３のステップとを含み、
   前記第２のステップにおいて、前記画像処理部は、前記車両の後方に位置し、前記車両が走行中の路面を水平面としたときに、その水平面に対して傾斜する相対傾斜道路の態様を検出する相対傾斜道路態様検出部により検出された前記相対傾斜道路の態様に基づいて、前記相対傾斜道路に沿った投影面を用いて前記リアカメラ撮影画像を画像変換し、前記補完画像を生成する
   ことを特徴とする画像処理方法。

Images