JP7467000B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特に、サイドカメラとリアカメラとの撮影画像を合成して表示する画像処理装置、および、当該画像処理装置による画像処理方法に用いて好適なものである。

従来、車両に設けられたサイドカメラの撮影画像に基づく動画を表示する画像処理装置において、当該動画において車体により死角となる領域（以下「死角領域」という）にリアカメラの撮影画像に基づく動画を重畳し、あたかも車体が透けて車両の後方が撮影されているかのような動画を提供する画像処理装置が知られている（例えば特許文献１参照）。

特開２０１５－７４４３６号公報

従来の画像処理装置では、リアカメラの撮影画像に基づく動画像が死角領域に表示されるため、死角領域ついて、サイドカメラの撮影結果が全く提供されないことになる。このため、死角領域において、ユーザが認識すべき何らかの事物がサイドカメラに撮影されている場合であっても、ユーザは、画像処理装置により提供される動画像からはその事物を認識できないという問題があった。

本発明は、このような問題を解決するために成されたものであり、死角領域においてサイドカメラにより撮影された所定の事物について、提供される動画像からユーザが認識できるようにすることを目的とする。

上記した課題を解決するために、本発明は、サイドカメラの撮影画像に基づく動画像の領域のうちサイドカメラの死角に対応する死角領域を、リアカメラの撮影画像に基づく動画像で補った合成動画像の表示に際し、合成動画像の死角領域の一部を部分的にサイドカメラの撮影画像に基づく動画像が視認可能な状態とするか、または、所定の条件が成立したときに死角領域の一部ないし全部を一時的にサイドカメラの撮影画像に基づく動画像を視認可能な状態とできるようにしている。

上記のように構成した本発明によれば、死角領域の全域にリアカメラの撮影画像に基づく動画像が表示された状態が例外なく継続するのではなく、死角領域について部分的或いは一時的にサイドカメラの撮影画像に基づく動画像が視認可能な状態とすることができるため、死角領域においてサイドカメラにより撮影された所定の事物を動画像に含ませることができ、提供される動画像に基づいて当該所定の事物をユーザが認識できるようにすることができる。

本発明の第１実施形態に係る画像処理装置の機能構成例を示すブロック図である。 リアカメラおよび右サイドカメラの設置位置および撮影範囲を示す図である。 リア撮影画像の一例を示す図である。 右サイド撮影画像の一例を示す図である。 通常モードに係る右側合成画像の一例を示す図である。 特殊モードに係る右側合成画像の一例を示す図である。 本発明の第１実施形態に係る画像処理部の動作例を示すフローチャートである。 右モニタに表示される映像の一例を示す図である。 本発明の第２実施形態に係る画像処理装置の機能構成例を示すブロック図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、ユーザが車両の右サイドミラーＭＲまたは左サイドミラーＭＬ（図２）を視認したときに確認できる風景と同等の風景を、これらミラーを視認したときには車体により遮蔽されて確認できない部分も含めて表示することが可能な装置である。以下、画像処理装置１が搭載された車両を「自車両」という。

図１で示すように、画像処理装置１には、右モニタ２Ｒ、左モニタ２Ｌ、リアカメラ３、右サイドカメラ４Ｒおよび左サイドカメラ４Ｌが接続されている。右モニタ２Ｒは、自車両のダッシュボードの右端部（車内において右サイドミラーＭＲに近い位置）に設けられた表示パネル（例えば、液晶表示パネルや、有機ＥＬ表示パネル等）である。左モニタ２Ｌは、自車両のダッシュボードの左端部に設けられた表示パネルである。右モニタ２Ｒおよび左モニタ２Ｌは、特許請求の範囲の「表示装置」に相当する。以下、右モニタ２Ｒと左モニタ２Ｌとを区別しない場合は「モニタ２」と表現する。モニタ２は運転手以外の者も当然、視認可能であるが、説明の便宜のため、本実施形態ではモニタ２を見るのは運転手であるものとする。リアカメラ３は、自車両の後部に設けられた撮影装置である。右サイドカメラ４Ｒは、自車両の前部座席の右サイドドアの右サイドミラーＭＲに設けられた撮影装置である。左サイドカメラ４Ｌは、自車両の前部座席の左サイドドアの左サイドミラーＭＬに設けられた撮影装置である。

図２は、リアカメラ３および右サイドカメラ４Ｒの設置位置および撮影範囲を説明するための図である。以下の説明では、右サイドカメラ４Ｒと左サイドカメラ４Ｌとを区別しない場合は「サイドカメラ４」と表現する。また以下の説明において、自車両の車体との関係で前後左右と表現するときは、図２の矢印で示す前後左右に従っているものとする。

図２で示すように、リアカメラ３は、自車両の後端部において、自車両の幅方向の中央に設けられており、自車両の後方に向かう向きを光軸の向きとして撮影を実行する。図２において、符号ＨＢは、リアカメラ３の撮影範囲を模式的に示している。以下、リアカメラ３の撮影範囲を「リアカメラ撮影範囲ＨＢ」という。リアカメラ３は、魚眼レンズを有する魚眼カメラにより構成されている。リアカメラ３は、所定周期で撮影を実行して撮影画像を生成し、出力する。以下、リアカメラ３が生成し、出力する撮影画像を「リア撮影画像」という。図３は、リア撮影画像の一例を示している。

図２で示すように、右サイドカメラ４Ｒは、車両の後方に対して、後方に向かうに従って右側に向かうように少しだけ傾いた向きを光軸の向きとして撮影を実行する。図２において、符号ＨＲは、右サイドカメラ４Ｒの撮影範囲を模式的に示している。右サイドカメラ４Ｒは、標準レンズにより撮影を実行する撮影装置であり、その撮影範囲の水平画角は、リアカメラ撮影範囲ＨＢの水平画角よりも小さい。以下、右サイドカメラ４Ｒの撮影範囲を「右サイドカメラ撮影範囲ＨＲ」という。

図２で示すように、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲには、自車両の車体に遮蔽された死角範囲ＤＨ（特許請求の範囲の「車体により死角となる範囲」に相当）が形成される。死角範囲ＤＨについては、車体が遮蔽物となり、風景が撮影されない。リアカメラ３のリアカメラ撮影範囲ＨＢには、死角範囲ＤＨが含まれている。つまり、リアカメラ３は、死角範囲ＤＨの風景を撮影可能である。右サイドカメラ４Ｒは、所定周期で撮影を実行して撮影画像を生成し、出力する。以下、右サイドカメラ４Ｒが生成し、出力する撮影画像を「右サイド撮影画像」という。

図４は、図３のリア撮影画像が生成されたときの環境と同じ環境で右サイドカメラ４Ｒが生成する右サイド撮影画像の一例を示している。図４で示すように、右サイドカメラ撮影画像の左側には、自車両の車体の画像が記録された死角領域ＤＲが形成されている。死角領域ＤＲは、右サイドカメラ４Ｒの右サイドカメラ撮影範囲ＨＲの死角範囲ＤＨ（図２）に対応する領域である。右サイドカメラ４Ｒは、車両の特定の位置に固定的に設けられるため、右サイドカメラ撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定である。なお図４で示すように、本実施形態の自車両の車体の右側の側面の所定の位置には、給油口５が設けられている。給油口５は第２実施形態の説明に利用する。

左サイドカメラ４Ｌは、右サイドカメラ４Ｒと同一の性能の撮影装置であり、前部座席の左サイドドアに取り付けられた左サイドミラーＭＬに、右サイドカメラ４Ｒと同様の態様で設置されている。左サイドカメラ４Ｌは、所定周期で撮影を実行して撮影画像を生成し、出力する。以下、左サイドカメラ４Ｌが生成し、出力する撮影画像を「左サイド撮影画像」といい、右サイド撮影画像および左サイド撮影画像を総称して「サイド撮影画像」という。

以上の通りサイドカメラ４は、車両の側面部に設けられ、撮影範囲に自車両の車体の側面の一部が含まれた状態で車両の後方に向かって撮影を行い、撮影結果に基づくサイド撮影画像を出力する。またリアカメラ３は、車両の後部に設けられ、サイドカメラ４の撮影範囲のうち車体により死角となる範囲を少なくとも撮影可能であり、撮影結果に基づくリア撮影画像を出力する。

なお、図２で示すように本実施形態に係る自車両は、前部および後部の左右にそれぞれサイドドアが設けられており、各サイドドアにはウインドウ６が形成されている。

図１で示すように、画像処理装置１は機能構成として、画像取得部１０、突出検出部１１および画像処理部１２を備えている。上記各機能ブロック１０～１２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０～１２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

画像取得部１０は、リアカメラ３からリア撮影画像を所定周期で入力し、取得する。また画像取得部１０は、右サイドカメラ４Ｒから右サイド撮影画像を所定周期で入力し、取得する。また画像取得部１０は、左サイドカメラ４Ｌから左サイド撮影画像を所定周期で入力し、取得する。画像取得部１０は、右サイド撮影画像および左サイド撮影画像を所定周期で突出検出部１１に出力すると共に、リア撮影画像、右サイド撮影画像および左サイド撮影画像を所定周期で画像処理部１２に出力する。

突出検出部１１は、画像取得部１０から所定周期で右サイド撮影画像および左サイド撮影画像を入力し、入力した右サイド撮影画像および左サイド撮影画像に基づいて、サイドドアのウインドウ６から物体が突出した状態（以下「突出状態」という）であることを検出する。なお、「物体がウインドウ６から突出する」とは、何らかの物体がウインドウ６を介して車内から車外へ飛び出していることを意味する。以下、右側の後部のサイドドアに形成されたウインドウ６（以下「右後部ウインドウ６」という）を対象として突出検出部１１が実行する処理について説明する。

突出検出部１１は、右後部ウインドウ６が開状態か否かを継続して監視する。右後部ウインドウ６が開状態とは、右後部ウインドウ６のウインドウガラスが開いている状態をいう。突出検出部１１は、自車両の各種機構の状態を監視する車両システムと通信することによって右後部ウインドウ６が開状態か否かを監視する。ただし監視の方法はどのような方法であってもよく、一例として、右後部ウインドウ６の状態によって異なる検出値を出力する光学的或いは機械的センサからの入力に基づいて監視する構成としてもよい。

右後部ウインドウ６が開状態ではない場合、右後部ウインドウ６から物体が突出することはないため、突出検出部１１は、突出状態ではないと判定する。一方、右後部ウインドウ６が開状態の場合、突出検出部１１は、所定周期で入力する右サイド撮影画像を分析し、右後部ウインドウ６から物体が突出したか否かを判定する。なお右後部ウインドウ６から突出する物体としては、自車両の後部座席に搭乗する搭乗者の体の一部（顔や手等）や、搭乗者が把持する物体等が考えられる。

右後部ウインドウ６から物体が突出したか否かの判定に際し、突出検出部１１は、以下の処理を実行する。すなわち右サイド撮影画像に写る空間について、予め３次元座標系が定義され、当該空間に存在する物体が、この３次元座標系の３次元的な領域として定義可能な状態とされている。更に３次元座標系における右後部ウインドウ６の３次元的な領域が事前に設定されている。そして突出検出部１１は、所定周期で入力する右サイド撮影画像を継続して分析し、右後部ウインドウ６の３次元的な領域を介して車内から車外へ飛び出した物体が存在するか否かを監視する。当該監視は、既存の物体認識技術および位置認識技術により、３次元座標系における物体の３次元的な領域が特定された上で、当該物体の３次元的な領域と、右後部ウインドウ６の３次元的な領域とのが比較されることによって行われる。

突出検出部１１は、右後部ウインドウ６から物体が突出している場合、突出状態であることを検出し、突出していない場合、突出状態でないことを検出する。通常、突出状態が検出される期間は、複数の周期を跨ぐまとまった時間となる。以上、右後部ウインドウ６を対象として突出検出部１１が実行する処理について説明したが、突出検出部１１は、他のウインドウ６についても同様の処理を実行し、各ウインドウ６について突出状態となった場合、そのことを検出する。

画像処理部１２は、所定周期で画像取得部１０からリア撮影画像、右サイド撮影画像および左サイド撮影画像を入力し、これら画像に基づく動画像をモニタ２に表示させる。動画像の表示に際し、画像処理部１２は、突出検出部１１により突出状態が検出されている間は通常モードで動画像を表示させ、突出状態が検出されていない間は特殊モードで動画像を表示させる。以下、通常モードおよび特殊モードのそれぞれにおける画像処理部１２の処理について説明する。以下の説明では、画像処理部１２がモニタ２に動画像を表示させることを「画像処理部１２が動画像を表示する」のように表現する場合がある。

＜通常モード＞
まず通常モードにおける画像処理部１２の処理について説明する。上述の通り、画像処理部１２は、突出検出部１１により突出状態が検出されていない間（＝物体がウインドウ６から突出していない間）、通常モードで動画像を表示する。通常モードにおいて、画像処理部１２は、画像取得部１０により取得されたサイド撮影画像およびリア撮影画像に基づいて、サイド撮影画像に基づく動画像（以下「サイド動画像」という）の領域のうち、サイドカメラ４の死角に対応する死角領域ＤＲ（図４）を、リア撮影画像に基づく動画像（以下「リア動画像」という）の一部で補った合成動画像をモニタ２に表示させる。以下、右サイドカメラ４Ｒの右サイド撮影画像およびリアカメラ３のリア撮影画像に基づいて、合成動画像を右モニタ２Ｒに表示させる場合を例にして通常モードにおける画像処理部１２の処理について説明する。

画像処理部１２は、所定周期でリア撮影画像および右サイド撮影画像を入力する度に、入力したこれらの撮影画像に基づいて、右側合成画像を生成するための合成画像生成処理を実行する。図５は、図３のリア撮影画像と図４の右サイド撮影画像とに基づいて合成画像生成処理により生成される右側合成画像の一例を示している。図５では、説明の便宜のため、死角領域ＤＲとそうではない領域との境目に破線を引いている。図３～５を参照し、合成画像生成処理により生成される右側合成画像は、サイド撮影画像（本例では右サイド撮影画像）の死角領域ＤＲが、リア撮影画像に基づく画像（後述する補完画像）により補われた画像であり、合成画像生成処理は、各周期において、このような右側合成画像を生成する処理である。

合成画像生成処理において、まず、画像処理部１２は、図示しない記憶部に記憶された右側ルックアップテーブルを用いて、入力したリア撮影画像を補完画像に変換する。右側ルックアップテーブルとは、リア撮影画像を、「右側仮想カメラが、車体を透過した状態で死角範囲ＤＨを仮想的に撮影することによって生成される撮影画像」に変換するために用いられるマッピングテーブルである。右側仮想カメラとは、右サイドカメラ４と同じ撮影方向、撮影範囲の仮想的な撮影装置のことであり、所定の撮影画像を、右サイドカメラ４の視点に視点変換する際に概念的に用いられる。

右側ルックアップテーブルは、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置と、リア撮影画像の対応する各ドットのドット位置とが一対一で対応付けられた対応関係情報を有する。なお右サイド撮影画像の全領域における死角領域ＤＲの態様（位置、形状）は一定であり、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成する全てのドットのドット位置は事前に特定されている。

右側ルックアップテーブルの対応関係情報は、リアカメラ３の視点を右側仮想カメラの視点に変換するという観点の下、車両座標系におけるリアカメラ３および右側仮想カメラの配置位置および配置角度、リアカメラ３の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、右側仮想カメラの仕様、視点変換に用いる投影面の態様、その他の要素を反映して事前に適切に設定されている。画像処理部１２は、右側ルックアップテーブルを用いて、右側仮想カメラの仮想的な撮影画像の死角領域ＤＲを構成するドットの画素値が、リア撮影画像の対応するドットの画素値によって置き換えられた補完画像を生成する。

補完画像の生成後、画像処理部１２は、マスク情報を生成する。マスク情報とは、補完画像を構成するドットのそれぞれについて、右サイド撮影画像の死角領域ＤＲに補完画像を重畳するときの透過率を定義した情報である。本実施形態では、透過率は、「０」から「１」までの範囲で値をとる。右サイド撮影画像の一のドットの画素値をＲとし、当該一のドットに重畳（ブレンド）される補完画像のドットの画像値をＨとし、重畳後のドットの画素値をＸとし、透過率をαとすると、「Ｘ＝（１－α）＊Ｈ＋α＊Ｒ」が成り立つ。式に示す通り、透過率が「１」の場合、重畳後のドットの画素値は、右サイド撮影画像の対応するドットの画素値となり、逆に、透過率が「０」の場合、重畳後のドットの画素値は、補完画像の対応するドットの画素値となる。

通常モードでは、画像処理部１２は、補完画像を構成する全てのドットについての透過率が「０」であるマスク情報を生成する。マスク情報を生成した後、画像処理部１２は、マスク情報に基づいて、右サイド撮影画像の死角領域ＤＲを構成する各ドットに、補完画像の各ドットを対応する透過率で重畳し、右側合成画像を生成する。通常モードでは、全てのドットについて透過率は「０」のため、右側合成画像は、右サイド撮影画像の死角領域ＤＲが補完画像により置き換わった画像となる（図５参照）。

以上の処理が、右サイド撮影画像およびリア撮影画像の入力に応じて所定周期で実行される合成画像生成処理である。画像処理部１２は、所定周期で右側合成画像をＶＲＡＭ等の画像バッファに展開し、右モニタ２Ｒに表示させる。この結果、右モニタ２Ｒには、右サイド撮影画像に基づく動画像（サイド動画像）の死角領域ＤＲがリア撮影画像に基づく動画像（リア動画像）によって補われた状態で、リアカメラ３および右サイドカメラ４Ｒの撮影結果がリアルタイムに反映された動画像（合成動画像）が表示される。

以上、通常モードにおいて右モニタ２Ｒに合成動画像を表示するときの画像処理部１２の動作について説明したが、画像処理部１２は、左モニタ２Ｌについても、左サイド撮影画像およびリア撮影画像に基づいて同様の処理を行って合成動画像を表示する。

＜特殊モード＞
次に特殊モードにおける画像処理部１２の処理について説明する。上述の通り、画像処理部１２は、突出検出部１１により突出状態が検出されている間（＝物体がウインドウ６から突出している間）、特殊モードで動画像を表示する。

特殊モードにおいて画像処理部１２は、通常モードと異なる方法で合成画像生成処理を実行する。すなわち合成画像生成処理において、画像処理部１２は、通常モードと同様の方法で補完画像を生成する一方、マスク情報については、全てのドットについての透過率を「１」とする。この結果、モニタ２に表示される合成動画像は、その死角領域ＤＲがリア動画像によって補われることなく、サイド動画像が表示された状態となる。図６は、特殊モードで右モニタ２Ｒに表示された合成動画像の映像の一例を示している。図６で例示する合成動画像では、右後部ウインドウ６から手が突出した状態である。

以上の通り、本実施形態に係る画像処理装置１は、合成動画像の表示に際し、所定の条件が成立したときに死角領域ＤＲの全部を一時的にサイド撮影画像に基づく動画像を視認可能な状態とする機能を有している。このような機能を有していることにより、死角領域ＤＲの全域にリア動画像が表示された状態が例外なく継続するのではなく、死角領域ＤＲについて一時的にサイド動画像が視認可能な状態とすることができるため、死角領域ＤＲにおいてサイドカメラ４により撮影された所定の事物を動画像に含ませることができ、提供される動画像に基づいて当該所定の事物をユーザが認識できるようにすることができる。

特に本実施形態では、画像処理装置１は、突出検出部１１によりウインドウ６から物体が突出したことが検出された場合に、突出したことが検出されている間、死角領域ＤＲにサイド動画像を表示する。ここで運転手は、ウインドウ６から物体が突出している場合には、そのことを認識したいと考えることが想定される。ウインドウ６から物体が突出しているという状態に対して何らかの対策をとることが可能となるからである。例えば後部座席に座る子供が誤って手を出しているようなときには注意することが可能となる。

一方で、仮にモニタ２に表示される動画像の死角領域ＤＲについて、常にリア動画像が表示されるならば、運転手は、モニタ２に表示された動画像からは、基本的にはウインドウ６から物体が突出していることを認識できないことになる。ただしウインドウ６から突出した物体の画像が死角領域ＤＲを超えて延在している場合は、死角領域ＤＲを超えた部分については、物体の画像が表示されることになる。しかし、このような状況の場合、表示されるのは、ウインドウ６から突出した部分のうち先端の一部だけであり、また、既に相当量、物体がウインドウ６を超えて飛び出している状態であり、ウインドウ６から物体が突出していることを迅速かつ的確に認識できるわけではない。

これを踏まえ本実施形態の構成によれば、ウインドウ６から物体が突出している場合には、モニタ２に表示される動画像において、死角領域ＤＲにサイド動画像が表示された状態、つまり、サイドカメラ４により撮影された死角範囲ＤＨが表示された状態となるため、運転手は、モニタ２に表示された動画像を通して、ウインドウ６から物体が突出していることを迅速かつ的確に認識することが可能である。特に本実施形態の構成によれば、特殊モードでモニタ２に動画像が表示されるのは、ウインドウ６から物体が突出している期間（＝突出検出部１１により突出状態が検出されている期間）に限定されるため、不必要に長期間に亘って特殊モードで動画像が表示されてしまいユーザの利便性が損なわれる、ということがない。

次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図７は、画像処理装置１の動作を示すフローチャートである。図７で示すように、画像処理装置１の画像取得部１０は、サイド撮影画像、および、リア撮影画像を取得する（ステップＳＡ１）。次いで画像処理部１２は、画像取得部１０により取得されたサイド撮影画像およびリア撮影画像に基づいて、サイド動画像の領域のうち死角領域ＤＲを、リア動画像で補った合成動画像をモニタ２に表示させる（ステップＳＡ２）。上述したように画像処理部１２は、ステップＳＡ２における合成動画像の表示に際し、突出検出部１１により突出状態が検出されたとき（所定の条件が成立しとき）に死角領域ＤＲの全部を一時的にサイド動画像が視認可能な状態とする機能を有している。

＜第１実施形態の第１変形例＞
次に第１実施形態の変形例について説明する。第１実施形態では、突出検出部１１は、ウインドウ６から物体が突出した状態であることを検出した。一方、本変形例に係る突出検出部１１は、物体が開状態のウインドウ６の近傍に位置したことを検出し、画像処理部１２は、開状態のウインドウ６の近傍に物体が位置したことが突出検出部１１により検出されたときに、特殊モードで動画像をモニタ２に表示する。なお、開状態のウインドウ６の近傍に物体が位置したことは、第１実施形態において物体が突出したことを検出する方法と同様の方法により検出可能である。

ここで運転手は、ウインドウ６から物体が突出していなくても、物体が開状態のウインドウ６に近づき、突出する可能性のある状態となった場合には、そのことを認識したいと考えることが想定される。事前に必要な対策、措置をとることができるからである。物体が開状態のウインドウ６に近づき、突出する可能性のある状態とは、一例として、後部座席に座る子供が、開状態のウインドウ６に顔を近づけた状態である。そして上記変形例の構成によれば、運転手は、モニタ２に表示された動画像を通して、物体が開状態のウインドウ６に近づいたこと、および、その物体を認識することができる。

＜第１実施形態の第２変形例＞
次に第１実施形態の第２変形例について説明する。第１実施形態では、特殊モードにおいて、画像処理部１２は、マスク情報における補完画像の各ドットの透過率を「０」とした。この点に関し、本変形例に係る画像処理部１２は、特殊モードにおいて、マスク情報における補完画像の各ドットの透過率を、死角領域ＤＲに補完画像を重畳したときに、サイド撮影画像および補完画像の双方が視認できるような透過率（例えば、「０．５」）とする。本変形例の構成であっても、突出状態のときに死角領域ＤＲについて、サイド動画像が視認可能な状態となり、第１実施形態と同様の効果を奏することができる。更に本変形例によれば、運転手は、特殊モードで動画像が表示されているときに、死角領域ＤＲについて、リア動画像の内容も確認することができる。

＜第１実施形態の第３変形例＞
次に第１実施形態の第３変形例について説明する。本変形例において、画像処理部１２は、突出検出部１１により突出状態が検出されており、特殊モードで合成動画像を表示するときに、合成動画像のうちウインドウ６から突出している物体の画像にマーキングする。マーキングは、例えば、物体を囲む矩形の枠の画像を表示したり、物体の外縁に沿った線の画像を表示したり、注意を促すようなマークを表示したりすることによって行われる。本変形例の構成によれば、運転手は、モニタ２に表示される動画像を見ることによって、ウインドウ６から物体が突出していることを確実かつ即座に認識できる。

＜第１実施形態の第４変形例＞
次に第１実施形態の第４変形例について説明する。第１実施形態では、特殊モードにおいて、画像処理部１２は、死角領域ＤＲの全域にサイド撮影画像に基づく動画像を表示した。この点に関し、本変形例に係る画像処理部１２は、以下の処理を実行する。以下、右モニタ２Ｒに合成動画像を表示する場合を例にして本変形例に係る画像処理部１２の処理について説明する。

突出検出部１１により突出状態が検出されており、特殊モードで動画像を表示する場合、合成画像を生成する合成画像生成処理において、本変形例に係る画像処理部１２は、以下の処理を実行する。すなわち画像処理部１２は、右サイド撮影画像の領域のうち、ウインドウ６から突出する物体（以下「突出物体」という）の画像の領域を特定する。本実施形態では、画像処理部１２は、突出物体のうち、ウインドウ６を超えて車外に突出した部分の領域を特定する。ただし突出物体についてどのような領域を特定するのかはこれに限定されず、例えば、突出物体のうち車外に突出した部分と、この部分に連続し、車内に延在する部分を特定するようにしてもよい。以下、画像処理部１２が特定した領域を「突出物体領域」という。

次いで画像処理部１２は、補完画像を生成すると共に、生成した補完画像のうち、突出物体領域に対応する領域を特定する。次いで画像処理部１２は、マスク情報について、補完画像の突出物体領域に対応する領域に属する各画素の透過率を「１」とし、当該領域を除く領域の透過率を「０」とする。次いで画像処理部１２は、マスク情報に従って補完画像と右サイド撮影画像とを合成することによって右側合成画像を生成する。ここで合成された右側合成画像は、その死角領域ＤＲにおいて、突出物体領域（サイド撮影画像において突出物体の画像が延在する領域）についてはサイド撮影画像が表示され、それ以外の領域については補完画像が表示された状態となる。以上の処理が本変形例に係る合成画像生成処理である。モニタ２には、このようにして生成された合成画像に基づく合成動画像が表示される。図８は、図６の状況と同じ状況において、右モニタ２Ｒに表示される映像の一例を示している。

以上の通り、本変形例では、モニタ２に表示される動画像の死角領域ＤＲにおいて、突出物体の領域については、サイド動画像が視認可能な状態で表示されるため、運転手は、モニタ２に表示された動画像に基づいて、ウインドウ６から物体が突出していることを認識できる。特に本変形例では、死角領域ＤＲの全域について、サイド撮影画像に基づく動画像が表示されるのではなく、突出物体の領域についてのみサイド動画像が表示されるため、不必要に広い領域についてリア動画像の表示が停止されてしまうことを防止できる。

なお本変形例について、第１変形例を応用し、突出検出部１１が、物体が開状態のウインドウ６の近傍に位置したことを検出する構成としてもよい。また第２変形例を応用し、画像処理部１２が、マスク情報について、突出物体領域の各画素の透過率を「１」としたところを、サイド動画像とリア動画像との双方が視認可能となるような透過率（例えば「０．５」）とするようにしてもよい。また第３変形例を応用し、画像処理部１２が、動画像における突出物体の領域にマーキングする構成としてもよい。

＜第１実施形態のその他の変形例＞
第１実施形態では、突出検出部１１は、サイド撮影画像を分析することによって突出状態を検出したが、第１実施形態で例示した方法以外の方法で突出状態を検出する構成でもよい。一例としてウインドウ６を物体が通過したことを検出する透過型或いは反射型の光センサを自車両に設け、突出検出部１１が、この光センサの検出値に基づいて突出状態を検出するようにしてもよい。また第１実施形態では、画像処理部１２は、特殊モードで動画像を表示する際に、補完画像を重畳するときの透過率を調整することによって、死角領域ＤＲにリア動画像が表示されるようにしたが、この点に関し、補完画像を重畳するときの透過率を調整するのではなく、補完画像を重畳しないようにしてもよい。

＜第２実施形態＞
次に第２実施形態について説明する。以下の第２実施形態の説明において、第１実施形態の要素と同一の要素については同一の符号を付し、その詳細な説明を省略する。図９は、本実施形態に係る画像処理装置１Ａの機能構成例を示すブロック図である。図９と図１との比較で明らかな通り、本実施形態に係る画像処理装置１Ａは、画像取得部１０に代えて画像取得部１０Ａを、突出検出部１１に代えて特定状態検出部１５を、画像処理部１２に代えて画像処理部１２Ａを備えている。

特定状態検出部１５は、４つのウインドウ６のそれぞれについて、開状態であるか閉状態であるかを検出する。更に特定状態検出部１５は、給油口５が開状態であるか閉状態であるかを検出する。給油口５が開状態とは給油口５を塞ぐ蓋体が開いている状態であることをいう。特定状態検出部１５は、上述した車両システムと通信し、各ウインドウ６および給油口５の開状態／閉状態を検出する。ただし、検出方法はどのような方法であってもよく、例えば、特定状態検出部１５が各種センサを利用して検出する構成でもよく、またサイドカメラ撮影画像を分析して検出する構成でもよい。

画像処理部１２Ａは、特定状態検出部１５によりウインドウ６が開状態であることが検出された場合、または、給油口５が開状態であることが検出された場合、特殊モードで動画像を表示する。より具体的には、右側の２つのウインドウ６および給油口５（上述したように、自車両について、給油口５は右側の側面に設けられている）について、１つでも開状態のものがある場合、画像処理部１２Ａは、特殊モードで動画像を右モニタ２Ｒに表示する。また画像処理部１２Ａは、左側の２つのウインドウ６について、１つでも開状態のものがある場合、画像処理部１２Ａは、特殊モードで動画像を左モニタ２Ｌに表示する。この結果、例えば、右後部ウインドウ６が開状態の場合、右モニタ２Ｒには特殊モードで動画像が表示され、動画像の死角領域ＤＲについてはサイド動画像が表示される。

本実施形態の構成によれば、以下の効果を奏する。すなわち、ウインドウ６が開状態の場合、ウインドウ６から物体が突出し得る状態であり、ウインドウ６近辺の状況を絶えず確認できるようにしておきたいと考えることが想定される。これを踏まえ本実施形態によれば、ウインドウ６が開状態のとき、モニタ２を通して運転手がウインドウ６付近の状況を絶えず確認できるようにすることができる。また、給油口５は通常、閉状態とされるべきものであり、給油口５が開状態の場合、運転手にそのことを認識させた方が良いと言える。そして本実施形態によれば、給油口５が開状態のときは、特殊モードで動画像が表示されるため、給油口５が開いた様子が映像として表示されることになり、運転手は、動画像から給油口５が開状態であることを即座に認識できる。

次に本実施形態に係る画像処理装置２Ａの動作例について図７のフローチャートを延焼して説明する。図７で示すように、画像処理装置１Ａの画像取得部１０Ａは、サイド撮影画像、および、リア撮影画像を取得する（ステップＳＡ１）。次いで画像処理部１２Ａは、画像取得部１０Ａにより取得されたサイド撮影画像およびリア撮影画像に基づいて、サイド動画像の領域のうち死角領域ＤＲを、リア動画像で補った合成動画像をモニタ２に表示させる（ステップＳＡ２）。上述したように本実施形態に係る画像処理部１２Ａは、ステップＳＡ２における合成動画像の表示に際し、特定状態検出部１５によりウインドウ６が開状態であること或いは給油口５が開状態であることが検出されたとき（所定の条件が成立しとき）に死角領域ＤＲの全部を一時的にサイド動画像が視認可能な状態とする機能を有している。

＜第２実施形態の第１変形例＞
次に、第２実施形態の第１変形例について説明する。第２実施形態では、画像処理装置１Ａは、特定状態検出部１５を備えていない。そして動画像の表示に際し、画像処理部１２Ａは、以下の処理を実行する。すなわち、ウインドウ６および給油口５の状態によらず、動画像の死角領域ＤＲのうち、ウインドウ６および給油口５の領域について、サイド動画像を継続して表示する。なお、サイド撮影画像におけるウインドウ６の領域および給油口５の領域は一定であるため、画像処理部１２Ａは、合成画像生成処理において補完画像を重畳する際に、ウインドウ６の領域および給油口５の領域の透過率を「１」にすることにより、ウインドウ６および給油口５の領域にサイド動画像を継続して表示する。

本変形例の構成によれば、運転手は、モニタ２に表示された動画像を視認することにより、常に、ウインドウ６付近の状況および給油口５の状態を確認することが可能である。なお、本変形例について、第１実施形態の第２変形例を応用し、画像処理部１２Ａが、ウインドウ６の領域および給油口５の領域の透過率を「１」とするのではなく、サイド動画像とリア動画像との双方が視認可能となるような透過率（例えば「０．５」）とするようにしてもよい。

＜第２実施形態のその他の変形例＞
第２実施形態について、画像処理部１２Ａが、特殊モードで動画像を表示するときに、死角領域ＤＲの全域にサイド動画像を表示するのではなく、開状態の部材の領域にのみサイド動画像を表示する構成でもよい。例えば、右モニタ２Ｒに動画像を表示する際に、右後部ウインドウ６が開状態であり、前部の右側のウインドウ６および給油口５が閉状態の場合、画像処理部１２Ａが、右後部ウインドウ６の領域にのみサイド動画像を表示する構成としてもよい。

また第２実施形態では、特定状態検出部１５が状態を監視する対象は、全てのウインドウ６および給油口５であったが、当該対象はこの例に限られない。例えば、当該対象は、ウインドウ６のみ（給油口５を対象としない）であってもよく、一部のウインドウ６であってもよい。また当該対象は、ウインドウ６および給油口５以外の部材（例えば、車体に設けられたアンテナ）であってもよい。

また第２実施形態と第１実施形態とを組み合わせる構成でもよい。すなわち、画像処理装置１Ａが、更に第１実施形態に係る突出検出部１１を備える構成とし、画像処理部１２Ａが、特定状態検出部１５に特定の部材が特定の状態であることが検出されている場合のみならず、突出検出部１１により突出状態が検出されている場合に、死角領域ＤＲについてサイド動画像を視認可能な状態とする構成としてもよい。

以上、本発明の実施形態（変形例を含む）を説明したが、上記各実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

例えば、上記各実施形態では、リアカメラ３が魚眼カメラにより構成され、サイドカメラ４が標準カメラにより構成されていたが、リアカメラ３やサイドカメラ４のどのようなカメラにより構成するかは、上記実施形態の例に限定されない。

また、上記各実施形態では、合成画像を表示する表示装置は、右モニタ２Ｒおよび左モニタ２Ｌであった。しかしながら、動画像を表示する表示装置は、右モニタ２Ｒおよび左モニタ２Ｌに限らず、自車両のダッシュボードの中央やセンターコンソール等に設けられた表示パネルや、右サイドミラーＭＲおよび左サイドミラーＭＬに設けられた表示パネル、バックミラーに設けられた表示パネル等であってもよい。表示装置は、携帯端末であってもよい。

また、サイドカメラ４の自車両における設置位置は、上記各実施形態で例示した位置に限られない。例えば、サイドカメラ４は、車両の側面であって、車両の前端に近い位置に設けられてもよい。

１、１Ａ 画像処理装置
２Ｌ 左モニタ（表示装置）
２Ｒ 右モニタ（表示装置）
３ リアカメラ
４Ｌ 左サイドカメラ（サイドカメラ）
４Ｒ 右サイドカメラ（サイドカメラ）
５ 給油口
６ ウインドウ
１０、１０Ａ 画像取得部
１１ 突出検出部
１２，１２Ａ 画像処理部
１５ 特定状態検出部
ＤＨ 死角範囲
ＤＲ 死角領域

Claims (12)

1. 車両の側面部に設けられ、撮影範囲に前記車両のサイドドアのウインドウを含む車体の側面の一部が含まれた状態で前記車両の後方に向かって撮影を行うサイドカメラの撮影結果に基づくサイド撮影画像、および、前記車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる範囲を少なくとも撮影可能なリアカメラの撮影結果に基づくリア撮影画像を取得する画像取得部と、
   前記画像取得部により取得された前記サイド撮影画像および前記リア撮影画像に基づいて、前記サイド撮影画像に基づく動画像の領域のうち前記サイドカメラの死角に対応する死角領域を、前記リア撮影画像に基づく動画像で補った合成動画像を表示装置に表示させる画像処理部と、
   開状態の前記ウインドウから物体が突出したこと、または、物体が開状態の前記ウインドウの近傍に位置したことを検出する突出検出部とを備え、
   前記画像処理部は、
   前記合成動画像の表示に際し、物体が前記ウインドウから突出したこと、または、物体が前記ウインドウの近傍に位置したことが前記突出検出部により検出された場合、少なくとも前記死角領域におけるその物体の領域について、前記サイド撮影画像に基づく動画像を視認可能な状態とする
   ことを特徴とする画像処理装置。
2. 前記画像処理部は、物体が前記ウインドウから突出したこと、または、物体が前記ウインドウの近傍に位置したことが前記突出検出部により検出された場合、前記死角領域におけるその物体の領域のみを前記サイド撮影画像に基づく動画像が視認可能な状態とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記ウインドウから突出し、または、前記ウインドウの近傍に位置する物体の領域にマーキングすることを特徴とする請求項１または２に記載の画像処理装置。
4. 車両の側面部に設けられ、撮影範囲に前記車両のサイドドアのウインドウを含む車体の側面の一部が含まれた状態で前記車両の後方に向かって撮影を行うサイドカメラの撮影結果に基づくサイド撮影画像、および、前記車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる範囲を少なくとも撮影可能なリアカメラの撮影結果に基づくリア撮影画像を取得する画像取得部と、
   前記画像取得部により取得された前記サイド撮影画像および前記リア撮影画像に基づいて、前記サイド撮影画像に基づく動画像の領域のうち前記サイドカメラの死角に対応する死角領域を、前記リア撮影画像に基づく動画像で補った合成動画像を表示装置に表示させる画像処理部と、
   前記ウインドウが開状態であることを検出する特定状態検出部とを備え、
   前記画像処理部は、前記特定状態検出部により前記ウインドウが開状態であることが検出された場合、少なくとも前記死角領域における前記ウインドウの領域について、前記サイド撮影画像に基づく動画像を視認可能な状態とする
   ことを特徴とする画像処理装置。
5. 前記サイドカメラの撮影画像には更に、前記車両の車体の側面に形成された給油口が含まれ、
   前記特定状態検出部は更に、前記給油口が開状態であることを検出し、
   前記画像処理部は、前記特定状態検出部により前記給油口が開状態であることが検出された場合、少なくとも前記死角領域における前記給油口の領域について、前記サイド撮影画像に基づく動画像を視認可能な状態とすることを特徴とする請求項４に記載の画像処理装置。
6. 車両の側面部に設けられ、撮影範囲に前記車両の車体の側面に形成された給油口を含む前記車体の側面の一部が含まれた状態で前記車両の後方に向かって撮影を行うサイドカメラの撮影結果に基づくサイド撮影画像、および、前記車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる範囲を少なくとも撮影可能なリアカメラの撮影結果に基づくリア撮影画像を取得する画像取得部と、
   前記画像取得部により取得された前記サイド撮影画像および前記リア撮影画像に基づいて、前記サイド撮影画像に基づく動画像の領域のうち前記サイドカメラの死角に対応する死角領域を、前記リア撮影画像に基づく動画像で補った合成動画像を表示装置に表示させる画像処理部と、
   前記給油口が開状態であることを検出する特定状態検出部とを備え、
   前記画像処理部は、前記特定状態検出部により前記給油口が開状態であることが検出された場合、少なくとも前記死角領域における前記給油口の領域について、前記サイド撮影画像に基づく動画像を視認可能な状態とする
   ことを特徴とする画像処理装置。
7. 車両の側面部に設けられ、撮影範囲に前記車両の車体の側面に形成された給油口を含む前記車体の側面の一部が含まれた状態で前記車両の後方に向かって撮影を行うサイドカメラの撮影結果に基づくサイド撮影画像、および、前記車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる範囲を少なくとも撮影可能なリアカメラの撮影結果に基づくリア撮影画像を取得する画像取得部と、
   前記画像取得部により取得された前記サイド撮影画像および前記リア撮影画像に基づいて、前記サイド撮影画像に基づく動画像の領域のうち前記サイドカメラの死角に対応する死角領域を、前記リア撮影画像に基づく動画像で補った合成動画像を表示装置に表示させる画像処理部とを備え、
   前記画像処理部は、前記死角領域における前記給油口の領域について継続して、前記サイド撮影画像に基づく動画像を視認可能な状態とする
   ことを特徴とする画像処理装置。
8. 前記サイドカメラの撮影範囲には更に、前記車両のサイドドアのウインドウが含まれ、
   前記画像処理部は更に、前記死角領域における前記ウインドウの領域または前記ウインドウの上部の領域について継続して、前記サイド撮影画像に基づく動画像を視認可能な状態とすることを特徴とする請求項７に記載の画像処理装置。
9. 画像処理装置の画像取得部が、車両の側面部に設けられ、撮影範囲にサイドドアのウインドウを含む車体の側面の一部が含まれた状態で前記車両の後方に向かって撮影を行うサイドカメラの撮影結果に基づくサイド撮影画像、および、前記車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる範囲を少なくとも撮影可能なリアカメラの撮影結果に基づくリア撮影画像を取得する第１ステップと、
   前記画像処理装置の画像処理部が、前記画像取得部により取得された前記サイド撮影画像および前記リア撮影画像に基づいて、前記サイド撮影画像に基づく動画像の領域のうち前記サイドカメラの死角に対応する死角領域を、前記リア撮影画像に基づく動画像で補った合成動画像を表示装置に表示させる第２ステップとを含み、
   前記画像処理部は、前記第２ステップにおける前記合成動画像の表示に際し、開状態の前記ウインドウから物体が突出したこと、または、物体が開状態の前記ウインドウの近傍に位置したことを検出する突出検出部により物体が前記ウインドウから突出したこと、または、物体が前記ウインドウの近傍に位置したことが検出された場合、少なくとも前記死角領域におけるその物体の領域について、前記サイド撮影画像に基づく動画像を視認可能な状態とする
   ことを特徴とする画像処理方法。
10. 画像処理装置の画像取得部が、車両の側面部に設けられ、撮影範囲にサイドドアのウインドウを含む車体の側面の一部が含まれた状態で前記車両の後方に向かって撮影を行うサイドカメラの撮影結果に基づくサイド撮影画像、および、前記車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる範囲を少なくとも撮影可能なリアカメラの撮影結果に基づくリア撮影画像を取得する第１ステップと、
    前記画像処理装置の画像処理部が、前記画像取得部により取得された前記サイド撮影画像および前記リア撮影画像に基づいて、前記サイド撮影画像に基づく動画像の領域のうち前記サイドカメラの死角に対応する死角領域を、前記リア撮影画像に基づく動画像で補った合成動画像を表示装置に表示させる第２ステップとを含み、
    前記第２ステップにおいて前記画像処理部は、前記ウインドウが開状態であることを検出する特定状態検出部により前記ウインドウが開状態であることが検出された場合、少なくとも前記死角領域における前記ウインドウの領域について、前記サイド撮影画像に基づく動画像を視認可能な状態とする
    ことを特徴とする画像処理方法。
11. 画像処理装置の画像取得部が、車両の側面部に設けられ、撮影範囲に前記車両の車体の側面に形成された給油口を含む前記車体の側面の一部が含まれた状態で前記車両の後方に向かって撮影を行うサイドカメラの撮影結果に基づくサイド撮影画像、および、前記車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる範囲を少なくとも撮影可能なリアカメラの撮影結果に基づくリア撮影画像を取得する第１ステップと、
    前記画像処理装置の画像処理部が、前記画像取得部により取得された前記サイド撮影画像および前記リア撮影画像に基づいて、前記サイド撮影画像に基づく動画像の領域のうち前記サイドカメラの死角に対応する死角領域を、前記リア撮影画像に基づく動画像で補った合成動画像を表示装置に表示させる第２ステップとを含み、
    前記第２ステップにおいて前記画像処理部は、前記給油口が開状態であることを検出する特定状態検出部により前記給油口が開状態であることが検出された場合、少なくとも前記死角領域における前記給油口の領域について、前記サイド撮影画像に基づく動画像を視認可能な状態とする
    ことを特徴とする画像処理方法。
12. 画像処理装置の画像取得部が、車両の側面部に設けられ、撮影範囲に前記車両の車体の側面に形成された給油口を含む前記車体の側面の一部が含まれた状態で前記車両の後方に向かって撮影を行うサイドカメラの撮影結果に基づくサイド撮影画像、および、前記車両の後部に設けられ、前記サイドカメラの撮影範囲のうち前記車体により死角となる範囲を少なくとも撮影可能なリアカメラの撮影結果に基づくリア撮影画像を取得する第１ステップと、
    前記画像処理装置の画像処理部が、前記画像取得部により取得された前記サイド撮影画像および前記リア撮影画像に基づいて、前記サイド撮影画像に基づく動画像の領域のうち前記サイドカメラの死角に対応する死角領域を、前記リア撮影画像に基づく動画像で補った合成動画像を表示装置に表示させる第２ステップとを含み、
    前記第２ステップにおいて前記画像処理部は、前記死角領域における前記給油口の領域について継続して、前記サイド撮影画像に基づく動画像を視認可能な状態とする
    ことを特徴とする画像処理方法。