JPWO2009107199A1 - 画像処理装置、画像処理方法、画像処理プログラム及び車載端末 - Google Patents

Abstract

画像処理装置（３）は、車両に設けられた撮像装置（２）の撮像画像を取得する画像入力部（７）と、道路の分岐点またはカーブと車両との距離を、ナビゲーションシステム（５）から取得する車両情報入力部（８）と、撮像情報と運転者情報が予め記録される記録部（１５）と、入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部（９）と、拡大対象物が認識された場合に、拡大画像を撮像画像と合成した合成画像を生成する合成部（１１）とを備える。合成部（１１）は、車両情報入力部（８）で取得された前記距離と、記録部（１５）に記録された撮像情報および運転者情報とを用いて、撮像画像内における、運転者の死角の画像ではない非死角領域を計算し、当該非死角領域に拡大画像が重なるように合成する。これにより、運転者が一回のアクションで、死角エリアおよび拡大画像の情報を認識することが可能になる。

Description

本発明は、例えば、車両に設置されたカメラ等で撮影した画像を、ユーザに表示するために処理する画像処理装置に関する。

近年、見通しの悪い交差点、Ｔ字路での出会い頭の衝突事故防止などを目的に、車両に設置されたカメラを用いたシステム（例えば、ブラインドコーナモニタ（Ｂｌｉｎｄ Ｃｏｒｎｅｒ Ｍｏｎｉｔｏｒ：ＢＣＭ））が導入されつつある。

ＢＣＭは、例えば車両前端等に設置したカメラで、運転者が運転席から見ることのできない死角となるエリアを撮影し、車載モニタに表示する。ＢＣＭにより、運転者の視覚補助が実現する。

しかし、例えば、車両が直行していない交差点に進入する場合のように、車両が道路に対して、９０度以外の角度で進入すると、車両の左右の道路状況が同時にＢＣＭの車載モニタに写らないことがある。すなわち、ＢＣＭのモニタにも表示されない死角が生じることがある。また、電柱や歩行者などが遮蔽物となり、運転者がＢＣＭのモニタの映像を見ても左右の状況が把握できない場合もある。このような場合、運転者は、接近する車両に気づかない恐れがあり、ＢＣＭだけでは、十分に安全確認を行えないことになる。

一方、交差点には事故防止の一手段として、運転者の死角となる情報を映し出す反射鏡（コーナミラー）が設置されている。

このような路側に設けられた反射鏡を利用した障害検出システムが提案されている（例えば、特開２００７−６９７７７号公報（特許文献１）参照）。このシステムは、車両側から路側に設けられた反射部材に向けて赤外光を照射させ、反射部材で反射した赤外光により生成される画像から危険対象物が存在するか否かを判断する。危険対象物が存在した場合、システムは、運転者にその旨を報知する。

また、車両の前方に設けられたカメラで撮像した画像からコーナミラーを認識し、拡大してＨＵＤ（ヘッドアップディスプレイ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）に表示するシステムも提案されている（例えば、特開２００７−１０２６９１号公報（特許文献２）参照）。
特開２００７−６９７７７号公報 特開２００７−１０２６９１号公報

しかし、コーナミラーの大きさや形状、向き、道路幅といった条件により、コーナミラーでもとらえきれない領域（死角）が発生する場合もある。そのため、運転者は、コーナミラーや、その拡大映像だけは、十分に安全確認を行えないことになる。

このように、死角エリアの状況は時々刻々と変化するので、運転者は、道路に設置されたコーナミラーあるいはその映像、およびＢＣＭの映像の両方を常時確認する必要がある。例えば、車両が交差点に進入する直前において、運転者は、反射鏡がとらえる死角エリアの情報は道路に設置された反射鏡で、ＢＣＭのカメラがとらえる死角エリアの情報はモニタで確認するといった行動を行う。このような行為は、運転中の運転者にとって負担となっている。

すなわち、ＢＣＭやコーナミラーにより、運転者の死角エリアや拡大画像を提示する環境が整っていても、運転者が１回のアクション（モニタを確認するといった行為）で死角および拡大画像それぞれの情報が確認できないのであれば、その情報の有益性も半減してしまう。

そのため、運転者が一回のアクションで、死角エリアと拡大画像双方の情報を認識することができ、それぞれの情報を有効に活用できる仕組みが求められている。

ゆえに、本発明は、運転者が一回のアクションで、死角エリアおよび拡大画像の情報を認識することを可能にする画像処理装置を提供することを目的とする。

本発明にかかる画像処理装置は、車両に設けられた撮像装置により撮像された撮像画像を取得する画像入力部と、車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に取得する車両情報入力部と、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報が記録される記録部と、前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部と、前記拡大対象認識部により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成部とを備え、前記合成部は、前記車両情報入力部で取得された前記距離と、前記記録部に記録された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する。

上記構成において、合成部は、車両の進行方向にある道路の分岐点またはカーブと車両との距離と、撮像装置の特性および運転者の視野に関する情報を用いることにより、撮像装置が撮像した撮像画像内における、運転者の死角の画像ではない領域（すなわち非死角領域）を特定することができる。そのため、合成部は、撮像画像における非死角領域に、拡大対象物の拡大画像を重ねた合成画像を生成することができる。合成画像が表示されると、運転者はこの合成画像を一瞥するだけで、撮像画像に含まれる死角の画像と拡大対象物の拡大画像とを同時に確認することができる。すなわち、運転者は、撮像装置が捉える死角および拡大対象物の双方を１回のアクション（表示された合成画像を見る行為）により、確認することが可能になる。

本発明によれば、運転者が一回のアクションで、死角エリアおよび拡大画像の情報を認識することが可能になる。

画像処理装置を含む車載システム全体の構成を示す機能ブロック図 車載システムが実装された車両１０を透視した場合の概略構成を示す図 車両のカメラで撮影される水平方向における範囲を示す図 車両のカメラによって撮影される画像の例を示す図 車両が、道路に対して９０度以外の角度で進入する場合の例を示す図 左側に遮蔽物が存在する交差点に車両が進入する場合の例を示す図 運転者が道路反射鏡を使って確認できる領域を概念的に示す図 カメラから画像処理装置へ入力される画像の一例を示す図 画像処理装置が生成する合成画像の一例を示す図 画像処理装置の動作例を示すフローチャート 交差点を上から見た場合の、距離Ｌ、ｌ₀、交差点位置Ｋ１等の例を示す図 合成制御部１４の処理の一例を示すフローチャート 交差点に進入しようとする車両を上から見た場合の、撮像領域および視野領域の例を示す図 図１１の例においてカメラにより撮影される撮像画像を、モニタの映像表示領域に対応するように示した図 拡大サイズの拡大画像を含む合成画像が表示される場合の例を示す図 交差点に進入しようとする車両を上から見た場合の、撮像領域および視野領域の例を示す図 車両が道路に対して９０度以外の角度で進入する状況を上からみた場合の例を示す図 車両のカメラ２の部分を拡大して示す図 車両がカーブへ向かう状況の例を上から見た図

本発明の実施形態にかかる画像処理装置において、前記合成部は、前記分岐点またはカーブの位置周辺における前記撮像装置により撮像される撮像領域を、前記分岐点またはカーブと前記車両との距離および前記撮像情報を用いて計算し、前記分岐点またはカーブの位置周辺における運転者の視野に入る視野領域を、前記分岐点またはカーブと前記車両との距離および前記運転者情報を用いて計算し、前記撮像領域に対する前記視野領域の位置関係を用いて、前記撮像画像における前記非死角領域の位置を特定する態様とすることができる。

上記構成のように、合成部は、前記分岐点またはカーブの位置に基づく位置における撮像装置の撮像領域と運転者の視野領域をそれぞれ計算する。これらの位置関係は、撮像画像と非死角領域の位置関係に対応する。そのため、合成部は、撮像領域と視野領域の位置関係を用いて、撮像画像における非死角領域をより正確に計算することができる。

本発明の実施形態にかかる画像処理装置において、前記合成部は、前記拡大画像の拡大の度合いを、前記車両情報入力部で取得された前記距離を用いて決定する態様とすることができる。

これにより、車両と分岐点またはカーブとの距離に応じて、道路反射鏡の拡大画像の拡大度合いを調整することが可能になる。その結果、運転者が道路反射鏡および撮像映像に写る死角を確認することをより容易にする合成画像が生成される。

本発明の実施形態にかかる画像処理装置において、前記画像入力部は、前記撮像画像の撮像時における前記撮像装置の水平舵角をさらに入力し、前記合成部は、前記水平舵角を用いて、前記撮像領域を計算する態様とすることができる。

ここで、撮像装置の水平舵角とは、車両に設けられた撮像装置の光軸が、所定位置から垂直方向を軸として水平面内で回転した場合の所定位置からの回転角度で表される量である。これにより、合成部は、撮像画像が光軸を水平方向に回転させて撮像した画像についても、回転量に応じて適切な非死角領域を計算することができる。

本発明の実施形態にかかる画像処理装置において、前記車両情報入力部は、車両の進行方向にあるカーブの曲率を示す値をさらに取得し、前記合成部は、前記曲率を用いて、前記拡大画像の拡大の度合いを決定する態様とすることができる。

これにより、車両の進行方向にあるカーブの曲率に応じて、道路反射鏡の拡大画像の拡大の度合いを調整することが可能になる。その結果、カーブの曲率に応じた適切な大きさの道路反射鏡の拡大画像を含む合成画像が生成される。

本発明の実施形態にかかる画像処理装置において、前記車両情報入力部は、前記分岐点または前記カーブにおける事故発生の頻度を表す情報をさらに取得し、前記合成部は、前記事項発生の頻度を用いて、前記拡大画像の拡大の度合いを決定する態様とすることができる。

これにより、車両の進行方向にある分岐点またはカーブの事故発生の頻度に応じて、道路反射鏡の拡大画像の拡大の度合いを調整することが可能になる。その結果、分岐点またはカーブの危険度合いに応じた適切な大きさの道路反射鏡の拡大画像を含む合成画像が生成される。

本発明の実施形態にかかる画像処理装置は、前記車両に設けられたナビゲーションシステムと連携動作可能であり、車両情報入力部は、前記車両に設けられたナビゲーションシステムから車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を取得する態様とすることができる。このように、ナビゲーションシステムと連携可能な構成にすることにより、効率よく処理を実行することができる。

本発明の実施形態にかかる画像処理装置において、前記車両情報入力部は、前記カーナビゲーションシステムから、前記分岐点または前記カーブに前記拡大対象物があるか否かを示す情報をさらに入力し、前記拡大対象認識部は、前記分岐点または前記カーブに前記拡大対象物がある場合に、前記入力された撮像画像に含まれる所定の拡大対象物を認識する態様とすることができる。

このように、前記分岐点または前記カーブにおける前記拡大対象物の有無を示す情報を基に認識を実行するか否かを判断することで、認識処理がより正確に効率よく行われる。

本発明の実施形態にかかる画像処理装置において、前記拡大対象認識部は、前記距離が所定の距離以下になった場合に、前記入力された撮像画像に含まれる所定の拡大対象物を認識する態様とすることができる。

本発明にかかる画像処理方法は、コンピュータにより実行される画像処理方法であって、車両に設けられた撮像装置により撮像された撮像画像を入力する画像入力ステップと、前記車両に設けられたナビゲーションシステムから前記車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に入力する車両情報入力ステップと、前記コンピュータがアクセス可能な記録部に記録された、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報を読み込んで入力する記録情報取得ステップと、前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識ステップと、前記拡大対象認識ステップで拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成ステップとを含み、前記合成ステップでは、前記車両情報入力ステップで取得された前記距離と、前記記録情報取得ステップで取得された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する処理が実行される。

本発明にかかる画像処理プログラムは、車両に設けられた撮像装置により撮像された撮像画像を取得する画像入力処理と、車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に取得する車両情報入力処理と、コンピュータがアクセス可能な記録部に記録された、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報を取得する記録情報取得処理と、前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識処理と、前記拡大対象認識処理により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成処理とコンピュータに実行させる画像処理プログラムであって、前記合成処理において、前記車両情報入力処理で取得された前記距離と、前記記録情報取得処理で取得された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する処理をコンピュータに実行させる。

本発明にかかる車載端末は、車両に設けられた撮像装置と連携可能な車載端末であって、車両の位置を特定する機能と、道路の分岐点またはカーブの位置を含む道路情報を記録した地図データ記録部とを備えるナビゲーションシステム部と、前記撮像装置により撮像された撮像画像を取得する画像入力部と、車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記ナビゲーションシステム部で特定される車両の位置および道路情報を用いて取得する車両情報入力部と、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報が記録される記録部と、前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部と、前記拡大対象認識部により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成部と、前記合成部が生成した合成画像を表示する表示装置とを備える。

以下、本発明の実施形態について、図を参照しながら説明する。

＜車載システムの構成の概要＞
図１は、本実施形態に係る画像処理装置を含む車載システム全体の構成を示す機能ブロック図である。図１に示す車載システム１は、車両に設けられるシステムであり、カメラ（撮像装置）２、画像処理装置３、ＧＰＳアンテナ４、ナビゲーションシステム（ナビゲーションシステム部）５およびモニタ（表示部）６を含む。カメラ２は、例えば、車両の前方視野を撮影できる位置に設けられる。画像処理装置３は、カメラ２が撮影した前方視野の画像を受け付けて処理し、モニタ６へ出力する。

ＧＰＳアンテナ４は、複数のＧＰＳ用人工衛星（ＧＰＳ衛星）からの電波を受信する。ナビゲーションシステム５は、ＧＰＳアンテナ４が受信した電波に基づいて、車両の現在位置を計測する。ナビゲーションシステム５は、この現在地と、地図データ記録部１７に予め記録された地図データを用いてナビゲーション情報を生成し、モニタ６へ表示する。地図データには、道路地図（道幅、分岐点の位置およびカーブの位置の情報を含む）の他、各種施設のデータ、ランドマーク等が含まれる。地図データは、例えば、ナビゲーションシステム５による、現在地の表示、経路探索、経路案内等の処理に使用される。

画像処理装置３は、ナビゲーションシステム５から、進行方向にある交差点またはカーブの情報、車両の現在位置等を受け取り、画像の処理に用いる。画像処理装置３は、画像入力部７、車両情報入力部８、拡大対象認識部９、合成部１１、出力部１５、記録部１６を備える。合成部１１は、拡大部１２、重畳部１３および合成制御部１４を含む。なお、画像処理装置３内部の詳細については後述する。

＜車両への実装例＞
図２Ａおよび図２Ｂは、車載システム１を車両へ実装した場合の構成の一例を示す図である。図２Ａは、車載システム１が実装された車両１０を透視した場合の概略構成を示す図である。車両１０の前端にカメラ２が設けられ、筐体（車載端末）１８に接続されている。筐体１８は、ナビゲーションシステム５、画像処理装置３およびモニタ６が一体として形成されたものである。モニタ６は、車両１０に搭乗した運転者Ｈ１から見える位置に形成される。

筐体１８には、例えば、ＣＰＵ、記録媒体（ＲＡＭ、ＲＯＭ、ＨＤＤ等）、ディスプレイ、電源回路、およびこれらを接続するバスライン等により構成されるコンピュータが内蔵されている。ナビゲーションシステム５並びに画像処理装置３の画像入力部７、車両情報入力部８、拡大対象認識部９、合成部１１および出力部１５の各機能は、ＣＰＵが所定のプログラムを実行することによって実現される。上記各機能を実現するためのプログラム、およびそれを記録した記録媒体も本発明の実施形態の一例である。また、記録部１６および地図データ記録部１７は、コンピュータが備える記録媒体によって具現化される。

なお、車載システム１の実装形態は図２Ａに示す例に限定されない。例えば、ナビゲーションシステム５およびモニタ６を１つの筐体で形成し、画像処理装置３は、カメラ２とその筐体に接続されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として設けられてもよい。また、画像処理装置３は、例えば、１３９４コントローラＬＳＩ等のようなチップで構成することができる。また、モニタ６は、インスツルメンタルパネル（ｉｎｓｔｒｕｍｅｎｔａｌ ｐａｎｅｌ：インパネ）またはＨＵＤ等により、形成されてもよい。なお、図２Ａにおいて、２本の直線ｍ１、ｎ１で挟まれる領域は、カメラ２で撮影される垂直方向における範囲を示している。

図２Ｂは、交差点に進入しようとする車両１０のカメラ２で撮影される水平方向における範囲を示す図である。図２Bにおいて、２本の直線ｐ２および直線ｎ２で挟まれる領域は、カメラ２で撮影される水平方向における範囲を示している。図２Ｂに示す例では、２本の直線ｐ２、ｎ２の間の角度αが１８０°弱の値となっている。（この角度αのように、カメラによって捉えられ、モニタ６に表示される範囲を角度によって表したものを、監視可能角度と呼ぶことにする。）ここでは、カメラ２の監視可能角度αが１８０°に近いので、車両１０の前端が交差点に進入したときに、車両１０の進行方向と直行する道路の左右の画像がカメラ２で撮影されモニタ６に表示される。また、カメラが車両１０の前端の位置に設けられているので、車両１０が前方に進む場合は、運転者Ｈ１が一早く前方の死角を確認できる。

図３は、交差点に進入しようとする車両１０のカメラ２によって撮影される撮像画像の例を示す図である。図３に示す画像において、右端部分ＡＲおよび左端部分ＡＬには、運転者H１から死角になるエリアが写っている。

なお、図２Ｂに示す例では、水平方向の監視可能角度が１８０°に近いカメラ１台で車両１０の左右を撮影する構成であるが、例えば、監視可能角度が略９０°のカメラが２台、車両１０の右方向と左方向にそれぞれ向けて設置されてもよい。また、車の前端に前方向、右方向、左方向の３つのカメラを設置すると、監視可能範囲を１８０゜以上にすることも可能である。カメラ設置台数は特に限定されず、コストや画像の見易さなどを考慮して適宜決められる。

また、カメラの設置位置は、図２Ａおよび図２Ｂに示した位置に限られない。例えば、車両のボンネットやバックミラー、ドアミラーなどにカメラを設けることも可能である。また、車両１０が後進する場合に後方の映像を捉えるために、車両１０の後方にカメラが設けられてもよい。本願実施形態では、一例として１台のカメラで前方を撮影する場合について述べる。

＜画像処理装置３の出力画像の例＞
車両１０が交差点またはT字路に進入する場合、左右の状況がカメラ２で捉えられない場合もある。例えば、図４に示すように、車両１０が、道路に対して９０度以外の角度で進入する場合であって、車両１０の右側に塀２１がある場合、カメラ２で撮影される画像の右端には、道路の右方向の状況でなく塀２１が写る。すなわち、右側から来る車両２２ａはカメラ２で塀２１の影になり、撮影される画像に表れない。また、左側から来る車両２２ｂも、カメラ２の監視可能角度内に入るまでは、カメラ２の画像に表れない。

また、他の例として、図５に示すように、左側に遮蔽物２３（例えば、電柱または歩行者等）が存在する交差点に車両１０が進入する際も、左から接近中の車両２２ｃが、遮蔽物２３の影に隠れるので、カメラ２で撮影される画像に表示されない。このようにカメラ２を左右の道路の状況を捉えることができない場合がある。

一方、交差点、Ｔ字路、またはカーブに設けられた道路反射鏡（通称、カーブミラー）により、運転者Ｈ１は、直接見ることのできない道路の状況を確認することができる。図６は、車両１０がＴ字路に進入しようとした場合に、運転者Ｈ１が道路反射鏡を使って確認できる領域を概念的に示す図である。図６に示す例では、Ｔ字路に２枚の道路反射鏡２４ａ、２４ｂが設けられている。車両の運転者Ｈ１が直接見て確認することのできる範囲は、直線ｐ３と直線ｎ３で挟まれた範囲である。運転者Ｈ１は、道路反射鏡２４ａを見ることにより、直線ｐ４と直線ｎ４で挟まれた範囲を、道路反射鏡２４ｂを見ることにより、直線ｐ５と直線ｎ５で挟まれた範囲を確認することができる。

図６に示す例において、運転者Ｈ１の左右の死角になる領域Ｓ１は、カメラ２によって撮影されてモニタ６に表示される。この場合、運転者Ｈ１は、直接見ることのできない左右の状況を、道路反射鏡及びモニタ６を見ることで確認することできる。本実施形態における画像処理装置３は、例えば、図６に示すような状況において、運転者Ｈ１がモニタ６を見る動作だけで、死角の領域Ｓ１および道路反射鏡２４ａ、２４ｂに写った領域の双方を確認することを可能にする画像を提供するものである。

図７Ａは、カメラ２から画像処理装置３へ入力される画像の一例を示す図である。画像処理装置３は、図７Ａに示す画像のうち道路反射鏡の部分Ａ１を拡大した拡大画像を元の画像に重畳して合成画像を生成する。図７Ｂは、画像処理装置３が生成する合成画像の一例を示す図である。図７Ｂに示すように、画像処理装置３は、元の画像（図７Ａ）中で死角の領域Ｓ１でない非死角領域が写っている箇所に拡大画像を重畳した画像を生成することができる。

このように、道路反射鏡の拡大画像を、元の撮像画像における運転者Ｈ１の非死角領域に重畳し表示することで、運転者Ｈ１の死角領域全体を１画面で表示することが出来る。このような画像処理を可能にする画像処理装置３の詳細な構成および動作例を以下に説明する。

＜画像処理装置３の構成＞
図１に示す画像処理装置３において、画像入力部７は、カメラ２から撮像画像の画像データを取得して拡大対象認識部９および合成部１１がアクセス可能な状態にする。画像入力部７は、例えば、カメラ２から送られてくる画像信号をＡ／Ｄ変換その他必要な変換を施し、拡大対象認識部９および合成部１１がアクセス可能な記録媒体にフレームごとに記録する。また、画像入力部７は、Ａ／Ｄ変換等の必要な変換が施された画像データを受信してもよい。

拡大対象認識部９は、画像入力部７が取得した画像データを、フレーム単位で読み出し、各フレームの画像の中で拡大対象物（ここでは、道路反射鏡とする）と認識できる領域が存在か否かを判断する。道路反射鏡と認識できる領域が存在する場合は、拡大対象認識部９は、その領域のデータを抽出して拡大部１２へ渡す。拡大部１２は、その領域の画像を拡大して拡大画像を生成する。

拡大対象認識部９は、公知の画像認識技術を用いて、画像中の道路反射鏡の部分を認識することができる。一例として、拡大対象認識部９は、まず、ラプラシアンフィルタを用いて画像中のエッジ部分を抽出する。そして、拡大対象認識部９は、エッジ部分で構成される画像データと、予め記録された道路反射鏡の特徴量データ（例えば、標準的な道路反射鏡のテンプレート）とをマッチングして相関値を算出し、相関値が閾値より大きな領域を道路反射鏡の領域と判断することができる。

また、特徴量データとして、道路標識等のように道路反射鏡と誤認識しやすいテンプレートが予め記録されてもよい。この場合、拡大対象認識部９は、このようなテンプレートとエッジ部分で構成される画像データとの相関値が閾値より大きいときは、道路反射鏡として認識しないようにしてもよい。これにより、認識精度が向上する。なお、道路反射鏡の認識処理は、上記例に限定されない。

このように、拡大対象認識部９が認識する拡大対象物は、拡大して運転者に表示することが求められる物である。すなわち、道路反射鏡のように、運転者の運転に有益な情報を与える物が拡大対象物として予め定義される。上記の例では、拡大対象部である道路反射鏡は、予め記録された特徴量データにより定義されている。なお、拡大対象物は、道路反射鏡に限られず、例えば、道路標識、案内板、路面標識（路面に描かれたい文字（例えば「とまれ」）や矢印等）が拡大対象物として定義されてもよい。

拡大部１２は、道路反射鏡の領域の画像を拡大する際に、合成制御部１４からの通知される拡大の度合いを示す値にしたがって拡大する。拡大部１２は、拡大画像を重畳部１３へ渡す。

重畳部１３は、受け取った拡大画像を、画像入力部７が取得した撮像画像の画像データの対応するフレーム（以下、元フレームと称する）に重畳して合成画像を生成する。重畳部１３は、重畳の際、拡大画像の元フレームにおける重畳位置を示す情報を合成制御部１４から取得し、取得した情報に基づいて拡大画像を元フレームに重畳する。

このようにして、重畳部１３で生成された合成画像は、出力部１５を介してモニタ６へ出力される。なお、拡大対象認識部９で反射鏡の部分が認識されなかったフレームは、重畳部１３では加工されずに出力部１５へ送られ、モニタ６へ表示される。

記録部１６には、車両１０が備えるカメラ２の特性を示す撮像情報と、車両１０の運転者Ｈ１の視野に関する運転者情報が予め記録される。撮像情報は、カメラ２により撮影される範囲を得るための情報を含む。例えば、カメラ２の監視可能角度、画角、レンズ特性、および車両１０におけるカメラ２の設置位置等が撮像情報に含まれる。

また、運転者情報には、車両１０の運転席に着いた運転者の視野を推測することを可能にするような情報が含まれる。例えば、車両１０における運転者の目の位置、運転者の視野特性（例えば、有効視野）等が運転者情報に含まれる。なお、運手者情報は、予め記録される固定値に限られない。例えば、車両情報入力部８が、運転者の目線を監視する車載装置（図示せず）から運転者の視野情報を受け取り運転者情報として記録部１６に記録してもよい。

車両情報入力部８は、ナビゲーションシステム５から車両１０の現在位置と、車両１０の進行方向にある直近の分岐点の位置を取得し、車両１０から分岐点までの距離（以下、距離Ｌとする）を算出し、合成制御部１４へ通知する。

なお、車両１０から分岐点までの距離Ｌの取得方法はこれに限られない。車両情報入力部８は、距離Ｌを、現在位置を特定するための情報を収集する機能を持つ車載デバイスからのデータを基に取得することができるが、車載デバイスは特に限定されない。例えば、車両情報入力部８は、ナビゲーションシステム５から車両１０から分岐点までの距離Ｌを示すデータを受け取ってもよいし、ＧＰＳアンテナ４が受信した電波と、地図データ記録部１７の地図データを使って距離Ｌを計算してもよい。また、車両情報入力部８は、分岐点に加えて、あるいは分岐点に替えて、進行方向にあるカーブまでの距離を取得してもよい。また、車両情報入力部８は、例えば、車速センサや車体方位センサ等（図示せず）からの情報をさらに用いて、車両１０の現在位置を特定してもよい。

合成制御部１４は、車両１０から分岐点までの距離Ｌと、記録部１６に記録された撮像情報および運転者情報を用いて、画像における道路反射鏡の領域の拡大度合いおよび拡大画像を重畳する位置を計算し、拡大部１２および重畳部１３にそれぞれ通知する。ここで、合成制御部１４は、撮像画像の元フレームにおいて、運転者Ｈ１が直接見ることのできる画像の領域（＝運転者Ｈ１の死角の画像でない非死角領域）を計算し、非死角領域に拡大画像が重畳されるように、重畳位置を計算する。

例えば、合成制御部１４は、距離Ｌと、撮像情報を用いて、車両１０から距離Ｌの位置周辺においてカメラ２により撮影される範囲（撮像領域）を計算する。さらに、合成制御部１４は、距離Ｌと運転者情報とを用いて、車両１０から距離Ｌの位置周辺において運転者の視野に入る範囲（視野領域）を計算する。そして、合成制御部１４は、撮像領域と視野領域との位置関係を用いて、撮像画像の元フレームにおける非死角領域を計算する。合成制御部１４は、撮像領域に対する視野領域の位置関係が、撮像画像の元フレームに対する非死角領域の位置関係に相当するように、非死角領域を計算することができる。なお、非死角領域の計算方法はこれに限られない。合成制御部１４は、カメラ２の特性、道路形状、交差点位置および自車位置等を用いて、運転者Ｈ１の非死角領域を決定することができる。

また、合成制御部１４は、車両情報入力部８が入力した情報を用いて、画像入力部７または拡大対象認識部９の動作を制御することもできる。例えば、合成制御部１４は、距離Ｌが所定の距離より小さい時のみに、画像入力部７および拡大対象認識部９が動作するように制御してもよい。これにより、拡大対象認識部９による車両１０が分岐点に近づく度に、道路反射鏡の認識処理が実行される。

また、道路反射鏡の認識処理は、交差点に近づく度に毎回行う必要は必ずしもない。例えば、ナビゲーションシステム５の地図データに、各分岐点に拡大対象物（ここでは道路反射鏡）があるか否かを示す情報を予め記憶しておき、車両情報入力部８が当該情報を取得できる構成にすることができる。この場合、合成制御部１４は、車両１０が道路反射鏡のある分岐点に近づいた場合に、拡大対象認識部９が認識処理をするように制御することができる。なお、拡大対象認識部９が車両情報入力部８から直接、前記情報を受け取って、認識処理実行の要否を判断してもよい。

＜画像処理装置３の動作例＞
次に、画像処理装置３の動作例について説明する。図８は、画像処理装置３の動作例を示すフローチャートである。図８に示す動作例では、まず、画像処理装置３は、合成画像を出力するか否かを示すフラグ「Ｆｌａｇ」を初期化（０に設定）する（Ｏｐ１）。

そして、車両情報入力部８は、ナビゲーションシステム５から車両１０の現在位置および車両１０の進行方向にある最も近い交差点位置Ｋ１を取得する（Ｏｐ２）。現在位置情報および交差点位置Ｋ１は、例えば、緯度および経度により表される。車両情報入力部８は、車両１０の現在位置から交差点位置Ｋ１までの距離Ｌを算出する（Ｏｐ３）。距離Ｌは、合成制御部１４に通知される。

合成制御部１４は、距離Ｌが閾値ｌ₀より小さい、すなわち車両１０が交差点付近であり（Ｌ＜ｌ₀：Ｏｐ４でＹｅｓ）、かつ、交差点通過前である（Ｌ≧０：Ｏｐ５でＹｅｓ）場合に、画像入力部７にカメラ２の撮像画像を取得させる（Ｏｐ９）。

図９は、交差点を上から見た場合の、距離Ｌ、ｌ₀、交差点位置Ｋ１等の位置関係の例を示す図である。図９に示す例では、交差点位置Ｋ１は、交差点の中心（交差する道路の中心を通る線（中心線）の交点）の位置とされている。車両１０は、交差点位置Ｋ１に向かって進んでいる。ここで、距離ｌ₀は、車両１０が進入しようとしている道路の道幅Ａにより決定される距離ｌ₁と、予め決められた固定値ｌ₂との和となっている。距離ｌ₁は、交差点位置から道端までの距離であり、一例として、ｌ₁＝Ａ／２で求められる。このように、カメラ２による画像取得期間を決めるための閾値ｌ₀は、合成制御部１４が、道幅Ａに基づく値と固定値とを足すことによって計算することができる。

図８のＯｐ９において、画像入力部７は、例えば、撮像画像の１フレーム分を取得する。以下、１フレームが取得された場合の例を説明するが、画像入力部７がＯｐ９において複数フレームを取得し、各フレームについて下記Ｏｐ１０の処理が実行されてもよい。

なお、車両１０が、交差点付近でない（Ｏｐ４でＮｏ）、または交差点を通過した後（Ｏｐ８で）である場合には、合成制御部１４は、カメラ２の撮像画像は取得せずに、フラグの判定を行う（Ｏｐ５）。フラグが「Ｆｌａｇ＝０」（Ｏｐ５でＮｏ）の場合は、Ｏｐ２の処理が再び実行される。「Ｆｌａｇ＝１」（Ｏｐ５でＹｅｓ）の場合は、合成制御部１４は、拡大部１２および重畳部１３に対して、映像重畳処理を終了するように指示して（Ｏｐ６）、フラグを「Ｆｌａｇ＝０」に設定する（Ｏｐ７）。その後は、Ｏｐ２の処理が再び実行される。

このＯｐ４〜Ｏｐ９の処理により、車両１０が交差点位置から所定の距離ｌ₀の地点に至ると、画像入力部７によるカメラ２の撮像画像の取得が開始され、車両１０が交差点位置を過ぎると、カメラ２の撮像画像の取得が終了することになる。

Ｏｐ９で、画像入力部７がカメラ２の撮像画像のフレーム（元フレーム）を取得すると、拡大対象認識部９が、元フレームにおいて、道路反射鏡と認識できる領域（道路反射鏡エリア）を抽出する（Ｏｐ１０）。拡大対象認識部９が道路反射鏡の領域を抽出した場合（Ｏｐ１１でＹｅｓ）、合成制御部１４は、道路反射鏡の領域の拡大度合いおよび元フレームに対して拡大画像を重畳する位置を計算する（Ｏｐ１３）。Ｏｐ１３において、合成制御部１４は、Ｏｐ３で計算された距離Ｌと、記録部１６に記録された撮像情報および運転者情報を用いて、拡大度合いおよび重畳位置を計算する。その際、元フレームの画像の中で、運転者Ｈ１が直接見ることができる領域（非死角領域）に、拡大画像が重畳されるようにこの重畳位置が計算される。Ｏｐ１３の処理の詳細については後述する。

拡大部１２は、Ｏｐ１３で計算された拡大度合いに基づいて、Ｏｐ１０で抽出された道路反射鏡の領域を拡大した拡大画像を生成する（Ｏｐ１４）。重畳部１３は、Ｏｐ１３で計算された重畳位置に基づいて、元フレームと拡大画像を重畳した合成画像を生成する（Ｏｐ１５）。そして、出力部１５が、合成画像をモニタ６に表示できるように加工した表示データを生成して（Ｏｐ１６）、モニタ６に出力する（Ｏｐ１７）。これにより、モニタ６には、カメラ２が撮像画像中の非死角領域に、道路反射鏡が拡大されて重畳された画像が表示される。モニタ６に合成画像が表示されるとフラグが「Ｆｌａｇ＝１」に設定される（Ｏｐ１８）。

その後、再び、Ｏｐ２が実行される。以上の図８に示した処理により、車両１０が交差点位置から距離ｌ₀の地点に到達し、交差点位置を通過するまでは、カメラ２が撮影した画像がモニタ６に表示される。その際、カメラ２の撮像画像に道路反射鏡が移っている場合は、道路反射鏡が拡大されて画像中の非死角領域に表示される。運転者Ｈ１は、モニタ６の画像を一瞥するだけで、道路反射鏡に移った死角領域の状況と、カメラ２が捉えた死角領域の状況の両方を確認することができる。

＜拡大度合いおよび重畳位置の計算例＞
ここで、図８のＯｐ１３における拡大度合いおよび重畳位置の計算の例を説明する。図１０は、Ｏｐ１３における合成制御部１４の処理の一例を示すフローチャートである。図１０において、合成制御部１４は、記録部１６から撮像情報として、カメラ２のカメラ特性を取り出す（Ｏｐ２１）。カメラ特性には、例えば、カメラ２の取り付け位置、画角およびレンズ特性が含まれる。

また、合成制御部１４は、記録部１６から運転者情報として、運転者の視点位置および運転者の有効視野を取得する（Ｏｐ２２）。通常、車両１０においては、運転席の位置から、運転者の視点位置を決定することができる。そのため、運転席と位置を、運転者の視点位置を示すデータとして予め記録部１６に記録しておくことができる。

合成制御部１４は、Ｏｐ２１で取得したカメラ特性と距離Ｌを使って、交差点位置付近におけるカメラ２で撮影される撮像領域を計算する（Ｏｐ２２）。さらに、合成制御部１４は、Ｏｐ２２で取得した運転者情報と距離Ｌを使って、交差点位置付近における、運転者が直接見ることができる視野領域を計算する（Ｏｐ２３）。

以下に、図１１を参照して、Ｏｐ２２およびＯｐ２３の計算例を説明する。ここでは、交差点位置付近の撮像領域および視野領域として、交差点位置Ｋ１を含む車両の進行方向に垂直な水平面上の直線上における撮像領域および視野領域を計算する場合について説明する。なお、交差点付近の撮像領域および視野領域は、この例に限られない。例えば、交差点位置Ｋ１から、道幅Ａの２分の１だけ進んだ位置を通る直線または平面上における撮像領域および視野領域が計算されてもよい。

図１１は、交差点に進入しようとする車両１０を上から見た場合の、撮像領域および視野領域の例を示す図である。図１１の示す例は、車両１０のカメラ２位置が車両１０の現在位置であり、この車両１０の現在位置から進行方向へ延びる直線上に交差点位置Ｋ１がある場合の例である。

図１１において、直線ｐ６および直線ｎ６で挟まれる領域は、カメラ２で撮影される水平方向における範囲を示している。直線ｐ６と直線ｎ６との間の角度「α」は、カメラ２の監視可能角度である。この「α」の値には、例えば、カメラ特性に含まれるカメラ２の画角の値を用いることができる。また、合成制御部１４は、カメラ２の画角およびレンズ特性により「α」の値を計算することもできる。あるいは、「α」の値を、予め固定値として記録部１６に記録しておいてもよい。

また、直線ｐ７および直線ｎ７で挟まれる領域は、運転者Ｈ１が直接見ることのできる範囲を示している。直線ｐ７と直線ｎ７との間の角度「β」は、運転者Ｈ１の有効視野である。この「β」の値は、例えば、予め固定値として記録部１６に記録しておいてもよい。なお、人間の有効視野は、眼球運動だけで対象を捉えられノイズの中から目的とする対象を受容できる視野である。標準的な人間の有効視野は、左右約１５度であるので、この値が角度「β」の値として記録されてもよい。

また、カメラ２の設置位置から運転者Ｈ１までの進行方向における距離はｌ_m、進行方向に垂直な方向における距離はｎで表される。これらの距離ｌ_mおよび距離ｎは、上記Ｏｐ２１で取得されたカメラ２の設置位置およびＯｐ２２で取得された運転者の視点位置により求めることができる。また、これらの距離ｌ_mおよび距離ｎを、記録部１６に予め記録しておくこともできる。

水平面上の直線であって、交差点位置Ｋ１を含み車両の進行方向に垂直な直線ｑ上において、カメラ２で撮影される範囲は、直線ｑと直線ｐ６との交点から、直線ｑと直線ｎ６との交点までである。また、運転者Ｈ１が直見ることのできる範囲は、直線ｑと直線ｐ７との交点から、直線ｑと直線ｎ７との交点までである。

Ｏｐ２２において、合成制御部１４は、直線ｑ上において、カメラ２で撮影される範囲の長さの２分の１（＝ｍ１）を、撮像領域として計算する。この計算には、監視可能角度αと、車両１０と交差点位置との距離Ｌが用いられる。具体的には、下記式（１）および式（２）に示すように、ｍ１の値を計算することができる。

ｔａｎ（α／２） ＝ ｍ１／Ｌ ――――（１）
ｍ１ ＝ Ｌ×ｔａｎ（α／２） ――――（２）
また、Ｏｐ２３において、合成制御部１４は、直線ｑ上において、運転者Ｈ１から直接見える範囲の長さの２分の１（＝ｍ２）を、視野領域として計算する。この計算には、距離Ｌ、角度βおよび、カメラ２から運転者Ｈ１までの進行方向の距離ｌ_mが用いられる。具体的には、下記式（３）および式（４）に示すように、ｍ２の値を計算することができる。

ｔａｎ（β／２） ＝ ｍ２／（Ｌ＋ｌ_m） ――――（３）
ｍ２ ＝ （Ｌ＋ｌ_m）×ｔａｎ（β／２） ――――（４）
合成制御部１４は、上記のｍ１、ｍ２を用いて、撮像領域と視野領域の位置関係を計算する。具体的には、合成制御部１４は、図１１に示す例において、直線ｑと直線ｐ６の交点から、直線ｑと直線ｐ７との交点までの距離Ｘを計算する。距離Ｘは、撮像領域と視野領域の位置関係を表す値の一例であり、撮像領域の左端から視野領域の左端までの距離である。Ｘの値は、例えば、ｌ₀＜Ｌの場合は下記式（５）、ｌ₁＜Ｌ≦ｌ₀の場合は下記式（６）、０＜Ｌ≦ｌ₁の場合は下記式（７）により、計算することができる。このように、車両１０と交差点位置Ｋ１との距離Ｌの値によって、計算方法を変えることで、距離Ｌに応じた適切な重畳位置を計算することが可能になる。

ｌ₀＜Ｌの場合：
Ｘ＝０ ――――（５）
ｌ₁＜Ｌ≦ｌ₀の場合：
Ｘ＝ｍ１−（ｍ２―ｎ）
＝｛Ｌ×ｔａｎ（α／２）｝―｛（Ｌ＋ｌ_m）×ｔａｎ（β／２）−ｎ｝ ――（６）
０＜Ｌ≦ｌ₁の場合：
Ｘ＝｛ｌ₁×ｔａｎ（α／２）｝―｛（ｌ₁＋ｌ_m）×ｔａｎ（β／２）−ｎ｝ ――（７）
このようにして計算されたｍ１、ｍ２およびＸを用いて、合成制御部１４は、カメラ２で撮影された撮像画像における非死角領域を示す値を計算する（図１０のＯｐ２５）。例えば、合成制御部１４は、撮像画像において運転者Ｈ１の視野領域が写っている部分（非死角領域）の左端の位置を計算する。

具体的には、合成制御部１４は、撮像領域を示す値（ｍ１）、視野領域を示す値（ｍ２）および撮像領域の左端から視野領域の左端までの距離Ｘを用いて、カメラ２の撮像画像における非死角領域の左端の位置を計算する。この計算の一例を図１２を用いて説明する。

図１２は、図１１の例においてカメラ２により撮影される撮像画像を、モニタの表示領域に対応するように示した図である。図１２に示す例では、直線ｑにおける撮像領域の幅（２×ｍ１）が、撮像画像Ｇ１の横幅Ｗ１に相当する。ここで、撮像画像Ｇ１の横幅Ｗ１は、モニタ６における映像表示領域の横幅とする。横幅Ｗ１は、例えば、固定値として予め記録部１６に記録される。

図１２に示すように、直線ｑにおける撮像領域と視野領域の位置関係を、撮像画像Ｇ１における画像全面と非死角領域の位置関係に相当するとみなすことができる。すなわち、撮像画像Ｇ１の幅Ｗ１と、撮像画像Ｇ１の左端から非死角領域の左端までの長さＸ_PIXの関係は、撮像領域の幅（２×ｍ１）と距離Ｘとの関係に相当するとみなすことができる。そうすると、下記式（８）が成り立つ。

（２×ｍ１）：Ｗ１ ＝ Ｘ：Ｘ_PIX ――――（８）
Ｘ_PIXは下記式（９）により計算することができる。

Ｘ_PIX ＝ （Ｘ×Ｗ１）／（２×ｍ１） ――――（９）
合成制御部１４は、Ｘ_PIXの値を、非死角領域を示す値として算出し（図１０のＯｐ２５）、さらに、Ｘ_PIXを、そのまま重畳位置を示す値として重畳部１３に通知する（Ｏｐ２６）。なお、重畳位置を示す値は、Ｘ_PIXに限られない。例えば、合成制御部１４は、直線ｑ上の視野領域の左端と右端の位置を求め、それらの中間点に相当する撮像画像中の位置を重畳位置としてもよい。

上記の非死角領域の計算方法は、カメラ２の監視可能角度αが１８０°より小さいことを前提としている。カメラ２の画角が１８０°以上の場合は、例えば、１８０°から左右１度ずつ減らして、αを１７８°とし、上記の計算方法で非死角領域を算出することができる。

なお、αの値が大きくなればなるほどカメラ２が撮影する範囲が大きくなり、撮像画像に対する道路反射鏡の部分の画像が小さくなって視認性が下がる。そのため、道路反射鏡を認識できるカメラ２の最大監視可能角度α_max(＝閾値)を予め記録部１６に記録しておき、カメラ２の画角が最大監視可能角度α_maxを越える場合であっても、最大監視可能角度α_max内の領域の画像を撮像画像とすることができる。これにより、カメラ２の画角が１８０°以上であっても、上記の計算方法を用いて非死角領域を計算することができる。

次に、Ｏｐ２７において、合成制御部１４は、拡大画像の拡大サイズ（拡大後のサイズ）を計算する。ここで、図７Ａ、Ｂに示したように、モニタ６の映像表示領域の横幅すなわち撮像画像の横幅をＷ１、縦幅をＨ１とし、拡大画像の横幅をＷ２、縦幅をＨ２とする。Ｗ１およびＨ１の値は、例えば、記録部１６に予め記録されている。Ｗ２およびＨ２の値は、例えば、ｌ₀＜Ｌの場合は下記式（１０）および（１１）、ｌ₁＜Ｌ≦ｌ₀の場合は下記式（１２）および（１３）、０＜Ｌ≦ｌ₁の場合は下記式（１４）および（１５）により、計算することができる。このように、車両１０と交差点位置Ｋ１との距離Ｌの値によって、拡大サイズ（Ｗ２、Ｈ１）の計算方法を変えることで、距離Ｌに応じた適切な拡大サイズを計算することが可能になる。

ｌ₀＜Ｌの場合：
Ｗ２＝０ ――――（１０）
Ｈ２＝０ ――――（１１）
ｌ₁＜Ｌ≦ｌ₀の場合：
Ｗ２＝Ｗ１−（ａ×Ｌ） ――――（１２）
Ｈ２＝Ｈ１−（ｂ×Ｌ） ――――（１３）
０＜Ｌ≦ｌ₁の場合：
Ｗ２＝Ｗ１−（ａ×ｌ₁） ――――（１４）
Ｈ２＝Ｈ１−（ｂ×ｌ₁） ――――（１５）
上記式（１２）〜（１５）において、係数ａおよびｂは定数であり、例えば、カメラ特性および道幅Ｂに基づいて適切な係数ａおよびｂの値が決定される。具体的には、カメラ２の水平方向の画角（水平画角ＶＸ）の値および道幅Ｂの値の組み合わせと、その組み合わせに対応する係数ａを予め記録したテーブルを用いて、係数ａを決定することができる。下記表１は、水平画角ＶＸと道幅Ｂの値の組み合わせに対応する係数ａを記録したテーブルの例である。

同様にして、カメラ２の垂直方向の画角（垂直画角ＶＺ）の値および道幅Ｂの値の組み合わせと、その組み合わせに対応する係数ｂを予め記録したテーブルを用いて、係数ｂを決定することができる。下記表２は、垂直画角ＶＺと道幅Ｂの値の組み合わせに対応する係数ｂを記録したテーブルの例である。

なお、係数aおよびｂの決定方法は上記例に限られない。例えば、係数ａおよびｂを決定する条件に、道幅，水平画角および垂直画角だけでなく、カメラが送出する画像の縦サイズおよび横サイズを加えてもよい。また、必ずしも道幅Ｂを条件に加えなくてもよい。また、Ｏｐ２５で計算された非死角領域を示す値を用いて、拡大サイズを決定することもできる。例えば、拡大画像のサイズを非死角領域内に収まるサイズとしてもよい。

このようにして、Ｏｐ２７において計算された拡大サイズ（Ｗ２、Ｈ２）は、拡大部１２へ通知される。拡大部１２は、この拡大サイズ（Ｗ２、Ｈ２）になるように、撮像画像の元フレームにおける道路反射鏡の領域を拡大する。

以上、図１０〜図１２を用いて説明したように、合成制御部１４は、カメラ２の撮像情報および距離Ｌを使って撮像領域を計算し、運転者情報および距離Ｌを使って視野領域を計算する。そして、合成制御部１４は、カメラ２の設置位置と運転者Ｈ１の位置との関係を示す値を用いて、撮像領域と視野領域の位置関係を求める。合成制御部１４は、この位置関係を用いて非死角領域を示す値を計算することができる。

＜表示画像の例＞
図１３は、拡大サイズの拡大画像を含む合成画像が、モニタ６に表示される場合の例を示す図である。図１３に示す例は、車両１０が交差点に進入し通過する場合における、車両１０の各位置におけるモニタ６の表示画面の例である。

車両１０が交差点位置Ｋ１から閾値ｌ₀の距離に達していないとき（ｌ₀＜Ｌのとき）は、画面Ｄ１がモニタ６に表示される。車両１０が交差点位置Ｋ１からｌ₀以内の距離に入ったとき、画面Ｄ２が表示される。画面Ｄ２では、道路反射鏡の部分が拡大され元の撮像画像に重畳されて表示されている。その後、車両１０が交差点の道路に進入するまでの期間（ｌ₁＜Ｌ≦ｌ₀となる期間）においては、車両１０が交差点に近づくにつれて、道路反射鏡の拡大画像のサイズが大きくなるように表示される（画面Ｄ３）。すなわち、上記式（１２）および（１３）で計算される横幅Ｗ２と縦幅Ｈ２の拡大画像が表示される。そして、車両１０が交差点の道路に進入し、交差点位置Ｋ１に達するまでの期間（０＜Ｌ≦ｌ₁の期間）、拡大画像は固定サイズ（上記式（１４）（１５）のＷ２、Ｈ１）で表示される（画面Ｄ４）。そして、交差点位置Ｋ１を過ぎると（０＞Ｌ）、画面Ｄ５のように拡大画像は表示されなくなる。

以上、図１３に示した画面遷移により、車両１０の状況に合わせて、運転者Ｈ１が、確認しやすい大きさおよび位置で、道路反射鏡の拡大画像が元の撮像画像に重畳して表示される。特に、車両が交差点に進入した直後（Ｌ＝ｌ₁の直後）には、運転者Ｈ１が直接見ることのできない左右の道路の状況が、１つの画面で表示される。このため、運転者Ｈ１は、モニタ６を一瞥するだけで、道路反射鏡に写った死角の状況と、カメラ２が捉えた死角の状況とを確認することができる。

なお、上記の画面遷移は、一例でありこれに限られない。例えば、Ｌ＜０の時、およびｌ₀＜Ｌの時には、カメラ２による画像を表示しないようにしてもよい。

このように、運転者Ｈ１は、カメラ２や道路反射鏡がとらえる死角エリアの状況を、１回のアクション（モニタ６で死角エリアの状況を確認するという行為）で確認することが可能となる。その結果、運転者Ｈ１は、負担が低減され、かつ、時々刻々と変化する状況を確実に認識することができる。

また、画像処理装置３により、カメラ２の撮像画像から道路反射鏡のエリアを検出し、そのエリアを拡大し元の撮像画像の非死角領域に重畳して一つの画面内に表示することが可能になる。これにより、カメラ２または道路反射鏡単独ではとらえきれなったエリアに存在する、自転車、歩行者または車両の状況を運転者Ｈ１に提示することが可能となる。その結果、交通事故の大半をしめる、出会い頭事故の低減が期待できる。

＜重畳位置計算の変形例＞
ここで、図１１を用いて説明した撮像領域（ｍ１）、視野領域（ｍ２）およびこれらの位置関係を示す値（Ｘ）の計算の変形例を説明する。図１１に示した例では、カメラ２の光軸と、運転者Ｈ１が見る方向（目線の方向）が互いに略平行であり、かつ車両１０の進行方向とも平行である場合の例である。これに対して、本変形例では、カメラ２の光軸と、運転者Ｈ１が見る方向が平行でない場合について説明する。図１４は、交差点に進入しようとする車両１０を上から見た場合の、本変形例における、撮像領域および視野領域の例を示す図である。図１４において示される変数Ｌ、ｍ１、ｌｍ、ｎ、αおよびβは、図１１に示した変数と同じである。図１４に示す例では、運転者Ｈ１の目線の方向が、水平面において進行方向から角度γだけ左に移動している。ここで、直線ｐ８と直線ｎ８で挟まれる領域が、運転者Ｈ１が直線見ることのできる領域である。この角度γの値は、例えば、記録部１６に予め記録されていてもよいし、運転者Ｈ１がナビゲーションシステム５を介して設定できるようにしてもよい。また、角度γに関する情報は、運転者Ｈ１の視線を監視する車載装置（図示せず）から車両情報入力部８を介して取得されてもよい。

図１４に示す例では、直線ｑ上において、カメラ２で撮影される範囲の長さの２分の１（＝ｍ１）は、図１１に示した場合と同様に、上記式（２）により計算することができる。

ｍ１ ＝ Ｌ×ｔａｎ（α／２） ――――（２）
本変形例では、直線ｑ上と運転者Ｈ１から進行方向に延びる直線との交点Ｆ１と、運転者Ｈ１が直接見える範囲の左端の点（直線ｐ８と直線ｑの交点）との間の距離をｍ３とする。合成制御部１４は、ｍ３の値を、運転者Ｈ１の視野領域の値として計算する。点Ｆ１と運転者Ｈ１を結ぶ直線と直線ｐ８との間の角度は（γ＋β／２）であるので、下記式（１６）が成り立つ。そのため、ｍ３は、下記式（１７）により計算することができる。

ｔａｎ（γ＋β／２） ＝ ｍ３／（Ｌ＋ｌ_m） ――――（１６）
ｍ３ ＝ （Ｌ＋ｌ_m）×ｔａｎ（γ＋β／２） ――――（１７）
合成制御部１４は、上記のｍ１、ｍ３を用いて、撮像領域と視野領域の位置関係を計算する。具体的には、合成制御部１４は、直線ｑと直線ｐ６の交点から、直線ｑと直線ｐ８との交点までの距離Ｘ２を計算する。撮像領域の左端から視野領域の左端までの距離である。Ｘ２の値は、例えば、下記式（１８）〜（２０）により計算することができる。

ｌ₀＜Ｌの場合：
Ｘ２＝０ ――――（１８）
ｌ₁＜Ｌ≦ｌ₀の場合：
Ｘ２＝ｍ１−（ｍ３―ｎ）
＝｛Ｌ×ｔａｎ（α／２）｝―｛（Ｌ＋ｌ_m）×ｔａｎ（γ＋β／２）−ｎ｝
――――――（１９）
０＜Ｌ≦ｌ₁の場合：
Ｘ２＝｛ｌ₁×ｔａｎ（α／２）｝―｛（ｌ₁＋ｌ_m）×ｔａｎ（γ＋β／２）−ｎ｝
――――――（２０）
このようにして計算されたｍ１、ｍ３およびＸ２を用いて、合成制御部１４は、カメラ２で撮影された撮像画像における非死角領域を示す値を計算する。例えば、撮像画像の幅Ｗ１と、撮像画像の左端から非死角領域の左端までの長さＸ_PIX-2の関係を、撮像領域の幅（２×ｍ１）と距離Ｘ２との関係に相当するとみなすと下記（２１）が成り立つ。これにより、Ｘ_PIX-1は下記式（２２）により計算することができる。

（２×ｍ１）：Ｗ１ ＝ Ｘ２：Ｘ_PIX-2 ――――（２１）
Ｘ_PIX-2 ＝ （Ｘ２×Ｗ１）／（２×ｍ１） ――――（２２）
合成制御部１４は、Ｘ_PIX-2の値を、非死角領域を示す値として算出し、そのＸ_PIX-2の値を、重畳位置を示す値として重畳部１３に通知することができる。これにより、出力部１５は、撮像画像における非死角領域に拡大画像が重畳された合成画像を生成し、モニタ６に出力することができる。

なお、本変形例では、運転者Ｈ１の視線が進行方向から左にずれている場合について説明した。この本変形例の計算方法を用いることにより、カメラ２の光軸が水平面において所定の角度（水平舵角）だけ回転している場合にも、非死角領域を計算することができる。

図１５Ａおよび図１５Ｂに、カメラ２の光軸が所定の水平舵角だけ回転する場合の例を示す。図１５Ａは、車両１０が道路に対して、９０度以外の角度で進入する状況を上からみた場合の例を示す図である。図１５Aに示す分岐点（T字路）では、角度λで２つの道路が合流している。ここでは一例として、これらの合流する２つの道路それぞれの中心線の交点が、分岐点位置Ｋ２とされている。車両が通行中の道路の道幅はB、車両１０が進入しようとする道路の道幅はA２である。車両１０から分岐点位置Ｋ２までの距離はL、分岐点位置Ｋ２から道端までの距離はｌ₁、拡大画像の表示開始地点を決めるための閾値（固定値）はｌ₂、分岐点位置Ｋ２から拡大画像の表示開始位置までの距離はｌ₀でそれぞれ示される。距離ｌ₁は、例えば、ｌ₁＝（Ａ２／２）ｃｏｓλ＋（Ｂ／２）ｔａｎλで計算される。なお、道幅Ａ２、Ｂ、合流する２つの道路の角度λ、分岐点位置Ｋ２等の道路情報は、車両情報入力部８を介してナビゲーションシステム５から取得することができる。

図１５Ｂは、車両１０のカメラ２の部分を拡大して示す図である。図１５Ｂにおいて、Ｙ軸は車両１０の進行方向を示し、線Ｊはカメラ２の光軸の水平面における方向を示す。カメラ２の光軸Ｊは、水平面において、Ｙ軸から角度εだけ反時計回りに回転している。すなわち、カメラ２の水平舵角はεであるといえる。

ここで、カメラ２の舵角制御は、車載に搭載された他のＥＣＵ（例えば、カメラ制御ＥＣＵ（図示せず））が行うことができる。このＥＣＵは、一例として、車両１０が進行中の道路と進入しようとする道路との角度λに応じて、カメラ２の水平舵角εを制御することができる。例えば、進入しようとする道路に対して光軸が垂直になるように、カメラ２の水平舵角εが制御される。

カメラ２の水平舵角εを示す情報は、例えば、画像入力部７が、上記ＥＣＵからカメラ特性として取得することができる。合成制御部１４は、画像入力部７からカメラ２の水平舵角εを受け取って非死角領域の計算に用いることができる。

合成制御部１４は、カメラ２が水平舵角εだけ回転した場合の撮像領域を計算し、計算した撮像領域と視野領域との位置関係を求めることにより、非死角領域を計算する。合成制御部１４は、上記した、運転者Ｈ１の視線が角度γだけ回転した場合の視野領域の計算方法と同様に、カメラ２が水平舵角εだけ回転した場合の撮像領域を計算することができる。また、合成制御部１４は、上記式（１０）〜（１５）を用いて、距離Ｌに応じた適切な拡大画像のサイズ（Ｗ２、Ｈ２）を計算することができる。

このようにして、カメラ２の光軸が水平面において所定の水平舵角だけ回転している場合にも、非死角領域を計算し、拡大画像の重畳位置および拡大サイズを決定することができる。

＜車両１０がカーブに向かう場合の重畳位置および拡大度合いの計算＞
合成制御部１４による動作の他の変形例を説明する。ここでは、車両１０がカーブに向かう場合の合成制御部１４の計算例について説明する。図１６は、車両１０がカーブへ向かう状況の例を上から見た図である。

図１６では、車両１０が曲率半径Ｒのカーブに差し掛かる直前の状況を示している。カーブ位置Ｋ３は、一例として、道路の中心線と、カーブの回転角（θ）を２等分する線との交点とされている。車両が通行中の道路の道幅はＡ、車両１０からカーブ位置Ｋ３までの距離はL、カーブ位置Ｋ３からカーブが始まる地点までの距離はｌ₁（ｌ₁＝（Ｒ＋Ａ／２）ｓｉｎ（θ／２））、拡大画像の表示開始地点を決めるための閾値（固定値）はｌ₂、カーブ位置Ｋ３から拡大画像の表示開始位置までの距離はｌ₀でそれぞれ示される。なお、道幅Ａ、カーブの回転角θ、カーブ位置Ｋ３、カーブの曲率半径Ｒ等の道路情報は、車両情報入力部８を介してナビゲーションシステム５から取得することができる。

合成制御部１４は、図１１、図１２を用いて説明した非死角領域の計算と同様に、撮像領域と視野領域との位置関係を求めることにより、撮像画像の非死角領域を計算することができる。また、合成制御部１４は、例えば、下記式（２３）〜（２８）を用いて、距離Ｌに応じた適切な拡大画像のサイズ（Ｗ２、Ｈ２）を計算することができる。

ｌ₀＜Ｌの場合：
Ｗ２＝０ ――――（２３）
Ｈ２＝０ ――――（２４）
ｌ₁＜Ｌ≦ｌ₀の場合：
Ｗ２＝Ｗ１−（ａ×Ｌ）＋（ｅ×Ｌ） ――――（２５）
Ｈ２＝Ｈ１−（ｂ×Ｌ）＋（ｆ×Ｌ） ――――（２６）
０＜Ｌ≦ｌ₁の場合：
Ｗ２＝Ｗ１−（ａ×ｌ₁）＋（ｅ×ｌ₁） ――――（２７）
Ｈ２＝Ｈ１−（ｂ×ｌ₁）＋（ｆ×ｌ₁） ――――（２８）
上記式（２５）〜（２８）における係数ａ、ｂは、上記式（１２）〜（１５）の係数ａ、ｂと同様に、カメラ特性および道幅Ａにより決定することができる。係数ｅ、ｆは、カーブのＲにより決定される係数である。例えば、Ｒが小さいほど大きくなるような係数ｅ、ｆの値が予め定義され、記録部１６に記録される。具体的には、Ｒによって変化する係数ｅ、ｆの値を定義する関数や、Ｒの各値に対応する係数ｅ、ｆの値を記録したテーブル等により、係数ｅ，ｆの値を決定することができる。

このようにして、車両１０がカーブに差し掛かり通過する場合にも、非死角領域を計算し、道路反射鏡の拡大画像の重畳位置、拡大サイズを決定することができる。また、カーブの曲率に応じて拡大画像のサイズが調整されるので、例えば、曲率が大きい、すなわち曲がり具合が大きいカーブでは、道路反射鏡を大きく表示することが可能になる。

＜事故発生頻度に応じて拡大画像の拡大度合いを決定する計算＞
合成制御部１４は、拡大画像の拡大サイズを決定する際に、上記の道路情報や車両位置情報の他に、様々な要因を考慮にいれることができる。例えば、合成制御部１４は、車両１０が進入しようとする交差点の事故発生頻度に応じて拡大サイズを決定してもよい。ここでは、図９に示したように、車両１０が交差点に進入しようとする場合の計算例を説明する。合成制御部１４は、車両１０が進入しようとする交差点の事故発生頻度を示す値を、例えば、車両情報入力部８を介して、ナビゲーションシステム５から取得することができる。

事故発生頻度を示す値は、例えば、過去１０年における交差点付近の事故件数等である。もしくは、季節ごとの事故発生頻度、または時間帯による事故発生頻度の違い等を示す値が、事故発生頻度を示す値であってもよい。このような値は、例えば、夏は事故が少ないが、冬になると雪道となって、事故発生率が高まる状況または、昼間は事故が少ないが、夜間や早朝になると事故が増える状況が反映された値である。

合成制御部１４は、例えば、下記式（２９）〜（３４）を用いて、距離Ｌに応じた適切な拡大画像のサイズ（Ｗ２、Ｈ２）を計算することができる。

ｌ₀＜Ｌの場合：
Ｗ２＝０ ――――（２９）
Ｈ２＝０ ――――（３０）
ｌ₁＜Ｌ≦ｌ₀の場合：
Ｗ２＝Ｗ１−（ａ×Ｌ）＋（ｃ×Ｌ） ――――（３１）
Ｈ２＝Ｈ１−（ｂ×Ｌ）＋（ｄ×Ｌ） ――――（３２）
０＜Ｌ≦ｌ₁の場合：
Ｗ２＝Ｗ１−（ａ×ｌ₁）＋（ｃ×ｌ₁） ――――（３３）
Ｈ２＝Ｈ１−（ｂ×ｌ₁）＋（ｄ×ｌ₁） ――――（３４）
上記式（２９）〜（３４）における係数ａ、ｂは、上記式（１２）〜（１５）の係数ａ、ｂと同様に、カメラ特性および道幅Ａにより決定することができる。また、係数ｃ、ｄは、車両１０が進入しようとする交差点の事故発生頻度により決定される係数である。例えば、事故発生頻度が高いほど大きくなるような係数ｃ、ｄの値が予め定義され、記録部１６に記録される。具体的には、事故発生頻度によって変化する係数ｃ、ｄの値を定義する関数や、事故発生頻度の各値に対応する係数ｃ、ｄの値を記録したテーブル等により、係数ｃ，ｄの値を決定することができる。

このようにして、車両１０が進入する交差点の事故発生頻度に応じて道路反射鏡の拡大画像の拡大サイズを決定することができる。これにより、例えば、事故発生頻度が高い交差点では、道路反射鏡の拡大画像のサイズを大きくし、運転者Ｈ１がより確認しやすい画像をモニタ６に表示させることができる。

Claims (12)

1. 車両に設けられた撮像装置により撮像された撮像画像を取得する画像入力部と、
   車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、車両に設けられた車載デバイスからの情報を基に取得する車両情報入力部と、
   前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報が記録される記録部と、
   前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部と、
   前記拡大対象認識部により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成部とを備え、
   前記合成部は、前記車両情報入力部で取得された前記距離と、前記記録部に記録された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する、画像処理装置。
2. 前記合成部は、前記分岐点またはカーブの位置周辺における前記撮像装置により撮像される撮像領域を、前記分岐点またはカーブと前記車両との距離および前記撮像情報を用いて計算し、
   前記分岐点またはカーブの位置周辺における運転者の視野に入る視野領域を、前記分岐点またはカーブと前記車両との距離および前記運転者情報を用いて計算し、
   前記撮像領域に対する前記視野領域の位置関係を用いて、前記撮像画像における前記非死角領域の位置を特定する、請求項１に記載の画像処理装置。
3. 前記合成部は、前記拡大画像の拡大の度合いを、前記車両情報入力部で取得された前記距離を用いて決定する、請求項１または２に記載の画像処理装置。
4. 前記画像入力部は、前記撮像画像の撮像時における前記撮像装置の水平舵角をさらに入力し、
   前記合成部は、前記水平舵角を用いて、前記撮像領域を計算する、請求項２に記載の画像処理装置。
5. 前記車両情報入力部は、車両の進行方向にあるカーブの曲率を示す値をさらに取得し、
   前記合成部は、前記曲率を用いて、前記拡大画像の拡大の度合いを決定する、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記車両情報入力部は、前記分岐点または前記カーブにおける事故発生の頻度を表す情報をさらに取得し、
   前記合成部は、前記事項発生の頻度を用いて、前記拡大画像の拡大の度合いを決定する、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記車両に設けられたナビゲーションシステムと連携動作可能であり、
   車両情報入力部は、前記車両に設けられたナビゲーションシステムから車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を取得する、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記車両情報入力部は、前記カーナビゲーションシステムから、前記分岐点または前記カーブに前記拡大対象物があるか否かを示す情報をさらに取得し、
   前記拡大対象認識部は、前記分岐点または前記カーブに前記拡大対象物がある場合に、前記入力された撮像画像に含まれる所定の拡大対象物を認識することを特徴とする、請求項７に記載の画像処理装置。
9. 前記拡大対象認識部は、前記距離が所定の距離以下になった場合に、前記入力された撮像画像に含まれる所定の拡大対象物を認識することを特徴とする、請求項１〜８のいずれか１項に記載の画像処理装置。
10. コンピュータにより実行される画像処理方法であって、
    車両に設けられた撮像装置により撮像された撮像画像を入力する画像入力ステップと、
    前記車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に入力する車両情報入力ステップと、
    前記コンピュータがアクセス可能な記録部に記録された、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報を読み込んで入力する記録情報取得ステップと、
    前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識ステップと、
    前記拡大対象認識ステップで拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成ステップとを含み、
    前記合成ステップでは、前記車両情報入力ステップで取得された前記距離と、前記記録情報取得ステップで取得された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する処理が実行される、画像処理方法。
11. 車両に設けられた撮像装置により撮像された撮像画像を取得する画像入力処理と、
    車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記車両に設けられた車載デバイスからの情報を基に取得する車両情報入力処理と、
    コンピュータがアクセス可能な記録部に記録された、前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報を取得する記録情報取得処理と、
    前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識処理と、
    前記拡大対象認識処理により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成処理とコンピュータに実行させる画像処理プログラムであって、
    前記合成処理において、前記車両情報入力処理で取得された前記距離と、前記記録情報取得処理で取得された前記撮像情報および前記運転者情報を用いて、前記撮像画像における、運転者の死角の画像ではない非死角領域を特定し、当該非死角領域に前記拡大画像が重なるように合成する処理をコンピュータに実行させる、画像処理プログラム。
12. 車両に設けられた撮像装置と連携可能な車載端末であって、
    車両の位置を特定する機能と、道路の分岐点またはカーブの位置を含む道路情報を記録した地図データ記録部とを備えるナビゲーションシステム部と、
    前記撮像装置により撮像された撮像画像を取得する画像入力部と、
    車両の進行方向にある道路の分岐点またはカーブと前記車両との距離を、前記ナビゲーションシステム部で特定される車両の位置および道路情報を用いて取得する車両情報入力部と、
    前記撮像装置の特性を示す撮像情報と前記車両の運転者の視野に関する運転者情報が記録される記録部と、
    前記入力された撮像画像に含まれる所定の拡大対象物を認識する拡大対象認識部と、
    前記拡大対象認識部により拡大対象物が認識された場合に、前記拡大対象物を拡大した拡大画像を前記撮像画像と合成した合成画像を生成する合成部と、
    前記合成部が生成した合成画像を表示する表示部とを備える、車載端末。

Images