WO2011118125A1

WO2011118125A1 - 車両の運転を支援するための装置

Info

Publication number: WO2011118125A1
Application number: PCT/JP2011/000845
Authority: WO
Inventors: 遼彦西口; 圭忍田; 崇渡邊; 達也岩佐
Original assignee: 本田技研工業株式会社
Priority date: 2010-03-26
Filing date: 2011-02-16
Publication date: 2011-09-29
Also published as: JPWO2011118125A1; US20130038735A1; JP5619873B2; EP2555518A4; CN102823240A; EP2555518A1; US9160981B2; CN102823240B

Abstract

　車両に設けられ、該車両の後側方領域および該後側方領域に隣接するサイドミラーの視認範囲外の死角領域を撮像する。撮像された画像を、該撮像画像上の死角領域を圧縮するように画像処理する。該画像処理が施された画像を、運転者に視認可能なように表示する。ここで、車両から対象物までの距離の変化に対する、該対象物の撮影画像上の水平方向における位置の急激な変化を抑制するように、撮像画像上の死角領域を圧縮する。具体的には、車両から対象物までの距離の変化に対する、該対象物の撮影画像上の水平方向における位置の変化の比率が、該距離の変化に対する、該対象物の前記サイドミラー上の水平方向における位置の変化の比率と略同一となるように、圧縮する。こうして、自車両近傍で対象物が急加速して見える事象を抑制することができる。

Description

車両の運転を支援するための装置

　この発明は、車両の運転を支援するための装置に関し、より具体的には、車両の周辺を乗員が視認しやすいように、撮像された画像を加工して表示するための装置に関する。

　従来より、車両の運転を支援するため、車両にカメラを搭載し、車両の周辺を撮像した画像を、乗員の見やすいように加工して表示する装置が提案されている。

　下記の特許文献１には、少なくとも一方のドアミラーにカメラを搭載し、カメラで得られた画像内の対象物が、ドアミラーに映る対象物とほぼ同等の大きさとなるように、後側方領域の画像データについては拡大し、該後側方領域に隣接するドアミラーの視認範囲外の死角領域の画像データについては圧縮して表示する装置が開示されている。

特開２００８－２２１２５号公報

　撮像装置が撮像できる範囲は、車両の後側方を視認するために設けられたサイドミラー（ドアミラーを含む）により視認できる範囲よりも通常広く設定されている。したがって、撮像装置で撮像した画像をそのまま表示装置上に表示すると、後側方から他の車両が自車両に一定の速度で接近している場合でも、該表示装置上では、該他の車両が自車両近傍で急加速しているように見える。

　ここで、一例として、図１４の（ａ）および（ｂ）に、後側方から他の車両Ｖａが自車両Ｖｏに一定速度で接近している場合の、該自車両Ｖｏの曲率７００Ｒのドアミラーに映される車両Ｖａの推移と、該自車両Ｖｏのカメラ（撮像装置）で取得された画像上に撮像される車両Ｖａの推移とを、それぞれ示す。各画像に付された距離値は、自車両Ｖｏのドアミラーへのカメラの取り付け位置（この例では、右ドアミラーにカメラが取り付けられている）からの車両Ｖａに対する距離を示している。たとえば、（ａ）の距離値「１０ｍ」に対応する画像は、車両Ｖａが、該カメラ取り付け位置から後方に１０メートル離れた位置に存在するときに、該ドアミラーに映る像を表したものであり、（ｂ）の距離値「７ｍ」に対応する画像は、車両Ｖａが該カメラ取り付け位置から後方に７メートル離された位置に存在するときに、該カメラにより撮像された画像を表したものである。

　ドアミラー面および撮像画像の左端には、自車両Ｖｏの車体の一部が映されている。丸印で示された点Ｐは、車両Ｖａの前部中央（ここでは、フロントグリルのエンブレムの位置）を示している。

　（ａ）の点Ｐの位置を追跡するとわかるように、距離値が小さくなるにつれて、接近してくる車両Ｖａのドアミラー内の位置は、ゆるやかに推移している。距離値が約４メートルより小さい領域は、曲率７００Ｒのドアミラーでは視認範囲外すなわち死角領域となり、車両Ｖａは該ドアミラーに映されない。

　他方、（ｂ）の点Ｐの位置を追跡するとわかるように、該死角領域に近づくまでは、距離値が小さくなるにつれて、接近してくる車両Ｖａの撮像画像内の位置は、ゆるやかに推移している。しかしながら、死角領域内では、距離値の変化量に対して、点Ｐの撮像画像内の水平方向における位置の変化量が急激に大きくなり、よって、他の車両Ｖａが、自車両Ｖｏ近傍において急加速しているように見える。

　このように、車両Ｖａが一定速度で走行している場合でも、撮像画像上では、車両Ｖａが自車両Ｖｏ近傍で急加速しているように見える。該撮像画像から認知する速度感と、ドアミラーや直接的な目視から認知する速度感とが異なるため、乗員に違和感が生じるおそれがあると共に、乗員は、車両Ｖａの加減速を正しく認知することができないおそれがある。

　また、たとえば領域３０１に示されるように、撮像画像においては、死角領域に車両Ｖａが侵入するにつれて、該車両Ｖａの前端部が伸長したように表示される。これは、車両Ｖａの形状について、乗員に不自然な感じを与える。

　上記の従来技術では、撮像画像に画像処理が施され、後側方領域については、画像中の対象物が、ドアミラーに撮像されるものと同等の大きさとなるよう拡大され、死角領域については圧縮される。しかしながら、この技術では、圧縮についての具体的な手法は示されておらず、よって、圧縮の仕方によっては、上で述べたように、後側方から接近してくる車両の速度が一定であっても、自車両近傍の領域において該車両が急に加速、または減速して見えるおそれがあり、また、該車両の形状が不自然に見えるおそれがある。

　したがって、この発明は、後側方から自車両に接近してくる車両の速度および形状が自然に見えるように、後側方について撮像された画像に画像処理を施すことで、車両の運転を支援する手法を提供することを目的とする。

　この発明の一つの側面によると、運転支援装置は、車両に設けられ、該車両の後側方領域および該後側方領域に隣接するサイドミラーの視認範囲外の死角領域を撮像可能な撮像手段と、前記撮像手段により撮像された撮像画像を、該撮像画像上の前記死角領域に対応する画像領域を圧縮するように処理する画像処理手段（１７）と、前記画像処理手段により処理された画像を前記車両の運転者に視認可能なように表示する表示手段（１５）と、を備える。前記画像処理手段は、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の急激な変化を抑制するように、前記撮像画像上の前記死角領域に対応する画像領域を圧縮する。

　この発明によれば、車両から対象物までの距離の変化に対する、該対象物の撮影画像上の水平方向における位置の急激な変化を抑制するように、撮像画像上の死角領域を圧縮するので、前述したような、該撮像画像上で、他の車両等の対象物が自車両近傍で急加速または急減速するように見える事象を抑制することができる。よって、自車両の乗員は、後側方から接近してくる対象物の速度を、違和感なく、より正確に認知することができる。たとえば、自車両が隣車線に車線変更する際に、該撮像画像を視認して、該隣車線を走行している他の車両の加減速を正しく認知することができる。また、このような圧縮手法により、前述したような、撮像画像上で、他の車両等の対象物の前端部が自車両近傍で伸長して表示されるのを防ぐことができ、よって、該対象物の形状を自然に見せることができる。

　この発明の一実施形態によると、前記画像処理手段は、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の変化（１４１）の比率が、前記車両から対象物までの距離の変化に対する、該対象物の前記サイドミラー上の水平方向における位置の変化（１４３，１４５）の比率と略同一となるように、前記死角領域に対応する画像領域を圧縮する。こうして、撮像画像上の対象物を、サイドミラーに映る該対象物の移動速度と同様の速度で自車両に接近してくるように表示することができる。したがって、自車両の運転者は、撮像画像を視認することにより、後側方から接近してくる車両等の対象物の速度を、サイドミラーを視認するのと同様に違和感なく認知することができる。

　この発明の一実施形態によると、前記画像処理手段は、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の変化（１４１）の最大値が、前記車両から対象物までの距離の変化に対する、該対象物の前記サイドミラー上の水平方向における位置の変化（１４３）の比率の最大値（ｍａｘν_ＭＩＲ）と略同一となるように、前記死角領域に対応する画像領域を圧縮する。こうすることにより、撮像画像上の対象物の移動速度の最大値が、サイドミラー上の対象物の移動速度の最大値と同等となるよう制限される。したがって、前述したような急加速または急減速して見える現象を、より確実に防止することができる。

　この発明の一実施形態によると、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の変化（１４１）の最大値が、前記車両から対象物までの距離の変化に対する、該対象物の前記サイドミラー上の水平方向における位置の変化（１４３）の比率の最大値（ｍａｘν_ＭＩＲ）と略同一となるように、該距離に対する該水平方向における位置の目標関数（ｇ（ｘ））を設定し、該目標関数に従って、前記死角領域に対応する画像領域を圧縮する。このように、目標とする関数に従って圧縮することにより、撮像画像の圧縮処理を効率的に行うことができる。

　この発明の一実施形態によると、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の変化（１４１）を、第１の関数（ｆ（ｘ））とし、該第１の関数の傾き（Ｌ＿ＣＡＭ）と、前記目標関数（ｇ（ｘ））の傾き（Ｌ＿ｇ）との比率に基づく圧縮率（ＣＲｈ）で、前記死角領域に対応する画像領域を圧縮する。こうして圧縮率が定まるので、撮像画像の圧縮処理を効率的に行うことができる。

　本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、運転支援装置のブロック図。この発明の一実施例に従う、撮像装置の撮像範囲およびサイドミラーの視認範囲の一例を示す図。この発明の一実施例に従う、他車両が自車両に近づいてくるときの、自車両から他車両に対する角度θの推移を説明するための図。この発明の一実施例に従う、図３の角度θおよび該角度θの１階微分値をグラフで表した図。この発明の一実施例に従う、画面上に投影される対象物の水平方向の位置（中央からの距離値）ｂを説明するための図。この発明の一実施例に従う、撮像装置およびサイドミラーの距離値ｂのグラフ。この発明の一実施例に従う、撮像装置およびサイドミラーの距離値ｂのグラフの傾きを示す図。この発明の一実施例に従う、目標関数ｇ（ｘ）を示すグラフ。この発明の一実施例に従う、目標関数ｇ（ｘ）に基づく変倍率の設定を説明するためのグラフ。この発明の一実施例に従う、（ａ）撮像装置により取得された原画像、（ｂ）原画像（ａ）の変倍率、（ｃ）画像処理装置によって画像処理が施された後の画像、および（ｄ）画像（ｄ）の変倍率を示す図。この発明の一実施例に従う、画像処理装置によって実行される画像処理プロセスのフローチャート。この発明の一実施例に従う、実験により取得された、車両からの距離に対する画面上の水平方向における対象物位置を表すグラフ。この発明の一実施例に従う、実験により取得された、各距離値に対する、（ａ）曲率７００Ｒのドアミラーに映る像、（ｂ）撮像画像、および（ｃ）画像処理装置によって画像処理が施された後の画像を示す図。実験により取得された、各距離値に対する、（ａ）曲率７００Ｒのドアミラーに映る像、および（ｂ）撮像画像を示す図。

　次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両に搭載され、該車両の運転を支援するための装置１０のブロック図を示す。

　撮像装置１３は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等からなり、車両の左右の少なくとも一方の後側方を撮像可能なように該車両に搭載されている。たとえば、車両の左右のサイドミラー（この実施例では、ドアミラー）１６Ｌ，１６Ｒの少なくとも一方、たとえば助手席側のサイドミラーの下部に配置されることができる。この実施例では、図に示すように、撮像装置１３は、右サイドミラー１６Ｒの下部に配置されている。

　撮像装置１３は、サイドミラー１６よりも画角（視野角）の広い広角レンズを有し、車両の右側方から後方にかけての所定の広角領域の外界を撮像するカメラを備える。撮像により得た画像は、例えばフィルタリング等の所定の画像処理が施されて、二次元配列の画素（ピクセル）からなる画像データを生成し、これを画像処理装置１７に出力する。なお、画像処理装置１７は、図には撮像装置１３と別個に示されているが、該画像処理装置１７を撮像装置１３の内部に含めてもよい。

　画像処理装置１７は、撮像装置１３から入力した後側方の画像データに対して、後述するような拡大および圧縮を含む画像処理を行い、該画像処理後の画像データを、表示装置１５に出力する。表示装置１５は、車両の乗員に視認可能な位置（例えば、インストルメントパネルの車幅方向の略中央）に設けられており、例えば、液晶表示装置で構成されることができる。なお、表示装置１５は、いわゆるナビゲーション装置（図示せず）の表示装置に実現されることができるが、これに限られるものではない。表示装置１５を、各種走行状態を表示する計器類と一体化または該計器類の近傍に配置される表示装置や、フロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するヘッドアップディスプレイ（ＨＵＤ）等で構成してもよい。

　表示装置１５に、表示切り替え装置を接続し、ナビゲーション装置から入力したナビゲーション画像（地図データ等）と、画像処理装置１７から受け取った画像との間で、所定の信号に従って表示を切り換えるようにしてもよく、この具体的な手法は、たとえば特開２００８－２２１２５号公報に記載されている。ここで、ナビゲーション装置は、既知の適切な装置によって実現されることができる。

　サイドミラー１６は、所定の曲率を持つ球面ミラーとして構成されている。代替的に、鏡の中心部から外周部に向かって曲率が連続的に変化するように形成された非球面ミラーで構成してもよい。非球面ミラーは、曲率が一定の球面ミラーに比べて、たとえば画角を１．４～１．７倍等に増大させることができる。

　なお、運転席側のサイドミラーは、前方を向く運転者の首振り角が、例えば５度程度で視認可能となるように配置され、助手席側のサイドミラーは、前方を向く運転者の首振り角が、例えば３０度程度で視認可能となるよう配置されることができる。

　サイドミラー１６による視認範囲は、自車線に隣接する隣車線に対する後側方（以下、自車両の後側方と呼ぶ）の領域を視認可能なように設定されている。例えば、図２には、自車両Ｖｏと、その隣車線に存在する車両Ｖａとが示されているが、車両Ｖｏの助手席側のサイドミラー（この例では、右ドアミラー１６Ｒ）の視認範囲Ｚ１は、運転者の所定のアイポイント（視点）に応じて、たとえば画角θ_Ｍが１８～２５度の程度に設定されており、このうち、自車両Ｖｏの車体の映り込みが、たとえば５度程度になるよう設定されている。

　さらに、右サイドミラー１６Ｒの下部に設けられた撮像装置１３の撮像範囲は、右サイドミラー１６Ｒの視認範囲である自車両Ｖｏの後側方領域Ｚ１と、この後側方領域Ｚ１に隣接する右サイドミラー１６Ｒの視認範囲外の領域すなわち死角領域Ｚ２を含むように設定されており、たとえば、画角θ_Ｌが８０度程度とされている。また、撮像範囲（Ｚ１＋Ｚ２）のうち、自車車体との重複領域は、たとえば画角で８度程度になるよう設定されている。

　死角領域Ｚ２に他の車両Ｖａが存在していると、サイドミラー１６Ｒでは該車両Ｖａを視認することはできないが、撮像装置１３により撮像された画像では、該車両Ｖａを視認することができる。

　ここで、画像処理装置１７による画像処理の目的および概要を説明する。図１４を参照して前述したように、他の車両等の対象物が一定速度で自車両に近づく場合でも、撮像装置で撮像された画像（撮像画像と呼ぶ）上では、該自車両近傍で該対象物が急加速しているように見える。その理由を考察すると、図３には、実空間において、自車両Ｖｏの隣車線を、後側方から自車両Ｖｏに向けて他の車両Ｖａが一定速度で接近してくる様子が示されている。自車両Ｖｏの右サイドミラー１６Ｒの下部に撮像装置１３が取り付けられているとする。該サイドミラー１６Ｒの視野範囲すなわち後側方領域Ｚ１（ライン１０１と１０３の間の領域）と、撮像装置１３の撮像範囲Ｚ３（ライン１１１と１１３の間の領域）の一例が示されている。図２を参照して述べたように、撮像範囲Ｚ３のうち、後側方領域Ｚ１以外の領域（図では、ライン１０１と１１１の間の領域）は、サイドミラー１６Ｒの死角領域Ｚ２である。

　撮像装置１３の取り付け位置（サイドミラー１６Ｒの鏡面の位置と同じ）を原点Ｏとして、自車両Ｖｏの車両長の方向にｘ軸を取り、車幅方向にｙ軸を取るようｘｙ座標系を設定する。他車両Ｖａが自車両Ｖｏに接近しているときの、他車両Ｖａの前部中央の所定位置（図では、フロントグリル部のエンブレムの位置）Ｐの推移が、Ｐ１～Ｐ４として表されている。ここで、点Ｐと原点Ｏとを結ぶ直線ｒと、ｙ軸のなす角をθとする。図には、一例として、点Ｐが位置Ｐ３にあるときの直線ｒおよび角度θが表されている。原点Ｏから点Ｐまでのｙ軸方向の距離をｄとすると、角度θは、θ＝ａｒｃｔａｎ（ｘ／ｄ）と表される。距離ｄは、自車両Ｖｏと他車両Ｖａ間の距離であり、自車両Ｖｏと他車両Ｖａの左側側面との間のｙ軸方向の距離と、他車両Ｖａの車幅の半分の値とを加算することにより算出されることができ、予め設定されることができる値である（たとえば、２．４ｍ）。

　図４を参照すると、図３に示すように他車両Ｖａが自車両Ｖｏよりも５０メートル後方から接近し、該自車両Ｖｏを追い越すまでの角度θの変化を表したグラフ１２１が示されている。横軸は、自車両Ｖｏ（正確には、撮像装置１３の取り付け位置である原点Ｏ）からの距離（ｍ）すなわちｘ値を表しており、縦軸は、角度θ（ｒａｄ）を表している。角度θは、ｙ軸上をゼロ（rad）として、右方向に正値を取り、左方向に負値を取る。したがって、第１象限でのｘ軸上では、θ＝２／π(rad)であり、第２の象限でのｘ軸上では、θ＝－２／π（rad）である。

　また、グラフ１２３は、グラフ１２１で表される角度θを１階微分した値、すなわちｄθ（ｘ）／ｄｘを示し、これは、ｘ＝０で最大となり、ｘが∞（無限大）でゼロとなる。すなわち、単位距離あたりの角度θの変化量は、原点Ｏに近づくほど大きくなっているのがわかる。

　他の車両Ｖａが、一定速度で自車両Ｖｏに接近すると仮定した場合、図４のｘ軸は、時間軸と考えることができる。このとき、単位距離あたりの角度θの変化量は、単位時間あたりの角度θの変化量すなわち角速度とみなすことができる。他の車両Ｖａが自車両Ｖｏに接近するほど、該角速度が上昇することがわかる。

　次に、図５を参照すると、撮像装置１３の撮像面１３１（撮像装置１３に備えられている撮像素子（たとえば、ＣＣＤ素子）の面）と、他車両Ｖａ上の点Ｐとの関係が示されている。撮像装置１３のレンズは原点Ｏに配置され、撮像装置１３の光軸１３３は、該撮像面１３１に対して垂直な方向に、レンズ（原点Ｏ）を通るよう伸長している。光軸１３３と直線ｒのなす角をαとし、該光軸１３３とｙ軸のなす角をφとする。直線１３５および１３７の間の光軸１３３を中心とした領域は、撮像装置１３の視野範囲（すなわち、撮像範囲）を表している。撮像装置１３の撮像面１３１上に点Ｐが投影された点がＰ’で表されている。該点Ｐ’の、該撮像面中心からの横方向（水平方向）における距離ｂは、次の式（１）で表される。ここで、ｆは、撮像装置１３の焦点距離を示す。
ｂ＝ｆ・ｔａｎα
　＝ｆ・ｔａｎ（ａｒｃｔａｎ（ｘ／ｄ）－φ），φ≠０　　（１）

　この式から明らかなように、θ（＝ａｒｃｔａｎ（ｘ／ｄ））の角速度が上昇すると、距離ｂの変化量（すなわち、水平方向における位置の変化量）も大きくなり、これは、撮像面上の点Ｐ’の水平方向における移動速度が上昇することを表している。すなわち、φがゼロでない場合、一定速度で接近してくるはずの他車両Ｖａの移動速度は、撮像面上においては、自車両Ｖｏに近づくにつれて上昇するように見える。

　なお、このような移動速度の上昇という事象は、カメラ（撮像装置）特有の事象ではなく、サイドミラーを介して見た場合でも、生じるはずである。ここで、図６を参照すると、横軸は、図３に示すように、実空間上における原点Ｏからｘ方向の距離（ｍ）を示し、縦軸は、投影面中心からの水平方向における距離（ｍ）すなわち上記のｂ値を示す。ここで、投影面は、撮像装置１３およびサイドミラー１６において、点Ｐが投影される面を示し、撮像装置１３の場合には、上記の撮像面に相当する。

　符号１４１のグラフは、８０度の画角のレンズを備えた撮像装置（カメラ）について、実空間上の点Ｐの各位置（ｘ値）に対するｂ値を上記式（１）に従って算出してプロットしたものである。符号１４３および１４５のグラフは、それぞれ、曲率７００Ｒのサイドミラー、および曲率１０００Ｒのサイドミラーについて、該サイドミラーをカメラと見なして上記と同様に、ｂ値をプロットしたものである。正値のｂを取る点Ｐは、図１４のような画像で見たとき、画像中央から左側に存在することを示し、負値のｂを取る点Ｐは、該画像中央から右側に存在することを示す。

　なお、これら３つのものを同じ条件で比較するため、“３５ｍｍ換算”の焦点距離ｆの値を用いて、ｂの値を算出している。“３５ｍｍ換算”した焦点距離は、周知の如く、３５ｍｍフィルムを使ったと想定した場合の焦点距離であり、焦点距離が決まれば、画角（視野角）も自ずと決まる。したがって、たとえば曲率７００Ｒのサイドミラーの場合、該サイドミラーの画角に対応する、３５ｍｍ換算した焦点距離ｆの値を用いて、上記式（１）に従ってｂの値を計算し、その結果が、グラフ１４３となって示されている。ここで、サイドミラーの場合の光軸１３３を決定する角度φは、自車両のドアパネルの撮像面に映る量が撮像装置１３（カメラ）の場合と同じになるように設定されているものとする。サイドミラーの鏡面の大きさと撮像面の大きさとは異なるが、このような換算を行うことにより、画面の大きさが正規化され、画角の違いに係わらず、同じ条件下でｂの値を比較することができる。３５ｍｍ換算を行った場合の画面上の幅は、周知の如く３６ｍｍとなり、よって、図のＷは３６ｍｍに相当し、これが、画面の水平方向の幅を表す。

　各グラフについて、画面の右端すなわち幅Ｗの下端との交点を見ても明らかなように、サイドミラーの画角は、比較的狭く、広いものでも２８度程度である。そのため、ｂの変化速度すなわち点Ｐ’の画面における移動速度が上昇する自車両Ｖｏの近傍領域（図の例では、距離値が約４メートル以下の領域）では、他車両Ｖａは、既に、サイドミラーの視野範囲外（死角領域）に入っており、サイドミラーには映らない。それに対し、サイドミラーよりも広い画角を有する広角レンズを備えた撮像装置は、該自車両Ｖｏの近傍領域も撮像しているため、撮像画像上では他車両Ｖａは加速するように表示される。これにより、撮像画像とサイドミラーと見比べた場合、乗員に認知される速度感に違いが生じる。

　そこで、本願発明では、問題となる自車両Ｖｏの近傍領域について、サイドミラーが映す範囲のθの角速度と、撮像装置が映す範囲のθの角速度に着目し、どちらで見ても同じような速度で車両が接近してくるように乗員に感じさせるように、撮像画像中の該自車両近傍の領域を圧縮する手法を提案する。

　まず、当該手法の基本的な考え方について、図７を参照して説明する。この図は、図６のグラフ１４１および１４３に、それぞれ、直線Ｌ１およびＬ２（太線で表される）を付したものである。直線Ｌ１は、撮像装置のグラフ１４１における、画面右端（Ｗの下端）での１階微分を表しており、該直線Ｌ１の傾きが、単位距離あたり（前述したように、単位時間あたりと考えることができる）の最大の変化量を表している。同様に、直線Ｌ２は、サイドミラーのグラフ１４３における、画面右端での１階微分を表しており、該直線Ｌ２の傾きが、単位距離あたりの最大の変化量を表している。すなわち、直線Ｌ１およびＬ２は、点Ｐに対応する画面上の投影点Ｐ’の移動速度の最大値を示す。

　直線Ｌ１とＬ２を比較すると、撮像装置のグラフ１４１の該移動速度の最大値ｍａｘν_ＣＡＭは、サイドミラーのグラフ１４３の該移動速度の最大値ｍａｘν_ＭＩＲよりも大きく、この例では約２倍となっている。点Ｐに対応する撮像画像上の点の移動速度は、該撮像画像を圧縮して表示することにより小さくなり、逆に拡大すれば大きくなる。

　前述したように、点Ｐ’の撮像画像上での移動速度に違和感を生じさせないためには、直線Ｌ１で表されるような移動速度を、直線Ｌ２で表されるような移動速度に一致させるように、撮像画像を圧縮すればよい。そのため、式（２）に示すように、撮像画像の右端（この例では、距離ｘ＝１に相当）での単位距離あたりの変化量が、サイドミラーの上記の最大値ｍａｘν_ＭＩＲに一致する関数ｇ（ｘ）を設定し、この関数ｇ（ｘ）を目標値として、撮像装置により取得された画像の変倍処理を行う。

　なお、撮像画像の右端に対応する距離値ｘが１であるために、式（２）では「ｘ＝１」となっているが、これは限定されるものではなく、撮像装置の取り付け位置等に依存して変化しうる。

　図８を参照すると、目標関数ｇ（ｘ）の一例が、グラフ１５１として示されており、グラフ１５１の画面右端における１階微分すなわちｄｇ（１）／ｄｘが、直線ｇ’（ｘ）として示されている。上記（２）を満たす関数ｇ（ｘ）として、いくつかの軌跡が考えられるが、上記（２）を満たす限り、いずれを用いてもよい。しかしながら、好ましくは、図に示すように、自車両Ｖｏに取り付ける撮像装置１３のグラフ（ここでは、グラフ１４１）と、自車両Ｖｏに取り付けられているサイドミラーのグラフ（ここでは、曲率７００Ｒのサイドミラーのグラフ１４３）との間で滑らかに推移する、すなわち連続的に変化する関数であるのがよい。たとえば、関数ｇ（ｘ）を、いわゆる“なめらかな関数（連続的微分可能な関数）”として設定してもよい。あるいは、１階微分値が、ｘ値が大きくなる方向に単調減少するように設定してもよい。

　こうして目標関数ｇ（ｘ）が設定されたならば、該目標関数ｇ（ｘ）に従って、撮像装置１３によって取得された画像（原画像とも呼ぶ）の変倍処理を行う。ここで、変倍処理後の画像を目標画像と呼ぶと、該目標画像を水平方向に細分した領域（１または複数の画素列からなることができる）ごとに、目標関数ｇ（ｘ）を表すグラフ１５１の傾きＬ＿ｇと、撮像装置１３のグラフ１４１の傾きＬ＿ＣＡＭとを比較する。Ｌ＿ＣＡＭがＬ＿ｇより大きければ、原画像の対応する領域を水平方向に圧縮する。Ｌ＿ＣＡＭがＬ＿ｇと同じであれば、原画像の対応する領域については、圧縮も拡大も行わない（すなわち、等倍）。Ｌ＿ＣＡＭがＬ＿ｇより小さければ、原画像の対応する領域を水平方向に拡大する。

　ここで、変倍率ＣＲｈは、以下の式（３）で表される。この例では、値１より大きい変倍率は、圧縮を示し（すなわち、原画像の対応する領域は、水平方向に１／ＣＲｈ倍される）、値１より小さい変倍率は、拡大を示す（すなわち、原画像の対応する領域は、水平方向にＣＲｈ倍される）。

　図９を参照して、この変倍処理を、より具体的に説明する。図には、図８と同様の図が示されており、ここで、撮像装置１３のグラフ１４１を、関数ｆ（ｘ）とする。画面の水平方向にｙ軸を取り、該画面の幅Ｗを、たとえば、等間隔に１０個の領域に分割する。この例では幅Ｗは６４０画素を持つので、それぞれが水平方向に６４画素を持つ１０個の領域ｄｉｖ１～ｄｉｖ１０が、画定される。

　まず、画面右端の第１の領域ｄｉｖ１では、同じｙ値を持つ位置（この例では第１の領域ｄｉｖ１の水平方向の中央のｙ値、すなわちｙ＝３２（画素）の位置）での、撮像装置１３の関数ｆ（ｘ）の傾きＬ＿ＣＡＭと、目標関数ｇ（ｘ）の傾きＬ＿ｇとを比較する。すなわち、ｙ＝３２における関数ｆ（ｘ）上の点Ｑｆ１の傾きＬ＿ＣＡＭと、ｙ＝３２における関数ｇ（ｘ）上の点Ｑｇ１の傾きＬ＿ｇとを取得し、上記の式（３）に従って変倍率ＣＲｈを算出する。こうして、第１領域ｄｉｖ１についての変倍率ＣＲｈ１が算出される。

　第２の領域ｄｉｖ２において、目標関数ｇ（ｘ）については、第２の領域ｄｉｖ２の水平方向の中央のｙ値（この例では、ｙ＝９６）における関数ｇ（ｘ）上の点Ｑｇ２の傾きＬ＿ｇを取得する。撮像装置１３の関数ｆ（ｘ）については、第１領域での変倍率ＣＲｈ１を参照し、“６４（これは、１領域分の水平方向の画素数）×ＣＲｈ１”だけ、点Ｑｆ１から画面左に向かって進んだ位置すなわち点Ｑｆ２を特定し、該点Ｑｆ２の傾きＬ＿ＣＡＭを取得する。たとえば、ＣＲｈ１が２．０ならば、６４×２＝１２８であるので、点Ｑｆ１から、画面左方向に１２８画素分進んだ位置が、点Ｑｆ２となる。こうして取得された、点Ｑｆ２の傾きＬ＿ＣＡＭと点Ｑｇ２の傾きＬ＿ｇを用いて、上記の式（３）に従って変倍率ＣＲｈを算出し、これが、第２の領域ｄｉｖ２についての変倍率ＣＲｈ２となる。

　第３の領域ｄｉｖ３以降については、第２の領域と同様の演算が行われる。目標関数ｇ（ｘ）については、画面は水平方向に等間隔で細分されているので、第ｎ（ｎ＝２～１０）の領域の水平方向の中央のｙ値における関数ｇ（ｘ）上の点Ｑｇｎの傾きＬ＿ｇを取得する。関数ｆ（ｘ）については、１つ前の領域（すなわち、第（ｎ－１）の領域）の変倍率ＣＲｈ（ｎ－１）を、領域の間隔（この例では、６４画素）に乗算することにより得た値だけ、関数ｆ（ｘ）の点Ｑｆ（ｎ－１）から左方向へ進行し、該進行により到達した点Ｑｆｎにおける関数ｆ（ｘ）の傾きＬ＿ＣＡＭを取得する。こうして、上記の式（３）によって、第ｎの領域についての変倍率ＣＲｈｎが算出される。図には、点Ｑｇｎと、対応する点Ｑｆｎの一例が示されている。

　こうして、各領域の変倍率ＣＲｈが決定される。この例では、画面を水平方向に１０個の領域に分割して、領域毎に変倍率を決定したが、これは一例であり、任意の数に分割することができ、また、必ずしも等間隔に分割しなくてもよい。また、画素列単位に変倍率を決定するようにしてもよい。

　なお、図において領域Ｄと示されているところは、自車両Ｖｏの車体の一部が撮像される領域であり、その水平方向の大きさは予め決められている（この例では、第１０領域ｄｉｖ１０）。この領域では、変倍は行わず、等倍処理が行われる。

　図１０は、この発明の一実施例に従う、変倍処理の結果の一例を示す。（ａ）の画像は、撮像装置１３により撮像された画像（原画像）を示す。この例では、車幅方向（水平方向）に等間隔で２０個の領域に分割している。原画像では、第１９および第２０の領域には、自車両Ｖｏの車体の一部が映されている（以下、この領域を自車体領域Ｚ０と呼ぶ）。第１～第１１の領域の画像データは、死角領域Ｚ２を表しており、第１２～第１８の領域の画像データは、後側方領域Ｚ１を表している。

　（ｂ）のグラフは、後述する（ｄ）との比較のために示されており、（ａ）の領域ごとの変倍率を示している。（ａ）の画像は、何ら変倍処理が施されていない原画像であるので、それに対応する（ｂ）の変倍率は１．０に固定されている。

　（ｃ）の画像は、前述した画像処理装置１７によって、（ａ）の原画像を変倍処理した後の画像を示し、（ｄ）のグラフは、（ｃ）の画像の領域毎の変倍率を示す。該変倍率は、水平方向の画像の分割数は異なるものの、図９を参照して説明したのと同様の演算に従って算出されたものである。この実施形態では、式（３）にも示すように、該変倍率は、変倍後の画像の水平幅に対する、変倍前の画像（すなわち原画像）の水平幅の比率で表される。よって、圧縮率は１．０より大きい値を持ち、拡大率は１．０より小さい値を持つ。たとえば、（ｃ）の画像の第１の領域に対応する変倍率は約２．０であり、よって、（ｄ）の第１の領域は、対応する原画像の領域を水平方向に約半分に圧縮したものであることを示す。代替的に、変倍率を、変倍前の画像の水平幅に対する、変倍後の画像の水平幅の比率で表してもよい。

　（ｄ）に示すように、自車体領域Ｚ０（図９の領域Ｄに相当する部分）は等倍に固定されており、該自車体領域Ｚ０から後側方領域Ｚ１に移行する領域（この例では、第１９の領域から第１７の領域へ向かう部分）では、変倍処理後の画像に違和感を生じさせないように、滑らかに推移させている。また、この例では、該変倍率は、さらに、画像全体の平均倍率が１．０となるように設定されており、こうすることにより、原画像の情報を漏れなく変倍処理後の画像に含めることができる。なお、この場合、上記の目標関数ｇ（ｘ）を、さらに、該平均倍率が１．０となることを考慮して設定するようにしてもよい。

　図から明らかなように、後側方領域Ｚ１に対応する画像領域では、拡大処理される。これにより、画像において、後側方領域に存在する対象物が見えやすくなる。また、死角領域Ｚ２に対応する画像領域では、圧縮処理されている。これにより、前述したように、死角領域Ｚ２に存在する対象物の速度感について、該画像からより正確に認知することができる。

　（ｄ）に示すような変倍率に従うマップは、予め作成されて、画像処理装置１７の記憶装置（メモリ等）に記憶されることができる。

　図１１に、この発明の一実施形態に従う、該画像処理装置１７による画像処理プロセスのフローチャートを示す。このプロセスは、所定の時間間隔で実行されることができる。

　ステップＳ１１で、撮像装置１３により取得された撮像画像のデータを取得する。ステップＳ１３において、変倍処理を行う。具体的には、変倍処理後の画像（目標画像と呼ぶ）を、図９および図１０を参照して説明したように、水平方向に、たとえばｑ画素ずつ等間隔に細分し、ｎ個の領域を画定する。目標画像を、第１の領域から順番に生成することができる。

　たとえば、図９を参照して説明したように、第１の領域について、図１０の（ｄ）に示すような変倍率のマップを参照することにより対応する変倍率を取得し、該変倍率を実現するように、該撮像画像の対応する領域（たとえば、変倍率が２ならば、原画像の右側から、ｑ画素×２の幅の領域）を圧縮して、目標画像の第１の領域を生成する。第２の領域について、該マップを参照することにより対応する変倍率を取得し、該変倍率を実現するように、該撮像画像の対応する領域（たとえば、変倍率が１．７ならば、原画像の、上記圧縮が行われた領域に隣接する、ｑ画素×１．７の幅の領域）を圧縮して、目標画像の第２の領域を生成する。このような処理を、第ｎの領域まで繰り返すことで、目標画像全体が生成される。

　ステップＳ１５において、該生成された目標画像、すなわち変倍処理後の画像を、表示装置１５上に表示する。

　図１２は、この発明の一実施形態に従う、実験結果の一例を示す図である。この実験では、自車両Ｖｏを停車させた状態で、後側方から他の車両Ｖａを、自車両の５０メートル後方より一定速度で走行させた。図３に示すように、他の車両Ｖａの前部中央に点Ｐを取る。

　撮像装置１３は、８０度の画角のレンズを備えたものを用い、サイドミラー１６Ｒとして、曲率７００Ｒと１０００Ｒのものを用いた。また、距離１ｍの間隔毎に、撮像装置１３により撮像された画像およびサイドミラー１６Ｒに映る映像を取得した。横軸（ｘ軸）は、原点Ｏ（図３）からの距離（ｍ）を示し、縦軸（ｙ軸）は、画面の水平方向の座標（画素で表す）を表す。ここで、画面（撮像装置１３の場合は撮像面、サイドミラー１６Ｒの場合は鏡面）の水平方向の幅（横幅）を、６４０ピクセルとし、ｙ＝０は、画面の右端、ｙ＝６４０は画面の左端を示す。

　グラフ２０１は、撮像装置１３による撮像画像（原画像）上に点Ｐが投影された点Ｐ’の移動をプロットしたものであり、グラフ２０３は、曲率７００Ｒのサイドミラー１６Ｒ上に点Ｐが投影された点Ｐ’の移動をプロットしたものであり、グラフ２０５は、曲率１０００Ｒのサイドミラー１６Ｒ上に点Ｐが投影された点Ｐ’の移動をプロットしたものである。グラフ２０７は、前述したような変倍処理を原画像に施すことによって得られた目標画像における、点Ｐの移動をプロットしたものである。また、図７と同様に、グラフ２０１～２０７において、点Ｐ’の移動速度の最大値（すなわち、これらのグラフの傾きの最大値）を、それぞれ、直線Ｌ２１～Ｌ２７で表す。

　該実験結果において、直線Ｌ２３で表されるグラフ２０３の傾きの最大値は、１００（画素数／秒）であり、直線Ｌ２５で表されるグラフ２０５の傾きの最大値は、１０５（画素数／秒）であり、ほぼ一致した。それに対し、直線Ｌ２１のグラフ２０１の傾きの最大値は、１６０（画素数／秒）であり、直線Ｌ２３、Ｌ２５で表されるサイドミラーの最大値に対して、約１．６倍であった。

　他方、直線Ｌ２７で表されるグラフ２０７の傾きの最大値は、１１０（画素数／秒）であり、これは、ほぼ、直線Ｌ２３、Ｌ２５で表されるサイドミラーの最大値と一致する。このように、上記のような画像処理を施すことにより、表示装置１５上に表示される画像上の対象物の移動速度を、サイドミラー上の該対象物の移動速度にほぼ一致させることができた。

　図１３は、上記の実験で得られた、（ａ）曲率が７００Ｒのサイドミラーにより映される像と、（ｂ）撮像装置１３により撮像された原画像と、（ｃ）該原画像に対して上記の変倍処理を施した後の画像を、原点Ｏ（自車両）からの距離別に示す。丸印の点Ｐは、他の車両Ｖａの前部中央の位置に付されている。なお、図の（ａ）および（ｂ）は、図１４に示されるものと同じである。

　前述したように、他の車両Ｖａが死角領域（原点Ｏから後方に約４メートル以内の領域）に入ると、（ｂ）の原画像においては、点Ｐの水平方向における位置の変化量が急に大きくなり、他の車両Ｖａは急に加速したように見える。しかしながら、（ｃ）の変倍処理後の画像では、点Ｐの水平方向における位置の変化量が、（ｂ）に比べて抑制されており、結果として、急加速して見えるという事象が抑制されている。（ｃ）の画像における車両Ｖａの移動速度は、サイドミラーに映る車両Ｖａの移動速度に近いものとなっているため、運転者が撮像画像から認知する後側方車両の速度感は、サイドミラーで認知する該後側方車両の速度感とほぼ一致する。後側方確認の手段としてサイドミラーと撮像装置による撮像画像とを併用した場合でも、撮像画像内で車両が急加速、または急減速して見えるという事象を抑制することができ、該車両について正しい加減速を認知することができる。

　また、（ｂ）の原画像においては、他の車両Ｖａが、自車両に近づくほど、前に伸長したような不自然な形状を持つように表示されるが、上記のような変倍処理を施すことで、（ｃ）に示すように、このような表示が回避されている。したがって、自車両に近づいてくる対象物について不自然な形状に見えるという事象を回避することができる。

　上記の実施形態では、他の車両Ｖａを対象物として説明したが、対象物が、車両以外のものであっても、本願発明は適用されうる。

　以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１３　撮像装置（カメラ）
１５　表示装置
１６　サイドミラー
１７　画像処理装置

Claims

　車両に設けられ、該車両の後側方領域および該後側方領域に隣接するサイドミラーの視認範囲外の死角領域を撮像可能な撮像手段と、
　前記撮像手段により撮像された撮像画像を、該撮像画像上の前記死角領域に対応する画像領域を圧縮するように処理する画像処理手段と、
　前記画像処理手段により処理された画像を前記車両の運転者に視認可能なように表示する表示手段と、を備える運転支援装置において、
　前記画像処理手段は、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の急激な変化を抑制するように、前記撮像画像上の前記死角領域に対応する画像領域を圧縮することを特徴とする、運転支援装置。
　前記画像処理手段は、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の変化の比率が、前記車両から対象物までの距離の変化に対する、該対象物の前記サイドミラー上の水平方向における位置の変化の比率と略同一となるように、前記死角領域に対応する画像領域を圧縮する、
　請求項１に記載の運転支援装置。
　前記画像処理手段は、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の変化の最大値が、前記車両から対象物までの距離の変化に対する、該対象物の前記サイドミラー上の水平方向における位置の変化の比率の最大値と略同一となるように、前記死角領域に対応する画像領域を圧縮する、
　請求項１または２に記載の運転支援装置。
　前記画像処理手段は、前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の変化の最大値が、前記車両から対象物までの距離の変化に対する、該対象物の前記サイドミラー上の水平方向における位置の変化の比率の最大値と略同一となるように設定された、該距離に対する該水平方向における位置の目標関数に従って、前記死角領域に対応する画像領域を圧縮する、
　請求項１から３のいずれかに記載の運転支援装置。
　前記車両から対象物までの距離の変化に対する、該対象物の前記撮影画像上の水平方向における位置の変化を、第１の関数とし、
　前記画像処理手段は、該第１の関数の傾きと前記目標関数の傾きとの比率に基づく圧縮率で、前記死角領域に対応する画像領域を圧縮する、
　請求項４に記載の運転支援装置。