JP2003244688A - 車両の画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】車両周りを映した現在画像の死角領域に、過去
のカメラ画像を画像処理して擬似画像を合成し、運転者
の死角に対する不安感を軽減する。 【解決手段】車両周りを映すカメラ１３を備え、該カメ
ラ１３で写した画像を蓄積し、車体の陰などとなって、
現在映されている現在画像Ａの死角領域となっている部
分に、現在位置に到達する前に映した過去画像ＢＸを処
理して得られた処理画像Ｂ´を重ね、合成画像Ａ´＋Ｂ
´を作成する。この合成画像Ａ´＋Ｂ´には、車体を象
徴する輪郭線６を合成し、表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、車両の画像処理
装置にかかり、詳しくは、運転者の視界の死角となる部
分を表示する画像を生成する画像処理装置に関するもの
である。

【０００２】

【従来の技術】運転者が車両を運転操作する場合、運転
席に座っている運転者の視点から認識できる視界には、
車のボディ、ピラー等に遮られて見えない領域（死角領
域）が存在する。従来、このような死角領域は、ルーム
ミラーやサイドミラーなどによって、ある程度は、認識
できるように構成されている。また、最近では、車両の
外部を映し出すカメラが搭載され、そのカメラによって
取得された画像を車内のモニターに映し出す構成の車両
も提案されている。例えば、車両の後方を映し出すカメ
ラが搭載され、後退時には後方の死角となった部分が車
内モニターに映し出され、車庫入れ等をする際の後方確
認の補助がなされる。このような構成の従来技術には以
下のようなものがある。

【０００３】

【特許文献１】特開平１０−２６４７２３号。

【０００４】

【発明が解決しようとする課題】一方、従来カメラ画像
などによって車両周辺の認識ができない車両を運転者が
操作する場合には、視界に入ってくる外部の障害物と、
同時に視界に入っている車内風景（窓枠やトランクの輪
郭など）とから、外部障害物と車両との相対位置や距離
がどの程度であるのかを、運転者は、感覚的に把握する
ものである。

【０００５】しかしながら、上記特許文献１に記載の発
明のように、カメラ画像を表示するものは、カメラに映
し出された画像をそのままモニターに表示するため、モ
ニターに表示される画像は、運転者の肉眼に映る画像と
はかけはなれている。これは、カメラ視点の位置が、運
転者の操作する際の視点位置とは異なっていることや、
肉眼で把握できる障害物の大きさとモニターに表示され
る障害物の大きさとが異なることなどの理由が挙げられ
る。また、従来では、運転者は、視界に入る車外の風景
と車体の一部（ピラーやボンネット等）とを同時に認識
して、それらの相対位置を感覚的に把握していたもの
が、画像には、外部景色のみが映し出されてしまうこと
も原因である。つまり、従来のモニター画像では、従来
感覚的に距離感を把握していた運転者は、従来身に付け
ていた感覚に基づいて、車両のアウトラインと周囲の物
体との位置関係が把握しづらいという問題があった。

【０００６】この発明は、車両周辺の死角領域（車体に
よって隠される領域）に対して合成された画像を提供
し、死角への不安感を軽減するとともに、運転者の視点
に近付けた位置からの撮影画像を生成することにより、
画像を通じて車両と周囲の障害物との位置関係を、運転
者に把握し易くすることを目的とするものである。

【０００７】

【課題を解決するための手段】以上のような目的は、以
下の本発明により達成される。 （１） 車両の進行方向の画像を撮像する撮像手段と、
該撮像手段により撮像された画像の中で、車体部分によ
って隠される車体領域を特定する車体領域特定手段と、
前記車体領域特定手段により特定された車体部分が透明
であったならば見えると想定される前記車体領域に対応
する画像領域を取得する車体画像領域取得手段と、前記
撮像手段で撮像された画像における前記車体領域を、前
記車体画像領域取得手段で取得した画像領域に置き換え
て画像を作成する画像作成手段と、該画像作成手段で作
成された画像を表示する表示手段と、を備えた車両の画
像処理装置。

【０００８】（２） 車両の進行方向の画像を撮像する
撮像手段と、運転者の視点から見た画像のように、撮像
された画像を視点変換する撮像画像変換手段と、前記撮
像手段により撮像された画像の中で、車体部分によって
隠される車体領域を特定する車体領域特定手段と、該車
体部分が透明であったならば見えると想定される前記車
体領域に対応する画像領域を取得する車体画像領域取得
手段と、前記撮像画像変換手段で視点変換された画像に
おいて、前記車体領域特定手段によって特定された車体
領域部分を、前記車体画像領域取得手段によって取得さ
れた画像領域に置き換えて画像を作成する画像作成手段
と、該画像作成手段で作成された画像を表示する表示手
段と、を備えることを特徴とする車両の画像処理装置。

【０００９】（３） 車両の移動距離を検出する移動距
離検出手段と、を備え、前記撮像画像変換手段は、運転
者の位置から撮像手段が設置されている位置までの距離
と、前記移動距離検出手段が検出した、撮像手段が撮像
した位置からの車両移動距離とが同じになった場合に、
撮像画像を視点変換することを特徴とする上記（２）に
記載の車両の画像処理装置。

【００１０】（４） 前記車体が透明であったならば見
えると想定される画像領域は、前記撮像手段が、過去に
撮像した画像領域を用いることを特徴とする上記（１）
又は（２）に記載の車両の画像処理装置。

【００１１】（５） 前記車両の速度を検出する車速検
出手段と、を備え、前記車速検出手段で検出された速度
が所定速度以下の場合に、前記画像作成手段で作成され
た画像を表示することを特徴とする上記（１）又は
（２）に記載の車両の画像処理装置。

【００１２】（６） 前記車両の移動距離を検出する移
動距離検出手段と、を備え、前記車体画像領域取得手段
は、該検出された距離が所定距離以上の場合に、前記車
体領域に対応する画像領域を取得することを特徴とする
上記（１）又は（２）に記載の車両の画像処理装置。

【００１３】（７） 前記車両の車体データを記憶する
車体データ記憶手段と、を備え、前記所定距離は、前記
車体データ記憶手段に記憶されたデータに基づき決定さ
れることを特徴とする上記（６）に記載の車両の画像処
理装置。

【００１４】（８） 車体データを記憶する車体データ
記憶手段と、を備え、前記車体領域特定手段は、前記車
体データに基づいて、車体部分によって隠される車体領
域を特定する、ことを特徴とする上記（１）又は（２）
に記載の車両の画像処理装置。

【００１５】（９） 車体、バンパー、ライト、ワイパ
ー、インストゥルメントパネル、ハンドル、ミラー、タ
イヤ、座席、及び窓の形状のうち少なくとも１つを含む
車体形状の輪郭線を、前記画像作成手段により作成され
た画像にさらに付加して合成画像を作成する車体形状画
像合成手段とを備えた上記（１）又は（２）に記載の車
両の画像処理装置。

【００１６】

【発明の実施の形態】以下、本発明の好適実施形態につ
いて、添付図面に基づいて詳細に説明する。図１は本発
明の画像処理装置１の構成を示すブロック図である。画
像処理装置１は、画像処理を行う処理装置１２と、車体
に取り付けられた撮像手段としてのカメラ１３と、画像
を表示する表示手段としての画像表示装置１４と、現在
位置検出装置１５と、画像記憶手段としての記憶装置１
６とを備え、これらの装置は、システムバス１７を介し
て相互に接続されている。

【００１７】撮像手段として機能するカメラ１３は、車
両の進行方向に向けて、例えば自動車の車内に設けら
れ、運転者の視点位置に相当する高さ位置に取り付けら
れ、この実施形態では、バックミラーの取付け位置に配
置されている。カメラ１３は、Ａ/Ｄ変換器１３１を介
してシステムバス１７に接続される。カメラ１３から出
力された画像信号は、画像処理を行うためにＡ/Ｄ変換
器１３１によってデジタル信号に変換される。また、接
続されたカメラ１３が、デジタル信号出力が可能なもの
である場合には、Ａ/Ｄ変換器は不要である。カメラ１
３は、車両の前方に向けて配置されたものと、車両の後
方へ向けて配置されたものがある。以下の説明では、最
も視界が制限される後方へ移動する場合に使用される後
方設置のカメラ１３を例に挙げて説明する。

【００１８】現在位置検出装置１５は、舵角センサ１５
１、車速センサ１５２、ＧＰＳ受信装置１５３、方位セ
ンサ１５４、距離センサ１５５とを備えている。舵角セ
ンサ１５１は、車の操舵角を検出する。操舵角は、ハン
ドルの回転角または前輪の角度を検出して得られる。車
速検出手段として機能する車速センサ１５２は、車両の
走行速度を検出する。走行速度は、車両を後退させた場
合にも検出される。ＧＰＳ受信装置１５３は、車両の絶
対位置を検出する。方位センサ１５４は、車両の向きを
検出する。距離センサ１５５は、車両の移動距離を検出
する。

【００１９】以上説明した各種センサにより車両の移動
距離を得ることができる。即ち、距離センサ１５５によ
り移動距離が検出できる。また、車速センサ１５２から
検出される車速と時間により移動距離が検出できる。ま
た、ＧＰＳ受信装置１５３で検出された位置の軌跡によ
り移動距離が検出できる。また、車両の向きが変わった
場合には、舵角センサ１５１と方位センサ１５４と距離
センサ１５５又は車速センサ１５２によって、移動距離
をより正確に検出することができる。以上の様に、移動
距離検出手段は、距離センサ１５５により、又は車速セ
ンサ１５２により、或は、ＧＰＳ受信装置１５３によ
り、更には、舵角センサ１５１と方位センサ１５４と距
離センサ１５５又は車速センサ１５２により、構成する
ことかできる。このように、現在位置検出装置１５によ
り、本発明の移動距離検出手段が形成される。

【００２０】記憶装置１６は、カメラ１３が映した画像
を記憶する装置で、カメラ１３から出力される画像が連
続して記憶される視点変換用画像データメモリ１６１
と、合成作業用画像データメモリ１６２と、擬似透過画
像データメモリ１６３とを備えている。視点変換用画像
データメモリ１６１には、カメラ１３が撮像した画像が
現在位置検出装置１５により検出された位置及び時間と
ともに連続して記録される。合成作業画像データメモリ
１６２には、視点位置に補正された画像が時間的に連続
して記憶される。擬似透過画像データメモリ１６３に
は、死角領域に過去の画像が合成された擬似透過画像が
記録される。

【００２１】画像表示装置１４は、例えば液晶ディスプ
レイ等で構成され、擬似透過画像データメモリ１６３に
格納された擬似透過画像が表示される。画像表示装置１
４へ送られるデータは、Ｄ/Ａ変換器１４１を介してア
ナログ信号に変換される。また、画像表示装置１４がデ
ジタル信号入力可能な場合、つまり画像表示装置１４に
変換器が内蔵されている場合には、Ｄ/Ａ変換器は不要
となる。

【００２２】処理装置１２は、中央処理装置［ＣＰＵ
（Central Processing Unit）］１２１と、リードオ
ンリーメモリ［ＲＯＭ］１２２と、ランダムアクセスメ
モリ［ＲＡＭ］１２３とを備えている。中央処理装置１
２１は、現在位置検出装置１５から得られた移動距離や
車両の向きについての情報を取得し、また、記憶装置１
６から視点変換用画像データ、合成作業用画像データを
取得し、これらのデータから、擬似透過画像データを生
成する等、様々な処理を行うためのものである。

【００２３】ＲＯＭ１２２には、例えば、中央処理装置
１２１が画像処理を行うためのソフトウエアや、車体の
輪郭線の画像データ、車体データ（車高、車幅、カメラ
１３の設置位置、カメラの画角、各車体部品間の相対距
離）等が格納されており、車体データ記憶手段として機
能する。ＲＡＭ１２３は、例えば、中央処理装置１２１
のデータ処理を行うためのデータを、一時的に記憶して
おくワーキングエリアとして使用される。

【００２４】本発明の画像処理装置は、次のような作用
をする。図２は、本発明の画像処理装置を搭載した車両
２２の側面全体図であり、車両２２が後方へ向けて移動
している状態において、移動する前と、移動した後の車
両の相対位置を示すものである。車両の後方を映し出す
カメラ１３は、撮像手段として機能するもので、車内に
配置されており（図２では、説明を容易とするために、
カメラ１３を車両の外側に設けているように描いている
が、実際には車内に配置されている。）、その画面の一
部には、車両の後部が映し出され、車体部分である死角
領域ｂ1が存在し、実際に画面に映るのは可視領域ａ1と
なる。ここで、死角領域とは、カメラ１３によって、車
内から車の外側を映した場合に、車両の一部によって遮
られ、車両がなければ映し出されたであろうと想定され
る、車両外側の景色の領域である。ここで、車両の一部
とは、前方を視認する場合には、車体のサイドミラー、
フロントウインドの枠、ボンネット、などである。後方
を認識する場合には、後部座席、リアウインドの枠、後
部トランク、などである。また、可視領域とは、カメラ
１３によって、車内から車の外側を映した場合に、直接
映し出された車両の外側の景色である。この景色は、例
えば、車両のフロントウインドやリアウインドなどを介
して映し出される。

【００２５】車体領域特定手段によって、この死角領域
ｂ1（車体領域）を特定する方法としては、次のような
方法がある。例えば、ＲＯＭ１２２に格納されている車
体データに、カメラの設置位置、車体の大きさなども記
憶されているので、各部品の相対距離、カメラ画角等か
ら、予め画像の中に占められる車体が映し出される領域
（即ち、死角領域）は特定できる。この車体領域を予め
特定し、その死角領域データをメモリに記録しておく。
カメラ１３によって得られた画像に対して、メモリに記
憶された死角領域データに基づき、画一的に死角領域ｂ
1を決定する。このように、車体領域特定手段は、予め
設定された死角領域データに基づいて、撮影画像から車
体領域（死角領域）を特定する。このほか、撮影画像か
ら車体の輪郭を検出し、該輪郭線で囲まれた部分を死角
領域として特定する構成としてもよい。輪郭線の検出方
法は、後述する公知の画像処理方法を用いることがで
る。

【００２６】この死角領域ｂ1は、車両が後退する以前
の位置（車両２１）では、可視領域ａ2に映し出されて
いたものである。そこで、現在位置（車両２２）におい
て死角に入っている領域ｂ1の画像は、現在位置に到達
する以前の画像（過去の撮像画像）、つまり現在位置よ
りも前方に位置（車両２１）していた時の撮像画像（手
前に位置していた時の撮像画像）を利用し、これを死角
領域部分ｂ1の画像として生成する。つまり、現在位置
における画像内の死角領域ｂ1を特定して、これを切り
取り、過去の撮像画像における可視領域ａ2に映し出さ
れた画像の中から、対応する領域を切り出して、これを
現在の画像に合成する。

【００２７】この様に、現在映されている画像の死角領
域に、生成された死角領域ｂ1の画像を置き換える（合
成する）ことで、全体のカメラ画像としては、あたかも
死角領域ｂ1部分も映っているごとく表示する。カメラ
１３の設置位置は、運転者の視点の位置が最も好ましい
が、この視点の位置に近い位置でもよい。例えば、バッ
クミラーの位置の他、ダッシュボードの中央付近、座席
の肩口、リアウィンドウの中央付近の位置などか挙げら
れる。

【００２８】以上のように構成された本発明の画像処理
装置１の作用について説明する。図３、図４及び図５
は、処理装置１２の動作を示すフローチャートである。
イグニッションスイッチのオン操作により電源スイッチ
がオンされる（ステップＳ１００）。スイッチオンのき
っかけは、この他、シフトチェンジレバーをＤ位置、後
退時の後方の画像を表示するときは、Ｒ位置にセットし
たときとしてもよい。

【００２９】次に画像データなどを記憶領域に書き込み
ができるように、記憶装置１６に記憶されているデータ
を検索し、記憶可能領域がない場合は、次に取得するデ
ータを上書き可能にする準備をし、また画像データと共
に記憶された距離や時間などを参照して、今後使用しな
いデータを消去する等の、データを書き込む準備をする
（ステップＳ１０１）。例えば、視点変換用画像データ
メモリ１６１等に格納された画像の記憶データを更新す
るかを判断するための設定値を監視する変数などを初期
化する。

【００３０】次に、車速検出手段として機能する車速セ
ンサ１５２の検出値に基づき、車速が予め定められた設
定速度を越えているか判断する（ステップＳ１０２）。

【００３１】この実施形態では車両周辺を認識するため
に用いられるので、使用目的が幅寄せや車庫入れなどに
使用するものであり、速度が速い場合には、必要がなく
なると判断する。このような目的で使用される場合の速
度の設定値は、車両の駐車位置を修正するためにハンド
ルによって、頻繁に方向修正しつつ移動させる際の移動
速度である。つまり、方向舵を頻繁に変更して車両の進
行方向を制御することが可能な速度の上限値である。

【００３２】このように、ハンドル（方向舵）を頻繁に
操作して、車両を動かす場合は、車両の周辺に近接して
存在する障害物の位置を把握する必要がある場合であ
り、車両の影となった死角に存在する障害物を認識する
必要がある。従って、設定速度を越えている場合には、
車両の影となる死角を把握する必要性が少なくなると判
断できるので、再度ステップＳ１０２へリターンされ
る。この設定速度は、必要に応じて変更できるようにし
ても良い。越えていない場合には、画像処理が（死角を
把握することが）必要であると判断し、画像処理を行う
ために、次のステップへ進む。

【００３３】図６は、画像処理の手順を示す流れ図であ
り、図７〜図１９は、図６に示されている各々の図の拡
大図である。図４は視点変換処理（ステップ１０３）の
処理内容を示すフローチャートである。この処理は、カ
メラ１３により撮像された画像を、運転者の視点位置か
らカメラで撮像した場合に映し出されると予想される画
像に補正する処理である。この処理は、運転者の視点位
置と、カメラ１３の撮像位置が車両の移動方向に沿って
距離Ｗ1離れている場合に、カメラ１３は視点位置Ｔ1を
以前に通過しているので、その通過時点の画像を視点位
置の画像とし、これを基準にして、カメラ画像を縮小補
正するものである。

【００３４】つまり、現時点での画像を取得する現在画
像取得手段と、カメラが現在の運転者の視点位置を通過
した時点のカメラ画像を取得する視点位置画像取得手段
と、現在画像取得手段で取得された現在画像を視点位置
画像に合わせて補正する補正手段とを備えている。この
ほか、車両の進行方向に沿って、カメラ１３が、運転者
の視点位置よりも、進行方向側ある場合には、画像を縮
小し、カメラ視点が距離Ｗ1後退したかのように画像処
理（縮小）する、といった方法を採ることもできる。

【００３５】具体的には、次のような処理がなされる。
カメラ１３が撮像（ステップＳ２０１）した画像は、撮
像した位置及び時間とともに、記憶装置１６の視点変換
用画像データメモリ１６１に連続して記憶される（ステ
ップＳ２０２）。現在のカメラ位置から運転席（運転者
が後ろを向いた時の視点位置）までの距離Ｗ1をＲＯＭ
１２２に格納されている車体データより算出し、画像と
ともに記憶された位置の情報を基に、算出された距離Ｗ
1に対応する位置（移動距離が距離Ｗ1手前の位置）で撮
像された過去の画像ＢＸ（図７）を視点変換用画像デー
タメモリ１６１から読み出す（ステップ２０３）。

【００３６】現在取得した画像ＢＹ1（図８）の車体部
分を検出しその車体部分を除去した画像ＢＹ2（図９）
を生成する（ステップＳ２０４）。ステップＳ２０４に
よって、現在画像取得手段が構成される。このとき、車
体部分の領域は、ＲＯＭ１２２に格納された、本発明装
置を設置する車体のデータより判断される。車体データ
とは、車体の三次元データや、車両の各部品までの距離
や、その部品の長さ、或は、図２に示されているよう
に、カメラ１３の設置高（ｈ）、カメラ１３の視点と、
後部トランクの輪郭ｐとを通る直線ｍと鉛直線との成す
角度（θ）などである。読み出された画像ＢＸは、今現
在の運転者の視野と同じ画像になるため、画像ＢＸを基
準にし、画像ＢＹ2を縮小する（ステップＳ２０５）。
縮小された画像をＢＹ2’（図１０）とし、画像ＢＸと
画像ＢＹ2’を合成し、画像Ｂ（図１０）を生成する(ス
テップＳ２０６)。このステップＳ２０５、Ｓ２０６に
より補正手段が構成される。

【００３７】以上のステップＳ２０１〜ステップＳ２０
６の処理により、運転者の視点位置から見た画像Ｂが生
成される。そして、ステップＳ２０６により合成された
画像Ｂを合成作業用画像データメモリ１６２に記憶する
（ステップＳ２０７）。

【００３８】この視点変換処理ステップＳ１０３のよう
に、運転者の視点から見た画像のように、撮像された画
像を視点変換することにより、撮像画像変換手段が構成
される。このような視点変換処理（ステップＳ１０３）
は、カメラ１３で撮像された画面について連続して行わ
れ、合成作業画像データメモリ１６２には、視点位置に
補正された画像が、画像ＢＸと同じ位置、画像ＢＹ1の
時間とともに連続して記憶される。ステップＳ１０３の
後、次のステップへ進む。

【００３９】現在位置検出装置１５に格納された各種セ
ンサの検出値から、車両が移動したかを判断する（ステ
ップＳ１０４）。例えば、車速センサ１５２の検出値か
ら、車両が一定速度以上となった場合に、移動したもの
と判断する。或いは、距離センサ１５５より、移動距離
が予め定められている所定距離以上となった場合に、車
両が移動したものと判断する。車両が移動していないと
判断した場合には、ステップＳ１０４を繰り返す。車両
が移動しない場合には、過去の画像が得られず、現在の
画像の死角領域に過去の画像を合成することができない
からである。

【００４０】そして、画像の死角領域および、画像合成
するために必要な過去の画像を得るために必要な移動距
離（所定距離）は、次のようにして特定される。カメラ
１３によって取得された画像において、死角領域は、車
体部分により隠される領域、つまり車両の陰となること
によって生成される。従って、車体の大きさ、カメラ１
３の設置位置など、車体データとして記録されている数
値データによって、死角領域を画一的に特定することが
でき、さらに、死角領域が特定できれは、死角領域に合
成する画像が得られる移動距離も取得することができ
る。以下、その特定方法について説明する。

【００４１】図２に示されているように、例えば、進行
方向側にある死角領域b1は、カメラ１３の視点位置とボ
ンネットの輪郭位置（後部トランクの輪郭）ｐとによっ
て決定され、カメラ１３の設置位置が決まれば、死角領
域の範囲は決定される。つまり、図２に示されているよ
うに、カメラ１３から地表の高さｈ、カメラ視点と視界
が遮られる位置（後部トランクの輪郭ｐ）とを結んだ直
線ｍと鉛直線とのなす角θと、カメラ１３からカメラ１
３の視界の下限位置までの水平距離ｌ、直線ｍが地表と
交差する地点から、カメラ１３までの水平距離ｘから、
以下の式によって容易に決定される。これらのデータ
は、車体データとしてＲＯＭ１２２に記録されており、
ＲＯＭ１２２から読み出される。ｄ＝ｈ×tanθ−ｌ従
って、少なくとも距離ｄを移動すれば、最初に蓄積され
た過去の画像によって、死角領域b1の画像を生成するこ
とができる。つまり、上記所定距離は、距離ｄに値す
る。

【００４２】車両が移動していると判断した場合には、
移動する前に合成した画像は、移動直後（車両の移動距
離が距離ｄとなるまで）の画面の死角領域を補う画像と
しては使えない。このため、車両の移動開始とともに、
新たに（合成）画像を生成していく必要があり、擬似透
過画像処理が行われる（ステップＳ１０５）。以下、擬
似透過画像処理について説明する。図５は、擬似透過画
像処理を示すフローチャートである。現在の画像につい
ても、ステップＳ２０１〜Ｓ２０７と同様の視点変換処
理によって、運転者の視点位置の画像に変換処理した画
像を合成作業用画像データメモリ１６２に記憶されてい
る。つまり、現在のカメラ位置から運転席までの距離Ｗ
1をＲＯＭ１２２に格納されている車体データより算出
し、算出された距離Ｗ1に対応する位置で撮像された過
去の画像を画像ＡＸ（図１１）とし、画像ＡＸを視点変
換用画像データメモリ１６１から読み出す。

【００４３】現在取得した画像ＡＹ1（図１２）の車体
部分を検出しその車体部分を除去した画像ＡＹ2（図１
３）を生成する。読み出された画像ＡＸは、今現在の運
転者の視野と略同じ画像になるため、画像ＡＸを基準に
し、画像ＡＹ2を縮小し、その画像をＡＹ2’（図１４）
とし、画像ＡＸと画像ＡＹ2’を合成し、画像Ａ（図１
４）を生成する。この画像Ａは、画像ＡＸと同じ位置及
び時間とともに合成作業用画像データメモリ１６２に記
憶される。このようにして、視点変換処理された最新の
画像Ａ（視点変換処理にて最後に処理が行われ、生成さ
れた画像）を、合成作業用画像データメモリ１６２から
読み出す（ステップＳ３０１）。

【００４４】次に、移動量を算出し、算出された移動量
に対応した、画像Ａの死角を捕らえる画像Ｂを合成作業
用画像データメモリ１６２から読み出す（ステップＳ３
０２）。このとき、移動量は、距離センサ１５５から入
力された移動量に基づいて決定される。この他、車速セ
ンサ１２５が検出した車速値を経過時間で積分して求め
ても良い。また、ＧＰＳ受信装置１５３から得た車両の
絶対位置の移動軌跡から求めても良い。画像Ｂの選定方
法は、上記のように移動量に基づく方法の他、現在位置
より距離ｄ手前の地点における画像として選定してもよ
い。

【００４５】運転者の視点から見た風景と、画像Ａが同
じ画像となるため、読み出された画像Ｂの一部Ｂ0を切
り取る（図１５）。画像Ｂ0は、画像Ａを基準に（被写
体が画像Ａと同じ大きさとなるように）拡大され、画像
Ｂ’（図１６）が生成される（ステップＳ３０３）。

【００４６】画像を拡大処理する際の倍率は、例えば次
のような方式で決定することができる。1つは、実験等
による経験に基づいて決めた倍率を使用する方式であ
る。例えば、画角はそのままで移動距離に従って拡大縮
小の倍率を定める。カメラ視点の移動距離と倍率の関係
を表１に示す。

【００４７】

【表１】 他の方法としては、画像Ａ（現在の画像）と画像Ｂ’
（過去の画像）とに対して、それぞれ特徴エリアを設定
する。このエリアは、画像中の明暗や色彩等の変化が顕
著で、その対象が特定しやすい領域を選択する。特徴エ
リアに設定される画像は、画像Ａと画像Ｂ’がそれぞれ
同じ対象物を捕らえていることが必要である。そして、
この特徴エリアに映し出された対象物の大きさが同じに
なるように画像補正をする。

【００４８】さらに他の方法としては、カメラの焦点距
離や、想定した被写体までの距離などの一定値を基に、
倍率を決定するものである。例えば、カメラの移動距離
をＤ、一定値Ｌとすると、倍率は｛（Ｄ+Ｌ）／Ｌ｝と
なる。以上のステップＳ３０２、Ｓ３０３によって車体
画像領域取得手段が構成される。

【００４９】ステップＳ３０３の後、ＲＯＭ１２２に格
納された車体データをもとに、画像Ａの死角領域となる
車体が映っている部分を特定する。このように、撮像さ
れた画像の中で、車体が映っている部分（車体によって
隠される領域）を特定することにより、本発明の車体領
域特定手段が構成される。

【００５０】そして、特定された部分を除いた画像Ａ’
（図１７）を生成する（ステップＳ３０４）。画像Ａ’
と画像Ｂ’を合成し、擬似透過画像Ａ’＋Ｂ’（図１
８）が生成される（ステップＳ３０５）。この擬似透過
画像Ａ’＋Ｂ’は、画像Ａから切り取られた車体部分
に、画像Ｂ’の対応する部分が貼り付けられた状態とな
っている。生成された擬似透過画像を擬似透過画像デー
タメモリ１６３へ一旦記憶させる（ステップＳ３０
６）。以上の通り、擬似透過画像処理ステップＳ１０５
が終了し、メインルーチンへリターンされ、次のステッ
プへ進む。撮像画像変換手段で視点変換された画像にお
ける車体領域部分を、車体領域特定手段で特定し、その
車体領域を画像変換手段で視点変換された画像領域（画
像Ｂ’）に置き換えて画像（擬似透過画像Ａ’＋Ｂ’）
を作成する画像作成手段は、以上のステップＳ３０１〜
Ｓ３０５により構成される。

【００５１】擬似透過画像データメモリ１６３から擬似
透過画像Ａ’＋Ｂ’を読み取り、運転者の視点から見た
車両を象徴する部分の輪郭線６が合成され、最終合成画
像（図１９）が生成される（ステップＳ１０６）。この
輪郭線は車体を象徴する部位の輪郭線であればよく、例
えば、車体、バンパー、ライト、ワイパー、インストゥ
ルメントパネル、ハンドル、ミラー、タイヤ、座席、及
び窓の形状の少なくとも一つを含む輪郭線である。

【００５２】特に、車体の最も外側に位置する部位の輪
郭線、あるいは、運転者が車体の外側を見たときに常に
外部景色と同時に視覚に認識される部位の輪郭線である
とよい。車体の最も外側に位置する部位としては、車
体、バンパー、ライト、タイヤ、サイドミラー等があ
り、視界に同時に認識される部位としては、ワイパー、
インストゥルメントパネル、ハンドル、バックミラー、
座席、窓の形状等が挙げられる。車体の最も外側に位置
する部位の輪郭線を合成すると、車体と外部障害物との
距離の把握か容易となるという効果がある。また、視界
に認識される部位の輪郭線を合成すると、肉眼で認識し
て操作する際の視界に近似した画像が得られるので、運
転者は、従来習得した感覚と同じ感覚で外部障害物と車
両との位置関係を把握することができる。以上のステッ
プＳ１０６により、車体形状画像合成手段が構成され
る。この輪郭線データは、本発明装置を設置する車体デ
ータをもとに作成されて、予め記憶装置１６やＲＯＭ１
２２などに格納されている。

【００５３】ステップＳ１０６で生成された最終合成画
像を画像表示装置１４へ出力する（ステップＳ１０
７）。システムを終了するきっかけがあるか判断する
（ステップＳ１０８）。例えば、本発明の画像処理装置
のスイッチオフや画像装置１４の表示切替えがあった場
合は、システムは停止される。また、イグニッションス
イッチのオフがあった場合には、車両が駐車されたこと
を意味するので、同様にシステムは停止される。

【００５４】また、車速が所定の速度以上になった場合
には、通常走行状態となり、車庫入れなどのように、車
両近傍にある死角領域を認識する必要がなくなったこと
を意味するので、システムは停止される。従って、ステ
ップＳ１０８で、Ｙｅｓの場合には、この画像処理のフ
ローチャートは終了する（ステップＳ１１１）。

【００５５】システムを終了するきっかけがなかった場
合（ステップＳ１０８：Ｎｏ）には、ステップＳ１０１
で初期化された変数が、設定値を越えたか判断する（ス
テップＳ１０９）。この変数とは、距離、時間、メモリ
残量などを表すもので、これらの値が予め定められた設
定値に達した場合には、データの書き込みが開始された
位置に戻って、古いデータを新しい画像データに書き換
える（ステップＳ１１０）。ここで、ステップＳ１０１
にリターンされ、設定値を監視する変数は、初期化され
る。ステップＳ１０９で、変数が設定値を超えていなか
った場合には、ステップＳ１０２にリターンされる。

【００５６】以上説明した作用は、カメラ１３が、運転
者の視点位置から離れた位置に設けられていた場合であ
るが、カメラ１３が視点位置の近くに設けられていても
よい。この場合には、図３に示されているフローチャー
トにおいて、ステップＳ１０３の視点変換処理を除いた
処理が行われる。つまり、視点変換の必要がないので、
視点変換処理は行われない。図２０は、視点変換処理を
行わない場合の、画像処理の手順を示す流れ図である。
図２０に基づいて、処理動作の順を、追って説明する。

【００５７】（ａ）撮像手段としてのカメラ１３が撮像
した画像は、撮像した位置及び時間と共に記憶装置１６
の視点変換用画像データメモリ１６１に連続して記憶さ
れる。そして、現在の画像Ａを、視点変換用画像データ
メモリ１６１から読み出す。

【００５８】（ｂ）次に、画像Ａには車両の一部によっ
て遮られた死角領域（車体領域）が存在し、その死角領
域は、車両が後退する以前の位置で撮像した画像では映
し出されていたものである。そこで、死角領域を取得で
きる画像が得られる所定距離ｄを算出する。所定距離ｄ
は図２に示されているように、例えば、進行方向側にあ
る死角領域ｂ1は、カメラ１３の視点位置とボンネット
の輪郭位置（後部トランクの輪郭）ｐとによって決定さ
れ、カメラ１３の設置位置が決まれば、死角領域の範囲
は決定される。つまり、図２に示されているように、カ
メラ１３から地表の高さｈ、カメラ視点と視界が遮られ
る位置（後部トランクの輪郭ｐ）とを結んだ直線ｍと鉛
直線とのなす角θと、カメラ１３からカメラ１３の視界
の下限位置までの水平距離ｌ、直線ｍが地表と交差する
地点から、カメラ１３までの水平距離ｘから、以下の式
によって容易に決定される。これらのデータは、車体デ
ータとしてＲＯＭ１２２に記録されており、ＲＯＭ１２
２から読み出される。

【００５９】ｄ＝ｈ×tanθ−ｌ 従って、少なくとも距離ｄを移動すれば、最初に蓄積さ
れた過去の画像によって、死角領域b1の画像を生成する
ことができる。つまり、上記所定距離は、距離ｄに値す
る。

【００６０】（ｃ）画像Ａの死角領域を取得できる画像
Ｂを視点変換用画像データメモリ１６１から読み出す。
画像Ｂの選定方法は、距離センサ１５５から入力された
移動量に基づいて、（ｂ）で算出された移動距離ｄに対
応した画像が読み出される。この他、車速センサ１２５
が検出した車速値を経過時間で積分して求めても良い。
また、ＧＰＳ受信装置１５３から得た車両の絶対位置の
移動軌跡から求めても良い。

【００６１】また、上記のように移動量に基づく方法の
他、画像と共に記憶されている位置より、現在位置から
距離ｄ手前の地点における画像として選定してもよい。

【００６２】（ｄ）現在の画像である画像Ａについて、
ＲＯＭ１２２に格納された車体データをもとに、画像Ａ
の車体が映っている車体領域（死角領域）を特定する。

【００６３】この処理（ｄ）のように、撮像された画像
の中で車体が映っている部分（車体によって隠される領
域）を特定することにより、本願発明の車体領域特定手
段が構成される。

【００６４】（ｅ）そして、特定された車体領域を除い
た画像Ａ’を生成する。 （ｆ）一方、読み出された画像Ｂについては、運転者の
視点から見た風景と、画像Ａが同じ画像となるため、画
像Ｂの中から、画像Ａに対応する部分の画像Ｂ0を切り
取る。

【００６５】（ｇ）画像Ｂ0は、運転者の視点から見た
風景と同じである画像Ａを基準に（被写体が画像Ａと同
じ大きさとなるように）拡大され、画像Ｂ’が生成され
る。画像を拡大処理する際の倍率は、上記実施形態で説
明した方法と同様に、実験などによる経験に基づいて決
めた倍率を使用する、それぞれの画像の特徴エリアを設
定し、特徴エリアに映し出された対象物の大きさが同じ
になるよう画像を補正する、カメラの焦点距離や想定し
た被写体までの距離などの一定値を基に倍率を決定す
る、などである。

【００６６】この拡大された画像Ｂ’は、画像Ａにおけ
る車体領域が透明であったならば見えると想定される画
像領域を含んでおり、その他の領域では、画像Ａの映像
と略同一である。従って、画像ＢのＢ0部分を抽出し、
画像Ａの大きさに合わせて、画像Ｂ0を拡大する処理
（処理（ｆ）（ｇ））のように、特定された車体部分が
透明であったならば見えると想定される、車体領域に対
応する画像領域を取得することにより、本願発明の車体
画像領域取得手段が構成される。

【００６７】（ｈ）そして、画像Ａ’と画像Ｂ’を合成
する。この擬似透過画像Ａ’＋Ｂ’は、画像Ａから切り
取られた車体領域に、画像Ｂ’の対応する部分が置き換
えられた状態となっている。この合成処理（処理
（ｈ））のように、撮像された画像における車体領域
を、車体画像領域取得手段で取得した画像領域に置き換
えて画像を作成することにより、本願発明の画像作成手
段が構成される。生成された擬似透過画像は、画像Ａと
同じ位置、時間と共に擬似透過画像データメモリ１６３
へ一旦記憶される。

【００６８】（ｉ）次に、擬似透過画像データメモリ１
６３から擬似透過画像Ａ’＋Ｂ’を読み取り、運転者の
視点から見た車両を象徴する部分の輪郭線６が合成さ
れ、最終合成画像が生成される。この処理（ｉ）により
車体形状画像合成手段が構成される。

【００６９】この輪郭線は車体を象徴する部位の輪郭線
であればよく、例えば、車体、バンパー、ライト、ワイ
パー、インストゥルメントパネル、ハンドル、ミラー、
タイヤ、座席、及び窓の形状の少なくとも一つを含む輪
郭線である。特に、車体の最も外側に位置する部位の輪
郭線、あるいは、運転者が車体の外側を見たときに常に
外部景色と同時に視覚に認識される部位の輪郭線である
とよい。車体の最も外側に位置する部位としては、車
体、バンパー、ライト、タイヤ、サイドミラー等があ
り、視界に同時に認識される部位としては、ワイパー、
インストゥルメントパネル、ハンドル、バックミラー、
座席、窓の形状等が挙げられる。車体の最も外側に位置
する部位の輪郭線を合成すると、車体と外部障害物との
距離の把握か容易となるという効果がある。また、視界
に認識される部位の輪郭線を合成すると、肉眼で認識し
て操作する際の視界に近似した画像が得られるので、運
転者は、従来習得した感覚と同じ感覚で外部障害物と車
両との位置関係を把握することができる。この輪郭線デ
ータは、本発明装置を設置する車体データをもとに作成
されて、予め記憶装置１６やＲＯＭ１２２などに格納さ
れている。

【００７０】また、この場合の合成される車体の輪郭線
は、撮影画像Ａから検出する構成としてもよい。この場
合には、実際の車体の状態が画像に映し出されるので、
一層リアルに外部画像と車体との関係を把握することが
できる。例えば、後進する場合に、リアウィンドウのダ
ッシュボードに置かれている置物などが、画像に映し出
され、実際に肉眼で見ているイメージに近付けることが
できる。

【００７１】輪郭線の検出方法は、公知の画像処理方法
を用いることができ、例えば、Ｓｏｂｅｌフィルタ処理
やラプラシアンフィルタ処理などにより輪郭を強調する
処理を行い、輪郭線のみを抽出する処理をすることがで
きる。また、輪郭線のみを合成する構成に限らず、車体
や車内を映した画像（死角を生成する部分の画像）を半
透明にして合成してもよい。このような輪郭線6を検出
する処理は、例えば、ステップＳ１０５とステップＳ１
０６の間で行われ、輪郭線検出手段として機能する。

【００７２】また、本実施形態で合成する輪郭線の色
は、運転者が判別し易いように、自動的に色が調整され
るものとすることができる。例えば、作成された画像が
明るい色の場合には、黒の輪郭線、暗い色の場合には、
白の輪郭線を合成する。また、作成された画像の画素1
つ1つに対しても色を反転させた（補色とする）輪郭線
を合成する等である。

【００７３】次に、カメラ１３は、広角レンズを使用す
ることもできる。図２１は、広角レンズを使用した場合
の、カメラの視界の範囲を示すものである。広角レンズ
を使用した場合には、そのレンズ特性から画像に歪が大
きく生じる為、そのレンズ特性を基に歪を補正するため
の正像変換処理するステップが、上記ステップＳ２０６
とステップＳ２０７の間に行われる。

【００７４】また、外部画像として切り取る領域も、舵
角センサ１５１が検出する操舵角に応じて変更するよう
に構成することができる。例えば、右にα度の舵角を検
出した場合には、その角度に応じて、画像を切り取る位
置を、Ｅ1からＥ2へ（右方向へ）移動させる。

【００７５】以上説明した作用は、後進する場合の例で
あるが、前進する場合でも、同様の作用となる。前進す
る場合には、カメラは、ダッシュボードの略中央部分
か、バックミラーの付け根の位置などが好ましい。な
お、超音波等によって外部障害物と車体との間の距離を
計測する測距センサを車体に設け、合成画像の表示とと
もに、外部障害物との距離を測る構成とすれば、一層距
離感を把握し易くなり、好ましい。例えば、超音波セン
サによって検出される障害物との距離が、所定の距離以
下となった場合には、聴覚信号として警報を発するか、
視覚信号として画面を赤のシルエットに表示するなどの
構成とすることができる。また、カメラ１３を運転者の
視点位置に、より近い位置に設けると、表示画像が運転
者の視界に一層近い画像となり、周囲の障害物と車両と
の位置関係が、より一層画像から把握し易くなる。

【００７６】

【発明の効果】請求項１に記載の発明によれば、運転者
に見ることのできない死角領域が生成されるので、死角
への不安感が抑制できる。請求項２に記載の発明によれ
ば、表示画像が運転者の視点位置から見た風景と同じ画
像となり、周囲の障害物と車両との位置関係が、肉眼で
視認した場合と同様に感覚的に把握することが容易とな
る。

【００７７】請求項３に記載の発明によれば、撮像手段
と運転者の視点位置との距離が、車両の移動距離と同じ
値になった場合に、運転者位置における画像を用いて視
点変換をするので、運転者の視点位置から見た風景と同
じ画像を生成することが可能となる。請求項４に記載の
発明によれば、過去の画像を用いて、死角領域を合成す
るので、死角を撮影するための専用のカメラを設ける必
要がない。

【００７８】請求項５に記載の発明によれば、車速検出
手段によって車速を検出し、車両周囲の死角領域の把握
が必要な操作状態を検出できるので、必要な状態におい
てのみ、必要な画像処理を行うことができる。請求項６
に記載の発明によれば、過去の画像が取得できる距離を
移動したことを検出する移動距離検出手段を備えたの
で、車体領域（死角領域）に対応する画像領域を取得す
る処理を正確に行うことが可能となる。

【００７９】請求項７に記載の発明によれば、予め記録
された車体データにより過去の画像が取得できる距離を
算出する構成としたので、距離算出が容易となり距離算
出処理を迅速にすることができる。請求項８に記載の発
明によれば、予め記録された車体データにより車体領域
を特定する構成したので、車体領域を特定する画像処理
の処理時間を短縮することができる。請求項９に記載の
発明によれば、車体各部の形状の輪郭線を画像に合成す
ることにより、画面に映し出された外部環境と、車体と
の位置関係を一層把握し易くすることができる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の構成を示すブロック図
である。

【図２】本発明の画像処理装置を搭載した車両の側面図
である。

【図３】本発明の画像処理装置の作用を示すフローチャ
ートである。

【図４】本発明の画像処理装置の作用を示すフローチャ
ートである。

【図５】本発明の画像処理装置の作用を示すフローチャ
ートである。

【図６】画像処理の手順を示す流れ図である。

【図７】図６に示される処理画像の拡大図である。

【図８】図６に示される処理画像の拡大図である。

【図９】図６に示される処理画像の拡大図である。

【図１０】図６に示される処理画像の拡大図である。

【図１１】図６に示される処理画像の拡大図である。

【図１２】図６に示される処理画像の拡大図である。

【図１３】図６に示される処理画像の拡大図である。

【図１４】図６に示される処理画像の拡大図である。

【図１５】図６に示される処理画像の拡大図である。

【図１６】図６に示される処理画像の拡大図である。

【図１７】図６に示される処理画像の拡大図である。

【図１８】図６に示される処理画像の拡大図である。

【図１９】図６に示される処理画像の拡大図である。

【図２０】他の画像処理の手順を示す流れ図である。

【図２１】広角レンズカメラを用いたカメラの視野を示
す平面図である。

【符号の説明】

１ 画像処理装置 １２ 処理装置 １３ カメラ １４ 画像表示装置 １５ 現在位置検出装置 １６ 記憶装置

Claims (9)

【特許請求の範囲】
1. 【請求項１】 車両の進行方向の画像を撮像する撮像手
   段と、 該撮像手段により撮像された画像の中で、車体部分によ
   って隠される車体領域を特定する車体領域特定手段と、 前記車体領域特定手段により特定された車体部分が透明
   であったならば見えると想定される前記車体領域に対応
   する画像領域を取得する車体画像領域取得手段と、 前記撮像手段で撮像された画像における前記車体領域
   を、前記車体画像領域取得手段で取得した画像領域に置
   き換えて画像を作成する画像作成手段と、 該画像作成手段で作成された画像を表示する表示手段
   と、を備えた車両の画像処理装置。
2. 【請求項２】 車両の進行方向の画像を撮像する撮像手
   段と、 運転者の視点から見た画像のように、撮像された画像を
   視点変換する撮像画像変換手段と、 前記撮像手段により撮像された画像の中で、車体部分に
   よって隠される車体領域を特定する車体領域特定手段
   と、 該車体部分が透明であったならば見えると想定される前
   記車体領域に対応する画像領域を取得する車体画像領域
   取得手段と、 前記撮像画像変換手段で視点変換された画像において、
   前記車体領域特定手段によって特定された車体領域部分
   を、前記車体画像領域取得手段によって取得された画像
   領域に置き換えて画像を作成する画像作成手段と、 該画像作成手段で作成された画像を表示する表示手段
   と、を備えることを特徴とする車両の画像処理装置。
3. 【請求項３】 車両の移動距離を検出する移動距離検出
   手段と、を備え、 前記撮像画像変換手段は、運転者の位置から撮像手段が
   設置されている位置までの距離と、前記移動距離検出手
   段が検出した、撮像手段が撮像した位置からの車両移動
   距離とが同じになった場合に、撮像画像を視点変換する
   ことを特徴とする請求項２に記載の車両の画像処理装
   置。
4. 【請求項４】前記車体が透明であったならば見えると想
   定される画像領域は、前記撮像手段が、過去に撮像した
   画像領域を用いることを特徴とする請求項１又は２に記
   載の車両の画像処理装置。
5. 【請求項５】 前記車両の速度を検出する車速検出手段
   と、を備え、前記車速検出手段で検出された速度が所定
   速度以下の場合に、前記画像作成手段で作成された画像
   を表示することを特徴とする請求項１又は２に記載の車
   両の画像処理装置。
6. 【請求項６】 前記車両の移動距離を検出する移動距離
   検出手段と、を備え、 前記車体画像領域取得手段は、該検出された距離が所定
   距離以上の場合に、前記車体領域に対応する画像領域を
   取得することを特徴とする請求項１又は２に記載の車両
   の画像処理装置。
7. 【請求項７】 前記車両の車体データを記憶する車体デ
   ータ記憶手段と、を備え、 前記所定距離は、前記車体データ記憶手段に記憶された
   データに基づき決定されることを特徴とする請求項６に
   記載の車両の画像処理装置。
8. 【請求項８】 車体データを記憶する車体データ記憶手
   段と、を備え、 前記車体領域特定手段は、前記車体データに基づいて、
   車体部分によって隠される車体領域を特定することを特
   徴とする請求項１又は２に記載の車両の画像処理装置。
9. 【請求項９】 車体、バンパー、ライト、ワイパー、イ
   ンストゥルメントパネル、ハンドル、ミラー、タイヤ、
   座席、及び窓の形状のうち少なくとも１つを含む車体形
   状の輪郭線を、 前記画像作成手段により作成された画像にさらに付加し
   て合成画像を作成する車体形状画像合成手段とを備えた
   請求項１又は２に記載の車両の画像処理装置。