JP2001339716A - 車両周辺監視装置及び方法 - Google Patents

車両周辺監視装置及び方法

Info

Publication number
JP2001339716A
JP2001339716A JP2000155162A JP2000155162A JP2001339716A JP 2001339716 A JP2001339716 A JP 2001339716A JP 2000155162 A JP2000155162 A JP 2000155162A JP 2000155162 A JP2000155162 A JP 2000155162A JP 2001339716 A JP2001339716 A JP 2001339716A
Authority
JP
Japan
Prior art keywords
image
conversion
viewpoint
vehicle
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000155162A
Other languages
English (en)
Inventor
Katsumasa Onda
勝政 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000155162A priority Critical patent/JP2001339716A/ja
Publication of JP2001339716A publication Critical patent/JP2001339716A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 視点位置をダイナミックに変更して、車内の
表示装置に運転状況に応じて最適な合成画像を表示する
ことができる車両周辺監視装置及び方法を提供する。 【解決手段】 本発明の車両周辺監視装置は、カメラ10
1と、アナログ・ディジタル変換器(A/D)102と、フ
レームメモリ103と、ディジタル・アナログ変換器(D
/A)105と、液晶表示装置などのディスプレイ106と、
歪み補正のための幾何学変換用テーブルを構成するRO
M化された変換テーブル107と、視点位置をダイナミッ
クに変更しうるようにするために視点変換用パラメータ
を供給する視点変換用パラメータ供給手段108と、第1
ステップとしてROM化された変換テーブル107に基づ
いて、各カメラから得られた画像の歪みを補正し、第2
ステップとして視点変換用パラメータ供給手段108から
供給される視点変換用パラメータに基づいて変換のため
のアドレス計算等を高速に行うCPU又はDSP等から
構成される画像合成手段104とから構成されている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両の運転者から
の死角を低減したり運転操作を容易にするため、車両に
設置したカメラの画像を表示出力する車両周辺監視装置
に関し、特に、車両の走行状況や運転者の操作に応じた
最適な画像を提供する車両周辺監視装置に関するもので
ある。
【0002】
【従来の技術】近年、車載用のディスプレイ装置の普及
やカメラなどの映像機器の低価格化に伴い、カメラによ
って車両の周辺を監視することで安全運転を支援する装
置が実用化され、普及しつつある。
【0003】ところで従来の車両周辺監視装置の一例と
しては、車両の後方などの運転者から死角となる部分を
映すようにカメラを設置し、カメラの画像をディスプレ
イで監視するというものがあり、例えば、特開昭58-110
334号公報に記載される「路面視界表示装置」が知られ
ている。
【0004】すなわち図6に示されるように、車両の周
囲に複数台のカメラ(例えばカメラ1〜カメラ4)が設
置され、そして図8のような状況で撮影された複数のカ
メラ画像から、図9のような自車を中心として上方から
見た画像を変形合成し、車内の表示装置で運転者が観察
する。変形合成は、例えば図7に示すように、車の真上
に仮想カメラを設定し、上記カメラ1〜カメラ4で撮像
された画像をそれぞれ仮想カメラ位置から見た画像に変
換して合成することにより得られる。
【0005】このような車両周囲監視装置を用いると、
運転席からは直接見ることができない死角をディスプレ
イで確認することができるため、事故を回避したり運転
操作を容易にすることができる。
【0006】
【発明が解決しようとする課題】しかしながら、上記し
た従来構成の車両周辺監視装置では、仮想視点の位置を
予め決定し、入力画像と仮想視点画像(合成画像)の対
応関係を計算しておき、それをテーブル化(ROM化)
しておくために、仮想視点をダイナミックに変更するこ
とができないという問題点があった。
【0007】そこで、本発明は、このような従来の問題
点を解決するものであり、視点位置をダイナミックに変
更して、車内の表示装置に運転状況に応じて最適な合成
画像を表示することができる車両周辺監視装置及び方法
を提供することを目的とするものである。
【0008】
【課題を解決するための手段】上記問題点を解決するた
めに本発明の車両周辺監視装置は、視点位置に不変な変
換である歪み補正のための変換テーブルについてあらか
じめ計算してROM化しておき、視点位置によって変換
規則が変化する視点変換合成については逐次、視点変換
用パラメータ供給手段によって与えられるパラメータに
基づき変換のためのアドレス計算等を行うようにしたも
のである。
【0009】この構成によって、視点位置をダイナミッ
クに変更して、車内の表示装置に活きた合成画像を表示
することができる。
【0010】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図1から図5を用いて説明する。
【0011】図1は、本発明の実施の形態における車両
周囲監視装置の構成を示すブロック図である。図1にお
いて本発明の車両周囲監視装置は、カメラ101と、アナ
ログ・ディジタル変換器(A/D)102と、フレームメ
モリ103と、ディジタル・アナログ変換器(D/A)105
と、液晶表示装置などのディスプレイ106と、歪み補正
のための幾何学変換用テーブルを構成するROM化され
た変換テーブル107と、視点位置をダイナミックに変更
しうるようにするために視点変換用パラメータを供給す
る視点変換用パラメータ供給手段108と、第1ステップ
としてROM化された変換テーブル107に基づいて、各
カメラから得られた画像の歪みを補正し、第2ステップ
として視点変換用パラメータ供給手段108から供給され
る視点変換用パラメータに基づいて変換のためのアドレ
ス計算等を高速に行うCPU又はDSP等から構成され
る画像合成手段104とから構成されている。
【0012】なお、図1に示されるように本発明の車両
周囲監視装置では、カメラ101、アナログ・ディジタル
変換器(A/D)102及びフレームメモリ103を組にし
て、その組を車両に設置するカメラの数に応じて複数組
設ける。カメラの取付位置は、図1に示される取付位置
例に限らず、ブラインドコーナー対策として左右前部側
方に取付けるブラインドコーナーカメラや、運転席近傍
の左右側方に取付けられるサイドビューカメラなどを必
要に応じて取付けることが可能である。
【0013】図2は、歪み補正のための幾何学変換の原
理を説明するための図であり、図3は図1の画像合成手
段104によって行われる画像合成の第1ステップとして
の歪み補正によって歪みあり画像から歪みなし画像に変
換される様子を示した図である。すなわち図2は、一般
的な球面レンズあるいは球面凹面鏡による結像系におい
て生じる収差の一つである歪曲収差を示すものである。
歪曲収差は、他の収差と異なり、像はぼけることなく原
点から放射方向へ位置ずれを起こす。すなわち、画面中
心から離れるにしたがって結像倍率が変わる。
【0014】歪曲収差によって、 r=(Xu 2+Yu 21/2 ……(1) の画素が放射方向にずれる量Δrは、例えば、 Δr=kr3 ……(2) で近似することができる。上記式(2)のkが正のとき
は「糸巻き形の像」に、負のときは「樽形の像」に変形
する。
【0015】ここで、放射方向へのずれ量ΔrのX軸方
向の成分をΔX、Y軸方向への成分をΔYとすると、 ΔX=Δr・cosθ=Δr・(Xu/r)=k(Xu 3+Xuu 2) …(3) ΔY=Δr・sinθ=Δr・(Yu/r)=k(Xu 2u+Yu 3) …(4)
【0016】したがって、本来歪みのない状態で座標
(Xu,Yu)に撮像される像は、実際に撮像された像で
は、座標(Xd,Yd)に撮像されていることになる。
【0017】 Xd=Xu−k(Xu 3+Xuu 2) ……(5) Yd=Yu−k(Xu 2u+Yu 3) ……(6)
【0018】図3は、実際に得られる歪みのある画像P
(Xd,Yd)が、歪み補正による変換によって歪みのな
い画像I(Xu,Yu)に変換される様子を示したもので
ある。その関係は、以下の式によって表すことができ
る。 I(Xu,Yu)=P(Xu−k(Xu 3+Xuu 2),Yu−k(Xu 2u+Yu 3))…(7) この場合、歪みの度合いを表すkは光学系で決まる定数
で、光学系が変わらない限り、固定の値である。
【0019】そこで、変換後の画像座標(Xu,Yu
と、変換前の画像座標(Xd,Yd)の関係をあらかじ
め、座標変換テーブル(ROM等に記憶させておく)と
して持っておき、変換の際には、上記座標変換テーブル
を参照して変換を行うことにより毎回計算することなく
高速に変換できる。
【0020】図4は、歪み補正のための変換テーブルの
例を示したものである。すなわち、ROM等に記憶され
た座標変換テーブルを使用して、変換前の画像座標(X
d,Yd)が座標変換後の画像座標(Xu,Yu)に変換さ
れる。
【0021】図5は、図1の画像合成手段104によって
行われる画像合成の第2ステップとしての視点変換及び
合成画像生成によって生成された画像が得られる様子を
示した図である。すなわち、図5の左側に示された(a
−1)においては、カメラ1で撮影した画像について上
記図2及び図3に示したような歪み補正をした後の画像
1(X1u,Y1u)を、合成画像を生成するための入力画像
として使用し、同様にして、図5の左側に示された(a
−2)においては、カメラ2で撮影した画像について上
記図2及び図3に示したような歪み補正をした後の画像
2(X2u,Y2u)を、合成画像を生成するための入力画像
として使用し、同様にして、カメラnで撮影した画像に
ついて上記図2及び図3に示したような歪み補正をした
後の画像I n(Xnu,Ynu)を、合成画像を生成するため
の入力画像として使用するようにして、図5の右側に示
された合成画像G(Xo,Yo)を生成するようにしたも
のである。
【0022】また、図8に示すようにカメラ801により
撮影された図9に示す画像を、図8に示す車両の走行面
802の延長面状を撮影したものと仮定して、実物との差
を図10に模擬的に示すテーブル1001を用いて平面に補
正することも可能である。
【0023】このようにして図6に示すように車両に取
り付けたカメラ1乃至4により得られた画像を合成し、
図7に示すように仮想カメラ701により撮影をしたよう
な画像を得ることができる。例えば、図11に示すよう
な状況に自車1101が停車している場合、後方の車両1102
は、自車に搭載したカメラ1103に図5(a−1)に示す
ような画像として撮影される。またカメラ1104には図5
(a−2)に示すような画像が撮影される。これらの画
像に対し上述の補正を行い、さらに視点変換を行うこと
により、図12に示すように仮想カメラ701より撮影し
た画像を得ることができる。
【0024】
【発明の効果】上記の説明から明らかなように、本発明
の車両周囲監視装置及び方法は、視点位置に不変な変換
である歪み補正のための変換テーブルについてあらかじ
め計算してROM化しておき、視点位置によって変換規
則が変化する視点変換合成については逐次、視点変換用
パラメータ供給手段によって与えられるパラメータに基
づき変換のためのアドレス計算等を行うようにしたもの
であるから、視点位置をダイナミックに変更して、車内
の表示装置に運転状況に応じて最適な合成画像を表示す
ることができる。
【図面の簡単な説明】
【図1】本発明の実施形態における車両周囲監視装置の
構成を示すブロック図、
【図2】歪み補正のための幾何学変換の原理を説明する
ための図、
【図3】図1の画像合成手段によって行われる画像合成
の第1ステップとしての歪み補正によって歪みあり画像
から歪みが補正された画像が得られる様子を示した図、
【図4】歪み補正のための変換テーブルの例、
【図5】図1の画像合成手段によって行われる画像合成
の第2ステップとしての視点変換及び合成画像生成によ
って生成された画像が得られる様子を示した図、
【図6】カメラの設置位置を示す例、
【図7】仮想カメラが設定される位置を示す図、
【図8】車両の後部左上に設置したカメラにより路面を
撮影する様子を示した図、
【図9】図8のカメラによって撮影された画像の例、
【図10】模擬的に示すテーブル1001を用いて図9の画
像を平面に補正する様子を示した図、
【図11】車の上方から見た車両状況を示す図、
【図12】図8のような状況で撮影された複数のカメラ
画像から自車を中心として上方から見た画像を変形合成
して車内の表示装置に表示した例を示す図である。
【符号の説明】
101 カメラ 102 アナログ・ディジタル変換器 103 フレーム・メモリ 104 画像合成手段 105 ディジタル・アナログ変換器 106 ディスプレイ 107 変換テーブル(ROM) 108 視点変換用パラメータ供給手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) B60R 21/00 622 B60R 21/00 622F 622T 626 626G G06T 1/00 330 G06T 1/00 330A 3/00 200 3/00 200 300 300 H04N 5/262 H04N 5/262 Fターム(参考) 5B057 AA16 BA02 BA19 CA12 CA16 CB12 CB16 CC01 CD12 CD20 CE08 CH07 5C023 AA10 AA14 AA37 AA38 BA11 CA01 DA02 DA04 5C054 AA01 AA05 CA04 CC03 EA01 EA05 EB05 EB07 FD03 FE17 HA30

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 車両に設置されたカメラで撮影された入
    力画像を表示する車両周辺監視装置であって、入力画像
    と歪み補正画像の対応関係を表す座標変換テーブルを記
    憶する座標変換テーブル記憶手段と、歪み補正画像と合
    成画像の対応関係を逐次計算して合成画像を生成する画
    像合成手段と、合成画像を生成するために必要となる仮
    想視点位置に関するパラメータを前記画像合成手段に供
    給する視点変換用パラメータ供給手段とを有することを
    特徴とする車両周辺監視装置。
  2. 【請求項2】 入力画像と歪み補正画像の対応関係を表
    す座標変換テーブルがカメラ光学的歪み、および前記カ
    メラの取り付け位置に起因する映像と実物との差を補正
    するものである請求項1に記載の車両周辺監視装置。
  3. 【請求項3】 変換後の画像座標と変換前の画像座標と
    の関係を、座標変換テーブルとして予め持っておき、変
    換の際に前記座標変換テーブルを参照して変換を行う段
    階と、視点変換用パラメータ供給手段によって、逐次与
    えられるパラメータに基づき視点変換のためのアドレス
    計算を行うようにした視点位置によって変換規則が変化
    する視点変換合成を行う段階と、視点変換合成した合成
    画像を表示装置に表示する段階を含む車両周辺監視方
    法。
  4. 【請求項4】 変換後の画像座標と変換前の画像座標と
    の関係を、座標変換テーブルとして予め持っておき、変
    換の際に用いる座標変換テーブルがカメラ光学的歪み、
    および前記カメラの取り付け位置に起因する映像と実物
    との差を補正するものであり、この座標変換テーブルを
    参照して変換を行う段階と、視点変換用パラメータ供給
    手段によって、逐次与えられるパラメータに基づき視点
    変換のためのアドレス計算を行うようにした視点位置に
    よって変換規則が変化する視点変換合成を行う段階と、
    視点変換合成した合成画像を表示装置に表示する段階を
    含む車両周辺監視方法。
JP2000155162A 2000-05-25 2000-05-25 車両周辺監視装置及び方法 Pending JP2001339716A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000155162A JP2001339716A (ja) 2000-05-25 2000-05-25 車両周辺監視装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000155162A JP2001339716A (ja) 2000-05-25 2000-05-25 車両周辺監視装置及び方法

Publications (1)

Publication Number Publication Date
JP2001339716A true JP2001339716A (ja) 2001-12-07

Family

ID=18660148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000155162A Pending JP2001339716A (ja) 2000-05-25 2000-05-25 車両周辺監視装置及び方法

Country Status (1)

Country Link
JP (1) JP2001339716A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084456A (ja) * 2000-09-07 2002-03-22 Clarion Co Ltd 画像変換装置
JP2003196645A (ja) * 2001-12-28 2003-07-11 Equos Research Co Ltd 車両の画像処理装置
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
WO2003107273A1 (ja) * 2002-06-12 2003-12-24 松下電器産業株式会社 運転支援装置
JP2005101905A (ja) * 2003-09-25 2005-04-14 Mitsubishi Electric Corp 撮像装置
JP2006060425A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置
JP2006163792A (ja) * 2004-12-07 2006-06-22 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP2008257502A (ja) * 2007-04-05 2008-10-23 Mitsubishi Electric Corp 車両周辺監視装置
US7592928B2 (en) 2005-06-07 2009-09-22 Nissan Motor Co., Ltd. Image display device and method
JP2009267602A (ja) * 2008-04-23 2009-11-12 Alpine Electronics Inc 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
US7734417B2 (en) 2005-05-20 2010-06-08 Nissan Motor., Ltd. Image processing device and method for parking support
JP2011040825A (ja) * 2009-08-06 2011-02-24 Nippon Soken Inc 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP2011066860A (ja) * 2009-09-18 2011-03-31 Loarant Corp パノラマ画像生成方法及びパノラマ画像生成プログラム
WO2013002037A1 (ja) 2011-06-27 2013-01-03 クラリオン株式会社 駐車支援装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4629839B2 (ja) * 2000-09-07 2011-02-09 クラリオン株式会社 画像変換装置
JP2002084456A (ja) * 2000-09-07 2002-03-22 Clarion Co Ltd 画像変換装置
JP2003196645A (ja) * 2001-12-28 2003-07-11 Equos Research Co Ltd 車両の画像処理装置
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
WO2003107273A1 (ja) * 2002-06-12 2003-12-24 松下電器産業株式会社 運転支援装置
JP2005101905A (ja) * 2003-09-25 2005-04-14 Mitsubishi Electric Corp 撮像装置
JP2006060425A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置
JP2006163792A (ja) * 2004-12-07 2006-06-22 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP4609055B2 (ja) * 2004-12-07 2011-01-12 日産自動車株式会社 車両用画像生成装置および方法
US7734417B2 (en) 2005-05-20 2010-06-08 Nissan Motor., Ltd. Image processing device and method for parking support
US7592928B2 (en) 2005-06-07 2009-09-22 Nissan Motor Co., Ltd. Image display device and method
JP2008257502A (ja) * 2007-04-05 2008-10-23 Mitsubishi Electric Corp 車両周辺監視装置
JP2009267602A (ja) * 2008-04-23 2009-11-12 Alpine Electronics Inc 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
JP2011040825A (ja) * 2009-08-06 2011-02-24 Nippon Soken Inc 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP2011066860A (ja) * 2009-09-18 2011-03-31 Loarant Corp パノラマ画像生成方法及びパノラマ画像生成プログラム
WO2013002037A1 (ja) 2011-06-27 2013-01-03 クラリオン株式会社 駐車支援装置

Similar Documents

Publication Publication Date Title
CN109688392B (zh) Ar-hud光学投影***及映射关系标定方法和畸变矫正方法
CN107021015B (zh) 用于图像处理的***及方法
JP3871614B2 (ja) 運転支援装置
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP3300334B2 (ja) 画像処理装置および監視システム
JP3968375B2 (ja) 周辺監視装置および周辺監視方法
JP3286306B2 (ja) 画像生成装置、画像生成方法
JP4975592B2 (ja) 撮像装置
JP2001339716A (ja) 車両周辺監視装置及び方法
JP4677104B2 (ja) 車両用表示装置
JP4715334B2 (ja) 車両用画像生成装置および方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP4727329B2 (ja) 画像合成装置及び画像合成方法
EP2560384B1 (en) Processing target image generation device, processing target image generation method, and operation support system
CN105472317B (zh) 周边监视装置及周边监视***
JP2008048317A (ja) 画像処理装置並びに視界支援装置及び方法
JP2002127852A (ja) 車両周辺表示装置
JP2015097335A (ja) 俯瞰画像生成装置
JP2011105306A (ja) 車両用表示装置
JP2013228866A (ja) 半導体装置、電子装置、及び画像処理方法
JP7081265B2 (ja) 画像処理装置
JP2009123131A (ja) 撮像装置
JP2022056649A (ja) 回路装置、表示システム及び画像処理方法
JP2002251632A (ja) 運転支援装置