JP2006279511A - 周辺監視システム - Google Patents
周辺監視システム Download PDFInfo
- Publication number
- JP2006279511A JP2006279511A JP2005095348A JP2005095348A JP2006279511A JP 2006279511 A JP2006279511 A JP 2006279511A JP 2005095348 A JP2005095348 A JP 2005095348A JP 2005095348 A JP2005095348 A JP 2005095348A JP 2006279511 A JP2006279511 A JP 2006279511A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- camera
- monitoring system
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】車両2に設置した第1,第2カメラ3,4によって車両2の周辺の状況を撮像し、その撮像画像を画像処理してディスプレイ5に表示する周辺監視システム1に、撮像画像を複数の領域に分割し、領域毎に第1,第2カメラ3,4の仮想視点方向を、記憶手段16に記憶されている撮像画像と第2カメラ4の仮想視点方向との対応関係に基づいて異なる方向に連続的に移動させて視点変換を行う視点変換手段15を設ける。
【選択図】 図2
Description
(1)車両に設置した撮像手段によって車両の周辺の状況を撮像し、その撮像画像を画像処理して表示手段に表示する周辺監視システムにおいて、前記撮像画像を複数の領域に分割し、領域毎に前記撮像手段の仮想視点方向を前記撮像手段の光軸と異なる方向に連続的に移動させて視点変換を行う視点変換手段を有することを特徴とする。
(3)(1)又は(2)に記載の発明において、前記視点変換手段は、前記仮想視点方向を撮像画像の一方から他方に向かって連続的に移動させることを特徴とする。
(4)(1)又は(2)に記載の発明において、前記視点変換手段は、前記撮像画像を視点変換マップに基づき前記仮想視点方向を変化させることを特徴とする。
また、本発明の周辺監視システムは、仮想視点方向を撮像画像の一方から他方に向かって連続的に移動させることにより、運転者が車両の周囲の状況を一方から他方に向かって視線を移して見たかのような画像として表示手段に表示するので、車両の周辺の状況を1枚の画像として表示手段に違和感なく表示することができる。
また、本発明の周辺監視システムは、撮像画像を視点変換マップに基づき仮想視点方向を変化させるので、少ない計算回数で視点変換することができる。
周辺監視システム1は、車両2、第1カメラ(撮像手段)3、第2カメラ(撮像手段)4、ディスプレイ(表示手段)5、周辺監視制御装置(周辺監視ECU)6などで構成されている。
周辺監視ECU6は、第1,第2カメラ3,4の撮像画像を視点変換して合成し、その合成画像をディスプレイ5に表示させるものである。
周辺監視ECU6は、映像切替処理手段11、キャプチャ処理手段12、第1キャプチャバッファ13、第2キャプチャバッファ14、座標変換処理手段(視点変換手段)15、表示座標変換テーブル記憶手段(記憶手段)16、表示バッファ17、表示処理手段18を備える。
第2キャプチャバッファ14は、縦方向にm個の画素を配列され、横方向にn個の画素を配列されている。第2キャプチャバッファ14は、車両中央の第2カメラ位置を原点、車両進行方向に対して左右側をX軸、車両進行方向をY軸とする座標系を備える。つまり、第2カメラ4は、車両中央側から右側に向かってX値が増加し、下方(路面)に向かってY値が増加するように座標系を設けられている。第2キャプチャバッファ14に入力された撮像画像は、座標値によって複数の画像データ群に分割される。
図4の視点変換マップに示すように、撮像画像と第2カメラ4の仮想視点方向との対応関係は、座標変換テーブル記憶手段16にマップ化され、記憶されている。視点変換マップは、縦軸に仮想視点方向が設定される一方、横軸に撮像画像の左端を原点とする第2バッファ14の画素が設定されている。例えば、図9に示すように、第2カメラ4の視野角R2のうち、合成境界位置Pから第2カメラ4のカメラ光軸L2までの視野角がθ5であり、合成境界位置Pから撮像範囲右端nまでの視野角がαであるとすると、視点変換マップは、図4に示すように、第2カメラ4の撮像画像について、車両中央側になる画像左端から合成境界位置Pまでは仮想視点方向を変換せず、合成境界位置Pから撮像範囲右端nまでの範囲にある画像データについてX座標(又はY座標もしくはXY座標)で分割された領域毎に仮想視点方向を連続的に移動させていく。撮像画像と第2カメラ4の仮想視点方向との対応関係は、グラフ上の直線G1や曲線G2,G3によって規定され、撮像画像をXY座標に基づいて分割した領域ごとにカメラ光軸Lから仮想視点方向を移動させる角度を規定している。これらの直線G1及び曲線G2,G3は、撮像画像上重視する映像の部分によって座標変換処理手段15に適宜選択して利用される。
図6に示す交差点は、本通り21に路地22が接続するT字路である。壁23は、本通り21に沿って建設されている。路地22の両側には、歩道24,25が設けられ、歩道24に電柱26が立っている。路地22から本通り21に出ようとしている車両2は、第1,第2カメラ3,4が光軸L1,L2を異なる方向に向けて設置されており、第1カメラ3が車両左方向を撮像し、第2カメラ4が車両右方向を撮像する。
図7に示すように、第1カメラ3の撮像画像には、本通り21と壁23の略左半分、及び、車両2の左側にある歩道24、電柱26が映っている。一方、図8に示すように、第2カメラ4の撮像画像には、本通り21と壁23の略右半分、及び、路地22の右側にある歩道25が映っている。第2カメラ4の撮像画像では、本通り21が右方向に行くに従って狭くなり、画像右端の道幅がw1になっている。道幅の縮小に伴って、歩道25がθ2度右上がりに映っている。この状態では、画像右端において本通り21が小さく表示され、右方向から自車両2に向かって走行してくる車両、自転車、バイクなどを判別しにくい。
そこで、第2カメラ4の視点を、車両2の正面A(0)から所定角度ずつ右方向に移動させて車両2の前方右方向を撮像したと仮想した画像処理を行う。
第2カメラ4の視点を車両2の正面A(0)だけに向けるように視点変換すると、発明が解決しようとする課題の欄で説明したのと同様の原理により、図8に示す撮像画像の右端に映っていた本通り21の道幅w1が、図10に示すように道幅w2に拡大して表示される。このとき同時に、歩道25も画像右端に行くほど拡大表示される。そのため、本通り21と歩道25の境界が、θ3度右上がりに傾く。θ3度は、θ2度より角度が大きい。従って、図10に示す画像は、運転者が車両2の正面A(0)を向いたままの視点で、図8に示す画像の右端に映っている本通り21や歩道25をそのまま拡大したに過ぎず、現実味に乏しい。
第2カメラ4の撮像画像は、視点変換された結果、右端に映っている本通り21の道幅w3が、図8の道幅w1より大きく、図10に示す道幅w2より小さく表示される。そして、本通り21と歩道25の境界は、θ4度右上がりに表示される。本通り21と歩道25の境界が右上がりに傾く角度θ4は、図8に示す角度θ2より小さく、道幅w3は、単に図8に示す道幅w1を拡大したものではなく、視点を右方向に向けることにより拡大されたことが分かる。
画像処理した第1,第2カメラ3,4の画像を合成境界位置Pで合成すると、車両2の前方左右方向の画像が1枚で表示される。この表示画像は、運転者が左右方向を視線を向けて左右を確認する際に見える状況に近いため、運転者は違和感なく本通り21の左右方向の状況を確認することができる。また、表示画像右端部分の本通り21は、図8に示す場合より大きく表示されるものの、図10に示す場合のように画像データが拡散してぼやけたり、むやみに大きく表示されることがない。よって、運転者は、路地22から本通り21に出るときに左右方向を直接見て確認しにくい場合であっても、ディスプレイ5の表示内容を見れば、左右方向から車両、自転車、バイクなどが自車両2に向かって走ってくるか否かを認識しやすい。
また、本実施形態の周辺監視システム1は、例えば、第2カメラ4の画像データの仮想視点方向を第1カメラ3が撮像した撮像画像との合成境界位置Pから右端nに向かって連続的に移動させることにより(図4の直線G1,G2,G3参照)、運転者が車両2の前方右方向の状況を車両2の正面A(0)から右方向に向かって連続的に視線を移して見たかのような画像としてディスプレイ5に表示するので(図9、図11参照)、車両2の前方左右方向の状況を1枚の画像としてディスプレイ5に違和感なく表示できる。
また、本実施形態の周辺監視システム1は、撮像画像を視点変換マップ(図4参照)に基づき仮想視点方向を変化させるので、少ない計算回数で視点変換することができる。
2 車両
3 第1カメラ(撮像手段)
4 第2カメラ(撮像手段)
5 ディスプレイ(表示手段)
15 座標変換処理手段(視点変換手段)
16 座標変換テーブル記憶手段(記憶手段)
Claims (5)
- 車両に設置した撮像手段によって車両の周辺の状況を撮像し、その撮像画像を画像処理して表示手段に表示する周辺監視システムにおいて、
前記撮像画像を複数の領域に分割し、領域毎に前記撮像手段の仮想視点方向を前記撮像手段の光軸と異なる方向に連続的に移動させて視点変換を行う視点変換手段を有することを特徴とする周辺監視システム。 - 請求項1に記載する周辺監視システムにおいて、
前記撮像画像と前記仮想視点方向との対応関係を記憶する記憶手段を有し、
前記視点変換手段は、前記記憶手段に記憶されている前記撮像画像と前記仮想視点方向との対応関係に基づいて視点変換を行うことを特徴とする周辺監視システム。 - 請求項1又は請求項2に記載する周辺監視システムにおいて、
前記視点変換手段は、
前記仮想視点方向を撮像画像の一方から他方に向かって連続的に移動させることを特徴とする周辺監視システム。 - 請求項1又は請求項2に記載する周辺監視システムにおいて、
前記視点変換手段は、
前記撮像画像を視点変換マップに基づき前記仮想視点方向を変化させることを特徴とする周辺監視システム。 - 請求項1乃至請求項4の何れか一つに記載する周辺監視システムにおいて、
前記撮像手段が複数からなり、撮像画像が重複する重複範囲を有する場合、前記重複範囲内で合成境界位置を決定して撮像画像を合成する合成手段を有することを特徴とする周辺監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005095348A JP4682664B2 (ja) | 2005-03-29 | 2005-03-29 | 周辺監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005095348A JP4682664B2 (ja) | 2005-03-29 | 2005-03-29 | 周辺監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006279511A true JP2006279511A (ja) | 2006-10-12 |
JP4682664B2 JP4682664B2 (ja) | 2011-05-11 |
Family
ID=37213790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005095348A Expired - Fee Related JP4682664B2 (ja) | 2005-03-29 | 2005-03-29 | 周辺監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4682664B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009144994A1 (ja) * | 2008-05-29 | 2009-12-03 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
WO2010137684A1 (ja) * | 2009-05-29 | 2010-12-02 | 富士通テン株式会社 | 画像生成装置及び画像表示システム |
JP2011048829A (ja) * | 2009-08-27 | 2011-03-10 | Robert Bosch Gmbh | 車両の運転者に案内情報を提供するためのシステム及び方法 |
JP2011065520A (ja) * | 2009-09-18 | 2011-03-31 | Mitsubishi Motors Corp | 運転支援装置 |
WO2011125137A1 (ja) * | 2010-04-08 | 2011-10-13 | パナソニック株式会社 | 運転支援表示装置 |
JP2020160334A (ja) * | 2019-03-27 | 2020-10-01 | 株式会社コムテック | 撮像装置及び撮像システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0399952A (ja) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
JPH07192200A (ja) * | 1993-12-24 | 1995-07-28 | Nissan Motor Co Ltd | 車両用周囲状況表示装置 |
JP2004056683A (ja) * | 2002-07-23 | 2004-02-19 | Sumitomo Electric Ind Ltd | 画像変換システム、画像処理装置及び画像変換方法 |
-
2005
- 2005-03-29 JP JP2005095348A patent/JP4682664B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0399952A (ja) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
JPH07192200A (ja) * | 1993-12-24 | 1995-07-28 | Nissan Motor Co Ltd | 車両用周囲状況表示装置 |
JP2004056683A (ja) * | 2002-07-23 | 2004-02-19 | Sumitomo Electric Ind Ltd | 画像変換システム、画像処理装置及び画像変換方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009144994A1 (ja) * | 2008-05-29 | 2009-12-03 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
US9840199B2 (en) | 2008-05-29 | 2017-12-12 | Fujitsu Limited | Vehicle image processing apparatus and vehicle image processing method |
US9475430B2 (en) | 2008-05-29 | 2016-10-25 | Fujitsu Limited | Vehicle image processing apparatus and vehicle image processing method |
US9403483B2 (en) | 2008-05-29 | 2016-08-02 | Fujitsu Limited | Vehicle image processing apparatus and vehicle image processing method |
JP5397373B2 (ja) * | 2008-05-29 | 2014-01-22 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
WO2010137684A1 (ja) * | 2009-05-29 | 2010-12-02 | 富士通テン株式会社 | 画像生成装置及び画像表示システム |
US8941737B2 (en) | 2009-05-29 | 2015-01-27 | Fujitsu Ten Limited | Image generating apparatus and image display system |
US8988525B2 (en) | 2009-08-27 | 2015-03-24 | Robert Bosch Gmbh | System and method for providing guidance information to a driver of a vehicle |
JP2011048829A (ja) * | 2009-08-27 | 2011-03-10 | Robert Bosch Gmbh | 車両の運転者に案内情報を提供するためのシステム及び方法 |
JP2011065520A (ja) * | 2009-09-18 | 2011-03-31 | Mitsubishi Motors Corp | 運転支援装置 |
US8363103B2 (en) | 2010-04-08 | 2013-01-29 | Panasonic Corporation | Drive assist display apparatus |
JP2011221760A (ja) * | 2010-04-08 | 2011-11-04 | Panasonic Corp | 運転支援表示装置 |
WO2011125137A1 (ja) * | 2010-04-08 | 2011-10-13 | パナソニック株式会社 | 運転支援表示装置 |
JP2020160334A (ja) * | 2019-03-27 | 2020-10-01 | 株式会社コムテック | 撮像装置及び撮像システム |
Also Published As
Publication number | Publication date |
---|---|
JP4682664B2 (ja) | 2011-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5483120B2 (ja) | 車両周辺監視システム | |
US11528413B2 (en) | Image processing apparatus and image processing method to generate and display an image based on a vehicle movement | |
JP5035643B2 (ja) | 画像表示装置 | |
EP1916846B1 (en) | Device and method for monitoring vehicle surroundings | |
WO2011118125A1 (ja) | 車両の運転を支援するための装置 | |
JP5209578B2 (ja) | 車両用画像表示装置 | |
JP5715778B2 (ja) | 車両用画像表示装置 | |
JP5669791B2 (ja) | 移動体の周辺画像表示装置 | |
JP5741321B2 (ja) | 運転支援装置 | |
KR20020033816A (ko) | 감시시스템 | |
JP2005223524A (ja) | 車両周辺監視装置 | |
JP5760999B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2014041398A (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
US11601621B2 (en) | Vehicular display system | |
JP2011048829A (ja) | 車両の運転者に案内情報を提供するためのシステム及び方法 | |
JP2008048345A (ja) | 画像処理装置並びに視界支援装置及び方法 | |
JP4682664B2 (ja) | 周辺監視システム | |
JP2006100965A (ja) | 車両の周辺監視システム | |
JP2011065520A (ja) | 運転支援装置 | |
JP2007237785A (ja) | 車載用情報提示システム | |
JP2018144554A (ja) | 車両用ヘッドアップディスプレイ装置 | |
JP2010208359A (ja) | 車両用表示装置 | |
JP5020621B2 (ja) | 運転支援装置 | |
JP6258000B2 (ja) | 画像表示システム、画像表示方法及びプログラム | |
JP5226621B2 (ja) | 車両用画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110124 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4682664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |