JP6392693B2 - 車両周辺監視装置、車両周辺監視方法、及びプログラム - Google Patents
車両周辺監視装置、車両周辺監視方法、及びプログラム Download PDFInfo
- Publication number
- JP6392693B2 JP6392693B2 JP2015058475A JP2015058475A JP6392693B2 JP 6392693 B2 JP6392693 B2 JP 6392693B2 JP 2015058475 A JP2015058475 A JP 2015058475A JP 2015058475 A JP2015058475 A JP 2015058475A JP 6392693 B2 JP6392693 B2 JP 6392693B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- camera image
- image
- side camera
- periphery monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012806 monitoring device Methods 0.000 title claims description 64
- 238000012544 monitoring process Methods 0.000 title claims description 25
- 238000000034 method Methods 0.000 title claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 75
- 238000012937 correction Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000005259 measurement Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
(第1の実施の形態)
図1は、第1の実施の形態の車両周辺監視装置1の構成を示す図である。車両周辺監視装置1は、車両に取り付けられたサイドカメラ10及びリアカメラ11と、サイドカメラ10で撮影した画像(これを「サイドカメラ画像」という)及びリアカメラ11で撮影した画像(これを「リアカメラ画像」という)に基づいて、後方車両までの距離を求める測距部12と、サイドカメラ画像及びリアカメラ画像の視点を一致させるように画像変換を行う視点変換部13と、視点変換されたサイドカメラ画像及びリアカメラ画像を合成する画像合成部14と、合成画像を表示するモニタ15とを有している。
次に、本発明の第2の実施の形態の車両周辺監視装置2について説明する。第2の実施の形態の車両周辺監視装置2の基本的な構成は第1の実施の形態と同じであるが、第1の実施の形態の車両周辺監視装置1では、後方車両の前面及び側面を平面と仮定して視点変換を行ったのに対し、第2の実施の形態の車両周辺監視装置2は、後方車両の外部形状の情報を用いて視点変換を行う点が異なる。
次に、本発明の第3の実施の形態の車両周辺監視装置について説明する。第3の実施の形態の車両周辺監視装置の基本的な構成は第1の実施の形態の車両周辺監視装置1の構成と同じであるが(図1参照)、第3の実施の形態の車両周辺監視装置は、左右のサイドカメラ画像とリアカメラ画像とを合成して、後方のパノラマ画像を合成する点が異なる。
図13は、測距部12の構成を示す図である。測距部12は、リアカメラ11にて取得したリアカメラ画像の歪みを補正する歪み補正部31と、画像に映る後方車両が正面向きになるようにリアカメラ画像を射影変換する射影変換部33とを有している。歪み補正部31及び射影変換部33は、広角のリアカメラ画像を用いて適切に測距を行うための前処理を行うものである。
図18は、測距部12の他の例を示す図である。測距部12の基本的な構成は上記した構成と同じであるが、本例では、測距部12は、距離概算部32、射影変換部33に代えて、平行化補正部36を有している。
10 サイドカメラ
11 リアカメラ
12 測距部
15 モニタ
16 車両形状データベース
17 車両形状特定部
18 車両の中心軸
20 CPU
21 RAM
22 ROM
23 プログラム
24 ハードディスク
31 歪み補正部
32 距離概算部
33 射影変換部
34 特徴点探索部
35 ステレオ測距部
36 平行化補正部
Claims (9)
- 車両の側部に設けられ、後方を撮影するサイドカメラと、
車両の後部に設けられ、広角で後方を撮影するリアカメラと、
前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両の前面までの距離及び角度を測定する測距部と、
前記後方車両の前面及び側面を路面に垂直な平面であるとして、前記前面までの距離及び角度に基づいて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び/又は前記リアカメラ画像を画像変換する視点変換部と、
前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成する画像合成部と、
合成された画像を表示する表示部と、
を備える車両周辺監視装置。 - 車両の側部に設けられ、後方を撮影するサイドカメラと、
車両の後部に設けられ、広角で後方を撮影するリアカメラと、
車両の外部形状情報を記憶した車両形状記憶部と、
前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離及び角度を測定する測距部と、
前記リアカメラ画像または前記サイドカメラ画像に映る後方車両に対応する車両の外部形状情報を前記車両形状記憶部から検索する車両形状特定部と、
前記車両の外部形状情報から得られる後方車両の各位置までの距離及び角度の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び/又は前記リアカメラ画像を画像変換する視点変換部と、
前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成する画像合成部と、
合成された画像を表示する表示部と、
を備える車両周辺監視装置。 - 前記視点変換部は、前記リアカメラ画像を前記サイドカメラの視点から見た画像に変換し、
前記画像合成部は、車体によって前記後方車両が隠れている前記サイドカメラ画像の領域に、前記画像変換された前記リアカメラ画像を合成し、さらに、前記合成された画像に前記サイドカメラ画像に映る車体の画像を重畳する請求項1または2に記載の車両周辺監視装置。 - 前記視点変換部は、前記リアカメラ画像及び前記サイドカメラ画像を車両の進行方向に沿った車両の中心軸上の所定位置の視点から見た画像に変換する請求項1または2に記載の車両周辺監視装置。
- 前記測距部は、
前記リアカメラ画像の一部を切り出して歪みを補正する歪み補正部と、
前記サイドカメラ画像または前記リアカメラ画像のいずれか一方から前記後方車両の特徴点を検出し、当該特徴点に対応する点を、前記サイドカメラ画像または前記リアカメラ画像の他方のエピポーラ線上から探索する特徴点探索部と、
前記サイドカメラ画像中の特徴点と、それに対応する前記リアカメラ画像中の特徴点との位置関係に基づいて、前記後方車両までの距離及び角度を求めるステレオ測距部と、
を備える請求項1乃至4のいずれかに記載の車両周辺監視装置。 - 車両後方の画像を表示する車両周辺監視方法であって、
車両周辺監視装置が、車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、
前記車両周辺監視装置が、車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、
前記車両周辺監視装置が、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両の前面までの距離及び角度を測定するステップと、
前記車両周辺監視装置が、前記後方車両の前面及び側面を路面に垂直な平面であるとして、前記前面までの距離及び角度に基づいて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び/又は前記リアカメラ画像を画像変換するステップと、
前記車両周辺監視装置が、前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、
前記車両周辺監視装置が、合成された画像を表示するステップと、
を備える車両周辺監視方法。 - 車両後方の画像を表示する車両周辺監視方法であって、
車両周辺監視装置が、車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、
前記車両周辺監視装置が、車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、
前記車両周辺監視装置が、前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離及び角度を測定するステップと、
前記車両周辺監視装置が、前記リアカメラ画像または前記サイドカメラ画像に映る後方車両に対応する車両の外部形状情報を、車両の外部形状情報を記憶した車両形状記憶部から検索するステップと、
前記車両周辺監視装置が、前記車両の外部形状情報から得られる後方車両の各位置までの距離及び角度の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び/又は前記リアカメラ画像を画像変換するステップと、
前記車両周辺監視装置が、前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、
前記車両周辺監視装置が、合成された画像を表示するステップと、
を備える車両周辺監視方法。 - 車両後方の画像を表示するためのプログラムであって、コンピュータに、
車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、
車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、
前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両の前面までの距離及び角度を測定するステップと、
前記後方車両の前面及び側面を路面に垂直な平面であるとして、前記前面までの距離及び角度に基づいて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び/又は前記リアカメラ画像を画像変換するステップと、
前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、
合成された画像を表示するステップと、
を実行させるプログラム。 - 車両後方の画像を表示するためのプログラムであって、コンピュータに、
車両の側部に設けられ、後方を撮影するサイドカメラからサイドカメラ画像を取得するステップと、
車両の後部に設けられ、広角で後方を撮影するリアカメラからリアカメラ画像を取得するステップと、
前記サイドカメラで撮影したサイドカメラ画像と前記リアカメラで撮影したリアカメラ画像とに基づいて後方車両までの距離及び角度を測定するステップと、
前記リアカメラ画像または前記サイドカメラ画像に映る後方車両に対応する車両の外部形状情報を、車両の外部形状情報を記憶した車両形状記憶部から検索するステップと、
前記車両の外部形状情報から得られる後方車両の各位置までの距離及び角度の情報を用いて、前記サイドカメラ画像及び前記リアカメラ画像の視点が一致するように、前記サイドカメラ画像及び/又は前記リアカメラ画像を画像変換するステップと、
前記画像変換により視点が一致した前記サイドカメラ画像と前記リアカメラ画像とを合成するステップと、
合成された画像を表示するステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015058475A JP6392693B2 (ja) | 2015-03-20 | 2015-03-20 | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015058475A JP6392693B2 (ja) | 2015-03-20 | 2015-03-20 | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016175586A JP2016175586A (ja) | 2016-10-06 |
JP6392693B2 true JP6392693B2 (ja) | 2018-09-19 |
Family
ID=57068948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015058475A Expired - Fee Related JP6392693B2 (ja) | 2015-03-20 | 2015-03-20 | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6392693B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018101897A (ja) * | 2016-12-20 | 2018-06-28 | 株式会社デンソーテン | 車両周辺監視装置及び監視方法 |
JP2018117320A (ja) | 2017-01-20 | 2018-07-26 | 株式会社東芝 | 電子ミラーの映像合成装置及び映像合成方法 |
JP6665819B2 (ja) | 2017-03-17 | 2020-03-13 | トヨタ自動車株式会社 | 車載表示装置 |
KR102082254B1 (ko) * | 2018-03-14 | 2020-02-27 | 광주과학기술원 | 차량 인식 시스템 |
JP6999239B2 (ja) * | 2018-05-28 | 2022-02-04 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
JP2020183166A (ja) * | 2019-05-07 | 2020-11-12 | アルパイン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
JP7280006B2 (ja) | 2019-08-06 | 2023-05-23 | アルパイン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP7371549B2 (ja) | 2020-03-19 | 2023-10-31 | 株式会社リコー | 車両検知装置、車両、車両検知方法及びプログラム |
JP7027476B2 (ja) * | 2020-04-06 | 2022-03-01 | 株式会社東芝 | 電子ミラーの映像合成装置及び映像合成方法 |
US11620350B2 (en) | 2020-08-24 | 2023-04-04 | Snap Inc. | Vehicle recognition system |
JP2024003407A (ja) * | 2022-06-27 | 2024-01-15 | 日立Astemo株式会社 | 外界認識装置及び外界認識方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10257482A (ja) * | 1997-03-13 | 1998-09-25 | Nissan Motor Co Ltd | 車両周辺状況表示装置 |
JP2006033570A (ja) * | 2004-07-20 | 2006-02-02 | Olympus Corp | 画像生成装置 |
JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
JP2009206747A (ja) * | 2008-02-27 | 2009-09-10 | Nissan Motor Co Ltd | 車両用周囲状況監視装置及び映像表示方法 |
JP5799631B2 (ja) * | 2011-07-20 | 2015-10-28 | 日産自動車株式会社 | 車両用画像生成装置及び車両用画像生成方法 |
-
2015
- 2015-03-20 JP JP2015058475A patent/JP6392693B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016175586A (ja) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6392693B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
EP3565739B1 (en) | Rear-stitched view panorama for rear-view visualization | |
US8395490B2 (en) | Blind spot display apparatus | |
JP4406381B2 (ja) | 障害物検出装置及び方法 | |
JP6091586B1 (ja) | 車両用画像処理装置および車両用画像処理システム | |
US8184160B2 (en) | Image processor, driving assistance system, and out-of-position detecting method | |
JP5689907B2 (ja) | 車両において通行物***置検出を向上する方法 | |
JP4193886B2 (ja) | 画像表示装置 | |
JP5341789B2 (ja) | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム | |
JP4796676B2 (ja) | 車両上方視点画像表示装置 | |
JP2009017462A (ja) | 運転支援システム及び車両 | |
JP2006268076A (ja) | 運転支援システム | |
JP2015179063A (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2011064566A (ja) | 距離推定装置 | |
JP6243758B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
JP5083443B2 (ja) | 運転支援装置および方法、ならびに演算装置 | |
JP4679293B2 (ja) | 車載パノラマカメラシステム | |
CN111918020A (zh) | 图像处理装置、以及图像处理方法 | |
JP5181602B2 (ja) | 物体検出装置 | |
JP2014165810A (ja) | パラメータ取得装置、パラメータ取得方法及びプログラム | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6455164B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2015230703A (ja) | 物体検出装置及び物体検出方法 | |
JP7021001B2 (ja) | 画像処理装置および画像処理方法 | |
JP2021067977A (ja) | 画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180814 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6392693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |