JP7348323B2 - 電子ミラーの映像合成装置及び映像合成方法 - Google Patents
電子ミラーの映像合成装置及び映像合成方法 Download PDFInfo
- Publication number
- JP7348323B2 JP7348323B2 JP2022014222A JP2022014222A JP7348323B2 JP 7348323 B2 JP7348323 B2 JP 7348323B2 JP 2022014222 A JP2022014222 A JP 2022014222A JP 2022014222 A JP2022014222 A JP 2022014222A JP 7348323 B2 JP7348323 B2 JP 7348323B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- camera
- projective
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
第1位置から、第1視野により前記車両の後方となる第1風景の第1映像を取得するリ
アカメラと、
前記第1位置よりも前記車両の前方となる第2位置から、前記第1風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第2視野により、第2映像を取得する
サイドカメラと、
前記第2映像に含まれる前記風景遮断物の映像を半透明化映像にする半透明化処理部と、
前記第2映像において前記半透明化映像の輪郭にラインを付加することができるエッジ
処理部と、
前記第1映像の一部であって、前記サイドカメラの視点位置に射影変換されかつ前記第
2映像の前記半透明化映像の部分に合成するために用いる第1射影変換映像と第2射影変換映像を得る第1射影変換部、第2射影変換部と、
前記第1射影変換映像と前記第2射影変換映像の各一部を前記第2映像の前記半透明化映像の部分に合成する合成部と、を備え、
前記第1射影変換部は、前記リアカメラの視点の映像における前記車両の後方の遠方平面位置を射影変換用の基準面(基準画像)として前記サイドカメラの視点の仮想平面の映像に射影変換された前記第1射影変換映像の一部を生成し、
前記第2射影変換部は、前記リアカメラの前記視点の前記映像における、前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置を射影変換用の基準面(基準画像)として前記サイドカメラの視点の仮想平面の映像に射影変換された前記第2射影変換映像の一部を生成し、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記半透明化映像の部分の上側領域に前記第1射影変換映像の前記一部が合成され、
前記半透明化映像の部分の下側領域に前記第2射影変換映像の前記一部が合成され、
さらに前記遠方平面位置又は前記地面位置が、前記車両の走行速度に応じた設定に応じて調整され、
前記リアカメラ及び前記サイドカメラのレンズの前には、圧縮空気を吹き付ける吹出し
口を設けている、
電子ミラーの映像合成装置が提供される。
図7において、(xi, yi, 1)と(ui, vi, 1)が既知であれば、行列成分h0-h7を求めることができる。
Claims (4)
- 車両に搭載されて車両の後方の映像を表示する電子ミラーの映像合成装置において、
第1位置から、第1視野により前記車両の後方となる第1風景の第1映像を取得するリ
アカメラと、
前記第1位置よりも前記車両の前方となる第2位置から、前記第1風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第2視野により、第2映像を取得する
サイドカメラと、
前記第2映像に含まれる前記風景遮断物の映像を半透明化映像にする半透明化処理部と、
前記第2映像において前記半透明化映像の輪郭にラインを付加することができるエッジ
処理部と、
前記第1映像の一部であって、前記サイドカメラの視点位置に射影変換されかつ前記第
2映像の前記半透明化映像の部分に合成するために用いる第1射影変換映像と第2射影変換映像を得る第1射影変換部、第2射影変換部と、
前記第1射影変換映像と前記第2射影変換映像の各一部を前記第2映像の前記半透明化映像の部分に合成する合成部と、を備え、
前記第1射影変換部は、前記リアカメラの視点の映像における前記車両の後方の遠方平面位置を射影変換用の基準面(基準画像)として前記サイドカメラの視点の仮想平面の映像に射影変換された前記第1射影変換映像の一部を生成し、
前記第2射影変換部は、前記リアカメラの前記視点の前記映像における、前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置を射影変換用の基準面(基準画像)として前記サイドカメラの視点の仮想平面の映像に射影変換された前記第2射影変換映像の一部を生成し、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記半透明化映像の部分の上側領域に前記第1射影変換映像の前記一部が合成され、
前記半透明化映像の部分の下側領域に前記第2射影変換映像の前記一部が合成され、
さらに前記遠方平面位置又は前記地面位置が、前記車両の走行速度に応じた設定に応じて調整され、
前記リアカメラ及び前記サイドカメラのレンズの前には、圧縮空気を吹き付ける吹出し
口を設けている、
電子ミラーの映像合成装置。 - さらに前記レンズの前にヒータをさらに設けており、また前記ラインの太さ、色、濃度の何れかを変更する手段を備える、請求項1記載の電子ミラーの映像合成装置。
- 車両に搭載されて車両の後方の映像を表示する電子ミラーにおいて、第1位置から、第
1視野により前記車両の後方となる第1風景の第1映像を取得するリアカメラと、前記第
1位置よりも前記車両の前方となる第2位置から、前記第1風景の方向に向かって自車の側部である風景遮断物を一部に配置させた第2視野により、第2映像を取得するサイドカメラと、前記リアカメラ及び前記サイドカメラからの前記第1映像及び前記第2映像を処理する映像処理装置を用いる電子ミラーの映像合成方法において、
前記第2映像に含まれる前記風景遮断物の映像を半透明化映像にし、
前記第2映像において前記半透明化映像の輪郭にラインを付加し、
前記第1映像の一部を、前記サイドカメラの視点位置に射影変換した、第1射影変換映像と第2射影変換映像を生成し、前記第1射影変換映像と前記第2射影変換映像を用いて前記第2映像の前記半透明化映像の部分に合成する方法であり、
前記第1射影変換映像、前記第2射影変換映像はそれぞれが、第1射影変換部と第2射影変換部で生成されるものであり、
前記第1射影変換部は、前記リアカメラの視点の映像における前記車両の後方の遠方平面位置を射影変換用の基準面(基準画像)として前記サイドカメラの視点の仮想平面の映像に射影変換した前記第1射影変換映像の一部を生成し、
また第2射影変換部は、前記リアカメラの前記視点の前記映像における前記遠方平面位置よりも前記サイドカメラの撮影位置に近づいた地面位置を射影変換用の基準面(基準画像)として前記サイドカメラの仮想平面の映像に射影変換した前記第2射影変換映像の一部を生成し、
前記リアカメラ及び前記サイドカメラの水平ライン方向が左右方向であり、垂直ライン
方向が上下方向とする場合、
前記半透明化映像の部分の上側領域に前記第1射影変換映像の前記一部を合成し、
前記半透明化映像の部分の下側領域に前記第2射影変換映像の前記一部を合成し、
さらに前記遠方平面位置又は前記地面位置を前記車両の走行速度に応じた設定に応じて調整し、
前記リアカメラ及び前記サイドカメラのレンズの前には、圧縮空気を吹き付けられるようにした、
電子ミラーの映像合成方法。 - さらに前記レンズの前をヒータで温めることを可能とし、また前記ラインの太さ、色、濃度の何れかを変更可能としている、請求項3記載の電子ミラーの映像合成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022014222A JP7348323B2 (ja) | 2020-04-06 | 2022-02-01 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2023143801A JP2023164507A (ja) | 2020-04-06 | 2023-09-05 | 電子ミラーの映像合成装置及び映像合成方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068461A JP7027476B2 (ja) | 2020-04-06 | 2020-04-06 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2022014222A JP7348323B2 (ja) | 2020-04-06 | 2022-02-01 | 電子ミラーの映像合成装置及び映像合成方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020068461A Division JP7027476B2 (ja) | 2020-04-06 | 2020-04-06 | 電子ミラーの映像合成装置及び映像合成方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023143801A Division JP2023164507A (ja) | 2020-04-06 | 2023-09-05 | 電子ミラーの映像合成装置及び映像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022048281A JP2022048281A (ja) | 2022-03-25 |
JP7348323B2 true JP7348323B2 (ja) | 2023-09-20 |
Family
ID=71665993
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020068461A Active JP7027476B2 (ja) | 2020-04-06 | 2020-04-06 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2022014222A Active JP7348323B2 (ja) | 2020-04-06 | 2022-02-01 | 電子ミラーの映像合成装置及び映像合成方法 |
JP2023143801A Pending JP2023164507A (ja) | 2020-04-06 | 2023-09-05 | 電子ミラーの映像合成装置及び映像合成方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020068461A Active JP7027476B2 (ja) | 2020-04-06 | 2020-04-06 | 電子ミラーの映像合成装置及び映像合成方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023143801A Pending JP2023164507A (ja) | 2020-04-06 | 2023-09-05 | 電子ミラーの映像合成装置及び映像合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7027476B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7314885B2 (ja) * | 2020-09-01 | 2023-07-26 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008083786A (ja) | 2006-09-26 | 2008-04-10 | Clarion Co Ltd | 画像生成装置および画像生成方法 |
JP2010149847A (ja) | 2009-12-25 | 2010-07-08 | Fujitsu Ten Ltd | 運転支援装置 |
JP2013124467A (ja) | 2011-12-13 | 2013-06-24 | Sumitomo (Shi) Construction Machinery Co Ltd | 建設機械の周囲画像表示装置及び周囲画像表示方法 |
JP2014116756A (ja) | 2012-12-07 | 2014-06-26 | Toyota Motor Corp | 周辺監視システム |
JP2016175586A (ja) | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
-
2020
- 2020-04-06 JP JP2020068461A patent/JP7027476B2/ja active Active
-
2022
- 2022-02-01 JP JP2022014222A patent/JP7348323B2/ja active Active
-
2023
- 2023-09-05 JP JP2023143801A patent/JP2023164507A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008083786A (ja) | 2006-09-26 | 2008-04-10 | Clarion Co Ltd | 画像生成装置および画像生成方法 |
JP2010149847A (ja) | 2009-12-25 | 2010-07-08 | Fujitsu Ten Ltd | 運転支援装置 |
JP2013124467A (ja) | 2011-12-13 | 2013-06-24 | Sumitomo (Shi) Construction Machinery Co Ltd | 建設機械の周囲画像表示装置及び周囲画像表示方法 |
JP2014116756A (ja) | 2012-12-07 | 2014-06-26 | Toyota Motor Corp | 周辺監視システム |
JP2016175586A (ja) | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7027476B2 (ja) | 2022-03-01 |
JP2022048281A (ja) | 2022-03-25 |
JP2020114018A (ja) | 2020-07-27 |
JP2023164507A (ja) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018117320A (ja) | 電子ミラーの映像合成装置及び映像合成方法 | |
JP3300341B2 (ja) | 監視システムおよびカメラ調整方法 | |
JP5347257B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
KR101766077B1 (ko) | 차량 주변 영상 정보 제공 시스템 및 방법 | |
JP5132249B2 (ja) | 車載用撮像装置 | |
JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
JP5090126B2 (ja) | 車載用撮像装置 | |
JP2010095086A (ja) | 車両用表示装置および表示方法 | |
JP2003255925A (ja) | 画像表示制御装置 | |
JP2009524171A (ja) | 複数の画像を結合して鳥瞰図画像にする方法 | |
JP2023164507A (ja) | 電子ミラーの映像合成装置及び映像合成方法 | |
JP2011030078A (ja) | 車両用画像表示装置 | |
TWM562412U (zh) | 車輛之環景偵測系統 | |
TWI533694B (zh) | 車用障礙物偵測顯示系統 | |
JP4247066B2 (ja) | 車両周辺視認装置 | |
JP5271186B2 (ja) | 車両用画像表示装置 | |
JP5226621B2 (ja) | 車両用画像表示装置 | |
JP3716999B2 (ja) | 車両用カメラ | |
WO2021192508A1 (ja) | 画像合成装置、及び、画像合成方法 | |
JP6785480B2 (ja) | 画像合成装置、及び、制御方法 | |
JP5257784B2 (ja) | 車載カメラ装置 | |
JP7191201B2 (ja) | 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム | |
JP6660495B2 (ja) | 車両用映像システム | |
JPH11149108A (ja) | 車両用カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230907 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7348323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |