JP6559253B2 - 車両の車両周囲を表示するための方法 - Google Patents
車両の車両周囲を表示するための方法 Download PDFInfo
- Publication number
- JP6559253B2 JP6559253B2 JP2017553144A JP2017553144A JP6559253B2 JP 6559253 B2 JP6559253 B2 JP 6559253B2 JP 2017553144 A JP2017553144 A JP 2017553144A JP 2017553144 A JP2017553144 A JP 2017553144A JP 6559253 B2 JP6559253 B2 JP 6559253B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- virtual
- virtual camera
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000013459 approach Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
−運転者の直接的視野内に存在していない障害物との衝突を回避するために、車両の近接領域における周囲表示機能、
−運転者のための走行快適性を高めるための、運転者のいくつかの役割を引き継ぐ機能、
−運転者の活動性の監視及び危険な状況の場合の介入機能、及び/又は、
−運転者の存在を必要としない自動化された走行機能、
によって行うことが可能である。
車両の車両周囲を表示するための本発明に係る方法は、複数のカメラを用いて、複数のカメラ画像で車両周囲を検出するステップと、仮想空間で、幾何学的投影面上に複数のカメラ画像を投影するステップと、仮想空間における仮想カメラと、幾何学的投影面の複数の点との間の距離を表す、仮想カメラの視野に対する深度マップを作成するステップと、仮想空間において幾何学的投影面を結像する、仮想カメラの画像を計算するステップと、幾何学的投影面が仮想カメラに対して所定の距離範囲に存在する、仮想カメラの画像の所定の領域を、深度マップに基づいて特定するステップと、所定の領域が結像される領域において仮想カメラの画像を軟化又はソフトフォーカス(以下では、単にソフトフォーカスと称する)させるステップとを、含む。
図1は、車両1の車両周囲を表示するための本発明に係る方法の第1実施形態のフローチャートを示す。この方法は、車両1の車両周囲を表示する装置2によって実行される。この車両1は、図2に例示的に示されている。
Claims (12)
- 車両(1)の車両周囲を表示するための方法であって、
複数のカメラ(3a,3b,3c,3d)を用いて、複数のカメラ画像で前記車両周囲を検出するステップと、
仮想空間で、幾何学的投影面上に複数のカメラ画像を投影するステップと、
前記仮想空間における仮想カメラと、前記幾何学的投影面の複数の点との間の距離を表す、前記仮想カメラの視野に対する深度マップを作成するステップと、
前記仮想空間において前記幾何学的投影面を結像する、前記仮想カメラの画像(10)を計算するステップと、
前記幾何学的投影面が前記仮想カメラに対して所定の距離範囲に存在する、前記仮想カメラの前記画像の所定の領域を、前記深度マップに基づいて特定するステップと、
前記所定の領域(12)が結像される領域において、前記仮想カメラの前記画像(10)をソフトフォーカスさせるステップと、
を含むことを特徴とする方法。 - 前記幾何学的投影面は、前記車両周囲に基づいてモデル化される、請求項1に記載の方法。
- 前記所定の距離範囲は、前記仮想カメラに対して閾値によって定められる最短距離を上回る範囲である、請求項1又は2に記載の方法。
- 前記仮想空間に前記車両(1)の仮想モデル(14)が配置されており、
前記深度マップは、当該深度マップが、前記仮想カメラの画像における前記車両(1)の前記仮想モデル(14)が検出される領域に対して、前記車両(1)の前記仮想モデル(14)の当該領域内に結像される点と、前記仮想カメラとの間の距離を表すように、作成される、請求項1乃至3のいずれか一項に記載の方法。 - 前記仮想空間において、所定の関心点へ前記仮想カメラを調整するステップをさらに含む、請求項1乃至4のいずれか一項に記載の方法。
- 前記所定の関心点は、物体への前記車両(1)の接近が生じている点である、請求項5に記載の方法。
- 車両(1)の車両周囲を表示するための装置(2)であって、
複数のカメラ画像で前記車両周囲を検出するための複数のカメラ(3a,3b,3c,3d)と、
仮想空間で、幾何学的投影面上に複数のカメラ画像を投影する投影手段と、
前記仮想空間における仮想カメラと、前記幾何学的投影面の複数の点との間の距離を表す、前記仮想カメラの視野に対する深度マップを作成するマップ作成手段と、
前記仮想空間において前記幾何学的投影面を結像する、前記仮想カメラの画像(10)を計算する計算手段と、
前記幾何学的投影面が前記仮想カメラに対して所定の距離範囲に存在する、前記仮想カメラの前記画像の所定の領域を、前記深度マップに基づいて特定する特定手段と、
前記所定の領域(12)が結像される領域において、前記仮想カメラの前記画像(10)をソフトフォーカスさせるソフトフォーカス手段と、
を備えていることを特徴とする装置(2)。 - 前記幾何学的投影面は、前記車両周囲に基づいてモデル化される、請求項7に記載の装置(2)。
- 前記所定の距離範囲は、前記仮想カメラに対して閾値によって定められる最短距離を上回る範囲である、請求項7又は8に記載の装置(2)。
- 前記マップ作成手段は、前記仮想空間に前記車両(1)の仮想モデル(14)が配置されている場合に、前記深度マップが、前記仮想カメラの画像における前記車両(1)の前記仮想モデル(14)が検出される領域に対して、前記車両(1)の前記仮想モデル(14)の当該領域内に結像される点と、前記仮想カメラとの間の距離を表すように、前記深度マップを作成する、請求項7乃至9のいずれか一項に記載の装置(2)。
- 前記仮想空間において、所定の関心点へ前記仮想カメラを調整する調整手段をさらに備えている、請求項7乃至10のいずれか一項に記載の装置(2)。
- 前記所定の関心点は、物体への前記車両(1)の接近が生じている点である、請求項11に記載の装置(2)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015206477.8A DE102015206477A1 (de) | 2015-04-10 | 2015-04-10 | Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges |
DE102015206477.8 | 2015-04-10 | ||
PCT/EP2016/056863 WO2016162245A1 (de) | 2015-04-10 | 2016-03-30 | Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018518863A JP2018518863A (ja) | 2018-07-12 |
JP6559253B2 true JP6559253B2 (ja) | 2019-08-14 |
Family
ID=55650404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017553144A Active JP6559253B2 (ja) | 2015-04-10 | 2016-03-30 | 車両の車両周囲を表示するための方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10290080B2 (ja) |
EP (1) | EP3281178A1 (ja) |
JP (1) | JP6559253B2 (ja) |
KR (1) | KR102490272B1 (ja) |
CN (1) | CN107438538B (ja) |
DE (1) | DE102015206477A1 (ja) |
WO (1) | WO2016162245A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11256931B2 (en) | 2010-04-19 | 2022-02-22 | SMR Patent S.à.r.l | Rearview device simulation |
US10861338B2 (en) * | 2016-05-05 | 2020-12-08 | Harman International Industries, Incorporated | Systems and methods for driver assistance |
DE102016211227A1 (de) * | 2016-06-23 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug |
DE102016225066A1 (de) | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
JPWO2018167999A1 (ja) * | 2017-03-17 | 2020-01-16 | パナソニックIpマネジメント株式会社 | プロジェクタ及びプロジェクタシステム |
DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
US20190349571A1 (en) * | 2018-05-11 | 2019-11-14 | Ford Global Technologies, Llc | Distortion correction for vehicle surround view camera projections |
EP3570063B1 (de) * | 2018-05-14 | 2023-08-30 | dSPACE GmbH | Verfahren zur schnellen abschätzung einer perspektivischen verdeckung in einer simulation eines bildgebenden sensors |
GB2573792B (en) * | 2018-05-17 | 2022-11-09 | Denso Corp | Surround monitoring system for vehicles |
US11892818B2 (en) | 2018-10-17 | 2024-02-06 | Niagara Bottling, Llc | Dock door automation systems and methods |
EP3726473A1 (en) | 2019-04-18 | 2020-10-21 | SMR Patents S.à.r.l. | Method for rearview device simulation |
US11820290B2 (en) * | 2021-04-14 | 2023-11-21 | Niagara Bottling, Llc | Trailer alignment detection for dock automation using vision system and dynamic depth filtering |
DE102022124085A1 (de) | 2022-09-20 | 2024-03-21 | Connaught Electronics Ltd. | Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3300334B2 (ja) * | 1999-04-16 | 2002-07-08 | 松下電器産業株式会社 | 画像処理装置および監視システム |
US7161616B1 (en) * | 1999-04-16 | 2007-01-09 | Matsushita Electric Industrial Co., Ltd. | Image processing device and monitoring system |
JP2005258792A (ja) * | 2004-03-11 | 2005-09-22 | Olympus Corp | 画像生成装置、画像生成方法、および画像生成プログラム |
JP2007022415A (ja) | 2005-07-20 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
EP2158576A1 (en) | 2007-06-08 | 2010-03-03 | Tele Atlas B.V. | Method of and apparatus for producing a multi-viewpoint panorama |
EP2257065B1 (en) * | 2008-02-20 | 2019-04-10 | Clarion Co., Ltd. | Vehicle peripheral image display system |
EP2710512A1 (en) * | 2011-05-16 | 2014-03-26 | Valeo Schalter und Sensoren GmbH | Vehicle and method for operating a camera arrangement for a vehicle |
DE102011087901A1 (de) * | 2011-12-07 | 2013-06-13 | Robert Bosch Gmbh | Verfahren zur Darstellung eines Fahrzeugumfeldes |
DE102011121473A1 (de) | 2011-12-17 | 2013-06-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm |
US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
JP5945255B2 (ja) * | 2013-08-27 | 2016-07-05 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
-
2015
- 2015-04-10 DE DE102015206477.8A patent/DE102015206477A1/de active Pending
-
2016
- 2016-03-30 WO PCT/EP2016/056863 patent/WO2016162245A1/de active Application Filing
- 2016-03-30 EP EP16713853.6A patent/EP3281178A1/de active Pending
- 2016-03-30 US US15/554,607 patent/US10290080B2/en active Active
- 2016-03-30 KR KR1020177032519A patent/KR102490272B1/ko active IP Right Grant
- 2016-03-30 JP JP2017553144A patent/JP6559253B2/ja active Active
- 2016-03-30 CN CN201680021133.4A patent/CN107438538B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018518863A (ja) | 2018-07-12 |
US10290080B2 (en) | 2019-05-14 |
CN107438538A (zh) | 2017-12-05 |
EP3281178A1 (de) | 2018-02-14 |
WO2016162245A1 (de) | 2016-10-13 |
US20180040103A1 (en) | 2018-02-08 |
DE102015206477A1 (de) | 2016-10-13 |
KR102490272B1 (ko) | 2023-01-20 |
CN107438538B (zh) | 2021-05-04 |
KR20170135952A (ko) | 2017-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6559253B2 (ja) | 車両の車両周囲を表示するための方法 | |
JP6091759B2 (ja) | 車両のサラウンドビューシステム | |
JP6608146B2 (ja) | ライブ映像を有する仮想透過型インストルメントクラスタ | |
JP6756228B2 (ja) | 車載表示制御装置 | |
JP6381807B2 (ja) | 表示制御装置、表示装置および表示制御方法 | |
JP6806097B2 (ja) | 画像表示装置及び画像表示方法 | |
JP6522630B2 (ja) | 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム | |
WO2013015130A1 (ja) | 車両周辺監視システム | |
JP2014531078A (ja) | 車両周辺の表示方法 | |
JP6512475B2 (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム | |
JP2019529242A (ja) | 車両の車両周辺のバックミラー光景の提供方法 | |
JP2013183298A (ja) | 車両用後方視界支援装置及び車両用後方視界支援方法 | |
KR20200126365A (ko) | 조정된 투영면을 포함하는 서라운드뷰 시스템 | |
KR20170118077A (ko) | 차량 주변을 왜곡 없이 보여주는 방법 및 장치 | |
US11816787B2 (en) | Method for representing an environmental region of a motor vehicle with virtual, elongated distance markers in an image, computer program product as well as display system | |
JP5481882B2 (ja) | 運転支援情報提供装置 | |
JP6494764B2 (ja) | 表示制御装置、表示装置及び表示制御方法 | |
JP7027992B2 (ja) | 画像表示装置、移動体、画像表示方法およびプログラム | |
JP2005269010A (ja) | 画像生成装置、画像生成プログラム、及び画像生成方法 | |
CN108290499B (zh) | 带有自适应周围环境图像数据处理功能的驾驶员辅助*** | |
JP2016070951A (ja) | 表示装置、制御方法、プログラム、及び記憶媒体 | |
JP7223283B2 (ja) | 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置 | |
KR20170065738A (ko) | 헤드업 디스플레이 제어 장치 및 방법 | |
JP6415968B2 (ja) | 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体 | |
EP4310768B1 (en) | Driver assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190716 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6559253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |