JP6975642B2 - 車両周辺部のバーチャル画像を作成するための方法 - Google Patents
車両周辺部のバーチャル画像を作成するための方法 Download PDFInfo
- Publication number
- JP6975642B2 JP6975642B2 JP2017558429A JP2017558429A JP6975642B2 JP 6975642 B2 JP6975642 B2 JP 6975642B2 JP 2017558429 A JP2017558429 A JP 2017558429A JP 2017558429 A JP2017558429 A JP 2017558429A JP 6975642 B2 JP6975642 B2 JP 6975642B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- projection
- point
- peripheral
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
zPi=(dPi/dmax)n (1)
dPi,R=yPi,R−yKR (2)
dPi,HR=√((xPi,HR−xEHR)2+(yPi,HR−yEHR)2) (3)
Claims (12)
- 車両周辺部のバーチャル画像を作成するための方法であって、
−車両に配置された一台、乃至、複数台のカメラによって、車両周辺部のリアル画像を、捕捉し、
−バーチャル画像を作成する為に、該カメラによって捕捉されたリアル画像の互いに等間隔に配置されている個々のピクセルを車両周辺部の三次元周辺モデルの個々の投影点(Pi)にそれぞれ投影する方法であって、
−投影点(Pi)が、少なくとも、一つの第一空間方向(x)と、第一空間方向に直行する一つの第二空間方向(y)において、互いに等間隔に配置されていることを特徴とする方法。 - 三次元空間内の投影点(Pi)のポジションが、デカルト座標系によって、定義されることを特徴とする請求項1に記載の方法。
- 投影点(Pi)が、周辺モデルにおいて道路表面に相当する座標レベル(Exy)に対して互いに等間隔に配置されていることを特徴とする請求項1或いは2の何れか一項に記載の方法。
- 投影点(Pi)の一定な間隔(Δx;Δy)の大きさが、第一、及び/或いは、第二空間方向(x,y)において、少なくとも一つの可変なパラメーターに依存して定義されていることを特徴とする請求項1から3のうち何れか一項に記載の方法。
- 第三空間方向(z)における投影点(Pi)のポジション(zPi)が、車両からの間隔(dPi)に依存して、周辺モデルにおいて定義されていることを特徴とする請求項1から4のうち何れか一項に記載の方法。
- 第三空間方向(z)における投影点(Pi)のポジション(zPi)が、更に、車両に対する間隔(dpi)用に予め定められている境界値(dmax)に依存して、及び/或いは、予め定められている上昇パラメータ(n)に依存して定義されていることを特徴とする請求項5に記載の方法。
- 周辺モデルを計算するために、更に、投影点(Pi)のポジション(zPi)用の空間方向(z)における最大値(zmax)が、予め定められていることを特徴とする請求項5或いは6のうち何れか一項に記載の方法。
- 周辺モデルにおいて、車両の周りに少なくとも一つの第一領域(V,H,L,R)が定義されているが、これらの領域内では、車両からの投影点(Pi)の間隔(dPi)は、これらの領域内の投影点(Pi,R)の車両エッジ(KR)からの横方向間隔(dPi,R)に相当していることを特徴とする請求項5から7のうち何れか一項に記載の方法。
- 周辺モデルにおいて、車両の周りに少なくとも一つの第二領域(VL,VR,HL,HR)が定義されているが、これらの領域内では、車両からの投影点(Pi)の間隔(dPi)は、これらの領域内の投影点(dPi,HR)の車両コーナー点(EHR)からのラジアル方向間隔(dPi,HR)に相当していることを特徴とする請求項5から8のうち何れか一項に記載の方法。
- −車両に配置され車両周辺部のリアル画像を捕捉する役割を担っている一台乃至複数台のカメラ、並びに、
−カメラによって捕捉されたリアル画像の互いに等間隔に配置されている個々のピクセルを車両周辺部の定義された三次元周辺モデルの個々の投影点(Pi)にそれぞれ投影してバーチャル画像を作成する手段を包含する車両周辺部のバーチャル画像を作成するための装置であって、
バーチャル画像を作成する手段が、請求項1から9のうち何れか一項に記載の方法を実施できるように構成されていることを特徴とする装置。 - 請求項10に係る、或いは、請求項1から9のうち何れか一項に記載の方法を実施するための装置を包含するドライバー・アシスタント・システム。
- 請求項10に記載の装置、或いは、請求項11に記載のドライバー・アシスタント・システムを包含する車両。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015210738.8 | 2015-06-11 | ||
DE102015210738 | 2015-06-11 | ||
PCT/DE2016/200220 WO2016198059A1 (de) | 2015-06-11 | 2016-05-11 | Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018520411A JP2018520411A (ja) | 2018-07-26 |
JP6975642B2 true JP6975642B2 (ja) | 2021-12-01 |
Family
ID=56549993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017558429A Active JP6975642B2 (ja) | 2015-06-11 | 2016-05-11 | 車両周辺部のバーチャル画像を作成するための方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10412359B2 (ja) |
EP (1) | EP3308361B1 (ja) |
JP (1) | JP6975642B2 (ja) |
DE (1) | DE112016001048A5 (ja) |
WO (1) | WO2016198059A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018155670A1 (ja) * | 2017-02-27 | 2018-08-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
US10031526B1 (en) * | 2017-07-03 | 2018-07-24 | Baidu Usa Llc | Vision-based driving scenario generator for autonomous driving simulation |
GB2573792B (en) | 2018-05-17 | 2022-11-09 | Denso Corp | Surround monitoring system for vehicles |
WO2020068960A1 (en) * | 2018-09-26 | 2020-04-02 | Coherent Logix, Inc. | Any world view generation |
GB2581191B (en) * | 2019-02-08 | 2022-02-16 | Jaguar Land Rover Ltd | Image system for a vehicle |
US10926715B1 (en) * | 2019-06-13 | 2021-02-23 | Vidal M. Soler | Vehicle camera system |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
US8855405B2 (en) * | 2003-04-30 | 2014-10-07 | Deere & Company | System and method for detecting and analyzing features in an agricultural field for vehicle guidance |
JP5292874B2 (ja) | 2007-12-17 | 2013-09-18 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法 |
DE102008036009B4 (de) | 2008-03-28 | 2018-03-22 | Volkswagen Ag | Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent |
JP5124671B2 (ja) | 2011-06-07 | 2013-01-23 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
KR101265667B1 (ko) | 2011-06-21 | 2013-05-22 | ㈜베이다스 | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 |
WO2013016409A1 (en) | 2011-07-26 | 2013-01-31 | Magna Electronics Inc. | Vision system for vehicle |
DE102012203523A1 (de) | 2012-03-06 | 2013-09-12 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten |
US9846960B2 (en) * | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US9330501B2 (en) * | 2012-08-20 | 2016-05-03 | Autodesk, Inc. | Systems and methods for augmenting panoramic image data with performance related data for a building |
JP5911775B2 (ja) | 2012-08-21 | 2016-04-27 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
DE102012219735A1 (de) | 2012-10-29 | 2014-04-30 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten |
US8892358B2 (en) | 2013-03-14 | 2014-11-18 | Robert Bosch Gmbh | System and method for distortion correction in three-dimensional environment visualization |
JP6257978B2 (ja) * | 2013-09-19 | 2018-01-10 | 株式会社デンソーテン | 画像生成装置、画像表示システム及び画像生成方法 |
DE102013220005A1 (de) | 2013-10-02 | 2015-04-02 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem |
-
2016
- 2016-05-11 DE DE112016001048.6T patent/DE112016001048A5/de active Pending
- 2016-05-11 US US15/735,519 patent/US10412359B2/en active Active
- 2016-05-11 JP JP2017558429A patent/JP6975642B2/ja active Active
- 2016-05-11 EP EP16742156.9A patent/EP3308361B1/de active Active
- 2016-05-11 WO PCT/DE2016/200220 patent/WO2016198059A1/de active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3308361A1 (de) | 2018-04-18 |
EP3308361B1 (de) | 2024-04-10 |
US20180176533A1 (en) | 2018-06-21 |
DE112016001048A5 (de) | 2017-12-21 |
JP2018520411A (ja) | 2018-07-26 |
US10412359B2 (en) | 2019-09-10 |
WO2016198059A1 (de) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6975642B2 (ja) | 車両周辺部のバーチャル画像を作成するための方法 | |
KR102410351B1 (ko) | 단일 패스 유연 스크린/스케일 래스터화 | |
JP4618287B2 (ja) | 調整方法、及びシステム | |
WO2019202397A2 (en) | Vehicle environment modeling with a camera | |
JP6149676B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
KR20160145598A (ko) | 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치 | |
US20170341582A1 (en) | Method and device for the distortion-free display of an area surrounding a vehicle | |
JP6900609B2 (ja) | 広角画像を修正するシステム及び方法 | |
KR20170135952A (ko) | 차량의 주변 영역을 표시하기 위한 방법 | |
JP7295123B2 (ja) | 調整された投影面を有するサラウンドビュー・システム | |
US20220105869A1 (en) | Image system for a vehicle | |
KR101419044B1 (ko) | 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
US20190066363A1 (en) | Image processing apparatus and image processing method | |
JP2020107089A (ja) | 画像処理装置及び画像処理方法 | |
KR101265710B1 (ko) | 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 | |
KR101398068B1 (ko) | 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 | |
JP2017199285A (ja) | 情報処理装置、情報処理方法、プログラム | |
KR101331893B1 (ko) | 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 | |
JP6734136B2 (ja) | 画像処理装置 | |
EP3059662A1 (en) | A method for interacting with volumetric images by gestures and a system for interacting with volumetric images by gestures | |
JPWO2019170202A5 (ja) | ||
JP2006023242A (ja) | 物体検出装置 | |
US20140313199A1 (en) | Image processing device, 3d image display apparatus, method of image processing and computer-readable medium | |
JP6481596B2 (ja) | 車両用ヘッドアップディスプレイの評価支援装置 | |
JP5699497B2 (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20171107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200408 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200703 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200715 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201110 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210811 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210915 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20211020 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20211020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6975642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |