JP2021516390A - 調整された投影面を有するサラウンドビュー・システム - Google Patents
調整された投影面を有するサラウンドビュー・システム Download PDFInfo
- Publication number
- JP2021516390A JP2021516390A JP2020544254A JP2020544254A JP2021516390A JP 2021516390 A JP2021516390 A JP 2021516390A JP 2020544254 A JP2020544254 A JP 2020544254A JP 2020544254 A JP2020544254 A JP 2020544254A JP 2021516390 A JP2021516390 A JP 2021516390A
- Authority
- JP
- Japan
- Prior art keywords
- peripheral data
- surround view
- view system
- evaluation unit
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002093 peripheral effect Effects 0.000 claims abstract description 90
- 238000011156 evaluation Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 10
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Image Analysis (AREA)
Abstract
Description
−捕捉ユニットによって周辺データを補足するステップ;
−捕捉された周辺データ内にオブジェクトを認識するステップ;
−認識されたオブジェクトの3D形状を割り出すステップ;
−割り出された3D形状を、捕捉された周辺データ用のサラウンドビュー・システムの投影面に加えるステップ;並びに、
−周辺データを調整された投影面に投影するステップ。
Claims (12)
- −捕捉ユニット(20);と
−評価ユニット(10)、
但し、捕捉ユニット(20)は、周辺データを捕捉する様に構成されている、
を備えている車両用のサラウンドビュー・システムであって、
評価ユニット(10)が、捕捉された周辺データ内のオブジェクト(3)を認識し、その3D形状を割り出す様に構成されており、
評価ユニット(10)が更に、割り出された3D形状を、捕捉された周辺データ用のサラウンドビュー・システム(1)の投影面(15)に加え、調整された投影面(16)を生成できる様に構成されており、且つ、
評価ユニット(10)が、調整された投影面(16)上に周辺データを投影する様に構成されている
ことを特徴とする車両(2)用のサラウンドビュー・システム(1)。 - 捕捉ユニット(20)がカメラである
ことを特徴とする請求項1に記載のサラウンドビュー・システム(1)。 - 認識されたオブジェクト(3)の3D形状が、予め定義され、且つ、評価ユニット(10)によって認識されたオブジェクト(3)に対応している
ことを特徴とする請求項1及び2に記載のサラウンドビュー・システム(1)。 - 評価ユニット(10)が、認識されたオブジェクト(3)の3D形状を、捕捉ユニット(20)によって捕捉された周辺データから割り出すことができる様に構成されている
ことを特徴とする請求項1及び2に記載のサラウンドビュー・システム(1)。 - 評価ユニット(10)が、周辺データ内のオブジェクト(3)によって覆われている領域を、周辺データを、調整された投影面(16)上に投影する際に、定義された色やパターンで塗りつぶす様に構成されている
ことを特徴とする先行請求項のうち一項に記載のサラウンドビュー・システム(1)。 - 評価ユニット(10)が、周辺データ内のオブジェクト(3)によって隠れている領域を、周辺データを、調整された投影面(16)上に投影する際に、その周りの周辺データを補完して塗りつぶす様に構成されている
ことを特徴とする請求項1から4のうち一項に記載のサラウンドビュー・システム(1)。 - 評価ユニット(10)が、周辺データ内のオブジェクト(3)によって隠れている領域を、周辺データを、調整された投影面(16)上に投影する際に、オブジェクト(3)の前面の周辺データの鏡像で塗りつぶす様に構成されている
ことを特徴とする先行請求項のうち一項に記載のサラウンドビュー・システム(1)。 - 評価ユニット(10)が、周辺データ内のオブジェクト(3)によって覆われている領域を投影面(15)から削除する様に構成されている
ことを特徴とする請求項1から4のうち一項に記載のサラウンドビュー・システム(1)。 - 請求項1から8のうち何れか一項に記載のサラウンドビュー・システム(1)を備えた車両(2)。
- 以下のステップを包含することを特徴とするサラウンドビュー・システムの投影面を調整するための方法;
−捕捉ユニットによって周辺データを補足するステップ(S1);
−捕捉された周辺データ内にオブジェクトを認識するステップ(S2);
−認識されたオブジェクトの3D形状を割り出すステップ(S3);
−割り出された3D形状を、捕捉された周辺データ用のサラウンドビュー・システムの投影面に加えるステップ(S4);並びに、
−周辺データを調整された投影面に投影するステップ(S5)。 - サラウンドビュー・システムの評価ユニット上で実施され、該サラウンドビュー・システムが、請求項10に記載の方法を実施するように導くプログラム・エレメント。
- 請求項11に記載のプログラム・エレメントが、保存されていることを特徴とするコンピュータによって読み取り可能な媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018203590.3A DE102018203590A1 (de) | 2018-03-09 | 2018-03-09 | Surroundview-System mit angepasster Projektionsfläche |
DE102018203590.3 | 2018-03-09 | ||
PCT/DE2019/200018 WO2019170202A1 (de) | 2018-03-09 | 2019-02-26 | Surroundview-system mit angepasster projektionsfläche |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021516390A true JP2021516390A (ja) | 2021-07-01 |
JPWO2019170202A5 JPWO2019170202A5 (ja) | 2023-04-13 |
JP7295123B2 JP7295123B2 (ja) | 2023-06-20 |
Family
ID=65717688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020544254A Active JP7295123B2 (ja) | 2018-03-09 | 2019-02-26 | 調整された投影面を有するサラウンドビュー・システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11410430B2 (ja) |
EP (1) | EP3762857A1 (ja) |
JP (1) | JP7295123B2 (ja) |
KR (1) | KR20200126365A (ja) |
CN (1) | CN111819571A (ja) |
DE (1) | DE102018203590A1 (ja) |
WO (1) | WO2019170202A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020241954A1 (ko) * | 2019-05-31 | 2020-12-03 | 엘지전자 주식회사 | 차량용 전자 장치 및 차량용 전자 장치의 동작 방법 |
EP4129539A4 (en) * | 2020-03-25 | 2024-04-24 | Mitsubishi Materials Corporation | SURFACE COATED CUTTING TOOL |
CN111862210B (zh) * | 2020-06-29 | 2023-05-12 | 辽宁石油化工大学 | 一种基于环视相机的目标物检测定位方法及装置 |
EP4310768B1 (en) * | 2022-07-18 | 2024-06-12 | Harman International Industries, Incorporated | Driver assistance system |
KR102583959B1 (ko) * | 2022-09-02 | 2023-09-27 | 주식회사 리트빅 | 3d 뷰 시점에 따른 경계선 합성영역 제어를 통한 3d svm 영상 왜곡보정 방법 |
DE102022125774A1 (de) * | 2022-10-06 | 2024-04-11 | Connaught Electronics Ltd. | Anzeigen von Bilddaten in einem Fahrzeug mit sich verändernder Projektionsfläche |
CN116363631B (zh) * | 2023-05-19 | 2023-09-05 | 小米汽车科技有限公司 | 三维目标检测方法、装置及车辆 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2012125428A (ja) * | 2010-12-16 | 2012-07-05 | Shimadzu Corp | X線撮影装置 |
US20140278065A1 (en) * | 2013-03-14 | 2014-09-18 | Robert Bosch Gmbh | System and Method for Distortion Correction in Three-Dimensional Environment Visualization |
JP2014531078A (ja) * | 2011-10-14 | 2014-11-20 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 車両周辺の表示方法 |
WO2017020898A1 (de) * | 2015-07-31 | 2017-02-09 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns |
JP2017515727A (ja) * | 2014-05-08 | 2017-06-15 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 |
JP2018029309A (ja) * | 2016-08-19 | 2018-02-22 | 株式会社東芝 | 撮像装置および送信方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5644689A (en) * | 1992-01-13 | 1997-07-01 | Hitachi, Ltd. | Arbitrary viewpoint three-dimensional imaging method using compressed voxel data constructed by a directed search of voxel data representing an image of an object and an arbitrary viewpoint |
JP4195966B2 (ja) | 2002-03-05 | 2008-12-17 | パナソニック株式会社 | 画像表示制御装置 |
JP3871614B2 (ja) | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
FR2853121B1 (fr) * | 2003-03-25 | 2006-12-15 | Imra Europe Sa | Dispositif de surveillance des alentours d'un vehicule |
CN101142814A (zh) * | 2005-03-15 | 2008-03-12 | 欧姆龙株式会社 | 图像处理装置及方法、程序、以及记录介质 |
JP4180065B2 (ja) * | 2005-05-13 | 2008-11-12 | 株式会社スクウェア・エニックス | 画像生成方法、画像生成装置、および画像生成プログラム |
JP4642723B2 (ja) | 2006-09-26 | 2011-03-02 | クラリオン株式会社 | 画像生成装置および画像生成方法 |
CN101246545B (zh) * | 2008-02-22 | 2010-07-07 | 华南师范大学 | 一种光学遥感图像去云的泊松方法 |
DE102008060684B4 (de) * | 2008-03-28 | 2019-05-23 | Volkswagen Ag | Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs |
EP2285109B1 (en) | 2008-05-29 | 2018-11-28 | Fujitsu Limited | Vehicle image processor, and vehicle image processing system |
KR101468267B1 (ko) | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
JP5165631B2 (ja) * | 2009-04-14 | 2013-03-21 | 現代自動車株式会社 | 車両周囲画像表示システム |
JP5223811B2 (ja) | 2009-08-06 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法 |
JP2012244600A (ja) | 2011-05-24 | 2012-12-10 | Fujitsu Ten Ltd | 画像表示システム、画像処理装置、及び、画像表示方法 |
WO2013016409A1 (en) | 2011-07-26 | 2013-01-31 | Magna Electronics Inc. | Vision system for vehicle |
DE102012018325A1 (de) * | 2012-09-15 | 2014-03-20 | DSP-Weuffen GmbH | Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung |
US9225942B2 (en) | 2012-10-11 | 2015-12-29 | GM Global Technology Operations LLC | Imaging surface modeling for camera modeling and virtual view synthesis |
US20140114534A1 (en) | 2012-10-19 | 2014-04-24 | GM Global Technology Operations LLC | Dynamic rearview mirror display features |
US9886636B2 (en) | 2013-05-23 | 2018-02-06 | GM Global Technology Operations LLC | Enhanced top-down view generation in a front curb viewing system |
US9834143B2 (en) | 2013-05-23 | 2017-12-05 | GM Global Technology Operations LLC | Enhanced perspective view generation in a front curb viewing system |
US20150042799A1 (en) | 2013-08-07 | 2015-02-12 | GM Global Technology Operations LLC | Object highlighting and sensing in vehicle image display systems |
US9013286B2 (en) * | 2013-09-23 | 2015-04-21 | Volkswagen Ag | Driver assistance system for displaying surroundings of a vehicle |
TWI528325B (zh) | 2013-10-18 | 2016-04-01 | 財團法人資訊工業策進會 | 影像處理方法及應用影像處理方法之系統 |
CN105765966B (zh) | 2013-12-19 | 2020-07-10 | 英特尔公司 | 碗形成像*** |
KR20150076759A (ko) * | 2013-12-27 | 2015-07-07 | 주식회사 만도 | 차량용 카메라의 제어 장치 및 방법 |
DE102014000495A1 (de) * | 2014-01-14 | 2014-08-14 | Daimler Ag | Vorrichtung und Verfahren zur Projektion von Informationen in emer Fahrzeugumgebung und Fahrzeug |
US10442355B2 (en) | 2014-09-17 | 2019-10-15 | Intel Corporation | Object visualization in bowl-shaped imaging systems |
US9437001B2 (en) | 2014-09-18 | 2016-09-06 | Intel Corporation | Tracking objects in bowl-shaped imaging systems |
DE102015202863A1 (de) * | 2015-02-17 | 2016-08-18 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges |
DE102015206477A1 (de) | 2015-04-10 | 2016-10-13 | Robert Bosch Gmbh | Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges |
DE102015208343B4 (de) | 2015-05-06 | 2023-09-07 | Robert Bosch Gmbh | Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung |
DE102015223176A1 (de) | 2015-11-24 | 2017-05-24 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges |
DE102016211227A1 (de) | 2016-06-23 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug |
DE102016211453A1 (de) | 2016-06-27 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug |
JP6611353B2 (ja) * | 2016-08-01 | 2019-11-27 | クラリオン株式会社 | 画像処理装置、外界認識装置 |
DE102016220651A1 (de) | 2016-10-20 | 2018-04-26 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug |
DE102016223391A1 (de) | 2016-11-25 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug |
DE102016225066A1 (de) | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
DE102017206175A1 (de) | 2017-04-11 | 2018-10-11 | Conti Temic Microelectronic Gmbh | Surround-View-System für ein Fahrzeug |
-
2018
- 2018-03-09 DE DE102018203590.3A patent/DE102018203590A1/de not_active Withdrawn
-
2019
- 2019-02-26 KR KR1020207023212A patent/KR20200126365A/ko not_active Application Discontinuation
- 2019-02-26 US US16/979,308 patent/US11410430B2/en active Active
- 2019-02-26 WO PCT/DE2019/200018 patent/WO2019170202A1/de active Application Filing
- 2019-02-26 CN CN201980017717.8A patent/CN111819571A/zh active Pending
- 2019-02-26 JP JP2020544254A patent/JP7295123B2/ja active Active
- 2019-02-26 EP EP19709621.7A patent/EP3762857A1/de active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2012125428A (ja) * | 2010-12-16 | 2012-07-05 | Shimadzu Corp | X線撮影装置 |
JP2014531078A (ja) * | 2011-10-14 | 2014-11-20 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 車両周辺の表示方法 |
US20140278065A1 (en) * | 2013-03-14 | 2014-09-18 | Robert Bosch Gmbh | System and Method for Distortion Correction in Three-Dimensional Environment Visualization |
JP2017515727A (ja) * | 2014-05-08 | 2017-06-15 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 車両の車両周辺部の歪無い表示のための方法、並びに、装置 |
WO2017020898A1 (de) * | 2015-07-31 | 2017-02-09 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns |
JP2018029309A (ja) * | 2016-08-19 | 2018-02-22 | 株式会社東芝 | 撮像装置および送信方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019170202A1 (de) | 2019-09-12 |
DE102018203590A1 (de) | 2019-09-12 |
JP7295123B2 (ja) | 2023-06-20 |
EP3762857A1 (de) | 2021-01-13 |
US20210004614A1 (en) | 2021-01-07 |
CN111819571A (zh) | 2020-10-23 |
US11410430B2 (en) | 2022-08-09 |
KR20200126365A (ko) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021516390A (ja) | 調整された投影面を有するサラウンドビュー・システム | |
KR101911610B1 (ko) | 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치 | |
US10097812B2 (en) | Stereo auto-calibration from structure-from-motion | |
CN104883554B (zh) | 通过虚拟***器群集显示直播视频的方法和*** | |
JP6522630B2 (ja) | 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム | |
KR102490272B1 (ko) | 차량의 주변 영역을 표시하기 위한 방법 | |
US7486817B2 (en) | Apparatus for and method of generating image, and computer program product | |
KR101265667B1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
JP2018531530A (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
JP2018531530A6 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
US20120293659A1 (en) | Parameter determining device, parameter determining system, parameter determining method, and recording medium | |
US20170341582A1 (en) | Method and device for the distortion-free display of an area surrounding a vehicle | |
WO2017188247A1 (ja) | 表示制御装置 | |
US11528453B2 (en) | Sensor fusion based perceptually enhanced surround view | |
US11562576B2 (en) | Dynamic adjustment of augmented reality image | |
US10412359B2 (en) | Method for generating a virtual image of vehicle surroundings | |
CN108039084A (zh) | 基于虚拟现实的汽车视野评价方法及*** | |
JP6802999B2 (ja) | 区画線検出システム | |
JPWO2019170202A5 (ja) | ||
US20220222947A1 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
JP6481596B2 (ja) | 車両用ヘッドアップディスプレイの評価支援装置 | |
JP2021534646A (ja) | 車両の環境の少なくとも一部の画像表現を提供するための方法、コンピュータプログラム製品および運転者支援システム | |
US20240107169A1 (en) | System and method for computing a final image of an area surrounding a vehicle | |
CN117241003A (zh) | 全景图像处理方法、装置、存储介质及电子设备 | |
CN114332235A (zh) | 车载ar-hud的标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230118 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7295123 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |