JP2019533875A - 道路の合成トップビュー画像を生成するための方法およびシステム - Google Patents
道路の合成トップビュー画像を生成するための方法およびシステム Download PDFInfo
- Publication number
- JP2019533875A JP2019533875A JP2019544949A JP2019544949A JP2019533875A JP 2019533875 A JP2019533875 A JP 2019533875A JP 2019544949 A JP2019544949 A JP 2019544949A JP 2019544949 A JP2019544949 A JP 2019544949A JP 2019533875 A JP2019533875 A JP 2019533875A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- region
- top view
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims description 35
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 13
- 230000001133 acceleration Effects 0.000 claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (10)
- 車両が移動している路面に対して垂直でない視点から、前方を向いた車載カメラによって撮影された少なくとも2つの画像から、道路の少なくとも一部の合成トップビュー画像を生成する方法であって、
前記車両が移動している間に、3次元空間の各主軸におけるかつ/または各主軸周りの前記車両の速度および/または加速度、および/または3次元空間内での前記車両の向きを記録することと、
前記車両が移動している間に、少なくとも2つの画像のシーケンスを記録することと、
前記少なくとも2つの画像のシーケンスから、さらなる処理のために第1の画像を選択することと、
選択された前記第1の画像内において第1の被選択領域を選択することと、
を含み、前記第1の被選択領域は、前記画像のうちの、カメラ光学系による歪みが最小であるゾーン内に配置されており、
さらに、
前記少なくとも2つの画像のシーケンスから、さらなる処理のために第2の画像を選択することを含み、前記第2の画像は、選択された前記第1の画像よりも後に捕捉され、前記第2の画像は、選択された該第2の画像内において第2の被選択領域が選択可能となるように選択され、前記第2の被選択領域は、前記画像のうちの、前記カメラ光学系による歪みが最小であるゾーン内に配置され、前記第2の被選択領域は、該第2の被選択領域の下側境界に示される画像内容が、選択された前記第1の画像内における前記第1の被選択領域の上側境界に示される画像内容に隣接するように配置されており、
さらに、
前記第1の被選択領域および前記第2の被選択領域をトップビュー視点に変換することと、
変換された前記第1の被選択領域および前記第2の被選択領域を一緒にスティッチングして、1つの合成トップビュー画像を生成することと、
を含む方法。 - さらなる処理のための前記少なくとも2つの画像のシーケンスからの各画像を、前記車両の速度と、前後軸、横軸および/または垂直軸周りの前記車両の回転運動と、垂直軸に沿った前記車両の並進運動と、のうちの1つまたは複数に応じて選択する、請求項1記載の方法。
- それぞれの画像に対して、前記捕捉のトリガを、前記車両の速度と、前後軸、横軸および/または垂直軸周りの前記車両の回転運動と、垂直軸に沿った前記車両の並進運動と、のうちの1つまたは複数に応じて選択する、請求項1記載の方法。
- 前記被選択領域は、少なくとも2つの対向する辺同士が互いに平行である四辺形形状を有する、請求項1記載の方法。
- 前記四辺形形状は、該四辺形形状の高さよりも大きい幅を有する、請求項4記載の方法。
- それぞれの画像に対して、前記領域を、前記画像が捕捉された時点における前後軸周りの前記車両の回転運動に応じて選択する、請求項4または5記載の方法。
- 道路特徴を識別するために、前記合成トップビュー画像をオブジェクト認識に供することをさらに含む、請求項1記載の方法。
- それぞれの識別される道路特徴に対して、車両速度および車両加速度、前記カメラの光学特性、前記トップビュー画像を生成するために適用された前記変換の特性を表している記録されたデータと、前記合成画像内において識別された基準特徴とから、位置を特定する、請求項7記載の方法。
- 位置が特定される、それぞれの識別される道路特徴に対して、そのデジタル表現を3次元ベクトル形式で決定することをさらに含む、請求項8記載の方法。
- 車両が移動している路面に対して垂直でない視点から、前方を向いた車載カメラによって撮影された少なくとも2つの画像から、合成トップビュー画像を生成するためのシステムであって、
前記車両が移動している間に、少なくとも2つの画像のシーケンスを記録するように適合されたカメラと、
前記車両の動きおよび/または位置および/または向きを検出するためのセンサと、
前記センサのデータと前記カメラの画像とを記録するためのストレージと、
を備え、
前記システムはさらに、
第1の画像および第2の画像を選択するように適合された第1のモジュールと、
前記第1の画像内において第1の被選択領域を選択し、前記第2の画像内において第2の被選択領域を選択するように適合された第2のモジュールと、
を備え、
前記第1のモジュールは、選択された前記第2の画像内におけるカメラ光学系による歪みが最小であるゾーンが、前記第2のモジュールによる、前記第2の画像の前記ゾーン内での第2の被選択領域の選択を可能にするように、前記第2の画像を選択し、前記第2の被選択領域は、該第2の被選択領域の下側境界に示される画像内容が、選択された前記第1の画像内における歪みが最小である対応するゾーン内において選択された前記第1の被選択領域の上側境界に示される画像内容に隣接するように配置されており、
前記システムはさらに、
対応する画像変換関数を適用することによって前記被選択領域の画像内容をトップビューに変換するように適合された第3のモジュールと、
2つ以上の被選択領域にまたがっている道路特徴および/または道路要素が隙間および歪みなく表示されるように、変換された各前記被選択領域の画像内容を一緒にして1つの合成トップビュー画像にまとめるように適合された第4のモジュールと、
を備えるシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/103353 WO2018076196A1 (en) | 2016-10-26 | 2016-10-26 | Method and system for generating a composed top-view image of a road |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019533875A true JP2019533875A (ja) | 2019-11-21 |
JP6910454B2 JP6910454B2 (ja) | 2021-07-28 |
Family
ID=62024218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019544949A Active JP6910454B2 (ja) | 2016-10-26 | 2016-10-26 | 道路の合成トップビュー画像を生成するための方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10863111B2 (ja) |
EP (1) | EP3533026A4 (ja) |
JP (1) | JP6910454B2 (ja) |
CN (1) | CN110023988B (ja) |
WO (1) | WO2018076196A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11373067B2 (en) * | 2018-08-10 | 2022-06-28 | Nec Corporation | Parametric top-view representation of scenes |
US11244500B2 (en) | 2019-12-31 | 2022-02-08 | Woven Planet North America, Inc. | Map feature extraction using overhead view images |
US11037328B1 (en) | 2019-12-31 | 2021-06-15 | Lyft, Inc. | Overhead view image generation |
US11288522B2 (en) | 2019-12-31 | 2022-03-29 | Woven Planet North America, Inc. | Generating training data from overhead view images |
US11558550B1 (en) | 2021-06-28 | 2023-01-17 | International Business Machines Corporation | Privacy-protecting multi-pass street-view photo-stitch |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007099261A (ja) * | 2005-09-12 | 2007-04-19 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
WO2009057410A1 (ja) * | 2007-10-30 | 2009-05-07 | Nec Corporation | 路面標示画像処理装置,路面標示画像処理方法及びプログラム |
JP2009205403A (ja) * | 2008-02-27 | 2009-09-10 | Hitachi Ltd | 道路標示認識装置、および道路標示認識方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4108314B2 (ja) * | 2001-10-31 | 2008-06-25 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
JP3607994B2 (ja) * | 2001-11-12 | 2005-01-05 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
US7084904B2 (en) * | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
US8723951B2 (en) * | 2005-11-23 | 2014-05-13 | Grandeye, Ltd. | Interactive wide-angle video server |
DE102006003538B3 (de) * | 2006-01-24 | 2007-07-19 | Daimlerchrysler Ag | Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive |
US20080253685A1 (en) * | 2007-02-23 | 2008-10-16 | Intellivision Technologies Corporation | Image and video stitching and viewing method and system |
JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
RU2009148504A (ru) * | 2007-06-08 | 2011-07-20 | Теле Атлас Б.В. (NL) | Способ и устройство для создания панорамы с множественными точками наблюдения |
US7978928B2 (en) * | 2007-09-18 | 2011-07-12 | Seiko Epson Corporation | View projection for dynamic configurations |
US10793067B2 (en) * | 2011-07-26 | 2020-10-06 | Magna Electronics Inc. | Imaging system for vehicle |
TWI478833B (zh) * | 2011-08-31 | 2015-04-01 | Autoequips Tech Co Ltd | 調校車用影像裝置之方法及其系統 |
FR2985350B1 (fr) * | 2012-01-04 | 2014-01-24 | Peugeot Citroen Automobiles Sa | Procede de traitement d'image d'une camera embarquee sur un vehicule et dispositif de traitement correspondant |
CN103377470A (zh) * | 2013-07-03 | 2013-10-30 | 奇瑞汽车股份有限公司 | 一种车载全景视频***的图像拼接方法 |
CN104680501B (zh) * | 2013-12-03 | 2018-12-07 | 华为技术有限公司 | 图像拼接的方法及装置 |
US10313656B2 (en) * | 2014-09-22 | 2019-06-04 | Samsung Electronics Company Ltd. | Image stitching for three-dimensional video |
EP3035664B1 (en) * | 2014-12-19 | 2017-06-21 | Axis AB | Method for processing a video stream |
US9818201B2 (en) * | 2014-12-22 | 2017-11-14 | Lucasfilm Entertainment Company Ltd. | Efficient lens re-distortion |
US9852348B2 (en) * | 2015-04-17 | 2017-12-26 | Google Llc | Document scanner |
WO2016203282A1 (en) * | 2015-06-18 | 2016-12-22 | The Nielsen Company (Us), Llc | Methods and apparatus to capture photographs using mobile devices |
US20170061686A1 (en) * | 2015-08-28 | 2017-03-02 | Hai Yu | Stage view presentation method and system |
US9699380B2 (en) * | 2015-11-03 | 2017-07-04 | Intel Corporation | Fusion of panoramic background images using color and depth data |
CN105957010A (zh) * | 2016-05-19 | 2016-09-21 | 沈祥明 | 一种车载图像拼接*** |
-
2016
- 2016-10-26 US US16/345,125 patent/US10863111B2/en active Active
- 2016-10-26 EP EP16919834.8A patent/EP3533026A4/en active Pending
- 2016-10-26 WO PCT/CN2016/103353 patent/WO2018076196A1/en unknown
- 2016-10-26 CN CN201680090429.1A patent/CN110023988B/zh active Active
- 2016-10-26 JP JP2019544949A patent/JP6910454B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007099261A (ja) * | 2005-09-12 | 2007-04-19 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
WO2009057410A1 (ja) * | 2007-10-30 | 2009-05-07 | Nec Corporation | 路面標示画像処理装置,路面標示画像処理方法及びプログラム |
JP2009205403A (ja) * | 2008-02-27 | 2009-09-10 | Hitachi Ltd | 道路標示認識装置、および道路標示認識方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018076196A1 (en) | 2018-05-03 |
EP3533026A1 (en) | 2019-09-04 |
EP3533026A4 (en) | 2021-01-27 |
CN110023988B (zh) | 2023-02-28 |
JP6910454B2 (ja) | 2021-07-28 |
US20190289224A1 (en) | 2019-09-19 |
CN110023988A (zh) | 2019-07-16 |
US10863111B2 (en) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11474247B2 (en) | Methods and systems for color point cloud generation | |
JP6910454B2 (ja) | 道路の合成トップビュー画像を生成するための方法およびシステム | |
JP2016057108A (ja) | 演算装置、演算システム、演算方法およびプログラム | |
US11430199B2 (en) | Feature recognition assisted super-resolution method | |
JP5214355B2 (ja) | 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム | |
US20230138487A1 (en) | An Environment Model Using Cross-Sensor Feature Point Referencing | |
CN108603933A (zh) | 用于融合具有不同分辨率的传感器输出的***和方法 | |
JP2964402B1 (ja) | 三次元地図データベースの作成方法及び装置 | |
JP5762320B2 (ja) | 走行制御システム及び走行制御方法 | |
JP4773794B2 (ja) | 新旧映像座標統合装置 | |
JP7337617B2 (ja) | 推定装置、推定方法及びプログラム | |
CN114503044A (zh) | 用于在3d点云中自动标记对象的***和方法 | |
WO2020118619A1 (en) | Method for detecting and modeling of object on surface of road | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
CN113011212A (zh) | 图像识别方法、装置及车辆 | |
US20240137477A1 (en) | Method and apparatus for generating 3d image by recording digital content | |
US20220390252A1 (en) | Use of predefined (pre-built) graphical representations of roads for autonomous driving of vehicles and display of route planning | |
Trusheim et al. | Cooperative Image Orientation with Dynamic Objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190522 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200729 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6910454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |