JP7107931B2 - 移動オブジェクトのレンジを推定する方法および装置 - Google Patents
移動オブジェクトのレンジを推定する方法および装置 Download PDFInfo
- Publication number
- JP7107931B2 JP7107931B2 JP2019528135A JP2019528135A JP7107931B2 JP 7107931 B2 JP7107931 B2 JP 7107931B2 JP 2019528135 A JP2019528135 A JP 2019528135A JP 2019528135 A JP2019528135 A JP 2019528135A JP 7107931 B2 JP7107931 B2 JP 7107931B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- features
- vehicle
- camera
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
少なくとも1台のカメラにより周囲の画像を捕捉するステップ、
捕捉された画像の特徴を処理して、捕捉された画像内の移動オブジェクトに属する特徴の検出されたクラスタに基づき移動オブジェクトの方位を判定するステップ、および
移動オブジェクトによって遮蔽されていない移動オブジェクトの判定された方位に沿う地表面に属する地表特徴に基づき移動オブジェクトのレンジを推定するステップを含む、移動オブジェクトのレンジを推定する方法を提供する
本発明の第1の態様による方法の可能な実施形態において、移動オブジェクトによって遮蔽されていない、判定された地表特徴から、最大距離を有する地表特徴が選択され、移動オブジェクトのレンジが最大距離に応じて推定される。
Claims (14)
- -移動オブジェクト(MO)のレンジを推定する方法であって、
-(a)カメラ(2)により周囲の画像を捕捉するステップ(S1);
-(b)捕捉された画像の特徴を処理して、前記捕捉された画像内の前記移動オブジェクト(MO)に属する特徴の検出されたクラスタに基づき前記移動オブジェクト(MO)の方位を判定するステップ(S2);および
-(c)前記移動オブジェクト(MO)によって遮蔽されていない、前記移動オブジェクト(MO)の前記判定された方位に沿う地表面(GP)に属する判定された地表特徴に基づき前記移動オブジェクトのレンジ(MO)を推定し、前記移動オブジェクト(MO)によって遮蔽されていない、前記判定された地表特徴から、最大距離を有する前記地表特徴が選択され、前記移動オブジェクトのレンジ(MO)が前記最大距離に応じて推定されるステップ(S3)を含む、方法。 - 車両(1)の車載カメラ(2)によって、車両周囲の画像が前記車両(1)の移動中に捕捉される、請求項1に記載の方法。
- 前記捕捉された画像内の特徴が各捕捉された画像において検出されてマッチングされ、前記捕捉された画像における対応する特徴の位置の間に特徴軌跡が生成される、請求項1又は2に記載の方法。
- 前記特徴の位置座標が、カメラ較正を用いて正規化された同次画像座標に変換される、請求項1から3の何れか一項に記載の方法。
- 捕捉された画像間の期間内の車載カメラ(2)の並進および回転が、前記車両のスピードV、前記車両の操舵角α、およびホイールベースWに基づき判定される、請求項2から4の何れか一項に記載の方法。
- 三次元空間における各特徴の位置を示す特徴の3D点群が、前記正規化された同次画像座標と前記カメラ(2)の前記計算された並進および回転に基づき計算される、請求項4又は5に記載の方法。
- 前記カメラ(2)の前記判定された回転および並進に基づき前記カメラ(2)の運動について基本行列Eが計算される、請求項6に記載の方法。
- 追跡された特徴のエピポーラ拘束に関する誤差が計算され、前記追跡された特徴が、前記計算された誤差に基づき移動オブジェクト(MO)に属する特徴と静止オブジェクト(SO)に属する特徴とにセグメント化される、請求項3から7の何れか一項に記載の方法。
- 移動オブジェクト(MO)に属する前記セグメント化された特徴がクラスタ化され、各クラスタの前記セグメント化された特徴の周囲の凸包(H)が計算される、請求項8に記載の方法。
- 前記移動オブジェクト(MO)に属するセグメント化された特徴のクラスタ周囲の前記計算された凸包(H)に基づき、移動オブジェクト(MO)の方位角方位が判定される、請求項9に記載の方法。
- 高さが閾値高さより低い静止オブジェクト(SO)に属する三角形分割された特徴を選択することにより、地表特徴が判定される、請求項1から10の何れか一項に記載の方法。
- -移動オブジェクト(MO)のレンジを推定するようになされた装置であって、
-捕捉された画像の特徴を処理して、前記捕捉された画像内の前記移動オブジェクト(MO)に属する特徴の検出されたクラスタに基づき前記移動オブジェクト(MO)の方位を判定するようになされ、前記移動オブジェクト(MO)によって遮蔽されていない、前記移動オブジェクト(MO)の前記判定された方位に沿う地表面に属する地表特徴に基づき前記移動オブジェクトのレンジ(MO)を推定し、前記移動オブジェクト(MO)によって遮蔽されていない、前記判定された地表特徴から、最大距離を有する前記地表特徴が選択され、前記移動オブジェクトのレンジ(MO)が前記最大距離に応じて推定されるようになされた処理ユニットを備える、装置(3)。 - 車両周囲の画像を捕捉するようになされた少なくとも1台の車載カメラ(2)を備え、前記車両の周囲の移動オブジェクト(MO)のレンジを推定するようになされた請求項12に記載の装置(3)を備える、車両(1)。
- 前記移動オブジェクト(MO)が、前記車両周囲の歩行者または別の車両からなる、請求項13に記載の車両(1)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17157004.7 | 2017-02-20 | ||
EP17157004.7A EP3364336B1 (en) | 2017-02-20 | 2017-02-20 | A method and apparatus for estimating a range of a moving object |
PCT/EP2017/083233 WO2018149539A1 (en) | 2017-02-20 | 2017-12-18 | A method and apparatus for estimating a range of a moving object |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020508501A JP2020508501A (ja) | 2020-03-19 |
JP7107931B2 true JP7107931B2 (ja) | 2022-07-27 |
Family
ID=58098528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019528135A Active JP7107931B2 (ja) | 2017-02-20 | 2017-12-18 | 移動オブジェクトのレンジを推定する方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10832428B2 (ja) |
EP (1) | EP3364336B1 (ja) |
JP (1) | JP7107931B2 (ja) |
WO (1) | WO2018149539A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902725A (zh) * | 2019-01-31 | 2019-06-18 | 北京达佳互联信息技术有限公司 | 移动目标的检测方法、装置及电子设备和存储介质 |
US20210383562A1 (en) * | 2020-06-05 | 2021-12-09 | Izak Jan van Cruyningen | Off-axis Observation for Moving Target Ranging |
US11605173B2 (en) * | 2020-12-29 | 2023-03-14 | Waymo Llc | Three-dimensional point cloud labeling using distance field data |
CN112734908B (zh) * | 2020-12-31 | 2023-09-01 | 大连海事大学 | 一种面向行驶车辆的汽车底盘三维重建***及其工作方法 |
CN113822941B (zh) * | 2021-09-03 | 2023-12-19 | 大连中科创达软件有限公司 | 相机倾斜校准方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001108434A (ja) | 1999-10-13 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 距離測定方法及び距離測定装置 |
JP2005030968A (ja) | 2003-07-08 | 2005-02-03 | Nissan Motor Co Ltd | 車載用距離算出装置 |
JP2006023242A (ja) | 2004-07-09 | 2006-01-26 | Nissan Motor Co Ltd | 物体検出装置 |
JP2015184929A (ja) | 2014-03-24 | 2015-10-22 | 株式会社東芝 | 立体物検出装置、立体物検出方法、および立体物検出プログラム |
JP2016176736A (ja) | 2015-03-19 | 2016-10-06 | トヨタ自動車株式会社 | 画像測距装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4425495B2 (ja) * | 2001-06-08 | 2010-03-03 | 富士重工業株式会社 | 車外監視装置 |
DE102007002813A1 (de) * | 2007-01-18 | 2008-07-24 | Robert Bosch Gmbh | Verfahren zum Abschätzen einer Entfernung eines Fahrzeugs zu einem Objekt und Fahrerassistenzsystem |
JP2008242544A (ja) * | 2007-03-26 | 2008-10-09 | Hitachi Ltd | 衝突回避装置および方法 |
WO2013081984A1 (en) * | 2011-11-28 | 2013-06-06 | Magna Electronics, Inc. | Vision system for vehicle |
WO2013081985A1 (en) * | 2011-11-28 | 2013-06-06 | Magna Electronics, Inc. | Vision system for vehicle |
JP5944781B2 (ja) * | 2012-07-31 | 2016-07-05 | 株式会社デンソーアイティーラボラトリ | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
US10210399B2 (en) * | 2013-12-20 | 2019-02-19 | Magna Electronics Inc. | Vehicle vision system with image processing |
US9898671B2 (en) * | 2015-05-11 | 2018-02-20 | Magna Electronics Inc. | Vehicle vision system with structure and motion estimation |
US10019637B2 (en) * | 2015-11-13 | 2018-07-10 | Honda Motor Co., Ltd. | Method and system for moving object detection with single camera |
-
2017
- 2017-02-20 EP EP17157004.7A patent/EP3364336B1/en active Active
- 2017-12-18 US US16/486,261 patent/US10832428B2/en active Active
- 2017-12-18 JP JP2019528135A patent/JP7107931B2/ja active Active
- 2017-12-18 WO PCT/EP2017/083233 patent/WO2018149539A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001108434A (ja) | 1999-10-13 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 距離測定方法及び距離測定装置 |
JP2005030968A (ja) | 2003-07-08 | 2005-02-03 | Nissan Motor Co Ltd | 車載用距離算出装置 |
JP2006023242A (ja) | 2004-07-09 | 2006-01-26 | Nissan Motor Co Ltd | 物体検出装置 |
JP2015184929A (ja) | 2014-03-24 | 2015-10-22 | 株式会社東芝 | 立体物検出装置、立体物検出方法、および立体物検出プログラム |
JP2016176736A (ja) | 2015-03-19 | 2016-10-06 | トヨタ自動車株式会社 | 画像測距装置 |
Non-Patent Citations (1)
Title |
---|
K. Yamaguchi et al,Moving Obstacle Detection using Monocular Vision,2006 IEEE Intelligent Vehicles Symposium,米国,IEEE,2006年06月15日,https://ieeexplore.ieee.org/document/1689643 |
Also Published As
Publication number | Publication date |
---|---|
US20190362512A1 (en) | 2019-11-28 |
WO2018149539A1 (en) | 2018-08-23 |
EP3364336A1 (en) | 2018-08-22 |
EP3364336B1 (en) | 2023-12-20 |
US10832428B2 (en) | 2020-11-10 |
JP2020508501A (ja) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7107931B2 (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
CN112292711B (zh) | 关联lidar数据和图像数据 | |
KR102275310B1 (ko) | 자동차 주변의 장애물 검출 방법 | |
CN107111879B (zh) | 通过全景环视图像估计车辆自身运动的方法和设备 | |
US10424081B2 (en) | Method and apparatus for calibrating a camera system of a motor vehicle | |
CN107038723B (zh) | 棒状像素估计方法和*** | |
US8744169B2 (en) | Voting strategy for visual ego-motion from stereo | |
JP7485612B2 (ja) | 衝突前アラートを提供するためのマルチスペクトルシステム | |
JP4899424B2 (ja) | 物体検出装置 | |
CN111046743B (zh) | 一种障碍物信息标注方法、装置、电子设备和存储介质 | |
EP3678096A1 (en) | Method for calculating a tow hitch position | |
US20130222589A1 (en) | Single-camera distance estimation | |
EP3594902B1 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
US20110169957A1 (en) | Vehicle Image Processing Method | |
US11721028B2 (en) | Motion segmentation in video from non-stationary cameras | |
JP2019511780A (ja) | 自動車両の道路付近の物体を検出するための方法、コンピュータデバイス、運転者支援システム、及び、自動車両 | |
JP2009139324A (ja) | 車両用走行路面検出装置 | |
JP2007280387A (ja) | 物体移動の検出方法及び検出装置 | |
JP6826010B2 (ja) | カメラ運動推定装置、カメラ運動推定方法及びプログラム | |
US20210049382A1 (en) | Non-line of sight obstacle detection | |
US11832019B2 (en) | Method for harmonizing images acquired from non overlapping camera views | |
EP3227827B1 (en) | Driver assistance system, motor vehicle and method for classifying a flow vector | |
Abad et al. | Parking space detection | |
JP2018194417A (ja) | 位置推定装置、移動装置 | |
JP2002352249A (ja) | 画像処理装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200703 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7107931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |