JP2018523865A - Information processing method, device, and terminal - Google Patents
Information processing method, device, and terminal Download PDFInfo
- Publication number
- JP2018523865A JP2018523865A JP2017565896A JP2017565896A JP2018523865A JP 2018523865 A JP2018523865 A JP 2018523865A JP 2017565896 A JP2017565896 A JP 2017565896A JP 2017565896 A JP2017565896 A JP 2017565896A JP 2018523865 A JP2018523865 A JP 2018523865A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- road traffic
- traffic sign
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 12
- 230000010365 information processing Effects 0.000 title abstract description 3
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 32
- 230000000877 morphologic effect Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/18—Stabilised platforms, e.g. by gyroscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3819—Road shape data, e.g. outline of a route
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
情報処理方法、デバイス、および端末。この方法は、道路データを収集するステップであって、道路データは、2次元ストリートビュー画像、3次元ポイントクラウド、および慣性データを備える、ステップ(S101)と、2次元ストリートビュー画像、3次元ポイントクラウド、および慣性データの空間位置関係に基づいて、2次元ストリートビュー画像を領域へ分割し、地面領域画像を抽出するステップ(S102)と、地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、道路交通標識は、車線境界線および/または道路標識を備える、ステップ(S103)と、2次元ストリートビュー画像、3次元ポイントクラウド、および慣性データの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップ(S104)とを備える。2次元ストリートビュー画像から、道路交通標識を検出することによって、本発明は、検出結果の精度を向上させ、データ処理の実用性を向上させることが可能である。 Information processing method, device, and terminal. The method is a step of collecting road data, the road data comprising a 2D street view image, a 3D point cloud, and inertia data, step (S101), a 2D street view image, and a 3D point. Based on the spatial positional relationship of the cloud and inertial data, the step of dividing the 2D street view image into regions and extracting the ground region image (S102), and detecting at least one target road traffic sign in the ground region image A road traffic sign comprising a lane boundary and / or a road sign, at least based on the step (S103) and the spatial positional relationship of the 2D street view image, 3D point cloud, and inertial data Calculating a three-dimensional coordinate of one target road traffic sign (S104). By detecting a road traffic sign from a two-dimensional street view image, the present invention can improve the accuracy of detection results and improve the practicality of data processing.
Description
本出願は、その全体が参照によって組み込まれた2016年1月18日出願の「INFORMATION PROCESSING METHOD, DEVICE, AND TERMINAL」と題された中国特許出願第201610031452.5号への優先権を主張する。 This application claims priority to Chinese Patent Application No. 201610031452.5 entitled “INFORMATION PROCESSING METHOD, DEVICE, AND TERMINAL” filed Jan. 18, 2016, which is incorporated by reference in its entirety.
本出願は、コンピュータ技術の分野に関し、具体的には、道路データ処理の技術分野、特に、データ処理方法、データ処理装置、および端末に関する。 The present application relates to the field of computer technology, and more specifically to the technical field of road data processing, in particular, a data processing method, a data processing device, and a terminal.
カーナビゲーション、車両自動運転、および安全運転秘訣の既存の分野では、最も基本的で重要な技術は、車線境界線および道路標識のような道路交通標識に関する検出技術である。現在、主流の技術的ソリューションは、主として次の2つの種類を含む。1つのソリューションは、地面反射率の変化に基づく検出方法であり、道路交通標識の反射率は、一般に、道路表面の他の部分の反射率よりも高い。したがって、道路シーン空間の3次元ポイントクラウドが最初に取得され得、次に、この特徴に従って、3次元ポイントクラウドから道路交通標識を抽出し得る。このソリューションは、3次元ポイントクラウドから道路交通標識をダイレクトに検出し、抽出するので、3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合には検出結果が影響され得る。さらに、地面反射率が、弱くなる、または、不均一になると、検出結果の精度が、ダイレクトに影響され得る。もう一方のソリューションは、手動検出方法であり、道路シーン空間の2次元街路風景画像および3次元ポイントクラウドを取得し、カラフルなポイントクラウドを生成するように、2次元街路風景画像を使用して3次元ポイントクラウドに色を適用し、その後、2次元街路風景画像に従って、カラフルなポイントクラウドから、道路交通標識を手動で抽出する。このソリューションもやはり3次元ポイントクラウドから、道路交通標識をダイレクトに抽出するため、3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合には検出結果が影響を受け得る可能性がある。さらに、手動検出は、非実用的であり、低効率であり、誤りを容易に引き起こす。 In the existing areas of car navigation, automated driving, and safe driving tips, the most basic and important technology is detection technology for road traffic signs such as lane boundaries and road signs. Currently, mainstream technical solutions mainly include the following two types. One solution is a detection method based on changes in ground reflectivity, where the reflectivity of road traffic signs is generally higher than the reflectivity of other parts of the road surface. Thus, a 3D point cloud of road scene space can be obtained first, and then road traffic signs can be extracted from the 3D point cloud according to this feature. This solution directly detects and extracts road traffic signs from the 3D point cloud, so if the 3D point cloud point cloud is sparse, occluded, missing, etc. The detection result can be affected. Furthermore, when the ground reflectance becomes weak or non-uniform, the accuracy of the detection result can be directly affected. The other solution is a manual detection method that uses 2D street landscape images to capture 2D street landscape images and 3D point clouds of road scene space and generate colorful point clouds. Color is applied to the 3D point cloud, and then road traffic signs are manually extracted from the colorful point cloud according to the 2D street landscape image. This solution also extracts road traffic signs directly from the 3D point cloud, so if the point cloud of the 3D point cloud is sparse, occluded, missing, etc., the detection result May be affected. Moreover, manual detection is impractical, inefficient and easily causes errors.
本出願の実施形態は、データ処理方法、装置、および端末を提供する。2次元街路風景画像における道路交通標識を検出することによって、検出結果の精度と、データ処理の実用性とが向上され得る。 Embodiments of the present application provide a data processing method, apparatus, and terminal. By detecting a road traffic sign in a two-dimensional street scene image, the accuracy of detection results and the practicality of data processing can be improved.
本出願の実施形態の第1の態様は、データ処理方法を提供し、この方法は、
道路データを収集するステップであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、ステップと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、道路交通標識は、車線境界線および/または道路標識を含む、ステップと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップとを含み得る。
A first aspect of an embodiment of the present application provides a data processing method, the method comprising:
Collecting road data, the road data including a 2D street landscape image, a 3D point cloud, and inertial navigation data;
Performing region segmentation on the 2D street landscape image and extracting a ground region image based on the spatial positional relationship of the 2D street landscape image, 3D point cloud, and inertial navigation data;
Detecting at least one target road traffic sign in the ground area image, the road traffic sign including a lane boundary and / or a road sign;
Calculating three-dimensional coordinates of at least one target road traffic sign based on the spatial positional relationship of the two-dimensional street scene image, the three-dimensional point cloud, and the inertial navigation data.
好適には、2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップは、
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するステップと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するステップとを含む。
Preferably, the step of performing region segmentation in the 2D street landscape image and extracting the ground region image based on the spatial positional relationship of the 2D street landscape image, the 3D point cloud, and the inertial navigation data includes:
Establishing a coordinate system for inertial navigation in a three-dimensional space according to inertial navigation data;
Registering a 3D point cloud and a 2D street landscape image in a 3D space based on the coordinate system of inertial navigation;
Performing region segmentation on the 2D street landscape image with the registered 3D point cloud and extracting a ground region image.
好適には、地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップは、
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するステップと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップとを含む。
Preferably, detecting the at least one target road traffic sign in the ground area image comprises:
Performing binary processing on the ground area image to obtain a binary ground area image;
Performing an orthographic transformation to a binary ground area image to generate an orthographic image of the ground;
Extracting at least one road traffic sign from the orthographic projection image.
好適には、地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップは、
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するステップと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすステップと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるステップとを含む。
Preferably, the step of extracting at least one road traffic sign from the ground orthographic image comprises
Extracting at least one first road traffic sign from the orthographic projection image and extracting an interference image by using an image recognition method;
Viewing the interference image as a binary mask for reacting in an orthographic image of the ground;
Extracting at least one second road traffic sign from the reacted ground orthographic image by using an image recognition method;
Combining the extracted first road traffic sign and the second road traffic sign to obtain at least one target road traffic sign.
好適には、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップは、
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するステップであって、形態学的データは、位置データおよび姿勢データを含む、ステップと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するステップとを含む。
Preferably, calculating the three-dimensional coordinates of at least one target road traffic sign based on the spatial positional relationship of the two-dimensional street landscape image, the three-dimensional point cloud, and inertial navigation data,
Obtaining morphological data of an orthographic projection image in a coordinate system for inertial navigation, the morphological data including position data and attitude data;
Finding three-dimensional coordinates of at least one target road traffic sign according to the morphological data.
本出願の実施形態の第2の態様は、データ処理装置を提供し、この装置は、
道路データを収集するように構成された収集ユニットであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、収集ユニットと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、道路交通標識は、車線境界線および/または道路標識を含む、検出ユニットと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットとを含み得る。
A second aspect of the embodiments of the present application provides a data processing apparatus, which comprises:
A collection unit configured to collect road data, the road data including a 2D street landscape image, a 3D point cloud, and inertial navigation data;
Segmentation processing configured to perform region segmentation on 2D street landscape images and extract ground region images based on spatial positional relationships of 2D street landscape images, 3D point clouds, and inertial navigation data Unit,
A detection unit configured to detect at least one target road traffic sign in the ground area image, the road traffic sign comprising a lane boundary and / or a road sign;
A calculation unit configured to calculate a three-dimensional coordinate of at least one target road traffic sign based on a spatial positional relationship of the two-dimensional street scene image, the three-dimensional point cloud, and the inertial navigation data.
好適には、セグメント化処理ユニットは、
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニットと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニットと、
地面領域画像を抽出するように構成された画像抽出ユニットとを含む。
Preferably, the segmentation processing unit is
An establishing unit configured to establish a coordinate system for inertial navigation in a three-dimensional space according to inertial navigation data;
A registration unit configured to register a 3D point cloud and a 2D street scene image in a 3D space based on a coordinate system of inertial navigation;
An area segmentation unit configured to perform area segmentation on a 2D street scene image with a registered 3D point cloud; and
And an image extraction unit configured to extract a ground area image.
好適には、検出ユニットは、
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットとを含む。
Preferably, the detection unit is
A binary processing unit configured to perform binary processing on the ground region image to obtain a binary ground region image;
A transformation unit configured to perform an orthographic transformation to a binary ground area image to generate a ground orthographic image;
A sign extraction unit configured to extract at least one road traffic sign from the ground orthographic image.
好適には、標識抽出ユニットは、
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニットと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニットと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニットとを含む。
Preferably, the label extraction unit is
A first extraction unit configured to extract at least one first road traffic sign from the orthographic projection image and extract an interference image by using an image recognition method;
A reaction processing unit configured to view the interference image as a binary mask for reacting in a ground orthographic image;
A second extraction unit configured to extract at least one second road traffic sign from the reacted ground orthographic image by using an image recognition method;
A combination processing unit configured to combine the extracted first road traffic sign and the second road traffic sign to obtain at least one target road traffic sign.
好適には、計算ユニットは、
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、形態学的データは、位置データおよび姿勢データを含む、形態学的データ取得ユニットと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニットとを含む。
Preferably, the calculation unit is
A morphological data acquisition unit configured to acquire morphological data of an orthographic projection image in a coordinate system for inertial navigation, the morphological data comprising position data and attitude data A data acquisition unit;
A coordinate finding unit configured to find three-dimensional coordinates of at least one target road traffic sign according to the morphological data.
本出願の実施形態の第3の態様は、端末を提供する。この端末は、先述した2つの態様のデータ処理装置を含み得る。 A third aspect of an embodiment of the present application provides a terminal. This terminal may include the above-described two types of data processing apparatuses.
本出願の実施形態を実施することによって、以下の有用な効果が取得される。 By implementing the embodiments of the present application, the following useful effects are obtained.
本出願の実施形態では、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させることと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。 In the embodiment of the present application, after collecting the 2D street landscape image, the 3D point cloud, and inertial navigation data, the region segmentation is performed on the 2D street landscape image, and the 3D point cloud and the inertial navigation data are used. Extracting a ground area image by detecting at least one target road traffic sign in the ground area image and inverting the three-dimensional coordinates of the target road traffic sign. It can be avoided that the detection result is affected when the point cloud of the three-dimensional point cloud is sparse, occlusion occurs, missing, or the like. This is because a road traffic sign is detected and acquired not from a 3D point cloud but from a 2D street landscape image. In addition, by using inertial navigation data and 3D point cloud, segmentation of 2D street landscape images is performed accurately, and 2D street landscape images are detected and extracted. Accuracy and practicality of data processing can be effectively improved.
本願の実施形態における、または、先行技術における技術的ソリューションをより明確に例示するために、以下は、実施形態または先行技術を説明するために必要とされる添付図面を手短に紹介する。明らかに、以下の説明における添付図面は、本願の単なるいくつかの実施形態を図示しているだけであり、当業者であればまだ、創造的な努力なしで、これら添付図面から、他の図面を導出し得る。 In order to more clearly exemplify technical solutions in the embodiments of the present application or in the prior art, the following briefly introduces the accompanying drawings required for describing the embodiments or the prior art. Apparently, the accompanying drawings in the following description show merely some embodiments of the present application, and those skilled in the art can still use these drawings to other drawings without creative efforts. Can be derived.
本願の実施形態における技術的ソリューションは、添付図面を参照して以下に明確に説明される。明らかに、説明されるべき実施形態は、本願の実施形態のすべてではなく、単なる一部である。創造的な努力なしで本発明の実施形態に基づいて当業者によって取得された他のすべての実施形態は、本発明の保護範囲内にあるものとする。 The technical solutions in the embodiments of the present application will be clearly described below with reference to the accompanying drawings. Apparently, the embodiments to be described are merely a part rather than all of the embodiments of the present application. All other embodiments obtained by a person of ordinary skill in the art based on the embodiments of the present invention without creative efforts shall fall within the protection scope of the present invention.
本出願の実施形態では、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、検出結果の精度とデータ処理の実用性とを向上させる目的に到達するように、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させることと。 In the embodiment of the present application, after collecting the 2D street scene image, 3D point cloud, and inertial navigation data, the 2D to reach the purpose of improving the accuracy of detection results and the practicality of data processing. Perform region segmentation on street landscape image, extract ground region image by using 3D point cloud and inertial navigation data, detect at least one target road traffic sign in ground region image, and target road To reverse the 3D coordinates of traffic signs.
先述した原理に基づいて、本出願の実施形態は、データ処理方法を提供する。図1に図示されるように、この方法は、以下のステップS101〜ステップS104を含む。 Based on the principles described above, embodiments of the present application provide a data processing method. As shown in FIG. 1, the method includes the following steps S101 to S104.
S101:道路データを収集する。道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む。 S101: Collect road data. The road data includes a 2D street scene image, a 3D point cloud, and inertial navigation data.
2次元街路風景画像は、道路を撮影するために、カメラおよびカメラレンズのようなカメラ機器を使用することによって取得され得る。2次元街路風景画像は、通常、地面領域の画像と、非地面領域の画像とを含み、地面領域の画像は、道路表面状態、道路交通標識、道路上を走行する車両、道路の分離ストリップのようなデータを描写し得る。非地面領域の画像は、ビル、道路の周囲の植物等を描写し得る。さらに、道路交通標識は、交通案内情報、制限、警告等を伝達するために使用される線、単語、矢印、物体マーク、道路鋲、および誘導標のような標識を称する。道路交通標識は、限定されないが、車線境界線および/または道路標識を含み、道路標識は、限定されないが、操舵標識、減速標識、禁止ゾーン標識等を含む。3次元ポイントクラウドは、レーザスキャナによって取得され得る。レーザスキャナは、各空間点の3次元座標を取得するために、スキャン範囲において多数の空間ポイントをスキャンし得、各空間ポイントに対応するレーザパルス強度に関する3次元ポイントクラウドを形成し得る。慣性ナビゲーションデータは、スキャンするために、慣性ナビゲーションシステム(Inertial Navigation System、INS)と慣性測定ユニット(Inertial Measurement Unit、IMU)とを使用することによって取得され得る。具体的には、INSは、スキャン位置の全地球測位システム(Global Positioning System、GPS)データと、速度、加速度等を含むキャリア走行データとを取得し得、IMUは、キャリアの回転、ピッチ、およびヨーデータを取得し得る。 A two-dimensional street scene image can be obtained by using camera equipment such as a camera and a camera lens to photograph a road. A two-dimensional street landscape image usually includes an image of a ground area and an image of a non-ground area, and the image of the ground area includes road surface conditions, road traffic signs, vehicles traveling on the road, and road separation strips. Such data can be depicted. The image of the non-ground area may depict a building, a plant around the road, and the like. Furthermore, road traffic signs refer to signs such as lines, words, arrows, object marks, roadsides, and guide signs used to convey traffic guidance information, restrictions, warnings, and the like. Road traffic signs include, but are not limited to, lane boundaries and / or road signs, and road signs include, but are not limited to, steering signs, deceleration signs, prohibited zone signs, and the like. The 3D point cloud can be acquired by a laser scanner. The laser scanner can scan a number of spatial points in the scan range to obtain a three-dimensional coordinate of each spatial point, and can form a three-dimensional point cloud for the laser pulse intensity corresponding to each spatial point. Inertial navigation data may be obtained by using an Inertial Navigation System (INS) and an Inertial Measurement Unit (IMU) to scan. Specifically, the INS can acquire global positioning system (GPS) data of scan position and carrier travel data including speed, acceleration, etc., and the IMU can acquire carrier rotation, pitch, and Yaw data can be obtained.
S102:2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出する。 S102: Execute region segmentation in the 2D street landscape image, and extract a ground region image based on the spatial positional relationship of the 2D street landscape image, 3D point cloud, and inertial navigation data.
本出願の実施形態では、収集された2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータが、すべて同じシーン空間に由来する。したがって、これら3つの空間的位置関係に基づいて、および、3次元ポイントクラウドを使用することによって、2次元街路風景画像に対して領域セグメント化が実行され得る。具体的な実施では、この方法がステップS102を実行した場合、この方法は具体的に、以下のステップs11〜s13を実行する。 In the embodiments of the present application, the collected 2D street scene image, 3D point cloud, and inertial navigation data all originate from the same scene space. Therefore, region segmentation can be performed on a two-dimensional street scene image based on these three spatial positional relationships and by using a three-dimensional point cloud. In a specific implementation, when the method executes step S102, the method specifically executes the following steps s11 to s13.
s11:慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立する。 s11: Establish a coordinate system for inertial navigation in a three-dimensional space according to inertial navigation data.
INSは、外部情報に依存せず、外部へエネルギを放出しない自動ナビゲーションシステムである。IMUは、物体の3軸姿勢角度(または角速度)および加速度を測定するために使用される装置である。INSおよびIMUはともに、ジャイロスコープおよび加速度計を含み、ジャイロスコープは、慣性ナビゲーションの座標系を形成し、加速度計の測定軸を、慣性ナビゲーションの座標系における進路および姿勢角度を安定して形成させる。加速度計は、キャリアが走行した場合における加速度を測定し、一連の計算および変換を使用することによって、速度、変位、回転、およびピッチのようなキャリアの慣性ナビゲーションデータを取得するために使用される。したがって、3次元空間において使用される慣性ナビゲーションの座標系は、収集された慣性ナビゲーションデータに従って逆計算され得る。慣性ナビゲーションの座標系は、スキャン処理における3次元空間の位置基準である。 INS is an automatic navigation system that does not depend on external information and does not release energy to the outside. An IMU is a device used to measure the three-axis attitude angle (or angular velocity) and acceleration of an object. Both INS and IMU include a gyroscope and an accelerometer, which forms the inertial navigation coordinate system, and that the measurement axis of the accelerometer stably forms the path and attitude angle in the inertial navigation coordinate system. . Accelerometers are used to obtain carrier inertial navigation data such as speed, displacement, rotation, and pitch by measuring acceleration as the carrier travels and using a series of calculations and transformations . Therefore, the inertial navigation coordinate system used in the three-dimensional space can be back-calculated according to the collected inertial navigation data. The inertial navigation coordinate system is a position reference in a three-dimensional space in the scanning process.
s12:慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録する。 s12: A 3D point cloud and a 2D street scene image are registered in the 3D space based on the inertial navigation coordinate system.
慣性ナビゲーションの座標系を位置基準として見なし、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録する。具体的な実施では、シーン空間におけるある3次元ポイントP(xi,yi,zi)が、レーザスキャナを使用することによって取得される。3次元ポイントP(xi,yi,zi)は、カメラ機器による画像化後、2次元街路風景画像におけるある2次元ポイントP'(xj,yj)を取得し得る。登録の目的は、3次元ポイントクラウドおよび2次元街路風景画像から、マッチしたすべての3次元ポイントP(xi,yi,zi)および2次元ポイントP'(xj,yj)を発見することである。 The coordinate system of inertial navigation is regarded as a position reference, and a 3D point cloud and a 2D street scene image are registered in the 3D space. In a specific implementation, a certain three-dimensional point P (x i , y i , z i ) in the scene space is obtained by using a laser scanner. After the three-dimensional point P (x i , y i , z i ) is imaged by the camera device, a certain two-dimensional point P ′ (x j , y j ) in the two-dimensional street scene image can be acquired. The purpose of registration is to find all matched 3D points P (x i , y i , z i ) and 2D points P ′ (x j , y j ) from 3D point cloud and 2D street landscape images It is to be.
s13:登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出する。 s13: Using the registered 3D point cloud, area segmentation is performed on the 2D street scene image, and a ground area image is extracted.
3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録した後、3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化が便利に実施される。3次元ポイントクラウドにおける各ポイントは、3次元座標(x,y,z)によって表され、よって、領域セグメント化は、x、y、およびzの値に従って、3次元空間へ直観的に実行され得る。たとえば、地面領域における3次元ポイントのz軸の値が零であれば、そのz軸の値が3次元ポイントクラウドにおける零であるすべての3次元ポイントを用いて構築された空間領域は、地面空間領域であり、同様に、ターゲット空間領域における3次元ポイントのx軸の値が、事前設定された値であれば、そのx軸の値が3次元ポイントクラウドにおける事前設定された値であるすべての3次元ポイントを抽出することによって構築された空間領域は、ターゲット空間領域である。これに基づいて、ステップは、3次元空間における領域セグメント化を実行するために、3次元ポイントクラウドにおける各ポイントの3次元座標を使用し得、地面空間領域に各3次元ポイントとともに登録しているすべての2次元ポイントを発見し得る。2次元街路風景画像における2次元ポイントを用いて構築された領域画像は、地面領域画像である。 After registering a 3D point cloud and a 2D street landscape image in a 3D space, using a 3D point cloud, region segmentation in a 2D street landscape image is conveniently implemented. Each point in the 3D point cloud is represented by 3D coordinates (x, y, z), so region segmentation can be performed intuitively into 3D space according to the values of x, y, and z . For example, if the z-axis value of a 3D point in the ground area is zero, the spatial area constructed using all 3D points whose z-axis value is zero in the 3D point cloud is the ground space Similarly, if the x-axis value of the 3D point in the target space region is a preset value, then all the x-axis values are preset values in the 3D point cloud A spatial area constructed by extracting 3D points is a target spatial area. Based on this, the step can use the 3D coordinates of each point in the 3D point cloud to perform region segmentation in 3D space, registering with each 3D point in the ground space region All 2D points can be found. The area image constructed using the 2D points in the 2D street scene image is a ground area image.
先述したステップs11〜s13を目標とし、図2a〜図2cを参照して、図2aは、収集された2次元街路風景画像を図示する。ステップs12では、慣性ナビゲーションの座標系に基づいて、図2aに図示された2次元街路風景画像を、3次元ポイントクラウドへ登録した後、図2aに図示される画像が形成され得る。図2cに図示される地面領域画像は、s13におけるように、図2bに図示される画像への領域セグメント化を実行した後に取得され得る。 Targeting the previously described steps s11 to s13, and referring to FIGS. 2a to 2c, FIG. 2a illustrates the collected two-dimensional street scene image. In step s12, based on the inertial navigation coordinate system, the 2D street scene image illustrated in FIG. 2A may be registered in the 3D point cloud, and then the image illustrated in FIG. 2A may be formed. The ground region image illustrated in FIG. 2c may be obtained after performing region segmentation into the image illustrated in FIG. 2b, as in s13.
S103:地面領域画像における少なくとも1つのターゲット道路交通標識を検出する。道路交通標識は、車線境界線および/または道路標識を含む。 S103: Detect at least one target road traffic sign in the ground area image. Road traffic signs include lane boundaries and / or road signs.
2次元街路風景画像の撮影中に、地面領域画像の撮影方式は、通常、非正射であり、カメラ機器および道路表面は、基本的には、ヘッドアップ範囲にあり、すなわち、カメラ機器の撮像軸は、地面に対して垂直ではなく、ある角度を有しており、慣性ナビゲーションの座標系における角度は、カメラ機器のヨー角度および/またはピッチ角度を表す。非正射方式で取得された地面領域画像のフィールドの深さは、比較的大きく、近くから遠くへ緩やかな遷移を伴っている。これは、道路交通標識を抽出するための基本を与える。しかしながら、非正射方式は、地面領域画像における道路交通標識を変形させ得、検出の困難さを増す。これに基づいて、ステップは、検出中に、地面領域画像を処理する必要があり、方法がステップS103を実行する場合、方法は、具体的に、以下のステップs21〜s23を実行する。 During the shooting of a 2D street scene image, the shooting method of the ground area image is usually non-orthogonal, and the camera device and the road surface are basically in the head-up range, that is, the imaging of the camera device. The axis is not perpendicular to the ground but has an angle, and the angle in the coordinate system of inertial navigation represents the yaw and / or pitch angle of the camera equipment. The depth of the field of the ground region image acquired by the non-orthogonal method is relatively large, accompanied by a gradual transition from near to far. This gives the basis for extracting road traffic signs. However, the non-orthogonal method can deform the road traffic sign in the ground region image, increasing the difficulty of detection. Based on this, the step needs to process the ground region image during detection, and if the method performs step S103, the method specifically performs the following steps s21-s23.
s21:バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行する。 s21: Binary processing is executed on the ground area image in order to obtain a binary ground area image.
一般に、収集された2次元街路風景画像は、カラフルな画像であり、2次元街路風景画像から抽出された地面領域画像もまた、カラフルな画像であるが、道路交通標識は白である。地面領域画像における道路交通標識をより明確に、かつ、より検出し易くするために、バイナリ地面領域画像を取得するように、ステップにおいて、カラフルな地面領域画像に対してバイナリ処理が実行される必要がある。 In general, the collected two-dimensional street landscape image is a colorful image, and the ground region image extracted from the two-dimensional street landscape image is also a colorful image, but the road traffic sign is white. In order to obtain a binary ground area image in order to make the road traffic signs in the ground area image clearer and easier to detect, in step, binary processing needs to be performed on the colorful ground area image There is.
s22:地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行する。 s22: An orthographic projection conversion into a binary ground area image is executed to generate a ground orthographic image.
正射投影変換の目的は、地面領域画像の光学軸の方向が垂直になるように調節することである。具体的には、バイナリ地面領域画像は、地面正射投影画像を生成するために、3次元ポイントクラウドによって説明される地面空間領域へ投影され得る。 The purpose of the orthographic projection conversion is to adjust the direction of the optical axis of the ground region image to be vertical. Specifically, the binary ground region image can be projected onto a ground space region described by a 3D point cloud to generate a ground orthographic image.
s23:地面正射投影画像から、少なくとも1つの道路交通標識を抽出する。 s23: At least one road traffic sign is extracted from the ground orthographic projection image.
地面正射投影画像は、車線境界線および道路標識のような道路交通標識を明確に表し、これによって、少なくとも1つの道路交通標識が、画像再構築化を使用することによって認識および抽出されることが可能になり、具体的な実施では、地面正射投影画像における車線境界線を認識するために、Hough変換(Hough Transform)の方法が使用され得、地面正射投影画像における道路標識を認識するために、モジュールマッチングの方法が使用され得る。 A ground orthographic image clearly represents road traffic signs such as lane boundaries and road signs so that at least one road traffic sign can be recognized and extracted by using image reconstruction. In a specific implementation, the Hough Transform method can be used to recognize lane boundaries in the ground orthographic image and recognize road signs in the ground orthographic image. In order to do this, a method of module matching can be used.
先述したステップs21〜s23を目標とし、図3a〜図3bを参照して、ステップs21におけるバイナリ処理後、図2cに図示される抽出された地面領域画像を目標として、図3aに図示されたバイナリ地面領域画像が取得され得る。図3bに図示される地面正射投影は、図3aに図示されるバイナリ地面領域画像に対してステップs21において正射投影変換が実行された後に取得され得る。少なくとも1つの道路交通標識は、画像再構築化を使用することによって、図3bに図示される地面正射投影から抽出され得る。 Targeting the previously described steps s21 to s23 and referring to FIGS. 3a to 3b, after the binary processing in step s21, targeting the extracted ground area image illustrated in FIG. 2c, the binary illustrated in FIG. A ground area image may be acquired. The ground orthographic projection illustrated in FIG. 3b may be obtained after orthographic projection transformation is performed in step s21 on the binary ground region image illustrated in FIG. 3a. At least one road traffic sign may be extracted from the ground orthographic projection illustrated in FIG. 3b by using image reconstruction.
実用的な応用では、地面領域画像には、走行中の車両、分離帯、および道路の汚れのような干渉物が常に存在する。したがって、バイナリ地面正射投影画像には干渉画像が存在し、干渉画像は、道路交通標識の検出結果に影響を与え得る。この問題を解決するために、本出願の実施形態に従う方法は、具体的には、方法がステップs23を実行した場合に、以下のステップs231〜s234を実行する。 In practical applications, there are always interferences in the ground area image, such as running vehicles, separation zones, and road dirt. Therefore, there is an interference image in the binary ground orthographic projection image, and the interference image can affect the detection result of the road traffic sign. In order to solve this problem, the method according to the embodiment of the present application specifically executes the following steps s231 to s234 when the method executes step s23.
s231:地面正射投影画像から少なくとも1つの道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出する。 s231: At least one road traffic sign is extracted from the ground orthographic projection image, and an interference image is extracted by using an image recognition method.
s232:干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なす。 s232: The interference image is regarded as a binary mask for reacting in the ground orthographic image.
s233:画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出する。 s233: Extract at least one second road traffic sign from the reacted ground orthographic image by using the image recognition method.
s234:少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせる。 s234: combining the extracted first road traffic sign and the second road traffic sign to obtain at least one target road traffic sign.
ステップs231〜ステップs234は、干渉物の影響が、除去され得、次に、道路交通標識を抽出することによって、道路交通標識の検出結果の精度が、向上され得ることを図示する。具体的には、最初に、地面正射投影画像から、道路交通標識を一回抽出し、同時に、干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして抽出する。地面正射投影画像における干渉画像は、反応によって除去され得る。そして、2つの道路交通標識を組み合わせるために、地面正射投影画像から、もう1回道路交通標識を抽出する。干渉の影響を除去するために、2回目の抽出方式は限定されず、たとえば、多数の抽出された道路交通標識を組み合わせるために、3回目以降の抽出が使用され得ることが注目されるべきである。2回目の抽出と比較して、3回目以降の抽出は、低効率にはなるもののより完全に干渉の影響を除去し得、よって、具体的な実施における選択は、現実的なニーズに従ってなされ得る。 Steps s231 to s234 illustrate that the influence of the interference can be removed, and then the accuracy of the detection result of the road traffic sign can be improved by extracting the road traffic sign. Specifically, first, a road traffic sign is extracted once from the ground orthographic projection image, and at the same time, the interference image is extracted as a binary mask for reacting in the ground orthographic projection image. The interference image in the ground orthographic image can be removed by reaction. Then, in order to combine the two road traffic signs, another road traffic sign is extracted from the ground orthographic projection image. It should be noted that the second extraction scheme is not limited in order to remove the effects of interference, for example, the third and subsequent extractions can be used to combine a number of extracted road traffic signs. is there. Compared to the second extraction, the third and subsequent extractions can be less efficient, but more completely eliminate the effects of interference, so the choices in the specific implementation can be made according to realistic needs .
S104:2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算する。 S104: Calculate the three-dimensional coordinates of at least one target road traffic sign based on the spatial positional relationship of the two-dimensional street scene image, the three-dimensional point cloud, and the inertial navigation data.
具体的な実施では、この方法がステップS104を実行する場合、この方法は、具体的には、以下のステップs31〜s32を実行する。 In a specific implementation, when the method executes step S104, the method specifically executes the following steps s31 to s32.
s31:慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得し、形態学的データは、位置データおよび姿勢データを含む。 s31: Obtain morphological data of an orthographic projection image in the coordinate system of inertial navigation, and the morphological data includes position data and posture data.
s32:形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見する。 s32: Find the three-dimensional coordinates of at least one target road traffic sign according to the morphological data.
先述したステップs31〜s32では、慣性ナビゲーションの座標系における地面正射投影画像の位置データおよび姿勢データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて取得され得る。なぜなら、地面正射投影画像は、2次元街路風景画像に由来するからである。道路交通標識の3次元座標は、慣性ナビゲーションの座標系における地面正射投影画像の位置データおよび姿勢データを使用することによって反転され得る。 In steps s31 to s32 described above, the position data and orientation data of the orthographic projection image in the inertial navigation coordinate system are acquired based on the spatial positional relationship of the 2D street scene image, 3D point cloud, and inertial navigation data. Can be done. This is because the ground orthographic projection image is derived from the two-dimensional street landscape image. The three-dimensional coordinates of the road traffic sign can be inverted by using the position data and the posture data of the ground orthographic image in the inertial navigation coordinate system.
本出願の実施形態は、データ処理方法を提供する。2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出するステップと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転させるステップと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。 Embodiments of the present application provide a data processing method. After collecting 2D street landscape image, 3D point cloud, and inertial navigation data, perform area segmentation on 2D street landscape image and use 3D point cloud and inertial navigation data to Extracting and detecting at least one target road traffic sign in the ground area image and inverting the three-dimensional coordinates of the target road traffic sign. It can be avoided that the detection result is affected when the point cloud of the three-dimensional point cloud is sparse, occlusion occurs, missing, or the like. This is because a road traffic sign is detected and acquired not from a 3D point cloud but from a 2D street landscape image. In addition, by using inertial navigation data and 3D point cloud, segmentation of 2D street landscape images is performed accurately, and 2D street landscape images are detected and extracted. Accuracy and practicality of data processing can be effectively improved.
本出願の実施形態は、ラップトップ、電話、パッド(PAD)、および車両端末のようなデバイスを含む端末を提供する。図4を参照して示すように、端末の内部構成は、限定されないが、プロセッサ、ユーザインターフェース、ネットワークインターフェース、およびメモリを含み得る。端末におけるプロセッサ、ユーザインターフェース、ネットワークインターフェース、およびメモリは、バスを用いて、または他の手法で接続され得る。本出願の実施形態の図4では、例としてバス接続を採用する。 Embodiments of the present application provide terminals that include devices such as laptops, telephones, pads (PADs), and vehicle terminals. As shown with reference to FIG. 4, the internal configuration of the terminal may include, but is not limited to, a processor, a user interface, a network interface, and a memory. The processor, user interface, network interface, and memory at the terminal may be connected using a bus or in other manners. In FIG. 4 of the embodiment of the present application, a bus connection is adopted as an example.
ユーザインターフェースは、ユーザと端末との間のインタラクションおよび情報交換媒体であり、具体的には、出力するために使用されるディスプレイ(Display)、入力するために使用されるキーボード(Keyboard)等を含む。本明細書におけるキーボードは、物理的なキーボード、またはタッチスクリーン仮想キーボード、または物理的かつタッチスクリーン仮想キーボードであり得ることが注目されるべきである。プロセッサ(または中央処理装置(CPU))は、端末の計算コアおよび制御コアであり、端末における命令と、処理端末のデータとを分析し得、たとえば、CPUは、ユーザによって端末へ送信されたオン/オフ命令を分析し、端末がオン/オフ操作を実行することを制御するために使用され得、別の例としては、CPUは、端末の内部構成間でインタラクションデータを送信し得る等である。メモリ(Memory)は、プログラムおよびデータを記憶するために使用される、端末におけるメモリデバイスである。本明細書におけるメモリは、端末の内部メモリを含み得、また、端末によってサポートされる拡張メモリをも含み得ることが理解されるべきである。メモリは、端末のオペレーティングシステムを記憶するストレージ空間を提供する。本出願の実施形態では、メモリのストレージ空間はまた、データ処理装置を記憶する。端末は、メモリにおいてデータ処理装置を実行することによって、先述した図1〜図3に図示される方法手順の対応するステップを実行する。図5を参照して示すように、データ処理装置は、以下のユニットを実行する。
道路データを収集するように構成された収集ユニット101。道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む。
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニット102。
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニット103。道路交通標識は、車線境界線および/または道路標識を含む。
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニット104。
The user interface is an interaction and information exchange medium between the user and the terminal, and specifically includes a display (Display) used for output, a keyboard (Keyboard) used for input, and the like. . It should be noted that the keyboard herein may be a physical keyboard, or a touch screen virtual keyboard, or a physical and touch screen virtual keyboard. The processor (or central processing unit (CPU)) is the computing and control core of the terminal, which can analyze the instructions at the terminal and the data of the processing terminal, e.g. the CPU is turned on by the user sent to the terminal Can be used to analyze the / off command and control the terminal to perform on / off operations, another example is that the CPU can send interaction data between the internal configurations of the terminal, etc. . A memory is a memory device in a terminal used for storing programs and data. It should be understood that the memory herein may include the terminal's internal memory and may also include extended memory supported by the terminal. The memory provides a storage space for storing the terminal operating system. In the embodiments of the present application, the storage space of the memory also stores the data processing device. The terminal executes the corresponding steps of the method procedure illustrated in FIGS. 1 to 3 by executing the data processing device in the memory. As shown with reference to FIG. 5, the data processing apparatus executes the following units.
A
Segmentation processing configured to perform region segmentation on 2D street landscape images and extract ground region images based on spatial positional relationships of 2D street landscape images, 3D point clouds, and inertial
A
A
具体的な実施では、デバイスが、セグメント化処理ユニット102を操作する場合、デバイスは具体的に以下のユニットを操作する。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニット1001。
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニット1002。
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニット1003。
地面領域画像を抽出するように構成された画像抽出ユニット1004。
In a specific implementation, when a device operates the
An
A
An
An
具体的な実施では、デバイスが、検出ユニット103を操作した場合、デバイスは、具体的に以下のユニットを操作する。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニット2001。
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニット2002。
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニット2003。
In a specific implementation, when the device operates the
A
A
A
具体的な実施では、デバイスが標識抽出ユニット2003を操作する場合、デバイスは具体的に以下のユニットを操作する。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニット2331。
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニット2332。
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニット2333。
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニット2334。
In a specific implementation, when the device operates the
A
A
A
A
具体的な実施では、デバイスが計算ユニット104を操作する場合、デバイスは具体的に以下のユニットを操作する。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニット3001。形態学的データは、位置データおよび姿勢データを含む。
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニット3002。
In a specific implementation, when the device operates the
A morphological
A coordinate
図1〜図3に図示されるデータ処理方法は、本出願の実施形態に従って、図5に図示されたデータ処理装置におけるすべてのユニットによって実行され得る。たとえば、図1に図示されるステップS101、S102、S103、およびS104は、図5に図示される収集ユニット101、セグメント化処理ユニット102、検出ユニット103、および計算ユニット104によって個別に実行され得、ステップs11、s12、およびs13は、図5に図示される確立ユニット1001、登録ユニット1002、領域セグメント化ユニット1003、および画像抽出ユニット1004によって個別に実行され得、ステップs21、s22、およびs23は、図5に図示されるバイナリ処理ユニット2001、変換ユニット2002、および標識抽出ユニット2003によって個別に実行され得、ステップs231、s232、s233およびs234は、図5に図示される第1の抽出ユニット2331、反応処理ユニット2332、第2の抽出ユニット2333、および組合せ処理ユニット2334によって個別に実行され得、ステップs31およびs32は、図5に図示される形態学的データ取得ユニット3001および座標発見ユニット3002によって個別に実行され得る。
The data processing method illustrated in FIGS. 1 to 3 may be executed by all units in the data processing apparatus illustrated in FIG. 5 according to an embodiment of the present application. For example, steps S101, S102, S103, and S104 illustrated in FIG. 1 may be performed individually by
本出願の別の実施形態に従って、図5に図示されるデータ処理装置のためのシステムのユニットは、1つもしくはいくつかの他のユニットへ個別にもしくは全体的に組み合わされ得るか、または、本明細書に記載されたユニットのうちの1つ(もしくは複数)はさらに、より小さな機能の多数のユニットへ分割され得る。このように、同じ操作が実施され得、本出願の実施形態の技術的効果の実施は影響されない。先述したユニットは、論理的な機能に基づいて分割される。実際の適用例では、1つのユニットの機能はまた、多数のユニットによって実施され得るか、または、多数のユニットの機能が、1つのユニットによって実施される。本出願の他の実施形態では、端末デバイスは、他のモジュールを含み得る。しかしながら、実際の適用例では、これら機能はまた、別のユニットによって協調的に実施され得、多数のユニットによって協調的に実施され得る。 In accordance with another embodiment of the present application, the units of the system for the data processing apparatus illustrated in FIG. 5 may be combined individually or entirely into one or several other units, or the book One (or more) of the units described in the specification can be further divided into multiple units of smaller functionality. In this way, the same operations can be performed and the implementation of the technical effects of the embodiments of the present application is not affected. The aforementioned units are divided based on logical functions. In practical applications, the functions of one unit can also be performed by multiple units, or the functions of multiple units are performed by one unit. In other embodiments of the present application, the terminal device may include other modules. However, in practical applications, these functions can also be performed cooperatively by different units and can be performed cooperatively by multiple units.
本出願の別の実施形態に従って、図5に図示されるデータ処理装置が構築され得、データ処理方法は、中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)等を含むプロセシング素子およびメモリ素子、たとえば、コンピュータの汎用コンピューティングデバイスにおいて、図1に図示されるデータ処理方法を実行し得るコンピュータプログラム(プログラムコードを含む)を実行することによって、本出願の実施形態に従って実施され得る。コンピュータプログラムは、たとえば、コンピュータ読取可能な記録媒体に記録され得、コンピュータ読取可能な記録媒体を使用することによって、先述したコンピューティングデバイスへロードされ得、コンピューティングデバイスにおいて実行され得る。 According to another embodiment of the present application, the data processing device illustrated in FIG. 5 may be constructed, and the data processing method includes a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), etc. In accordance with an embodiment of the present application by executing a computer program (including program code) capable of executing the data processing method illustrated in FIG. 1 in a processing element and memory element including, for example, a general purpose computing device of a computer Can be implemented. The computer program can be recorded, for example, on a computer readable recording medium, can be loaded into the computing device described above by using a computer readable recording medium, and can be executed on the computing device.
本出願の実施形態は、この方法と同じであるデータ処理装置を提供する。2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを収集した後、2次元街路風景画像における領域セグメント化を実行し、3次元ポイントクラウドおよび慣性ナビゲーションデータを使用することによって地面領域画像を抽出することと、地面領域画像における少なくとも1つのターゲット道路交通標識を検出し、ターゲット道路交通標識の3次元座標を反転することと。3次元ポイントクラウドのポイントクラウドが、疎である、オクルージョンが生じている、欠落している等の場合に検出結果が影響を受けることが回避され得る。なぜなら、3次元ポイントクラウドではなく、2次元街路風景画像から、道路交通標識が検出され、取得されるからである。それに加えて、慣性ナビゲーションデータおよび3次元ポイントクラウドを使用することによって、2次元街路風景画像における領域セグメント化を正確に実行し、2次元街路風景画像を検出し、抽出することによって、検出結果の精度と、データ処理の実用性とが効果的に向上され得る。 Embodiments of the present application provide a data processing apparatus that is the same as this method. After collecting 2D street landscape image, 3D point cloud, and inertial navigation data, perform area segmentation on 2D street landscape image and use 3D point cloud and inertial navigation data to Extracting, detecting at least one target road traffic sign in the ground area image, and inverting the three-dimensional coordinates of the target road traffic sign. It can be avoided that the detection result is affected when the point cloud of the three-dimensional point cloud is sparse, occlusion occurs, missing, or the like. This is because a road traffic sign is detected and acquired not from a 3D point cloud but from a 2D street landscape image. In addition, by using inertial navigation data and 3D point cloud, segmentation of 2D street landscape images is performed accurately, and 2D street landscape images are detected and extracted. Accuracy and practicality of data processing can be effectively improved.
本出願の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せを使用することによって実施され得ることが理解されるべきである。先述した実施では、複数のステップまたは方法が、メモリに記憶され適切な命令実行システムによって実行されるソフトウェアまたはファームウェアを使用することによって実施され得る。たとえば、別の実施におけるものと同じように、実施するためにハードウェアを使用するのであれば、この分野で知られた以下の技術、すなわち、デジタル信号のための論理機能を実施するために使用される論理ゲート回路のディスクリート論理回路、組合せの論理ゲート回路の適切な特定の集積回路、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)等のうちの任意の1つまたはそれらの組合せが、実施するために使用され得る。 It should be understood that each part of the present application can be implemented by using hardware, software, firmware, or combinations thereof. In the implementation described above, multiple steps or methods may be implemented by using software or firmware stored in memory and executed by a suitable instruction execution system. For example, if you use hardware to implement, as in another implementation, use the following techniques known in the art: logic functions for digital signals Any one or combination of discrete logic circuits to be used, suitable specific integrated circuits of combination logic gate circuits, programmable gate arrays (PGA), field programmable gate arrays (FPGA), etc. Can be used to implement.
当業者であれば、この実施形態における方法の処理のうちのすべてまたはいくつかが、関連するハードウェアに対して命令するコンピュータプログラムによって実施され得ることを理解し得る。プログラムは、コンピュータ読取可能な記憶媒体に記憶され得る。プログラムが実行された場合、実施形態における方法の処理が実行される。それに加えて、本願の実施形態における機能ユニットが、1つの処理モジュールへ統合され得るか、または、ユニットの各々が、物理的に単独で存在し得るか、または、2つ以上のユニットが、1つのモジュールへ統合される。統合されたモジュールは、ハードウェアまたはソフトウェア機能モジュールの形態で実施され得る。ソフトウェア機能モジュールの形態で実施され、独立した製品として販売または使用されるのであれば、統合されたモジュールはまた、コンピュータ読取可能な記憶媒体に記憶され得る。記憶媒体は、磁気ディスク、光ディスク、読取専用メモリ(Read-Only Memory、ROM)またはランダムアクセスメモリ(Random Access Memory、RAM)等であり得る。 One skilled in the art can appreciate that all or some of the processing of the methods in this embodiment can be implemented by a computer program that instructs the associated hardware. The program can be stored in a computer-readable storage medium. When the program is executed, the process of the method in the embodiment is executed. In addition, the functional units in the embodiments of the present application can be integrated into one processing module, or each of the units can be physically present alone, or two or more units can be Integrated into one module. The integrated module may be implemented in the form of a hardware or software function module. If implemented in the form of a software function module and sold or used as an independent product, the integrated module can also be stored on a computer-readable storage medium. The storage medium may be a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM), a random access memory (Random Access Memory, RAM), or the like.
上記で開示されたものは単に、本出願の例示的な実施形態であり、本出願の保護範囲を限定することは当然ながら意図されていない。したがって、本出願の特許請求の範囲に従ってなされた等価な変形は、本出願の範囲内にあるものとする。 What has been disclosed above are merely exemplary embodiments of the present application and are of course not intended to limit the protection scope of the present application. Accordingly, equivalent modifications made in accordance with the claims of this application are intended to be within the scope of this application.
101 収集ユニット
102 セグメント化処理ユニット
103 検出ユニット
104 計算ユニット
1001 確立ユニット
1002 登録ユニット
1003 領域セグメント化ユニット
1004 画像抽出ユニット
2001 バイナリ処理ユニット
2002 変換ユニット
2003 標識抽出ユニット
2331 第1の抽出ユニット
2332 反応処理ユニット
2333 第2の抽出ユニット
2334 組合せ処理ユニット
3001 形態学的データ取得ユニット
3002 座標発見ユニット
101 collection unit
102 Segmentation processing unit
103 detection unit
104 calculation units
1001 Established unit
1002 Registered unit
1003 area segmentation unit
1004 Image extraction unit
2001 Binary processing unit
2002 Conversion unit
2003 Label extraction unit
2331 1st extraction unit
2332 Reaction processing unit
2333 2nd extraction unit
2334 Combination processing unit
3001 Morphological data acquisition unit
3002 Coordinate discovery unit
Claims (15)
前記2次元街路風景画像における領域セグメント化を実行し、前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、ステップと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップと
を含む、データ処理方法。 Collecting road data, the road data comprising a 2D street landscape image, a 3D point cloud, and inertial navigation data; and
Performing region segmentation in the 2D street landscape image, extracting a ground region image based on the spatial positional relationship of the 2D street landscape image, the 3D point cloud, and the inertial navigation data;
Detecting at least one target road traffic sign in the ground area image, wherein the at least one target road traffic sign comprises a lane boundary and / or a road sign;
Calculating a three-dimensional coordinate of the at least one target road traffic sign based on the spatial positional relationship of the two-dimensional street scene image, the three-dimensional point cloud, and the inertial navigation data. .
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
前記慣性ナビゲーションの前記座標系に基づいて、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間に登録するステップと、
登録された3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行し、前記地面領域画像を抽出するステップと
を含む、請求項1に記載の方法。 Performing the region segmentation in the 2D street landscape image, and extracting the ground region image based on the spatial positional relationship of the 2D street landscape image, the 3D point cloud, and the inertial navigation data,
Establishing a coordinate system for inertial navigation in a three-dimensional space according to the inertial navigation data;
Registering the 3D point cloud and the 2D street landscape image in the 3D space based on the coordinate system of the inertial navigation;
The method according to claim 1, further comprising: performing the region segmentation on the two-dimensional street scene image by using a registered three-dimensional point cloud to extract the ground region image.
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するステップと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップと
を含む、請求項1または2に記載の方法。 Detecting the at least one target road traffic sign in the ground area image,
Performing binary processing on the ground region image to obtain a binary ground region image;
Performing an orthographic transformation to the binary ground region image to generate a ground orthographic image;
Extracting at least one road traffic sign from the orthographic projection image.
前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するステップと、
前記干渉画像を、前記地面正射投影画像において反応するためのバイナリマスクとして見なすステップと、
前記画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
前記少なくとも1つのターゲット道路交通標識を取得するために抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせるステップと
を含む、請求項3に記載の方法。 Said step of extracting at least one road traffic sign from said ground orthographic image,
Extracting at least one first road traffic sign from the ground orthographic image and extracting an interference image by using an image recognition method;
Viewing the interference image as a binary mask for reacting in the orthographic image of the ground;
Extracting at least one second road traffic sign from the reacted ground orthographic image by using the image recognition method;
4. The method of claim 3, comprising combining the extracted first road traffic sign and the second road traffic sign to obtain the at least one target road traffic sign.
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するステップであって、前記形態学的データは、位置データおよび姿勢データを備える、ステップと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するステップと
を含む、請求項3に記載の方法。 Calculating the three-dimensional coordinates of the at least one target road traffic sign based on the spatial positional relationship of the two-dimensional street landscape image, the three-dimensional point cloud, and the inertial navigation data;
Obtaining morphological data of the orthographic projection image in the coordinate system of inertial navigation, the morphological data comprising position data and attitude data;
And finding the three-dimensional coordinates of the at least one target road traffic sign according to the morphological data.
前記2次元街路風景画像における領域セグメント化を実行し、前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、前記道路交通標識は、車線境界線および/または道路標識を備える、検出ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットと
を備える、データ処理装置。 A collection unit configured to collect road data, the road data comprising a 2D street landscape image, a 3D point cloud, and inertial navigation data;
It is configured to perform region segmentation on the 2D street landscape image and extract a ground region image based on a spatial positional relationship of the 2D street landscape image, the 3D point cloud, and the inertial navigation data. Segmented processing units,
A detection unit configured to detect at least one target road traffic sign in the ground area image, the road traffic sign comprising a lane boundary and / or a road sign;
A calculation unit configured to calculate three-dimensional coordinates of the at least one target road traffic sign based on the spatial positional relationship of the two-dimensional street scene image, the three-dimensional point cloud, and the inertial navigation data; A data processing apparatus.
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
前記慣性ナビゲーションの前記座標系に基づいて、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間に登録するように構成された登録ユニットと、
登録された3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行するように構成された領域セグメント化ユニットと、
前記地面領域画像を抽出するように構成された画像抽出ユニットと
を備える、請求項6に記載のデータ処理装置。 The segmentation processing unit is
An establishment unit configured to establish a coordinate system for inertial navigation in a three-dimensional space according to the inertial navigation data;
A registration unit configured to register the 3D point cloud and the 2D street landscape image in the 3D space based on the coordinate system of the inertial navigation;
An area segmentation unit configured to perform the area segmentation in the 2D street landscape image by means of a registered 3D point cloud;
7. The data processing device according to claim 6, comprising an image extraction unit configured to extract the ground area image.
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットと
を備える、請求項6または7に記載のデータ処理装置。 The detection unit is
A binary processing unit configured to perform binary processing on the ground region image to obtain a binary ground region image;
A transform unit configured to perform an orthographic projection to the binary ground region image to generate a ground orthographic image;
8. The data processing device according to claim 6, further comprising a sign extraction unit configured to extract at least one road traffic sign from the orthographic projection image.
前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニットと、
前記干渉画像を、前記地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニットと、
前記画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニットと
を備える、請求項8に記載のデータ処理装置。 The label extraction unit includes:
A first extraction unit configured to extract an interference image by extracting at least one first road traffic sign from the ground orthographic image and using an image recognition method;
A reaction processing unit configured to view the interference image as a binary mask for reacting in the ground orthographic image;
A second extraction unit configured to extract at least one second road traffic sign from the reacted ground orthographic image by using the image recognition method;
9. A combination processing unit configured to combine the first road traffic sign extracted to obtain at least one target road traffic sign and the second road traffic sign. Data processing equipment.
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、前記形態学的データは、位置データおよび姿勢データを備える、形態学的データ取得ユニットと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するように構成された座標発見ユニットと
を備える、請求項8に記載のデータ処理装置。 The calculation unit is
A morphological data acquisition unit configured to acquire morphological data of the ground orthographic image in a coordinate system of inertial navigation, the morphological data comprising position data and attitude data; A morphological data acquisition unit;
9. A data processing apparatus according to claim 8, comprising: a coordinate finding unit configured to find the three-dimensional coordinates of the at least one target road traffic sign according to the morphological data.
道路データを収集するように構成された収集ユニットであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、収集ユニットと、
前記2次元街路風景画像における領域セグメント化を実行し、前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、前記道路交通標識は、車線境界線および/または道路標識を備える、検出ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットと
を備える、端末。 A terminal comprising a data processing device, wherein the data processing device is
A collection unit configured to collect road data, the road data comprising a 2D street landscape image, a 3D point cloud, and inertial navigation data;
It is configured to perform region segmentation on the 2D street landscape image and extract a ground region image based on a spatial positional relationship of the 2D street landscape image, the 3D point cloud, and the inertial navigation data. Segmented processing units,
A detection unit configured to detect at least one target road traffic sign in the ground area image, the road traffic sign comprising a lane boundary and / or a road sign;
A calculation unit configured to calculate three-dimensional coordinates of the at least one target road traffic sign based on the spatial positional relationship of the two-dimensional street scene image, the three-dimensional point cloud, and the inertial navigation data; Comprising a terminal.
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
前記慣性ナビゲーションの前記座標系に基づいて、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間に登録するように構成された登録ユニットと、
登録された3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行するように構成された領域セグメント化ユニットと、
前記地面領域画像を抽出するように構成された画像抽出ユニットと
を備える、請求項11に記載の端末。 The segmentation processing unit is
An establishment unit configured to establish a coordinate system for inertial navigation in a three-dimensional space according to the inertial navigation data;
A registration unit configured to register the 3D point cloud and the 2D street landscape image in the 3D space based on the coordinate system of the inertial navigation;
An area segmentation unit configured to perform the area segmentation in the 2D street landscape image by means of a registered 3D point cloud;
12. The terminal according to claim 11, comprising an image extraction unit configured to extract the ground area image.
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットと
を備える、請求項11または12に記載の端末。 The detection unit is
A binary processing unit configured to perform binary processing on the ground region image to obtain a binary ground region image;
A transform unit configured to perform an orthographic projection to the binary ground region image to generate a ground orthographic image;
13. A terminal according to claim 11 or 12, comprising a sign extraction unit configured to extract at least one road traffic sign from the ground orthographic image.
前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニットと、
前記干渉画像を、前記地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニットと、
前記画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニットと
を備える、請求項13に記載の端末。 The label extraction unit includes:
A first extraction unit configured to extract an interference image by extracting at least one first road traffic sign from the ground orthographic image and using an image recognition method;
A reaction processing unit configured to view the interference image as a binary mask for reacting in the ground orthographic image;
A second extraction unit configured to extract at least one second road traffic sign from the reacted ground orthographic image by using the image recognition method;
The combination processing unit configured to combine the first road traffic sign and the second road traffic sign extracted to obtain at least one target road traffic sign. Terminal.
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、前記形態学的データは、位置データおよび姿勢データを備える、形態学的データ取得ユニットと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するように構成された座標発見ユニットと
を備える、請求項13に記載の端末。 The calculation unit is
A morphological data acquisition unit configured to acquire morphological data of the ground orthographic image in a coordinate system of inertial navigation, the morphological data comprising position data and attitude data; A morphological data acquisition unit;
14. A terminal according to claim 13, comprising a coordinate finding unit configured to find the three-dimensional coordinates of the at least one target road traffic sign according to the morphological data.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610031452.5 | 2016-01-18 | ||
| CN201610031452.5A CN105719284B (en) | 2016-01-18 | 2016-01-18 | A kind of data processing method, device and terminal |
| PCT/CN2016/112671 WO2017124901A1 (en) | 2016-01-18 | 2016-12-28 | Information processing method, device, and terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018523865A true JP2018523865A (en) | 2018-08-23 |
| JP7034530B2 JP7034530B2 (en) | 2022-03-14 |
Family
ID=56147331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017565896A Active JP7034530B2 (en) | 2016-01-18 | 2016-12-28 | Information processing methods, devices, and terminals |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US10712747B2 (en) |
| EP (1) | EP3407294B1 (en) |
| JP (1) | JP7034530B2 (en) |
| KR (1) | KR102003152B1 (en) |
| CN (1) | CN105719284B (en) |
| MY (1) | MY188758A (en) |
| WO (1) | WO2017124901A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020090428A1 (en) * | 2018-10-30 | 2020-05-07 | 三菱電機株式会社 | Geographic object detection device, geographic object detection method, and geographic object detection program |
| WO2023286217A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | Position detection device, position detection method, and position detection program |
Families Citing this family (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105719284B (en) * | 2016-01-18 | 2018-11-06 | 腾讯科技（深圳）有限公司 | A kind of data processing method, device and terminal |
| US10683034B2 (en) | 2017-06-06 | 2020-06-16 | Ford Global Technologies, Llc | Vehicle remote parking systems and methods |
| US10585430B2 (en) | 2017-06-16 | 2020-03-10 | Ford Global Technologies, Llc | Remote park-assist authentication for vehicles |
| US10775781B2 (en) | 2017-06-16 | 2020-09-15 | Ford Global Technologies, Llc | Interface verification for vehicle remote park-assist |
| US11269346B2 (en) * | 2017-06-22 | 2022-03-08 | Agjunction Llc | 3-d image system for vehicle control |
| US10580304B2 (en) | 2017-10-02 | 2020-03-03 | Ford Global Technologies, Llc | Accelerometer-based external sound monitoring for voice controlled autonomous parking |
| US10627811B2 (en) | 2017-11-07 | 2020-04-21 | Ford Global Technologies, Llc | Audio alerts for remote park-assist tethering |
| US10578676B2 (en) | 2017-11-28 | 2020-03-03 | Ford Global Technologies, Llc | Vehicle monitoring of mobile device state-of-charge |
| CN107944425A (en) * | 2017-12-12 | 2018-04-20 | 北京小米移动软件有限公司 | The recognition methods of road sign and device |
| US10814864B2 (en) | 2018-01-02 | 2020-10-27 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10737690B2 (en) | 2018-01-02 | 2020-08-11 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10583830B2 (en) | 2018-01-02 | 2020-03-10 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US11148661B2 (en) | 2018-01-02 | 2021-10-19 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10585431B2 (en) | 2018-01-02 | 2020-03-10 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10974717B2 (en) | 2018-01-02 | 2021-04-13 | Ford Global Technologies, I.LC | Mobile device tethering for a remote parking assist system of a vehicle |
| US10688918B2 (en) | 2018-01-02 | 2020-06-23 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
| US10684773B2 (en) | 2018-01-03 | 2020-06-16 | Ford Global Technologies, Llc | Mobile device interface for trailer backup-assist |
| US10747218B2 (en) | 2018-01-12 | 2020-08-18 | Ford Global Technologies, Llc | Mobile device tethering for remote parking assist |
| US10917748B2 (en) | 2018-01-25 | 2021-02-09 | Ford Global Technologies, Llc | Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning |
| US10684627B2 (en) | 2018-02-06 | 2020-06-16 | Ford Global Technologies, Llc | Accelerometer-based external sound monitoring for position aware autonomous parking |
| US11188070B2 (en) | 2018-02-19 | 2021-11-30 | Ford Global Technologies, Llc | Mitigating key fob unavailability for remote parking assist systems |
| US10507868B2 (en) | 2018-02-22 | 2019-12-17 | Ford Global Technologies, Llc | Tire pressure monitoring for vehicle park-assist |
| CN110316106B (en) * | 2018-03-30 | 2021-09-03 | 比亚迪股份有限公司 | Vehicle, display terminal system thereof and method for establishing three-dimensional terrain database through display terminal system |
| US10732622B2 (en) | 2018-04-05 | 2020-08-04 | Ford Global Technologies, Llc | Advanced user interaction features for remote park assist |
| US10793144B2 (en) | 2018-04-09 | 2020-10-06 | Ford Global Technologies, Llc | Vehicle remote park-assist communication counters |
| US10759417B2 (en) | 2018-04-09 | 2020-09-01 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| US10493981B2 (en) | 2018-04-09 | 2019-12-03 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| US10683004B2 (en) | 2018-04-09 | 2020-06-16 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
| CN109099901B (en) * | 2018-06-26 | 2021-09-24 | 中科微易(苏州)智能科技有限公司 | Full-automatic road roller positioning method based on multi-source data fusion |
| CN109271861B (en) * | 2018-08-15 | 2021-08-17 | 武汉中海庭数据技术有限公司 | Multi-scale fusion point cloud traffic signboard automatic extraction method |
| KR102146451B1 (en) * | 2018-08-17 | 2020-08-20 | 에스케이텔레콤 주식회사 | Apparatus and method for acquiring conversion information of coordinate system |
| US10384605B1 (en) | 2018-09-04 | 2019-08-20 | Ford Global Technologies, Llc | Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers |
| CN110148196B (en) | 2018-09-12 | 2022-03-25 | 腾讯大地通途（北京）科技有限公司 | Image processing method and device and related equipment |
| US10717432B2 (en) | 2018-09-13 | 2020-07-21 | Ford Global Technologies, Llc | Park-assist based on vehicle door open positions |
| US10821972B2 (en) | 2018-09-13 | 2020-11-03 | Ford Global Technologies, Llc | Vehicle remote parking assist systems and methods |
| US10529233B1 (en) | 2018-09-24 | 2020-01-07 | Ford Global Technologies Llc | Vehicle and method for detecting a parking space via a drone |
| US10967851B2 (en) | 2018-09-24 | 2021-04-06 | Ford Global Technologies, Llc | Vehicle system and method for setting variable virtual boundary |
| CN110969592B (en) * | 2018-09-29 | 2024-03-29 | 北京嘀嘀无限科技发展有限公司 | Image fusion method, automatic driving control method, device and equipment |
| US10908603B2 (en) | 2018-10-08 | 2021-02-02 | Ford Global Technologies, Llc | Methods and apparatus to facilitate remote-controlled maneuvers |
| US10628687B1 (en) | 2018-10-12 | 2020-04-21 | Ford Global Technologies, Llc | Parking spot identification for vehicle park-assist |
| US11097723B2 (en) | 2018-10-17 | 2021-08-24 | Ford Global Technologies, Llc | User interfaces for vehicle remote park assist |
| US11137754B2 (en) | 2018-10-24 | 2021-10-05 | Ford Global Technologies, Llc | Intermittent delay mitigation for remote vehicle operation |
| US10976747B2 (en) * | 2018-10-29 | 2021-04-13 | Here Global B.V. | Method and apparatus for generating a representation of an environment |
| WO2020102944A1 (en) * | 2018-11-19 | 2020-05-28 | 深圳市大疆创新科技有限公司 | Point cloud processing method and device and storage medium |
| CN110163064B (en) * | 2018-11-30 | 2022-04-05 | 腾讯科技（深圳）有限公司 | Method and device for identifying road marker and storage medium |
| KR20210102953A (en) * | 2018-12-13 | 2021-08-20 | 콘티넨탈 오토모티브 게엠베하 | Methods for detecting and modeling objects on the road surface |
| CN109901139B (en) * | 2018-12-28 | 2023-07-04 | 文远知行有限公司 | Laser radar calibration method, device, equipment and storage medium |
| US11789442B2 (en) | 2019-02-07 | 2023-10-17 | Ford Global Technologies, Llc | Anomalous input detection |
| US11195344B2 (en) | 2019-03-15 | 2021-12-07 | Ford Global Technologies, Llc | High phone BLE or CPU burden detection and notification |
| US11169517B2 (en) | 2019-04-01 | 2021-11-09 | Ford Global Technologies, Llc | Initiation of vehicle remote park-assist with key fob |
| US11275368B2 (en) | 2019-04-01 | 2022-03-15 | Ford Global Technologies, Llc | Key fobs for vehicle remote park-assist |
| WO2020243962A1 (en) * | 2019-06-06 | 2020-12-10 | 深圳市大疆创新科技有限公司 | Object detection method, electronic device and mobile platform |
| CN110648389A (en) * | 2019-08-22 | 2020-01-03 | 广东工业大学 | 3D reconstruction method and system for city street view based on cooperation of unmanned aerial vehicle and edge vehicle |
| US11455813B2 (en) * | 2019-11-14 | 2022-09-27 | Nec Corporation | Parametric top-view representation of complex road scenes |
| CN112907659A (en) * | 2019-11-19 | 2021-06-04 | 阿里巴巴集团控股有限公司 | Mobile device positioning system, method and device |
| US11584377B2 (en) * | 2019-11-21 | 2023-02-21 | Gm Cruise Holdings Llc | Lidar based detection of road surface features |
| CN111862337B (en) * | 2019-12-18 | 2024-05-10 | 北京嘀嘀无限科技发展有限公司 | Visual positioning method, visual positioning device, electronic equipment and computer readable storage medium |
| CN113091757B (en) * | 2019-12-23 | 2022-09-27 | 百度在线网络技术（北京）有限公司 | Map generation method and device |
| CN111127459B (en) * | 2019-12-30 | 2023-05-26 | 武汉理工大学 | Real-time image processing system for detecting ruts on road surface |
| CN111414809B (en) * | 2020-02-28 | 2024-03-05 | 上海牙典软件科技有限公司 | Three-dimensional pattern recognition method, device, equipment and storage medium |
| CN111144388B (en) * | 2020-04-03 | 2020-07-14 | 速度时空信息科技股份有限公司 | Monocular image-based road sign line updating method |
| CN111551976A (en) * | 2020-05-20 | 2020-08-18 | 四川万网鑫成信息科技有限公司 | Method for automatically completing abnormal positioning by combining various data |
| US11030893B1 (en) * | 2020-06-05 | 2021-06-08 | Samuel Messinger | System for reducing speed of a vehicle and method thereof |
| CN112863194B (en) * | 2021-01-20 | 2022-08-23 | 青岛以萨数据技术有限公司 | Image processing method, device, terminal and medium |
| CN112907746A (en) * | 2021-03-25 | 2021-06-04 | 上海商汤临港智能科技有限公司 | Method and device for generating electronic map, electronic equipment and storage medium |
| CN113222965B (en) * | 2021-05-27 | 2023-12-29 | 西安交通大学 | Three-dimensional observation method for discharge channel |
| US11608084B1 (en) * | 2021-08-27 | 2023-03-21 | Motional Ad Llc | Navigation with drivable area detection |
| CN114419231B (en) * | 2022-03-14 | 2022-07-19 | 幂元科技有限公司 | Traffic facility vector identification, extraction and analysis system based on point cloud data and AI technology |
| CN115578433B (en) * | 2022-09-30 | 2023-09-01 | 北京百度网讯科技有限公司 | Image processing method, device, electronic equipment and storage medium |
| CN116468870B (en) * | 2023-06-20 | 2024-01-23 | 佛山科学技术学院 | Three-dimensional visual modeling method and system for urban road |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008187347A (en) * | 2007-01-29 | 2008-08-14 | Toshiba Corp | On-vehicle navigation system, road marking identifying program and road marking identifying method |
| WO2008099915A1 (en) * | 2007-02-16 | 2008-08-21 | Mitsubishi Electric Corporation | Road/feature measuring device, feature identifying device, road/feature measuring method, road/feature measuring program, measuring device, measuring method, measuring program, measured position data, measuring terminal, measuring server device, drawing device, drawing method, drawing program, and drawing data |
| JP2009199284A (en) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | Road object recognition method |
| JP2009266003A (en) * | 2008-04-25 | 2009-11-12 | Hitachi Ltd | Object recognizing device and object recognizing method |
| JP2011233165A (en) * | 2008-08-29 | 2011-11-17 | Mitsubishi Electric Corp | Overhead view generation device, overhead view image generation method and overhead view image generation program of overhead view image generation device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005251106A (en) * | 2004-03-08 | 2005-09-15 | Mitsubishi Electric Corp | Lane recognition device |
| US8179393B2 (en) * | 2009-02-13 | 2012-05-15 | Harris Corporation | Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment |
| KR20130085235A (en) * | 2012-01-19 | 2013-07-29 | 김동용 | System for driving manless of car |
| GB2520338A (en) * | 2013-11-19 | 2015-05-20 | Nokia Corp | Automatic scene parsing |
| CN104063499A (en) * | 2014-07-04 | 2014-09-24 | 纵横皆景（北京)信息技术有限公司 | Space vector POI extracting method based on vehicle-mounted space information collection |
| CN104899858A (en) * | 2015-02-15 | 2015-09-09 | 北京联合大学 | Lane line identification method based on double-camera image fusion |
| CN104766058B (en) * | 2015-03-31 | 2018-04-27 | 百度在线网络技术（北京）有限公司 | A kind of method and apparatus for obtaining lane line |
| CN105719284B (en) * | 2016-01-18 | 2018-11-06 | 腾讯科技（深圳）有限公司 | A kind of data processing method, device and terminal |
-
2016
- 2016-01-18 CN CN201610031452.5A patent/CN105719284B/en active Active
- 2016-12-28 WO PCT/CN2016/112671 patent/WO2017124901A1/en unknown
- 2016-12-28 JP JP2017565896A patent/JP7034530B2/en active Active
- 2016-12-28 EP EP16886160.7A patent/EP3407294B1/en active Active
- 2016-12-28 KR KR1020177036734A patent/KR102003152B1/en active IP Right Grant
- 2016-12-28 MY MYPI2017704510A patent/MY188758A/en unknown
-
2018
- 2018-04-05 US US15/946,621 patent/US10712747B2/en active Active
-
2020
- 2020-06-03 US US16/892,039 patent/US11320833B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008187347A (en) * | 2007-01-29 | 2008-08-14 | Toshiba Corp | On-vehicle navigation system, road marking identifying program and road marking identifying method |
| WO2008099915A1 (en) * | 2007-02-16 | 2008-08-21 | Mitsubishi Electric Corporation | Road/feature measuring device, feature identifying device, road/feature measuring method, road/feature measuring program, measuring device, measuring method, measuring program, measured position data, measuring terminal, measuring server device, drawing device, drawing method, drawing program, and drawing data |
| JP2009199284A (en) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | Road object recognition method |
| JP2009266003A (en) * | 2008-04-25 | 2009-11-12 | Hitachi Ltd | Object recognizing device and object recognizing method |
| JP2011233165A (en) * | 2008-08-29 | 2011-11-17 | Mitsubishi Electric Corp | Overhead view generation device, overhead view image generation method and overhead view image generation program of overhead view image generation device |
Non-Patent Citations (1)
| Title |
|---|
| 石渡 要介、該３名: ""点群とカメラ画像を利用した地物認識による点群自身の位置補正 〜補正のための基礎検討〜"", 情報処理学会研究報告, vol. 2009, no. 24, JPN6019010076, 26 February 2009 (2009-02-26), JP, pages 63 - 69, ISSN: 0004002514 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020090428A1 (en) * | 2018-10-30 | 2020-05-07 | 三菱電機株式会社 | Geographic object detection device, geographic object detection method, and geographic object detection program |
| JPWO2020090428A1 (en) * | 2018-10-30 | 2021-09-02 | 三菱電機株式会社 | Feature detection device, feature detection method and feature detection program |
| JP7138718B2 (en) | 2018-10-30 | 2022-09-16 | 三菱電機株式会社 | Feature detection device, feature detection method, and feature detection program |
| US11625851B2 (en) | 2018-10-30 | 2023-04-11 | Mitsubishi Electric Corporation | Geographic object detection apparatus and geographic object detection method |
| WO2023286217A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | Position detection device, position detection method, and position detection program |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3407294B1 (en) | 2021-03-31 |
| CN105719284A (en) | 2016-06-29 |
| US10712747B2 (en) | 2020-07-14 |
| KR102003152B1 (en) | 2019-07-23 |
| US20200293058A1 (en) | 2020-09-17 |
| JP7034530B2 (en) | 2022-03-14 |
| WO2017124901A1 (en) | 2017-07-27 |
| MY188758A (en) | 2021-12-29 |
| KR20180010238A (en) | 2018-01-30 |
| EP3407294A1 (en) | 2018-11-28 |
| US20180224863A1 (en) | 2018-08-09 |
| CN105719284B (en) | 2018-11-06 |
| US11320833B2 (en) | 2022-05-03 |
| EP3407294A4 (en) | 2019-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7034530B2 (en) | Information processing methods, devices, and terminals | |
| JP6918885B2 (en) | Relative position / orientation orientation method, relative position / orientation orientation device, equipment and medium | |
| US9953461B2 (en) | Navigation system applying augmented reality | |
| CN108694882B (en) | Method, device and equipment for labeling map | |
| WO2020098316A1 (en) | Visual point cloud-based semantic vector map building method, device, and electronic apparatus | |
| CN113554698B (en) | Vehicle pose information generation method and device, electronic equipment and storage medium | |
| US20190378296A1 (en) | Method and device for positioning | |
| JP6107081B2 (en) | Image processing apparatus, image processing method, and program | |
| Li et al. | A novel system for object pose estimation using fused vision and inertial data | |
| CN110426051A (en) | A kind of lane line method for drafting, device and storage medium | |
| EP4016457A1 (en) | Positioning method and apparatus | |
| JP2009053059A (en) | Object specifying device, object specifying method, and object specifying program | |
| JP6201148B2 (en) | CALIBRATION APPARATUS, CALIBRATION METHOD, MOBILE BODY CAMERA HAVING CALIBRATION FUNCTION, AND PROGRAM | |
| JP2016157197A (en) | Self-position estimation device, self-position estimation method, and program | |
| CN103644904A (en) | Visual navigation method based on SIFT (scale invariant feature transform) algorithm | |
| CN109300143A (en) | Determination method, apparatus, equipment, storage medium and the vehicle of motion vector field | |
| CN111279354A (en) | Image processing method, apparatus and computer-readable storage medium | |
| CN104864849B (en) | Vision navigation method and device and robot | |
| JP2009076096A (en) | Object specifying device | |
| JP2019102007A (en) | Gradient estimation device, gradient estimation method, program and control system | |
| CN111353453A (en) | Obstacle detection method and apparatus for vehicle | |
| CN110298320B (en) | Visual positioning method, device and storage medium | |
| CN116952229A (en) | Unmanned aerial vehicle positioning method, device, system and storage medium | |
| JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
| JP7179687B2 (en) | Obstacle detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190325 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200616 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200616 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200625 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200629 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200710 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200720 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200914 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211018 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20211220 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220131 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7034530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |