CN111508018A - 利用v2x信息融合来执行自身车辆定位的方法及装置 - Google Patents

利用v2x信息融合来执行自身车辆定位的方法及装置 Download PDF

Info

Publication number
CN111508018A
CN111508018A CN202010017328.XA CN202010017328A CN111508018A CN 111508018 A CN111508018 A CN 111508018A CN 202010017328 A CN202010017328 A CN 202010017328A CN 111508018 A CN111508018 A CN 111508018A
Authority
CN
China
Prior art keywords
image
specific
distance
objects
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010017328.XA
Other languages
English (en)
Other versions
CN111508018B (zh
Inventor
金桂贤
金鎔重
金鹤京
南雲鉉
夫硕焄
成明哲
申東洙
呂东勋
柳宇宙
李明春
李炯樹
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111508018A publication Critical patent/CN111508018A/zh
Application granted granted Critical
Publication of CN111508018B publication Critical patent/CN111508018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3878—Hierarchical structures, e.g. layering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

本发明提供一种利用相对距离信息计算目标车辆的准确位置的方法和装置，该方法包括：步骤(a)，计算装置若通过搭载于所述目标车辆的搭载摄像头获取参照图像，则检测所述参照图像中的参照对象；步骤(b)所述计算装置参照在所述参照图像上的与所述参照对象对应的参照边界框相关的信息，计算所述参照对象与所述目标车辆之间的基于图像的参照距离；以及步骤(c)，所述计算装置(i)参照基于坐标的参照距离及所述基于图像的参照距离生成距离误差值，并且(ii)参照所述距离误差值校准所述目标车辆的目标位置信息。

Description

利用V2X信息融合来执行自身车辆定位的方法及装置
技术领域
本发明涉及利用于自动驾驶的方法及装置，更详细地说，涉及利用V2X(vehicle-to-everything；车辆对外界的信息交换)信息融合来执行自身车辆(ego-vehicle)定位的所述方法及所述装置。
背景技术
高清地图(High-Definition Map)被视为自动驾驶中重要的结构要素之一。这是由于若自动驾驶***只通过其所搭载的传感器获取的信息来运行，则可能无法提供包括显示大画面的长期规划的行车战略。其中，通过所述传感器获取的信息不准确时，可能会发生效率低和危险的情况。
但是，在生成像这样对于自动驾驶来说至关重要的高质量高清地图时，成为绊脚石之一的是，搭载于自身车辆的GPS(全球定位***；Global Positioning System)模块的不准确性，因此在所述高清地图上映射由所述自身车辆获取的信息并不是容易的事。
并且，即使制作了精确的所述高清地图，若使用所述高清地图来执行自动驾驶的自动驾驶车辆的位置没有被准确地检测出，则也有可能发生问题。其结果，在制作和使用高清地图时，车辆的定位重要，但事实上对此的研究并不多。
发明内容
技术问题
本发明的目的在于，解决所述问题。
本发明的另一目的在于，提供利用V2X信息融合来执行用于更新高清地图的自身车辆定位的方法，由此算出所述自身车辆的更准确的位置，以使在所述高清地图上更准确地映射由自身车辆获取的信息。
本发明的又一目的在于，提供执行使用所述高清地图的自动驾驶车辆的定位的方法，由此算出所述自动驾驶车辆的更准确的位置，以使顺利地实现自动驾驶。
解决问题的方案
用于实现如上所述本发明的目的并用于实现后述的本发明的特征性效果的本发明的特定构成如下。
根据本发明一实施方式，提供一种利用相对距离信息计算目标车辆的准确位置的方法，其特征在于，包括：步骤(a)，与所述目标车辆联动的计算装置若通过搭载于所述目标车辆的至少一个摄像头获取至少一个参照图像，则对所述参照图像进行至少一个对象检测运算来检测所述参照图像中的一个以上的参照对象；步骤(b)，所述计算装置参照在所述参照图像上的与各个所述参照对象对应的各个参照边界框相关的信息，来计算各个所述参照对象与所述目标车辆之间的一个以上的基于图像的各个参照距离；以及步骤(c)，所述计算装置若获取各个所述参照对象与所述目标车辆之间的一个以上的基于坐标的各个参照距离，(i)则参照所述基于坐标的参照距离及所述基于图像的参照距离生成至少一个距离误差值，(ii)并参照所述距离误差值校准(calibration)所述目标车辆的目标位置信息。
在一实施例中，在所述步骤(c)中，所述计算装置根据下述公式生成所述距离误差值，
Figure BDA0002359389750000021
Figure BDA0002359389750000022
为在所述参照对象中与第k参照对象对应的基于图像的参照距离中的一个，
Figure BDA0002359389750000023
为与所述第k参照对象对应的所述基于坐标的参照距离中的一个，wk为所述第k对象相关的权重，N为所述参照对象的数量。
在一实施例中，在所述步骤(b)中，所述计算装置对所述参照边界框进行至少一个图像距离预测运算来计算所述基于图像的参照距离，该图像距离预测运算使用所述摄像头参数相关的信息，(i)所述基于图像的参照距离中一个以上的第(1-1)特定基于图像的参照距离是，通过对第(1-1)特定参照边界框进行至少一个第(1-1)特定图像距离预测运算生成的，该第(1-1)特定图像距离预测运算追加使用通过所述参照对象中一个以上的第(1-1)特定参照对象与所述目标车辆之间的V2X通信而获取的第(1-1)特定参照对象高度信息，(ii)所述基于图像的参照距离中一个以上的第(1-2)特定基于图像的参照距离是，通过对第(1-2)特定参照边界框进行至少一个第(1-2)特定图像距离预测运算生成的，该第(1-2)特定图像距离预测运算追加使用所述参照图像中的基准点相关的信息。
在一实施例中，所述第(1-1)特定图像距离预测运算根据下述公式执行，
Figure BDA0002359389750000031
D为所述第(1-1)特定基于坐标的参照距离中的一个，f为所述摄像头的焦距，VH为与所述第(1-1)特定参照对象中的一个对应的所述第(1-1)特定参照对象高度信息中的一个，h所述第为所述第(1-1)特定参照对象中所述一个所述参照图像上的表观高度(apparent height)。
在一实施例中，所述第(1-2)特定图像距离预测运算根据下述公式执行，
Figure BDA0002359389750000032
D为所述第(1-2)特定基于坐标的参照距离中的一个，f为所述摄像头的焦距，H为所述摄像头的高度，|b-cy||b-cy|为与所述第(1-2)特定参照对象中的一个对应的所述第(1-2)特定参照边界框中一个下端边界与所述基准点之间的在所述参照图像上的表观距离。
在一实施例中，(i)所述基于坐标的参照距离中一个以上的第(2-1)特定基于坐标的参照距离是，参照通过所述参照对象中一个以上的第(2-1)特定参照对象与所述目标车辆之间的V2X通信而获取的所述第(2-1)特定参照对象位置信息及所述目标位置信息生成的，(ii)所述基于坐标的参照距离中一个以上的第(2-2)特定基于坐标的参照距离是，参照从数据库获取的第(2-2)特定参照对象位置信息及所述目标位置信息生成的。
在一实施例中，在所述步骤(a)中，所述计算装置使卷积神经网络(ConvolutionalNeural Network)对所述参照图像依次进行至少一个卷积运算、至少一个ROI(Region-Of-Interest；感兴趣区域)池化运算及至少一个FC(全连接；Fully-Connected)网络运算，从而对所述参照图像进行所述对象检测运算。
在一实施例中，在所述步骤(c)中，所述计算装置重复进行(i)调整所述目标位置信息的处理、(ii)利用所述调整的目标位置信息重新计算所述距离误差值的处理、及(iii)通过参照所述重新计算的距离误差值是否变小的信息来重新调整所述调整的目标位置信息的处理，从而校准所述目标位置信息，并生成与此对应的距离误差值最小化的校准后的目标位置信息。
在一实施例中，在所述步骤(c)中，所述计算装置一边存储用于更新高清地图(High-Definition Map)的更新用信息，一边参照所述校准后的所述目标位置信息，来记录获取所述更新用信息的位置相关的信息。
在一实施例中，所述参照对象包括(i)可进行V2X通信的一个以上的移动对象及(ii)一个以上的固定对象中的至少一部分，所述固定对象处于(ii-1)可进行V2X通信或(ii-2)在数据库储存所述固定对象相关的信息的状态，所述参照对象包括与所述目标车辆相距临界距离以内的一个以上的周边车辆、一个以上的交通标示牌、一个以上的信号灯及一个以上的路面标线中的至少一部分。
在一实施例中，在所述步骤(c)中，所述计算装置参照所述校准后的目标位置信息，计算在高清地图上的所述目标车辆的位置，并从所述高清地图获取与所述目标车辆相距临界距离以内的一个以上的对象相关的信息，由此支援所述目标车辆的自动驾驶。
根据本发明的另一实施方式，提供一种利用相对距离信息计算目标车辆的准确位置的装置，其特征在于，包括：至少一个存储器，其用于存储指令；以及至少一个处理器，其构成为实施所述指令，该指令用于执行如下处理：处理(I)，若通过搭载于所述目标车辆的至少一个摄像头获取至少一个参照对象，则对所述参照对象进行至少一个对象检测运算来检测所述参照图像中的一个以上的参照对象；处理(II)，参照在所述参照图像上与各个所述参照对象对应的各个参照边界框相关的信息，来计算所述参照对象与所述目标车辆之间的一个以上的基于图像的各个参照距离；以及处理(III)，若获取各个所述参照对象与所述目标车辆之间的一个以上基于坐标的各个参照距离，(i)则参照所述基于坐标的参照距离及所述基于图像的参照距离生成至少一个距离误差值，(ii)并参照所述距离误差值校准(calibration)所述目标车辆的目标位置信息。
在一实施例中，在所述处理(III)中，所述距离误差值根据下述公式所述处理器生成，
Figure BDA0002359389750000051
Figure BDA0002359389750000052
为在所述参照对象中与第k参照对象对应的基于图像的参照距离中的一个，
Figure BDA0002359389750000053
为与所述第k参照对象对应的所述基于坐标的参照距离中的一个，wk为与所述第k对象相关的权重，N为所述参照对象的数量。
在一实施例中，在所述处理(II)中，所述处理器对所述参照边界框进行至少一个图像距离预测运算来计算所述基于图像的参照距离，该图像距离预测运算使用所述摄像头参数相关的信息，(i)所述基于图像的参照距离中一个以上的第(1-1)特定基于图像的参照距离是，通过对第(1-1)特定参照边界框进行至少一个第(1-1)特定图像距离预测运算生成的，该第(1-1)特定图像距离预测运算追加使用通过所述参照对象中一个以上的第(1-1)特定参照对象与所述目标车辆之间的V2X通信而获取的第(1-1)特定参照对象高度信息，(ii)所述基于图像的参照距离中一个以上的第(1-2)特定基于图像的参照距离是，通过对第(1-2)特定参照边界框进行至少一个第(1-2)特定图像距离预测运算生成的，该第(1-2)特定图像距离预测运算追加使用所述参照图像中的基准点相关的信息。
在一实施例中，所述第(1-1)特定图像距离预测运算根据下述公式执行，
Figure BDA0002359389750000054
D为所述第(1-1)特定基于图像的参照距离中的一个，ff为所述摄像头的焦距，VH为与所述第(1-1)特定参照对象中的一个对应的所述第(1-1)特定参照对象高度信息中的一个，h为所述第(1-1)特定参照对象中所述一个所述参照图像上的表观高度。
在一实施例中，所述第(1-2)特定图像距离预测运算根据下述公式执行，
Figure BDA0002359389750000061
D为所述第(1-2)特定基于坐标的参照距离中的一个，f为所述摄像头的焦距，H为所述摄像头的高度，|b-cy|为与所述第(1-2)特定参照对象中的一个对应的所述第(1-2)特定参照边界框中一个下端边界与所述基准点之间的在所述参照图像上的表观距离。
在一实施例中，(i)所述基于坐标的参照距离中一个以上的第(2-1)特定基于坐标的参照距离是，参照通过所述参照对象中一个以上的第(2-1)特定参照对象与所述目标车辆之间的V2X通信而获取的所述第(2-1)特定参照对象位置信息及所述目标位置信息生成的，(ii)所述基于坐标的参照距离中一个以上的第(2-2)特定基于坐标的参照距离是，参照从数据库获取的第(2-2)特定参照对象位置信息及所述目标位置信息生成的。
在一实施例中，在所述处理(I)中，所述处理器使卷积神经网络对所述参照图像依次进行至少一个卷积运算、至少一个ROI池化运算及至少一个FC网络运算，从而对所述参照图像进行所述对象检测运算。
在一实施例中，在所述处理(III)中，所述处理器重复进行(i)调整所述目标位置信息的处理、(ii)利用所述调整的目标位置信息重新计算所述距离误差值的处理、及(iii)通过参照所述重新计算的距离误差值是否变小的信息来重新调整所述调整的目标位置信息的处理，从而校准所述目标位置信息，并生成与所述目标位置相对应的距离误差值最小化的校准后的目标位置信息。
在一实施例中，在所述处理(III)中，所述处理器一边存储用于更新高清地图的更新用信息，一边参照所述校准后的所述目标位置信息，来记录获取所述更新用信息的位置相关的信息。
在一实施例中，所述参照对象包括(i)可进行V2X通信的一个以上的移动对象及(ii)一个以上的固定对象中的至少一部分，所述固定对象处于(ii-1)可进行V2X通信或(ii-2)在数据库储存所述固定对象相关的信息的状态，所述参照对象包括与所述目标车辆相距临界距离以内的一个以上的周边车辆、一个以上的交通标示牌、一个以上的信号灯及一个以上的路面标线中的至少一部分。
在一实施例中，在所述处理(III)中，所述处理器参照所述校准后的目标位置信息，计算在高清地图上的所述目标车辆的位置，并从所述高清地图获取与所述目标车辆相距临界距离以内的一个以上的对象相关的信息，由此支援所述目标车辆的自动驾驶。
此外，本发明还提供计算机可读取记录介质，所述计算机可读取记录介质用于记录执行本发明的方法用的计算机程序。
发明的效果
本发明提供一种利用V2X信息融合来执行用于更新高清地图的自身车辆定位的方法，从而能够具有如下效果：算出所述自身车辆的更准确位置，以使在所述高清地图上更准确地映射(mapping)由自身车辆获取的信息。
并且，本发明提供一种使用所述高清地图来执行自动驾驶车辆定位的方法，从而能够具有如下效果：算出所述自动驾驶车辆的更准确位置，以使顺利地实现自动驾驶。
附图说明
本发明的所述及其他目的和特征，将通过在以下与附图一同说明的优选实施例而变得更清晰。
为了用于说明本发明的实施例而附加的以下附图，仅是本发明的实施例中的一部分，对本发明所属技术领域中具有普通技术的人员来说(以下，称为“本领域技术人员”)，在不进行创造性劳动的情况下，能够以所述附图为基础获取其他附图。
图1为简要示出根据本发明一实施例的利用V2X信息融合来执行自身车辆定位方法的计算装置的结构的图。
图2为简要示出根据本发明一实施例的利用所述V2X信息融合的执行所述自身车辆定位方法的流程的图。
图3为简要示出根据本发明一实施例的利用所述V2X信息融合来执行所述自身车辆定位方法所利用的卷积神经网络(Convolutional Neural Network)的结构的图。
图4为简要示出根据本发明一实施例的利用所述V2X信息融合来执行所述自身车辆定位方法所利用的、计算自身车辆与周边对象之间距离的方式的图。
具体实施方式
后述的对于本发明的详细说明中，为了使本发明的目的、技术性解决方法及优点清晰，将参照以能够实施本发明的特定实施例作为例子示出的附图。对这些实施例进行详细说明，足以使本发领域技术人员能够实施本发明。
并且，在本发明的说明书及权利要求书中，“包括”等单词及其变形并不意味着排除其他技术特征、附加特征、结构要素或步骤。对本领域技术人员来说，本发明的其他目的、优点及特征中的一部分从本说明书中呈现，而一部分从本发明的实施中呈现。以下的例示及附图作为实施例提供，并非用于限定本发明。
尤其是本发明包括本说明书中所示的实施例的所有可能的组合。应理解的是，本发明的各种实施例虽然并不相同，但是也并非相互排斥。例如，在此记载的特定形状、结构及特征在不超出本发明的精神及范围的情况下，能够以其他实施例来实现。并且，应理解的是，各个揭示的实施例内的个别结构要素的位置或配置在不超出本发明的精神及范围的情况下能够进行变更。因此，后述的详细说明并不具有限定含义，关于本发明的范围，若适当说明，则除与其权利要求所主张的内容等同的所有范围之外，还应由所附的权利要求书来限定。附图中，类似的附图标记是指在各个侧面上相同或类似的功能。
在本发明中提及的各种图像可以包括铺装道路及非铺装道路相关图像，在此情况下，可以象征能够在道路环境出现的物体(例如，汽车、人、动物、植物、物件、建筑物、如飞机或无人机的飞行体、其他障碍物)，但并不局限于此，在本发明中提及的各种图像可以为与道路无关的图像(例如，与非铺装道路、巷道、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内有关的图像)，在此情况下，可以象征能够在非铺装道路、巷道、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中出现的物体(例如，汽车、人、动物、植物、物件、建筑物、如飞机或无人机的飞行体、其他障碍物)，但并不局限于此。
以下，为使本领域技术人员能够容易实施本发明，参照附图详细说明本发明的优选实施例。
图1为简要示出根据本发明一实施例利用V2X信息融合来执行自身车辆定位方法的计算装置的结构的图。
参照图1，所述计算装置100包括通信部110、存储器115及处理器120。所述计算装置100的输入输出及运算过程分别由所述通信部110及所述处理器120实现。只是在图1中，省略了所述通信部110及所述处理器120的具体连接关系。在此情况下，所述存储器115是处于存储后述各种指令的状态，所述处理器120被设置为执行存储于所述存储器115的指令，而所述处理器120执行后面说明的指令，由此执行本发明的处理。尽管如此描述了所述计算装置100，但所述计算装置100并非排除用于实施本发明的介质、处理器、存储器或其他计算结构要素组合的形式的集成处理器。
如上所述的所述计算装置100可搭载于目标车辆或与所述目标车辆联动的服务器。其中，所述目标车辆可以是获取为更新高清地图(High-Definition Map)而利用的信息的或使用所述高清地图执行自动驾驶的自动驾驶车辆。
以上说明根据本发明一实施例的所述计算装置100的结构。以下参照图2，说明本发明的所述自身车辆定位方法。
图2为简要示出根据本发明一实施例的利用所述V2X信息融合的所述自身车辆定位方法的流程的图。
参照图2，简要可知所述自身车辆定位方法的流程。首先，所述计算装置100通过搭载于所述目标车辆的至少一个摄像头获取至少一个参照图像。之后，所述计算装置100对所述参照图像进行至少一个对象检测运算来检测所述参照图像中的一个以上的参照对象(S01)。之后，在所述参照图像上，所述计算装置100参照与各个所述参照对象所对应的各个参照边界框相关的信息，计算各个所述参照对象与所述目标车辆之间的一个以上的基于图像的各个参照距离(S02)。最后，所述计算装置100参照后面说明的基于坐标的参照距离及所述基于图像的参照距离生成至少一个距离误差值，并参照所述距离误差值校准(calibration)所述目标车辆的目标位置信息(S03)。
以下，更具体地说明本发明的所述自身车辆定位方法。
首先，所述计算装置100若通过所述摄像头获取到所述参照图像，则利用所述计算装置100所包含的卷积神经网络对所述参照图像进行所述对象检测运算。为了说明所述卷积神经网络的操作，参照图3。
图3为简要示出根据本发明一实施例的利用所述V2X信息融合来执行所述自身车辆定位方法中所利用的卷积神经网络的结构的图。
参照图3，所述卷积神经网络200包括卷积层210、ROI(感兴趣区域；Region-Of-Interest)池化层220及FC(Fully-Connected；全连接)层230，可以确认所述卷积神经网络200与RPN(区域建议网络；Region Proposal Network)240联动。在此情况下，所述计算装置100使所述卷积神经网络200所包含的所述卷积层210对所述参照图像进行至少一个卷积运算而生成参照特征图。之后，所述计算装置100使所述RPN240在所述参照图像上检测被预测为所述对照对象所处的位置的一个以上的参照ROI，并使所述ROI池化层220对所述参照特征图进行至少一个的ROI池化运算，从而对与所述参照ROI对应的所述参照特征图上的值进行池化。之后，所述计算装置100使所述FC层230对所述池化后的值进行至少一个FC网络运算，从而生成与各个所述参照对象所对应的各个所述参照边界框相关的位置信息及类信息。通过像这样的处理，能够实现所述对象检测运算。
之后，所述计算装置100计算各个所述参照对象与所述目标车辆之间的所述基于图像的各个参照距离。以下说明计算所述基于图像的参照距离的具体方法。
所述计算装置100对所述参照边界框进行至少一个图像距离预测运算来计算所述基于图像的参照距离，所述图像距离预测运算使用与所述摄像头的参数相关的信息，在此情况下，根据各个所述参照边界框所包含的各个所述参照对象所属的类别，对各个所述参照边界框进行不同的所述图像距离预测运算。
即，通过对第(1-1)特定参照边界框进行至少一个第(1-1)特定图像距离预测运算而生成所述基于图像的参照距离中一个以上的第(1-1)特定基于图像的参照距离，该第(1-1)特定图像距离预测运算追加使用通过所述参照对象中一个以上的第(1-1)特定参照对象与所述目标车辆之间的V2X通信而获取的第(1-1)特定参照对象高度信息。作为一例，所述第(1-1)特定参照对象是高度高于临界值的较大对象的一种，而不是扁平的对象。根据所述例，所述第(1-1)特定参照对象包括与所述目标车辆相距小于临界距离的周边车辆、交通标示牌及信号灯中的至少一部分。像这样的与第(1-1)特定参照对象对应的所述第(1-1)特定图像距离预测运算，通过下述公式来执行。
Figure BDA0002359389750000111
其中，D为所述第(1-1)特定基于图像的参照距离中的一个，f为所述摄像头的焦距。并且，VH为与所述第(1-1)特定参照对象中的一个对应的所述第(1-1)特定参照对象高度信息中的一个，h为所述第(1-1)特定参照对象中所述一个所述参照图像上的表观高度(apparent height)。所述表观高度通过利用所述第(1-1)特定参照边界框所包括的所述第(1-1)特定参照边界框中的一个竖直高度相关的信息来获取。为说明如上所述的所述第(1-1)特定图像距离预测运算的处理，参照图4。
图4为简要示出根据本发明一实施例的利用所述V2X信息融合来执行所述自身车辆定位方法所利用的、计算自身车辆与周边对象之间距离的方式的图。
参照图4，能够确认(i)所述第(1-1)特定参照对象中与所述一个对应的所述第(1-1)特定参照对象高度信息中的所述一个、及(ii)所述第(1-1)特定参照对象高度信息中反映所述一个的所述表观高度。利用这些信息及值，计算所述第(1-1)特定基于图像的参照距离。对于这些处理，还可以参照与图像处理相关的现有技术，有助于本领域技术人员容易地理解。
接着，通过对第(1-2)特定参照边界框进行第(1-2)特定图像距离预测运算来生成所述基于图像的参照距离中一个以上的第(1-2)特定基于图像的参照距离，该第(1-2)特定图像距离预测运算追加使用所述参照图像中的基准点相关信息。在此情况下，所述第(1-2)特定基于图像的参照距离与一个以上的第(1-2)特定参照对象对应，作为一例，所述第(1-2)特定参照对象是高度小于临界值的扁平对象的一种。根据所述例，所述第(1-2)特定参照对象可能是画在道路上的路面标线。并且，作为一例，所述基准点可能是所述参照图像的中心点。在此情况下，所述第(1-2)特定图像距离预测运算通过下述公式执行。
Figure BDA0002359389750000121
其中，D为所述第(1-2)特定基于坐标的参照距离中的一个，f为所述摄像头的焦距。并且，H为所述摄像头的高度，|b-cy||b-cy|是与所述第(1-2)特定参照对象中的一个对应的所述第(1-2)特定参照边界框中一个下端边界与所述基准点之间的在所述参照图像上的表观距离。通过执行利用所述公式的所述第(1-2)特定图像距离预测运算，来生成所述第(1-2)特定基于图像的参照距离。
以上说明了生成所述基于图像的参照距离的方式。以下说明计算与所述基于图像的参照距离一同使用的所述基于坐标的参照距离的方式。在此情况下，根据各个所述参照对象所属的类别的不同，分别计算各个所述基于坐标的参照距离。
即，所述基于坐标的参照距离中一个以上的第(2-1)特定基于坐标的参照距离是，参照通过所述参照对象中一个以上的第(2-1)特定参照对象与所述目标车辆之间的V2X通信而获取的所述第(2-1)特定参照对象位置信息及所述目标位置信息生成的。作为一例，所述第(2-1)特定参照对象是可与车辆一同移动的对象的一种，并且是与此相关的信息被实时更新的对象。在此情况下，所述计算装置100通过所述V2X通信获取所述第(2-1)特定参照对象位置信息，并通过执行如欧式距离(Euclidean distance)的任意距离计算运算来计算所述第(2-1)特定基于坐标的参照距离。只是根据情况的不同，所述第(2-1)特定参照对象无需是需如上所述的可移动的对象。作为其他例，只要能够进行所述V2X通信，则任何对象能够被看作如上所述处理的所述第(2-1)特定参照对象中的一个，从而能够计算与其对应的所述第(2-1)特定基于坐标的参照距离。所述目标位置信息是通过搭载于所述目标车辆的GPS(全球定位***；Global Positioning System)获取的状态。
相反，所述基于坐标的参照距离中一个以上的第(2-2)特定基于坐标的参照距离是，参照从数据库获取的第(2-2)特定参照对象位置信息及所述目标位置信息生成的。作为一例，所述第(2-2)特定参照对象为不可移动的固定对象的一种，并且是与此相关的信息存储于数据库中的对象。在此情况下，由于无需更新所述第(2-2)特定参照对象的位置，因此通过利用存储于所述数据库中的所述信息来计算所述第(2-2)特定基于坐标的参照距离。
在说明生成所述基于图像的参照距离及所述基于坐标的参照距离的方式时，介绍了所述第(1-1)特定参照对象、所述第(1-2)特定参照对象、所述第(2-1)特定参照对象及所述第(2-2)特定参照对象的概念。在此情况下，任意参照对象为所述第(1-1)特定参照对象或所述第(1-2)特定参照对象中的一个，同时也为所述第(2-1)特定参照对象或所述第(2-2)特定参照对象中的一个。例如，例示参照对象为所述第(1-1)特定参照对象中的一个，并且也为所述第(2-2)特定参照对象中的一个。简而言之，通过利用与为生成与各个所述参照对象对应的基于图像的参照距离而处理的方式相关的第一基准来将各个所述参照对象分类为所述第(1-1)特定参照对象及所述第(1-2)特定参照对象，并通过利用与为生成与各个所述参照对象对应的基于坐标的参照距离而处理的方式相关的第二基准来将各个所述参照对象分类为所述第(2-1)特定参照对象及所述第(2-2)特定参照对象。因此，所述第一基准及所述第二基准是相互独立的。
若已计算所述基于图像的参照距离及所述基于坐标的参照距离，则所述计算装置100根据下述公式，生成所述距离误差值。
Figure BDA0002359389750000131
其中，
Figure BDA0002359389750000132
为与所述参照对象中的第k参照对象对应的基于图像的参照距离中的一个，
Figure BDA0002359389750000133
为与所述第k参照对象对应的所述基于坐标的参照距离中的一个。并且，wk为与所述第k对象相关的权重，N为所述参照对象的数量。
在生成所述距离误差值之后，所述计算装置100参照所述距离误差值，校准所述目标位置信息。所述基于坐标的参照距离是通过参照由所述GPS最初检测的所述目标位置信息生成的，因此在错误地测定所述目标位置信息的情况下，所述距离误差值可能大于适当的值。在这样的情况下，所述计算装置100调整所述目标位置信息，并利用所述调整的目标位置信息重新计算所述距离误差值。若所述重新计算的距离误差值小于之前的值，则所述计算装置100按之前的做法调整所述目标位置信息。若所述重新计算的距离误差值大于之前的值，则所述计算装置100按与之前调整相反的方式调整所述目标位置信息。由于这些处理与众所周知的如梯度下降法(Gradient-Descent)这样的与回归相关的现有技术中的处理类似，因此本领域技术人员能够容易理解。
在校准所述目标位置信息之后，若所述目标车辆用于更新所述高清地图，则所述计算装置100一边存储用于更新高清地图的更新用信息，一边参照所述校准后的所述目标位置信息来记录与获取所述更新用信息的位置相关的信息。在此情况下，所述更新用信息是，与所述目标车辆周边状况相关，并且是所述目标车辆按规定路线行驶时通过至少一个摄像头或至少一个传感器获取的。由于所述参照图像用于校准所述目标位置信息，因此可能与所述更新用信息无关，但并不限定于此。
相反，在所述目标车辆为利用所述高清地图的所述自动驾驶车辆的情况下，所述计算装置100参照所述校准后的目标位置信息，计算在所述高清地图上的所述目标车辆的位置，并从所述高清地图获取与所述目标车辆相距临界距离以内的一个以上对象相关的信息，由此支持所述目标车辆的自动驾驶。
利用如上所述的所述自身车辆定位方法，能够更准确地生成所述高清地图，并能够更安全地执行利用所述高清地图的所述自动驾驶。
以上说明的本发明的实施例以可通过各种计算机结构要素执行的程序指令的形态体现，并记录在计算机可读取记录介质。所述计算机可读取记录介质能够以单独或组合包括程序指令、数据文件、数据结构等。所述计算机可读取记录介质的程序指令可以是为本发明而特别设计的，或者也可以是计算机软件领域的技术人员公知使用的程序指令。作为计算机可读取记录介质的例，包括如硬盘、软盘、磁带的磁体介质；如CD-ROM、DVD的光记录介质；如光磁软盘(floptical disk)的磁光介质(magneto-optical media)；及如ROM、RAM、闪存等的用于存储并执行程序指令而特别构成的硬件装置。作为程序指令的例子，不仅包括通过编译器而成的机器语言代码，还包括使用解释器的计算机可执行的高级语言代码。所述硬件装置为了执行根据本发明的处理，以一个以上的软件模块运行的方式，反之亦然。
以上，通过具体结构要素等特定事项和限定的实施例及附图来说明了本发明，但这仅仅是为了有助于全面理解本发明而提供的，本发明并不限定于所述实施例，只要是本领域技术人员均能够基于所述记载进行各种修改及变形。
因此，本发明的思想并不限定于如上所述的实施例，后述的权利要求书及与该权利要求书等同或均等变形的所有形态均应包括在本发明的思想范围内。

Claims (22)

1.一种利用相对距离信息计算目标车辆的准确位置的方法，其特征在于，包括：
步骤(a)，与所述目标车辆联动的计算装置若通过搭载于所述目标车辆的至少一个摄像头获取至少一个参照图像，则对所述参照图像进行至少一个对象检测运算来检测所述参照图像中的一个以上的参照对象；
步骤(b)，所述计算装置参照在所述参照图像上的与各个所述参照对象对应的各个参照边界框相关的信息，来计算各个所述参照对象与所述目标车辆之间的一个以上的基于图像的各个参照距离；以及
步骤(c)，所述计算装置若获取各个所述参照对象与所述目标车辆之间的一个以上的基于坐标的各个参照距离，(i)则参照所述基于坐标的参照距离及所述基于图像的参照距离生成至少一个距离误差值，并且(ii)参照所述距离误差值校准所述目标车辆的目标位置信息。
2.根据权利要求1所述的方法，其特征在于，在所述步骤(c)中，所述计算装置根据下述公式生成所述距离误差值，
Figure FDA0002359389740000011
Figure FDA0002359389740000012
为在所述参照对象中与第k参照对象对应的基于图像的参照距离中的一个，
Figure FDA0002359389740000013
为与所述第k参照对象对应的所述基于坐标的参照距离中的一个，wk为所述第k对象相关的权重，N为所述参照对象的数量。
3.根据权利要求1所述的方法，其特征在于，在所述步骤(b)中，
所述计算装置对所述参照边界框进行至少一个图像距离预测运算来计算所述基于图像的参照距离，该图像距离预测运算使用与所述摄像头参数相关的信息，
(i)所述基于图像的参照距离中一个以上的第(1-1)特定基于图像的参照距离是通过对第(1-1)特定参照边界框进行至少一个第(1-1)特定图像距离预测运算生成的，该第(1-1)特定图像距离预测运算追加使用通过所述参照对象中一个以上的第(1-1)特定参照对象与所述目标车辆之间的车辆对外界的信息交换V2X通信而获取的第(1-1)特定参照对象高度信息，(ii)所述基于图像的参照距离中一个以上的第(1-2)特定基于图像的参照距离是通过对第(1-2)特定参照边界框进行至少一个第(1-2)特定图像距离预测运算生成的，该第(1-2)特定图像距离预测运算追加使用所述参照图像中的基准点相关的信息。
4.根据权利要求3所述的方法，其特征在于，
所述第(1-1)特定图像距离预测运算根据下述公式执行，
Figure FDA0002359389740000021
D为所述第(1-1)特定基于图像的参照距离中的一个，f为所述摄像头的焦距，VH为与所述第(1-1)特定参照对象中的一个对应的所述第(1-1)特定参照对象高度信息中的一个，h为所述第(1-1)特定参照对象中所述一个所述参照图像上的表观高度。
5.根据权利要求3所述的方法，其特征在于，
所述第(1-2)特定图像距离预测运算根据下述公式执行，
Figure FDA0002359389740000022
D为所述第(1-2)特定基于坐标的参照距离中的一个，f为所述摄像头的焦距，H为所述摄像头的高度，|b-cy|为与所述第(1-2)特定参照对象中的一个对应的所述第(1-2)特定参照边界框中一个下端边界与所述基准点之间的在所述参照图像上的表观距离。
6.根据权利要求1所述的方法，其特征在于，(i)所述基于坐标的参照距离中一个以上的第(2-1)特定基于坐标的参照距离是参照通过所述参照对象中一个以上的第(2-1)特定参照对象与所述目标车辆之间的V2X通信而获取的第(2-1)特定参照对象位置信息及所述目标位置信息生成的，(ii)所述基于坐标的参照距离中一个以上的第(2-2)特定基于坐标的参照距离是，参照从数据库获取的第(2-2)特定参照对象位置信息及所述目标位置信息生成的。
7.根据权利要求1所述的方法，其特征在于，在所述步骤(a)中，
所述计算装置使卷积神经网络对所述参照图像依次进行至少一个卷积运算、至少一个感兴趣区域ROI池化运算及至少一个全连接FC网络运算，从而对所述参照图像进行所述对象检测运算。
8.根据权利要求1所述的方法，其特征在于，在所述步骤(c)中，
所述计算装置重复进行(i)调整所述目标位置信息的处理、(ii)利用所述调整的目标位置信息重新计算所述距离误差值的处理、及(iii)通过参照所述重新计算的距离误差值是否变小的信息来重新调整所述调整的目标位置信息的处理，从而校准所述目标位置信息，并生成与此对应的距离误差值最小化的校准后的目标位置信息。
9.根据权利要求1所述的方法，其特征在于，在所述步骤(c)中，
所述计算装置一边存储用于更新高清地图的更新用信息，一边参照所述校准后的所述目标位置信息，来记录获取所述更新用信息的位置相关的信息。
10.根据权利要求1所述的方法，其特征在于，所述参照对象包括(i)可进行V2X通信的一个以上的移动对象及(ii)一个以上的固定对象中的至少一部分，所述固定对象处于(ii-1)可进行V2X通信或(ii-2)在数据库储存所述固定对象相关的信息的状态，
所述参照对象包括位于与所述目标车辆相距临界距离以内的一个以上的周边车辆、一个以上的交通标示牌、一个以上的信号灯及一个以上的路面标线中的至少一部分。
11.根据权利要求1所述的方法，其特征在于，在所述步骤(c)中，
所述计算装置参照所述校准后的目标位置信息，计算在高清地图上的所述目标车辆的位置，并从所述高清地图获取与所述目标车辆相距临界距离以内的一个以上的对象相关的信息，由此支援所述目标车辆的自动驾驶。
12.一种利用相对距离信息计算目标车辆的准确位置的装置，其特征在于，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其构成为实施所述指令，该指令用于执行如下处理：处理(I)，若通过搭载于所述目标车辆的至少一个摄像头获取至少一个参照对象，则对所述参照对象进行至少一个对象检测运算来检测所述参照图像中的一个以上的参照对象；处理(II)，参照在所述参照图像上的与各个所述参照对象对应的各个参照边界框相关的信息，来计算所述参照对象与所述目标车辆之间的一个以上的基于图像的各个参照距离；以及处理(III)，若获取各个所述参照对象与所述目标车辆之间的一个以上基于坐标的各个参照距离，(i)则参照所述基于坐标的参照距离及所述基于图像的参照距离生成至少一个距离误差值，并且(ii)参照所述距离误差值校准所述目标车辆的目标位置信息。
13.根据权利要求12所述的装置，其特征在于，在所述处理(III)中，
所述处理器根据下述公式生成所述距离误差值，
Figure FDA0002359389740000041
Figure FDA0002359389740000042
为在所述参照对象中与第k参照对象对应的基于图像的参照距离中的一个，
Figure FDA0002359389740000043
为与所述第k参照对象对应的所述基于坐标的参照距离中的一个，wk为与所述第k对象相关的权重，N为所述参照对象的数量。
14.根据权利要求12所述的装置，其特征在于，在所述处理(II)中，
所述处理器对所述参照边界框进行至少一个图像距离预测运算来计算所述基于图像的参照距离，该图像距离预测运算使用所述摄像头参数相关的信息，
(i)所述基于图像的参照距离中一个以上的第(1-1)特定基于图像的参照距离是通过对第(1-1)特定参照边界框进行至少一个第(1-1)特定图像距离预测运算生成的，该第(1-1)特定图像距离预测运算追加使用通过所述参照对象中一个以上的第(1-1)特定参照对象与所述目标车辆之间的V2X通信而获取的第(1-1)特定参照对象高度信息，(ii)所述基于图像的参照距离中一个以上的第(1-2)特定基于图像的参照距离是通过对第(1-2)特定参照边界框进行至少一个第(1-2)特定图像距离预测运算生成的，该第(1-2)特定图像距离预测运算追加使用所述参照图像中的基准点相关的信息。
15.根据权利要求14所述的装置，其特征在于，
所述第(1-1)特定图像距离预测运算根据下述公式执行，
Figure FDA0002359389740000044
D为所述第(1-1)特定基于图像的参照距离中的一个，f为所述摄像头的焦距，VH为与所述第(1-1)特定参照对象中的一个对应的所述第(1-1)特定参照对象高度信息中的一个，h为所述第(1-1)特定参照对象中所述一个所述参照图像上的表观高度。
16.根据权利要求14所述的装置，其特征在于，
所述第(1-2)特定图像距离预测运算根据下述公式执行，
Figure FDA0002359389740000051
D为所述第(1-2)特定基于坐标的参照距离中的一个，f为所述摄像头的焦距，H为所述摄像头的高度，|b-cy|为与所述第(1-2)特定参照对象中的一个对应的所述第(1-2)特定参照边界框中一个下端边界与所述基准点之间的在所述参照图像上的表观距离。
17.根据权利要求12所述的装置，其特征在于，(i)所述基于坐标的参照距离中一个以上的第(2-1)特定基于坐标的参照距离是参照通过所述参照对象中一个以上的第(2-1)特定参照对象与所述目标车辆之间的V2X通信而获取的第(2-1)特定参照对象位置信息及所述目标位置信息生成的，(ii)所述基于坐标的参照距离中一个以上的第(2-2)特定基于坐标的参照距离是参照从数据库获取的第(2-2)特定参照对象位置信息及所述目标位置信息生成的。
18.根据权利要求12所述的装置，其特征在于，在所述处理(I)中，
所述处理器使卷积神经网络对所述参照图像依次进行至少一个卷积运算、至少一个ROI池化运算及至少一个FC网络运算，从而对所述参照图像进行所述对象检测运算。
19.根据权利要求12所述的装置，其特征在于，在所述处理(III)中，
所述处理器重复进行(i)调整所述目标位置信息的处理、(ii)利用所述调整的目标位置信息重新计算所述距离误差值的处理、及(iii)通过参照所述重新计算的距离误差值是否变小的信息来重新调整所述调整的目标位置信息的处理，从而校准所述目标位置信息，并生成与此对应的距离误差值最小化的校准后的目标位置信息。
20.根据权利要求12所述的装置，其特征在于，在所述处理(III)中，
所述处理器一边存储用于更新高清地图的更新用信息，一边参照所述校准后的所述目标位置信息，来记录获取所述更新用信息的位置相关的信息。
21.根据权利要求12所述的装置，其特征在于，所述参照对象包括(i)可进行V2X通信的一个以上的移动对象及(ii)一个以上的固定对象中的至少一部分，所述固定对象处于(ii-1)可进行V2X通信或(ii-2)在数据库储存所述固定对象相关的信息的状态，
所述参照对象包括位于与所述目标车辆相距临界距离以内的一个以上的周边车辆、一个以上的交通标示牌、一个以上的信号灯及一个以上的路面标线中的至少一部分。
22.根据权利要求12所述的装置，其特征在于，在所述处理(III)中，
所述处理器参照所述校准后的目标位置信息，计算在高清地图上的所述目标车辆的位置，并从所述高清地图获取与所述目标车辆相距临界距离以内的一个以上的对象相关的信息，由此支援所述目标车辆的自动驾驶。
CN202010017328.XA 2019-01-30 2020-01-08 利用v2x信息融合来执行自身车辆定位的方法及装置 Active CN111508018B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798686P 2019-01-30 2019-01-30
US62/798,686 2019-01-30
US16/725,181 US10803333B2 (en) 2019-01-30 2019-12-23 Method and device for ego-vehicle localization to update HD map by using V2X information fusion
US16/725,181 2019-12-23

Publications (2)

Publication Number Publication Date
CN111508018A true CN111508018A (zh) 2020-08-07
CN111508018B CN111508018B (zh) 2023-10-31

Family

ID=69174388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010017328.XA Active CN111508018B (zh) 2019-01-30 2020-01-08 利用v2x信息融合来执行自身车辆定位的方法及装置

Country Status (5)

Country Link
US (1) US10803333B2 (zh)
EP (1) EP3690400B1 (zh)
JP (1) JP6986290B2 (zh)
KR (1) KR102338763B1 (zh)
CN (1) CN111508018B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418031A (zh) * 2020-11-11 2021-02-26 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811886B (zh) * 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
GB202013106D0 (en) * 2020-08-21 2020-10-07 Five Ai Ltd Processing images for extracting information about known objects
JP7379299B2 (ja) * 2020-08-28 2023-11-14 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN113205701B (zh) * 2021-04-25 2023-05-12 腾讯科技（深圳）有限公司 车路协同***、基于车路协同的高程转换更新方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015155292A1 (de) * 2014-04-09 2015-10-15 Continental Teves Ag & Co. Ohg Positionskorrektur eines fahrzeugs durch referenzierung zu objekten im umfeld
US20170010124A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Systems and methods for uploading recommended trajectories
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
WO2018015811A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US20180047288A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and apparatus for providing goal oriented navigational directions
US20180045519A1 (en) * 2016-08-09 2018-02-15 Nauto, Inc. System and method for precision localization and mapping
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
CN108919320A (zh) * 2018-05-17 2018-11-30 中国科学院微电子研究所 一种基于v2x的自动驾驶车辆定位方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012024878A1 (de) * 2012-12-19 2014-06-26 Connaught Electronics Ltd. Verfahren zum Detektieren eines Zielobjekts anhand eines Kamerabilds durch Clusterbildung aus mehreren benachbarten Bildzellen, Kameraeinrichtung und Kraftfahrzeug
US9327743B2 (en) * 2013-12-19 2016-05-03 Thales Canada Inc Guideway mounted vehicle localization system
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
JP7066607B2 (ja) * 2015-08-03 2022-05-13 トムトム グローバル コンテント ベスローテン フエンノートシャップ ローカライゼーション基準データを生成及び使用する方法及びシステム
KR20180112949A (ko) * 2017-04-05 2018-10-15 현대자동차주식회사 차량의 자율 주행 제어 시스템 및 그를 이용한 자율 주행 제어방법
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10983199B2 (en) * 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015155292A1 (de) * 2014-04-09 2015-10-15 Continental Teves Ag & Co. Ohg Positionskorrektur eines fahrzeugs durch referenzierung zu objekten im umfeld
US20170038477A1 (en) * 2014-04-09 2017-02-09 Continental Automotive Gmbh Position Correction of a Vehicle by Referencing to Objects in the Surroundings
US20170010124A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Systems and methods for uploading recommended trajectories
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
JP2018538612A (ja) * 2015-11-04 2018-12-27 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． オブジェクト検出のためのスケール依存プーリングによるカスケード型ニューラルネットワーク
WO2018015811A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US20180045519A1 (en) * 2016-08-09 2018-02-15 Nauto, Inc. System and method for precision localization and mapping
US20180047288A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and apparatus for providing goal oriented navigational directions
US9946960B1 (en) * 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
CN108919320A (zh) * 2018-05-17 2018-11-30 中国科学院微电子研究所 一种基于v2x的自动驾驶车辆定位方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418031A (zh) * 2020-11-11 2021-02-26 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
JP6986290B2 (ja) 2021-12-22
US20200242378A1 (en) 2020-07-30
KR20200094646A (ko) 2020-08-07
US10803333B2 (en) 2020-10-13
EP3690400A1 (en) 2020-08-05
JP2020122785A (ja) 2020-08-13
KR102338763B1 (ko) 2021-12-15
EP3690400B1 (en) 2024-06-26
CN111508018B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN111508018B (zh) 利用v2x信息融合来执行自身车辆定位的方法及装置
EP3673407B1 (en) Automatic occlusion detection in road network data
US20200349362A1 (en) Method of Computer Vision Based Localisation and Navigation and System for Performing the Same
US10861183B2 (en) Method and device for short-term path planning of autonomous driving through information fusion by using V2X communication and image processing
US11158065B2 (en) Localization of a mobile unit by means of a multi hypothesis kalman filter method
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
US20220197301A1 (en) Vehicle Localization Based on Radar Detections
EP3875905B1 (en) Method, device and medium for detecting environmental change
US10373323B1 (en) Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US10748032B1 (en) Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same
US20200250499A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
CN111505690B (zh) 实时检测应急车辆并规划行驶路径的方法及装置
KR102296493B1 (ko) 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치
CN111507373A (zh) 执行无缝参数变更的方法及装置
CN111507152B (zh) 基于内置独立型预测来转换自动驾驶模式的方法及装置
US20230222688A1 (en) Mobile device positioning method and positioning apparatus
KR20200095379A (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
KR20220013439A (ko) 고정밀지도생성장치 및 고정밀지도생성방법
CN113157842A (zh) 一种地图生成方法、装置、电子设备及可读存储介质
CN114694111A (zh) 车辆定位
CN111507151B (zh) 使得能够评价自动行驶客体检测过程的支援方法及装置
US11294385B2 (en) System and method for generating a representation of an environment
CN115164924A (zh) 基于视觉ai的融合定位方法、***、设备及存储介质
CN116508067A (zh) 处理图像以提取关于已知对象的信息

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant