CN111508252A - 利用v2x信息集成技术更新高清地图的方法和装置 - Google Patents

利用v2x信息集成技术更新高清地图的方法和装置 Download PDF

Info

Publication number
CN111508252A
CN111508252A CN202010017082.6A CN202010017082A CN111508252A CN 111508252 A CN111508252 A CN 111508252A CN 202010017082 A CN202010017082 A CN 202010017082A CN 111508252 A CN111508252 A CN 111508252A
Authority
CN
China
Prior art keywords
test
learning
coordinate
neural network
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010017082.6A
Other languages
English (en)
Other versions
CN111508252B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111508252A publication Critical patent/CN111508252A/zh
Application granted granted Critical
Publication of CN111508252B publication Critical patent/CN111508252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

本发明是利用V2X信息集成技术更新高清地图的方法和装置。本发明提供一种选择用于更新高清地图的特定信息的学习方法，该方法包括：步骤(a)学习装置，使坐标神经网络针对坐标矩阵加以坐标神经网络运算，生成本地特征图及全局特征矢量；步骤(b)所述学习装置，使判断神经网络针对所述集成特征图加以判断神经网络运算，生成第1预测适合度分数至第N预测适合度分数；及步骤(c)所述学习装置，使损失层参照(i)所述第1预测适合度分数至第N预测适合度分数及(ii)第1GT(ground‑truth)适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播(backpropagation)，从而学习所述判断神经网络及所述坐标神经网络的参数。

Description

利用V2X信息集成技术更新高清地图的方法和装置
优先权要求
本申请主张对2019年1月30日申请的美国临时申请第62/798、656号享有优先权，其全部内容作为参考包括在本申请中。
技术领域
本发明涉及用于自动驾驶车辆的学习方法及学习装置，尤其涉及重建三维空间，更新HD图(高清地图，High Definition Map)的所述学习方法和所述学习装置，以及利用该学习方法和学习装置的测试方法和测试装置。
背景技术
近来，车辆的自动驾驶技术备受瞩目。所谓自动驾驶技术，是指利用能够获得来自搭载于车辆上的传感器、照相机等的外部信息的模块，收集外部信息，并利用其使车辆安全行驶的技术。
自动驾驶技术中必不可少的是高清地图，因为高清地图作为地图，其信息高度密集，具备厘米单位的准确性，所以为了自动驾驶车辆的安全行驶，需要这种高精度的地图。
然而，制作这种高清地图的作业极其困难，需要投入大量时间和费用。这是因为，为了收集准备进入高清地图的信息，必须让搭载适当装备的车辆移动到各个地方，并每次都要确认提取的信息中是否包含临时信息，例如是否包含临时停泊在道路边的车辆等信息。正因为如此高昂的费用，实际现状是无法制作大量高清地图。
发明内容
本发明的目的在于，解决上述问题点。
本发明的另一目的在于，提供一种学习方法，其(i)利用V2X(vehicle-to-everything)信息集成技术，获得多车深度估计(Multi-Vehicle Depth Estimation)信息，更新至少一个高清地图，(ii)利用所述多车深度估计信息，执行三维空间的重建，以便支持车辆更加安全地执行自动行驶。
本发明的又另一目的在于，提供一种分类并评价从数据提取车辆所获得的地图数据来更新高清地图的方法。
本发明的又另一目的在于，提供一种参照关于地图数据的本地信息和全局信息来评价地图数据的方法。
本发明的目的是通过以下技术方案实现的：
根据本发明的一个方面，提供一种从多个车辆获得的信息中，选择用于更新高清地图的特定信息的学习方法，其特征在于，包括以下步骤：(a)学习装置，获得包括有目标区域内检出的第1云点至第N云点所对应的第1坐标至第N坐标的相关信息的至少一个坐标矩阵后，使坐标神经网络针对所述坐标矩阵加以至少一个坐标神经网络运算，生成至少一个本地特征图及至少一个全局特征矢量；(b)所述学习装置，将(i)所述本地特征图、(ii)所述全局特征矢量、及(iii)包括有所述第1云点至所述第N云点所对应的第1类信息至第N类信息的相关信息的至少一个类矩阵此三者进行集成而生成至少一个集成特征图，使判断神经网络针对所述集成特征图加以至少一个判断神经网络运算，生成第1预测适合度分数至第N预测适合度分数，其分别显示所述第1云点至所述第N云点的相关信息用于更新所述高清地图的概率；(c)所述学习装置，使损失层参照(i)所述第1预测适合度分数至所述第N预测适合度分数及(ii)第1地面真值GT适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播，从而学习所述判断神经网络及所述坐标神经网络的参数中至少一部分。
一个实施例，在所述步骤(a)，所述学习装置使每一个包含于所述坐标神经网络的至少一个坐标卷积层的一个以上坐标卷积神经元，利用其参数针对输入的值加以至少一个坐标卷积神经元运算，将输出的值分别传达至下一个坐标卷积神经元，由此针对所述坐标矩阵加以所述坐标神经网络运算中的至少一部分，即加以至少一个坐标卷积运算，生成所述本地特征图。
一个实施例，在所述步骤(a)，所述学习装置使所述坐标神经网络的全局特征层针对所述本地特征图加以所述坐标神经网络运算中的至少一部分，即加以至少一个全局特征图运算，生成所述全局特征矢量。
一个实施例，在所述步骤(b)，将(i)作为元素包含有按特定顺序排列的所述第1类信息至所述第N类信息的所述类矩阵、(ii)作为元素包含有分别对应按所述特定顺序排列的所述第1云点至所述第N云点的每一个特征值的所述本地特征图、及(iii)N次复制所述全局特征矢量而生成的全局特征图，按信道方向级联而生成所述集成特征图。
一个实施例，在所述步骤(b)，所述学习装置，(i)使每一个包含于所述判断神经网络中至少一个判断卷积层的一个以上判断卷积神经元，利用其参数针对输入的值加以至少一个判断卷积神经元运算，将输出的值分别传达至下一个判断卷积神经元，由此针对所述判断矩阵加以所述判断神经网络运算中的至少一部分，即加以至少一个判断卷积运算，生成判断特征图后，(ii)使所述判断神经网络的判断输出层，参照所述判断特征图，针对所述第1云点至所述第N云点加以所述判断神经网络运算中的一部分，即加以分类运算，生成所述第1预测适合度分数至所述第N预测适合度分数。
一个实施例，在所述步骤(c)，所述学习装置使所述损失层按照以下公式生成所述损失，
Figure BDA0002359295450000031
N意味着所述第1云点至第N云点的个数，yi意味着第i预测适合度分数，
Figure BDA0002359295450000032
意味着第i GT适合度分数。
一个实施例，在所述步骤(c)，所述学习装置使所述损失层利用梯度下降方法进行所述反向传播，从而使得使用基于此调整过的所述参数而生成的后续第1预测适合度分数至后续第N预测适合度分数，相对地更加与对应于其的后续第1GT适合度分数至后续第N GT适合度分数相似。
一个实施例，与一个以上的数据提取车辆联动的服务器，(i)针对通过各个所述数据提取车辆获得的地图数据，以获得各个所述地图数据的位置相关各个位置信息作为参照进行分类，(ii)利用所述已分类的地图数据中所述目标区域相关目标信息，生成所述坐标矩阵及所述类矩阵，(iii)并将所述坐标矩阵及所述类矩阵传达至所述学习装置。
一个实施例，在所述地图数据中，当第1特定地图数据及第2特定地图数据对应同一个特定区域的情况下，所述服务器针对所述第1特定地图数据及所述第2特定地图数据加以至少一个集成运算，集成所述第1特定地图数据及所述第2特定地图数据。
一个实施例，每一个所述数据提取车辆分别使用(i)至少一个照相机及至少一个深度传感器中至少一部分及(ii)对应于其的运算模块，获得距离所述数据提取车辆位于临界距离以下的一个以上客体的云点信息及类信息，从而获得所述地图数据中至少一部分，并将其传达至所述服务器。
一个实施例，所述服务器执行以下过程：(i)使用所述地图数据所包含的对应于所述目标区域的特定云点信息，生成所述坐标矩阵；及(ii)使用所述地图数据所包含的对应于所述目标区域的特定类信息，生成所述类矩阵。
根据本发明另一个方面，提供一种从多个车辆获得的信息中，选择用于更新高清地图的特定信息的测试方法，其特征在于，包括以下步骤：(a)(1)学习装置，获得包括有学习用目标区域内检出的第1学习用云点至第N学习用云点所对应的第1学习用坐标至第N学习用坐标的相关信息的至少一个学习用坐标矩阵，使坐标神经网络针对所述学习用坐标矩阵加以至少一个坐标神经网络运算，生成至少一个学习用本地特征图及至少一个学习用全局特征矢量，(2)所述学习装置，将(i)所述学习用本地特征图、(ii)所述学习用全局特征矢量、及(iii)包括有所述第1学习用云点至所述第N学习用云点所对应的第1学习用类信息至第N学习用类信息的相关信息的至少一个学习用类矩阵此三者进行集成而生成至少一个学习用集成特征图，使判断神经网络针对所述学习用集成特征图加以至少一个判断神经网络运算，生成第1学习用预测适合度分数至第N学习用预测适合度分数，其分别显示所述第1学习用云点至所述第N学习用云点的相关信息用于更新所述学习用高清地图的概率，(3)所述学习装置，使损失层参照(i)所述第1学习用预测适合度分数至第N学习用预测适合度分数及(ii)第1GT适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播，从而学习所述判断神经网络及所述坐标神经网络的参数中至少一部分，在此状态下，测试装置，获得包括有测试用目标区域内检出的第1测试用云点至第N测试用云点所对应的第1测试用坐标至第N测试用坐标的相关信息的至少一个测试用坐标矩阵，使所述坐标神经网络针对所述测试用坐标矩阵加以所述坐标神经网络运算，生成至少一个测试用本地特征图及至少一个测试用全局特征矢量；(b)所述测试装置，将(i)所述测试用本地特征图、(ii)所述测试用全局特征矢量、及(iii)包括有所述第1测试用云点至所述第N测试用云点所对应的第1测试用类信息至第N测试用类信息的相关信息的至少一个测试用类矩阵此三者进行集成而生成至少一个测试用集成特征图后，使所述判断神经网络针对所述测试用集成特征图加以判断神经网络运算，生成第1测试用预测适合度分数至第N测试用预测适合度分数，其分别显示所述第1测试用云点至所述第N测试用云点的相关信息用于更新所述测试用高清地图的概率。
一个实施例，进一步包括步骤(c)，所述测试装置，使更新模块判断各个所述第1测试用预测适合度分数至所述第N测试用预测适合度分数是否为临界值以上，并利用具有所述临界值以上的特定预测适合度分数的一个以上特定云点相关特定信息，更新所述测试用高清地图。
一个实施例，与一个以上的测试用数据提取车辆联动的测试用服务器，(i)针对通过各自的所述测试用数据提取车辆获得的各个测试用地图数据，以获得所述测试用地图数据的各个位置相关各个测试用位置信息作为参照进行分类，(ii)利用已分类的所述测试用地图数据所包含的所述测试用目标区域相关测试用目标信息，生成所述测试用坐标矩阵及所述测试用类矩阵，(iii)并将所述测试用坐标矩阵及所述测试用类矩阵传达至所述测试装置。
一个实施例，所述测试用服务器执行以下过程：(i)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定云点信息，生成所述测试用坐标矩阵；及(ii)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定类信息，生成所述测试用类矩阵。
根据本发明的又另一个方面，提供一种从多个车辆获得的信息中，选择用于更新高清地图的特定信息的学习装置，其特征在于，包括：至少一个存储器，用于存储指令；及至少一个处理器，构成为用于执行完成以下过程的所述指令：过程(I)获得包括有目标区域内检出的第1云点至第N云点所对应的第1坐标至第N坐标的相关信息的至少一个坐标矩阵后，使坐标神经网络针对所述坐标矩阵加以至少一个坐标神经网络运算，生成至少一个本地特征图及至少一个全局特征矢量；过程(II)将(i)所述本地特征图、(ii)所述全局特征矢量、及(iii)包括有所述第1云点至所述第N云点所对应的第1类信息至第N类信息的相关信息的至少一个类矩阵此三者进行集成而生成至少一个集成特征图后，使判断神经网络针对所述集成特征图加以至少一个判断神经网络运算，生成第1预测适合度分数至第N预测适合度分数，其分别显示所述第1云点至所述第N云点的相关信息用于更新所述高清地图的概率；及过程(III)使损失层参照(i)所述第1预测适合度分数至第N预测适合度分数及(ii)第1GT适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播，从而学习所述判断神经网络及所述坐标神经网络的参数中至少一部分。
一个实施例，在所述过程(I)，所述处理器使每一个包含于所述坐标神经网络的至少一个坐标卷积层的一个以上坐标卷积神经元，利用其参数针对输入的值加以至少一个坐标卷积神经元运算，将输出的值分别传达至下一个坐标卷积神经元，由此针对所述坐标矩阵加以所述坐标神经网络运算中的至少一部分，即加以至少一个坐标卷积运算，生成所述本地特征图。
一个实施例，在所述过程(I)，所述处理器使所述坐标神经网络的全局特征层针对所述本地特征图加以所述坐标神经网络运算中的至少一部分，即加以至少一个全局特征图运算，生成所述全局特征矢量。
一个实施例，在所述过程(II)，将(i)作为元素包含有按特定顺序排列的所述第1类信息至所述第N类信息的所述类矩阵、(ii)作为元素包含有分别对应按所述特定顺序排列的所述第1云点至所述第N云点的每一个特征值的所述本地特征图、及(iii)N次复制所述全局特征矢量而生成的全局特征图，按信道方向级联而生成所述集成特征图。
一个实施例，在所述过程(II)，所述处理器，(i)使每一个包含于所述判断神经网络中至少一个判断卷积层的一个以上判断卷积神经元，利用其参数针对输入的值加以至少一个判断卷积神经元运算，将输出的值分别传达至下一个判断卷积神经元，由此针对所述判断矩阵加以所述判断神经网络运算中的至少一部分，即加以至少一个判断卷积运算，生成判断特征图后，(ii)使所述判断神经网络的判断输出层，参照所述判断特征图，针对所述第1云点至所述第N云点加以所述判断神经网络运算中的一部分，即加以分类运算，生成所述第1预测适合度分数至所述第N预测适合度分数。
一个实施例，在所述过程(III)，所述处理器使所述损失层按照以下公式生成所述损失，
Figure BDA0002359295450000061
N意味着所述第1云点至第N云点的个数，yi意味着第i预测适合度分数，
Figure BDA0002359295450000062
意味着第i GT适合度分数。
一个实施例，在所述过程(III)，所述处理器使所述损失层利用梯度下降方法进行所述反向传播，从而使得使用基于此调整过的所述参数而生成的后续第1预测适合度分数至后续第N预测适合度分数，相对地更加与对应于其的后续第1GT适合度分数至后续的第NGT适合度分数相似。
一个实施例，与一个以上的数据提取车辆联动的服务器，(i)针对通过各个所述数据提取车辆获得的地图数据，以获得各个所述地图数据的位置相关各个位置信息作参照进行分类，(ii)利用所述已分类的地图数据中所述目标区域相关目标信息，生成所述坐标矩阵及所述类矩阵，(iii)并将所述坐标矩阵及所述类矩阵传达至所述学习装置。
一个实施例，在所述地图数据中，当第1特定地图数据及第2特定地图数据对应同一个特定区域的情况下，所述服务器针对所述第1特定地图数据及所述第2特定地图数据加以至少一个集成运算，集成所述第1特定地图数据及所述第2特定地图数据。
一个实施例，每一个所述数据提取车辆分别使用(i)至少一个照相机及至少一个深度传感器中至少一部分及(ii)对应于其的运算模块，获得距离所述数据提取车辆位于临界距离以下的一个以上客体的云点信息及类信息，从而获得所述地图数据中至少一部分，并将其传达至所述服务器。
一个实施例，所述服务器执行以下过程：(i)使用所述地图数据所包含的对应于所述目标区域的特定云点信息，生成所述坐标矩阵；及(ii)使用所述地图数据所包含的对应于所述目标区域的特定类信息，生成所述类矩阵。
根据本发明的又另一个方面，提供一种从多个车辆获得的信息中，选择用于更新高清地图的特定信息的测试装置，其特征在于，包括：至少一个存储器，用于存储指令；及至少一个处理器，构成为用于执行完成以下过程的所述指令：过程(I)(1)学习装置，获得包括有学习用目标区域内检出的第1学习用云点至第N学习用云点所对应的第1学习用坐标至第N学习用坐标的相关信息的至少一个学习用坐标矩阵，使坐标神经网络针对所述学习用坐标矩阵加以至少一个坐标神经网络运算，生成至少一个学习用本地特征图及至少一个学习用全局特征矢量，(2)所述学习装置，将(i)所述学习用本地特征图、(ii)所述学习用全局特征矢量、及(iii)包括有所述第1学习用云点至所述第N学习用云点所对应的第1学习用类信息至第N学习用类信息的相关信息的至少一个学习用类矩阵此三者进行集成而生成至少一个学习用集成特征图，使判断神经网络针对所述学习用集成特征图加以至少一个判断神经网络运算，生成第1学习用预测适合度分数至第N学习用预测适合度分数，其分别显示所述第1学习用云点至所述第N学习用云点的相关信息用于更新所述学习用高清地图的概率，(3)所述学习装置，使损失层参照(i)所述第1学习用预测适合度分数至第N学习用预测适合度分数及(ii)第1GT适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播，从而学习所述判断神经网络及所述坐标神经网络的参数中至少一部分，在此状态下，获得包括有测试用目标区域内检出的第1测试用云点至第N测试用云点所对应的第1测试用坐标至第N测试用坐标的相关信息的至少一个测试用坐标矩阵，使所述坐标神经网络针对所述测试用坐标矩阵加以所述坐标神经网络运算，生成至少一个测试用本地特征图及至少一个测试用全局特征矢量；及过程(II)将(i)所述测试用本地特征图、(ii)所述测试用全局特征矢量、及(iii)包括有所述第1测试用云点至所述第N测试用云点所对应的第1测试用类信息至第N测试用类信息的相关信息的至少一个测试用类矩阵此三者进行集成而生成至少一个测试用集成特征图，使所述判断神经网络针对所述测试用集成特征图加以判断神经网络运算，生成第1测试用预测适合度分数至第N测试用预测适合度分数，其分别显示所述第1测试用云点至所述第N测试用云点的相关信息用于更新所述测试用高清地图的概率。
一个实施例，所述处理器进一步执行过程(III)，使更新模块判断各个所述第1测试用预测适合度分数至所述第N测试用预测适合度分数是否为临界值以上，并利用具有所述临界值以上的特定预测适合度分数的一个以上特定云点相关特定信息，更新所述测试用高清地图。
一个实施例，与一个以上的测试用数据提取车辆联动的测试用服务器，(i)针对通过各自的所述测试用数据提取车辆获得的各个测试用地图数据，以获得所述测试用地图数据的各个位置相关各个测试用位置信息作为参照进行分类，(ii)利用分类的所述测试用地图数据所包含的所述测试用目标区域相关测试用目标信息，生成所述测试用坐标矩阵及所述测试用类矩阵，(iii)并将所述测试用坐标矩阵及所述测试用类矩阵传达至所述测试装置。
一个实施例，所述测试用服务器执行以下过程：(i)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定云点信息，生成所述测试用坐标矩阵；及(ii)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定类信息，生成所述测试用类矩阵。
与现有技术相比，本发明的优点在于：
本发明的有益效果在于，提供一种学习方法，其利用V2X信息集成技术获得多车深度估计信息，更新至少一个高清地图(High Defition Map)，并利用所述多车深度估计信息，执行三维空间的重建，以便车辆安全的执行自动行驶。
附图说明
本发明的所述及其他目的及特征，将在与下列附图同时给出的优选的实施例的说明中明确地呈现出来。
为了说明本实施例而附加的下列附图，仅仅是本发明一些实施例的一部分，本技术领域所属技术人员(以下称为“普通技术人员”)，可以不需要创造性作业而从基于这些附图获得其他附图。
图1是概略地示出根据本发明的一个实施例的学习装置的构成图，该学习装置执行从通过多个车辆获得的信息中选择用于更新高清地图的特定信息的学习方法。
图2是概略地示出根据本发明的一个实施例从通过所述多个车辆获得的所述信息中选择用于更新所述高清地图的所述特定信息的所述学习方法的流程图。
图3是概略地示出根据本发明的一个实施例为了执行从通过所述多个车辆获得的所述信息中选择用于更新所述高清地图的所述特定信息的所述学习方法，而对坐标神经网络及判断神经网络进行学习的方式的图。
图4是概略地示出根据本发明的一个实施例为了执行从通过所述多个车辆获得的所述信息中选择用于更新所述高清地图的所述特定信息的测试方法而对坐标神经网络及判断神经网络进行测试的方式图。
具体实施方式
后述有关本发明的详细说明，为了使本发明的目的、技术方案及优点更分明，参照作为示例而图示本发明可实施的特定实施例的附图。对这些实施例进行了详细说明，以便普通技术人员足以能够实施本发明。
另外，在本发明的详细说明及权利要求中，“包括”字样的术语及其变形，并非要将其他技术特征、附加物、构成要素或步骤排除在外。对于普通技术人员而言，本发明的其他目的、优点及特性，一部分从本说明书，而一部分则从本发明的实施中显现出来。以下的示例及附图是作为实例而提供的，并非意图限定本发明。
进一步地，本发明涵盖本说明书中显示的实施例的所有可能组合。本发明的多样实施例虽然互不相同，但应理解为不需要相互排他。例如，在此记载的特定形状、结构及特性，可以与一个实施例相关联，在不超出本发明的精神及范围的前提下体现为其他实施例。另外，各个公开的实施例内的个别构成要素的位置及配置，应理解为可以在不超出本发明的精神及范围的前提下进行变更。因此，后述的详细说明并非出于限定之意，本发明的范围，如能适当说明，仅由与其权利要求所主张的内容等同的所有范围和所附权利要求所限定。在附图中，类似的附图标记指称在多个方面相同或类似的功能。
本发明中提及的各种图像可以包括铺装或非铺装道路相关图像，是可以假定此时会在道路环境中出现的物体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机的飞行体、其他障碍物)的图像，但并非必须限定于此，本发明中提及的各种图像也可以是与道路无关的图像(例如与非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内相关的图像)，是可以推断此时会在非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中出现的物体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机的飞行体、其他障碍物)的图像，但并非必须限定于此。
下面为了让本发明所属技术领域的普通技术人员能够容易地实施本发明，参照附图，就本发明优选实施例进行详细说明。
图1是概略地示出根据本发明的一个实施例的学习装置的构成图，该学习装置执行从通过多个车辆获得的信息中选择用于更新高清地图的特定信息的学习方法。
如图1所示，所述学习装置100包含后续将要详细说明的构成要素之至少一个坐标神经网络130、至少一个判断神经网络140及至少一个损失层150。所述坐标神经网络130、所述判断神经网络140及所述损失层150的输入输出及运算过程可以分别由至少一个通讯部110及至少一个处理器120完成。但是，在图1中省略了所述通讯部110及所述处理器120的详细连接关系。此时，存储器115可以是已存储有后述的各种指令的状态，所述处理器120可以设定为执行存储于所述存储器115内的指令，所述处理器120通过执行以后要说明的所述指令来执行本发明的诸过程。虽然如此描述了所述学习装置100，但是并不排除所述学习装置100包括由用于实施本发明的媒介、处理器、存储器或其他计算构成要素集成而成的形态的集成处理器的情况。
以上说明的是有关本发明的所述学习装置100的构成的说明，以下针对本发明的所述学习方法进行概括性说明。
图2是概略地示出根据本发明的一个实施例从通过所述多个车辆获得的所述信息中选择用于更新所述高清地图的所述特定信息的所述学习方法的流程图。
如图2所示，所述学习装置100使所述坐标神经网络130，针对后续要说明的坐标矩阵加以至少一个坐标神经网络运算，生成至少一个本地特征图及至少一个全局特征矢量(S01)。之后，所述学习装置100使所述判断神经网络140，针对后续将要说明的至少一个集成特征图加以至少一个判断神经网络运算，生成第1预测适合度分数(score)至第N预测适合度分数(S02)。进一步，所述学习装置100使所述损失层150，参照(i)所述第1预测适合度分数至第N预测适合度分数及(ii)第1GT(ground-truth，地面真值)适合度分数至第N GT适合度分数，生成损失，执行利用所述损失的反向传播(backpropagation)，以便学习所述判断神经网络140及所述坐标神经网络130的参数中至少一部分(S03)。
本发明的所述学习方法的概括性构成如上所述，以下对此通过参考图3进行进一步详细的说明。
图3是概略地示出根据本发明的一个实施例为了执行从通过所述多个车辆获得的所述信息中选择用于更新所述高清地图的所述特定信息的所述学习方法，而对坐标神经网络及判断神经网络进行学习的方式的图。
如图3所示，输入的是N×3大小的所述坐标矩阵。此时，所述坐标矩阵可包含在所述高清地图中即将更新的目标区域内检出的第1云点(cloud point)至第N云点所对应的第1坐标至第N坐标相关信息。存在N个云点，而现实世界空间是三维空间，因此，可以是所述N×3大小。并且，可以按特定顺序排列各个所述信息，以使所述第1坐标至所述第N坐标相关信息位于各自的第1行至第N行内。至于针对所述第1坐标至所述第N坐标相关信息是如何获得的，将在说明所述学习方法之后进行说明。
输入完这样的坐标矩阵后，所述学习装置100可以使所述坐标神经网络130，针对所述坐标矩阵加以至少一个坐标神经网络运算，生成所述本地特征图及所述全局特征矢量。
具体而言，所述学习装置100使每一个包含于所述坐标神经网络的至少一个坐标卷积层131的一个以上坐标卷积神经元，利用其参数针对输入的值加以至少一个坐标卷积神经元运算，将输出的值分别传达至下一个坐标卷积神经元，由此针对所述坐标矩阵加以所述坐标卷积运算，生成所述本地特征图。此时，所述坐标卷积运算可以是包含于所述坐标神经网络运算的运算。以上过程，与深度学习领域中广泛应用于特征图的生成的前馈(Feedforward)方式相似，因此，普通技术人员应该可以参考上述说明而容易地理解。根据一个实施例，所述本地特征图可以是N×C1大小的二维形态，C1可以是3以上的整数。
生成所述本地特征图后，所述学习装置100使全局特征层132，针对所述本地特征图加以至少一个全局特征运算，生成所述全局特征矢量。所述全局特征运算可以是所述坐标神经网络运算中的一部分。根据一个实施例，所述全局特征层132可以相似于现有技术的池化层，所述全局特征运算可以相似于现有的池化运算。另外，根据另一实施例，所述全局特征层132可以相似于现有技术的FC(Fully-Connected，全连接)层，所述全局特征运算可以相似于现有技术的FC运算。即，如果能够生成包括有所述目标区域相关全局信息的所述全局特征矢量，那么无论使用什么样的现有技术都无妨。并且，根据一个实施例，所述全局特征矢量可以是1C2大小的1维形态。
通过所述本地特征图与所述全局特征矢量之间的尺寸差距可以确认，所述本地特征图与所述全局特征矢量可以包括有其他信息。即，所述本地特征图可以成为“本地”的理由是，各个所述第1云点至第N云点的各个相关本地信息可以位于所述本地特征图的各行。相反，所述1×C2大小的所述全局特征矢量，可包括有所述云点整体的相关全局信息，而非每一个所述云点。
之后，所述学习装置100使集成模块(未图示)，利用所述本地特征图和所述全局特征矢量以及类矩阵，生成集成特征图。此时，所述类矩阵可包括有所述第1云点至所述第N云点所对应的第1类信息至第N类信息。举一例，可在所述类矩阵内排列所述第1类信息至所述第N类信息，并按照所述第1类信息至所述第N类信息分别位于所述类矩阵的第1行至第N行的所述特定顺序排列。
在此情况下，所述集成模块如图3所示，可将N次复制所述全局特征矢量而生成的全局特征图、所述类矩阵及所述本地特征图，按信道方向级联(Channel-wise Conceting)。此时，所述全局特征图、所述类矩阵及所述本地特征图可按任意顺序，例如可按图3所示的所述类矩阵、所述本地特征图及所述全局特征图的顺序，或按所述本地特征图、所述类矩阵及所述全局特征图的顺序进行信道方向级联。
之后，所述学习装置100使所述判断神经网络140，针对所述集成特征图加以所述判断神经网络运算，生成所述第1预测适合度分数至所述第N预测适合度分数，其分别显示所述第1云点至所述第N云点的相关信息用于所述高清地图更新的概率。以下说明使用所述第1预测适合度分数至所述第N预测适合度分数的目的。
在后会详细说明，用于更新所述高清地图的所述第1云点至所述第N云点的相关信息，可以是一个以上的数据提取车辆分别在其所分配到的区域(所述分配到的区域包括所述目标区域)内行驶而各自获得的。此情况下，所述云点相关信息，不得已会包括路过的车辆、停泊的车辆或步行者等临时客体信息。所述预测适合度分数可用于判断与其对应的云点相关信息是否为所述不得已的信息。
以下，将进一步详细说明生成所述预测适合度分数的所述过程。即，所述学习装置100，(i)使每一个包含于所述判断神经网络140的至少一个判断卷积层141的一个以上判断卷积神经元，利用其参数针对输入的值加以至少一个判断卷积神经元运算，将输出的值分别传达至下一个判断卷积神经元，由此针对所述判断矩阵加以所述判断神经网络运算中的至少一部分，即加以至少一个判断卷积运算，生成判断特征图。之后，所述学习装置100，(ii)使所述判断神经网络140的判断输出层142，参照所述判断特征图，针对所述第1云点至所述第N云点加以所述判断神经网络运算中的一部分，即加以分类(classification)运算，生成所述第1预测适合度分数至所述第N预测适合度分数。
如上所述，使用所述判断卷积层141及所述判断输出层142的构成相似于一种前馈方式的MLP(多层感知机，Multi-Layer Perceptron)方式，因此，普通技术人员应该能够容易理解生成所述预测适合度分数的过程。举另一个实施例，所述判断神经网络140也可以应用现有技术，其能够在深度学习中容易地使用稀疏数据(sparse data)。即，所述判断神经网络140包含FC层作为构成要素，构成为由广泛熟知的现有的变形网络与所述FC层并列连接。对其省略具体说明。
之后，所述学习装置100，使所述损失层150参照(i)所述第1预测适合度分数至第N预测适合度分数及(ii)所述第1GT适合度分数至第N GT适合度分数，生成损失，执行利用所述损失的反向传播，从而学习所述判断神经网络140及所述坐标神经网络130的参数中至少一部分。所述第1GT适合度分数至所述第N GT适合度分数可分别对应于所述第1预测适合度分数至所述第N预测适合度分数，并且可由管理员输入到所述学习装置100，用于学习所述学习装置100。
此时，可按照以下公式生成所述损失，
Figure BDA0002359295450000141
此时，N意味着所述第1云点至第N云点的个数，yi意味着第i预测适合度分数，
Figure BDA0002359295450000142
意味着第i GT适合度分数。所述公式与众所周知的交叉熵(Cross-Entropy)方式相似，但只要是生成损失的方式，无论何种方式都可应用于本发明。
之后，所述学习装置100使所述损失层150利用梯度下降(gradient descent)方法执行所述反向传播，从而学习所述参数。执行完如上所述的学习过程后，使用通过所述反向传播调整的所述参数生成的后续第1预测适合度分数至后续第N预测适合度分数，将会相对地更加与对应于其的后续第1GT适合度分数至第N GT适合度分数相似。
以上详细说明了本发明的所述学习方法。以下详细说明如何获得所述坐标矩阵、所述类矩阵及所述GT适合度分数。
首先，可提供用于所述高清地图的更新的所述一个以上数据提取车辆。所述数据提取车辆可包括(i)至少一个深度传感器与至少一个摄像机中至少一部分，例如3D TOF(Time of Flight，三维飞行时间)照相机，及(ii)所述摄像机与所述深度传感器中所述至少一部分所对应的运算模块，例如包括计算装置，且可以与服务器联动。
此时，所述数据提取车辆分别将从其照相机及深度传感器中至少一部分获取的信息，通过所述运算模块进行处理，从而行驶各自分配到的区域，获取地图数据中至少一部分。例如，所述地图数据可包括有云点信息和客体类信息。
具体而言，特定数据提取车辆针对通过其照相机获得的信息，加以众所周知的现有技术的客体检测运算，获得特定客体类信息，针对(i)所述特定数据提取车辆周边的特定客体的特定对象坐标信息和(ii)有关获取该信息时所述特定数据提取车辆所处位置的特定位置信息，通过所述运算模块进行集成，生成特定云点信息。之后，所述特定数据提取车辆，将包含所述特定客体类信息及所述特定云点信息的特定地图数据传达至所述服务器。
所述服务器，在参照所述云点信息而生成的虚拟空间映射(mapping)所述客体类信息，获得各个所述云点所对应的各自的类信息后，参照获得各个所述地图数据的各个位置的各个位置信息，对各个所述地图数据进行分类。并且，针对已分类的地图数据，可以用于生成所述坐标矩阵及所述类矩阵。即，针对从所述数据提取车辆获得的所述地图数据，可以按区域分类，按区域评价，并用于所述高清地图的更新。在此，同一个特定区域可以对应两个地图数据，下面将说明此情况下所述服务器如何进行处理。
即，所述地图数据中第1特定地图数据与第2特定地图数据对应于所述同一个特定区域的情况下，所述服务器针对所述第1特定地图数据与所述第2特定地图数据加以至少一个集成运算进行集成。此时，所述集成运算可以引用众所周知的现有技术的ICP(Iterativeclosest point，迭代最近点)算法来实现。
之后，所述服务器可以执行(i)使用包含于所述地图数据的所述目标区域所对应的特定云点信息生成所述坐标矩阵的过程，及(ii)使用包含于所述地图数据的所述目标区域所对应的特定类信息生成所述类矩阵的过程。这些坐标矩阵及类矩阵可输入于所述坐标神经网络130及所述判断神经网络140而获得学习。
另外，由标签单元处理有关所述坐标矩阵及所述类矩阵所包含的所述第1云点及所述第N云点的信息，从而生成所述第1GT适合度分数至所述第N GT适合度分数。所述标签单元可以是人或计算程序。
以上说明了本发明的所述学习方法及所述坐标矩阵、所述类矩阵及所述第1GT适合度分数至所述第N GT适合度分数的获得方式。下面，将参照图4说明本发明的测试方法。
如图4所示，(a)(1)所述学习装置100，获得包括有学习用目标区域内检出的第1学习用云点至第N学习用云点所对应的第1学习用坐标至第N学习用坐标的相关信息的至少一个学习用坐标矩阵后，使所述坐标神经网络130针对所述学习用坐标矩阵加以所述坐标神经网络运算，生成至少一个学习用本地特征图及至少一个学习用全局特征矢量，(2)所述学习装置100，将(i)所述学习用本地特征图、(ii)所述学习用全局特征矢量及(iii)包括有所述第1学习用云点至所述第N学习用云点所对应的第1学习用类信息至第N学习用类信息的相关信息的至少一个学习用类矩阵此三者进行集成而生成至少一个学习用集成特征图后，使所述判断神经网络140针对所述学习用集成特征图加以判断神经网络运算，生成第1学习用预测适合度分数至第N学习用预测适合度分数，其分别显示有关所述第1学习用云点至所述第N学习用云点的信息用于更新所述学习用高清地图的概率，(3)所述学习装置100，使所述损失层150参照(i)所述第1学习用预测适合度分数至第N学习用预测适合度分数及(ii)第1GT适合度分数至第N GT适合度分数，生成损失，执行利用所述损失的反向传播，从而学习所述判断神经网络140及所述坐标神经网络130的参数中至少一部分，在此状态下，测试装置，获得包括有测试用目标区域内检出的第1测试用云点至第N测试用云点所对应的第1测试用坐标至第N测试用坐标的相关信息的至少一个测试用坐标矩阵后，使所述坐标神经网络130针对所述测试用坐标矩阵加以所述坐标神经网络运算，生成至少一个测试用本地特征图及至少一个测试用全局特征矢量。
之后，所述测试装置，将(i)所述测试用本地特征图、(ii)所述测试用全局特征矢量及(iii)包括有所述第1测试用云点至所述第N测试用云点所对应的第1测试用类信息至第N测试用类信息的相关信息的至少一个测试用类矩阵此三者进行集成而生成至少一个测试用集成特征图后，使所述判断神经网络140针对所述测试用集成特征图加以所述判断神经网络运算，生成第1测试用预测适合度分数至第N测试用预测适合度分数，其分别显示所述第1测试用云点至所述第N测试用云点的相关信息用于更新所述测试用高清地图的概率。
之后，所述测试装置，使更新模块判断各个所述第1测试用预测适合度分数至所述第N测试用预测适合度分数是否为临界值以上，并利用具有所述临界值以上的特定预测适合度分数的一个以上特定云点的相关特定信息，更新所述测试用高清地图。
此时，所述测试用坐标矩阵及所述测试用类矩阵可以通过与所述学习方法相似的方式获得。即，与一个以上的测试用数据提取车辆联动的测试用服务器，(i)针对通过各自的所述测试用数据提取车辆获得的各个测试用地图数据，以获得各个所述测试用地图数据的各个位置相关各个测试用位置信息作参照进行分类，(ii)利用分类的测试用地图数据所包含的所述测试用目标区域相关测试用特定信息，生成所述测试用坐标矩阵及所述测试用类矩阵，(iii)并将所述测试用坐标矩阵及所述测试用类矩阵传达至所述测试装置。另外，所述测试用服务器可以执行以下过程：(i)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定云点信息，生成所述测试用坐标矩阵；及(ii)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定类信息，生成所述测试用类矩阵。
通过以上说明的测试装置的过程，可以过滤掉所述临时客体相关信息等不必要信息，仅利用必要的信息来更新所述测试用高清地图。
本发明提供从各个车辆获得信息组的方法，这些方法可为作所述多车深度估计法中的一个。另外，将这些信息集成为高清地图的方法，可作为V2X(vehicle-to-everything)信息集成技术中的一种。三维空间的重建是为了利用这些方法更新高清地图。其结果，能够替代搭载有道路移动中可生成高清地图的装置的车辆在生产和管理上需要投入高成本的现有技术，通过借由收集激光扫描信息和图像且借由车道检测和映射而生成地图的多个车辆来获得信息，并生成高清地图。
以上说明的本发明的实施例可以体现为可通过多样计算机构成要素而执行的程序命令的形态，记录于计算机可读记录介质。所述计算机可读记录介质可以单独或组合包括程序命令、数据文件、数据结构等。所述计算机可读记录介质中记录的程序命令可以是为本发明而特别设计、构成的，或者也可以是计算机软件领域从业人员公知并可使用的。在计算机可读记录介质的示例中，包括诸如硬盘、软盘及磁带的磁介质，诸如CD-ROM(只读光盘驱动器)、DVD(数字化视频光盘)的光记录介质，诸如软式光盘(floptical disk)的磁-光介质(magneto-optical media)，及诸如只读存储器(ROM)、随机存储器(RAM)、快闪存储器等的为了存储及执行程序命令而特殊构成的硬件装置。在程序命令的示例中，不仅有借助于编译程序而制成的机器语言代码，还包括使用解释器等而能够借助于计算机运行的高级语言代码。所述硬件装置为了执行本发明的处理，可以构成为一个以上的软件模块而运转，反之亦然。
以上根据诸如具体构成要素等的特定事项和限定的实施例及附图，对本发明进行了说明，但这只是为了帮助更全面理解本发明而提供的，并非本发明限定于所述实施例，只要是本发明所属技术领域的技术人员，便可以从这种记载导出多样的修订及变形。
因此，本发明的思想不局限于所述说明的实施例确定，后述权利要求书以及与该权利要求书等同地或等效地变形的所有内容均属于本发明的思想范围。

Claims (30)

1.一种从多个车辆获得的信息中，选择用于更新高清地图的特定信息的学习方法，其特征在于，包括以下步骤：
(a)学习装置，获得包括有目标区域内检出的第1云点至第N云点所对应的第1坐标至第N坐标的相关信息的至少一个坐标矩阵后，使坐标神经网络针对所述坐标矩阵加以至少一个坐标神经网络运算，生成至少一个本地特征图及至少一个全局特征矢量；
(b)所述学习装置，将(i)所述本地特征图、(ii)所述全局特征矢量、及(iii)包括有所述第1云点至所述第N云点所对应的第1类信息至第N类信息的相关信息的至少一个类矩阵此三者进行集成而生成至少一个集成特征图，使判断神经网络针对所述集成特征图加以至少一个判断神经网络运算，生成第1预测适合度分数至第N预测适合度分数，其分别显示所述第1云点至所述第N云点的相关信息用于更新所述高清地图的概率；
(c)所述学习装置，使损失层参照(i)所述第1预测适合度分数至所述第N预测适合度分数及(ii)第1地面真值GT适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播，从而学习所述判断神经网络及所述坐标神经网络的参数中至少一部分。
2.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)，所述学习装置使每一个包含于所述坐标神经网络的至少一个坐标卷积层的一个以上坐标卷积神经元，利用其参数针对输入的值加以至少一个坐标卷积神经元运算，将输出的值分别传达至下一个坐标卷积神经元，由此针对所述坐标矩阵加以所述坐标神经网络运算中的至少一部分，即加以至少一个坐标卷积运算，生成所述本地特征图。
3.根据权利要求2所述的方法，其特征在于，
在所述步骤(a)，所述学习装置使所述坐标神经网络的全局特征层针对所述本地特征图加以所述坐标神经网络运算中的至少一部分，即加以至少一个全局特征图运算，生成所述全局特征矢量。
4.根据权利要求1所述的方法，其特征在于，
在所述步骤(b)，将(i)作为元素包含有按特定顺序排列的所述第1类信息至所述第N类信息的所述类矩阵、(ii)作为元素包含有分别对应按所述特定顺序排列的所述第1云点至所述第N云点的每一个特征值的所述本地特征图、及(iii)N次复制所述全局特征矢量而生成的全局特征图，按信道方向级联而生成所述集成特征图。
5.根据权利要求1所述的方法，其特征在于，
在所述步骤(b)，所述学习装置，(i)使每一个包含于所述判断神经网络中至少一个判断卷积层的一个以上判断卷积神经元，利用其参数针对输入的值加以至少一个判断卷积神经元运算，将输出的值分别传达至下一个判断卷积神经元，由此针对所述判断矩阵加以所述判断神经网络运算中的至少一部分，即加以至少一个判断卷积运算，生成判断特征图后，(ii)使所述判断神经网络的判断输出层，参照所述判断特征图，针对所述第1云点至所述第N云点加以所述判断神经网络运算中的一部分，即加以分类运算，生成所述第1预测适合度分数至所述第N预测适合度分数。
6.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)，所述学习装置使所述损失层按照以下公式生成所述损失，
Figure FDA0002359295440000021
N意味着所述第1云点至第N云点的个数，yi意味着第i预测适合度分数，
Figure FDA0002359295440000022
意味着第i GT适合度分数。
7.根据权利要求1所述的方法，其特征在于，
在所述步骤(c)，所述学习装置使所述损失层利用梯度下降方法进行所述反向传播，从而使得使用基于此调整过的所述参数而生成的后续第1预测适合度分数至后续第N预测适合度分数，相对地更加与对应于其的后续第1GT适合度分数至后续第N GT适合度分数相似。
8.根据权利要求1所述的方法，其特征在于，
与一个以上的数据提取车辆联动的服务器，(i)针对通过各个所述数据提取车辆获得的地图数据，以获得各个所述地图数据的位置相关各个位置信息作为参照进行分类，(ii)利用所述已分类的地图数据中所述目标区域相关目标信息，生成所述坐标矩阵及所述类矩阵，(iii)并将所述坐标矩阵及所述类矩阵传达至所述学习装置。
9.根据权利要求8所述的方法，其特征在于，
在所述地图数据中，当第1特定地图数据及第2特定地图数据对应同一个特定区域的情况下，所述服务器针对所述第1特定地图数据及所述第2特定地图数据加以至少一个集成运算，集成所述第1特定地图数据及所述第2特定地图数据。
10.根据权利要求8所述的方法，其特征在于，
每一个所述数据提取车辆分别使用(i)至少一个照相机及至少一个深度传感器中至少一部分及(ii)对应于其的运算模块，获得距离所述数据提取车辆位于临界距离以下的一个以上客体的云点信息及类信息，从而获得所述地图数据中至少一部分，并将其传达至所述服务器。
11.根据权利要求10所述的方法，其特征在于，
所述服务器执行以下过程：(i)使用所述地图数据所包含的对应于所述目标区域的特定云点信息，生成所述坐标矩阵；及(ii)使用所述地图数据所包含的对应于所述目标区域的特定类信息，生成所述类矩阵。
12.一种从多个车辆获得的信息中，选择用于更新高清地图的特定信息的测试方法，其特征在于，包括以下步骤：
(a)(1)学习装置，获得包括有学习用目标区域内检出的第1学习用云点至第N学习用云点所对应的第1学习用坐标至第N学习用坐标的相关信息的至少一个学习用坐标矩阵，使坐标神经网络针对所述学习用坐标矩阵加以至少一个坐标神经网络运算，生成至少一个学习用本地特征图及至少一个学习用全局特征矢量，(2)所述学习装置，将(i)所述学习用本地特征图、(ii)所述学习用全局特征矢量、及(iii)包括有所述第1学习用云点至所述第N学习用云点所对应的第1学习用类信息至第N学习用类信息的相关信息的至少一个学习用类矩阵此三者进行集成而生成至少一个学习用集成特征图，使判断神经网络针对所述学习用集成特征图加以至少一个判断神经网络运算，生成第1学习用预测适合度分数至第N学习用预测适合度分数，其分别显示所述第1学习用云点至所述第N学习用云点的相关信息用于更新所述学习用高清地图的概率，(3)所述学习装置，使损失层参照(i)所述第1学习用预测适合度分数至第N学习用预测适合度分数及(ii)第1GT适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播，从而学习所述判断神经网络及所述坐标神经网络的参数中至少一部分，在此状态下，测试装置，获得包括有测试用目标区域内检出的第1测试用云点至第N测试用云点所对应的第1测试用坐标至第N测试用坐标的相关信息的至少一个测试用坐标矩阵，使所述坐标神经网络针对所述测试用坐标矩阵加以所述坐标神经网络运算，生成至少一个测试用本地特征图及至少一个测试用全局特征矢量；
(b)所述测试装置，将(i)所述测试用本地特征图、(ii)所述测试用全局特征矢量、及(iii)包括有所述第1测试用云点至所述第N测试用云点所对应的第1测试用类信息至第N测试用类信息的相关信息的至少一个测试用类矩阵此三者进行集成而生成至少一个测试用集成特征图后，使所述判断神经网络针对所述测试用集成特征图加以判断神经网络运算，生成第1测试用预测适合度分数至第N测试用预测适合度分数，其分别显示所述第1测试用云点至所述第N测试用云点的相关信息用于更新所述测试用高清地图的概率。
13.根据权利要求12所述的测试方法，其特征在于，
进一步包括步骤(c)，所述测试装置，使更新模块判断各个所述第1测试用预测适合度分数至所述第N测试用预测适合度分数是否为临界值以上，并利用具有所述临界值以上的特定预测适合度分数的一个以上特定云点相关特定信息，更新所述测试用高清地图。
14.根据权利要求12所述的测试方法，其特征在于，
与一个以上的测试用数据提取车辆联动的测试用服务器，(i)针对通过各自的所述测试用数据提取车辆获得的各个测试用地图数据，以获得所述测试用地图数据的各个位置相关各个测试用位置信息作为参照进行分类，(ii)利用已分类的所述测试用地图数据所包含的所述测试用目标区域相关测试用目标信息，生成所述测试用坐标矩阵及所述测试用类矩阵，(iii)并将所述测试用坐标矩阵及所述测试用类矩阵传达至所述测试装置。
15.根据权利要求12所述的测试方法，其特征在于，
所述测试用服务器执行以下过程：(i)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定云点信息，生成所述测试用坐标矩阵；及(ii)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定类信息，生成所述测试用类矩阵。
16.一种从多个车辆获得的信息中，选择用于更新高清地图的特定信息的学习装置，其特征在于，包括：
至少一个存储器，用于存储指令；及
至少一个处理器，构成为用于执行完成以下过程的所述指令：
过程(I)获得包括有目标区域内检出的第1云点至第N云点所对应的第1坐标至第N坐标的相关信息的至少一个坐标矩阵后，使坐标神经网络针对所述坐标矩阵加以至少一个坐标神经网络运算，生成至少一个本地特征图及至少一个全局特征矢量；过程(II)将(i)所述本地特征图、(ii)所述全局特征矢量、及(iii)包括有所述第1云点至所述第N云点所对应的第1类信息至第N类信息的相关信息的至少一个类矩阵此三者进行集成而生成至少一个集成特征图后，使判断神经网络针对所述集成特征图加以至少一个判断神经网络运算，生成第1预测适合度分数至第N预测适合度分数，其分别显示所述第1云点至所述第N云点的相关信息用于更新所述高清地图的概率；及过程(III)使损失层参照(i)所述第1预测适合度分数至第N预测适合度分数及(ii)第1GT适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播，从而学习所述判断神经网络及所述坐标神经网络的参数中至少一部分。
17.根据权利要求16所述的学习装置，其特征在于，
在所述过程(I)，所述处理器使每一个包含于所述坐标神经网络的至少一个坐标卷积层的一个以上坐标卷积神经元，利用其参数针对输入的值加以至少一个坐标卷积神经元运算，将输出的值分别传达至下一个坐标卷积神经元，由此针对所述坐标矩阵加以所述坐标神经网络运算中的至少一部分，即加以至少一个坐标卷积运算，生成所述本地特征图。
18.根据权利要求17所述的学习装置，其特征在于，
在所述过程(I)，所述处理器使所述坐标神经网络的全局特征层针对所述本地特征图加以所述坐标神经网络运算中的至少一部分，即加以至少一个全局特征图运算，生成所述全局特征矢量。
19.根据权利要求16所述的学习装置，其特征在于，
在所述过程(II)，将(i)作为元素包含有按特定顺序排列的所述第1类信息至所述第N类信息的所述类矩阵、(ii)作为元素包含有分别对应按所述特定顺序排列的所述第1云点至所述第N云点的每一个特征值的所述本地特征图、及(iii)N次复制所述全局特征矢量而生成的全局特征图，按信道方向级联而生成所述集成特征图。
20.根据权利要求16所述的学习装置，其特征在于，
在所述过程(II)，所述处理器，(i)使每一个包含于所述判断神经网络中至少一个判断卷积层的一个以上判断卷积神经元，利用其参数针对输入的值加以至少一个判断卷积神经元运算，将输出的值分别传达至下一个判断卷积神经元，由此针对所述判断矩阵加以所述判断神经网络运算中的至少一部分，即加以至少一个判断卷积运算，生成判断特征图后，(ii)使所述判断神经网络的判断输出层，参照所述判断特征图，针对所述第1云点至所述第N云点加以所述判断神经网络运算中的一部分，即加以分类运算，生成所述第1预测适合度分数至所述第N预测适合度分数。
21.根据权利要求16所述的学习装置，其特征在于，
在所述过程(III)，所述处理器使所述损失层按照以下公式生成所述损失，
Figure FDA0002359295440000061
N意味着所述第1云点至第N云点的个数，yi意味着第i预测适合度分数，
Figure FDA0002359295440000062
意味着第i GT适合度分数。
22.根据权利要求16所述的学习装置，其特征在于，
在所述过程(III)，所述处理器使所述损失层利用梯度下降方法进行所述反向传播，从而使得使用基于此调整过的所述参数而生成的后续第1预测适合度分数至后续第N预测适合度分数，相对地更加与对应于其的后续第1GT适合度分数至后续的第N GT适合度分数相似。
23.根据权利要求16所述的学习装置，其特征在于，
与一个以上的数据提取车辆联动的服务器，(i)针对通过各个所述数据提取车辆获得的地图数据，以获得各个所述地图数据的位置相关各个位置信息作参照进行分类，(ii)利用所述已分类的地图数据中所述目标区域相关目标信息，生成所述坐标矩阵及所述类矩阵，(iii)并将所述坐标矩阵及所述类矩阵传达至所述学习装置。
24.根据权利要求23所述的学习装置，其特征在于，
在所述地图数据中，当第1特定地图数据及第2特定地图数据对应同一个特定区域的情况下，所述服务器针对所述第1特定地图数据及所述第2特定地图数据加以至少一个集成运算，集成所述第1特定地图数据及所述第2特定地图数据。
25.根据权利要求23所述的学习装置，其特征在于，
每一个所述数据提取车辆分别使用(i)至少一个照相机及至少一个深度传感器中至少一部分及(ii)对应于其的运算模块，获得距离所述数据提取车辆位于临界距离以下的一个以上客体的云点信息及类信息，从而获得所述地图数据中至少一部分，并将其传达至所述服务器。
26.根据权利要求25所述的学习装置，其特征在于，
所述服务器执行以下过程：(i)使用所述地图数据所包含的对应于所述目标区域的特定云点信息，生成所述坐标矩阵；及(ii)使用所述地图数据所包含的对应于所述目标区域的特定类信息，生成所述类矩阵。
27.一种从多个车辆获得的信息中，选择用于更新高清地图的特定信息的测试装置，其特征在于，包括：
至少一个存储器，用于存储指令；及
至少一个处理器，构成为用于执行完成以下过程的所述指令：
过程(I)(1)学习装置，获得包括有学习用目标区域内检出的第1学习用云点至第N学习用云点所对应的第1学习用坐标至第N学习用坐标的相关信息的至少一个学习用坐标矩阵，使坐标神经网络针对所述学习用坐标矩阵加以至少一个坐标神经网络运算，生成至少一个学习用本地特征图及至少一个学习用全局特征矢量，(2)所述学习装置，将(i)所述学习用本地特征图、(ii)所述学习用全局特征矢量、及(iii)包括有所述第1学习用云点至所述第N学习用云点所对应的第1学习用类信息至第N学习用类信息的相关信息的至少一个学习用类矩阵此三者进行集成而生成至少一个学习用集成特征图，使判断神经网络针对所述学习用集成特征图加以至少一个判断神经网络运算，生成第1学习用预测适合度分数至第N学习用预测适合度分数，其分别显示所述第1学习用云点至所述第N学习用云点的相关信息用于更新所述学习用高清地图的概率，(3)所述学习装置，使损失层参照(i)所述第1学习用预测适合度分数至第N学习用预测适合度分数及(ii)第1GT适合度分数至第N GT适合度分数，生成损失，利用所述损失执行反向传播，从而学习所述判断神经网络及所述坐标神经网络的参数中至少一部分，在此状态下，获得包括有测试用目标区域内检出的第1测试用云点至第N测试用云点所对应的第1测试用坐标至第N测试用坐标的相关信息的至少一个测试用坐标矩阵，使所述坐标神经网络针对所述测试用坐标矩阵加以所述坐标神经网络运算，生成至少一个测试用本地特征图及至少一个测试用全局特征矢量；及
过程(II)将(i)所述测试用本地特征图、(ii)所述测试用全局特征矢量、及(iii)包括有所述第1测试用云点至所述第N测试用云点所对应的第1测试用类信息至第N测试用类信息的相关信息的至少一个测试用类矩阵此三者进行集成而生成至少一个测试用集成特征图，使所述判断神经网络针对所述测试用集成特征图加以判断神经网络运算，生成第1测试用预测适合度分数至第N测试用预测适合度分数，其分别显示所述第1测试用云点至所述第N测试用云点的相关信息用于更新所述测试用高清地图的概率。
28.根据权利要求27所述的测试装置，其特征在于，
所述处理器进一步执行过程(III)，使更新模块判断各个所述第1测试用预测适合度分数至所述第N测试用预测适合度分数是否为临界值以上，并利用具有所述临界值以上的特定预测适合度分数的一个以上特定云点相关特定信息，更新所述测试用高清地图。
29.根据权利要求27所述的测试装置，其特征在于，
与一个以上的测试用数据提取车辆联动的测试用服务器，(i)针对通过各自的所述测试用数据提取车辆获得的各个测试用地图数据，以获得所述测试用地图数据的各个位置相关各个测试用位置信息作为参照进行分类，(ii)利用分类的所述测试用地图数据所包含的所述测试用目标区域相关测试用目标信息，生成所述测试用坐标矩阵及所述测试用类矩阵，(iii)并将所述测试用坐标矩阵及所述测试用类矩阵传达至所述测试装置。
30.根据权利要求27所述的测试装置，其特征在于，
所述测试用服务器执行以下过程：(i)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定云点信息，生成所述测试用坐标矩阵；及(ii)使用所述测试用地图数据所包含的对应于所述测试用目标区域的测试用特定类信息，生成所述测试用类矩阵。
CN202010017082.6A 2019-01-30 2020-01-08 利用v2x信息集成技术更新高清地图的方法和装置 Active CN111508252B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798656P 2019-01-30 2019-01-30
US62/798656 2019-01-30
US16/724994 2019-12-23
US16/724,994 US10733511B1 (en) 2019-01-30 2019-12-23 Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
CN111508252A true CN111508252A (zh) 2020-08-07
CN111508252B CN111508252B (zh) 2022-12-30

Family

ID=69190630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010017082.6A Active CN111508252B (zh) 2019-01-30 2020-01-08 利用v2x信息集成技术更新高清地图的方法和装置

Country Status (5)

Country Link
US (1) US10733511B1 (zh)
EP (1) EP3690756B1 (zh)
JP (1) JP6892157B2 (zh)
KR (1) KR102373493B1 (zh)
CN (1) CN111508252B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220146277A1 (en) * 2020-11-09 2022-05-12 Argo AI, LLC Architecture for map change detection in autonomous vehicles
CN113064193B (zh) * 2021-03-25 2022-12-16 上海智能新能源汽车科创功能平台有限公司 一种基于车路云协同的组合定位***
WO2023085702A1 (ko) * 2021-11-09 2023-05-19 엘지전자 주식회사 무선 통신 시스템에서 제1 장치가 제1 메시지를 전송하는 방법 및 이를 위한 장치
CN115762199B (zh) * 2022-09-20 2023-09-29 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776996A (zh) * 2016-12-02 2017-05-31 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置
CN108387241A (zh) * 2017-02-02 2018-08-10 百度（美国）有限责任公司 更新自动驾驶车辆的定位地图的方法和***
CN108847121A (zh) * 2018-07-04 2018-11-20 深圳地平线机器人科技有限公司 构建高精度地图的方法和装置
CN109064506A (zh) * 2018-07-04 2018-12-21 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6129176B2 (ja) * 2011-09-02 2017-05-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 確率論的ボクセルマップを用いた高速高密度点群イメージング
GB201116959D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
US10075656B2 (en) * 2013-10-30 2018-09-11 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US9292961B1 (en) * 2014-08-26 2016-03-22 The Boeing Company System and method for detecting a structural opening in a three dimensional point cloud
EP4030378A1 (en) * 2015-05-10 2022-07-20 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US10482196B2 (en) * 2016-02-26 2019-11-19 Nvidia Corporation Modeling point cloud data using hierarchies of Gaussian mixture models
CN106052697B (zh) * 2016-05-24 2017-11-14 百度在线网络技术（北京）有限公司 无人车、无人车定位方法、装置和***
CN106023210B (zh) * 2016-05-24 2017-12-12 百度在线网络技术（北京）有限公司 无人车、无人车定位方法、装置和***
US10365658B2 (en) * 2016-07-21 2019-07-30 Mobileye Vision Technologies Ltd. Systems and methods for aligning crowdsourced sparse map data
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
US10545029B2 (en) * 2016-12-30 2020-01-28 DeepMap Inc. Lane network construction using high definition maps for autonomous vehicles
US10380890B2 (en) * 2017-02-08 2019-08-13 Baidu Usa Llc Autonomous vehicle localization based on walsh kernel projection technique
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10078790B2 (en) * 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof
CN108732584B (zh) * 2017-04-17 2020-06-30 百度在线网络技术（北京）有限公司 用于更新地图的方法和装置
CN108732582B (zh) * 2017-04-20 2020-07-10 百度在线网络技术（北京）有限公司 车辆定位方法和装置
US10467756B2 (en) * 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image
WO2018222900A1 (en) 2017-05-31 2018-12-06 Intel Corporation Computationally-efficient quaternion-based machine-learning system
US10481267B2 (en) * 2017-06-13 2019-11-19 TuSimple Undistorted raw LiDAR scans and static point extractions method for ground truth static scene sparse flow generation
US10488521B2 (en) * 2017-06-13 2019-11-26 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation
US10360686B2 (en) * 2017-06-13 2019-07-23 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
WO2019113531A1 (en) * 2017-12-07 2019-06-13 Ouster, Inc. Installation and use of vehicle light ranging system
US11127203B2 (en) * 2018-05-16 2021-09-21 Samsung Electronics Co., Ltd. Leveraging crowdsourced data for localization and mapping within an environment
US10282864B1 (en) * 2018-09-17 2019-05-07 StradVision, Inc. Method and device for encoding image and testing method and testing device using the same
US10528867B1 (en) * 2018-10-08 2020-01-07 StradVision, Inc. Learning method and learning device for neural network at adaptive learning rate, and testing method and testing device using the same
US10395140B1 (en) * 2019-01-23 2019-08-27 StradVision, Inc. Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776996A (zh) * 2016-12-02 2017-05-31 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置
CN108387241A (zh) * 2017-02-02 2018-08-10 百度（美国）有限责任公司 更新自动驾驶车辆的定位地图的方法和***
CN108847121A (zh) * 2018-07-04 2018-11-20 深圳地平线机器人科技有限公司 构建高精度地图的方法和装置
CN109064506A (zh) * 2018-07-04 2018-12-21 百度在线网络技术（北京）有限公司 高精度地图生成方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XINYU HUANG 等: "The ApoIloScape Open Dataset for Autonomous Driving and its Application", 《HTTPS://ARXIV.ORG/ABS/1803.06184V3》 *

Also Published As

Publication number Publication date
JP2020123348A (ja) 2020-08-13
KR102373493B1 (ko) 2022-03-14
EP3690756C0 (en) 2023-09-27
EP3690756B1 (en) 2023-09-27
KR20200094644A (ko) 2020-08-07
US20200242478A1 (en) 2020-07-30
JP6892157B2 (ja) 2021-06-23
EP3690756A1 (en) 2020-08-05
CN111508252B (zh) 2022-12-30
US10733511B1 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
JP6849898B2 (ja) 生成ニューラルネットワークと、判別ニューラルネットワークとを含む敵対的生成ネットワークを利用して、合成可否判断不可の合成イメージを生成する方法、及び装置
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN111508252B (zh) 利用v2x信息集成技术更新高清地图的方法和装置
KR102309711B1 (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
JP6980289B2 (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｕｓｉｎｇ ｌａｎｅ ｍｏｄｅｌ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102320985B1 (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
US11676005B2 (en) Method and system for deep neural networks using dynamically selected feature-relevant points from a point cloud
EP3690744A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
JP2020123346A (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
CN112861755B (zh) 一种目标多类别实时分割方法及***
KR102372687B1 (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
CN110909588B (zh) 基于cnn的用于车道线检测的方法和装置
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
EP4064126B1 (en) Methods for training and testing perception network by using images obtained from multiple imaging devices having diverse specifications and learning device and testing device using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant