CN106558058B - 分割模型训练方法、道路分割方法、车辆控制方法及装置 - Google Patents

分割模型训练方法、道路分割方法、车辆控制方法及装置 Download PDF

Info

Publication number
CN106558058B
CN106558058B CN201611078835.4A CN201611078835A CN106558058B CN 106558058 B CN106558058 B CN 106558058B CN 201611078835 A CN201611078835 A CN 201611078835A CN 106558058 B CN106558058 B CN 106558058B
Authority
CN
China
Prior art keywords
image
training
segmentation
road
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611078835.4A
Other languages
English (en)
Other versions
CN106558058A (zh
Inventor
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Priority to CN201611078835.4A priority Critical patent/CN106558058B/zh
Publication of CN106558058A publication Critical patent/CN106558058A/zh
Application granted granted Critical
Publication of CN106558058B publication Critical patent/CN106558058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种分割模型训练方法，以解决现有技术分割模型训练效率低、耗时长、成本高的问题。方法包括：采用无监督自由区域分割法对训练样本图像进行自由区域分割，得到训练样本图像的自由区域分割图像；以训练样本图像为输入图像，以自由区域分割图像为标注图像，采用自步学习法对预置的卷积神经网络进行迭代训练，得到初始分割模型；以预置的标准样本图像为输入图像，以预先对该标准样本图像标注出的道路区域图像为标注图像，对所述初始分割模型进行训练，得到目标分割模型。采用本方法在确保训练得到的分割模型的分割准确性的同时，还能够提高训练速度和效率，基于该目标分割模型进行道路分割，使得道路分割结果更精确。

Description

分割模型训练方法、道路分割方法、车辆控制方法及装置
技术领域
本发明涉及计算机领域，特别是涉及一种分割模型训练方法及其装置、道路分割方法及其装置、车辆控制方法及其装置。
背景技术
在自动驾驶或无人驾驶的领域中，道路分割技术(道路分割是指将图像中的道路区域分割出来)为其核心技术之一。目前道路分割的方式主要是通过道路分割模型对摄像头拍摄的图像进行道路分割来得到道路区域。
目前道路分割模型的训练方法主要如下：对大量的训练样本图像(如双目摄像头采集的左眼图像或右眼图像)进行人工标注，得到训练样本图像的标注图像，基于训练样本图像及其标注图像对卷积神经网络进行训练，得到道路分割模型。该种方式需要大量的人工进行标注工作，耗时、耗力，成本较高、效率低。
发明内容
基于前述技术问题，本发明实施例提供一种分割模型训练方法，在确保训练得到的分割模型的分割准确性的同时，还能够提高训练速度和效率。
第一方面，本发明实施例提供一种分割模型训练方法及装置。
一种分割模型训练方法，包括：
采用无监督自由区域分割法对训练样本图像进行自由区域分割，得到训练样本图像的自由区域分割图像；
以所述训练样本图像为输入图像，以所述训练样本图像对应的自由区域分割图像为标注图像，采用自步学习法对预置的卷积神经网络进行迭代训练，得到初始分割模型；
以预置的标准样本图像为输入图像，以预先对该标准样本图像标注出的道路区域图像为标注图像，对所述初始分割模型进行训练，得到目标分割模型。
一种分割模型训练装置，包括：
训练样本图像分割单元，用于采用无监督自由区域分割法对训练样本图像进行自由区域分割，得到训练样本图像的自由区域分割图像；
初始分割模型训练单元，用于以所述训练样本图像为输入图像，以所述训练样本图像对应的自由区域分割图像为标注图像，采用自步学习法对预置的卷积神经网络进行迭代训练，得到初始分割模型；
目标分割模型训练单元，用于以预置的标准样本图像为输入图像，以预先对该标准样本图像标注出的道路区域图像为标注图像，对所述初始分割模型进行训练，得到目标分割模型。
第二方面，本发明实施例提供一种道路分割方法及装置。
一种道路分割方法，包括：
接收待分割图像；
将所述待分割图像输入至目标分割模型中，输出所述待分割图像的道路区域分割图像，其中，所述目标分割模型为预先根据前述分割模型训练方法训练得到的模型。
一种道路分割装置，包括：
接收单元，用于接收待分割图像；
道路区域分割图像获取单元，用于将所述待分割图像输入至目标分割模型中，输出所述待分割图像的道路区域分割图像，其中，所述目标分割模型为预先根据所述分割模型训练方法训练得到的模型。
第三方面，本发明实施例提供一种车辆控制方法及装置。
一种车辆控制方法，包括：
接收位于车辆上的摄像头拍摄的前方道路环境的图像；
将所述图像输入至目标分割模型中得到所述图像的道路区域分割图像，其中，所述目标分割模型为预先根据上述分割模型训练方法训练得到的模型；
根据所述道路区域分割图像得到前方道路可行驶区域；
根据所述可行驶区域以及所述车辆位置，控制所述车辆的行驶方向。
一种车辆控制装置，包括：
图像接收单元，用于接收位于车辆上的摄像头拍摄的前方道路环境的图像；
图像分割单元，用于将所述图像输入至目标分割模型中得到所述图像的道路区域分割图像，其中，所述目标分割模型为预先根据上述分割模型训练方法训练得到的模型；
道路可行驶区域确定单元，用于根据所述道路区域分割图像得到前方道路可行驶区域；
车辆行驶控制单元，用于根据所述可行驶区域以及所述车辆位置，控制所述车辆的行驶方向。
本发明实施例提供的分割模型训练方法，一方面，用于训练卷积神经网络的训练样本图像的标注方式通过无监督自由区域分割法进行自由区域分割得到，由于无监督自由区域分割法无需任何人工标定，因此提高了训练样本图像的标注速度和效率，降低人力成本；另一方面，基于训练样本图像和自由区域分割得到的标注图像，采用自步学习法对卷积神经网络进行鲁棒性的训练得到初始分割模型，减少了自由区域分割法标注不精确带来的影响，提高初始分割模型的道路分割准确性；最后一方面，再采用少量的标准样本图像和预先对标准样本图像标注的道路区域图像为输入数据对初始分割模型进行进一步训练得到目标分割模型，以进一步提高分割模型的道路分割准确性，少量数据的训练速度较快、耗时较少。综上所述，本发明提供的分割模型训练方法，不仅速度快、效率高，而且训练出的目标分割模型准确性高。基于前述目标分割模型对图像进行道路分割，得到的道路区域更准确；而基于准确的道路区域进行车辆控制，使得车辆能够安全、准确的行驶在道路上，车辆驾驶更安全、可靠。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例1提供的一种分割模型训练方法的方法流程图；
图2为本发明实施例1中对训练样本图像进行自由区域分割的方法流程图；
图3(a)为本发明实施例1中双目摄像头采集到的训练样本图像示例图；
图3(b)为本发明实施例1中视差图示例图；
图3(c)为本发明实施例1中根据视差图得到占据网格的示例图；
图4为本发明实施例1中采用自步学习法对卷积神经网络进行训练得到初始分割模型的方法流程图；
图5(a)为本发明实施例1中使用的卷积神经网络的结构示意图；
图5(b)为本发明实施例1中卷积神经网络的“initial”层的结构示意图；
图5(c)为本发明实施例1中卷积神经网络的“bottleneck”层的结构示意图；
图5(d)为本发明实施例1中卷积神经网络的“projection”层的结构示意图；
图6为本发明实施例2中一种道路分割方法的方法流程图；
图7为本发明实施例3中一种车辆控制方法的方法流程图；
图8为本发明实施例4中一种分割模型训练装置的结构示意图；
图9为本发明实施例5中一种道路分割装置的结构示意图；
图10为本发明实施例中一种车辆控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于无监督预训练与自步学习的道路分割方法，首先将训练样本图像进行无监督自由区域分割得到自由区域分割图，以此自由区域分割图作为预置的分割模型的标注图像，采用自步学习方法对预置的分割模型进行训练得到初始分割模型。以少量的人为标注的标准道路分割图像为标注图像，以标准样本图像为输入图像对上述初始分割模型进行训练，得到可以实时分割道路的目标分割模型。当将车辆采集的道路环境图像输入目标分割模型时，输出道路分割图像，对车辆控制装置确定行驶方向、速度等信息提供重要依据。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
实施例1
图1，是本发明实施例1提供的分割模型训练方法的流程图，该方法包括：
步骤S101：采用无监督自由区域分割法对训练样本图像进行自由区域分割，得到训练样本图像的自由区域分割图像。
步骤S101中，训练样本图像可以为安装在车辆上的双目摄像头采集到的左眼图像或右眼图像。
无监督自由区域分割法是指采用无监督方式将图像中的自由区域(即无障碍物区域，如道路、草地等)分割出来；其中无监督方式指不需对人为标注的道路分割图像进行学习，直接按照一定的学习方式将训练样本图像中的自由区域分割出来。
步骤S102、以所述训练样本图像为输入图像，以所述训练样本图像对应的自由区域分割图像为标注图像，采用自步学习法对预置的卷积神经网络进行迭代训练，得到初始分割模型。
步骤S103、以预置的标准样本图像为输入图像，以预先对该标准样本图像标注出的道路区域图像为标注图像，对所述初始分割模型进行训练，得到目标分割模型。
步骤S103中，标准样本图像可以是安装在车辆上的双目摄像头采集的左眼图像或右眼图像，也可以是其他包含道路的图像；可通过人工标定方式预先对标准样本图像进行标注得到标准样本图像的道路区域图像。
为便于本领域技术人员对本发明技术方案，下面对前述方法中各个步骤的具体实现进行详细的描述。
前述步骤S101中，可采用的无监督自由区域分割方法较多，本发明并不做严格限定。
优选地，由于通过构建占据网格的无监督学习可以克服深度学习大量精准标注数据的人力成本，使得分割未在训练数据中出现的道路具有更好的鲁棒性，本发明实施例中，采用基于占据网格自由区域分割法对训练样本图像进行分割。
以训练样本图像为双目摄像头采集到的左眼图像为例，前述步骤S101的具体实现可如图2所示，包括：
步骤S101a：计算双目摄像头采集到的左眼图像和右眼图像的视差图。
视差图用于描述双目摄像头采集到的左眼图像和右眼图像在同一像素点的坐标差。以左眼图像为基准图像，视差图的大小与左眼图像一致，视图差中的每个像素的像素值为左眼图像和右眼图像在该像素的坐标差。例如，左眼图像和右眼图像的大小均为N＝n×n，且左眼图像的像素为[x1,x2,...,xi,...,xN]，右眼图像的像素为[y1,y2,...,yi,...,yN]，视差图的像素为[z1,z2,...,zi,...,zN]，其中zi＝xi-yi。如图3所示，图3(a)为双目摄像头采集到的左眼图像，图3(b)为计算得到的左眼图像和右眼图像的视差图。
步骤S101b：根据所述视差图构建占据网格。
其中，占据网格为一个二维矩阵(网格)M，是三维场景物体在一个平行于路面平面的正交投影，该占据网格的横坐标i表示由视差图确定的深度图像横坐标，纵坐标j表示在三维世界里三维场景物体在平行于路面、垂直于双目摄像头方向距离摄像头的深度，M(i,j)表示在横坐标为i，深度为j的位置深度图像有障碍物的概率。
前述步骤S101b中，根据视差图构建占据网格具体如下：
假设视差图为二维矩阵N，该二维矩阵N的大小为h×w；占据网格为二维矩阵M，二维矩阵M的大小为d×w，将占据网格中的每个网格作为一个节点，M(i,j)表示横坐标i处，深度为j的位置深度图像有障碍物的概率，此处概率等于视差图中所有横坐标为i且元素值等于j的元素的个数。
则M(i,j)的计算方式如公式(1)所示：
Figure BDA0001165429810000071
其中，
Figure BDA0001165429810000072
式中，h代表二维矩阵N的高度，w代表二维矩阵N的宽度，d代表二维矩阵M的高度，w代表二维矩阵M的宽度。
采用上述步骤S101b的方式，得到图3(b)所示的视差图对应的占据网格如图3(c)所示。
步骤S101c：根据所述占据网格构建无向图，并利用动态规划算法查找所述无向图的最短路径，得到所述训练样本图像的自由区域分割图。
步骤S101c中，根据所述占据网格构建无向图G的过程如下：
将占据网格M中的每一个网格作为一个节点(即占据网格M包含d×w个节点)，将占据网格M中相邻两列的节点两两相连作为边(共
Figure BDA0001165429810000073
条边)并赋予权值，由(i,j)到(i+1,k)表示由i列到i+1列的边，其权值c(i,j；i+1,k)的计算方式如公式(3)所示：
Figure BDA0001165429810000074
Figure BDA0001165429810000075
其中，CS、Ts为已知的参数。
利用动态规划算法查找到无向图G的最短路径之后，将最短路径中的每个节点作为视差图所在列的分割点，比如在M中的分割点(i,j)，表示视差图N的第i列的分割点即为最下面一个N为j的位置。
前述步骤S102，具体实现可如图4所示，包括：
步骤S102a、将输入图像的像素作为训练样本，将所述输入图像对应的标注图像中相应像素作为训练样本的训练标签，将所述各训练样本与对应的训练标签作为输入数据训练所述卷积神经网络，并根据所述卷积神经网络的网络参数优化目标函数中各训练样本与对应的训练标签间损失函数的权值。
优选地，本发明实施例中，所述目标函数为各训练样本与对应的训练标签间的加权损失函数与自步正则函数的和。
优选地，前述步骤S102a中，将所述各训练样本及其各训练标签作为输入数据训练所述卷积神经网络，并根据所述卷积神经网络的网络参数优化各训练样本与对应的各训练标签间损失函数的权值，具体实现可如下：
将所述各训练样本与对应的训练标签作为输入数据训练所述卷积神经网络，根据所述卷积神经网络的网络参数，通过前向传播过程得到各训练样本与对应的训练标签之间的损失函数值；以及，根据所述损失函数值与年龄参数得到各训练样本与对应的训练标签间损失函数的权值，其中，若所述损失函数值大于或者等于年龄参数则相应训练样本与对应训练标签的损失函数的权值为零，所述年龄参数的取值随着迭代训练的次数增加而增大。
步骤S102b、将各训练样本与对应的训练标签之间的加权损失函数进行相加，得到输入图像与标注图像之间的加权损失函数；
步骤S102c、更新所述输入图像与标注图像之间的加权损失函数最小化时卷积神经网络中的网络参数，基于更新后的网络参数进行下一张输入图像的迭代训练。
以具体示例进行说明，假设目标函数的表达式如公式(4)：
Figure BDA0001165429810000081
s.t.v≥0
式(4)中，xi为训练样本图像的第i个训练样本(即第i个像素)，yi为xi的训练标签(即所述训练样本图像对应的自由区域分割图像中的第i个像素)，w为卷积神经网络的网络参数，g(·)为卷积神经网络函数，L(·)为正向传播过程中由卷积神经网络最后一损失函数层得到的损失函数，L(yi,g(xi,w)为第i个训练样本和第i个训练标签之间的损失函数，vi为第i个训练样本和第i个训练标签之间的损失函数的权值，f(vi,λ)为第i个训练样本和第i个训练标签间的自步正则函数，λ为年龄参数。
本发明实施例中，viL(yi,g(xi,w))为第i个训练样本和第i个训练标签间的加权损失函数，
Figure BDA0001165429810000082
为输入图像(即训练样本图像)和其对应的标注图像(自由区域分割图像)之间的加权损失函数。
优选地，本发明实施例中自步正则函数的表达式可采用多种，多种表达式的核心思想在于，当训练样本与其训练标签的损失函数值大于年龄参数时，该训练样本与其训练标签之间的损失函数权值为0，即起初只将损失较小(即置信度大)的训练样本参与训练(损失越小的训练样本，其对应的损失函数权值越大)，随着迭代训练的增加增大年龄参数值，使得损失较大的训练样本也参与训练，通过该种方式使得训练得到的初始分割模型倾向于学习大部分正常标签，而对于随机出现错误的权重降低。
优选地，本发明实施例中的自步正则函数表达式可以采用但不仅限于以下公式(5)或公式(6)：
Figure BDA0001165429810000091
其中公式(5)中，
Figure BDA0001165429810000092
其中公式(6)中，
Figure BDA0001165429810000093
为便于本领域技术人员对基于步骤S101得到的训练样本图像及其自由区域分割图像对卷积神经网络进行训练得到初始分割模型的全部过程进行了解，以下通过具体示例进行描述。
假设训练样本图像的总数目为M张，得到相应的M张自由区域分割图像。对卷积神经网络进行多次迭代训练，每次迭代训练从M张训练样本图像中随机选取K张训练样本图像作为一个minibatch，基于该K张训练样本图像及对应的K张自由区域分割图像对该卷积神经网络进行一次迭代训练。每完成一次迭代训练，调大一次年龄参数的取值(即每一次迭代训练过程中年龄参数保持不变，只有在一次迭代训练完成后，进行下一次迭代训练之前调整年龄参数的取值)，并且将本次迭代训练得到的卷积神经网络作为下一次迭代训练的初始卷积神经网络；依此迭代训练，直到满足迭代训练结束条件时停止迭代训练，并将最后一次迭代训练得到的卷积神经网络确定为初始分割模型。迭代训练结束条件可以根据实际需要灵活设置，可参考现有的神经网络训练经验。例如，收敛目标函数，在目标函数最小化时停止迭代训练。
下面针对每一次迭代训练的过程进行详细描述。以进行第N次迭代训练为例进行详细描述，假设前一次迭代训练(即第N-1次迭代训练)得到的卷积神经网络的网络参数为WN-1，前一次迭代训练完成后对年龄参数进行调整后得到年龄参数为λN，第N次迭代训练选取的训练样本图像(输入图像)为K张，对应的自由区域分割图像(标注图像)为K张。
针对第N次迭代训练的每一张训练样本图像进行以下训练过程，以训练第k张为例：
步骤A1、将第k张输入图像的每个像素作为训练样本，将该第k张输入图像的标注图像中的相应像素作为训练样本的训练标签；
步骤A2、将步骤A1的训练样本和训练标签作为输入标签输入到上一张训练样本图像(即第k-1张)得到的卷积神经网络中，得到每个训练样本与训练标签之间的损失函数值；
需要说明的是，若前述k为1，则该步骤A2中的卷积神经网络为上一次迭代训练得到的卷积神经网络(即该卷积神经网络的网络参数为WN-1)。
步骤A3、根据各训练样本及其训练标签之间的损失函数值和λN，计算得到各训练样本及其训练标签间的损失函数的权值，得到各训练样本及其训练标签间的加权损失函数；
步骤A4、将各训练样本与对应的训练标签之间的加权损失函数进行相加，得到第k张输入图像与其对应的标注图像之间的加权损失函数；
步骤A5、取第k张输入图像与其对应的标注图像之间的加权损失函数的最小值，得到卷积神经网络的新的网络参数
Figure BDA0001165429810000101
(表示第N次迭代训练中第k张输入图像进行训练后得到的卷积神经网络的网络参数)；
步骤A6、根据网络参数
Figure BDA0001165429810000102
更新卷积神经网络，基于该更新后的卷积神经网络对下一张输入图像(即第k+1张)进行训练，如果没有下一张，则将
Figure BDA0001165429810000103
作为第N次迭代训练得到的卷积神经网络的网络参数(即WN)，并将该第N次迭代训练得到的卷积神经网络作为下一次迭代训练(第N+1次)的初始卷积神经网络。
前述步骤S103，根据标准样本图像及其道路区域图像对初始分割模型进行训练得到目标分割模型，训练方式可参见现有技术训练卷积神经网络的方式，在此不再赘述。例如：以所述标准样本图像为输入图像，以标准样本图像对应的道路分割图像为标注图像，输入至初始分割模型中，通过正向传播过程得到输入图像与所述标注图像间的损失函数(如Softmax)；更新所述损失函数最小化时所述初始分割模型的网络参数；迭代训练多次得到目标分割模型。
本发明实施例提供的分割模型训练方法适用于所有类型的卷积神经网络，本申请并不做严格限定。优选地，本发明实施例中使用的卷积神经网络的结构如图5所示，图5(a)为卷积神经网络的整体结构，第一行“initial”为初始部分，第二行“bottleneck1.0”与第三行“4×bottleneck1.x”为第一部分，第四行“bottleneck2.0～bottleneck2.8”为第二部分，第六行“bottleneck3.1～bottleneck3.8”为第三部分，第八行“bottleneck4.0～bottleneck4.2”为第四部分，第九行“bottleneck5.0～bottleneck5.1”为第五部分，最后一行“deconvolution”为反卷积部分。其中，initial层的结构可如图5(b)所示，bottleneck层的结构可如图5(c)所示，projection层的结构可如图5(d)所示。
在图5(b)、图5(c)和图5(d)中，每个卷积操作输出的数据都经过BatchNormalization层和Parametric Relu函数，将得到的数据再进行下一步操作。
以卷积神经网络用于分割图像中的道路为例，随着“bottleneck”层数的增加，每经过一层“bottleneck”图像的细节信息减少，图像细节信息的缺失将会使得卷积神经网络最终输出的道路分割结果过于平滑(即道路区域像素与非道路区域像素的边界不明显)；为克服这一缺点，本发明实施例提供的卷积神经网络在第二部分和第三部分均增加“projection”层，即将第二部分的“bottleneck2.0”层输入结果和“bottleneck2.8”层输出结果的和值作为第三部分的输入，以及将第三部分的“bottleneck3.1”层输出结果和“bottleneck3.8”层输出结果的和值作为第四部分的输入。
本发明实施例1训练得到的目标分割模型的应用场景较多，例如，可以将该目标分割模型设置为一款app，用于进行道路分割；也可以将该目标分割模型集成到无人驾驶或自动驾驶车辆中，用于对车辆行驶过程中拍摄到的图像进行道路分割，得到前方可行驶区域，以控制车辆行驶。下面可通过实施例2和实施例3进行描述。
实施例2
本发明实施例2提供一种道路分割方法，该道路分割方法中采用的目标分割模型即为前述实施例1提供的训练方法训练得到。
请参阅图6，是本发明实施例2提供的一种道路分割方法的流程图，方法包括：
步骤S601：接收待分割图像。
步骤S602：将所述待分割图像输入至目标分割模型中，输出所述待分割图像的道路区域分割图像。
本发明实施例2中，目标分割模型为预先根据实施例1提供的分割模型训练方法训练得到。
实施例3
本发明实施例3提供一种车辆控制方法，如图7所示，该方法包括：
步骤S701：接收位于车辆上的摄像头拍摄的前方道路环境的图像；
步骤S702：将所述图像输入至目标分割模型中得到所述图像的道路区域分割图像，其中，所述目标分割模型采用实施例1的方法训练得到；
步骤S703：根据所述道路区域分割图像得到前方道路可行驶区域；
步骤S704：根据所述可行驶区域以及所述车辆位置，控制所述车辆的行驶方向。
在实际应用中，车辆上安装的摄像头可以是双目摄像头也可以是单目摄像头，摄像头将拍摄的前方道路环境的图像反馈给控制装置，控制装置将该图像作为内置的目标分割模型的输入图像，由该目标分割模型对输入图像进行道路分割得到道路区域分割图像；再由控制装置根据所述道路区域分割图像得到前方道路可行驶区域，以及根据所述可行驶区域以及所述车辆位置，控制所述车辆的行驶方向。
控制装置根据道路区域分割图像中的道路区域、车辆当前所在道路位置、行驶方向，判断出车辆左侧有可行驶道路，则需要控制车辆左转弯，例如控制车辆减速，并控制方向盘向左转动一定角度。
本实施例中车辆中的控制装置通过目标分割模型实时分割得到道路区域分割图像，判断出道路区域在道路区域分割图像中的位置，为控制装置控制车辆行驶方向提供依据，使得车辆正常行驶在道路中心区域，避免车辆行驶在非道路区域，降低车辆撞到障碍物的概率。
实施例4
本发明实施例公开了一种分割模型训练装置，参见图8，该装置包括：
训练样本图像分割单元801，用于采用无监督自由区域分割法对训练样本图像进行自由区域分割，得到训练样本图像的自由区域分割图像；
初始分割模型训练单元802，用于以所述训练样本图像为输入图像，以所述训练样本图像对应的自由区域分割图像为标注图像，采用自步学习法对预置的卷积神经网络进行迭代训练，得到初始分割模型；
目标分割模型训练单元803，用于以预置的标准样本图像为输入图像，以预先对该标准样本图像标注出的道路区域图像为标注图像，对所述初始分割模型进行训练，得到目标分割模型。
可选的，在本发明实施例中，所述初始分割模型训练单元802具体可包括：
损失函数权值获取模块，用于将输入图像的像素作为训练样本，将所述输入图像对应的标注图像中相应像素作为训练样本的训练标签，将所述各训练样本与对应的训练标签作为输入数据训练所述卷积神经网络，并根据所述卷积神经网络的网络参数优化目标函数中各训练样本与对应的训练标签间损失函数的权值，所述目标函数为各训练样本与对应的训练标签间的加权损失函数与自步正则函数的和；
加权损失函数计算模块，用于将各训练样本与对应的训练标签之间的加权损失函数进行相加，得到输入图像与标注图像之间的加权损失函数；
更新络参数模块，用于更新所述输入图像与标注图像之间的加权损失函数最小化时卷积神经网络中的网络参数，基于更新后的网络参数进行下一张输入图像的迭代训练。
可选的，在本发明实施例中，所述损失函数权值获取模块，具体包括：
损失函数值计算子模块，用于将所述各训练样本与对应的训练标签作为输入数据训练所述卷积神经网络，根据所述卷积神经网络的网络参数，通过前向传播过程得到各训练样本与对应的训练标签之间的损失函数值；
损失函数权值计算子模块，用于根据所述损失函数值与年龄参数得到各训练样本与对应的训练标签间损失函数的权值，其中，若所述损失函数值大于或者等于年龄参数则相应训练样本与对应的训练标签的损失函数的权值为零，所述年龄参数的取值随着迭代训练的次数增加而增大。
实施例5
本发明实施例公开了一种道路分割装置，参见图9，该装置包括：
接收单元901，用于接收待分割图像；
道路区域分割图像获取单元902，用于将所述待分割图像输入至目标分割模型中，输出所述待分割图像的道路区域分割图像，其中，所述目标分割模型为预先根据实施例1所述的方法训练得到的。
实施例6
本发明实施例公开了一种车辆控制装置，参见图10，该装置包括：
图像接收单元110，用于接收位于车辆上的摄像头拍摄的前方道路环境的图像；
图像分割单元111，用于将所述图像输入至目标分割模型中得到所述图像的道路区域分割图像；所述目标分割模型为预先根据实施例1的方法训练得到的模型；
道路可行驶区域确定单元112，用于根据所述道路区域分割图像得到前方道路可行驶区域；
车辆行驶控制单元113，用于根据所述可行驶区域以及所述车辆位置，控制所述车辆的行驶方向。
本发明实施例提供的分割模型训练方法，一方面，用于训练卷积神经网络的训练样本图像的标注方式通过无监督自由区域分割法进行自由区域分割得到，由于无监督自由区域分割法无需任何人工标定，因此提高了训练样本图像的标注速度和效率，降低人力成本；另一方面，基于训练样本图像和自由区域分割得到的标注图像，采用自步学习法对卷积神经网络进行鲁棒性的训练得到初始分割模型，减少了自由区域分割法标注不精确带来的影响，提高初始分割模型的道路分割准确性；最后一方面，再采用少量的标准样本图像和预先对标准样本图像标注的道路区域图像为输入数据对初始分割模型进行进一步训练得到目标分割模型，以进一步提高分割模型的道路分割准确性，少量数据的训练速度较快、耗时较少；综上所述，本发明提供的分割模型训练方法，不仅速度快、效率高，而且训练出的目标分割模型准确性高。基于前述目标分割模型对图像进行道路分割，得到的道路区域更准确；而基于准确的道路区域进行车辆控制，使得车辆能够安全、准确的行驶在道路上，车辆驾驶更安全、可靠。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种分割模型训练方法，其特征在于，包括：
采用无监督自由区域分割法对训练样本图像进行自由区域分割，得到训练样本图像的自由区域分割图像；
以所述训练样本图像为输入图像，以所述训练样本图像对应的自由区域分割图像为标注图像，采用自步学习法对预置的卷积神经网络进行迭代训练，得到初始分割模型；
以预置的标准样本图像为输入图像，以预先对该标准样本图像标注出的道路区域图像为标注图像，对所述初始分割模型进行训练，得到目标分割模型。
2.根据权利要求1所述的方法，其特征在于，以所述训练样本图像为输入图像，以训练样本图像对应的自由区域分割图像为标注图像，采用自步学习法对预置的卷积神经网络进行迭代训练，包括：
将输入图像的像素作为训练样本，将所述输入图像对应的标注图像中相应像素作为训练样本的训练标签，将所述各训练样本与对应的训练标签作为输入数据训练所述卷积神经网络，并根据所述卷积神经网络的网络参数优化目标函数中各训练样本与对应的训练标签间损失函数的权值，所述目标函数为各训练样本与对应的训练标签间的加权损失函数与自步正则函数的和；
将各训练样本与对应的训练标签之间的加权损失函数进行相加，得到输入图像与标注图像之间的加权损失函数；
更新所述输入图像与标注图像之间的加权损失函数最小化时卷积神经网络中的网络参数，基于更新后的网络参数进行下一张输入图像的迭代训练。
3.根据权利要求2所述的方法，其特征在于，将所述各训练样本及其各训练标签作为输入数据训练所述卷积神经网络，并根据所述卷积神经网络的网络参数优化各训练样本与对应的各训练标签间损失函数的权值，包括：
将所述各训练样本与对应的训练标签作为输入数据训练所述卷积神经网络，根据所述卷积神经网络的网络参数，通过前向传播过程得到各训练样本与对应的训练标签之间的损失函数值；
根据所述损失函数值与年龄参数得到各训练样本与对应的训练标签间损失函数的权值，其中，若所述损失函数值大于或者等于年龄参数则相应训练样本与对应训练标签的损失函数的权值为零，所述年龄参数的取值随着迭代训练的次数增加而增大。
4.根据权利要求1所述的方法，其特征在于，训练样本图像包括双目摄像头采集到的左眼图像或者右眼图像；
采用无监督自由区域分割法对训练样本图像进行自由区域分割，得到训练样本图像的自由区域分割图像，包括：
计算双目摄像头采集到的左眼图像和右眼图像的视差图；
根据所述视差图构建占据网格；
根据所述占据网格构建无向图，并利用动态规划算法查找所述无向图的最短路径，得到所述训练样本图像的自由区域分割图像。
5.一种道路分割方法，其特征在于，所述方法包括：
接收待分割图像；
将所述待分割图像输入至目标分割模型中，输出所述待分割图像的道路区域分割图像，其中，所述目标分割模型为预先根据权利要求1～4任一项所述方法训练得到的模型。
6.一种车辆控制方法，其特征在于，包括：
接收位于车辆上的摄像头拍摄的前方道路环境的图像；
将所述图像输入至目标分割模型中得到所述图像的道路区域分割图像，其中，所述目标分割模型为预先根据权利要求1～4任一项所述方法训练得到的模型；
根据所述道路区域分割图像得到前方道路可行驶区域；
根据所述可行驶区域以及所述车辆位置，控制所述车辆的行驶方向。
7.一种分割模型训练装置，其特征在于，包括：
训练样本图像分割单元，用于采用无监督自由区域分割法对训练样本图像进行自由区域分割，得到训练样本图像的自由区域分割图像；
初始分割模型训练单元，用于以所述训练样本图像为输入图像，以所述训练样本图像对应的自由区域分割图像为标注图像，采用自步学习法对预置的卷积神经网络进行迭代训练，得到初始分割模型；
目标分割模型训练单元，用于以预置的标准样本图像为输入图像，以预先对该标准样本图像标注出的道路区域图像为标注图像，对所述初始分割模型进行训练，得到目标分割模型。
8.根据权利要求7所述的装置，其特征在于，所述初始分割模型训练单元，具体包括：
损失函数权值获取模块，用于将输入图像的像素作为训练样本，将所述输入图像对应的标注图像中相应像素作为训练样本的训练标签，将所述各训练样本与对应的训练标签作为输入数据训练所述卷积神经网络，并根据所述卷积神经网络的网络参数优化目标函数中各训练样本与对应的训练标签间损失函数的权值，所述目标函数为各训练样本与对应的训练标签间的加权损失函数与自步正则函数的和；
加权损失函数计算模块，用于将各训练样本与对应的训练标签之间的加权损失函数进行相加，得到输入图像与标注图像之间的加权损失函数；
更新络参数模块，用于更新所述输入图像与标注图像之间的加权损失函数最小化时卷积神经网络中的网络参数，基于更新后的网络参数进行下一张输入图像的迭代训练。
9.根据权利要求8所述的装置，其特征在于，所述损失函数权值获取模块，包括：
损失函数值计算子模块，用于将所述各训练样本与对应的训练标签作为输入数据训练所述卷积神经网络，根据所述卷积神经网络的网络参数，通过前向传播过程得到各训练样本与对应的训练标签之间的损失函数值；
损失函数权值计算子模块，用于根据所述损失函数值与年龄参数得到各训练样本与对应的训练标签间损失函数的权值，其中，若所述损失函数值大于或者等于年龄参数则相应训练样本与对应的训练标签的损失函数的权值为零，所述年龄参数的取值随着迭代训练的次数增加而增大。
10.根据权利要求7所述的装置，其特征在于，训练样本图像包括双目摄像头采集到的左眼图像或者右眼图像；
训练样本图像分割单元具体用于计算双目摄像头采集到的左眼图像和右眼图像的视差图；根据所述视差图构建占据网格；根据所述占据网格构建无向图，并利用动态规划算法查找所述无向图的最短路径，得到所述训练样本图像的自由区域分割图像。
11.一种道路分割装置，其特征在于，所述装置包括：
接收单元，用于接收待分割图像；
道路区域分割图像获取单元，用于将所述待分割图像输入至目标分割模型中，输出所述待分割图像的道路区域分割图像，其中，所述目标分割模型为预先根据权利要求1～4任一项所述方法训练得到的模型。
12.一种车辆控制装置，其特征在于，包括：
图像接收单元，用于接收位于车辆上的摄像头拍摄的前方道路环境的图像；
图像分割单元，用于将所述图像输入至目标分割模型中得到所述图像的道路区域分割图像，其中，所述目标分割模型为预先根据权利要求1～4任一项所述方法训练得到的模型；
道路可行驶区域确定单元，用于根据所述道路区域分割图像得到前方道路可行驶区域；
车辆行驶控制单元，用于根据所述可行驶区域以及所述车辆位置，控制所述车辆的行驶方向。
CN201611078835.4A 2016-11-29 2016-11-29 分割模型训练方法、道路分割方法、车辆控制方法及装置 Active CN106558058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611078835.4A CN106558058B (zh) 2016-11-29 2016-11-29 分割模型训练方法、道路分割方法、车辆控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611078835.4A CN106558058B (zh) 2016-11-29 2016-11-29 分割模型训练方法、道路分割方法、车辆控制方法及装置

Publications (2)

Publication Number Publication Date
CN106558058A CN106558058A (zh) 2017-04-05
CN106558058B true CN106558058B (zh) 2020-10-09

Family

ID=58445816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611078835.4A Active CN106558058B (zh) 2016-11-29 2016-11-29 分割模型训练方法、道路分割方法、车辆控制方法及装置

Country Status (1)

Country Link
CN (1) CN106558058B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
CN107644413B (zh) * 2017-08-25 2019-11-01 西安电子科技大学 基于邻域比值和自步学习的sar图像变化区域检测方法
CN107491072B (zh) * 2017-09-05 2021-03-30 百度在线网络技术（北京）有限公司 车辆避障方法和装置
CN107657259A (zh) * 2017-09-30 2018-02-02 平安科技（深圳）有限公司 图像篡改检测方法、电子装置及可读存储介质
US20190130220A1 (en) * 2017-10-27 2019-05-02 GM Global Technology Operations LLC Domain adaptation via class-balanced self-training with spatial priors
CN108197569A (zh) * 2017-12-29 2018-06-22 驭势科技（北京）有限公司 障碍物识别方法、装置、计算机存储介质和电子设备
CN108121347B (zh) * 2017-12-29 2020-04-07 北京三快在线科技有限公司 用于控制设备运动的方法、装置及电子设备
CN108198192A (zh) * 2018-01-15 2018-06-22 任俊芬 一种基于深度学习的高精度快速人体分割方法
CN108052933A (zh) * 2018-01-16 2018-05-18 杭州国辰机器人科技有限公司 基于卷积神经网络的道路识别***及方法
US10345822B1 (en) 2018-01-26 2019-07-09 Ford Global Technologies, Llc Cognitive mapping for vehicles
CN108537132B (zh) * 2018-03-16 2021-10-01 中国人民解放军陆军工程大学 一种基于监督学习的深度自动编码器的道路分割方法
CN108573492B (zh) * 2018-04-02 2020-04-03 电子科技大学 一种实时雷达探测区域检测方法
CN108345875B (zh) * 2018-04-08 2020-08-18 北京初速度科技有限公司 可行驶区域检测模型训练方法、检测方法和装置
CN110533663B (zh) * 2018-05-25 2022-03-04 杭州海康威视数字技术股份有限公司 一种图像视差确定方法、装置、设备及***
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
CN110738081B (zh) * 2018-07-19 2022-07-29 杭州海康威视数字技术股份有限公司 异常路况检测方法及装置
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
CN109003286A (zh) * 2018-07-26 2018-12-14 清华大学苏州汽车研究院（吴江） 基于深度学习和激光雷达的道路分割方法
CN109241855B (zh) * 2018-08-10 2022-02-11 西安交通大学 基于立体视觉的智能车辆可行驶区域探测方法
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN109087708B (zh) * 2018-09-20 2021-08-31 深圳先进技术研究院 用于斑块分割的模型训练方法、装置、设备及存储介质
CN110969654A (zh) * 2018-09-29 2020-04-07 北京瑞智稷数科技有限公司 基于收割机的玉米高通量表型测量的方法及装置、收割机
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
CN109472789A (zh) * 2018-11-20 2019-03-15 北京贝叶科技有限公司 一种用于皮肤病理图像处理的神经网络训练方法及装置
CN111223102B (zh) * 2018-11-23 2024-03-01 银河水滴科技（北京）有限公司 一种图像分割模型训练方法、图像分割方法及装置
CN111259707B (zh) * 2018-12-03 2022-06-10 魔门塔(苏州)科技有限公司 一种特殊线型车道线检测模型的训练方法
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
CN110136134A (zh) * 2019-04-03 2019-08-16 深兰科技（上海）有限公司 一种用于路面分割的深度学习方法、装置、设备及介质
CN110188606B (zh) * 2019-04-23 2023-06-20 合刃科技（深圳）有限公司 基于高光谱成像的车道识别方法、装置及电子设备
CN111832368A (zh) * 2019-04-23 2020-10-27 长沙智能驾驶研究院有限公司 可行驶区域检测模型的训练方法、训练装置及应用
CN110222582B (zh) * 2019-05-13 2021-09-14 青岛小鸟看看科技有限公司 一种图像处理方法和相机
CN110363138A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、终端及存储介质
CN110499617B (zh) * 2019-09-16 2020-07-28 珠海格力电器股份有限公司 洗衣机的控制方法、控制装置和洗衣机
CN113156924A (zh) * 2020-01-07 2021-07-23 苏州宝时得电动工具有限公司 自移动设备的控制方法
CN111982137B (zh) * 2020-06-30 2022-08-12 阿波罗智能技术(北京)有限公司 生成路线规划模型的方法、装置、设备和存储介质
CN112269385B (zh) * 2020-10-23 2021-09-07 北京理工大学 云端无人车动力学控制***和方法
CN112884770B (zh) * 2021-04-28 2021-07-02 腾讯科技（深圳）有限公司 图像分割处理方法、装置及计算机设备
CN114549473B (zh) * 2022-02-23 2024-04-19 中国民用航空总局第二研究所 具备自主学习快速适应能力的道面检测方法及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100014755A1 (en) * 2008-07-21 2010-01-21 Charles Lee Wilson System and method for grid-based image segmentation and matching
CN103679119B (zh) * 2012-09-10 2017-03-01 株式会社理光 自适应坡路检测方法和装置
CN103310195B (zh) * 2013-06-09 2016-12-28 西北工业大学 车辆高分遥感图像的基于llc特征的弱监督识别方法
CN104091344B (zh) * 2014-07-22 2017-04-19 中国科学院自动化研究所 一种道路分割方法
CN105488534B (zh) * 2015-12-04 2018-12-07 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及***
CN105844228B (zh) * 2016-03-21 2019-02-19 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN105931241B (zh) * 2016-04-22 2018-08-21 南京师范大学 一种自然场景图像的自动标注方法
CN105930873B (zh) * 2016-04-27 2019-02-12 天津中科智能识别产业技术研究院有限公司 一种基于子空间的自步跨模态匹配方法
CN106023145A (zh) * 2016-05-06 2016-10-12 哈尔滨工程大学 基于超像素标注的遥感图像的分割与识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data

Also Published As

Publication number Publication date
CN106558058A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN106558058B (zh) 分割模型训练方法、道路分割方法、车辆控制方法及装置
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
US20210216077A1 (en) Method, apparatus and computer storage medium for training trajectory planning model
CN113126115B (zh) 基于点云的语义slam方法、装置、电子设备和存储介质
CN112444263B (zh) 全局路径规划方法及装置
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN106446914A (zh) 基于超像素和卷积神经网络的道路检测
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111461319A (zh) 可适应用户要求的基于cnn的对象检测方法及装置
JP6778842B2 (ja) 画像処理方法およびシステム、記憶媒体およびコンピューティングデバイス
KR20200063368A (ko) 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법
CN113970922A (zh) 点云数据的处理方法、智能行驶控制方法及装置
CN112406905B (zh) 基于交通工具的数据处理方法、装置、计算机及存储介质
CN110796230A (zh) 卷积神经网络的训练及使用方法、设备及存储介质
KR20200094644A (ko) V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN113302655A (zh) 使用图像的可学习定位
CN111951543B (zh) 流量预测方法及装置
CN115249266A (zh) 航路点位置预测方法、***、设备及存储介质
US20210397198A1 (en) Enhanced vehicle operation
CN111696147B (zh) 一种基于改进YOLOv3模型的深度估计方法
US11176823B2 (en) Enhanced vehicle operation
CN117372536A (zh) 激光雷达与相机标定方法、***、设备和存储介质
CN116861262A (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN116448134A (zh) 基于风险场与不确定分析的车辆路径规划方法及装置
EP3690706A1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant