CN113971729A - 图像分割方法、训练方法、装置、电子设备以及存储介质 - Google Patents
图像分割方法、训练方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN113971729A CN113971729A CN202111271613.5A CN202111271613A CN113971729A CN 113971729 A CN113971729 A CN 113971729A CN 202111271613 A CN202111271613 A CN 202111271613A CN 113971729 A CN113971729 A CN 113971729A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- road surface
- segmentation result
- sample
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000012549 training Methods 0.000 title claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims abstract description 547
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 86
- 238000012512 characterization method Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 241000283070 Equus zebra Species 0.000 claims description 8
- 238000002955 isolation Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004347 surface barrier Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种图像分割方法、训练方法、装置、电子设备以及存储介质，涉及涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体实现方案为：对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图；基于共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果；以及，根据车道线分割结果、路面环境分割结果和路面障碍物分割结果，得到针对待分割道路图像的分割结果。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体地，涉及一种图像分割方法、训练方法、装置、电子设备以及存储介质。
背景技术
机动车在行驶过程中，可以对路况场景进行分析，以便能够根据分析结果及时调整车辆的行驶路径，实现更为安全和高效的驾驶。随着人工智能技术的发展，可以基于深度学习和计算机视觉技术对道路图像进行图像分割，实现对路况场景的分析。
发明内容
本公开提供了一种图像分割方法、训练方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种图像分割方法，包括：对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图；基于上述共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果；以及，根据上述车道线分割结果、上述路面环境分割结果和上述路面障碍物分割结果，得到针对上述待分割道路图像的分割结果。
根据本公开的另一方面，提供了一种图像分割模型的训练方法，包括：对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图；基于上述样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果；以及，利用与上述样本道路图像对应的分割标签、上述样本车道线分割结果、上述样本路面环境分割结果和上述样本路面障碍物分割结果训练预设模型，得到上述图像分割模型。
根据本公开的另一方面，提供了一种图像分割装置，包括：第一提取模块，用于对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图；第一获得模块，用于基于上述共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果；以及，第二获得模块，用于根据上述车道线分割结果、上述路面环境分割结果和上述路面障碍物分割结果，得到针对上述待分割道路图像的分割结果。
根据本公开的另一方面，提供了一种图像分割模型的训练装置，包括：第二提取模块，用于对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图；第三获得模块，用于基于上述样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果；以及，第四获得模块，用于利用与上述样本道路图像对应的分割标签、上述样本车道线分割结果、上述样本路面环境分割结果和上述样本路面障碍物分割结果训练预设模型，得到上述图像分割模型。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开实施例的可以应用图像分割方法、图像分割模型的训练方法及装置的示例性***架构；
图2示意性示出了根据本公开实施例的图像分割方法的流程图；
图3示意性示出了根据本公开实施例的图像分割过程的示例示意图；
图4示意性示出了根据本公开另一实施例的图像分割过程的示例示意图；
图5示意性示出了一种图像分割结果的示例示意图；
图6示意性示出了根据本公开实施例的图像分割模型的训练方法的流程图；
图7示意性示出了根据本公开实施例的图像分割装置的框图；
图8示意性示出了根据本公开实施例的图像分割模型的训练装置的框图；以及
图9示意性示出了根据本公开实施例的适于实现图像分割方法和图像分割模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
路况场景本身较为复杂，即，需要分割的类别较多和车道线较容易被其他对象遮挡。此外，较容易受天气等因素的影响，因此，针对路况场景的图像分割的难度较高，图像分割结果效果欠佳。
为此，本公开实施例提出了一种图像分割方案，即，对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图。基于共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果。根据车道线分割结果、路面环境分割结果和路面障碍物分割结果，得到针对待分割道路图像的分割结果。
对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图，基于共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果，实现了对待分割道路图像包括的不同类别分别进行语义分割，提高了图像分割效果。
图1示意性示出了根据本公开实施例的可以应用图像分割方法、图像分割模型的训练方法及装置的示例性***架构。
需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。例如，在另一实施例中，可以应用图像分割方法、图像分割模型的训练方法及装置的示例性***架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的图像分割方法、图像分割模型的训练方法及装置。
如图1所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的各种类型的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
例如，服务器105可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，解决了传统物理主机与VPS服务(Virtual Private Server，VPS)中，存在的管理难度大，业务扩展性弱的缺陷。服务器105也可以为分布式***的服务器，或者是结合了区块链的服务器。
需要说明的是，本公开实施例所提供的图像分割方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的图像分割方法装置也可以设置于终端设备101、102、或103中。
或者，本公开实施例所提供的图像分割方法一般也可以由服务器105执行。相应地，本公开实施例所提供的图像分割装置一般可以设置于服务器105中。本公开实施例所提供的图像分割方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像分割装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
本公开实施例所提供的图像分割模型的训练方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像分割模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的图像分割模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像分割模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
或者，本公开实施例所提供的图像分割模型的训练方法一般也可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的图像分割模型的训练装置也可以设置于终端设备101、102、或103中。
根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的图像分割方法的流程图。
如图2所示，该方法200包括操作S210～S230。
操作S210，对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图。
操作S220，基于共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果。
操作S230，根据车道线分割结果、路面环境分割结果和路面障碍物分割结果，得到针对待分割道路图像的分割结果。
根据本公开的实施例，待分割道路图像可以指需要进行图像分割的道路图像。待分割道路图像可以包括至少一个对象，每个对象具有与该对象对应的类别，由此，与待分割道路图像对应的类别可以包括至少一个。例如，待分割道路图像可以包括以下至少一个对象：路面、栅栏、隔离带、绿化带、行人道路、非机动车道、应急车道、机动车、行人、非机动车、车内物体、高架桥、实线、虚线、导流线、斑马线和停止线。相应的，与待分割道路图像对应的类别可以包括以下至少一个类别：路面、栅栏、隔离带、绿化带、行人道路、非机动车道、应急车道、机动车、行人、非机动车、车内物体、高架桥、实线、虚线、导流线、斑马线和停止线。可以根据多个类别之间的共性与差异性，将多个类别划分为三个大类，即，车道线、路面环境和路面障碍物。
根据本公开的实施例，路面障碍物可以指是对车道线识别造成影响的路面上的对象。即，路面障碍物是相对于车道线而言的是障碍物的对象。路面环境可以包括除车道线和路面障碍物以外的路面上的对象。例如，车道线可以包括实线、虚线、导流线、斑马线和停止线中的至少一项。路面环境可以包括路面、栅栏、隔离带、绿化带、行人道路、非机动车道和应急车道中的至少一项。路面障碍物可以包括机动车、非机动车、行人、车内物体和高架桥中的至少一项。
根据本公开的实施例，共用特征图可以是对待分割道路图像数据进行特征提取后得到的。“共用特征图”中的“共用”体现在是其将作为进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割的三个语义分割分支的共同输入。
根据本公开的实施例，在获取待分割道路图像的待分割道路图像数据之后，可以对待分割道路图像数据进行特征提取，得到共用特征图。例如，可以利用样本道路图像数据训练预设模型得到的模型对待分割道路图像数据进行特征提取，得到共用特征图。预设模型可以包括深度学习模型。
根据本公开的实施例，在获得共用特征图之后，可以对共用特征图进行与车道线相关的语义分割，得到车道线分割结果。对共用特征图进行与路面环境相关的语义分割，得到路面环境分割结果。对共用特征图进行与路面障碍物相关的语义分割，得到路面障碍物分割结果。可以利用样本道路图像数据训练预设模型得到的模型来执行语义分割操作。预设模型可以包括DFANet(Deep Feature Aggregation for Real-Time SemanticSegmentation，基于深度多层聚合的实时语义分割网络)、PSPNet(Pyramid Scene ParsingNetwork，金字塔场景解析网络)、BiSeNet(Bilateral Segmentation Network for Real-time Semantic Segmentation，多支路轻量化分割网络)或OCRNet(Object-ContextualRepresentations for Semantic Segmentation)。
例如，利用样本道路图像数据训练预设模型得到的模型可以包括用于处理与车道线相关的语义分割操作的分支网络、用于处理与路面环境相关的语义分割操作的分支网络和用于处理与路面障碍物相关的语义分割操作的分支网络。利用各自的分支网络来执行各自的语义分割操作。
需要说明的是，对执行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割的语义分割操作的顺序不作限定。例如，可以并行执行上述三个语义分割操作。可以先执行与车道线相关的语义分割操作，然后执行与路面环境相关的语义分割操作，最后执行与路面障碍物相关的语义分割操作。还可以先执行与路面环境相关的语义分割操作，然后执行与车道线相关的语义分割操作，最后执行与路面障碍物相关的语义分割操作。
根据本公开的实施例，在获得车道线分割结果、路面环境分割结果和路面障碍物分割结果之后，可以将车道线分割结果、路面环境分割结果和路面障碍物分割结果进行合并，得到针对待分割道路图像的分割结果，即，得到待分割道路图像的多标签分类结果。
根据本公开的实施例，对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图，基于共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果，实现了对待分割道路图像包括的不同类别分别进行语义分割，提高了图像分割效果。此外，针对样本道路图像中存在遮挡的车道线也能够通过不同的分支进行语义分割，有效解决了由于遮挡导致的车道线被分离成多个离散区域而难以识别的问题，提高了图像分割模型的预测精度。
根据本公开的实施例，可以根据针对待分割道路图像的分割结果控制机动车行驶。
根据本公开的实施例，机动车可以包括自动驾驶车辆。可以根据待分割道路图像的分割结果控制自动驾驶车辆按照道路图像中的车道线分割结果所指示的车道线行驶，由此可以绕开路面障碍物分割结果所指示的路面障碍物，进而可以提高自动驾驶车辆行驶的准确性和可靠性。
根据本公开的实施例，操作S220可以包括如下操作。
基于共用特征图，得到与车道线相关的第一语义分割结果和第一像素特征表征。根据第一语义分割结果和第一像素特征表征，得到车道线分割结果。基于共用特征图，得到与路面环境相关的第二语义分割结果和第二像素特征表征。根据第二语义分割结果和第二像素特征表征，得到路面环境分割结果。基于共用特征图，得到与路面障碍物相关的第三语义分割结果和第三像素特征表征。根据第三语义分割结果和第三像素特征表征，得到路面障碍物分割结果。
根据本公开的实施例，第一语义分割结果可以表征粗略的语义分割结果。
根据本公开的实施例，可以对共用特征图进行处理，得到与车道线相关的第一语义分割结果和第一像素特征表征，再根据第一语义分割结果和第一像素特征表征，得到车道线分割结果。可以对共用特征图进行处理，得到与路面环境相关的第二语义分割结果和第二像素特征表征，再根据第二语义分割结果和第二像素特征表征，得到路面环境分割结果。可以利用同样的方式获得路面障碍物分割结果。
根据本公开的实施例，对共用特征图进行处理，得到与车道线相关的第一语义分割结果和第一像素特征表征可以包括：对共用特征图进行上采样，得到第一像素特征表征。第一像素特征表征的分辨率与所述共用特征图的分辨率相同。对共用特征图进行上采样和卷积，得到第一语义分割结果。可以利用同样的方式处理得到第二语义分割结果、第二像素特征表征、第三语义分割结果和第三像素特征表征。
根据本公开的实施例，根据第一语义分割结果和第一像素特征表征，得到车道线分割结果，可以包括如下操作。
根据第一语义分割结果和第一像素特征表征，得到第一对象区域特征表征。确定第一语义分割结果和第一对象区域特征表征之间的第一关系矩阵。根据第一关系矩阵和第一对象区域特征表征，得到第一对象上下文特征表征。将第一像素特征表征和第一对象上下文特征表征进行拼接，得到第一对象增强上下文特征表征。将第一对象增强上下文特征表征确定为车道线分割结果。
根据本公开的实施例，根据第一关系矩阵和第一对象区域特征表征，得到第一对象上下文特征表征可以包括：根据每个像素点和第一对象区域特征表征在第一关系矩阵中的数值，将第一对象区域的特征进行加权求和，得到第一对象上下文特征表征。
根据本公开的实施例，将第一像素特征表征和第一对象上下文特征表征进行拼接，得到第一对象增强上下文特征表征可以包括：可以将第一像素特征表征和第一对象上下文特征表征进行拼接，再将拼接结果进行卷积之后得到第一对象增强上下文特征表征。
根据本公开的实施例，根据第二语义分割结果和第二像素特征表征，得到路面环境分割结果，可以包括如下操作。
根据第二语义分割结果和第二像素特征表征，得到第二对象区域特征表征。确定第二语义分割结果和第二对象区域特征表征之间的第二关系矩阵。根据第二关系矩阵和第二对象区域特征表征，得到第二对象上下文特征表征。将第二像素特征表征和第二对象上下文特征表征进行拼接，得到第二对象增强上下文特征表征。将第二对象增强上下文特征表征确定为路面环境分割结果。
根据本公开的实施例，根据第三语义分割结果和第三像素特征表征，得到路面障碍物分割结果，可以包括如下操作。
根据第三语义分割结果和第三像素特征表征，得到第三对象区域特征表征。确定第三语义分割结果和第三对象区域特征表征之间的第三关系矩阵。根据第三关系矩阵和第三对象区域特征表征，得到第三对象上下文特征表征。将第三像素特征表征和第三对象上下文特征表征进行拼接，得到第三对象增强上下文特征表征。将第三对象增强上下文特征表征确定为路面障碍物分割结果。
根据本公开的实施例，可以利用与上述处理车道线分割结果同样的方式处理路面环境分割结果和路面障碍物分割结果，在此不再赘述。
根据本公开的实施例，共用特征图是利用图像分割模型包括的主干网络处理待分割道路图像数据得到的。车道线分割结果是利用图像分割模型包括的车道线分支网络处理共用特征图得到的。路面环境分割结果是利用图像分割模型包括的路面环境分支网络处理共用特征图得到的。路面障碍物分割结果是利用图像分割模型包括的障碍物分支网络处理共用特征图得到的。
根据本公开的实施例，图像分割模型可以包括主干网络和三个并联的分支网络，即，车道线分支网络、路面环境分支网络和路面障碍物分支网络。车道线分支网络可以用于处理与车道线相关的语义分割操作。路面环境分支网络可以用于处理与路面环境相关的语义分割操作。路面障碍物分支网络可以用于处理与路面障碍物相关的语义分割操作。
根据本公开的实施例，车道线分支网络、路面环境分支网络和路面障碍物分支网络的网络结构可以根据实际业务需求进行配置，在此不作限定。例如，三个分支网络均可以包括像素特征表征(即Pixel Representation)模块、软对象区域(即Soft ObjectRegions)模块、物体区域表征(即Object Region Representations)模块、关系矩阵(即Pixel Region Relation)模块、对象上下文表征(即Object Contextual Representation)模块和对象增强上下文表征(即Augmented Representations)模块。
根据本公开的实施例，图像分割模型可以是利用样本道路图像数据对预设模型进行训练得到的。例如，对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图。基于样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果。利用与样本道路图像对应的分割标签、样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果训练预设模型，得到图像分割模型。
下面参考图3～图5，对根据本公开实施例所述的图像分割方法做进一步说明。
图3示意性示出了根据本公开实施例的图像分割过程的示例示意图。
如图3所示，在300中，图像分割模型可以包括主干网络302和三个并联的分支网络。三个并联的分支网络可以包括车道线分支网络304、路面环境分支网络306和路面障碍物分支网络308。
可以将待分割道路图像的待分割道路图像数据301输入主干网络302，得到共用特征图303。可以将共用特征图303输入车道线分支网络304，得到车道线分割结果305。将共用特征图303输入路面环境分支网络306，得到路面环境分割结果307。将共用特征图303输入路面障碍物分支网络308，得到路面障碍物分割结果309。
将车道线分割结果305、路面环境分割结果307和路面障碍物分割结果309进行合并，得到针对待分割道路图像的分割结果310。
图4示意性示出了根据本公开另一实施例的图像分割过程的示例示意图。
如图4所示，在400中，图像分割模型可以包括主干网络402和三个并联的分支网络。三个并联的分支网络可以包括车道线分支网络403、路面环境分支网络404和路面障碍物分支网络405。
可以将待分割道路图像的待分割道路图像数据401输入主干网络402，得到共用特征图。
基于共用特征图，得到与车道线相关的第一语义分割结果406和第一像素特征表征407。根据第一语义分割结果406和第一像素特征表征407，得到第一对象区域特征表征408。确定第一语义分割结果406和第一对象区域特征表征408之间的第一关系矩阵409。根据第一关系矩阵409和第一对象区域特征表征408，得到第一对象上下文特征表征410。将第一像素特征表征407和第一对象上下文特征表征410进行拼接，得到第一对象增强上下文特征表征411。将第一对象增强上下文特征表征411确定为车道线分割结果。412即为车道线分割结果的可视化展示形式。
基于共用特征图，得到与路面环境相关的第二语义分割结果413和第二像素特征表征414。根据第二语义分割结果413和第二像素特征表征414，得到第二对象区域特征表征415。确定第二语义分割结果413和第二对象区域特征表征415之间的第二关系矩阵416。根据第二关系矩阵416和第二对象区域特征表征415，得到第二对象上下文特征表征417。将第二像素特征表征414和第二对象上下文特征表征417进行拼接，得到第二对象增强上下文特征表征418。将第二对象增强上下文特征表征418确定为车道线分割结果。419即为路面环境分割结果的可视化展示形式。
基于共用特征图，得到与路面环境相关的第三语义分割结果420和第三像素特征表征421。根据第三语义分割结果420和第三像素特征表征421，得到第三对象区域特征表征422。确定第三语义分割结果420和第三对象区域特征表征422之间的第三关系矩阵423。根据第三关系矩阵423和第三对象区域特征表征422，得到第三对象上下文特征表征424。将第三像素特征表征421和第三对象上下文特征表征424进行拼接，得到第三对象增强上下文特征表征425。将第三对象增强上下文特征表征425确定为车道线分割结果。426即为路面障碍物分割结果的可视化展示形式。
根据车道线分割结果的可视化展示形式412、路面环境分割结果的可视化展示形式419和路面障碍物分割结果的可视化展示形式426可知，车道线未被遮挡。
利用本公开实施例所述的图像分割模型进行图像分割，预测耗时可以从35ms降低至25ms。图像分割模型的大小可以由120M降低至90至，从而提高了模型训练效率。
图5示意性示出了一种图像分割结果的示例示意图。
如图5所示，在500中，未利用本公开实施例的技术方案对待分割道路图像数据进行处理后，得到的针对待分割道路图像的分割结果501的可视化展示形式和放大后的待分割道路图像的分割结果502的可视化展示形式。从图5中可以看出，分割结果中机动车遮挡了车道线。
图6示意性示出了根据本公开实施例的图像分割模型的训练方法的流程图。
如图6所示，该方法600包括操作S610～S630。
操作S610，对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图。
操作S620，基于样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果。
操作S630，利用与样本道路图像对应的分割标签、样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果训练预设模型，得到图像分割模型。
根据本公开的实施例，与样本道路图像对应的分割标签可以指与样本道路图像对应的各个类别的标签(即Ground Truth)。样本道路图像可以包括至少一个对象，每个对象具有与该对象对应的类别，由此，与样本道路图像对应的类别可以包括至少一个。例如，样本道路图像可以包括以下至少一个对象：路面、栅栏、隔离带、绿化带、行人道路、非机动车道、应急车道、机动车、行人、非机动车、车内物体、高架桥、实线、虚线、导流线、斑马线和停止线。相应的，与样本道路图像对应的类别可以包括以下至少一个类别：路面、栅栏、隔离带、绿化带、行人道路、非机动车道、应急车道、机动车、行人、非机动车、车内物体、高架桥、实线、虚线、导流线、斑马线和停止线。
根据本公开的实施例，如上文所述，可以根据多个类别之间的共性与差异性，将多个类别划分为三个大类，即，车道线、路面环境和路面障碍物。车辆线、路面环境和路面障碍物包括的内容与上文相应部分相同，在此不再赘述。在此基础上，可以与样本道路图像对应的分割标签划分为三个大类，即，与样本道路图像对应的分割标签可以包括与样本道路图像中的车道线对应的分割标签、与样本道路图像中的路面环境对应的分割标签和与样本道路图像中的障碍物对应的分割标签。
根据本公开的实施例，预设模型可以包括DFANet、PSPNet、BiSeNet或OCRNet。
根据本公开的实施例，可以在获取样本道路图像的样本道路图像数据之后，可以对样本道路图像数据进行特征提取，得到样本共用特征图。在获得样本共用特征图之后，可以对样本共用特征图进行与车道线相关的语义分割，得到样本车道线分割结果。对样本共用特征图进行与路面环境相关的语义分割，得到样本路面环境分割结果。对样本共用特征图进行与路面障碍物相关的语义分割，得到样本路面障碍物分割结果。
根据本公开的实施例，可以基于损失函数，根据样本车道线分割结果和与样本道路图像中的车道线对应的分割标签，得到与车道线对应的输出值。基于损失函数，根据样本路面环境分割结果和与样本道路图像中的路面环境对应的分割标签，得到与路面环境对应的输出值。基于损失函数，根据样本路面障碍物分割结果和与样本道路图像中的路面障碍物对应的分割标签，得到与路面障碍物对应的输出值。根据与车道线对应的输出值、与路面环境对应的输出值和与路面障碍物对应的输出值，调整预设模型的模型参数，直至输出值之和收敛。将在满足输出值之和收敛的情况下训练得到的预设模型确定为图像分割模型。
根据本公开的实施例，对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图，基于样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果，再利用与样本道路图像对应的分割标签、样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果训练预设模型，得到图像分割模型，实现了对样本道路图像包括的不同类别分别进行语义分割，提高了图像分割模型的预测精度。此外，针对样本道路图像中存在遮挡的车道线也能够通过不同的分支进行语义分割，有效解决了由于遮挡导致的车道线被分离成多个离散区域而难以识别的问题，提高了图像分割模型的预测精度。
根据本公开的实施例，预设模型包括主干网络。
根据本公开的实施例，操作S610可以包括如下操作。
利用主干网络处理样本道路图像的样本道路图像数据，得到样本共用特征图。
根据本公开的实施例，预设模型可以包括主干网络。主干网络可以用于对样本道路图像进行特征提取。主干网络的网络结构可以根据实际情况进行配置，在此不作限定。例如，主干网络可以包括VGGNet(Visual Geometry Group Network，视觉几何小组网络)或ResNet(Deep residual network，深度残差网络)等。
根据本公开的实施例，预设模型包括车道线分支网络、路面环境分支网络和路面障碍物分支网络。
根据本公开的实施例，操作S620可以包括如下操作。
利用车道线分支网络处理样本共用特征图，得到样本车道线分割结果。利用路面环境分支网络处理样本共用特征图，得到样本路面环境分割结果。利用路面障碍物分支网络处理样本共用特征图，得到路面障碍物分割结果。
根据本公开的实施例，预设模型还可以包括车道线分支网络、路面环境分支网络和路面障碍物分支网络。车道线分支网络、路面环境分支网络和路面障碍物分支网络的网络结构可以根据实际业务需求进行配置，在此不作限定。例如，三个分支网络均可以包括像素特征表征模块、软对象区域模块、物体区域表征模块、关系矩阵模块、对象上下文表征模块和对象增强上下文表征模块。
根据本公开的实施例，利用车道线分支网络处理样本共用特征图，得到样本车道线分割结果可以包括：基于样本共用特征图，得到与车道线相关的第四语义分割结果和第四像素特征表征。根据第四语义分割结果和第四像素特征表征，得到样本车道线分割结果。
根据本公开的实施例，根据第四语义分割结果和第四像素特征表征，得到样本车道线分割结果可以包括：根据第四语义分割结果和第四像素特征表征，得到第四对象区域特征表征。确定第四语义分割结果和第四对象区域特征表征之间的第四关系矩阵。根据第四关系矩阵和第四对象区域特征表征，得到第四对象上下文特征表征。将第四像素特征表征和第四对象上下文特征表征进行拼接，得到第四对象增强上下文特征表征。将第四对象增强上下文特征表征确定为样本车道线分割结果。
根据本公开的实施例，利用路面环境分支网络处理样本共用特征图，得到样本路面环境分割结果可以包括：基于样本共用特征图，得到与路面环境相关的第五语义分割结果和第五像素特征表征。根据第五语义分割结果和第五像素特征表征，得到样本路面环境分割结果。
根据本公开的实施例，根据第五语义分割结果和第五像素特征表征，得到样本路面环境分割结果可以包括：根据第五语义分割结果和第五像素特征表征，得到第五对象区域特征表征。确定第五语义分割结果和第五对象区域特征表征之间的第五关系矩阵。根据第五关系矩阵和第五对象区域特征表征，得到第五对象上下文特征表征。将第五像素特征表征和第五对象上下文特征表征进行拼接，得到第五对象增强上下文特征表征。将第五对象增强上下文特征表征确定为样本路面环境分割结果。
根据本公开的实施例，利用路面障碍物分支网络处理样本共用特征图，得到路面障碍物分割结果可以包括：基于样本共用特征图，得到与路面障碍物相关的第六语义分割结果和第六像素特征表征。根据第六语义分割结果和第六像素特征表征，得到样本路面障碍物分割结果。
根据本公开的实施例，根据第六语义分割结果和第六像素特征表征，得到样本路面障碍物分割结果可以包括：根据第六语义分割结果和第六像素特征表征，得到第六对象区域特征表征。确定第六语义分割结果和第六对象区域特征表征之间的第六关系矩阵。根据第六关系矩阵和第六对象区域特征表征，得到第六对象上下文特征表征。将第六像素特征表征和第六对象上下文特征表征进行拼接，得到第六对象增强上下文特征表征。将第六对象增强上下文特征表征确定为样本路面障碍物分割结果。
根据本公开的实施例，还可以在主干网络和各个分支网络之间设置多个卷积层，以提高图像分割效果。
根据本公开的实施例，与样本道路图像对应的分割标签包括与样本道路图像中的车道线对应的第一分割标签、与样本道路图像中的路面环境对应的第二分割标签和与样本道路图像中的障碍物对应的第三分割标签。
根据本公开的实施例，操作S630可以包括如下操作。
基于集合相似度损失函数，根据第一分割标签和样本车道线分割结果，得到第一输出值。基于集合相似度损失函数，根据第二分割标签和路面环境分割结果，得到第二输出值。基于集合相似度损失函数，根据第三分割标签和路面障碍物分割结果，得到第三输出值。基于交叉熵损失函数，根据第一分割标签和样本车道线分割结果，得到第四输出值。基于交叉熵损失函数，根据第二分割标签和路面环境分割结果，得到第五输出值。基于交叉熵损失函数，根据第三分割标签和路面障碍物分割结果，得到第六输出值。根据输出值，调整预设模型的模型参数，直至输出值收敛，其中，输出值包括第一输出值、第二输出值、第三输出值、第四输出值、第五输出值和第六输出值。将在输出值收敛的情况下得到的预设模型确定为图像分割模型。
根据本公开的实施例，可以利用集合相似度损失函数(即Dice Loss)和交叉熵损失函数两者配合来对模型进行训练，降低样本不均衡，提高图像分割模型的预测精度。这是由于在样本道路图像中与车道线对应的像素点的数目小于与其他类别对应的像素点的数目，因此，可能会导致样本不均衡。在样本不均衡的情况下，多次迭代之后，交叉熵损失函数对模型的约束作用减弱。集合相似度损失函数可以用于对标签和预测结果之间的相似性进行度量。交叉熵损失函数可以用于对标签和预测结果之间的距离进行度量，由此，可以利用集合相似度损失函数和交叉熵损失函数两者配合来对模型进行训练。
根据本公开的实施例，可以将第一分割标签和样本车道线分割结果输入集合相似度损失函数，得到第一输出值。将第二分割标签和路面环境分割结果输入集合相似度损失函数，得到第二输出值。将第三分割标签和路面障碍物分割结果输入集合相似度损失函数，得到第三输出值。
根据本公开的实施例，将第一分割标签和样本车道线分割结果输入交叉熵损失函数，得到第四输出值。将第二分割标签和路面环境分割结果输入交叉熵损失函数，得到第五输出值。将第三分割标签和路面障碍物分割结果输入交叉熵损失函数，得到第六输出值。
根据本公开的实施例，可以根据输出值，调整预设模型的模型参数，直至输出值收敛。可以利用梯度下降算法处理集合相似度损失函数和交叉熵损失函数，得到梯度向量，根据梯度向量，调整预设模型的模型参数。梯度下降算法可以包括随机梯度下降算法。在根据梯度向量调整预设模型的模型参数的过程中，可以基于梯度向量，利用反向传播法来调整预设模型的模型参数。
根据本公开的实施例，车道线包括以下至少一个类别：实线、虚线、导流线、斑马线和停止线。路面环境包括以下至少一个类别：路面、栅栏、隔离带、绿化带、行人道路、机动车道、非机动车道和应急车道。障碍物包括以下至少一个类别：机动车、非机动车、行人、车内物体和高架桥。
根据本公开的实施例，上述图像分割模型的训练方法还可以包括如下操作。
基于类别均衡策略，确定与车道线包括的每个类别对应的类别权重、与路面环境包括的每个类别对应的类别权重和与路面障碍物包括的每个类别对应的类别权重。
根据本公开的实施例，类别均衡策略可以指在不改变不同类别的样本道路图像的数目的情况下，实现样本均衡所利用的策略。可以利用样本道路图像中与每个类别对应的像素点的数目或与每个类别对应的样本道路图像的数目来实现类别均衡策略。
根据本公开的实施例，可以基于类别均衡策略，确定与样本道路图像包括的每个类别对应的类别权重。
根据本公开的实施例，基于集合相似度损失函数，根据第一分割标签和样本车道线分割结果，得到第一输出值，可以包括如下操作。
基于集合相似度损失函数，根据与车道线包括的每个类别对应的类别权重、第一分割标签和车道线分割结果，得到第一输出值。
基于集合相似度损失函数，根据第二分割标签和路面环境分割结果，得到第二输出值，可以包括如下操作。
基于集合相似度损失函数，根据与路面环境包括的每个类别对应的类别权重、第二分割标签和路面环境分割结果，得到第二输出值。
基于集合相似度损失函数，根据第三分割标签和路面障碍物分割结果，得到第三输出值，可以包括如下操作。
基于集合相似度损失函数，根据与障碍物包括的每个类别对应的类别权重、第三分割标签和路面障碍物分割结果，得到第三输出值。
根据本公开的实施例，基于交叉熵损失函数，根据第一分割标签和样本车道线分割结果，得到第四输出值，可以包括如下操作。
基于交叉熵损失函数，根据与车道线包括的每个类别对应的类别权重、第一分割标签和车道线分割结果，得到第四输出值。
基于交叉熵损失函数，根据第二分割标签和路面环境分割结果，得到第五输出值，可以包括如下操作。
基于交叉熵损失函数，根据与路面环境包括的每个类别对应的类别权重、第二分割标签和路面环境分割结果，得到第五输出值。
基于交叉熵损失函数，根据第三分割标签和路面障碍物分割结果，得到第六输出值，可以包括如下操作。
基于交叉熵损失函数，根据与障碍物包括的每个类别对应的类别权重、第三分割标签和路面障碍物分割结果，得到第六输出值。
根据本公开的实施例，在确定与车道线包括的每个类别对应的类别权重、与路面环境包括的每个类别对应的类别权重和与路面障碍物包括的每个类别对应的类别权重之后，可以将与每个类别对应的类别权重引入集合相似度损失函数和交叉熵相似度损失函数中的至少一项，即，使得与每个类别对应的类别权重能够参与到模型训练，从而提高图像分割模型的预测精度。
根据本公开的实施例，基于类别均衡策略，确定与车道线包括的每个类别对应的类别权重、与路面环境包括的每个类别对应的类别权重和与障碍物包括的每个类别对应的类别权重，可以包括如下操作。
根据样本道路图像中的每个类别的像素点的数目，确定与车道线包括的每个类别对应的类别权重、与路面环境包括的每个类别对应的类别权重和与障碍物包括的每个类别对应的类别权重。
根据本公开的实施例，与每个类别对应的类别权重可以根据样本道路图像中的每个类别的像素点的数目确定。与类别对应的类别权重和像素点的数目之间的比值可以是预设比值。例如，可以为像素点的数目较多的类别设置较小的类别权重，为像素点的数目较少的类别设置较大的类别权重，权重分配可以符合高斯分布。
根据本公开的实施例，上述图像分割模型的训练方法还可以包括如下操作。
以每隔预设行数的方式从样本道路图像中提取与车道线对应的多个目标像素点。
基于集合相似度损失函数，根据第一分割标签和样本车道线分割结果，得到第一输出值，可以包括如下操作。
基于集合相似度损失函数，根据与多个目标像素点对应的第一分割标签和样本车道线分割结果，得到第一输出值。
基于交叉熵损失函数，根据第一分割标签和样本车道线分割结果，得到第四输出值，可以包括如下操作。
基于交叉熵损失函数，根据与多个目标像素点对应的第一分割标签和样本车道线分割结果，得到第四输出值。
根据本公开的实施例，车道线在样本道路图像中不同区域所占据的面积不同。例如，车道线在样本道路图像中的第一区域所占据的面积小，在样本道路图像中的第二区域所占据的面积大。如果与车道线对应的全部像素点均参与损失函数的计算，则较为容易导致难以分割出完整的车道线。由此，使得图像分割模型的预测精度降低。
为此，可以利用选择预设数目的目标像素点的方式来解决。即，可以以每隔预设行数的方式从样本道路图像中提取与车道线对应的多个目标像素点。预设行数可以根据实际需求进行配置，在此不作限定。例如，预设行数可以为3行。
根据本公开的实施例，在确定多个目标像素点之后，可以将与多个目标像素点对应的第一分割标签和样本车道线分割结果输入集合相似度损失函数，得到第一输出值。将与多个目标像素点对应的第一分割标签和样本车道线分割结果输入交叉熵损失函数，得到第四输出值。
根据本公开的实施例，还可以结合上述所述的类别权重，即，可以基于集合相似度损失函数，根据与车道线包括的每个类别对应的类别权重、与多个目标像素点对应的第一分割标签和车道线分割结果，得到第一输出值。基于交叉熵损失函数，根据与车道线包括的每个类别对应的类别权重、与多个目标像素点对应的第一分割标签和车道线分割结果，得到第四输出值。
根据本公开的实施例，预设模型是经过预训练后得到的模型。
根据本公开的实施例，预设模型可以是利用公开的样本图像数据集对初始模型进行训练得到的模型。
根据本公开的实施例，通过对利用预训练得到的预设模型进行训练，可以降低模型训练难度，提高模型训练效率和模型训练质量。
以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他图像分割方法和图像分割模型的训练方法，只要能够实现提高图像分割效果即可。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图7示意性示出了根据本公开实施例的图像分割装置的框图。
如图7所示，图像分割方法可以包括第一提取模块710、第一获得模块720和第二获得模块730。
第一提取模块710，用于对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图。
第一获得模块720，用于基于共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果。
第二获得模块730，用于根据车道线分割结果、路面环境分割结果和路面障碍物分割结果，得到针对待分割道路图像的分割结果。
根据本公开的实施例，第一获得模块720可以包括第一获得子模块、第二获得子模块、第三获得子模块、第四获得子模块、第五获得子模块和第六获得子模块。
第一获得子模块，用于基于共用特征图，得到与车道线相关的第一语义分割结果和第一像素特征表征。
第二获得子模块，用于根据第一语义分割结果和第一像素特征表征，得到车道线分割结果。
第三获得子模块，用于基于共用特征图，得到与路面环境相关的第二语义分割结果和第二像素特征表征。
第四获得子模块，用于根据第二语义分割结果和第二像素特征表征，得到路面环境分割结果。
第五获得子模块，用于基于共用特征图，得到与路面障碍物相关的第三语义分割结果和第三像素特征表征。
第六获得子模块，用于根据第三语义分割结果和第三像素特征表征，得到路面障碍物分割结果。
根据本公开的实施例，第二获得子模块可以包括第一获得单元、第一确定单元、第二获得单元、第三获得单元和第二确定单元。
第一获得单元，用于根据第一语义分割结果和第一像素特征表征，得到第一对象区域特征表征。
第一确定单元，用于确定第一语义分割结果和第一对象区域特征表征之间的第一关系矩阵。
第二获得单元，用于根据第一关系矩阵和第一对象区域特征表征，得到第一对象上下文特征表征。
第三获得单元，用于将第一像素特征表征和第一对象上下文特征表征进行拼接，得到第一对象增强上下文特征表征。
第二确定单元，用于将第一对象增强上下文特征表征确定为车道线分割结果。
根据本公开的实施例，第四获得子模块可以包括第四获得单元、第三确定单元、第五获得单元、第六获得单元和第四确定单元。
第四获得单元，用于根据第二语义分割结果和第二像素特征表征，得到第二对象区域特征表征。
第三确定单元，用于确定第二语义分割结果和第二对象区域特征表征之间的第二关系矩阵。
第五获得单元，用于根据第二关系矩阵和第二对象区域特征表征，得到第二对象上下文特征表征。
第六获得单元，用于将第二像素特征表征和第二对象上下文特征表征进行拼接，得到第二对象增强上下文特征表征。
第四确定单元，用于将第二对象增强上下文特征表征确定为路面环境分割结果。
根据本公开的实施例，第六获得子模块可以包括第七获得单元、第五确定单元、第八获得单元、第九获得单元和第六确定单元。
第七获得单元，用于根据第三语义分割结果和第三像素特征表征，得到第三对象区域特征表征。
第五确定单元，用于确定第三语义分割结果和第三对象区域特征表征之间的第三关系矩阵。
第八获得单元，用于根据第三关系矩阵和第三对象区域特征表征，得到第三对象上下文特征表征。
第九获得单元，用于将第三像素特征表征和第三对象上下文特征表征进行拼接，得到第三对象增强上下文特征表征。
第六确定单元，用于将第三对象增强上下文特征表征确定为路面障碍物分割结果。
根据本公开的实施例，共用特征图是利用图像分割模型包括的主干网络处理待分割道路图像数据得到的。
根据本公开的实施例，车道线分割结果是利用图像分割模型包括的车道线分支网络处理共用特征图得到的。
根据本公开的实施例，路面环境分割结果是利用图像分割模型包括的路面环境分支网络处理共用特征图得到的。
根据本公开的实施例，路面障碍物分割结果是利用图像分割模型包括的障碍物分支网络处理共用特征图得到的。
图8示意性示出了根据本公开实施例的图像分割模型的训练装置的框图。
如图8所示，图像分割模型的训练装置800可以包括第二提取模块810、第三获得模块820和第四获得模块830。
第二提取模块810，用于对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图。
第三获得模块820，用于基于样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果。
第四获得模块830，用于利用与样本道路图像对应的分割标签、样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果训练预设模型，得到图像分割模型。
根据本公开的实施例，预设模型包括主干网络.
第二提取模块810可以包括第七获得子模块。
第七获得子模块，用于利用主干网络处理样本道路图像的样本道路图像数据，得到样本共用特征图。
根据本公开的实施例，预设模型包括车道线分支网络、路面环境分支网络和路面障碍物分支网络。
第三获得模块820可以包括第八获得子模块、第九获得子模块和第十获得子模块。
第八获得子模块，用于利用车道线分支网络处理样本共用特征图，得到样本车道线分割结果。
第九获得子模块，用于利用路面环境分支网络处理样本共用特征图，得到样本路面环境分割结果。
第十获得子模块，用于利用路面障碍物分支网络处理样本共用特征图，得到路面障碍物分割结果。
根据本公开的实施例，与样本道路图像对应的分割标签包括与样本道路图像中的车道线对应的第一分割标签、与样本道路图像中的路面环境对应的第二分割标签和与样本道路图像中的障碍物对应的第三分割标签。
第四获得模块830可以包括第十一获得子模块、第十二获得子模块、第十三获得子模块、第十四获得子模块、第十五获得子模块、第十六获得子模块、调整子模块和第一确定子模块。
第十一获得子模块，用于基于集合相似度损失函数，根据第一分割标签和样本车道线分割结果，得到第一输出值。
第十二获得子模块，用于基于集合相似度损失函数，根据第二分割标签和路面环境分割结果，得到第二输出值。
第十三获得子模块，用于基于集合相似度损失函数，根据第三分割标签和路面障碍物分割结果，得到第三输出值。
第十四获得子模块，用于基于交叉熵损失函数，根据第一分割标签和样本车道线分割结果，得到第四输出值。
第十五获得子模块，用于基于交叉熵损失函数，根据第二分割标签和路面环境分割结果，得到第五输出值。
第十六获得子模块，用于基于交叉熵损失函数，根据第三分割标签和路面障碍物分割结果，得到第六输出值。
调整子模块，用于根据输出值，调整预设模型的模型参数，直至输出值收敛。输出值包括第一输出值、第二输出值、第三输出值、第四输出值、第五输出值和第六输出值。
确定子模块，用于将在输出值收敛的情况下得到的预设模型确定为图像分割模型。
根据本公开的实施例，车道线包括以下至少一个类别：实线、虚线、导流线、斑马线和停止线。
路面环境包括以下至少一个类别：路面、栅栏、隔离带、绿化带、行人道路、机动车道、非机动车道和应急车道。
障碍物包括以下至少一个类别：机动车、非机动车、行人、车内物体和高架桥。
图像分割模型的训练装置800还可以包括确定模块。
确定模块，用于基于类别均衡策略，确定与车道线包括的每个类别对应的类别权重、与路面环境包括的每个类别对应的类别权重和与路面障碍物包括的每个类别对应的类别权重。
第十一获得子模块可以包括第十获得单元。
第十获得单元，用于基于集合相似度损失函数，根据与车道线包括的每个类别对应的类别权重、第一分割标签和车道线分割结果，得到第一输出值。
第十二获得子模块可以包括第十一获得单元。
第十一获得单元，用于基于集合相似度损失函数，根据与路面环境包括的每个类别对应的类别权重、第二分割标签和路面环境分割结果，得到第二输出值。
第十三获得子模块可以包括第十二获得单元。
第十二获得单元，用于基于集合相似度损失函数，根据与障碍物包括的每个类别对应的类别权重、第三分割标签和路面障碍物分割结果，得到第三输出值。
根据本公开的实施例，第十四获得子模块可以包括十三获得单元。
第十四获得子模块，用于基于交叉熵损失函数，根据与车道线包括的每个类别对应的类别权重、第一分割标签和车道线分割结果，得到第四输出值。
第十五获得子模块可以包括第十四获得单元。
第十四获得单元，用于基于交叉熵损失函数，根据与路面环境包括的每个类别对应的类别权重、第二分割标签和路面环境分割结果，得到第五输出值。
第十六获得子模块可以包括第十五获得单元。
第十五获得单元，用于基于交叉熵损失函数，根据与障碍物包括的每个类别对应的类别权重、第三分割标签和路面障碍物分割结果，得到第六输出值。
根据本公开的实施例，确定模块可以包括第七确定单元。
第七确定单元，用于根据样本道路图像中的每个类别的像素点的数目，确定与车道线包括的每个类别对应的类别权重、与路面环境包括的每个类别对应的类别权重和与障碍物包括的每个类别对应的类别权重。
根据本公开的实施例，上述图像分割模型的训练装置800还可以包括第三提取模块。
第三提取模块，用于以每隔预设行数的方式从样本道路图像中提取与车道线对应的多个目标像素点。
第十一获得子模块可以包括第十六获得单元。
第十六获得单元，用于基于集合相似度损失函数，根据与多个目标像素点对应的第一分割标签和样本车道线分割结果，得到第一输出值。
第十四获得子模块可以包括第十七获得单元。
第十七获得单元，用于基于交叉熵损失函数，根据与多个目标像素点对应的第一分割标签和样本车道线分割结果，得到第四输出值。
根据本公开的实施例，预设模型是经过预训练后得到的模型。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
图9示意性示出了根据本公开实施例的适于实现图像分割方法和图像分割模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像分割方法或图像分割模型的训练方法。例如，在一些实施例中，XXX方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像分割方法或图像分割模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分割方法或图像分割模型的训练方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (20)
1.一种图像分割方法，包括：
对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图；
基于所述共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果；以及
根据所述车道线分割结果、所述路面环境分割结果和所述路面障碍物分割结果，得到针对所述待分割道路图像的分割结果。
2.根据权利要求1所述的方法，其中，所述基于所述共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果，包括：
基于所述共用特征图，得到与所述车道线相关的第一语义分割结果和第一像素特征表征；
根据所述第一语义分割结果和所述第一像素特征表征，得到所述车道线分割结果；
基于所述共用特征图，得到与所述路面环境相关的第二语义分割结果和第二像素特征表征；
根据所述第二语义分割结果和所述第二像素特征表征，得到所述路面环境分割结果；
基于所述共用特征图，得到与所述路面障碍物相关的第三语义分割结果和第三像素特征表征；以及
根据所述第三语义分割结果和所述第三像素特征表征，得到所述路面障碍物分割结果。
3.根据权利要求2所述的方法，其中，所述根据所述第一语义分割结果和所述第一像素特征表征，得到所述车道线分割结果，包括：
根据所述第一语义分割结果和所述第一像素特征表征，得到第一对象区域特征表征；
确定所述第一语义分割结果和所述第一对象区域特征表征之间的第一关系矩阵；
根据所述第一关系矩阵和所述第一对象区域特征表征，得到第一对象上下文特征表征；
将所述第一像素特征表征和所述第一对象上下文特征表征进行拼接，得到第一对象增强上下文特征表征；以及
将所述第一对象增强上下文特征表征确定为所述车道线分割结果。
4.根据权利要求2或3所述的方法，其中，所述根据所述第二语义分割结果和所述第二像素特征表征，得到所述路面环境分割结果，包括：
根据所述第二语义分割结果和所述第二像素特征表征，得到第二对象区域特征表征；
确定所述第二语义分割结果和所述第二对象区域特征表征之间的第二关系矩阵；
根据所述第二关系矩阵和所述第二对象区域特征表征，得到第二对象上下文特征表征；
将所述第二像素特征表征和所述第二对象上下文特征表征进行拼接，得到第二对象增强上下文特征表征；以及
将所述第二对象增强上下文特征表征确定为所述路面环境分割结果。
5.根据权利要求2～4中任一项所述的方法，其中，所述根据所述第三语义分割结果和所述第三像素特征表征，得到所述路面障碍物分割结果，包括：
根据所述第三语义分割结果和所述第三像素特征表征，得到第三对象区域特征表征；
确定所述第三语义分割结果和所述第三对象区域特征表征之间的第三关系矩阵；
根据所述第三关系矩阵和所述第三对象区域特征表征，得到第三对象上下文特征表征；
将所述第三像素特征表征和所述第三对象上下文特征表征进行拼接，得到第三对象增强上下文特征表征；以及
将所述第三对象增强上下文特征表征确定为所述路面障碍物分割结果。
6.根据权利要求1～5中任一项所述的方法，其中，所述共用特征图是利用图像分割模型包括的主干网络处理所述待分割道路图像数据得到的；
其中，所述车道线分割结果是利用所述图像分割模型包括的车道线分支网络处理所述共用特征图得到的；
其中，所述路面环境分割结果是利用所述图像分割模型包括的路面环境分支网络处理所述共用特征图得到的；
其中，所述路面障碍物分割结果是利用所述图像分割模型包括的障碍物分支网络处理所述共用特征图得到的。
7.一种图像分割模型的训练方法，包括：
对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图；
基于所述样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果；以及
利用与所述样本道路图像对应的分割标签、所述样本车道线分割结果、所述样本路面环境分割结果和所述样本路面障碍物分割结果训练预设模型，得到所述图像分割模型。
8.根据权利要求7所述的方法，其中，所述预设模型包括主干网络；
所述对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图，包括：
利用所述主干网络处理所述样本道路图像的样本道路图像数据，得到所述样本共用特征图。
9.根据权利要求7或8所述的方法，其中，所述预设模型包括车道线分支网络、路面环境分支网络和路面障碍物分支网络；
所述基于所述样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果，包括：
利用所述车道线分支网络处理所述样本共用特征图，得到所述样本车道线分割结果；
利用所述路面环境分支网络处理所述样本共用特征图，得到所述样本路面环境分割结果；以及
利用所述路面障碍物分支网络处理所述样本共用特征图，得到所述路面障碍物分割结果。
10.根据权利要求7～9中任一项所述的方法，其中，与所述样本道路图像对应的分割标签包括与所述样本道路图像中的车道线对应的第一分割标签、与所述样本道路图像中的路面环境对应的第二分割标签和与所述样本道路图像中的障碍物对应的第三分割标签；
所述利用与所述样本道路图像对应的分割标签、所述样本车道线分割结果、所述样本路面环境分割结果和所述样本路面障碍物分割结果训练预设模型，得到所述图像分割模型，包括：
基于集合相似度损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第一输出值；
基于所述集合相似度损失函数，根据所述第二分割标签和所述路面环境分割结果，得到第二输出值；
基于所述集合相似度损失函数，根据所述第三分割标签和所述路面障碍物分割结果，得到第三输出值；
基于交叉熵损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第四输出值；
基于所述交叉熵损失函数，根据所述第二分割标签和所述路面环境分割结果，得到第五输出值；
基于所述交叉熵损失函数，根据所述第三分割标签和所述路面障碍物分割结果，得到第六输出值；
根据输出值，调整所述预设模型的模型参数，直至所述输出值收敛，其中，所述输出值包括所述第一输出值、所述第二输出值、所述第三输出值、所述第四输出值、所述第五输出值和所述第六输出值；以及
将在所述输出值收敛的情况下得到的预设模型确定为所述图像分割模型。
11.根据权利要求10所述的方法，其中，所述车道线包括以下至少一个类别：实线、虚线、导流线、斑马线和停止线；
所述路面环境包括以下至少一个类别：路面、栅栏、隔离带、绿化带、行人道路、机动车道、非机动车道和应急车道；
所述障碍物包括以下至少一个类别：机动车、非机动车、行人、车内物体和高架桥；
所述方法还包括：
基于类别均衡策略，确定与所述车道线包括的每个类别对应的类别权重、与所述路面环境包括的每个类别对应的类别权重和与所述路面障碍物包括的每个类别对应的类别权重；
所述基于集合相似度损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第一输出值，包括：
基于所述集合相似度损失函数，根据与所述车道线包括的每个类别对应的类别权重、所述第一分割标签和所述车道线分割结果，得到所述第一输出值；
所述基于所述集合相似度损失函数，根据所述第二分割标签和所述路面环境分割结果，得到第二输出值，包括：
基于所述集合相似度损失函数，根据与所述路面环境包括的每个类别对应的类别权重、所述第二分割标签和所述路面环境分割结果，得到所述第二输出值；
所述基于所述集合相似度损失函数，根据所述第三分割标签和所述路面障碍物分割结果，得到第三输出值，包括：
基于所述集合相似度损失函数，根据与所述障碍物包括的每个类别对应的类别权重、所述第三分割标签和所述路面障碍物分割结果，得到所述第三输出值。
12.根据权利要求11所述的方法，其中，所述基于交叉熵损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第四输出值，包括：
基于所述交叉熵损失函数，根据与所述车道线包括的每个类别对应的类别权重、所述第一分割标签和所述车道线分割结果，得到所述第四输出值；
所述基于所述交叉熵损失函数，根据所述第二分割标签和所述路面环境分割结果，得到第五输出值，包括：
基于所述交叉熵损失函数，根据与所述路面环境包括的每个类别对应的类别权重、所述第二分割标签和所述路面环境分割结果，得到所述第五输出值；
所述基于所述交叉熵损失函数，根据所述第三分割标签和所述路面障碍物分割结果，得到第六输出值，包括：
基于所述交叉熵损失函数，根据与所述障碍物包括的每个类别对应的类别权重、所述第三分割标签和所述路面障碍物分割结果，得到所述第六输出值。
13.根据权利要求11或12所述的方法，其中，所述基于类别均衡策略，确定与所述车道线包括的每个类别对应的类别权重、与所述路面环境包括的每个类别对应的类别权重和与所述障碍物包括的每个类别对应的类别权重，包括：
根据所述样本道路图像中的每个类别的像素点的数目，确定与所述车道线包括的每个类别对应的类别权重、与所述路面环境包括的每个类别对应的类别权重和与所述障碍物包括的每个类别对应的类别权重。
14.根据权利要求10所述的方法，还包括：
以每隔预设行数的方式从所述样本道路图像中提取与所述车道线对应的多个目标像素点；
所述基于集合相似度损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第一输出值，包括：
基于所述集合相似度损失函数，根据与所述多个目标像素点对应的第一分割标签和样本车道线分割结果，得到所述第一输出值；
所述基于交叉熵损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第四输出值，包括：
基于交叉熵损失函数，根据与所述多个目标像素点对应的第一分割标签和样本车道线分割结果，得到所述第四输出值。
15.根据权利要求7～14中任一项所述的方法，其中，所述预设模型是经过预训练后得到的模型。
16.一种图像分割装置，包括：
第一提取模块，用于对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图；
第一获得模块，用于基于所述共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果；以及
第二获得模块，用于根据所述车道线分割结果、所述路面环境分割结果和所述路面障碍物分割结果，得到针对所述待分割道路图像的分割结果。
17.一种图像分割模型的训练装置，包括：
第二提取模块，用于对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图；
第三获得模块，用于基于所述样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果；以及
第四获得模块，用于利用与所述样本道路图像对应的分割标签、所述样本车道线分割结果、所述样本路面环境分割结果和所述样本路面障碍物分割结果训练预设模型，得到所述图像分割模型。
18.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～6中任一项或权利要求7～15中任一项所述的方法。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～6中任一项或权利要求7～15中任一项所述的方法。
20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～6中任一项或权利要求7～15中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111271613.5A CN113971729A (zh) | 2021-10-29 | 2021-10-29 | 图像分割方法、训练方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111271613.5A CN113971729A (zh) | 2021-10-29 | 2021-10-29 | 图像分割方法、训练方法、装置、电子设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113971729A true CN113971729A (zh) | 2022-01-25 |
Family
ID=79588965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111271613.5A Pending CN113971729A (zh) | 2021-10-29 | 2021-10-29 | 图像分割方法、训练方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113971729A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998863A (zh) * | 2022-05-24 | 2022-09-02 | 北京百度网讯科技有限公司 | 目标道路识别方法、装置、电子设备以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200151497A1 (en) * | 2018-11-12 | 2020-05-14 | Sony Corporation | Semantic segmentation with soft cross-entropy loss |
| CN111178253A (zh) * | 2019-12-27 | 2020-05-19 | 深圳佑驾创新科技有限公司 | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 |
| CN112347933A (zh) * | 2020-11-06 | 2021-02-09 | 浙江大华技术股份有限公司 | 一种基于视频流的交通场景理解方法及装置 |
| CN112613515A (zh) * | 2020-11-23 | 2021-04-06 | 上海眼控科技股份有限公司 | 语义分割方法、装置、计算机设备和存储介质 |
| CN113011255A (zh) * | 2021-02-05 | 2021-06-22 | 北京中科慧眼科技有限公司 | 基于rgb图像的路面检测方法、***和智能终端 |
| CN113378769A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 图像分类方法和装置 |
-
2021
- 2021-10-29 CN CN202111271613.5A patent/CN113971729A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200151497A1 (en) * | 2018-11-12 | 2020-05-14 | Sony Corporation | Semantic segmentation with soft cross-entropy loss |
| CN111178253A (zh) * | 2019-12-27 | 2020-05-19 | 深圳佑驾创新科技有限公司 | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 |
| CN112347933A (zh) * | 2020-11-06 | 2021-02-09 | 浙江大华技术股份有限公司 | 一种基于视频流的交通场景理解方法及装置 |
| CN112613515A (zh) * | 2020-11-23 | 2021-04-06 | 上海眼控科技股份有限公司 | 语义分割方法、装置、计算机设备和存储介质 |
| CN113011255A (zh) * | 2021-02-05 | 2021-06-22 | 北京中科慧眼科技有限公司 | 基于rgb图像的路面检测方法、***和智能终端 |
| CN113378769A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 图像分类方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 张凯航;冀杰;蒋骆;周显林;: "基于SegNet的非结构道路可行驶区域语义分割", 重庆大学学报, no. 03, 15 March 2020 (2020-03-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998863A (zh) * | 2022-05-24 | 2022-09-02 | 北京百度网讯科技有限公司 | 目标道路识别方法、装置、电子设备以及存储介质 |
| CN114998863B (zh) * | 2022-05-24 | 2023-12-12 | 北京百度网讯科技有限公司 | 目标道路识别方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及*** | |
| US20230068238A1 (en) | Method and apparatus for processing image, electronic device and storage medium | |
| CN113627536B (zh) | 模型训练、视频分类方法，装置，设备以及存储介质 | |
| CN113792742A (zh) | 遥感图像的语义分割方法和语义分割模型的训练方法 | |
| EP4123595A2 (en) | Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium | |
| CN114449343A (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN113378857A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN116092055A (zh) | 训练方法、获取方法、装置、设备及自动驾驶车辆 | |
| CN114715145A (zh) | 一种轨迹预测方法、装置、设备及自动驾驶车辆 | |
| CN113971729A (zh) | 图像分割方法、训练方法、装置、电子设备以及存储介质 | |
| CN114612741A (zh) | 缺陷识别模型的训练方法、装置、电子设备及存储介质 | |
| CN113591569A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
| CN115761698A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN114724113B (zh) | 道路标牌识别方法、自动驾驶方法、装置和设备 | |
| CN113706705B (zh) | 用于高精地图的图像处理方法、装置、设备以及存储介质 | |
| CN115879004A (zh) | 目标模型的训练方法、装置、电子设备、介质和程序产品 | |
| CN113344121B (zh) | 训练招牌分类模型和招牌分类的方法 | |
| CN116152702A (zh) | 点云标签的获取方法、装置、电子设备和自动驾驶车辆 | |
| CN114998863A (zh) | 目标道路识别方法、装置、电子设备以及存储介质 | |
| CN114282583A (zh) | 图像分类模型训练分类方法、装置、路侧设备和云控平台 | |
| CN113744278A (zh) | 文本检测方法和装置 | |
| CN113343979B (zh) | 用于训练模型的方法、装置、设备、介质和程序产品 | |
| CN116168366B (zh) | 点云数据生成方法、模型训练方法、目标检测方法和装置 | |
| CN113378850B (zh) | 模型训练方法、路面损伤分割方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |