CN115035494A - 图像处理方法、装置、车辆、存储介质及芯片 - Google Patents
图像处理方法、装置、车辆、存储介质及芯片 Download PDFInfo
- Publication number
- CN115035494A CN115035494A CN202210778647.1A CN202210778647A CN115035494A CN 115035494 A CN115035494 A CN 115035494A CN 202210778647 A CN202210778647 A CN 202210778647A CN 115035494 A CN115035494 A CN 115035494A
- Authority
- CN
- China
- Prior art keywords
- task
- image
- module
- driving environment
- decoding module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000008447 perception Effects 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims description 70
- 238000013500 data storage Methods 0.000 claims description 55
- 238000000605 extraction Methods 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种图像处理方法、装置、车辆、存储介质及芯片，该图像处理方法通过多任务感知模型提取该当前行驶环境图像对应的第一目标特征数据，该多任务感知模型包括多个任务解码模块，不同的任务解码模块用于完成不同的感知任务；将该第一目标特征数据和历史行驶环境图像对应的第二目标特征数据输入每个该任务解码模块，以获取每个该任务解码模块输出的任务处理结果；这样，通过多个相互独立的任务解码模块分别获取每个任务处理结果，能够有效提升多任务处理速度，且由于不同的任务之间可以并行处理，因此不仅能够有效提升任务处理效率，也能够减少不同任务处理结果之间的相互影响，从而能够达到有效提升任务处理结果的准确性的效果。
Description
技术领域
本公开涉及自动驾驶领域，尤其涉及一种图像处理方法、装置、车辆、存储介质及芯片。
背景技术
为了保证安全、高效、可靠的行驶，自动驾驶车辆往往需要同时处理多达几十种的感知任务，目前相关技术中所采用的多任务感知模型一般是通过基于卷积神经网络的Backbone（骨干网络）提取特征，再利用任务特异性的Heads（检测头）模块分别处理多种任务，由于多种任务之间相互关联，因此上游任务的处理速度和处理结果会制约和影响下游任务的处理速度和检测结果，容易造成任务处理速度慢、效率低，且任务处理结果准确性受限的问题。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、车辆、存储介质及芯片。
根据本公开实施例的第一方面，提供一种图像处理方法，应用于车辆，包括：
获取所述车辆的当前行驶环境图像；
将所述当前行驶环境图像输入预设的多任务感知模型，所述多任务感知模型包括特征提取模块和多个任务解码模块，不同的任务解码模块用于完成不同的感知任务，通过所述特征提取模块提取所述当前行驶环境图像对应的第一目标特征数据；
获取历史行驶环境图像对应的第二目标特征数据；
将所述第一目标特征数据和所述第二目标特征数据输入每个所述任务解码模块，以获取每个所述任务解码模块输出的任务处理结果。
可选地，所述特征提取模块包括图像切块子模块，编码器和数据存储子模块，所述图像切块子模块的输出端与所述编码器的输入端耦合，所述编码器的输出端与所述数据存储子模块的输入端耦合，所述数据存储子模块的输出端分别与所述多个任务解码模块中的每个耦合，
所述图像切块子模块，用于将所述当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；
所述编码器，包括自注意力层，用于通过所述自注意力层对所述多个图像区域对应的多个所述特征向量进行特征提取，以得到所述当前行驶环境图像对应的所述第一目标特征数据，并将所述第一目标特征数据输入所述数据存储子模块；
所述数据存储子模块，用于对所述编码器输出的所述当前行驶环境图像对应的所述第一目标特征数据进行存储。
可选地，所述通过所述特征提取模块提取所述当前行驶环境图像对应的第一目标特征数据，包括：
响应于接收到所述当前行驶环境图像，通过所述图像切块子模块将所述当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；
通过所述自注意力层对所述多个图像区域对应的多个所述特征向量进行特征提取，以得到所述当前行驶环境图像对应的所述第一目标特征数据，并将所述第一目标特征数据输入所述数据存储子模块；
通过所述数据存储子模块对所述编码器输出的所述第一目标特征数据进行存储。
可选地，所述获取历史行驶环境图像对应的第二目标特征数据，包括：
获取历史行驶环境图像对应的标识信息；
根据所述标识信息从所述数据存储子模块中读取所述历史行驶环境图像对应的第二目标特征数据。
可选地，所述任务解码模块包括一个或者多个解码器，所述将所述第一目标特征数据和所述第二目标特征数据输入每个所述任务解码模块，以获取每个所述任务解码模块输出的任务处理结果，包括：
通过所述一个或者多个解码器对接收到的所述第一目标特征数据和所述第二目标特征数据进行任务处理，以得到所述任务处理结果。
可选地，所述多个任务解码模块包括位置检测类任务解码模块，图像分割类任务解码模块和类别检测类任务解码模块中的至少一个，
所述位置检测类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定当前的车辆行驶环境中，第一指定物体的位置信息；
所述类别检测类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定当前的车辆行驶环境中，第二指定物体的类别信息；
所述图像分割类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定车辆行驶环境中的车道线位置和/或可行驶区域。
可选地，所述位置检测类任务解码模块，包括红绿灯位置检测任务解码模块、车辆位置检测任务解码模块、行人位置检测任务解码模块、障碍物位置检测任务解码模块、灯杆位置检测任务解码模块、交通标识位置检测任务解码模块中的一个或者多个；
所述类别检测类任务解码模块，包括天气类别检测任务解码模块或行驶路面类别检测任务解码模块。
可选地，所述多任务感知模型通过以下方式训练得到：
获取多组行驶环境图像样本，每组所述行驶环境图像样本中包括多帧行驶环境样本图像，以及当前感知任务的标注数据，不同的行驶环境图像样本包括不同感知任务的标注数据；
以所述多组行驶环境图像样本为训练数据，对预设初始模型进行训练，以得到所述多任务感知模型；其中，所述预设初始模型包括初始特征提取模块和多个初始任务解码模块，所述初始特征提取模块包括图像切块初始子模块，初始编码器和数据存储子模块，所述初始任务解码模块包括一个或者多个初始解码器。
根据本公开实施例的第二方面，提供一种图像处理装置，应用于车辆，包括：
第一获取模块，被配置为获取所述车辆的当前行驶环境图像；
第二获取模块，被配置为将所述当前行驶环境图像输入预设的多任务感知模型，所述多任务感知模型包括特征提取模块和多个任务解码模块，不同的任务解码模块用于完成不同的感知任务，通过所述特征提取模块提取所述当前行驶环境图像对应的第一目标特征数据；
第三获取模块，被配置为获取历史行驶环境图像对应的第二目标特征数据；
确定模块，被配置为将所述第一目标特征数据和所述第二目标特征数据输入每个所述任务解码模块，以获取每个所述任务解码模块输出的任务处理结果。
可选地，所述特征提取模块包括图像切块子模块，编码器和数据存储子模块，所述图像切块子模块的输出端与所述编码器的输入端耦合，所述编码器的输出端与所述数据存储子模块的输入端耦合，所述数据存储子模块的输出端分别与所述多个任务解码模块中的每个耦合，
所述图像切块子模块，用于将所述当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；
所述编码器，包括自注意力层，用于通过所述自注意力层对所述多个图像区域对应的多个所述特征向量进行特征提取，以得到所述当前行驶环境图像对应的所述第一目标特征数据，并将所述第一目标特征数据输入所述数据存储子模块；
所述数据存储子模块，用于对所述编码器输出的所述当前行驶环境图像对应的所述第一目标特征数据进行存储。
可选地，所述第二获取模块，被配置为：
响应于接收到所述当前行驶环境图像，通过所述图像切块子模块将所述当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；
通过所述自注意力层对所述多个图像区域对应的多个所述特征向量进行特征提取，以得到所述当前行驶环境图像对应的所述第一目标特征数据，并将所述第一目标特征数据输入所述数据存储子模块；
通过所述数据存储子模块对所述编码器输出的所述第一目标特征数据进行存储。
可选地，所述第三获取模块，被配置为：
获取历史行驶环境图像对应的标识信息；
根据所述标识信息从所述数据存储子模块中读取所述历史行驶环境图像对应的第二目标特征数据。
可选地，所述任务解码模块包括一个或者多个解码器，所述确定模块，被配置为：
通过所述一个或者多个解码器对接收到的所述第一目标特征数据和所述第二目标特征数据进行任务处理，以得到所述任务处理结果。
可选地，所述多个任务解码模块包括位置检测类任务解码模块，图像分割类任务解码模块和类别检测类任务解码模块中的至少一个，
所述位置检测类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定当前的车辆行驶环境中，第一指定物体的位置信息；
所述类别检测类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定当前的车辆行驶环境中，第二指定物体的类别信息；
所述图像分割类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定车辆行驶环境中的车道线位置和/或可行驶区域
可选地，所述位置检测类任务解码模块，包括红绿灯位置检测任务解码模块、车辆位置检测任务解码模块、行人位置检测任务解码模块、障碍物位置检测任务解码模块、灯杆位置检测任务解码模块、交通标识位置检测任务解码模块中的一个或者多个；
所述类别检测类任务解码模块，包括天气类别检测任务解码模块或行驶路面类别检测任务解码模块。
可选地，所述装置还包括模型训练模块，所述模型训练模块，被配置为：
获取多组行驶环境图像样本，每组所述行驶环境图像样本中包括多帧行驶环境样本图像，以及当前感知任务的标注数据，不同的行驶环境图像样本包括不同感知任务的标注数据；
以所述多组行驶环境图像样本为训练数据，对预设初始模型进行训练，以得到所述多任务感知模型；其中，所述预设初始模型包括初始特征提取模块和多个初始任务解码模块，所述初始特征提取模块包括图像切块初始子模块，初始编码器和数据存储子模块，所述初始任务解码模块包括一个或者多个初始解码器。
根据本公开实施例的第三方面，提供一种车辆，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取多帧行驶环境图像；
分别将每帧所述行驶环境图像输入预设的多任务感知模型，所述多任务感知模型包括特征提取模块和多个任务解码模块，不同的任务解码模块用于完成不同的感知任务；
通过所述特征提取模块依次提取每帧所述行驶环境图像对应的目标特征数据，以得到所述多帧行驶环境图像对应的多个目标特征数据；
将所述多个目标特征数据输入每个所述任务解码模块，以获取每个所述任务解码模块输出的任务处理结果。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现以上第一方面所述方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行以上第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
能够共用历史行驶环境图像的第二目标特征数据和当前行驶环境图像的第一目标特征数据，通过多个相互独立的任务解码模块分别获取每个任务处理结果，能够有效提升多任务处理速度，且由于不同的任务之间相互独立，并可以并行处理，因此不仅能够有效提升任务处理效率，也能够减少不同的任务处理结果之间的相互影响，从而也能够有效提升任务处理结果的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开一示例性实施例示出的一种图像处理方法的流程图；
图2是本公开一示例性实施例示出的一种多任务感知模型的结构示意图；
图3是根据本公开图1所示实施例示出的一种图像处理方法的流程图；
图4是本公开一示例性实施例示出的一种多任务感知模型的训练方法的流程图；
图5是本公开一示例性实施例示出的一种图像处理装置的框图；
图6是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
在详细介绍本公开的具体实施方式之前，首先，对本公开的应用场景进行以下说明，本公开可以应用于自动驾驶车辆上，目前针对自动驾驶车辆的多任务感知场景，相关技术中一般是通过基于卷积神经网络的Backbone（骨干网络）提取特征，再利用任务特异性的Heads（检测头）模块分别处理多种任务，由于基于卷积神经网络的骨干网络受限于卷积操作的局部性归纳偏置，因此难以通过图像重建的方式进行生成式大规模预训练；并且在任务模块设计时，通常需要通过人为经验和大量实验才能选取更合适的骨干网络特征作为模块输入，因此难以进行大量任务的扩展，再者由于Heads模块处理的多种任务之间相互不是相互独立的，因此上游任务的处理速度和结果会制约和影响下游任务的处理速度和检测结果，容易造成任务处理速度慢、效率低，以及任务处理结果准确性不高的问题。
为了解决以上技术问题，本公开提供了一种图像处理方法、装置、车辆、存储介质及芯片，该图像处理方法通过多任务感知模型提取该当前行驶环境图像对应的第一目标特征数据，该多任务感知模型包括多个任务解码模块，不同的任务解码模块用于完成不同的感知任务；将该第一目标特征数据和历史行驶环境图像对应的第二目标特征数据输入每个该任务解码模块，以获取每个该任务解码模块输出的任务处理结果；这样，通过多个相互独立的任务解码模块分别获取每个任务处理结果，能够有效提升多任务处理速度，且由于不同的任务之间可以并行处理，因此不仅能够有效提升任务处理效率，也能够减少不同任务处理结果之间的相互影响，从而能够达到有效提升任务处理结果的准确性的效果。
下面结合具体实施例对本公开的技术方案进行详细阐述。
图1是本公开一示例性实施例示出的一种图像处理方法的流程图；如图1所示，该图像处理方法，应用于车辆，可以包括：
步骤101，获取该车辆的当前行驶环境图像。
本步骤中，可以通过设置在车辆中的图像采集装置采集该当前行驶环境图像。
步骤102，将该当前行驶环境图像输入预设的多任务感知模型，该多任务感知模型包括特征提取模块和多个任务解码模块，不同的任务解码模块用于完成不同的感知任务，通过该特征提取模块提取该当前行驶环境图像对应的第一目标特征数据。
其中，图2是本公开一示例性实施例示出的一种多任务感知模型的结构示意图，如图2所示，该特征提取模块201可以包括图像切块子模块2011，编码器2012和数据存储子模块2013，该图像切块子模块2011的输出端与该编码器2012（encoder，编码器）的输入端耦合，该编码器2012的输出端与该数据存储子模块2013的输入端耦合，该数据存储子模块2013的输出端分别与该多个任务解码模块202中的每个耦合，该图像切块子模块2011，用于将该当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；该编码器2012，包括自注意力层，用于通过该自注意力层对该多个图像区域对应的多个该特征向量进行特征提取，以得到该当前行驶环境图像对应的该第一目标特征数据，并将该第一目标特征数据输入该数据存储子模块；该数据存储子模块2013，用于对该编码器输出的该当前行驶环境图像对应的该第一目标特征数据进行存储；该任务解码模块202包括一个或者多个解码器（decoder，解码器）。
本步骤，可以通过图3（图3是根据本公开图1所示实施例示出的一种图像处理方法的流程图；）中S1至S3所示步骤实施：
S1，响应于接收到该当前行驶环境图像，通过该图像切块子模块将该当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量。
示例地，该图像切块子模块可以将64×64的图像划分为8个8×8的图像区域，并能够对每个8×8的图像区域进行特征提取，以得到每个8×8的图像区域对应的特征向量，对每个图像区域进行特征向量提取时，可以采用现有技术中的Embedding（嵌入）算法或者Fingerprint（指纹鉴定）算法，还可以是现有技术中的其他算法，本公开对此不作限定。
S2，通过该自注意力层对该多个图像区域对应的多个该特征向量进行特征提取，以得到该当前行驶环境图像对应的该第一目标特征数据，并将该第一目标特征数据输入该数据存储子模块。
其中，通过该自注意力层可以获取到该当前行驶环境图像中更多的上下文语义特征，即该第一目标特征数据中携带了大量的上下文语义特征信息，能够为后续的任务处理提供可靠的数据依据，从而有利于提升任务处理结果的准确性。
S3，通过该数据存储子模块对该编码器输出的该第一目标特征数据进行存储。
其中，该数据存储子模块用于对当前行驶环境图像对应的第一目标特征数据进行存储，随着时间的移动，该数据存储子模块中会存储有多个历史的当前行驶环境图像对应的第一目标特征数据，即数据存储子模块中保存有历史行驶环境图像对应的第二目标特征数据。
通过以上S1至S3所示步骤，能够有效提取该当前行驶环境图像对应的第一目标特征数据，并能够有效存储该第一目标特征数据，为后续任务解码模块的数据调取提供可靠保障。
步骤103，获取历史行驶环境图像对应的第二目标特征数据。
本步骤中，可以获取历史行驶环境图像对应的标识信息；根据该标识信息从该数据存储子模块中读取该历史行驶环境图像对应的第二目标特征数据。
需要说明的是，该数据存储子模块中存储了预设时间段内的历史行驶环境图像对应的第二目标特征数据。该历史行驶环境图像对应的标识信息可以包括采集时间和采集位置，例如2022年02月01日13时11分20秒车辆正前方图像。每个历史行驶环境图像对应的第二目标特征数据的获取过程与该第一目标特征数据的获取过程相同，本公开在次不再赘述。
步骤104，将该第一目标特征数据和该第二目标特征数据输入每个该任务解码模块，以获取每个该任务解码模块输出的任务处理结果。
其中，每个该任务解码模块可以包括一个或者多个解码器。
本步骤中，可以通过该一个或者多个解码器对接收到的该第一目标特征数据和该第二目标特征数据进行任务处理，以得到该任务处理结果。
需要说明的是，在通过解码器进行任务处理时，由于解码器本身的工作原理为查询向量，键向量以及值向量之间的查询运算，因此通过包括一个或者多个解码器的任务解码模块进行任务处理，能够将每个感知任务通过查询的方式从第一目标特征数据和该第二目标特征数据中获取所需的信息，即可以以实际任务为查询向量（q），第一目标特征数据和该第二目标特征数据为键向量（k），第一目标特征数据和该第二目标特征数据作为值向量（v）进行打分计算，然后对打分结果进行归一化处理（即softmax计算），以得到归一化后的softmax分数，然后根据该softmax分数对所有的值向量进行加权值向量求和，从而得到任务处理结果。
另外，还需指出的是，多个任务解码模块用于完成不同的感知任务，不同的任务解码模块之间相互独立，可以并行运行，由于不同的任务解码模块之间相互独立，因此可以根据后续需求增加其他的任务解码模块，从而能够为后续感知任务的扩展提供便利。
以上技术方案，能够共用历史行驶环境图像的第二目标特征数据和当前行驶环境图像的第一目标特征数据，通过多个相互独立的任务解码模块分别获取每个任务处理结果，能够有效提升多任务处理速度，且由于不同的任务之间相互独立，并可以并行处理，因此不仅能够有效提升任务处理效率，也能够减少不同的任务处理结果之间的相互影响，从而也能够有效提升任务处理结果的准确性。
可选地，该多个任务解码模块包括位置检测类任务解码模块，图像分割类任务解码模块和类别检测类任务解码模块中的至少一个，
该位置检测类任务解码模块，用于根据该第一目标特征数据和该第二目标特征数据确定当前的车辆行驶环境中，第一指定物体的位置信息；
该类别检测类任务解码模块，用于根据该第一目标特征数据和该第二目标特征数据确定当前的车辆行驶环境中，第二指定物体的类别信息；
该图像分割类任务解码模块，用于根据该第一目标特征数据和该第二目标特征数据确定车辆行驶环境中的车道线位置和/或可行驶区域。
其中，该第一指定物体可以是车辆、障碍物、红绿灯、行人或者交通标识牌等，该第二指定物体可以是路面、树木、白云等，该第一指定物体可以与该指定物体相同，也可以不同，本公开对此不作限定。
可选地，该位置检测类任务解码模块，包括红绿灯位置检测任务解码模块、车辆位置检测任务解码模块、行人位置检测任务解码模块、障碍物位置检测任务解码模块、灯杆位置检测任务解码模块、交通标识位置检测任务解码模块中的一个或者多个；
该类别检测类任务解码模块，包括天气类别检测任务解码模块或行驶路面类别检测任务解码模块。
可选地，该多任务感知模型通过图4所示方式训练得到，图4是本公开一示例性实施例示出的一种多任务感知模型的训练方法的流程图；如图4所示，该多任务感知模型的训练方法可以包括：
步骤401，获取多组行驶环境图像样本，每组该行驶环境图像样本中包括多帧行驶环境样本图像，以及当前感知任务的标注数据，不同的行驶环境图像样本包括不同感知任务的标注数据。
步骤402，以所述多组行驶环境图像样本为训练数据，对预设初始模型进行训练，以得到该多任务感知模型。
其中，该预设初始模型包括初始特征提取模块和多个初始任务解码模块，该初始特征提取模块包括图像切块初始子模块，初始编码器和数据存储子模块，该初始任务解码模块包括一个或者多个初始解码器。
需要说明的是，该初始编码器可以是transform中的encoders（编码器组件），该初始解码器可以是decoders（解码器组件），该数据存储子模块可以是现有技术中的任一具备存储功能的数据存储单元。该图像切块初始子模块可以是Embedding（嵌入）算法单元。
以上技术方案，能够有效训练得到该多任务感知模型，由于该多任务感知模型中不同的任务解码模块之间相互独立，因此可以根据后续感知需求增加其他的任务解码模块，从而能够为后续任务的扩展提供便利。
图5是本公开一示例性实施例示出的一种图像处理装置的框图；如图5所示，该图像处理装置，应用于车辆，可以包括：
第一获取模块501，被配置为获取该车辆的当前行驶环境图像；
第二获取模块502，被配置为将该当前行驶环境图像输入预设的多任务感知模型，该多任务感知模型包括特征提取模块和多个任务解码模块，不同的任务解码模块用于完成不同的感知任务，通过该特征提取模块提取该当前行驶环境图像对应的第一目标特征数据；
第三获取模块503，被配置为获取历史行驶环境图像对应的第二目标特征数据；
确定模块504，被配置为将该第一目标特征数据和该第二目标特征数据输入每个该任务解码模块，以获取每个该任务解码模块输出的任务处理结果。
以上技术方案，通过多个相互独立的任务解码模块分别获取每个任务处理结果，能够有效提升多任务处理速度，且由于不同的任务之间可以并行处理，因此不仅能够有效提升任务处理效率，也能够减少任务处理结果的相互影响，从而能够有效提升任务处理结果的准确性。
可选地，该特征提取模块包括图像切块子模块，编码器和数据存储子模块，该图像切块子模块的输出端与该编码器的输入端耦合，该编码器的输出端与该数据存储子模块的输入端耦合，该数据存储子模块的输出端分别与该多个任务解码模块中的每个耦合，
该图像切块子模块，用于将该当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；
该编码器，包括自注意力层，用于通过该自注意力层对该多个图像区域对应的多个该特征向量进行特征提取，以得到该当前行驶环境图像对应的该第一目标特征数据，并将该第一目标特征数据输入该数据存储子模块；
该数据存储子模块，用于对该编码器输出的该当前行驶环境图像对应的该第一目标特征数据进行存储。
可选地，该第二获取模块502，被配置为：
响应于接收到该当前行驶环境图像，通过该图像切块子模块将该当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；
通过该自注意力层对该多个图像区域对应的多个该特征向量进行特征提取，以得到该当前行驶环境图像对应的该第一目标特征数据，并将该第一目标特征数据输入该数据存储子模块；
通过该数据存储子模块对该编码器输出的该第一目标特征数据进行存储。
可选地，该第三获取模块503，被配置为：
获取历史行驶环境图像对应的标识信息；
根据该标识信息从该数据存储子模块中读取该历史行驶环境图像对应的第二目标特征数据。
可选地，该任务解码模块包括一个或者多个解码器，该确定模块504，被配置为：
通过该一个或者多个解码器对接收到的该第一目标特征数据和该第二目标特征数据进行任务处理，以得到该任务处理结果。
可选地，该多个任务解码模块包括位置检测类任务解码模块，图像分割类任务解码模块和类别检测类任务解码模块中的至少一个，
该位置检测类任务解码模块，用于根据该第一目标特征数据和该第二目标特征数据确定当前的车辆行驶环境中，第一指定物体的位置信息；
该类别检测类任务解码模块，用于根据该第一目标特征数据和该第二目标特征数据确定当前的车辆行驶环境中，第二指定物体的类别信息；
该图像分割类任务解码模块，用于根据该第一目标特征数据和该第二目标特征数据确定车辆行驶环境中的车道线位置和/或可行驶区域。
可选地，该位置检测类任务解码模块，包括红绿灯位置检测任务解码模块、车辆位置检测任务解码模块、行人位置检测任务解码模块、障碍物位置检测任务解码模块、灯杆位置检测任务解码模块、交通标识位置检测任务解码模块中的一个或者多个；
该类别检测类任务解码模块，包括天气类别检测任务解码模块或行驶路面类别检测任务解码模块。
可选地，该装置还包括模型训练模块，该模型训练模块，被配置为：
获取多组行驶环境图像样本，每组该行驶环境图像样本中包括多帧行驶环境样本图像，以及当前感知任务的标注数据，不同的行驶环境图像样本包括不同感知任务的标注数据；
以该多组行驶环境图像样本为训练数据，对预设初始模型进行训练，以得到该多任务感知模型；其中，该预设初始模型包括初始特征提取模块和多个初始任务解码模块，该初始特征提取模块包括图像切块初始子模块，初始编码器和数据存储子模块，该初始任务解码模块包括一个或者多个初始解码器。
以上技术方案，能够有效训练得到该多任务感知模型，由于该多任务感知模型中不同的任务解码模块之间相互独立，因此可以根据后续感知需求增加其他的任务解码模块，从而能够为后续任务的扩展提供便利。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路（Integrated Circuit，IC）或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU（GraphicsProcessing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）、FPGA（Field Programmable Gate Array，可编程逻辑阵列）、DSP（Digital Signal Processor，数字信号处理器）、ASIC（Application Specific Integrated Circuit，专用集成电路）、SOC（System on Chip，SoC，片上***或***级芯片）等。上述的集成电路或芯片中可以用于执行可执行指令（或代码），以实现上述的图像处理方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的图像处理方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的图像处理方法。
图6是一示例性实施例示出的一种车辆的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如，车辆600可以通过感知***620获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子***，例如，信息娱乐***610、感知***620、决策控制***630、驱动***640以及计算平台650。可选的，车辆600可包括更多或更少的子***，并且每个子***都可包括多个部件。另外，车辆600的每个子***和部件可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐***610可以包括通信***611，娱乐***612以及导航***613。
通信***611可以包括无线通信***，无线通信***可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信***可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信***可利用WiFi与无线局域网（wireless local area network，WLAN）通信。在一些实施例中，无线通信***可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信***，例如，无线通信***可包括一个或多个专用短程通信（dedicated short range communications，DSRC）设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐***612可以包括显示设备，麦克风和音响，用户可以基于娱乐***在车内收听广播，播放音乐；或者将手机和车辆联通，在显示设备上实现手机的投屏，显示设备可以为触控式，用户可以通过触摸屏幕进行操作。
在一些情况下，可以通过麦克风获取用户的语音信号，并依据对用户的语音信号的分析实现用户对车辆600的某些控制，例如调节车内温度等。在另一些情况下，可以通过音响向用户播放音乐。
导航***613可以包括由地图供应商所提供的地图服务，从而为车辆600提供行驶路线的导航，导航***613可以和车辆的全球定位***621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图，也可以是高精地图。
感知***620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如，感知***620可包括全球定位***621（全球定位***可以是GPS***，也可以是北斗***或者其他定位***）、惯性测量单元（inertial measurement unit，IMU）622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知***620还可包括被监视车辆600的内部***的传感器（例如，车内空气质量监测器、燃油量表、机油温度表等）。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性（位置、形状、方向、速度等）。这种检测和识别是车辆600的安全操作的关键功能。
全球定位***621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中，惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中，激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他***组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中，除了感测物体以外，毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置626获取的图像信息可以包括静态图像，也可以包括视频流信息。
决策控制***630包括基于感知***620所获取的信息进行分析决策的计算***631，决策控制***630还包括对车辆600的动力***进行控制的整车控制器632，以及用于控制车辆600的转向***633、油门634和制动***635。
计算***631可以操作来处理和分析由感知***620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物，物体和/或特征可包括交通信号、道路边界和障碍物。计算***631可使用物体识别算法、运动中恢复结构（Structure from Motion，SFM）算法、视频跟踪等技术。在一些实施例中，计算***631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算***631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制，以提升车辆600的动力性能。
转向***633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘***。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动***635用于控制车辆600减速。制动***635可使用摩擦力来减慢车轮644。在一些实施例中，制动***635可将车轮644的动能转换为电流。制动***635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动***640可包括为车辆600提供动力运动的组件。在一个实施例中，驱动***640可包括引擎641、能量源642、传动***643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他***提供能量。
传动***643可以将来自引擎641的机械动力传送到车轮644。传动***643可包括变速箱、差速器和驱动轴。在一个实施例中，传动***643还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651，处理器651可以执行存储在例如存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中，计算平台650还可以是采用分布式方式控制车辆600的个体组件或子***的多个计算设备。
处理器651可以是任何常规的处理器，诸如商业可获得的CPU。可替换地，处理器651还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（FieldProgrammable Gate Array，FPGA）、片上***（Sysem on Chip，SOC）、专用集成芯片（Application Specific Integrated Circuit，ASIC）或它们的组合。尽管图6功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中，处理器651可以执行上述的图像处理方法。
在此处所描述的各个方面中，处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在一些实施例中，存储器652可包含指令653（例如，程序逻辑），指令653可被处理器651执行来执行车辆600的各种功能。存储器652也可包含额外的指令，包括向信息娱乐***610、感知***620、决策控制***630、驱动***640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外，存储器652还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子***（例如，驱动***640、感知***620和决策控制***630）接收的输入来控制车辆600的功能。例如，计算平台650可利用来自决策控制***630的输入以便控制转向***633来避免由感知***620检测到的障碍物。在一些实施例中，计算平台650可操作来对车辆600及其子***的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与车辆600分开安装或关联。例如，存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图6不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车，如上面的车辆600，可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶汽车所要调整的速度。
可选地，车辆600或者与车辆600相关联的感知和计算设备（例如计算***631、计算平台650）可以基于所识别的物体的特性和周围环境的状态（例如，交通、雨、道路上的冰、等等）来预测识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到（例如，加速、减速、或者停止）何种稳定状态。在这个过程中，也可以考虑其它因素来确定车辆600的速度，诸如，车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改车辆600的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体（例如，道路上的相邻车道中的车辆）的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具，例如，轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等，本公开实施例不做特别的限定。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像处理方法，其特征在于，应用于车辆，包括：
获取所述车辆的当前行驶环境图像；
将所述当前行驶环境图像输入预设的多任务感知模型，所述多任务感知模型包括特征提取模块和多个任务解码模块，不同的任务解码模块用于完成不同的感知任务，通过所述特征提取模块提取所述当前行驶环境图像对应的第一目标特征数据；
获取历史行驶环境图像对应的第二目标特征数据；
将所述第一目标特征数据和所述第二目标特征数据输入每个所述任务解码模块，以获取每个所述任务解码模块输出的任务处理结果。
2.根据权利要求1所述的图像处理方法，其特征在于，所述特征提取模块包括图像切块子模块，编码器和数据存储子模块，所述图像切块子模块的输出端与所述编码器的输入端耦合，所述编码器的输出端与所述数据存储子模块的输入端耦合，所述数据存储子模块的输出端分别与所述多个任务解码模块中的每个耦合，
所述图像切块子模块，用于将所述当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；
所述编码器，包括自注意力层，用于通过所述自注意力层对所述多个图像区域对应的多个所述特征向量进行特征提取，以得到所述当前行驶环境图像对应的所述第一目标特征数据，并将所述第一目标特征数据输入所述数据存储子模块；
所述数据存储子模块，用于对所述编码器输出的所述当前行驶环境图像对应的所述第一目标特征数据进行存储。
3.根据权利要求2所述的图像处理方法，其特征在于，所述通过所述特征提取模块提取所述当前行驶环境图像对应的第一目标特征数据，包括：
响应于接收到所述当前行驶环境图像，通过所述图像切块子模块将所述当前行驶环境图像划分为多个图像区域，并获取每个图像区域对应的特征向量；
通过所述自注意力层对所述多个图像区域对应的多个所述特征向量进行特征提取，以得到所述当前行驶环境图像对应的所述第一目标特征数据，并将所述第一目标特征数据输入所述数据存储子模块；
通过所述数据存储子模块对所述编码器输出的所述第一目标特征数据进行存储。
4.根据权利要求2所述的图像处理方法，其特征在于，所述获取历史行驶环境图像对应的第二目标特征数据，包括：
获取历史行驶环境图像对应的标识信息；
根据所述标识信息从所述数据存储子模块中读取所述历史行驶环境图像对应的所述第二目标特征数据。
5.根据权利要求1所述的图像处理方法，其特征在于，所述任务解码模块包括一个或者多个解码器，所述将所述第一目标特征数据和所述第二目标特征数据输入每个所述任务解码模块，以获取每个所述任务解码模块输出的任务处理结果，包括：
通过所述一个或者多个解码器对接收到的所述第一目标特征数据和所述第二目标特征数据进行任务处理，以得到所述任务处理结果。
6.根据权利要求1所述的图像处理方法，其特征在于，所述多个任务解码模块包括位置检测类任务解码模块，图像分割类任务解码模块和类别检测类任务解码模块中的至少一个，
所述位置检测类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定当前的车辆行驶环境中，第一指定物体的位置信息；
所述类别检测类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定当前的车辆行驶环境中，第二指定物体的类别信息；
所述图像分割类任务解码模块，用于根据所述第一目标特征数据和所述第二目标特征数据确定车辆行驶环境中的车道线位置和/或可行驶区域。
7.根据权利要求6所述的图像处理方法，其特征在于，
所述位置检测类任务解码模块，包括红绿灯位置检测任务解码模块、车辆位置检测任务解码模块、行人位置检测任务解码模块、障碍物位置检测任务解码模块、灯杆位置检测任务解码模块、交通标识位置检测任务解码模块中的一个或者多个；
所述类别检测类任务解码模块，包括天气类别检测任务解码模块或行驶路面类别检测任务解码模块。
8.根据权利要求1-7中任一项所述的图像处理方法，其特征在于，所述多任务感知模型通过以下方式训练得到：
获取多组行驶环境图像样本，每组所述行驶环境图像样本中包括多帧行驶环境样本图像，以及当前感知任务的标注数据，不同的行驶环境图像样本包括不同感知任务的标注数据；
以所述多组行驶环境图像样本为训练数据，对预设初始模型进行训练，以得到所述多任务感知模型；其中，所述预设初始模型包括初始特征提取模块和多个初始任务解码模块，所述初始特征提取模块包括图像切块初始子模块，初始编码器和数据存储子模块，所述初始任务解码模块包括一个或者多个初始解码器。
9.一种图像处理装置，其特征在于，应用于车辆，包括：
第一获取模块，被配置为获取所述车辆的当前行驶环境图像；
第二获取模块，被配置为将所述当前行驶环境图像输入预设的多任务感知模型，所述多任务感知模型包括特征提取模块和多个任务解码模块，不同的任务解码模块用于完成不同的感知任务，通过所述特征提取模块提取所述当前行驶环境图像对应的第一目标特征数据；
第三获取模块，被配置为获取历史行驶环境图像对应的第二目标特征数据；
确定模块，被配置为将所述第一目标特征数据和所述第二目标特征数据输入每个所述任务解码模块，以获取每个所述任务解码模块输出的任务处理结果。
10.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取多帧行驶环境图像；
分别将每帧所述行驶环境图像输入预设的多任务感知模型，所述多任务感知模型包括特征提取模块和多个任务解码模块，不同的任务解码模块用于完成不同的感知任务；
通过所述特征提取模块依次提取每帧所述行驶环境图像对应的目标特征数据，以得到所述多帧行驶环境图像对应的多个目标特征数据；
将所述多个目标特征数据输入每个所述任务解码模块，以获取每个所述任务解码模块输出的任务处理结果。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
12.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210778647.1A CN115035494A (zh) | 2022-07-04 | 2022-07-04 | 图像处理方法、装置、车辆、存储介质及芯片 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210778647.1A CN115035494A (zh) | 2022-07-04 | 2022-07-04 | 图像处理方法、装置、车辆、存储介质及芯片 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115035494A true CN115035494A (zh) | 2022-09-09 |
Family
ID=83128506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210778647.1A Pending CN115035494A (zh) | 2022-07-04 | 2022-07-04 | 图像处理方法、装置、车辆、存储介质及芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035494A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116450207A (zh) * | 2023-06-14 | 2023-07-18 | 北京鉴智科技有限公司 | 自动驾驶感知处理方法、装置、电子设备及存储介质 |
| CN116758378A (zh) * | 2023-08-11 | 2023-09-15 | 小米汽车科技有限公司 | 生成模型的方法、数据处理方法、相关装置、车辆及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111178253A (zh) * | 2019-12-27 | 2020-05-19 | 深圳佑驾创新科技有限公司 | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 |
| CN114581870A (zh) * | 2022-03-07 | 2022-06-03 | 上海人工智能创新中心 | 轨迹规划方法、装置、设备和计算机可读存储介质 |
| CN114663687A (zh) * | 2022-03-15 | 2022-06-24 | 北京京东尚科信息技术有限公司 | 模型训练方法、目标识别方法、装置、设备及存储介质 |
-
2022
- 2022-07-04 CN CN202210778647.1A patent/CN115035494A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111178253A (zh) * | 2019-12-27 | 2020-05-19 | 深圳佑驾创新科技有限公司 | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 |
| CN114581870A (zh) * | 2022-03-07 | 2022-06-03 | 上海人工智能创新中心 | 轨迹规划方法、装置、设备和计算机可读存储介质 |
| CN114663687A (zh) * | 2022-03-15 | 2022-06-24 | 北京京东尚科信息技术有限公司 | 模型训练方法、目标识别方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| MARVIN TEICHMANN ET AL.: "MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving", 《ARXIV:1612.07695V2》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116450207A (zh) * | 2023-06-14 | 2023-07-18 | 北京鉴智科技有限公司 | 自动驾驶感知处理方法、装置、电子设备及存储介质 |
| CN116758378A (zh) * | 2023-08-11 | 2023-09-15 | 小米汽车科技有限公司 | 生成模型的方法、数据处理方法、相关装置、车辆及介质 |
| CN116758378B (zh) * | 2023-08-11 | 2023-11-14 | 小米汽车科技有限公司 | 生成模型的方法、数据处理方法、相关装置、车辆及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115035494A (zh) | 图像处理方法、装置、车辆、存储介质及芯片 | |
| CN115042821B (zh) | 车辆控制方法、装置、车辆及存储介质 | |
| CN115330923B (zh) | 点云数据渲染方法、装置、车辆、可读存储介质及芯片 | |
| US20240017719A1 (en) | Mapping method and apparatus, vehicle, readable storage medium, and chip | |
| CN114842075B (zh) | 数据标注方法、装置、存储介质及车辆 | |
| CN115123257A (zh) | 路面减速带位置识别方法、装置、车辆、存储介质及芯片 | |
| CN115203457B (zh) | 图像检索方法、装置、车辆、存储介质及芯片 | |
| CN115056784B (zh) | 车辆控制方法、装置、车辆、存储介质及芯片 | |
| CN115205311B (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
| CN115100630B (zh) | 障碍物检测方法、装置、车辆、介质及芯片 | |
| CN114842455B (zh) | 障碍物检测方法、装置、设备、介质、芯片及车辆 | |
| CN114842440B (zh) | 自动驾驶环境感知方法、装置、车辆及可读存储介质 | |
| CN115202234B (zh) | 仿真测试方法、装置、存储介质和车辆 | |
| CN114782638B (zh) | 生成车道线的方法、装置、车辆、存储介质及芯片 | |
| CN115205848A (zh) | 目标检测方法、装置、车辆、存储介质及芯片 | |
| CN115205179A (zh) | 图像融合的方法、装置、车辆及存储介质 | |
| CN115042814A (zh) | 交通灯状态识别方法、装置、车辆及存储介质 | |
| CN115063639B (zh) | 生成模型的方法、图像语义分割方法、装置、车辆及介质 | |
| CN115082772B (zh) | 地点识别方法、装置、车辆、存储介质及芯片 | |
| CN114822216B (zh) | 生成车位地图的方法、装置、车辆、存储介质及芯片 | |
| CN115139946B (zh) | 车辆落水检测方法、车辆、计算机可读存储介质及芯片 | |
| CN115115707B (zh) | 车辆落水检测方法、车辆、计算机可读存储介质及芯片 | |
| CN115082886B (zh) | 目标检测的方法、装置、存储介质、芯片及车辆 | |
| CN115147794B (zh) | 车道线确定方法、装置、车辆、介质及芯片 | |
| CN114877911B (zh) | 路径规划方法、装置、车辆及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |