CN115205311A - 图像处理方法、装置、车辆、介质及芯片 - Google Patents
图像处理方法、装置、车辆、介质及芯片 Download PDFInfo
- Publication number
- CN115205311A CN115205311A CN202210837775.9A CN202210837775A CN115205311A CN 115205311 A CN115205311 A CN 115205311A CN 202210837775 A CN202210837775 A CN 202210837775A CN 115205311 A CN115205311 A CN 115205311A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- bird
- view image
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 title claims abstract description 19
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 79
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 36
- 238000003709 image segmentation Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 20
- 241000283070 Equus zebra Species 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 241000905137 Veronica schmidtiana Species 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种图像处理方法、装置、车辆、介质及芯片,涉及自动驾驶领域。所述方法包括:获取目标难例样本,目标难例样本包括第一鸟瞰图像;确定第一鸟瞰图像中对应于目标对象的第一局部图像;将第一局部图像添加到对应于目标场景的第二鸟瞰图像中,得到对应于目标场景且包含目标对象的目标鸟瞰图像。由此,基于已获取的目标难例样本,能够确定与目标对象对应的图像内容,相当于获得了目标对象的难例数据,基于此得到的目标鸟瞰图像既与目标场景相对应、又包含目标对象,相当于形成了与目标场景对应的新的难例样本。这样,能够针对不同的场景生成对应于不同对象的图像作为新的难例样本,无需进行实车采集,有利于提升获得难例样本的效率。
Description
技术领域
本公开涉及自动驾驶领域,尤其涉及图像处理方法、装置、车辆、介质及芯片。
背景技术
目前,基于多相机的视觉感知技术是自动驾驶领域的重要技术。通常情况下,通过车辆上设置的多个环视鱼眼相机采集图像,对采集到的图像进行一系列的图像处理后得到鸟瞰图空间上的感知结果,进而将其用于不同的任务(例如,地面障碍物检测、库位检测、路面标识检测等)。因此,获得具有复杂信息的优质图像作为训练数据对于提升任务的完成准确性具有重要作用。相关技术中,用作任务训练数据的图像通常由实车采集得到,而实车采集的方式需要花费大量的时间、人力,且获得训练数据的效率不高,特别是复杂的训练数据(即,难例样本),由于还存在采集难度大、数据筛选耗费人力多等问题,会进一步导致训练数据的获取效率降低。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置、车辆、介质及芯片。
根据本公开实施例的第一方面,提供一种图像处理方法,所述方法包括:
获取目标难例样本,所述目标难例样本包括第一鸟瞰图像;
确定所述第一鸟瞰图像中对应于目标对象的第一局部图像;
将所述第一局部图像添加到对应于目标场景的第二鸟瞰图像中,得到对应于所述目标场景且包含所述目标对象的目标鸟瞰图像。
可选地,所述确定所述第一鸟瞰图像中对应于目标对象的第一局部图像,包括:
将所述第一鸟瞰图像输入至预先训练的图像分割模型中,得到所述图像分割模型输出的分割图像,所述分割图像用于指示所述第一鸟瞰图像中对应于预设对象的图像区域;
确定所述分割图像中与所述目标对象对应的图像区域,作为目标图像区域;
从所述第一鸟瞰图像中提取与所述目标图像区域对应的图像区域,作为所述第一局部图像。
可选地,所述图像分割模型通过以下方式训练得到:
获取训练数据,所述训练数据包括样本鸟瞰图像和与所述样本鸟瞰图像对应的标注图像,所述标注图像用于指示所述样本鸟瞰图像中像素点各自对应的预设对象;
通过将所述样本鸟瞰图像作为模型的输入,并将所述标注图像作为模型的目标输出的方式进行模型训练,以得到训练完成的所述图像分割模型。
可选地,所述将所述第一局部图像添加到对应于目标场景的第二鸟瞰图像中,包括:
确定所述第二鸟瞰图像中与所述目标对象具有位置关联关系的图像区域,作为第一关联区域;
将所述第一局部图像添加到所述第一关联区域中。
可选地,所述方法还包括:
获取所述第一鸟瞰图像对应的第一采集图像,所述第一鸟瞰图像是基于所述第一采集图像而生成的拼接图像;
根据所述第一鸟瞰图像与所述第一采集图像之间的坐标映射关系,确定所述第一采集图像中与所述第一局部图像对应的第二局部图像;
获取所述第二鸟瞰图像对应的第二采集图像,所述第二鸟瞰图像是基于所述第二采集图像而生成的拼接图像;
将所述第二局部图像添加到所述第二采集图像中,得到对应于所述目标场景且包含所述目标对象的目标采集图像。
可选地,所述将所述第二局部图像添加到所述第二采集图像中,包括:
确定所述第二采集图像中与所述目标对象具有位置关联关系的图像区域,作为第二关联区域;
将所述第二局部图像添加到所述第二关联区域中。
可选地,所述目标对象为以下中的任意一者:
库位线、轮挡、减速带、斑马线。
根据本公开实施例的第二方面,提供一种图像处理装置,所述装置包括:
第一获取模块,被配置为获取目标难例样本,所述目标难例样本包括第一鸟瞰图像;
第一确定模块,被配置为确定所述第一鸟瞰图像中对应于目标对象的第一局部图像;
第一添加模块,被配置为将所述第一局部图像添加到对应于目标场景的第二鸟瞰图像中,得到对应于所述目标场景且包含所述目标对象的目标鸟瞰图像。
可选地,所述第一确定模块,包括:
分割子模块,被配置为将所述第一鸟瞰图像输入至预先训练的图像分割模型中,得到所述图像分割模型输出的分割图像,所述分割图像用于指示所述第一鸟瞰图像中对应于预设对象的图像区域;
第一确定子模块,被配置为确定所述分割图像中与所述目标对象对应的图像区域,作为目标图像区域;
提取子模块,被配置为从所述第一鸟瞰图像中提取与所述目标图像区域对应的图像区域,作为所述第一局部图像。
可选地,所述图像分割模型通过以下模块训练得到:
第二获取模块,被配置为获取训练数据,所述训练数据包括样本鸟瞰图像和与所述样本鸟瞰图像对应的标注图像,所述标注图像用于指示所述样本鸟瞰图像中像素点各自对应的预设对象;
训练模块,被配置为通过将所述样本鸟瞰图像作为模型的输入,并将所述标注图像作为模型的目标输出的方式进行模型训练,以得到训练完成的所述图像分割模型。
可选地,所述第一添加模块,包括:
第二确定子模块,被配置为所述第二鸟瞰图像中与所述目标对象具有位置关联关系的图像区域,作为第一关联区域;
第一添加子模块,被配置为将所述第一局部图像添加到所述第一关联区域中。
可选地,所述装置还包括:
第三获取模块,被配置为获取所述第一鸟瞰图像对应的第一采集图像,所述第一鸟瞰图像是基于所述第一采集图像而生成的拼接图像;
第二确定模块,被配置为根据所述第一鸟瞰图像与所述第一采集图像之间的坐标映射关系,确定所述第一采集图像中与所述第一局部图像对应的第二局部图像;
第四获取模块,被配置为获取所述第二鸟瞰图像对应的第二采集图像,所述第二鸟瞰图像是基于所述第二采集图像而生成的拼接图像;
第二添加模块,被配置为将所述第二局部图像添加到所述第二采集图像中,得到对应于所述目标场景且包含所述目标对象的目标采集图像。
可选地,所述第二添加模块,包括:
第三确定子模块,被配置为确定所述第二采集图像中与所述目标对象具有位置关联关系的图像区域,作为第二关联区域;
第二添加子模块,被配置为将所述第二局部图像添加到所述第二关联区域中。
可选地,所述目标对象为以下中的任意一者:
库位线、轮挡、减速带、斑马线。
根据本公开实施例的第三方面,提供一种车辆,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为运行所述存储器中的指令以实现本公开第一方面所提供的图像处理方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的图像处理方法的步骤。
根据本公开实施例的第五方面,提供一种芯片,包括处理器和接口;所述处理器用于读取指令以执行本公开第一方面所提供的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过上述技术方案,在获取目标难例样本中的第一鸟瞰图像后,确定第一鸟瞰图像中对应于目标对象的第一局部图像,并将第一局部图像添加到对应于目标场景的第二鸟瞰图像中,以得到对应于该目标场景且包含目标对象的目标鸟瞰图像。由此,基于已获取的目标难例样本,能够从其中确定与目标对象对应的图像内容,即第一局部图像,相当于获得了目标对象的难例数据;此后,再将第一局部图像添加到对应于目标场景的第二鸟瞰图像中,由此得到的目标鸟瞰图像既与目标场景相对应,同时还包含了目标对象,从而,相当于形成了与目标场景对应的新的难例样本。这样,能够针对不同的场景生成对应于不同对象的图像作为新的难例样本,无需进行实车采集,有利于提升获得难例样本的效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的图像处理方法的流程图。
图2是根据一示例性实施例示出的图像处理装置的框图。
图3是一示例性实施例示出的一种车辆的功能框图示意图。
图4是根据一示例性实施例示出的图像处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
通常来说,使算法(或,模型)难以得到正确处理结果(例如,无法正确匹配、无法正确识别、无法正确检测等)的样本可以称为难例样本,难例样本可以视为阻碍算法(或,模型)性能的障碍。如背景技术所述,在现有技术中,通过实车采集的方式对任务所需难例样本进行采集,存在采集难度大、采集效率偏低的问题。
为了解决上述技术问题,本公开提供一种图像处理方法、装置、车辆、介质及芯片,以提升获得难例样本的效率。
图1是根据一示例性实施例示出的图像处理方法的流程图。如图1所示,本公开提供的方法可以包括以下步骤11~步骤13。
在步骤11中,获取目标难例样本。
如上文所述,难例样本是指算法(或,模型)处理起来较为困难(例如,难以识别、难以检测等)的样本。在不同的任务场景中,对应有不同的难例样本。例如,在库位线识别任务中,库位线被部分遮挡的图像、包含磨损的库位线的图像等均可以作为难例样本。
在本公开的应用场景中,已存在一些作为难例样本的图像,本公开的目的就是基于这些图像进行数据增广,以获得能够作为难例样本的新图像。
其中,步骤11获取的目标难例样本可以包括第一鸟瞰图像。在自动驾驶场景中,通常在车辆上设置用于采集图像的图像采集设备(例如,环视鱼眼相机),基于这些图像采集设备可以获得对应于相同采集时刻的多张采集图像,对这些图像进行拼接、融合处理,能够得到对应的鸟瞰图像。
在步骤12中,确定第一鸟瞰图像中对应于目标对象的第一局部图像。
其中,目标对象可以根据实际的需求进行设置,例如,设置为与任务相关的对象。目标对象可以包括但不限于库位线、轮挡、减速带、斑马线等。举例来说,针对库位线识别任务,需要具备识别库位线的能力,因此,目标对象可以对应设置为库位线。再例如,针对斑马线检测任务,需要具备检测斑马线的能力,因此,目标对象可以对应设置为斑马线。
在一种可能的实施方式中,步骤12可以包括以下步骤:
将第一鸟瞰图像输入至预先训练的图像分割模型中,得到图像分割模型输出的分割图像;
确定分割图像中与目标对象对应的图像区域,作为目标图像区域;
从第一鸟瞰图像中提取与目标图像区域对应的图像区域,作为第一局部图像。
其中,分割图像可以用于指示第一鸟瞰图像中对应于预设对象的图像区域。
示例地,图像分割模型可以通过以下方式训练得到:
获取训练数据;
通过将样本鸟瞰图像作为模型的输入,并将标注图像作为模型的目标输出的方式进行模型训练,以得到训练完成的图像分割模型。
其中,训练数据可以包括样本鸟瞰图像和与样本鸟瞰图像对应的标注图像,标注图像可以用于指示样本鸟瞰图像中像素点各自对应的预设对象。
预设对象可以为行车场景中可能会涉及到的多种对象。示例地,预设对象可以包括但不限于以下几者:库位线、轮挡、减速带、斑马线。
在一种可能的实施方式中,针对样本鸟瞰图像中的每个像素点,可以用N维向量对其进行标注(N为正整数),N为预设对象的数量,N维向量中的每个元素对应一种预设对象。示例地,与样本鸟瞰图像对应的标注图像可以通过人工标注的方式得到。
举例来说,若预设对象包括库位线、轮挡和减速带三者,且像素点对应的标注信息为[X1,X2,X3],其中,X1对应于库位线、X2对应于轮挡、X3对应于减速带,且标注值1表征是、标注值0表征否。那么,若某个像素点为对应于库位线的像素点,则针对该像素点的标注信息可以为[1,0,0];若某个像素点不是库位线、轮挡、减速带中的任一者,则针对该像素点的标注信息可以为[0,0,0]。
基于上述方式获得训练图像分割模型所需的训练数据后,即可通过将样本鸟瞰图像作为模型的输入,并将标注图像作为模型的目标输出的方式进行模型训练,以得到训练完成的图像分割模型。
示例地,在一次训练过程中,将样本鸟瞰图像输入至本次训练所使用的模型,能够得到本次训练所使用的模型的输出结果,之后,利用该输出结果与本次输入的样本鸟瞰图像对应的标注图像进行损失函数计算,并利用损失函数的计算结果对本次训练所使用的模型进行更新,并将更新后的模型用于下一次训练。如此循环往复,直至满足模型停止训练的条件,即可将得到的模型作为训练完成的图像分割模型。
示例地,上述模型训练可以使用神经网络模型。再例如,模型损失函数可以选用交叉熵损失函数。再例如,模型停止训练的条件可以包括但不限于以下中的任意一者:训练次数达到预设次数、训练时长达到预设时长、损失函数的计算结果低于预设损失值。
基于训练完成的图像分割模型,将第一鸟瞰图像输入至该图像分割模型,即可得到该图像分割模型输出的分割图像。
其中,分割图像可以用于指示第一鸟瞰图像中对应于预设对象的图像区域。在图像分割模型输出的分割图像中,每一像素点可以对应一个多维向量,该多维向量中的元素与预设对象一一对应,多维向量中的各元素值表征该像素点属于对应预设对象的概率,其中最大概率值所对应的预设对象就是该像素点所属的预设对象(即,该像素点所对应的预设对象)。基于这一思路,即可确定出分割图像中每一像素点所对应的预设对象,根据对应于同一预设对象的多个像素点,就可以从分割图像中确定出每一预设对象各自对应的图像区域。
基于分割图像中所指示的每一预设对象各自对应的图像区域,即可确定其中与目标对象对应的图像区域,也就是目标图像区域。
在确定目标图像区域后,可以确定目标图像区域在分割图像中所处的区域位置,由于第一鸟瞰图像和分割图像尺寸相同,因此,可以根据确定出的上述区域位置,从第一鸟瞰图像的对应位置处提取相应的图像区域,作为第一局部图像,即,将目标对象在第一鸟瞰图像中对应的图像内容(也就是像素点)提取出来。
在步骤13中,将第一局部图像添加到对应于目标场景的第二鸟瞰图像中,得到对应于目标场景且包含目标对象的目标鸟瞰图像。
在一种可能的实施方式中,可以将第一局部图像添加到第二鸟瞰图像中的指定位置。示例地,该指定位置可以根据实际需求预先设置。再例如,该指定位置可以人为确定。
在另一种可能的实施方式中,步骤13可以包括以下步骤:
确定第二鸟瞰图像中与目标对象具有位置关联关系的图像区域,作为第一关联区域;
将第一局部图像添加到第一关联区域中。
通常情况下,目标对象仅仅会出现在与其具有位置关联关系的区域。例如,轮挡会出现在停车区,而不会出现在行驶车道上。基于此,可以预先设置一套规则,以指示与目标对象具有位置关联关系的区域。从而,在将第一局部图像添加到第二鸟瞰图像中时,可以首先在第二鸟瞰图像中确定与目标对象具有位置关联关系的第一关联区域,再将第一局部图像添加到第一关联区域。这样,可以避免将目标对象对应的第一局部图像添加到不合适的位置,提升目标鸟瞰图像的真实性、准确性。
其中,第一鸟瞰图像中的区域划分可以人为划分,也可以通过图像分割技术进行划分。
通过上述技术方案,在获取目标难例样本中的第一鸟瞰图像后,确定第一鸟瞰图像中对应于目标对象的第一局部图像,并将第一局部图像添加到对应于目标场景的第二鸟瞰图像中,以得到对应于该目标场景且包含目标对象的目标鸟瞰图像。由此,基于已获取的目标难例样本,能够从其中确定与目标对象对应的图像内容,即第一局部图像,相当于获得了目标对象的难例数据;此后,再将第一局部图像添加到对应于目标场景的第二鸟瞰图像中,由此得到的目标鸟瞰图像既与目标场景相对应,同时还包含了目标对象,从而,相当于形成了与目标场景对应的新的难例样本。这样,能够针对不同的场景生成对应于不同对象的图像作为新的难例样本,无需进行实车采集,有利于提升获得难例样本的效率。
可选地,在图1所示各步骤的基础上,本公开提供的方法还可以包括以下步骤:
获取第一鸟瞰图像对应的第一采集图像;
根据第一鸟瞰图像与第一采集图像之间的坐标映射关系,确定第一采集图像中与第一局部图像对应的第二局部图像;
获取第二鸟瞰图像对应的第二采集图像;
将第二局部图像添加到第二采集图像中,得到对应于目标场景且包含目标对象的目标采集图像。
如上文所述,第一鸟瞰图像是基于采集图像而生成的拼接图像,因此,可以直接获取到与第一鸟瞰图像对应的采集图像,也就是第一采集图像。
由于第一鸟瞰图像是基于第一采集图像而生成的拼接图像,因此两图像中相互对应的像素点存在坐标映射关系,基于该坐标映射关系,可以在第一采集图像中定位到与第一鸟瞰图像中各个像素点对应的像素点。进而,基于该坐标映射关系,可以确定第一采集图像中与第一局部图像对应的第二局部图像,相当于确定了目标对象在第一采集图像中对应的图像内容。示例地,坐标映射关系可以根据拍摄第一采集图像的相机的相机内参和相机外参标定形成。
在确定第二局部图像后,可以从第一采集图像中提取该第二局部图像,即,将目标对象在第一采集图像中的图像内容(也就是像素点)提取出来。
第二鸟瞰图像是基于第二采集图像而生成的拼接图像。因此,并将第二局部图像添加到第二采集图像中,可以得到对应于目标场景且包含目标对象的目标采集图像。
在一种可能的实施方式中,可以将第二局部图像添加到第二采集图像中的指定位置。示例地,该指定位置可以根据实际需求预先设置。再例如,该指定位置可以人为确定。
在另一种可能的实施方式中,将第二局部图像添加到第二采集图像中,可以包括以下步骤:
确定第二采集图像中与目标对象具有位置关联关系的图像区域,作为第二关联区域;
将第二局部图像添加到第二关联区域中。
如上文所述,目标对象仅仅会出现在与其具有位置关联关系的区域。基于此,可以预先设置一套规则,以指示与目标对象具有位置关联关系的区域。从而,在将第二局部图像添加到第二采集图像中时,可以首先在第二采集图像中确定与目标对象具有位置关联关系的第二关联区域,再将第二局部图像添加到第二关联区域。这样,可以避免将目标对象对应的第二局部图像添加到不合适的位置,提升目标采集图像的真实性、准确性。
其中,第二采集图像中的区域划分可以人为划分,也可以通过图像分割技术进行划分。
需要说明的是,第一采集图像和第二采集图像没有明确的先后获取顺序,二者可以同时获取,也可以先后获取,本公开对此不限定。
通过上述方案,基于从第一鸟瞰图中提取出的第一局部图像,可以进一步定位目标图像在第一采集图像中所对应的图像内容,并可以将第一采集图像中对应于目标对象的图像内容提取出来,并添加到目标场景的第二采集图像中,以实现目标场景下采集图像的难例样本的数据增广。
图2是根据一示例性实施例示出的图像处理装置的框图。如图2所示,该装置20包括:
第一获取模块21,被配置为获取目标难例样本,所述目标难例样本包括第一鸟瞰图像;
第一确定模块22,被配置为确定所述第一鸟瞰图像中对应于目标对象的第一局部图像;
第一添加模块23,被配置为将所述第一局部图像添加到对应于目标场景的第二鸟瞰图像中,得到对应于所述目标场景且包含所述目标对象的目标鸟瞰图像。
可选地,所述第一确定模块22,包括:
分割子模块,被配置为将所述第一鸟瞰图像输入至预先训练的图像分割模型中,得到所述图像分割模型输出的分割图像,所述分割图像用于指示所述第一鸟瞰图像中对应于预设对象的图像区域;
第一确定子模块,被配置为确定所述分割图像中与所述目标对象对应的图像区域,作为目标图像区域;
提取子模块,被配置为从所述第一鸟瞰图像中提取与所述目标图像区域对应的图像区域,作为所述第一局部图像。
可选地,所述图像分割模型通过以下模块训练得到:
第二获取模块,被配置为获取训练数据,所述训练数据包括样本鸟瞰图像和与所述样本鸟瞰图像对应的标注图像,所述标注图像用于指示所述样本鸟瞰图像中像素点各自对应的预设对象;
训练模块,被配置为通过将所述样本鸟瞰图像作为模型的输入,并将所述标注图像作为模型的目标输出的方式进行模型训练,以得到训练完成的所述图像分割模型。
可选地,所述第一添加模块23,包括:
第二确定子模块,被配置为所述第二鸟瞰图像中与所述目标对象具有位置关联关系的图像区域,作为第一关联区域;
第一添加子模块,被配置为将所述第一局部图像添加到所述第一关联区域中。
可选地,所述装置20还包括:
第三获取模块,被配置为获取所述第一鸟瞰图像对应的第一采集图像,所述第一鸟瞰图像是基于所述第一采集图像而生成的拼接图像;
第二确定模块,被配置为根据所述第一鸟瞰图像与所述第一采集图像之间的坐标映射关系,确定所述第一采集图像中与所述第一局部图像对应的第二局部图像;
第四获取模块,被配置为获取所述第二鸟瞰图像对应的第二采集图像,所述第二鸟瞰图像是基于所述第二采集图像而生成的拼接图像;
第二添加模块,被配置为将所述第二局部图像添加到所述第二采集图像中,得到对应于所述目标场景且包含所述目标对象的目标采集图像。
可选地,所述第二添加模块,包括:
第三确定子模块,被配置为确定所述第二采集图像中与所述目标对象具有位置关联关系的图像区域,作为第二关联区域;
第二添加子模块,被配置为将所述第二局部图像添加到所述第二关联区域中。
可选地,所述目标对象为以下中的任意一者:
库位线、轮挡、减速带、斑马线。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
参阅图3,图3是一示例性实施例示出的一种车辆600的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如,车辆600可以通过感知***620获取其周围的环境信息,并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶,或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子***,例如,信息娱乐***610、感知***620、决策控制***630、驱动***640以及计算平台650。可选的,车辆600可包括更多或更少的子***,并且每个子***都可包括多个部件。另外,车辆600的每个子***和部件可以通过有线或者无线的方式实现互连。
在一些实施例中,信息娱乐***610可以包括通信***611,娱乐***612以及导航***613。
通信***611可以包括无线通信***,无线通信***可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信***可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信***可利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信***可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信***,例如,无线通信***可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐***612可以包括显示设备,麦克风和音响,用户可以基于娱乐***在车内收听广播,播放音乐;或者将手机和车辆联通,在显示设备上实现手机的投屏,显示设备可以为触控式,用户可以通过触摸屏幕进行操作。
在一些情况下,可以通过麦克风获取用户的语音信号,并依据对用户的语音信号的分析实现用户对车辆600的某些控制,例如调节车内温度等。在另一些情况下,可以通过音响向用户播放音乐。
导航***613可以包括由地图供应商所提供的地图服务,从而为车辆600提供行驶路线的导航,导航***613可以和车辆的全球定位***621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图,也可以是高精地图。
感知***620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如,感知***620可包括全球定位***621(全球定位***可以是GPS***,也可以是北斗***或者其他定位***)、惯性测量单元(inertial measurement unit,IMU)622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知***620还可包括被监视车辆600的内部***的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆600的安全操作的关键功能。
全球定位***621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中,惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中,激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他***组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中,除了感测物体以外,毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等,摄像装置626获取的图像信息可以包括静态图像,也可以包括视频流信息。
决策控制***630包括基于感知***620所获取的信息进行分析决策的计算***631,决策控制***630还包括对车辆600的动力***进行控制的整车控制器632,以及用于控制车辆600的转向***633、油门634和制动***635。
计算***631可以操作来处理和分析由感知***620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物,物体和/或特征可包括交通信号、道路边界和障碍物。计算***631可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪等技术。在一些实施例中,计算***631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算***631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制,以提升车辆600的动力性能。
转向***633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘***。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动***635用于控制车辆600减速。制动***635可使用摩擦力来减慢车轮644。在一些实施例中,制动***635可将车轮644的动能转换为电流。制动***635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动***640可包括为车辆600提供动力运动的组件。在一个实施例中,驱动***640可包括引擎641、能量源642、传动***643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合,例如汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他***提供能量。
传动***643可以将来自引擎641的机械动力传送到车轮644。传动***643可包括变速箱、差速器和驱动轴。在一个实施例中,传动***643还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651,处理器651可以执行存储在例如存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中,计算平台650还可以是采用分布式方式控制车辆600的个体组件或子***的多个计算设备。
处理器651可以是任何常规的处理器,诸如商业可获得的CPU。可替换地,处理器651还可以包括诸如图像处理器(Graphic Process Unit,GPU),现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、片上***(Sysem on Chip,SOC)、专用集成芯片(Application Specific Integrated Circuit,ASIC)或它们的组合。尽管图3功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中,处理器651可以执行上述的图像处理方法。
在此处所描述的各个方面中,处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,存储器652可包含指令653(例如,程序逻辑),指令653可被处理器651执行来执行车辆600的各种功能。存储器652也可包含额外的指令,包括向信息娱乐***610、感知***620、决策控制***630、驱动***640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外,存储器652还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子***(例如,驱动***640、感知***620和决策控制***630)接收的输入来控制车辆600的功能。例如,计算平台650可利用来自决策控制***630的输入以便控制转向***633来避免由感知***620检测到的障碍物。在一些实施例中,计算平台650可操作来对车辆600及其子***的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆600分开安装或关联。例如,存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图3不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车,如上面的车辆600,可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,可以用来确定自动驾驶汽车所要调整的速度。
可选地,车辆600或者与车辆600相关联的感知和计算设备(例如计算***631、计算平台650)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说,自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如,加速、减速、或者停止)何种稳定状态。在这个过程中,也可以考虑其它因素来确定车辆600的速度,诸如,车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算设备还可以提供修改车辆600的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的车辆)的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具,例如,轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等,本公开实施例不做特别的限定。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的图像处理方法的步骤。
上述装置除了可以是独立的电子设备外,也可是独立电子设备的一部分,例如在一种实施例中,该装置可以是集成电路(Integrated Circuit,IC)或芯片,其中该集成电路可以是一个IC,也可以是多个IC的集合;该芯片可以包括但不限于以下种类:GPU(GraphicsProcessing Unit,图形处理器)、CPU(Central Processing Unit,中央处理器)、FPGA(Field Programmable Gate Array,可编程逻辑阵列)、DSP(Digital Signal Processor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、SOC(System on Chip,SoC,片上***或***级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码),以实现上述的图像处理方法。其中该可执行指令可以存储在该集成电路或芯片中,也可以从其他的装置或设备获取,例如该集成电路或芯片中包括处理器、存储器,以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中,当该可执行指令被处理器执行时实现上述的图像处理方法;或者,该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行,以实现上述的图像处理方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
图4是根据一示例性实施例示出的图像处理装置1900的框图。例如,装置1900可以被提供为一服务器。参照图4,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述图像处理方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入/输出接口1958。装置1900可以操作基于存储在存储器1932的操作***,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种图像处理方法,其特征在于,所述方法包括:
获取目标难例样本,所述目标难例样本包括第一鸟瞰图像;
确定所述第一鸟瞰图像中对应于目标对象的第一局部图像;
将所述第一局部图像添加到对应于目标场景的第二鸟瞰图像中,得到对应于所述目标场景且包含所述目标对象的目标鸟瞰图像。
2.根据权利要求1所述的方法,其特征在于,所述确定所述第一鸟瞰图像中对应于目标对象的第一局部图像,包括:
将所述第一鸟瞰图像输入至预先训练的图像分割模型中,得到所述图像分割模型输出的分割图像,所述分割图像用于指示所述第一鸟瞰图像中对应于预设对象的图像区域;
确定所述分割图像中与所述目标对象对应的图像区域,作为目标图像区域;
从所述第一鸟瞰图像中提取与所述目标图像区域对应的图像区域,作为所述第一局部图像。
3.根据权利要求2所述的方法,其特征在于,所述图像分割模型通过以下方式训练得到:
获取训练数据,所述训练数据包括样本鸟瞰图像和与所述样本鸟瞰图像对应的标注图像,所述标注图像用于指示所述样本鸟瞰图像中像素点各自对应的预设对象;
通过将所述样本鸟瞰图像作为模型的输入,并将所述标注图像作为模型的目标输出的方式进行模型训练,以得到训练完成的所述图像分割模型。
4.根据权利要求1所述的方法,其特征在于,所述将所述第一局部图像添加到对应于目标场景的第二鸟瞰图像中,包括:
确定所述第二鸟瞰图像中与所述目标对象具有位置关联关系的图像区域,作为第一关联区域;
将所述第一局部图像添加到所述第一关联区域中。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述第一鸟瞰图像对应的第一采集图像,所述第一鸟瞰图像是基于所述第一采集图像而生成的拼接图像;
根据所述第一鸟瞰图像与所述第一采集图像之间的坐标映射关系,确定所述第一采集图像中与所述第一局部图像对应的第二局部图像;
获取所述第二鸟瞰图像对应的第二采集图像,所述第二鸟瞰图像是基于所述第二采集图像而生成的拼接图像;
将所述第二局部图像添加到所述第二采集图像中,得到对应于所述目标场景且包含所述目标对象的目标采集图像。
6.根据权利要求5所述的方法,其特征在于,所述将所述第二局部图像添加到所述第二采集图像中,包括:
确定所述第二采集图像中与所述目标对象具有位置关联关系的图像区域,作为第二关联区域;
将所述第二局部图像添加到所述第二关联区域中。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述目标对象为以下中的任意一者:
库位线、轮挡、减速带、斑马线。
8.一种图像处理装置,其特征在于,所述装置包括:
第一获取模块,被配置为获取目标难例样本,所述目标难例样本包括第一鸟瞰图像;
第一确定模块,被配置为确定所述第一鸟瞰图像中对应于目标对象的第一局部图像;
第一添加模块,被配置为将所述第一局部图像添加到对应于目标场景的第二鸟瞰图像中,得到对应于所述目标场景且包含所述目标对象的目标鸟瞰图像。
9.一种车辆,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为运行所述存储器中的指令以实现权利要求1~7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1~7中任一项所述方法的步骤。
11.一种芯片,其特征在于,包括处理器和接口;所述处理器用于读取指令以执行权利要求1~7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210837775.9A CN115205311B (zh) | 2022-07-15 | 2022-07-15 | 图像处理方法、装置、车辆、介质及芯片 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210837775.9A CN115205311B (zh) | 2022-07-15 | 2022-07-15 | 图像处理方法、装置、车辆、介质及芯片 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115205311A true CN115205311A (zh) | 2022-10-18 |
CN115205311B CN115205311B (zh) | 2024-04-05 |
Family
ID=83582213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210837775.9A Active CN115205311B (zh) | 2022-07-15 | 2022-07-15 | 图像处理方法、装置、车辆、介质及芯片 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115205311B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115345321A (zh) * | 2022-10-19 | 2022-11-15 | 小米汽车科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110115902A1 (en) * | 2009-11-19 | 2011-05-19 | Qualcomm Incorporated | Orientation determination of a mobile station using side and top view images |
JP2012257107A (ja) * | 2011-06-09 | 2012-12-27 | Aisin Seiki Co Ltd | 画像生成装置 |
CN103609100A (zh) * | 2011-06-09 | 2014-02-26 | 爱信精机株式会社 | 图像生成装置 |
US20160119607A1 (en) * | 2013-04-04 | 2016-04-28 | Amatel Inc. | Image processing system and image processing program |
CN109255767A (zh) * | 2018-09-26 | 2019-01-22 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
CN110378201A (zh) * | 2019-06-05 | 2019-10-25 | 浙江零跑科技有限公司 | 一种基于侧环视鱼眼相机输入的多列车铰接角测量方法 |
CN111968133A (zh) * | 2020-07-31 | 2020-11-20 | 上海交通大学 | 自动驾驶场景下的三维点云数据实例分割方法及*** |
CN112464939A (zh) * | 2021-01-28 | 2021-03-09 | 知行汽车科技(苏州)有限公司 | 目标检测中的数据增广方法、装置及存储介质 |
CN113537085A (zh) * | 2021-07-20 | 2021-10-22 | 南京工程学院 | 基于两次迁移学习和数据增广的船舶目标检测方法 |
CN113743434A (zh) * | 2020-05-29 | 2021-12-03 | 华为技术有限公司 | 一种目标检测网络的训练方法、图像增广方法及装置 |
CN114627438A (zh) * | 2020-11-26 | 2022-06-14 | 千寻位置网络有限公司 | 目标检测模型生成方法、目标检测方法、设备及介质 |
-
2022
- 2022-07-15 CN CN202210837775.9A patent/CN115205311B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110115902A1 (en) * | 2009-11-19 | 2011-05-19 | Qualcomm Incorporated | Orientation determination of a mobile station using side and top view images |
JP2012257107A (ja) * | 2011-06-09 | 2012-12-27 | Aisin Seiki Co Ltd | 画像生成装置 |
CN103609100A (zh) * | 2011-06-09 | 2014-02-26 | 爱信精机株式会社 | 图像生成装置 |
US20160119607A1 (en) * | 2013-04-04 | 2016-04-28 | Amatel Inc. | Image processing system and image processing program |
CN109255767A (zh) * | 2018-09-26 | 2019-01-22 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
CN110378201A (zh) * | 2019-06-05 | 2019-10-25 | 浙江零跑科技有限公司 | 一种基于侧环视鱼眼相机输入的多列车铰接角测量方法 |
CN113743434A (zh) * | 2020-05-29 | 2021-12-03 | 华为技术有限公司 | 一种目标检测网络的训练方法、图像增广方法及装置 |
CN111968133A (zh) * | 2020-07-31 | 2020-11-20 | 上海交通大学 | 自动驾驶场景下的三维点云数据实例分割方法及*** |
CN114627438A (zh) * | 2020-11-26 | 2022-06-14 | 千寻位置网络有限公司 | 目标检测模型生成方法、目标检测方法、设备及介质 |
CN112464939A (zh) * | 2021-01-28 | 2021-03-09 | 知行汽车科技(苏州)有限公司 | 目标检测中的数据增广方法、装置及存储介质 |
CN113537085A (zh) * | 2021-07-20 | 2021-10-22 | 南京工程学院 | 基于两次迁移学习和数据增广的船舶目标检测方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115345321A (zh) * | 2022-10-19 | 2022-11-15 | 小米汽车科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115205311B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114842075B (zh) | 数据标注方法、装置、存储介质及车辆 | |
CN115100377B (zh) | 地图构建方法、装置、车辆、可读存储介质及芯片 | |
CN115330923B (zh) | 点云数据渲染方法、装置、车辆、可读存储介质及芯片 | |
CN112810603B (zh) | 定位方法和相关产品 | |
CN115035494A (zh) | 图像处理方法、装置、车辆、存储介质及芯片 | |
CN115123257A (zh) | 路面减速带位置识别方法、装置、车辆、存储介质及芯片 | |
CN115205365A (zh) | 车辆距离检测方法、装置、车辆、可读存储介质及芯片 | |
CN115220449A (zh) | 路径规划的方法、装置、存储介质、芯片及车辆 | |
CN115205311B (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
CN115100630B (zh) | 障碍物检测方法、装置、车辆、介质及芯片 | |
CN114842455B (zh) | 障碍物检测方法、装置、设备、介质、芯片及车辆 | |
CN115203457B (zh) | 图像检索方法、装置、车辆、存储介质及芯片 | |
CN114782638B (zh) | 生成车道线的方法、装置、车辆、存储介质及芯片 | |
CN115164910B (zh) | 行驶路径生成方法、装置、车辆、存储介质及芯片 | |
CN114842440B (zh) | 自动驾驶环境感知方法、装置、车辆及可读存储介质 | |
CN115205848A (zh) | 目标检测方法、装置、车辆、存储介质及芯片 | |
CN115042814A (zh) | 交通灯状态识别方法、装置、车辆及存储介质 | |
CN115205179A (zh) | 图像融合的方法、装置、车辆及存储介质 | |
CN115334111A (zh) | 用于车道识别的***架构、传输方法,车辆,介质及芯片 | |
CN115334109A (zh) | 用于交通信号识别的***架构、传输方法,车辆,介质及芯片 | |
CN114981138A (zh) | 车辆可行驶区域的检测方法以及检测装置 | |
CN115082772B (zh) | 地点识别方法、装置、车辆、存储介质及芯片 | |
CN114822216B (zh) | 生成车位地图的方法、装置、车辆、存储介质及芯片 | |
CN115082886B (zh) | 目标检测的方法、装置、存储介质、芯片及车辆 | |
CN115063639B (zh) | 生成模型的方法、图像语义分割方法、装置、车辆及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |