CN112991145B - 图像生成方法、***、电子设备及机器可读存储介质 - Google Patents
图像生成方法、***、电子设备及机器可读存储介质 Download PDFInfo
- Publication number
- CN112991145B CN112991145B CN201911294233.6A CN201911294233A CN112991145B CN 112991145 B CN112991145 B CN 112991145B CN 201911294233 A CN201911294233 A CN 201911294233A CN 112991145 B CN112991145 B CN 112991145B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- target imaging
- imaging models
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims abstract description 201
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000002372 labelling Methods 0.000 claims description 48
- 238000013507 mapping Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像生成方法、***、电子设备及机器可读存储介质,该方法包括:分别获取多个目标成像模型对应的查找表,任一所述目标成像模型对应的查找表包括第一类型图像与第二类型图像之间的转换关系,所述第一类型图像为该目标成像模型下的原图,所述第二类型图像为目标图像采集设备的原图;基于目标图像采集设备的原图以及所述查找表,生成所述多个目标成像模型中部分或全部目标成像模型下的目标图。该方法可以实现样本的增强和扩展。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种图像生成方法、***、电子设备及机器可读存储介质。
背景技术
在图像识别及目标检测等任务中,常常使用深度学习方法,而深度学习方法需要海量的训练数据,并需对图像中的数据进行准确的标注。
然而,由于硬件成本和时间成本的限制,实际应用中已有的数据和标注信息均有限。
如何实现样本的增强和扩展成为一个亟待解决的技术问题。
发明内容
有鉴于此,本申请提供一种图像生成方法、***、电子设备及机器可读存储介质。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种图像生成方法,包括:
分别获取多个目标成像模型对应的查找表,任一所述目标成像模型对应的查找表包括第一类型图像与第二类型图像之间的转换关系,所述第一类型图像为该目标成像模型下的目标图,所述第二类型图像为目标图像采集设备的原图;
基于所述目标图像采集设备的原图,以及所述查找表,生成所述多个目标成像模型中部分或全部目标成像模型下的目标图。
根据本申请实施例的第二方面,提供一种图像生成***,包括:
获取单元,用于分别获取多个目标成像模型对应的查找表,任一所述目标成像模型对应的查找表包括第一类型图像与第二类型图像之间的转换关系所述第一类型图像为该目标成像模型下的目标图,所述第二类型图像为目标图像采集设备的原图;
生成单元,用于基于所述目标图像采集设备的原图以及所述查找表,生成所述多个目标成像模型中部分或全部目标成像模型下的目标图。
根据本申请实施例的第三方面,提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述图像生成方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述图像生成方法。
本申请实施例的图像生成方法,通过分别获取多个目标成像模型对应的查找表,并基于目标图像采集设备的原图以及获取到的查找表,生成多个目标成像模型中部分或全部目标成像模型下的目标图,实现了样本的增强和扩展。
附图说明
图1是本申请一示例性实施例示出的一种图像生成方法的流程示意图;
图2是本申请一示例性实施例示出的一种具体应用场景的结构示意图;
图3A~3B是本申请一示例性实施例示出的一种查找表生成的流程示意图;
图3C~3D是本申请一示例性实施例示出的一种带有标注信息的目标成像模型的目标图生成的流程示意图;
图4是本申请一示例性实施例示出的一种图像生成***的结构示意图;
图5是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面先对申请实施例涉及的部分技术术语进行说明。
相机成像模型:相机成像模型描述的是世界坐标系上的点与相机的像素坐标之间的映射关系。目前比较常见的相机成像模型包括小孔成像模型、鱼眼相机模型以及广角相机模型等。
内参:指相机固有参数,包括焦距、主点坐标和畸变系数等。
为了使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1,为本申请实施例提供的一种图像生成方法的流程示意图,其中,该图像生成方法可以应用于具有图像处理能力的设备,如图像处理服务器,如图1所示,该图像生成方法可以包括以下步骤:
步骤S100、分别获取多个目标成像模型对应的查找表,任一目标成像模型对应的查找表包括第一类型图像与第二类型图像之间的转换关系,第一类型图像为该目标成像模型下的目标图,第二类型图像为目标图像采集设备的原图。
本申请实施例中,目标成像模型并不特指任一相机成像模型,而是可以指代任一与目标图像采集设备的相机成像模型不同的相机成像模型,例如,目标图像采集设备的相机成像模型为小孔成像模型,则目标成像模型可以包括鱼眼相机模型或广角相机模型等。
示例性的,目标图像采集设备是指实际用于图像采集的前端设备。
本申请实施例中,为了实现样本的增强和扩展,可以基于目标图像采集设备采集的图像,生成多个其他相机成像模型(即上述目标成像模型)下的图像,从而,通过一种图像采集设备进行实际的图像采集,就可以得到多种不同的相机成像模型的图像。
为了基于目标图像采集设备采集的图像,生成多个目标成像模型下的图像,可以确定多个目标成像模型对应的查找表。
示例性的,对于任一目标成像模型,该目标成像模型对应的查找表可以包括该目标成像模型下的目标图(本文中称为第一类型图像)与目标图像采集设备的原图(本文中称为第二类型图像)之间的转换关系,用于基于第二类型图像,生成第一类型图像。
步骤S110、基于目标图像采集设备的原图,以及所述查找表,生成多个目标成像模型中部分或全部目标成像模型下的目标图。
本申请实施例中,获取到多个目标成像模型对应的查找表时,可以根据实际需要,基于目标图像采集设备的原图、以及获取到的查找表,生成该多个目标成像模型中部分或全部目标成像模型下的目标图。
示例性的,可以基于广角图转换得到鱼眼图,或者,可以基于鱼眼图转换得到广角图。
可见,在图1所示方法流程中,通过获取多个目标成像模型对应的查找表,进而,可以基于目标图像采集设备的原图以及该查找表,生成该多个目标成像模型中部分或全部目标成像模型下的目标图,从而,通过目标图像采集设备采集图像,可以得到多种不同相机成像模型下的图像,完成了一个相机成像模型的数据集扩展到多个相机模型的数据集,大大提升了数据的丰富性,实现了样本的增强和扩展。
作为一种可能的实施方式,上述获取多个目标成像模型对应的查找表以及映射信息,可以包括:
生成多个目标成像模型对应的查找表。
示例性的,可以实时生成多个目标成像模型对应的查找表,并基于目标图像采集设备采集的原图以及所生成的查找表,生成该多个目标成像模型中部分或全部目标成像模型下的目标图,从而,可以按需生成目标成像模型对应的查找表,避免生成不需要的目标成像模型对应的查找表对***资源(如存储资源、运算资源)的浪费。
作为另一种可能的实施方式,上述获取多个目标成像模型对应的查找表,可以包括:
获取预先生成的多个目标成像模型对应的查找表。
示例性的,为了提高图像生成的效率,可以预先生成多个目标成像模型对应的查找表。
在一个示例中,目标成像模型对应的查找表的生成可以在线下完成,即由离线模块完成,线上进行查找表的获取、查找、图像生成,从而,可以降低在线处理的计算量,提高图像生成效率,对于大规模数据集的处理,可以表现出更好地性能。
示例性的,当需要生成目标成像模型下的目标图时,可以获取预先生成的多个目标成像模型对应的查找表,并基于目标图像采集设备的原图以及获取到的多个目标成像模型的查找表,生成该多个目标成像模型中部分或全部目标成像模型的目标图。
在一个示例中,上述多个目标成像模型对应的查找表可以通过以下方式生成:
获取第二类型图像;
基于目标图像采集设备的内参,确定第二类型图像上的像素点在畸变校正图上的位置信息;
基于多个目标成像模型中各目标成像模型的内参,分别确定畸变校正图上的像素点在各第一类型图像上的位置信息;
基于第二类型图像上的像素点在畸变校正图上的位置信息,以及畸变校正图上的像素点在各第一类型图像上的位置信息,分别生成各目标模型对应的查找表。
示例性的,对于任一目标成像模型,当需要生成该目标成像模型对应的映射信息时,可以基于目标图像采集设备的内参,确定第二类型图像上的像素点在畸变校正图上的位置信息,并基于该目标成像模型的内参,确定畸变校正图上的像素点在该目标成像模型对应的第一类型图像上的位置信息。
示例性的,考虑到不同相机成像模型对应的畸变校正图相同,即使用不同相机成像模型的图像采集设备在相同位置,采集的背景信息和前景信息均相同的图像,在进行畸变校正后得到的畸变校正图相同,因此,确定了第二类型图像上的像素点在畸变校正图上的位置信息,以及确定了畸变校正图上的像素点在第一类型图像上的位置信息时,可以确定第一类型图像与第二类型图像之间的转换关系,进而,可以基于第一类型图像与第二类型图像之间的转换关系,生成该目标成像模型对应的查找表。
需要说明的是,在本申请实施例中,基于相机成像模型的内参,确定相机成像模型下原图上的像素点到畸变校正图上的位置信息,以及,确定畸变校正图到相机成像模型下原图上像素点的位置信息的具体实现可以参见已有流程中的相关实现,本申请实施例对此不做限定。
在一个示例中,上述查找表还可以包括多个目标成像模型对应的映射信息,该映射信息包括第二类型图像上任一点的位置信息到各第一类型图像上的对应点的位置信息的映射关系;
上述基于目标图像采集设备的原图以及查找表,生成多个目标成像模型中部分或全部目标成像模型下的目标图,可以包括:
基于带有标注信息的第二类型图像以及查找表,生成带有标注信息的上述多个目标成像模型中部分或全部目标成像模型下的目标图。
示例性的,考虑到图像数据作为深度学习的样本数据时通常需要进行标注,若按照上述实施例描述的方式生成的目标成像模型下的目标图均需要重新标注,则会耗费大量的时间。
为了提高带有标注信息的样本数据的获取的效率,在基于上述实施例描述的方式生成目标成像模型下的目标图时,可以考虑以带有标注信息的目标图像采集设备的原图为基础,自动生成带有标注信息的目标成像模型下的目标图。
然而,考虑到查找表中包括的第一类型图像与第二类型图像之间的转换关系通常是像素点之间的位置的映射关系,其通常为整型(即横纵坐标都是整数),但标注信息在第二类型图像中对应的标注位置信息可能为浮点型(即横纵坐标均可能为小数),因此,为了实现标注信息的自动映射,还需要确定目标成像模型对应的映射信息。
示例性的,目标成像模型对应的映射信息可以包括第二类型图像上任一点的位置信息到第一类型图像上的对应点的位置信息的映射关系,用于基于第二类型图像上的标注信息,确定第一类型图像上的标注信息。
示例性的,目标成像模型对应的映射信息的生成的具体实现可以参见上述查找表生成的相关描述,本申请实施例对此不做赘述。
作为一种可能的实施方式,上述基于带有标注信息的目标图像采集设备的原图、以及查找表,生成带有标注信息的多个目标成像模型中部分或全部目标成像模型下的目标图,可以包括:
获取带有标注信息的目标图像采集设备的原图;
基于带有标注信息的目标图像采集设备的原图,以及查找表中的转换关系,分别生成多个目标成像模型中部分或全部目标成像模型下的目标图;
基于带有标注信息的目标图像采集设备的原图中的标注位置信息,以及查找表中的映射信息,分别确定多个目标成像模型中部分或全部目标成像模型下的目标图中的标注位置信息;
基于所述多个目标成像模型中部分或全部目标成像模型下的目标图,以及所述多个目标成像模型中部分或全部目标成像模型下的目标图中的标注位置信息,生成带有标注信息的所述多个目标成像模型中部分或全部目标成像模型下的目标图。
在一个示例中,当已有数据集中已经存在带有标注信息的目标图像采集设备的原图时,可以从已有数据集中获取带有标注信息的目标图像采集设备的原图。
在另一个示例中,当已有数据集中存在目标图像采集设备的原图,但该目标图像采集设备的原图未带有标注信息时,可以从已有数据集中获取目标图像采集设备的原图,并对获取到的目标图像采集设备的原图进行标注,以得到带有标注信息的目标图像采集设备的原图。
示例性的,对目标图像采集设备的原图的标注可以通过手动或自动方式实现,其具体实现方式在此不做赘述。
在又一个示例中,当已有数据集中不存在目标图像采集设备的原图时,可以通过目标图像采集设备采集原图,并对目标图像采集设备的原图进行标注,以得到带有标注信息的目标图像采集设备的原图。
示例性的,对于任一带有标注信息的目标图像采集设备的原图,一方面,可以基于带有标注信息的目标图像采集设备的原图,以及多个目标成像模型对应的查找表,分别生成多个目标成像模型中部分或全部目标成像模型下的目标图(本文中称为目标第一类型图像)。
另一方面,可以基于带有标注信息的目标图像采集设备的原图中的标注位置信息,以及查找表中的映射信息,确定目标第一类型图像中的标注位置信息。
示例性的,对于矩形标注框,标注位置信息可以为中心点坐标以及宽和高,或者,对角顶点坐标;对于圆形标注框,标注位置信息可以为圆心坐标以及半径。
进而,可以基于目标第一类型图像,以及目标第一类型图像中的标注位置信息,生成带有标注信息的目标第一类型图像。
在一个示例中,按照上述方式生成带有标注信息的目标第一类型图像之后,可以将带有标注信息的目标第一类型图像和带有标注信息的第二类型图像分类保存。
示例性的,当目标成像模型包括多种不同的相机成像模型时,可以基于相机成像模型,对各目标成像模型对应的带有标注信息的第一类型图像进行分类保存。
举例来说,假设目标图像采集设备的相机成像模型为小孔成像模型,目标成像模型包括鱼眼相机模型以及广角相机模型,则可以基于相机成像模型,按照小孔成像模型对应的带有标注信息的第二类型图像、鱼眼相机模型对应的带有标注信息的第一类型图像,以及广角相机模型对应的带有标注信息的第一类型图像,将样本数据进行分类保存(即分为三类保存)。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合应用场景对本申请实施例提供的技术方案进行说明。
请参见图2,为本申请实施例提供的一种图像生成***的示意图,如图2所示,该图像生成***可以包括离线处理模块和在线处理模块。
需要说明的是,图2所示图像生成***中,离线处理模块和在线处理模块可以同一设备的功能模块,也可以为不同设备的功能模块,即在该图像生成***中,查找表的生成和应用可以由同一设备完成,也可以查找表的生成由一个设备完成,查找表的使用由另一个设备完成。
示例性的,对于查找表的生成由一个设备完成,查找表的使用由另一个设备完成的情况,多个设备可以获取同一设备生成的查找表,并基于获取到的查找表进行图像生成。
在图2所示图像生成***中,离线处理模块可以包括模型转换单元和查找表生成单元;在线处理模块可以包括数据采集单元、数据传输单元、数据处理单元以及数据存储单元,下面分别对各功能单元的进行说明。
模型转换单元,用于确定不同相机成像模型之间的变换关系,其具体实现流程如下:
假设需要实现已有相机采集(即上述目标图像采集设备)与N(N为大于1的正整数)个不同的目标成像模型之间的变换。
对于任一目标成像模型(假设为目标成像模型i,1≤i≤N),模型转换单元可以基于已有相机的内参,确定已有相机采集的原图上的像素点在畸变校正图上的位置信息,并基于目标成像模型i的内参,确定畸变校正图上的像素点在目标成像模型i的目标图上的位置信息,进而,确定已有相机采集的原图与目标成像模型i的目标图之间的转换关系,并生成查找表,其示意图可以如图3A所示。
示例性的,模型转换单元还可以按照上述方式确定已有相机采集的原图上任一点的位置信息到目标成像模型i的目标图上的对应的位置信息的映射关系(即目标成像模型i对应的映射信息),并将目标成像模型i对应的映射信息记录在目标成像模型i对应的查找表中。
示例性的,N个目标成像模型对应的查找表的生成示意图可以如图3B所示,包括:
1、基于已有相机的内参,计算已有相机采集的原图上的点与畸变校正图中的点的映射关系;
2、基于N个目标成像模型的内参,分别计算畸变校正图上的点与各目标成像模型的目标图上的点的映射关系;
3、基于已有相机采集的原图上的点与畸变校正图中的点的映射关系,以及畸变校正图上的点与各目标成像模型的目标图上的点的映射关系,建立已有相机采集的原图与不同成像模型的目标图之间的映射关系。
查找表生成单元基于已有相机采集的原图与不同成像模型目标图之间的映射关系,分别生成不同成像模型的目标图与已有相机采集的原图之间的查找表。
至此,离线处理模块的处理流程完成,将N个目标成像模型(成像模型1~成像模型N)的原图与已有相机采集的原图之间的查找表保存下来,供后续在线处理模块使用。
数据采集单元,用于通过已有相机进行图像采集(采集到的为原图),或者从已有数据集中获取已有相机采集的原图。
数据传输单元,用于通过传输介质,将已有相机采集的原图传输给数据处理单元。
数据处理单元,用于基于已有相机采集的原图、标注信息以及离线处理模块生成的查找表,生成不同目标成像模型的带有标注信息的图像,其具体实现流程如下:
若数据处理单元接收到的已有相机采集的原图中未带有标注信息,则需要通过手动或自动的方式对已有相机采集的原图进行标注,得到带有标注的已有相机采集的原图。
示例性的,若数据处理单元接收到的已有相机采集的原图中带有标注信息(如数据采集单元从已有数据集中获取到的已有相机采集的原图为带有标注信息的图像),则数据处理单元不需要再进行标注处理。
对于目标成像模型i,一方面,数据处理单元可以根据已有相机采集的原图,以及目标成像模型i对应的查找表中的转换关系,生成目标成像模型i的原图;
另一方面,数据处理单元可以根据已有相机采集的原图中的标注位置信息,以及目标成像模型i对应的查找表中的映射信息,确定目标成像模型i的目标图中的标注位置信息;
进而,数据处理单元可以基于目标成像模型i的目标图,以及目标成像模型i的目标图中的标注位置信息,生成带有标注信息的目标成像模型i的目标图,其示意图可以如图3C所示。
数据存储单元,用于对已有相机采集的带有标注信息的原图,以及目标成像模型的带有标注信息的原图进行分类保存。
示例性的,基于带有标注信息的已有相机采集的原图生成N个成像模型下的带有标注的目标图的流程可以如图3D所示,包括:1、对已有相机采集的原图进行标注。
示例性的,若已有的数据集中已有相机采集的原图已进行标定,则该步骤可以读取已标注的已有相机采集的原图。若已有的数据集中已有相机采集的原图未标注,则该步骤须对已有相机采集的原图进行自动或者手动的图片标注。
2、根据离线模块生成的查找表和已有相机采集的原图,生成不同成像模型(模型1~模型N)的目标图。
3、根据离线模块获得的已有相机采集的原图与不同成像模型的目标图之间的映射关系,生成不同成像模型的目标图中的标注信息。
至此,实现了根据一个已有相机采集的样本数据,生成N个新的相机成像模型的样本数据,实现了样本的增强和扩展;此外,通过离线处理和在线处理结合的方式,查找表和映射信息的生成在离线处理流程中完成,在线处理流程中基于离线处理流程中生成的查找表和映射信息进行图像生成(带有标注信息的图像),提高了样本增强和扩展的效率。
本申请实施例中,通过获取多个目标成像模型对应的查找表,并基于目标图像采集设备的原图以及获取到的查找表,生成多个目标成像模型中部分或全部目标成像模型的目标图,实现了样本的增强和扩展。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图4,为本申请实施例提供的一种图像生成***的结构示意图,如图4所示,该图像生成***可以包括:
获取单元410,用于分别获取多个目标成像模型对应的查找表,任一所述目标成像模型对应的查找表包括第一类型图像与第二类型图像之间的转换关系,所述第一类型图像为该目标成像模型下的目标图,所述第二类型图像为目标图像采集设备的原图;
生成单元420,用于基于所述目标图像采集设备的原图以及所述查找表,生成所述多个目标成像模型中部分或全部目标成像模型下的目标图。
在可选实施例中,所述获取单元410,具体用于生成所述多个目标成像模型对应的查找表;或,
获取预先生成的所述多个目标成像模型对应的查找表。
在可选实施例中,所述多个目标成像模型对应的查找表通过以下方式生成:
获取第二类型图像;
基于所述目标图像采集设备的内参,确定所述第二类型图像上的像素点在畸变校正图上的位置信息;
基于所述多个目标成像模型中各目标成像模型的内参,分别确定所述畸变校正图上的像素点在各第一类型图像上的位置信息;
基于所述第二类型图像上的像素点在畸变校正图上的位置信息,以及所述畸变校正图上的像素点在各第一类型图像上的位置信息,分别生成各目标模型对应的查找表。
在可选实施例中,所述查找表还包括所述多个目标成像模型对应的映射信息,所述映射信息包括所述第二类型图像上任一点的位置信息到各第一类型图像上的对应点的位置信息的映射关系;
所述生成单元420,具体用于基于带有标注信息的所述目标图像采集设备的原图以及所述查找表,生成带有标注信息的所述多个目标成像模型中部分或全部目标成像模型下的目标图。
在可选实施例中,所述生成单元420,具体用于获取带有标注信息的
所述目标图像采集设备的原图;
基于所述带有标注信息的所述目标图像采集设备的原图,以及所述查找表中的转换关系,分别生成所述多个目标成像模型中部分或全部目标成像模型下的目标图;
基于所述带有标注信息的所述目标图像采集设备的原图中的标注位置信息,以及所述映射信息中的映射信息,分别确定所述多个目标成像模型中部分或全部目标成像模型下的目标图中的标注位置信息;
基于所述多个目标成像模型中部分或全部目标成像模型下的目标图,以及所述多个目标成像模型中部分或全部目标成像模型下的目标图中的标注位置信息,生成带有标注信息的所述多个目标成像模型中部分或全部目标成像模型下的目标图。
请参见图5,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器501、通信接口502、存储器503和通信总线504。处理器501、通信接口502以及存储器503通过通信总线504完成相互间的通信。其中,存储器503上存放有计算机程序;处理器501可以通过执行存储器503上所存放的程序,执行上文描述的图像生成方法。
本文中提到的存储器503可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,存储器502可以是:RAM(Radom AccessMemory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
本申请实施例还提供了一种存储有计算机程序的机器可读存储介质,例如图5中的存储器503,所述计算机程序可由图5所示电子设备中的处理器501执行以实现上文描述的图像生成方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (8)
1.一种图像生成方法,其特征在于,包括:
分别获取多个目标成像模型对应的查找表,任一所述目标成像模型对应的查找表包括第一类型图像与第二类型图像之间的转换关系,所述第一类型图像为该目标成像模型下的目标图,所述第二类型图像为目标图像采集设备的原图;
基于所述目标图像采集设备的原图,以及所述查找表,生成所述多个目标成像模型中部分或全部目标成像模型下的目标图;
其中,所述查找表还包括所述多个目标成像模型对应的映射信息,所述映射信息包括所述第二类型图像上任一点的位置信息到各第一类型图像上的对应点的位置信息的映射关系;
所述基于所述目标图像采集设备的原图,以及所述查找表,生成所述多个目标成像模型中部分或全部目标成像模型下的目标图,包括:
获取带有标注信息的所述目标图像采集设备的原图;
基于所述带有标注信息的所述目标图像采集设备的原图,以及所述查找表中的转换关系,分别生成所述多个目标成像模型中部分或全部目标成像模型下的目标图;
基于所述带有标注信息的所述目标图像采集设备的原图中的标注位置信息,以及所述查找表中的映射信息,分别确定所述多个目标成像模型中部分或全部目标成像模型下的目标图中的标注位置信息;
基于所述多个目标成像模型中部分或全部目标成像模型下的目标图,以及所述多个目标成像模型中部分或全部目标成像模型下的目标图中的标注位置信息,生成带有标注信息的所述多个目标成像模型中部分或全部目标成像模型下的目标图。
2.根据权利要求1所述的方法,其特征在于,所述获取多个目标成像模型对应的查找表,包括:
生成所述多个目标成像模型对应的查找表;或,
获取预先生成的所述多个目标成像模型对应的查找表。
3.根据权利要求2所述的方法,其特征在于,所述多个目标成像模型对应的查找表通过以下方式生成:
获取第二类型图像;
基于所述目标图像采集设备的内参,确定所述第二类型图像上的像素点在畸变校正图上的位置信息;
基于所述多个目标成像模型中各目标成像模型的内参,分别确定所述畸变校正图上的像素点在各第一类型图像上的位置信息;
基于所述第二类型图像上的像素点在畸变校正图上的位置信息,以及所述畸变校正图上的像素点在各第一类型图像上的位置信息,分别生成各目标模型对应的查找表。
4.一种图像生成***,其特征在于,包括:
获取单元,用于分别获取多个目标成像模型对应的查找表,任一所述目标成像模型对应的查找表包括第一类型图像与第二类型图像之间的转换关系,所述第一类型图像为该目标成像模型下的目标图,所述第二类型图像为目标图像采集设备的原图;
生成单元,用于基于所述目标图像采集设备的原图以及所述查找表,生成所述多个目标成像模型中部分或全部目标成像模型下的目标图;
其中,所述查找表还包括所述多个目标成像模型对应的映射信息,所述映射信息包括所述第二类型图像上任一点的位置信息到各第一类型图像上的对应点的位置信息的映射关系;
所述生成单元,具体用于获取带有标注信息的所述目标图像采集设备的原图;基于所述带有标注信息的所述目标图像采集设备的原图,以及所述查找表中的转换关系,分别生成所述多个目标成像模型中部分或全部目标成像模型下的目标图;基于所述带有标注信息的所述目标图像采集设备的原图中的标注位置信息,以及所述映射信息中的映射信息,分别确定所述多个目标成像模型中部分或全部目标成像模型下的目标图中的标注位置信息;基于所述多个目标成像模型中部分或全部目标成像模型下的目标图,以及所述多个目标成像模型中部分或全部目标成像模型下的目标图中的标注位置信息,生成带有标注信息的所述多个目标成像模型中部分或全部目标成像模型下的目标图。
5.根据权利要求4所述的图像生成***,其特征在于,
所述获取单元,具体用于生成所述多个目标成像模型对应的查找表;或,
获取预先生成的所述多个目标成像模型对应的查找表。
6.根据权利要求5所述的图像生成***,其特征在于,所述多个目标成像模型对应的查找表通过以下方式生成:
获取第二类型图像;
基于所述目标图像采集设备的内参,确定所述第二类型图像上的像素点在畸变校正图上的位置信息;
基于所述多个目标成像模型中各目标成像模型的内参,分别确定所述畸变校正图上的像素点在各第一类型图像上的位置信息;
基于所述第二类型图像上的像素点在畸变校正图上的位置信息,以及所述畸变校正图上的像素点在各第一类型图像上的位置信息,分别生成各目标模型对应的查找表。
7.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-3任一所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294233.6A CN112991145B (zh) | 2019-12-16 | 2019-12-16 | 图像生成方法、***、电子设备及机器可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294233.6A CN112991145B (zh) | 2019-12-16 | 2019-12-16 | 图像生成方法、***、电子设备及机器可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112991145A CN112991145A (zh) | 2021-06-18 |
CN112991145B true CN112991145B (zh) | 2023-03-24 |
Family
ID=76343299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911294233.6A Active CN112991145B (zh) | 2019-12-16 | 2019-12-16 | 图像生成方法、***、电子设备及机器可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112991145B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2739713C1 (ru) * | 2016-12-08 | 2020-12-28 | Конинклейке Филипс Н.В. | Обучение аннотированию объектов в изображении |
CN110288008A (zh) * | 2019-06-12 | 2019-09-27 | 上海联影医疗科技有限公司 | 查找表图像校正方法、装置、计算机设备和存储介质 |
CN110570367A (zh) * | 2019-08-21 | 2019-12-13 | 苏州科达科技股份有限公司 | 鱼眼图像的校正方法、电子设备及存储介质 |
CN110570373A (zh) * | 2019-09-04 | 2019-12-13 | 北京明略软件***有限公司 | 畸变校正方法和装置、计算机可读的存储介质及电子装置 |
-
2019
- 2019-12-16 CN CN201911294233.6A patent/CN112991145B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112991145A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242913B (zh) | 采集器相对参数的标定方法、装置、设备和介质 | |
EP2956891B1 (en) | Segmenting objects in multimedia data | |
CN111815707B (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
CN104978578A (zh) | 手机拍照文本图像质量评估方法 | |
CN103369233A (zh) | 用于通过利用自适应核来执行深度估计的***和方法 | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
JP5656768B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
JP2011133984A (ja) | 動作特徴抽出装置および動作特徴抽出方法 | |
CN113673400A (zh) | 基于深度学习的实景三维语义重建方法、装置及存储介质 | |
CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、***及存储介质 | |
CN113793370A (zh) | 三维点云配准方法、装置、电子设备及可读介质 | |
CN109102026A (zh) | 一种车辆图像检测方法、装置及*** | |
CN105825228A (zh) | 图像识别方法及装置 | |
WO2012133371A1 (ja) | 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム | |
CN114419428A (zh) | 一种目标检测方法、目标检测装置和计算机可读存储介质 | |
CN111797832B (zh) | 一种图像感兴趣区域自动生成方法及***及图像处理方法 | |
CN112991145B (zh) | 图像生成方法、***、电子设备及机器可读存储介质 | |
CN113743434A (zh) | 一种目标检测网络的训练方法、图像增广方法及装置 | |
CN111027376A (zh) | 一种确定事件图谱的方法、装置、电子设备及存储介质 | |
CN115393868B (zh) | 文本检测方法、装置、电子设备和存储介质 | |
CN112991419B (zh) | 视差数据生成方法、装置、计算机设备及存储介质 | |
CN112652056B (zh) | 一种3d信息展示方法及装置 | |
CN114547437A (zh) | 图像检索方法及装置 | |
CN115880338B (zh) | 标注方法、标注装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |