CN112561793A - 一种平面设计空间转换方法及*** - Google Patents
一种平面设计空间转换方法及*** Download PDFInfo
- Publication number
- CN112561793A CN112561793A CN202110062278.1A CN202110062278A CN112561793A CN 112561793 A CN112561793 A CN 112561793A CN 202110062278 A CN202110062278 A CN 202110062278A CN 112561793 A CN112561793 A CN 112561793A
- Authority
- CN
- China
- Prior art keywords
- image
- initial
- pixel point
- information
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013461 design Methods 0.000 title claims abstract description 43
- 238000003702 image correction Methods 0.000 claims abstract description 109
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000005457 optimization Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 120
- 238000013507 mapping Methods 0.000 claims description 65
- 230000008859 change Effects 0.000 claims description 32
- 230000007704 transition Effects 0.000 claims description 21
- 239000012634 fragment Substances 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 description 22
- 238000003860 storage Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及图像数据处理技术领域,具体涉及一种平面设计空间转换方法及***。本发明首先调用平面图像空间转换网络对初始平面图像进行二维到三维的空间转换得到初始立体图像,其次调用立体图像空间转换网络对初始立体图像进行三维到二维的空间转换得到参照平面图像,然后根据初始平面图像以及初始立体图像的参照平面图像,对初始立体图像进行空间转换优化处理。本发明可以将初始平面图像与参照平面图像进行比对,从而判断初始立体图像的空间转换质量,并根据初始平面图像与参照平面图像实现对初始立体图像的多次迭代空间转换优化处理,从而实现基于图像比对分析的图像校正优化,无需设计人员进行人工比对、调试和优化,提高图像校正优化的效率。
Description
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种平面设计空间转换方法及***。
背景技术
随着图像技术的发展,平面设计行业所面临的用户需求越来越高。现目前,3D技术的日趋成熟促使着平面设计从二维设计转换到三维设计,从而在进行产品展示时给用户带来更加直观和逼真的效果。一般而言,相关的平面设计技术是先绘制二维图像,然后将二维图像转换为三维图像,但是在图像的空间转换过程中,可能会存在转换误差,从而导致三维图像不能准确表征二维图像。而相关的针对三维图像进行空间转换校正的方法大多是通过设计人员进行人工比对、调试和优化,这样会降低图像校正和优化的效率。
发明内容
有鉴于此,本发明实施例提供了一种平面设计空间转换方法及***,能够通过对二维和三维图像进行两次空间转换处理以实现基于图像比对分析的图像校正,无需设计人员进行人工比对、调试和优化,从而提高图像校正和优化的效率。
本发明实施例提供了一种平面设计空间转换方法,应用于与平面设计业务端通信的图像处理服务端,所述方法包括:调用预先完成训练的平面图像空间转换网络将所述平面设计业务端传输的初始平面图像转换为初始立体图像;调用预先完成训练的立体图像空间转换网络对所述初始立体图像进行转换,得到所述初始立体图像对应的参照平面图像;其中,所述初始立体图像与所述初始平面图像为不同维度的图像,所述初始立体图像的参照平面图像和所述初始平面图像为相同维度的图像;根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理。
可选地,根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理,包括:
将所述初始平面图像和所述初始立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果;
判断所述图像比对结果是否满足预设图像比对条件;
在所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时,对所述初始立体图像进行图像修正得到已修正立体图像;调用所述立体图像空间转换网络对所述已修正立体图像进行转换,得到所述已修正立体图像对应的参照平面图像;
将所述初始平面图像和所述已修正立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果;
在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果满足所述预设图像比对条件时,将所述已修正立体图像进行显示。
可选地,将所述初始平面图像和所述初始立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果,包括:
提取所述初始平面图像的初始平面图像像素点集以及所述初始立体图像的参照平面图像的参照平面图像像素点集;生成所述初始平面图像的初始平面图像像素点集对应的初始像素点集特征信息,以及所述初始立体图像的参照平面图像的参照平面图像像素点集对应的参照像素点集特征信息;其中,所述初始像素点集特征信息和所述参照像素点集特征信息分别包括多个具有不同的特征区分度的特征像素信息片段;
提取所述初始平面图像的初始平面图像像素点集在所述初始像素点集特征信息的任一特征像素信息片段的初始像素点描述信息,将所述参照像素点集特征信息中具有最高的特征区分度的特征像素信息片段确定为目标特征像素信息片段;
根据平面图像空间转换网络和立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到初始像素点转换信息,并根据所述初始像素点描述信息、所述初始像素点转换信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略;
以所述初始像素点转换信息为参照信息在所述目标特征像素信息片段中获取像素点深度特征信息,根据所述像素点比对策略对应的边界像素点集的图像比对顺序,将所述像素点深度特征信息映射到所述初始像素点描述信息所在特征像素信息片段,在所述初始像素点描述信息所在特征像素信息片段中得到所述像素点深度特征信息对应的动态特征转换信息,并确定所述动态特征转换信息的目标像素点描述信息;
获取所述初始像素点描述信息映射到所述目标特征像素信息片段中的向量转换映射记录;根据所述动态特征转换信息与所述向量转换映射记录上的多个已转换特征向量对应的特征向量特征差别之间的特征相似度,在所述参照像素点集特征信息中遍历所述目标像素点描述信息对应的关联转换像素点集,直至获取到的所述关联转换像素点集所在特征像素信息片段的关联特征识别权重与所述目标像素点描述信息在所述初始像素点集特征信息中的关联特征识别权重一致时,停止获取下一特征像素信息片段中的关联转换像素点集,并生成所述目标像素点描述信息与最后一次获取到的关联转换像素点集之间的图像比对结果。
可选地,
其中,所述生成所述初始平面图像的初始平面图像像素点集对应的初始像素点集特征信息,以及所述初始立体图像的参照平面图像的参照平面图像像素点集对应的参照像素点集特征信息,包括:
根据特征区分度对应的三维转换修复记录生成所述初始平面图像的初始平面图像像素点集对应的所述初始像素点集特征信息,所述初始像素点集特征信息中任意相邻两个特征像素信息片段之间的特征差异信息用于确定所述特征区分度对应的三维转换修复记录;
根据特征区分度对应的三维转换修复记录生成所述初始立体图像的参照平面图像的参照平面图像像素点集对应的所述参照像素点集特征信息,所述参照像素点集特征信息中任意相邻两个特征像素信息片段之间的特征差异信息用于确定所述特征区分度对应的三维转换修复记录;
其中,所述根据平面图像空间转换网络和立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到初始像素点转换信息,并根据所述初始像素点描述信息、所述初始像素点转换信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略,包括:
根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到所述初始像素点转换信息;
在所述初始像素点描述信息所在特征像素信息片段中获取像素点标记信息,所述像素点标记信息是以所述初始像素点描述信息为全局图像描述信息的局部描述信息片段对应的标记信息;
根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述像素点标记信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到像素点转换描述信息;
根据所述初始像素点描述信息与所述像素点标记信息之间的像素点相对位置、所述初始像素点转换信息以及所述像素点转换描述信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略;
其中,所述根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到所述初始像素点转换信息,包括:
根据所述平面图像空间转换网络的待转换图像汇总信息、立体图像空间转换网络的待转换图像汇总信息,将所述初始像素点描述信息映射到所述目标特征像素信息片段对应的空间图像映射集中,得到初始像素映射信息;
根据所述初始平面图像的初始平面图像像素点集对应的像素类型标签和所述初始立体图像的参照平面图像的参照平面图像像素点集对应的像素类型标签之间的区域图像比对结果、区域图像汇总结果,将所述初始像素映射信息转换到所述初始立体图像的参照平面图像的参照平面图像像素点集的区域对应的动态像素点集下,得到过渡像素映射信息;
将所述过渡像素映射信息映射到所述初始立体图像的参照平面图像的参照平面图像像素点集的区域对应的动态像素点集下具有空间转换修正标识的空间图像映射集中,得到过渡像素点转换信息;
对所述过渡像素点转换信息进行像素点修复,并根据所述平面图像空间转换网络将修复后的过渡像素点转换信息映射到所述目标特征像素信息片段中,得到所述初始像素点转换信息。
可选地,对所述初始立体图像进行图像修正得到已修正立体图像,包括:
获取所述初始立体图像的x个三维空间图像区域,所述x为正整数;
将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;
从每个三维空间图像区域包括的至少两个子区域集中确定待进行图像修正的子区域序列所处的子区域集;
根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量;
根据所述至少一个关联区域特征向量确定所述待进行图像修正的子区域序列对应的特征向量修正结果;通过所述特征向量修正结果,对所述初始立体图像对应的每个三维空间图像区域进行图像修正,得到所述已修正立体图像;
其中,所述将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集,包括:按照预先设置的图像深度变化率与特征向量提取方式之间的对应关系,将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;或者,通过统计预存的已完成图像修正的三维空间图像区域中的每个子区域集的图像深度变化率和特征向量提取方式,确定图像深度变化率与特征向量提取方式之间的对应关系;根据确定的对应关系将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;
其中,所述根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量,包括:确定每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息;根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,以及每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量;
其中,所述至少两个子区域集包括边界子区域集和非边界子区域集,所述边界子区域集的图像深度变化率高于所述非边界子区域集的图像深度变化率;所述根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,以及每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量,包括:
当所述待进行图像修正的子区域序列在所述x个三维空间图像区域包括的y个三维空间图像区域中处于所述边界子区域集时,根据所述y个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述y个三维空间图像区域包括的待进行图像修正的子区域序列中,确定特征向量时序分类信息的类别统计值最高的待进行图像修正的子区域序列作为第一候选待确定特征向量序列,所述y为小于x的正整数;
当所述待进行图像修正的子区域序列在所述x个三维空间图像区域包括的z个三维空间图像区域中处于所述非边界子区域集时,根据所述z个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述z个三维空间图像区域包括的待进行图像修正的子区域序列中,确定特征向量时序分类信息的类别统计值最高的待进行图像修正的子区域序列作为第二候选待确定特征向量序列,所述z为小于x的正整数,且所述z与所述y之和等于所述x;
根据所述第一候选待确定特征向量序列的特征向量时序分类信息和所述第二候选待确定特征向量序列的特征向量时序分类信息,从所述第一候选待确定特征向量序列和所述第二候选待确定特征向量序列中确定至少一个关联区域特征向量。
可选地,所述方法还包括:
在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时,对所述已修正立体图像继续进行图像修正,直至所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果满足所述预设图像比对条件。
本发明实施例还提供了一种平面设计空间转换装置,应用于与平面设计业务端通信的图像处理服务端,所述装置包括:
第一空间转换模块,用于调用预先完成训练的平面图像空间转换网络将所述平面设计业务端传输的初始平面图像转换为初始立体图像;
第二空间转换模块,用于调用预先完成训练的立体图像空间转换网络对所述初始立体图像进行转换,得到所述初始立体图像对应的参照平面图像;其中,所述初始立体图像与所述初始平面图像为不同维度的图像,所述初始立体图像的参照平面图像和所述初始平面图像为相同维度的图像;
空间转换优化模块,用于根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理。
本发明实施例还提供了一种平面设计空间转换***,包括互相之间通信的图像处理服务端和平面设计业务端;
所述平面设计业务端用于:向所述图像处理服务端传输初始平面图像;
所述图像处理服务端用于:调用预先完成训练的平面图像空间转换网络将所述初始平面图像转换为初始立体图像;调用预先完成训练的立体图像空间转换网络对所述初始立体图像进行转换,得到所述初始立体图像对应的参照平面图像;其中,所述初始立体图像与所述初始平面图像为不同维度的图像,所述初始立体图像的参照平面图像和所述初始平面图像为相同维度的图像;根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理。
本发明实施例还提供了一种图像处理服务端,包括处理器、通信总线和存储器;所述处理器和所述存储器通过所述通信总线通信,所述处理器从所述存储器中读取计算机程序并运行,以实现上述的方法。
本发明实施例还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序在运行时执行上述的方法。
本发明实施例提供的平面设计空间转换方法及***具有以下技术效果:首先调用平面图像空间转换网络对初始平面图像进行二维到三维的空间转换得到初始立体图像,其次调用立体图像空间转换网络对初始立体图像进行三维到二维的空间转换得到参照平面图像,然后根据初始平面图像以及初始立体图像的参照平面图像,对初始立体图像进行空间转换优化处理。由于初始平面图像和参照平面图像是二维空间图像,因此可以将初始平面图像与参照平面图像进行比对,从而判断初始立体图像的空间转换质量,这样可以根据初始平面图像与参照平面图像实现对初始立体图像的多次迭代空间转换优化处理,从而实现基于图像比对分析的图像校正优化,无需设计人员进行人工比对、调试和优化,从而提高图像校正和优化的效率。
在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的一种图像处理服务端的方框示意图。
图2为本发明实施例所提供的一种平面设计空间转换方法的流程图。
图3为本发明实施例所提供的一种平面设计空间转换装置的框图。
图4为本发明实施例所提供的一种平面设计空间转换***的架构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
基于上述研究,本发明实施例提供了一种平面设计空间转换方法及***。
图1示出了本发明实施例所提供的一种图像处理服务端10的方框示意图。本发明实施例中的图像处理服务端10可以为具有数据存储、传输、处理功能的服务端,如图1所示,图像处理服务端10包括:存储器11、处理器12、通信总线13和平面设计空间转换装置20。
存储器11、处理器12和通信总线13之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器11中存储有平面设计空间转换装置20,所述平面设计空间转换装置20包括至少一个可以软件或固件(firmware)的形式储存于所述存储器11中的软件功能模块,所述处理器12通过运行存储在存储器11内的软件程序以及模块,例如本发明实施例中的平面设计空间转换装置20,从而执行各种功能应用以及数据处理,即实现本发明实施例中的平面设计空间转换方法。
其中,所述存储器11可以是,但不限于,随机存取存储器(RandomAccessMemory,RAM),只读存储器(ReadOnlyMemory,ROM),可编程只读存储器(ProgrammableRead-OnlyMemory,PROM),可擦除只读存储器(ErasableProgrammableRead-OnlyMemory,EPROM),电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory,EEPROM)等。其中,存储器11用于存储程序,所述处理器12在接收到执行指令后,执行所述程序。
所述处理器12可能是一种集成电路芯片,具有数据的处理能力。上述的处理器12可以是通用处理器,包括中央处理器(CentralProcessingUnit,CPU)、网络处理器(NetworPProcessor,NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
通信总线13用于通过网络生成图像处理服务端10与其他通信终端设备之间的通信连接,实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
可以理解,图1所示的结构仅为示意,图像处理服务端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以调用硬件、软件或其组合实现。
本发明实施例还提供了一种计算机用可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在运行时实现上述的方法。
图2示出了本发明实施例所提供的一种平面设计空间转换方法的流程图。所述方法有关的流程所定义的方法步骤应用于图像处理服务端10,可以由所述处理器12实现,所述方法包括以下步骤S21-步骤S23所描述的像素点集。
步骤S21,调用预先完成训练的平面图像空间转换网络将平面设计业务端传输的初始平面图像转换为初始立体图像。
例如,平面设计业务端可以是智能手机、平板电脑、笔记本电脑或者其他能够进行即时通讯和空间图像传输的智能电子设备,在此不做限定。平面图像空间转换网络可以是集成在图像处理服务端10中的人工智能网络。初始平面图像为二维图像,初始立体图像为三维图像。
步骤S22,调用预先完成训练的立体图像空间转换网络对所述初始立体图像进行转换,得到所述初始立体图像对应的参照平面图像。
立体图像空间转换网络同样可以是集成在图像处理服务端10中的人工智能网络。
在步骤S21和步骤S22中,平面图像空间转换网络是将二维图像转换为三维图像的网络,立体图像空间转换网络是将三维图像转换为二维图像的网络。因此,参照平面图像和初始平面图像为二维图像。
步骤S23,根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理。
可以理解,可以通过将初始平面图像和参照平面图像进行比对,可以判断初始立体图像的空间转换质量,从而在初始平面图像和参照平面图像之间具有较大差异时,对初始立体图像进行图像修正和优化,然后继续对已修正立体图像进行三维到二维的空间转换,直到初始平面图像和参照平面图像相同或者接近相同,这样能够确保平面设计空间转换的图像质量,此外,该方法可以基于图像处理服务端10进行智能化处理,从而实现基于图像比对分析的图像校正优化,无需设计人员进行人工比对、调试和优化,从而提高图像校正和优化的效率。
在一些可能的实施例中,发明人发现,为了实现对初始立体图像的图像修正准确性,一般而言可能需要进行多次图像修正,为实现这一目的,步骤S23所描述的根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理,可以包括以下步骤S231-步骤S236所描述的像素点集。
步骤S231,将所述初始平面图像和所述初始立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果。
进一步地,步骤S231所描述的将所述初始平面图像和所述初始立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果,可以包括以下步骤S2311-步骤S2315所描述的像素点集。
步骤S2311,提取所述初始平面图像的初始平面图像像素点集以及所述初始立体图像的参照平面图像的参照平面图像像素点集;生成所述初始平面图像的初始平面图像像素点集对应的初始像素点集特征信息,以及所述初始立体图像的参照平面图像的参照平面图像像素点集对应的参照像素点集特征信息;其中,所述初始像素点集特征信息和所述参照像素点集特征信息分别包括多个具有不同的特征区分度的特征像素信息片段。
更进一步地,步骤S2311中,所述生成所述初始平面图像的初始平面图像像素点集对应的初始像素点集特征信息,以及所述初始立体图像的参照平面图像的参照平面图像像素点集对应的参照像素点集特征信息,可以包括:根据特征区分度对应的三维转换修复记录生成所述初始平面图像的初始平面图像像素点集对应的所述初始像素点集特征信息,所述初始像素点集特征信息中任意相邻两个特征像素信息片段之间的特征差异信息用于确定所述特征区分度对应的三维转换修复记录;根据特征区分度对应的三维转换修复记录生成所述初始立体图像的参照平面图像的参照平面图像像素点集对应的所述参照像素点集特征信息,所述参照像素点集特征信息中任意相邻两个特征像素信息片段之间的特征差异信息用于确定所述特征区分度对应的三维转换修复记录。
步骤S2312,提取所述初始平面图像的初始平面图像像素点集在所述初始像素点集特征信息的任一特征像素信息片段的初始像素点描述信息,将所述参照像素点集特征信息中具有最高的特征区分度的特征像素信息片段确定为目标特征像素信息片段。
步骤S2313,根据平面图像空间转换网络和立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到初始像素点转换信息,并根据所述初始像素点描述信息、所述初始像素点转换信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略。
更进一步地,步骤S2313所描述的根据平面图像空间转换网络和立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到初始像素点转换信息,并根据所述初始像素点描述信息、所述初始像素点转换信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略,可以包括以下步骤S2313a-步骤S2313d所描述的像素点集。
步骤S2313a,根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到所述初始像素点转换信息。
更进一步地,步骤S2313a所描述的所述根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到所述初始像素点转换信息,可以包括以下步骤(1)-步骤(5)所描述的像素点集。
(1)根据所述平面图像空间转换网络的待转换图像汇总信息、立体图像空间转换网络的待转换图像汇总信息,将所述初始像素点描述信息映射到所述目标特征像素信息片段对应的空间图像映射集中,得到初始像素映射信息。
(2)根据所述初始平面图像的初始平面图像像素点集对应的像素类型标签和所述初始立体图像的参照平面图像的参照平面图像像素点集对应的像素类型标签之间的区域图像比对结果、区域图像汇总结果,将所述初始像素映射信息转换到所述初始立体图像的参照平面图像的参照平面图像像素点集的区域对应的动态像素点集下,得到过渡像素映射信息。
(3)将所述过渡像素映射信息映射到所述初始立体图像的参照平面图像的参照平面图像像素点集的区域对应的动态像素点集下具有空间转换修正标识的空间图像映射集中,得到过渡像素点转换信息。
(4)对所述过渡像素点转换信息进行像素点修复,并根据所述平面图像空间转换网络将修复后的过渡像素点转换信息映射到所述目标特征像素信息片段中,得到所述初始像素点转换信息。
如此,基于上述步骤(1)-(4),能够实现对过渡像素点转换信息的像素点修复,从而确保初始像素点转换信息的完整性。
步骤S2313b,在所述初始像素点描述信息所在特征像素信息片段中获取像素点标记信息,所述像素点标记信息是以所述初始像素点描述信息为全局图像描述信息的局部描述信息片段对应的标记信息。
步骤S2313c,根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述像素点标记信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到像素点转换描述信息。
步骤S2313d,根据所述初始像素点描述信息与所述像素点标记信息之间的像素点相对位置、所述初始像素点转换信息以及所述像素点转换描述信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略。
步骤S2314,以所述初始像素点转换信息为参照信息在所述目标特征像素信息片段中获取像素点深度特征信息,根据所述像素点比对策略对应的边界像素点集的图像比对顺序,将所述像素点深度特征信息映射到所述初始像素点描述信息所在特征像素信息片段,在所述初始像素点描述信息所在特征像素信息片段中得到所述像素点深度特征信息对应的动态特征转换信息,并确定所述动态特征转换信息的目标像素点描述信息。
步骤S2315,获取所述初始像素点描述信息映射到所述目标特征像素信息片段中的向量转换映射记录;根据所述动态特征转换信息与所述向量转换映射记录上的多个已转换特征向量对应的特征向量特征差别之间的特征相似度,在所述参照像素点集特征信息中遍历所述目标像素点描述信息对应的关联转换像素点集,直至获取到的所述关联转换像素点集所在特征像素信息片段的关联特征识别权重与所述目标像素点描述信息在所述初始像素点集特征信息中的关联特征识别权重一致时,停止获取下一特征像素信息片段中的关联转换像素点集,并生成所述目标像素点描述信息与最后一次获取到的关联转换像素点集之间的图像比对结果。
步骤S232,判断所述图像比对结果是否满足预设图像比对条件。
步骤S233,在所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时,对所述初始立体图像进行图像修正得到已修正立体图像;调用所述立体图像空间转换网络对所述已修正立体图像进行转换,得到所述已修正立体图像对应的参照平面图像。
在实际实施过程中,为了确保图像修正效率,尽可能减少图像修正的次数,步骤S233所描述的对所述初始立体图像进行图像修正得到已修正立体图像,进一步可以包括以下步骤S2331-步骤S2335所描述的像素点集。
步骤S2331,获取所述初始立体图像的x个三维空间图像区域,所述x为正整数。
步骤S2332,将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集。
进一步地,步骤S2332所描述的将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集,包括:按照预先设置的图像深度变化率与特征向量提取方式之间的对应关系,将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;或者,通过统计预存的已完成图像修正的三维空间图像区域中的每个子区域集的图像深度变化率和特征向量提取方式,确定图像深度变化率与特征向量提取方式之间的对应关系;根据确定的对应关系将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集。
步骤S2333,从每个三维空间图像区域包括的至少两个子区域集中确定待进行图像修正的子区域序列所处的子区域集。
步骤S2334,根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量。
进一步地,步骤S2334所描述的根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量,包括:步骤S23341,确定每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息;步骤S23342,根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,以及每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量。
更进一步地,所述至少两个子区域集包括边界子区域集和非边界子区域集,所述边界子区域集的图像深度变化率高于所述非边界子区域集的图像深度变化率。在上述像素点集的基础上,步骤S23342中,所述根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,以及每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量,可以包括以下步骤S31-步骤S33所描述的像素点集。
步骤S31,当所述待进行图像修正的子区域序列在所述x个三维空间图像区域包括的y个三维空间图像区域中处于所述边界子区域集时,根据所述y个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述y个三维空间图像区域包括的待进行图像修正的子区域序列中,确定特征向量时序分类信息的类别统计值最高的待进行图像修正的子区域序列作为第一候选待确定特征向量序列,所述y为小于x的正整数。
步骤S32,当所述待进行图像修正的子区域序列在所述x个三维空间图像区域包括的z个三维空间图像区域中处于所述非边界子区域集时,根据所述z个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述z个三维空间图像区域包括的待进行图像修正的子区域序列中,确定特征向量时序分类信息的类别统计值最高的待进行图像修正的子区域序列作为第二候选待确定特征向量序列,所述z为小于x的正整数,且所述z与所述y之和等于所述x。
步骤S33,根据所述第一候选待确定特征向量序列的特征向量时序分类信息和所述第二候选待确定特征向量序列的特征向量时序分类信息,从所述第一候选待确定特征向量序列和所述第二候选待确定特征向量序列中确定至少一个关联区域特征向量。
这样一来,能够提高图像修正的效率,避免多次进行图像修正。
步骤S2335,根据所述至少一个关联区域特征向量确定所述待进行图像修正的子区域序列对应的特征向量修正结果;通过所述特征向量修正结果,对所述初始立体图像对应的每个三维空间图像区域进行图像修正,得到所述已修正立体图像。
如此设计,基于上述步骤S2331-步骤S2335,可以确保图像修正效率,尽可能减少图像修正的次数。
步骤S234,将所述初始平面图像和所述已修正立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果。
步骤S235,在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果满足所述预设图像比对条件时,将所述已修正立体图像进行显示。
步骤S236,在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时,对所述已修正立体图像继续进行图像修正,直至所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果满足所述预设图像比对条件。
可以理解,通过实施上述步骤S231-步骤S236,能够在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时实现对初始立体图像或者已修正立体图像的多次迭代图像修正,从而确保最终显示的已修正立体图像的空间转换质量,此外,上述多次迭代图像修正是基于图像处理服务端10进行的,因此能够确保迭代图像修正的速率。
基于上述同样的发明构思,还提供了如图3所示的平面设计空间转换装置20,所述装置至少包括以下功能模块。
第一空间转换模块21,用于调用预先完成训练的平面图像空间转换网络将所述平面设计业务端传输的初始平面图像转换为初始立体图像。
第二空间转换模块22,用于调用预先完成训练的立体图像空间转换网络对所述初始立体图像进行转换,得到所述初始立体图像对应的参照平面图像;其中,所述初始立体图像与所述初始平面图像为不同维度的图像,所述初始立体图像的参照平面图像和所述初始平面图像为相同维度的图像。
空间转换优化模块23,用于根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理。
其中,关于上述第一空间转换模块21、第二空间转换模块22以及空间转换优化模块23的描述可以参阅对图2所示的方法的描述,在此不做赘述。
进一步地,空间转换优化模块23,可以用于:
判断所述图像比对结果是否满足预设图像比对条件;
在所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时,对所述初始立体图像进行图像修正得到已修正立体图像;调用所述立体图像空间转换网络对所述已修正立体图像进行转换,得到所述已修正立体图像对应的参照平面图像;
将所述初始平面图像和所述已修正立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果;
在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果满足所述预设图像比对条件时,将所述已修正立体图像进行显示。
进一步地,空间转换优化模块23,可以用于:
提取所述初始平面图像的初始平面图像像素点集以及所述初始立体图像的参照平面图像的参照平面图像像素点集;生成所述初始平面图像的初始平面图像像素点集对应的初始像素点集特征信息,以及所述初始立体图像的参照平面图像的参照平面图像像素点集对应的参照像素点集特征信息;其中,所述初始像素点集特征信息和所述参照像素点集特征信息分别包括多个具有不同的特征区分度的特征像素信息片段;
提取所述初始平面图像的初始平面图像像素点集在所述初始像素点集特征信息的任一特征像素信息片段的初始像素点描述信息,将所述参照像素点集特征信息中具有最高的特征区分度的特征像素信息片段确定为目标特征像素信息片段;
根据平面图像空间转换网络和立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到初始像素点转换信息,并根据所述初始像素点描述信息、所述初始像素点转换信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略;
以所述初始像素点转换信息为参照信息在所述目标特征像素信息片段中获取像素点深度特征信息,根据所述像素点比对策略对应的边界像素点集的图像比对顺序,将所述像素点深度特征信息映射到所述初始像素点描述信息所在特征像素信息片段,在所述初始像素点描述信息所在特征像素信息片段中得到所述像素点深度特征信息对应的动态特征转换信息,并确定所述动态特征转换信息的目标像素点描述信息;
获取所述初始像素点描述信息映射到所述目标特征像素信息片段中的向量转换映射记录;根据所述动态特征转换信息与所述向量转换映射记录上的多个已转换特征向量对应的特征向量特征差别之间的特征相似度,在所述参照像素点集特征信息中遍历所述目标像素点描述信息对应的关联转换像素点集,直至获取到的所述关联转换像素点集所在特征像素信息片段的关联特征识别权重与所述目标像素点描述信息在所述初始像素点集特征信息中的关联特征识别权重一致时,停止获取下一特征像素信息片段中的关联转换像素点集,并生成所述目标像素点描述信息与最后一次获取到的关联转换像素点集之间的图像比对结果。
进一步地,空间转换优化模块23,可以用于:
根据特征区分度对应的三维转换修复记录生成所述初始平面图像的初始平面图像像素点集对应的所述初始像素点集特征信息,所述初始像素点集特征信息中任意相邻两个特征像素信息片段之间的特征差异信息用于确定所述特征区分度对应的三维转换修复记录;
根据特征区分度对应的三维转换修复记录生成所述初始立体图像的参照平面图像的参照平面图像像素点集对应的所述参照像素点集特征信息,所述参照像素点集特征信息中任意相邻两个特征像素信息片段之间的特征差异信息用于确定所述特征区分度对应的三维转换修复记录。
进一步地,空间转换优化模块23,可以用于:
根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到所述初始像素点转换信息;
在所述初始像素点描述信息所在特征像素信息片段中获取像素点标记信息,所述像素点标记信息是以所述初始像素点描述信息为全局图像描述信息的局部描述信息片段对应的标记信息;
根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述像素点标记信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到像素点转换描述信息;
根据所述初始像素点描述信息与所述像素点标记信息之间的像素点相对位置、所述初始像素点转换信息以及所述像素点转换描述信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略。
进一步地,空间转换优化模块23,可以用于:
根据所述平面图像空间转换网络的待转换图像汇总信息、立体图像空间转换网络的待转换图像汇总信息,将所述初始像素点描述信息映射到所述目标特征像素信息片段对应的空间图像映射集中,得到初始像素映射信息;
根据所述初始平面图像的初始平面图像像素点集对应的像素类型标签和所述初始立体图像的参照平面图像的参照平面图像像素点集对应的像素类型标签之间的区域图像比对结果、区域图像汇总结果,将所述初始像素映射信息转换到所述初始立体图像的参照平面图像的参照平面图像像素点集的区域对应的动态像素点集下,得到过渡像素映射信息;
将所述过渡像素映射信息映射到所述初始立体图像的参照平面图像的参照平面图像像素点集的区域对应的动态像素点集下具有空间转换修正标识的空间图像映射集中,得到过渡像素点转换信息;
对所述过渡像素点转换信息进行像素点修复,并根据所述平面图像空间转换网络将修复后的过渡像素点转换信息映射到所述目标特征像素信息片段中,得到所述初始像素点转换信息。
进一步地,空间转换优化模块23,可以用于:
获取所述初始立体图像的x个三维空间图像区域,所述x为正整数;
将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;
从每个三维空间图像区域包括的至少两个子区域集中确定待进行图像修正的子区域序列所处的子区域集;
根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量;
根据所述至少一个关联区域特征向量确定所述待进行图像修正的子区域序列对应的特征向量修正结果;通过所述特征向量修正结果,对所述初始立体图像对应的每个三维空间图像区域进行图像修正,得到所述已修正立体图像;
其中,所述将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集,包括:按照预先设置的图像深度变化率与特征向量提取方式之间的对应关系,将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;或者,通过统计预存的已完成图像修正的三维空间图像区域中的每个子区域集的图像深度变化率和特征向量提取方式,确定图像深度变化率与特征向量提取方式之间的对应关系;根据确定的对应关系将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;
其中,所述根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量,包括:确定每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息;根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,以及每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量;
其中,所述至少两个子区域集包括边界子区域集和非边界子区域集,所述边界子区域集的图像深度变化率高于所述非边界子区域集的图像深度变化率;所述根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,以及每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量,包括:
当所述待进行图像修正的子区域序列在所述x个三维空间图像区域包括的y个三维空间图像区域中处于所述边界子区域集时,根据所述y个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述y个三维空间图像区域包括的待进行图像修正的子区域序列中,确定特征向量时序分类信息的类别统计值最高的待进行图像修正的子区域序列作为第一候选待确定特征向量序列,所述y为小于x的正整数;
当所述待进行图像修正的子区域序列在所述x个三维空间图像区域包括的z个三维空间图像区域中处于所述非边界子区域集时,根据所述z个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述z个三维空间图像区域包括的待进行图像修正的子区域序列中,确定特征向量时序分类信息的类别统计值最高的待进行图像修正的子区域序列作为第二候选待确定特征向量序列,所述z为小于x的正整数,且所述z与所述y之和等于所述x;
根据所述第一候选待确定特征向量序列的特征向量时序分类信息和所述第二候选待确定特征向量序列的特征向量时序分类信息,从所述第一候选待确定特征向量序列和所述第二候选待确定特征向量序列中确定至少一个关联区域特征向量。
进一步地,空间转换优化模块23,还用于:
在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时,对所述已修正立体图像继续进行图像修正,直至所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果满足所述预设图像比对条件。
基于上述同样的发明构思,还提供了一种如图4所示的平面设计空间转换***40,包括互相之间通信的图像处理服务端10和平面设计业务端30。
所述平面设计业务端30用于:向所述图像处理服务端传输初始平面图像。
所述图像处理服务端10用于:调用预先完成训练的平面图像空间转换网络将所述初始平面图像转换为初始立体图像;调用预先完成训练的立体图像空间转换网络对所述初始立体图像进行转换,得到所述初始立体图像对应的参照平面图像;其中,所述初始立体图像与所述初始平面图像为不同维度的图像,所述初始立体图像的参照平面图像和所述初始平面图像为相同维度的图像;根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理。
上述***的进一步实施方式可以参阅对图2所示的方法的说明,因此在此不作更多说明。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,图像处理服务端10,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种平面设计空间转换方法,其特征在于,应用于与所述平面设计业务端通信的图像处理服务端,所述方法包括:
调用预先完成训练的平面图像空间转换网络将所述平面设计业务端传输的初始平面图像转换为初始立体图像;
调用预先完成训练的立体图像空间转换网络对所述初始立体图像进行转换,得到所述初始立体图像对应的参照平面图像;其中,所述初始立体图像与所述初始平面图像为不同维度的图像,所述初始立体图像的参照平面图像和所述初始平面图像为相同维度的图像;
根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理。
2.根据权利要求1所述的方法,其特征在于,根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理,包括:
将所述初始平面图像和所述初始立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果;
判断所述图像比对结果是否满足预设图像比对条件;
在所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时,对所述初始立体图像进行图像修正得到已修正立体图像;调用所述立体图像空间转换网络对所述已修正立体图像进行转换,得到所述已修正立体图像对应的参照平面图像;
将所述初始平面图像和所述已修正立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果;
在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果满足所述预设图像比对条件时,将所述已修正立体图像进行显示。
3.根据权利要求2所述的方法,其特征在于,将所述初始平面图像和所述初始立体图像的参照平面图像进行图像比对,得到所述初始平面图像和所述初始立体图像的参照平面图像对应的图像比对结果,包括:
提取所述初始平面图像的初始平面图像像素点集以及所述初始立体图像的参照平面图像的参照平面图像像素点集;生成所述初始平面图像的初始平面图像像素点集对应的初始像素点集特征信息,以及所述初始立体图像的参照平面图像的参照平面图像像素点集对应的参照像素点集特征信息;其中,所述初始像素点集特征信息和所述参照像素点集特征信息分别包括多个具有不同的特征区分度的特征像素信息片段;
提取所述初始平面图像的初始平面图像像素点集在所述初始像素点集特征信息的任一特征像素信息片段的初始像素点描述信息,将所述参照像素点集特征信息中具有最高的特征区分度的特征像素信息片段确定为目标特征像素信息片段;
根据平面图像空间转换网络和立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到初始像素点转换信息,并根据所述初始像素点描述信息、所述初始像素点转换信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略;
以所述初始像素点转换信息为参照信息在所述目标特征像素信息片段中获取像素点深度特征信息,根据所述像素点比对策略对应的边界像素点集的图像比对顺序,将所述像素点深度特征信息映射到所述初始像素点描述信息所在特征像素信息片段,在所述初始像素点描述信息所在特征像素信息片段中得到所述像素点深度特征信息对应的动态特征转换信息,并确定所述动态特征转换信息的目标像素点描述信息;
获取所述初始像素点描述信息映射到所述目标特征像素信息片段中的向量转换映射记录;根据所述动态特征转换信息与所述向量转换映射记录上的多个已转换特征向量对应的特征向量特征差别之间的特征相似度,在所述参照像素点集特征信息中遍历所述目标像素点描述信息对应的关联转换像素点集,直至获取到的所述关联转换像素点集所在特征像素信息片段的关联特征识别权重与所述目标像素点描述信息在所述初始像素点集特征信息中的关联特征识别权重一致时,停止获取下一特征像素信息片段中的关联转换像素点集,并生成所述目标像素点描述信息与最后一次获取到的关联转换像素点集之间的图像比对结果。
4.根据权利要求3所述的方法,其特征在于,
其中,所述生成所述初始平面图像的初始平面图像像素点集对应的初始像素点集特征信息,以及所述初始立体图像的参照平面图像的参照平面图像像素点集对应的参照像素点集特征信息,包括:
根据特征区分度对应的三维转换修复记录生成所述初始平面图像的初始平面图像像素点集对应的所述初始像素点集特征信息,所述初始像素点集特征信息中任意相邻两个特征像素信息片段之间的特征差异信息用于确定所述特征区分度对应的三维转换修复记录;
根据特征区分度对应的三维转换修复记录生成所述初始立体图像的参照平面图像的参照平面图像像素点集对应的所述参照像素点集特征信息,所述参照像素点集特征信息中任意相邻两个特征像素信息片段之间的特征差异信息用于确定所述特征区分度对应的三维转换修复记录;
其中,所述根据平面图像空间转换网络和立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到初始像素点转换信息,并根据所述初始像素点描述信息、所述初始像素点转换信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略,包括:
根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到所述初始像素点转换信息;
在所述初始像素点描述信息所在特征像素信息片段中获取像素点标记信息,所述像素点标记信息是以所述初始像素点描述信息为全局图像描述信息的局部描述信息片段对应的标记信息;
根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述像素点标记信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到像素点转换描述信息;
根据所述初始像素点描述信息与所述像素点标记信息之间的像素点相对位置、所述初始像素点转换信息以及所述像素点转换描述信息,生成所述初始平面图像的初始平面图像像素点集和所述初始立体图像的参照平面图像的参照平面图像像素点集之间的像素点比对策略;
其中,所述根据所述平面图像空间转换网络和所述立体图像空间转换网络将所述初始像素点描述信息映射到所述目标特征像素信息片段,在所述目标特征像素信息片段中得到所述初始像素点转换信息,包括:
根据所述平面图像空间转换网络的待转换图像汇总信息、立体图像空间转换网络的待转换图像汇总信息,将所述初始像素点描述信息映射到所述目标特征像素信息片段对应的空间图像映射集中,得到初始像素映射信息;
根据所述初始平面图像的初始平面图像像素点集对应的像素类型标签和所述初始立体图像的参照平面图像的参照平面图像像素点集对应的像素类型标签之间的区域图像比对结果、区域图像汇总结果,将所述初始像素映射信息转换到所述初始立体图像的参照平面图像的参照平面图像像素点集的区域对应的动态像素点集下,得到过渡像素映射信息;
将所述过渡像素映射信息映射到所述初始立体图像的参照平面图像的参照平面图像像素点集的区域对应的动态像素点集下具有空间转换修正标识的空间图像映射集中,得到过渡像素点转换信息;
对所述过渡像素点转换信息进行像素点修复,并根据所述平面图像空间转换网络将修复后的过渡像素点转换信息映射到所述目标特征像素信息片段中,得到所述初始像素点转换信息。
5.根据权利要求1所述的方法,其特征在于,对所述初始立体图像进行图像修正得到已修正立体图像,包括:
获取所述初始立体图像的x个三维空间图像区域,所述x为正整数;
将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;
从每个三维空间图像区域包括的至少两个子区域集中确定待进行图像修正的子区域序列所处的子区域集;
根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量;
根据所述至少一个关联区域特征向量确定所述待进行图像修正的子区域序列对应的特征向量修正结果;通过所述特征向量修正结果,对所述初始立体图像对应的每个三维空间图像区域进行图像修正,得到所述已修正立体图像。
6.根据权利要求5所述的方法,其特征在于,所述将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集,包括:按照预先设置的图像深度变化率与特征向量提取方式之间的对应关系,将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集;或者,通过统计预存的已完成图像修正的三维空间图像区域中的每个子区域集的图像深度变化率和特征向量提取方式,确定图像深度变化率与特征向量提取方式之间的对应关系;根据确定的对应关系将每个三维空间图像区域划分为图像深度变化率不同的至少两个子区域集。
7.根据权利要求6所述的方法,其特征在于,所述根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量,包括:确定每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息;根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,以及每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量。
8.根据权利要求7所述的方法,其特征在于,所述至少两个子区域集包括边界子区域集和非边界子区域集,所述边界子区域集的图像深度变化率高于所述非边界子区域集的图像深度变化率;所述根据所述待进行图像修正的子区域序列在每个三维空间图像区域中所处的子区域集,以及每个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述x个三维空间图像区域包括的待进行图像修正的子区域序列中确定至少一个关联区域特征向量,包括:
当所述待进行图像修正的子区域序列在所述x个三维空间图像区域包括的y个三维空间图像区域中处于所述边界子区域集时,根据所述y个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述y个三维空间图像区域包括的待进行图像修正的子区域序列中,确定特征向量时序分类信息的类别统计值最高的待进行图像修正的子区域序列作为第一候选待确定特征向量序列,所述y为小于x的正整数;
当所述待进行图像修正的子区域序列在所述x个三维空间图像区域包括的z个三维空间图像区域中处于所述非边界子区域集时,根据所述z个三维空间图像区域包括的待进行图像修正的子区域序列的特征向量时序分类信息,从所述z个三维空间图像区域包括的待进行图像修正的子区域序列中,确定特征向量时序分类信息的类别统计值最高的待进行图像修正的子区域序列作为第二候选待确定特征向量序列,所述z为小于x的正整数,且所述z与所述y之和等于所述x;
根据所述第一候选待确定特征向量序列的特征向量时序分类信息和所述第二候选待确定特征向量序列的特征向量时序分类信息,从所述第一候选待确定特征向量序列和所述第二候选待确定特征向量序列中确定至少一个关联区域特征向量。
9.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果不满足所述预设图像比对条件时,对所述已修正立体图像继续进行图像修正,直至所述初始平面图像和所述已修正立体图像的参照平面图像对应的图像比对结果满足所述预设图像比对条件。
10.一种平面设计空间转换***,其特征在于,包括互相之间通信的图像处理服务端和平面设计业务端;
所述平面设计业务端用于:向所述图像处理服务端传输初始平面图像;
所述图像处理服务端用于:调用预先完成训练的平面图像空间转换网络将所述初始平面图像转换为初始立体图像;调用预先完成训练的立体图像空间转换网络对所述初始立体图像进行转换,得到所述初始立体图像对应的参照平面图像;其中,所述初始立体图像与所述初始平面图像为不同维度的图像,所述初始立体图像的参照平面图像和所述初始平面图像为相同维度的图像;根据所述初始平面图像以及所述初始立体图像的参照平面图像,对所述初始立体图像进行空间转换优化处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110062278.1A CN112561793B (zh) | 2021-01-18 | 2021-01-18 | 一种平面设计空间转换方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110062278.1A CN112561793B (zh) | 2021-01-18 | 2021-01-18 | 一种平面设计空间转换方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112561793A true CN112561793A (zh) | 2021-03-26 |
CN112561793B CN112561793B (zh) | 2021-07-06 |
Family
ID=75035654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110062278.1A Active CN112561793B (zh) | 2021-01-18 | 2021-01-18 | 一种平面设计空间转换方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112561793B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139217A (zh) * | 2021-04-30 | 2021-07-20 | 深圳市行识未来科技有限公司 | 一种平面设计与三维空间设计的转换*** |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010045979A1 (en) * | 1995-03-29 | 2001-11-29 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information, and for image processing using the depth information |
US20070024614A1 (en) * | 2005-07-26 | 2007-02-01 | Tam Wa J | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
US20110043540A1 (en) * | 2007-03-23 | 2011-02-24 | James Arthur Fancher | System and method for region classification of 2d images for 2d-to-3d conversion |
CN102098528A (zh) * | 2011-01-28 | 2011-06-15 | 清华大学 | 一种平面图像的立体转换方法及装置 |
CN102722862A (zh) * | 2012-05-22 | 2012-10-10 | 山东大学 | 采用优化技术的单张图片半自动二维转三维方法和装置 |
CN103260039A (zh) * | 2012-02-17 | 2013-08-21 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
CN104063843A (zh) * | 2014-06-18 | 2014-09-24 | 长春理工大学 | 一种基于中心投影的集成立体成像元素图像生成的方法 |
CN104834797A (zh) * | 2015-05-29 | 2015-08-12 | 天津市营宸古建筑工程有限责任公司 | 一种仿古建筑砼翼角基于计算机辅助设计及施工方法 |
CN106997366A (zh) * | 2016-01-26 | 2017-08-01 | 视辰信息科技(上海)有限公司 | 数据库构建方法、增强现实融合追踪方法及终端设备 |
CN108629801A (zh) * | 2018-05-14 | 2018-10-09 | 华南理工大学 | 一种视频序列的三维人体模型姿态与形状重构方法 |
US20190057487A1 (en) * | 2017-08-16 | 2019-02-21 | Via Technologies, Inc. | Method and apparatus for generating three-dimensional panoramic video |
CN111008947A (zh) * | 2019-12-09 | 2020-04-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、终端设备及存储介质 |
CN111243085A (zh) * | 2020-01-20 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 图像重建网络模型的训练方法、装置和电子设备 |
CN111340943A (zh) * | 2020-02-26 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备及存储介质 |
-
2021
- 2021-01-18 CN CN202110062278.1A patent/CN112561793B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010045979A1 (en) * | 1995-03-29 | 2001-11-29 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information, and for image processing using the depth information |
US20070024614A1 (en) * | 2005-07-26 | 2007-02-01 | Tam Wa J | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
US20110043540A1 (en) * | 2007-03-23 | 2011-02-24 | James Arthur Fancher | System and method for region classification of 2d images for 2d-to-3d conversion |
CN102098528A (zh) * | 2011-01-28 | 2011-06-15 | 清华大学 | 一种平面图像的立体转换方法及装置 |
CN103260039A (zh) * | 2012-02-17 | 2013-08-21 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
CN102722862A (zh) * | 2012-05-22 | 2012-10-10 | 山东大学 | 采用优化技术的单张图片半自动二维转三维方法和装置 |
CN104063843A (zh) * | 2014-06-18 | 2014-09-24 | 长春理工大学 | 一种基于中心投影的集成立体成像元素图像生成的方法 |
CN104834797A (zh) * | 2015-05-29 | 2015-08-12 | 天津市营宸古建筑工程有限责任公司 | 一种仿古建筑砼翼角基于计算机辅助设计及施工方法 |
CN106997366A (zh) * | 2016-01-26 | 2017-08-01 | 视辰信息科技(上海)有限公司 | 数据库构建方法、增强现实融合追踪方法及终端设备 |
US20190057487A1 (en) * | 2017-08-16 | 2019-02-21 | Via Technologies, Inc. | Method and apparatus for generating three-dimensional panoramic video |
CN108629801A (zh) * | 2018-05-14 | 2018-10-09 | 华南理工大学 | 一种视频序列的三维人体模型姿态与形状重构方法 |
CN111008947A (zh) * | 2019-12-09 | 2020-04-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、终端设备及存储介质 |
CN111243085A (zh) * | 2020-01-20 | 2020-06-05 | 北京字节跳动网络技术有限公司 | 图像重建网络模型的训练方法、装置和电子设备 |
CN111340943A (zh) * | 2020-02-26 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
I. HONG .ETAL: "A Summing Tree Structural motion correction algorithm for brain PET images using 3D to 2D projection", 《IEEE》 * |
朱宗玖 等: "三维数据降维处理的实现方法", 《光电子·激光》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139217A (zh) * | 2021-04-30 | 2021-07-20 | 深圳市行识未来科技有限公司 | 一种平面设计与三维空间设计的转换*** |
CN113139217B (zh) * | 2021-04-30 | 2023-08-29 | 深圳市行识未来科技有限公司 | 一种平面设计与三维空间设计的转换*** |
Also Published As
Publication number | Publication date |
---|---|
CN112561793B (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107944450B (zh) | 一种车牌识别方法及装置 | |
CN109948590B (zh) | 姿态问题检测方法及装置 | |
CN111178355B (zh) | ***识别方法、装置和存储介质 | |
CN110991533B (zh) | 图像识别方法、识别装置、终端设备及可读存储介质 | |
CN107392078B (zh) | 多角度扫描的方法、终端设备及计算机可读存储介质 | |
US9430711B2 (en) | Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program | |
US20180253852A1 (en) | Method and device for locating image edge in natural background | |
CN113032580B (zh) | 关联档案推荐方法、***及电子设备 | |
CN109348731A (zh) | 一种图像匹配的方法及装置 | |
CN110889437B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN110928889A (zh) | 训练模型更新方法、设备以及计算机存储介质 | |
CN112380978A (zh) | 基于关键点定位的多人脸检测方法、***及存储介质 | |
CN112561793B (zh) | 一种平面设计空间转换方法及*** | |
CN113420580B (zh) | 用于对二维码进行辅助定位符定位的方法及装置、二维码扫描设备、存储介质 | |
CN112767412A (zh) | 车辆部件级分割方法、装置以及电子设备 | |
CN115330803B (zh) | 一种表面缺陷数据增强方法、装置、电子设备及存储介质 | |
CN112464753B (zh) | 图像中关键点的检测方法、检测装置及终端设备 | |
CN115734072A (zh) | 一种工业自动化设备的物联网集中监控方法及装置 | |
CN113971630A (zh) | 三维结构图转换二维三视图的投图姿态推荐方法和装置 | |
CN107092702B (zh) | 基于重叠比例的地理信息要素位置对比检查方法及装置 | |
CN108665434B (zh) | 图像合成方法及装置 | |
CN113128496A (zh) | 一种从图像中提取结构化数据的方法、装置和设备 | |
CN112527688B (zh) | 页面元素的测试用例处理方法及*** | |
CN110728120A (zh) | 证件识别过程中自动填入拼音的方法、装置和存储介质 | |
CN117132810B (zh) | 目标检测方法、模型训练方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |