CN109960872B - Ar虚拟软装搭配管理***及其工作方法 - Google Patents

Ar虚拟软装搭配管理***及其工作方法 Download PDF

Info

Publication number
CN109960872B
CN109960872B CN201910223744.2A CN201910223744A CN109960872B CN 109960872 B CN109960872 B CN 109960872B CN 201910223744 A CN201910223744 A CN 201910223744A CN 109960872 B CN109960872 B CN 109960872B
Authority
CN
China
Prior art keywords
picture
scene
light
shadow
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910223744.2A
Other languages
English (en)
Other versions
CN109960872A (zh
Inventor
徐耀华
徐耀文
郑霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Keju Network Technology Co ltd
Original Assignee
Nanjing Keju Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Keju Network Technology Co ltd filed Critical Nanjing Keju Network Technology Co ltd
Priority to CN201910223744.2A priority Critical patent/CN109960872B/zh
Publication of CN109960872A publication Critical patent/CN109960872A/zh
Application granted granted Critical
Publication of CN109960872B publication Critical patent/CN109960872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/02CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/04Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Structural Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种AR虚拟软装搭配管理***,包括图片接收模块、素材处理模块、场景制作模块、软装合成模块;所述软装合成模块包括场景调用子模块、素材调用子模块、合成子模块、光影重构子模块。本发明能够将软装商品通过简单的拖拉、移动、缩放操作,在虚拟的样板间场景中放置并实时呈现渲染效果,既能够将实拍的素材智能融入到虚拟场景中,也能够将虚拟的软装商品融入到实拍的房间照片中。本发明采用光影估计和重构算法,在确保渲染质量的前提下,加快了渲染速度;对硬件配置要求低,适于移动端使用。

Description

AR虚拟软装搭配管理***及其工作方法
技术领域
本发明涉及图像处理技术领域,具体而言涉及一种AR虚拟软装搭配管理***及其工作方法。
背景技术
软装设计是一项复杂的工作,需要专业的人员使用专业工具耗时耗力完成,软装的销售人员期望这么一套***,能够方便携带并快捷的完成设计任务,同时完美的展示给消费者,消费者更希望能够直接在自己家中的实拍照片上开始设计,所见即所得,看着效果来选材,看到效果再装修。然而,这种想法在具体实现过程中遇到很多的困难,如光的照射与渐变,商品的透视,拍照图片的偏色,商品和场景的融合,材质和纹理的展现等等,如果只是简单的将商品放入场景,这样获得的效果图没有光影,显得很假、很难看。
其中一种软装设计专业的工具是3dMax,3dMax是一款基于PC***的三维动画渲染和制作软件,具备最强大的建模和光影渲染功能,能够渲染出照片级别的装修效果图。3dMax采用的渲染算法是根据点光源的性质、位置,衰减,光照物体的位置,材质等等参数逐点计算光渲染效果,多个光源需要进行多次计算叠加,散射和反射光形成的是无穷光源,这种渲染方法可以精致的还原各种情况下的光影效果,不过速度非常慢,一张2048*1936分辨率的图片仅渲染时间就长达2~3个小时,还是在高配置的PC上。为了提升渲染的速度,主流的思路是使用计算机群渲染,就是将渲染工作分配到多台计算机上并行执行,在此基础上演化到使用成千上万台大规模服务器群的“云渲染”。云渲染百倍千倍的提升了渲染速度,目前市场上最快的高清渲染能够达到10秒出图,但即使是这样,要在计算和存储能力远弱于PC的移动设备如手机端,实现以毫秒为单位的渲染速度仍然是不可能的。为了进一步提升渲染速度,另一种主流思路是牺牲性能,忽略影响权重较低的因素如反射光,散射光等等,从而大幅提升运算速度,达到实时运算效果,典型的代表是unity,应用场所是游戏,unity的问题在于不够美,这在软装设计领域是致命的。第三条思路称之为“烘培”,是将设定好的场景和素材提前渲染并保存结果参数,使用的时候将即设的素材拖入即设的场景中摆放,实现所见即所得的设计操作,代表软件是UE4,UE4仅从速度和效果上来看是能够满足软装设计的需求的,因此也越来越受关注,不过现阶段在软装领域极少使用,原因是UE4的场景文件大,场景和素材制作成本非常高,对PC的要求也极为苛刻,目前UE4还只是用于高端游戏制作。
广大软装消费者最担心的就是花最贵的钱买最好看的商品,回家却装出最难看的房子,因此,他们需要的并不是专家级的复杂设计工具,而是小巧、方便的实用工具,能运行在移动设备上,通过简单的操作,快速完成搭配构想,获取较为精美的软装搭配效果图。***不仅适用于消费者选择心仪且搭配效果最好的商品,更适合于一线软装销售人员为消费者现场展示和推荐商品、以及根据消费者的需求快速调整设计方案。
发明内容
本发明目的在于提供一种AR虚拟软装搭配管理***及其工作方法,能将软装商品通过简单的拖拉、移动、缩放操作,在虚拟的样板间场景中放置并实时呈现渲染效果,既能够将实拍的素材智能融入到虚拟场景中,也能够将虚拟的软装商品融入到实拍的房间照片中;采用光影估计和重构算法,在确保渲染质量的前提下,加快了渲染速度;对硬件配置要求低,适于移动端使用。
为达成上述目的,结合图1,本发明提出一种AR虚拟软装搭配管理***,所述AR虚拟软装搭配管理***包括图片接收模块、素材处理模块、场景制作模块、软装合成模块;
所述图片接收模块用于接收外部导入的场景图片和素材图片;
所述素材处理模块用于将接收到的素材图片按照设定规则进行处理以获取素材的单元图和/或整体结构图,将获取的素材的单元图和/或整体结构图保存至素材数据库;
所述场景制作模块用于将接收到的场景图片依次进行区域划分、光影信息估计后,将场景图片、区域信息、光影信息组合成场景数据包保存至场景数据库;
所述软装合成模块包括场景调用子模块、素材调用子模块、合成子模块、光影重构子;
所述场景调用子模块用于从场景数据库中调用对应的场景数据包;
所述素材调用子模块用于从素材数据库中调用对应的素材图片;
所述合成子模块用于将调用的素材图片合成至调用的场景数据包所包含的场景图片中,以生成合成图片;
所述光影重构子模块用于对合成图片进行光影效果渲染。
结合图2,基于前述AR虚拟软装搭配管理***,本发明还提及一种AR虚拟软装搭配管理***的工作方法,所述工作方法包括以下步骤:
S11:接收墙纸素材图片,对接收到的墙纸素材图片进行预处理和纹理增强处理;
S12:从墙纸素材图片选择一个区域作为最小周期图案,采用可调整的线条划分、标记出最小周期图案区域,以及
如果接收到外部发送的区域调整信号,按照区域调整信号重新调整最小周期图案区域;
S13:接收外部发送的区域确认信号,对最小周期图案区域做光影均衡处理后,变换获取待确定单元图;
S14:验证所述待确定单元图是否合格,若验证合格,将待确定单元图作为所述墙纸素材图片的墙纸单元图,结束流程,否则,返回步骤S12。
结合图3,进一步的实施例中,所述工作方法还包括以下步骤:
S21:接收场景图片,按照区域类型将场景图片划分成若干个选区;
S22:擦除每个选区中被遮挡和/或不属于该选区的部分;
S23:依次采用膨胀和腐蚀引擎、散点吸附消除算法以消除选区和选区之间的边缝、散点;
S24:为每个选区设置像素值,将每个选区的像素值记录在mask.png文件中,各选区对应的像素值不同;
S25:采用光照强度提取引擎估算出各个选区的光强参数,将估算出的光强参数保存在graypara.xml文件中;
S26:采用光影估计引擎估算各个选区的光影参数,将估算出的光影参数保存在light.jpg文件中;
S28:将场景图片,以及对应的mask.png文件、graypara.xml文件、light.jpg文件组合成场景数据包;
S27:验证场景数据包是否合格,若验证合格,将场景数据包保存至场景数据库,结束流程,否则,返回步骤S21。
结合图4,进一步的实施例中,所述工作方法还包括以下步骤:
接收外部发送的合成信息,所述合成信息中包括选区信息,从mask.png文件中检索与所述选区的像素值对应的像素点,将素材图片合成至场景文件中对应的位置,生成合成图片;
将合成图片中更换素材的选区的像素点的像素值置为255,其他像素点的像素值置0,对合成图片进行均值滤波;
提取所述更换素材的选区的四个角点坐标,估计透视映射矩阵,调整素材图片和场景图片之间的透视关系。
进一步的实施例中,所述工作方法还包括以下步骤:
采用四倍高清算法引擎,对场景图片中的更换素材做高清处理;
采用光影重构算法引擎,调用对应场景数据包中的graypara.xml文件、light.jpg文件,将场景图片被更换区域的光影信息添加至合成图片中对应的位置;
调整更换素材的选区的亮度和饱和度。
优选的,所述AR虚拟软装搭配管理***安装在终端设备上,所述终端设备通过无线投屏器连接至高清大屏设备,通过高清大屏设备同步显示终端设备显示界面,以实现更佳的显示效果。
以上本发明的技术方案,与现有相比,其显著的有益效果在于:
1)能将软装商品通过简单的拖拉、移动、缩放操作,在虚拟的样板间场景中放置并实时呈现渲染效果。
2)对硬件配置要求低,适于移动端使用,通过无线投屏器将移动端的图片和操作过程通过高清大屏设备同步显示,便于用户查看。
3)采用光影估计和重构算法,在确保渲染质量的前提下,加快了渲染速度。
4)能够实现不同光影背景下的素材图片和场景图片的有效融合,例如,既能够将实拍的素材智能融入到虚拟场景中,也能够将虚拟的软装商品融入到实拍的房间照片中。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1是本发明的AR虚拟软装搭配管理***的结构示意图。
图2是本发明的AR虚拟软装搭配管理***的墙纸素材处理方法流程图。
图3是本发明的AR虚拟软装搭配管理***的场景素材处理方法流程图。
图4是本发明的AR虚拟软装搭配管理***的图片合成及光影渲染方法流程图。
图5是本发明的具体实施例二的原场景图片示意图。
图6是本发明的具体实施例二的更换地毯后的合成图片示意图。
图7是本发明的使用光影均衡算法前和使用后的素材处理结果对比图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
具体实施例一
结合图1,本发明提及一种AR虚拟软装搭配管理***,所述AR虚拟软装搭配管理***包括图片接收模块、素材处理模块、场景制作模块、软装合成模块。
优选的,所述AR虚拟软装搭配管理***安装在终端设备上,所述终端设备通过无线投屏器连接至高清大屏设备,通过高清大屏设备同步显示终端设备显示界面,以实现更佳的显示效果。
例如将所述AR虚拟软装搭配管理***安装在一个移动设备上(如手机、平板电脑等等),通过无线投屏器,投射到高清大屏设备(如电视、显示器、投影仪等)上。软装设计效果配合高清大屏幕展示,具有很强的视觉冲击力。
实现前述投屏效果的其中一种硬件连接方式如下:
无线投屏器一端接高清大屏幕(电视/投影仪/显示屏)的HDMI口,另一端接USB口供电。此时高清屏幕上会显示投屏器参数及操作流程。
手机/平板下载AR虚拟软装搭配管理***app并安装,手机连入无线投屏器的WIFI,依据高清屏幕操作提示配置好无线投屏器参数。手机上选择屏幕镜像(或无线投屏/多屏互动),此时手机上的所有软件操作将会在高清屏幕上同步显示。
优选的,使终端设备、无线投屏器、高清大屏设备处于同一WIFI环境下。
应当理解,所述AR虚拟软装搭配管理***可以独立使用,透屏到高清设备是为了通过更大的屏幕展示以查看图片中的高清细节,所述AR虚拟软装搭配管理***的所有功能均在终端设备上完成,因此,所述AR虚拟软装搭配管理***适用于多种场景下的应用,例如用户只在手机上查看并使用该软件。
下面对AR虚拟软装搭配管理***进行详细阐述。
所述AR虚拟软装搭配管理***包括图片接收模块、素材处理模块、场景制作模块、软装合成模块。
所述图片接收模块用于接收外部导入的场景图片和素材图片。
所述素材处理模块用于将接收到的素材图片按照设定规则进行处理以获取素材的单元图和/或整体结构图,将获取的素材的单元图和/或整体结构图保存至素材数据库。
所述场景制作模块用于将接收到的场景图片依次进行区域划分、光影信息估算后,将场景图片、区域信息、光影信息组合成场景数据包保存至场景数据库。
所述软装合成模块包括场景调用子模块、素材调用子模块、合成子模块、光影重构子模块。
所述场景调用子模块用于从场景数据库中调用对应的场景数据包。
所述素材调用子模块用于从素材数据库中调用对应的素材图片。
所述合成子模块用于将调用的素材图片合成至调用的场景数据包所包含的场景图片中,以生成合成图片。
在一些例子中,如果所述素材调用子模块从素材数据库中调用的素材图片为素材的单元图,将调用的单元图循环拼接后融入场景。例如,墙纸素材。
由于墙纸素材具有特殊性,比如墙纸具有多种布局方式、墙纸由多个小单元拼接而成等特性,因此,针对墙纸素材,为了加快处理速度,将其作为特殊素材单独设置处理流程。
若图片接收模块接收到的是墙纸素材图片,素材处理模块对墙纸素材图片进行预处理,从中提取出墙纸单元图,将提取出的墙纸单元图保存至素材数据库。
如果所述素材调用子模块从素材数据库中调用的素材图片为墙纸单元图,将按照外部指令选定布局区域(例如墙面),将墙纸单元图循环拼接后融入指定的布局区域。
所述光影重构子模块用于对合成图片进行光影效果渲染。
所述AR虚拟软装搭配管理***是基于若干个处理子模块协同工作,实现了前述功能应用,在下述工作方法的阐述中,会陆续提及。
例如,对于光影估计和重构算法引擎,其工作原理为,先估算出场景图片中的光影信息,当更换/添加素材后,再将更换/添加区域的光影参数恢复上去。
又例如,针对素材的纹理增强算法;针对不同商品的光效增强算法;对于边沿的羽化融合算法;手工抠选区域时,边沿的散点吸附消除算法;商品的四倍高清增强算法;对于房间的光照强度提取算法;对于实拍图片的光照均衡算法;对于商品融入场景的明度和饱和度智能调节算法;针对于手机操作的放大镜跟随算法;透视关系的估计算法等等。
前述算法模块中的部分常规模块可以自主开发,也可以直接调用现有的渲染软件中的对应模块来实现。
通过前述处理子模块协同工作,所述AR虚拟软装搭配管理***创造性使用了视觉欺骗的方法,视觉欺骗指的是虽然不是真实的光,但通过各种手段和算法的渲染处理,让人眼难以辨别真假,甚至会感觉更漂亮,更协调,达到以假乱真的视觉效果。
比如,估计的光影难免会存在瑕疵,本发明提出使用纹理增强算法,让换装后的纹理有效遮盖瑕疵;又比如,操作过程中更换商品,人眼的注意力集中于更换的商品素材上,因此在更换的商品素材上使用四倍高清增强技术,令商品细节清晰,纤毫毕现。
本发明提出针对不同的商品使用不同的方法增强光效,视觉欺骗的概念融入到多个处理子模块,贯穿整个AR虚拟软装搭配管理***的应用之中。
结合图2,本发明还提及一种采用AR虚拟软装搭配管理***对墙纸素材进行处理的工作方法,包括以下步骤:
S11:接收墙纸素材图片,对接收到的墙纸素材图片进行预处理和纹理增强处理。
S12:通过模糊算法从墙纸素材图片选择一个区域作为最小周期图案,采用可调整的线条划分、标记出最小周期图案区域,以及
如果接收到外部发送的区域调整信号,按照区域调整信号重新调整最小周期图案区域。
S13:接收外部发送的区域确认信号,对最小周期图案区域做光影均衡处理后,变换获取待确定单元图。
S14:验证所述待确定单元图是否合格,验证合格,将待确定单元图作为所述墙纸素材图片的墙纸单元图,结束流程,否则,返回步骤S12。
步骤S14中,验证所述待确定单元图是指,
在一些例子中,对所述待确定单元图做循环拼接处理,调整明度后融入设定场景生成待验证图片。
将待验证图片和墙纸素材图片进行比对,如果比对结果超过设定比对阈值,验证合格,否则,验证失败。
当单元图选择错误时,拼接后形成的图案将会和原始图案出现较大的偏差,因此,本发明提出,可以通过将待验证图片和墙纸素材图片进行比对,来评价单元图选择是否正确。
以拍摄的墙纸图片为例,采用前述方法对其进行处理,包括以下步骤:
1)使用相机拍摄或从相册选取墙纸素材,拍摄的照片会出现偏色,细节不清晰等问题,需要在镜头范围内放置一个颜色鲜艳,对比鲜明的物体,理想物体是包含12色相环的色卡,以获取更好的拍摄效果。
2)对于照片的预处理算法将会根据鲜艳物体智能调整图片的色彩平衡,解决拍照偏色问题,同时对照片中的细节纹理进行增强,令纹理更清晰,细节更凸显。
3)在拍摄照片中自动放入四个顶点标记的矩形框,用于选取墙纸的最小周期图案,称之为单元图,整面墙的墙纸通过使用单元图循环拼接完成,优选的,矩形框的四个角点可以手动进行调整,以使该功能的应用场景更为广泛。
4)如果是从相册直接导入的单元图,不需要调整角点,也无需做后续的处理,直接保存;如果是拍摄的照片,则需要重新标记最小周期图案,甚至针对特殊墙纸,还需要手动调整四个角点来使标记更为精确。
5)拍摄的照片光线通常是不均匀的,靠近光源的地方强,远离光源的地方弱,多光源的情况更加复杂,这种微弱的光强变化肉眼难以察觉,但是循环拼接后,在衔接处将会出现难以忍受的光带,一格一格的,整个画面的美感将会被破坏殆尽(如图7a)。光影均衡算法,是将强光处和弱光处进行亮度平衡,可以削弱甚至消除拼接处的光带(如图7b)。
6)通过逆透视变换,获得墙纸素材的单元图。
7)循环拼接单元图,获得整幅墙面的墙纸素材。
8)虚拟的场景为了让图片更漂亮,通常会提升整个场景的饱和度,因此,实拍的素材为了和虚拟场景相融合,可以将墙纸素材饱和度稍作提升,例如提升19%等。
9)调用光影估计和重构算法引擎,对合成图片做光影渲染,继而上墙展示素材效果。
如果效果不满意,回到操作4)重复执行,直至达到满意效果,保存素材单元图并退出。
图7是使用光影均衡算法前和使用后的素材处理结果对比图。
结合图3,本发明还提及一种采用AR虚拟软装搭配管理***对场景图片进行处理的工作方法,包括以下步骤:
S21:接收场景图片,按照区域类型将场景图片划分成若干个选区。
S22:擦除每个选区中被遮挡和/或不属于该选区的部分。
S23:依次采用膨胀和腐蚀引擎、散点吸附消除算法以消除选区和选区之间的边缝、散点。
S24:为每个选区设置像素值,将每个选区的像素值记录在mask.png文件中,各选区对应的像素值不同。
S25:采用光照强度提取算法引擎估算出各个选区的光强参数,将估算出的光强参数保存在graypara.xml文件中。
S26:采用光影估计引擎估算各个选区的光影参数,将估算出的光影参数保存在light.jpg文件中。
S28:将场景图片,以及对应的mask.png文件、graypara.xml文件、light.jpg文件组合成场景数据包。
S27:验证场景数据包是否合格,验证合格,将场景数据包保存至场景数据图,结束流程,否则,返回步骤S21。
在一些例子中,步骤27中,所述验证场景数据包是指,
根据场景图片所包含的选区选择若干张预设素材图片,将预设素材图片替换至场景图片中对应选区,调用graypara.xml文件、light.jpg文件进行光影渲染后,发送合格确认请求至终端。
同样以拍摄的场景图片为例,采用前述方法对其进行处理,包括以下步骤:
a)使用相机横向拍摄房间照片,或从相册导入效果图
b)手动/自动添加选区,调整选区四个角点,让墙面选区和墙面对齐,窗的选区与窗对齐,地板的选区与地板对齐,依次类推。
c)擦除选区中被遮挡或不属于该选区的部分,如果没有擦好,可以通过反向擦除恢复,类似Photoshop的蒙版操作。
d)设置好所有选区后,确认选区是否正确,如果正确,继续执行下述步骤,否则重新调整选区。
e)由于多种因素,如手工操作选区、场景图片不清晰等等,选区和选区之间不一定对的很整齐,例如墙面和地面结合处,会出现边缝或散点,边缝/散点在手机屏上不明显,但在高清大屏幕上会很扎眼,严重时将破坏整个画面美感。
使用膨胀和腐蚀算法,可以消除大部分的散点,但依旧有残存,本发明提出,可以将散点向临近选区吸附,进行进一步消除。
散点消除后,将选区分类分号,记录在mask.png文件中。例如,未标记区域在mask.png中的对应像素为0,1号墙对应像素值为10,6号窗的对应像素为60,依次类推。
f)使用光影估计引擎估计各个选区的光影,参数保存在light.jpg中。
g)使用光照强度提取算法提取各个选区的光强。由于不同的颜色在相同的光照情况下,明度和亮度是不一样的,光强参数也是采用的估计值,保存于graypara.xml文件中。
g)调用软装合成模块查看生成的场景换装效果,如果效果不佳,回到步骤b)重复调整过程,否则上传保存至场景数据库,以备后续调用。
结合图4,本发明还提及一种采用AR虚拟软装搭配管理***将素材图片添加/更换至场景图片中的工作方法,分为两个部分,第一部分是图片添加,第二部分是光影渲染。
其中,第一部分包括以下步骤:
接收外部发送的合成信息,所述合成信息中包括选区信息,从mask.png文件中检索与所述选区的像素值对应的像素点,将素材图片合成至场景文件中对应的位置,生成合成图片。
将合成图片中更换素材的选区的像素点的像素值置为255,其他像素点的像素值置0,对合成图片进行均值滤波。优选的,所述均值滤波采用3*3的卷积核。
提取所述更换素材的选区的四个角点坐标,估计透视映射矩阵,调整素材图片和场景图片之间的透视关系。
第二部分包括以下步骤:
采用四倍高清算法引擎,将低清场景映射到高清场景中。
采用光影重构算法引擎,调用对应场景数据包中的graypara.xml文件、light.jpg文件,将场景图片被更换区域的光影信息添加至合成图片中对应的位置。
调整更换素材的选区的亮度和饱和度。
下面通过其中一个例子的具体处理过程对前述方法进行进一步的阐述。
所述处理过程包括以下步骤:
1)下载并加载场景文件。
2)接收添加/更换商品请求。
3)根据添加/更换商品请求,提取选区信息,如添加/更换的是1号墙面的墙纸,假设1号墙面对应的像素值为10,找到mask.png中所有值为10的像素点,生成新的图片,图片中对应点值为255,其余置0。对新图片进行均值滤波,滤波参数3*3的核。
滤波让选区边沿产生0~255的渐变,使用这个渐变参数调整商品的透明度,便能产生photoshop中的羽化效果,让商品自然融入场景中。
4)提取选区的四个角点坐标,估计透视映射矩阵。
5)受网络传输和手机的计算和存储能力的限制,通常***内保存的场景均为1024*768分辨率低清图片,而投射高清大屏幕,至少需要2048*1936分辨率图片,***使用四倍高清算法,将低清场景映射到高清场景中,并与高清商品图片进行合成,合成的“伪”高清效果图依然具有很强的大屏视觉冲击力,并完美的优化了移动端的操作体验。
6)使用光影重构算法引擎,为商品添加光影。
7)智能调整商品的亮度和饱和度,根据不同的商品和选区特性,对商品进行光效增强,比如窗帘,遮盖窗户的部分因为透光,需要增亮,遮盖墙面的部分,因为逆光,需要减亮。吊灯靠近顶光源,需要增亮,增饱和度,挂画需要根据所在左面/正面/右面墙的位置,调整阴影的角度等等。
通过上述的系列运算,场景融合商品,商品融入场景,通常已经难辨真伪了,如果专业人士追求完美,还可以手动微调位置,大小和亮度参数。
具体实施例二
下面通过针对一张实拍的场景照片执行更换地毯处理的效果比对。
图5是一幅场景图片,对图5中的光影参数进行估算后,将估算出的光影参数保存至mask.png文件。
对图5场景中的地毯进行更换,将新的地毯素材图片替换至原场景中的相应位置,如图6(a)所示,在执行更换操作、且未恢复原光影参数时,新的地毯上没有因户外阳光产生的光影效果,和周边家具上光影效果不一致,融合效果差。
如果按照本发明所提及的光影重构方法,将提取出的场景中的原光影参数添加至合成后的图片,如图6(b)所示,新的地毯上具有了和原场景图片上相似的光影参数,新更换的地毯和周边家具上的光影效果一致,融合效果佳。
没有经过光影重构和系列智能处理的图片,进行观察对比,可见未经光影处理的图片不真实,而经光影处理后的图片和原图片难辨真伪。
本发明所提及的AR虚拟软装搭配管理***的目标人群是广大并不具备软装设计能力的门店销售和消费者,***要求能运行在移动设备上,简单到极致的操作,能在大屏幕进行高清展示,能够让消费者一眼产生购买欲望的真实、美的效果,因此,软装软件通常采用“快”,“轻”,“简”,“美”四项指标作为评价标准,其中简和美这两项没有专门的评分标准,但却是软装行业里极为重要的指标。消费者是决策者和买单人,而消费者通常却没有任何的软装设计基础,因此,操作必须极简;另外消费者最担心的就是花最贵的钱买最好看的软装商品,回家却装出最难看的房子,因此,需要出图的效果能够让她心动。这里我们沿用市场的评判标准来设计这两项指标,对于“简”,我们依据的是工具的操作群体,对于“美”,我们选取各工具制作的优质家装图片,随机抽样人群进行评判,按照满意占比作为评分。
表1是本发明所提及的AR虚拟软装搭配管理***与现有的常用软装工具的参数对比。
表1
Figure BDA0002004427930000101
由具体实施例二可知,采用本发明所提出的***,在确保融合效果的前提下,可以极大地缩短渲染时间;对硬件要求低,适于移动端应用;素材的处理、素材和场景的合成、合成图片的渲染全部由***自动完成,对操作人员要求低。
在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是因为本发明所公开的构思和实施案例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种AR虚拟软装搭配管理***的工作方法,其特征在于,所述工作方法包括以下步骤:
S11:接收墙纸素材图片,对接收到的墙纸素材图片进行预处理和纹理增强处理;
S12:从墙纸素材图片选择一个区域作为最小周期图案,采用可调整的线条划分、标记出最小周期图案区域,以及
如果接收到外部发送的区域调整信号,按照区域调整信号重新调整最小周期图案区域;
S13:接收外部发送的区域确认信号,对最小周期图案区域做光影均衡处理后,变换获取待确定单元图;
S14:验证所述待确定单元图是否合格,若验证合格,将待确定单元图作为所述墙纸素材图片的墙纸单元图,结束流程,否则,返回步骤S12;
步骤S14中,验证所述待确定单元图是指,
对所述待确定单元图做循环拼接处理,调整明度后融入设定场景生成待验证图片;
将待验证图片和墙纸素材图片进行比对,如果比对结果超过设定比对阈值,验证合格,否则,验证失败。
2.根据权利要求1所述的AR虚拟软装搭配管理***的工作方法,其特征在于,所述工作方法还包括以下步骤:
S21:接收场景图片,按照区域类型将场景图片划分成若干个选区;
S22:擦除每个选区中被遮挡和/或不属于该选区的部分;
S23:依次采用膨胀和腐蚀处理、散点吸附消除算法以消除选区和选区之间的边缝、散点;
S24:为每个选区设置像素值,将每个选区的像素值记录在mask.png文件中,各选区对应的像素值不同;
S25:采用光照强度提取算法引擎估算出各个选区的光强参数,将估算出的光强参数保存在graypara.xml文件中;
S26:采用光影估计引擎估算各个选区的光影参数,将估算出的光影参数保存在light.jpg文件中;
S28:将场景图片,以及对应的mask.png文件、graypara.xml文件、light.jpg文件组合成场景数据包;
S27:验证场景数据包是否合格,若验证合格,将场景数据包保存至场景数据图,结束流程,否则,返回步骤S21。
3.根据权利要求2所述的AR虚拟软装搭配管理***的工作方法,其特征在于,步骤27中,所述验证场景数据包是指,
根据场景图片所包含的选区选择若干张预设素材图片,将预设素材图片替换至场景图片中对应选区,调用graypara.xml文件、light.jpg文件进行光影渲染后,发送合格确认请求至终端。
4.根据权利要求1所述的AR虚拟软装搭配管理***的工作方法,其特征在于,所述工作方法还包括以下步骤:
接收外部发送的合成信息,所述合成信息中包括选区信息,从mask.png文件中检索与所述选区的像素值对应的像素点,将素材图片合成至场景文件中对应的位置,生成合成图片;
将合成图片中更换素材的选区的像素点的像素值置为255,其他像素点的像素值置0,对合成图片进行均值滤波;
提取所述更换素材的选区的四个角点坐标,估计透视映射矩阵,调整素材图片和场景图片之间的透视关系。
5.根据权利要求4所述的AR虚拟软装搭配管理***的工作方法,其特征在于,所述均值滤波采用3*3的卷积核。
6.根据权利要求1所述的AR虚拟软装搭配管理***的工作方法,其特征在于,所述工作方法还包括以下步骤:
采用四倍高清算法引擎,对场景图片中的更换素材做高清处理;
采用光影重构算法引擎,调用对应场景数据包中的graypara.xml文件、light.jpg文件,将场景图片被更换区域的光影信息添加至合成图片中对应的位置;
调整更换素材的选区的亮度和饱和度。
CN201910223744.2A 2019-03-22 2019-03-22 Ar虚拟软装搭配管理***及其工作方法 Active CN109960872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910223744.2A CN109960872B (zh) 2019-03-22 2019-03-22 Ar虚拟软装搭配管理***及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910223744.2A CN109960872B (zh) 2019-03-22 2019-03-22 Ar虚拟软装搭配管理***及其工作方法

Publications (2)

Publication Number Publication Date
CN109960872A CN109960872A (zh) 2019-07-02
CN109960872B true CN109960872B (zh) 2023-02-03

Family

ID=67024836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910223744.2A Active CN109960872B (zh) 2019-03-22 2019-03-22 Ar虚拟软装搭配管理***及其工作方法

Country Status (1)

Country Link
CN (1) CN109960872B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717963B (zh) * 2019-08-30 2023-08-11 杭州群核信息技术有限公司 一种基于WebGL的可替换模型的混合渲染展示方法、***及存储介质
CN110689601A (zh) * 2019-10-07 2020-01-14 绍兴秀我家科技有限公司 一种适于ar虚拟软装合成的散点消除算法
CN110706323A (zh) * 2019-10-10 2020-01-17 南京可居网络科技有限公司 一种基于四倍高清技术的ar虚拟软装合成方法
CN110766780A (zh) * 2019-11-06 2020-02-07 北京无限光场科技有限公司 渲染房间图像的方法、装置、电子设备及计算机可读介质
TWI744737B (zh) * 2019-12-11 2021-11-01 中華電信股份有限公司 擴增實境之內容控制系統、方法及電腦可讀儲存媒介
CN111275809B (zh) * 2020-01-14 2023-09-12 新疆初点信息科技有限公司 一种瓷砖的空间展示方法及***
CN111921203A (zh) * 2020-08-21 2020-11-13 腾讯科技(深圳)有限公司 虚拟场景中的互动处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2546806A2 (en) * 2011-07-11 2013-01-16 Deutsche Telekom AG Image based rendering for AR - enabling user generation of 3D content
CN103489153A (zh) * 2013-09-26 2014-01-01 北京奇虎科技有限公司 制作无缝拼接单元的设备及方法
CN104881533A (zh) * 2015-05-22 2015-09-02 杭州群核信息技术有限公司 一种自动生成装修方案的方法
CN106846429A (zh) * 2017-02-07 2017-06-13 四川金蚨科技有限公司 一种家庭装饰设计***
CN107424206A (zh) * 2017-04-14 2017-12-01 苏州蜗牛数字科技股份有限公司 一种利用现实环境影响虚拟场景光影表现的互动方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2546806A2 (en) * 2011-07-11 2013-01-16 Deutsche Telekom AG Image based rendering for AR - enabling user generation of 3D content
CN103489153A (zh) * 2013-09-26 2014-01-01 北京奇虎科技有限公司 制作无缝拼接单元的设备及方法
CN104881533A (zh) * 2015-05-22 2015-09-02 杭州群核信息技术有限公司 一种自动生成装修方案的方法
CN106846429A (zh) * 2017-02-07 2017-06-13 四川金蚨科技有限公司 一种家庭装饰设计***
CN107424206A (zh) * 2017-04-14 2017-12-01 苏州蜗牛数字科技股份有限公司 一种利用现实环境影响虚拟场景光影表现的互动方法

Also Published As

Publication number Publication date
CN109960872A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN109960872B (zh) Ar虚拟软装搭配管理***及其工作方法
CN109448089B (zh) 一种渲染方法及装置
US10096146B2 (en) Multiple visual representations of lighting effects in a computer animation scene
Loscos et al. Interactive virtual relighting of real scenes
US8884948B2 (en) Method and system for creating depth and volume in a 2-D planar image
US20180374261A1 (en) Rendering glasses shadows
US10740969B2 (en) Layered panoramas for virtual reality (VR)
Ledda et al. A wide field, high dynamic range, stereographic viewer
US8159490B2 (en) Shading of translucent objects
CN208506731U (zh) 图像展示***
CN113610955A (zh) 一种对象渲染方法、装置及着色器
CN112087664A (zh) 一种移动端获得定制背景实时舞蹈视频的方法
CN116486018A (zh) 三维重建方法、设备和存储介质
CN112087662B (zh) 一种移动端生成舞队组合舞蹈视频的方法及一种移动端
CN112915536A (zh) 虚拟模型的渲染方法和装置
CN114902277A (zh) 用于处理肖像图像帧上的阴影的***和方法
CN110223363A (zh) 图像生成方法及装置
CN114792357B (zh) 全景图资源生成方法、装置、电子设备及存储介质
Pugh et al. GeoSynth: A photorealistic synthetic indoor dataset for scene understanding
CN112087663B (zh) 一种移动端生成明暗环境适配舞蹈视频的方法
KR102677114B1 (ko) 인카메라 시각 효과 기반의 실제 환경과 가상 환경의 조명 매칭 시스템
CN117861199A (zh) 游戏中的色差处理方法、装置、电子设备及可读存储介质
Chang et al. Subjective assessment for inverse rendered composite images in 360-deg images
Yoshida et al. Perceptually-guided design of nonperspectives through pictorial depth cues
Carlson The Photographer's Guide to Luminar 4

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant