CN113012270A - 一种立体显示的方法、装置、电子设备及存储介质 - Google Patents

一种立体显示的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113012270A
CN113012270A CN202110315690.XA CN202110315690A CN113012270A CN 113012270 A CN113012270 A CN 113012270A CN 202110315690 A CN202110315690 A CN 202110315690A CN 113012270 A CN113012270 A CN 113012270A
Authority
CN
China
Prior art keywords
data
model
target
target model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110315690.XA
Other languages
English (en)
Inventor
廖鑫
杨民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Vision Technology Nanjing Co ltd
Original Assignee
Deep Vision Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Vision Technology Nanjing Co ltd filed Critical Deep Vision Technology Nanjing Co ltd
Priority to CN202110315690.XA priority Critical patent/CN113012270A/zh
Publication of CN113012270A publication Critical patent/CN113012270A/zh
Priority to PCT/CN2022/081123 priority patent/WO2022199437A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种立体显示的方法、装置、电子设备及存储介质。其中,该方法包括:响应于模型立体显示指令,获取目标模型的数学描述,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据;采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据;将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。通过自动对目标模型的数学描述进行处理,并在显示屏上直接显示立体模型,减少立体显示时对3D眼镜等外部设备的依赖,提高模型立体显示的效率。

Description

一种立体显示的方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及3D显示技术,尤其涉及一种立体显示的方法、装置、电子设备及存储介质。
背景技术
在三维建模软件的使用过程中,用户习惯于采用2D(二维)显示设备来观看自己的设计内容,若需要查看3D(三维)模型,则需要频繁的旋转或移动虚拟摄像机来辨别虚拟模型中各组件的前后关系。
现有技术中,可以采用立体显示设备查看3D模型,如红蓝眼镜、偏光快门眼镜套件或头戴式显示设备等。在立体和非立体的切换过程中需要人工干预,存在切换步骤繁琐的问题,例如,需要用户反复摘戴眼睛,3D模型的显示效率较低。
发明内容
本发明实施例提供一种立体显示的方法、装置、电子设备及存储介质,以提高模型立体显示的效率。
第一方面,本发明实施例提供了一种立体显示的方法,该方法包括:
响应于模型立体显示指令,获取目标模型的数学描述,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据;
采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据;
将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。
第二方面,本发明实施例还提供了一种立体显示的装置,该装置包括:
网格数据获得模块,用于响应于模型立体显示指令,获取目标模型的数学描述,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据;
目标数据获得模块,用于采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据;
模型立体显示模块,用于将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明任意实施例所述的立体显示的方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的立体显示的方法。
本发明实施例通过对目标模型原始的数学描述进行数据处理,减少数据量,提高2D与3D的切换速度。将处理后的目标数据进行编码,可以将目标模型传输给立体渲染端软件,使立体渲染端的软件可以直接将3D模型显示在屏幕上。解决了现有技术中,需要依靠眼镜等设备查看3D模型的问题,减少用户的切换操作,实现用户裸眼进行3D立体预览的效果,提高3D立体模型的显示效率。
附图说明
图1是本发明实施例一中的一种立体显示方法的流程示意图;
图2是本发明实施例二中的一种立体显示方法的流程示意图;
图3是本发明实施例三中的一种立体显示装置的结构框图;
图4是本发明实施例四中的一种立体显示设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种立体显示方法的流程示意图,本实施例可适用于将二维模型切换为三维模型的情况,该方法由立体显示插件的一种立体显示装置执行,立体显示插件安装于建模软件上。如图1所示,该方法具体包括如下步骤:
步骤110、响应于模型立体显示指令,获取目标模型的数学描述,对目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据。
其中,本实施例针对网格数据进行立体显示。用户可以在建模软件导入目标模型原始的数学描述,建模软件可以是CAD(Computer Aided Design,计算机辅助设计)软件,用于进行三维模型的设计等。本实施例中的计算机辅助设计软件指的是三维计算机辅助设计软件,例如,可以是Creo(PTC公司开发的一款建模软件)、Catia(达索公司开发的一款建模软件)和NX(西门子公司开发的一款建模软件)等。用户绘制或导入的目标模型可以是二维图像,若要将二维切换为三维,则可以点击屏幕上预设的切换按键,发出对二维模型的立体显示指令。若立体显示插件响应到用户发出的模型立体显示指令,则获取目标模型的数学描述,数学描述可以是对模型曲线和曲面的二维描述数据,例如,可以是非均匀有理B样条。建模软件的SDK(Software Development Kit,软件开发包)中预先设置有三角化的转换接口函数,调用该转换接口函数,将目标模型中曲面和曲线等的数学描述转换为三角网格格式,即将二维的矢量数据转换为多块三角形的网格数据,得到目标模型的网格数据。
本实施例中,可选的,对目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据,包括:使用建模软件提供的软件开发包获取三角化转换接口函数,对目标模型的数学描述进行三角化处理,得到目标模型的网格数据;或者,使用建模软件提供的软件开发包绘制多角度模型视图,并进行三维重建,获得目标模型的网格数据。
具体的,对目标模型进行完整或局部兴趣区域抽取,若信息安全不允许传递数学描述模型,或立体渲染端软件不支持数学描述模型的加载,则可以进行网格化流程,例如,可以对目标模型的数学描述进行三角化处理。兴趣区域是指需要进行数据描述与网格数据转换的区域。三角化可以负责将曲面和曲线等的数学描述采样转为三角网格格式。建模软件中设置有软件开发包,软件开发包中含有三角化的转换接口函数,调用三角化的转换接口函数,实现对目标模型的数学描述进行三角化处理,从而得到三角网格格式的网格数据。例如,在Creo软件开发包中可以通过ProSurfaceTessellationGet()函数接口取得三角化接口句柄,进行调用实现。也可以采用建模软件中的三维虚拟相机对目标模型的虚拟物体进行围绕,使用建模软件提供的软件开发包绘制目标模型的多角度模型视图,并进行三维重建,得到网格数据。这样设置的有益效果在于,可以采用多种方式获得网格数据,实现对二维矢量数据的转换,便于根据三角网格格式的数据进行立体显示。
步骤120、采用预设的有损或无损算法对网格数据进行数据处理,得到目标数据。
其中,在得到三角网格格式的数据后,可以采用预设的有损或无损算法对网格数据进行数据处理,例如,可以对数据进行轻量化处理。预设的有损或无损算法可以是开源算法或私有算法,轻量化处理是指对网格数据进行压缩、减面和合并等处理,将处理后得到的数据作为目标模型的目标数据。
本实施例中,可选的,采用预设的有损或无损算法对网格数据进行数据处理,包括:采用预设数据处理算法对网格数据进行无损压缩或有损减面;根据目标模型的材质和形状,对网格数据进行同材质合并和/或同形状合并。
具体的,所采用的预设数据处理算法可以是开源算法,例如,可以是Draco算法和Fast-Quadric-Mesh-Simplification(快速二次曲面网格简化算法)算法等,Draco算法是由谷歌发布的一种开源算法,既支持有损模式,也支持无损模式。采用Draco算法可以对网格数据进行无损压缩,采用Fast-Quadric-Mesh-Simplification算法可以对网格数据进行有损减面。除了压缩和减面之外,还可以进行合并操作。例如,可以先确定目标模型的虚拟装置中各个面的材质和形状,根据确定的材质和形状,确定同材质和/或同形状所对应的网格数据,例如,可以比对各装配件的模型形状,确定同形状的网格数据。对网格数据进行同材质合并和/或同形状合并,即将同材质的网格数据连接在一起,将同形状的网格数据连接在一起,减少网格数据的数量,使一个材质对应一个网格数据,一个形状对应一个网格数据。这样设置的有益效果在于,通过对网格数据进行轻量化处理,有效减小数据量,提高后续立体渲染的效率。
还可以对网格顶点数据进行细微偏移,例如,对网格顶点数据的坐标偏移0.01,细微的偏移不会对目标模型的呈现造成太大影响。用户可以针对细微偏移的数据,增加自己的数字签名,例如,用户可以采用自己的私钥进行签名,表明该目标模型属于该用户,实现了版权保护,对于导出的模型能追踪到它的来源。
本实施例中,可选的,在采用预设的有损或无损算法对网格数据进行数据处理,得到目标数据之后,还包括:根据建模软件对目标模型的材质描述,将目标模型中的材质描述方式转换为物理模拟渲染方式。
具体的,不同的建模软件对同一个目标模型可以有不同的材质描述,材质的描述还会收建模软件中光照模型的影响。根据目标模型原始的材质描述,确定目标模型的虚拟装置的各个部分的材质,根据确定的材质,将材质以物理模拟渲染方式进行描述,即可以将目标模型中的材质描述方式转换为统一的物理模拟渲染方式,实现对材质的映射,便于对目标模型进行精确渲染。材质映射步骤可以是将原始的材质描述中的材质部分自动转换为立体渲染端软件采用的PBR(Physically Based Rendering,物理渲染模式)。PBR是基于物理的渲染过程,用于更精确的描述光如何与物体表面互动,在任何光照环境都能表现出正确的结果。在Creo插件中,可以实施一套将Creo材质描述的mtl(Material Library File,材质库文件)文件转为立体渲染器使用的实时渲染PBR的工程处理流程。这样设置的有益效果在于,通过进行材质映射,有利于提高目标模型立体渲染的精度。
步骤130、将目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。
其中,在得到目标数据后,进行文件格式的编码。目标数据位于内存中,属于网格数据,将内存中的网格数据编码为磁盘上存储的文件格式。例如,可以使用GLTF(GraphicsLanguage Transmission Format,图形语言传输格式)格式进行存储,或使用USD((Universal Scene Description,通用场景描述)格式进行存储。若目标模型中含有虚拟装置的装配动画或骨骼动画等信息,则可以将装配动画或骨骼动画信息进行导出存储。可以设置增量导出方式,所要存储的文件可以按照装配件的名称进行拆分,存放为独立文件,当一个装配件被修改时,仅更新该装配件的描述文件。另外,还可以将模型扩展信息采用写入到独立描述文件的方式进行传输,不修改数据源文件,以此提高交互速度。模型扩展信息是一种元数据(Metadata),可以表示虚拟装置中各装配件的结构和装配方式等信息。在对目标数据进行编码转换后,可以按照约定的通讯协议启动和连接立体渲染器,由立体渲染端软件对3D模型进行展示。例如,可以通过winexec(外部调用)或其他方式启动立体渲染服务程序,发送TCP连接请求,立体渲染服务端建立套接字连接,打开指定资源,将立体模型显示在屏幕上。本实施例中,屏幕硬件部分可以采用二维和三维可切换式裸眼3D立体显示器,不需要借助3D眼镜等外部设备。
本实施例中,可选的,在将目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示之后,还包括:根据用户对立体显示的目标模型的调整指令,对目标模型进行旋转、移动、缩放、拆解、组装、二次着色或剖面调整。
具体的,独立的立体渲染端软件采用约定的物理模拟渲染方式渲染目标网格数据的模型,模型显示的初始状态在屏幕中是居中并位于出屏位置。用户可以在模型的3D立体显示状态时发出目标模型调整指令,例如,用户可以通过鼠标、键盘、手势和语音控制器等交互介质对模型进行实时交互控制,调整操作可以是旋转、移动、缩放、拆解和组装、二次着色和剖面调整等。本实施例中,支持将模型缩放到真实大小尺寸,并在入屏空间进行立体渲染,有助于设计者对模型最终的体积尺寸进行直观把控。另外,还可以通过配置的方式实现自定义的灯光、天空盒和真实场景映射的立体渲染,以及通过实时光线追踪方式进行立体渲染。通过监测渲染负载情况,可以动态调整立体渲染中的灯光、阴影绘制和图像处理的质量。在裸眼3D立体显示模式下,对3D目标模型的空间姿态支持做六自由度的调整。也支持直接对3D目标模型进行3D空间内的文字、图像和声音标注,支持测距、测角和测量体积等。可以将模型的立体视图通过在线协同会议的方式分享给互联网上的其它显示终端,进行同步展示。这样设置的有益效果在于,启动立体渲染和交互操作,实现用户对目标模型的实时调整,有利于用户操作和查看,提升用户体验。本发明实施例制定了一种模型立体渲染工作流的立体显示方法,并按照具体描述支撑立体空间切换功能的实施。
本实施例的技术方案,通过对目标模型的数学描述进行数据处理,减少数据量,提高2D与3D的切换速度。将处理后的目标数据进行编码,可以将目标模型可以传输给立体渲染端软件,使立体渲染端的软件可以直接将3D模型显示在屏幕上。解决了现有技术中,需要依靠眼镜等设备查看3D模型的问题,减少用户的切换操作,实现二维与三维的一键切换,以及用户裸眼进行3D立体预览的效果,提高3D立体模型的显示效率。通过模型轻量化、材质转化、文件传输和自动屏幕切换一系列功能的结合,可快速传输的模型数据,实现了2D工作空间和3D立体工作空间的一键式切换,减少用户操作过程,使模型3D立体预览更加便捷。
实施例二
图2为本发明实施例二所提供的一种立体显示方法的流程示意图,本实施例以上述实施例为基础进行进一步的优化,该方法可以由一种立体显示装置来执行。如图2所示,该方法具体包括如下步骤:
步骤210、获取用户的双眼位置和屏幕参数,根据双眼位置和屏幕参数架设建模软件中的虚拟双目相机。
其中,本实施例针对媒体数据方式立体显示。显示屏上可以设置有人眼追踪硬件模块,可以安装在屏幕顶部或屏幕底部,人眼追踪硬件模块可以是单目摄像机、多目摄像机或其它类型的深度摄像机。通过人眼追踪硬件模块可以获取用户的双眼位置,双眼位置是指双眼映射在显示屏上的坐标位置。预先确定屏幕参数,屏幕参数可以是指屏幕尺寸和安装角度等参数。根据双眼位置和屏幕参数,可以架设建模软件中的虚拟双目相机,从而进行体积感逼真的立体渲染设置,使用户所看到的立体模型更接近真实情况。例如,双眼位置在屏幕的下方,则可以在屏幕下方架设虚拟双目相机。可以实时获取用户的双眼位置,若用户双眼移动,则可以架设新的虚拟双目相机,提升用户的观看体验。屏幕上也可以不设置人眼追踪硬件模块,通过获取预设的双目位置进行虚拟双目相机的架设。
步骤220、获取目标模型的立体多视图,根据虚拟双目相机的位置和建模软件提供的软件开发包,对目标模型的立体多视图进行立体渲染和画面拼接,生成目标数据。
其中,用户可以在多个任意指定位置观看目标模型的立体多视图,例如,主视图、左视图和右视图等。根据虚拟双目相机的位置,确定模型的立体渲染位参数。可以指定本人观看显示器时的双眼位置,或指定最终场景下的双眼位置,例如,可以在电梯的墙上设置显示屏,由于人们在电梯里需要仰头观看显示屏,因此,可以设置渲染位置为屏幕的下前方偏左。模型的立体渲染位参数可以包括立体双目相机的视场角、间距、零平面位置以及空间位置和姿态等。获取目标模型的立体多视图,通过调用三维建模软件提供的SDK进行立体渲染和画面拼接,并将渲染和拼接后的数据作为目标数据。
可以使用草图模式进行快速渲染,或使用产品模式进行慢速渲染,例如开启光线追踪后进行双目同步离线渲染。
步骤230、将目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件获取建模软件的视口渲染结果,并在屏幕上进行立体显示。
其中,在得到目标数据后,对目标数据进行编码,使连接的立体渲染端软件可以将编码后的数据显示在屏幕上。由于建模软件里的视口只用于渲染非立体的画面,因此,可以采用立体渲染端软件来进行全屏立体渲染,并且开展各种交互和协同设计功能。建模软件可以按照立体插件的要求,进行双目立体渲染,生成左右两幅图,对左右两幅图进行立体插件拼接,传输给独立的立体渲染软件,由立体渲染软件控制立体显示器进行呈现。
本实施例中,可选的,目标数据为图片帧数据;相应地,将目标数据基于预设的文件格式进行编码和存储,包括:将渲染的图片帧编码为预设格式的媒体文件,将媒体文件放置在磁盘或共享内存中进行存储。
具体的,用户导入的数据可以是目标模型的立体多视图的图片数据,目标数据是渲染的图片帧。将渲染的图片帧编码为预设格式的媒体文件进行存储,可以存储在磁盘上或共享内存中。按照预设的通讯协议启动和连接立体渲染器,实现立体模型的显示。用户在查看立体模型时,可以进行立体效果调整。立体渲染器的程序对编码后的媒体文件进行解码和裸眼3D立体呈现,用户在看到立体虚像的用户界面上,对立体效果进行微调。立体渲染程序可以通过按键触发,将微调结果反馈回建模软件的插件端程序,插件端程序基于该结果更新虚拟双目相机架设的参数,并重新进行立体渲染。在立体呈现时,同样可以通过按键对模型所在的建模软件窗口进行空间位置、姿态和缩放的控制,并刷新立体画面。这样设置的有益效果在于,实现对不同格式的目标数据进行编码和存储,减少对立体显示的限制,提高立体显示的效率。对于图片帧,立体画面的内容是建模软件渲染的,立体渲染端软件获取建模软件渲染后的结果,控制裸眼3D立体显示器进行状态切换和立体交织,将建模软件的渲染结果以立体的形式进行显示。本发明实施例制定了一种媒体立体渲染工作流的立体显示方法,并按照具体描述支撑立体空间切换功能的实施。
本发明通过获取用户的双眼位置,可以实时架设虚拟双目相机,为用户呈现更逼真的视觉效果。通过获取立体多视图,对模型进行立体渲染和画面拼接,实现了采用媒体数据的方式进行立体显示。解决了现有技术中,需要依靠眼镜等设备查看3D模型的问题,减少用户的切换操作,实现二维与三维的一键切换,以及用户裸眼进行3D立体预览的效果,提高3D立体模型的显示效率。通过立体参数的自动和直观配置、使用媒体文件传输立体数据以及自动屏幕切换等一系列功能的结合,使切换到立体渲染状态快,模型着色效果也能和原建模软件窗口完全一致。
实施例三
图3为本发明实施例三所提供的一种立体显示装置的结构示意图,可执行本发明任意实施例所提供的立体显示方法,该装置配置于立体显示插件,立体显示插件安装于建模软件上,该装置具备执行方法相应的功能模块和有益效果。如图3所示,该装置具体包括:
网格数据获得模块301,用于响应于模型立体显示指令,获取目标模型的数学描述,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据;
目标数据获得模块302,用于采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据;
模型立体显示模块303,用于将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。
可选的,网格数据获得模块301,具体用于:
使用建模软件提供的软件开发包获取三角化转换接口函数,对所述目标模型的数学描述进行三角化处理,得到目标模型的网格数据;或者,
使用建模软件提供的软件开发包绘制多角度模型视图,并进行三维重建,获得目标模型的网格数据。
可选的,目标数据获得模块302,具体用于:
采用预设数据处理算法对所述网格数据进行无损压缩和/或有损减面;
根据目标模型的材质和形状,对所述网格数据进行同材质合并和/或同形状合并。
可选的,该装置还包括:
材质转换模块,用于在采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据之后,根据建模软件对目标模型的材质描述,将所述目标模型中的材质描述方式转换为物理模拟渲染方式。
可选的,该装置还包括:
模型调整模块,用于在将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示之后,根据用户对立体显示的目标模型的调整指令,对所述目标模型进行旋转、移动、缩放、拆解、组装、二次着色或剖面调整。
可选的,该装置还包括:
虚拟相机架设模块,用于在将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示之前,获取用户的双眼位置和屏幕参数,根据所述双眼位置和屏幕参数架设建模软件中的虚拟双目相机;
目标数据生成模块,用于获取目标模型的立体多视图,根据虚拟双目相机的位置和建模软件提供的软件开发包,对目标模型的立体多视图进行立体渲染和画面拼接,生成目标数据。
可选的,目标数据为图片帧数据;
相应地,模型立体显示模块303,具体用于:
将渲染的图片帧编码为预设格式的媒体文件,将所述媒体文件放置在磁盘或共享内存中进行存储。
本发明实施例通过对目标模型的数学描述进行数据处理,减少数据量,提高2D与3D的切换速度。将处理后的目标数据进行编码,可以将目标模型可以传输给立体渲染端软件,使立体渲染端的软件可以直接将3D模型显示在屏幕上。解决了现有技术中,需要依靠眼镜等设备查看3D模型的问题,减少用户的切换操作,实现二维与三维的一键切换,以及用户裸眼进行3D立体预览的效果,提高3D立体模型的显示效率。
实施例四
图4是本发明实施例四提供的一种立体显示设备的结构示意图。立体显示设备是一种电子设备,图4示出了适于用来实现本发明实施方式的示例性电子设备400的框图。图4显示的电子设备400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于:一个或者多个处理器或者处理单元401,***存储器402,连接不同***组件(包括***存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备400典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备400访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器402可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***406可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408,可以存储在例如存储器402中,这样的程序模块407包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
电子设备400也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信,还可与一个或者多个使得用户能与该电子设备400交互的设备通信,和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且,电子设备400还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器412通过总线403与电子设备400的其它模块通信。应当明白,尽管图4中未示出,可以结合电子设备400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元401通过运行存储在***存储器402中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种立体显示的方法,包括:
响应于模型立体显示指令,获取目标模型的数学描述,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据;
采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据;
将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的一种立体显示的方法,包括:
响应于模型立体显示指令,获取目标模型的数学描述,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据;
采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据;
将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种立体显示的方法,其特征在于,所述方法由立体显示插件执行,所述立体显示插件安装于建模软件上,所述方法包括:
响应于模型立体显示指令,获取目标模型的数学描述,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据;
采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据;
将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。
2.根据权利要求1所述的方法,其特征在于,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据,包括:
使用建模软件提供的软件开发包获取三角化转换接口函数,对所述目标模型的数学描述进行三角化处理,得到目标模型的网格数据;或者,
使用建模软件提供的软件开发包绘制多角度模型视图,并进行三维重建,获得目标模型的网格数据。
3.根据权利要求1所述的方法,其特征在于,采用预设的有损或无损算法对所述网格数据进行数据处理,包括:
采用预设的数据处理算法对所述网格数据进行无损压缩或有损减面;
根据目标模型的材质和形状,对所述网格数据进行同材质合并和/或同形状合并。
4.根据权利要求1所述的方法,其特征在于,在采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据之后,还包括:
根据建模软件对目标模型的材质描述,将所述目标模型中的材质描述方式转换为物理模拟渲染方式。
5.根据权利要求1所述的方法,其特征在于,在将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示之后,还包括:
根据用户对立体显示的目标模型的调整指令,对所述目标模型进行旋转、移动、缩放、拆解、组装、二次着色或剖面调整。
6.根据权利要求1所述的方法,其特征在于,在将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示之前,还包括:
获取用户的双眼位置和屏幕参数,根据所述双眼位置和屏幕参数架设建模软件中的虚拟双目相机;
获取目标模型的立体多视图,根据虚拟双目相机的位置和建模软件提供的软件开发包,对目标模型的立体多视图进行立体渲染和画面拼接,生成目标数据。
7.根据权利要求6所述的方法,其特征在于,所述目标数据为图片帧数据;
相应地,将所述目标数据基于预设的文件格式进行编码和存储,包括:
将渲染的图片帧编码为预设格式的媒体文件,将所述媒体文件放置在磁盘或共享内存中进行存储。
8.一种立体显示的装置,其特征在于,所述装置配置于立体显示插件,所述立体显示插件安装于建模软件上,所述装置包括:
网格数据获得模块,用于响应于模型立体显示指令,获取目标模型的数学描述,对所述目标模型的数学描述进行兴趣区域提取,得到目标模型的网格数据;
目标数据获得模块,用于采用预设的有损或无损算法对所述网格数据进行数据处理,得到目标数据;
模型立体显示模块,用于将所述目标数据基于预设的文件格式进行编码和存储,并将编码后的数据传输至立体渲染端,供立体渲染端软件采用物理模拟渲染方式渲染编码后的目标模型,并在屏幕上进行立体显示。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的立体显示的方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的立体显示的方法。
CN202110315690.XA 2021-03-24 2021-03-24 一种立体显示的方法、装置、电子设备及存储介质 Pending CN113012270A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110315690.XA CN113012270A (zh) 2021-03-24 2021-03-24 一种立体显示的方法、装置、电子设备及存储介质
PCT/CN2022/081123 WO2022199437A1 (zh) 2021-03-24 2022-03-16 立体显示的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110315690.XA CN113012270A (zh) 2021-03-24 2021-03-24 一种立体显示的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113012270A true CN113012270A (zh) 2021-06-22

Family

ID=76406551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110315690.XA Pending CN113012270A (zh) 2021-03-24 2021-03-24 一种立体显示的方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113012270A (zh)
WO (1) WO2022199437A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256803A (zh) * 2021-06-23 2021-08-13 合肥量圳建筑科技有限公司 一种数据压缩方法、装置、设备及存储介质
CN113963100A (zh) * 2021-10-25 2022-01-21 广东工业大学 一种数字孪生仿真场景的三维模型渲染方法及***
WO2022199437A1 (zh) * 2021-03-24 2022-09-29 纵深视觉科技(南京)有限责任公司 立体显示的方法、装置、电子设备及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102938A1 (en) * 2002-11-21 2004-05-27 Mitsubishi Denki Kabushiki Kaisha Method and device for creating analytical mesh data
CN102801994A (zh) * 2012-06-19 2012-11-28 西北工业大学 一种信息物理图像融合装置与方法
JP2014032473A (ja) * 2012-08-01 2014-02-20 Canon Inc 情報処理装置およびその方法
CN103714549A (zh) * 2013-12-30 2014-04-09 南京大学 基于快速局部匹配的立体图像对象分割方法
CN103763495A (zh) * 2014-02-11 2014-04-30 上海大象无形展览展示有限公司 一种l型垂直幕地幕3d投影显示方法
CN104020177A (zh) * 2014-06-26 2014-09-03 重庆大学 连铸坯表面缺陷双ccd扫描成像检测方法
CN104809755A (zh) * 2015-04-09 2015-07-29 福州大学 基于单幅图像文化遗存遗址的三维重建方法
US20160014391A1 (en) * 2014-07-08 2016-01-14 Zspace, Inc. User Input Device Camera
CN105869103A (zh) * 2016-03-25 2016-08-17 南京信息职业技术学院 一种基于内容的三维网格模型的加密和解密方法
CN106131530A (zh) * 2016-08-26 2016-11-16 万象三维视觉科技(北京)有限公司 一种裸眼3d虚拟现实展示***及其展示方法
US20180101777A1 (en) * 2016-10-12 2018-04-12 Anuthep Benja-Athon EM Oracle
CN107993230A (zh) * 2017-12-18 2018-05-04 辽宁师范大学 基于三角网格综合特征的图像篡改检测方法
CN108573524A (zh) * 2018-04-12 2018-09-25 东南大学 基于渲染管线的交互式实时自由立体显示方法
CN109272567A (zh) * 2018-11-29 2019-01-25 成都四方伟业软件股份有限公司 模型优化方法和装置
CN110414101A (zh) * 2019-07-15 2019-11-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种仿真场景测量方法、准确性测定方法及***
CN111210521A (zh) * 2020-01-06 2020-05-29 江南造船(集团)有限责任公司 面向vr的船舶巨数据模型轻量化方法、***、终端以及介质
CN111986307A (zh) * 2019-05-24 2020-11-24 奥多比公司 使用光度网格表示的3d对象重建
CN112307553A (zh) * 2020-12-03 2021-02-02 之江实验室 一种对三维道路模型进行提取与简化的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563956A (zh) * 2020-04-28 2020-08-21 珠海市魅族科技有限公司 一种二维图片的三维显示方法、装置、设备及介质
CN113012270A (zh) * 2021-03-24 2021-06-22 纵深视觉科技(南京)有限责任公司 一种立体显示的方法、装置、电子设备及存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102938A1 (en) * 2002-11-21 2004-05-27 Mitsubishi Denki Kabushiki Kaisha Method and device for creating analytical mesh data
CN102801994A (zh) * 2012-06-19 2012-11-28 西北工业大学 一种信息物理图像融合装置与方法
JP2014032473A (ja) * 2012-08-01 2014-02-20 Canon Inc 情報処理装置およびその方法
CN103714549A (zh) * 2013-12-30 2014-04-09 南京大学 基于快速局部匹配的立体图像对象分割方法
CN103763495A (zh) * 2014-02-11 2014-04-30 上海大象无形展览展示有限公司 一种l型垂直幕地幕3d投影显示方法
CN104020177A (zh) * 2014-06-26 2014-09-03 重庆大学 连铸坯表面缺陷双ccd扫描成像检测方法
US20160014391A1 (en) * 2014-07-08 2016-01-14 Zspace, Inc. User Input Device Camera
CN104809755A (zh) * 2015-04-09 2015-07-29 福州大学 基于单幅图像文化遗存遗址的三维重建方法
CN105869103A (zh) * 2016-03-25 2016-08-17 南京信息职业技术学院 一种基于内容的三维网格模型的加密和解密方法
CN106131530A (zh) * 2016-08-26 2016-11-16 万象三维视觉科技(北京)有限公司 一种裸眼3d虚拟现实展示***及其展示方法
US20180101777A1 (en) * 2016-10-12 2018-04-12 Anuthep Benja-Athon EM Oracle
CN107993230A (zh) * 2017-12-18 2018-05-04 辽宁师范大学 基于三角网格综合特征的图像篡改检测方法
CN108573524A (zh) * 2018-04-12 2018-09-25 东南大学 基于渲染管线的交互式实时自由立体显示方法
CN109272567A (zh) * 2018-11-29 2019-01-25 成都四方伟业软件股份有限公司 模型优化方法和装置
CN111986307A (zh) * 2019-05-24 2020-11-24 奥多比公司 使用光度网格表示的3d对象重建
CN110414101A (zh) * 2019-07-15 2019-11-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种仿真场景测量方法、准确性测定方法及***
CN111210521A (zh) * 2020-01-06 2020-05-29 江南造船(集团)有限责任公司 面向vr的船舶巨数据模型轻量化方法、***、终端以及介质
CN112307553A (zh) * 2020-12-03 2021-02-02 之江实验室 一种对三维道路模型进行提取与简化的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022199437A1 (zh) * 2021-03-24 2022-09-29 纵深视觉科技(南京)有限责任公司 立体显示的方法、装置、电子设备及存储介质
CN113256803A (zh) * 2021-06-23 2021-08-13 合肥量圳建筑科技有限公司 一种数据压缩方法、装置、设备及存储介质
CN113963100A (zh) * 2021-10-25 2022-01-21 广东工业大学 一种数字孪生仿真场景的三维模型渲染方法及***
CN113963100B (zh) * 2021-10-25 2022-04-29 广东工业大学 一种数字孪生仿真场景的三维模型渲染方法及***

Also Published As

Publication number Publication date
WO2022199437A1 (zh) 2022-09-29

Similar Documents

Publication Publication Date Title
EP3852068A1 (en) Method for training generative network, method for generating near-infrared image and apparatuses
CN113012270A (zh) 一种立体显示的方法、装置、电子设备及存储介质
JP5891425B2 (ja) 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
CN107491174A (zh) 用于远程协助的方法、装置、***及电子设备
US20140375634A1 (en) Hybrid client-server rendering with low latency in view
CN115100339A (zh) 图像生成方法、装置、电子设备和存储介质
US9165397B2 (en) Texture blending between view-dependent texture and base texture in a geographic information system
CN113099204A (zh) 一种基于vr头戴显示设备的远程实景增强现实方法
KR20240001021A (ko) 이미지 렌더링 방법, 장치, 전자 설비 및 저장 매체
US20130027389A1 (en) Making a two-dimensional image into three dimensions
KR20140145217A (ko) 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법
US20160049001A1 (en) Curvature-Driven Normal Interpolation for Shading Applications
WO2023056840A1 (zh) 三维物体的显示方法、装置、设备及介质
KR102059732B1 (ko) 디지털 비디오 렌더링
CN107562185B (zh) 一种基于头戴vr设备的光场显示***及实现方法
CN114830676A (zh) 视频处理设备和用于视频流式传输的清单文件
CN113870439A (zh) 用于处理图像的方法、装置、设备以及存储介质
KR101588935B1 (ko) 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법
Park et al. InstantXR: Instant XR environment on the web using hybrid rendering of cloud-based NeRF with 3d assets
US11756260B1 (en) Visualization of configurable three-dimensional environments in a virtual reality system
US11887239B2 (en) Integration of 3rd party geometry for visualization of large data sets system and method
CN115311414A (zh) 基于数字孪生的实景渲染方法、装置及相关设备
CN114020390A (zh) Bim模型显示方法、装置、计算机设备和存储介质
CN112257653A (zh) 空间装饰效果图确定方法、装置、存储介质与电子设备
WO2020012071A1 (en) A method, an apparatus and a computer program product for volumetric video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination