CN115237363A - 画面显示方法、装置、设备及介质 - Google Patents

画面显示方法、装置、设备及介质 Download PDF

Info

Publication number
CN115237363A
CN115237363A CN202210885790.0A CN202210885790A CN115237363A CN 115237363 A CN115237363 A CN 115237363A CN 202210885790 A CN202210885790 A CN 202210885790A CN 115237363 A CN115237363 A CN 115237363A
Authority
CN
China
Prior art keywords
target
dimensional model
mounted device
head
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210885790.0A
Other languages
English (en)
Inventor
秦瑞峰
陈丽莉
赵砚秋
韩鹏
张�浩
何惠东
姜倩文
杜伟华
石娟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210885790.0A priority Critical patent/CN115237363A/zh
Publication of CN115237363A publication Critical patent/CN115237363A/zh
Priority to PCT/CN2023/105985 priority patent/WO2024022070A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种画面显示方法、装置、设备及介质。本发明通过创建用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵的目标数据库,其中,候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到的,因而,在采集到包含目标物体的图像,并基于包含目标物体的图像,确定目标物体的目标特征矩阵后,可以基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的、经过残缺部分补全和/或色彩复原的目标三维模型,从而对目标三维模型进行显示,可以提高第一头戴式设备的显示效果,进而提高用户体验。

Description

画面显示方法、装置、设备及介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种画面显示方法、装置、设备及介质。
背景技术
随着经济的不断发展,旅游逐渐成为一种重要的休闲娱乐方式。而石窟类历史文物作为世界石刻艺术宝库中的重要组成部分,逐渐成为人们在旅游过程中的一种主要游览选择。
然而,石窟类历史文物体积一般都比较巨大,为了保护文物,游客一般不会被允许近距离观看,以避免给石窟类历史文物带来人为损坏。由此,游客在游览时,无法欣赏到石窟类历史文物的全貌,无法体会到的石窟类历史文物宏伟与雄奇。因此,亟需一种画面显示方法,来帮助游客更好地游览石窟类历史文物。
发明内容
本发明提供一种画面显示方法、装置、设备及介质,以解决相关技术中的不足。
根据本发明实施例的第一方面,提供一种画面显示方法,应用于第一可穿戴设备,该方法包括:
采集包含目标物体的图像;
基于包含目标物体的图像,确定目标物体的目标特征矩阵;
基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的目标三维模型,目标数据库用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵,候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到;
对目标三维模型进行显示。
在一些实施例中,基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的目标三维模型,包括:
对目标特征矩阵与目标数据库中所存储的特征矩阵进行匹配;
将与目标特征矩阵匹配的特征矩阵对应的候选三维模型,确定为目标三维模型。
在一些实施例中,目标数据库的构建过程包括:
获取通过图像扫描设备扫描得到的初始三维模型;
获取基于初始三维模型进行残缺部分补全和/或色彩复原得到的候选三维模型;
提取候选三维模型在不同角度下的特征矩阵;
将候选三维模型和所提取到的特征矩阵存储至目标数据库。
在一些实施例中,目标数据库还用于存储至少一个候选三维模型对应的媒体数据,媒体数据用于以视频或音频的形式介绍候选三维模型;
对目标三维模型进行显示之后,该方法还包括:
显示第一提示信息,第一提示信息用于询问是否播放目标三维模型对应的媒体数据。
在一些实施例中,显示第一提示信息之后,该方法还包括:
响应于接收到基于第一提示信息的第一反馈信息,从目标数据库中获取目标三维模型对应的媒体数据,第一反馈信息用于指示需要播放目标三维模型对应的媒体数据;
播放所获取到的媒体数据。
在一些实施例中,对目标三维模型进行显示之后,该方法还包括:
响应于在第一头戴式设备上的画面调整操作,按照画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整。
在一些实施例中,响应于在第一头戴式设备上的画面调整操作,按照画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整,包括下述至少一项:
响应于在第一头戴式设备的第一设定位置处的画面调整操作,按照画面调整操作所指示的显示视角,显示目标三维画面在画面调整操作所指示的显示视角下的画面;
响应于在第一头戴式设备的第二设定位置处的画面调整操作,按照画面调整操作所指示的画面放大倍数,对所显示的目标三维模型的画面进行放大或缩小。
在一些实施例中,该方法还包括:
响应于在第一头戴式设备的第二设定位置处的画面调整操作,在画面调整操作所指示的画面放大倍数达到设定放大倍数的情况下,显示第二提示信息,第二提示信息用于指示画面调整操作所指示的画面放大倍数已达到设定放大倍数。
在一些实施例中,该方法还包括下述任一项:
响应于在第一头戴式设备上的画面调整操作,将第一头戴式设备的调光膜设置为不透明状态;
响应于在第一头戴式设备上的画面调整操作,获取环境光亮度,基于环境光亮度,对第一头戴式设备的调光膜的透明程度进行调整。
在一些实施例中,该方法还包括:
在第一头戴式设备已与第二头戴式设备配对的情况下,向第二头戴式设备发送第一头戴式设备上所显示的画面。
在一些实施例中,该方法还包括:
在第一头戴式设备已与第二头戴式设备配对的情况下,响应于在第一头戴式设备上的位置获取操作,获取第二头戴式设备的位置信息;
对所获取到的位置信息进行显示。
在一些实施例中,该方法还包括:
显示第一路线图,第一路线图用于指示从第一头戴式设备所处的位置达到第二头戴式设备所处的位置的路线。
在一些实施例中,该方法还包括:
通过第一头戴式设备设置集合时间和集合位置;
该方法还包括:
在第一头戴式设备已与第二头戴式设备配对的情况下,响应于达到集合时间,向第二头戴式设备发送集合信息,第二头戴式设备用于在接收到集合信息的情况下,显示第二路线图,第二路线图用于指示从第二头戴式设备所处的位置达到集合位置的路线。
在一些实施例中,目标物体为石窟雕像类历史文物。
根据本发明实施例的第二方面,提供一种画面显示装置,应用于第一头戴式设备,该装置包括:
采集模块,用于采集包含目标物体的图像;
确定模块,用于基于包含目标物体的图像,确定目标物体的目标特征矩阵;
获取模块,用于基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的目标三维模型,目标数据库用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵,候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到;
显示模块,用于对目标三维模型进行显示。
在一些实施例中,获取模块,在用于基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的目标三维模型时,用于:
对目标特征矩阵与目标数据库中所存储的特征矩阵进行匹配;
将与目标特征矩阵匹配的特征矩阵对应的候选三维模型,确定为目标三维模型。
在一些实施例中,目标数据库的构建过程包括:
获取通过图像扫描设备扫描得到的初始三维模型;
获取基于初始三维模型进行残缺部分补全和/或色彩复原得到的候选三维模型;
提取候选三维模型在不同角度下的特征矩阵;
将候选三维模型和所提取到的特征矩阵存储至目标数据库。
在一些实施例中,目标数据库还用于存储至少一个候选三维模型对应的媒体数据,媒体数据用于以视频或音频的形式介绍候选三维模型;
显示模块,还用于显示第一提示信息,第一提示信息用于询问是否播放目标三维模型对应的媒体数据。
在一些实施例中,获取模块,还用于响应于接收到基于第一提示信息的第一反馈信息,从目标数据库中获取目标三维模型对应的媒体数据,第一反馈信息用于指示需要播放目标三维模型对应的媒体数据;
该装置还包括:
播放模块,用于播放所获取到的媒体数据。
在一些实施例中,该装置还包括:
调整模块,用于响应于在第一头戴式设备上的画面调整操作,按照画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整。
在一些实施例中,调整模块,在用于响应于在第一头戴式设备上的画面调整操作,按照画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整时,用于下述至少一项:
响应于在第一头戴式设备的第一设定位置处的画面调整操作,按照画面调整操作所指示的显示视角,显示目标三维画面在画面调整操作所指示的显示视角下的画面;
响应于在第一头戴式设备的第二设定位置处的画面调整操作,按照画面调整操作所指示的画面放大倍数,对所显示的目标三维模型的画面进行放大或缩小。
在一些实施例中,显示模块,还用于响应于在第一头戴式设备的第二设定位置处的画面调整操作,在画面调整操作所指示的画面放大倍数达到设定放大倍数的情况下,显示第二提示信息,第二提示信息用于指示画面调整操作所指示的画面放大倍数已达到设定放大倍数。
在一些实施例中,调整模块,还用于响应于在第一头戴式设备上的画面调整操作,将第一头戴式设备的调光膜设置为不透明状态;
调整模块,还用于响应于在第一头戴式设备上的画面调整操作,获取环境光亮度,基于环境光亮度,对第一头戴式设备的调光膜的透明程度进行调整。
在一些实施例中,该装置还包括:
第一发送模块,用于在第一头戴式设备已与第二头戴式设备配对的情况下,向第二头戴式设备发送第一头戴式设备上所显示的画面。
在一些实施例中,获取模块,还用于在第一头戴式设备已与第二头戴式设备配对的情况下,响应于在第一头戴式设备上的位置获取操作,获取第二头戴式设备的位置信息;
显示模块,还用于对所获取到的位置信息进行显示。
在一些实施例中,显示模块,还用于显示第一路线图,第一路线图用于指示从第一头戴式设备所处的位置达到第二头戴式设备所处的位置的路线。
在一些实施例中,该装置还包括:
设置模块,用于通过第一头戴式设备设置集合时间和集合位置;
第二发送模块,用于在第一头戴式设备已与第二头戴式设备配对的情况下,响应于达到集合时间,向第二头戴式设备发送集合信息,第二头戴式设备用于在接收到集合信息的情况下,显示第二路线图,第二路线图用于指示从第二头戴式设备所处的位置达到集合位置的路线。
在一些实施例中,目标物体为石窟雕像类历史文物。
根据本发明实施例的第三方面,提供一种头戴式设备,该头戴式设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,该处理器执行该计算机程序时实现上述第一方面以及第一方面的任一个实施例所提供的画面显示方法所执行的操作。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质上存储有程序,该程序被处理器执行时,实现上述第一方面以及第一方面的任一个实施例所提供的画面显示方法所执行的操作。
根据本发明实施例的第五方面,提供一种计算机程序产品,该计算机程序产品包括计算机程序,计算机程序被处理器执行时,实现上述第一方面以及第一方面的任一个实施例所提供的画面显示方法所执行的操作。
本发明通过创建用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵的目标数据库,其中,候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到的,因而,在采集到包含目标物体的图像,并基于包含目标物体的图像,确定目标物体的目标特征矩阵后,可以基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的、经过残缺部分补全和/或色彩复原的目标三维模型,从而对目标三维模型进行显示,可以提高第一头戴式设备的显示效果,进而提高用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据本发明实施例示出的一种画面显示方法的实施环境示意图。
图2是根据本发明实施例示出的一种画面显示方法的流程图。
图3是根据本发明实施例示出的一种目标数据库的创建过程示意图。
图4是根据本发明实施例示出的一种画面显示方法的流程图。
图5是根据本发明实施例示出的一种画面调整方式的示意图。
图6是根据本发明实施例示出的一种调光膜的设置方式示意图。
图7是根据本发明实施例示出的一种调光膜透明度的调整过程示意图。
图8是根据本发明实施例示出的一种亲子功能模式下头戴式设备的处理流程图。
图9是根据本发明实施例示出的一种导游功能模式下头戴式设备的处理流程图。
图10是根据本发明实施例示出的一种画面显示装置的框图。
图11是根据本发明实施例提供的一种头戴式设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明提供了一种画面显示方法,用于基于增强现实技术,来实现目标物体的三维模型恢复和色彩复原,以便用户可以看到物体未受到损坏前的样子,从而可以提高用户体验。
可选地,目标物体可以为石窟雕像类历史文物,也即是,可以通过本发明所提供的画面显示方法,来对雕像的三维模型进行残缺部分补全和色彩复原,以便用户可以看到雕像的原始风貌,体会雕像真正的宏伟与雄奇。
上述画面显示方法可以由头戴式设备执行,该头戴式设备可以为智能眼镜、增强现实(Augmented Reality,AR)眼镜等,本发明对头戴式设备的设备类型和设备数量不加以限定。
在介绍了本发明的应用场景之后,下面对本发明所提供的画面显示方法的实施环境进行说明。
参见图1,图1是根据本发明实施例示出的一种画面显示方法的实施环境示意图,如图1所示,该实施环境可以包括头戴式设备101和服务器102。
其中,头戴式设备101可以为智能眼镜、AR眼镜等,服务器102可以为一台服务器、多台服务器、服务器集群、云计算平台等。头戴式设备101可以通过有线或无线的通信方式与服务器102进行通信,以便头戴式设备101可以通过本发明所提供的画面显示方法,来实现对目标物体经过残缺部分补全和色彩复原的目标三维模型的显示。
可选地,本发明所提供的画面显示方法还可以应用在其他实施环境中,例如,该实施环境还可以仅包括头戴式设备101,各个头戴式设备101之间可以通过有线或无线的通信方式进行通信,以实现本发明所提供的画面显示方法。
在介绍了本发明的实施环境之后,下面对本发明所提供的画面显示方法的方案进行介绍。
参见图2,图2是根据本发明实施例示出的一种画面显示方法的流程图,如图2所示,应用于第一头戴式设备,第一头戴式设备可以为多个头戴式设备中的任意一个,例如,第一头戴式设备可以为家长所使用的头戴式设备,或者,第一头戴式设备可以为孩子所使用的头戴式设备,或者,第一头戴式设备可以为导游所使用的头戴式设备,或者,第一头戴式设备可以为游客所使用的头戴式设备,等等,本发明对此不加以限定。该画面显示方法可以包括:
步骤101、采集包含目标物体的图像。
其中,目标物体可以为任意物体,例如,目标物体可以为石窟类雕刻历史文化,如雕像,可选地,目标物体还可以为其他物体,本发明对目标物体的具体类型不加以限定。
需要说明的是,第一头戴式设备可以内接或外置有摄像设备,本发明对摄像设备采用何种方式设置不加以限定。以第一头戴式设备为智能眼镜为例,第一头戴式设备的镜框上可以设置有摄像头(也即是摄像设备)。
在一种可能的实现方式中,第一头戴式设备可以通过内置或外接于该第一头戴式设备的摄像设备,来采集包含目标物体的图像。
步骤102、基于包含目标物体的图像,确定目标物体的目标特征矩阵。
步骤103、基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的目标三维模型,目标数据库用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵,候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到。
步骤104、对目标三维模型进行显示。
需要说明的是,第一头戴式设备中可以设置有显示设备,因而,第一头戴式设备可以通过显示设备,来对目标三维模型进行显示。
本发明通过创建用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵的目标数据库,其中,候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到的,因而,在采集到包含目标物体的图像,并基于包含目标物体的图像,确定目标物体的目标特征矩阵后,可以基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的、经过残缺部分补全和/或色彩复原的目标三维模型,从而对目标三维模型进行显示,可以提高第一头戴式设备的显示效果,进而提高用户体验。
在介绍了本发明的基本实现过程之后,下面对本发明的各个可选实施例进行介绍。
在一些实施例中,对于步骤102,在基于包含目标物体的图像,确定目标物体的目标特征矩阵时,可以通过如下方式实现:
将包含目标物体的图像输入至特征提取模型,通过特征提取模型对输入其中的图像进行处理,以得到目标物体的目标特征矩阵。
其中,特征提取模型可以为多种类型的神经网络模型,例如,特征提取模型可以为卷积神经网络(Convolutional Neural Network,CNN)模型,可选地,特征提取模型还可以为其他类型的模型,本发明对特征提取模型的具体类型不加以限定。
以特征提取模型为CNN为例,该特征提取模型可以包括卷积层和池化层,在通过该特征提取模型获取目标物体的目标特征矩阵时,可以通过卷积层对输入的图像进行卷积处理,得到该图像的卷积特征,进而通过池化层对卷积特征进行池化处理,以得到目标物体的目标特征矩阵。
上述仅为一种获取目标物体的目标特征矩阵的示例性方式,在更多可能的实现方式中,还可以采用其他方式来进行目标特征矩阵的获取,本发明对具体采用哪种方式不加以限定。
上述过程是以获取到包含目标物体的图像后,直接基于获取到的图像来进行目标特征矩阵的确定为例来进行说明的,而通过步骤101获取到的图像是位于相机坐标系下的,但一般在进行处理时,需要基于位于人眼坐标系下的图像进行处理,因而,在基于包含目标物体的图像,确定目标物体的目标特征矩阵之前,可以将图像从相机坐标系转换到人眼坐标系下,以保证后续提取到的目标特征矩阵的准确性。
可选地,在将图像从相机坐标系转换到人眼坐标系下时,可以对图像进行旋转和/或平移,以便实现图像从相机坐标系到人眼坐标系的转换。
其中,在对图像进行旋转和/或平移,可以按照设定角度对图像进行旋转,按照设定位移对图像进行平移。
需要说明的是,设定角度和设定距离可以是预先确定出来的。例如,可以通过如下方式来获取设定角度和设定距离:
在用户首次佩戴头戴式设备时,用户可以通过头戴式设备看到实际画面的同时,还可以看到显示在头戴式设备的显示设备上的屏幕画面,用户可以通过头戴式设备上的控件,来对显示设备上的屏幕画面进行调整(如旋转、平移等),以便屏幕画面可以与实际画面重合,此时,头戴式设备即可获取到屏幕画面从开始到移动到与实际画面重合的位置所旋转的角度和/或所移动的距离,从而将获取到的角度作为设定角度,将获取到的距离作为设定距离,以实现设定角度和设定距离的获取。
其中,上述过程中所涉及的控件可以为按键、旋钮、触摸式按钮等多种形式,本发明对控件的具体类型不加以限定。
在通过上述过程获取到目标物体的目标特征矩阵后,即可基于所获取到的目标特征矩阵,来从目标数据库中获取目标物体对应的目标三维模型。
其中,目标数据库可以为头戴式设备所关联的数据库,目标数据库可以是预先构建好的,例如,目标数据库可以由相关技术人员通过计算机设备或头戴式设备预先创建好的。目标数据库中可以存储有至少一个候选三维模型以及每个候选三维模型对应的特征矩阵,下面对目标数据库的构建过程进行介绍。
在一些实施例,该目标数据库的构建过程可以包括:
步骤一、获取通过图像扫描设备扫描得到的初始三维模型。
其中,图像扫描设备可以为三维扫描仪、无人机等,本发明对图像扫描设备的设备类型不加以限定。
在一种可能的实现方式中,为保证图像扫描设备可以采集到目标物体完整的画面,可以采用三维扫描仪和无人机作为图像扫描设备,以便可以通过作为图像扫描设备的三维扫描仪获取到目标物体较低部位的点云数据,通过作为图像扫描设备的无人机获取到目标物体较高部位的图像,从而实现目标物体的完整数据的获取,进而可以基于扫描得到的数据(如点云数据、图像数据等)进行三维模型重建,以得到初始三维模型。
步骤二、获取基于初始三维模型进行残缺部分补全和/或色彩复原得到的候选三维模型。
需要说明的是,由于目标物体可能年代较为久远,且可能受到了自然环境中一些物质的侵蚀,因而可能会造成目标物体有残缺、目标物体的色彩消失殆尽等情况的出现,为尽可能还原目标物体的原始风貌与色彩,可以基于初始三维模型进行残缺部分补全和/或色彩复原。
在一种可能的实现方式中,可以邀请历史文物专家提供指导意见,以便相关技术人员可以根据历史文物专家的指导,来对初始三维模型进行残缺部分补全和/或色彩复原,从而使得计算机设备(或头戴式设备)可以获取到经过残缺部分补全和/或色彩复原得到的候选三维模型。
步骤三、提取候选三维模型在不同角度下的特征矩阵。
可选地,可以对所获取到的候选三维模型的角度进行调整,以获取到候选三维模型在不同角度下的图像,进而基于候选三维模型在不同角度下的图像,来确定候选三维模型在不同角度下的特征矩阵。
需要说明的是,对于基于候选三维模型在不同角度下的图像,来确定候选三维模型在不同角度下的特征矩阵的过程,可以参见步骤102中基于包含目标物体的图像,确定目标物体的目标特征矩阵的过程,仅需保证确定特征矩阵时所使用的方法与确定目标特征矩阵时所使用的方法一致即可,从而保证后续基于特征矩阵进行匹配的过程可以顺利进行。
步骤四、将候选三维模型和所提取到的特征矩阵存储至目标数据库。
在一种可能的实现方式中,可以将该候选三维模型与对应的特征矩阵关联存储在目标数据库中,以便后续可以基于特征矩阵实现对应的三维模型的确定。
上述过程仅以获取一个候选三维模型以及对应的特征矩阵的过程为例来进行说明,其他候选三维模型以及对应的特征矩阵的获取过程与之同理,此处不再赘述。
上述构建目标数据库的过程可以参见图3,图3是根据本发明实施例示出的一种目标数据库的创建过程示意图,如图3所示,可以通过扫描物体来建立物体的初始三维模型,再对初始三维模型进行残缺部分补全和色彩复原,以得到候选三维模型,从而提取通过候选三维模型在不同角度下的特征矩阵,以得到同一物体在不同角度下的特征矩阵,进而将候选三维模型与对应的特征矩阵对应存储,即可实现目标数据库的构建。
通过上述过程即可完成目标数据库的构建,以便在通过步骤102实现目标特征矩阵的确定后,可以通过步骤103来进行特征矩阵的匹配,以实现目标三维模型的获取。
在一些实施例中,对于步骤103,在基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的目标三维模型时,可以包括如下步骤:
步骤1031、对目标特征矩阵与目标数据库中所存储的特征矩阵进行匹配。
在一种可能的实现方式中,可以将目标特征矩阵与目标数据库中所存储的特征矩阵逐个进行比较,以实现目标特征矩阵与目标数据库中所存储的特征矩阵的匹配。
在确定出目标数据库中有一个特征矩阵与目标特征矩阵相同后,即可确定该特征矩阵与目标特征矩阵匹配。
步骤1032、将与目标特征矩阵匹配的特征矩阵对应的候选三维模型,确定为目标三维模型。
需要说明的是,在目标数据库中,一个候选三维模型可以对应有多个特征矩阵,在通过步骤1031确定出于目标特征矩阵匹配的特征矩阵后,即可确定出该特征矩阵对应的候选三维模型,从而将该特征矩阵对应的候选三维模型确定为目标三维模型,从而从目标数据库中获取到目标三维模型。
在通过步骤103获取到目标三维模型后,即可通过步骤104来对目标三维模型进行显示,以便用户可以看到所显示的目标三维模型,而目标三维模型是经过残缺部分补全和/或色彩复原的,因而可以更好地还原出目标物体的原始风貌与色彩,从而可以提高用户体验。
需要说明的是,目标数据库中还可以存储有各个候选三维模型对应的媒体数据,媒体数据可以用于以视频或音频的形式来介绍候选三维模型,例如,介绍候选三维模型的建造时间、建造历史等,也即是介绍目标物体的建造时间、建造历史等,以便用户可以通过媒体数据更好地了解目标物体。
其中,媒体数据可以为预先录制好并存储在目标数据库中的,媒体数据与对应的候选三维模型可以是关联存储的,以便在通过步骤103确定出目标三维模型后,可以直接确定出目标三维模型对应的媒体数据。
在一些实施例中,在通过步骤104对目标三维模型进行显示后,还可以显示第一提示信息,以便通过第一提示信息来询问是否播放目标三维模型对应的媒体数据,用户仅需对第一提示信息做出反馈,头戴式设备即可确定是否需要播放目标三维模型对应的媒体数据。
例如,第一头戴式设备可以显示第一反馈控件和第二反馈控件,用户可以通过触发第一反馈控件来触发第一反馈信息,第一反馈信息可以用于指示需要播放目标三维模型对应的媒体数据,以便第一头戴式设备可以基于接收到的第一反馈信息确定需要播放目标三维模型对应的媒体数据,或者,用户可以通过触发第二反馈控件来触发第二反馈信息,第二反馈信息可以用于指示不需要播放目标三维模型对应的媒体数据,以便第一头戴式设备可以基于接收到的第二反馈信息确定不需要播放目标三维模型对应的媒体数据。
在一种可能的实现方式中,第一头戴式设备可以响应于接收到基于第一提示信息的第一反馈信息,从目标数据库中获取目标三维模型对应的媒体数据,进而播放所获取到的媒体数据,以便用户可以通过所播放的媒体数据,来了解目标物体。
上述各个实施例所提供的画面显示方法的过程可以参见图4,图4是根据本发明实施例示出的一种画面显示方法的流程图,如图4所示,第一头戴式设备的摄像设备可以实时拍摄画面,第一头戴式设备即可将拍摄到的画面由相机坐标系转换为人眼坐标系,从而基于人眼坐标系下的画面来提取目标物体的目标特征矩阵,从而基于目标特征矩阵来匹配数据库中的候选三维模型,在从数据库中匹配到候选三维模型的情况下,即可将匹配到的三维模型输出到显示端,并且,还可以提示是否要播放匹配到的三维模型对应的媒体数据,也即是游览介绍;另外,在未从数据库中匹配到候选三维模型的情况下,继续通过摄像设备实时拍摄画面即可。
上述过程主要介绍了如何获取目标三维模型并对目标三维模型进行显示的过程,可选地,用户还可以根据自己的需要,来对所显示的目标三维模型的画面进行调整。
在一些实施例中,用户可以通过第一头戴式设备进行画面调整操作,以便第一头戴式设备可以响应于在第一头戴式设备上的画面调整操作,按照画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整。
下面分别对按照画面调整操作指示的显示视角对画面进行调整、以及按照画面调整操作指示的画面放大倍数对画面进行调整的过程来进行说明。
在一种可能的实现方式中,用户可以在第一头戴式设备的第一设定位置处触发画面调整操作,以便第一头戴式设备可以响应于在第一头戴式设备的第一设定位置处的画面调整操作,按照画面调整操作所指示的显示视角,显示目标三维画面在画面调整操作所指示的显示视角下的画面。
其中,第一设定位置可以为位于第一头戴式设备的左侧镜腿上的具有触控(Touch)功能的区域,用户可以在左侧镜腿上的具有Touch功能的区域中进行滑动操作,以触发画面调整操作。
可选地,不同的滑动方向可以对应于显示视角的不同调整方式,例如,在左侧镜腿上具有Touch功能的区域中向镜腿尾部的方向滑动时,可以将所显示的画面调整为在比用户实际身高更高的位置所看到的画面,以实现对显示角度的调整。相应地,在左侧镜腿上具有Touch功能的区域中向与镜腿尾部反向的方向滑动时,可以将所显示的画面调整为在比用户实际身高更低的位置所看到的画面,以实现对显示角度的调整。
正常情况下观看到的画面均是人站在地面看到的效果,然而对于巨大的雕像,在不同的高度看到的效果是不同的。比如,对于巨大的佛像,在地面看到画面中佛像各个部分的比例非常协调,然而,由于人眼看到的画面有近大远小的现象,因而佛像的头部实际是比离我们更近的身体部分更大的通过上述显示视角的调整过程,可以让游客感觉不同视角下的宏伟,更切身地体会到古人在雕刻佛像时的智慧。
在另一种可能的实现方式中,用户可以在第一头戴式设备的第二设定位置处触发画面调整操作,以便第一头戴式设备可以响应于在第一头戴式设备的第二设定位置处的画面调整操作,按照画面调整操作所指示的画面放大倍数,对所显示的目标三维模型的画面进行放大或缩小。
其中,第二设定位置可以为位于第一头戴式设备的右侧镜腿上的具有Touch功能的区域,用户可以在右侧镜腿上的具有Touch功能的区域中进行滑动操作,以触发画面调整操作。
可选地,不同的滑动方向可以对应于画面放大倍数的不同调整方式,例如,在右侧镜腿上具有Touch功能的区域中向镜腿尾部的方向滑动时,可以对所显示的画面进行放大,以实现对显示角度的调整。相应地,在右侧镜腿上具有Touch功能的区域中向与镜腿尾部反向的方向滑动时,可以对所显示的画面进行缩小。
由于大部分雕像都非常巨大,游客站在可供游览的最前面,依然距离较远,无法看清楚细节,通过上述过程,可以根据自己的观看需求来对画面进行放大或缩小,从而可以提高用户的观看体验。
此外,为了保证较好的观看体验,画面最好不要无限进行放大,因为无限放大可能会导致画面失真与模糊。
因而,在一些实施例中,响应于在第一头戴式设备的第二设定位置处的画面调整操作,在画面调整操作所指示的画面放大倍数达到设定放大倍数的情况下,可以显示第二提示信息,第二提示信息可以用于指示画面调整操作所指示的画面放大倍数已达到设定放大倍数。可选地,第二提示信息可以为语音提示信息、文字提示信息等,本发明对第二提示信息的具体类型不加以限定。
其中,设定放大倍数可以是预先设置好的。人仔细观察某物体时眼睛离物体的距离一般是固定的,此时对物体的观察效果较好,因而,可以将设定放大倍数设置为与此距离等效,以给观看者一种近距离观看物体的感觉,从而可以提高用户体验。
参见图5,图5是根据本发明实施例示出的一种画面调整方式的示意图,如图5所示,用户可以在右侧镜腿上触发画面调整操作,以便第一头戴式设备可以按照画面调整操作所指示的画面放大倍数来对画面进行调整;此外,用户还可以在左侧镜腿上触发画面调整操作,以便第一头戴式设备可以按照画面调整操作所指示的显示视角来对画面进行调整。
上述过程仅为对画面进行调整的过程,可选地,头戴式设备的镜片上还可以设置有调光膜,可以通过对调光膜的不透明度进行调整,以为用户提供较佳的观看效果。例如,参见图6,图6是根据本发明实施例示出的一种调光膜的设置方式示意图,如图6所示,调光膜可以设置在镜片表面。
其中,调光膜可以为由聚合物分散液晶(Polymer Dispersed Liquid Crystal,PDLC)材料制成的膜,可以通过控制电压的大小,来控制膜的不透明度。
可选地,可以响应于在第一头戴式设备上的画面调整操作,将第一头戴式设备的调光膜设置为不透明状态。
通过将调光膜设置为不透明状态,可以使得用户仅能看到屏幕画面,避免因画面调整操作导致屏幕画面与实际画面不重合而影响用户的观看体验,提升用户的观看沉浸感。
或者,可以响应于在第一头戴式设备上的画面调整操作,获取环境光亮度,基于环境光亮度,对第一头戴式设备的调光膜的透明程度进行调整。
其中,不同的环境光亮度可以对应于调光膜不同的透明程度,该对应关系可以是预先设置好的,使得头戴式设备可以在获取到环境光亮度后,直接根据预先设置好的对应关系,确定出需要将调光膜的透明程度调整到哪个程度,从而对调光膜的透明程度进行调整。
通过根据环境光亮度值来对调光膜的透明程度进行调整,可以在保证人眼看到的实际画面与屏幕画面不重合的情况不会影响用户观看的情况下,避免镜片亮度突然变暗给人眼带来不适感。
参见图7,图7是根据本发明实施例示出的一种调光膜透明度的调整过程示意图,如图7所示,在检测到画面调整操作的情况下,可以直接将调光膜设置为不透明状态(也即是完全不透明),还可以获取环境光亮度,进而根据环境光来对调光膜的透明程度进行调整。
需要说明的是,在游览过程中,经常会出现父母带孩子游览的情况,然而,由于父母和孩子的身高不同,从而导致父母和孩子所看到的画面是不同的,为了让孩子可以体验到父母看到的画面,父母可以将自己的画面同步给孩子,让孩子可以体验到大人的视角。
在一些实施例中,在第一头戴式设备已与第二头戴式设备配对的情况下,第一头戴式设备可以向第二头戴式设备发送第一头戴式设备上所显示的画面,其中,第一头戴式设备可以为父母所使用的头戴式设备,第二头戴式设备可以为孩子所使用的头戴式设备。
其中,在对第一头戴式设备和第二头戴式设备进行配对时,可以采用蓝牙配对的方式,来实现第一头戴式设备和第二头戴式设备的配对,后续也可以通过蓝牙传输的方式来将第一头戴式设备的画面传输给第二头戴式设备,以实现第一头戴式设备和第二头戴式设备的画面同步。可选地,还可以通过无线(Wireless Fidelity,WiFi)传输的方式来实现第一头戴式设备和第二头戴式设备的画面同步,本发明对具体采用哪种方式不加以限定。
此外,在游览过程中,时常会出现孩子脱离父母视野而走丢的情况,因而,父母有时可能需要获得孩子的实时位置信息,以便父母可以及时找到孩子。
在一些实施例中,在第一头戴式设备已与第二头戴式设备配对的情况下,第一头戴式设备可以响应于在第一头戴式设备上的位置获取操作,获取第二头戴式设备的位置信息,以便第一头戴式设备可以对所获取到的位置信息进行显示。
其中,第一头戴式设备可以提供位置获取控件,用户可以通过触发位置获取控件,来触发位置获取操作,从而使得第一头戴式设备可以响应于位置获取操作,来获取第二头戴式设备的位置信息。
需要说明的是,头戴式设备可以设置有全球定位***(Global PositioningSystem,GPS),以便第二头戴式设备可以获取到自身的位置信息,从而将获取到的位置信息发送给第一头戴式设备,使得第一头戴式设备可以获取到第二头戴式设备的位置信息。
可选地,第一头戴式设备还可以基于第一头戴式设备的位置以及第二头戴式设备的位置显示第一路线图,第一路线图用于指示从第一头戴式设备所处的位置达到第二头戴式设备所处的位置的路线,以便父母可以根据第一路线图的指示快速到达孩子所处的位置。
参见图8,图8是根据本发明实施例示出的一种亲子功能模式下头戴式设备的处理流程图,如图8所示,在亲子功能模式下,可以对父母所使用的第一头戴式设备和孩子所使用的第二头戴式设备进行配对,以便父母和孩子可以共享彼此位置,从而使得父母可以随时获知孩子的位置;此外,还可以在有同步父母视角的需求的情况下,将第一头戴式设备的画面传输给第二头戴式设备,以实现将父母设备画面传输给孩子设备。
另外,在游览过程中,还会经常出现导游带领游客游览的情况,而且,在游览过程中,导游会时不时地为游客进行讲解,在讲解时,导游会指向或者看向所讲解的景观,这时,游客可能不清楚导游具体指的是什么,自己应该看向哪里,此时导游可将自己的画面,同步给自己所带领的游客,以便游客可以清楚地知道导游所讲解的景点,增强游览体验。
在一些实施例中,在第一头戴式设备已与第二头戴式设备配对的情况下,第一头戴式设备可以向第二头戴式设备发送第一头戴式设备上所显示的画面,其中,第一头戴式设备可以为导游所使用的头戴式设备,第二头戴式设备可以为游客所使用的头戴式设备。
在一种可能的实现方式中,第一头戴式设备可以维护有一个设备标识列表,该设备标识列表可以用于存储该导游所带领的游客所使用的第二头戴式设备的设备标识,相当于实现第一头戴式设备和第二头戴式设备的配对,后续第一头戴式设备即可将画面传输给位于设备标识列表的第二头戴式设备。
可选地,可以采用蓝牙传输、WiFi传输等方式来实现第一头戴式设备和第二头戴式设备的画面同步,本发明对具体采用哪种方式不加以限定。
此外,在导游带领游客进行游览的过程中,在游览完一个景点时,经常会自由活动,然后再集合。此时,导游可以通过第一头戴式设备设置集合信息(包括集合时间和集合位置),以便在到达集合时间后,可以及时提醒游客集合。
在一种可能的实现方式中,在第一头戴式设备已与第二头戴式设备配对的情况下,响应于达到集合时间,第一头戴式设备可以向第二头戴式设备发送集合信息,第二头戴式设备用于在接收到集合信息的情况下,显示第二路线图,第二路线图可以用于指示从第二头戴式设备所处的位置达到集合位置的路线。
通过在接收到集合信息时显示第二路线图,以便游客可以根据导航路线,快速到达集合地点。
参见图9,图9是根据本发明实施例示出的一种导游功能模式下头戴式设备的处理流程图,如图9所示,在导游功能模式下,可以在第一头戴式设备中添加第二头戴式设备(也即是游客设备),以便可以在有同步导游视角的需求的情况下,将第一头戴式设备的画面传输给第二头戴式设备,以实现将导游设备画面传输给游客设备;此外,导游还可以通过第一头戴式设备设置集合时间和集合位置,以便游客可以在达到集合时间的情况下,通过第二头戴式设备导航至集合位置。
本发明的实施例还提出了一种画面显示装置,参见图10,图10是根据本发明实施例示出的一种画面显示装置的框图,应用于第一头戴式设备,该装置可以包括:
采集模块1001,用于采集包含目标物体的图像;
确定模块1002,用于基于包含目标物体的图像,确定目标物体的目标特征矩阵;
获取模块1003,用于基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的目标三维模型,目标数据库用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵,候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到;
显示模块1004,用于对目标三维模型进行显示。
在一些实施例中,获取模块1003,在用于基于目标物体的目标特征矩阵,从目标数据库中,获取与目标物体匹配的目标三维模型时,用于:
对目标特征矩阵与目标数据库中所存储的特征矩阵进行匹配;
将与目标特征矩阵匹配的特征矩阵对应的候选三维模型,确定为目标三维模型。
在一些实施例中,目标数据库的构建过程包括:
获取通过图像扫描设备扫描得到的初始三维模型;
获取基于初始三维模型进行残缺部分补全和/或色彩复原得到的候选三维模型;
提取候选三维模型在不同角度下的特征矩阵;
将候选三维模型和所提取到的特征矩阵存储至目标数据库。
在一些实施例中,目标数据库还用于存储至少一个候选三维模型对应的媒体数据,媒体数据用于以视频或音频的形式介绍候选三维模型;
显示模块1004,还用于显示第一提示信息,第一提示信息用于询问是否播放目标三维模型对应的媒体数据。
在一些实施例中,获取模块1003,还用于响应于接收到基于第一提示信息的第一反馈信息,从目标数据库中获取目标三维模型对应的媒体数据,第一反馈信息用于指示需要播放目标三维模型对应的媒体数据;
该装置还包括:
播放模块,用于播放所获取到的媒体数据。
在一些实施例中,该装置还包括:
调整模块,用于响应于在第一头戴式设备上的画面调整操作,按照画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整。
在一些实施例中,调整模块,在用于响应于在第一头戴式设备上的画面调整操作,按照画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整时,用于下述至少一项:
响应于在第一头戴式设备的第一设定位置处的画面调整操作,按照画面调整操作所指示的显示视角,显示目标三维画面在画面调整操作所指示的显示视角下的画面;
响应于在第一头戴式设备的第二设定位置处的画面调整操作,按照画面调整操作所指示的画面放大倍数,对所显示的目标三维模型的画面进行放大或缩小。
在一些实施例中,显示模块1004,还用于响应于在第一头戴式设备的第二设定位置处的画面调整操作,在画面调整操作所指示的画面放大倍数达到设定放大倍数的情况下,显示第二提示信息,第二提示信息用于指示画面调整操作所指示的画面放大倍数已达到设定放大倍数。
在一些实施例中,调整模块,还用于响应于在第一头戴式设备上的画面调整操作,将第一头戴式设备的调光膜设置为不透明状态;
调整模块,还用于响应于在第一头戴式设备上的画面调整操作,获取环境光亮度,基于环境光亮度,对第一头戴式设备的调光膜的透明程度进行调整。
在一些实施例中,该装置还包括:
第一发送模块,用于在第一头戴式设备已与第二头戴式设备配对的情况下,向第二头戴式设备发送第一头戴式设备上所显示的画面。
在一些实施例中,获取模块1003,还用于在第一头戴式设备已与第二头戴式设备配对的情况下,响应于在第一头戴式设备上的位置获取操作,获取第二头戴式设备的位置信息;
显示模块,还用于对所获取到的位置信息进行显示。
在一些实施例中,显示模块,还用于显示第一路线图,第一路线图用于指示从第一头戴式设备所处的位置达到第二头戴式设备所处的位置的路线。
在一些实施例中,该装置还包括:
设置模块,用于通过第一头戴式设备设置集合时间和集合位置;
第二发送模块,用于在第一头戴式设备已与第二头戴式设备配对的情况下,响应于达到集合时间,向第二头戴式设备发送集合信息,第二头戴式设备用于在接收到集合信息的情况下,显示第二路线图,第二路线图用于指示从第二头戴式设备所处的位置达到集合位置的路线。
在一些实施例中,目标物体为石窟雕像类历史文物。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明还提供了一种头戴式设备,参见图11,图11是根据本发明实施例提供的一种头戴式设备的结构示意图。如图11所示,头戴式设备包括处理器1101、存储器1102、网络接口1103、第一中断1104、第二中断1105、光感设备1106、摄像设备1107、显示设备1108、GPS和WiFi模块1109,存储器1102用于存储可在处理器1101上运行的计算机程序代码,处理器1101用于在执行该计算机程序代码时实现本发明任一实施例所提供的画面显示方法,网络接口1103用于实现输入输出功能。
此外,第一中断1104可以为右侧镜腿Touch中断,收到第一中断后,处理器1101可以进行画面放大系数的确定;第二中断1105可以为左侧镜腿Touch中断,收到第二中断后,处理器1101可以进行显示视角的确定;光感设备1106可以用于获取环境光亮度,摄像设备1107可以用于拍摄实时画面,显示设备1108可以用于显示三维模型的画面;对于GPS和WiFi模块1109,GPS可以实时获取当前位置,并提供导航的精确定位,WiFi可以保证头戴式设备间的数据传输。
在更多可能的实现方式中,头戴式设备还可以包括其他硬件,本发明对此不做限定。
本发明还提供了一种计算机可读存储介质,计算机可读存储介质可以是多种形式,比如,在不同的例子中,计算机可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等),或者类似的存储介质,或者它们的组合。特殊的,计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现本发明任一实施例所提供的画面显示方法。
本发明还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现本发明任一实施例所提供的画面显示方法。
在本发明中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (17)

1.一种画面显示方法,其特征在于,应用于第一头戴式设备,所述方法包括:
采集包含目标物体的图像;
基于包含目标物体的图像,确定所述目标物体的目标特征矩阵;
基于所述目标物体的目标特征矩阵,从目标数据库中,获取与所述目标物体匹配的目标三维模型,所述目标数据库用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵,所述候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到;
对所述目标三维模型进行显示。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标物体的目标特征矩阵,从目标数据库中,获取与所述目标物体匹配的目标三维模型,包括:
对所述目标特征矩阵与所述目标数据库中所存储的特征矩阵进行匹配;
将与所述目标特征矩阵匹配的特征矩阵对应的候选三维模型,确定为所述目标三维模型。
3.根据权利要求1所述的方法,其特征在于,所述目标数据库的构建过程包括:
获取通过图像扫描设备扫描得到的初始三维模型;
获取基于所述初始三维模型进行残缺部分补全和/或色彩复原得到的候选三维模型;
提取所述候选三维模型在不同角度下的特征矩阵;
将所述候选三维模型和所提取到的特征矩阵存储至所述目标数据库。
4.根据权利要求1所述的方法,其特征在于,所述目标数据库还用于存储所述至少一个候选三维模型对应的媒体数据,所述媒体数据用于以视频或音频的形式介绍所述候选三维模型;
所述对所述目标三维模型进行显示之后,所述方法还包括:
显示第一提示信息,所述第一提示信息用于询问是否播放所述目标三维模型对应的媒体数据。
5.根据权利要求4所述的方法,其特征在于,所述显示第一提示信息之后,所述方法还包括:
响应于接收到基于所述第一提示信息的第一反馈信息,从所述目标数据库中获取所述目标三维模型对应的媒体数据,所述第一反馈信息用于指示需要播放所述目标三维模型对应的媒体数据;
播放所获取到的媒体数据。
6.根据权利要求1所述的方法,其特征在于,所述对所述目标三维模型进行显示之后,所述方法还包括:
响应于在所述第一头戴式设备上的画面调整操作,按照所述画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整。
7.根据权利要求6所述的方法,其特征在于,所述响应于在所述第一头戴式设备上的画面调整操作,按照所述画面调整操作指示的显示视角和/或画面放大倍数,对所显示的目标三维模型的画面进行调整,包括下述至少一项:
响应于在所述第一头戴式设备的第一设定位置处的画面调整操作,按照所述画面调整操作所指示的显示视角,显示所述目标三维画面在所述画面调整操作所指示的显示视角下的画面;
响应于在所述第一头戴式设备的第二设定位置处的画面调整操作,按照所述画面调整操作所指示的画面放大倍数,对所显示的目标三维模型的画面进行放大或缩小。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
响应于在所述第一头戴式设备的第二设定位置处的画面调整操作,在所述画面调整操作所指示的画面放大倍数达到设定放大倍数的情况下,显示第二提示信息,所述第二提示信息用于指示所述画面调整操作所指示的画面放大倍数已达到设定放大倍数。
9.根据权利要求6所述的方法,其特征在于,所述方法还包括下述任一项:
响应于在所述第一头戴式设备上的画面调整操作,将所述第一头戴式设备的调光膜设置为不透明状态;
响应于在所述第一头戴式设备上的画面调整操作,获取环境光亮度,基于所述环境光亮度,对所述第一头戴式设备的调光膜的透明程度进行调整。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述第一头戴式设备已与第二头戴式设备配对的情况下,向所述第二头戴式设备发送所述第一头戴式设备上所显示的画面。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述第一头戴式设备已与第二头戴式设备配对的情况下,响应于在所述第一头戴式设备上的位置获取操作,获取所述第二头戴式设备的位置信息;
对所获取到的位置信息进行显示。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
显示第一路线图,所述第一路线图用于指示从所述第一头戴式设备所处的位置达到所述第二头戴式设备所处的位置的路线。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述第一头戴式设备设置集合时间和集合位置;
所述方法还包括:
在所述第一头戴式设备已与第二头戴式设备配对的情况下,响应于达到集合时间,向所述第二头戴式设备发送集合信息,所述第二头戴式设备用于在接收到集合信息的情况下,显示第二路线图,所述第二路线图用于指示从所述第二头戴式设备所处的位置达到所述集合位置的路线。
14.根据权利要求1所述的方法,其特征在于,所述目标物体为石窟雕像类历史文物。
15.一种画面显示装置,其特征在于,应用于第一头戴式设备,所述装置包括:
采集模块,用于采集包含目标物体的图像;
确定模块,用于基于包含目标物体的图像,确定所述目标物体的目标特征矩阵;
获取模块,用于基于所述目标物体的目标特征矩阵,从目标数据库中,获取与所述目标物体匹配的目标三维模型,所述目标数据库用于存储至少一个候选三维模型以及每个候选三维模型对应的特征矩阵,所述候选三维模型基于通过图像扫描设备扫描得到的初始三维模型进行残缺部分补全和/或色彩复原得到;
显示模块,用于对所述目标三维模型进行显示。
16.一种头戴式设备,其特征在于,所述头戴式设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至14中任一项所述的画面显示方法所执行的操作。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有程序,所述程序被处理器执行时,实现如权利要求1至14中任一项所述的画面显示方法所执行的操作。
CN202210885790.0A 2022-07-26 2022-07-26 画面显示方法、装置、设备及介质 Pending CN115237363A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210885790.0A CN115237363A (zh) 2022-07-26 2022-07-26 画面显示方法、装置、设备及介质
PCT/CN2023/105985 WO2024022070A1 (zh) 2022-07-26 2023-07-06 画面显示方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210885790.0A CN115237363A (zh) 2022-07-26 2022-07-26 画面显示方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115237363A true CN115237363A (zh) 2022-10-25

Family

ID=83675299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210885790.0A Pending CN115237363A (zh) 2022-07-26 2022-07-26 画面显示方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN115237363A (zh)
WO (1) WO2024022070A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024022070A1 (zh) * 2022-07-26 2024-02-01 京东方科技集团股份有限公司 画面显示方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127633A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 三维重建方法、设备以及计算机可读介质
CN111414225B (zh) * 2020-04-10 2021-08-13 北京城市网邻信息技术有限公司 三维模型远程展示方法、第一终端、电子设备及存储介质
CN111681320B (zh) * 2020-06-12 2023-06-02 如你所视(北京)科技有限公司 三维房屋模型中的模型展示方法及装置
CN113762059A (zh) * 2021-05-24 2021-12-07 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN115237363A (zh) * 2022-07-26 2022-10-25 京东方科技集团股份有限公司 画面显示方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024022070A1 (zh) * 2022-07-26 2024-02-01 京东方科技集团股份有限公司 画面显示方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2024022070A1 (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
US11381758B2 (en) System and method for acquiring virtual and augmented reality scenes by a user
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US20240112430A1 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
CN110382066B (zh) 混合现实观察器***和方法
CN108446310B (zh) 虚拟街景地图生成方法、装置和客户端设备
CN106157359B (zh) 一种虚拟场景体验***的设计方法
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
CN106683197A (zh) 一种融合vr和ar技术的楼盘展示***及其方法
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理***及处理方法
CN114401414B (zh) 沉浸式直播的信息显示方法及***、信息推送方法
JP6392945B1 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
US20180239514A1 (en) Interactive 3d map with vibrant street view
JP2020024417A (ja) 情報処理装置
WO2024022070A1 (zh) 画面显示方法、装置、设备及介质
CN117333644A (zh) 一种虚拟现实的显示画面生成方法、装置、设备和介质
KR102236965B1 (ko) 드론을 이용한 원격 여행 지원장치
CN113470190A (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
CN112947756A (zh) 内容导览方法、装置、***、计算机设备及存储介质
CN112288876A (zh) 远距离ar识别服务器及***
JP2019021324A (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
CN117319790A (zh) 基于虚拟现实空间的拍摄方法、装置、设备及介质
JP2022042249A (ja) プログラム、情報処理装置及び情報処理方法
CN116055708B (zh) 一种感知可视交互式球幕三维立体成像方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination