CN109920065B - 资讯的展示方法、装置、设备及存储介质 - Google Patents
资讯的展示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109920065B CN109920065B CN201910203491.2A CN201910203491A CN109920065B CN 109920065 B CN109920065 B CN 109920065B CN 201910203491 A CN201910203491 A CN 201910203491A CN 109920065 B CN109920065 B CN 109920065B
- Authority
- CN
- China
- Prior art keywords
- information
- model
- terminal
- target information
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了一种资讯的展示方法、装置、设备及存储介质,属于信息展示技术领域。该方法包括:在接收到资讯展示信号时,获取目标资讯和真实图像,真实图像是通过摄像头对真实环境进行拍摄得到的图像;根据目标资讯和真实图像生成AR图像;在用户界面中显示AR图像,AR图像中的AR元素用于显示目标资讯。本申请通过获取到的目标资讯和真实图像,生成AR图像,并在用户界面上显示AR图像,且AR图像中包括用于显示目标资讯的AR元素。终端通过AR元素,在AR图像中显示目标资讯,使得资讯与AR技术结合,丰富了资讯的展示方式,在展示资讯的时候,增强了用户阅读资讯时的沉浸感。
Description
技术领域
本申请涉及增强现实领域,特别涉及一种资讯的展示方法、装置、设备及存储介质。
背景技术
资讯是在短时间内为用户带来价值的信息。资讯的内容包括文字、图片、音频和视频中的至少一项信息。
相关技术中,资讯的展示方法包括:终端中安装有资讯类应用程序,当用户启动资讯类应用程序后,资讯类应用程序从服务器获取n条资讯。资讯类应用程序在用户界面上显示从上到下排列的n个列表控件,每个列表控件中显示有一条资讯的摘要信息。当用户点击其中一条资讯后,若该条资讯是视频类资讯,则启动播放器播放该资讯;若该条资讯是图文类资讯,则启动浏览器显示该资讯。
发明人在使用上述技术的过程中发现:上述展示方式的显示形式较为单一,用户打开资讯类应用程序后,无法快速简洁地获知资讯,导致用户在使用资讯类应用程序时的停留时长较短。
发明内容
本申请实施例提供了一种资讯的展示方法、装置、设备及存储介质,可以解决资讯的展示方式单一,无法快速简洁地获知资讯,导致用户在使用资讯类应用程序时的停留时长较短的问题。所述技术方案如下:
根据本公开实施例的一方面,提供了一种资讯的展示方法,所述方法包括:
在接收到资讯展示信号时,获取目标资讯和真实图像,所述真实图像是通过摄像头对真实环境进行拍摄得到的图像;
根据所述目标资讯和所述真实图像生成增强现实(Augmented Reality,AR)图像;
在用户界面中显示所述AR图像,所述AR图像中的AR元素用于显示所述目标资讯。
根据本公开实施例的另一方面,提供了一种资讯的展示装置,所述装置包括:
获取模块,用于在接收到资讯展示信号时,获取目标资讯和真实图像,所述真实图像是通过摄像头对真实环境进行拍摄得到的图像;
生成模块,用于根据所述目标资讯和所述真实图像生成AR图像;
显示模块,用于在用户界面中显示所述AR图像,所述AR图像中的AR元素用于显示所述目标资讯。
根据本公开实施例的另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的资讯的展示方法。
根据本公开实施例的另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的资讯的展示方法。
根据本公开实施例的另一方面,提供了一种计算机程序产品,所述程序产品中存储有计算机程序,所述计算机程序由处理器加载并执行以实现如上所述的资讯的展示方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过获取到的目标资讯和真实图像生成AR图像,并在用户界面上显示AR图像,且AR图像中包括用于显示目标资讯的AR元素。终端通过AR元素,在AR图像中显示目标资讯,使得资讯与AR技术结合,丰富了资讯的展示方式,在展示资讯的时候,增强了用户阅读资讯时的沉浸感,提高了资讯的点击率以及用户使用应用程序时的停留时长。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是相关技术中提供的AR特效展示方法的流程图;
图2是相关技术中提供的资讯的展示方式的流程图;
图3是相关技术中提供的图文资讯的展示方式的示意图;
图4是本申请一个示例性实施例提供的计算机***的框图;
图5是本申请一个示例性实施例提供的资讯的展示方法的流程图;
图6是本申请另一个示例性实施例提供的资讯的展示方法的流程图;
图7是本申请另一个示例性实施例提供的资讯列表界面的示意图;
图8是本申请另一个示例性实施例提供的终端通过摄像头获取到的真实图像的示意图;
图9是本申请另一个示例性实施例提供的识别真实图像中的平面的示意图;
图10是本申请另一个示例性实施例提供的AR图像的示意图;
图11是本申请另一个示例性实施例提供的识别真实图像中的平面的示意图;
图12是本申请另一个示例性实施例提供的识别真实图像中的平面的示意图;
图13是本申请另一个示例性实施例提供的AR图像的示意图;
图14是本申请另一个示例性实施例提供的AR图像的示意图;
图15是本申请另一个示例性实施例提供的显示的电视机元素的示意图;
图16是本申请另一个示例性实施例提供的显示的画框元素的示意图;
图17是本申请另一个示例性实施例提供的根据触发信号控制AR图像的示意图;
图18是本申请一个示例性实施例提供的图文资讯的展示方法的流程图;
图19是本申请一个示例性实施例提供的视频资讯的展示方法的流程图;
图20是本申请一个示例性实施例提供的资讯的展示方法的流程图;
图21是本申请一个示例性实施例提供的终端通过ARKit构建AR环境的流程图;
图22是本申请一个示例性实施例提供的资讯的展示装置的装置结构图;
图23是本申请一个示例性实施例提供的生成模块的装置结构图;
图24是本申请一个示例性实施例提供的获取模块的装置结构图;
图25是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请实施例中涉及的若干个名词进行简单介绍:
资讯:是指在短时间内给用户带来价值的信息,短时间是指从资讯产生起计算的一段时间内。可选地,资讯是用户因为及时地获得它并利用它,而能够在相对短的时间内给自己带来价值的信息。资讯具有时效性和地域性,资讯需要被用户消费和利用。可选的,资讯至少包括新闻,还可以包括:专家讲座、学术论文、音乐、广告等其它媒介。资讯的承载形式包括但不限于:文字、图片、音频和视频中的至少一种。
增强现实(Augmented Reality,AR):是一种实时地计算摄像机影像(真实环境的图像)的位置及角度,并加上相应图像、视频、3D模型等(虚拟图像)的技术。通过AR技术,用户可以在真实环境中获取虚拟信息,而真实环境和虚拟信息相互补充和叠加,从而增强用户的视觉感知。
由于AR技术的迅速发展,相关技术中的多种应用程序都有推出基于AR技术的新功能。比如,图片美化类应用程序,基于AR技术提供了结合面部识别或根据预设的特征点进行特征点识别,从而动态制作AR面具或AR场景效果;具有社交功能的应用程序,结合红包等元素,制作AR红包特效;电商类应用程序,结合运营活动与AR特效,制作酷炫的运营活动效果。
上述应用程序在基于AR技术推出的AR特效,基本采用如图1所示的AR特效展示方法的流程图,该方法包括如下步骤:
步骤101,摄像头采集真实图像。
终端中安装有应用程序。以终端为触摸屏手机为例,用户通过点击应用程序的图标,启动该应用程序。
应用程序获取访问终端的摄像头权限后,通过摄像头采集真实图像。真实图像是根据摄像头所在的位置和方向,对真实环境进行实时采集所得到的图像。在真实图像中,可能会存在人脸或者手势。
步骤102,对真实图像进行面部识别或手势识别。
应用程序对摄像头获取到的真实图像进行识别。比如当实时图像是面部图像时,应用程序对面部图像进行面部识别,或,当实时图像是手势图像时,应用程序对手势图像进行手势识别。
步骤103,根据识别结果,在真实图像上叠加AR特效。
应用程序在进行面部识别或手势识别后,获得识别结果。应用程序根据识别结果在真实图像上叠加AR特效。比如,当识别结果是面部识别结果时,在真实图像的面部上叠加面具特效、猫耳朵特效、京剧脸谱特效、京剧旦角特效等等;当识别结果是手势识别结果时,根据手势在真实图像中添加召唤兽特效、动物特效、玻璃破碎特效等。
步骤104,对面部或手势进行动态跟踪,实时渲染AR特效。
真实图像可以是视频中的视频帧序列中的某一张。由于真实图像中的面部或手势会发生移动,应用程序根据动态跟踪算法,确定真实图像中的面部或手势的变化,并根据变化对AR特效进行实时调整,及时改变AR特效展示出的效果。
真实图像中的面部或手势的变化,包括:位置变化和方向变化中的至少一种。
步骤105,屏幕展示叠加有AR特效的真实图像。
应用程序将生成的AR特效通过终端的屏幕展示出来。
但上述AR特效的叠加方式大多应用在视频拍摄过程中,主要目的是为了向用户提供娱乐功能。
另一方面,资讯包括图文资讯和视频资讯,相关技术中将资讯在终端上进行展示的展示方式如图2所示,该流程包括如下步骤:
步骤201,在应用程序上显示资讯入口。
终端中运行有应用程序。应用程序提供有资讯显示界面,在该资讯显示界面上显示有资讯入口。可选地,资讯显示界面包括资讯控件,资讯控件是用于获取资讯内容的入口控件。以资讯控件为列表控件为例,列表控件包括有多个列表项,每个列表项功能显示有资讯的标题和时间。当用户点击该列表项时,终端向服务器获取该资讯。
步骤202,接收资讯入口的触发信号。
终端在接收到资讯显示界面上接收到资讯控件上的点击信号时,确定接收到资讯入口的触发信号。
步骤203,是否是视频资讯?
终端获取被触发的资讯的内容后,判断被触发的资讯是否是视频资讯。
若被触发的资讯是视频资讯,转至步骤204;若被触发的资讯不是视频资讯,转至步骤205。
步骤204,展示播放器,播放视频。
终端确定被触发的资讯是视频资讯时,在资讯显示界面上展示播放器,播放视频。
步骤205,展示浏览器,加载图文。
终端确定被触发的资讯不是视频资讯时,终端确定点击的资讯是图文资讯,在资讯显示界面上展示浏览器,加载图文。
步骤206,屏幕展示资讯。
终端在屏幕上展示用户点击的资讯。以资讯为图文资讯为例,资讯按照平铺的方式在终端的屏幕上展示,如图3所示。
然而,图2示出的资讯的展示方式仅是按照平铺的方式将资讯展示在屏幕上,资讯的展示方式单一,资讯内容中的动画和特效的展示效果欠佳,导致用户在获取资讯的时候沉浸感不强。当用户打开应用程序后,经常使用很少的时间就会关闭应用程序,浪费终端上的存储资源以及计算资源。
本申请实施例提供了一种资讯的展示方案,通过将AR技术与资讯的展示相结合,丰富资讯的展示形式,增强用户在获取资讯时的沉浸感。
图4示出了本申请一个示例性实施例提供的计算机***的***框图,图4中包括:终端410和服务器420。
终端410可以是智能手机、平板电脑、AR眼镜、头戴式显示器等设备。可选地,终端410包括:中央处理器(Central Processing Unit,CPU)411、存储器412、显示组件413、网络组件414和操作***415。
CPU411可以是单核心或多核心的处理器,是终端410的核心部件,用于执行下述实施例中资讯的展示方法的步骤。
存储器412用于存储计算机程序。存储器412中运行有支持资讯展示的应用程序,该应用程序可以是具有资讯展示的即时通讯程序或社交通讯程序,该应用程序还可以是新闻类应用程序。在一个示意性的例子中,该应用程序中包括多个程序组件,该存储器412包括:AR模型组件4121、平面识别组件4122和坐标转化组件4123。
AR模型组件4121,用于存储终端410已下载的AR模型。AR模型包括电视机模型、投影幕布模型、橱窗模型、广告牌模型、墙壁模型、报告板模型、画框模型、桌子模型、艺术馆模型中的任意一种模型。
平面识别组件4122,用于对摄像头获取到的真实图像中的平面进行识别,获取平面识别结果,并根据平面识别结果构建AR环境中的平面。
坐标转化组件4123,用于确定AR环境中的AR元素的位置。
显示组件413,用于显示基于AR技术生成的AR资讯,比如,通过AR元素承载的资讯。
网络组件414,用于从服务器420处获取资讯的源文件421,以及用于承载该资讯的AR模型,AR模型存储于服务器420中的AR模型库422中。
操作***415,用于为AR技术的实现提供硬件方面的条件。可选的,操作***415采用AR工具包(ARKit)、精灵工具包(SpriteKit)、场景工具包(SceneKit)结合的***。ARKit用于构建AR环境,SpriteKit用于结合2D效果的场景和3D效果的场景进行图形渲染和动画的形成,SceneKit用于结合2D效果的场景和3D效果的场景进行基于物理性的渲染。
服务器420还存储有资讯的源文件421和AR模型库422,源文件421中包括资讯对应的数据,AR模型库422用于存储各种AR模型。可选地,AR模型是用来承载和呈现资讯的三维模型。
图5示出了本申请一个示例性实施例提供的资讯的展示方法的流程图,该方法可以由如图4所示的终端来执行,或者说,该方法可以由如图4所示的终端中的应用程序来执行,该方法包括:
步骤501,在接收到资讯展示信号时,获取目标资讯和真实图像,真实图像是通过摄像头对真实环境进行拍摄得到的图像。
当终端是具有触摸屏的设备(比如手机)时,资讯展示信号可以是终端根据接收到的点击事件而产生的信号,点击事件是用户在终端的用户界面上进行点击操作的事件。
当终端是AR眼镜时,资讯展示信号可以是用户的指定手势信号、按压AR眼镜上预设物理按钮的信号、或者双眼凝视信号。
以终端是具有触摸屏的设备为例,在终端的用户界面上发生点击事件时,与点击事件对应的控件生成资讯展示信号。终端在接收到资讯展示信号时,确定生成资讯展示信号的控件,获取与该控件对应的资讯。此外,还通过摄像头获取真实图像,真实图像是通过摄像头对真实环境进行拍摄得到的图像。
可选的,终端接收服务器发送的目标资讯的源文件。可选的,目标资讯包括视频资讯和/或图文资讯。
步骤502,根据目标资讯和真实图像生成AR图像。
AR图像是用于通过AR技术显示目标资讯的图像。
终端根据获取到的目标资讯和真实图像,生成AR图像,AR图像是根据目标资讯和真实图像生成的虚拟图像。
可选的,终端提取目标资讯的源文件中的资讯信息,资讯信息包括视频、图片、文字中的至少一种。
可选地,终端将提取出的资讯信息转化为适用于在AR环境中展示的格式,并将转化格式后的资讯信息叠加展示在真实图像中,生成AR图像。或者,终端将提取出的资讯信息转化为适用于在AR环境中展示的格式,将转换格式后的资讯信息添加至AR模型中,将AR模型叠加展示在真实图像中,生成AR图像。
其中,AR图像是在真实图像上叠加显示有目标资讯的图像。AR模型是用于在AR环境(或AR世界)中形成承载目标资讯的AR元素所对应的虚拟三维模型。
步骤503,在用户界面中显示AR图像,AR图像中的AR元素用于显示目标资讯。
终端将生成的AR图像显示在用户界面上,显示的AR图像中包括AR元素,AR元素用于显示目标资讯。
可选的,AR元素是显示目标资讯的载体,AR元素由承载有目标资讯的AR模型得到。当目标资讯是视频资讯时,AR元素包括承载视频播放的载体对应的元素;和/或,当目标资讯是图文资讯时,AR元素包括承载图文显示的载体对应的元素。
可选的,目标资讯为视频资讯,AR元素为电视机元素、投影幕布元素、橱窗元素、广告牌元素中的任意一种。其中,电视机元素是采用虚拟电视机来显示视频资讯的元素、投影幕布元素是采用虚拟投影屏来显示视频资讯的元素、橱窗元素是采用虚拟橱窗来显示视频资讯的元素、广告牌元素是采用虚拟广告牌来显示视频资讯的元素。
可选地,目标资讯为图文资讯,AR元素为墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。墙壁元素是采用虚拟墙壁来显示图文资讯的元素,报告板元素是采用虚拟报告报来显示图文资讯的元素,画框元素是采用虚拟画框来显示图文资讯的元素,桌子元素是采用虚拟桌子来显示图文资讯的元素、艺术馆元素是采用虚拟艺术馆来显示图文资讯的元素。
其中,图文资讯可以是纯文字形式的资讯,也可以是纯图片形式的资讯,还可以是文字和图片混合形式的资讯。
综上所述,本申请实施例提供的方法,通过在接收到资讯展示信号时,获取到的目标资讯和真实图像,生成AR图像,并在用户界面上显示AR图像,且AR图像中包括用于显示目标资讯的AR元素。终端通过AR元素,在AR图像中显示目标资讯,使得资讯与AR技术结合,丰富了资讯的展示方式,在展示资讯的时候,增强了用户阅读资讯时的沉浸感,用户有更大的可能性去使用AR方式来获取资讯,增加了用户在使用应用程序时的停留时长。
图6示出了本申请另一个示例性实施例提供的资讯的展示方法的流程图,该方法可以由如图4所示的终端来执行,该方法包括:
步骤601,显示资讯列表界面,资讯列表界面显示有多个资讯控件,多个资讯控件中的每个资讯控件用于显示一个资讯。
用户进入展示资讯的应用程序时,终端的用户界面上显示有资讯列表界面,示意性的,图7示出了终端显示的资讯列表界面。资讯列表界面701按照从上往下的顺序显示有多个资讯,每个资讯对应一个资讯控件(图7中以列表控件来举例说明),多个资讯控件中的每个资讯控件用于显示一个资讯。该资讯控件是用于获取资讯的控件。每个资讯控件上可以显示有该资讯的摘要信息。
图7中示意性的示出了资讯列表界面包括资讯1和资讯2,资讯1对应有一个资讯控件,资讯2对应有一个资讯控件,而本实施例对资讯列表界面中显示的资讯的数量不做限定。
可选的,在用户点击资讯2时,资讯控件用于根据点击事件702生成资讯展示信号,点击事件702是用户在终端的用户界面上进行点击操作的事件。终端根据资讯控件产生的资讯展示信号,获取目标资讯。
步骤602,接收在多个资讯控件中的目标资讯控件上的选择信号。
目标资讯控件是用于获取目标资讯的控件。可选地,目标资讯控件是被用户所触发的资讯控件,目标资讯可以是多个资讯控件中的任意一个。
目标资讯控件用于根据在目标资讯控件上产生的点击事件生成选择信号,该选择信号用于向终端的上层告知目标资讯控件的被触发状态,并指示终端获取目标资讯。
在目标资讯控件被触发时,目标资讯控件生成选择信号,终端接收在多个资讯控件中的目标资讯控件上的选择信号。
步骤603,获取目标资讯控件对应的目标资讯。
目标资讯是与目标资讯控件对应的资讯。
终端在接收到目标资讯控件生成的选择信号时,获取目标资讯。
可选的,终端在接收到目标资讯控件生成的选择信号时,接收服务器发送的目标资讯。
步骤604,在接收到选择信号后,通过摄像头获取真实图像。
终端在接收到选择信号后,确定展示资讯的应用程序是否具备访问摄像头的权限。终端在确定展示资讯的应用程序具备访问摄像头的权限时,开启摄像头并获取真实图像,真实图像是通过摄像头拍摄真实环境而获得的图像。
如图7所示,终端在确定展示资讯的应用程序不具备访问摄像头的权限时,接收到展示资讯的应用程序向终端申请访问摄像头的权限。当终端同意该申请时,开启摄像头703并获取真实图像;当终端不同意该申请时,终端按照平铺的方式在用户界面上显示目标资讯。
步骤605,根据目标资讯的类型和/或终端的硬件能力加载AR模型。
可选的,终端获取AR模型的方式包括如下两种方式:
第一,终端自身存储有AR模型库,AR模型库中存储有AR模型;
第二,服务器存储有AR模型库,AR模型库中存储有AR模型;终端从服务器获取AR模型。
资讯的类型包括视频资讯和图文资讯。当目标资讯的类型为视频资讯时,终端加载第一AR模型,第一AR模型为电视机模型、投影幕布模型、橱窗模型、广告牌模型中的任意一种。可选的,第一AR模型包括用于承载视频资讯播放的模型。
当目标资讯的类型为图文资讯时,加载第二AR模型,第二AR模型为墙壁模型、报告板模型、画框模型、桌子模型、艺术馆模型中的任意一种。可选的,第二AR模型包括用于承载图文资讯显示的模型。
在一种示意性的实现方式中,以服务器存储有AR模型库为例,终端向服务器发送终端的硬件能力,终端的硬件能力是适用于终端加载的AR模型的能力,即终端的硬件能力是指终端能够运行的AR模型的计算资源能力。服务器接收终端发送的硬件能力,根据终端的硬件能力,确定能够在终端上加载的AR模型。服务器还生成该终端对应的配置文件,配置文件是服务器根据终端的硬件能力确定的,该配置文件用于确定与终端的硬件能力匹配的AR模型。服务器根据该配置文件向终端发送第三AR模型,第三AR模型包括服务器根据终端的硬件能力配置的AR模型。第三AR模型可以是第一AR模型,也可以是第二AR模型。
可选的,终端获取AR模型的方式包括但不限于上述两种方式,且终端可以采用上述两种方式中的至少一种方法来获取AR模型。本实施例对终端获取AR模型的方式不做限定。
步骤606,根据目标资讯和AR模型生成AR元素。
终端在接收到目标资讯控件的选择信号时,从服务器获取与目标资讯对应的源文件。在示意性的例子中,目标资讯的源文件的格式是以URL的形式下发的,该源文件的格式是HTML格式,而HTML格式不适用于在AR环境中显示。故终端需要对获取的目标资讯的源文件的格式进行转化,以得到适用于AR环境中的格式。
终端将目标资讯的源文件的格式转化为AR格式,AR格式是适用于AR环境的格式。其中,AR环境是根据AR技术和真实环境生成的环境。终端将AR格式的源文件输入至AR模型中生成AR元素,AR元素包括承载目标资讯的载体对应的元素。
可选的,目标资讯为视频资讯,AR元素为电视机元素、投影幕布元素、橱窗元素、广告牌元素中的任意一种;可选地,目标资讯为图文资讯,AR元素为墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。
报告板元素、画框元素、桌子元素和艺术馆元素用来显示图片资讯时,能够以预定的动画特效形式来展示该图片资讯。动画特效形式包括但不限于:画中画形式、自动翻页形式、
步骤607,识别真实图像对应的三维世界中的至少一个平面,并根据至少一个平面构建AR环境。
三维世界中的平面包括但不限于:地面、墙面、桌面、凳面、柜面中的至少一种。由于真实图像中存在各种各样的元素,每个元素都可能存在有各自对应的平面,出于将真实图像和AR元素进行更真实地模拟的目的,终端需要识别三维世界中的至少一个平面。可选地,终端尽可能多地对三维世界中的平面进行识别,以便构建与真实世界更吻合的AR世界。
在示意性的例子中,图8示出了终端通过摄像头获取到的真实图像的示意图,当终端对真实图像中的平面进行识别的过程中,在图8所示的真实图像的界面顶部上显示有提示框801,提示框801提示有“识别平面中”的文字。
图9示意性的示出了从真实图像中识别出的平面的示意图,终端通过平面识别算法对图8所示的真实图像对应的三维世界中的至少一个平面进行识别,识别出如图9所示的一个平面902,且在图9示出的界面的顶部上显示的提示框901中的文字为“识别平面中”。
在某些场景下,终端识别出的几个平面(比如地毯、地砖)本质上属于一个平面,终端还通过平面整合算法对平面902进行整合,获取图8所示的真实图像中的平面识别结果。该平面整合算法用于将平行且距离小于阈值的至少两个平面整合为同一个平面,终端根据平面识别结果构建AR环境中的平面。
图10示出了AR图像的示意图,终端根据平面识别结果,确定AR环境中的地面,并在AR环境中的地面上构建一个传送门1002,该传送门1002位于垂直于地面的垂面上,且在图10示出的界面顶部上显示的提示框1001中的文字变为“已识别到平面”。可选地,该传送门1002是一个虚拟的门,该虚拟的门用于连接(或打开,或进入)AR环境中的虚拟房间,该虚拟房间可以是艺术馆模型提供的虚拟艺术馆。
在另一种可选的实施方式中,参见图11,示出了识别真实图像中的多个平面的示意图,终端通过摄像头获取如图11所示的真实图像,并对图11所示的真实图像进行识别,在图11所示的真实图像的界面顶部上显示有提示框1101,提示框1103提示有“识别平面中”的文字。终端通过平面识别算法对图11所示的真实图像对应的三维世界中的多个平面进行识别,识别出如图11所示的两个平面1101-1102。
图12示意性的示出了从真实图像中识别出的平面的示意图,终端在通过平面识别算法识别出图11所示的两个平面1101-1102后,再通过平面整合算法对两个平面1101-1102进行整合,得到图11所示的真实图像中的平面识别结果1201。平面识别结果1201是通过平面整合算法对图11中识别出的两个平面1101-1102进行融合获得的。终端根据平面识别结果1201构建AR环境中的平面。
图13示意性的示出了AR图像的示意图,终端根据平面识别结果,确定AR环境中的平面,并在AR环境中的平面上构建一个传送门1301,该传送门1301位于垂直于地面的垂面上,且在图13示出的界面的顶部上显示的提示框1302中的文字变为“已识别到平面”。可选地,该传送门1002是一个虚拟的门,该虚拟的门用于连接(或打开,或进入)AR环境中的虚拟房间,该虚拟房间可以是艺术馆模型提供的虚拟艺术馆。
图14示意性的示出了AR图像的示意图,终端根据平面识别结果确定AR环境中的平面(比如地面),并在AR环境中的平面上通过AR模型生成AR元素。图14中示意性的示出的AR元素是位于地面上的桌子元素。可选的,AR图像中的AR元素包括电视机元素、投影幕布元素、橱窗元素、广告牌元素、墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。
可选的,终端还通过动态跟踪算法,确定摄像头的位置及角度的变化;并根据摄像头的变化,改变AR环境中的平面。可选地,动态跟踪算法是基于即时定位与地图构建(Simultaneous Localization And Mapping,SLAM)来实现的。
步骤608,将AR元素添加在AR环境中的指定位置上,与真实图像叠加生成AR图像。
在一种可选的实施方式中,用户通过进入图10和图13中示出的传送门,终端显示有虚拟房间,该虚拟房间是将AR环境中的平面(比如地面)作为虚拟房间的平面构建的。可选的,终端构建出的虚拟房间根据构建虚拟房间的模型不同而不同,本实施例对终端构建出的虚拟房间不做限定。
可选的,资讯包括视频资讯和图文资讯。当目标资讯是视频资讯时,终端构建的虚拟房间内显示有AR元素,该AR元素包括电视机元素、投影幕布元素、橱窗元素、广告牌元素中的任意一种。示意性的,如图15所示,终端构建的虚拟房间内显示有电视机元素1501。终端将电视机元素1501添加在AR环境中的指定位置上,与真实图像叠加生成AR图像。该指定位置包括墙壁、桌子、床、椅子、窗户中的任意一种,比如指定位置是墙壁上居中的位置。视频资讯在电视机元素上展示,从而营造出视频资讯是电视机所显示的视频的效果。
当目标资讯是图文资讯时,终端构建的虚拟房间内显示有AR元素,该AR元素包括墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。示意性的,如图16所示,终端构建的虚拟房间内显示有画框元素1601。终端将画框元素1601添加在AR环境中的指定位置上,与真实图像叠加生成AR图像。图文资讯在画框元素上展示。
当目标资讯包括视频资讯和图文资讯时,终端构建的虚拟房间内显示有AR元素,AR元素包括电视机元素、投影幕布元素、橱窗元素、广告牌元素、墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的至少一种。终端将AR元素添加在AR环境中的指定位置上,与真实图像叠加生成AR图像。
在可选的实施方式中,示意性的,终端在图14所示的AR图像中,将桌子元素1402添加在AR环境中的指定位置上,与真实图像叠加生成AR图像,目标资讯通过平铺的方式显示在桌子元素1402的表面上。
上述举例以AR元素为静态元素来举例说明。在可选的实施方式中,上述AR元素是具有动画效果的AR元素,比如会移动的机器人元素,会移动的车辆元素、动物元素、卡通动漫元素等等,该AR元素具有自主播放的动画效果(或者说人工智能控制的动画效果),或者,AR元素具有与用户进行人机交互而触发的动画效果。
步骤609,在用户界面中显示AR图像,AR图像中的AR元素用于显示目标资讯。
终端在用户界面上显示AR图像。比如,AR图像中的电视机元素显示视频资讯,AR图像中的画框元素显示图文资讯。
步骤610,接收在用户界面上的触发信号。
终端接收在用户界面上的触发信号,触发信号是AR元素根据点击事件产生的信号,和/或,触发信号是显示控件根据点击事件产生的信号。
步骤611,根据触发信号控制AR元素的位置,和/或,根据触发信号控制目标资讯的显示。
可选地,终端根据第一触发信号控制AR元素的位置,第一触发信号用于确定AR元素的位置。第一触发信号包括但不限于:在触摸屏上触发的点击信号、在触摸屏上触发的滑动信号、移动终端机体时的传感器信号、转动终端机体时的传感器信号、双眼注视信号、语音信号、物理外设上触发的控制信号中的至少一种。
可选地,终端根据第二触发信号控制目标资讯的显示,第二触发信号用于确定显示控件是否被触发。第二触发信号包括但不限于:在触摸屏上触发的点击信号、在触摸屏上触发的滑动信号、移动终端机体时的传感器信号、转动终端机体时的传感器信号、双眼注视信号、语音信号、物理外设上触发的控制信号中的至少一种。
示意性的,图17示意性的示出了根据触发信号控制AR图像的界面示意图,终端在用户界面上接收到电视机元素1701对应的触发信号(比如右滑信号或左滑信号),根据触发信号控制电视机元素1701的位置;和/或,终端在用户界面上接收到显示控件1702对应的触发信号,根据触发信号控制目标资讯的显示,显示控件是用于控制目标资讯的显示的控件。
可选的,终端在用户界面上接收到触发信号,根据触发信号控制AR元素显示的角度。比如,图17的(1)、(2)和(3)中的电视机元素1701显示的角度。
可选的,终端将触发信号的第一坐标变换至AR环境中的第二坐标,当第二坐标与AR元素对应时,执行根据触发信号控制AR元素的位置,和/或,根据触发信号控制目标资讯的显示的步骤。
可选的,由于触发信号是在二维的触摸屏上产生的信号,触发信号具有二维形式的坐标,而AR元素是位于三维环境中的元素,具有三维形式的坐标。终端将触发信号的第一坐标变换至AR环境中的第二坐标,通过坐标转换算法,确定与AR元素对应的第二坐标。
可选的,设触摸屏所在平面XY在AR环境中对应的坐标为z=0,触发信号在触摸屏所在平面XY上的坐标为(x,y),则假设触发信号的三维坐标为(x,y,z)。在计算机图形学中,通过齐次坐标系来做三维环境中的坐标转换。齐次坐标系的坐标变换的运算公式如下:
如上述公式所示,一个向量平移了(Δx,Δy,Δz),绕z轴顺时针旋转θ角,通过上述运算公式可确定该向量平移且旋转后的坐标(x1,y1,z1),w和w1为比例系数。
综上所述,本申请实施例提供的方法,通过获取到的目标资讯和真实图像,生成AR图像,并在用户界面上显示AR图像,且AR图像中包括用于显示目标资讯的AR元素。终端通过AR元素,在AR图像中显示目标资讯,使得资讯与AR技术结合,丰富了资讯的展示方式,在展示资讯的时候,增强了用户阅读资讯时的沉浸感,提高了资讯的点击率以及用户使用应用程序时的停留时长。
本申请实施例提供的方法,还根据目标资讯的类型和/或终端的硬件能力确定AR模型,并根据目标资讯和AR模型生成AR元素,使得终端显示的AR元素符合目标资讯的类型,终端运行的AR模型适用于终端的硬件能力,从而终端显示的AR图像清晰且符合目标资讯的类型。
本申请实施例提供的方法,还通过将目标资讯的源文件的格式转化为AR格式,将AR格式的源文件输入至AR模型中,生成AR元素,使得目标资讯与AR技术得以结合,实现了传统的目标资讯与AR技术的兼容,从而丰富了资讯的展示方式。
在基于图6所示的可选地实施例中,步骤605中终端根据终端的硬件能力加载AR模型。如表一所示,以终端运行有IOS为例,通过对ARKit 1.x与ARKit 2.x的硬件能力的测试,说明根据终端的硬件能力加载AR模型的一种可选实现方式。
表一
从表一中可以看出,AR的软件开发工具包(Software Development Kit,SDK),对于CPU的运算能力,图形处理器(Graphics Processing Unit,GPU)的渲染能力需要极高的要求。服务器根据终端的CPU和GPU的能力,确定终端能够加载的AR模型,并根据终端能够加载的AR模型生成该终端的配置文件。
本申请实施例提供的方法,终端根据硬件能力加载适合自身硬件性能的AR模型,避免由于终端的CPU和GPU的能力不足够,导致AR显示效果较为卡顿的问题,保证了不同终端上都能流畅运行AR模型来显示目标资讯的效果。
在基于图6所示的实施例中,步骤606中需要终端对目标资讯的源文件进行格式转化。
在一种可选的实施方式中,参见图18,示出了图文资讯的展示方法的流程图,该方法包括:
步骤1801,解析HTML(Hyper Text Markup Language,超文本标记语言)页面。
在目标资讯的资讯控件被触发后,终端从该资讯控件中获取目标资讯的网页链接,终端根据目标资讯的网页链接向服务器获取目标资讯的源文件。以目标资讯是图文资讯为例,终端从服务器处获取到图文资讯的源文件,该源文件的格式是HTML格式的源文件,终端对HTML格式的源文件进行解析。
步骤1802,正则匹配图片URL。
终端在得到图文资讯的HTML格式的源文件后,从HTML格式的源文件中通过正则表达式来确定图片的URL。
步骤1803,下载图片并展示在墙面上。
当确定到图片的URL时,终端通过图片的URL下载图片。终端将下载到的图片输入至AR模型中,生成AR元素。
可选的,AR元素包括墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。示意性的,终端将AR元素展示在墙面上。
在另一种可选的实施方式中,参见图19,示出了视频资讯的展示方法的流程图,该方法包括:
步骤1901,获取视频的播放信息。
在目标资讯的资讯控件被触发后,终端从该资讯控件中获取目标资讯的网页链接,终端根据目标资讯的网页链接向服务器获取目标资讯的源文件。以目标资讯是视频资讯为例,终端从服务器处获取到视频的播放信息。播放信息包括视频流的流媒体播放网址。
步骤1902,根据播放信息获取播放数据。
终端根据播放信息获取播放数据,比如,终端根据视频的流媒体播放网址下载视频的播放数据,播放数据包括源文件格式的视频流。
步骤1903,将视频流封装成SKScene。
终端将源文件格式的视频流封装成SKScene,SKScene信息是能够加载到AR环境中的视频格式,即SKScene即为视频资讯的AR格式。
步骤1904,展示视频到电视机模型上。
终端提取AR格式的视频数据,将AR格式的视频数据输入至AR模型中,生成AR元素。
可选的,AR元素包括电视机元素、投影幕布元素、橱窗元素、广告牌元素中的任意一种。示意性的,终端将AR元素展示在电视机元素上。
本申请实施例提供的方法,通过将目标资讯的源文件转化为AR格式,适应性地转化目标资讯的格式,实现了传统格式的目标资讯与AR格式的数据兼容性,从而保证目标资讯能够在AR环境中展示。
图20示出了本申请一个示例性实施例提供的资讯的展示方法的流程图,该方法可以应用于如图3所示的***中,该方法包括:
步骤2001,开始。
终端中安装有应用程序,终端的桌面上显示有应用程序的图标。该应用程序是具有资讯展示功能的程序,该应用程序的图标即为资讯入口。
步骤2002,用户点击资讯入口。
终端在屏幕上显示有资讯入口(应用程序的图标),资讯入口用于进入具有展示资讯功能的应用程序。用户点击资讯入口,进入展示资讯的应用程序。
步骤2003,是否支持AR?
该应用程序判断终端是否支持运行AR;若终端支持运行AR,则转至步骤2004;若终端不支持运行AR,则转至步骤2008。
可选地,该应用程序判断终端上是否设置有摄像头,以及安装有AR相关的程序组件。当终端上设置有摄像头且安装有AR相关的程序组件时,确定终端支持AR;当终端上未设置有摄像头或未安装有AR相关的程序组件时,确定终端不支持AR。
步骤2004,申请访问摄像头?
该应用程序确定是否具备访问摄像头的权限,若该应用程序具备访问摄像头的权限,则转至步骤2005;
若该应用程序不具备访问摄像头的权限(比如首次运行),该应用程序发出访问摄像头的权限的申请,若申请通过,则转至步骤2005;
若该应用程序不具备访问摄像头的权限,该应用程序发出访问摄像头的权限的申请,若申请不通过,则转至步骤2008。
可选地,应用程序向终端的操作***发出访问摄像头的权限的申请,终端的操作***在桌面上弹出授权窗口,该授权窗口用于询问用户是否授权该应用程序访问授权头的权限,该授权窗口上显示有“确认”按钮和“取消”按钮。当用户点击“确认”按钮时,确定该应用程序的申请通过;当用户点击“取消”按钮时,确定该应用程序的申请未通过。
步骤2005,识别场景,建立平面。
当展示资讯的应用程序具备访问摄像头的权限时,终端启动摄像头,通过摄像头获取真实图像。
终端通过平面识别算法识别出真实图像中对应的三维世界中的至少一个平面(比如真实环境中的地面、桌面和墙面等)。当存在两个以上近似平面时,通过平面整合算法对至少一个平面进行整合,得到真实图像的平面识别结果。
终端根据对真实图像中的三维世界的平面识别结果,建立AR环境中的平面。其中,AR环境中平面与真实图像中的三维世界的平面相呼应,从而实现较好的增强现实效果。
步骤2006,构建AR模型。
终端根据目标资讯的类型和/或终端的硬件能力加载AR模型。
步骤2007,播放视频资讯或展示图文资讯。
终端根据目标资讯和AR模型生成AR元素,将AR元素添加在AR环境中的指定位置上,与真实图像叠加生成AR图像。
可选的,当目标资讯的类型为视频资讯时,终端加载第一AR模型,第一AR模型为电视机模型、投影幕布模型、橱窗模型、广告牌模型中的任意一种。终端根据目标资讯和第一AR模型生成第一AR元素,第一AR元素为电视机元素、投影幕布元素、橱窗元素、广告牌元素中的任意一种。终端将第一AR元素添加在AR环境中的指定位置上,与真实图像叠加生成第一AR图像,第一AR图像是展示视频资讯的AR图像。
当目标资讯的类型为图文资讯时,终端加载第二AR模型,第二AR模型为墙壁模型、报告板模型、画框模型、桌子模型、艺术馆模型中的任意一种。终端根据目标资讯和第二AR模型生成第二AR元素,第二AR元素为墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。终端将第二AR元素添加在AR环境中的指定位置上,与真实图像叠加生成第二AR图像,第二AR图像是展示图文资讯的AR图像。
步骤2008,正常方式打开资讯。
当展示资讯的应用程序确定终端不支持运行AR,或,该应用程序不具备访问摄像头的权限时,应用程序按照平铺在终端的屏幕上的方式打开资讯。
步骤2009,结束。
在基于图20所示的实施例中,如图21所示,以终端配置苹果公司出品的移动操作***(iOS)***为例,说明终端通过ARKit构建AR环境的流程图。
图21中,ARKit框架用于将摄像头ARCamera获取的真实环境转化为真实图像,即ARKit框架用于显示通过摄像头ARCamera捕捉到的真实环境中的真实图像。SceneKit框架用于显示AR环境中的AR图像,AR环境是根据真实图像和AR模型构建的环境。
ARSCNView用于在ARKit框架下根据摄像头ARCamera获取到的真实环境显示真实图像。ARSCNView是一个视图容器,用于管理ARSession。ARSession用于根据摄像头ARCamera捕捉的真实环境中的图像,生成真实图像,即ARSession是摄像头ARCamera和ARSCNView之间传输的数据的桥梁。其中,ARKit中整合有基于SLAM的视觉惯性里程计(Visual-Inertial Odometry,VIO)算法的一套完整的平面识别与动态跟踪算法。
ARSCNView继承于SceneKit框架中的SCNView,SCNView继承于UIKit框架中的UIView。UIView用于将AR图像显示在iOS设备的窗口(window)中,SCNView用于在SceneKit框架下根据构建的AR环境显示AR图像。其中,Cocoa Touch是iOS操作***的程序的运行环境。
ARKit框架在真实图像中添加AR元素使用的是父类SCNView的功能,即根据AR模型和目标资讯生成AR元素,父类SCNView用于将AR元素叠加在真实图像中。其中,每一个AR模型都是一个节点SCNNode,每一个节点SCNNode构成了一个SCNScene,即由AR模型和目标资讯生成AR元素,SCNScene将AR元素添加在真实图像中,构建AR环境,SCNView显示叠加有AR元素的AR图像,而AR图像是AR环境中的图像。
由上述内容可知,摄像头ARCamera用于捕捉真实环境中的图像,对于显示出真实图像的过程,摄像头ARCamera不直接参与。
可选地,ARKit工作的流程包括:ARSCNView加载SCNScene,构建AR环境;SCNScene启动摄像头ARCamera开始获取真实图像;获取真实图像后ARSCNView开始对真实图像中的平面进行识别,获取识别的数据,将识别的数据交给ARSession;ARSession通过管理ARSessionConfiguration对真实图像进行动态跟踪并且返回一个ARFrame;SCNScene给ARSCNView的真实图像中添加一个节点SCNNode,根据节点SCNNode对应的AR模型,以及目标资讯,生成AR元素,SCNScene将AR元素添加至真实图像中,SCNView显示叠加有AR元素的AR图像。
其中,ARSessionConfiguration用于动态跟踪摄像头ARCamera的位置,能够在添加AR模型的时候计算出AR模型相对于摄像头ARCamera的真实的矩阵位置。
需要说明的是,上述举例是以IOS***来举例说明的,当终端中安装有安卓(Android)***时,上述ARKit框架可由谷歌公司提供的ARCore框架来代替。
在一个示意性的例子中,终端的应用程序上采用列表控件显示有多个资讯的资讯控件。目标资讯是一组折叠屏手机的官方宣传图,当用户点击该目标资讯的标题后,应用程序从服务器获取该目标资讯,以及用于承载该目标资讯的艺术馆模型,该艺术馆模型包括一个传送门模型和虚拟房间模型。同时,应用程序还确定是否具有摄像头的访问权限。当应用程序具有摄像头的访问权限时,通过摄像头采集真实图像,并识别真实图像中的地面。当识别出真实图像中的地面时,应用程序基于该地面显示出传送门模型,该传送门模型的门面与地面相互垂直,且该传送门模型位于用户的前方位置。当用户手持终端向前移动时,该传送门模型会打开,显示出虚拟房间元素。该虚拟房间元素是基于虚拟房间模型生成的元素,该虚拟房间元素的墙壁上存在按阵列排布的折叠屏手机的官方宣传图。由于该虚拟房间模型可以是按照科幻主题来布置的虚拟房间,用户能够在科幻主题的虚拟房间里面观看折叠屏手机的官方宣传图,从而能够获得类似产品发布会一样的视觉体验。
在一个示意性的例子中,终端的应用程序上采用列表控件显示有多个资讯的资讯控件。目标资讯是一个科幻电影的预告片,当用户点击该目标资讯的标题后,应用程序从服务器获取该科幻电影的预告片,以及用于承载该预告片的电影院模型,该电影院模型包括一个巨幕。同时,应用程序还确定是否具有摄像头的访问权限。当应用程序具有摄像头的访问权限时,通过摄像头采集真实图像,并识别真实图像中的墙面。当识别出真实图像中的墙面时,应用程序基于该墙面显示出电影院元素,该电影院元素中的巨幕贴合在墙面上方。该巨幕加载科幻电影的预告片并进行播放,让用户获得在巨幕影院观看该科幻电影的预告片的感觉。若终端的屏幕上无法完整显示巨幕,可以移动该终端的位置来查看巨幕的不同部分。
可选地,由于终端上还设置有物理按键,比如音量+键和音量-键,在采用AR元素来播放视频资讯时,终端上的物理按键具有遥控器的功能,采用该物理按键可遥控该视频资讯的播放、暂停、换台、音量+、音量-等功能。
需要说明的是,上述实施例提供的资讯的展示方法还适用于音乐的动态展示,也可以结合广告内容,或结合运营活动等能够增强用户沉浸式体验的场景中。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图22示出了本申请一个示例性实施例提供的资讯的展示装置的装置结构图,该装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置2200包括:
获取模块2210,用于在接收到资讯展示信号时,获取目标资讯和真实图像,真实图像是通过摄像头对真实环境进行拍摄得到的图像;
生成模块2220,用于根据目标资讯和真实图像生成AR图像;
显示模块2230,用于在用户界面中显示AR图像,AR图像中的AR元素用于显示目标资讯。
可选的,目标资讯为视频资讯,AR元素为电视机元素、投影幕布元素、橱窗元素、广告牌元素中的任意一种;和/或;目标资讯为图文资讯,AR元素为墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。
可选的,如图23所示,生成模块2220,包括:
加载单元2221,用于根据目标资讯的类型和/或终端的硬件能力加载AR模型;
生成单元2222,用于根据目标资讯和AR模型生成AR元素;
识别单元2223,用于识别真实图像对应的三维世界中的至少一个平面,并根据至少一个平面构建AR环境;
生成单元2222,用于将AR元素添加在AR环境中的指定位置上,与真实图像叠加生成AR图像。
在一种可选的实施方式中,加载单元2221,用于当目标资讯的类型为视频资讯时,加载第一AR模型,第一AR模型为电视机模型、投影幕布模型、橱窗模型、广告牌模型中的任意一种。
在另一种可选的实施方式中,加载单元2221,用于当目标资讯的类型为图文资讯时,加载第二AR模型,第二AR模型为墙壁模型、报告板模型、画框模型、桌子模型、艺术馆模型中的任意一种。
在另一种可选的实施方式中,加载单元2221,包括:
发送子单元22211,用于向服务器发送终端的硬件能力,终端的硬件能力是适用于终端加载的AR模型的能力;
接收子单元22212,用于接收服务器发送的第三AR模型,第三AR模型包括服务器根据终端的硬件能力配置的AR模型。
可选的,生成单元2222,包括:
第一获取子单元22221,用于从服务器获取与目标资讯对应的源文件;
转化子单元22222,用于将源文件的格式转化为AR格式,AR格式是适用于AR环境的格式;
生成子单元22223,用于将AR格式的源文件输入至AR模型中,生成AR元素。
可选的,识别单元2223,包括:
识别子单元22231,用于通过平面识别算法识别出真实图像对应的三维世界中的至少一个平面;
第二获取子单元22232,用于通过平面整合算法对至少一个平面进行整合,获取真实图像中的平面识别结果;
构建子单元22233,用于根据平面识别结果构建AR环境中的平面。
可选的,识别单元2223,还包括:
改变子单元22234,用于通过动态跟踪算法根据摄像头的变化改变AR环境中的平面。
可选的,装置2200还包括:
接收模块2240,用于接收在用户界面上的触发信号;
控制模块2250,用于根据触发信号控制AR元素的位置,和/或,根据触发信号控制目标资讯的显示。
可选的,装置2200还包括:
变换模块2260,用于将触发信号的第一坐标变换至AR环境中的第二坐标;
执行模块2270,用于当第二坐标与AR元素对应时,执行根据触发信号控制AR元素的位置,和/或,根据触发信号控制目标资讯的显示的步骤。
可选的,获取模块2210,包括:
显示单元2211,用于显示资讯列表界面,资讯列表界面显示有多个资讯控件,多个资讯控件中的每个资讯控件用于显示一个资讯;
接收单元2212,用于接收在多个资讯控件中的目标资讯控件上的选择信号;
获取单元2213,用于获取目标资讯控件对应的目标资讯;
获取单元2213,用于在接收到选择信号后,通过摄像头获取真实图像。
可选的,获取单元2213,包括:
确定子单元22131,用于确定是否具备访问摄像头的权限;
第三获取子单元22132,用于在确定具备访问摄像头的权限时,开启摄像头并获取真实图像。
需要说明的是:上述实施例提供的资讯的展示装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的资讯的展示装置与资讯的展示方法的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图25示出了本申请一个示例性实施例提供的终端2500的结构框图。该终端2500可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端2500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端2500包括有:处理器2501和存储器2502。
处理器2501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器2501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器2501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器2501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器2502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器2502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器2502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器2501所执行以实现本申请中方法实施例提供的资讯的展示方法。
在一些实施例中,终端2500还可选包括有:***设备接口2503和至少一个***设备。处理器2501、存储器2502和***设备接口2503之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口2503相连。具体地,***设备包括:射频电路2504、触摸显示屏2505、摄像头2506、音频电路2507、定位组件2508和电源2509中的至少一种。
***设备接口2503可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器2501和存储器2502。在一些实施例中,处理器2501、存储器2502和***设备接口2503被集成在同一芯片或电路板上;在一些其他实施例中,处理器2501、存储器2502和***设备接口2503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路2504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路2504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路2504包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路2504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路2504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏2505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2505是触摸显示屏时,显示屏2505还具有采集在显示屏2505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2501进行处理。此时,显示屏2505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏2505可以为一个,设置终端2500的前面板;在另一些实施例中,显示屏2505可以为至少两个,分别设置在终端2500的不同表面或呈折叠设计;在再一些实施例中,显示屏2505可以是柔性显示屏,设置在终端2500的弯曲表面上或折叠面上。甚至,显示屏2505还可以设置成非矩形的不规则图形,也即异形屏。显示屏2505可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件2506用于采集图像或视频。可选地,摄像头组件2506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件2506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路2507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器2501进行处理,或者输入至射频电路2504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端2500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2501或射频电路2504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路2507还可以包括耳机插孔。
定位组件2508用于定位终端2500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件2508可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源2509用于为终端2500中的各个组件进行供电。电源2509可以是交流电、直流电、一次性电池或可充电电池。当电源2509包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端2500还包括有一个或多个传感器2510。该一个或多个传感器2510包括但不限于:加速度传感器2511、陀螺仪传感器2512、压力传感器2513、指纹传感器2514、光学传感器2515以及接近传感器2516。
加速度传感器2511可以检测以终端2500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器2511可以用于检测重力加速度在三个坐标轴上的分量。处理器2501可以根据加速度传感器2511采集的重力加速度信号,控制触摸显示屏2505以横向视图或纵向视图进行用户界面的显示。加速度传感器2511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器2512可以检测终端2500的机体方向及转动角度,陀螺仪传感器2512可以与加速度传感器2511协同采集用户对终端2500的3D动作。处理器2501根据陀螺仪传感器2512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器2513可以设置在终端2500的侧边框和/或触摸显示屏2505的下层。当压力传感器2513设置在终端2500的侧边框时,可以检测用户对终端2500的握持信号,由处理器2501根据压力传感器2513采集的握持信号进行左右手识别或快捷操作。当压力传感器2513设置在触摸显示屏2505的下层时,由处理器2501根据用户对触摸显示屏2505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器2514用于采集用户的指纹,由处理器2501根据指纹传感器2514采集到的指纹识别用户的身份,或者,由指纹传感器2514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器2501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器2514可以被设置终端2500的正面、背面或侧面。当终端2500上设置有物理按键或厂商Logo时,指纹传感器2514可以与物理按键或厂商Logo集成在一起。
光学传感器2515用于采集环境光强度。在一个实施例中,处理器2501可以根据光学传感器2515采集的环境光强度,控制触摸显示屏2505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏2505的显示亮度;当环境光强度较低时,调低触摸显示屏2505的显示亮度。在另一个实施例中,处理器2501还可以根据光学传感器2515采集的环境光强度,动态调整摄像头组件2506的拍摄参数。
接近传感器2516,也称距离传感器,通常设置在终端2500的前面板。接近传感器2516用于采集用户与终端2500的正面之间的距离。在一个实施例中,当接近传感器2516检测到用户与终端2500的正面之间的距离逐渐变小时,由处理器2501控制触摸显示屏2505从亮屏状态切换为息屏状态;当接近传感器2516检测到用户与终端2500的正面之间的距离逐渐变大时,由处理器2501控制触摸显示屏2505从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图25中示出的结构并不构成对终端2500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质为非易失性的计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,存储的计算机程序被处理组件执行时能够实现本公开上述实施例提供的资讯的展示方法。
在示例性实施例中,还提供了一种计算机程序产品,该程序产品中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述方法实施例中所示的由终端执行的资讯的展示方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (22)
1.一种资讯的展示方法,其特征在于,所述方法包括:
显示资讯列表界面,所述资讯列表界面显示有多个资讯控件,所述多个资讯控件中的每个资讯控件用于显示一个资讯;接收在所述多个资讯控件中的目标资讯控件上的选择信号;获取所述目标资讯控件对应的目标资讯;在接收到所述选择信号后,通过摄像头获取真实图像,所述真实图像是通过所述摄像头对真实环境进行拍摄得到的图像;
根据所述目标资讯的类型和/或终端的硬件能力加载AR模型;根据所述目标资讯和所述AR模型生成AR元素;识别所述真实图像对应的三维世界中的至少一个平面,并根据所述至少一个平面构建AR环境;将所述AR元素添加在所述AR环境中的指定位置上,与所述真实图像叠加生成AR图像;
在用户界面中显示所述AR图像,所述AR图像中的所述AR元素用于显示所述目标资讯。
2.根据权利要求1所述的方法,其特征在于,
所述目标资讯为视频资讯,所述AR元素为电视机元素、投影幕布元素、橱窗元素、广告牌元素中的任意一种;
和/或;
所述目标资讯为图文资讯,所述AR元素为墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标资讯的类型加载AR模型,包括:
当所述目标资讯的类型为视频资讯时,加载第一AR模型,所述第一AR模型为电视机模型、投影幕布模型、橱窗模型、广告牌模型中的任意一种;
当所述目标资讯的类型为图文资讯时,加载第二AR模型,所述第二AR模型为墙壁模型、报告板模型、画框模型、桌子模型、艺术馆模型中的任意一种。
4.根据权利要求1所述的方法,其特征在于,所述根据终端的硬件能力加载AR模型,包括:
向服务器发送所述终端的硬件能力,所述终端的硬件能力是适用于所述终端加载的AR模型的能力;
接收所述服务器发送的第三AR模型,所述第三AR模型包括所述服务器根据所述终端的硬件能力配置的AR模型。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标资讯和所述AR模型生成AR元素,包括:
从服务器获取与所述目标资讯对应的源文件;
将所述源文件的格式转化为AR格式,所述AR格式是适用于所述AR环境的格式;
将所述AR格式的源文件输入至所述AR模型中,生成所述AR元素。
6.根据权利要求1所述的方法,其特征在于,所述识别所述真实图像对应的三维世界中的至少一个平面,并根据所述至少一个平面构建AR环境,包括:
通过平面识别算法识别出所述真实图像对应的所述三维世界中的所述至少一个平面;
通过平面整合算法对所述至少一个平面进行整合,获取所述真实图像中的平面识别结果;
根据所述平面识别结果构建所述AR环境中的平面。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
通过动态跟踪算法根据所述摄像头的变化改变所述AR环境中的平面。
8.根据权利要求3至7任一所述的方法,其特征在于,所述方法还包括:
接收在所述用户界面上的触发信号;
根据所述触发信号控制所述AR元素的位置,和/或,根据所述触发信号控制所述目标资讯的显示。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
将所述触发信号的第一坐标变换至所述AR环境中的第二坐标;
当所述第二坐标与所述AR元素对应时,执行所述根据所述触发信号控制所述AR元素的位置,和/或,根据所述触发信号控制所述目标资讯的显示的步骤。
10.根据权利要求1所述的方法,其特征在于,所述通过摄像头获取真实图像,包括:
确定是否具备访问所述摄像头的权限;
在确定具备访问所述摄像头的权限时,开启所述摄像头并获取所述真实图像。
11.一种资讯的展示装置,其特征在于,所述装置包括:
获取模块,用于显示资讯列表界面,所述资讯列表界面显示有多个资讯控件,所述多个资讯控件中的每个资讯控件用于显示一个资讯;接收在所述多个资讯控件中的目标资讯控件上的选择信号;获取所述目标资讯控件对应的目标资讯;在接收到所述选择信号后,通过摄像头获取真实图像;所述真实图像是通过所述摄像头对真实环境进行拍摄得到的图像;
生成模块,用于根据所述目标资讯的类型和/或终端的硬件能力加载AR模型;根据所述目标资讯和所述AR模型生成AR元素;识别所述真实图像对应的三维世界中的至少一个平面,并根据所述至少一个平面构建AR环境;将所述AR元素添加在所述AR环境中的指定位置上,与所述真实图像叠加生成AR图像;
显示模块,用于在用户界面中显示所述AR图像,所述AR图像中的所述AR元素用于显示所述目标资讯。
12.根据权利要求11所述的装置,其特征在于,
所述目标资讯为视频资讯,所述AR元素为电视机元素、投影幕布元素、橱窗元素、广告牌元素中的任意一种;
和/或;
所述目标资讯为图文资讯,所述AR元素为墙壁元素、报告板元素、画框元素、桌子元素、艺术馆元素中的任意一种。
13.根据权利要求11所述的装置,其特征在于,所述生成模块包括加载单元;
所述加载单元,用于当所述目标资讯的类型为视频资讯时,加载第一AR模型,所述第一AR模型为电视机模型、投影幕布模型、橱窗模型、广告牌模型中的任意一种;
所述加载单元,用于当所述目标资讯的类型为图文资讯时,加载第二AR模型,所述第二AR模型为墙壁模型、报告板模型、画框模型、桌子模型、艺术馆模型中的任意一种。
14.根据权利要求11所述的装置,其特征在于,所述生成模块包括加载单元,所述加载单元包括发送子单元、接收子单元;
所述发送子单元,用于向服务器发送所述终端的硬件能力,所述终端的硬件能力是适用于所述终端加载的AR模型的能力;
所述接收子单元,用于接收所述服务器发送的第三AR模型,所述第三AR模型包括所述服务器根据所述终端的硬件能力配置的AR模型。
15.根据权利要求11所述的装置,其特征在于,所述生成模块包括生成单元,所述生成单元包括第一获取子单元、转化子单元和生成子单元;
所述第一获取子单元,用于从服务器获取与所述目标资讯对应的源文件;
所述转化子单元,用于将所述源文件的格式转化为AR格式,所述AR格式是适用于所述AR环境的格式;
所述生成子单元,用于将所述AR格式的源文件输入至所述AR模型中,生成所述AR元素。
16.根据权利要求11所述的装置,其特征在于,所述生成模块包括识别单元,所述识别单元包括识别子单元、第二获取子单元和构建子单元;
所述识别子单元,用于通过平面识别算法识别出所述真实图像对应的所述三维世界中的所述至少一个平面;
所述第二获取子单元,用于通过平面整合算法对所述至少一个平面进行整合,获取所述真实图像中的平面识别结果;
所述构建子单元,用于根据所述平面识别结果构建所述AR环境中的平面。
17.根据权利要求16所述的装置,其特征在于,所述识别单元还包括改变子单元;
所述改变子单元,用于通过动态跟踪算法根据所述摄像头的变化改变所述AR环境中的平面。
18.根据权利要求13至17任一所述的装置,其特征在于,所述装置还包括接收模块、控制模块;
所述接收模块,用于接收在所述用户界面上的触发信号;
所述控制模块,用于根据所述触发信号控制所述AR元素的位置,和/或,根据所述触发信号控制所述目标资讯的显示。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括变换模块、执行模块;
所述变换模块,用于将所述触发信号的第一坐标变换至所述AR环境中的第二坐标;
所述执行模块,用于当所述第二坐标与所述AR元素对应时,执行所述根据所述触发信号控制所述AR元素的位置,和/或,根据所述触发信号控制所述目标资讯的显示的步骤。
20.根据权利要求11所述的装置,其特征在于,所述获取模块包括获取单元,所述获取单元包括确定子单元、第三获取子单元;
所述确定子单元,用于是否具备访问所述摄像头的权限;
所述第三获取子单元,用于在确定具备访问所述摄像头的权限时,开启所述摄像头并获取所述真实图像。
21.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现如权利要求1至10任一所述的资讯的展示方法。
22.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一段程序,所述至少一段程序由处理器加载并执行以实现如权利要求1至10任一所述的资讯的展示方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910203491.2A CN109920065B (zh) | 2019-03-18 | 2019-03-18 | 资讯的展示方法、装置、设备及存储介质 |
PCT/CN2020/076931 WO2020186988A1 (zh) | 2019-03-18 | 2020-02-27 | 资讯的展示方法、装置、终端及存储介质 |
US17/242,760 US11790612B2 (en) | 2019-03-18 | 2021-04-28 | Information display method and device, terminal, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910203491.2A CN109920065B (zh) | 2019-03-18 | 2019-03-18 | 资讯的展示方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109920065A CN109920065A (zh) | 2019-06-21 |
CN109920065B true CN109920065B (zh) | 2023-05-30 |
Family
ID=66965307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910203491.2A Active CN109920065B (zh) | 2019-03-18 | 2019-03-18 | 资讯的展示方法、装置、设备及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11790612B2 (zh) |
CN (1) | CN109920065B (zh) |
WO (1) | WO2020186988A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109920065B (zh) | 2019-03-18 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 资讯的展示方法、装置、设备及存储介质 |
CN111178191B (zh) * | 2019-11-11 | 2022-01-11 | 贝壳找房(北京)科技有限公司 | 信息播放方法、装置、计算机可读存储介质及电子设备 |
CN111190526B (zh) * | 2020-01-08 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及介质 |
CN111273775A (zh) * | 2020-01-16 | 2020-06-12 | Oppo广东移动通信有限公司 | 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质 |
US11995292B1 (en) * | 2020-06-22 | 2024-05-28 | Tracer Imaging Llc | System and method for transmission induced object leveling, alignment and data sharing |
CN112130726B (zh) * | 2020-09-25 | 2022-05-31 | 北京五八信息技术有限公司 | 页面操作方法、装置、电子设备和计算机可读介质 |
CN112435069A (zh) * | 2020-12-02 | 2021-03-02 | 北京五八信息技术有限公司 | 一种广告投放方法、装置、电子设备及存储介质 |
US11495007B1 (en) * | 2021-12-23 | 2022-11-08 | Rhizomenet Pty. Ltd. | Augmented reality image matching |
CN113886477B (zh) * | 2021-09-28 | 2023-01-06 | 北京三快在线科技有限公司 | 一种人脸识别的方法及装置 |
CN114356264B (zh) * | 2021-12-30 | 2023-12-05 | 威创集团股份有限公司 | 一种信号生成方法、装置、设备及可读存储介质 |
CN114253499A (zh) * | 2022-03-01 | 2022-03-29 | 北京有竹居网络技术有限公司 | 信息的展示方法、装置、可读存储介质和电子设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102194007A (zh) * | 2011-05-31 | 2011-09-21 | 中国电信股份有限公司 | 获取移动增强现实信息的***和方法 |
CN102566893A (zh) * | 2010-10-22 | 2012-07-11 | 株式会社泛泰 | 用于提供增强现实用户界面的设备和方法 |
CN103207728A (zh) * | 2012-01-12 | 2013-07-17 | 三星电子株式会社 | 提供增强现实的方法和支持该方法的终端 |
CN106649439A (zh) * | 2016-09-09 | 2017-05-10 | 深圳市金立通信设备有限公司 | 一种资讯显示方法及终端 |
CN106791784A (zh) * | 2016-12-26 | 2017-05-31 | 深圳增强现实技术有限公司 | 一种虚实重合的增强现实显示方法和装置 |
CN107493228A (zh) * | 2017-08-29 | 2017-12-19 | 北京易讯理想科技有限公司 | 一种基于增强现实的社交互动方法和*** |
CN107622524A (zh) * | 2017-09-29 | 2018-01-23 | 百度在线网络技术(北京)有限公司 | 用于移动终端的显示方法和显示装置 |
CN108063936A (zh) * | 2017-12-29 | 2018-05-22 | 光锐恒宇(北京)科技有限公司 | 增强现实ar的实现方法、装置和计算机可读存储介质 |
WO2018104834A1 (en) * | 2016-12-07 | 2018-06-14 | Yogesh Chunilal Rathod | Real-time, ephemeral, single mode, group & auto taking visual media, stories, auto status, following feed types, mass actions, suggested activities, ar media & platform |
CN108762482A (zh) * | 2018-04-16 | 2018-11-06 | 北京大学 | 一种大屏幕和增强现实眼镜间数据交互方法和*** |
CN109215416A (zh) * | 2018-10-24 | 2019-01-15 | 天津工业大学 | 一种基于增强现实技术的汉字辅助学习***及方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2470072B (en) * | 2009-05-08 | 2014-01-01 | Sony Comp Entertainment Europe | Entertainment device,system and method |
CN102810099B (zh) * | 2011-05-31 | 2018-04-27 | 中兴通讯股份有限公司 | 增强现实视图的存储方法和装置 |
US10685488B1 (en) * | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
US10565795B2 (en) * | 2017-03-06 | 2020-02-18 | Snap Inc. | Virtual vision system |
CN107730350A (zh) * | 2017-09-26 | 2018-02-23 | 北京小米移动软件有限公司 | 基于增强现实的产品展示方法、装置及存储介质 |
US10475250B1 (en) * | 2018-08-30 | 2019-11-12 | Houzz, Inc. | Virtual item simulation using detected surfaces |
US11087553B2 (en) * | 2019-01-04 | 2021-08-10 | University Of Maryland, College Park | Interactive mixed reality platform utilizing geotagged social media |
CN109920065B (zh) * | 2019-03-18 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 资讯的展示方法、装置、设备及存储介质 |
-
2019
- 2019-03-18 CN CN201910203491.2A patent/CN109920065B/zh active Active
-
2020
- 2020-02-27 WO PCT/CN2020/076931 patent/WO2020186988A1/zh active Application Filing
-
2021
- 2021-04-28 US US17/242,760 patent/US11790612B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102566893A (zh) * | 2010-10-22 | 2012-07-11 | 株式会社泛泰 | 用于提供增强现实用户界面的设备和方法 |
CN102194007A (zh) * | 2011-05-31 | 2011-09-21 | 中国电信股份有限公司 | 获取移动增强现实信息的***和方法 |
CN103207728A (zh) * | 2012-01-12 | 2013-07-17 | 三星电子株式会社 | 提供增强现实的方法和支持该方法的终端 |
CN106649439A (zh) * | 2016-09-09 | 2017-05-10 | 深圳市金立通信设备有限公司 | 一种资讯显示方法及终端 |
WO2018104834A1 (en) * | 2016-12-07 | 2018-06-14 | Yogesh Chunilal Rathod | Real-time, ephemeral, single mode, group & auto taking visual media, stories, auto status, following feed types, mass actions, suggested activities, ar media & platform |
CN106791784A (zh) * | 2016-12-26 | 2017-05-31 | 深圳增强现实技术有限公司 | 一种虚实重合的增强现实显示方法和装置 |
CN107493228A (zh) * | 2017-08-29 | 2017-12-19 | 北京易讯理想科技有限公司 | 一种基于增强现实的社交互动方法和*** |
CN107622524A (zh) * | 2017-09-29 | 2018-01-23 | 百度在线网络技术(北京)有限公司 | 用于移动终端的显示方法和显示装置 |
CN108063936A (zh) * | 2017-12-29 | 2018-05-22 | 光锐恒宇(北京)科技有限公司 | 增强现实ar的实现方法、装置和计算机可读存储介质 |
CN108762482A (zh) * | 2018-04-16 | 2018-11-06 | 北京大学 | 一种大屏幕和增强现实眼镜间数据交互方法和*** |
CN109215416A (zh) * | 2018-10-24 | 2019-01-15 | 天津工业大学 | 一种基于增强现实技术的汉字辅助学习***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109920065A (zh) | 2019-06-21 |
US20210295604A1 (en) | 2021-09-23 |
WO2020186988A1 (zh) | 2020-09-24 |
US11790612B2 (en) | 2023-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109920065B (zh) | 资讯的展示方法、装置、设备及存储介质 | |
CN109660855B (zh) | 贴纸显示方法、装置、终端及存储介质 | |
WO2022088884A1 (zh) | 页面展示方法和终端 | |
US20220044026A1 (en) | Method for generating clipping template, and electronic device | |
CN112533017B (zh) | 直播方法、装置、终端及存储介质 | |
CN112118477B (zh) | 虚拟礼物展示方法、装置、设备以及存储介质 | |
WO2022247208A1 (zh) | 直播数据处理方法及终端 | |
CN109327608B (zh) | 歌曲分享的方法、终端、服务器和*** | |
CN112929687A (zh) | 基于直播视频的互动方法、装置、设备及存储介质 | |
CN113407291B (zh) | 内容项显示方法、装置、终端及计算机可读存储介质 | |
US20220377157A1 (en) | Method for displaying data, and computer device | |
CN112181573A (zh) | 媒体资源展示方法、装置、终端、服务器以及存储介质 | |
CN109275013B (zh) | 虚拟物品展示的方法、装置、设备及存储介质 | |
WO2021073293A1 (zh) | 动画文件的生成方法、装置及存储介质 | |
CN108900925B (zh) | 设置直播模板的方法和装置 | |
CN111368114B (zh) | 信息展示方法、装置、设备及存储介质 | |
CN112363660B (zh) | 封面图像的确定方法、装置、电子设备及存储介质 | |
CN114116053B (zh) | 资源展示方法、装置、计算机设备及介质 | |
CN111880888B (zh) | 预览封面生成方法、装置、电子设备及存储介质 | |
CN111327916B (zh) | 基于地理对象的直播管理方法、装置、设备及存储介质 | |
CN113393290A (zh) | 直播数据处理方法、装置、计算机设备及介质 | |
CN113409427B (zh) | 动画播放方法、装置、电子设备及计算机可读存储介质 | |
CN114245218B (zh) | 音视频播放方法、装置、计算机设备及存储介质 | |
CN112533015B (zh) | 直播互动方法、装置、设备及存储介质 | |
CN110750734A (zh) | 天气显示方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |