CN110826375B - 显示方法、装置、终端设备及存储介质 - Google Patents

显示方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN110826375B
CN110826375B CN201810910950.6A CN201810910950A CN110826375B CN 110826375 B CN110826375 B CN 110826375B CN 201810910950 A CN201810910950 A CN 201810910950A CN 110826375 B CN110826375 B CN 110826375B
Authority
CN
China
Prior art keywords
markers
marker
spatial
virtual object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810910950.6A
Other languages
English (en)
Other versions
CN110826375A (zh
Inventor
尹元庆
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201810910950.6A priority Critical patent/CN110826375B/zh
Priority to PCT/CN2019/097128 priority patent/WO2020020102A1/zh
Priority to US16/666,429 priority patent/US11049324B2/en
Publication of CN110826375A publication Critical patent/CN110826375A/zh
Application granted granted Critical
Publication of CN110826375B publication Critical patent/CN110826375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种显示方法、装置、终端设备及存储介质,涉及显示技术领域。该显示方法应用于终端设备,所述方法包括:采集包含目标标记物的图像,其中,所述目标标记物为多个标记物中处于所述终端设备视野范围内的至少一个标记物,所述多个标记物分离设置在不同的位置;根据所述图像获取所述目标标记物相对所述终端设备的目标空间位置;读取存储的所述多个标记物之间的第一空间位置关系,并获取虚拟对象相对所述多个标记物的第二空间位置关系;基于所述第一空间位置关系、所述第二空间位置关系以及所述目标空间位置,确定所述虚拟对象的显示位置;根据所述显示位置对所述虚拟对象进行显示。

Description

显示方法、装置、终端设备及存储介质
技术领域
本申请涉及显示技术领域,更具体地,涉及一种显示方法、装置、终端设备及存储介质。
背景技术
近年来,随着科技的进步,增强现实(AR,Augmented Reality)等技术已逐渐成为国内外研究的热点,增强现实是通过计算机***提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟对象、场景或***提示信息等内容对象叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。
在多数情况下利用终端设备显示虚拟内容时,会对标记物采集图像进行识别后,根据对标记物的识别结果对虚拟内容进行显示。但是对于标记物的识别追踪会受到终端设备的视野范围的影响,导致终端设备容易丢失对标记物的追踪,使终端设备的显示受到影响。
发明内容
本申请实施例提出了一种显示方法、装置、终端设备及存储介质,能够增强终端设备显示的稳定性。
第一方面,本申请实施例提供了一种显示方法,应用于终端设备,所述方法包括:采集到包含目标标记物的图像,其中,所述目标标记物为多个标记物中处于所述终端设备视野范围内的至少一个标记物,所述多个标记物分离设置在不同的位置;根据所述图像获取所述目标标记物相对所述终端设备的目标空间位置;读取存储的所述多个标记物之间的第一空间位置关系,并获取虚拟对象相对所述多个标记物的第二空间位置关系;基于所述第一空间位置关系、所述第二空间位置关系以及所述目标空间位置,确定所述虚拟对象的显示位置;根据所述显示位置对所述虚拟对象进行显示。
第二方面,本申请实施例提供了一种显示装置,应用于终端设备,所述装置包括:图像获取模块、第一位置获取模块、位置关系读取模块、第二位置获取模块以及显示执行模块。其中,图像获取模块用于采集包含目标标记物的图像,其中,所述目标标记物为多个标记物中处于所述终端设备视野范围内的至少一个标记物,所述多个标记物分离设置在不同的位置;所述第一位置获取模块用于根据所述图像获取所述目标标记物相对所述终端设备的目标空间位置;位置关系读取模块用于读取存储的所述多个标记物之间的第一空间位置关系,并获取虚拟对象相对所述多个标记物的第二空间位置关系;所述第二位置获取模块用于基于所述第一空间位置关系、所述第二空间位置关系以及所述目标空间位置,确定所述虚拟对象的显示位置;所述显示执行模块用于根据所述显示位置将所述虚拟对象进显示。
第三方面,本申请实施例提供了一种终端设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的显示方法。
第四方面,本申请实施例提供了一种存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的显示方法。
本申请提供的方案,终端设备通过采集包含目标物的图像,该目标标记物为多个标记物中处于终端设备视野范围内的至少一个标记物,多个标记物分离设置在不同的位置,然后根据该图像获取该目标标记物相对终端设备的目标空间位置,读取存储的多个标记物之间的第一空间位置关系,并获取虚拟对象相对多个标记物的第二空间位置关系,再基于多个标记物之间的第一空间位置关系、第二空间位置关系以及上述目标空间位置,确定虚拟对象的显示位置,最后根据该显示位置对虚拟对象进行显示,终端设备对大范围内的多个标记物中的一个标记物进行识别,即可实现对虚拟对象的显示,提升终端设备对应虚拟对象的显示的稳定性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用场景的示意图。
图2示出了根据本申请一个实施例的显示方法流程图。
图3示出了根据本申请另一个实施例的显示方法流程图。
图4示出了本申请实施例提供的一种实施方式的使用场景示意图。
图5示出了本申请实施例提供的另一种实施方式的一种使用场景示意图。
图6示出了本申请实施例提供的另一种实施方式的另一种使用场景示意图。
图7示出了本申请实施例提供的另一种实施方式的又一种使用场景示意图。
图8示出了本申请实施例提供的另一种实施方式的再一种使用场景示意图。
图9示出了本申请实施例提供的另一种实施方式中的可选方式的一种使用场景示意图。
图10示出了本申请实施例提供的另一种实施方式中的可选方式的另一种使用场景示意图。
图11示出了根据本申请实施例的显示方法中步骤S240的流程图。
图12示出了根据本申请实施例的显示方法中步骤S260的流程图。
图13示出了根据本申请一个实施例的显示装置的一种框图。
图14示出了根据本申请一个实施例的显示装置中第二位置获取模块的框图。
图15示出了根据本申请一个实施例的显示装置的另一种框图。
图16是本申请实施例的用于执行根据本申请实施例的显示方法的终端设备的框图。
图17是本申请实施例的用于保存或者携带实现根据本申请实施例的显示方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在多数增强现实技术的应用场景中,应用场景中会设置有标记物,标记物用于虚拟内容的显示。终端设备在进行虚拟内容的显示时,会利用其摄像头等图像采集装置对标记物进行成像,然后根据成像对标记物的信息进行识别,得到识别结果,再根据识别结果对虚拟内容进行显示。
并且,多数应用场景中设置有一个标记物,终端设备通过识别该标记物将虚拟对象叠加到真实场景中。但是由于终端设备的视野有限,当场景内的标记物在终端设备的视野范围内丢失时,则无法识别到场景内的标记物的信息,导致终端设备无法实现对于虚拟内容的显示。例如,应用场景为桌面的桌布时,标记物设置于桌面一位置,终端设备在识别到标记物的信息后,根据标记物信息将虚拟桌布显示于桌面,但是在终端设备的位置发生变化,使得标记物在终端设备的视野范围内丢失时,则无法识别到标记物的信息,使虚拟桌布无法显示于桌面。
针对上述问题,发明人经过长时间的研究并提出了本申请实施例提供的显示方法、装置、终端设备以及存储介质,以提升终端设备显示的稳定性。
下面对本申请实施例提供的显示方法的应用场景进行介绍。
请参见图1,示出了本申请实施例提供的显示方法的应用场景的示意图,该应用场景包括显示***10。该显示***10包括:终端设备100以及多个标记物200。
其中,上述多个标记物200可以分离设置在场景中不同的位置。例如,多个标记物200可以分离设置于桌面,也可以分离设置于地面的一块区域内,当然,上述多个标记物实际设置的场景在本申请实施例中并不作为限定。
在本申请实施例中,终端设备100可以是头戴显示装置,也可以是手机、平板等移动设备。终端设备100为头戴显示装置时,头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式头戴显示装置连接的手机等智能终端,即终端设备100可作为头戴显示装置的处理和存储设备,***或者接入外接式头戴显示装置,在头戴显示装置中对虚拟对象进行显示功能。
在本申请实施例中,上述多个标记物200的图像存储于终端设备100中。上述多个标记物200中的每个标记物可以包括至少一个具有一个或者多个特征点的子标记物。当上述多个标记物200中的任意一个或多个标记物处于终端设备100的视野范围内时,终端设备100可将上述多个标记物200中处于视野范围内的其中一个标记物作为目标标记物,并采集包含该目标标记物的图像。在采集到包含该目标标记物的图像时,可以识别采集到的目标标记物的图像,得到该目标标记物相对终端设备的位置、朝向等空间位置信息,以及目标标记物的身份信息等识别结果。终端设备可基于上述多个标记物200之间的空间位置关系、目标标记物相对终端设备的空间位置等信息显示相应的虚拟对象。可以理解地,具体的标记物在本申请实施例中并不作为限定,仅需可以被终端设备识别追踪即可。
请参阅图2,本申请实施例提供了一种显示方法,可应用于终端设备,该方法可以包括:
步骤S110:采集包含目标标记物的图像,其中,目标标记物为多个标记物中处于终端设备视野范围内的至少一个标记物,多个标记物分离设置在不同的位置。
在本申请实施例中,多个标记物分离设置于实际场景中不同的位置,该多个标记物为至少两个标记物,多个标记物设置的位置可以是固定的,也可以是根据需求可随时进行变动的。在终端设备需要对虚拟对象显示时,可以对存在于终端设备的视野范围内的目标标记物进行图像采集,该目标标记物为多个标记物中存在于终端设备的视野范围内的至少一个标记物。其中,终端设备的视野范围指终端设备的图像采集装置的视野范围,图像采集装置的视野范围可以由视场角的大小决定。
在本申请实施例中,上述标记物可以包括至少一个子标记物,子标记物可以是具有一定形状的图案。在一个实施例中,每个子标记物可具有一个或多个特征点,其中,特征点的形状不做限定,可以是圆点、圆环,也可以是三角形、其他形状。另外,不同标记物内的子标记物的分布规则不同,因此,每个标记物可具备不同的身份信息。终端设备通过识别标识物中包含的子标记物,可以获取与标记物对应的身份信息,该身份信息可以是编码等可用于唯一标识标记物的信息,但不限于此。
作为一种实施方式,标记物的轮廓可以为矩形,当然,标记物的形状也可以是其他形状,在此不做限定,矩形的区域以及该区域内的多个子标记物构成一个标记物。当然,上述标记物也可以为由光点构成的自身可以发光的物体等,光点标记物可以发射不同波段或不同颜色的光,终端设备通过识别光点标记物发出的光的波段或颜色等信息获取与标记物对应的身份信息。当然,具体的标记物在本申请实施例中并不作为限定,标记物仅需要标记物能被终端设备识别即可。
从而,可以得到包含上述目标标记物的图像,以用于后续确定虚拟对象的位置。
步骤S120:根据图像获取目标标记物相对终端设备的目标空间位置。
在终端设备得到包含上述目标标记物的图像之后,则可以对该包含上述目标标记物的图像进行识别,以得到对目标标记物的识别结果。其中,对目标标记物的识别结果可以包括目标标记物相对终端设备的目标空间位置,以及目标标记物的身份信息等。其中,目标空间位置可以包括目标标记物相对终端设备的位置以及姿态信息等,姿态信息为目标标记物相对终端设备的朝向及旋转角度。
从而,可以得到上述目标标记物相对终端设备的目标空间位置。
步骤S130:读取存储的多个标记物之间的第一空间位置关系,并获取虚拟对象相对多个标记物的第二空间位置关系。
在本申请实施例中,在本次进行虚拟对象的显示前,终端设备可先采集一张或多张图像,该一张或多张图像中可包含有分离设置在不同位置的多个标记物,再根据该一张或多张图像对多个标记物进行识别,建立多个标记物之间的第一空间位置关系并存储于终端设备中,基于该第一空间位置关系,可以获得不同标记物之间相对的空间位置。
当然,在一些多个标记物的位置固定情况下,该显示方法在首次实施后,多个标记物的第一空间位置关系在存储于终端设备中,后续在实施该显示方法时则不需要获取多个标记物之间的第一空间位置关系,即后续实施该显示方法时读取的第一空间位置关系为该显示方法首次实施时所获得的多个标记物之间的第一空间位置关系。例如,在博物馆等室内场景中,多个标记物可分别固定设置在不同的位置,设置的位置可预先存储在终端设备中,当用户进入博物馆时,采集到任意一个标记物的图像,即可根据预先存储的多个标记物之间的第一空间位置关系得到其他标记物的位置、姿态等信息,并显示相应的虚拟对象。
另外,终端设备可获取虚拟对象相对多个标记物的第二空间位置关系,即虚拟对象需要显示的位置与多个标记物之间的位置关系,该第二空间位置关系可根据实际需求进行设定,比如,可以是虚拟对象处于多个标记物构成的区域的中心位置,或是虚拟对象处于其中一个标记物上等,但不限于此。该第二空间位置关系可以预先存储于终端设备中,也可以由用户进行实时选择等。
步骤S140:基于第一空间位置关系、第二空间位置关系以及目标空间位置,确定虚拟对象的显示位置。
在得到上述目标标记物相对终端设备的目标空间位置之后,则可以根据多个标记物之间的第一空间位置关系以及虚拟对象相对多个标记物的位置关系,确定出虚拟对象相对目标标记物的位置关系。
在传统的方式中,终端设备显示虚拟对象时,需要保证多个标记物同时存在于视野范围内,才能准确得到虚拟对象的显示位置,因此限制了标记物识别、跟踪的范围。在本申请的实施例中,终端设备可根据虚拟对象相对多个标记物的第二空间位置关系,以及多个标记物之间的第一空间位置关系,得到虚拟对象相对目标标记物的位置关系。基于虚拟对象相对目标标记物的位置关系,以及目标标记物相对终端设备的目标空间位置,以目标标记物作为参照,即可获得虚拟对象相对终端设备的空间位置。
终端设备可将虚拟对象相对终端设备的空间位置,进行坐标转换,得到虚拟对象在终端设备的显示空间中的显示位置,以用于后续对虚拟对象进行显示。
步骤S150:根据显示位置对虚拟对象进行显示。
在得到虚拟对象的显示位置之后,则可以对虚拟对象进行显示。具体的,终端设备可以基于虚拟对象的数据将虚拟对象显示于该显示位置。其中,虚拟对象的数据可以为虚拟对象的模型数据。
在本申请实施例中,可以通过终端设备观察虚拟对象,终端设备的用户可以进行位置的移动,虚拟对象也会随用户位置的移动而变化。例如,终端设备远离虚拟对象于真实场景中的位置时,则虚拟对象变小,反之,靠近虚拟对象于真实场景中的位置时,虚拟对象变大等。另外,也可以进行显示内容的录制,以便于本次观察以后的观察以及分析。
从而,本申请实施例提供的显示方法,通过采集包含目标标记物的图像,目标标记物为多个标记物中处于终端设备视野范围内的至少一个标记物,然后根据该图像获取目标标记物相对终端设备的目标空间位置,读取存储的多个标记物之间的第一空间位置关系,并获取虚拟对象相对多个标记物的第二空间位置关系,再基于上述多个标记物之间的第一空间位置关系、目标空间位置以及虚拟对象相对多个标记物之间的第二空间位置关系,确定出虚拟对象的显示位置,最后根据显示位置对虚拟对象进行显示。实现了终端设备对多个标记物中处于视野范围内的一个目标标记物进行识别,即可以实现对于虚拟内容的显示。并且多个标记物分离设置在多个不同的位置,终端设备识别到任意一个标记物,即可确定其他不在视野范围内标记物所在位置,实现大范围的标记物的识别和追踪,提升终端设备对虚拟对象显示的稳定性。
请参阅图3,本申请另一实施例提供了一种显示方法,可应用于终端设备,该方法可以包括:
步骤S210:获取多个标记物之间的第一空间位置关系。
在本申请实施例中,可以预先获取多个标记物之间的第一空间位置关系,以便后续确定虚拟对象的显示位置。
作为一种实施方式,获取多个标记物的第一空间位置关系可以包括:
对分离设置的多个标记物进行图像采集,得到包含多个标记物的图像;基于包含多个标记物的图像,获得多个标记物之间的第一空间位置关系。
可以理解的是,终端设备可以在处于一些位置时,多个标记物全部处于终端设备的图像采集装置的视野范围内,此时终端设备可以对多个标记物进行图像采集得到包含上述多个标记物的图像,其中,包含上述多个标记物的图像中应当包含上述多个标记物中的所有标记物。
在得到包含上述多个标记物的图像之后,再对上述多个标记物中的每个标记物进行识别,可以得到上述多个标记物中的每个标记物相对终端设备的空间位置以及身份信息等识别结果。
然后,基于上述多个标记物中的每个标记物相对终端设备的空间位置关系以及身份信息等识别结果,可以建立上述多个标记物之间的空间位置关系。
其中,可以根据上述多个标记物中每个标记物相对终端设备的空间位置以及每个标记物的身份信息,依次获得每个标记物相对其他标记物之间的空间位置关系,从而得到多个标记物之间的空间位置关系。例如,如图4所示,多个标记物包括标记物A、标记物B、标记物C、标记物D以及标记物E,终端设备可以获取同时包含标记物A、标记物B、标记物C、标记物D以及标记物E的图像,根据图像可以获得标记物A相对终端设备的空间位置、标记物B相对终端设备的空间位置、标记物C相对终端设备的空间位置、标记物D相对终端设备的空间位置以及标记物E相对终端设备的空间位置。根据上述标记物A、标记物B、标记物C、标记物D以及标记物E分别相对终端设备的空间位置,可以获得标记物A与标记物B、标记物A与标记物C、标记物A与标记物D以及标记物A与标记物E之间的空间位置关系,还可以获得标记物B与标记物C、标记物B与标记物D以及标记物B与标记物E之间的空间位置关系,还可以获得标记物C与标记物D以及标记物C与标记物E之间的空间位置关系,还可以标记物D与标记物E之间的空间位置关系,从而得到标记物A、标记物B、标记物C、标记物D以及标记物E之间的第一空间位置关系。
也可以根据上述多个标记物中每个标记物相对终端设备的空间位置以及每个标记物的身份信息,依次获得所有位置相邻的标记物之间的空间位置,得到多个标记物之间的空间位置关系。例如,标记物包括标记物A、标记物B、标记物C、标记物D以及标记物E时,标记物A与标记物B相邻,标记物B与标记物C相邻,标记物C与标记物D相邻,标记物D与标记物E相邻时,则可以分别获取标记物A与标记物B、标记物B与标记物C、标记物C与标记物D、以及标记物D与标记物E的空间位置关系,得到多个标记物之间的位置关系。另外,在上述举例中,若多个标记物还存在其他相邻关系,也可以通过获得其他相邻的标记物之间的空间位置关系,得到多个标记物之间的空间位置关系,满足至少获得四个相邻关系的标记物之间的空间位置关系,并且获得的具备相邻关系的标记物之间的空间位置关系中不存在孤岛即可,即获得的具备相邻关系的标记物之间的空间位置关系中不存在单独的空间位置关系,该单独的空间位置关系指的是,该单独的空间位置关系所对应的相邻的标记物与其他空间位置关系中任一空间位置关系对应的相邻的标记物之间不存在相同的标记物。
作为另一种实施方式,获取多个标记物的第一空间位置关系也可以包括:获取对分离设置的多个标记物进行多次图像采集而得到的多张图像,其中,每张图像至少包含两个标记物,相邻两次图像采集的图像中包含至少一个相同标记物;基于多次图像采集的多张图像,获得每张图像中包含的至少两个标记物之间的位置关系;基于每张图像中的标记物之间的位置关系,得到多个标记物之间的第一空间位置关系。
可以理解的是,除了上述通过一次采集上述多个标记物的图像,获得多个标记物之间的第一空间位置关系的实施方式以外,还可以分为多次采集标记物的图像,然后根据多次采集的标记物的图像,获得上述多个标记物之间的第一空间位置关系。
可以分多次采集分离设置在不同位置的多个标记物,并且每次采集的标记物的图像中应当至少包括两个标记物。另外,多次采集的标记物图像中应互有至少一个相同的标记物,以保证根据多次采集的标记物的图像获得的多个空间位置关系之间不存在孤岛,即多个空间位置关系中不存在独立的空间位置关系,该单独的空间位置关系指的是,该单独的空间位置关系所对应的图像中的标记物与其他空间位置关系中任一空间位置关系对应的图像中的标记物之间不存在相同的标记物。作为一种方式,可以相邻两次采集的标记物的图像中包含至少一个相同的标记物,例如,请同时参见图7、图8、图9以及图10,标记物包括标记物A、标记物B、标记物C、标记物D以及标记物E时。如图7所示,第一次可以采集包含标记物A以及标记物B的图像。如图8所示,第二次可以采集包含标记物B以及标记物C的图像。如图9所示,第三次可以采集包含标记物C以及标记物D的图像。如图10所示,第四次可以采集包含标记物D以及标记物E的图像,从而第一次采集的图像与第二采集的图像中包含有相同的标记物B,第二次采集的图像与第三采集的图像中包含有相同的标记物C,第三次采集的图像与第四采集的图像中包含有相同的标记物D。
在获得多次采集的标记物的多张图像之后,则可以对每张图像进行识别,获得每张图像中的标记物之间的空间位置关系,然后再基于每张图像中的标记物之间的空间位置关系,选择图像中包含的相同标记物作为参照,从而得到多个标记物之间的第一空间位置关系。例如,上述举例中,对第一次采集的包含标记物A以及标记物B的图像进行识别,可以获得标记物A相对终端设备的空间位置以及标记物B相对终端设备的空间位置,然后根据标记物A以及标记物B相对终端设备的空间位置,得到标记物A与标记物B之间的空间位置关系;对第二次采集的包含标记物B以及标记物C的图像进行识别,可以获得标记物B相对终端设备的空间位置以及标记物C相对终端设备的空间位置,然后根据标记物B以及标记物C相对终端设备的空间位置,得到标记物B与标记物C之间的空间位置关系;对第三次采集的包含标记物C以及标记物D的图像进行识别,可以获得标记物C相对终端设备的空间位置以及标记物D相对终端设备的空间位置,然后根据标记物C以及标记物D相对终端设备的空间位置,得到标记物C与标记物D之间的空间位置关系;对第四次采集的包含标记物D以及标记物E的图像进行识别,可以获得标记物D相对终端设备的空间位置以及标记物E相对终端设备的空间位置,然后根据标记物D以及标记物E相对终端设备的空间位置,得到标记物D与标记物E之间的空间位置关系;然后根据标记物A与标记物B之间的空间位置关系,标记物B与标记物C之间的空间位置关系,标记物C与标记物D之间的空间位置关系,标记物D与标记物E之间的空间位置关系,即可建立标记物A、标记物B、标记物C、标记物D以及标记物E之间的空间位置关系,即多个标记物之间的第一空间位置关系,从而根据标记物A、标记物B、标记物C、标记物D以及标记物E中任一标记物相对终端设备的空间位置,利用第一空间位置关系,即可得到其他标记物中每个标记物相对终端设备的空间位置。
在上述通过多次采集标记物的图像,获取多个标记物之间的第一空间位置关系的实施方式中,可以通过两次采集标记物的图像,获取多个标记物之间的第一空间位置关系。具体的,可以对分离设置在不同位置的多个标记物中的第一部分标记物进行图像采集,得到包含第一部分标记物的标记物图像,第一部分标记物包括至少两个标记物;基于包含第一部分标记物的标记物图像,获取第一部分标记物之间的空间位置关系;对多个标记物中的第二部分标记物进行图像采集,得到包含第二部分标记物的标记物图像,第二部分标记物包括第一部分标记物中的至少一个标记物、以及多个标记物中除第一部分标记物以外的其他标记物;基于包含第二部分标记物的标记物图像,获取第二部分标记物之间的空间位置关系;根据第一部分标记物之间的空间位置关系以及第二部分标记物之间的空间位置关系,得到多个标记物之间的第一空间位置关系。
可以理解的是,多个标记物分离设置于不同位置时,可能多个标记物分布的范围较大,由于终端设备的图像采集装置的视野范围有限,终端设备的图像采集装置无法一次获取包含所有标记物的图像,因此,可以分为两次对多个标记物进行采集图像,然后根据两次采集的标记物图像建立多个标记物之间的空间位置关系。
上述多个标记物可以包括第一部分标记物以及第二部分标记物,其中,第一部分标记物包括至少两个标记物,第二部分标记物包括第一部分标记物中的至少一个标记物以及多个标记物中除第一部分标记物以外的其他标记物。
在采集第一部分标记物的图像以后,则可以识别包含第一部分标记物的图像,得到第一部分标记物中每个标记物相对终端设备的空间位置以及身份信息,然后根据第一部分标记物中每个标记物相对终端设备的空间位置以及身份信息,获得第一部分标记物之间的空间位置关系,即第一部分标记物中的所有标记物之间的空间位置关系。
在采集第二部分标记物的图像以后,则可以识别包含第二部分标记物的图像,得到第二部分标记物中每个标记物相对终端设备的空间位置以及身份信息,然后根据第二部分标记物中每个标记物相对终端设备的空间位置以及身份信息,获得第二部分标记物之间的空间位置关系,即第二部分标记物中的所有标记物之间的空间位置关系。
由于第二部分标记物中包含有第一部分标记物中的至少一个标记物,因此可以以第一部分标记物与第二部分标记物中相同的标记物作为参照,根据第一部分标记物之间的空间位置关系以及第二部分标记物之间的空间位置关系,得到上述多个标记物之间的第一空间位置关系。根据获得的第一空间位置关系,以及其中一个标记物相对终端设备的空间位置,即可得到其他所有标记物相对终端设备的空间位置。
例如,请同时参见图5以及图6,多个标记物包括标记物A、标记物B、标记物C、标记物D以及标记物E时,可以先采集标记物A、标记物B以及标记物C的第一部分标记物的图像,然后根据包含标记物A、标记物B以及标记物C的第一部分标记物的图像,得到第一部分标记物之间的空间位置关系,即标记物A、标记物B以及标记物C之间的空间位置关系;然后采集标记物B、标记物D以及标记物E的第二部分标记物的图像,然后根据包含标记物B、标记物D以及标记物E的第二部分标记物的图像,得到第二部分标记物之间的空间位置关系,即标记物B、标记物D以及标记物E之间的空间位置关系;最后根据第一部分标记物之间的空间位置关系,以及第二部分标记物之间的空间位置关系,以标记物B作为参照,即可获得标记物A、标记物B、标记物C、标记物D以及标记物E之间的空间位置关系,即上述多个标记物之间的第一空间位置关系。其中,根据第一部分标记物的图像得到第一部分标记物之间的空间位置关系,以及根据第二部分标记物的图像得到第二部分标记物之间的空间位置关系,可以参照上个实施方式中的方案获取图像中标记物之间的空间位置关系,在此不再一一赘述。
作为又一种实施方式,终端设备可以每次仅对一个标记物进行图像采集,并根据终端设备的姿态变化信息,获得标记物之间的空间位置关系。具体的,第n次采集包含标记物Xn的图像,对包含标记物Xn的图像进行识别得到标记物Xn相对终端设备的位置,第n+1次采集包含标记物Xn+1的图像,对包含标记物Xn+1的图像进行识别得到标记物Xn+1相对终端设备的位置,并且通过VIO(Visual-Inertial Odometry,视觉惯性里程计)实时获取终端设备的6DOF(degree of freedom,自由度)信息,该6DOF信息可以包含终端设备的旋转、朝向等信息,从而可以得到终端设备第n+1次采集图像时相对第n次采集图像时的姿态变化信息,根据终端设备在第n+1次采集图像时相对第n次采集图像时的姿态变化信息、Xn相对终端设备的位置以及Xn+1相对终端设备的位置,即可得到标记物Xn与标记物Xn+1之间的空间位置关系,对所有的标记物图像进行上述操作即可实现获取多个标记物之间的第一空间位置关系。
在本申请实施例中,应当理解的是,无论以上述何种实施方式获得的多个标记物之间的第一空间位置关系,获得的第一空间位置关系均应当满足所有空间位置关系之间不存在孤岛,即不存在独立的空间位置关系,也即根据多个标记物中的任意一个标记物相对终端设备的空间位置,利用第一空间位置关系即可获得其他标记物中每个标记物相对终端设备的空间位置。
在得到上述多个标记物之间的第一空间位置关系之后,可以将第一空间位置关系存储于终端设备,以用于终端设备在对虚拟对象进行显示时,对虚拟对象的显示位置进行确定。
步骤S220:采集包含目标标记物的图像,其中,目标标记物为多个标记物中处于终端设备视野范围内的至少一个标记物,多个标记物分离设置在不同的位置。
在终端设备需要显示虚拟对象时,可以采集至少一个在终端设备的视野范围内的目标标记物的图像,以用于后续确定虚拟对象的显示位置。
可以理解的是,当多个标记物中仅有一个标记物处于终端设备的视野范围内时,则将该标记物作为目标标记物,终端设备可以采集该标记物的图像,得到包含目标标记物的图像。当多个标记物中有两个及以上的标记物处于终端设备的视野范围内时,则可以选取上述两个及以上的标记物中的其中一个标记物作为目标标记物,进行图像采集,得到包含目标标记物的图像。
步骤S230:根据图像获取目标标记物相对终端设备的目标空间位置。
在获得包含目标标记物的图像之后,可以根据包含目标标记物的图像获取目标标记物相对终端设备的目标空间位置。
步骤S240:读取存储的多个标记物之间的第一空间位置关系,并获取虚拟对象相对多个标记物的第二空间位置关系。
在本申请实施例中,上述虚拟对象相对多个标记物的第二空间位置关系包括以下中的至少一种:虚拟对象与多个标记物构成的空间区域的空间位置关系;虚拟对象与多个标记物构成的区域的中心位置的空间位置关系;虚拟对象与多个标记物中的预设标记物的空间位置关系;虚拟对象与目标标记物的空间位置关系。
可以理解的是,根据虚拟对象相对多个标记物的第二空间位置关系,可以获得虚拟对象的位置与多个标记物的位置之间的空间位置关系。虚拟对象可以与多个标记物所构成的空间区域存在空间位置关系,即虚拟对象的位置与多个标记物所构成的空间区域相关,可以是处于多个标记物所构成的空间区域中的一块区域,也可以是与多个标记物所构成的空间区域重合,还可以覆盖于多个标记物所构成的空间区域等。例如,当虚拟对象与多个标记物所构成的空间区域重合,且虚拟对象为虚拟棋盘时,可以将虚拟棋盘叠加显示于多个标记物所构成的区域。
虚拟对象也可以与多个标记物构成的区域的中心位置存在空间位置关系,即虚拟对象可以重合于多个标记物构成的区域的中心位置,也可以是虚拟对象处于与该中心位置对应的指定位置。例如,当虚拟对象重合于多个标记物构成的区域的中心位置,虚拟对象为餐桌上需要在中心位置展示的虚拟装饰物时,则可以将虚拟装饰物于中心位置展示。
虚拟对象也可以与多个标记物中的预设标记物存在空间位置关系,预设标记物为多个标记物中设定的一个标记物,即虚拟对象可以与预设标记物重合,也可以处于与预设标记物对应的指定位置。虚拟对象也可以与上述目标标记物存在空间位置关系,即虚拟对象可以与目标标记物重合,也可以处于与目标标记物对应的指定位置。
其中,上述多个标记物构成的区域指多个标记物所围成的最大区域,并且该构成的区域可以包括上述多个标记物。
步骤S250:基于第一空间位置关系、第二空间位置关系以及目标空间位置,确定虚拟对象的显示位置。
当虚拟对象相对多个标记物的第二空间位置关系为虚拟对象与目标标记物的空间位置关系,且虚拟对象处于目标标记物时,则虚拟对象的显示位置,可以直接由目标标记物相对终端设备的目标空间位置确定。也就是说,可以将目标标记物相对终端设备的目标空间位置,进行坐标转换,得到显示空间中的虚拟对象的显示位置。例如,在虚拟对象为桌面上的装饰物时,可以直接将虚拟装饰物显示于终端设备所识别的目标标记物的位置。
当虚拟对象相对多个标记物的第二空间位置关系为虚拟对象与多个标记物中的预设标记物之间的空间位置关系时,请参见图11,步骤S250可以包括:
步骤S251:基于第一空间位置关系,获取多个标记物构成的区域的中心位置。
在本申请实施例中,可以以靠近多个标记物所构成的区域中心位置的标记物,作为所处的预设标记物。首先,可以基于多个标记物之间的第一空间位置关系,获取多个标记物构成的区域的中心位置,以确定靠近中心位置的预设标记物。
步骤S252:基于中心位置,从多个标记物中获取预设标记物,预设标记物相对中心位置的距离小于其他标记物相对中心位置的距离。
在得到多个标记物构成的区域的中心位置之后,则可以计算多个标记物中每个标记物相对中心位置的距离。然后获取相对该中心位置的距离最短的标记物,作为预设标记物,即获得的预设标记物相对中心位置的距离,应当小于多个标记物中除该预设标记物以外的其他标记物的任一标记物相对中心位置的距离。
步骤S253:根据目标空间位置、第二空间位置关系以及预设标记物相对目标标记物之间的空间位置关系,确定虚拟对象的显示位置。
在获得相对中心位置最近的上述预设标记物之后,则可以根据多个标记物之间的第一空间位置关系,得到预设标记物与目标标记物之间的空间位置关系。根据第二空间位置关系,即虚拟对象与预设标记物之间的空间位置关系,预设标记物与目标标记物之间的空间位置关系,可以得到虚拟对象与目标标记物之间的空间位置关系。根据虚拟对象与目标标记物之间的空间位置关系,以及目标标记物相对终端设备的目标空间位置,以目标标记物作为参照,得到虚拟对象相对终端设备的空间位置,然后进行坐标转换,得到虚拟对象在显示空间中的显示位置。
步骤S260:根据显示位置对虚拟对象进行显示。
在得到虚拟对象的显示位置之后,则可以对虚拟对象进行显示。具体的,终端设备可以基于虚拟对象的数据将虚拟对象显示于该显示位置。其中,虚拟对象的数据可以为虚拟对象的模型数据。
从而,通过识别多个标记物中在终端设备的视野范围内的其中一个标记物,即可在多个标记物所构成的区域显示虚拟对象,也可以在多个标记物所构成的区域的中心位置显示虚拟对象,还可以在多个标记物中的预设标记物的位置显示虚拟对象,还可以直接在目标标记物的位置显示虚拟对象。
在本申请实施例中,在一种应用场景下,虚拟对象可以为多个虚拟对象,虚拟对象相对多个标记物的第二空间位置关系,为多个虚拟对象与多个标记物一一对应且重合。因此,在获得虚拟对象的显示位置时,可以根据目标标记物相对终端设备的目标空间位置,得到所有标记物相对终端设备的空间位置,然后将每个标记物相对终端设备的空间位置,进行坐标转换,即可得到每个虚拟对象的显示位置。
例如,在显示方法应用于餐厅的餐桌上时,多个标记物可以作为菜品的放置位置,每个标记物可以与一种类型的虚拟菜品对应,终端设备可以识别在视野范围内的其中一个标记物,然后根据该标记物的空间位置,即可将所有虚拟菜品在对应的标记物上进行显示。可以实现用户在点餐时,将点的多个菜品与多个标记物进行结合,终端设备仅需识别其中一个标记物,即可将多个菜品显示于标记物上,方便用户的点餐。
步骤S270:基于位置更新指令,重新获取多个标记物之间的第一空间位置关系,并将重新获取的第一空间位置关系进行存储。
在本申请实施例中,在上述多个标记物之间的第一空间位置关系发生变化,例如标记物被人为的移动时,则可以对多个标记物之间的第一空间位置关系进行更新。具体可以根据用户的操作,得到位置更新指令。然后重新获取多个标记物之间的第一空间位置关系,并将重新获取的第一空间位置关系进行存储。
在本申请实施例中,请参见图12,上述重新获取多个标记物之间的第一空间位置关系,并将重新获取的第一空间位置关系进行存储,可以包括:
步骤S271:获取对位置变动的标记物与其他标记物中至少一个标记物进行图像采集而得到的部分标记物图像,其中,其他标记物为多个标记物中除位置变动的标记物以外的标记物。
可以理解的是,在标记物的位置发生变动时,由于变动的可能仅是少数标记物,因此可以仅确定发生位置变化的标记物相对其他标记物的位置关系,即可实现对第一空间位置关系的更新。
因此,终端设备可以在用户操作下,对采集位置变动的标记物与其他标记物中的至少一个标记物进行图像采集,得到部分标记物图像,以确定位置变动的标记物相对位置未变动的标记物之间的空间位置关系。
步骤S272:基于部分标记物图像以及此前多个标记物之间的第一空间位置关系,得到当前多个标记物之间的第一空间位置关系。
在得到上述的部分标记物图像之后,则可以对部分标记物图像进行识别,得到上述位置变动的标记物相对终端设备的空间位置,以及上述其他标记物中至少一个标记物的空间位置。然后根据上述位置变动的标记物相对终端设备的空间位置,以及上述其他标记物中至少一个标记物的空间位置,即可得到位置变动的标记物与其他标记物中至少一个标记物的空间位置关系。再根据该空间位置关系,以及此前多个标记物之间的第一空间位置关系,由于上述其他标记物中至少一个标记物为位置未变动的标记物,因此以其他标记物中至少一个标记物作为参照,即可得到当前多个标记物之间的第一空间位置关系。在得到当前的第一空间位置关系之后,可以将第一空间位置关系存储于终端设备。
当然,在本申请实施例中,终端设备也可以分多次对多个标记物进行图像采集,以检测标记物的位置是否发生变化,在检测到标记物的位置发生变化时,重新获取多个标记物之间的第一空间位置关系。
另外,上述重新获取多个标记物之间的第一空间位置关系,也可以参照本申请实施例中步骤S210的方法进行获取。
本申请实施例提供的显示方法,预先获取多个标记物之间的空间位置关系,并提供了多种获取多个标记物之间的空间位置关系的实施方式,然后通过识别多个标记物中在终端设备的视野范围内的其中一个标记物后,根据识别结果、虚拟对象相对多个标记物的空间位置关系以及上述多个标记物之间的空间位置关系,获得虚拟对象的显示位置,最后根据显示位置对虚拟对象进行显示。实现了将虚拟对象于多个标记物构成的区域进行显示,或者将虚拟对象于多个标记物构成的区域的中心位置进行显示,或者将虚拟对象于多个标记物中的预设标记物进行显示,或者将虚拟对象于目标标记物进行显示。
请参阅图13,其示出了本申请实施例提供的一种显示装置400的结构框图,该显示装置400应用于终端设备。该显示装置400可以包括:图像获取模块410、第一位置获取模块420、位置关系读取模块430、第二位置获取模块440以及显示执行模块450。其中,图像获取模块410用于采集包含目标标记物的图像,其中,目标标记物为多个标记物中处于终端设备视野范围内的其中一个标记物,多个标记物分离设置在不同的位置;第一位置获取模块420用于根据图像获取目标标记物相对终端设备的目标空间位置;位置关系读取模块430用于读取存储的多个标记物之间的第一空间位置关系,并获取虚拟对象相对多个标记物的第二空间位置关系;第二位置获取模块440用于基于第一空间位置关系、第二空间位置关系以及目标空间位置,确定虚拟对象的显示位置;显示执行模块450用于根据显示位置将虚拟对象进显示。
在本申请实施例中,上述虚拟对象相对多个标记物的第二空间位置关系包括以下中的至少一种:虚拟对象相对多个标记物的第二空间位置关系包括以下中的至少一种:虚拟对象处于多个标记物构成的区域;虚拟对象处于多个标记物构成的区域的中心位置;虚拟对象处于多个标记物中的预设标记物;虚拟对象处于目标标记物。
在本申请实施例中,当虚拟对象相对多个标记物的第二空间位置关系为虚拟对象与多个标记物中的预设标记物重叠时,请参阅图14,第二位置获取模块440可以包括:中心位置获取单元441、预设标记物获取单元442以及位置确定单元443。其中,中心位置获取单元441可以用于基于第一空间位置关系,获取多个标记物构成的区域的中心位置;预设标记物获取单元442可以用于基于中心位置,从多个标记物中获取预设标记物,预设标记物相对中心位置的距离小于其他标记物相对中心位置的距离;位置确定单元443可以用于根据预设标记物相对目标标记物之间的空间位置关系和目标空间位置,确定虚拟对象的显示位置。
在本申请实施例中,请参阅图15,该显示装置400还可以包括位置关系获取模块460。位置关系获取模块用于获取多个标记物之间的第一空间位置关系。
作为一种实施方式,位置关系获取模块460可以具体用于:对分离设置在不同位置的多个标记物进行图像采集,得到包含多个标记物的图像;基于包含多个标记物的图像,获得多个标记物之间的第一空间位置关系。
作为另一种实施方式,位置关系获取模块460可以具体用于:对分离设置在不同位置的多个标记物中的第一部分标记物进行图像采集,得到包含第一部分标记物的标记物图像,第一部分标记物包括至少两个标记物;基于包含第一部分标记物的标记物图像,获取第一部分标记物之间的空间位置关系;对多个标记物中的第二部分标记物进行图像采集,得到包含第二部分标记物的标记物图像,第二部分标记物包括第一部分标记物中的至少一个标记物、以及多个标记物中除第一部分标记物以外的其他标记物;基于包含第二部分标记物的标记物图像,获取第二部分标记物之间的空间位置关系;根据第一部分标记物之间的位置空间关系以及第二部分标记物之间的空间位置关系,得到多个标记物之间的第一空间位置关系。
作为又一种实施方式,位置关系获取模块460可以具体用于:获取对分离设置在不同位置的多个标记物进行多次图像采集而得到的多张图像,其中,每张图像至少包含两个标记物,相邻两次图像采集的图像中包含至少一个相同标记物;基于多次图像采集的多张图像,获得每张图像中的标记物之间的位置关系;基于每张图像中的标记物之间的位置关系,得到多个标记物之间的第一空间位置关系。
在本申请实施例中,请参阅图15,该显示装置还可以包括关系重获取模块470。关系重获取模块可以用于基于位置更新指令,重新获取多个标记物之间的第一空间位置关系,并将重新获取的第一空间位置关系进行存储。
进一步的,关系重获取模块可以具体用于:获取对位置变动的标记物与其他标记物中至少一个标记物进行图像采集而得到的部分标记物图像,其中,其他标记物为多个标记物中除位置变动的标记物以外的标记物;基于部分标记物图像以及此前多个标记物之间的第一空间位置关系,得到当前多个标记物之间的第一空间位置关系,并将第一空间位置关系进行存储。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图16,其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件:处理器110、存储器120、图像采集装置130以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行终端设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。
在本申请实施例中,图像采集装置130用于采集标记物的图像。图像采集装置130可以为红外摄像头,也可以是彩色摄像头,具体的摄像头类型在本申请实施例中并不作为限定。
请参考图17,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种显示方法,其特征在于,应用于终端设备,所述方法包括:
采集包含目标标记物的图像,其中,所述目标标记物为多个标记物中处于所述终端设备视野范围内的至少一个标记物,所述多个标记物分离设置在不同的位置;
根据所述图像获取所述目标标记物相对所述终端设备的目标空间位置;
读取存储的所述多个标记物之间的第一空间位置关系,并获取虚拟对象相对所述多个标记物的第二空间位置关系,所述第二空间位置关系为所述虚拟对象与所述多个标记物中的预设标记物的空间位置关系;
基于所述第一空间位置关系,获取所述多个标记物构成的区域的中心位置;
基于所述中心位置,从所述多个标记物中获取预设标记物,所述预设标记物相对所述中心位置的距离小于其他标记物相对所述中心位置的距离;
根据所述目标空间位置、第二空间位置关系以及所述预设标记物相对所述目标标记物之间的空间位置关系,确定所述虚拟对象的显示位置;
根据所述显示位置对所述虚拟对象进行显示。
2.根据权利要求1所述的方法,其特征在于,在所述采集包含目标标记物的图像之前,所述方法还包括:
对分离设置的多个标记物进行图像采集,得到包含所述多个标记物的图像;
基于所述包含所述多个标记物的图像,获得所述多个标记物之间的第一空间位置关系。
3.根据权利要求1所述的方法,其特征在于,在所述采集包含目标标记物的图像之前,所述方法还包括:
获取对分离设置的多个标记物进行多次图像采集而得到的多张图像,其中,每张图像至少包含两个标记物,相邻两次图像采集的图像中包含至少一个相同标记物;
基于所述多次图像采集的多张图像,获得每张图像中的标记物之间的位置关系;
基于所述每张图像中的标记物之间的位置关系,得到所述多个标记物之间的第一空间位置关系。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
基于位置更新指令,重新获取多个标记物之间的第一空间位置关系,并将重新获取的所述第一空间位置关系进行存储。
5.根据权利要求4所述的方法,其特征在于,所述重新获取所述多个标记物之间的第一空间位置关系,并将重新获取的所述第一空间位置关系进行存储,包括:
获取对位置变动的标记物与其他标记物中至少一个标记物进行图像采集而得到的部分标记物图像,其中,所述其他标记物为所述多个标记物中除所述位置变动的标记物以外的标记物;
基于所述部分标记物图像以及此前所述多个标记物之间的第一空间位置关系,得到当前所述多个标记物之间的第一空间位置关系,并将第一空间位置关系进行存储。
6.一种显示装置,其特征在于,应用于终端设备,所述装置包括:图像获取模块、第一位置获取模块、位置关系读取模块、第二位置获取模块以及显示执行模块,所述第二位置获取模块包括中心位置获取单元、预设标记物获取单元以及位置确定单元,其中,
图像获取模块用于采集包含目标标记物的图像,其中,所述目标标记物为多个标记物中处于所述终端设备视野范围内的至少一个标记物,所述多个标记物分离设置在不同的位置;
所述第一位置获取模块用于根据所述图像获取所述目标标记物相对所述终端设备的目标空间位置;
所述位置关系读取模块用于读取存储的所述多个标记物之间的第一空间位置关系,并获取虚拟对象相对所述多个标记物的第二空间位置关系,所述第二空间位置关系为所述虚拟对象与所述多个标记物中的预设标记物的空间位置关系;
所述中心位置获取单元用于基于所述第一空间位置关系,获取所述多个标记物构成的区域的中心位置;
所述预设标记物获取单元用于基于所述中心位置,从所述多个标记物中获取预设标记物,所述预设标记物相对所述中心位置的距离小于其他标记物相对所述中心位置的距离;;
所述位置确定单元用于根据所述目标空间位置、第二空间位置关系以及所述预设标记物相对所述目标标记物之间的空间位置关系,确定所述虚拟对象的显示位置;
所述显示执行模块用于根据所述显示位置将所述虚拟对象进显示。
7.一种终端设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-5任一项所述的方法。
8.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-5任一项所述的方法。
CN201810910950.6A 2018-07-23 2018-08-10 显示方法、装置、终端设备及存储介质 Active CN110826375B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810910950.6A CN110826375B (zh) 2018-08-10 2018-08-10 显示方法、装置、终端设备及存储介质
PCT/CN2019/097128 WO2020020102A1 (zh) 2018-07-23 2019-07-22 生成虚拟内容的方法、终端设备及存储介质
US16/666,429 US11049324B2 (en) 2018-07-23 2019-10-29 Method of displaying virtual content based on markers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810910950.6A CN110826375B (zh) 2018-08-10 2018-08-10 显示方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN110826375A CN110826375A (zh) 2020-02-21
CN110826375B true CN110826375B (zh) 2022-08-12

Family

ID=69541350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810910950.6A Active CN110826375B (zh) 2018-07-23 2018-08-10 显示方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN110826375B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3238755B2 (ja) * 1992-08-21 2001-12-17 富士通株式会社 ホログラムの作成および立体表示方法並びに立体表示装置
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
JP6459421B2 (ja) * 2014-11-17 2019-01-30 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
CN104571532B (zh) * 2015-02-04 2018-01-30 网易有道信息技术(北京)有限公司 一种实现增强现实或虚拟现实的方法及装置
US20170154468A1 (en) * 2015-12-01 2017-06-01 Le Holdings (Beijing) Co., Ltd. Method and electronic apparatus for constructing virtual reality scene model
CN105608746B (zh) * 2016-03-16 2019-10-11 成都电锯互动科技有限公司 一种将现实进行虚拟实现的方法
CN107390875B (zh) * 2017-07-28 2020-01-31 腾讯科技(上海)有限公司 信息处理方法、装置、终端设备和计算机可读存储介质
CN107977977B (zh) * 2017-10-20 2020-08-11 深圳华侨城卡乐技术有限公司 一种vr游戏的室内定位方法、装置以及存储介质
CN107797665B (zh) * 2017-11-15 2021-02-02 王思颖 一种基于增强现实的三维数字沙盘推演方法及其***

Also Published As

Publication number Publication date
CN110826375A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
US11263469B2 (en) Electronic device for processing image and method for controlling the same
CN110794955B (zh) 定位跟踪方法、装置、终端设备及计算机可读取存储介质
CN103679788B (zh) 一种移动终端中3d图像的生成方法和装置
US11087545B2 (en) Augmented reality method for displaying virtual object and terminal device therefor
US9628706B2 (en) Method for capturing and displaying preview image and electronic device thereof
CN110737414B (zh) 交互显示方法、装置、终端设备及存储介质
US10095940B2 (en) Image processing apparatus, image processing method and non-transitory computer readable medium
EP3039647A1 (en) Expanding a digital representation of a physical plane
CN111813214A (zh) 虚拟内容的处理方法、装置、终端设备及存储介质
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN111913564B (zh) 虚拟内容的操控方法、装置、***、终端设备及存储介质
CN110826375B (zh) 显示方法、装置、终端设备及存储介质
CN111913560B (zh) 虚拟内容的显示方法、装置、***、终端设备及存储介质
CN111913639B (zh) 虚拟内容的交互方法、装置、***、终端设备及存储介质
CN115885314A (zh) 图像的处理方法、装置、设备以及存储介质
CN111399630B (zh) 虚拟内容交互方法、装置、终端设备及存储介质
CN111651031B (zh) 虚拟内容的显示方法、装置、终端设备及存储介质
CN110659587A (zh) 标记物、标记物识别方法、装置、终端设备及存储介质
CN111913565B (zh) 虚拟内容控制方法、装置、***、终端设备及存储介质
CN110598605B (zh) 定位方法、装置、终端设备及存储介质
CN115690363A (zh) 虚拟物体显示方法、装置和头戴式显示装置
CN111258520B (zh) 显示方法、装置、终端设备及存储介质
US10325406B2 (en) Image synthesis method and image synthesis device for virtual object
CN111399631B (zh) 虚拟内容显示方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant