CN111162840B - 用于设置光通信装置周围的虚拟对象的方法和*** - Google Patents

用于设置光通信装置周围的虚拟对象的方法和*** Download PDF

Info

Publication number
CN111162840B
CN111162840B CN202010252657.2A CN202010252657A CN111162840B CN 111162840 B CN111162840 B CN 111162840B CN 202010252657 A CN202010252657 A CN 202010252657A CN 111162840 B CN111162840 B CN 111162840B
Authority
CN
China
Prior art keywords
information
optical communication
communication device
virtual object
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010252657.2A
Other languages
English (en)
Other versions
CN111162840A (zh
Inventor
方俊
李江亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Whyhow Information Technology Co Ltd
Original Assignee
Beijing Whyhow Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Whyhow Information Technology Co Ltd filed Critical Beijing Whyhow Information Technology Co Ltd
Priority to CN202010252657.2A priority Critical patent/CN111162840B/zh
Publication of CN111162840A publication Critical patent/CN111162840A/zh
Application granted granted Critical
Publication of CN111162840B publication Critical patent/CN111162840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于设置光通信装置周围的虚拟对象的方法和***,包括:确定欲设置与其相关的虚拟对象的第一光通信装置;获得与所述第一光通信装置相关的场景信息;确定设备相对于第二光通信装置的位置信息和姿态信息;基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象。

Description

用于设置光通信装置周围的虚拟对象的方法和***
技术领域
本发明涉及增强现实技术领域,尤其涉及一种用于设置光通信装置周围的虚拟对象的方法和***。
背景技术
本部分的陈述仅仅是为了提供与本申请的技术方案有关的背景信息,以帮助理解,其对于本申请的技术方案而言并不一定构成现有技术。
增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术,其可以将计算机生成的虚拟对象放置到通过电子设备(例如,手机、平板电脑、智能眼镜、AR眼镜、智能头盔、智能手表等)观察到的真实世界中,从而使得虚拟对象与真实世界互为补充,实现对真实世界的“增强”。为了实现良好的增强现实效果,在一种方案中,可以通过将光通信装置作为锚点,设置位于光通信装置周围现实场景中的虚拟对象。为了精确地设置虚拟对象在空间中的位置并使得虚拟对象与周围的现实场景更好地融合,通常需要工作人员到该光通信装置现场进行实地操作,其过程繁琐且效率较低。
因此,需要一种能够方便、快捷地设置虚拟对象在空间中的位置的方法。
发明内容
本发明的一个方面涉及一种用于设置光通信装置周围的虚拟对象的方法,包括:确定欲设置与其相关的虚拟对象的第一光通信装置;获得与所述第一光通信装置相关的场景信息;确定设备相对于第二光通信装置的位置信息和姿态信息;基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象。
可选地,其中,所述基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象包括: 将所述设备相对于所述第二光通信装置的位置信息和姿态信息作为所述设备相对于所述第一光通信装置的位置信息和姿态信息;基于所述设备相对于所述第一光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象。
可选地,其中,所述基于所述设备相对于所述第一光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象包括:根据所述设备相对于所述第一光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,确定当所述设备处于相对于所述第一光通信装置的相应位置和姿态时能够观察到的场景;将所述设备能够观察到的场景呈现在所述设备的显示媒介上;以及基于呈现在所述设备的显示媒介上的场景设置与所述第一光通信装置相关的虚拟对象。
可选地,其中,所述确定设备相对于第二光通信装置的位置信息和姿态信息包括:通过所述设备的图像采集器件采集包含所述第二光通信装置的图像;以及通过分析所述图像来确定所述设备相对于所述第二光通信装置的位置信息和姿态信息。
可选地,其中,所述设置与所述第一光通信装置相关的虚拟对象包括设置下列项中至少之一:所述虚拟对象在与所述第一光通信装置相关的场景中的位置信息、所述虚拟对象在与所述第一光通信装置相关的场景中的姿态信息、所述虚拟对象的描述信息、所述虚拟对象的呈现时间信息。
可选地,其中,所述虚拟对象的位置信息和/或姿态信息包括:所述虚拟对象相对于所述第一光通信装置的位置信息和/或姿态信息;或者所述虚拟对象在空间坐标系中的位置信息和/或姿态信息。
可选地,所述方法还包括:确定所述设备相对于所述第二光通信装置的新的位置信息和姿态信息。
可选地,其中,通过如下方式确定所述设备相对于所述第二光通信装置的新的位置信息和姿态信息:通过所述设备的图像采集器件采集包含所述第二光通信装置的新的图像并分析该图像来确定所述设备相对于所述第二光通信装置的新的位置信息和姿态信息;或者根据所述设备相对于所述第二光通信装置的初始的位置信息和姿态信息并通过跟踪所述设备的位置和姿态变化,来确定所述设备相对于所述第二光通信装置的新的位置信息和姿态信息
可选地,所述方法还包括:获得与所述第一光通信装置相关的已有的虚拟对象的相关信息,以及其中,所述基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象包括:基于所述设备相对于所述第二光通信装置的位置信息和姿态信息、与所述第一光通信装置相关的场景信息、以及与所述第一光通信装置相关的已有的虚拟对象的相关信息,设置与所述第一光通信装置相关的新的虚拟对象。
可选地,其中,与所述第一光通信装置相关的场景信息包括场景的图片或者三维模型。
可选地,其中,与所述第一光通信装置相关的场景信息包括与不同时间相关联的不同的场景信息。
可选地,其中,所述基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象包括:基于所述设备相对于所述第二光通信装置的位置信息和姿态信息、与所述第一光通信装置相关的场景信息、以及时间信息,设置与所述第一光通信装置相关的虚拟对象。
本发明的另一个方面涉及一种用于设置光通信装置周围的虚拟对象的***,包括:安装于第一位置的第一光通信装置,以及安装于第二位置的第二光通信装置;设备,其上安装有显示媒介以及图像采集器件,所述图像采集器件能够采集包含所述光通信装置的图像,其中,所述设备被配置用于实现上述的方法。
本发明的另一个方面涉及一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现上述的方法。
本发明的再一个方面涉及一种电子设备,其包括处理器和存储器,所述存储器中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现上述的方法。
通过采用本发明的方案,用户可以通过电子设备方便、快捷地远程设置特定场景中的虚拟对象,而无需到该场景的现场设置与其相关的虚拟对象;另外,用户可以根据现实场景的不同情形,灵活设置虚拟对象。
附图说明
以下参照附图对本发明的实施例作进一步说明,其中:
图1A示出了一种示例性的光标签;
图1B示出了一种示例性的光标签网络;
图2示出了根据一个实施例的设置光标签周围的虚拟对象的***;
图3示出了根据一个实施例的用于设置标签周围的虚拟对象的方法;
图4A示出了根据一个实施例的第一坐标系和第二坐标系的示意图;
图4B示出了根据一个实施例的将设备相对于第二光标签的位姿信息作为设备相对于第一光标签的位姿信息的示意图;
图4C示出了根据一个实施例的设备能够观察到的场景信息的示意图;
图4D示出了根据一个实施例的通过手机远程设置光标签周围虚拟对象的位置信息的示意图;
图4E示出了根据一个实施例的根据场景信息设置光标签周围虚拟对象的描述信息的示意图;
图5示出了根据一个实施例的设置光标签周围虚拟对象的方法;以及
图6示出了根据一个实施例的设置光标签周围虚拟对象的方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限制本发明。
光通信装置也称为光标签,这两个术语在本文中可以互换使用。光标签能够通过发出不同的光来传递信息,其具有识别距离远、可见光条件要求宽松、指向性强的优势,并且光标签所传递的信息可以随时间变化,从而可以提供大的信息容量和灵活的配置能力。
光标签中通常可以包括控制器和至少一个光源,该控制器可以通过不同的驱动模式来驱动光源,以向外传递不同的信息。图1A示出了一种示例性的光标签100,其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图1A中未示出),其用于根据要传递的信息为每个光源选择相应的驱动模式。例如,在不同的驱动模式下,控制器可以使用不同的驱动信号来控制光源的发光方式,从而使得当使用具有图像采集器件的设备拍摄光标签100时,其中的光源的图像可以呈现出不同的外观(例如,不同的颜色、图案、亮度、等等)。通过分析光标签100中的光源的成像,可以解析出各个光源此刻的驱动模式,从而解析出光标签100此刻传递的信息。图1A仅仅用作示例,光标签可以具有与图1A所示的示例不同的形状,并且可以具有与图1A所示的示例不同数量和/或不同形状的光源。
为了基于光标签向用户提供相应的服务,每个光标签可以被分配一个标识信息(ID)。通常,可由光标签中的控制器驱动光源以向外传递该标识信息,图像采集器件可以对光标签进行图像采集来获得包含光标签的一幅或多幅图像,并通过分析图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的标识信息,之后,可以获取与标识信息相关联的其他信息,例如,与该标识信息对应的光标签的位置信息。
可以将与每个光标签相关的信息存储于服务器中。在现实中,还可以将大量的光标签构建成一个光标签网络。图1B示出了一种示例性的光标签网络,该光标签网络包括多个光标签和至少一个服务器。可以在服务器上保存每个光标签的标识信息(ID)或其他信息,例如与该光标签相关的服务信息、与该光标签相关的描述信息或属性信息,如光标签的位置信息、型号信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。光标签也可以具有统一的或默认的物理尺寸信息和物理形状信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。光标签的位置信息可以是指该光标签在物理世界中的实际位置,其可以通过地理坐标信息来指示。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。
可以将光标签作为现实空间中的一个锚点,并基于该光标签在其周围场景中布置一些虚拟对象,这些虚拟对象可以具有相对于光标签的特定的位置和/或姿态信息。用户可以通过设备(例如手机)扫描光标签,来确定设备相对于光标签的位置和姿态信息,从而可以在设备的显示媒介上的合适位置处显示位于光标签周围场景中的虚拟对象。虚拟对象例如可以是图标、图片、文字、表情符号、虚拟的三维物体、三维场景模型、一段动画、一段视频、一个可跳转的网页链接、等等。在本发明中,在设置某个光标签所处的现实场景中的虚拟对象时,用户可以不在该现实场景中,而是可以通过该现实场景之外的另一光标签来远程设置该现实场景中的虚拟对象。本申请中提到的设备例如可以包括手机、平板电脑、智能眼镜、AR/VR眼镜、AR/VR头盔、智能手表,等等。设备可以包括图像采集器件(例如摄像头)、显示媒介(例如电子屏幕)、以及用于数据的存储、计算、输出或显示等的数据处理***,例如包括易失性或者非易失性存储器、一个或者多个处理器。设备还可以包括用于与外部***或者其他装置(例如服务器)进行有线或者无线通信的通信器件,以进行数据的发送和接收。
下文以手机作为示例设备、以博物馆的展区作为要设置虚拟对象的示例现实场景、以办公区域作为示例远程设置地点,来介绍本发明的一个实施例,但可以理解,本发明的方案同样适用于其他任何设备以及其他任何场景。
图2示出了根据一个实施例的设置光标签周围的虚拟对象的***,其中包括第一光标签101、第二光标签201、服务器202以及设备203。第一光标签101位于博物馆的展区100内,该展区内具有物体A、B和C,第二光标签201位于博物馆展区之外的办公区域200内,用户204在办公区域200内通过使用设备203扫描第二光标签201来设置第一光标签101周围的现实场景(即展区100)中的虚拟对象,设备203可以与服务器202进行通信。在另一个实施例中,可以将服务器202的全部或部分功能集成到设备203中,从而使得***中可以不包括服务器202。
图3示出了根据一个实施例的用于设置光标签周围的虚拟对象的方法,该方法包括如下步骤:
S310,确定欲设置与其相关的虚拟对象的第一光标签。
可以通过多种方式来确定欲设置与其相关的虚拟对象的第一光标签。
在一个实施例中,设备可以通过第一光标签的标识信息(ID)来确定欲设置与其相关的虚拟对象的第一光标签。服务器上可以保存有每个光标签的标识信息、位置信息或者任何其他信息。每个光标签可以与其标识信息唯一对应。设备可以使用第一光标签的标识信息从服务器上查询获得第一光标签的位置信息(例如在场景坐标系中的位置信息或者在世界坐标系中的位置信息),并可以通过第一光标签的位置信息进而确定与第一光标签相关的场景信息。在一个实施例中,服务器中也可以存储有与光标签的相关的场景信息,并且设备可以使用第一光标签的标识信息直接从服务器上查询并获得与第一光标签相关的场景信息。与光标签相关的场景信息例如可以包括一个或多个场景图片(例如,在不同位置和/或视角拍摄的场景图片)、三维场景模型、或者地图等等。以博物馆展区为例,与第一光标签相关的场景信息例如可以包括该展区内的全部或部分展品(例如图2中所示的物体A、B、C)的图片、该展区的三维场景模型或地图、邻近展区和周边设施的信息,等等。在一个实施例中,与第一光标签相关的场景信息还可以包括场景中具体物体与第一光标签的相对位置关系。
在一个实施例中,设备也可以通过第一光标签的位置信息来确定欲设置与其相关的虚拟对象的第一光标签,其中,第一光标签的位置信息可以是第一光标签的具体的位置信息,例如可以是在特定场景坐标系中或者是在世界坐标系中的坐标信息;也可以一个大概的位置信息,例如某个指定的博物馆的某个/些展区内。在一个实施例中,设备可以使用第一光标签的位置信息从服务器上查询并获得该第一光标签的标识信息,进而确定该第一光标签的具体的位置信息和/或与其相关的场景信息。在另一个实施例中,设备可以直接根据第一光标签的位置信息确定与其相关的场景信息。
在一个实施例中,设备也可以通过第一光标签周围的现实场景来确定欲设置与其相关的虚拟对象的第一光标签。设备可以通过比较第一光标签周围的现实场景信息(例如场景的图片)与存储在服务器中的与各个光标签相关的场景信息(例如场景的照片、三维模型、地图等),来确定第一光标签的标识信息或位置信息。
在一个实施例中,也可以由服务器来确定欲设置与其相关的虚拟对象的第一光标签。
在第一光标签所在的博物馆展区100,可以建立以第一光标签为原点的三维空间坐标系(以下简称第一坐标系),其中,第一光标签的坐标位置可以为原点O(0,0,0),位于第一光标签的周围场景中的物体与第一光标签的相对位置关系可以表示为该物体在第一坐标系中的坐标位置。图4A示出了根据一个实施例的第一坐标系和第二坐标系的示意图。如图4A所示,物体A、B、C与第一光标签101的相对位置关系可以表示为物体A、B、C在第一坐标系中的坐标位置,即为A(0,10,10)、B(10,0,10)、C(0,0,10)。
S320,获得与第一光标签相关的场景信息。
如上文所描述的,设备可以通过第一光标签的标识信息和/或位置信息来获得与第一光标签相关的场景信息。
S330,确定设备相对于第二光标签的位置信息和姿态信息。
设备可以采用各种方式来确定其相对于光标签的位置信息,该相对位置信息可以包括设备相对于光标签的距离信息和方向信息。通常情况下,设备相对于光标签的位置信息实际上是设备的图像采集器件相对于光标签的位置信息。在一个实施例中,设备可以通过采集包括光标签的图像并分析该图像来确定其相对于光标签的位置信息。例如,设备可以通过图像中的光标签成像大小以及可选的其他信息(例如,光标签的实际物理尺寸信息、设备的摄像头的焦距)来确定光标签与识别设备的相对距离(成像越大,距离越近;成像越小,距离越远)。设备可以使用光标签的标识信息从服务器获得光标签的实际物理尺寸信息,或者光标签可以具有统一的物理尺寸并在设备上存储该物理尺寸。在一个实施例中,设备也可以通过其上安装的深度摄像头或双目摄像头等来直接获得光标签与识别设备的相对距离。设备可以通过包括光标签的图像中的光标签成像的透视畸变以及可选的其他信息(例如,光标签的成像位置),来确定设备相对于光标签的方向信息。设备可以使用光标签的标识信息从服务器获得光标签的物理形状信息,或者光标签可以具有统一的物理形状并在设备上存储该物理形状。设备也可以采用现有的任何其他定位方法来确定其相对于光标签的位置信息。
可以创建以第二光标签为原点的三维空间坐标系(以下简称第二坐标系),其中,第二光标签的坐标位置可以为原点O′(0,0,0),设备相对于第二光标签的位置信息可以表示为该设备在第二坐标系中的坐标位置。如图4A所示,设备203相对于第二光标签201的位置信息可以表示为设备在第二坐标系中的坐标D′(10,10,0)。
设备还可以确定其姿态信息,该姿态信息可以用于确定设备拍摄的现实场景的范围或边界。通常情况下,设备的姿态信息实际上是设备的图像采集器件的姿态信息。在一个实施例中,设备可以确定其相对于光标签的姿态信息,例如,设备可以根据光标签的成像来确定其相对于光标签的姿态信息,当光标签的成像位置或成像区域位于设备成像视野的中心时,可以认为设备当前正对着光标签。在确定设备的姿态时可以进一步考虑光标签的成像的方向。随着设备的姿态发生改变,光标签在设备上的成像位置和/或成像方向会发生相应的改变,因此,可以根据光标签在设备上的成像来获得设备相对于光标签的姿态信息。
在一个实施例中,设备也可以将采集到的包括光标签的图像发送给服务器,由服务器分析该图像来确定设备相对于光标签的位置信息和/或姿态信息。
S340,基于设备相对于第二光标签的位姿信息以及与第一光标签相关的场景信息,设置与第一光标签相关的虚拟对象。
在一个实施例中,可以将设备相对于第二光标签的位姿信息作为设备相对于第一光标签的位姿信息,并基于设备相对于第一光标签的位姿信息以及与第一光标签相关的场景信息设置与第一光标签相关的虚拟对象,具体步骤如下:
S341,将设备相对于第二光标签的位姿信息作为设备相对于第一光标签的位姿信息。
将设备相对于第二光标签的位置信息作为设备相对于第一光标签的位置信息实际上可以看作是将设备在第二坐标系中的坐标位置作为该设备在第一坐标系中的坐标位置。
图4B示出了根据一个实施例的将设备相对于第二光标签的位姿信息作为设备相对于第一光标签的位姿信息的示意图。如图4B所示,可以将第二坐标系平移至第一坐标系中,其中,第二光标签201的坐标位置O′点与第一光标签101的坐标位置O点重合,如此,设备203在第二坐标系中的坐标位置D′(10,10,0)也平移到第一坐标系中,其在第一坐标系中坐标位置为D(10,10,0),该坐标位置即为设备203相对于第一光标签101的位置信息。
在一个实施例中,也可以将设备相对于第二光标签的姿态信息作为该设备相对于第一光标签的姿态信息。如图4B所示,若设备203相对第二光标签201的姿态为正面仰角45°,则该设备203相对于第一光标签101的姿态也是正面仰角45°。
S342,根据设备相对于第一光标签的位姿信息以及与第一光标签相关的场景信息,确定设备处于该位姿时能够观察到的场景并呈现在设备的显示媒介上。
根据设备相对于第一光标签的位姿信息可以确定设备的图像采集器件(例如摄像头)的视野范围。若与第一光标签相关的场景位于该设备的视野范围内,则设备能够观察到该场景;若与第一光标签相关的场景位于该设备的视野范围之外,则设备无法观察到该场景。设备可以将能够观察到的场景呈现在其显示媒介上。
图4C示出了根据一个实施例的设备能够观察到的场景的示意图。如图4C所示,根据设备203相对于第一光标签101的位置,即设备在第一坐标系中的坐标位置D(10,10,0),以及设备203相对第一光标签101的姿态,例如正面仰角45°,可以确定场景中的物体C位于设备203的视野范围之内,而物体A、B均位于设备203的视野范围之外,因此设备203可以在其显示媒介仅呈现物体C。
S343,基于呈现在设备的显示媒介上的场景设置与第一光标签相关的虚拟对象。
用户可以通过呈现在设备的显示媒介上的场景设置与虚拟对象有关的信息。在一个实施例中,与虚拟对象有关的信息可以包括虚拟对象在与第一光标签相关的场景中的位置信息。虚拟对象的位置可以是虚拟对象相对于光标签的位置(例如,虚拟对象相对于光标签的距离信息和方向信息),也可以是虚拟对象在现实场景的空间坐标系中的位置。在一个实施例中,可以基于呈现在设备的显示媒介上的物体的位置来确定虚拟对象的位置,例如,可以将场景中某个物体的位置(即该物体在第一坐标系中的坐标位置)设置为虚拟对象的位置,此时,呈现在设备的显示媒介上的虚拟对象可以覆盖现实场景中对应的物体。在一个实施例中,也可以将虚拟对象的位置设置为位于某个物体的位置附近,此时,呈现在设备的显示媒介上的虚拟对象位于对应的物体周围或附近,从而实现精确的增强现实效果。
在一个实施例中,与虚拟对象有关的信息还可以包括虚拟对象在与第一光标签相关的场景中的姿态信息,该姿态可以是虚拟对象相对于光标签的姿态,也可以是虚拟对象相对于设备的姿态,或者是虚拟对象在现实世界的空间坐标系中的姿态。
在一个实施例中,用户可以通过在显示媒介上进行操作(例如,单击、双击、滑动、旋转等)来设置虚拟对象的位置或姿态。图4D示出了根据一个实施例的通过手机远程设置光标签周围虚拟对象的位置信息的示意图。如图4D所示,用户204通过在设备203的屏幕的上部单击选择物体C的位置作为虚拟对象的位置(在图4C中用十字星标识)。在另一个实施例中,用户也可以通过手势或声音等方式选择的虚拟对象的位置或姿态,以适用于智能眼镜等不方便在显示媒介上进行操作的设备。
在一个实施例中,与虚拟对象有关的信息还可以包括虚拟对象的描述信息,例如虚拟对象中包含的图片、文字、图标、虚拟对象的标识信息、形状信息、颜色信息、尺寸信息、等等。基于该描述信息,设备能够呈现出相应的虚拟对象。用户可以根据与第一光标签相关的场景信息设置该场景中虚拟对象的描述信息。图4E示出了根据一个实施例的根据场景信息设置光标签周围虚拟对象的描述信息的示意图。如图4E中,用户204可以根据物体C的属性设置与C对应的虚拟对象的描述信息为“青花瓷”。
在一个实施例中,与虚拟对象有关的信息也可以包括虚拟对象的呈现时间信息,以根据不同的时间呈现不同的虚拟对象。虚拟对象的呈现时间例如可以是一个时间段,其可以用呈现开始时间和呈现结束时间表示,用于指示该虚拟对象在现实场景中的生存期。随着时间的过去,根据每个虚拟对象的呈现时间信息在现实场景中呈现虚拟对象或删除虚拟对象。例如,当某一个虚拟对象的生存期开始时,可以在现实场景中呈现该虚拟对象,当其生存期结束时,可以从现实场景中删除该虚拟对象。如此,可以极大地提高了虚拟对象的灵活性和可定制性。
可以将与虚拟对象有关的信息与第一光标签相关联。在一个实施例中,设备可以将设置好的与第一光标签相关的虚拟对象的有关信息发送至服务器,服务器可以将此类信息与第一光标签有关的其他信息(例如第一光标签的标识信息、位置信息等)关联地存储。这样,其他用户可以通过使用其设备对第一光标签进行图像采集来获得该光标签传递的标识信息,并基于该标识信息来访问服务器以获得与第一光标签相关的信息,包括与该光标签相关联的一个或多个虚拟对象的位置信息、姿态信息、描述信息、呈现时间信息,等等。设备可以根据上述与第一光标签相关的信息,在其显示媒介上呈现出对应的虚拟对象。
在设置虚拟对象时,可以通过平移和/或旋转设备来改变设备相对于第二光标签的位姿信息,进而改变设备的视野范围或视角,以更好地设置虚拟对象或者设置新的虚拟对象。
图5示出了根据一个实施例的设置光标签周围虚拟对象的方法,其步骤510与540与图3的步骤310-340相似,在此不再详述。具体包括如下步骤:
S510,确定欲设置与其相关的虚拟对象的第一光标签。
S520,获得与第一光标签相关的场景信息。
S530,确定设备相对于第二光标签的位姿信息。
S540,基于设备相对于第二光标签的位姿信息以及与第一光标签相关的场景信息,设置与第一光标签相关的虚拟对象。
S550,获取设备相对于第二光标签的新的位姿信息。
在一个实施例中,可以通过设备的图像采集器件采集包含第二光标签的新的图像并分析该图像来确定设备相对于第二光标签的新的位置信息和姿态信息。在另一个实施例中,可以根据设备相对于第二光标签的初始的位置信息和姿态信息并通过跟踪设备的位置和姿态变化,来确定设备相对于第二光标签的新的位置信息和姿态信息。设备可以使用其内置的加速度传感器、陀螺仪、视觉里程计等来跟踪其位置变化以及姿态变化。
S560,基于设备相对于第二光标签的新的位姿信息以及与第一光标签相关的场景信息,调整与第一光标签相关的虚拟对象或者设置新的虚拟对象。
随着设备的位姿变化,设备的视野角度或范围也发生相应地改变。在一个实施例中,可以基于设备的不同视角调整已经设置好的虚拟对象的有关信息,例如虚拟对象在现实场景中的位置或姿态信息。在一个实施例中,可以基于设备的视野范围的变化,设置新的虚拟对象。由于设备的视野范围的改变,某些与第一光标签相关的场景信息可能会移出设备的图像采集器件(例如摄像头)的视野范围,而另外一些场景信息会移入设备的图像采集器件的视野范围并呈现在设备的显示媒介上。用户可以通过呈现在设备的显示媒介上的新的场景信息设置相应的新的虚拟对象,包括虚拟对象的位置信息、姿态信息、描述信息以及呈现时间信息,等等。
可以将设置好的与第一光标签相关的新的虚拟对象的有关信息与第一光标签相关联并存储在服务器中。其他用户可以通过使用设备对第一光标签进行图像采集来获得该光标签传递的标识信息,进而获得与第一光标签相关的新的虚拟对象。
在一个实施例中,当通过第二光标签设置与第一光标签相关的虚拟对象时,与第一光标签相关的场景中已设置有虚拟对象,此时,可以基于设备相对于第二光标签的位姿信息、与第一光标签相关的场景信息以及所述场景中已有的虚拟对象的有关信息(例如虚拟对象的位置信息、姿态信息、描述信息、呈现时间信息等等),设置与第一光标签相关的场景的新的虚拟对象。图6示出了本发明一个实施例的设置光标签周围虚拟对象的方法,具体步骤如下:
S610,确定欲设置与其相关的虚拟对象的第一光标签。
S620,获取与第一光标签相关的场景信息以及与第一光标签相关的已有的虚拟对象的相关信息。
S630,确定设备相对于第二光标签的位姿信息。
S640,基于与第一光标签相关的场景信息、与第一光标签相关的已有的虚拟对象的相关信息、以及设备相对于第二光标签的位姿信息,设置与第一光标签相关的新的虚拟对象。
在一些情况下,由于在不同的时间(例如,白天和夜晚),同一光标签周围的场景会发生明显的变化。考虑到这种情况,在一个实施例中,与第一光标签相关的场景信息(例如场景图片和三维场景模型)可以包括与不同时间相关联的不同的场景信息(例如,白天的场景信息和夜晚的场景信息)。如此,在设置第一光标签周围的虚拟对象时,可以进一步考虑时间信息,以便选择与该时间信息对应的场景信息。该时间信息可以是当前时间信息,也可以时由用户选择的时间信息。例如,用户可以根据白天时第一光标签周围的场景信息来设置要在白天呈现的虚拟对象,并根据夜晚时第一光标签周围的场景信息来设置要在夜晚呈现的虚拟对象。如此,在一个实施例中,图3所示的步骤S340可以包括:基于设备相对于第二光标签的位置信息和姿态信息、与第一光标签相关的场景信息、以及时间信息,设置与第一光标签相关的虚拟对象。
在本发明的一个实施例中,可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如,硬盘、光盘、闪存等)中,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
在本发明的另一个实施例中,可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器,在存储器中存储有计算机程序,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此,短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外,特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此,结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合,只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的,也即,“根据A”可以涵盖“仅仅根据A”,也可以涵盖“根据A和B”,除非特别声明其含义为“仅仅根据A”。在本申请中为了清楚说明,以一定的顺序描述了一些示意性的操作步骤,但本领域技术人员可以理解,这些操作步骤中的每一个并非是必不可少的,其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行,相反,这些操作步骤中的一些可以根据实际需要以不同的顺序执行,或者并行执行,只要新的执行方式不是不符合逻辑的或不能工作。例如,在一些实施例中,可以先设置虚拟对象相对于电子设备的距离或深度,再确定虚拟对象相对于电子设备的方向。
由此描述了本发明的至少一个实施例的几个方面,可以理解,对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述,然而本发明并非局限于这里所描述的实施例,在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (15)

1.一种用于设置光通信装置周围的虚拟对象的方法,包括:
确定欲设置与其相关的虚拟对象的第一光通信装置;
获得与所述第一光通信装置相关的场景信息;
确定设备相对于第二光通信装置的位置信息和姿态信息;
基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象。
2.根据权利要求1所述的方法,其中,所述基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象包括:
将所述设备相对于所述第二光通信装置的位置信息和姿态信息作为所述设备相对于所述第一光通信装置的位置信息和姿态信息;
基于所述设备相对于所述第一光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象。
3.根据权利要求2所述的方法,其中,所述基于所述设备相对于所述第一光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象包括:
根据所述设备相对于所述第一光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,确定当所述设备处于相对于所述第一光通信装置的相应位置和姿态时能够观察到的场景;
将所述设备能够观察到的场景呈现在所述设备的显示媒介上;以及
基于呈现在所述设备的显示媒介上的场景设置与所述第一光通信装置相关的虚拟对象。
4. 根据权利要求1所述的方法,其中,所述确定设备相对于第二光通信装置的位置信息和姿态信息包括:
通过所述设备的图像采集器件采集包含所述第二光通信装置的图像;以及
通过分析所述图像来确定所述设备相对于所述第二光通信装置的位置信息和姿态信息。
5.根据权利要求1所述的方法,其中,所述设置与所述第一光通信装置相关的虚拟对象包括设置下列项中至少之一:
所述虚拟对象在与所述第一光通信装置相关的场景中的位置信息、所述虚拟对象在与所述第一光通信装置相关的场景中的姿态信息、所述虚拟对象的描述信息、所述虚拟对象的呈现时间信息。
6. 根据权利要求5所述的方法,其中,所述虚拟对象的位置信息和/或姿态信息包括:
所述虚拟对象相对于所述第一光通信装置的位置信息和/或姿态信息;或者
所述虚拟对象在空间坐标系中的位置信息和/或姿态信息。
7.根据权利要求1所述的方法,还包括:
确定所述设备相对于所述第二光通信装置的新的位置信息和姿态信息。
8. 根据权利要求7所述的方法,其中,通过如下方式确定所述设备相对于所述第二光通信装置的新的位置信息和姿态信息:
通过所述设备的图像采集器件采集包含所述第二光通信装置的新的图像并分析该图像来确定所述设备相对于所述第二光通信装置的新的位置信息和姿态信息;或者
根据所述设备相对于所述第二光通信装置的初始的位置信息和姿态信息并通过跟踪所述设备的位置和姿态变化,来确定所述设备相对于所述第二光通信装置的新的位置信息和姿态信息。
9.根据权利要求1所述的方法,还包括:
获得与所述第一光通信装置相关的已有的虚拟对象的相关信息,
以及其中,所述基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象包括:
基于所述设备相对于所述第二光通信装置的位置信息和姿态信息、与所述第一光通信装置相关的场景信息、以及与所述第一光通信装置相关的已有的虚拟对象的相关信息,设置与所述第一光通信装置相关的新的虚拟对象。
10.根据权利要求1所述的方法,其中,与所述第一光通信装置相关的场景信息包括场景的图片或者三维模型。
11.根据权利要求1所述的方法,其中,与所述第一光通信装置相关的场景信息包括与不同时间相关联的不同的场景信息。
12.根据权利要求11所述的方法,其中,所述基于所述设备相对于所述第二光通信装置的位置信息和姿态信息以及与所述第一光通信装置相关的场景信息,设置与所述第一光通信装置相关的虚拟对象包括:
基于所述设备相对于所述第二光通信装置的位置信息和姿态信息、与所述第一光通信装置相关的场景信息、以及时间信息,设置与所述第一光通信装置相关的虚拟对象。
13.一种用于设置光通信装置周围的虚拟对象的***,包括:
安装于第一位置的第一光通信装置;
安装于第二位置的第二光通信装置;
设备,其上安装有显示媒介以及图像采集器件,所述图像采集器件能够采集包含所述光通信装置的图像,其中,所述设备被配置用于实现权利要求1-12中任一所述的方法。
14.一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-12中任一项所述的方法。
15.一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-12中任一项所述的方法。
CN202010252657.2A 2020-04-02 2020-04-02 用于设置光通信装置周围的虚拟对象的方法和*** Active CN111162840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010252657.2A CN111162840B (zh) 2020-04-02 2020-04-02 用于设置光通信装置周围的虚拟对象的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010252657.2A CN111162840B (zh) 2020-04-02 2020-04-02 用于设置光通信装置周围的虚拟对象的方法和***

Publications (2)

Publication Number Publication Date
CN111162840A CN111162840A (zh) 2020-05-15
CN111162840B true CN111162840B (zh) 2020-09-29

Family

ID=70567758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010252657.2A Active CN111162840B (zh) 2020-04-02 2020-04-02 用于设置光通信装置周围的虚拟对象的方法和***

Country Status (1)

Country Link
CN (1) CN111162840B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及***
CN108958471A (zh) * 2018-05-17 2018-12-07 中国航天员科研训练中心 虚拟空间中虚拟手操作物体的仿真方法及***
CN109358427A (zh) * 2018-11-28 2019-02-19 宫春洁 一种日出山趣味增强现实与虚拟现实装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102678B (zh) * 2013-04-15 2018-06-05 腾讯科技(深圳)有限公司 增强现实的实现方法以及实现装置
CN105844714A (zh) * 2016-04-12 2016-08-10 广州凡拓数字创意科技股份有限公司 基于增强现实的场景显示方法及***
CN106127858B (zh) * 2016-06-24 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN107765894A (zh) * 2016-08-17 2018-03-06 杨博 一种实时标定现实世界中的虚拟物体的方法及装置
CN106710002A (zh) * 2016-12-29 2017-05-24 深圳迪乐普数码科技有限公司 基于观察者视角定位的ar实现方法及其***
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN109840949A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 基于光学定位的增强现实图像处理方法和装置
CN110471580B (zh) * 2018-05-09 2021-06-15 北京外号信息技术有限公司 基于光标签的信息设备交互方法及***
CN110737326A (zh) * 2018-07-20 2020-01-31 广东虚拟现实科技有限公司 虚拟对象的显示方法、装置、终端设备及存储介质
CN109700550B (zh) * 2019-01-22 2020-06-26 雅客智慧(北京)科技有限公司 一种用于牙科手术的增强现实方法及装置
CN110914873B (zh) * 2019-10-17 2023-02-14 深圳盈天下视觉科技有限公司 增强现实方法、装置、混合现实眼镜及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及***
CN108958471A (zh) * 2018-05-17 2018-12-07 中国航天员科研训练中心 虚拟空间中虚拟手操作物体的仿真方法及***
CN109358427A (zh) * 2018-11-28 2019-02-19 宫春洁 一种日出山趣味增强现实与虚拟现实装置

Also Published As

Publication number Publication date
CN111162840A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
US20180286098A1 (en) Annotation Transfer for Panoramic Image
RU2670784C9 (ru) Ориентация и визуализация виртуального объекта
KR101260576B1 (ko) Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US10403044B2 (en) Telelocation: location sharing for users in augmented and virtual reality environments
EP2207113B1 (en) Automated annotation of a view
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示***
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US9939263B2 (en) Geodetic surveying system
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP6110780B2 (ja) 付加情報表示システム
CN112714266A (zh) 标注信息展示方法、装置、电子设备及存储介质
KR20110070210A (ko) 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법
CN105917329B (zh) 信息显示装置和信息显示程序
TWI764366B (zh) 基於光通信裝置的互動方法和系統
KR101762349B1 (ko) 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체
CN111162840B (zh) 用于设置光通信装置周围的虚拟对象的方法和***
CN111242107B (zh) 用于设置空间中的虚拟对象的方法和电子设备
CN106055108B (zh) 一种虚拟触摸屏的操控方法和***
CN112055034B (zh) 基于光通信装置的交互方法和***
CN112055033B (zh) 基于光通信装置的交互方法和***
CN112051919B (zh) 一种基于位置的交互方法和交互***
JP2017041881A (ja) 保安器具、画像通信システム、照射方法及びプログラム
KR20110119179A (ko) 파노라마 이미지의 갱신 방법 및 이를 이용한 지역 검색 서비스 방법
CN112053451B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
CN112053444B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200515

Assignee: Shanghai Guangshi fusion Intelligent Technology Co.,Ltd.

Assignor: BEIJING WHYHOW INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2022110000047

Denomination of invention: Method and system for setting virtual objects around optical communication devices

Granted publication date: 20200929

License type: Common License

Record date: 20221012

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200515

Assignee: Beijing Intellectual Property Management Co.,Ltd.

Assignor: BEIJING WHYHOW INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2023110000069

Denomination of invention: Method and system for setting up virtual objects around optical communication devices

Granted publication date: 20200929

License type: Common License

Record date: 20230531