CN111127661B - 一种数据处理方法、装置及电子设备 - Google Patents

一种数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN111127661B
CN111127661B CN201911301161.3A CN201911301161A CN111127661B CN 111127661 B CN111127661 B CN 111127661B CN 201911301161 A CN201911301161 A CN 201911301161A CN 111127661 B CN111127661 B CN 111127661B
Authority
CN
China
Prior art keywords
target
projected
equipment
coordinate system
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911301161.3A
Other languages
English (en)
Other versions
CN111127661A (zh
Inventor
钟耳顺
黄科佳
颜鹏鹏
陈国雄
王晨亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Supermap Software Co ltd
Original Assignee
Supermap Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Supermap Software Co ltd filed Critical Supermap Software Co ltd
Priority to CN201911301161.3A priority Critical patent/CN111127661B/zh
Publication of CN111127661A publication Critical patent/CN111127661A/zh
Application granted granted Critical
Publication of CN111127661B publication Critical patent/CN111127661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种数据处理方法、装置及电子设备,在进行待投射目标的目标内容投射时,会构建包括所述设备的当前位置和所述待投射目标的目标位置的场景坐标系,即将设备的当前位置和待投射目标的目标位置放置在同一坐标系下进行比较,进而设备的当前位置和待投射目标的目标位置的相对位置关系会更加准确,进而在投射时可以将目标内容准确的投射到目标显示位置,进而保证投射的准确度。

Description

一种数据处理方法、装置及电子设备
技术领域
本发明涉及增强现实AR领域,更具体的说,涉及一种数据处理方法、装置及电子设备。
背景技术
增强现实(AR)是物理的,真实世界环境的直接或间接实时视图,其元素由计算机生成的感知信息“增强”,理想地跨多种感觉模式,包括视觉,听觉,触觉,体感和嗅觉。增强现实只不过是现实世界对象和计算机生成对象的混合体。它为用户提供身临其境的沉浸式体验。AR融合并与现实世界结合,在现实世界中投射虚拟物体。
AR产品虽然可以为用户提供沉浸式体验,但是AR产品中,投射虚拟物体的位置与投射区域的相对位置不准确,进而不能够将虚拟物体投射到其期望的位置上。
发明内容
有鉴于此,本发明提供一种数据处理方法、装置及电子设备,以解决投射虚拟物体的位置与投射区域的相对位置不准确,进而不能够将虚拟物体投射到其期望的位置上的问题。
为解决上述技术问题,本发明采用了如下技术方案:
一种数据处理方法,包括:
获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置;
以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到;
依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容。
可选地,所述待投射目标的目标位置是位于地理坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标,包括:
依据所述设备的当前位置和所述待投射目标的目标位置,确定所述待投射目标的目标位置相对于所述设备的当前位置的相对距离;
基于所述设备的姿态信息和所述相对距离,计算所述待投射目标的目标位置与所述设备的当前位置的相对位置关系;
根据所述待投射目标的目标内容的坐标、所述相对位置关系,确定所述待投射目标的目标内容位于场景坐标系中的显示坐标。
可选地,依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,包括:
生成所述设备的姿态信息对应的姿态矩阵;
将所述显示坐标与所述设备的姿态矩阵的乘积作为所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置。
可选地,所述待投射目标的目标位置为位于以所述设备为基准的相机坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标,包括:
依据所述设备的姿态信息,确定所述待投射目标的目标位置位于场景坐标系中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待透射目标的目标位置构建得到。
可选地,所述获取设备的姿态信息,包括:
获取所述设备的重力数据、加速度数据以及磁场数据;
使用所述重力数据对所述加速度数据进行修正,得到修正后的加速度数据;
整合所述磁场数据和所述修正后的加速度数据,确定所述设备的姿态信息。
可选地,获取设备的当前位置,包括:
获取所述设备的初始位置信息;
对所述初始位置信息进行滤波处理,得到所述当前位置。
一种数据处理装置,包括:
数据获取模块,用于获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置;
坐标确定模块,用于以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到;
数据显示模块,用于依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容。
可选地,所述待投射目标的目标位置是位于地理坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,所述坐标确定模块包括:
距离确定子模块,用于依据所述设备的当前位置和所述待投射目标的目标位置,确定所述待投射目标的目标位置相对于所述设备的当前位置的相对距离;
关系确定子模块,用于基于所述设备的姿态信息和所述相对距离,计算所述待投射目标的目标位置与所述设备的当前位置的相对位置关系;
坐标确定子模块,用于根据所述待投射目标的目标内容的坐标、所述相对位置关系,确定所述待投射目标的目标内容位于场景坐标系中的显示坐标。
可选地,所述数据显示模块用于依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置时,具体用于:
生成所述设备的姿态信息对应的姿态矩阵,将所述显示坐标与所述设备的姿态矩阵的乘积作为所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置。
一种电子设备,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于:
获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置;
以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到;
依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容。
相较于现有技术,本发明具有以下有益效果:
本发明提供了一种数据处理方法、装置及电子设备,在进行待投射目标的目标内容投射时,会构建包括所述设备的当前位置和所述待投射目标的目标位置的场景坐标系,即将设备的当前位置和待投射目标的目标位置放置在同一坐标系下进行比较,进而设备的当前位置和待投射目标的目标位置的相对位置关系会更加准确,进而在投射时可以将目标内容准确的投射到目标显示位置,进而保证投射的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的方法流程图;
图2为本发明实施例提供的另一种数据处理方法的方法流程图;
图3为本发明实施例提供的一种AR场景的场景示意图;
图4为本发明实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例涉及一种增强现实(AR)与GIS(地理信息***)应用程序相结合的数据处理方法,首先对本实施例中的专业术语进行解释:
1、增强现实(AR,Augmented Reality)是物理的,真实世界环境的直接或间接实时视图,其元素由计算机生成的感知信息“增强”,理想地跨多种感觉模式,包括视觉,听觉,触觉,体感和嗅觉。增强现实只不过是现实世界对象和计算机生成对象的混合体。它为用户提供身临其境的体验。AR和VR之间的区别在于VR不会与现实世界融合,而是对现实世界的模仿。AR融合并与现实世界结合,在现实世界中投射虚拟物体。
2、POI是“Point of Interest”的缩写,中文可以翻译为“兴趣点”。在地图软件中,一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。通常情况下,每个POI包含四方面信息,名称、类别、坐标、分类。全面的POI信息是丰富导航地图的必备资讯,及时的POI兴趣点能提醒用户路况及周边建筑的详尽信息,也能方便导航中查到所需要的各个地方,选择最为便捷和通畅的道路来进行路径规划。因此,导航地图POI信息直接影响到导航的好用程度。
3、沉浸式程序是一个新术语,用于描述为用户提供身临其境体验的应用程序。但当前市面上的GIS应用程序,无法直接提供沉浸感体验,需要借助AR或VR技术实现,其中VR可以提供完全沉浸式的虚拟现实体验,而AR提供真实世界与虚拟世界相融合环境中的沉浸式体验。
目前AR产品虽然可以为用户提供沉浸式体验,但是AR产品中投射虚拟物体的位置是相对于拍照设备的位置,投射虚拟物体的位置与投射区域的相对位置不准确,进而不能够将虚拟物体投射到其期望的位置上。并且,AR产品中投射虚拟物体的位置是相对于拍照设备的位置,并不是基于真实的地理位置,这样会导致不能对投射虚拟物体和拍照设备进行准确的定位,从而待投射虚拟物体和设备难以和真实的地理位置相结合,无法将AR技术与GIS(地理信息***)相结合。本发明实施例提供了一种在设备(拍照设备,如相机、手机、平板等)静止或移动过程中,全景展示POI信息(虚拟物体)的AR与GIS结合的方案,在进行待投射目标的目标内容投射时,会构建包括所述设备的当前位置和所述待投射目标的目标位置的场景坐标系,即将设备的当前位置和待投射目标的目标位置放置在同一坐标系下进行比较,进而设备的当前位置和待投射目标的目标位置的相对位置关系会更加准确,进而在投射时可以将目标内容准确的投射到目标显示位置,进而保证投射的准确度。另外,可以满足GIS行业沉浸式数据采集、二维和三维虚拟物体的增强展示等应用的迫切需求,可以应用在导航、军事指挥等领域。
参照图1,数据处理方法可以包括:
S11、获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置。
待投射目标可以称为POI,可以从不同来源获取待投射目标,如可以来源于文件形式(如本地的JSON文件)、工作空间数据集、数据库、网络等形式。每个POI包含四方面信息,名称、类别、坐标、分类,本实施例中,对于AR场景来说,POI需要包括待投射目标的坐标,该坐标可以是真实地理坐标系下的坐标,还包括待投射目标的目标内容,目标内容可以是图片、二维地图、obj格式的三维模型等,本实施例中的目标内容会携带其名称、类别和分类,名称是指目标内容的名称,如A图片,类别可以是二维或三维等,分类可以是分成图片、地图等。
需要说明的是,若想要对数据的位置信息、属性信息进行直观的展示,则该目标内容的类别可以设置成二维,若想要展示待投射目标更多细节上的数据,则可以对待投射目标进行建模,形成三维模型进行展示。
在得到目标内容之后,AR可能不能正常识别目标内容,此时需要通过管理器,如图像管理器对目标内容进行格式上的转换,转换成AR可以识别的内容。此外,若目标位置和目标内容是以瞬时数据存储的,可以通过渲染器将该数据转换成持久化数据,进而可实现数据的长久保存。
另外,除了直接获取到待投射目标的目标位置,还可以是从相机坐标系中直接选定一个POI点,此时的POI点是基于相机坐标系的,后续若要对该POI点进行保存,则需要将其转换到地理坐标系中,得到在地理坐标系中的坐标。
本实施例中,待投射目标的目标内容所处的坐标系是以目标内容自身为基准的局部坐标系。
现对本实施例中的设备进行介绍,本实施例中的设备可以是拍照设备,如相机、手机、平板等,对设备的状态不做限定,可以处于静止状态或移动状态。
目前大多数移动设备都具有内置传感器,可以通过传感器测量的高精度的原始数据(如重力传感器采集的设备的重力数据、磁场传感器采集的设备的磁场数据、加速度传感器采集的设备的加速度数据)来计算设备的运动方向、姿态等。多传感器融合是基于对多个传感器的测量结果按照一定的算法进行过滤、联合和优化等,获取对目标的一致性解释和描述,辅助******进行环境判定、路径规划、验证等形成更高层次的综合决策,是对机器人***“人脑化”的一种模拟。本实施例中,使用多传感器融合来实现设备姿态的确定,具体的,设备的姿态可以通过内置的传感器、如重力传感器、磁场传感器和加速度传感器采集的数据确定。重力传感器采集设备的重力数据、磁场传感器采集设备的磁场数据、加速度传感器采集设备的加速度数据,为了保证数据的准确性,在得到重力数据和加速度数据之后,可以对重力数据进行高通滤波,对加速度数据进行低通滤波,以减少噪声数据。设备的姿态通过融合设备的磁场、加速度和重力传感器数据获得,具体的,加速度传感器采集的数据会受到重力作用的影响,为了减少重力对加速度传感器采集数据的影响,本实施例使用设备的重力数据对加速度进行修正,得到修正后的加速度数据。具体的修正过程为:设定x’,y’,,z;为实际加速度分量,G0为当地重力加速度值,有公式x’2+y’2+z’2=G0 2
测量值x’与修正后的x的关系为x’=ax+b,通过多组测量值带入利用最小二乘求解系数得出。
磁场传感器采集的磁场数据为磁场四元数,将修正后的加速度数据与磁场四元数进行整合,可以得到设备姿态。具体的,磁场四元数转为磁场向量,将磁场向量和修正后的加速度叉乘,得到向量V0,将向量V0与重力向量叉乘,得到向量V1,设备姿态矩阵由V0、V1和重力向量组成。
设备姿态确定后,可以确定与设备姿态对应的姿态矩阵,姿态信息为设备所处的三个角度,姿态矩阵为欧拉矩阵,用于后续进行坐标转换以及计算AR场景中POI的位置,姿态信息和姿态矩阵是姿态的不同表现形式。
设备的当前位置的确定过程可以是:
首先获取GNSS(全球导航卫星***)或SLAM(simultaneous localization andmapping,即时定位与地图构建)测量得到的设备的初始位置信息,然后将该初始位置信息进行滤波,如卡尔曼滤波,可以得到设备的当前位置,该当前位置用于描述AR场景中设备处于地理坐标系中的位置。
需要说明的是,设备距离POI的目标位置较远的范围内可以不开启高精度定位(如GNSS或SLAM),以节约不必要的设备算力,而在靠近POI的一定范围内,可以开启高精度定位来辅助。POI的目标位置在地理坐标系中的位置是不变的,但是设备的位置是可变的,进而设备和POI的相对位置是变化的,则需要实时跟踪相机在地理坐标系中的位置变化,以实现沉浸式增强现实体验。
S12、以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标。
在实际应用中,所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到,在基于设备的当前位置和所述待投射目标的目标位置构建得到场景坐标系后,需要确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标,即在场景坐标系中的哪一位置显示该待投射目标的目标内容。在具体的实现过程中,步骤S12的实现过程与所述待投射目标的目标位置选取的基准坐标系有关,现分别进行介绍。
1、所述待投射目标的目标位置是位于地理坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标。
该待投射目标的目标位置可以是基于人工经验确定或者是基于目前投射虚拟物体的位置相对于拍照设备的位置得到,对此不做限定。
具体的,参照图2,步骤S12可以包括:
S21、依据所述设备的当前位置和所述待投射目标的目标位置,确定所述待投射目标的目标位置相对于所述设备的当前位置的相对距离。
由于设备的当前位置和所述待投射目标的目标位置均是位于地理坐标系中的数据,所以可以直接通过位置做差,得到待投射目标的目标位置相对于所述设备的当前位置的相对距离。
S22、基于所述设备的姿态信息和所述相对距离,计算所述待投射目标的目标位置与所述设备的当前位置的相对位置关系。
在实际应用中,通过设备的姿态信息和设备到待投射目标的相对距离计算待投射目标的目标位置与所述设备的当前位置的相对位置关系。具体的,根据上述姿态信息(以姿态矩阵形式表示)得出姿态角,根据姿态角和相对距离,计算出待投射目标的目标位置相对待投射目标的相对偏移,即可得到相对位置关系。
该相对位置关系即为待投射目标的目标位置相对于所述设备的当前位置的位置偏差,可以用模型矩阵表示。
S23、根据所述待投射目标的目标内容的坐标、所述相对位置关系,确定所述待投射目标的目标内容位于场景坐标系中的显示坐标。
在实际应用中,设备在场景坐标系下的坐标加上上述相对偏移,即可得到待投射目标位于场景坐标系中的显示坐标。
2、所述待投射目标的目标位置为位于以所述设备为基准的相机坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标。
与上述实施例不同的是,本实施例中的待投射目标的目标位置是直接在相机坐标系中选取的,即待投射目标的目标位置是相机坐标系中的一坐标点。
具体的,步骤S12可以包括:
依据所述设备的姿态信息,确定所述待投射目标的目标位置位于场景坐标系中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待透射目标的目标位置构建得到。
本实施例中,由于需要确定包括待投射目标的目标位置与设备的当前位置的场景坐标系,所以需要将待投射目标位于相机坐标系中的目标位置转换到场景坐标系下,上一实施例给出了依据所述设备的姿态信息,使场景坐标系到相机坐标系的转换,现进行逆变换,即可得到相机坐标系到场景坐标系的转换,进而可以确定待投射目标的目标位置位于场景坐标系中的显示坐标。
需要注意的是,如果想要记录下待投射目标的目标位置处于地理坐标系中的坐标,此时需要将场景坐标系转换到地理坐标系下,通过对上述的地理坐标系转换到场景坐标系进行逆变换即可。
S13、依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容。
若设备是移动的,则在场景坐标系中设备与待投射目标的相对位置是不断改变的,进而待投射目标的目标位置在相机坐标系中的目标显示位置也是随着设备的移动而不断改变,进而需要实时确定待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并不断将该待投射目标的目标内容显示在该目标显示位置。
参照图3,图3给出了一种POI显示的示意图,图3中,目标内容为“图斑类型”部分,该POI内容悬空在半空中,具有一详细的地理坐标系中的坐标,而设备拍摄的图片也具有一详细的地理坐标系中的坐标,通过判断这两个坐标分别对应的用地是不是均是“停车用地”,进而可以确定出该块土地是否被非法占用,具有除“停车用地”之外的其他用途。即通过本实施例可以用于验证土地的用途是否合法。此外,还具有管线运维功能(通过在指定位置投放管线数据,施工人员可进行现场查看,检修,上报等)、图书馆展览功能(通过在指定位置投放图书信息,参观人员可以方便的定位书籍位置,检阅)。
在具体实现过程中,步骤S13具体可以包括:
生成所述设备的姿态信息对应的姿态矩阵,将所述显示坐标与所述设备的姿态矩阵的乘积作为所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置。
在实际应用中,姿态信息与姿态矩阵是姿态的两种不同表现方式,本实施例中,对姿态信息进行转换,得到姿态矩阵,然后将待投射目标的目标内容在场景坐标系下的显示坐标与姿态矩阵相乘,得到的结果即为待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置。
通过以上实施方式的描述,通过本发明实施例可以建立一种基于多传感器融合的全景POI增强现实模型。并且在此基础上进行沉浸式GIS行业应用:有了高精定位的基础,二维、三维一体化渲染的能力,和AR场景中对数据位置的管理,可以很容易在此基础上建立沉浸式的GIS行业应用和解决方案。其中常用的有,将AR结合视觉惯性里程定位技术采集的具有高精度位置信息的轨迹数据生成室内地图(AR室内轨迹采集),在AR场景中展示的地图上添加动态效果如态势推演等,在三维模型上进行手势操作,以及AR量算等。
本实施例中,在进行待投射目标的目标内容投射时,会构建包括所述设备的当前位置和所述待投射目标的目标位置的场景坐标系,即将设备的当前位置和待投射目标的目标位置放置在同一坐标系下进行比较,进而设备的当前位置和待投射目标的目标位置的相对位置关系会更加准确,进而在投射时可以将目标内容准确的投射到目标显示位置,进而保证投射的准确度。
另外,本发明实施例还具有以下效果:
1、沉浸式AR体验:通过融合多种传感器数据并且实时计算给二维地图、三维场景带来沉浸式AR体验。
2、全场景POI展示:实现对空间中任意平面、任意位置下POI的展示。这些POI来源于多种类型的数据,如本地的JSON文件,用户的地图空间数据集,或者在线网络等多源数据。
3、多种类别的POI渲染:多种类别即POI可能是图片、二维地图、或三维模型,都可作为一种POI(兴趣点)展示的方式。通过节点管理的方式对二维、三维等不同数据类型的数据加以有效的管理并放入到场景中,能够有效的做到二维、三维一体化。
4、基于GIS的沉浸式应用:高精定位和二维、三维一体化渲染给GIS应用带来了基础。通过全场景的人工在相机坐标系中选取POI位置可以实现沉浸式的数据采集、处理与展示,并且可以在原有的地图上添加沉浸式地动态效果,以丰富地图显示功能。
可选地,在上述数据处理方法的实施例的基础上,本发明的另一实施例提供了一种数据处理装置,参照图4,可以包括:
数据获取模块11,用于获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置;
坐标确定模块12,用于以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到;
数据显示模块13,用于依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容。
进一步,所述待投射目标的目标位置是位于地理坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,所述坐标确定模块包括:
距离确定子模块,用于依据所述设备的当前位置和所述待投射目标的目标位置,确定所述待投射目标的目标位置相对于所述设备的当前位置的相对距离;
关系确定子模块,用于基于所述设备的姿态信息和所述相对距离,计算所述待投射目标的目标位置与所述设备的当前位置的相对位置关系;
坐标确定子模块,用于根据所述待投射目标的目标内容的坐标、所述相对位置关系,确定所述待投射目标的目标内容位于场景坐标系中的显示坐标。
进一步,所述数据显示模块用于依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置时,具体用于:
生成所述设备的姿态信息对应的姿态矩阵,将所述显示坐标与所述设备的姿态矩阵的乘积作为所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置。
进一步,所述待投射目标的目标位置为位于以所述设备为基准的相机坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,坐标确定模块12用于以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标时,具体用于:
依据所述设备的姿态信息,确定所述待投射目标的目标位置位于场景坐标系中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待透射目标的目标位置构建得到。
进一步,数据获取模块11用于获取设备的姿态信息时,具体用于:
获取所述设备的重力数据、加速度数据以及磁场数据;
使用所述重力数据对所述加速度数据进行修正,得到修正后的加速度数据;
整合所述磁场数据和所述修正后的加速度数据,确定所述设备的姿态信息。
进一步,数据获取模块11用于获取设备的当前位置时,具体用于:
获取所述设备的初始位置信息,对所述初始位置信息进行滤波处理,得到所述当前位置。
本实施例中,在进行待投射目标的目标内容投射时,会构建包括所述设备的当前位置和所述待投射目标的目标位置的场景坐标系,即将设备的当前位置和待投射目标的目标位置放置在同一坐标系下进行比较,进而设备的当前位置和待投射目标的目标位置的相对位置关系会更加准确,进而在投射时可以将目标内容准确的投射到目标显示位置,进而保证投射的准确度。
需要说明的是,本实施例中的各个模块和子模块的工作过程,请参照上述实施例中的相应说明,在此不再赘述。
可选地,在上述数据处理方法的实施例的基础上,本发明的另一实施例提供了一种电子设备,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于:
获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置;
以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到;
依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容。
本实施例中,在进行待投射目标的目标内容投射时,会构建包括所述设备的当前位置和所述待投射目标的目标位置的场景坐标系,即将设备的当前位置和待投射目标的目标位置放置在同一坐标系下进行比较,进而设备的当前位置和待投射目标的目标位置的相对位置关系会更加准确,进而在投射时可以将目标内容准确的投射到目标显示位置,进而保证投射的准确度。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种数据处理方法,其特征在于,包括:
获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置;
以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到;
依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容;
其中,所述待投射目标的目标位置是位于地理坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标,包括:
依据所述设备的当前位置和所述待投射目标的目标位置,确定所述待投射目标的目标位置相对于所述设备的当前位置的相对距离;
基于所述设备的姿态信息和所述相对距离,计算所述待投射目标的目标位置与所述设备的当前位置的相对位置关系;
根据所述待投射目标的目标内容的坐标、所述相对位置关系,确定所述待投射目标的目标内容位于场景坐标系中的显示坐标;
其中,依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,包括:
生成所述设备的姿态信息对应的姿态矩阵;
将所述显示坐标与所述设备的姿态矩阵的乘积作为所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置。
2.根据权利要求1所述的数据处理方法,其特征在于,所述待投射目标的目标位置为位于以所述设备为基准的相机坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标,包括:
依据所述设备的姿态信息,确定所述待投射目标的目标位置位于场景坐标系中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到。
3.根据权利要求1所述的数据处理方法,其特征在于,所述获取设备的姿态信息,包括:
获取所述设备的重力数据、加速度数据以及磁场数据;
使用所述重力数据对所述加速度数据进行修正,得到修正后的加速度数据;
整合所述磁场数据和所述修正后的加速度数据,确定所述设备的姿态信息。
4.根据权利要求1所述的数据处理方法,其特征在于,获取设备的当前位置,包括:
获取所述设备的初始位置信息;
对所述初始位置信息进行滤波处理,得到所述当前位置。
5.一种数据处理装置,其特征在于,包括:
数据获取模块,用于获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置;
坐标确定模块,用于以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到;
数据显示模块,用于依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容;
其中,所述待投射目标的目标位置是位于地理坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,所述坐标确定模块包括:
距离确定子模块,用于依据所述设备的当前位置和所述待投射目标的目标位置,确定所述待投射目标的目标位置相对于所述设备的当前位置的相对距离;
关系确定子模块,用于基于所述设备的姿态信息和所述相对距离,计算所述待投射目标的目标位置与所述设备的当前位置的相对位置关系;
坐标确定子模块,用于根据所述待投射目标的目标内容的坐标、所述相对位置关系,确定所述待投射目标的目标内容位于场景坐标系中的显示坐标;
其中,所述数据显示模块用于依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置时,具体用于:
生成所述设备的姿态信息对应的姿态矩阵,将所述显示坐标与所述设备的姿态矩阵的乘积作为所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置。
6.一种电子设备,其特征在于,包括:存储器和处理器;
其中,所述存储器用于存储程序;
处理器调用程序并用于:
获取待投射目标的目标位置和目标内容,以及获取设备的姿态信息和当前位置;
以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标;所述场景坐标系由所述设备的当前位置和所述待投射目标的目标位置构建得到;
依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,并在所述目标显示位置显示所述目标内容;
其中,所述待投射目标的目标位置是位于地理坐标系中的坐标;所述待投射目标的目标内容的坐标是位于以所述目标内容为基准的局部坐标系中的坐标;
相应的,以所述待投射目标的目标位置、所述设备的姿态信息和当前位置为基准,确定所述待投射目标的目标内容位于场景坐标系下中的显示坐标,包括:
依据所述设备的当前位置和所述待投射目标的目标位置,确定所述待投射目标的目标位置相对于所述设备的当前位置的相对距离;
基于所述设备的姿态信息和所述相对距离,计算所述待投射目标的目标位置与所述设备的当前位置的相对位置关系;
根据所述待投射目标的目标内容的坐标、所述相对位置关系,确定所述待投射目标的目标内容位于场景坐标系中的显示坐标;
其中,依据所述设备的姿态信息,确定所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置,包括:
生成所述设备的姿态信息对应的姿态矩阵;
将所述显示坐标与所述设备的姿态矩阵的乘积作为所述待投射目标的目标内容位于以所述设备为基准的相机坐标系中的目标显示位置。
CN201911301161.3A 2019-12-17 2019-12-17 一种数据处理方法、装置及电子设备 Active CN111127661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911301161.3A CN111127661B (zh) 2019-12-17 2019-12-17 一种数据处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911301161.3A CN111127661B (zh) 2019-12-17 2019-12-17 一种数据处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111127661A CN111127661A (zh) 2020-05-08
CN111127661B true CN111127661B (zh) 2023-08-29

Family

ID=70498391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911301161.3A Active CN111127661B (zh) 2019-12-17 2019-12-17 一种数据处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111127661B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379344B (zh) * 2020-11-09 2024-04-02 中国科学院电子学研究所 信号补偿方法及装置、设备、存储介质
CN112541971A (zh) * 2020-12-25 2021-03-23 深圳市慧鲤科技有限公司 点云地图构建方法及装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354820A (zh) * 2015-09-30 2016-02-24 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN106791784A (zh) * 2016-12-26 2017-05-31 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
CN107463261A (zh) * 2017-08-11 2017-12-12 北京铂石空间科技有限公司 立体交互***及方法
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置
CN108537889A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 增强现实模型的调整方法、装置、存储介质和电子设备
CN108876900A (zh) * 2018-05-11 2018-11-23 重庆爱奇艺智能科技有限公司 一种与现实场景融合的虚拟目标投射方法和***
CN109961522A (zh) * 2019-04-02 2019-07-02 百度国际科技(深圳)有限公司 图像投射方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354820A (zh) * 2015-09-30 2016-02-24 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN106791784A (zh) * 2016-12-26 2017-05-31 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
CN107463261A (zh) * 2017-08-11 2017-12-12 北京铂石空间科技有限公司 立体交互***及方法
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置
CN108537889A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 增强现实模型的调整方法、装置、存储介质和电子设备
CN108876900A (zh) * 2018-05-11 2018-11-23 重庆爱奇艺智能科技有限公司 一种与现实场景融合的虚拟目标投射方法和***
CN109961522A (zh) * 2019-04-02 2019-07-02 百度国际科技(深圳)有限公司 图像投射方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111127661A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
Zollmann et al. Augmented reality for construction site monitoring and documentation
US8850337B2 (en) Information processing device, authoring method, and program
TWI667618B (zh) Integrated sensing positioning based on 3D information model applied to construction engineering and facility equipment management system
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及***
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
JP2017505923A (ja) 画像のジオロケーションのためのシステムおよび方法
Fukuda et al. Improvement of registration accuracy of a handheld augmented reality system for urban landscape simulation
CN111127661B (zh) 一种数据处理方法、装置及电子设备
KR20210022343A (ko) 지하시설물 관련 혼합현실 제공방법 및 시스템
Wither et al. Using aerial photographs for improved mobile AR annotation
CA3119609A1 (en) Augmented reality (ar) imprinting methods and systems
Afif et al. Orientation control for indoor virtual landmarks based on hybrid-based markerless augmented reality
CN111724485B (zh) 实现虚实融合的方法、装置、电子设备及存储介质
JP7375149B2 (ja) 測位方法、測位装置、ビジュアルマップの生成方法およびその装置
US9230366B1 (en) Identification of dynamic objects based on depth data
CN115240140A (zh) 基于图像识别的设备安装进度监控方法及***
CN115187709A (zh) 地理模型处理方法、装置、电子设备及可读存储介质
Burkard et al. Mobile location-based augmented reality framework
CN112862976B (zh) 一种数据处理方法、装置及电子设备
Dekker et al. MARWind: mobile augmented reality wind farm visualization
KR20120048888A (ko) 3차원 광고 시스템 및 방법
CN108062786B (zh) 以三维信息模型为基础的综合感知定位技术应用***
Thomas et al. 3D modeling for mobile augmented reality in unprepared environment
Asiminidis Augmented and Virtual Reality: Extensive Review
CN113836249B (zh) 地图信息点的管理方法和相关装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant