CN115546449A - 一种基于增强现实技术的气象装备培训*** - Google Patents

一种基于增强现实技术的气象装备培训*** Download PDF

Info

Publication number
CN115546449A
CN115546449A CN202211271881.1A CN202211271881A CN115546449A CN 115546449 A CN115546449 A CN 115546449A CN 202211271881 A CN202211271881 A CN 202211271881A CN 115546449 A CN115546449 A CN 115546449A
Authority
CN
China
Prior art keywords
real
dimensional
time
model
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211271881.1A
Other languages
English (en)
Other versions
CN115546449B (zh
Inventor
雷晓妹
雍玖
王遂缠
党选发
黄蕊
李丹华
雍芳
薛文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gansu Meteorological Information And Technology Equipment Support Center
Lanzhou Jiaotong University
Original Assignee
Gansu Meteorological Information And Technology Equipment Support Center
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gansu Meteorological Information And Technology Equipment Support Center, Lanzhou Jiaotong University filed Critical Gansu Meteorological Information And Technology Equipment Support Center
Priority to CN202211271881.1A priority Critical patent/CN115546449B/zh
Publication of CN115546449A publication Critical patent/CN115546449A/zh
Application granted granted Critical
Publication of CN115546449B publication Critical patent/CN115546449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及增强现实技术领域，特别是涉及一种基于增强现实技术的气象装备培训***，包括：增强现实模块，用于对待培训设备进行三维建模、降维和贴图三维模板模型；追踪模块，用于基于对待培训设备的实时现实图片对三维模板模型进行位置、尺度和光照进行跟踪，得到实时三维模型；培训模块，用于基于实时三维模型和待培训设备对应的文字描述进行叠加，得到培训资料；三维全景模块，用于构建待培训设备的三维虚拟场景空间，并将三维虚拟场景空间与实时三维模型融合，得到三维全景图；交互模块，用于实现待培训人员进行人机交互。本发明有助于工作人员对气象装备的全方位了解和操作，实现气象装备的虚拟化、可视化和信息化。

Description

一种基于增强现实技术的气象装备培训***
技术领域
本发明涉及增强现实技术领域，特别是涉及一种基于增强现实技术的气象装备培训***。
背景技术
近年来，随着新一代人工智能技术的快速发展，气象保障设备的信息化建设随之迅猛发展，各气象台站相继配备了气象卫星广播数据接收、自动观测站、新型气象雷达、小型遥测站、风洞以及温湿度监测仪等气象信息化装备。但是气象装备的快速迭代更新给装备操作和装备保障带来了诸多困难，气象装备维护与操作过程中，气象装备的维护与操作工作关键在于维护与操作技术、操作人员以及外界因素的稳定，掌握先进的维护与操作技术对于操作人员保持气象相关装备正常运行至关重要。因此，通过研究气象装备管理、可视化与应用，全面掌握新设备的操作、维护，才能实现气象保障设备的信息可视化，使气象相关设备能充分有效的发挥其在气象装备管理、应用中的功能和作用。
气象装备的正常运行是现代化气象保障工作的基础条件，气象装备的可靠运行才能保障现代气象服务中所需的各种数据的采集、分析、传送以及可视化的顺利进行，进而使气象信息化技术服务于各行各业中。
增强现实(Augmented Reality，简称AR)是将计算机建立的虚拟物体信息叠加在真实的现实场景中，通过三维注册技术来实现对真实场景的增强。但是目前三维注册技术中由于目标跟踪识别对于尺度和光照变化的鲁棒性较低，导致增强现实***跟踪注册误差较大，甚至无法完成虚拟信息叠加。
发明内容
有鉴于此，本发明提供了一种基于增强现实技术的气象装备培训***，通过改进自适应跟踪算法，利用尺度自适应跟踪、光照自适应跟踪及光照和尺度自适应跟踪算法，降低运动目标模型的跟踪误差，为实现气象装备交互可视化提供技术支撑。
为实现上述目的，本发明提供了如下方案：
一种基于增强现实技术的气象装备培训***，包括：
增强现实模块，用于对待培训设备进行三维建模和降维，得到初始三维模型，并对待培训设备进行进行拍照，得到实物图片，并基于相机标定，用所述实物图片对所述初始三维模型进行贴图，得到所述三维模板模型；
追踪模块，用于基于对待培训设备的实时现实图片对所述三维模板模型进行位置、尺度和光照进行跟踪，得到实时三维模型；
培训模块，用于基于所述实时三维模型和待培训设备对应的文字描述进行叠加，得到培训资料；
三维全景模块，用于构建待培训设备的三维虚拟场景空间，并将所述三维虚拟场景空间与所述实时三维模型融合，得到三维全景图；
交互模块，用于实现待培训人员与所述增强现实模块、所述追踪模块、所述培训模块和所述三维全景模块之间的交互。
优选地，所述建模模块包括：
建模单元，用于对待培训设备进行三维建模，得到三维点云数据，并对所述三维点云数据进行连线，得到虚拟模型；
降维单元，用于对所述虚拟模型进行面降维和线降维，得到初始三维模型，并对所述初始三维模型进行特征点检测，得到虚拟特征集；
拍摄单元，用于对待培训设备进行进行拍照，得到实物图片，并对所述实物图片进行关键点检测，得到实际特征集；
贴图单元，用于基于所述实际特征集、所述虚拟特征集和所述相机标定进行匹配，得到匹配关系，并基于所述匹配关系用所述实物图片对所述初始三维模型进行贴图，得到所述三维模板模型。
优选地，所述追踪模块包括：
位置追踪单元，用于对所述三维模板模型进行位置追踪，得到实时位置状态模型；
尺度和光照追踪单元，用于基于所述实时现实图片对所述实时位置状态模型进行尺度和光照追踪，得到所述实时三维模型。
优选地，所述追踪模块还包括：
指令单元，用于对所述实时三维模型添加指令操作，得到指令模型。
优选地，所述尺度和光照追踪单元包括：
尺度子单元，用于基于所述实时现实图片得到实时尺度似然函数；
光照子单元，用于基于所述实时现实图片得到实时光照似然函数；
模糊逻辑单元，用于基于所述实时尺度似然函数得到尺度可信度值，基于所述实时光照似然函数得到光照可信度值，并对所述尺度可信度值和所述光照可信度值模糊化，将模糊化后的所述尺度可信度值和所述光照可信度值作为模糊逻辑输入，将模糊化的光照权值作为输出，得到模糊化后的光照权值，基于模糊化后的光照权值得到实时光照权值，基于所述实时光照权值得到实时尺度权值；
追踪子单元，用于基于所述实时尺度似然函数、所述实时光照似然函数、所述实时光照权值和所述实时尺度权值对所述实时位置状态模型进行追踪，得到所述实时三维模型。
优选地，所述三维全景模块包括：
全景图像拍摄单元，用于拍摄待培训设备的全景空间图片，得到空间图片集；
全景图像制作单元，用于对所述空间图片集进行拼接和预处理，得到三维全景空间；
虚拟空间建设单元，用于构建全景虚拟空间；
叠加单元，用于将所述实时三维模型和所述三维全景空间叠加到所述全景虚拟空间中，得到所述三维全景图。
优选地，所述交互模块包括：
音频输出单元，用于输出待培训设备对应的语音讲解；
视频输出单元，用于输出所述三维全景图、所述指令模型和所述培训资料。
优选地，所述交互模块还包括：
指令输入单元，用于输入动作指令，所述指令单元根据所述动作指令控制所述指令模型执行对应动作。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明涉及一种基于增强现实技术的气象装备培训***，包括：增强现实模块，用于对待培训设备进行三维建模和降维，得到初始三维模型，并对待培训设备进行进行拍照，得到实物图片，并基于相机标定，用所述实物图片对所述初始三维模型进行贴图，得到所述三维模板模型；追踪模块，用于基于对待培训设备的实时现实图片对所述三维模板模型进行位置、尺度和光照进行跟踪，得到实时三维模型；培训模块，用于基于所述实时三维模型和待培训设备对应的文字描述进行叠加，得到培训资料；三维全景模块，用于构建待培训设备的三维虚拟场景空间，并将所述三维虚拟场景空间与所述实时三维模型融合，得到三维全景图；交互模块，用于实现待培训人员与所述增强现实模块、所述追踪模块、所述培训模块和所述三维全景模块之间的交互。本发明通过改进自适应跟踪算法，利用尺度自适应跟踪、光照自适应跟踪及光照和尺度自适应跟踪算法，降低运动目标模型的跟踪误差，为实现气象装备交互可视化提供技术支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于增强现实技术的气象装备培训***结构图；
图2为本发明输入隶属度函数；
图3为本发明输出隶属度函数；
图4为本发明追踪结果示意图；
图5为本发明三维全景图示意图。
符号说明：1-增强现实模块，2-追踪模块，3-培训模块，4-三维全景模块，5-交互模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于增强现实技术的气象装备培训***，通过改进自适应跟踪算法，利用尺度自适应跟踪、光照自适应跟踪及光照和尺度自适应跟踪算法，降低运动目标模型的跟踪误差，为实现气象装备交互可视化提供技术支撑。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于增强现实技术的气象装备培训***结构图。如图1所示，本发明提供了一种基于增强现实技术的气象装备培训***，包括：增强现实模块1、追踪模块2、培训模块3和三维全景模块4。
所述增强现实模块1用于对待培训设备进行三维建模和降维，得到初始三维模型，并对待培训设备进行进行拍照，得到实物图片，并基于相机标定，用所述实物图片对所述初始三维模型进行贴图，得到所述三维模板模型。
具体地，所述建模模块包括：建模单元、降维单元、拍摄单元和贴图单元。
所述建模单元用于对待培训设备进行三维建模，得到三维点云数据，并对所述三维点云数据进行连线，得到虚拟模型。本实施例中，基于3dsMax软件得到所述虚拟模型。
所述降维单元用于对所述虚拟模型进行面降维和线降维，得到初始三维模型，并对所述初始三维模型进行特征点检测，得到虚拟特征集。
气象装备大而复杂，需要更多的线条勾勒出整个模型，但是线条复杂将导致3D模型占用的资源越多，因此，需要利用减少面数和线条数等方法对虚拟气象装备模型优化。
所述拍摄单元用于对待培训设备进行进行拍照，得到实物图片，并对所述实物图片进行关键点检测，得到实际特征集。本实施例中，采用AR SDK对所述实物图片进行关键点检测，得到实际特征集。
所述贴图单元用于基于所述实际特征集、所述虚拟特征集和所述相机标定进行匹配，得到匹配关系，并基于所述匹配关系用所述实物图片对所述初始三维模型进行贴图，得到所述三维模板模型。
追踪模块2，用于基于对待培训设备的实时现实图片对所述三维模板模型进行位置、尺度和光照进行跟踪，得到实时三维模型。
进一步地，所述追踪模块2包括：位置追踪单元和尺度、光照追踪单元和指令单元。
所述位置追踪单元用于对所述三维模板模型进行位置追踪，得到实时位置状态模型。
对于基于视觉识别的注册方法而言，通过跟踪算法以运动的某个模型为目标(带注册位置)，并且相邻帧运动目标位移不大，可采用二阶常速模型来描述目标运动规律，因此可采用矩形表示目标轮廓，具体参数描述为：
Figure BDA0003895090860000068
式中，x和y表示矩形的中心点坐标，hx和hy表示矩形的长和宽。
运动目标位置状态可表示为：
Figure BDA0003895090860000065
式中，
Figure BDA0003895090860000066
表示矩形在x方向上的速度，
Figure BDA0003895090860000067
表示矩形在y方向上的速度。
由于在运动目标跟踪过程中尺度或光照变化是随机的，可采用常速运动模型对于运动目标中心位置表示(x,y)，而(hx,hy)采用随机扰动模型，则随着时间的变化运动目标状态Xt可表示为：
Figure BDA0003895090860000061
式中：ΔT为采样周期，Wt为高斯白噪声，t为变量。
所述尺度和光照追踪单元用于基于所述实时现实图片对所述实时位置状态模型进行尺度和光照追踪，得到所述实时三维模型。
优选地，所述尺度和光照追踪单元包括：尺度子单元、光照子单元、模糊逻辑单元和追踪子单元。
所述尺度子单元用于基于所述实时现实图片得到实时尺度似然函数。
采用Chamfer距离方法评价矩形目标位置相似程度，若当前帧图像的二值图为It，矩形模板二值图为T，距离图像为DIt，可知目标位置之间Chamfer距离计算公式为:
Figure BDA0003895090860000071
式中：T(Xt)为矩形在当前帧中的中心位置、长和宽，T为第k个像素值为“1”的像素数，|T|为T中像素值为“1”的像素数，DIt(k)为T放于DIt上时，T中第k个像素值为“1”的像素位置下DIt中的灰度值。
所述实时尺度似然函数如下式：
Figure BDA0003895090860000072
式中：ps(Zt|Xt)为实时尺度似然函数，exp为以e为底的指数函数，σs 2为尺度高斯方差，ps(Zt|Xt)值越大，代表矩形模板与位置目标相似度越高，则为真实目标可能性越大。
所述光照子单元用于基于所述实时现实图片得到实时光照似然函数。通过采用带空间位置信息的光照直方图方法，将光照信息在RGB空间划分成m＝8×8×8等级，仅考虑运动目标区域内光照分布情况。若Xt为运动目标状态，目标区域中心为Q＝(x,y)，目标区域内像素位置为Qi＝(xi,yi)，i＝1,…,nh，nh、为目标区域内像素的总数，半径为h＝(hx,hy)，则目标区域内光照分布可表示为：
Figure BDA0003895090860000073
式中：δ为Delta函数，b(Qi)为Qi为直方图上光照等级索引的映象，u为直方图上光照等级索引，k()为权值函数，则有：
Figure BDA0003895090860000074
由于矩形模板与位置目标相似度越高，则为真实目标可能性越大，则当像素离目标中心越远，k()函数赋予该像素点较小权值。当运动目标区域和目标位置区域的光照分布计算出来时，衡量两个目标模板的分布相似程度可采用Bhattacharyya距离。若
Figure BDA0003895090860000075
为目标模板光照分布，
Figure BDA0003895090860000076
Figure BDA0003895090860000077
为候选目标光照信息分布，则
Figure BDA0003895090860000078
和
Figure BDA0003895090860000079
之间相似度为：
Figure BDA00038950908600000710
其中，
Figure BDA00038950908600000711
为Bhattacharyya系数，则有：
Figure BDA00038950908600000712
得到两种目标模板分布间Bhattacharyya后，所述实时光照似然函数为：
Figure BDA0003895090860000081
Figure BDA0003895090860000082
为光照高斯方差，
Figure BDA0003895090860000083
pc(Zt∣Xt)越大，矩形模板与位置目标相似度越高，则为真实目标可能性越大。
模糊逻辑单元，用于基于所述实时尺度似然函数得到尺度可信度值，基于所述实时光照似然函数得到光照可信度值，并对所述尺度可信度值和所述光照可信度值模糊化，将模糊化后的所述尺度可信度值和所述光照可信度值作为模糊逻辑输入，将模糊化的光照权值作为输出，得到模糊化后的光照权值，基于模糊化后的光照权值得到实时光照权值，基于所述实时光照权值得到实时尺度权值。
尺度可信度值es基于实时尺度似然函数得到，光照可信度值ec基于实时光照似然函数得到。
实时光照权值为α，实时尺度权值为β，α+β＝1。
模糊化后的所述尺度可信度值和所述光照可信度值隶属度函数如图2所示，模糊化后的光照权值如图3所示。图中，ST为很小，VS为小，SR为较小，S为微小，M为中等，B为微大，BR为较大，VB为大，BT为很大。
模糊逻辑如表1所示。
表1模糊逻辑表
Figure BDA0003895090860000084
追踪子单元，用于基于所述实时尺度似然函数、所述实时光照似然函数、所述实时光照权值和所述实时尺度权值对所述实时位置状态模型进行追踪，得到所述实时三维模型。
所述实时三维模型如图4所示，图4(a)为未发生尺度和光照改变示意图，图4(b)为尺度变大和光照变强追踪结果示意图，图4(c)为尺度变大和光照变弱追踪结果示意图，图4(d)为尺度变小和光照变强追踪结果示意图，图4(e)为尺度变小和光照变弱追踪结果示意图。
所述指令单元用于对所述实时三维模型添加指令操作，得到指令模型。
所述培训模块3用于基于所述实时三维模型和待培训设备对应的文字描述进行叠加，得到培训资料。
所述三维全景模块4用于构建待培训设备的三维虚拟场景空间，并将所述三维虚拟场景空间与所述实时三维模型融合，得到三维全景图。
具体地，所述三维全景模块4包括：全景图像拍摄单元、全景图像制作单元、虚拟空间建设单元和叠加单元。
所述全景图像拍摄单元用于拍摄待培训设备的全景空间图片，得到空间图片集。
所述全景图像制作单元用于对所述空间图片集进行拼接和预处理，得到三维全景空间。
所述虚拟空间建设单元用于构建全景虚拟空间。
所述叠加单元用于将所述实时三维模型和所述三维全景空间叠加到所述全景虚拟空间中，得到所述三维全景图。所述三维全景图如图5所示。
所述交互模块5用于实现待培训人员与所述增强现实模块1、所述追踪模块2、所述培训模块3和所述三维全景模块4之间的交互。
进一步地，所述交互模块5包括：
音频输出单元，用于输出待培训设备对应的语音讲解。
视频输出单元，用于输出所述三维全景图、所述指令模型和所述培训资料。
指令输入单元，用于输入动作指令，所述指令单元根据所述动作指令控制所述指令模型执行对应动作。所述动作包括放大、缩小和旋转。
所述指令输入单元可为触摸装置，例如手指在所述指令输入单元上画一个圆圈对应放大指令。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的***及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于增强现实技术的气象装备培训***，其特征在于，包括：
增强现实模块，用于对待培训设备进行三维建模和降维，得到初始三维模型，并对待培训设备进行进行拍照，得到实物图片，并基于相机标定，用所述实物图片对所述初始三维模型进行贴图，得到所述三维模板模型；
追踪模块，用于基于对待培训设备的实时现实图片对所述三维模板模型进行位置、尺度和光照进行跟踪，得到实时三维模型；
培训模块，用于基于所述实时三维模型和待培训设备对应的文字描述进行叠加，得到培训资料；
三维全景模块，用于构建待培训设备的三维虚拟场景空间，并将所述三维虚拟场景空间与所述实时三维模型融合，得到三维全景图；
交互模块，用于实现待培训人员与所述增强现实模块、所述追踪模块、所述培训模块和所述三维全景模块之间的交互。
2.根据权利要求1所述的气象装备培训***，其特征在于，所述建模模块包括：
建模单元，用于对待培训设备进行三维建模，得到三维点云数据，并对所述三维点云数据进行连线，得到虚拟模型；
降维单元，用于对所述虚拟模型进行面降维和线降维，得到初始三维模型，并对所述初始三维模型进行特征点检测，得到虚拟特征集；
拍摄单元，用于对待培训设备进行进行拍照，得到实物图片，并对所述实物图片进行关键点检测，得到实际特征集；
贴图单元，用于基于所述实际特征集、所述虚拟特征集和所述相机标定进行匹配，得到匹配关系，并基于所述匹配关系用所述实物图片对所述初始三维模型进行贴图，得到所述三维模板模型。
3.根据权利要求1所述的气象装备培训***，其特征在于，所述追踪模块包括：
位置追踪单元，用于对所述三维模板模型进行位置追踪，得到实时位置状态模型；
尺度和光照追踪单元，用于基于所述实时现实图片对所述实时位置状态模型进行尺度和光照追踪，得到所述实时三维模型。
4.根据权利要求3所述的气象装备培训***，其特征在于，所述追踪模块还包括：
指令单元，用于对所述实时三维模型添加指令操作，得到指令模型。
5.根据权利要求3所述的气象装备培训***，其特征在于，所述尺度和光照追踪单元包括：
尺度子单元，用于基于所述实时现实图片得到实时尺度似然函数；
光照子单元，用于基于所述实时现实图片得到实时光照似然函数；
模糊逻辑单元，用于基于所述实时尺度似然函数得到尺度可信度值，基于所述实时光照似然函数得到光照可信度值，并对所述尺度可信度值和所述光照可信度值模糊化，将模糊化后的所述尺度可信度值和所述光照可信度值作为模糊逻辑输入，将模糊化的光照权值作为输出，得到模糊化后的光照权值，基于模糊化后的光照权值得到实时光照权值，基于所述实时光照权值得到实时尺度权值；
追踪子单元，用于基于所述实时尺度似然函数、所述实时光照似然函数、所述实时光照权值和所述实时尺度权值对所述实时位置状态模型进行追踪，得到所述实时三维模型。
6.根据权利要求1所述的气象装备培训***，其特征在于，所述三维全景模块包括：
全景图像拍摄单元，用于拍摄待培训设备的全景空间图片，得到空间图片集；
全景图像制作单元，用于对所述空间图片集进行拼接和预处理，得到三维全景空间；
虚拟空间建设单元，用于构建全景虚拟空间；
叠加单元，用于将所述实时三维模型和所述三维全景空间叠加到所述全景虚拟空间中，得到所述三维全景图。
7.根据权利要求4所述的气象装备培训***，其特征在于，所述交互模块包括：
音频输出单元，用于输出待培训设备对应的语音讲解；
视频输出单元，用于输出所述三维全景图、所述指令模型和所述培训资料。
8.根据权利要求7所述的气象装备培训***，其特征在于，所述交互模块还包括：
指令输入单元，用于输入动作指令，所述指令单元根据所述动作指令控制所述指令模型执行对应动作。
CN202211271881.1A 2022-10-18 2022-10-18 一种基于增强现实技术的气象装备培训*** Active CN115546449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211271881.1A CN115546449B (zh) 2022-10-18 2022-10-18 一种基于增强现实技术的气象装备培训***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211271881.1A CN115546449B (zh) 2022-10-18 2022-10-18 一种基于增强现实技术的气象装备培训***

Publications (2)

Publication Number Publication Date
CN115546449A true CN115546449A (zh) 2022-12-30
CN115546449B CN115546449B (zh) 2023-04-14

Family

ID=84736140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211271881.1A Active CN115546449B (zh) 2022-10-18 2022-10-18 一种基于增强现实技术的气象装备培训***

Country Status (1)

Country Link
CN (1) CN115546449B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360504A (zh) * 2011-10-20 2012-02-22 北京航空航天大学 一种基于多自然特征的自适应虚实三维注册方法
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训***和方法
CN109147026A (zh) * 2018-08-01 2019-01-04 深圳市城市公共安全技术研究院有限公司 溃坝事故的情景构建方法及***、应急演练方法
CN109268010A (zh) * 2018-09-22 2019-01-25 太原理工大学 一种虚拟现实矿井综采工作面的远程巡检干预方法
CN110717971A (zh) * 2019-09-19 2020-01-21 深圳供电局有限公司 面向电网培训业务的变电站三维仿真***数据库建模***
CN113066192A (zh) * 2021-04-25 2021-07-02 中国人民解放军陆军军医大学第一附属医院 一种基于ar成像在全虚拟环境中实时蒙版的方法
US20220212685A1 (en) * 2019-05-07 2022-07-07 Sony Semiconductor Solutions Corporation Information processing apparatus, moving apparatus, and method, as well as program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360504A (zh) * 2011-10-20 2012-02-22 北京航空航天大学 一种基于多自然特征的自适应虚实三维注册方法
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训***和方法
CN109147026A (zh) * 2018-08-01 2019-01-04 深圳市城市公共安全技术研究院有限公司 溃坝事故的情景构建方法及***、应急演练方法
CN109268010A (zh) * 2018-09-22 2019-01-25 太原理工大学 一种虚拟现实矿井综采工作面的远程巡检干预方法
US20220212685A1 (en) * 2019-05-07 2022-07-07 Sony Semiconductor Solutions Corporation Information processing apparatus, moving apparatus, and method, as well as program
CN110717971A (zh) * 2019-09-19 2020-01-21 深圳供电局有限公司 面向电网培训业务的变电站三维仿真***数据库建模***
CN113066192A (zh) * 2021-04-25 2021-07-02 中国人民解放军陆军军医大学第一附属医院 一种基于ar成像在全虚拟环境中实时蒙版的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闻春华等: "VR/AR 技术在气象观测站场景管理中的应用" *

Also Published As

Publication number Publication date
CN115546449B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN108764048B (zh) 人脸关键点检测方法及装置
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN111563446A (zh) 一种基于数字孪生的人-机交互安全预警与控制方法
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及***
CN111784746A (zh) 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机***
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN112669350A (zh) 一种自适应特征融合的智能变电站人体目标跟踪方法
CN113205507B (zh) 一种视觉问答方法、***及服务器
CN112164115B (zh) 物***姿识别的方法、装置及计算机存储介质
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
CN112819008B (zh) 实例检测网络的优化方法、装置、介质及电子设备
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控***及存储介质
Dahirou et al. Motion Detection and Object Detection: Yolo (You Only Look Once)
Liu et al. STCN-Net: A novel multi-feature stream fusion visibility estimation approach
CN115546449B (zh) 一种基于增强现实技术的气象装备培训***
CN115861883A (zh) 一种多目标检测追踪方法
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法
Ge et al. Real-time pose estimation for an underwater object combined with deep learning and prior information
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
CN116848547A (zh) 图像的处理方法和***
CN114821075A (zh) 空间目标捕获方法、装置、终端设备及存储介质
CN112132743A (zh) 可自适应光照的视频换脸方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant