CN110047035B - 全景视频热点交互***及交互设备 - Google Patents

全景视频热点交互***及交互设备 Download PDF

Info

Publication number
CN110047035B
CN110047035B CN201910297395.9A CN201910297395A CN110047035B CN 110047035 B CN110047035 B CN 110047035B CN 201910297395 A CN201910297395 A CN 201910297395A CN 110047035 B CN110047035 B CN 110047035B
Authority
CN
China
Prior art keywords
panoramic video
interaction
information
user
hotspot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910297395.9A
Other languages
English (en)
Other versions
CN110047035A (zh
Inventor
修文群
彭信
齐文光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Center Of Digital City Engineering
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Original Assignee
Shenzhen Research Center Of Digital City Engineering
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Center Of Digital City Engineering, Shenzhen Technology Institute of Urban Public Safety Co Ltd filed Critical Shenzhen Research Center Of Digital City Engineering
Priority to CN201910297395.9A priority Critical patent/CN110047035B/zh
Publication of CN110047035A publication Critical patent/CN110047035A/zh
Application granted granted Critical
Publication of CN110047035B publication Critical patent/CN110047035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及全景视频互动技术领域，具体涉及一种全景视频热点交互***及交互设备。所述交互***包括全景漫游搭建模块、交互模型构建模块、互动展览模块、全景视频显示模块和后台管理模块。所述交互设备包括处理器、存储器和显示器。本发明的全景视频的热点交互***在全景视频中为城市公共***的目标物按照球面坐标信息设置了热点，将目标物的属性信息作为热点关联信息，并将目标物的属性信息关联至热点在不同视线透视图上的投影点，通过热点实现了视频内容与属性信息的交互，便于用户管理。

Description

全景视频热点交互***及交互设备
技术领域
本发明涉及全景视频互动技术领域，具体涉及一种全景视频热点交互***及交互设备。
背景技术
随着视频应用技术与城市公共******的逐步推进，目前各大城市的视频监管点的数量都已达到一定的数量级。
全景视频技术和全景摄像机也已经在城市管理中应用，同传统视频不同，全景视频打破了传统视频视场角的限制，可以完全沉浸在视频所展现的环境当中。自主交互性是全景视频区别于传统视频的最显著特征，使用者可以任意的变换视角，任意的缩放，现有的全景视频交互过程主要是依靠鼠标、或者是键盘。
鉴于此，克服以上现有技术中的缺陷，提供一种新的适用于在城市公共安全领域的全景视频的热点交互***成为本领域亟待解决的技术问题。
发明内容
本发明的目的可通过以下的技术措施来实现：
本发明提供了一种全景视频热点交互***，所述交互***包括：
全景漫游搭建模块，用于获取原始视频图像，对所述原始视频图像进行拼接，以生成球面全景视频，利用球面重投影算法在以所述全景视频的球心为视点的不同视线方向上对所述全景视频进行重构，生成不同视线方向上的透视图，以形成全景视频数据；
交互模型构建模块，用于获取所述全景视频数据，在所述全景视频中接收对目标物的点选操作，将所述点选操作对应的像素位置配置为热点，获取所述热点的球面坐标信息，将所述目标物的属性信息与所述热点的球面坐标信息进行关联，获取所述透视图上与所述热点对应的投影点的图像坐标信息，将所述投影点的图像坐标信息与所述热点的球面坐标信息建立映射关系，以形成全景视频交互数据；
互动展览模块，用于接收用户输入的携带有查询信息的请求指令，获取与所述查询信息对应的全景视频交互数据；和/或，用于接收用户输入的携带有交互信息的请求指令，根据所述携带有交互信息的请求指令管理对应热点图标的标注内容和/或属性信息；以及
全景视频显示模块，用于加载与所述查询信息和/或所述交互信息对应的全景视频交互数据，将所述目标物的部分或全部属性信息作为标注内容按照所述热点的球面坐标信息以及所述热点对应的投影点的图像坐标信息分别在所述全景视频和所述透视图中进行显示。
优选地，所述互动展览模块用于接收用户输入的携带有球面坐标信息的请求指令，根据所述球面坐标信息进行目标物识别，获取所述目标物对应的全景视频图像帧和透视图。
优选地，所述互动展览模块用于接收用户输入的携带有第一属性信息的请求指令，根据所述第一属性信息进行目标物识别，获取所述目标物对应的全景视频图像帧和透视图。
优选地，所述互动展览模块还用于接收用户输入的观看角度信息，根据所述观看角度信息获取对应视线的透视图。
优选地，所述互动展览模块还用于接收用户对显示有标注内容的热点图标的第一点击操作，将所述标注内容在部分属性信息和全部属性信息之间切换。
优选地，所述互动展览模块还用于接收用户对显示有标注内容的热点图标的第二点击操作，将所述热点图标切换为可编辑模式，并将用户的编辑内容更新至对应目标物的属性信息。
优选地，所述交互***还包括后台管理模块，用于存储及管理目标物的属性信息以及全景视频交互数据。
优选地，所述后台管理模块用于接收自定义权限信息，根据所述自定义权限信息对每个属性信息设置不同的用户权限，并将属性信息的用户权限映射至对应目标物的热点、所述热点在透视图的对应投影点、以及所述热点或投影点对应的标注内容。
优选地，所述后台管理模块用于将原始视频图像加载至全景漫游搭建模块、和/或将全景视频数据加载至交互模型构建模块、和/或将全景视频交互数据加载至全景视频显示模块。
本发明还提供了一种全景视频热点交互设备，所述交互设备包括：
处理器，用于根据用户的请求指令获取与用户权限对应的全景视频交互数据；
存储器，用于存储全景视频交互数据；
显示器，用于根据加载的全景视频交互数据显示全景视频的场景；
所述处理器还用于获取用户在全景视频的场景中的交互信息，重新获取与所述交互信息对应的全景视频交互数据或根据交互信息修改当前全景视频交互数据。
本发明的全景视频的热点交互***在全景视频中为城市公共***的目标物按照球面坐标信息设置了热点，将目标物的属性信息作为热点关联信息，并将目标物的属性信息关联至热点在不同视线透视图上的投影点，通过热点实现了视频内容与属性信息的交互，便于用户管理。
附图说明
图1是本发明实施例的全景视频的热点交互***的结构框图。
图2是本发明实施例的交互***中球面全景图的重投影坐标系示意图。
图3是本发明实施例的交互***中热点示意图。
图4是本发明实施例的全景视频的热点交互设备的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明实施例提供了一种全景视频热点交互***，请参阅图1所示，所述交互***包括：全景漫游搭建模块10、交互模型构建模块20、互动展览模块30、全景视频显示模块40和后台管理模块50。
其中，全景漫游搭建模块10，用于获取原始视频图像，对该原始视频图像进行拼接，以生成球面全景视频，利用球面重投影算法在以该全景视频的球心为视点的不同视线方向上对该全景视频进行重构，生成不同视线方向上的透视图，以形成全景视频数据，该全景视频数据包括该球面全景视频和该球面全景视频对应的各透视图。例如，用户在A位置拍摄了一组原始视频图像，经过拼接形成全景视频A，再将全景视频A通过球面重投影算法进行重构，全景视频数据A包括拼接形成的全景视频A和全景视频A对应的重构透视图；用户在B位置拍摄了一组原始视频图像，经过拼接形成全景视频B，再将全景视频B通过球面重投影算法进行重构，全景视频数据B包括拼接形成的全景视频A和全景视频B对应的重构透视图。经过全景漫游搭建模块10形成的多个全景视频数据可以存储于数据库或服务器中。
具体地，在进行全景视频拼接时，获取至少二帧原始视频的图像帧，并对该至少二帧原始视频的图像帧进行视频拼接，拼接后生成全景视频。
首先，对视频流图像帧进行特征点提取；然后，对该图像帧进行特征点匹配，利用最小二乘法或随机抽样一致算法(Random Sample Consensus，RANSAC)对该特征点匹配中的误匹配点进行剔除；然后，基于剔除误匹配点的特征点，建立图像帧的配准模型；最后，根据该配准模型在球体模型的三维球面上将图像帧进行配准，生成球面全景视频。
RANSAC算法需要在一定的置信概率P下使用，P一般设置为0.99，且进行N组抽样中至少有一组数据全是局内点，N的计算公式如下：
Figure BDA0002027049190000051
其中，μ为外点所占的比例，m为计算模型参数所需最小数据量。
RANSAC算法具体步骤如下：
计算当前的参数模型，去适应于假设的局内点，模型中的所有未知参数能够通过输入样本计算得到，并且初始化参数；对由特征点匹配得到的假定对应点，计算其对称变换误差，统计误差的局内点的个数；如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理；利用上述公式计算循环次数N，循环执行第1到3步。
当循环结束时，用最大局内点集再进行一次参数模型的计算，得到的变换矩阵H即为最优的模型矩阵。
全景视频可以实现水平360度任意视角(观看角度)方向的环视，浏览全景视频时，需要根据当前视线方向和视域范围对球面的全景视频进行重投影变换，生成符合人眼视觉***面的透视图，其中，视域范围与原始视频的参数相关，即为拍摄原始视频的相机的视域。使用球面全景图的重投影算法，模拟相机的旋转运动，并通过改变相机的视域，可以模拟相机的变焦运动，进而模拟观察者的视点，将相应场景展现出来。
球面全景图的重投影算法的原理如下：建立以该全景视频的球心为原点的世界坐标系XYZ，将世界坐标系XYZ绕X轴旋转α度，得到相机坐标系xyz，二者之间可以通过旋转α度相互得到。请参阅图2所示，O为透视图K的二维坐标系的原点，O’为相机坐标系xyz的原点，对于全景视频中任意一点P`，其在透视图(二维图像平面)上对应的投影点为P(x,y)，P`在球面上的坐标为P`(Φ,λ)，λ是透视图所在平面与相机坐标系xyz间的水平旋转角，Φ是俯仰角，H是图像的像素高度，W是像素宽度。
虚拟相机在三维空间中具有3个旋转自由度:绕X轴的旋转,旋转角度为pitch；绕Y轴的旋转，旋转角度为yaw；绕Z轴的旋转，旋转角度为roll。
相机绕X轴的旋转矩阵Rx为：
Figure BDA0002027049190000061
相机绕Y轴地点旋转矩阵Ry为：
Figure BDA0002027049190000071
当相机同时绕X轴和Y轴旋转时，旋转的复合旋转矩阵R＝Rx·Ry。
世界坐标系XYZ与相机坐标系xyz的变换矩阵为1/＝Rx。
由以上关系可得点P(x,y)在相机坐标系xyz下的坐标为(x-W/2,y-H/2,-r)，点P(x,y)在世界坐标系XYZ下的坐标(u,v,w)为：
Figure BDA0002027049190000072
其中，r为观察点(相机坐标xyz的球心)到透视图所在二维平面的距离，也为相机的焦距。
通过建立全景视频中任意点P`投影到透视图的对应投影点P的坐标转换关系，根据P在世界坐标系XYZ下的坐标(u,v,w)和上述坐标转换关系计算对应投影点P在透视图上的二维图像坐标(x,y)，生成不同视线方向上的透视图。
其中，交互模型构建模块20，用于获取该全景视频数据，在该全景视频中接收对目标物的点选操作，将该点选操作对应的像素位置配置为热点，获取该热点的球面坐标信息，将该目标物的属性信息与该热点的球面坐标信息进行关联，获取该透视图上与该热点对应的投影点的图像坐标信息，将该投影点的图像坐标信息与该热点的球面坐标信息建立映射关系，以形成全景视频交互数据。
具体地，为了在全景视频中实现与目标物的交互，该模型构建模块20在全景视频的图像帧画面上和重构的各透视图上设置目标物的交互热点，交互模型构建模块20在全景漫游搭建模块10形成的全景视频数据中加入热点交互数据，生成全景视频交互数据。例如，将全景视频数据A载入模型构建模块20，在全景视频数据A中加入热点数据，得到全景视频交互数据A；将全景视频数据B载入模型构建模块20，在全景视频数据B中加入热点数据，得到全景视频交互数据B，经过交互模型构建模块20形成的多个全景视频交互数据也可以存储于数据库或服务器中。
当目标物为建筑物时，目标物的热点为静态热点，在全景视频中相对静止；当目标物为车辆或行人时，目标物的热点为动态热点，在全景视频中随着车辆或行人的位置移动而不断变化。建筑物属性信息可以包括但不限于名称、地址、安全等级等。
当目标物呈静态时，对全景视频的图像帧中的目标物所在的位置进行点选操作，将点选的像素位置转换为球面坐标点，将该球面坐标点配置为热点，通过数据库技术建立热点信息存储表，存储目标物的属性信息，将该目标物的属性信息与该热点的球面坐标信息进行关联。对该透视图上与该热点对应的投影点与该热点建立映射关系，在该热点以及该热点对应的投影点上均显示热点图标，也就是说，在全景视频图像帧的画面上以及在透视图上均显示热点图标，热点图标中写有标注内容，标注内容为目标物的属性信息，标注内容可以是部分属性信息，也可以是全部属性信息。
进一步地，可以将透视图的投影点也配置为热点，用户可以在透视图上直接进行交互。
当目标物呈动态时，获取该目标物在全景视频中首次出现的图像帧，在该图像帧中接收对该目标物的点选操作，将该点选操作对应的像素位置转换为球面坐标点，将该球面坐标点配置为初始热点，获取该初始热点的球面坐标信息，通过数据库技术建立热点信息存储表，存储目标物的属性信息，将该目标物的属性信息与该初始热点的球面坐标信息进行关联；在该图像帧中对该目标物在上下左右四个方向放大X个像素，对放大区域进行特征提取，得到目标物的特征信息，其中，X为大于20且小于50的自然数；继续播放全景视频，根据该特征信息在全景视频的图像帧中进行目标物识别，找出所有目标物出现的图像帧，将图像帧上的识别区域转换为球面坐标点，将该球面坐标点配置为后续热点，具体地，对该放大区域图像进行分割并提取特征，经过T时间间隔后，在全景视频图像帧中查找该特征并作为下一个热点，并不断重复以上过程计算出所有热点。将该目标物的属性信息与该后续热点的球面坐标信息进行关联；获取该透视图上与该初始热点及该后续热点对应的投影点的图像坐标信息，将该投影点的图像坐标信息与对应初始热点或后续热点的球面坐标信息建立映射关系。在所有热点以及热点对应的投影点上均显示热点图标，也就是说，在全景视频图像帧的画面上以及在透视图上均显示热点图标，热点图标中写有标注内容，标注内容为目标物的属性信息，标注内容可以是部分属性信息，也可以是全部属性信息。
进一步地，可以将透视图的投影点也配置为热点，用户可以在透视图上直接进行交互。
用户可以通过互动展览模块30选择需要显示的全景视频交互数据，以供全景视频显示模块40加载。互动展览模块30，用于接收用户输入的携带有查询信息的请求指令，获取与该查询信息对应的全景视频交互数据。全景视频显示模块40，用于加载与该查询信息对应的全景视频交互数据，将该目标物的部分或全部属性信息作为标注内容按照该热点的球面坐标信息以及该热点对应的投影点的图像坐标信息分别在该全景视频和该透视图中进行显示，请参阅图3所示，并至少适用于以下场景：(a)建筑物静态热点(b)车辆动态热点(c)行人动态热点。
在一个优选实施方式中，查询信息可以为原始视频的拍摄位置，通过该拍摄位置从多个全景视频交互数据中选择一个，供全景视频显示模块40显示。进一步地，当同一个拍摄位置对应了多个视域不同的全景视频时，查询信息还可以包括原始视频的拍摄位置和视域信息。
在一个优选实施方式中，对于一个全景视频交互数据，查询信息可以为球面坐标信息，通过球面坐标信息在全景视频的球面上匹配目标物，从全景视频交互数据中选择有该目标物出现的全景视频图像帧和透视图，有该目标物出现的全景视频图像帧和透视图即为与该查询信息对应的全景视频交互数据。即该互动展览模块30用于接收用户输入的携带有球面坐标信息的请求指令，根据该球面坐标信息进行目标物识别，获取该目标物对应的全景视频图像帧和透视图。
在一个优选实施方式中，对于一个全景视频交互数据，查询信息可以为第一属性信息，将该第一属性信息与多个目标物的属性信息进行匹配，寻找与第一属性信息匹配的属性信息，该属性信息对应的目标物即为查询目标，从全景视频交互数据中选择有该目标物出现的全景视频图像帧和透视图，有该目标物出现的全景视频图像帧和透视图即为与该查询信息对应的全景视频交互数据。即该互动展览模块30用于接收用户输入的携带有第一属性信息的请求指令，根据该第一属性信息进行目标物识别，获取该目标物对应的全景视频图像帧和透视图。
在一个优选实施方式中，对于一个全景视频交互数据，查询信息可以为观看角度信息，该互动展览模块30接收用户输入的观看角度信息后，根据该观看角度信息获取对应视线的透视图。
用户还可以通过互动展览模块30与全景视频的内容(目标物热点及热点图标中的标注)进行交互。互动展览模块30还用于接收用户输入的携带有交互信息的请求指令，根据该携带有交互信息的请求指令管理对应热点图标的标注内容和/或属性信息。
在一个优选实施方式中，该互动展览模块30还用于接收用户对显示有标注内容的热点图标的第一点击操作，将该标注内容在部分属性信息和全部属性信息之间切换。标注内容可以仅仅包括属性信息中的基本信息，也可以包括属性信息中的详细信息，当前显示为基本信息时，用户对热点图标进行第一点击操作，标注内容从基本信息切换为详细信息，用户再一次对热点图标进行第一点击操作，标注内容从详细信息切换为基本信息。
在一个优选实施方式中，该互动展览模块30还用于接收用户对显示有标注内容的热点图标的第二点击操作，将该热点图标切换为可编辑模式，并将用户的编辑内容更新至对应目标物的属性信息。用户通过第二点击操作，启动编辑模式，在热点图标中对标注内容进行编辑，同时，该热点图标对应的目标物的属性信息也被重新编辑。
用户每输入一个请求指令(无论携带查询信息还是交互信息)，互动展览模块30根据请求指令执行如下程序：(i)重新调用了全景视频交互数据或(ii)修改了全景视频交互数据。在用户浏览全景视频过程中，通过互动展览模块30调用不同的全景视频交互数据或修改当前全景视频交互数据，并将该重新调用或重新修改的全景视频交互数据加载至全景视频显示模块40，实时同步互动展览模块30的交互动作。
进一步地，本发明实施例的交互***还包括后台管理模块50，后台管理模块50与该全景漫游搭建模块10、该交互模型构建模块20和该互动展览模块30均连接，用于存储及管理目标物的属性信息、全景视频数据、和全景视频交互数据。
具体地，该后台管理模块50用于接收自定义权限信息，根据该自定义权限信息对每个属性信息设置不同的用户权限，并将属性信息的用户权限映射至对应目标物的热点、该热点在透视图的对应投影点、以及该热点或投影点对应的标注内容。也就是说，在全景视频的播放过程中或在全景视频加载显示过程中，用户只能看到与自身权限对应的目标物的热点和热点图标，只能与自身权限对应的目标物的热点进行交互。
进一步地，后台管理模块50负责该全景漫游搭建模块10、该交互模型构建模块20和该互动展览模块30的统一配置及衔接调用，后台管理模块50用于将原始视频图像加载至全景漫游搭建模块10，当全景漫游搭建模块10完成全景视频拼接及透视图生成后，将全景视频数据加载至交互模型构建模块20，当交互模型构建模块20完成热点配置及属性信息关联后，通过互动展览模块30选择需要加载的全景视频交互数据，并将该全景视频交互数据加载至全景视频显示模块40。并且，在用户浏览全景视频过程中，通过互动展览模块30调用不同的全景视频交互数据或修改当前全景视频交互数据，并将该重新调用或重新修改的全景视频交互数据加载至全景视频显示模块40，实时同步互动展览模块30的交互动作。
相应地，本发明实施例还提供了一种全景视频热点交互设备，请参阅图4所示，该交互设备包括：处理器100、存储器200和显示器300，其中，处理器100用于根据用户的请求指令获取与用户权限对应的全景视频交互数据，处理器100可以从服务器或数据库中获取与用户权限对应的全景视频交互数据，将其存储与存储器200中；存储器200用于存储处理器100获取的全景视频交互数据，存储器无需存储所有的全景视频交互数据；显示器300，用于根据加载的全景视频交互数据显示全景视频的场景；该处理器100还用于获取用户在全景视频的场景中的交互信息，重新获取与该交互信息对应的全景视频交互数据或根据交互信息修改当前全景视频交互数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全景视频热点交互***，其特征在于，所述交互***包括：
全景漫游搭建模块，用于获取原始视频图像，对所述原始视频图像进行拼接，以生成球面全景视频，利用球面重投影算法在以所述全景视频的球心为视点的不同视线方向上对所述全景视频进行重构，生成不同视线方向上的透视图，以形成全景视频数据，所述全景视频数据包括所述球面全景视频和与所述球面全景视频对应的各所述透视图；
交互模型构建模块，用于获取所述全景视频数据，在所述全景视频中接收对目标物的点选操作，将所述点选操作对应的像素位置配置为热点，获取所述热点的球面坐标信息，将所述目标物的属性信息与所述热点的球面坐标信息进行关联，获取所述透视图上与所述热点对应的投影点的图像坐标信息，将所述投影点的图像坐标信息与所述热点的球面坐标信息建立映射关系，以形成全景视频交互数据；
互动展览模块，用于接收用户输入的携带有查询信息的请求指令，获取与所述查询信息对应的全景视频交互数据；和/或，用于接收用户输入的携带有交互信息的请求指令，根据所述携带有交互信息的请求指令管理对应热点图标的标注内容和/或属性信息；以及
全景视频显示模块，用于加载与所述查询信息和/或所述交互信息对应的全景视频交互数据，将所述目标物的部分或全部属性信息作为标注内容按照所述热点的球面坐标信息以及所述热点对应的投影点的图像坐标信息分别在所述全景视频和所述透视图中进行显示。
2.根据权利要求1所述的全景视频热点交互***，其特征在于，所述互动展览模块用于接收用户输入的携带有球面坐标信息的请求指令，根据所述球面坐标信息进行目标物识别，获取所述目标物对应的全景视频图像帧和透视图。
3.根据权利要求1所述的全景视频热点交互***，其特征在于，所述互动展览模块用于接收用户输入的携带有第一属性信息的请求指令，根据所述第一属性信息进行目标物识别，获取所述目标物对应的全景视频图像帧和透视图。
4.根据权利要求1所述的全景视频热点交互***，其特征在于，所述互动展览模块还用于接收用户输入的观看角度信息，根据所述观看角度信息获取对应视线的透视图。
5.根据权利要求1所述的全景视频热点交互***，其特征在于，所述互动展览模块还用于接收用户对显示有标注内容的热点图标的第一点击操作，将所述标注内容在部分属性信息和全部属性信息之间切换。
6.根据权利要求1所述的全景视频热点交互***，其特征在于，所述互动展览模块还用于接收用户对显示有标注内容的热点图标的第二点击操作，将所述热点图标切换为可编辑模式，并将用户的编辑内容更新至对应目标物的属性信息。
7.根据权利要求1所述的全景视频热点交互***，其特征在于，所述交互***还包括后台管理模块，用于存储及管理目标物的属性信息以及全景视频交互数据。
8.根据权利要求7所述的全景视频热点交互***，其特征在于，所述后台管理模块用于接收自定义权限信息，根据所述自定义权限信息对每个属性信息设置不同的用户权限，并将属性信息的用户权限映射至对应目标物的热点、所述热点在透视图的对应投影点、以及所述热点或投影点对应的标注内容。
9.根据权利要求7所述的全景视频热点交互***，其特征在于，所述后台管理模块用于将原始视频图像加载至全景漫游搭建模块、和/或将全景视频数据加载至交互模型构建模块、和/或将全景视频交互数据加载至全景视频显示模块。
10.一种全景视频热点交互设备，其特征在于，所述交互设备包括：
处理器，用于根据用户的请求指令获取与用户权限对应的全景视频交互数据；
存储器，用于存储全景视频交互数据；
显示器，用于根据加载的全景视频交互数据显示全景视频的场景；
所述处理器还用于获取用户在全景视频的场景中的交互信息，重新获取与所述交互信息对应的全景视频交互数据或根据交互信息修改当前全景视频交互数据。
CN201910297395.9A 2019-04-15 2019-04-15 全景视频热点交互***及交互设备 Active CN110047035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910297395.9A CN110047035B (zh) 2019-04-15 2019-04-15 全景视频热点交互***及交互设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910297395.9A CN110047035B (zh) 2019-04-15 2019-04-15 全景视频热点交互***及交互设备

Publications (2)

Publication Number Publication Date
CN110047035A CN110047035A (zh) 2019-07-23
CN110047035B true CN110047035B (zh) 2023-04-28

Family

ID=67277171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910297395.9A Active CN110047035B (zh) 2019-04-15 2019-04-15 全景视频热点交互***及交互设备

Country Status (1)

Country Link
CN (1) CN110047035B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858799B (zh) * 2020-06-28 2022-10-21 江苏核电有限公司 一种核电厂用全景图像动态标注定位方法、***及设备
CN111866488A (zh) * 2020-07-23 2020-10-30 深圳市福莱斯科数据开发有限公司 一种基于全景影像的编辑***及编辑方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211040A1 (en) * 2008-11-05 2011-09-01 Pierre-Alain Lindemann System and method for creating interactive panoramic walk-through applications
CA2794928A1 (en) * 2010-03-30 2011-10-06 Social Animal, Inc. System and method for capturing and displaying cinema quality panoramic images
US9865069B1 (en) * 2014-11-25 2018-01-09 Augmented Reality Concepts, Inc. Method and system for generating a 360-degree presentation of an object
US10368047B2 (en) * 2017-02-15 2019-07-30 Adone Inc. Six-degree of freedom video playback of a single monoscopic 360-degree video
CN108280873A (zh) * 2018-01-05 2018-07-13 上海户美信息科技有限公司 模型空间位置捕捉及热点自动生成处理***
CN109063123B (zh) * 2018-08-01 2021-01-05 深圳市城市公共安全技术研究院有限公司 全景视频的标注添加方法及***

Also Published As

Publication number Publication date
CN110047035A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN112053446B (zh) 一种基于三维gis的实时监控视频与三维场景融合方法
US10380410B2 (en) Apparatus and method for image-based positioning, orientation and situational awareness
Wagner et al. Real-time panoramic mapping and tracking on mobile phones
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
CN110874818B (zh) 图像处理和虚拟空间构建方法、装置、***和存储介质
CN110060201B (zh) 一种全景视频的热点交互方法
CN109509255B (zh) 一种标签化地图构建及空间地图更新方法和装置
CN103716586A (zh) 一种基于三维空间场景的监控视频融合***和方法
CN111031293B (zh) 全景监控的展示方法、装置和***及计算机可读存储介质
CN111429518B (zh) 一种标注方法、装置、计算设备及存储介质
CN112954292B (zh) 一种基于增强现实的数字博物馆导览***和方法
KR102435185B1 (ko) 360°vr촬영 기반의 3차원 이미지 생성 및 360°vr 콘텐츠 서비스 제공 방법
CN114332417B (zh) 一种多人场景交互的方法、设备、存储介质及程序产品
Jian et al. Augmented virtual environment: fusion of real-time video and 3D models in the digital earth system
CN110047035B (zh) 全景视频热点交互***及交互设备
CN113838116B (zh) 确定目标视图的方法、装置、电子设备及存储介质
CN114926612A (zh) 空中全景图像处理与沉浸式显示***
CN114385934A (zh) 一种对多个ar地图进行联合查询的***
CN112288878B (zh) 增强现实预览方法及预览装置、电子设备及存储介质
Gomes Jr et al. Semi-automatic methodology for augmented panorama development in industrial outdoor environments
CN114089836B (zh) 标注方法、终端、服务器和存储介质
CN112312041B (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
CN114900743A (zh) 基于视频推流的场景渲染过渡方法以及***
CN114596407A (zh) 资源对象三维模型生成交互方法和装置，显示方法和装置
CN108986183B (zh) 一种全景地图的制作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant