CN106791385A - 一种基于虚拟现实技术的观景方法、装置及*** - Google Patents

一种基于虚拟现实技术的观景方法、装置及*** Download PDF

Info

Publication number
CN106791385A
CN106791385A CN201611130324.2A CN201611130324A CN106791385A CN 106791385 A CN106791385 A CN 106791385A CN 201611130324 A CN201611130324 A CN 201611130324A CN 106791385 A CN106791385 A CN 106791385A
Authority
CN
China
Prior art keywords
video image
visual field
camera head
view angle
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611130324.2A
Other languages
English (en)
Inventor
杨帆
孙华柱
崔溪远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN201611130324.2A priority Critical patent/CN106791385A/zh
Priority to PCT/CN2017/077987 priority patent/WO2018103233A1/zh
Priority to AU2017370476A priority patent/AU2017370476B2/en
Priority to US16/323,676 priority patent/US20190208174A1/en
Publication of CN106791385A publication Critical patent/CN106791385A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/371Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于虚拟现实技术的实时观景方法、装置及***,该方法包括:获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,所述当前观景视场角包括横向观景视场角和纵向观景视场角;获取用户指定地点的摄像装置实时拍摄的视频图像;根据所述当前位置信息和当前观景视场角对所述视频图像进行处理;发送所述处理后的视频图像至显示装置显示。本发明实现了根据用户的位置信息处理实时采集的景点视频图像,就像用户站在窗前看风景一样,用户足不出户便可以实时观看全球各地的景点,达到窗前观景的效果。

Description

一种基于虚拟现实技术的观景方法、装置及***
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种基于虚拟现实技术的观景方法、装置及***。
背景技术
近来VR(Virtual Reality,虚拟现实)技术发展迅速,VR相关产品也快速增加。但是,目前VR设备大多需要用户头戴,所提供的应用场景及模式雷同。“虚拟现实”的概念不应局限于此,从广泛意义上来说,将虚拟现实的概念拓展到用户现实场景中,可以为用户带来一些新的场景和体验可能。
目前,传统的虚拟现实***需要用户头戴特殊设备,虽然能给用户带来全视角的体验,但其使用复杂,设备昂贵,而且可能对用户的健康会产生一定的不良影响,具有较大的局限性。
发明内容
本发明提供一种基于虚拟现实技术的实时观景方法、装置及***,以实现用户足不出户便可以实时观看全球各地的景点,且具有窗前观景的效果。
本发明采用以下技术方案:
第一方面,本发明提供一种基于虚拟现实技术的实时观景方法,包括:
获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,所述当前观景视场角包括横向观景视场角和纵向观景视场角;
获取用户指定地点的摄像装置实时拍摄的视频图像;
根据所述当前位置信息和当前观景视场角对所述视频图像进行处理;
发送所述处理后的视频图像至显示装置显示。
具体地,所述摄像装置为360°全景摄像头。
进一步地,所述根据所述当前位置信息和当前观景视场角对所述视频图像进行处理,包括:
如果所述当前观景视场角小于摄像装置视场角,则根据所述当前位置信息和当前观景视场角对所述视频图像进行裁剪;
根据显示装置的分辨率对裁剪后的视频图像进行缩放。
进一步地,所述获取用户当前的观景视场角,所述观景视场角包括横向观景视场角和纵向观景视场角之后,还包括:
如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度;
所述获取用户指定地点的摄像装置实时拍摄的视频图像,具体为:
获取摄像装置调整采集角度后实时拍摄的视频图像。
具体地,所述如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度,包括:
计算所述当前观景视场角与上一观景视场角的视场角变化量;
根据所述视场角变化量判断所述当前观景视场角对应的视频图像是否超出了所述摄像装置采集的视频图像的范围;
如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,则调整所述摄像装置的采集角度。
第二方面,本发明提供一种基于虚拟现实技术的实时观景装置,包括:
当前观景视场角获取单元,用于获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,所述当前观景视场角包括横向观景视场角和纵向观景视场角;
视频图像获取单元,用于获取用户指定地点的摄像装置实时拍摄的视频图像;
视频图像处理单元,用于根据所述当前位置信息和当前观景视场角对所述视频图像进行处理;
视频图像发送单元,用于发送所述处理后的视频图像至显示装置显示。
进一步地,还包括:
摄像装置采集角度调整单元,用于如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度;
所述视频图像获取单元,具体用于获取摄像装置调整采集角度后实时拍摄的视频图像。
具体地,所述视频图像处理单元具体用于如果所述当前观景视场角小于摄像装置视场角,则根据所述当前观景视场角对所述视频图像进行裁剪,并根据显示装置的分辨率对裁剪后的视频图像进行缩放。
第三方面,本发明提供一种基于虚拟现实技术的实时观景***,包括管理服务器、远端摄像装置、虚拟现实设备、显示装置和本地摄像装置,所述管理服务器配置有上述所述的基于虚拟现实技术的实时观景装置,
所述远端摄像装置布设于世界各地的著名景点,用于拍摄实时视频图像发送至所述管理服务器;
所述本地摄像装置布设于所述显示装置上,用于采集显示装置前方用户面部相对于所述显示装置的位置信息,并将所述位置信息发送至所述虚拟现实设备;
所述虚拟现实设备用于获取所述用户面部相对于所述显示装置的位置信息并将该位置信息发送至所述管理服务器;接收所述管理服务器处理后的视频图像,将所述视频图像发送至所述显示装置进行显示。
第四方面,本发明提供一种基于虚拟现实技术的实时观景***,包括管理服务器、远端摄像装置、虚拟现实设备、显示装置和本地摄像装置,所述虚拟现实设备配置有上述所述的基于虚拟现实技术的实时观景装置,
所述远端摄像装置布设于世界各地的著名景点,用于拍摄实时视频图像发送至所述管理服务器;
所述本地摄像装置布设于所述显示装置上,用于采集显示装置前方用户面部相对于所述显示装置的位置信息,并将所述位置信息发送至所述虚拟现实设备;
所述管理服务器用于根据虚拟现实设备发送的远端摄像装置采集角度调整指令对远端摄像装置的采集角度进行调整;将远端摄像装置拍摄的实时视频图像发送至所述虚拟现实设备进行处理;
所述显示装置用于显示所述虚拟现实设备处理后的视频图像。
本发明提供的技术方案带来如下有益效果:
通过获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,根据所述当前位置信息和当前观景视场角对用户指定地点的摄像装置实时拍摄的视频图像进行处理,发送所述处理后的视频图像至显示装置显示,实现了根据用户的位置信息处理实时采集的景点视频图像,就像用户站在窗前看风景一样,显示装置显示的视频图像根据用户位置变化而变化,用户足不出户欣赏全球各地风景的需求,用户体验好,效果逼真。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1是本发明提供的基于虚拟现实技术的实时观景方法第一个实施例的方法流程图。
图2a是本发明提供的用户横向视场角的平面示意图。
图2b是本发明提供的用户纵向视场角的平面示意图。
图3是本发明提供的视频图像裁剪原理示意图。
图4是本发明提供的基于虚拟现实技术的实时观景方法第二个实施例的方法流程图。
图5是本发明提供的基于虚拟现实技术的实时观景装置第一个实施例的结构方框图。
图6是本发明提供的基于虚拟现实技术的实时观景装置第二个实施例的结构方框图。
图7是本发明提供的基于虚拟现实技术的实时观景***第一个实施例的结构方框图。
图8是本发明提供的基于虚拟现实技术的实时观景***第二个实施例的结构方框图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面将结合附图对本发明实施例的技术方案作进一步的详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的基于虚拟现实技术的实时观景方法第一个实施例的方法流程图。本发明实施例的方法可以由配置在管理服务器中的基于虚拟现实技术的实时观景装置来执行,也可以由配置在虚拟现实设备中的基于虚拟现实技术的实时观景装置来执行。参考图1所示,该基于虚拟现实技术的实时观景方法包括:
S101、获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,所述当前观景视场角包括横向观景视场角和纵向观景视场角。
具体地,实时获取用户面部与显示装置的当前相对位置信息,根据所述相对位置信息计算出用户的当前观景视场角。
本实施例中,在显示装置上端设置一个摄像头,可以实时检测显示装置前方是否存在用户,以及用户位置的变化。现在进行面部识别的算法使用已经相当成熟,因此,通过摄像头跟踪用户的面部位置变化,及时获取用户的当前位置信息。摄像头设置于显示装置上的位置已知,摄像头的拍摄视场角也是已知的,而且用户两只眼睛之间的平均距离也是已知的,通过对摄像头拍摄的图像进行处理可以得出用户面部相对显示装置的平面位置信息,而通过摄像头参数及图像中用户两只眼睛之间的距离估算出用户距离显示屏幕的距离,则可以通过建立三维坐标系表示出用户的位置信息,三维坐标系的原点可以选择为显示装置的中心位置,也可以选择为显示装置的左下角位置。
当然,获取用户面部信息的方式有多种,比如,在显示装置上设置三个摄像装置,三个摄像装置的位置已知,则可以确定显示装置前方用户面部的位置。
还可以通过结合红外装置测距和摄像头面部追踪算法相结合的方式确定用户的位置信息,这里仅是举例说明用户相对于显示装置的当前位置信息是可以获取的,具体实现方式有多种,这里不再一一列举详述。
当前观景视场角包括横向观景视场角和纵向观景视场角。图2a是本发明提供的用户横向视场角的平面示意图。如图2a所示,横向观景视场角为与用户眼睛在同一横平面的显示装置的左右边的两个点与眼睛之间的夹角,Q代表用户面部位置,AB为电视横向的长度,夹角α为横向观景视场角;图2b是本发明提供的用户纵向视场角的平面示意图。如图2b所示,纵向观景视场角为与用户眼睛在同一纵平面内的显示装置的上下边的两个点与眼睛之间的夹角,Q代表用户面部位置,CD为电视纵向的宽度,夹角β为纵向观景视场角。当然,在实际计算中,无论是横向观景视场角还是纵向观景视场角都可以选择两只眼睛的中点为夹角的顶点,也可以以左眼或者右眼为基准,可以根据实际情况选择。
S102、获取用户指定地点的摄像装置实时拍摄的视频图像。
用户可以选择想要欣赏的景点,则该景点调取与其匹配的摄像装置实时采集景点的视频图像,所述摄像装置为摄像头,优选的,所述摄像头为360度全景摄像头,其水平视场角和垂直视场角均大于180°,无论用户如何移动,其视角均不会超出此范围。所述视频图像的采集为实时采集,采集的时间间隔可精确到微秒、毫秒级,以满足用户在显示装置前位置变化时所看到的视频图像为景点当前的现场实景,景点人员流动、风吹草动都能实时在显示装置上显示出来。当然,摄像装置也可以选用广角摄像头,360度全景摄像头仅作为优选方式,并不作为对本技术方案的限制。
S103、根据所述当前位置信息和当前观景视场角对所述视频图像进行处理。
步骤S103具体为:
如果所述当前观景视场角小于摄像装置视场角,则根据所述当前位置信息和当前观景视场角对所述视频图像进行裁剪;
根据显示装置的分辨率对裁剪后的视频图像进行缩放。
当摄像装置为360°全景摄像头时,假设摄像头的水平视场角和垂直视场角均为180°;用户当前横向观景视场角为50°,纵向观景视场角为30°;那么摄像装置拍摄的视频图像要大于在显示装置上显示的图像,则需要按照当前观景视场角和用户当前位置信息对视频图像进行裁剪。
图3是本发明提供的视频图像裁剪原理示意图。参考图3所示,用户从第一个位置变换为第二个位置时,用户当前视场角也发生变化,裁剪的视频图像不同。用户位置变化前显示装置显示的视频图像是在远端摄像装置拍摄的视频图像中裁剪的A区域内容,而用户位置变化后,显示装置显示的视频图像是在远端摄像装置拍摄的视频图像中裁剪的B区域内容,将裁剪的内容进行缩放处理后由显示装置进行显示。如同用户在窗前向外看风景一样,当用户位置变化时,从窗户看到的风景也不同。举例说明,用户相对于显示装置的位置信息通过三维坐标系来表示,以显示装置的中点为原点;将摄像头拍摄的视频图像的中点作为原点建立二维坐标系;用户的位置坐标表示为(x,y,z)时,那么,裁剪视频图像的中心点坐标为(-x、-y),当用户的位置发生变化时,裁剪视频图像的中心点也相应的移动,根据当前观景视场角裁剪出合适的视频图像。裁剪后的视频图像分辨率不一定和显示装置的分辨率对应,因此,需要对裁剪后的视频图像根据显示装置的分辨率进行缩放处理。此处仅为举例说明,具体实现方式有多种,并不作为对本技术方案的限制。
当用户当前位置超出预设范围时,则进行提醒。在显示装置上设置摄像头,如果用户超出该摄像头的拍摄视场角则进行报警提醒。为了扩大用户活动区域,可以在显示装置上设置两个摄像头,以增大拍摄范围。
S104、发送所述处理后的视频图像至显示装置显示。
将经过步骤S103裁剪过的视频图像发送至显示装置进行显示。本实施例中,显示装置为液晶显示屏。
综上,本发明提供的基于虚拟现实技术的实时观景方法通过获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,根据所述当前位置信息和当前观景视场角对用户指定地点的摄像装置实时拍摄的视频图像进行处理,发送所述处理后的视频图像至显示装置显示,实现了根据用户的位置信息处理实时采集的景点视频图像,就像用户站在窗前看风景一样,满足了用户足不出户欣赏全球各地风景的需求,用户体验好,效果逼真。
图4是本发明提供的基于虚拟现实技术的实时观景方法第二个实施例的方法流程图。本实施例以前述方法为基础,当摄像装置的视场角拍摄的视频图像不能满足需求时的具体实现方式。参考图4所示,该基于虚拟现实技术的实时观景方法包括:
S201、获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,所述当前观景视场角包括横向观景视场角和纵向观景视场角。
S202、如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度。
一些摄像头的视场角有限制,比如一般户外摄像头的视场角为150°,但是摄像头的底座固定,摄像头的镜头是可以旋转的,通过摄像头的旋转则可以扩大拍摄范围。
步骤S202具体包括:
1、计算所述当前观景视场角与上一观景视场角的视场角变化量。
2、根据所述视场角变化量判断所述当前观景视场角对应的视频图像是否超出了所述摄像装置采集的视频图像的范围。
例如,当视场角为150°的摄像头拍摄的视频图像,用户前一次的位置信息所裁剪的视频图像已经位于摄像头拍摄的视频图像的边缘,那么当用户再次移动位置时,下次裁剪的视频图像已经超出了摄像头拍摄的视频图像的范围。
3、如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,则调整所述摄像装置的采集角度。
如果判断出下次将要裁剪的视频图像已经超出了摄像头所拍摄的视频图像的范围,那么调整摄像头的镜头角度,则采集到满足裁剪需求的视频图像。
S203、获取摄像装置调整采集角度后实时拍摄的视频图像。
S204、根据所述当前位置信息和当前观景视场角对所述视频图像进行处理。
S205、发送所述处理后的视频图像至显示装置显示。
步骤S201、S203、S204和S205的详细内容请参考图1所示对应内容,这里不再赘述。
综上,本发明提供的基于虚拟现实技术的实时观景方法通过获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度,获取摄像装置调整采集角度后实时拍摄的视频图像,根据所述当前位置信息和当前观景视场角对所述视频图像进行处理,发送所述处理后的视频图像至显示装置显示,实现了根据用户的位置信息处理实时采集的景点视频图像,就像用户站在窗前看风景一样,如果摄像装置拍摄的视频图像不能满足裁剪要求,则对远端摄像装置的采集角度进行调整,扩大了观景范围,满足了用户足不出户欣赏全球各地风景的需求,用户体验好,效果逼真。
图5是本发明提供的基于虚拟现实技术的实时观景装置第一个实施例的结构方框图。该基于虚拟现实技术的实时观景装置可以配置于管理服务器,也可以配置于虚拟现实设备。参考图5所示,该基于虚拟现实技术的实时观景装置10包括:
当前观景视场角获取单元100,用于获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,所述当前观景视场角包括横向观景视场角和纵向观景视场角。
视频图像获取单元101,用于获取用户指定地点的摄像装置实时拍摄的视频图像。
视频图像处理单元102,用于根据所述当前位置信息和当前观景视场角对所述视频图像进行处理;具体用于如果所述当前观景视场角小于摄像装置视场角,则根据所述当前观景视场角对所述视频图像进行裁剪,并根据显示装置的分辨率对裁剪后的视频图像进行缩放。
视频图像发送单元103,用于发送所述处理后的视频图像至显示装置显示。
装置的详细内容参见图1所示的方法,这里不再赘述。
综上,本发明提供的基于虚拟现实技术的实时观景装置通过获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,根据所述当前位置信息和当前观景视场角对用户指定地点的摄像装置实时拍摄的视频图像进行处理,发送所述处理后的视频图像至显示装置显示,实现了根据用户的位置信息处理实时采集的景点视频图像,就像用户站在窗前看风景一样,满足了用户足不出户欣赏全球各地风景的需求,用户体验好,效果逼真。
图6是本发明提供的基于虚拟现实技术的实时观景装置第二个实施例的结构方框图。该基于虚拟现实技术的实时观景装置以前述装置为基础,实现了摄像装置采集角度的调整。参考图6所示,该基于虚拟现实技术的实时观景装置与图5所示装置不同之处在于,还包括:
摄像装置采集角度调整单元104,用于如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度;
所述视频图像获取单元101,具体用于获取摄像装置调整采集角度后实时拍摄的视频图像。
该基于虚拟现实技术的实时观景装置在摄像装置拍摄的视频图像范围不能满足用户移动范围的要求时,对摄像装置的采集角度进行调整,扩大了观景范围,进一步提高了用户观景效果,用户体验好。
图7是本发明提供的基于虚拟现实技术的实时观景***第一个实施例的结构方框图。参考图7所示,该基于虚拟现实技术的实时观景***包括管理服务器1、远端摄像装置2、虚拟现实设备3、显示装置4和本地摄像装置5,所述管理服务器1配置有上述所述的基于虚拟现实技术的实时观景装置10,
所述远端摄像装置2布设于世界各地的著名景点,用于拍摄实时视频图像发送至所述管理服务器;
所述本地摄像装置5布设于所述显示装置4上,用于采集显示装置4前方用户面部相对于所述显示装置4的位置信息,并将所述位置信息发送至所述虚拟现实设备3;
所述虚拟现实设备3用于获取所述用户面部相对于所述显示装置4的位置信息并将该位置信息发送至所述管理服务器1;接收所述管理服务器1处理后的视频图像,将所述视频图像发送至所述显示装置4进行显示。
该基于虚拟现实技术的实时观景***通过远端摄像装置拍摄实时视频图像发送至管理服务器,虚拟现实设备通过本地摄像装置获取用户的面部相对于显示装置的位置信息,并将位置信息发送至管理服务器,管理服务器根据虚拟现实设备发送的位置信息计算出用户视场角,并根据该位置信息和视场角对视频图像进行裁剪,并将裁剪后的视频图像通过虚拟现实设备发送至显示装置进行显示,实现了根据用户的位置信息处理实时采集的景点视频图像,就像用户站在窗前看风景一样,满足了用户足不出户欣赏全球各地风景的需求,用户体验好,效果逼真。本实施例中,基于虚拟现实技术的实时观景装置配置于管理服务器,将所有视频图像处理工作均在管理服务器完成,减少了数据传输量,对网络带宽要求低。
具体地,所述远端摄像装置2为360°全景摄像头,360°全景摄像头拍摄范围大,能满足用户的随意位置。所述本地摄像装置5为广角摄像头,具有较大的拍摄范围,从而使用户具有较大的移动范围。
在一些实施例中,所述管理服务器为云服务器,通过网络与虚拟现实设备连接,且远端摄像装置通过网络与管理服务器连接。管理服务器对全球各地的远端摄像装置传回的视频图像进行管理,所述网络可以为互联网或3G/4G。
图8是本发明提供的基于虚拟现实技术的实时观景***第二个实施例的结构方框图。参考图8所示,该基于虚拟现实技术的实时观景***包括管理服务器2、远端摄像装置3、虚拟现实设备1、显示装置4和本地摄像装置5,所述虚拟现实设备1配置有如上述所述的基于虚拟现实技术的实时观景装置10,
所述远端摄像装置3布设于世界各地的著名景点,用于拍摄实时视频图像发送至所述管理服务器2;
所述本地摄像装置5布设于所述显示装置4上,用于采集显示装置4前方用户面部相对于所述显示装置的位置信息,并将所述位置信息发送至所述虚拟现实设备1;
所述管理服务器2用于根据虚拟现实设备1发送的远端摄像装置采集角度调整指令对远端摄像装置3的采集角度进行调整;将远端摄像装置拍摄的实时视频图像发送至所述虚拟现实设备1进行处理;
所述显示装置4用于显示所述虚拟现实设备1处理后的视频图像。
该基于虚拟现实技术的实时观景***通过远端摄像装置拍摄实时视频图像发送至管理服务器,管理服务器根据虚拟现实设备发送的远端摄像装置采集角度调整指令对远端摄像装置的采集角度进行调整,将远端摄像装置拍摄的实时视频图像发送至所述虚拟现实设备进行处理,实现了根据用户的位置信息处理实时采集的景点视频图像,就像用户站在窗前看风景一样,满足了用户足不出户欣赏全球各地风景的需求,用户体验好,效果逼真。本实施例中,基于虚拟现实技术的实时观景装置配置于虚拟现实设备,将所有视频图像处理工作均在虚拟现实设备完成,减少了管理服务器的工作量,对服务器要求低,有利于降低成本。
具体地,所述远端摄像装置3为360°全景摄像头,360°全景摄像头拍摄范围大,能满足用户的随意位置。所述本地摄像装置5为广角摄像头,具有较大的拍摄范围,从而使用户具有较大的移动范围。
在一些实施例中,所述管理服务器为云服务器,通过网络与虚拟现实设备连接,且远端摄像装置通过网络与管理服务器连接。管理服务器对全球各地的远端摄像装置传回的视频图像进行管理,所述网络可以为互联网或3G/4G。
以上内容仅为本发明的较佳实施例,对于本领域的普通技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于虚拟现实技术的实时观景方法,其特征在于,包括:
获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,所述当前观景视场角包括横向观景视场角和纵向观景视场角;
获取用户指定地点的摄像装置实时拍摄的视频图像;
根据所述当前位置信息和当前观景视场角对所述视频图像进行处理;
发送所述处理后的视频图像至显示装置显示。
2.根据权利要求1所述的方法,其特征在于,所述摄像装置为360°全景摄像头。
3.根据权利要求1所述的方法,其特征在于,所述根据所述当前位置信息和当前观景视场角对所述视频图像进行处理,包括:
如果所述当前观景视场角小于摄像装置视场角,则根据所述当前位置信息和当前观景视场角对所述视频图像进行裁剪;
根据显示装置的分辨率对裁剪后的视频图像进行缩放。
4.根据权利要求1所述的方法,其特征在于,所述获取用户当前的观景视场角,所述观景视场角包括横向观景视场角和纵向观景视场角之后,还包括:
如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度;
所述获取用户指定地点的摄像装置实时拍摄的视频图像,具体为:
获取摄像装置调整采集角度后实时拍摄的视频图像。
5.根据权利要求4所述的方法,其特征在于,所述如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度,包括:
计算所述当前观景视场角与上一观景视场角的视场角变化量;
根据所述视场角变化量判断所述当前观景视场角对应的视频图像是否超出了所述摄像装置采集的视频图像的范围;
如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,则调整所述摄像装置的采集角度。
6.一种基于虚拟现实技术的实时观景装置,其特征在于,包括:
当前观景视场角获取单元,用于获取用户相对于显示装置的当前的位置信息,根据所述当前位置信息计算出用户当前观景视场角,所述当前观景视场角包括横向观景视场角和纵向观景视场角;
视频图像获取单元,用于获取用户指定地点的摄像装置实时拍摄的视频图像;
视频图像处理单元,用于根据所述当前位置信息和当前观景视场角对所述视频图像进行处理;
视频图像发送单元,用于发送所述处理后的视频图像至显示装置显示。
7.根据权利要求6所述的基于虚拟现实技术的实时观景装置,其特征在于,还包括:
摄像装置采集角度调整单元,用于如果所述当前观景视场角对应的视频图像超出了所述摄像装置采集的视频图像的范围,调整所述摄像装置的采集角度;
所述视频图像获取单元,具体用于获取摄像装置调整采集角度后实时拍摄的视频图像。
8.根据权利要求1所述的基于虚拟现实技术的实时观景装置,其特征在于,所述视频图像处理单元具体用于如果所述当前观景视场角小于摄像装置视场角,则根据所述当前观景视场角对所述视频图像进行裁剪,并根据显示装置的分辨率对裁剪后的视频图像进行缩放。
9.一种基于虚拟现实技术的实时观景***,其特征在于,包括管理服务器、远端摄像装置、虚拟现实设备、显示装置和本地摄像装置,所述管理服务器配置有如权利要求6至8任一项所述的基于虚拟现实技术的实时观景装置,
所述远端摄像装置布设于世界各地的著名景点,用于拍摄实时视频图像发送至所述管理服务器;
所述本地摄像装置布设于所述显示装置上,用于采集显示装置前方用户面部相对于所述显示装置的位置信息,并将所述位置信息发送至所述虚拟现实设备;
所述虚拟现实设备用于获取所述用户面部相对于所述显示装置的位置信息并将该位置信息发送至所述管理服务器;接收所述管理服务器处理后的视频图像,将所述视频图像发送至所述显示装置进行显示。
10.一种基于虚拟现实技术的实时观景***,其特征在于,包括管理服务器、远端摄像装置、虚拟现实设备、显示装置和本地摄像装置,所述虚拟现实设备配置有如权利要求6至8任一项所述的基于虚拟现实技术的实时观景装置,
所述远端摄像装置布设于世界各地的著名景点,用于拍摄实时视频图像发送至所述管理服务器;
所述本地摄像装置布设于所述显示装置上,用于采集显示装置前方用户面部相对于所述显示装置的位置信息,并将所述位置信息发送至所述虚拟现实设备;
所述管理服务器用于根据虚拟现实设备发送的远端摄像装置采集角度调整指令对远端摄像装置的采集角度进行调整;将远端摄像装置拍摄的实时视频图像发送至所述虚拟现实设备进行处理;
所述显示装置用于显示所述虚拟现实设备处理后的视频图像。
CN201611130324.2A 2016-12-09 2016-12-09 一种基于虚拟现实技术的观景方法、装置及*** Pending CN106791385A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201611130324.2A CN106791385A (zh) 2016-12-09 2016-12-09 一种基于虚拟现实技术的观景方法、装置及***
PCT/CN2017/077987 WO2018103233A1 (zh) 2016-12-09 2017-03-24 基于虚拟现实技术的观景方法、装置及***
AU2017370476A AU2017370476B2 (en) 2016-12-09 2017-03-24 Virtual reality-based viewing method, device, and system
US16/323,676 US20190208174A1 (en) 2016-12-09 2017-03-24 Virtual reality-based viewing method, device, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611130324.2A CN106791385A (zh) 2016-12-09 2016-12-09 一种基于虚拟现实技术的观景方法、装置及***

Publications (1)

Publication Number Publication Date
CN106791385A true CN106791385A (zh) 2017-05-31

Family

ID=58879727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611130324.2A Pending CN106791385A (zh) 2016-12-09 2016-12-09 一种基于虚拟现实技术的观景方法、装置及***

Country Status (4)

Country Link
US (1) US20190208174A1 (zh)
CN (1) CN106791385A (zh)
AU (1) AU2017370476B2 (zh)
WO (1) WO2018103233A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、***
TWI653882B (zh) 2017-11-23 2019-03-11 宏碁股份有限公司 視訊裝置及其三維物件編解碼方法
CN109741464A (zh) * 2019-01-08 2019-05-10 三星电子(中国)研发中心 用于显示实景的方法和装置
CN110856107A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 智能导游方法、***、服务器及车辆
CN111683077A (zh) * 2020-06-02 2020-09-18 硅谷数模(苏州)半导体有限公司 虚拟现实设备及数据的处理方法
WO2021223667A1 (en) * 2020-05-05 2021-11-11 Huawei Technologies Co., Ltd. System and method for video processing using a virtual reality device
CN114286005A (zh) * 2021-12-29 2022-04-05 合众新能源汽车有限公司 一种车辆天窗的图像显示方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650522B (zh) * 2018-05-29 2020-10-27 青岛一舍科技有限公司 基于自动控制的可即时获取高清照片的直播***
CN111610854A (zh) * 2020-01-06 2020-09-01 上海鼎族电子商务有限公司 一种vr交互影像管理***
CN111741287B (zh) * 2020-07-10 2022-05-17 南京新研协同定位导航研究院有限公司 一种mr眼镜利用位置信息触发内容的方法
CN112995501A (zh) * 2021-02-05 2021-06-18 歌尔科技有限公司 摄像头的控制方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345357A (zh) * 2013-07-31 2013-10-09 关鸿亮 一种基于移动设备传感器实现自动街景展示的方法
CN103384865A (zh) * 2011-02-22 2013-11-06 高通股份有限公司 基于用户相对于移动平台的位置来提供经纠正的视图
US20140002351A1 (en) * 2012-07-02 2014-01-02 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
CN104902263A (zh) * 2015-05-26 2015-09-09 深圳市圆周率软件科技有限责任公司 一种图像信息展现***和方法
US20160086306A1 (en) * 2014-09-19 2016-03-24 Sony Computer Entertainment Inc. Image generating device, image generating method, and program
CN106162035A (zh) * 2015-05-12 2016-11-23 Lg电子株式会社 移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384865A (zh) * 2011-02-22 2013-11-06 高通股份有限公司 基于用户相对于移动平台的位置来提供经纠正的视图
US20140002351A1 (en) * 2012-07-02 2014-01-02 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
CN103345357A (zh) * 2013-07-31 2013-10-09 关鸿亮 一种基于移动设备传感器实现自动街景展示的方法
US20160086306A1 (en) * 2014-09-19 2016-03-24 Sony Computer Entertainment Inc. Image generating device, image generating method, and program
CN106162035A (zh) * 2015-05-12 2016-11-23 Lg电子株式会社 移动终端
CN104902263A (zh) * 2015-05-26 2015-09-09 深圳市圆周率软件科技有限责任公司 一种图像信息展现***和方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、***
CN107317987B (zh) * 2017-08-14 2020-07-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、***
TWI653882B (zh) 2017-11-23 2019-03-11 宏碁股份有限公司 視訊裝置及其三維物件編解碼方法
CN110856107A (zh) * 2018-08-21 2020-02-28 上海擎感智能科技有限公司 智能导游方法、***、服务器及车辆
CN110856107B (zh) * 2018-08-21 2023-08-22 上海擎感智能科技有限公司 智能导游方法、***、服务器及车辆
CN109741464A (zh) * 2019-01-08 2019-05-10 三星电子(中国)研发中心 用于显示实景的方法和装置
CN109741464B (zh) * 2019-01-08 2023-03-24 三星电子(中国)研发中心 用于显示实景的方法和装置
WO2021223667A1 (en) * 2020-05-05 2021-11-11 Huawei Technologies Co., Ltd. System and method for video processing using a virtual reality device
CN111683077A (zh) * 2020-06-02 2020-09-18 硅谷数模(苏州)半导体有限公司 虚拟现实设备及数据的处理方法
CN114286005A (zh) * 2021-12-29 2022-04-05 合众新能源汽车有限公司 一种车辆天窗的图像显示方法及装置

Also Published As

Publication number Publication date
US20190208174A1 (en) 2019-07-04
WO2018103233A1 (zh) 2018-06-14
AU2017370476A1 (en) 2019-04-11
AU2017370476B2 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
CN106791385A (zh) 一种基于虚拟现实技术的观景方法、装置及***
CN106251399B (zh) 一种基于lsd-slam的实景三维重建方法及实施装置
CN102148965B (zh) 多目标跟踪特写拍摄视频监控***
US9965026B2 (en) Interactive video display method, device, and system
CN114527872B (zh) 虚拟现实交互***、方法及计算机存储介质
CN103905792B (zh) 一种基于ptz监控摄像机的3d定位方法及装置
CN108259921B (zh) 一种基于场景切换的多角度直播***及切换方法
US8723951B2 (en) Interactive wide-angle video server
CN107333051B (zh) 一种室内全景视频生成方法及装置
CN105787884A (zh) 一种图像处理方法及电子设备
CN103686084A (zh) 一种用于多无人机协同实时侦察的全景视频监控方法
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
WO2016187924A1 (zh) 一种图像信息展现***和方法
CN106506955A (zh) 一种基于gis地图的变电站视频巡检路径规划方法
CN107289931A (zh) 一种定位刚体的方法、装置和***
CN107438152A (zh) 一种运动摄像机对全景目标快速定位捕捉方法及***
CN105872770A (zh) 一种音量调节方法及***
WO2022047701A1 (zh) 图像处理方法和装置
CN109525816A (zh) 一种基于三维地理信息的多枪多球融合联动***及方法
CN105472308A (zh) 多视角裸眼3d视频会议***
CN104506840A (zh) 一种实时立体视频拼接装置及特写方法
WO2007060497A2 (en) Interactive wide-angle video server
JP5223096B2 (ja) 3d映像撮影制御システム、3d映像撮影制御方法、およびプログラム
CN107454326B (zh) 利用鱼眼镜头进行全景摄像的方法、摄像机以及全景摄像***
CN107895347A (zh) 一种视觉自适应调节显示装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531