CN106507094A - 校正全景视频显示视角的方法及装置 - Google Patents

校正全景视频显示视角的方法及装置 Download PDF

Info

Publication number
CN106507094A
CN106507094A CN201610930116.4A CN201610930116A CN106507094A CN 106507094 A CN106507094 A CN 106507094A CN 201610930116 A CN201610930116 A CN 201610930116A CN 106507094 A CN106507094 A CN 106507094A
Authority
CN
China
Prior art keywords
attitude angle
panoramic picture
panoramic
picture
display body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610930116.4A
Other languages
English (en)
Other versions
CN106507094B (zh
Inventor
邱东
黄业桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Madv Technology Co Ltd
Original Assignee
Beijing Madv Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Madv Technology Co Ltd filed Critical Beijing Madv Technology Co Ltd
Priority to CN201610930116.4A priority Critical patent/CN106507094B/zh
Publication of CN106507094A publication Critical patent/CN106507094A/zh
Application granted granted Critical
Publication of CN106507094B publication Critical patent/CN106507094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种校正全景视频显示视角的方法及装置,所述方法包括获取全景视频以及全景视频对应的姿态角数据序列;针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体,并从姿态角数据序列中查找出全景图像对应的姿态角;根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。本发明能够将拍摄全景视频时产生的画面晃动、抖动或旋转等抵消掉,使播放的视频画面始终保持平稳,增加了观看者的观看体验。

Description

校正全景视频显示视角的方法及装置
技术领域
本发明涉及虚拟现实技术,尤指一种校正全景视频显示视角的方法及装置。
背景技术
全景拍摄可以在拍摄位置拍摄左右上下360度的视频,让观看者有一种身临其境的感觉。现有技术中,全景拍摄设备通过两个鱼眼镜头或多个广角镜头采集外界图像,然后通过算法进行拼接,形成全景视频。
在进行实际拍摄的过程中,尤其是在运动状态下,拍摄设备会发生一些晃动或抖动,这就导致拍摄出来的视频在显示时显示画面会发生相同的晃动或抖动,造成播放的画面不稳定,观看者的观看体验大大降低。
发明内容
为了解决上述技术问题,本申请提供了一种校正全景视频显示视角的方法及装置,能够消除在拍摄过程中由于拍摄设备晃动而引入的不期望的画面晃动。
为了达到本发明目的,本发明提供了一种校正全景视频显示视角的方法,包括:
获取全景视频以及全景视频对应的姿态角数据序列;
针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体,并从所述姿态角数据序列中查找出全景图像对应的姿态角;
根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。
本发明还提供了一种校正全景视频显示视角的装置,包括:
一获取单元,用于获取全景视频以及全景视频对应的姿态角数据序列;
一全景单元,用于针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体;
一查找单元,用于从所述姿态角数据序列中查找出全景图像对应的姿态角;
一校正单元,用于根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。
与现有技术相比,本发明包括获取全景视频以及全景视频对应的姿态角数据序列;针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体,并从姿态角数据序列中查找出全景图像对应的姿态角;根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。本发明能够将拍摄全景视频时产生的画面晃动、抖动或旋转等抵消掉,使播放的视频画面始终保持平稳,增加了观看者的观看体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本申请的校正全景视频显示视角的方法的流程图;
图2为本申请的校正全景视频显示视角的装置的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
现有技术中,拍摄设备在拍摄全景视频的过程中由于实际拍摄情景的影响会发生晃动或抖动等情况,这就导致拍摄得到的全景视频的画面会存在与拍摄设备相同的晃动或抖动,以致画面不稳,在播放全景视频时这种画面的晃动或抖动甚至会使观看者产生眩晕,大大降低了观看者的观看体验。
本申请中考虑到拍摄设备的姿态传感器可以实时记录拍摄设备在拍摄全景视频时的姿态角,因此,在获取全景视频时,也同时获取到全景视频对应的姿态角数据序列。姿态角数据序列中包含全景视频中的全景图像对应的姿态角,之后再将全景图像贴到预定的三维几何形体的表面得到全景展示体,再根据全景图像的姿态角对全景展示体进行旋转。由于全景图像对应的姿态角能够表征拍摄视频拍摄全景图像时姿态,也就是表征拍摄设备在拍摄全景图像时是否发生晃动以及晃动的程度,根据全景图像的姿态角对全景展示体进行旋转可以消除拍摄全景图像时由于拍摄设备的晃动造成的图像晃动,使得全景视频能够画面稳定的进行显示。
如图1所示,本申请一实施例提供的校正全景视频显示视角的方法,包括:
步骤101:获取全景视频以及全景视频对应的姿态角数据序列;
步骤102:针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体,并从姿态角数据序列中查找出全景图像对应的姿态角;
步骤103:根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。
本申请的校正全景视频显示视角的方法可以应用于对全景相机、运动相机等拍摄设备拍摄的全景视频校正显示视角,也可以是对全景电影、全景动画等由专业设备拍摄制作的全景内容校正显示视角等。全景视频既可以是采集到的视频编码保存成的视频文件以供以后播放,也可以是采集到的视频图像实时处理并直播出去。
本申请的校正全景视频显示视角的方法可以应用在手机、头显设备等显示设备中,由显示设备在显示全景视频时实现对全景视频显示视角的校正。也可以应用在全景相机、运动相机等拍摄设备中,在拍摄设备拍摄得到全景视频后即对全景视频的显示视角进行校正,以使后续获得到全景视频的显示设备能够直接显示出经校正后的全景视频。当然,同样也可以应用到全景内容的后期制作设备中,在后期处理的过程中对全景视频的显示视角进行校正。
首先,为了消除由于拍摄时的晃动、抖动等给全景视频造成的画面不稳的问题,需要获取到全景视频以及全景视频对应的姿态角数据序列。例如,在显示设备上通过本申请的方法校正显示视角时,对于拍摄设备拍摄的全景视频,显示设备可以直接从拍摄设备获取全景视频以及对应的姿态角数据序列。在拍摄设备上校正显示视角时,可以从拍摄设备的图像采集单元获取拍摄的全景视频,从拍摄设备的姿态传感器获取姿态角数据序列。
姿态角数据序列中包含全景视频的每一帧全景图像的姿态角。拍摄设备在拍摄全景视频的过程中,可以通过姿态传感实时采集姿态角,记录为按照采集时刻或帧号等进行索引的姿态角数据序列,姿态角数据序列可以与全景视频一同保存或通过网络单独传输。
姿态传感器包括但不限于重力传感器、加速度传感器、陀螺仪传感器,以及它们的任意组合。姿态传感器可以内置于拍摄设备内部,也可以通过刚性连接装置与拍摄设备相连接,使得其采集到的姿态角可以实时反映拍摄设备的姿态角。
姿态角的形式可以是用于表示三维空间旋转变换的任意数学表示,包括但不限于旋转矩阵、四元数、欧拉角等等,也可以是原始的角速度或加速度加上时刻信息的形式。姿态角传感器获取姿态角的方法,包括了必要的对原始数据的加工处理,使之变成任意一种可以用于表示三维空间旋转变换的数学形式下的数据。
如上所述,在姿态角数据序列中可以通过姿态角的采集时刻或帧号对姿态角进行索引,以便根据索引能够为全景图像查找对应的姿态角。姿态角的采集时刻等同于姿态角对应的全景图像的拍摄时刻,也就是全景图像的时间戳,通过时间戳能够建立起姿态角与全景图像的对应关系。帧号是全景图像的唯一标识,通过帧号能够识别出全景视频中的每一帧全景图像。将帧号作为姿态角的索引,同样能够建立起全景图像与姿态角的对应关系。
姿态角数据序列的保存或传输方式并不限定为将姿态角数据序列作为单独的数据实体进行保存或传输,例如保存成独立的磁盘文件,而是也包括以附加数据的形式直接添加在全景视频数据本身的方式。例如,可以将姿态角数据转换为文本,在视频文件的字幕通道中对应于该姿态角的采集时刻处添加上述文本作为字幕信息。任何可以将姿态角与采集时刻的对应关系记录并保存或传输的方法都可以视为保存和传输姿态角数据序列的方法,本申请不对具体方式作限定。
其次,在获取到全景视频以及对应的姿态角数据序列后,针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体。为了能够通过旋转消除拍摄晃动造成的视频画面不稳的问题,不论是在显示设备还是拍摄设备上实现本申请的方法,均需要将全景视频的每一帧全景图像贴到预定的三位几何形体的表面,得到全景图像的全景展示体,再对全景展示体进行相应的旋转。
当然,对于显示设备,将全景图像贴到预定的三位几何形体的表面是显示全景视频的其中一个步骤。显示设备在通过存储介质或网络获取到全景视频和对应的姿态角数据序列后,对全景视频进行解码,得到组成全景视频的全景图像序列,再将全景图像贴在预定的三维几何形体的表面,得到全景展示体。对于全景展示体,再将假想中的虚拟摄像机朝向全景展示体,按照某种投影变换将全景展示体映射为二维图像,就实现了全景内容的显示。上述投影变换包括但不限于透视变换、正交投影变换等。上述预定的三维几何形体包括但不限于球体、立方体、三棱锥体等。
本申请中,在得到全景图像的全景展示体后,需要从姿态角数据序列中查找出全景图像对应的姿态角,以便根据查找到的姿态角对全景图像的全景展示体进行旋转,从而消除拍摄抖动带来的画面抖动。
如上所述,在姿态角数据序列中是以全景图像的时间戳或是帧号作为姿态角的索引,因此,在为每一帧全景图像查找对应的姿态角时,可以将全景图像的时间戳或帧号在姿态角数据序列中进行匹配,匹配到的相同的时间戳或帧号所对应的姿态角即为全景图像对应的姿态角。
再次,在得到全景图像的全景展示体,并为全景图像查找到对应的姿态角后,就可以根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。
本申请中姿态角数据序列中的姿态角既可以是拍摄设备的姿态角传感器在拍摄设备拍摄全景图像时采集到的拍摄设备的姿态角,也可以是拍摄设备的姿态角相对于基准姿态角的旋转变化量。
如果在姿态角数据序列中记录的是拍摄设备拍摄全景图像时的姿态角,则在对全景图像的全景展示体进行旋转时,需要首先计算出全景图像对应的姿态角相对于基准姿态角的旋转变化量,再按照该旋转变化量,对全景图像的全景展示体进行与拍摄设备在拍摄该帧全景图像时所作旋转相同的旋转,达到消除图像晃动的目的。
对于全景视频,在将全景图像贴到预定的三维几何形体的表面上后,屏幕上显示的是虚拟摄像机以全景展示体的球心为中心,在全景展示体中采集到的画面。对于未按照本申请中的方法根据全景图像对应的姿态角对全景展示体进行旋转的情况,由于在拍摄全景图像时,拍摄设备的拍摄视角发生了晃动,这就导致在显示时,虚拟摄像机采集图像也会发生晃动,导致显示的画面视角改变,画面不稳。本申请的方法中,对全景展示体进行与拍摄晃动相同的旋转,在虚拟摄像机不变的情况下,使虚拟摄像机仍然能够按照与前一帧全景图像相同的视角采集图像,从而消除了由于拍摄晃动带来的显示视角改变及显示画面晃动。
上述基准姿态角可以是拍摄设备开始拍摄全景视频时的姿态角。基准姿态角的形式可以是视频拍摄开始时刻的姿态角数据经过必要的加工转换而成的任意一种可用于表示三维空间旋转变换的数学形式。全景图像的旋转变化量是全景图像对应的姿态角与基准姿态角的差值结果。
如果在姿态角数据序列中记录的是拍摄该全景图像时拍摄设备的姿态角相对于基准姿态角的旋转变化量,则需要在采集到每一帧全景图像的姿态角后,即对全景图像的姿态角与基准姿态角做差值,得到旋转变化量,并将每一帧全景图像对应的旋转变化量以全景图像的时间戳或帧号生成姿态角数据序列。
在这种情况下,在根据姿态角对全景图像的全景展示体进行旋转时,可以直接按照从姿态角数据序列中查找到的全景图像对应的姿态角,对全景图像的全景展示体进行与拍摄设备在拍摄该帧全景图像时所作旋转相同的旋转,消除了由于拍摄晃动带来的显示视角改变及显示画面晃动。
旋转变化量是拍摄全景图像时拍摄设备的姿态角相对于基准姿态角的旋转变化量,将该旋转变化应用于全景图像所贴在的三维几何形体上,使其作与拍摄设备采集该帧全景图像时相同的旋转,则拍摄时引入的旋转被抵消,显示设备上显示的全景视频的视角不会因为拍摄晃动发生改变,达到了防止画面稳定,增强画面稳定性的效果。
进一步的,在本申请的一可选实施例中,在根据查找到的姿态角对全景图像的全景展示体进行旋转后,还可以将全景展示体再展开为全景图像,得到全景视频的校正全景图像。校正全景图像的数量与全景视频的原始全景图像的数量相同,并一一对应。校正全景图像可以单独保存,也可以仅保存校正全景图像,而不再保留全景视频的原始全景图像。校正全景图像的存在可以使后续获取到校正全景图像的设备能够直接展示出画面平稳的全景视频,而无需再做其他处理工作。
如上所述,本申请的校正全景视频显示视角的方法既可以应用到手机等显示设备上,也可以应用到全景相机等拍摄设备上。在应用到显示设备的情况下,在得到全景展示体,并根据姿态角对全景展示体进行旋转后,已经实现了对全景视频的视角校正,并已完成显示。后续,再将全景展示体展开为全景图像,得到的校正全景图像,可以是由显示设备分享到网络,供其他观看者下载观看,或是直接共享到其他显示设备供观看者观看。在本申请的方法应用到拍摄设备的情况下,对于具有显示功能的拍摄设备,其与显示设备是相似的;对于不具有显示功能的拍摄设备,在得到全景展示体,并根据姿态角对全景展示体进行旋转后,需要将全景展示体展开为全景图像,得到校正全景图像,再将校正全景图像进行输出供显示设备显示,实现全景实现显示视角的校正。
值得说明的是,本申请提供的校正全景视频显示视角的方法中,在获取到全景视频以及全景视频对应的姿态角数据序列后,从所述姿态角数据序列中查找出全景图像对应的姿态角前,还可以对姿态角数据序列进行滤波,保留姿态角数据序列中数值变化频率高于频率阈值的分量,滤除数值变化频率低于频率阈值的分量,以对拍摄时晃动对全景图像的全景展示体造成的旋转进行抵消,保留拍摄者改变拍摄视角的动作对全景图像的全景展示体造成的旋转。
上述通过滤波算法可以将全景视频中的全景图像的拍摄晃动区分为两种情况:(一)不希望引入的晃动,如拍摄设备在运动中拍摄所发生的抖动、摇晃等;(二)拍摄者主动改变拍摄视角所引起的拍摄设备的转动。
对于情况(一),这种情况下的晃动导致的拍摄设备的姿态角的变化的频率是相对较高的,可以根据实际情况设置一频率阈值,对于姿态角数据序列中,数值变化频率高于频率阈值的分量,可以认定为是在发生不希望的晃动的情况下所拍摄的全景图像对应的姿态角。对于这些全景图像是需要通过旋转消除晃动造成的视角变化的,所以在姿态角数据序列中保留这些全景图像对应的姿态角,也就是数值变化频率高于频率阈值的分量,以便在根据姿态角对全景图像的全景展示体进行调整。
对于情况(二),这种情况下是拍摄者主动改变拍摄视角导致的显示视角的改变。实际拍摄中,由于拍摄场景、拍摄目标的改变,很多情况下是需要改变拍摄视角的。这种情况下,在显示设备上也是需要反映拍摄者所想要呈现的拍摄视角的,因此不需要通过对全景展示体进行旋转来校正显示视角。拍摄者主动调整拍摄视角的情况下,拍摄设备拍摄的姿态角并不会频繁的变化,因此,从姿态角数据序列中滤除数值变化频率低于频率阈值的分量,也就是拍摄者主动调整后拍摄的全景图像对应的姿态角,从姿态角数据序列中滤除这部分数据分量后,也就不会再对拍摄者主动调整拍摄视角的全景图像的全景展示体进行旋转,保留了拍摄者的拍摄视角。
以上通过对姿态角数据序列进行滤波,对拍摄设备拍摄视角改变的原因进行区分,更加有针对性的消除由不希望发生的晃动引起的视角改变,通过对全景图像进行区别性的处理,能够达到更好的显示效果,增强了用户的使用体验。
值得说明的是,在本申请的校正全景视频显示视角的方法中,是否对姿态角数据序列进行滤波可以根据实际需要进行选择。如果不对姿态角数据序列进行滤波,则会对拍摄晃动带来的画面视角改变以及拍摄者主动调整拍摄视角带来的画面视角改变均进行显示视角的校正。也就是将显示视角始终保持在开始拍摄全景视频时的视角上,不论是发生拍摄晃动还是拍摄者主动改变拍摄视角均将显示视角保持在拍摄开始时的视角上。这种方式中,将显示视角始终保持在同一视角上,完全由观看者调整观看的视角,画面始终保持稳定的视角。
此外,本申请的校正全景视频显示视角的方法中,对于姿态角数据序列中的姿态角,还可以通过交互式人机界面,接收对姿态角的修改,为姿态角添加偏移量,使全景视频按照人为预期的视角显示。例如,在实际中,人们可能希望视频以某一视角进行显示,通过为姿态角数据添加偏移量,调整姿态角的大小,满足了人为控制全景视频显示视角的需求,可以以更加个性化的方式显示全景视频。
如图2所示,本申请还提供了一种校正全景视频显示视角的装置,包括:
一获取单元,用于获取全景视频以及全景视频对应的姿态角数据序列;
一全景单元,用于针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体;
一查找单元,用于从姿态角数据序列中查找出全景图像对应的姿态角;
一校正单元,用于根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。
进一步,上述装置还包括:
一展开单元,用于在校正单元根据查找到的姿态角对全景图像的全景展示体进行旋转后,将全景展示体展开为全景图像,得到全景视频的校正全景图像,以使后续获取到全景视频的校正全景图像的设备能够展示画面平稳的全景视频。
进一步,上述装置还包括:
一滤波单元,用于在获取单元获取到全景视频以及全景视频对应的姿态角数据序列后,查找单元从姿态角数据序列中查找出全景图像对应的姿态角前,对姿态角数据序列进行滤波,保留姿态角数据序列中数值变化频率高于频率阈值的分量,滤除数值变化频率低于频率阈值的分量,以对拍摄时晃动对全景图像的全景展示体造成的旋转进行抵消,保留拍摄者改变拍摄视角的动作对全景图像的全景展示体造成的旋转。
进一步,全景图像对应的姿态角是拍摄该全景图像时拍摄设备的姿态角;
校正单元根据查找到的姿态角对全景图像的全景展示体进行旋转,包括:计算全景图像对应的姿态角相对于基准姿态角的旋转变化量,按照该旋转变化量,对全景图像的全景展示体进行与拍摄设备在拍摄该帧全景图像时所作旋转相同的旋转。
进一步,全景图像对应的姿态角是拍摄该全景图像时拍摄设备的姿态角相对于基准姿态角的旋转变化量;
校正单元根据查找到的姿态角对全景图像的全景展示体进行旋转,包括:按照全景图像对应的姿态角,对全景图像的全景展示体进行与拍摄设备在拍摄该帧全景图像时所作旋转相同的旋转。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种校正全景视频显示视角的方法,其特征在于,包括:
获取全景视频以及全景视频对应的姿态角数据序列;
针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体,并从所述姿态角数据序列中查找出全景图像对应的姿态角;
根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在根据查找到的姿态角对全景图像的全景展示体进行旋转后,还将所述全景展示体展开为全景图像,得到全景视频的校正全景图像,以使后续获取到全景视频的校正全景图像的设备能够展示画面平稳的全景视频。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在获取到全景视频以及全景视频对应的姿态角数据序列后,从所述姿态角数据序列中查找出全景图像对应的姿态角前,还对所述姿态角数据序列进行滤波,保留所述姿态角数据序列中数值变化频率高于频率阈值的分量,滤除数值变化频率低于频率阈值的分量,以对拍摄时晃动对全景图像的全景展示体造成的旋转进行抵消,保留拍摄者改变拍摄视角的动作对全景图像的全景展示体造成的旋转。
4.根据权利要求1或2所述的方法,其特征在于:
所述全景图像对应的姿态角是拍摄该全景图像时拍摄设备的姿态角;
所述根据查找到的姿态角对全景图像的全景展示体进行旋转,包括:计算全景图像对应的姿态角相对于基准姿态角的旋转变化量,按照该旋转变化量,对全景图像的全景展示体进行与拍摄设备在拍摄该帧全景图像时所作旋转相同的旋转。
5.根据权利要求1或2所述的方法,其特征在于:
所述全景图像对应的姿态角是拍摄该全景图像时拍摄设备的姿态角相对于基准姿态角的旋转变化量;
所述根据查找到的姿态角对全景图像的全景展示体进行旋转,包括:按照所述全景图像对应的姿态角,对全景图像的全景展示体进行与拍摄设备在拍摄该帧全景图像时所作旋转相同的旋转。
6.一种校正全景视频显示视角的装置,其特征在于,包括:
一获取单元,用于获取全景视频以及全景视频对应的姿态角数据序列;
一全景单元,用于针对全景视频的每一帧全景图像,将全景图像贴到预定的三维几何形体的表面,得到全景展示体;
一查找单元,用于从所述姿态角数据序列中查找出全景图像对应的姿态角;
一校正单元,用于根据查找到的姿态角对全景图像的全景展示体进行旋转,以消除拍摄晃动造成的图像转动。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
一展开单元,用于在所述校正单元根据查找到的姿态角对全景图像的全景展示体进行旋转后,将所述全景展示体展开为全景图像,得到全景视频的校正全景图像,以使后续获取到全景视频的校正全景图像的设备能够展示画面平稳的全景视频。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
一滤波单元,用于在所述获取单元获取到全景视频以及全景视频对应的姿态角数据序列后,所述查找单元从所述姿态角数据序列中查找出全景图像对应的姿态角前,对所述姿态角数据序列进行滤波,保留所述姿态角数据序列中数值变化频率高于频率阈值的分量,滤除数值变化频率低于频率阈值的分量,以对拍摄时晃动对全景图像的全景展示体造成的旋转进行抵消,保留拍摄者改变拍摄视角的动作对全景图像的全景展示体造成的旋转。
9.根据权利要求6或7所述的装置,其特征在于:
所述全景图像对应的姿态角是拍摄该全景图像时拍摄设备的姿态角;
所述校正单元根据查找到的姿态角对全景图像的全景展示体进行旋转,包括:计算全景图像对应的姿态角相对于基准姿态角的旋转变化量,按照该旋转变化量,对全景图像的全景展示体进行与拍摄设备在拍摄该帧全景图像时所作旋转相同的旋转。
10.根据权利要求6或7所述的装置,其特征在于:
所述全景图像对应的姿态角是拍摄该全景图像时拍摄设备的姿态角相对于基准姿态角的旋转变化量;
所述校正单元根据查找到的姿态角对全景图像的全景展示体进行旋转,包括:按照所述全景图像对应的姿态角,对全景图像的全景展示体进行与拍摄设备在拍摄该帧全景图像时所作旋转相同的旋转。
CN201610930116.4A 2016-10-31 2016-10-31 校正全景视频显示视角的方法及装置 Active CN106507094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610930116.4A CN106507094B (zh) 2016-10-31 2016-10-31 校正全景视频显示视角的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610930116.4A CN106507094B (zh) 2016-10-31 2016-10-31 校正全景视频显示视角的方法及装置

Publications (2)

Publication Number Publication Date
CN106507094A true CN106507094A (zh) 2017-03-15
CN106507094B CN106507094B (zh) 2019-01-04

Family

ID=58319714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610930116.4A Active CN106507094B (zh) 2016-10-31 2016-10-31 校正全景视频显示视角的方法及装置

Country Status (1)

Country Link
CN (1) CN106507094B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040694A (zh) * 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、***及便携式终端
CN107071279A (zh) * 2017-04-01 2017-08-18 深圳市圆周率软件科技有限责任公司 一种全景图像画面稳定的方法及***
CN107665250A (zh) * 2017-09-26 2018-02-06 百度在线网络技术(北京)有限公司 高清道路俯视地图的构建方法、装置、服务器和存储介质
CN108366243A (zh) * 2018-01-23 2018-08-03 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN109391755A (zh) * 2017-08-03 2019-02-26 佳能株式会社 摄像设备及其中执行的方法
WO2019037656A1 (en) * 2017-08-23 2019-02-28 Mediatek Inc. METHOD AND APPARATUS FOR SYNTAX SIGNALING FOR IMMERSIVE VIDEO ENCODING
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110430411A (zh) * 2019-08-08 2019-11-08 青岛一舍科技有限公司 一种全景视频的显示方法及装置
CN110850977A (zh) * 2019-11-06 2020-02-28 成都威爱新经济技术研究院有限公司 一种基于6dof头戴式显示器的立体图像交互方法
CN110944727A (zh) * 2017-09-19 2020-03-31 佳能株式会社 控制虚拟照相机的***和方法
CN111524230A (zh) * 2020-04-01 2020-08-11 中南大学 一种三维模型与展开全景图联动浏览方法及计算机***
CN111541850A (zh) * 2020-07-13 2020-08-14 南京泓众电子科技有限公司 一种全景电子云台矫正方法及装置
US10827159B2 (en) 2017-08-23 2020-11-03 Mediatek Inc. Method and apparatus of signalling syntax for immersive video coding
CN113301249A (zh) * 2021-05-07 2021-08-24 影石创新科技股份有限公司 全景视频处理方法、装置、计算机设备和存储介质
CN113436113A (zh) * 2021-07-22 2021-09-24 黑芝麻智能科技有限公司 防抖动的图像处理方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
US20150181114A1 (en) * 2013-12-24 2015-06-25 Fxgear Inc. Apparatus and method for processing wide viewing angle image
EP2933605A1 (en) * 2014-04-17 2015-10-21 Nokia Technologies OY A device orientation correction method for panorama images
CN105208247A (zh) * 2015-09-02 2015-12-30 长春理工大学 一种基于四元数的全景稳像方法
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
CN105975172A (zh) * 2015-12-11 2016-09-28 乐视网信息技术(北京)股份有限公司 全景视频的调整方法、装置及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
US20150181114A1 (en) * 2013-12-24 2015-06-25 Fxgear Inc. Apparatus and method for processing wide viewing angle image
EP2933605A1 (en) * 2014-04-17 2015-10-21 Nokia Technologies OY A device orientation correction method for panorama images
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
CN105208247A (zh) * 2015-09-02 2015-12-30 长春理工大学 一种基于四元数的全景稳像方法
CN105975172A (zh) * 2015-12-11 2016-09-28 乐视网信息技术(北京)股份有限公司 全景视频的调整方法、装置及移动终端

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071279A (zh) * 2017-04-01 2017-08-18 深圳市圆周率软件科技有限责任公司 一种全景图像画面稳定的方法及***
CN107040694A (zh) * 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、***及便携式终端
WO2018184423A1 (zh) * 2017-04-07 2018-10-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、***及便携式终端
US10812718B2 (en) 2017-04-07 2020-10-20 Arashi Vision Inc. Method and system for panoramic video stabilization, and portable terminal
CN109391755A (zh) * 2017-08-03 2019-02-26 佳能株式会社 摄像设备及其中执行的方法
CN109391755B (zh) * 2017-08-03 2021-09-14 佳能株式会社 摄像设备及其中执行的方法
WO2019037656A1 (en) * 2017-08-23 2019-02-28 Mediatek Inc. METHOD AND APPARATUS FOR SYNTAX SIGNALING FOR IMMERSIVE VIDEO ENCODING
US10827159B2 (en) 2017-08-23 2020-11-03 Mediatek Inc. Method and apparatus of signalling syntax for immersive video coding
CN110944727A (zh) * 2017-09-19 2020-03-31 佳能株式会社 控制虚拟照相机的***和方法
CN107665250A (zh) * 2017-09-26 2018-02-06 百度在线网络技术(北京)有限公司 高清道路俯视地图的构建方法、装置、服务器和存储介质
CN108366243B (zh) * 2018-01-23 2019-10-29 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN108366243A (zh) * 2018-01-23 2018-08-03 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN110022439B (zh) * 2019-01-29 2021-09-28 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
US11627390B2 (en) 2019-01-29 2023-04-11 Via Technologies, Inc. Encoding method, playing method and apparatus for image stabilization of panoramic video, and method for evaluating image stabilization algorithm
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110430411A (zh) * 2019-08-08 2019-11-08 青岛一舍科技有限公司 一种全景视频的显示方法及装置
CN110850977A (zh) * 2019-11-06 2020-02-28 成都威爱新经济技术研究院有限公司 一种基于6dof头戴式显示器的立体图像交互方法
CN110850977B (zh) * 2019-11-06 2023-10-31 成都威爱新经济技术研究院有限公司 一种基于6dof头戴式显示器的立体图像交互方法
CN111524230A (zh) * 2020-04-01 2020-08-11 中南大学 一种三维模型与展开全景图联动浏览方法及计算机***
CN111541850A (zh) * 2020-07-13 2020-08-14 南京泓众电子科技有限公司 一种全景电子云台矫正方法及装置
CN113301249A (zh) * 2021-05-07 2021-08-24 影石创新科技股份有限公司 全景视频处理方法、装置、计算机设备和存储介质
CN113301249B (zh) * 2021-05-07 2023-06-30 影石创新科技股份有限公司 全景视频处理方法、装置、计算机设备和存储介质
CN113436113A (zh) * 2021-07-22 2021-09-24 黑芝麻智能科技有限公司 防抖动的图像处理方法、装置、电子设备和存储介质
US11770613B2 (en) 2021-07-22 2023-09-26 Black Sesame Technologies Inc. Anti-shake image processing method, apparatus, electronic device and storage medium

Also Published As

Publication number Publication date
CN106507094B (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN106507094B (zh) 校正全景视频显示视角的方法及装置
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
CN107169924B (zh) 三维全景图像的建立方法和***
CN107079141B (zh) 用于三维视频的图像拼接
JP4351996B2 (ja) モノスコープ・イメージから立体的なイメージを生成するための方法
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
JP2019511016A (ja) フレームのパノラマフレームへのステッチング
CN106296589B (zh) 全景图像的处理方法及装置
JP7303754B2 (ja) ユーザー固有コンテンツを映像制作に融合させる方法及びシステム
CN107844190B (zh) 基于虚拟现实vr设备的图像展示方法及装置
US9756260B1 (en) Synthetic camera lenses
CN106791360A (zh) 生成全景视频的方法及装置
WO2017032336A1 (en) System and method for capturing and displaying images
TWI584050B (zh) 全景立體圖像的合成方法、裝置及其移動終端
CN106357966A (zh) 全景图像拍摄装置及全景图像获取方法
CN108347505B (zh) 具有3d成像功能的移动终端及影像生成方法
TW201351959A (zh) 立體全景影像合成方法及其相關之立體攝影機
CN104021585A (zh) 基于真实场景的三维展示方法
CN108600729B (zh) 动态3d模型生成装置及影像生成方法
CN108614636A (zh) 一种3d实景vr制作方法
CN108391116B (zh) 基于3d成像技术的全身扫描装置及扫描方法
CN116168076A (zh) 一种图像处理方法、装置、设备及存储介质
CN108012160B (zh) 一种基于全景视频的台标***方法
CN108513122B (zh) 基于3d成像技术的模型调整方法及模型生成装置
CN115550563A (zh) 视频处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant