CN111955005B - 处理360度图像内容的方法和*** - Google Patents

Abstract

提供了一种用于处理由360度相机捕获的360度图像内容的装置和方法。一种方法包括：通过电子设备获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的惯性测量单元(IMU)旋转数据；通过所述电子设备计算所述360度图像内容的相对旋转；以及通过所述电子设备将所述相对旋转应用于所述360度投影格式图像帧中的至少一个，从而稳定360度图像内容。

Description

处理360度图像内容的方法和***

技术领域

本公开总体上涉及图像处理***，更具体地涉及一种用于处理360度图像内容的方法和***。

背景技术

当电子设备的用户捕获360度视频时，电子设备可能会倾斜并经受意外的震颤。因此，捕获到的没有垂直对齐的360度视频可能会给用户带来不愉快的观看体验。

此外，从惯性测量单元(IMU)传感器(例如，陀螺仪和加速度计)获得的旋转信息是有噪声的并且能产生延迟。存在基于计算机视觉的方法和***以稳定360度视频，但是所得到的稳定的360度视频仍不能有效地进行倾斜校正。用于倾斜校正的基于计算机视觉的方法和***要么难以实时实现，要么在没有垂直或水平边缘的场景下准确性通常较低。

此外，用于捕获360度视频的现有方法和***具有许多瓶颈，即丢失了行进信息(例如，方向信息等)。

例如，在通过将后续帧相对于第一帧对齐来稳定360度视频的场景中，如果有人骑着其上安装有360度视频相机的自行车上沿弯道骑行，一段时间之后，稳定的视频的向前方向将会与道路不匹配了，这会带来糟糕的用户体验。

作为另一个示例，如果用户在视频开始时无意中与垂直方向成45度持有相机，则360度视频可能不会垂直对齐。因此，稳定的视频将保持45度倾斜，而观看者(例如，使用虚拟现实(VR)护目镜)将不得不倾斜头部才能观看视频。这也会导致不良的用户体验。

发明内容

问题的解决方案

因此，提供本公开以至少解决上述问题和/或缺点并至少提供以下优点。

本公开的一方面在于提供一种用于处理360度图像内容的方法和装置。

本公开的另一方面在于提供一种方法和装置，该方法和装置获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的IMU旋转数据，其中所述360度图像内容由360度相机捕获。

本公开的另一方面在于提供一种方法和装置，该方法和装置通过跟踪所述360度投影格式图像帧的每一个中的一组特征点，确定所述360度投影格式图像帧的每一个相对于第一360度投影格式图像帧的第一相对旋转角。

本公开的另一方面在于提供一种方法和装置，该方法和装置通过使用所述IMU旋转数据，确定所述360度投影格式图像帧的每一个相对于所述第一360度投影格式图像帧的第二相对旋转角。

本公开的另一方面在于提供一种方法和装置，该方法和装置确定所述360度投影格式图像帧的每一个的个体偏移。

本公开的另一方面在于提供一种方法和装置，该方法和装置通过计算所述360度投影格式图像帧的每一个的所述个体偏移值的几何中值或通过使用信号处理滤波器连续预测通用偏移来估计所述通用偏移。

本公开的另一方面在于提供一种方法和装置，该方法和装置确定所述360度投影格式图像帧的每一个的个体偏移，作为相对旋转角与IMU旋转角之间的差的量度。

本公开的另一方面在于提供一种方法和装置，该方法和装置计算所述360度图像内容的相对旋转。

本公开的另一方面在于提供一种方法和装置，该方法和装置对所述360度投影格式图像帧中的每一个应用相对旋转以稳定360度图像内容。

本公开的另一方面在于提供一种方法和装置，该方法和装置估计连续帧的偏航值之间的角度差值。

本公开的另一方面在于提供一种方法和装置，该方法和装置确定角度差值与预定阈值。

本公开的另一方面在于提供一种方法和装置，该方法和装置将相对旋转应用于360度投影格式图像帧中的每一个，以维持360度图像内容的行进方向。

根据本公开的一方面，提供了一种用于处理由360度相机捕获的360度图像内容的方法。该方法包括：通过电子设备获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的惯性测量单元(IMU)旋转数据；通过所述电子设备计算所述360度图像内容的相对旋转；以及通过所述电子设备将所述相对旋转应用于所述360度投影格式图像帧中的至少一个。

根据本公开的另一方面，提供一种用于处理由360度相机捕获的360度图像内容的方法。该方法包括：通过电子设备获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的惯性测量单元(IMU)旋转数据；通过所述电子设备估计连续的360度投影格式图像帧的偏航值之间的角度差值；通过所述电子设备对所述角度差值与预定阈值进行比较；以及基于所述比较的结果，通过所述电子设备将相对旋转应用于所述360度投影格式图像帧中的至少一个。

根据本公开的另一方面，提供一种用于处理由360度相机捕获的360度图像内容的电子设备。该电子设备包括：处理器；存储器；以及360度图像内容处理器，所述360度图像内容处理器与所述处理器和所述存储器联接，被配置为：获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的惯性测量单元(IMU)旋转数据；计算所述360度图像内容的相对旋转；以及将所述相对旋转应用于所述360度投影格式图像帧中的至少一个。

根据本公开的另一方面，提供一种用于处理由360度相机捕获的360度图像内容的电子设备。该电子设备包括处理器；存储器；以及360度图像内容处理器，所述360度图像内容处理器与所述处理器和所述存储器联接，被配置为：获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的惯性测量单元(IMU)旋转数据；估计连续的360度投影格式图像帧的偏航值之间的角度差值；对所述角度差值与预定阈值进行比较；以及基于所述比较的结果，将相对旋转应用于所述360度投影格式图像帧中的至少一个。

附图说明

根据以下结合附图的详细描述，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：

图1示出了在各种图像捕获技术期间发生的各种问题；

图2示出了相机在360度图像内容中的相对旋转；

图3示出了根据实施例的用于处理360度图像内容的电子设备；

图4示出了根据实施例的电子设备中包括的360度图像内容处理器；

图5是示出了根据实施例的用于处理360度图像内容的操作的流程图；

图6是示出了根据实施例的用于处理360度图像内容的操作的流程图；

图7示出了根据实施例的特征点选择和检测的操作；

图8示出了根据实施例的基于特征点选择的失真校正；

图9A示出了特征检测的常规输出；

图9B示出了根据实施例的特征检测的输出；

图10示出了根据实施例的利用IMU的特征点选择；

图11示出了根据实施例的动态重新校准；

图12A示出了根据实施例的没有视频稳定度的360度图像；

图12B示出了根据实施例的具有视频稳定度的360度图像；

图12C示出了根据实施例的具有视频稳定度并保持行进方向的360度图像；

图12D示出了根据实施例的没有行进校正的360度图像；

图12E示出了根据实施例的360度图像行进校正；

图13示出了根据实施例的进行了倾斜校正的360度图像；

图14示出了根据实施例的360度视频的定向误差校正；

图15示出了根据实施例的用于稳定和倾斜校正360度图像内容的方法；

图16示出了根据实施例的去除抖动并执行倾斜校正的360相机；

图17示出了根据实施例的去除抖动并执行倾斜校正的360相机；以及

图18示出了根据实施例的去除抖动并执行倾斜校正的360相机。

具体实施方式

现在将参考附图详细描述本公开的各种实施例。在以下描述中，仅提供诸如详细配置和组件之类的具体细节以帮助对本公开的这些实施例的整体理解。因此，对于本领域技术人员而言显而易见的是，在不脱离本公开的范围和精神的情况下，可以对本文所述的实施例进行各种改变和修改。另外，为了清楚和简洁，省略了对公知功能和构造的描述。

而且，由于一些实施例可以与一个或更多个其他实施例结合以形成新的实施例，因此本文描述的各种实施例不必相互排斥。

本文所用的术语“或”是指非排他性的，除非另有说明。

本文所使用的示例仅旨在促进对可以实践本文的实施例的方式的理解，并且进一步使本领域技术人员能够实践本文的实施例。因此，示例不应被解释为限制本文的实施例的范围。

如本领域中的传统，可以根据执行所描述的一个或更多个功能的块来描述和说明实施例。在本文中可称为管理器、单元、模块、硬件组件等的这些块由模拟和/或数字电路(例如，逻辑门、集成电路、微处理器、微控制器、存储电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)物理地实现，并且可以可选地由固件和软件驱动。电路可以体现在一个或更多个半导体芯片中，或者体现在诸如印刷电路板等的基板支撑件上。可以通过专用硬件，或者通过处理器(例如，一个或更多个经编程的微处理器和相关电路)，或者通过执行该块的某些功能的专用硬件与执行该块的其他功能的处理器的组合，实现构成块的电路。

在不脱离本公开的范围的情况下，实施例的每个块可以在物理上被分成两个或更多个相互作用和离散的块。同样，在不脱离本公开的范围的情况下，实施例的多个块可以物理地组合成更复杂的块。

附图用于帮助容易地理解各种技术特征，并且应当理解，本文提出的实施例不受附图限制。这样，除了在附图中特别列出的内容之外，本公开内容应被解释为扩展到任何改变、等同形式和替代。

尽管可以使用诸如第一、第二等的数字术语来描述各种元件，但是这些元件不应受到这些术语的限制。这些术语通常仅用于区分一个元件和另一个元件。

根据实施例，提供了一种用于处理由360度相机捕获的360度图像内容的方法。该方法包括通过电子设备获得与360度图像内容相关联的360度投影格式图像帧的序列以及与360度图像内容相关联的IMU旋转数据。此外，该方法包括通过电子设备计算360度图像内容的相对旋转；以及通过电子设备将相对旋转应用于360度投影格式图像帧中的每一个以稳定360度图像内容。

例如，该方法可用于在记录由电子设备捕获的360度视频的同时以鲁棒的和有效的方式稳定、校正倾斜和保持行进。

图1示出了使用各种图像捕获技术发生的各种问题。

参照图1，图像a示出了通过360相机捕获的视频。由于各种原因，360相机在捕获视频时会意外旋转。

图像b以等矩形(equi-rectangular)格式示出了完整的视频，该等矩形格式是用于存储360度视频的标准格式。

图像c示出了由于震颤/振动和倾斜而影响的帧，震颤/振动和倾斜导致了观看不舒适。

图像d示出了基于IMU的倾斜校正，其导致了由于不完美的IMU信息而产生的晃动和观看不舒适。

图像e示出了与真实水平线未对齐的稳定帧。这也导致观看不舒服。

在图1所示的现有方法中，视频稳定程序不涉及倾斜校正。视频稳定程序将后续帧对齐以消除抖动/震颤，这不能确保视频输出经过倾斜校正。

此外，常规的倾斜校正过程生成不稳定的视频。例如，如果电子设备将IMU相对旋转应用于视频，尽管可以校正倾斜，但IMU传感器中的固有噪声会导致晃动输出。

此外，传统的视频稳定程序和倾斜校正程序不保持行进方向。例如，如果用户转弯(例如，向左转)，则输出视频也应反映出转弯。

图2示出了相机在360度图像内容中的相对旋转。

参照图2，为每个接收到的帧相对于帧的序列中的第一帧提供相对旋转角(例如，3D角等)。通过跟踪每个帧中的特征点来计算相对旋转角。具体而言，图2示出了2个帧之间的相对旋转。

图3示出根据实施例的用于处理360度图像内容的电子设备。

参照图3，电子设备100可以是但不限于智能电话、平板计算机、无人机相机、头戴相机、手持相机、移动设备、个人数字助理(PDA)、多媒体设备、视频设备、智能手表等。

电子设备100包括360度图像内容处理器110、通信器120、存储器130、处理器140、信号处理滤波器150和惯性测量单元(IMU)160。

处理器140与360度图像内容处理器110、通信器120、存储器130、信号处理滤波器150和惯性测量单元160联接。

360度图像内容处理器110获得与360度图像内容相关联的360度投影格式图像帧的序列和与360度图像内容相关联的IMU旋转数据。360度图像内容由360度相机捕获。由惯性测量单元160(例如，陀螺仪、加速度计等)获得IMU旋转数据。

已知展现360度图像内容的各种投影格式包括等矩形格式、二十面体(Icosahedron)格式、八面体(octahedral)格式、立方体映射(cube mapping)格式等。

在获得了与360度图像内容相关联的360度投影格式图像帧的序列和与360度图像内容相关联的IMU旋转数据之后，360度图像内容处理器110通过跟踪360度投影格式图像帧的每一个中的一组特征点，确定360度投影格式图像帧的每一个相对于第一360度投影格式图像帧的第一相对旋转角。所跟踪的特征点的集合将在下面参照图7和图8更详细地说明。

此外，360度图像内容处理器110通过使用IMU旋转数据，确定360度投影格式图像帧的每一个相对于第一360度投影格式图像帧的第二相对旋转角。此外，360度图像内容处理器110确定360度投影格式图像帧的每一个的个体偏移。

可以将360度投影格式图像帧中的每一个的个体偏移确定为相对旋转角与IMU旋转角之间的差的量度。

此外，360度图像内容处理器110通过计算360度投影格式图像帧的每一个的个体偏移值的几何中值或通过使用信号处理滤波器150连续预测通用偏移来估计通用偏移。通用偏移和个体偏移的确定分别在下面参照图11进行解释。

此外，360度图像内容处理器110计算360度图像内容的相对旋转。

在计算出360度图像内容的相对旋转之后，360度图像内容处理器110将相对旋转应用于360度投影格式图像帧中的每一个，以稳定360度图像内容。

此外，360度图像内容处理器110估计连续帧的偏航值之间的角度差值，并确定角度差值与预定阈值。

角度差值与预定阈值可以通过检测第一360度投影格式图像帧和第二360度投影格式图像帧的偏航值的角度差是否小于预定阈值，并补偿第二帧的偏航角值来确定。

角度差值与预定阈值可以通过检测第一360度投影格式图像帧和第二360度投影格式图像帧的偏航值的角度差是否大于预定阈值，并平滑第二帧的偏航角值来确定。

此外，360度图像内容处理器110将相对旋转应用于360度投影格式图像帧中的每一个，以维持360度图像内容的行进方向。

处理器140执行存储在存储器130中的指令以执行各种处理。通信器120经由一个或更多个网络在内部硬件组件之间以及与外部设备进行通信。

存储器130存储要由处理器140执行的指令。存储器130可以包括非易失性存储元件，例如，磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦可编程存储器(EEPROM)的形式。

另外，存储器130可以被认为是非暂时性存储介质。术语“非暂时性”表示存储介质没有体现在载波或传播的信号中。然而，术语“非暂时性”不应被解释为存储器130是不可移动的。

存储器130可以被配置为存储大量信息。

非暂时性存储介质可以存储能够随时间改变的数据(例如，在随机存取存储器(RAM)或高速缓存中)。

尽管图3示出了包括某些组件的电子设备100，但是本公开不限于此。例如，电子设备100可以包括更少或更多的组件。

此外，图3中的组件的名称仅用于说明性目的，而不会限制本公开的范围。

可以将一个或更多个组件组合在一起以执行相同或基本相似的功能来处理360度图像内容。

图4示出了根据实施例的360度图像内容处理器。

参照图4，360度图像内容处理器110包括拼接引擎402、稳定控制器404、动态校准器406、行进确定器408和变形引擎410。稳定控制器404包括特征检测器404a、特征选择器404b、特征***404c和旋转估计器404d。

拼接引擎402处理输入的等矩形(ER)帧，并通过拼接图像来生成360度图像。此外，稳定控制器404获得与360度图像内容相关联的360度投影格式图像帧的序列和与360度图像内容相关联的IMU旋转数据。

在获得了与360度图像内容相关联的360度投影格式图像帧的序列和与360度图像内容相关联的IMU旋转数据之后，稳定控制器404通过使用特征检测器404a、特征选择器404b和特征***404c中的至少一个跟踪360度投影格式图像帧的每一个中的一组特征点，确定360度投影格式图像帧的每一个相对于第一360度投影格式图像帧的第一相对旋转角。稳定控制器404通过使用借助于旋转估计器404d的IMU旋转数据来确定每个360度投影格式图像帧相对于第一360度投影格式图像帧的第二相对旋转角。稳定控制器404确定360度投影格式图像帧的每一个的个体偏移。

此外，稳定控制器404通过计算360度投影格式图像帧的每一个的个体偏移值的几何中值或通过使用动态校准器406连续预测通用偏移来估计通用偏移。此外，稳定控制器404计算360度图像内容的相对旋转。

在计算了360度图像内容的相对旋转之后，稳定控制器404将相对旋转应用于360度投影格式图像帧中的每一个，以稳定360度图像内容。

行进确定器408估计连续帧的偏航值之间的角度差值。此外，行进确定器408确定角度差值与预定阈值。行进确定器408将相对旋转应用于360度投影格式图像帧中的每一个，以保持360度图像内容的行进方向。

变形引擎410提供稳定的、倾斜校正后的和行进校正后的图像内容。

尽管图4示出了360度图像内容处理器110的各种硬件组件，但是本公开不限于此。例如，360度图像内容处理器110可以包括更少或更多的组件。此外，组件的名称不限制本公开的范围。可以将一个或更多个组件组合在一起以执行相同或基本相似的功能，以处理360度图像内容。

图5是示出根据实施例的用于处理360度图像内容的操作的流程图。

参照图5，在步骤502，例如360度图像内容处理器110的电子设备获得与360度图像内容相关联的360度投影格式图像帧的序列和与360度图像内容相关联的IMU旋转数据。

在步骤504，360度图像内容处理器110计算360度图像内容的相对旋转。

在506，360度图像内容处理器110将相对旋转应用于360度投影格式图像帧中的每一个，以稳定360度图像内容。

图6是示出根据实施例的用于处理360度图像内容的操作的流程图。

参照图6，在602处，例如360度图像内容处理器110的电子设备获得与360度图像内容相关联的360度投影格式图像帧的序列和与360度图像内容相关联的IMU旋转数据。

在步骤604，360度图像内容处理器110估计连续的360度投影格式图像帧的偏航值之间的角度差值。

在步骤606，360度图像内容处理器110确定角度差值与预定阈值。

在步骤608，360度图像内容处理器110将相对旋转应用于360度投影格式图像帧中的每一个，以维持360度图像内容的行进方向。

在图5和图6的流程图中的各种举措、动作、块、步骤等可以按照所呈现的顺序、以不同的顺序或同时执行。此外，在一些实施例中，一些举措、动作、块、步骤等可以被省略、添加、修改、跳过等，而不会脱离本公开的范围。

图7示出了根据实施例的特征点选择和检测。

参照图7，为了估计更好的视频稳定性，丢弃了所估计的全局运动和局部运动。全局运动是捕获视频时场景中的运动，局部运动是捕获视频时对象的运动。

电子设备应用基于特征的过程来估计相对旋转并确保仅表示全局运动。当特征点均匀分布时，可以正确估计全局运动。在电子设备中，输入的ER图像被分成多个网格(例如，10×10的网格)。电子设备估计每个网格中的特征点，并且仅保留最佳的特征点(例如，仅保留最佳的3个点)，这有助于降低复杂性。此外，电子设备在接下来的几帧(例如，5帧)中跟踪检测到的点。

电子设备仅保留所有帧中可用的特征点。电子设备计算帧的旋转或校正矩阵。

此外，电子设备在最后的旋转的帧上应用特征检测，并重复上述过程。

在弱光场景下，电子设备检测到该特征并检测到性能很差。此后，电子设备仅使用IMU数据进行校正。

为了确定帧是否适合基于视觉的稳定，可以应用阈值。电子设备可以设置阈值，该阈值是N(例如，15)个网格中的至少一个特征点。只要帧不满足条件，就仅应用IMU数据进行校正。

图8示出根据实施例的基于特征点选择的失真校正。

参照图8，每个图像块被投影在球形区域中。通过投影在切平面上，球面表示将转换为2d图像。为了提供更好的视频准确性，特征检测是在未失真的块上进行的。

图9A示出了特征检测的常规输出。基于现有方法，大量点聚集在纹理区域中。

图9B示出了根据实施例的特征检测的输出。

参照图9B，通过实施基于网格的特征检测可以更好地分布多个点。

图10示出了根据实施例的使用IMU的特征点选择。

参照图10，可以使用一种方法来丢弃具有局部运动的特征点并选择具有整体运动的特征点，以便更好地估计帧之间的相对旋转。在该方法中，电子设备接收IMU相对旋转角和ER帧。电子设备跟踪从第一帧到第二帧的特征点。此外，电子设备应用IMU相对旋转角以将第一帧中的特征点变换到它们的期望位置。

电子设备确定第二帧中的跟踪特征点的位置与其期望位置之间的角度，并将角位移与预定阈值进行比较。如果差小于阈值，则电子设备接受特征点，并将特征点分类为全局运动。如果差小于阈值，则电子设备拒绝特征点，并将特征点分类为局部运动。

如图10所示，对于每个跟踪点，从跟踪点到“根据IMU旋转的期望位置”画一条线。帧1中的点的位移大于阈值，因此被拒绝(局部运动)，而帧2中的点被接受为全局运动。

图11示出了根据实施例的动态重新校准。

参照图11，可以使用一种方法来基于估计偏移与个体偏移值的偏差来动态地重新校准偏移估计间隔。在这些方法中，电子设备接收估计间隔上的偏移值，并对估计间隔的偏移进行估计。电子设备估计个体偏移值与估计偏移之间的绝对差的平均值。然后，如果平均值小于阈值，则电子设备通过保持较高的偏移估计间隔，将平均值与预定阈值进行比较。如果平均值大于阈值，则电子设备100通过保持较低的间隔来将平均值与预定阈值进行比较。

图12A示出了没有视频稳定度的360度图像。图12B示出了具有视频稳定度的360度图像。图12C示出了具有视频稳定度并保持行进方向的360度图像。图12D示出了没有行进校正的360度图像。图12E示出了具有行进校正的360度图像。

图13示出了根据实施例的进行了倾斜校正的360度图像。

参照图13，行a表示相机的意外抖动/倾斜，如随后的5帧所示。行b表示在录制3600个视频时受晃动/震颤和倾斜影响并导致观看不舒服的5帧输入视频。

行c表示从特征点计算出的相对旋转(即，连续的帧与第一参考帧对齐，以便去除晃动，但帧倾斜)。

行d表示从IMU计算出的相对旋转，其中校正了倾斜但由于IMU噪声而出现了晃动。

行e表示使用“从IMU偏移的通用偏移”和“根据特征点的相对旋转”计算出的最终旋转，从而使得消除了晃动并校正了倾斜，以提供更好的愉悦的观看体验。

图14示出了根据实施例的360度视频中的定向误差校正。

参照图14，(a)行表示没有稳定度的图像，(b)行表示具有稳定度但没有进行倾斜校正的图像，(c)行表示具有倾斜校正和稳定度的图像。

如图14中所示，电子设备接收拼接后的360度帧的序列和相应的IMU旋转数据(例如，惯性测量单元-陀螺仪和加速度计)，并且计算所接收的每个帧相对于帧序列中的第一帧的相对旋转角(例如，3D角度)。使用例如对极几何(epipolar geometry)的几何变换技术，根据两个或更多个帧之间的跟踪特征点计算相对旋转角。

此外，电子设备通过计算相对旋转角与IMU旋转角度之间的差并通过使用已确定的每个帧的偏移量的几何中值或通过使用线性二次估计器来估计通用偏移，来确定每个帧的偏移。电子设备将估计出的通用偏移应用于每个帧，以垂直对齐帧从而校正360度视频中的定向误差。

图15示出了根据实施例的用于稳定和倾斜校正360度图像内容中的输出的方法。

参照图15，尽管有高误差，但是电子设备可以被用于估计IMU与视觉之间的偏移，以便提供稳定且经倾斜校正的输出。在输入视频中，箭头表示视频中的垂直方向。IMU值由传感器给出。如果仅使用IMU旋转值来稳定视频，则IMU值会尝试将帧垂直对齐，但是由于IMU值中的误差，输出视频不稳定。如果使用相对旋转，则视频会稳定下来，但因为视觉没有关于真实垂直方向的信息，所以所有帧都与第一帧对齐。

图16至图18示出了根据实施例的去除抖动并执行倾斜校正的360相机。

参照图16，将360度相机安装在无人机上以捕获视频。在飞行过程中，无人机可能无法保持完全水平。因此，在连续的帧之间存在未对准的情况。由于电机的振动、大气条件、操纵错误等，无人机可能处于不稳定的录制状态。

图16的帧a表示没有进行倾斜校正的帧，而图16的帧b表示根据实施例的进行了倾斜校正的帧。

参照图17，将360度相机安装在自行车上以在骑行时捕获视频。类似于图16的无人机，在骑行过程中，自行车可能不会保持稳定状态，并且连续帧之间可能会出现未对准的情况。

根据本公开的实施例，360相机去除了抖动和任何倾斜问题，并保持了行进方向，行进方向将会反映用户所采取的转弯，从而为用户提供了如图17所示的愉快体验。

参照图18，360度相机去除了抖动并校正了任何倾斜问题，以及保持了行进方向，以便当用户在沉浸式模式(例如，VR模式、增强现实模式等)观看视频时反映出用户采取的转弯。这导致提供了如图18所示的更好的愉快体验。

可以通过在至少一个硬件设备上运行并执行网络管理功能以控制元件的至少一个软件程序来实现本文描述的实施例。

Claims (7)

1.一种用于处理由360度相机捕获的360度图像内容的方法，所述方法包括：

由电子设备获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的惯性测量单元IMU旋转数据；

通过跟踪所述360度投影格式图像帧的每一个中的一组特征点，确定所述360度投影格式图像帧的每一个相对于第一360度投影格式图像帧的第一相对旋转角；

通过使用所述IMU旋转数据，确定所述360度投影格式图像帧的每一个相对于所述第一360度投影格式图像帧的第二相对旋转角；

由所述电子设备，基于所述第一相对旋转角和所述第二相对旋转角，计算所述360度图像内容的相对旋转；以及

由所述电子设备将所述相对旋转应用于所述360度投影格式图像帧中的至少一个。

2.根据权利要求1所述的方法，其中，计算所述360度图像内容的相对旋转包括：

确定所述360度投影格式图像帧的每一个的个体偏移；

通过计算所述360度投影格式图像帧的每一个的个体偏移值的几何中值或通过利用信号处理滤波器连续预测通用偏移来估计所述通用偏移；以及

计算所述360度图像内容的相对旋转。

3.根据权利要求2所述的方法，其中，所述360度投影格式图像帧中的每一个的所述个体偏移被确定为所述第一相对旋转角与所述第二相对旋转角之间的差。

4.根据权利要求1所述的方法，所述方法还包括：

由所述电子设备估计连续帧的偏航值之间的角度差值；

由所述电子设备对所述角度差值与预定阈值进行比较；以及

基于所述比较的结果，由所述电子设备将所述相对旋转应用于所述360度投影格式图像帧中的至少一个。

5.根据权利要求4所述的方法，其中，对所述角度差值与所述预定阈值进行比较包括：

检测第一360度投影格式图像帧与第二360度投影格式图像帧的偏航角值的角度差是否小于所述预定阈值；

当所述第一360度投影格式图像帧与所述第二360度投影格式图像帧的偏航角值的角度差小于所述预定阈值时，补偿所述第二360度投影格式图像帧的偏航角值；以及

当所述第一360度投影格式图像帧与所述第二360度投影格式图像帧的偏航角值的角度差大于所述预定阈值时，使所述第二360度投影格式图像帧的偏航角值平滑。

6.一种用于处理由360度相机捕获的360度图像内容的电子设备，所述电子设备包括：

处理器；

存储器；以及

360度图像内容处理器，所述360度图像内容处理器与所述处理器和所述存储器联接，被配置为：

获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的惯性测量单元IMU旋转数据；

通过跟踪所述360度投影格式图像帧的每一个中的一组特征点，确定所述360度投影格式图像帧的每一个相对于第一360度投影格式图像帧的第一相对旋转角；

通过使用所述IMU旋转数据，确定所述360度投影格式图像帧的每一个相对于所述第一360度投影格式图像帧的第二相对旋转角；

基于所述第一相对旋转角和所述第二相对旋转角，计算所述360度图像内容的相对旋转；以及

将所述相对旋转应用于所述360度投影格式图像帧中的至少一个。

7.根据权利要求6所述的电子设备，其中，所述360度图像内容处理器还被配置为执行权利要求1至5中的方法之一。

Images