CN113301249B - 全景视频处理方法、装置、计算机设备和存储介质 - Google Patents

全景视频处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113301249B
CN113301249B CN202110494610.1A CN202110494610A CN113301249B CN 113301249 B CN113301249 B CN 113301249B CN 202110494610 A CN202110494610 A CN 202110494610A CN 113301249 B CN113301249 B CN 113301249B
Authority
CN
China
Prior art keywords
video frame
information
image acquisition
current video
included angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110494610.1A
Other languages
English (en)
Other versions
CN113301249A (zh
Inventor
袁文亮
陈聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202110494610.1A priority Critical patent/CN113301249B/zh
Publication of CN113301249A publication Critical patent/CN113301249A/zh
Application granted granted Critical
Publication of CN113301249B publication Critical patent/CN113301249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种全景视频处理方法、装置、计算机设备和存储介质。本申请通过获取水平拍摄模式下的全景视频；获取视频帧对应的图像采集设备的姿态信息；得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息，并获取图像采集设备朝向与预设拍摄竖直方向的夹角信息；根据姿态切换信息以及夹角信息，对当前视频帧进行平滑处理。本申请在对全景视频的处理过程中，通过识别全景视频内的视频帧对应的图像采集设备的姿态信息，从而得到前后视频帧对应的图像采集设备的姿态切换信息以及图像采集设备朝向与预设拍摄竖直方向的夹角信息，并基于姿态切换信息以及夹角信息来对视频帧进行平滑处理，以防止全景视频的画面摆动，保证视频拍摄效果。

Description

全景视频处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及摄像领域，特别是涉及一种全景视频处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，拍摄工具以及拍摄技术也随之不断更新换代。全景相机是一种成像视角可以覆盖整个球面或者至少可以覆盖水平面上环形视野的相机。理想的全景相机可以捕捉到从各个方向落入焦点的光线，范围覆盖整个球面。但实际上，大多数全景相机只包含接近一个球面的画面，许多被称为全景相机的相机画面只覆盖了大约一个半球，或者是沿球面赤道的360°范围，但不包括球面的顶部和底部的画面。
目前，当全景相机处于水平拍摄模式下拍摄视频时，相机朝向经过视频画面的顶部或底部时视频画面会产生180°的翻转，因此当相机朝向一直在视频画面顶部或底部附近摆动时，视频画面会一直处于来回翻转的状态，影响视频的拍摄效果和用户的观看体验。
发明内容
基于此，有必要针对上述技术问题，提供一种能够防止全景视频的画面摆动，保证全景视频拍摄效果的视频处理方法、装置、计算机设备和存储介质。
一种全景视频处理方法，所述方法包括：
获取水平拍摄模式下的全景视频，所述全景视频包括多帧视频帧；
获取所述视频帧对应的图像采集设备的姿态信息；
根据所述视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息，并获取所述图像采集设备朝向与预设拍摄竖直方向的夹角信息；
根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理。
在其中一个实施例中，所述获取所述视频帧对应的图像采集设备的姿态信息包括：
获取所述视频帧对应的惯性传感器的传感信息；
通过预设姿态估计算法对所述惯性传感器的传感信息进行求解，获取姿态估计结果；
根据所述姿态估计结果以及预设图像采集设备外参信息，获取所述视频帧对应的图像采集设备的姿态信息。
在其中一个实施例中，所述根据所述视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息包括：
获取当前视频帧与当前视频帧对应上一视频帧的姿态信息；
获取所述当前视频帧与所述上一视频帧分别根据对应的姿态信息对前向方向进行旋转操作所得的三维点；
根据所述当前视频帧与所述上一视频帧的所述三维点之间的分量信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息。
在其中一个实施例中，所述根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理包括：
当所述姿态切换信息表征图像采集设备朝向发生状态切换、所述夹角信息表征上一视频帧与竖直方向的夹角小于预设校准角度阈值、且当前视频帧与竖直方向的夹角大于或等于预设校准角度阈值时，通过预设翻转平滑逻辑对所述当前视频帧进行平滑处理；
当所述夹角信息表征当前视频帧与竖直方向的夹角小于预设校准角度阈值时，通过预设不翻转平滑逻辑对所述当前视频帧进行平滑处理。
在其中一个实施例中，所述根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理还包括：
根据所述夹角信息对所述当前视频帧进行水平线矫正处理。
在其中一个实施例中，所述根据所述夹角信息对所述当前视频帧进行水平线矫正处理包括：
根据所述夹角信息确定当前视频帧对应的竖直方向角度以及视线方向角度；
根据所述竖直方向角度以及视线方向角度，确定所述竖直方向角度的矫正方向角度；
根据所述图像采集设备姿态信息以及所述矫正方向角度，确定水平线矫正后的旋转矩阵；
根据所述旋转矩阵对所述当前视频帧进行水平线矫正处理。
一种全景视频处理装置，所述装置包括：
视频获取模块，用于获取水平拍摄模式下的全景视频，所述全景视频包括多帧视频帧；
姿态获取模块，用于获取所述视频帧对应的图像采集设备的姿态信息；
夹角计算模块，用于根据所述视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息，并获取所述图像采集设备朝向与预设拍摄竖直方向的夹角信息；
画面处理模块，用于根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理。
在其中一个实施例中，所述姿态获取模块具体用于：获取所述视频帧对应的惯性传感器的传感信息；通过预设姿态估计算法对所述惯性传感器的传感信息进行求解，获取姿态估计结果；根据所述姿态估计结果以及预设图像采集设备外参信息，获取所述视频帧对应的图像采集设备的姿态信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取水平拍摄模式下的全景视频，所述全景视频包括多帧视频帧；
获取所述视频帧对应的图像采集设备的姿态信息；
根据所述视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息，并获取所述图像采集设备朝向与预设拍摄竖直方向的夹角信息；
根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取水平拍摄模式下的全景视频，所述全景视频包括多帧视频帧；
获取所述视频帧对应的图像采集设备的姿态信息；
根据所述视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息，并获取所述图像采集设备朝向与预设拍摄竖直方向的夹角信息；
根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理。
上述全景视频处理方法、装置、计算机设备和存储介质，通过获取水平拍摄模式下的全景视频，全景视频包括多帧视频帧；获取视频帧对应的图像采集设备的姿态信息；根据视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息，并获取图像采集设备朝向与预设拍摄竖直方向的夹角信息；根据姿态切换信息以及夹角信息，对当前视频帧进行平滑处理。本申请的全景视频处理方法，在对全景视频的处理过程中，通过识别全景视频内的视频帧对应的图像采集设备的姿态信息，从而得到前后视频帧对应的图像采集设备的姿态切换信息以及图像采集设备朝向与预设拍摄竖直方向的夹角信息，并基于姿态切换信息以及夹角信息来对视频帧进行平滑处理，以防止全景视频内的画面摆动，保证视频拍摄效果。
附图说明
图1为一个实施例中全景视频处理方法的流程示意图；
图2为一个实施例中获取图像采集设备姿态信息步骤的流程示意图；
图3为一个实施例中获取图像采集设备朝向的状态切换信息步骤的流程示意图；
图4为一个实施例中水平线矫正处理步骤的流程示意图；
图5为一个实施例中全景视频处理装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种全景视频处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。该终端具体可以为全景相机上的处理器。本实施例中，该方法包括以下步骤：
步骤102，获取水平拍摄模式下的全景视频，全景视频包括多帧视频帧。
步骤104，获取视频帧对应的图像采集设备的姿态信息。
其中，全景视频是本申请视频处理方法所处理的目标视频，一般通过图像采集设备，如全景相机来进行拍摄，在全景相机的水平拍摄模式下，当全景相机朝向刚过相对于水平面的顶部或底部时画面会有180度翻转，当相机朝向一直在顶部或底部附近摆动时画面会一直处于来回翻转状态，用户如果对全景视频进行实时浏览的话，画面的翻转将会影响用户的观看效果，因此可以通过本申请的全景视频处理方法来对拍摄得到的全景视频进行处理，防止画面的翻转，从而保证拍摄所得全景视频的显示效果。而视频帧即当前图像采集设备的拍摄画面帧。而图像采集设备姿态信息具体用于估计图像采集设备的朝向，图像采集设备姿态信息可以通过图像采集设备内置的惯性传感器所采集的传感信息来确定，惯性传感器是一种传感器，主要是检测和测量加速度、倾斜、冲击、振动、旋转和多自由度运动，是解决导航、定向和运动载体控制的重要部件。在其中一个实施例中，本申请的惯性传感器具体可以为IMU(Inertial measurement unit，惯性测量单元)。IMU主要由三个MEMS(Micro-Electro-Mechanical System，微机电***)加速度传感器及三个陀螺和解算电路组成，是测量物体三轴姿态角(或角速率)以及加速度的装置。
具体地，本申请的全景视频处理方法用于处理展示在图像采集设备屏幕的显示画面，当通过图像采集设备镜头采集到外界环境的视频画面后，可以通过本申请的全景视频处理方法来对全景视频所呈现的画面进行平滑处理，保证全景视频拍摄过程中所呈现在屏幕的画面在图像采集设备的朝向发生翻转以及摆动时的拍摄效果。首先处理器可以先获取水平拍摄模式下的全景视频，全景视频由多帧视频帧组成，继而可以识别出视频帧对应的图像采集设备的姿态信息。
步骤106，根据视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息，并获取图像采集设备朝向与预设拍摄竖直方向的夹角信息。
其中，状态切换信息具体是指判断图像采集设备朝向在当前帧与上一帧之间是否发生刚过顶部或底部的切换，即图像采集设备朝向是否由前向到后向或者是后向到前向的切换。同时，本申请中的图像采集设备处于水平拍摄模式下，而预设拍摄竖直方向即为图像采集设备在世界坐标系下，相对于图像采集设备水平面位置的垂直方向。由于图像采集设备朝向一直在顶部或底部附近摆动时全景视频的画面会一直处于来回翻转状态，因此可以通过夹角信息来判断是否需要进行平滑处理。在其中一个实施例中，在计算夹角时，可以先计算图像采集设备朝向front与竖直向上方向(0,0,1)点乘得到夹角的余弦值，然后取绝对值并求反余弦(取值区间取[0，90°])即可得到图像采集设备朝向与竖直方向的夹角。当然，也可以采用其他类似的利用正弦或余弦来求解夹角的方法。
具体地，在得到图像采集设备的姿态信息后，可以基于图像采集设备的姿态信息确定图像采集设备在当前帧时的朝向，并进一步地得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息，而基于前后视频帧间图像采集设备朝向的对比，就能确定图像采集设备朝向的状态是否发生了变化。
步骤108，根据姿态切换信息以及夹角信息，对当前视频帧进行平滑处理。
其中，平滑处理包括减少全景视频所呈现画面的晃动以及将画面切换的过程平滑化。
具体地，本申请的全景视频处理方法主要用于处理图像采集设备朝向越过顶部或底部时画面的180度翻转，以及图像采集设备朝向一直在顶部或底部附近摆动时画面的来回翻转状态。因此，可以结合各个视频帧对应的图像采集设备朝向的姿态切换信息，以及图像采集设备朝向与预设拍摄竖直方向的夹角信息，来对这两种状态进行识别，而后基于识别出的状态类型，来对当前视频帧进行平滑处理，以保证全景视频的拍摄效果。此处的对当前视频帧进行平滑处理，应理解为对当前视频帧对应部分的全景视频的呈现画面进行处理。在其中一个实施例中，如一个全景视频包括视频帧1至视频帧10，当视频帧3到视频帧4之间越过了顶部，但是图像采集设备朝向与预设拍摄竖直方向的夹角信息未超过预设校准角度阈值，即图像采集设备的朝向一直在顶部附近摇摆，此时可以通过预设不翻转平滑逻辑来对视频帧3到视频帧4之间的全景视频呈现画面进行处理，保证全景视频呈现画面不因为图像采集设备的朝向切换而发生翻转，减少画面的晃动。而当视频帧7到视频帧8之间越过了顶部，同时图像采集设备朝向与预设拍摄竖直方向的夹角信息也超过预设校准角度阈值时，则可以通过预设翻转平滑逻辑来对视频帧7到视频帧8之间的全景视频呈现画面进行处理，保证视频帧7到视频帧8之间的全景视频的呈现画面平滑地翻转180°。
上述全景视频处理方法，通过获取水平拍摄模式下的全景视频，全景视频包括多帧视频帧；获取视频帧对应的图像采集设备的姿态信息；根据视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息，并获取图像采集设备朝向与预设拍摄竖直方向的夹角信息；根据姿态切换信息以及夹角信息，对当前视频帧进行平滑处理。本申请的全景视频处理方法，在对全景视频的处理过程中，通过识别全景视频内的视频帧对应的图像采集设备的姿态信息，从而得到前后视频帧对应的图像采集设备的姿态切换信息以及图像采集设备朝向与预设拍摄竖直方向的夹角信息，并基于姿态切换信息以及夹角信息来对视频帧进行平滑处理，以防止全景视频的画面摆动，保证视频拍摄效果。
在一个实施例中，如图2所示，步骤102包括：
步骤201，获取视频帧对应的惯性传感器的传感信息。
步骤203，通过预设姿态估计算法对惯性传感器的传感信息进行求解，获取姿态估计结果。
步骤205，根据姿态估计结果以及预设图像采集设备外参信息，获取视频帧对应的图像采集设备的姿态信息。
其中，图像采集设备内内置有惯性传感器模块，用于测量图像采集设备的三轴姿态角(或角速率)以及加速度的装置。一般的，惯性传感器具体可以为IMU，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标***独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号。可以通过IMU来测量图像采集设备在三维空间中的角速度和加速度，并以此解算出图像采集设备的姿态。预设姿态估计算法可以为多种，在其中一个实施例中，姿态解算过程可以通过扩展卡尔曼滤波来实现。卡尔曼滤波是一种利用线性***状态方程，通过***输入输出观测数据，对***状态进行最优估计的算法。由于观测数据中包括***中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。扩展卡尔曼滤波的基本思想是将非线性***线性化，然后进行卡尔曼滤波。通过扩展卡尔曼滤波的方法对惯性传感器的传感信息进行处理，而后再结合图像采集设备的外参关系可以得到图像采集设备各个时刻的姿态信息。在其中一个实施例中，图像采集设备姿态信息可以采用四元数来表示，当然在其他的实施例中也可以采用旋转矢量、旋转矩阵或者欧拉角等来表示姿态信息，而世界坐标系与相机坐标系均可以选取前左上三维坐标系来进行计算，当然在其他的实施例中也可以采用其他方向的三维坐标系来进行计算，这里的前左上三维坐标系是指基于ROS(Robot Operating System，机器人操作***)的规定，前左上的XYZ轴均为正方向的一个局部坐标系。本申请中选用四元数以及前左上的三维坐标系仅用于辅助说明。而图像采集设备外参是相对于图像采集设备内参而言的，图像采集设备内参用于表征图像采集设备坐标系到像素坐标系的变换，而图像采集设备外参则用于表征世界坐标系到图像采集设备坐标系的变换。通过扩展卡尔曼滤波所获得的姿态估计结果以及预设图像采集设备外参信息，可以准确得到世界坐标系下的图像采集设备姿态信息。
具体地，在估计图像采集设备对应的图像采集设备姿态信息时，可以通过预设姿态估计算法来进行处理，在此过程中，首先需要获取视频帧对应的惯性传感器的传感信息，包括了陀螺仪的传感信息、磁力计的传感信息以及加速度计的传感信息。通过扩展卡尔曼滤波来用误差姿态三维表示的协方差矩阵来描述姿态的不确定度，从而使协方差矩阵不受额外的约束条件和奇异点的影响。从而提高图像采集设备姿态信息估计过程的估计准确性。在另外的实施例中，姿预设姿态估计算法还可以通过互补滤波器或卡尔曼滤波器来实现。本实施例中，通过基于扩展卡尔曼滤波的姿态估计方法来结合预设图像采集设备外参信息，可以对当前全景视频内视频帧对应的图像采集设备姿态信息进行准确地预估，保证姿态估计的准确性。
在一个实施例中，如图3所示，步骤104包括：
步骤302，获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息。
步骤304，获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息分别对前向方向进行旋转操作所得的三维点。
步骤306，根据当前视频帧与上一视频帧的三维点之间的分量信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息。
其中，姿态信息具体包括四元数、旋转矩阵、旋转向量以及欧拉角等其中的至少一种。这些姿态信息都可以用来表示旋转量，因此本申请中可以通过姿态信息来对前向方向的点进行旋转，来对图像采集设备朝向是否发生前向到后向或后向到前向的切换进行判断。如在一个具体的实施例中，本申请可以通过四元数信息来表示图像采集设备在世界坐标系中的姿态，而当前视频帧对应上一视频帧的四元数信息则对应着上一视频帧对应的图像采集设备姿态。而对于前向方向，在坐标系选取前左上三维坐标系的情况下，具体是指(1，0，0)点。同时上述实施例并不代表本申请的唯一实施例，在坐标系选取其他类型的三维坐标系的情况下，前向方向也需要进行相应的调整。
具体地，在得到图像采集设备姿态信息后，可以基于图像采集设备姿态信息来判断图像采集设备朝向是否发生前向到后向或后向到前向的切换，并处理相关保持不翻转与平滑逻辑。而判断过程具体可以为判断全景视频的上一帧与当前帧的四元数分别对前向方向点(1,0,0)进行旋转操作得到的三维点(图像采集设备朝向front)的第一个分量是否异号。对于使用四元数来表示姿态信息的实施例，可以先获取当前视频帧对应的四元数，对前向方向的P点进行四元数对应旋转量的旋转操作，得到当前视频帧对应的三维点，同时对当前视频帧对应上一视频帧执行相同操作，得到当前视频帧对应上一视频帧的三维点，判断两个三维点之间是否异号。若异号则有发生前向与后向之间的状态切换，反之则没有发生前向与后向之间的状态切换。具体地，对于上一视频帧的四元数信息q-1对P点施加旋转变换后，得到的三维点为
Figure BDA0003053762690000101
Figure BDA0003053762690000102
为q-1的逆。而通过当前视频帧的四元数信息q对P点施加旋转变换后，得到的三维点为P″＝qPq-1。在计算过程中，可以将P点视为实部为0的四元数来进行计算，得到旋转变换后的P′点以及P″点，而后判断P′点与P″点的第一分量是否异号，在此过程中P点等于图像采集设备的初始朝向，而当P点的第一分量由正数切换至负数，或者由负数切换至正数时，说明图像采集设备的姿态发生了过顶或者过底的切换，此时即可通过判断P′点与P″点的第一分量是否异号，来获取图像采集设备姿态切换信息。当然，在其他实施例中，具体的计算过程可以根据所选用的姿态信息的类型进行相应地调整。本实施例中，通过对比前后视频帧的图像采集设备姿态信息来对前后视频帧是否发生朝向切换来进行判断，可以有效获取图像采集设备朝向的状态切换信息，并保证估计的准确性。
在其中一个实施例中，步骤108包括：当姿态切换信息表征图像采集设备朝向发生状态切换、夹角信息表征上一视频帧与竖直方向的夹角小于预设校准角度阈值、且当前视频帧与竖直方向的夹角大于或等于预设校准角度阈值时，通过预设翻转平滑逻辑对当前视频帧进行平滑处理；当夹角信息表征当前视频帧与竖直方向的夹角小于预设校准角度阈值时，通过预设不翻转平滑逻辑对当前视频帧进行平滑处理。
其中，预设校准角度阈值是一个预先设置好的角度，当图像采集设备朝向一直在顶部或底部摆动，且摆动的角度低于预设校准角度阈值时，为了保证拍摄效果，可以判定所得的当前视频帧无需翻转，而超过该预设校准角度阈值时，则可以判定当前视频帧需要进行翻转，同时需要进行平滑处理。
具体地，若图像采集设备朝向发生前向与后向之间的状态切换，且上一帧图像采集设备朝向与竖直方向的夹角小于指定的角度而当前帧与竖直方向的夹角大于或等于指定的角度时。可以判定图像采集设备的姿态在上一帧与当前帧间发生了翻转，即开始进入翻转逻辑，此时记录下当前帧的竖直向上方向up为upstart，并在指定帧数内up由upstart平滑变化到(0，0，1)方向，从而完成预设翻转平滑逻辑下的平滑处理的过程。当夹角信息表征当前视频帧与竖直方向的夹角小于预设校准角度阈值时，即上述翻转逻辑的条件不成立，且当前帧与竖直方向的夹角小于指定的角度需要调整以保持不翻转与平滑效果时，则需要通过预设不翻转平滑逻辑对当前视频帧进行平滑处理。具体地，可以记录上一帧的uppre，当前帧四元数对前向方向(1，0，0)点进行旋转操作即可得到视线方向front，uppre叉乘front即可得到左向left，最后front叉乘left得到当前帧的up。从而完成预设不翻转平滑逻辑。本实施例中，通过状态切换信息以及夹角信息来确定平滑处理的处理方式，可以有效保证平滑处理过程的处理准确性。
在其中一个实施例中，步骤108还包括：根据夹角信息对当前视频帧进行水平线矫正处理。
其中，水平线矫正处理的目的在于对平滑处理过程中所得到的竖直向上方向的角度进行校正，以保证视频处理过程中的处理有效性。具体地，在全景视频拍摄时，如果未调好水平线，可能导致拍摄的全景视频呈现歪斜状，影响视频处理的有效性，因此，在对全景视频内的当前视频帧进行平滑处理时，还需要通过水平线校准来保证处理的有效性。
在其中一个实施例中，如图4所示，根据夹角信息对当前视频帧进行水平线矫正处理具体包括：
步骤401，根据夹角信息确定当前视频帧对应的竖直方向角度以及视线方向角度。
步骤403，根据竖直方向角度以及视线方向角度，确定竖直方向角度的矫正方向角度。
步骤405，根据图像采集设备姿态信息以及矫正方向角度，确定水平线矫正后的旋转矩阵。
步骤407，根据旋转矩阵对当前视频帧进行水平线矫正处理。
具体地，在进行水平线矫正时，可以先根据夹角信息确定当前视频帧对应的竖直方向up以及视线方向front。获取过程可以参照上述通过预设不翻转平滑逻辑对当前视频帧进行平滑处理的计算过程。在处理过程中，先通过竖直方向up叉乘视线方向front得到左向left，再通过front叉乘left即可得到校正后的uprectify；根据公式
Figure BDA0003053762690000121
确定水平线校正后的旋转矩阵，然后将水平线校正后的旋转矩阵转化为四元数即可得到水平线校正后的四元数，从而进行当前视频帧的水平线矫正处理。其中，rotation_matrix表示旋转矩阵，frout.x、front.y以及frout.z分别表示视线方向在图像采集设备的世界坐标轴上的三个分量，left.x、left.y以及left.z分别表示左向方向在图像采集设备的世界坐标轴上的三个分量，uprectify.x、uprectify.y以及uprectify.z分别表示校正后的竖直方向在图像采集设备的世界坐标轴上的三个分量。
特别地，对于上述的预设翻转平滑逻辑以及预设不翻转平滑逻辑均不成立时，水平线校正参考的竖直向上方向up一直都保持(0，0，1)不变。本实施例中，通过夹角信息对全景视频的当前视频帧进行水平线矫正处，可以有效防止当前视频帧呈现歪斜，保证全景视频的拍摄效果。
应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种全景视频处理装置，包括：
视频获取模块502，用于获取水平拍摄模式下的全景视频，全景视频包括多帧视频帧。
姿态获取模块504，用于获取视频帧对应的图像采集设备的姿态信息。
夹角计算模块506，用于根据视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息，并获取图像采集设备朝向与预设拍摄竖直方向的夹角信息。
画面处理模块508，用于根据姿态切换信息以及夹角信息，对当前视频帧进行平滑处理。
在其中一个实施例中，姿态获取模块504具体用于：获取视频帧对应的惯性传感器的传感信息；通过预设姿态估计算法对惯性传感器的传感信息进行求解，获取姿态估计结果；根据姿态估计结果以及预设图像采集设备外参信息，获取视频帧对应的图像采集设备的姿态信息。
在其中一个实施例中夹角计算模块506具体用于：获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息。获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息分别对前向方向进行旋转操作所得的三维点。根据当前视频帧与上一视频帧的三维点之间的分量信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息。
在其中一个实施例中，画面处理模块508具体用于：当姿态切换信息表征图像采集设备朝向发生状态切换、夹角信息表征上一视频帧与竖直方向的夹角小于预设校准角度阈值、且当前视频帧与竖直方向的夹角大于或等于预设校准角度阈值时，通过预设翻转平滑逻辑对当前视频帧进行平滑处理；当夹角信息表征当前视频帧与竖直方向的夹角小于预设校准角度阈值时，通过预设不翻转平滑逻辑对当前视频帧进行平滑处理。
在其中一个实施例中，画面处理模块508还包括水平矫正单元，用于：根据夹角信息对当前视频帧进行水平线矫正处理。
在其中一个实施例中，水平矫正单元具体用于：根据夹角信息确定当前视频帧对应的竖直方向角度以及视线方向角度；根据竖直方向角度以及视线方向角度，确定竖直方向角度的矫正方向角度；根据图像采集设备姿态信息以及矫正方向角度，确定水平线矫正后的旋转矩阵；根据旋转矩阵对当前视频帧进行水平线矫正处理。
关于全景视频处理装置的具体限定可以参见上文中对于全景视频处理方法的限定，在此不再赘述。上述全景视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种帕视频处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取水平拍摄模式下的全景视频，全景视频包括多帧视频帧；
获取视频帧对应的图像采集设备的姿态信息；
根据视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息，并获取图像采集设备朝向与预设拍摄竖直方向的夹角信息；
根据姿态切换信息以及夹角信息，对当前视频帧进行平滑处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取视频帧对应的惯性传感器的传感信息；通过预设姿态估计算法对惯性传感器的传感信息进行求解，获取姿态估计结果；根据姿态估计结果以及预设图像采集设备外参信息，获取视频帧对应的图像采集设备的姿态信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息。获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息分别对前向方向进行旋转操作所得的三维点。根据当前视频帧与上一视频帧的三维点之间的分量信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当姿态切换信息表征图像采集设备朝向发生状态切换、夹角信息表征上一视频帧与竖直方向的夹角小于预设校准角度阈值、且当前视频帧与竖直方向的夹角大于或等于预设校准角度阈值时，通过预设翻转平滑逻辑对当前视频帧进行平滑处理；当夹角信息表征当前视频帧与竖直方向的夹角小于预设校准角度阈值时，通过预设不翻转平滑逻辑对当前视频帧进行平滑处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据夹角信息对当前视频帧进行水平线矫正处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据夹角信息确定当前视频帧对应的竖直方向角度以及视线方向角度；根据竖直方向角度以及视线方向角度，确定竖直方向角度的矫正方向角度；根据图像采集设备姿态信息以及矫正方向角度，确定水平线矫正后的旋转矩阵；根据旋转矩阵对当前视频帧进行水平线矫正处理。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取水平拍摄模式下的全景视频，全景视频包括多帧视频帧；
获取视频帧对应的图像采集设备的姿态信息；
根据视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息，并获取图像采集设备朝向与预设拍摄竖直方向的夹角信息；
根据姿态切换信息以及夹角信息，对当前视频帧进行平滑处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取视频帧对应的惯性传感器的传感信息；通过预设姿态估计算法对惯性传感器的传感信息进行求解，获取姿态估计结果；根据姿态估计结果以及预设图像采集设备外参信息，获取视频帧对应的图像采集设备的姿态信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息。获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息分别对前向方向进行旋转操作所得的三维点。根据当前视频帧与上一视频帧的三维点之间的分量信息，得到当前视频帧与上一视频帧对应的图像采集设备的姿态切换信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当姿态切换信息表征图像采集设备朝向发生状态切换、夹角信息表征上一视频帧与竖直方向的夹角小于预设校准角度阈值、且当前视频帧与竖直方向的夹角大于或等于预设校准角度阈值时，通过预设翻转平滑逻辑对当前视频帧进行平滑处理；当夹角信息表征当前视频帧与竖直方向的夹角小于预设校准角度阈值时，通过预设不翻转平滑逻辑对当前视频帧进行平滑处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据夹角信息对当前视频帧进行水平线矫正处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据夹角信息确定当前视频帧对应的竖直方向角度以及视线方向角度；根据竖直方向角度以及视线方向角度，确定竖直方向角度的矫正方向角度；根据图像采集设备姿态信息以及矫正方向角度，确定水平线矫正后的旋转矩阵；根据旋转矩阵对当前视频帧进行水平线矫正处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandomAccessMemory，SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种全景视频处理方法，所述方法包括：
获取水平拍摄模式下的全景视频，所述全景视频包括多帧视频帧；
获取所述视频帧对应的图像采集设备的姿态信息；
根据所述视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息，并获取所述图像采集设备朝向与预设拍摄竖直方向的夹角信息；
根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理；
所述根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理包括：
当根据所述姿态切换信息以及所述夹角信息判定所述图像采集设备的姿态在所述上一视频帧与当前视频帧间发生翻转时，通过预设翻转平滑逻辑对所述当前视频帧进行平滑处理；
当根据所述姿态切换信息以及所述夹角信息判定所述图像采集设备的姿态在所述上一视频帧与当前视频帧间未发生翻转时，通过预设不翻转平滑逻辑对所述当前视频帧进行平滑处理。
2.根据权利要求1所述的方法，其特征在于，所述获取所述视频帧对应的图像采集设备的姿态信息包括：
获取所述视频帧对应的惯性传感器的传感信息；
通过预设姿态估计算法对所述惯性传感器的传感信息进行求解，获取姿态估计结果；
根据所述姿态估计结果以及预设图像采集设备外参信息，获取所述视频帧对应的图像采集设备的姿态信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息包括：
获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息；
获取当前视频帧的姿态信息与当前视频帧对应上一视频帧的姿态信息分别对前向方向进行旋转操作所得的三维点；
根据所述当前视频帧与所述上一视频帧的所述三维点之间的分量信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息。
4.根据权利要求1所述的方法，其特征在于，所述当根据所述姿态切换信息以及所述夹角信息判定所述图像采集设备的姿态在所述上一视频帧与当前视频帧间发生翻转时，通过预设翻转平滑逻辑对所述当前视频帧进行平滑处理；当根据所述姿态切换信息以及所述夹角信息判定所述图像采集设备的姿态在所述上一视频帧与当前视频帧间未发生翻转时，通过预设不翻转平滑逻辑对所述当前视频帧进行平滑处理包括：
当所述姿态切换信息表征图像采集设备朝向发生状态切换、所述夹角信息表征上一视频帧与竖直方向的夹角小于预设校准角度阈值、且当前视频帧与竖直方向的夹角大于或等于预设校准角度阈值时，通过预设翻转平滑逻辑对所述当前视频帧进行平滑处理；
当所述夹角信息表征当前视频帧与竖直方向的夹角小于预设校准角度阈值时，通过预设不翻转平滑逻辑对所述当前视频帧进行平滑处理。
5.根据权利要求1所述的方法，其特征在于，所述根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理还包括：
根据所述夹角信息对所述当前视频帧进行水平线矫正处理。
6.根据权利要求5所述的方法，其特征在于，所述根据所述夹角信息对所述当前视频帧进行水平线矫正处理包括：
根据所述夹角信息确定当前视频帧对应的竖直方向角度以及视线方向角度；
根据所述竖直方向角度以及视线方向角度，确定所述竖直方向角度的矫正方向角度；
根据所述图像采集设备姿态信息以及所述矫正方向角度，确定水平线矫正后的旋转矩阵；
根据所述旋转矩阵对所述当前视频帧进行水平线矫正处理。
7.一种全景视频处理装置，其特征在于，所述装置包括：
视频获取模块，用于获取水平拍摄模式下的全景视频，所述全景视频包括多帧视频帧；
姿态获取模块，用于获取所述视频帧对应的图像采集设备的姿态信息；
夹角计算模块，用于根据所述视频帧对应的姿态信息，得到当前视频帧与上一视频帧对应的所述图像采集设备的姿态切换信息，并获取所述图像采集设备朝向与预设拍摄竖直方向的夹角信息；
画面处理模块，用于根据所述姿态切换信息以及所述夹角信息，对所述当前视频帧进行平滑处理；
所述画面处理模块具体用于：当根据所述姿态切换信息以及所述夹角信息判定所述图像采集设备的姿态在所述上一视频帧与当前视频帧间发生翻转时，通过预设翻转平滑逻辑对所述当前视频帧进行平滑处理；当根据所述姿态切换信息以及所述夹角信息判定所述图像采集设备的姿态在所述上一视频帧与当前视频帧间未发生翻转时，通过预设不翻转平滑逻辑对所述当前视频帧进行平滑处理。
8.根据权利要求7所述的装置，其特征在于，所述姿态获取模块具体用于：获取所述视频帧对应的惯性传感器的传感信息；通过预设姿态估计算法对所述惯性传感器的传感信息进行求解，获取姿态估计结果；根据所述姿态估计结果以及预设图像采集设备外参信息，获取所述视频帧对应的图像采集设备的姿态信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202110494610.1A 2021-05-07 2021-05-07 全景视频处理方法、装置、计算机设备和存储介质 Active CN113301249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110494610.1A CN113301249B (zh) 2021-05-07 2021-05-07 全景视频处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110494610.1A CN113301249B (zh) 2021-05-07 2021-05-07 全景视频处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113301249A CN113301249A (zh) 2021-08-24
CN113301249B true CN113301249B (zh) 2023-06-30

Family

ID=77320906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110494610.1A Active CN113301249B (zh) 2021-05-07 2021-05-07 全景视频处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113301249B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131225A (zh) * 2022-05-19 2023-11-28 影石创新科技股份有限公司 视频处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110602393A (zh) * 2019-09-04 2019-12-20 南京博润智能科技有限公司 一种基于图像内容理解的视频防抖方法
JP2020061770A (ja) * 2019-12-26 2020-04-16 株式会社ザクティ 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム
CN111784746A (zh) * 2020-08-10 2020-10-16 上海高重信息科技有限公司 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110602393A (zh) * 2019-09-04 2019-12-20 南京博润智能科技有限公司 一种基于图像内容理解的视频防抖方法
JP2020061770A (ja) * 2019-12-26 2020-04-16 株式会社ザクティ 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム
CN111784746A (zh) * 2020-08-10 2020-10-16 上海高重信息科技有限公司 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机***

Also Published As

Publication number Publication date
CN113301249A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
US20180020158A1 (en) Camera Augmented Reality Based Activity History Tracking
US20200314340A1 (en) Anti-shake method and apparatus for panoramic video, and portable terminal
US9055216B1 (en) Using sensor data to enhance image data
KR101707600B1 (ko) 멀티미디어 클립에 대한 비디오 안정화 적용
CN107833237B (zh) 用于模糊视频中的虚拟对象的方法和设备
US9417689B1 (en) Robust device motion detection
Jia et al. Probabilistic 3-d motion estimation for rolling shutter video rectification from visual and inertial measurements
CN111800589B (zh) 图像处理方法、装置和***，以及机器人
CN108827341B (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
WO2018233623A1 (zh) 图像显示的方法和装置
US20160282937A1 (en) Gaze tracking for a mobile device
CN110296717B (zh) 一种事件数据流的处理方法及计算设备
US20160050349A1 (en) Panoramic video
CN113556464B (zh) 拍摄方法、装置及电子设备
CN111833403B (zh) 用于空间定位的方法和装置
US9843724B1 (en) Stabilization of panoramic video
CN110049246A (zh) 电子设备的视频防抖方法、装置和电子设备
CN108344401A (zh) 定位方法、装置及计算机可读存储介质
KR20130105286A (ko) 단말, 표시 화면 묘화 방향 보정 방법, 및 컴퓨터 판독 가능한 기록 매체
CN109960479B (zh) 一种显示设备抗眩晕的方法及装置
US10388069B2 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
CN113301249B (zh) 全景视频处理方法、装置、计算机设备和存储介质
WO2018024239A1 (zh) 混合式图像稳定***
CN108804161B (zh) 应用的初始化方法、装置、终端和存储介质
CN112087728B (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant