CN110022439A - 全景视频图像稳定装置、编码方法及播放方法和评估方法 - Google Patents

全景视频图像稳定装置、编码方法及播放方法和评估方法 Download PDF

Info

Publication number
CN110022439A
CN110022439A CN201910298808.5A CN201910298808A CN110022439A CN 110022439 A CN110022439 A CN 110022439A CN 201910298808 A CN201910298808 A CN 201910298808A CN 110022439 A CN110022439 A CN 110022439A
Authority
CN
China
Prior art keywords
panoramic video
variable quantity
attitude angle
mobile message
shaft displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910298808.5A
Other languages
English (en)
Other versions
CN110022439B (zh
Inventor
蔡宗谕
陈奕志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Publication of CN110022439A publication Critical patent/CN110022439A/zh
Application granted granted Critical
Publication of CN110022439B publication Critical patent/CN110022439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种全景视频图像稳定装置、编码方法及播放方法和评估方法。全景视频的图像稳定方法适用于具有处理器的电子装置。此图像方法撷取全景视频的多个图像帧，并转换各图像帧为立方体映射的多个面上的多个投影画面。接着针对转换至各面上的投影画面，计算时间相邻的投影画面之间的三轴位移及姿态角的变化量。然后平滑化三轴位移及姿态角的变化量，并将平滑化结果记录为移动信息。最后在播放全景视频时，使用移动信息校正全景视频以进行播放。由此可降低对拍摄后视频进行稳定计算所需的计算量，并且不需要额外的储存空间，即可实现图像的稳定化。

Description

全景视频图像稳定装置、编码方法及播放方法和评估方法
技术领域
本发明有关于图像处理方法及装置，且特别有关于一种全景视频的图像稳定方法及装置、以及图像稳定算法的评估方法。
背景技术
全景相机相较于传统相机拍摄出来的视频，更能让观看者身历其境的沉浸在视频之中。然而，观看者在使用虚拟现实(Virtual Reality，VR)或其他装置观看全景视频时，若图像有任何拍摄过程中造成的晃动，晃动都可能被无限放大而加重观看者的晕眩不适感。
目前市面上的全景相机产品，大多是将拍摄后的视频进行稳定计算并用以对整体图像进行覆盖取代后另外存成新的视频。然而，这样的计算会需要较长的计算时间及额外的储存空间。
发明内容
有鉴于此，本发明提供一种全景影片的图像稳定方法及装置，其可将在拍摄时发生晃动的全景影片校正为具有稳定图像画面的全景影片。本发明还提供一种图像稳定演算法的评估方法，其可用于评估图像稳定方法的性能。
本发明一实施例的全景影片的图像稳定编码方法适用于具有处理器的电子装置。此方法包括撷取全景影片的多个图像图框，并转换各图像图框为立方体映射(Cubemap)的多个面上的多个投影画面。接着针对转换至各面上的投影画面，计算时间相邻的图像图框的投影画面之间的三轴位移及姿态角的变化量。最后将三轴位移及姿态角的变化量的结果储存为移动资讯，其中移动资讯用于在播放全景影片时校正全景影片以进行播放。
本发明一实施例的全景视频的图像稳定播放方法适用于具有处理器的电子装置。此方法包括读取全景视频的多个图像帧并将所述图像帧贴到球面模型(spherical mesh)上。接着，读取对应所述全景视频的移动信息，以使用移动信息的姿态角的变化量逆向校正贴到球面模型上的图像帧。最后暂存校正后的球面模型的图像于存储器，并依照移动信息的三轴位移的变化量将球面模型的图像进行逆向校正并逆向搬移后进行播放，其中移动信息的三轴位移的变化量以及姿态角的变化量是根据计算全景视频的时间相邻的图像帧的立方体映射的投影画面之间的三轴位移及姿态角的变化量所产生。
本发明一实施例的全景视频的图像稳定装置包括连接装置、储存装置以及处理器。其中连接装置连接图像来源装置，以自图像来源装置撷取全景视频。储存装置储存程序。处理器耦接连接装置及储存装置，并且处理器载入并执行储存装置中的程序以撷取所述全景视频的多个图像帧，并转换各图像帧为立方体映射的多个面上的多个投影画面。接着针对转换至各面上的投影画面，计算时间相邻的图像帧的投影画面之间的三轴位移及姿态角的变化量。最后将三轴位移及姿态角的变化量的结果储存为移动信息，其中移动信息用于在播放全景视频时校正全景视频以进行播放。
本发明一实施例的图像稳定算法的评估方法适用于具有图像撷取装置及处理器的电子装置。此方法包括依照预设的三轴位移及姿态角的多个变化量，移动图像撷取装置拍摄至少一个测试图案，以获得全景视频的多个图像帧。接着对图像帧执行图像稳定算法以进行逆向校正，获得校正后的图像帧。最后将逆向校正中所使用的三轴位移及姿态角的多个校正量与预设的三轴位移及姿态角的变化量比较，以计算评估图像稳定算法的性能的指标。
依据本发明，在播放全景视频时，图像稳定装置即可使用此移动信息对全景视频进行校正，从而降低全景视频的晃动感。其中，通过将数据量较小的移动信息取代为经稳定处理的全景视频，可降低对拍摄后视频进行稳定计算所需的计算量，并且不需要额外的储存空间，即可实现图像的稳定化。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合说明书附图详细说明如下。
附图说明
图1示出本发明一实施例的图像稳定装置的方块图。
图2示出本发明一实施例的全景视频的图像稳定方法的流程图。
图3A、3B示出本发明一实施例的立方体映射投影的示意图。
图4示出本发明一实施例的图像稳定算法的评估装置的方块图。
图5示出本发明一实施例的图像稳定算法的评估方法的流程图。
图6A及图6B示出本发明一实施例的图像稳定算法的评估方法的范例。
附图标记说明
100、400：电子装置
110：连接装置
120、420：储存装置
130、430：处理器
30：立方体
311：上面
312：下面
321：正面
322：背面
331：左面
332：右面
410：图像撷取装置
60：测试图案
601、602：图像帧
B、F、L、R、T、U：投影画面
S202～S210、S502～S506：步骤。
具体实施方式
本发明是将全景视频的图像帧(frame)投影到立方体的多个面上以计算各图像帧的投影画面之间的三轴位移及姿态角(attitude angle)的变化量并记录为移动信息。而在播放全景视频时，图像稳定装置即可使用此移动信息对全景视频进行校正，从而降低全景视频的晃动感。其中，通过将数据量较小的移动信息取代为经稳定处理的全景视频，可降低对拍摄后视频进行稳定计算所需的计算量，并且不需要额外的储存空间，即可实现图像的稳定化。
图1绘示本发明一实施例的图像稳定装置的方块图。本实施例的图像稳定装置是以图1中的电子装置100为例。电子装置100至少包括连接装置110、储存装置120以及处理器130。电子装置100例如是具备运算功能的相机、摄影机、手机、个人电脑、虚拟现实装置、云端服务器或其他装置，本发明不在此限制。
连接装置110连接图像来源装置(未绘示)，以自图像来源装置接收全景视频。具体而言，连接装置110可以是任何以有线或无线方式与图像来源装置连接，并接收由图像来源装置所撷取的全景视频，其例如是通用串行总线(Universal Serial Bus，USB)、RS232、蓝牙(Bluetooth，BT)、无线相容认证(Wireless fidelity，Wi-Fi)等传输接口，本发明不在此限制。图像来源装置例如是可拍摄全景视频的全景相机、储存有全景视频的硬盘或存储卡、或是位于远端用以储存全景视频的服务器，本发明不在此限制。
储存装置120例如是任何型态的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或类似元件或上述元件的组合而用以储存可由处理器130执行的程序。
处理器130耦接连接装置110及储存装置120，并且可以载入并执行储存装置120中储存的程序。在不同实校正施例中，处理器130例如是中央处理单元(Central ProcessingUnit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、专用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑设备(ProgrammableLogic Device，PLD)或其他类似装置或这些装置的组合，本发明不在此限制。
图2绘示本发明一实施例的全景视频的图像稳定方法的流程图，其中步骤S202到步骤S208是全景视频的图像稳定的图像编码方法，步骤S210是全景视频的图像稳定的图像播放方法。请同时参照图1及图2，本实施例的方法适用于上述电子装置100，以下即搭配电子装置100的各项装置及元件说明本实施例的全景视频的图像稳定方法的详细步骤。本技术领域人员应可理解，上述全景视频的图像稳定编码方法与图像稳定播放方法不一定要在同一个电子装置100中进行，也可以是在一个电子装置100中进行图像稳定编码方法，之后在另一个具备类似运算功能的电子装置100a(未图示)中进行图像稳定播放方法。
首先，由处理器130撷取全景视频的多个图像帧(步骤S202)。其中，全景视频可以由电子装置100中的连接装置110自图像来源装置接收。在本实施例中，图像来源装置可以是配置有两组180度鱼眼镜头以对相背对的拍摄方向进行视频录制的全景相机，或者是配置有更多组鱼眼镜头以不同夹角为拍摄方向录制视频的全景相机。其中，全景相机将多个方向视频中相对应的图像帧拼接成例如是二维空间格式的全景图像帧，以完成全景视频。图像来源装置也可以是硬盘、存储卡或远端服务器等用以储存全景视频的装置，本发明不在此限制。
此外，在一实施例中，全景视频中的各图像帧是以等距柱状投影(Equirectangular projection)的格式来表示，其中等距柱状投影是将经度映射到恒定间距的垂直直线，以及将纬度映射到恒定间距的水平直线。在其他实施例中，除了等距柱状投影之外，也可以是米勒圆柱投影法(Miller cylindrical projection)、卡西尼投影法(Cassini projection)、立方体映射(Cubemap)、等角立方体映射(Equi-angular Cubemap，EAC)等投影，用于表示全景视频中的各图像帧。
在撷取多个图像帧后，由处理器130转换各图像帧为立方体映射的多个面上的多个投影画面(步骤S204)。在一实施例中，立方体映射的多个面包括三组对面中各对面的其中一面，处理器130例如会利用立方体映射(Cubemap)将全景视频中各图像帧投影到三维空间中立方体的前后对面中的一面、左右对面中的一面以及上下对面中的一面。
举例来说，图3A、3B绘示本发明一实施例的立方体映射投影的示意图。请同时参照图3A及3B，其中图3B是立方体30的展开图。在本实施例中，全景视频中的各图像帧通过使用立方体30的六个面作为映射形状来进行映射投影。也就是说，全景图像中的各图像帧可被映射投影至立方体30的六个面，包括左面331、右面332、正面321、背面322、上面311及下面312，而分别生成左投影画面L、右投影画面R、前投影画面F、后投影画面B、上投影画面T及下投影画面U。其中，用于实现各种投影法与立方体映射投影之间的转换方法为本领域技术人员所熟知，于此不再赘述。在一实施例中，立方体映射可以只映射至立方体30的三组对面中各对面的其中一面以供后续步骤进行计算，例如是只映射至正面321、右面332、下面312，而得到投影画面F、R、U。
接着，由处理器130针对转换至各面上的投影画面，计算时间相邻的图像帧的投影画面之间的三轴位移(即X轴、Y轴与Z轴各方向上的位移)及姿态角的变化量(步骤S206)。其中，所述的姿态角包括滚转角(roll)、偏摆角(yaw)与俯仰角(pitch)。需说明的是，在以立方体映射的六个面计算三轴位移的及姿态角的变化量时，使用投影至立方体的左面及右面其中一面的时间相邻的投影画面即可计算出对应轴向上的位移及姿态角的值，例如X轴位移、Z轴位移及俯仰角；使用投影至正面及背面其中一面的时间相邻的投影画面即可计算出对应轴向上的位移及姿态角的值，例如Y轴位移、Z轴位移及滚转角；使用投影至上面及下面其中一面的时间相邻的投影画面即可以计算出对应轴向上的位移及姿态角的值，例如X轴位移、Y轴位移及偏摆角。因此，在计算三轴位移的及姿态角的变化量时，可以使用映射至立方体的正面、右面及下面的投影画面，借此可减少计算量。在另一实施例中，也可以使用立方体映射的全部六个面来计算三轴位移的及姿态角的变化量，并且将三组相对面中的各对应相对面计算出的值进行平均，例如分别使用投影至立方体的左面及右面各自计算出一组X轴位移、Z轴位移及俯仰角的值，再计算上述两组值的平均值做为最后的X轴位移、Z轴位移及俯仰角的值；对应的正面及背面与对应的上面及下面也以此类推进行计算。
在本实施例中，处理器130会在计算上述三轴位移及姿态角的变化时，例如会检测各投影画面中的多个特征点(feature point)，并且计算时间相邻的图像帧的投影画面中各特征点之间的差异，以推估三轴位移及姿态角的变化量。举例而言，为了取得各投影画面中各特征点之间的差异，可以对各全景视频中各图像帧转换后的多个投影画面执行特征点检测以找出各投影画面中的多个特征点，例如是使用边缘侦测(edge detection)、角落侦测(corner detection)或其他特征点检测法。投影画面中检测出的特征点数目可以由使用者设定或***预先设定；使用的特征点数目越多，后续的三轴位移及姿态角的变化量计算就越准确，但需要花费的计算时间或计算资源也越多。在一实施例中，处理器130可以使用OpenCV中提供的goodFeaturesToTrack()函数来获取特征点的像素的坐标，接着再计算时间相邻的图像帧的投影画面中的这些特征点之间的位移，以估算出三轴位移及姿态角的变化量。在另一实施例中，也可以对各全景视频中各图像帧转换后的多个投影画面执行深度估计技术，例如利用相对模糊(Relative blurriness)、基于区块匹配(Block-basedmatching)或光流(Optical flow)等方法，来计算各投影画面中各像素的移动量，以通过各像素的移动量估算时间相邻的投影画面之间的三轴位移及姿态角的变化量。本实施例不限制三轴位移及姿态角的变化量的计算方式。
接着，由处理器130将三轴位移及姿态角的变化量的结果储存为移动信息(步骤S208)。在一实施例中，可以先平滑化三轴位移及姿态角的变化量，再将平滑化的结果储存为移动信息。其中，平滑化三轴位移及姿态角的变化量的计算方法可以是简易的取时间上的平均(average)，或可选的，对三轴位移的变化量及姿态角的变化量分别进行时间上的高斯平滑化计算而计算出平滑化的三轴位移变化量及平滑化的姿态角变化量，例如将时间相邻的数个投影画面的三轴位移及姿态角的变化量取平均或进行高斯平滑化计算，本实施例不限制平滑化的计算方式。在一实施例中，可以根据图像的不同晃动模式(例如因图像拍摄过程中拍摄者走路、跑步或手部不稳所造成的晃动等)而调整平滑化的计算方式，例如是调整用来取平均或进行高斯平滑化计算的时间相邻的投影画面的数目，或是调整高斯平滑化计算中使用的参数等。在另一实施例中，也可以进一步将平滑化后的三轴位移变化量或/及平滑化的姿态角变化量再乘上适当的比例常数以调整其数值范围。在又一实施例中，也可以不进行平滑化的步骤而直接将步骤S206得到的三轴位移的变化量及姿态角的变化量结果记录为移动信息。另一方面，在一实施例中，处理器130会将所计算的移动信息直接嵌入全景视频的元数据(metadata)中的多个栏位，也就是与原本的全景视频文件结合为一个文件。详细而言，处理器130例如会在全景视频的元数据中新增时间戳、三轴位移、姿态角等栏位。以MP4文件格式为例，处理器130会在其元数据中定义新的标签(Tag)，并在各标签后面记录对应的移动数据。而在另一实施例中，处理器130会将所计算的移动信息另外储存为一个移动信息文件，例如是将移动数据另外储存为逗号分隔值(Comma-Separated Values，CSV)文件(附档名为.CSV)等可在程序之间转移表格数据的文件。需注意的是，不管移动信息是与原本的文件结合或是储存成另一个文件，全景视频原始的文件内容都会被储存保留。在另一实施例中，全景视频的元数据或是另外储存的移动信息文件中可以更进一步包含全景视频拍摄时所侦测的陀螺仪信息栏位，例如经纬度、三轴旋转速度、三轴线性加速度、三轴加速度等栏位。
最后，由处理器130在播放全景视频时，使用移动信息校正全景视频以进行播放(步骤S210)。详细而言，处理器130在进行全景视频播放时例如是将视频当作球面模型(spherical mesh)的贴图，也就是将全景视频的图像帧贴到球面模型上，接着读取所记录的移动信息，以使用姿态角(即滚转角、偏摆角与俯仰角)的变化量对贴到球面模型上的图像帧进行逆向校正，借此减低三轴旋转方向上的晃动感。处理器130例如会将校正后的球面模型的图像暂存于存储器(例如显示器的缓冲存储器)，并依照三轴位移的变化量将球面模型的图像逆向搬移(即在X轴、Y轴及Z轴方向上逆向地移动)后在显示器播放，借此减低三轴位移方向上的晃动感。
在本发明一实施例中，电子装置100从图像来源装置撷取全景视频V1，其中包括时间戳为T0～T3的图像帧F0～F3。电子装置100将图像帧F0～F3映射投影至例如图3A中立方体30的多个面，以获得投影画面。其中，投影在左面331获得投影画面F0_331～F3_331；投影在右面332获得投影画面F0_332～F3_332；投影在背面322获得投影画面F0_322～F3_322；投影在正面321获得投影画面F0_321～F3_321；投影在上面311获得投影画面F0_311～F3_311；以及投影在下面312获得投影画面F0_312～F3_312。
如前面段落所述，处理器130可以只使用立方体30其中3个面的投影画面的特征点计算出时间戳T0～T3的投影画面之间的三轴位移及姿态角的变化量。在本实施例中，处理器130以图像帧F0～F3转换至背面322的投影画面F0_322～F3_322计算时间戳T0～T3中相邻时间点的各投影画面之间的Y轴位移、Z轴位移及滚转角的变化量；以转换至右面332的投影画面F0_332～F3_332计算时间戳T0～T3中相邻时间点的各投影画面之间的X轴位移及俯仰角的变化量；以及以转换至下面312的投影画面F0_312～F3_312计算时间戳T0～T3中相邻时间点的各投影画面的偏摆角的变化量；但本发明并不限于此，亦可以使用不同的面的投影画面来计算对应的三轴位移及姿态角的变化量。接着，处理器130将这些变化量的值进行平滑化处理，并将平滑化结果嵌入全景视频的元数据中的对应栏位。在一实施例中，对应栏位所记录的三轴位移及姿态角的结果可以是相对于某一特定时间戳的图像帧(例如全景视频中的第一个图像帧)所累积的变化量，其中各栏位所记录的平滑化计算结果如下表1所示(单位：度)：
表1
时间戳 X轴位移 Y轴位移 Z轴位移 俯仰角 滚转角 偏摆角
T0 87.36901 36.027657 -24.343977 36.027657 87.369 87.87248
T1 87.89885 32.960445 -22.605251 32.96045 87.8988 88.237144
T2 87.58022 33.8715 -23.4202 33.871494 87.58018 87.991036
T3 87.39248 45.426464 -37.113262 45.426464 87.38351 88.16401
在另一实施例中，对应栏位所记录的三轴位移及姿态角的结果也可以是相对于前一个时间戳的图像帧的变化量。在其他实施例中，处理器130也可将上表1的平滑化结果另外储存为移动信息文件，在此不设限。
当电子装置100在播放全景视频时，处理器130会使用移动信息校正全景视频以进行播放。具体而言，处理器130先读取全景视频的图像帧，并将图像帧贴到球面模型上。接着，处理器130读取先前所记录的移动信息，并进行必要的单位或/及坐标转换(例如将三轴位移的变化量的单位由度数转换为像素数等)，再以移动信息中所记录的平滑化后的滚转角、偏摆角及俯仰角的变化量套用到球面模型上。意即，以所述滚转角、偏摆角及俯仰角的变化量对贴到球面模型上的图像帧进行逆向校正(即逆向旋转所述滚转角、偏摆角及俯仰角的变化量)。处理器130接着将校正后的球面模型的图像暂存于储存装置120或其他存储器(例如显示器的缓冲存储器)，然后再依照X轴位移、Y轴位移及Z轴位移的变化量将校正后的球面模型的图像逆向搬移后在显示器播放。
在本发明另一实施例中，如前面段落所述，处理器130更撷取全景视频拍摄时所侦测的陀螺仪信息，而将陀螺仪信息与平滑化结果一同记录为移动信息。借此，在播放全景视频时，处理器130除了使用平滑化结果来校正全景视频外，亦可以使用陀螺仪信息对校正后的全景视频后制特效，以进行播放。例如，由于陀螺仪信息可以用于区分全景视频拍摄时相对于地面的真正上方或下方，因此使用陀螺仪信息可以实现如子弹时间(Bullet time)、图像自动水平等后制特效。
本发明另一实施例还提供一种图像稳定算法的评估方法，适用于具有图像撷取装置及处理器的电子装置。图4示出本发明一实施例的图像稳定算法的评估装置的方块图。本实施例的评估装置是以图4中的电子装置400为例。电子装置400至少包括图像撷取装置410、储存装置420以及处理器430。电子装置400例如是具备运算功能的相机、摄影机、手机、个人电脑、虚拟现实装置、云端服务器或其他装置。图像撷取装置410例如是配置有电荷耦合元件(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他种类的感光元件的图像感测器，而可感测进入光学镜头的光线强度以产生图像。储存装置420及处理器430的种类与前述实施例的储存装置120及处理器130相同或相似，故其详细内容在此不再赘述。
图5示出本发明一实施例的图像稳定算法的评估方法的流程图。请同时参照图4及图5，本实施例的方法适用于上述电子装置400，以下即搭配电子装置400的各项装置及元件说明本实施例的图像稳定算法的评估方法的详细步骤。
首先，由电子装置400的处理器430依照预设的三轴位移及姿态角的多个变化量，移动图像撷取装置410拍摄至少一个测试图案(例如，但不限于，三轴方向上各一个测试图案)，以获得全景视频的多个图像帧(步骤S502)。接着，对图像帧执行待评估的图像稳定算法以进行逆向校正，获得校正后的图像帧(步骤S504)。最后，将逆向校正中所使用的三轴位移及姿态角的多个校正量与预设的三轴位移及姿态角的变化量比较，以计算评估图像稳定算法的性能的指标(步骤S506)。其中，图像稳定算法的评估方法更可以将逆向校正中所使用的三轴位移及姿态角的多个校正量与***硬件装置记录的数据比较，以计算电子装置400的处理器430所执行的视频编码器(video encoder)与***硬件装置之间同步的时间差。
举例来说，图6A及图6B示出本发明一实施例的图像稳定算法的评估方法的范例。请同时参照图4、图6A及图6B，本实施例适用于上述图4中的电子装置400。首先，电子装置400的处理器430会使用图像撷取装置410拍摄包括测试图案60(仅示出一个)在内的图像帧601(如图6A所示)，然后再依照预设的三轴位移及姿态角的多个变化量移动或旋转图像撷取装置410以拍摄测试图案60，而获得如图6B所示的图像帧602。其中，所述预设的三轴位移及姿态角的多个变化量包括X、Y、Z轴方向上位移的变化量以及相对X、Y、Z轴旋转所得到的滚转角、偏摆角及俯仰角的变化量。
由于图像撷取装置410的移动是依照预设的变化量进行，因此处理器430在对图像撷取装置410所撷取的图像帧执行待评估的图像稳定算法以进行逆向校正后，可以将其实际移动图像撷取装置410的距离或旋转角度(即，三轴位移及姿态角的变化量)与对图像帧执行图像稳定算法以逆向校正时所使用的三轴位移及姿态角的多个校正量进行比较，从而评估校正是否正确及/或校正结果的正确性。
具体来说，在使用所述图像稳定算法对图像帧执行逆向校正时，例如可获得“逆向校正中所使用的三轴位移及姿态角的校正量”。据此，本实施例的评估方式例如是以像素为单位计算实际移动图像撷取装置410的“三轴位移及姿态角的变化量”与执行图像稳定算法所获得的“逆向校正的三轴位移及姿态角的校正量”的差异，从而以此差异的大小作为评估图像稳定算法的性能的指标。
在一实施例中，上述图像稳定算法的评估方法除了可评估校正的正确性外，更可以将执行上述图像稳定算法的电子装置400的视频编码器的结果随时间的变化与***硬件装置记录的数据随时间的变化进行比较，以辅助计算电子装置400的视频编码器与***硬件装置之间的同步时间差，而用于各软体与硬件间同步的计算。其中***硬件装置例如是陀螺仪或惯性测量单元(Inertial measurement unit)等用于测量电子装置移动、旋转位置及方向的硬件，本发明不在此限制。
综上所述，本发明的全景视频图像稳定方法及装置与图像稳定算法评估方法通过将全景视频的图像帧投影到立方体的多个面上，以计算各投影画面之间的三轴位移及姿态角的变化量并记录为移动信息，从而在播放全景视频时，可使用移动信息对全景视频进行校正。借此，本发明可降低对拍摄后视频进行稳定计算所需的计算量，并且不需要额外的储存空间，即可实现图像的稳定化。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可以在此基础上做进一步的改进和变化，因此本发明的保护范围应当以本申请的权利要求书所界定的范围为准。

Claims (20)

1.一种全景视频的图像稳定编码方法，其特征在于，适用于具有处理器的电子装置，该方法包括下列步骤：
撷取全景视频的多个图像帧；
转换各所述图像帧为立方体映射的多个面上的多个投影画面；
针对转换至各所述面上的所述投影画面，计算时间相邻的所述图像帧的所述投影画面之间的三轴位移及姿态角的变化量；以及
将所述三轴位移及所述姿态角的变化量的结果储存为移动信息，其中所述移动信息用于在播放所述全景视频时校正所述全景视频以进行播放。
2.根据权利要求1所述的方法，其中针对转换至各所述面上的所述投影画面，计算时间相邻的所述图像帧的所述投影画面之间的所述三轴位移及所述姿态角的变化量的步骤包括：
检测各所述投影画面中的多个特征点；以及
计算时间相邻的所述图像帧的所述投影画面中各所述特征点之间的差异，以推估所述三轴位移及所述姿态角的变化量。
3.根据权利要求1所述的方法，其中将所述三轴位移及所述姿态角的变化量的结果储存为移动信息的步骤包括：
平滑化所述三轴位移及所述姿态角的变化量，并将平滑化的所述三轴位移及所述姿态角的变化量的结果储存为所述移动信息。
4.根据权利要求1所述的方法，其中将所述三轴位移及所述姿态角的变化量的结果储存为所述移动信息的步骤包括：
将所述移动信息嵌入所述全景视频的元数据中的多个栏位。
5.根据权利要求1所述的方法，其中将所述三轴位移及所述姿态角的变化量的结果储存为所述移动信息的步骤包括：
将所述移动信息储存为所述全景视频之外的移动信息文件。
6.根据权利要求1所述的方法，更包括：
撷取所述全景视频拍摄时所侦测的陀螺仪信息；以及
将所述陀螺仪信息与所述三轴位移及所述姿态角的变化量的结果储存为所述移动信息，其中所述移动信息的所述陀螺仪信息用于后制校正后的所述全景视频的播放特效。
7.根据权利要求1所述的方法，其中所述立方体映射的所述多个面包括三组对面中的各所述对面的其中一面。
8.一种全景视频的图像稳定播放方法，其特征在于，适用于具有处理器的电子装置，该方法包括下列步骤：
读取全景视频的多个图像帧并将所述图像帧贴到球面模型上；
读取对应所述全景视频的移动信息，以使用所述移动信息的姿态角的变化量逆向校正贴到所述球面模型上的所述图像帧；以及
暂存校正后的所述球面模型的图像于存储器，并依照所述移动信息的三轴位移的变化量将所述球面模型的图像进行逆向校正并逆向搬移后进行播放，其中所述移动信息的所述三轴位移的变化量以及所述姿态角的变化量是根据计算所述全景视频的时间相邻的所述图像帧的立方体映射的投影画面之间的三轴位移及姿态角的变化量所产生。
9.根据权利要求8所述的方法，其中所述移动信息是嵌入所述全景视频的元数据中的多个栏位。
10.根据权利要求8所述的方法，其中所述移动信息是所述全景视频之外的移动信息文件。
11.根据权利要求8所述的方法，其中所述移动信息更包括陀螺仪信息，其中所述陀螺仪信息用于后制校正后的所述全景视频的播放特效。
12.一种全景视频的图像稳定装置，其特征在于，包括：
连接装置，连接图像来源装置，以自所述图像来源装置撷取全景视频；
储存装置，储存程序；以及
处理器，耦接该连接装置及该储存装置，载入并执行该储存装置中的所述程序以：
撷取所述全景视频的多个图像帧；
转换各所述图像帧为立方体映射的多个面上的多个投影画面；
针对转换至各所述面上的所述投影画面，计算时间相邻的所述图像帧的所述投影画面之间的三轴位移及姿态角的变化量；以及
将所述三轴位移及所述姿态角的变化量的结果储存为移动信息，其中所述移动信息用于在播放所述全景视频时校正所述全景视频以进行播放。
13.根据权利要求12所述的装置，其中所述处理器包括检测各所述投影画面中的多个特征点，以及计算时间相邻的所述图像帧的所述投影画面中各所述特征点之间的差异，以推估所述三轴位移及所述姿态角的变化量。
14.根据权利要求12所述的装置，其中所述处理器包括平滑化所述三轴位移及所述姿态角的变化量，并将平滑化的所述三轴位移及所述姿态角的变化量的结果储存为所述移动信息。
15.根据权利要求12所述的装置，其中所述处理器包括将所述移动信息嵌入所述全景视频的元数据中的多个栏位。
16.根据权利要求12所述的装置，其中所述处理器包括将所述移动信息储存为所述全景视频之外的移动信息文件。
17.根据权利要求12所述的装置，其中所述处理器更包括撷取所述全景视频拍摄时所侦测的陀螺仪信息，将所述陀螺仪信息与所述三轴位移及所述姿态角的结果储存为所述移动信息，其中所述移动信息的所述陀螺仪信息用于后制校正后的所述全景视频的播放特效。
18.根据权利要求12所述的装置，其中所述立方体映射的所述多个面包括三组对面中的各所述对面的其中一面。
19.一种图像稳定算法的评估方法，其特征在于，适用于具有图像撷取装置及处理器的电子装置，该方法包括下列步骤：
依照预设的三轴位移及姿态角的多个变化量，移动所述图像撷取装置拍摄至少一个测试图案，以获得全景视频的多个图像帧；
对所述图像帧执行图像稳定算法以进行逆向校正，获得校正后的所述图像帧；以及
将逆向校正中所使用的所述三轴位移及姿态角的多个校正量与预设的所述三轴位移及姿态角的所述变化量比较，以计算评估所述图像稳定算法的性能的指标。
20.根据权利要求19所述的方法，更包括：
将逆向校正中所使用的所述三轴位移及姿态角的多个校正量随时间的变化与***硬件装置记录的数据随时间的变化进行比较，以计算所述电子装置的视频编码器与所述***硬件装置之间同步的时间差。
CN201910298808.5A 2019-01-29 2019-04-15 全景视频图像稳定装置、编码方法及播放方法和评估方法 Active CN110022439B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108103347 2019-01-29
TW108103347A TWI700000B (zh) 2019-01-29 2019-01-29 全景影片影像穩定方法及裝置與影像穩定演算法評估方法

Publications (2)

Publication Number Publication Date
CN110022439A true CN110022439A (zh) 2019-07-16
CN110022439B CN110022439B (zh) 2021-09-28

Family

ID=67191439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298808.5A Active CN110022439B (zh) 2019-01-29 2019-04-15 全景视频图像稳定装置、编码方法及播放方法和评估方法

Country Status (3)

Country Link
US (1) US11627390B2 (zh)
CN (1) CN110022439B (zh)
TW (1) TWI700000B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099106A (zh) * 2021-02-24 2021-07-09 影石创新科技股份有限公司 一种视频处理方法、装置、设备及存储介质
CN113301249A (zh) * 2021-05-07 2021-08-24 影石创新科技股份有限公司 全景视频处理方法、装置、计算机设备和存储介质
WO2021253189A1 (en) * 2020-06-15 2021-12-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, scanning method of controlling electric device, and computer readable storage medium
CN117994765A (zh) * 2024-04-03 2024-05-07 深圳市智兴盛电子有限公司 行车记录仪视频校正方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
JP2023001629A (ja) * 2021-06-21 2023-01-06 キヤノン株式会社 撮像装置、情報処理装置及びその制御方法並びにプログラム

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
JP2008275391A (ja) * 2007-04-26 2008-11-13 Canon Inc 位置姿勢計測装置及び位置姿勢計測方法
JP2011097217A (ja) * 2009-10-28 2011-05-12 Kyocera Corp 動き補正装置およびその方法
CN103873758A (zh) * 2012-12-17 2014-06-18 北京三星通信技术研究有限公司 全景图实时生成的方法、装置及设备
US20150029306A1 (en) * 2013-07-24 2015-01-29 Natural University of Sciences & Technology(NUST) Method and apparatus for stabilizing panorama video captured based on multi-camera platform
JP2015023470A (ja) * 2013-07-19 2015-02-02 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ パノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN104601882A (zh) * 2014-12-30 2015-05-06 广东欧珀移动通信有限公司 一种全景拍摄方法及终端
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
KR20170059889A (ko) * 2015-11-23 2017-05-31 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN107071279A (zh) * 2017-04-01 2017-08-18 深圳市圆周率软件科技有限责任公司 一种全景图像画面稳定的方法及***
CN108366243A (zh) * 2018-01-23 2018-08-03 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN108520232A (zh) * 2017-08-16 2018-09-11 威盛电子股份有限公司 立体环景影片产生方法及装置
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和***
CN109040575A (zh) * 2017-06-09 2018-12-18 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077509B (zh) * 2013-01-23 2015-10-28 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
US10165186B1 (en) * 2015-06-19 2018-12-25 Amazon Technologies, Inc. Motion estimation based video stabilization for panoramic video from multi-camera capture device
CN106303495B (zh) * 2015-06-30 2018-01-16 深圳创锐思科技有限公司 全景立体图像的合成方法、装置及其移动终端
WO2017087537A1 (en) * 2015-11-16 2017-05-26 Google Inc. Stabilization based on accelerometer data
US10404915B1 (en) * 2016-04-07 2019-09-03 Scott Zhihao Chen Method and system for panoramic video image stabilization
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
EP3301643A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for rectified motion compensation for omnidirectional videos
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
WO2018127625A1 (en) * 2017-01-03 2018-07-12 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN107040694B (zh) * 2017-04-07 2019-10-25 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、***及便携式终端
EP3435676A1 (en) * 2017-07-25 2019-01-30 Thomson Licensing Method and apparatus for encoding and decoding an omnidirectional video
KR102411337B1 (ko) * 2017-10-09 2022-06-22 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN108462838B (zh) * 2018-03-16 2020-10-02 影石创新科技股份有限公司 一种全景视频防抖方法、装置及便携式终端
CN108648141B (zh) * 2018-05-15 2023-03-21 浙江大华技术股份有限公司 一种图像拼接方法及装置
WO2020001790A1 (en) * 2018-06-29 2020-01-02 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a video signal

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275391A (ja) * 2007-04-26 2008-11-13 Canon Inc 位置姿勢計測装置及び位置姿勢計測方法
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
JP2011097217A (ja) * 2009-10-28 2011-05-12 Kyocera Corp 動き補正装置およびその方法
CN103873758A (zh) * 2012-12-17 2014-06-18 北京三星通信技术研究有限公司 全景图实时生成的方法、装置及设备
JP2015023470A (ja) * 2013-07-19 2015-02-02 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ パノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置
US20150029306A1 (en) * 2013-07-24 2015-01-29 Natural University of Sciences & Technology(NUST) Method and apparatus for stabilizing panorama video captured based on multi-camera platform
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN104601882A (zh) * 2014-12-30 2015-05-06 广东欧珀移动通信有限公司 一种全景拍摄方法及终端
KR20170059889A (ko) * 2015-11-23 2017-05-31 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN106257911A (zh) * 2016-05-20 2016-12-28 上海九鹰电子科技有限公司 用于视频图像的图像稳定方法和装置
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
CN107071279A (zh) * 2017-04-01 2017-08-18 深圳市圆周率软件科技有限责任公司 一种全景图像画面稳定的方法及***
CN109040575A (zh) * 2017-06-09 2018-12-18 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质
CN108520232A (zh) * 2017-08-16 2018-09-11 威盛电子股份有限公司 立体环景影片产生方法及装置
CN108366243A (zh) * 2018-01-23 2018-08-03 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021253189A1 (en) * 2020-06-15 2021-12-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, scanning method of controlling electric device, and computer readable storage medium
CN113099106A (zh) * 2021-02-24 2021-07-09 影石创新科技股份有限公司 一种视频处理方法、装置、设备及存储介质
CN113099106B (zh) * 2021-02-24 2023-05-09 影石创新科技股份有限公司 一种视频处理方法、装置、设备及存储介质
CN113301249A (zh) * 2021-05-07 2021-08-24 影石创新科技股份有限公司 全景视频处理方法、装置、计算机设备和存储介质
CN113301249B (zh) * 2021-05-07 2023-06-30 影石创新科技股份有限公司 全景视频处理方法、装置、计算机设备和存储介质
CN117994765A (zh) * 2024-04-03 2024-05-07 深圳市智兴盛电子有限公司 行车记录仪视频校正方法、装置、设备及存储介质
CN117994765B (zh) * 2024-04-03 2024-06-11 深圳市智兴盛电子有限公司 行车记录仪视频校正方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11627390B2 (en) 2023-04-11
CN110022439B (zh) 2021-09-28
TW202029727A (zh) 2020-08-01
TWI700000B (zh) 2020-07-21
US20200244888A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
CN110022439A (zh) 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN107852462B (zh) 相机模块、固体摄像元件、电子设备和摄像方法
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
Forssén et al. Rectifying rolling shutter video from hand-held devices
KR102397343B1 (ko) 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스
CN105407271B (zh) 图像处理设备和方法、摄像设备以及图像生成设备
KR100968974B1 (ko) 손떨림 보정 장치
CN108564617A (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN108520232A (zh) 立体环景影片产生方法及装置
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
EP3417606A1 (en) A method of stabilizing a sequence of images
JP6398457B2 (ja) 撮影装置、撮影方法、およびプログラム
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN107615744B (zh) 一种图像拍摄参数的确定方法及摄像装置
CN107820019B (zh) 虚化图像获取方法、装置及设备
CN102256061A (zh) 一种二维三维混合的视频稳定方法
US20210218894A1 (en) A method of stabiizing a sequence of images
CN110119189B (zh) Slam***的初始化、ar控制方法、装置和***
CN115953483A (zh) 一种参数标定方法、装置、计算机设备及存储介质
CN114429191B (zh) 基于深度学习的电子防抖方法、***及存储介质
CN110741625A (zh) 运动估计方法及可移动设备
CN109462717A (zh) 电子稳像方法及终端
CN104320576B (zh) 一种用于便携式终端的图像处理方法及图像处理装置
TW201911239A (zh) 立體環景影片產生方法及裝置
KR102192433B1 (ko) 360도 영상의 수평 수직 보정을 위한 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant