CN115037915B - 视频处理方法和处理装置 - Google Patents

视频处理方法和处理装置 Download PDF

Info

Publication number
CN115037915B
CN115037915B CN202110245949.8A CN202110245949A CN115037915B CN 115037915 B CN115037915 B CN 115037915B CN 202110245949 A CN202110245949 A CN 202110245949A CN 115037915 B CN115037915 B CN 115037915B
Authority
CN
China
Prior art keywords
processed
image
position information
video frame
mth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110245949.8A
Other languages
English (en)
Other versions
CN115037915A (zh
Inventor
李�瑞
张俪耀
陆洋
刘蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110245949.8A priority Critical patent/CN115037915B/zh
Publication of CN115037915A publication Critical patent/CN115037915A/zh
Application granted granted Critical
Publication of CN115037915B publication Critical patent/CN115037915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种视频处理方法和处理装置。本申请提出的技术方案中，获取拍摄装置在待处理视频帧中的一个或多个待处理图像的成像时刻的位置信息，并根据待处理视频中多个视频帧对应的位置信息估计拍摄装置的理想运动曲线，并将拍摄装置在该理想运动曲线上对应于待处理视频帧中上述一个或多个待处理图像的成像时刻的位置信息作为拍摄装置在待处理视频帧的理想位置信息，然后计算出能够校正待处理视频中所有待处理图像的成像时刻的位置信息的变换矩阵，最后再根据待处理视频帧中的所有待处理图像和对应的变换矩阵，融合出待处理视频帧的目标HDR图像，进一步生成目标视频。该方法避免了鬼影的放大，同时提高了HDR融合的精度，降低了鬼影出现的概率。

Description

视频处理方法和处理装置
技术领域
本申请涉及数字图像处理领域，尤其涉及一种视频处理方法和处理装置。
背景技术
随着视频图像技术的快速发展，人们对视频观看体验的要求也越来越高，高动态范围(high dynamic range，HDR)视频已被逐渐应用于影视特效领域。相比低动态范围(lowdynamic range，LDR)图像，HDR视频能够呈现出更广的亮度和更多的颜色，能够更好的展示视觉效果。
一种获得HDR视频的方法中，首先利用不同曝光时间的LDR图像融合出每一帧的HDR图像，然后根据所有帧的HDR图像生成HDR视频，最后对HDR视频进行视频稳像，使获得的HDR视频具有稳定性。
使用上述方法获得的HDR视频中经常会出现难以接受的漂浮物现象，影响用户的视觉体验。
发明内容
本申请提供一种视频处理方法和处理装置，能够避免获得的HDR视频中图像的鬼影被放大的问题，同时提高HDR融合的精度，降低鬼影出现的概率。
第一方面，本申请提供一种视频处理方法。该方法包括：获取待处理视频，所述待处理视频包括J个待处理视频帧，所述J个待处理视频帧中每个待处理视频帧包含K个待处理图像，所述K个待处理图像与K个曝光时长一一对应，所述J和K为大于1的整数；获取待处理视频的拍摄装置在J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的位置信息，m为整数且从1取至J；根据拍摄装置在J个待处理视频帧中所有待处理视频帧分别对应的第一待处理图像的成像时刻的位置信息，估计拍摄装置拍摄待处理视频时的运动曲线；将拍摄装置在运动曲线上所述第m个待处理视频帧中的第一待处理图像的成像时刻的位置信息确定为拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息，n为整数且从1取至K；根据拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵；根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
本申请提供的视频处理方法，由于在进行HDR融合之前，已经计算出了每一个待处理视频帧中的所有待处理图像成像时刻的位置信息与理想位置信息之间的第一变换矩阵，即将视频稳像放在了HDR融合之前，因此避免了鬼影在视频稳像中的放大。而通过该第一变换矩阵，可以将每一个待处理视频帧中的所有待处理图像校正到理想位置上，也就是说，在进行HDR融合之前，就已经先将每一个待处理视频帧中的所有待处理图像的位置信息配准到了拍摄装置以同一个理想位置拍摄的图像上，从而将所有待处理图像都进行了一次配准，而通过后续HDR融合模块还可以进一步的进行配准融合，从而形成了先粗后精的待处理图像之间的配准。因此该方法还提高了HDR融合的精度，降低了鬼影出现的概率。
结合第一方面，在一种可能的实现方式中，所述待处理图像包括h行像素，所述方法还包括：根据拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，所述h为大于1的整数，i为整数且从1取至h；相应地，根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频，包括：根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，和第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
本申请提供的视频处理方法，除了计算将每一个待处理图像校正到理想位置上的第一变换矩阵外，还计算将每一个待处理图像上的每一行校正到理想位置上的第二变换矩阵，这样，在使整个待处理图像校正到理想位置的情况下，还可以保证待处理图像中的每一行也校正到理想位置，从而完成了每一个待处理图像内行之间的配准，提升了每一个待处理图像拍摄时的准确性，进一步地，能够提升每一个视频帧内待处理图像之间的配准度，从而地降低融合时出现的鬼影问题。
结合第一方面，在一种可能的实现方式中，所述获取待处理视频的拍摄装置在J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的位置信息，包括：根据运动传感器记录的信息，通过插值函数获得拍摄装置在J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的传感器信息；对第一待处理图像的成像时刻的传感器信息进行积分，获得第一待处理图像的成像时刻的位置信息。
结合第一方面，在一种可能的实现方式中，所述运动传感器包括陀螺仪或惯性测量单元。
结合第一方面，在一种可能的实现方式中，根据拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，包括：计算拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和所述拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息之间的变换矩阵R；将变换矩阵R，根据公式TRT-1进行变换，获得第一变换矩阵，所述T为所述拍摄装置的参数矩阵。
结合第一方面，在一种可能的实现方式中，根据第m个待处理视频帧中的第n个待处理图像的成像时刻对应的实际位置信息与对应的理想位置信息之间的第一变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，包括：将第m个待处理视频帧中的第n个待处理图像通过对应的第一变换矩阵进行仿射变换，获得第m个待处理视频帧中的第n个待处理图像仿射变换后的图像；将仿射变换后的图像输入到HDR融合模块中，生成第m个待处理视频帧对应的目标视频帧；或者，将第m个待处理视频帧中的第n个待处理图像和对应的第一变换矩阵同时输入至HDR融合模块，生成第m个待处理视频帧对应的目标视频帧。
结合第一方面，在一种可能的实现方式中，所述每个待处理图像为原生RAW图像。
结合第一方面，在一种可能的实现方式中，K个待处理图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像、所述第二曝光图像和所述第三曝光图像与第一曝光时长、第二曝光时长和第三曝光时长一一对应，所述第一曝光时长大于所述第二曝光时长，所述第二曝光时长大于所述第三曝光时长，且所述第二曝光图像为所述第一待处理图像。
第二方面，本申请提供一种视频处理装置，包括：待处理视频获取模块，用于获取待处理视频，所述待处理视频包括J个待处理视频帧，所述J个待处理视频帧中每个待处理视频帧包含K个待处理图像，所述K个待处理图像与K个曝光时长一一对应，所述J和K为大于1的整数；第一待处理图像的位置信息获取模块，用于获取待处理视频的拍摄装置在J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的位置信息，m为整数且从1取至J；估计模块，用于根据拍摄装置在所述J个待处理视频帧中所有待处理视频帧分别对应的第一待处理图像的成像时刻的位置信息，估计所述拍摄装置拍摄所述待处理视频时的运动曲线；理想位置信息确定模块，用于将拍摄装置在运动曲线上第m个待处理视频帧中的第一待处理图像的成像时刻的位置信息确定为拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息，n为整数且从1取至K；第一变换矩阵确定模块，用于根据拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵；融合模块，用于根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
结合第二方面，在一种可能的实现方式中，所述待处理图像包括h行像素，所述装置还包括：第二变换矩阵确定模块，用于根据拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，所述h为大于1的整数，i为整数且从1取至h；相应地，融合模块还用于：根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，和第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
结合第二方面，在一种可能的实现方式中，所述第一待处理图像的位置信息获取模块具体用于：根据运动传感器记录的信息，通过插值函数获得所述拍摄装置在J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的传感器信息；对第一待处理图像的成像时刻的传感器信息进行积分，获得第一待处理图像的成像时刻的位置信息。
结合第二方面，在一种可能的实现方式中，所述运动传感器包括陀螺仪或惯性测量单元。
结合第二方面，在一种可能的实现方式中，所述第一变换矩阵确定模块具体用于：计算所述拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和所述拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息之间的变换矩阵R；将变换矩阵R，根据公式TRT-1进行变换，获得第一变换矩阵，所述T为所述拍摄装置的参数矩阵。
结合第二方面，在一种可能的实现方式中，所述融合模块具体用于：将第m个待处理视频帧中的第n个待处理图像通过对应的第一变换矩阵进行仿射变换，获得第m个待处理视频帧中的第n个待处理图像仿射变换后的图像；将仿射变换后的图像输入到HDR融合模块中，生成第m个待处理视频帧对应的目标视频帧；或者，将第m个待处理视频帧中的第n个待处理图像和对应的第一变换矩阵同时输入至HDR融合模块，生成第m个待处理视频帧对应的目标视频帧。
结合第二方面，在一种可能的实现方式中，所述每个待处理图像为原生RAW图像。
结合第二方面，在一种可能的实现方式中，所述K个待处理图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像、所述第二曝光图像和所述第三曝光图像与第一曝光时长、第二曝光时长和第三曝光时长一一对应，所述第一曝光时长大于所述第二曝光时长，所述第二曝光时长大于所述第三曝光时长，且所述第二曝光图像为所述第一待处理图像。
第三方面，本申请提供一种视频处理装置，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用所述存储器中的程序指令执行如第一方面或其中任意一种可能的实现方式所述的视频处理方法。
第四方面，本申请提供一种芯片，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述至少一个处理器用于运行计算机程序或指令，以执行如第一方面或其中任意一种可能的实现方式所述的视频处理方法。
第五方面，本申请提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如第一方面或其中任意一种可能的实现方式所述的视频处理方法。
第六方面，本申请提供一种包含指令的计算机程序产品，所述计算机程序产品中包括计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行如第一方面或其中任意一种可能的实现方式所述的视频处理方法。
附图说明
图1为本申请一个实施例提供的成像***的示意图；
图2为本申请一个实施例提供的视频处理方法的结构示意图；
图3为本申请一个实施例提供的视频处理方法的示意性流程图；
图4为本申请一个实施例提供的获得不同曝光时长的待处理图像的示意图；
图5为本申请一个实施例提供的估计运动曲线的示意图；
图6为本申请另一个实施例的视频处理方法的示意性流程图；
图7为本申请一个实施例提供的视频处理装置的结构示意图；
图8为本申请另一个实施例提供的视频处理装置的结构示意图。
具体实施方式
为于理解，首先对本申请所涉及到的相关术语进行说明。
1、动态范围
数字成像***中的动态范围一般表示一幅图像当中两点最大值与最小值的比值。在大多数的应用场景下，数字成像***的动态范围越大，就表示该成像***可探测到的光照强度的范围就越广，拍摄的图像中的场景细节也就更加丰富。
一般来说，图像传感器中感光元件存储的电荷量决定了传感器器件的动态范围，当处于饱和曝光状态时，图像传感器达到最大的饱和容量，即无论再怎样增加曝光也无法接受更多的电子了，此时感光元件处于全电荷容量饱和状态。而最小曝光量也等于噪声曝光量，它相当于在全黑环境时图像传感器仅仅有本身暗电流时的曝光量。此时感光元件通过电流为暗电流。数字成像***的图像是以数字的形式输出的，因此信息的存储最终是以数字的方式来进行的。所以该***中一个重要的组成部分就是模数转换器(analog-to-digital-converter，ADC)。而ADC转换器的一个重要指标就是它的位数。对于一个8位的ADC转换器来说，它可以记录的最小信号是1，最大信号是255，因此它的输出动态范围就是255。
自然界中真实场景的动态范围跨度非常广(10-6～106)，然而我们人眼所能获取的动态范围只能覆盖其中的一部分，传统的数字图像由于获取方式和图像信息存储格式的限制，能保存的亮度信息以及动态范围信息更加有限。
2、高动态范围成像技术
当用相机或者手机等普通摄影设备拍摄图片时，获得的图片的动态范围远远低于真实场景中所包含的动态范围。前者属于低动态范围(low dynamic range，LDR)图像，大小一般为256个单位，后者则属于高动态范围(high dynamic range，HDR)场景，可达到106个单位。因此，当拍摄一幅图像时，真实场景中较亮或较暗的区域在拍摄的图像中将呈现出饱和现象，即全黑或全白，进而造成图像信息的丢失。
高动态范围成像技术能够解决真实场景与拍摄的图像的动态范围之间的差距问题，更好地抓取真实场景中的细节，主要可以分为硬件和软件两种。其中，硬件方法一般通过采用具有特殊传感器的成像设备或同时采用多个成像设备来实现，虽然较普通相机动态范围得到显著提高，但还是无法与自然场景的动态范围相比。这些方法受硬件、曝光速度、分辨率等限制，对于硬件要求较高，而且对于大多数人来说太过昂贵。
多曝光图像融合技术是基于软件获得HDR图像最主要的方法。在不改***件的前提下，通过调节相机光圈和曝光时间，对同一场景进行多次不同曝光，然后将多幅曝光进行适当地融合，得到一幅再现目标场景动态范围的HDR图像。根据曝光融合算法的操作域不同，可以将曝光融合算法分为两类：辐射域融合算法和图像域融合算法。比较经典的是辐射域的融合算法，其首先通过光圈、曝光时间等信息推算相机响应函数，得到成像场景所有像素点的真实辐射值，即生成与摄像机所获LDR图像对应的HDR图像，然后应用色调映射对得到的HDR图像进行非线性映射，使其可以在普通的LDR设备上得以显示。而在图像域的曝光融合是直接针对图像的像素值进行融合操作，不需要恢复相机响应函数(camera responsefunction，RCF)及还原辐射值，得到的即是可以直接在LDR设备上显示的普通图像。辐射域融合算法能比较真实的还原场景的动态范围，已经在多种图像处理软件中得到了很好的应用。但由于相机响应函数推算对图像噪声和图像序列配准误差较为敏感，不易操作。而在图像融合算法绕开了相机CRF估计，直接融合像素值，因此性能更加稳定，而且融合过程也更加简单，运算成本相对较低。
3、鬼影
当采用多曝光图像融合技术获得HDR图像时，需要拍摄的目标场景或者相机保持静止。一旦场景在拍摄过程中发生任何改变，例如有运动物体闯入，或是相机发生抖动，最后得到的融合图像中都会在场景发生改变的区域出现模糊或半透明的影像，称之为鬼影。由于室外拍摄的场景大多为动态场景，运动物体很难避免，因此鬼影是非常容易出现的。
4、视频稳像技术
随着电子技术的快速发展，用户可以通过移动终端，例如，手机、平板电脑、数码相机和手持摄像机等等，进行视频拍摄。然而，在拍摄过程中，由于拍摄技巧、拍摄环境等因素的影响，可能会造成拍摄设备抖动，进而使得拍摄得到的视频存在画面不稳定的现象，影响用户正常观看，为此需要对这类视频进行稳像处理。视频稳像是一种对随机抖动或随机运动的摄像机所获取的动态图像序列进行重新修改，排列，使其在显示器上更加平稳的显示的技术。它消除或减弱了图像序列之间的不规则的平移，旋转，缩放等失真情况，改善了画面的质量，从而使得画面更加适合于智能视频分析中的目标检测，跟踪和识别等处理操作。
目前，视频稳定方法包括机械、光学和数字稳定方法。
机械视频稳定使用特殊传感器(如陀螺仪和加速计)检测到的运动来移动图像传感器，以补偿相机的运动。
光学视频稳定通过移动镜头的部分来实现稳定。这种方法不移动整个相机，而是使用了一个可移动的镜头组件，当光通过相机的镜头***时，它可以可变地调整光的路径长度。
数字视频稳定不需要特殊的传感器来估计相机的运动，主要包括三个步骤：运动估计、运动平滑和抖动校正。其中，运动估计是对视频图像的运动信息进行估计。运动平滑是对估计的视频图像的运动信息进行平滑，得到一个新的平滑的视频图像运动轨迹。抖动校正是根据估计的视频图像的运动轨迹与平滑后的运动轨迹，得到对当前视频帧的补偿信息，并对当前视频帧进行校正。
5、原始图像
原生(RAW)图像是由数码相机生成的图像，光线通过镜头照射到感光元件，转换成带有影像数据的电子信号不经过任何处理直接存储下来的影像文件，就形成了我们所说的RAW图像，它记录了感光元件得到的最原始的数据，并非经过编码压缩后直接生成的图像文件。
由于这种图像里的数据尚未被处理，未被打印或用于编辑，通常情况下有比较宽的内部色彩，可以仅精确的调整，或者在转换之前作出一些简单的修改。
从传统的胶片相机到现如今的数码相机，图像作为人们获得外界环境信息的最主要载体之一，也加速步入了数字化时代。一般将图像转化成数字形式存储并处理的图像统称为数字图像。
图1为本申请一个实施例提供的数字成像***的示意图。如图1所示，本申请的数字成像***可以包括镜头102、感光传感器103、模数转换器(analog-to-digital-converter，ADC)104、图像信号处理器105和存储器106。
对于图1所示的数字成像***，成像过程大致由以下几个阶段组成：首先，镜头102会聚焦光线101并将该光线101传递到感光传感器103，然后感光传感器103将该光线101的信息转换为模拟的电信号，再通过ADC转换器104将模拟电信号转换为数字信号，ADC转换后的图像称为RAW图像，这个时候的RAW图像的像素值与环境光线的强弱基本呈线性关系，它与HDR图像是相当接近的，除了它没有一个足够高的动态范围。在拿到RAW图像后，还需要经过图像信号处理(image signal processing，ISP)105的一系列操作，最终获得能够在存储器106存储，并能够在显示屏上显示的LDR图像。
其中，ISP的方法可以包括：白平衡，最基本的校正方法主要有两种，基于灰度世界假设与基于白度世界假设，该操作是为了让人眼感知的白色在图像中也能准确的呈现为白色；解马赛克，一般的感光元件只记录得到的信息是单通道的，RGB三个通道的信息成Bayer模式排列，这就需要通过插值的方式解出对应的RGB通道的具体数值；噪声抑制，将RGB三个通道补齐后，需要将相机成像过程中引入的各种噪声进一步的抑制处理；颜色空间转换，将图像信息从传感器的RGB颜色空间转换为标准彩色空间(standard red green blue，SRGB)，之后可以再从SRGB体系转化为各种与显示相关的RGB体系；色调映射，在得到标准的SRGB体系的图像后，为了让图像能够更自然的在显示设备上展示出来，还需要经过一个色调映射曲线，对原本与环境光照成线性关系的像素值进行一个压缩或拉伸的非线性化处理；图像压缩量化，将图像文件压缩为JPEG格式输出，得到最终能够显示的LDR图像。
图1所示的数字成像***也可以用于拍摄包含多个视频帧的视频。例如，该数字成像***针对每个视频帧，可以拍摄不同曝光时长的LDR图像，再利用多曝光融合算法对不同曝光时长的LDR图像进行融合，得到每个视频帧对应的初始HDR图像，之后可以经过去噪、白平衡、颜色校正等ISP方法，获得增强后的HDR图像，最后对由这多个视频帧对应的多个HDR图像组成的HDR视频进行视频稳像操作，以得到具有一定稳定性的HDR视频。
然而，上述获得HDR视频的方法中，要想HDR视频中的每一帧HDR图像能够很好的获取场景中的绝大部分信息，需要假设相机和拍摄的场景均静止。但在实际拍摄中，相机和场景中物体的运动是不可避免的，这会造成融合后得到的HDR图像中含有鬼影。此时，如果某一帧的HDR图像中含有鬼影，在后续视频稳像操作中，可能会进一步使得该鬼影放大，从而使得最终的HDR视频中出现难以接受的漂浮物现象，影响用户的视觉体验。
作为一种示例，假设在生成HDR视频时，不同曝光时长的LDR图像包括一个长曝光图像和一个短曝光图像，当以长曝光图像或者短曝光图像作为参考图像进行融合之后就变成了一张HDR图像。那么，在后续对整个HDR视频序列进行校正的时候，由于是以该融合后的HDR图像作为每一帧进行校正，若图像中的某个像素点对应的是短曝光图像的像素值，而融合后该点对应的是长曝光图像的值，那么该点的变换值就会增大，此时，如果该像素点是鬼影点，就会导致这个图像中该点的鬼影被放大。
鉴于此，本申请提出新的视频处理方案。本申请提出的技术方案中，将视频稳像操作放在HDR融合之前。如图2所示，该视频的图像数据包括J个帧，每个帧中包括多张曝光图像，然后进行视频稳像操作，其包括相机运动矢量估计、相机运动曲线平滑和图像变换矩阵的计算，本方案中，还在视频稳像操作中引入运动传感器数据。在视频稳像操作之后，再对每帧中的多张曝光图像进行HDR融合，获得HDR图像。可选地，在获得HDR图像之后，还可以对每个HDR图像再进行ISP处理，具体实现过程此处不再赘述。
本申请的技术方案中，视频稳像操作的一种实现方式如下：获取视频中每个视频帧中的参考图像对应的实际相机位置信息；然后基于该视频中所有视频帧的参考图像对应的实际相机位置信息估计出相机的理想运动曲线，并从该理想运动曲线中获取每个视频帧对应的理想相机位置信息；再通过每个视频帧中不同曝光时长的图像的实际相机位置信息与该视频帧的理想相机位置信息计算出能够校正待处理视频中所有待处理图像的成像时刻的位置信息的变换矩阵，然后基于该变换矩阵对这些不同曝光时长的图像进行HDR融合。
进一步地，本申请的技术方案中，还可以进行视频帧的帧内对齐。一种帧内对齐的实现方式如下：对于每一个视频帧中的每一张曝光图像，通过相机在该曝光图像中的每一行的成像时刻的位置信息与相机在该视频帧的理想位置信息计算出能够校正每一张曝光图像中每一行的成像时刻的位置信息的变换矩阵，从而可以通过该变换矩阵将每一张曝光图像中的每一行都对齐到该视频帧的相机在理想位置上拍摄的图像上。
图3为本申请一个实施例提供的一种视频处理方法的示意性流程图。如图3所示，本实施例的方法可以包括S301、S302、S303、S304、S305和S306。该视频处理方法可以由图1所示的数字成像***来执行。
S301、获取待处理视频，所述待处理视频包括J个待处理视频帧，所述J个待处理视频帧中每个待处理视频帧包含K个待处理图像，所述K个待处理图像与K个曝光时长一一对应，所述J和K为大于1的整数。
应理解，K个待处理图像与K个曝光时长一一对应，也就是说，不同的曝光时长，待处理图像不一样。
本实施例中，待处理视频表示的是视频中的每一帧未融合成HDR图像之前的视频，该待处理视频中，可以包括J个待处理视频帧，并且每一个待处理视频帧都包括K个不同曝光时长的待处理图像。例如，待处理视频包括30个待处理视频帧，并且每一个待处理视频帧中包括3个不同曝光时长的待处理图像。
在一种可实现方式中，可以通过具备HDR能力的传感器获得K个不同曝光时长的图像。在此说明的是，具备HDR能力的传感器是指能够获得用于HDR融合的LDR图像，其具体实现过程可参考相关技术描述，此处不再赘述。
作为一种示例，图4为本申请一个实施例提供的以交替进行长曝光和短曝光的基于具备HDR能力的传感器获得的2个不同曝光时长的图像。如图4所示，每一个帧包括h行图像，在获得不同曝光时长的图像时，先在每一行进行长曝光，然后再进行短曝光，当完成最后一行的长曝光和短曝光之后，最终获得每一个帧中的长曝光图像和短曝光图像。
可选地，该长曝光图像和短曝光图像的格式可以是拜耳(Bayer)格式，本申请实施例对此不做限定。
在此说明的是，使用具备HDR能力的传感器获得不同曝光时长的图像的实现过程可以参考相关技术描述，此处不再赘述。
S302、获取待处理视频的拍摄装置在J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的位置信息，m为整数且从1取至J。
例如，待处理视频的拍摄装置可以是相机，又或者是其他可以获取待处理视频的摄像装置，本申请实施例对此不做限定。
本实施例中，m从1取至J，也就是说，获取待处理视频的拍摄装置在每一个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的位置信息。
应理解，本实施例中的每一个待处理视频帧都包括K个待处理图像，并且每一个待处理图像也都有其对应的成像时刻，第一待处理图像为该K个待处理图像中的一个。例如，每一个待处理视频帧包括第一曝光时长的图像、第二曝光时长的图像和第三曝光时长的图像，以第二曝光时长的图像作为第一待处理图像。
还应理解，在拍摄每一个待处理视频帧中的K个待处理图像时，每一个待处理图像都有对应的拍摄装置在成像时刻的位置信息，因此，也可以获得拍摄装置在第一待处理图像的成像时刻的位置信息。
S303、根据拍摄装置在J个待处理视频帧中所有待处理视频帧分别对应的第一待处理图像的成像时刻的位置信息，估计拍摄装置拍摄待处理视频时的运动曲线。
本实施例中，J个待处理视频中的所有待处理视频帧都包括一个对应的第一待处理图像，当获得拍摄装置在所有待处理视频帧的第一待处理图像的成像时刻的位置信息后，可以对所有的第一待处理图像对应的拍摄装置的位置信息进行估计，获得待处理视频的运动曲线。
应理解，运动曲线是通过拍摄装置在所有待处理视频帧中第一待处理图像的成像时刻的位置信息进行估计得到的，因此，该运动曲线可以认为是拍摄装置在不同成像时刻的理想运动曲线。
在一种可实现方式中，可以对拍摄装置在J个待处理视频帧中所有待处理视频帧的第一待处理图像的成像时刻对应的位置信息进行拟合，获得拍摄装置拍摄待处理视频时的运动曲线。
作为一种示例，如图5所示，横坐标表示每一个待处理视频帧中的第一待处理图像的成像时刻，用Ti表示，纵坐标表示拍摄装置的位置信息。图中的黑点表示每一个待处理视频帧中的第一待处理图像的成像时刻对应的拍摄装置的位置信息，例如第一个待处理视频帧中的第一待处理图像在成像时刻T1时对应的拍摄装置的位置信息为P1，第二个待处理视频帧中的第一待处理图像在成像时刻T2时对应的拍摄装置的位置信息为P2，第三个待处理视频帧中的第一待处理图像在成像时刻T3时对应的拍摄装置的位置信息为P3，以此类推，第J个待处理视频帧中的第一待处理图像在成像时刻TJ时对应的拍摄装置的位置信息为PJ，然后通过拟合所有待处理视频帧中第一待处理的成像时刻对应的位置信息，估计出拍摄装置在所有待处理视频帧的运动曲线，即通过图中的P1、P2、P3，以此类推到PJ，拟合估计运动曲线。
在此说明的是，上述进行拟合的过程中，可以首先对每一个待处理视频帧中第一待处理图像对应的拍摄装置的位置信息进行去噪处理，然后对位置信息进行建模，进而估计出建模的参数得到运动曲线，本申请实施例对此不做限定。
S304、将拍摄装置在运动曲线上第m个待处理视频帧中的第一待处理图像的成像时刻的位置信息确定为拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息，n为整数且从1取至K。
本实施例中，n为整数且从1取至K，也就是说，将拍摄装置在运动曲线上第m个待处理视频帧中的第一待处理图像的成像时刻的位置信息确定为拍摄装置在第m个待处理视频帧中的K个待处理图像的成像时刻的理想位置信息。
当获得了拍摄装置的运动曲线后，在每一个待处理视频帧中的第一待处理图像的成像时刻，运动曲线上也有一个对应的拍摄装置的位置信息，以图4为例，图中的白点表示每一个待处理视频帧中的第一待处理图像的成像时刻在运动曲线上对应的拍摄装置的位置信息，例如第一个待处理视频帧中的第一待处理图像在成像时刻T1时在运动曲线上对应的拍摄装置的位置信息为Q1，第二个待处理视频帧中的第一待处理图像在成像时刻T2时在运动曲线上对应的拍摄装置的位置信息为Q2，第三个待处理视频帧中的第一待处理图像在成像时刻T3时在运动曲线上对应的拍摄装置的位置信息为Q3，以此类推，第J个待处理视频帧中的第一待处理图像在成像时刻TJ时在运动曲线上对应的拍摄装置的位置信息为QJ。
本实施例中，将拍摄装置在运动曲线上第m个待处理视频帧中的第一待处理图像的成像时刻的位置信息确定为拍摄装置在第m个待处理视频帧中的K个待处理图像的成像时刻的理想位置信息，进一步地，该理想位置信息是拍摄装置在每一个待处理视频中的K个待处理图像的成像时刻的理想位置信息。例如，将拍摄装置在运动曲线上第1个待处理视频帧中的第一待处理图像的成像时刻T1的位置信息Q1确定为第一个待处理视频帧中的所有待处理图像的成像时刻对应的拍摄装置的理想位置信息。
S305、根据拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵。
由S304可知，拍摄装置在第m个待处理视频帧中的所有待处理图像的成像时刻的理想位置信息是相同的，该理想位置信息为拍摄装置在运动曲线上第m个待处理视频帧中的第一待处理图像的成像时刻的位置信息。
应理解，每一个待处理视频帧中的每一个待处理图像的成像时刻，都有一个对应的拍摄装置的位置信息，而该位置信息不可避免的会受到拍摄装置抖动的影响，从而使得拍摄装置在拍摄时偏离理想位置信息，因此，为了将每一个待处理图像的成像时刻对应的位置信息校正到拍摄装置在理想位置信息下拍摄的位置，需要计算第m个待处理视频帧中的每一个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的拍摄装在理想位置信息下拍摄的图像之间的第一变换矩阵，该第一变换矩阵可以将由于发生抖动拍摄的图像对齐到在拍摄装置在理想位置拍摄的图像，从而完成帧间对齐。
在此说明的是，计算每一个待处理图像对应的位置信息与待处理图像的理想位置信息之间的第一变换矩阵，可以参考相关技术描述，此处不再赘述。
S306、根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
本实施例中，对于每一个待处理视频帧，在获得了K个待处理图像的成像时刻对应的位置信息与对应的理想位置信息之间的第一变换矩阵之后，可以通过K个待处理图像及K个待处理图像对应的第一变换矩阵，对K个待处理图像进行HDR融合处理，融合成一个HDR图像，进而得到每一个待处理视频帧对应的目标视频帧，进一步地，J个目标视频帧构成目标视频。
在一种可实现方式中，对于每一个待处理视频帧，可以先利用K个第一变换矩阵对相应的待处理图像进行仿射变换，获得K个待处理图像仿射变换后的图像；然后将仿射变换后的图像输入到HDR融合深度学习网络中，生成融合后的HDR图像，并将该HDR图像作为目标视频帧，其具体实现可以参考相关技术描述，此处不再赘述。
该实现方式中，对于每一个待处理视频帧中的每一个待处理图像，首先利用对应的第一变换矩阵对其进行仿射变换，使得在拍摄该待处理图像时，能够将由于拍摄装置抖动而偏离理想位置信息的图像对齐到理想位置信息，从而可以完成该待处理图像的一次校准。
在另一种可实现方式中，对于每一个待处理视频帧，可以将K个待处理图像和对应的第一变换矩阵同时输入至HDR融合网络中，生成融合后的HDR图像，并将该HDR图像作为目标视频帧。其具体实现可以参考相关技术描述，此处不再赘述。
本申请实施例提供的视频处理方法中，首先通过拍摄装置在所有待处理视频帧中的第一待处理图像成像时刻的位置信息，估计出拍摄装置的理想运动曲线，并将拍摄装置在该理想运动曲线上对应于第一待处理图像成像时刻的位置信息，作为每一个待处理视频在拍摄时候的拍摄装置的理想位置信息，然后计算出每一个待处理视频中，能够将所有待处理图像的成像时刻的位置信息校正到理想位置信息下的第一变换矩阵，最后再根据每一个待处理视频帧中的所有待处理图像和对应的第一变换矩阵，融合出每一个待处理视频帧的目标HDR图像，进一步地，生成目标视频。
本申请的技术方案中，由于在进行HDR融合之前，已经计算出了每一个待处理视频帧中的所有待处理图像成像时刻的位置信息与理想位置信息之间的第一变换矩阵，即将视频稳像放在了HDR融合之前，因此避免了鬼影在视频稳像中的放大。而通过该第一变换矩阵，可以将每一个待处理视频帧中的所有待处理图像校正到理想位置上，也就是说，在进行HDR融合之前，就已经先将每一个待处理视频帧中的所有待处理图像的位置信息配准到了拍摄装置以同一个理想位置拍摄的图像上，从而将所有待处理图像都进行了一次配准，而通过后续HDR融合模块还可以进一步的进行配准融合，从而形成了先粗后精的待处理图像之间的配准。因此该方法还提高了HDR融合的精度，降低了鬼影出现的概率。
作为一个可选的实施例，当待处理图像包括h行像素，上述S305还可以包括：根据拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，所述h为大于1的整数，i为整数且从1取至h；相应地，S306包括：根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，和第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
其中，第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息可参考图3所示实施例的相关描述，此处不再赘述。
应理解，对于每一个待处理视频帧中的每一个待处理图像，拍摄装置在待处理图像的每一行的成像时刻也有一个对应的位置信息，而该位置信息不可避免的也会受到拍摄装置抖动的影响，从而使得拍摄装置获得的待处理图像中的每一行偏离理想位置信息，因此，为了将每一个待处理图像在每一行的成像时刻对应的位置信息也校正到以拍摄装置在同一个理想位置信息而拍摄的图像上，还需要计算第m个待处理视频帧中的每一个待处理图像的第i行的成像时刻对应的位置信息至理想位置信息之间的第二变换矩阵。
当获得了第二变换矩阵后，可以根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息与对应的理想位置信息之间的第一变换矩阵，和根据第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息与对应的第i行的成像时刻的理想位置信息之间的第二变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到所述第m个待处理视频帧对应的目标视频帧。
本实施例中，当每一个待处理图像包括h行时，由于每一行会对应一个第二变换矩阵，因此h行会对应h个变换矩阵，从而将待处理图像的每一行都校正到理想位置。
其中，根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至理想位置信息之间的第一变换矩阵，和第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻对应的位置信息至理想位置信息之间的第二变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理的具体实现过程可以参考相关技术描述，此处不再赘述。
本申请实施例提供的技术方案中，除了计算将每一个待处理图像校正到理想位置上的第一变换矩阵外，还计算将每一个待处理图像上的每一行校正到理想位置上的第二变换矩阵，这样，在使整个待处理图像校正到理想位置的情况下，还可以保证待处理图像中的每一行也校正到理想位置，从而完成了每一个待处理图像内行之间的配准，提升了每一个待处理图像拍摄时的准确性，进一步地，能够提升每一个视频帧内待处理图像之间的配准度，从而地降低融合时出现的鬼影问题。
作为一个可选的实施例，S302的一种可实现方式包括：根据运动传感器记录的信息，通过插值函数获得拍摄装置在J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的传感器信息；对第一待处理图像的成像时刻的传感器信息进行积分，获得第一待处理图像的成像时刻的位置信息。
其中，运动传感器记录的信息能够表示拍摄待处理视频时的运动信息。
作为一种示例，假设运动传感器在第n个采样时刻记录的信息为y(n)，令表示第j个视频帧拍摄时曝光时长为tk的图像成像中心对应的成像时刻，令/>表示该成像时刻运动传感器的信息，则有：
其中，N表示运动传感器采样的点数，f(·)表示插值函数。以100Hz的陀螺仪为例，陀螺仪每1秒记录100个相机旋转的信息，利用陀螺仪在采样时刻记录的信息可以插值出某一时刻的传感器信息。
最后，对该传感器信息进行积分，得到对应成像时刻相机的位姿
其中，传感器信息进行积分的具体实现过程可以参考相关技术描述，此处不再赘述。
在此说明的是，本申请实施例中的运动传感器记录的信息可以包括拍摄装置转动时的角速度，角度等信息，本申请实施例对此不做限定。
可选的，所述运动传感器包括陀螺仪或者惯性测量单元。
作为一个可选的实施例，S305包括：计算拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息之间的变换矩阵R；将变换矩阵R，根据公式TRT-1进行变换，获得第一变换矩阵，所述T为拍摄装置的参数矩阵。
以图5所示为例，对于第一个待处理帧，第一待处理图像的成像时刻对应的拍摄装置的位置信息为P1，第一待处理图像的成像时刻对应的拍摄装置的理想位置信息为Q1，则第一待处理图像的成像时刻对应的拍摄装置的位置信息和理想位置信息的变换矩阵为R1，然后通过TRT-1进行变换，从拍摄装置之间的变换矩阵R1转换到第一待处理图像到以拍摄装置在以理想位置拍摄时的第一变换矩阵。
在此说明的是，计算变换矩阵R和根据公式TRT-1进行转换的方式可以参考相关技术描述，此处不再赘述。
可选地，上述所述实施例中的每一个待处理图像可以为RAW图像。
本实施例的一些实现方式中，K个待处理图像包括三个待处理图像，这三个待处理图像分别称为第一曝光图像、第二曝光图像和第三曝光图像，且第一曝光图像、第二曝光图像和第三曝光图像与第一曝光时长、第二曝光时长和第三曝光时长一一对应，其中，第一曝光时长大于第二曝光时长，第二曝光时长大于第三曝光时长，且将第二曝光图像作为第一待处理图像。第一曝光图像也可以称为长曝光图像，第二曝光图像也可以称为中曝光图像，第三曝光图像也可以称为短曝光图像。
下面以K个待处理图像包括三个待处理图像，每个待处理图像均为RAW图像为例，结合图6详细介绍本申请实施例的视频处理方法。
如图6所示，本实施例的方法可以包括S601、S602、S603、S604、S605、S606和S607。该视频处理方法可以由图1所示的数字成像***来执行。
S601、获取待处理视频，所述待处理视频包括J个待处理视频帧，所述J个待处理视频帧中每个待处理视频帧包含3个待处理图像，所述3个待处理图像与3个曝光时长一一对应，所述J和K为大于1的整数。
本实施例中，每一个待处理视频帧中包括3个待处理的图像，分别为长曝光图像、中曝光图像和短曝光图像，该步骤的详细实现过程可以参考S301，此处不再赘述。
S602、获取陀螺仪数据。
本实施例中，陀螺仪数据表示了运动传感器记录的信息。
S603、根据陀螺仪数据，获得每一个待处理视频帧中的3个待处理图像分别在对应成像时刻的相机姿态。
本实施例中，相机姿态可以认为是拍摄装置的位置信息，具体可参考上述实施例描述，此处不再赘述。
也就是说，获取相机在每一个待处理视频帧中的长曝光图像、中曝光图像和短曝光图像分别对应的成像时刻的位置信息。
在一种实现方式中，可以对陀螺仪数据进行插值，积分得到每一个待处理视频帧中的3个待处理图像分别在对应成像时刻的相机姿态。
本步骤中，如何获取相机姿态的具体实现过程可参考上述相关实施例描述，此处不再赘述。
S604、以所有待处理视频帧中的中曝光图像作为参考帧，按照所有帧中的中曝光图像的成像时刻的相机位姿，估计出相机拍摄待处理视频时的运动曲线。
本实施例中，以相机在每一个待处理视频帧中的中曝光图像的成像时刻的位置信息作为参考，来估计待处理视频的运动曲线。
本步骤中，估计相机拍摄待处理视频的运动曲线，可以参考图5所示的实施例中的描述，此处不再赘述。
S605、将在运动曲线上的每一个待处理视频帧中的中曝光图像的成像时刻的位置信息，作为相机在该每一个视频帧中的3个待处理图像的成像时刻的理想位置信息。
本实施例中，对于每一个待处理视频帧，相机的理想位置信息是以中曝光图像的成像时刻在运动曲线上的位置信息作为参考，也就说，每一个待处理视频帧中，在拍摄长曝光图像，中曝光图像和短曝光图像时，相机的理想位置信息都是中曝光图像的成像时刻在运动曲线上的位置信息。
该步骤的相关实现过程可以参考S304的相关描述，此处不再赘述。
S606、计算每一个待处理视频帧中的长曝光图像、中曝光图像和短曝光图像分别对应的第一变换矩阵，和计算每一个待处理视频帧中的中的每一个待处理图像中的每一行对应的第二变换矩阵。
本实施例中，每一个待处理视频帧中，相机的理想位置信息为运动曲线上，该待处理视频帧中的中曝光图像在成像时刻对应的位置信息。
应理解，相机在拍摄长曝光图像、中曝光图像和短曝光图像时，由于相机不可避免的会发生抖动，因此在拍摄该三种图像时，相机的位置信息可能是不一样的，但是对于每一个待处理视频帧而言，其都有对应的理想的相机的位置信息，因此，本申请实施例中，通过相机在每一个待处理视频帧中的3个待处理图像在对应成像时刻的实际位置信息和理想位置信息，计算该每一个待处理视频帧中的长曝光图像、中曝光图像和短曝光图像对应的第一变换矩阵，该第一变换矩阵可以将由于发生抖动拍摄的图像对齐到在相机在理想位置拍摄的图像，从而完成帧间对齐。
还应理解，相机在拍摄长曝光图像、中曝光图像和短曝光图像的每一行时，由于相机不可避免的会发生抖动，因此在拍摄同一图像中的每一行时，相机的位置信息也有可能是不一样的。因此，本实施例中，还通过相机在每一个待处理视频帧中的每一个待处理图像的每一行成像时刻的实际位置信息和理想位置信息，来计算该每一个待处理视频帧中的每一个待处理图像中的每一行对应的第二变换矩阵，该第二变换矩阵可以将由于发生抖动拍摄的图像中的每一行对齐到在拍摄装置在理想位置拍摄的每一行，从而完成帧内的对齐。
其中，计算第一变换矩阵和第二变换矩阵的具体实现过程可以参考相关实施例描述此处不再赘述。
S607、根据每一个待处理视频帧中的3个待处理图像对应的第一变换矩阵，和该每一个待处理视频帧中的每一个待处理图像的每一行对应的第二变换矩阵，对该每一个待处理视频帧中的3个待处理图像进行高动态范围HDR融合处理，得到该每一个待处理视频帧对应的目标视频帧，进一步地，J个目标视频帧构成目标视频。
本实施例中，每一个待处理视频帧中包括3个待处理图像，该3个待处理图像分别对应一个第一变换矩阵，而对于3个待处理图像中的每一个待处理图像，其包括的每一行也都对应一个第二变换矩阵，如果该待处理图像包括h行，那么每一个待处理图像就对应了h个第二变换矩阵，也就是说，每一个待处理图像都对应了一个第一变换矩阵和h个第二变换矩阵。
在获得每一个待处理图像的第一变换矩阵和对应的第二变换矩阵后，就可以将待处理视频帧中3个待处理图像，通过每个待处理图像对应的第一变换矩阵和对应的第二变换矩阵进行HDR融合处理。
其中，HDR融合处理的具体实现过程可以S306或者相关技术描述，此处不再赘述。
本申请实施例提供的视频处理方法中，首先通过拍摄装置在所有待处理视频帧中的中曝光图像的成像时刻的位置信息，估计出拍摄装置的理想运动曲线，并将拍摄装置在该理想运动曲线上对应于中曝光图像的成像时刻的位置信息，作为每一个待处理视频在拍摄时候的理想位置信息，然后计算出每一个待处理视频中，所有待处理图像的成像时刻的位置信息校正到理想位置信息的第一变换矩阵，和将每一个待处理图像上的每一行校正到理想位置上的第二变换矩阵；最后再根据第一变换矩阵和第二变换矩阵，对每一个待处理视频帧中的所有待处理图像进行融合，融合出每一个待处理视频帧的目标HDR图像，进一步地，生成目标视频。
可选地，本实施例中的陀螺仪可以替换为惯性测量单元。
图7为本申请一个实施例提供的视频处理装置的结构示意图。图7所示的视频处理装置可以用于执行前述任意一个实施例所述的***参数的配置方法。
如图7所示，本实施例的视频处理装置700包括：待处理视频获取模块701、第一待处理图像的位置信息获取模块702、估计模块703、理想位置信息确定模块704、第一变换矩阵确定模块705和融合模块706。其中，待处理视频获取模块701用于获取待处理视频。
第一待处理图像的位置信息获取模块702用于获取待处理视频的拍摄装置在J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的位置信息，m为整数且从1取至J。
估计模块703用于根据拍摄装置在所述J个待处理视频帧中所有待处理视频帧分别对应的第一待处理图像的成像时刻的位置信息，估计拍摄装置拍摄所述待处理视频时的运动曲线。
理想位置信息确定模块704用于将拍摄装置在运动曲线上第m个待处理视频帧中的第一待处理图像的成像时刻的位置信息确定为拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息，n为整数且从1取至K。
第一变换矩阵确定模块705用于根据拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵。
融合模块706用于根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
作为一种示例，待处理视频获取模块701可以用于执行图3或图6中任意一个所述的视频处理方法中的获取待处理视频的步骤。例如，待处理视频获取模块701用于执行S301。
作为另一种示例，估计模块703可以用于执行图3或图6中任意一个所述的频处理方法中的估计拍摄装置拍摄待处理视频时的运动曲线的步骤。例如估计模块703用于执行S303或者S602。
作为又一种示例，融合模块706可以用于执行图3或图6中任意一个所述的视频处理方法中的对每一个待处理视频帧中的待处理图像进行HDR融合处理的步骤。例如融合模块706用于执行S306或者S607。
在一种可能的实现方式中，所述待处理图像包括h行像素，所述装置还包括：第二变换矩阵确定模块707，用于根据拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息，确定第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，所述h为大于1的整数，i为整数且从1取至h；相应地，融合模块706还用于：根据第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，和第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，对第m个待处理视频帧中的K个待处理图像进行高动态范围HDR融合处理，得到第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
在一种可能的实现方式中，第一待处理图像的位置信息获取模块702具体用于：根据运动传感器记录的信息，通过插值函数获得所述拍摄装置在所述J个待处理视频帧中第m个待处理视频帧包含K个待处理图像中的第一待处理图像的成像时刻的传感器信息；对所述第一待处理图像的成像时刻的传感器信息进行积分，获得所述第一待处理图像的成像时刻的位置信息。
在一种可能的实现方式中，运动传感器包括陀螺仪或惯性测量单元。
在一种可能的实现方式中，第一变换矩阵确定模块705具体用于：计算拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和拍摄装置在第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息之间的变换矩阵R；将变换矩阵R，根据公式TRT-1进行变换，获得第一变换矩阵，所述T为拍摄装置的参数矩阵。
在一种可能的实现方式中，融合模块706具体用于：将第m个待处理视频帧中的第n个待处理图像通过对应的第一变换矩阵进行仿射变换，获得第m个待处理视频帧中的第n个待处理图像仿射变换后的图像；将仿射变换后的图像输入到HDR融合模块中，生成第m个待处理视频帧对应的目标视频帧；或者，将第m个待处理视频帧中的第n个待处理图像和对应的第一变换矩阵同时输入至HDR融合模块，生成第m个待处理视频帧对应的目标视频帧。
在一种可能的实现方式中，所述每个待处理图像为原生RAW图像。
在一种可能的实现方式中，所述K个待处理图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像、所述第二曝光图像和所述第三曝光图像与第一曝光时长、第二曝光时长和第三曝光时长一一对应，所述第一曝光时长大于所述第二曝光时长，所述第二曝光时长大于所述第三曝光时长，且所述第二曝光图像为所述第一待处理图像。
图8为本申请另一个实施例提供的视频处理装置的结构示意图。图8所示的装置可以用于执行前述任意一个实施例所述的视频处理方法。
如图8所示，本实施例的装置800包括：存储器801、处理器802、通信接口803以及总线804。其中，存储器801、处理器802、通信接口803通过总线804实现彼此之间的通信连接。
存储器801可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器801可以存储程序，当存储器801中存储的程序被处理器802执行时，处理器802用于执行图3所示的方法的各个步骤。
处理器802可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请各个实施例中的方法。
处理器802还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请各个实施例的方法的各个步骤可以通过处理器802中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器802还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器802读取存储器801中的信息，结合其硬件完成本申请测温装置包括的单元所需执行的功能，例如，可以执行图3或者图6所示实施例的各个步骤/功能。
通信接口803可以使用但不限于收发器一类的收发装置，来实现装置800与其他设备或通信网络之间的通信。
总线804可以包括在装置800各个部件(例如，存储器801、处理器802、通信接口803)之间传送信息的通路。
应理解，本申请实施例所示的装置800可以是电子设备，或者，也可以是配置于电子设备中的芯片。
应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种视频处理方法，其特征在于，包括：
获取待处理视频，所述待处理视频包括J个待处理视频帧，所述J个待处理视频帧中每个待处理视频帧包含K个待处理图像，所述K个待处理图像与K个曝光时长一一对应，所述J和K为大于1的整数；
获取所述待处理视频的拍摄装置在所述J个待处理视频帧中第m个待处理视频帧包含的K个待处理图像中的第一待处理图像的成像时刻的位置信息，m为整数且从1取至J；
根据所述拍摄装置在所述J个待处理视频帧中所有待处理视频帧分别对应的第一待处理图像的成像时刻的位置信息，估计所述拍摄装置拍摄所述待处理视频时的运动曲线；
将所述拍摄装置在运动曲线上所述第m个待处理视频帧中的第一待处理图像的成像时刻的位置信息确定为所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息，n为整数且从1取至K；
根据所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息，确定所述第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵；
根据所述第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，对所述第m个待处理视频帧中的K个待处理图像进行高动态范围(HDR)融合处理，得到所述第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
2.根据权利要求1所述的方法，其特征在于，所述待处理图像包括h行像素，所述方法还包括：
根据所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息，确定所述第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至所述第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，所述h为大于1的整数，i为整数且从1取至h；
相应地，根据所述第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，对所述第m个待处理视频帧中的K个待处理图像进行高动态范围(HDR)融合处理，得到所述第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频，包括：
根据所述第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，和所述第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的位置信息至所述第m个待处理视频帧中的第n个待处理图像的第i行的成像时刻的理想位置信息之间的第二变换矩阵，对所述第m个待处理视频帧中的K个待处理图像进行高动态范围(HDR)融合处理，得到所述第m个待处理视频帧对应的目标视频帧，所述J个待处理视频帧对应的J个目标视频帧构成目标视频。
3.根据权利要求1或2所述的方法，其特征在于，所述获取所述待处理视频的拍摄装置在所述J个待处理视频帧中第m个待处理视频帧包含的K个待处理图像中的第一待处理图像的成像时刻的位置信息，包括：
根据运动传感器记录的信息，通过插值函数获得所述拍摄装置在所述J个待处理视频帧中第m个待处理视频帧包含的K个待处理图像中的第一待处理图像的成像时刻的传感器信息；
对所述第一待处理图像的成像时刻的传感器信息进行积分，获得所述第一待处理图像的成像时刻的位置信息。
4.根据权利要求3所述的方法，其特征在于，所述运动传感器包括陀螺仪或惯性测量单元。
5.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息，确定所述第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息至所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息之间的第一变换矩阵，包括：
计算所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的理想位置信息和所述拍摄装置在所述第m个待处理视频帧中的第n个待处理图像的成像时刻的位置信息之间的变换矩阵R；
将所述变换矩阵R，根据公式TRT-1进行变换，获得第一变换矩阵，所述T为所述拍摄装置的参数矩阵。
6.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述第m个待处理视频帧中的第n个待处理图像的成像时刻对应的实际位置信息与对应的理想位置信息之间的第一变换矩阵，对所述第m个待处理视频帧中的K个待处理图像进行高动态范围(HDR)融合处理，得到所述第m个待处理视频帧对应的目标视频帧，包括：
将所述第m个待处理视频帧中的第n个待处理图像通过对应的第一变换矩阵进行仿射变换，获得所述第m个待处理视频帧中的第n个待处理图像仿射变换后的图像；
将所述仿射变换后的图像输入到(HDR)融合模块中，生成所述第m个待处理视频帧对应的目标视频帧；或者，
将所述第m个待处理视频帧中的第n个待处理图像和对应的第一变换矩阵同时输入至(HDR)融合模块，生成所述第m个待处理视频帧对应的目标视频帧。
7.根据权利要求1至4中任一项所述的方法，其特征在于，每个所述待处理图像为原生(RAW)图像。
8.根据权利要求1至4中任一项所述的方法，其特征在于，所述K个待处理图像包括第一曝光图像、第二曝光图像和第三曝光图像，所述第一曝光图像、所述第二曝光图像和所述第三曝光图像与第一曝光时长、第二曝光时长和第三曝光时长一一对应，所述第一曝光时长大于所述第二曝光时长，所述第二曝光时长大于所述第三曝光时长，且所述第二曝光图像为所述第一待处理图像。
9.一种视频处理装置，其特征在于，所述装置包括用于执行如权利要求1至8中任一项所述的方法的功能模块。
10.一种视频处理装置，其特征在于，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用所述存储器中的程序指令执行如权利要求1至8中任一项所述的视频处理方法。
11.一种芯片，其特征在于，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述至少一个处理器用于运行指令，以执行如权利要求1至8中任一项所述的方法。
12.一种计算机可读介质，其特征在于，所述计算机可读介质存储用于计算机执行的程序代码，该程序代码包括用于执行如权利要求1至8中任一项所述的方法的指令。
CN202110245949.8A 2021-03-05 2021-03-05 视频处理方法和处理装置 Active CN115037915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110245949.8A CN115037915B (zh) 2021-03-05 2021-03-05 视频处理方法和处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110245949.8A CN115037915B (zh) 2021-03-05 2021-03-05 视频处理方法和处理装置

Publications (2)

Publication Number Publication Date
CN115037915A CN115037915A (zh) 2022-09-09
CN115037915B true CN115037915B (zh) 2023-11-14

Family

ID=83117755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110245949.8A Active CN115037915B (zh) 2021-03-05 2021-03-05 视频处理方法和处理装置

Country Status (1)

Country Link
CN (1) CN115037915B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN110121882A (zh) * 2017-10-13 2019-08-13 华为技术有限公司 一种图像处理方法及装置
CN111479072A (zh) * 2020-04-14 2020-07-31 深圳市道通智能航空技术有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200211166A1 (en) * 2018-12-28 2020-07-02 Qualcomm Incorporated Methods and apparatus for motion compensation in high dynamic range processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN110121882A (zh) * 2017-10-13 2019-08-13 华为技术有限公司 一种图像处理方法及装置
CN111479072A (zh) * 2020-04-14 2020-07-31 深圳市道通智能航空技术有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机

Also Published As

Publication number Publication date
CN115037915A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
US8508619B2 (en) High dynamic range image generating apparatus and method
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
CN108012078B (zh) 图像亮度处理方法、装置、存储介质和电子设备
JP4806476B2 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
JP6460653B2 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
CN110290323B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
CN107911682B (zh) 图像白平衡处理方法、装置、存储介质和电子设备
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
CN110475067B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR101120966B1 (ko) 카메라에 대한 핸드 지터 감소 시스템
US20170310903A1 (en) Image capturing apparatus and method of controlling the same
US9589339B2 (en) Image processing apparatus and control method therefor
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2018207497A (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
CN107959841A (zh) 图像处理方法、装置、存储介质和电子设备
CN114979500A (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2016111568A (ja) 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム
JP2010183460A (ja) 撮像装置およびその制御方法
JP2006148550A (ja) 画像処理装置及び撮像装置
CN115037915B (zh) 视频处理方法和处理装置
JP5482427B2 (ja) 撮像装置、手ブレ補正方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant