CN113132612A - 一种图像稳像处理方法、终端拍摄方法、介质及*** - Google Patents

一种图像稳像处理方法、终端拍摄方法、介质及*** Download PDF

Info

Publication number
CN113132612A
CN113132612A CN201911413482.2A CN201911413482A CN113132612A CN 113132612 A CN113132612 A CN 113132612A CN 201911413482 A CN201911413482 A CN 201911413482A CN 113132612 A CN113132612 A CN 113132612A
Authority
CN
China
Prior art keywords
image
pixel
processing
matrix
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911413482.2A
Other languages
English (en)
Other versions
CN113132612B (zh
Inventor
王宇
朱聪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911413482.2A priority Critical patent/CN113132612B/zh
Publication of CN113132612A publication Critical patent/CN113132612A/zh
Application granted granted Critical
Publication of CN113132612B publication Critical patent/CN113132612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像稳像处理方法具体包括获取终端拍摄设备的运动信息以及待处理图像；待处理图像包括至少一个包含目标的目标区域；并根据目标区域确定待处理图像中目标区域以外的背景区域；计算待处理图像中各像素对应的变换矩阵；变换矩阵是基于运动信息和相机内部参数确定的；变换矩阵建立待处理图像和稳像处理后图像像素位置之间的映射关系，表征对像素进行的旋转变换和/或平移变换；对目标区域的各像素进行第一处理，以及对背景区域的各像素进行第二处理；第一处理包括对目标区域的各像素的旋转变换和/或平移变换进行的弱化处理；第二处理不同于第一处理；基于经第一处理和第二处理后图像各像素所对应的变换矩阵，输出稳像处理后的图像。

Description

一种图像稳像处理方法、终端拍摄方法、介质及***
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像稳像处理方法。
背景技术
在图像或视频拍摄中，经常会出现因拍摄视野中前景和后景相对相机的运动不同而导致的畸变现象。前置摄像头旋转自拍是其中一个典型场景，人像会发生畸变。产生畸变的原因是因为当手机移动过程中，如果视频稳像算法只根据手机内的MEMS(微电机陀螺仪)数据对整幅图像进行校正，那么这种校正将不会区分人像和背景。而使用前置摄像头进行旋转自拍时，人像与相机相对位置关系的改变较小，人像始终随着摄像头一同旋转，并近似保持在画面的同一位置，所以人像部分应该保持不被校正，背景部分应该被校正。由于视频稳像算法没有使用图像内容信息，故而人像作为背景的一部分就随画面扭曲操作而发生形变。
发明内容
本申请提供了一种解决用户在使用前置摄像头进行旋转自拍时，易出现人脸畸变的问题，即结合人像分割和手机陀螺仪信息，对画面中的人像和非人像区域针对性处理，既保证背景信息有稳像效果，又避免人脸出现严重畸变的方法。
本申请实施例提供了一种图像稳像处理方法、终端拍照方法及介质和***。
第一方面，本申请实施例提供了一种图像稳像处理方法，包括：
获取终端拍摄设备的运动信息以及待处理图像；待处理图像包括至少一个包含目标的目标区域；并根据目标区域确定待处理图像中目标区域以外的背景区域；计算待处理图像中各像素对应的变换矩阵；变换矩阵是基于运动信息和相机内部参数确定的；变换矩阵建立待处理图像和稳像处理后图像像素位置之间的映射关系，表征对像素进行的旋转变换和/或平移变换；对目标区域的各像素进行第一处理，以及对背景区域的各像素进行第二处理；第一处理包括对目标区域的各像素的旋转变换和/或平移变换进行的弱化处理；第二处理不同于第一处理；基于经第一处理和第二处理后图像各像素所对应的变换矩阵，输出稳像处理后的图像。
在本实施例中，通过陀螺仪、加速度传感器、光学稳像装置(OIS)、图像特征匹配、光流法等多种方式获取终端拍照设备的运动数据以及通过CMOS传感器或者CCD传感器每间隔一段时间采集到的视频帧，在本申请实施例中视频帧就是一张图像数据，采集到的待处理图像至少包括有一个目标的目标区域，该目标区域包括目标轮廓区域以及目标，例如目标为人像区，目标轮廓区域为人像缓冲区，则目标区域就是人像保护区。根据目标区域确定背景区域，并根据运动信息和相机内部参数确定背景区域和目标区域的各像素所对应的单应性矩阵，并对目标区域各像素进行第一处理和第二处理，对背景区域各像素所进行第二处理。具体地，第一处理是对目标区域的各像素进行旋转变换和/或平移变换的弱化处理。前述的变换矩阵是通过旋转变换和/或平移变换以及相机内部参数来确定的。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
基于运动信息确定图像各像素所对应的运动矢量，根据运动矢量计算图像各像素所对应的变换矩阵，其中变换矩阵包括旋转矩阵和/或平移矩阵。即图像各像素所对应的的变换矩阵是通过运动信息确定的运动矢量来确定的。可以理解为，图像各像素所对应的旋转矩阵的计算依赖于各像素的旋转矢量，旋转矢量可以理解为是对应网格的角速度对时间进行积分得到，角速度的数据通过陀螺仪测量得到，也可以通过基于图像特征匹配的方法，例如光流法等方法计算得到。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
第一处理包括：基于运动信息确定目标区域各像素所对应的旋转矩阵和/或平移矩阵，对目标区域各像素所对应的旋转矩阵和/或平移矩阵进行退化处理。即由于变换矩阵，是通过旋转变换和/或平移变换以及相机内部参数来确定的，所以对旋转矩阵和/或平移矩阵进行的退化操作最终会体现在对变换矩阵的弱化上。而旋转矩阵和/或平移矩阵是通过获取的运动信息确定的。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
退化处理包括：减小目标区域各像素所对应的旋转矢量，计算退化后的旋转矩阵，或者在目标区域各像素所对应的旋转矩阵与单位矩阵之间进行插值计算，得到退化后的旋转矩阵；和/或减小目标区域各像素所对应的平移矢量，计算退化后的平移矩阵，或者在目标区域各像素所对应的平移矩阵与零矩阵之间进行插值计算，得到退化后的平移矩阵。即退化处理的对象为目标区域各像素所对应的的旋转矩阵和/或平移矩阵，退化处理可以为减小目标区域各像素的旋转矢量和/或平移矢量进而表现为旋转矩阵和/或平移矩阵的退化，也可以直接是对目标区域各像素的旋转矩阵和/或平移矩阵进行插值计算得到。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
对背景区域各像素进行第二处理，包括：基于背景区域各像素进行图像坐标变换和像素值插值，完成图像稳像和卷帘快门校正。该步骤是为了将背景区域和目标区域分开调整，以达到抑制目标区域扭曲的同时，背景区域能够进行正常的稳像处理。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
对目标区域各像素进行第一处理和第二处理。在本申请的实施例中，在进行图像稳像处理的时候，包括两种情况：(1)是对目标区域各像素对应的旋转矩阵和/或平移矩阵直接进行退化处理，和基于背景区域各像素进行像素坐标变换和像素插值，完成稳像处理和卷帘快门校正；(2)基于整体图像各像素进行像素坐标变换和像素插值，完成稳像素处理和卷帘快门校正，和对目标区域各像素所对应的旋转矩阵和/或平移矩阵进行退化处理。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
基于运动信息确定目标区域各像素所对应的旋转矩阵和/或平移矩阵，对目标区域各像素所对应的旋转矩阵和/或平移矩阵进行退化处理，再基于经过退化处理后图像各像素进行图像坐标变换和像素值插值，完成图像稳像和卷帘快门校正。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
在目标区域中，基于目标的轮廓确定目标轮廓区域，并且将目标区域中目标轮廓区域以外的区域设定为缓冲区域。即在图像中，目标轮廓区域和背景区域之间设置过渡区，以减小不同区域各像素所对应旋转矩阵和/或平移矩阵退化程度差异造成的图像缺陷，可以根据已经确定的目标轮廓坐标进一步设定缓冲区的大小。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
结合目标区域各像素所对应的旋转矩阵和/或平移矩阵和背景区域各像素所对应的旋转矩阵和/或平移矩阵插值计算出缓冲区域中的图像像素所对应的旋转矩阵和/或平移矩阵。即由于缓冲区介于目标区域和背景区域之间，所以可以对缓冲区域各像素对应的旋转矩阵和/或平移矩阵进行插值计算，进而得到插值后的旋转矩阵和/或平移矩阵，进而根据缓冲区域的旋转矩阵和/或平移矩阵得到缓冲区域各像素所对应的变换矩阵。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
将待处理图像拆分为N×M个网格，计算出各网格点位置坐标对应的变换矩阵，对于相邻四个网格点所围成的方形网格区域内各像素，根据其与邻近网格点的坐标位置关系以及邻近网格点对应的变换矩阵进行插值计算，得到各像素对应的变换矩阵。将像素以网格为单位进行处理，同一个网格内的像素的变换矩阵通过与邻近网格点的坐标位置关系以及邻近网格点对应的变换矩阵进行插值取相同的值，简化了计算过程。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
基于运动信息确定图像各网格所对应的的运动矢量，根据运动矢量计算图像各像素所对应的变换矩阵，其中变换矩阵包括旋转矩阵和/或平移矩阵。如上，当图像像素以网格为单位进行对应操作时，可以是通过插值计算得到每个网格中心的角速度，进而得到各网格所对应的运动矢量、变换矩阵。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
第一处理包括：基于运动信息确定图像各网格所对应的旋转矩阵和/或平移矩阵，对目标区域各网格所对应的旋转矩阵和/或平移矩阵进行退化处理。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
对背景区域各像素进行第二处理，包括：基于背景区域各网格进行图像坐标变换和像素值插值，完成图像稳像和卷帘快门校正。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
对目标区域各网格进行第一处理和第二处理。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
基于运动信息确定图像各网格所对应的旋转矩阵和/或平移矩阵，对目标区域各网格所对应的旋转矩阵和/或平移矩阵进行退化处理，再基于经过退化处理后图像各像素进行图像坐标变换和像素值插值，完成图像稳像和卷帘快门校正。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
在目标区域中，基于目标的轮廓确定目标轮廓区域，并且将目标区域中目标轮廓区域以外的区域设定为缓冲区域。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
结合目标区域各网格所对应的旋转矩阵和/或平移矩阵和背景区域各网格所对应的旋转矩阵和/或平移矩阵插值计算出缓冲区域中的图像像素所对应的旋转矩阵和/或平移矩阵。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
当目标区域所占待处理图像的比例大于预设阈值时，设定的缓冲区域所占待处理图像的比例大于预设比例阈值；
当目标区域所占待处理图像的比例小于预设阈值时，设定的缓冲区域所占待处理图像的比例小于预设比例阈值。其中的预设阈值和/或预设比例阈值是根据预设函数设定；预设函数包括高斯模糊和/或分段函数。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
通过卷积神经网格识别待处理图像的目标；
根据目标确定目标区域。
在上述第一方面的一种可能的实现中，上述图像稳像处理的方法还包括：
运动矢量经过平滑处理；
平滑处理包括通过神经网络、高斯滤波、IIR滤波器、PID调节器、L1优化、L2优化等方法进行平滑处理。
第二方面，本申请实施里提供了一种终端拍照方法，包括：
终端采集待处理图像；
采用以上各个方面的各种可能实现中揭示的图像稳像处理方法对待处理图像进行处理，得到稳像图像。
第三方面，本申请实施里提供了一种图像稳像处理装置，包括：
获取模块，用于获取终端拍摄设备的运动信息以及待处理图像；待处理图像包括至少一个包含目标的目标区域；并根据目标区域确定待处理图像中目标区域以外的背景区域；
计算模块，用于计算待处理图像中各像素对应的变换矩阵；变换矩阵是基于运动信息和相机内部参数确定的；变换矩阵建立待处理图像和稳像处理后图像像素位置之间的映射关系，表征对像素进行的旋转变换和/或平移变换；
处理模块，用于对目标区域的各像素进行第一处理，以及对背景区域的各像素进行第二处理；第一处理包括对目标区域的各像素的旋转变换和/或平移变换进行的弱化处理；第二处理不同于第一处理；
输出模块，用于基于经第一处理和第二处理后图像各像素所对应的变换矩阵，输出稳像处理后的图像。
第四方面，本申请实施里提供了一种终端，包括：
图像采集单元，用于终端采集待处理图像；
图像处理单元，用于采用以上各个方面的各种可能实现中揭示的图像稳像处理方法对待处理图像进行处理，得到目标图像。
第五方面，本申请实施里提供了一种机器可读介质，其特征在于，机器可读介质上存储有指令，该指令在机器上执行时使机器执行以上各个方面的各种可能实现中揭示的图像稳像处理方法。
第六方面，本申请实施里提供了一种***，包括：
存储器，用于存储由***的一个或多个处理器执行的指令，以及处理器，是***的处理器之一，用于执行以上各个方面的各种可能实现中揭示的图像稳像处理方法。
附图说明
图1根据本申请的一些实施例，示出了一种手机的***框架图。
图2根据本申请的一些实施例，示出了手机的一种使用场景。
图3根据本申请的一些实施例，示出了图1手机***中的计算机视觉模块的结构。
图4a根据本申请的一些实施例，示出了图1手机***中摄像头采集到的图像。
图4b根据本申请的一些实施例，示出了图1手机***中摄像头采集到的图像中人像的轮廓。
图5根据本申请的一些实施例，示出了分区之后的图像，其中区域A表示目标区域，区域B表示背景区域，区域N表示缓冲区域，区域D为人像保护区域。
图6根据本申请的一些实施例，示出了AI人像分割的流程示意图。
图7a是根据本申请的一些实施例的陀螺仪运动数据与图像帧的对齐示意图。
图7b是根据本申请的一些实施例的计算各像素对应旋转矩阵流程图。
图8根据本申请的一些实施例，示出了旋转矢量序列进行平滑的曲线图，其中曲线x表示未经平滑的旋转矢量序列，曲线y表示经过平滑后的旋转矢量序列。
图9根据本申请的一些实施例，示出了一种图像稳像处理的方法的流程图。
图10根据本申请的一些实施例，示出了一种图像稳像处理的方法的流程图。
图11根据本申请的一些实施例，示出了一种手机前置旋转自拍的方法的流程图。
图12根据本申请的一些实施例，示出了一种图像处理的装置。
图13根据本申请的一些实施例，示出了一种终端。
图14根据本申请的一些实施例，示出了一种***的框图。
图15根据本申请一些实施例，示出了一种片上***(SoC)的框图。
具体实施例
本申请的说明性实施例包括但不限于基于区块链的IP地址前缀认证方法和设备。
可以理解，如本文所使用的，术语“模块””可以指代或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。
可以理解，在本申请各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，处理器可以是单核处理器，多核处理器等，和/或其任何组合。
本申请的图像稳像处理方法应用在视频拍摄设备上，例如，可以是智能手机、平板电脑、手持DV等手持视频拍摄设备，还可以应用在行车记录仪等设备上，甚至可以应用在无人机、扫地机器人的录像设备上，这些设备在使用过程中，可能出现短时间内大幅度移动或者振动的情况。
下面将结合附图对本申请的实施例作进一步地详细描述。
可以理解，在本申请的一些实施例中，公开了一种图像稳像处理方法，在该图像稳像处理方法中，对图像中的人像保护区域和背景部分分别使用了不同的处理方式。
在根据本申请的图像稳像处理方法中，需要根据陀螺仪、加速度传感器、光学稳像装置(OIS)、图像特征匹配、光流法等多种方式获取终端设备的运动信息。
基于这些运动信息，根据本申请的一种实施方式，以图像各像素为单位，根据前述的运动信息确定图像各像素所对应的单应性矩阵，具体可以为(a)基于整张图像的像素进行图像各像素的像素坐标变换和像素插值，完成稳像处理和卷帘快门校正，然后对人像保护区域D中各像素所对应的单应性矩阵进行退化处理；(b)对人像保护区域D中各像素所对应的单应性矩阵进行退化处理，然后对非人像保护区域B(也被称为背景区域)中，各像素进行图像各像素的像素坐标变换和像素插值，完成稳像处理和卷帘快门校正；然后根据前述操作确定稳像处理后的图像和待处理图像之间的单应性矩阵，根据该单应性矩阵输出最终图像。
基于这些运动信息，根据本申请的另一种实施方式，还可以首先将图像分成N×M个网格，也即将像素以网格为单位进行处理，从而可以减少部分计算量。具体的，将图像通过神经网络模型进行人像分割，将人像区域向网格映射，获取人像所占据的网格集合A；设置人像保护区域D，此时人像保护区域D包含了图像缓冲区域N和人像区域A；图像中除了人像保护区域D以外的区域被确定为非人像保护区域也即背景区域B。
计算图像各区域对应的旋转矩阵R和/或平移矩阵T；
对于非人像保护区域B，保持计算出的旋转矩阵R0和/或平移矩阵T0不变，基于非人像区域B各像素进行像素坐标变换和像素插值，完成稳像处理和卷帘快门校正；
对于人像区域A，将人像区域的旋转矩阵R退化为单位矩阵I和/或将人像区域的平移矩阵T退化为零矩阵；或者基于整张图像的像素进行像素坐标变换和像素插值，完成整张图像的稳像处理和卷帘快门校正，然后将人像区域的旋转矩阵R和/或平移矩阵T退化为单位矩阵I和/或经过校正后的平移矩阵T退化为零矩阵；对于缓冲区域N，通过公式R＝SLERP(RA,RB)(球面线性插值)计算出缓冲区域的旋转矩阵R和/或通过公式T＝SLERP(TA,TB)计算出缓冲区域的平移矩阵T；基于上述调整过后各部分的旋转矩阵、平移矩阵，结合相机内参矩阵K，通过公式H＝f(K,T,R)计算出图像各部分对应的单应性矩阵H，根据单应性矩阵H输出最终图像。
下面描述本申请的图像稳像处理方法的一种示例性的应用场景，一种手机前置旋转自拍的过程中的图像稳像处理，其中，详细介绍了本申请的图像稳像处理方法。
可以理解的，该示例只是为了解释本申请的具体实施方式和原理，但是根据本申请的图像稳像处理方法不限于在手机前置摄像头进行自拍的场景下使用，该方法同时也适用于手机的其他摄像头所拍摄的图像或视频。并且，根据本申请的图像稳像处理方法不限于在手机终端适用，也适用于其他装备了摄像头的拍摄设备。
下面以手机10为例说明本申请的手机前置旋转自拍技术。根据本申请的一些实施例，图1示出了手机10的***框架图。可以理解，该***框架也适用于其他终端，不限于手机。
可以理解的是，本申请实施例示意的结构涉及CMOS sensor-ISP-CPU/GPU/NPU-TP等装置但是并不构成对手机10的具体限定。在本申请另一些实施例中，手机10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
根据本申请的一些实施例公开了一种手机10***。
具体地，如图1所示，手机10包括软件***110和硬件***120。硬件***120包括摄像头模块121、传感器模块122、以及显示屏123，软件***110包括操作***111和位于应用程序层112的计算机视觉模块113。其中，操作***111是集成在终端内的管理终端设备的硬件与软件资源的计算机程序。应用程序层112是运行在操作***111之上的具有特定功能的模块程序。摄像头模块121(包括前置摄像头)用来采集视频或图像信息，例如采集用户旋转自拍时的视频。
显示屏102用于显示人机交互界面、图像、视频等。显示屏102包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。
传感器模块122可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
摄像头模块121用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP(Image SignalProcessing，图像信号处理)转换成数字图像信号。手机10可以通过ISP，摄像头模块121，视频编解码器，GPU(Graphic Processing Unit，图形处理器)，显示屏102以及应用处理器等实现拍摄功能。
根据本申请的一些实施例，图2示出了用户在使用手机10前置摄像头旋转自拍的场景。具体地，在图2中，用户使用手机10进行旋转自拍的时候，手机10摄像头模块121读取摄像头ID，识别出此时正在使用前置摄像头1211进行旋转自拍。对于这种情况，手机10通过图像稳像处理方法来对采集到的视频进行稳像处理。
根据本申请的图像稳像处理方法的具体实施过程说明如下：
当用户使用前置摄像头1211进行旋转自拍的时候，传感器模块122获取陀螺仪数据，同时摄像头模块121采集多帧图像数据。由于自拍设备工作时，陀螺仪每间隔固定的时间t将输出一组包含三轴角速度以及时间戳的数据，例如，陀螺仪所采集的一组数据可以表示为[gt，Ωx，Ωy，Ωz]，其中gt表示这组数据采集的时间戳，Ωx，Ωy，Ωz分别表示在该时刻下绕三个坐标轴旋转角速度分量。由于传感器模块122是以固定帧率采集视频帧，所以在本实施例中，一个视频帧就是一张图像数据，或者称为一帧图像，将多帧连续的图像播放将形成一段视频。为提升采样精度，通常设置陀螺仪输出数据的频率高于传感器采集视频帧的频率，所以两个相邻的视频帧之间会包含多组陀螺仪数据。所以，在使用时间戳数据和图像数据前会进行对齐。
通过计算机视觉模块113对前置摄像头1211拍摄到的用户图像进行人像分割。将待处理图像分割成人像区域和背景区域。
如图3所示，计算机视觉模块113包括了人像轮廓检测单元1131、人像分割单元1132、旋转矩阵计算单元1133、单应性矩阵计算单元1134以及图像形变单元1135。
计算机视觉模块113通过各个单元识别出用户图像中的人像轮廓的过程如下：
人像轮廓检测单元1131检测前置摄像头1121捕捉到的用户图像中的人像轮廓。例如，图4(a)所示的是前置摄像头1211检测到用户拍摄图像，图4(b)所示是图像中用户的人像轮廓。人像轮廓检测单元1131将检测出人像轮廓的图像发送给图像分割单元1132。
图5根据本申请的一些实施例，示出了分区之后的图像，其中区域A表示目标区域，区域B表示背景区域，区域N表示缓冲区域，区域D表示人像保护区域。
图像分割单元1132在接收到图像后，如图6所示，通过卷积神经网络模型生成人像轮廓坐标，然后对人像区域进行定位，再基于人像区域A确定图像的背景区域B，进一步的，通过使用分段函数或者高斯滤波等模型，可以设置人像保护区域D，再根据人像保护区域和人像区域确定人像缓冲区域N(参见图5)，例如，如果人像区域所占图像比例大于阈值或者运动状态较为激烈，将人像缓冲区域适当调大，如果人像区域所占图像比例小于或者阈值或者运动状态较为平缓，则人像缓冲区域可适当调小；
进一步的，图7a表示在旋转矩阵计算单元1133的工作过程中对时间戳数据和图像数据进行对齐。
旋转矩阵计算单元1133的工作过程如图7b所示，具体包括：
(a)通过插值计算每个像素的角速度，进而得到旋转矢量
(b)将计算得到的旋转矢量序列输入至神经网络模型进行平滑，并通过递归滤波器以及PID调节器得到进一步光滑的旋转矢量曲线，即通过滤波得到各网格对应的旋转矢量Rot(参见图8)，其中，曲线x是平滑前，曲线y是经过平滑后。
(c)最后根据罗德里格斯旋转变换公式，将旋转矢量Rot转化成旋转矩阵R。
单应性矩阵计算单元1134根据计算出来的旋转矩阵结合人像分割单元1132分割的人像区域、人像缓冲区域、人像保护区域、背景区域，分别进行如下的操作：
对于背景区域B(即非人像保护区域)，保持计算出的旋转矩阵R0和/或T0不变，进行正常的卷帘快门校正，再通过公式HB＝f(K,R0)计算背景区域B的各像素所对应的单应性矩阵HB或者通过公式HB＝f(K,R0,T0)计算背景区域B的各像素对应的单应性矩阵HB；
对于人像区域A，将人像区域的旋转矩阵R退化为单位矩阵I和/或将人像区域的平移矩阵T退化为零矩阵；或者对人像区域的旋转矩阵R和/或平移矩阵T先进行卷帘快门，然后对经过校正后的旋转矩阵退化为单位矩阵I和/或经过校正后的平移矩阵T退化为零矩阵；
对于缓冲区域N，根据最邻近人像区域各像素和最邻近背景区域各像素所对应(参见图9)的旋转矩阵根据公式RN＝SLEPR(RA,RB)和/或通过公式TN＝SLERP(TA,TB)计算出缓冲区的的旋转矩阵RN和/或平移矩阵TN，然后根据公式HN＝f(K,RN)和/或HN＝f(K,RN,TN)计算缓冲区的各像素所对应的单应性矩阵；
其中，上述的K是已知的相机内参矩阵，采用标定方法对相机进行标定，获取相机内参矩阵
Figure BDA0002350582980000091
其中，cx、cy表示相机的光轴坐标，fx、fy表示相机在X轴Y轴上的焦距。
进一步的，根据上述方法，也可以将像素按照以网格为单元进行相应处理，为了避免重复，在此不再赘述。
图像形变单元1135根据单应性矩阵计算单元1134计算出的人像区域A、背景区域B、人像缓冲区域N的每个像素对应的单应性矩阵，输出稳像处理图像每个像素对应的输出坐标值，进而通过ISP(Image Signal Processor)输出稳像图像。
同时，当前述采集到的的待处理图像通过人像轮廓检测单元1131检测出包含有多个人像时，手机用户可以通过显示屏102单元进行区域选择，即用户可以选择对多个人像中的至少一部人像进行上述处理，传感器模块190将用户指定的区域传送到图像分割单元1132，图像分割单元1132根据用户选择的区域进行区域分割，具体分割为处理区、保护区、以及处理缓冲区和背景区，然后分别通过旋转矩阵计算单元1133和单应性矩阵计算单元1134分别计算各个区域各像素对应的单应性矩阵，由图像形变单元1135根据单应性矩阵计算单元1134计算出的处理区域、背景区域、处理缓冲区域的每个像素对应的单应性矩阵，输出稳像处理图像每个像素对应的输出坐标值，进而通过ISP(Image Signal Processor)输出稳像图像。
另外，虽然以上根据本申请的实施方式中是以人像作为目标的示例进行的说明，但是根据本申请的稳像处理方法不限于仅用于对人像的处理，可以是在拍摄过程中任何想要实现稳像的对象，例如动物、运动的物体等
基于上面对手机10的图像处理方式的描述，下面具体介绍本申请的图像处理方法的具体流程。上述描述中的各种相关细节在本流程中依然适用，为了避免重复，在此不再赘述。具体地，如图9-10所示，在只考虑旋转变换，也即等效于平移矩阵T是单位矩阵I，本申请的图像稳像处理方法包括：
获取待处理图像(901)。例如获取摄像头采集到的图像。比如，摄像头可以采集活体(诸如，动物、人物等)图像或者特定的风景的图像(诸如，树木花草、建筑物等)。
计算图像各个像素对应的旋转矩阵(902)。结合陀螺仪输出的角速度数据，通过插值计算得到每个像素的角速度，将每个像素的角速度对陀螺仪时间进行积分计算得到每个像素对应的旋转矢量，通过罗德里格斯旋转变换公式将每个像素对应的旋转矢量转换为旋转矩阵。
通过人工智能分割进行分区(903)。比如通过神经网络对上述图像进行分区处理，神经网络可以识别出图像中的建筑物区域，进而可以根据建筑物区域的大小、相机运动状态结合高斯滤波函数设置建筑物保护区域的大小，其中建筑物图像保护区域包括了建筑物区域和灰度值介于建筑物区域和背景区域的缓冲区域，然后根据建筑物保护区域的范围得到背景区域的范围；进一步的可以根据建筑物保护区域的范围得到缓冲区域的范围。
建筑物区域旋转矩阵直接退化，和基于建筑物区域的图像像素进行像素坐标变换和像素插值以完成稳像和卷帘快门校正(9041)以及基于背景区域各像素进行卷帘快门校正(9042)以及进一步的对缓冲区域的旋转矩阵进行插值(1043)。通过对不同分区的每个像素的旋转矩阵进行对应的操作。
根据处理后的旋转矩阵计算每个区域的每个像素对应的单应性矩阵(906)。结合上述计算得到的旋转矩阵，根据已知的相机内参矩阵通过H＝f(K，R)公式计算每个像素对应的单应性矩阵，进而得到稳像处理的图像与采集到的待处理图像之间像素坐标值的对应关系。
根据各个区的每个像素的单应性矩阵计算对应的图像输出坐标值(907)。
根据上述图像的输出坐标值输出经过稳像处理的图像(908)。
在本申请的另一些实施例中，本申请还提供了一种终端拍摄的方法，同样的，本实施例只考虑旋转变换，也即等效于平移矩阵T是单位矩阵I。如图11所示：
当用户在进行旋转自拍的时候，终端摄像头会采集到用户拍摄到的视频，并且终端会计算该视频中每帧图像每个像素的旋转矩阵(1101)，并且终端读取此时摄像头的ID(1102)，识别出是否为前置摄像头(1103)，在摄像头为前置摄像头时，人像相对于终端显示屏会处于固定的相对位置。如果不是前置摄像头，则直接计算出图像各像素对应的单应性矩阵H(1107)，并且根据单应性矩阵H计算像素对应的输出坐标值(1108)，进而由ISP输出稳像图像(1109)；如果属于前置摄像头，那么终端会通过AI人像分割(1104)检测到是否有人像(1105)，如果没有人像出现，也不会对图像进行分区校正，即直接计算出图像各像素对应的单应性矩阵H(1107)，并且根据单应性矩阵H计算像素对应的输出坐标值(1108)，进而由ISP输出稳像图像(1109)；如果检测到人像(1105)，则对图像进行分区，将图像分为人像区域、背景区域、和缓冲区域、对各分区每个像素对应的旋转矩阵进行修改(1106)，即保持背景区域旋转矩阵不变，将人像区域旋转矩阵退化为单位矩阵，结合人像区域和背景区域的旋转矩阵通过插值计算得到缓冲区域的旋转矩阵；然后根据各区各像素的旋转矩阵计算各区各像素对应的单应性矩阵(1107)，进而根据各区各像素的单应性矩阵H计算像素对应的输出坐标值(1108)；最后由ISP输出稳像图像(1109)。
可替代的，图像分割单元1132也可以将像素以网格为单位进行处理。
具体的，如图5所示，将待处理图像拆分为N×M个网格，并且计算出各网格点位置坐标对应的单应性矩阵，然后对于相邻四个网格点所围成的方形网格区域内各像素，根据其与邻近网格点的坐标位置关系以及邻近网格点对应的变换矩阵进行插值计算，得到各像素对应的变换矩阵。然后如图6所示，通过卷积神经网络模型生成人像轮廓坐标，然后对人像区域进行定位，将网格和人像区域映射，也即当网格中人像区域的像素数量占据网格内总像素的比例大于或者等于预设比例δ＝0.5时，该网格属于人像区域的网格，δ的取值为[0.5，1]。再基于人像区域A确定图像的背景区域B进一步的，根据人像区域通过使用分段函数或者高斯滤波等模型，设置人像保护区域D，再根据人像保护区域和人像区域确定人像缓冲区域N。
对应上述图像稳像处理方法，图12示出了一种图像稳像处理装置的结构示意图，可以理解，上述图像稳像处理方法中的具体技术细节，在该装置中也适用，为了避免重复，在此不再赘述。
如图12所示，图像稳像处理装置包括：
获取模块1201，用于获取终端拍摄设备的运动信息以及待处理图像；待处理图像包括至少一个包含目标的目标区域；并根据目标区域确定待处理图像中目标区域以外的背景区域；
计算模块1202，用于计算待处理图像中各像素对应的变换矩阵；变换矩阵是基于运动信息和相机内部参数确定的；变换矩阵建立待处理图像和稳像处理后图像像素位置之间的映射关系，表征对像素进行的旋转变换和/或平移变换；
处理模块1203，用于对目标区域的各像素进行第一处理，以及对背景区域的各像素进行第二处理；第一处理包括对目标区域的各像素的旋转变换和/或平移变换进行的弱化处理；第二处理不同于第一处理；
输出模块1204，用于基于经第一处理和第二处理后图像各像素所对应的变换矩阵，输出稳像处理后的图像。
对应上述终端拍摄方法，图13示出了一种终端的结构示意图，可以理解，上述终端消息处理方法中的具体技术细节，在该装置中也适用，为了避免重复，在此不再赘述。
具体地，如图13所示，该终端包括：
图像采集单元1301，用于终端采集待处理图像；
图像处理单元1302，用于采用权利要求1-13所述的任意一种方法对待处理图像进行处理，得到目标图像。
现在参考图14，所示为根据本申请的一个实施例的***1400的框图。图14示意性地示出了根据多个实施例的示例***1400。在一个实施例中，***1400可以包括一个或多个处理器1404，与处理器1404中的至少一个连接的***控制逻辑1408，与***控制逻辑1408连接的***内存1414，与***控制逻辑1408连接的非易失性存储器(NVM)1415，以及与***控制逻辑1408连接的网络接口1420。
在一些实施例中，处理器1404可以包括一个或多个单核或多核处理器。在一些实施例中，处理器1404可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任意组合。在***1400采用eNB(Evolved Node B，增强型基站)101或RAN(Radio Access Network，无线接入网)控制器102的实施例中，处理器1404可以被配置为执行各种符合的实施例。
在一些实施例中，***控制逻辑1408可以包括任意合适的接口控制器，以向处理器1404中的至少一个和/或与***控制逻辑1408通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中，***控制逻辑1408可以包括一个或多个存储器控制器，以提供连接到***内存1414的接口。***内存1414可以用于加载以及存储数据和/或指令。在一些实施例中***1400的内存1414可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。
NVM/存储器1415可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，NVM/存储器1415可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(Hard Disk Drive，硬盘驱动器)，CD(Compact Disc，光盘)驱动器，DVD(Digital Versatile Disc，数字通用光盘)驱动器中的至少一个。
NVM/存储器1415可以包括安装***1400的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口1420通过网络访问NVM/存储1415。
特别地，***内存1414和NVM/存储器1415可以分别包括：指令1424的暂时副本和永久副本。
网络接口1420可以包括收发器，用于为***1400提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口1420可以集成于***1400的其他组件。例如，网络接口1420可以集成于处理器1404的，***内存1414，NVM/存储器1415，和具有指令的固件设备(未示出)中的至少一种，当处理器1404中的至少一个执行指令时，***1400实现上面的具体实施方式中结合图9-10所说明的图像处理方法。
网络接口1420可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口1420可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。
在一个实施例中，处理器1404中的至少一个可以与用于***控制逻辑1408的一个或多个控制器的逻辑封装在一起，以形成***封装(SiP)。在一个实施例中，处理器1404中的至少一个可以与用于***控制逻辑1408的一个或多个控制器的逻辑集成在同一管芯上，以形成片上***(SoC)。
***1400可以进一步包括：输入/输出(I/O)设备1432。I/O设备1432可以包括用户界面，使得用户能够与***1400进行交互；***组件接口的设计使得***组件也能够与***1400交互。在一些实施例中，***1400还包括传感器，用于确定与***1400相关的环境条件和位置信息的至少一种。
在一些实施例中，用户界面可包括但不限于显示器(例如，液晶显示器，触摸屏显示器等)，扬声器，麦克风，一个或多个相机(例如，静止图像照相机和/或摄像机)，手电筒(例如，发光二极管闪光灯)和键盘。
在一些实施例中，***组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。
在一些实施例中，传感器可包括但不限于陀螺仪传感器，加速度计，近程传感器，环境光线传感器和定位单元。定位单元还可以是网络接口1420的一部分或与网络接口1420交互，以与定位网络的组件(例如，全球定位***(GPS)卫星)进行通信。
根据本申请的实施例，图15示出了一种SoC(System on Chip，片上***)1500的框图。在图15中，相似的部件具有同样的附图标记。另外，虚线框是更先进的SoC的可选特征。在图15中，SoC 1500包括：互连单元1550，其被耦合至应用处理器1515；***代理单元1570；总线控制器单元1580；集成存储器控制器单元1540；一组或一个或多个协处理器1520，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(SRAM)单元1530；直接存储器存取(DMA)单元1560。在一个实施例中，协处理器1520包括专用处理器，诸如例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、或嵌入式处理器等等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程***上执行的计算机程序或程序代码，该可编程***包括至少一个处理器、存储***(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理***包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何***。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理***通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (16)

1.一种图像稳像处理方法，用于终端拍摄设备，其特征在于，包括：
获取所述终端拍摄设备的运动信息以及待处理图像；所述待处理图像包括至少一个包含目标的目标区域；并根据所述目标区域确定所述待处理图像中目标区域以外的背景区域；
计算所述待处理图像中各像素对应的变换矩阵；所述变换矩阵是基于所述运动信息和相机内部参数确定的；所述变换矩阵建立待处理图像和稳像处理后图像像素位置之间的映射关系，表征对像素进行的旋转变换和/或平移变换；
对所述目标区域的各像素进行第一处理，以及对所述背景区域的各像素进行第二处理；所述第一处理包括对所述目标区域的各像素的旋转变换和/或平移变换进行的弱化处理；所述第二处理不同于所述第一处理；
基于经所述第一处理和所述第二处理后图像各像素所对应的变换矩阵，输出稳像处理后的图像。
2.根据权利要求1的方法，其特征在于，基于所述运动信息确定所述图像各像素所对应的运动矢量，根据所述运动矢量计算所述图像各像素所对应的变换矩阵，其中所述变换矩阵包括旋转矩阵和/或平移矩阵。
3.根据权利要求2所述的方法，其特征在于，包括：
所述第一处理包括：基于所述运动信息确定所述目标区域各像素所对应的旋转矩阵和/或平移矩阵，对所述目标区域各像素所对应的旋转矩阵和/或平移矩阵进行退化处理。
4.根据权利要求3所述的方法，其特征在于，所述退化处理包括：减小所述目标区域各像素所对应的旋转矢量，计算退化后的旋转矩阵，或者在所述目标区域各像素所对应的旋转矩阵与单位矩阵之间进行插值计算，得到退化后的旋转矩阵；和/或减小所述目标区域各像素所对应的平移矢量，计算退化后的平移矩阵，或者在所述目标区域各像素所对应的平移矩阵与零矩阵之间进行插值计算，得到退化后的平移矩阵。
5.根据权利要求1所述的方法，其特征在于，包括：
所述对所述背景区域各像素进行第二处理，包括：基于所述背景区域各像素进行图像坐标变换和像素值插值，完成图像稳像和卷帘快门校正。
6.根据权利要求1所述的方法，其特征在于，对所述目标区域各像素进行第一处理和第二处理。
7.根据权利要求6所述的方法，其特征在于，包括：
基于所述运动信息确定所述目标区域各像素所对应的旋转矩阵和/或平移矩阵，对所述目标区域各像素所对应的旋转矩阵和/或平移矩阵进行退化处理，再基于经过退化处理后图像各像素进行图像坐标变换和像素值插值，完成图像稳像和卷帘快门校正。
8.根据权利要求1所述的方法，其特征在于，包括：
在所述目标区域中，基于所述目标的轮廓确定目标轮廓区域，并且将目标区域中所述目标轮廓区域以外的区域设定为缓冲区域。
9.根据权利要求8所述的方法，其特征在于，包括：
结合所述目标区域各像素所对应的变换矩阵和所述背景区域各像素所对应的变换矩阵插值计算出所述缓冲区域中的图像像素所对应的变换矩阵，其中所述变换矩阵包括旋转矩阵和/或平移矩阵。
10.根据权利要求1所述的方法，其特征在于，将所述待处理图像拆分为N×M个网格，计算出各网格点位置坐标对应的变换矩阵，对于相邻四个网格点所围成的方形网格区域内各像素，根据其与邻近网格点的坐标位置关系以及所述邻近网格点对应的变换矩阵进行插值计算，得到所述各像素对应的变换矩阵。
11.根据权利要求8所述的方法，其特征在于，包括：
当所述目标区域所占所述待处理图像的比例大于预设阈值时，设定的缓冲区域所占所述待处理图像的比例大于预设比例阈值；
当所述目标区域所占所述待处理图像的比例小于预设阈值时，设定的缓冲区域所占所述待处理图像的比例小于预设比例阈值。
12.根据权利要求1所述的方法，其特征在于，包括：
通过卷积神经网格识别所述待处理图像的目标；
根据所述目标确定所述目标区域。
13.根据权利要求2所述的任意一种方法，其特征在于，包括：
所述运动矢量经过平滑处理；
所述平滑处理包括通过神经网络、高斯滤波、IIR滤波器、PID调节器、L1优化、L2优化中的至少一种方法进行平滑处理。
14.一种终端拍摄方法，其特征在于，包括：
所述终端采集待处理图像；
采用权利要求1-13所述的任意一种方法对所述待处理图像进行处理，得到稳像图像。
15.一种机器可读介质，其特征在于，所述机器可读介质上存储有指令，该指令在机器上执行时使机器执行权利要求1至14中任一项所述的方法。
16.一种***，包括：
存储器，用于存储由***的一个或多个处理器执行的指令，以及
处理器，是***的处理器之一，用于执行权利要求1至14中任一项所述的方法。
CN201911413482.2A 2019-12-31 2019-12-31 一种图像稳像处理方法、终端拍摄方法、介质及*** Active CN113132612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911413482.2A CN113132612B (zh) 2019-12-31 2019-12-31 一种图像稳像处理方法、终端拍摄方法、介质及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911413482.2A CN113132612B (zh) 2019-12-31 2019-12-31 一种图像稳像处理方法、终端拍摄方法、介质及***

Publications (2)

Publication Number Publication Date
CN113132612A true CN113132612A (zh) 2021-07-16
CN113132612B CN113132612B (zh) 2022-08-09

Family

ID=76770351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911413482.2A Active CN113132612B (zh) 2019-12-31 2019-12-31 一种图像稳像处理方法、终端拍摄方法、介质及***

Country Status (1)

Country Link
CN (1) CN113132612B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114024991A (zh) * 2022-01-07 2022-02-08 深圳比特微电子科技有限公司 一种数据采集设备、数据采集***和电子稳像设备
CN114972008A (zh) * 2021-11-04 2022-08-30 华为技术有限公司 一种坐标还原方法、装置以及相关设备
DE102021126658B3 (de) 2021-10-14 2022-11-10 Carl Zeiss Meditec Ag Medizinisches Visualisierungsystem und Verfahren zur Video-Stabilisierung bei einem solchen System
CN116797497A (zh) * 2023-08-24 2023-09-22 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质
CN117440248A (zh) * 2023-12-21 2024-01-23 西安松果电子科技有限公司 基于轴稳像技术实现目标伺服智能控制方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668114A (zh) * 2008-09-05 2010-03-10 华硕电脑股份有限公司 影像稳定方法及装置、以及使用其的影像传送与接收方法
CN102685371A (zh) * 2012-05-22 2012-09-19 大连理工大学 基于多分辨率块匹配和pi控制的数字视频稳像方法
AU2012203318A1 (en) * 2011-06-06 2012-12-20 Apple Inc. Correcting rolling shutter using image stabilization
CN106954024A (zh) * 2017-03-28 2017-07-14 成都通甲优博科技有限责任公司 一种无人机及其电子稳像方法、***
CN106993134A (zh) * 2017-03-31 2017-07-28 努比亚技术有限公司 一种图像生成装置和方法、终端
CN110475067A (zh) * 2019-08-26 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668114A (zh) * 2008-09-05 2010-03-10 华硕电脑股份有限公司 影像稳定方法及装置、以及使用其的影像传送与接收方法
AU2012203318A1 (en) * 2011-06-06 2012-12-20 Apple Inc. Correcting rolling shutter using image stabilization
CN102685371A (zh) * 2012-05-22 2012-09-19 大连理工大学 基于多分辨率块匹配和pi控制的数字视频稳像方法
CN106954024A (zh) * 2017-03-28 2017-07-14 成都通甲优博科技有限责任公司 一种无人机及其电子稳像方法、***
CN106993134A (zh) * 2017-03-31 2017-07-28 努比亚技术有限公司 一种图像生成装置和方法、终端
CN110475067A (zh) * 2019-08-26 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021126658B3 (de) 2021-10-14 2022-11-10 Carl Zeiss Meditec Ag Medizinisches Visualisierungsystem und Verfahren zur Video-Stabilisierung bei einem solchen System
DE102021126658B8 (de) 2021-10-14 2023-01-05 Carl Zeiss Meditec Ag Medizinisches Visualisierungsystem und Verfahren zur Video-Stabilisierung bei einem solchen System
WO2023062121A1 (de) 2021-10-14 2023-04-20 Carl Zeiss Meditec Ag Medizinisches visualisierungsystem und verfahren zur video-stabilisierung bei einem solchen system
CN114972008A (zh) * 2021-11-04 2022-08-30 华为技术有限公司 一种坐标还原方法、装置以及相关设备
CN114024991A (zh) * 2022-01-07 2022-02-08 深圳比特微电子科技有限公司 一种数据采集设备、数据采集***和电子稳像设备
CN114024991B (zh) * 2022-01-07 2022-04-26 深圳比特微电子科技有限公司 一种数据采集设备、数据采集***和电子稳像设备
CN116797497A (zh) * 2023-08-24 2023-09-22 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质
CN116797497B (zh) * 2023-08-24 2023-11-14 摩尔线程智能科技(北京)有限责任公司 一种图像处理方法、装置、设备及存储介质
CN117440248A (zh) * 2023-12-21 2024-01-23 西安松果电子科技有限公司 基于轴稳像技术实现目标伺服智能控制方法及***
CN117440248B (zh) * 2023-12-21 2024-05-03 西安松果电子科技有限公司 基于轴稳像技术实现目标伺服智能控制方法及***

Also Published As

Publication number Publication date
CN113132612B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN113132612B (zh) 一种图像稳像处理方法、终端拍摄方法、介质及***
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US8928730B2 (en) Method and system for correcting a distorted input image
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
CN109788189B (zh) 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法
CN113436113B (zh) 防抖动的图像处理方法、装置、电子设备和存储介质
US10560633B2 (en) Apparatus and methods for rolling shutter compensation for multi-camera systems
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
CN109951638B (zh) 摄像头防抖***、方法、电子设备和计算机可读存储介质
CN113454982A (zh) 用于使图像稳定化的电子装置及其操作方法
EP3296952B1 (en) Method and device for blurring a virtual object in a video
CN107948505B (zh) 一种全景拍摄方法及移动终端
KR20150140812A (ko) 저광 고동적 범위 이미지의 모션 블러없는 캡처
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
CN111800589B (zh) 图像处理方法、装置和***，以及机器人
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN113556464B (zh) 拍摄方法、装置及电子设备
CN115701125B (zh) 图像防抖方法与电子设备
CN113542600B (zh) 一种图像生成方法、装置、芯片、终端和存储介质
WO2023005355A1 (zh) 图像防抖方法与电子设备
CN113610865B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11128814B2 (en) Image processing apparatus, image capturing apparatus, video reproducing system, method and program
WO2023124202A1 (zh) 图像处理方法与电子设备
US20230216999A1 (en) Systems and methods for image reprojection
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant