CN113487500B - 图像畸变校正方法与装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种图像畸变校正方法与装置、电子设备和存储介质，该方法包括：获取输入图像和人脸检测信息，人脸检测信息包括人脸指示信息和/或位置指示信息；根据输入图像的图像尺寸、预设图像融合模型和人脸检测信息确定第一坐标映射信息，第一坐标映射信息用于表示输出图像的各采样点的坐标信息到输入图像中对应的坐标信息之间的坐标映射关系；根据第一坐标映射信息将输出图像的各采样点之间的坐标信息进行插值处理以得到第二坐标映射信息；根据第二坐标映射信息将输入图像进行畸变校正以得到输出图像。可见，本申请有利于保证图像畸变校正的灵活性，提高图像畸变校正的处理效率和准确性，以及提高去畸变图像的成像质量和完整性。

Description

图像畸变校正方法与装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像畸变校正方法与装置、电子设备和存储介质。

背景技术

近年来，生产商力推携带多摄像头的手机等电子设备，该多摄像头搭配有广角/超广角镜头，从而掀起一股广角/超广角功能的普及热潮。广角/超广角镜头够带来全新的拍照体验，即广角/超广角镜头的取景范围可以让拍摄出的图像拥有广阔的取景视野。因此，广角/超广角镜头更有利于拍摄自然风景和高大建筑。另外，在拍摄人数较多且并排站立的合影图像时，普通镜头为了在视野范围内容纳更多人，不得不拉远拍摄距离，结果会使图像中的人像变小。相反，广角/超广角镜头的宽阔取景视野，可以轻松满足多人合拍的需求。同时，在使用拍摄距离相对有限的电子设备的前置摄像头时，广角/超广角镜头也可以轻松实现多人的自拍合影。

然而，在广角/超广角镜头拍摄的平面图像中，该平面图像中位于边缘或者角落位置的画面上存在一定的畸变现象。传统的畸变校正算法可以采用透视投影模型，将畸变导致的扭曲线条进行拉直，但同时会产生近大远小的透视效果，即线条拉伸现象。例如，在拍摄人像时，位于视野边缘位置的人或者处于角落的人脸将会发生严重的拉伸变形，造成人像的几何形状和几何比例的失真。因此，对于人像拍照而言，用户对人像出现失真更为敏感，且难以接受。

发明内容

本申请实施例提供了一种图像畸变校正方法与装置、电子设备和存储介质，以期望保证图像畸变校正的灵活性，提高图像畸变校正的处理效率和准确性，以及提高去畸变图像的成像质量和完整性。

第一方面，本申请实施例提供一种图像畸变校正方法，包括：

获取输入图像和人脸检测信息，所述人脸检测信息包括人脸指示信息和/或位置指示信息，所述人脸指示信息用于指示所述输入图像中是否存在人脸区域，所述位置指示信息用于指示是否存在第一位置信息，所述第一位置信息用于表示所述人脸区域在所述输入图像中的位置信息；

根据所述输入图像的图像尺寸、预设图像融合模型和所述人脸检测信息确定第一坐标映射信息，所述第一坐标映射信息用于表示输出图像的各采样点的坐标信息到所述输入图像中对应的坐标信息之间的坐标映射关系，所述预设图像融合模型包括透视投影模型、柱面投影模型、球面投影模型中的至少之一；

根据所述第一坐标映射信息将所述输出图像的各采样点之间的坐标信息进行插值处理以得到第二坐标映射信息，所述第二坐标映射信息用于表示所述输出图像的各像素点的坐标信息到所述输入图像中对应的坐标信息之间的坐标映射关系；

根据所述第二坐标映射信息将所述输入图像进行畸变校正以得到所述输出图像。

第二方面，本申请实施例提供一种图像畸变校正装置，所述装置包括处理单元，所述处理单元用于：

获取输入图像和人脸检测信息，所述人脸检测信息包括人脸指示信息和/或位置指示信息，所述人脸指示信息用于指示所述输入图像中是否存在人脸区域，所述位置指示信息用于指示是否存在第一位置信息，所述第一位置信息用于表示所述人脸区域在所述输入图像中的位置信息；

根据所述输入图像的图像尺寸、预设图像融合模型和所述人脸检测信息确定第一坐标映射信息，所述第一坐标映射信息用于表示输出图像的各采样点的坐标信息到所述输入图像中对应的坐标信息之间的坐标映射关系，所述预设图像融合模型包括透视投影模型、柱面投影模型、球面投影模型中的至少之一；

根据所述第一坐标映射信息将所述输出图像的各采样点之间的坐标信息进行插值处理以得到第二坐标映射信息，所述第二坐标映射信息用于表示所述输出图像的各像素点的坐标信息到所述输入图像中对应的坐标信息之间的坐标映射关系；

根据所述第二坐标映射信息将所述输入图像进行畸变校正以得到所述输出图像。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器和通信接口，所述存储器存储有一个或多个程序，并且所述一个或多个程序由所述处理器执行，所述一个或多个程序用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，所述计算机程序可操作来使得计算机执行本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序可操作来使得计算机执行本申请实施例第一方面中所描述的部分或全部步骤。所述计算机程序产品可以为一个软件安装包。

可以看出，首先，根据输入图像的图像尺寸、预设图像融合模型、输入图像中是否存在人脸区域和/或该人脸区域输入图像中的位置信息，计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息，得到第一坐标映射信息；然后，根据第一坐标映射信息将输出图像的各采样点之间的坐标信息进行坐标插值，计算输出图像的各像素点的坐标信息映射到输入图像中对应的坐标信息，得到第二坐标映射信息；最后，根据第二坐标映射信息将输入图像进行畸变校正以得到输出图像，即去畸变图像，从而通过上述方式有利于保证图像畸变校正的灵活性，提高图像畸变校正的处理效率和准确性，以及提高去畸变图像的成像质量和完整性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述的附图仅仅是本申请的一些实施例。对于本领域技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本申请实施例提供的一种电子设备的硬件结构示意图；

图2是本申请实施例提供的一种电子设备的软件结构示意图；

图3是本申请实施例提供的一种从相机坐标系到图像坐标系的坐标转换的示意图；

图4是本申请实施例提供的一种针孔成像的示意图；

图5是本申请实施例提供的又一种针孔成像的示意图；

图6是本申请实施例提供的又一种针孔成像的示意图；

图7是本申请实施例提供的一种图像畸变校正方法的流程示意图；

图8是本申请实施例提供的一种输出图像的采样点的结构示意图；

图9是本申请实施例提供的一种根据预设图像融合模型确定目标坐标信息的流程示意图；

图10是本申请实施例提供的一种以输出图像的光学中心点建立极坐标系的示意图；

图11是本申请实施例提供的一种以输出图像中的人脸区域的几何中心点建立极坐标系的示意图；

图12是本申请实施例提供的一种图像畸变校正装置的功能单元组成框图；

图13是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了本技术领域人员更好理解本申请的技术方案，下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的部分实施例，而并非全部的实施例。基于本申请实施例的描述，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所保护的范围。

本申请的说明书、权利要求书以及附图中的“第一”、“第二”等术语是用于区别不同对象，而不是用于描述特定顺序。另外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、软件、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在对本申请实施例的技术方案进行描述之前，下面先对本申请实施例的电子设备、电子设备的软硬件结构等进行具体说明。

需要说明的是，本申请实施例的电子设备可以是手持设备、车载设备、可穿戴设备、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、投影设备、投影仪或者连接到无线调制解调器的其他设备，也可以是各种具体形式的用户设备（user equipment，UE）、终端设备（terminal device）、手机（smart phone）、智慧屏、智慧电视、智能手表、笔记本电脑、智能音响、摄像头、游戏手柄、麦克风、站点（station，STA）、接入点（access point，AP）、移动台（mobile Station，MS）、个人数字助理（personal digitalassistant，PDA）、个人计算机（personal computer，PC）或者中继设备等。

具体的，电子设备可以是可穿戴设备。其中，该可穿戴设备也可以称为智能穿戴式设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发的智能设备的总称，例如眼镜、手套、手表、手环、服饰、鞋等。可穿戴设备即可以直接穿在身上，也可以整合到用户的服饰或配件上的一种便携式设备。可穿戴设备不仅可以搭载专用的硬件架构，还可以搭载专用的软件架构进行数据交互、云端交互等。另外，穿戴式智能设备可以不依赖其他智能设备以实现完整或者部分的功能，例如智能手表、智能眼镜等，也可以只专注于某一些应用功能，而需要同其它智能设备配合使用，如各类进行体征监测的智能手环、智能首饰等。

下面结合图1对本申请实施例的电子设备的结构进行详细说明，可以理解的是，图1示意的结构并不构成对电子设备的具体限定。在一些可能示例中，电子设备还可以包括比图1示意更多或更少的模块，或者组合图1示意的某些模块，或者拆分图1示意的某些模块，或者不同于图1示意的各模块分布。另外，图1示意的模块可以通过硬件、软件或者软硬件结合的方式实现。

请参阅图1，电子设备可以包括处理器110、天线1、天线2、移动通信模块120、无线通信模块130、音频模块140、传感器模块150、显示模块160、摄像模块170、充电管理模块180、内部存储器1901和外部存储器接口1902等。

具体的，处理器110可以用于运行或加载一种操作***，该操作***可以是Android操作***、RTOS（real-time operating system，实时操作***）操作***、UNIX操作***、Linux操作***、DOS操作***、Windows操作***、Mac操作***等。需要说明的是，处理器可以看作一个完整的***级芯片（system on chip，SOC）。

具体的，处理器110可以包括一个或多个处理单元。例如，处理器110可以包括中央处理器（central processing unit，CPU）、应用处理器（application processor，AP）、微控制单元（microcontroller Unit，MCU）、单片微型计算机（single chip microcomputer，SCM）、单片机、图形处理器(graphics processing unit，GPU)、图像信号处理器(imagesignal processor，ISP)、控制器、数字信号处理器（digital signal processor，DSP）、现场可编程逻辑门阵列（field programmable gate array，FPGA）、专用集成电路(application-specific integrated circuit，ASIC)、基带处理器、神经网络处理器（neural-network processing unit，NPU）等中的至少之一。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

进一步的，处理器110中还可以设置存储器，用于存储指令和数据。可选的，处理器可以调用存储器中存储的程序以运行操作***。可选的，处理器中的存储器可以保存或缓存该处理器刚用过或循环使用的指令。若该处理器需要再次使用该指令或数据，则可以从该存储器中直接调用，从而避免重复存取，减少处理器的等待时间以提高***效率。可选的，处理器中的存储器还可以保存或缓存数据，并该数据同步或传输给其他处理器执行。其中，处理器中的存储器可以为高速缓冲存储器。

进一步的，处理器110还可以包括一个或多个通信接口。其中，该通信接口可以包括串行外设接口（serial peripheral interface，SPI）、集成电路(inter-integratedcircuit，I2C)接口、集成电路内置音频(inter-integrated circuit sound，I2S)接口、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universalasynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobileindustry processor interface，MIPI)、通用输入输出(general-purpose input/output，GPIO)接口、用户标识模块(subscriber identity module，SIM)接口、通用串行总线（universal serial bus，USB）接口等中的至少之一。

需要说明的是，电子设备的无线通信功能可以通过天线1、天线2、移动通信模块120、无线通信模块130、调制解调处理器和基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。另外，不同的天线还可以复用以提高天线的利用率。例如，将天线1复用为无线局域网的分集天线。

具体的，移动通信模块120可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块120可以包括至少一个滤波器、开关、功率放大器和低噪声放大器（low noise amplifier，LNA）等。

进一步的，移动通信模块120可以由天线1接收电磁波，并对接收的电磁波进行滤波、放大等处理，传送至调制解调处理器进行解调。另外，移动通信模块120还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

进一步的，移动通信模块120的至少部分功能模块可以被设置于处理器110中；或者，移动通信模块120的至少部分功能模块可以与处理器110的部分模块设置在同一个器件中。

具体的，无线通信模块130可以提供应用在电子设备上的包括蓝牙（Bluetooth，BT）、无线局域网（wireless local area networks，WLAN）、无线保真（wireless fidelity，Wi-Fi）网络、近距离无线通信（near field communication，NFC）、红外技术（infrared，IR）等无线通信的解决方案。

进一步的，无线通信模块130可以是集成至少一个通信处理模块的一个或多个器件。另外，无线通信模块130经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块130还可以从处理器110接收待发送的信号，对其进行调频和放大，再由天线2转为电磁波辐射出去。

需要说明的是，电子设备可以通过音频模块140、扬声器1401、受话器1402、麦克风1403、耳机接口1404以及处理器110等实现音频功能。例如，音乐/视频播放、录音等。

具体的，音频模块140可以用于将数字音频信息转换成模拟音频信号输出，也可以用于将模拟音频输入转换为数字音频信号。另外，音频模块140还可以用于对音频信号编码和解码。在一些可能示例中，音频模块140可以设置于处理器110中，或将音频模块140的部分功能模块设置于处理器110中。

具体的，扬声器1401可以用于将音频电信号转换为声音信号。电子设备可以通过扬声器1401收听音乐/视频中播放的声音，或收听免提通话等。在一些可能示例中，扬声器1401可以作为发声组件中的一种。

具体的，受话器1402可以用于将音频电信号转换成声音信号。电子设备接听电话或语音信息时，可以通过将受话器1402靠近人耳接听语音。在一些可能示例中，受话器1402可以作为发声组件中的一种。

具体的，麦克风1403可以用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风1403发声，将声音信号输入到麦克风1403。另外，电子设备可以设置至少一个麦克风1403。在一些可能的示例中，电子设备可以设置两个麦克风1403，除了采集声音信号外，还可以实现降噪功能；在一些可能的示例中，电子设备还可以设置三个、四个或更多麦克风1403，除了可以实现采集声音信号或降噪外，还可以识别声音来源以实现定向录音功能等，对此不作具体限制。

具体的，耳机接口1404可以用于连接有线耳机。耳机接口1404可以是USB接口1803，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口、美国蜂窝电信工业协会(cellular telecommunications industryassociation of the USA，CTIA)标准接口等。

具体的，传感器模块150中可以包括惯性传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器、超带宽UWB传感器、近场通信NFC传感器、激光传感器和/或可见光传感器等。

需要说明的是，电子设备可以通过GPU、显示模块160以及处理器110等实现显示功能。其中，GPU可以用于执行数学和几何计算，并进行图形渲染。另外，GPU可以为图像处理的微处理器，并连接显示模块160和处理器110。处理器110可以包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

具体的，显示模块160可以为显示屏，其用于显示图像、视频等。其中，显示模块160可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emittingdiode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)、柔性发光二极管(flex light-emittingdiode，FLED)、量子点发光二极管(quantum dotlightemitting diodes，QLED)等。在一些可能的示例中，电子设备可以包括一个或多个显示模块160。

需要说明的是，电子设备可以通过ISP、DSP、摄像模块170、视频编解码器、GPU、显示模块160以及处理器110等实现拍摄功能。其中，ISP可以用于处理摄像模块170反馈的数据。例如，在拍照时，先打开快门，再由光线通过摄像模块170的镜头传递到摄像模块170的感光元件上，实现光信号转换为电信号，最终通过感光元件将该电信号传递给ISP处理以转化为数字图像等。另外，ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数进行优化。在一些可能的示例中，ISP和/或DSP可以设置在摄像模块170中。

具体的，摄像模块170可以为摄像头或者摄像模组，其用于捕获或拍摄静态/动态的图像或视频。其中，摄像模块170可以包括镜头、感光元件等，而感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。因此，立体物体可以通过镜头生成光学图像投射到感光元件。感光元件可以把该光学图像中的光信号转换成电信号，再将该电信号传递给ISP转换成数字图像信号。ISP将该数字图像信号输出到DSP。DSP将该数字图像信号转换成标准的RGB、YUV等格式的图像信号。在一些可能的示例中，电子设备可以包括一个或多个摄像模块170。

具体的，充电管理模块180可以用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些可能的示例中，充电管理模块180可以通过USB接口1803接收有线充电器的充电输入。在一些可能的示例中，充电管理模块180可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块180为电池1801充电的同时，还可以通过电源管理模块1802为电子设备供电。

需要说明的是，电源管理模块1802可以用于连接电池1801、充电管理模块180和处理器110。其中，电源管理模块1802接收电池1801和/或充电管理模块180的输入，为电子设备中的各个模块和处理器110等供电。

具体的，电源管理模块1802还可以用于监测电池容量、电池循环次数、电池健康状态（漏电、阻抗）等参数。在一些可能的示例中，电源管理模块1802也可以设置于处理器110中；在一些可能的示例中，电源管理模块1802和充电管理模块180也可以设置于同一个器件中。

需要说明的是，内部存储器1901可以用于存储计算机可执行程序代码，该可执行程序代码包括指令。其中，处理器110通过运行存储在内部存储器1901的指令，从而执行电子设备的各种功能应用以及数据处理。在一些可能的示例中，内部存储器1901存储执行本申请实施例的技术方案的程序代码。

具体的，内部存储器1901可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序（例如，声音播放功能和图像播放功能等）等。存储数据区可存储电子设备使用过程中所创建的数据（例如，音频数据和电话本等）等。另外，内部存储器1901可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，至少一个磁盘存储器件、闪存器件、通用闪存存储器（universal flash storage，UFS）等。

具体的，外部存储器接口1902可以用于连接外部存储卡，例如micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口1902与处理器110通信，实现数据存储功能。例如，将音乐、视频等文件保存在外部存储卡中。

本申请实施例中，电子设备的软件***可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构。下面本申请实施例以分层架构的Android***为例，示例性说明电子设备的软件结构。

如图2所示的设置有Android***的软硬件***的架构示意图。其中，内部存储器1901中可存储有内核层220、***运行库层240、应用框架层260和应用层280。其中，层与层之间通过软件接口通信，并且内核层220、***运行库层240和应用框架层260属于操作***空间。

具体的，应用层280属于用户空间，应用层280中运行有至少一个应用程序（或简称为“应用”），这些应用程序可以是操作***自带的原生应用程序，也可以是第三方开发者所开发的第三方应用程序。例如，应用层280可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频和短信息等应用程序。

需要说明的是，应用框架层260提供构建应用层的应用程序可能用到的各种应用编程接口(application programming interface，API)和编程框架，从而开发者也可以通过使用这些API来构建自己的应用程序。例如，窗口管理器（window manager）、内容提供器（content providers）、视图***（view system）、电话管理器（telephony manager）、资源管理器、通知管理器（notification manager）、消息管理器、活动管理器（activitymanager）、包管理器（package manager）、位置管理（location manager）和NFC服务等。

具体的，窗口管理器可以用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏、锁定屏幕、截取屏幕等。

具体的，内容提供器可以用于存放和获取数据，并使该数据可以被应用程序访问。其中，该数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、电话簿等。另外，内容提供器可以使得应用程序可以访问另一个应用程序的数据，如联系人数据库，或者共享它们自己的数据。

具体的，视图***包括可视控件。例如，显示文字的控件和显示图片的控件等。视图***可以用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

具体的，电话管理器用于提供电子设备的通信功能。例如，通话状态的管理(如接通、挂断等)。

具体的，资源管理器可以为应用程序提供各种资源。比如，本地化字符串、图标、图片、布局文件、视频文件等。

具体的，通知管理器使得应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如，通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知。另外，后台运行的应用程序的通知还可以是以对话窗口形式出现在屏幕上的通知。例如，在状态栏提示文本信息，发出提示音，电子设备振动、指示灯闪烁等。

具体的，消息管理器可以用于存储各个应用程序上报的消息的数据，并对各个应用程序上报的数据进行处理。

具体的，活动管理器可以用于管理应用程序生命周期并提供常用的导航回退功能。在一种可能的示例中，消息管理器可以是通知管理器的一部分。

需要说明的是，***运行库层240通过一些C/C++库来为Android***提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在***运行库层240中还提供有安卓运行时库（AndroidRuntime），其主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。

具体的，内核层220可以为电子设备的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理、NFC驱动、UWB驱动等。

在对本申请实施例的技术方案进行描述之前，下面再对本申请可能涉及的相关概念进行具体说明。

1、相机成像

在图像测量过程和机器视觉应用中，为确定空间物体上某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，而相关的几何模型参数就是相机参数（如相机内参、相机外参、畸变参数）。在大多数条件下，相机参数需要通过实验与计算才能得到，而求解相机参数的过程就称之为相机标定（或摄像机标定）。其中，相机成像过程中存在一定的畸变（distortion），而畸变是对直线投影的一种偏移，而畸变可能是由摄像机镜头导致的。

总体上，相机成像可以分为刚体变换（从世界坐标系到相机坐标系）、透视投影（从相机坐标系到图像坐标系）、畸变校正和数字化图像等。具体如下：

刚体变换中的坐标系满足如下坐标变换：

（X _c ,Y _c ,Z _c ）=Q（X _w ,Y _w ,Z _w ）；

其中，矩阵Q由矩阵R和向量T确定；矩阵R表示旋转矩阵；向量T表示平移向量；坐标（X _c ,Y _c ,Z _c ）表示相机坐标系中的坐标；坐标（X _w ,Y _w ,Z _w ）表示世界坐标系中的坐标。可以理解的是，刚体变换只改变物体的空间位置（平移）和朝向（旋转），而不改变其形状。同时，旋转矩阵R和平移向量T也称之为相机外参。也就是说，相机外参决定空间物体上某点从世界坐标系转换到相机坐标系的变换，并描述了相机在世界坐标系中的位置和朝向。

透视投影涉及从相机坐标系到图像坐标系的坐标转换。请参阅图3，图像坐标系包括图像像素坐标系（u0 ₀ v坐标系）和图像物理坐标系（x0 ₁ y坐标系）。图像像素坐标系以图像的左上角为原点（0 ₀），且以像素为单位。图像物理坐标系以图像的几何中心点（也称为主点，0 ₁）为原点，且以毫米为单位。透视投影中的坐标系满足如下坐标变换：

（u,v,1）=A/Z _c (X _c ,Y _c ,Z _c )；

其中，坐标（u,v,1）表示图像像素坐标系中的坐标；矩阵A表示相机内参；矩阵A由dx、dy、f和坐标（u ₀,v ₀）确定；dx表示尺寸比例（毫米/像素）；dy尺寸比例（毫米/像素）；f表示相机焦距；坐标（u ₀,v ₀）表示主点的坐标。

理想的针孔成像确定的坐标变换关系均为线性的，而实际上，对于现实中使用的相机，由于镜头的镜片因光线产生不规则的折射而出现镜头畸变（lens distortion），即根据理想的针孔成像模型计算出来的像点坐标与实际坐标存在偏差。畸变的引入使得针孔成像模型中的几何变换关系变为非线性，增加了模型的复杂度，但更接近真实情形。其中，畸变导致的成像失真可分为径向失真和切向失真。

畸变类型可以分为径向畸变和切向畸变两类。其中，径向畸变的形成原因是镜头制造工艺不完美，导致镜头形状存在缺陷，且径向畸变包括枕形畸变和桶形畸变等。切向畸变包括薄透镜畸变和离心畸变等。薄透镜畸变的形成原因是透镜存在一定的细微倾斜；离心畸变的形成原因是镜头是由多个透镜组合而成的，而各个透镜的光轴不在同一条中心线上。在引入镜头的畸变后，像点从理想图像坐标系到真实图像坐标系的坐标变换关系满足如下：

x'=x(1+k ₁ r ²+k ₂ r ⁴+k ₃ r ⁶)+2p ₁ xy+p ₂(r ²+2x ²)；

y' = y(1+k ₁ r ²+k ₂ r ⁴+k ₃ r ⁶)+p ₁(r ²+2y ²)+2p ₂ xy；

r ² = x ²+y ²；

其中，坐标（x,y）表示真实图像坐标系中的坐标（即畸变图像中的坐标）；坐标（x',y'）表示理想图像坐标系中的坐标；k ₁、k ₂和k ₃表示径向畸变参数；p ₁和p ₂表示切向畸变参数。同时，径向畸变参数和切向畸变参数可以统称为畸变参数。

光线通过相机镜头后成像在感光阵列（CCD或CMOS）上，再由感光阵列将光信号转化为电信号，最后形成数字化图像。

2、透视投影

下面对透视投影的成像原理和产生拉伸变形的原因进行介绍和分析。其中，透视投影也就是针孔成像，如图4所示。θ表示通过光线（物点、光心和像点所在的线段）与光轴形成的夹角，f为相机焦距。在成像平面上形成的像点到光轴的距离L；

L=f·tan(θ)；

随着θ增大，L斜率逐渐增大；当θ等于90度时，L将变得无穷大。因此，对于线性透视投影，图像传感器的尺寸决定了成像的视场范围。为获取更大的视场，可以从光学镜头入手，而广角/超广角镜头就是采用了非线性投影。非线性投影在远离光轴的区域成像时会发生径向收缩，从而导致在图像的边缘或角落位置上的画面发生畸变。其中，传统的畸变校正算法就是把这种非线性投影转换成线性透视投影的过程。

需要说明的是，传统的畸变校正算法可以采用相机内参（如dx、dy、f、u ₀、v ₀）和畸变参数（如k ₁、k ₂、k ₃、p ₁、p ₂）的方式对畸变图像进行畸变校正，得到透视投影图像（即去畸变图像）。同时，本申请实施例也将该方式称为透视投影模型。

虽然透视投影图像中将畸变导致的扭曲线条进行拉直，但同时也产生近大远小的透视效果，即线条拉伸现象。其中，近大远小的透视效果产生的原因是，物体的某个侧面与成像平面存在夹角，从而导致距离成像平面距离较近的一端的成像较大，而较远的一端的成像较小。

在拍摄平面物体时，例如棋盘格标定板，若棋盘格平面与成像平面平行，则成像后的所有棋盘格都不会产生几何变形，即使处在边缘或者角落位置的棋盘格也不会产生拉伸变形。但是，若将棋盘格标定板稍加倾斜，与成像平面形成一个夹角，则会出现近大远小的透视效果，即位于边缘或者角落位置的棋盘格会被拉伸变形。

请参阅图5，把立体物体在物体平面上平均分成两部分。当物体平面与成像平面平行时，根据相似三角形，该两个部分在投影的成像中也是均匀的两个部分。

请参阅图6，当物体平面与成像平面存在夹角时，上述均匀的两个部分在投影的成像中不再均匀。其中，靠近成像平面的物体平面的一端在成像后明显被拉宽，呈现出近大远小的透视效果，并且越靠近成像平面的边缘拉伸也会越明显。

由于立体物体总存在某个侧面或者切平面与成像平面形成夹角，因此在拍摄立体物体时，位于视野边缘或者角落位置的物体很容易出现拉伸效果，造成立体物体的几何形状和几何比例的失真。例如，在拍摄人像时，处于视野边缘或者角落位置的人，由于头部和身体是立体的，总存在一些侧面会与成像平面形成夹角，从而导致拍摄出的人像产生不同程度的拉伸效果。

3、球面投影

球面投影，也称立体投影，是一种可以保角的投影方式，是将拍摄出的平面图像投影到以相机焦距为半径的球面图像上的投影方式，其优点是图像的角度可以很好的保持。因此，把上述的透视投影图像通过球面投影方式再次进行投影以得到球面投影图像，而该球面投影图像的边缘或角落位置可以实现立体物体的几何形状和几何比例的恢复，但是会导致图像的背景中的长直线线条发生一定程度的弯曲变形。

4、柱面投影

柱面投影，是将拍摄出的平面图像投影到以相机焦距为半径的圆柱面图像上的投影方式，其优点是可以保持竖直方向的线条不发生弯曲变形。同样，把上述的透视投影图像通过柱面投影方式再次进行投影以得到柱面投影图像，而该柱面投影图像的两侧的拉伸变形可以实现一定程度的恢复，但是水平方向的长直线线条会产生一定程度的弯曲变形。

对于图像尺寸的高为H（H个像素）和宽为W（W个像素）的原平面图像，该原平面图像的图像坐标系上的坐标通过柱面投影的坐标变换关系可以表示为：

x' = f·arctan((x-W/2)/f)+f·arctan(W/(2f))；

y' = (f·(y-H/2)/(sqr((x-W/2)²+f ²))+H/2；

其中，坐标（x,y）表示该平面图像的图像坐标系上的坐标，该坐标以该原平面图像的左上角为原点；坐标（x',y'）表示坐标（x,y）通过柱面投射后的坐标；f表示相机焦距；H表示该原平面图像的高；W表示该原平面图像的宽;sqr表示算数平方根。或者，

x' = f·arctan(x/f)；

y' =cos(arctan(x/f))；

其中，坐标（x,y）表示该平面图像的图像坐标系上的坐标，该坐标以该原平面图像的几何中心为原点。

综上所述，透视投影、球面投影和柱面投影具有以下优缺点：

（1）透视投影的优点：可以把图像中由畸变导致的扭曲线条拉直，从而对畸变进行校正；其缺点：可以导致图像中位于边缘或者角落位置的立体物体产生拉伸变形，即近大远小的透视效果，造成图像的几何形状和几何比例的失真。

（2）球面投影的优点：可以保持图像中位于边缘或者角落位置的立体物体的几何形状和几何比例；其缺点：可以导致图像的背景中的长直线线条发生一定程度的弯曲。

（3）柱面投影的优点：可以保持图像中位于左右边缘位置的立体物体的几何形状和几何比例，同时能够兼顾竖直方向线条不发生弯曲；其缺点：可以导致图像的背景中的长直线线条在水平方向上产生弯曲。

在广角/超广角镜头拍摄的平面图像中，该平面图像中位于边缘或者角落位置的画面上存在一定的畸变现象。传统的畸变校正算法可以采用透视投影模型，将畸变导致的扭曲线条拉直，但同时会产生近大远小的透视效果，即线条拉伸现象。例如，在拍摄人像时，位于视野边缘位置的人或者处于角落的人脸将会发生严重的拉伸变形，造成人像的几何形状和几何比例的失真。因此，对于人像拍照而言，用户对人像出现失真更为敏感，且难以接受。

结合上述描述，下面将从方法示例的角度介绍图像畸变校正方法的执行步骤，请参阅图7。图7是本申请实施例提供的一种图像畸变校正方法的流程示意图，该方法包括：

S710、获取输入图像和人脸检测信息。

其中，人脸检测信息可以包括人脸指示信息和/或位置指示信息；人脸指示信息可以用于指示输入图像中是否存在人脸区域；位置指示信息可以用于指示是否存在第一位置信息，第一位置信息可以用于表示该人脸区域在输入图像中的位置信息。

需要说明的是，本申请实施例的输入图像可以表示由电子设备的摄像模块170采集的图像，可以表示在电子设备的内部存储器1901内存储的图像，可以表示由电子设备的外部存储器接口1902读取的图像，对此不作具体限制。其中，该摄像模块170可以包括广角/超广角镜头。

可以理解的是，输入图像可以是广角/超广角镜头所采集的图像。由于广角/超广角镜头的成像特性（即广角/超广角镜头采用非线性投影），因此该输入图像中的画面可能存在一定的畸变，尤其是，在输入图像中位于边缘或者角落位置上的画面存在严重的畸变现象。

其次，该输入图像可以是针对人像或者非人像拍摄所采集到的图像。因此，本申请实施例可以通过人脸检测算法对该输入图像中是否存在人脸区域和/或该人脸区域在该输入图像中的具***置进行检测，从而得到人脸检测信息。其中，该人脸检测信息可以包括人脸指示信息和/或位置指示信息。

最后，若人脸检测信息包括人脸指示信息，则该人脸指示信息可以具体指示该输入图像中存在人脸区域，也可以具体指示该输入图像中不存在人脸区域，具体需要根据电子设备是否具备人脸检测功能进行确定。

若人脸检测信息包括人脸指示信息和位置指示信息，且输入图像中不存在人脸区域（由人脸指示信息所指示），则该位置指示信息可以具体指示不存在该人脸区域在该输入图像中的位置信息（即第一位置信息）。

若人脸检测信息包括人脸指示信息和位置指示信息，且输入图像中存在人脸区域（由人脸指示信息所指示），则该位置指示信息可以具体指示存在该第一位置信息，也可以具体指示不存在该第一位置信息，具体需要根据电子设备是否具备人脸检测中的位置检测功能进行确定。

若该输入图像中存在人脸区域，且该人脸区域位于该输入图像的几何中心位置（由第一位置信息所表示），则该人脸区域中的人脸画面具有较小的畸变。此时，可以不对该人脸画面进行去畸变处理，或者，可以采用传统的畸变校正算法（如透视投影模型）对该人脸画面进行去畸变处理，但不会产生明显的近大远小的透视效果。其中，第一位置信息可以用于判断人脸区域是位于输入图像的几何中心位置，还是位于输入图像的边缘或者角落位置等。

若该输入图像中存在人脸区域，且该人脸区域位于该输入图像的边缘或者角落位置（由第一位置信息所表示），则该人脸区域中的人脸画面将具有严重的畸变。此时，若采用传统的畸变校正算法（如透视投影模型）对该人脸画面进行去畸变处理，即将畸变导致的扭曲线条拉直，则去畸变后的人脸画面将产生近大远小的透视效果，即线条拉伸现象，从而造成该人脸画面的几何形状和几何比例的失真。

基于此，本申请实施例根据图像融合的畸变校正策略，对透视投影、柱面投影和球面投影进行选择性的组合融合，得到输出图像的同一个采样点的坐标信息映射到输入图像中对应的不同的坐标信息；然后，根据输入图像中是否存在人脸区域（由人脸指示信息所指示）和该人脸区域在输入图像中的位置信息（由第一位置信息所表示）对该不同的坐标信息进行选择性的加权融合，而该选择性的加权融合中的权重由第一位置信息自适应计算出，具体在后续进行说明。

S720、根据输入图像的图像尺寸、预设图像融合模型和人脸检测信息确定第一坐标映射信息。

其中，第一坐标映射信息可以用于表示输出图像的各采样点的坐标信息到输入图像中对应的坐标信息之间的坐标映射关系；预设图像融合模型可以包括透视投影模型、柱面投影模型、球面投影模型中的至少之一。

需要说明的是，本申请实施例的输出图像可以用于表示由输入图像进行畸变校正处理后的图像。其中，输出图像和输入图像具有相同的图像尺寸，即相同的长和宽。因此，输入图像的图像尺寸等于输出图像的图像尺寸。

其次，图像畸变校正算法主要是计算畸变图像（如输入图像）的坐标信息与去畸变图像（如输出图像）的坐标信息之间的坐标映射关系。由于畸变图像上的（0,0）坐标可能映射到去畸变图像的（-80,0）坐标，而（-80,-50）这样的负坐标不存在，因此通过畸变图像和去畸变图像具有相同的图像尺寸，需要计算去畸变图像的各坐标信息到畸变图像中对应的坐标信息之间的坐标映射关系，再根据该坐标映射关系对畸变图像进行畸变校正处理以得到去畸变图像。

例如，当计算出去畸变图像的坐标（u,v）映射到畸变图像中对应的坐标（u',v'）时，通过（u',v'）得到畸变图像中对应的像素值，再将该像素值作为（u,v）对应的像素值，依次类推，从而得到去畸变图像。

最后，为了避免计算输出图像的各像素点的坐标信息到输入图像中对应的像素点的坐标信息之间的点对点坐标映射关系，而导致计算量大和计算复杂度高，本申请实施例需要先对输出图像的坐标信息进行采样，再计算输出图像的各采样点的坐标信息到输入图像中对应的坐标信息之间的坐标映射关系，从而有利于提高计算效率，以及降低计算复杂度。

具体的，预设图像融合模型可以用于确定预设图像融合的畸变校正策略，该预设图像融合的畸变校正策略可以包括将输入图像进行透视投影（得到输出图像）、将输入图像先进行透视投影（得到透视投影图像）再进行柱面投影（得到输出图像）、将输入图像先进行透视投影（得到透视投影图像）再进行球面投影（得到输出图像）中的至少之一。

需要说明的是，本申请实施例可以根据图像融合的畸变校正策略，对透视投影模型、柱面投影模型和球面投影模型进行选择性的组合融合，从而实现将输入图像进行透视投影（得到输出图像），将输入图像先进行透视投影（得到透视投影图像）再进行柱面投影（得到输出图像），以及将输入图像先进行透视投影（得到透视投影图像）再进行球面投影（得到输出图像）。

另外，通常需要先计算去畸变图像的各坐标信息到畸变图像中对应的坐标信息之间的坐标映射关系，再根据该坐标映射关系对畸变图像进行畸变校正以得到去畸变图像。因此，根据透视投影模型计算（确定）输出图像的各采样点映射到输入图像中对应的坐标信息，等同于，将输入图像进行透视投影（得到输出图像）。

同理，根据柱面投影模型计算（确定）输出图像的各采样点映射到透视投影图像中对应的坐标信息，以及根据透视投影模型计算（确定）该透视投影图像中对应的坐标信息映射到输入图像中对应的坐标信息，等同于，将输入图像先进行透视投影（得到透视投影图像）再进行柱面投影（得到输出图像）。

同理，根据球面投影模型计算（确定）输出图像的各采样点映射到透视投影图像中对应的坐标信息，以及根据透视投影模型计算（确定）该透视投影图像中对应的坐标信息映射到输入图像中对应的坐标信息，等同于，将输入图像先进行透视投影（得到透视投影图像）再进行球面投影（得到输出图像）。

具体的，预设图像融合模型中的透视投影模型可以由相机标定参数确定。其中，该相机标定参数包括相机内参和畸变参数。

需要说明的是，本申请实施例的透视投影模型可以是一种畸变校正算法，该畸变校正算法可以通过相机内参和畸变参数对输入图像进行畸变校正处理。

另外，通过上述“相机成像”中的描述可知，相机内参可以包括尺寸比例dx、尺寸比例dy、主点的坐标（u ₀,v ₀）、相机焦距f中的至少之一；畸变参考可以包括径向畸变参数（如k ₁、k ₂和k ₃）、切向畸变参数（如p ₁和p ₂）中的至少之一。

例如，通过透视投影模型，输出图像的坐标（u,v）映射到畸变图像中对应的坐标（u',v'）满足如下：

u = x/dx+u ₀；

v = y/dy+v ₀；

x' = x(1+k ₁ r ²+k ₂ r ⁴+k ₃ r ⁶)+2p ₁ xy+p ₂(r ²+2x ²)；

y' = y(1+k ₁ r ²+k ₂ r ⁴+k ₃ r ⁶)+p ₁(r ²+2y ²)+2p ₂ xy；

r ² = x ²+y ²；

u' = x'/dx+u ₀；

v = y'/dy+v ₀。

具体的，预设图像融合模型中的柱面投影模型可以由相机内参确定。其中，该相机内参可以包括相机焦距。

需要说明的是，本申请实施例的柱面投影模型可以将拍摄出的平面图像投影到以相机焦距为半径的圆柱面图像上，从而有利于保持该平面图像中位于左右边缘位置的立体物体的几何形状和几何比例，同时能够兼顾该平面图像中的竖直方向线条不发生弯曲。

具体的，预设图像融合模型中的球面投影模型可以由相机内参确定。其中，该相机内参可以包括相机焦距。

需要说明的是，本申请实施例的球面投影模型可以将拍摄出的平面图像投影到以相机焦距为半径的球面图像上，从而有利于保持该平面图像中位于边缘或者角落位置的立体物体的几何形状和几何比例。

结合上述描述，下面对如何根据输入图像的图像尺寸、预设图像融合模型和人脸检测信息确定第一坐标映射信息进行具体说明。

具体的，S720中的根据输入图像的图像尺寸、预设图像融合模型和人脸检测信息确定第一坐标映射信息，可以包括：按照输入图像的图像尺寸在图像坐标上进行采样以得到输出图像的M个采样点，M的取值为大于1的整数；根据预设图像融合模型确定目标坐标信息，目标坐标信息用于表示第一采样点的坐标信息映射到输入图像中对应的坐标信息，第一采样点为M个采样点中的一个采样点；根据人脸检测信息、目标坐标信息和第二位置信息确定第一坐标映射信息，第二位置信息用于表示第一采样点在输出图像中的位置信息。

需要说明的是，为了提高计算效率，以及降低计算复杂度，本申请实施例需要先按照输入图像的图像尺寸（输入图像和输出图像的图像尺寸相同）在图像坐标上进行采样以得到输出图像的M个采样点，从而便于计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息，避免直接计算像素点对像素点的坐标映射关系所带来的计算量大等问题。其中，采样点也可以看做成网格节点。同时，每个采样点的坐标信息可以采用浮点型的数据类型。

另外，图像尺寸一般表示为图像的宽和高，如80px*100px，因此可以在宽和高上分别按照一定的步长进行均匀采样。例如，采样步长为16，则第1行第1列的采样点（网格节点）的坐标信息为P₀₀=(0.0,0.0)，第1行第2列的采样点（网格节点）的坐标信息为P₀₁=(0.0,16.0)，第2行第1列的采样点（网格节点）的坐标信息为P₁₀=(16.0,0.0)，依次类推，如图8所示。

其次，根据预设图像融合模型计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息。其中，输出图像的M个采样点中的某一采样点（即第一采样点）的坐标信息映射到输出图像中对应的坐标信息为目标坐标信息。

再次，第二位置信息可以用于判断第一采样点是位于输出图像的几何中心点位置，还是位于输出图像的边缘或者角落位置。或者，第二位置信息可以用于判断第一采样点是否位于人脸区域内。

最后，根据人脸检测信息、目标坐标信息和第一采样点在输出图像中的位置信息确定第一坐标映射信息，从而实现根据输入图像的图像尺寸、预设图像融合模型和人脸检测信息确定出第一坐标映射信息。

结合上述描述，下面对如何根据预设图像融合模型确定目标坐标信息进行具体说明。

具体的，目标坐标信息包括第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之一；根据预设图像融合模型确定目标坐标信息，可以包括：根据透视投影模型确定第一采样点的坐标信息映射到输入图像中对应的坐标信息以得到第一目标坐标信息；和/或，

根据柱面投影模型确定第一采样点的坐标信息映射到第一图像中对应的坐标信息，以及根据透视投影模型确定第一图像中对应的坐标信息映射到输入图像中对应的坐标信息以得到第二目标坐标信息，第一图像用于表示输入图像按照透视投影模型进行投影计算以得到的图像；和/或，

根据球面投影模型确定第一采样点的坐标信息映射到第一图像中对应的坐标信息，以及根据透视投影模型确定第一图像中对应的坐标信息映射到输入图像中对应的坐标信息以得到第三目标坐标信息。

需要说明的是，结合上述描述可知，将广角/超广角拍摄出的畸变图像通过透视投影模型进行投影以得到透视投影图像，而该透视投影图像中位于边缘或者角落位置的画面存在近大远小的透视效果，造成图像的几何形状和几何比例的失真。

因此，若将该透视投影图像通过柱面投影模型再次进行投影以得到柱面投影图像，则该柱面投影图像的两侧拉伸变形可以实现一定程度的恢复，但水平方向的长直线线条会产生一定程度的弯曲变形。

若将该透视投影图像通过球面投影模型再次进行投影以得到球面投影图像，则该球面投影图像中位于边缘或角落位置的画面可以实现几何形状和几何比例的恢复，但是图像的背景中的长直线线条会产生一定程度的弯曲变形。

基于此，本申请实施例根据图像融合的畸变校正策略，对透视投影模型、柱面投影模型和球面投影模型进行选择性的组合融合，得到输出图像的同一个采样点（如第一采样点）的坐标信息映射到输入图像中对应的不同的坐标信息（如第一目标坐标信息、第二目标坐标信息、第三目标坐标信息），从而通过图像融合的畸变校正策略进行选择性的组合融合，计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息，进而有利于保证图像畸变校正的灵活性，以及提高图像畸变校正的处理效率和准确性。

示例性的，请参阅图9，根据预设图像融合模型确定目标坐标信息的流程如下：

按照输入图像的图像尺寸在图像坐标上进行采样，并将输出图像的M个采样点中的某个采样点（即第一采样点）进行输出；

按照如下三种图像融合方式输出该第一采样点的坐标信息映射到输入图像中对应的坐标信息：

第一种输出为透视投影结果，即只对输入图像进行透视投影以得到输出图像。因此，根据透视投影模型，逆向计算第一采样点的坐标信息映射到输入图像中对应的坐标信息，得到第一目标坐标信息，即P_a=(x ₁,y ₁)。

第二种输出为柱面投影结果，即先对输入图像进行透视投影，再进行柱面投影以得到输出图像。因此，先根据柱面投影模型，逆向计算第一采样点的坐标信息映射到透视投影图像（即第一图像）中对应的坐标信息，即P_w。然后，根据透视投影模型，逆向计算该P_w映射到输入图像中对应的坐标信息，得到第二目标坐标信息，即P_b=(x ₂,y ₂)。

第三种输出为球面投影结果，即先对输入图像进行透视投影，再进行球面投影以得到输出图像。因此，先根据球面投影模型，逆向计算第一采样点的坐标信息映射到透视投影图像（即第一图像）中对应的坐标信息，即P_v。然后，根据透视投影模型，逆向计算该P_v映射到输入图像中对应的坐标信息，得到第三目标坐标信息，即P_c=(x ₃,y ₃)；

判断输入图像中是否存在人脸区域；其中，若存在人脸区域，则将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息进行选择性的组合和加权融合，得到第一坐标映射信息；若不存在人脸区域，则将第一目标坐标信息作为第一坐标映射信息中的坐标信息，或者，将第二目标坐标信息作为第一坐标映射信息中的坐标信息，或者，将第三目标坐标信息作为第一坐标映射信息中的坐标信息。

结合上述描述，下面对如何根据人脸检测信息、目标坐标信息和第二位置信息确定第一坐标映射信息进行具体说明。

具体的，若人脸检测信息包括人脸指示信息和位置指示信息，则根据人脸检测信息、目标坐标信息和第二位置信息确定第一坐标映射信息，可以包括：若人脸指示信息具体指示输入图像中存在人脸区域，则根据位置指示信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之二进行加权融合以得到第一坐标映射信息；或者，

若人脸指示信息具体指示输入图像中不存在人脸区域，则将第一目标坐标信息作为第一坐标映射信息中的坐标信息；或者，

若人脸指示信息具体指示输入图像中不存在人脸区域，则将第二目标坐标信息作为第一坐标映射信息中的坐标信息；或者，

若人脸指示信息具体指示输入图像中不存在人脸区域，则将第三目标坐标信息作为第一坐标映射信息中的坐标信息。

需要说明的是，本申请实施例先根据图像融合的畸变校正策略，对透视投影模型、柱面投影模型和球面投影模型进行选择性的组合融合，得到输出图像的同一个采样点（如第一采样点）的坐标信息映射到输入图像中对应的不同的坐标信息（如第一目标坐标信息、第二目标坐标信息、第三目标坐标信息）。

然后，根据输入图像中是否存在人脸区域和该人脸区域在输入图像中的位置信息（即第一位置信息）对该不同的坐标信息进行选择性的加权融合，得到第一坐标映射信息。其中，该选择性的加权融合中的权重由第一位置信息自适应计算出。

可见，通过图像融合的畸变校正策略、输入图像中是否存在人脸区域和该人脸区域所在的位置信息进行选择性的组合和加权融合，计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息，从而有利于保证图像畸变校正的灵活性，以及有利于提高图像畸变校正的处理效率和准确性。

进一步需要说明的是，由于本申请实施例可能通过广角/超广角镜头对人像或者非人像进行拍摄以采集到输入图像，因此该输入图像中可能存在人脸画面，且该人脸图像也可能存在一定的畸变。其中，通过人脸检测算法可以检测出是否存在人脸画面所在的区域，即人脸区域。

若输入图像中存在人脸区域，则说明该输入图像中存在人脸画面。为了保证对人脸画面进行畸变校正的灵活性，以及提高畸变校正的处理效率和准确性，本申请实施例可以根据位置指示信息（用于判断是否获取到人脸区域在输入图像中的具***置）和第二位置信息（用于判断第一采样点是否位于人脸区域内；或者，用于判断第一采样点是位于输出图像的几何中心点位置，还是位于输出图像的边缘或者角落位置）对第一采样点的坐标信息映射到输入图像中对应的不同的坐标信息进行选择性的加权融合，从而实现对输入图像进行基于图像融合的畸变校正处理。

若输入图像中不存在人脸区域，则说明该输入图像中不存在人脸画面。因此，本申请实施例可以只对输入图像进行透视投影（即将第一目标坐标信息作为第一坐标映射信息中的坐标信息）；或者，可以对输入图像先进行透视投影再进行柱面投影（即将第二目标坐标信息作为第一坐标映射信息中的坐标信息）；或者，可以对输入图像先进行透视投影再进行球面投影（即将第三目标坐标信息作为第一坐标映射信息坐标信息），需要具体按照透视投影、柱面投影和透视投影各自的优点进行选择，从而保证图像畸变校正的灵活性。

结合上述描述，下面对如何根据位置指示信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之二进行加权融合以得到第一坐标映射信息进行具体说明。

方式一：

具体的，根据位置指示信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之二进行加权融合以得到第一坐标映射信息，可以包括：若位置指示信息具体指示不存在第一位置信息，则根据第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的之二进行线性加权融合以得到第一坐标映射信息。

需要说明的是，电子设备可以通过人脸检测功能对输入图像进行检测，从而确定输入图像中是否存在人脸区域（由人脸指示信息所指示）。然而，该电子设备可能不具备人脸检测中的位置检测功能。因此，当输入图像中存在人脸区域时，电子设备无法获取该人脸区域在输入图像中的位置信息（即位置指示信息具体指示不存在第一位置信息）。此时，本申请实施例可以根据第一采样点在输出图像中的位置信息（由第二位置信息所表示）将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息进行选择性的线性加权融合，得到第一坐标映射信息。

例如，对于不支持人脸检测功能的电子设备，可以设置合影模式，适合多人并排合影场景使用，而图像融合的畸变校正策略可以预先设置。当该电子设备在合影模式下拍摄到人像照片时，由于电子设备无法获知每个人脸区域在该人像照片中的位置分布，因此该电子设备可以通过预设图像融合和畸变校正策略对该人像照片进行畸变校正处理。其中，预设图像融合的畸变校正策略可以将第一目标坐标信息和第二目标坐标信息进行线性加权融合；或者，将第一目标坐标信息和第三目标坐标信息进行线性加权融合；或者，将第二目标坐标信息和第三目标坐标信息进行线性加权融合，需要根据具体使用场景进行自适应设置。

可见，通过输入图像中是否存在人脸区域和该人脸区域所在的位置信息进行选择性的组合和加权融合，计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息，从而有利于保证图像畸变校正的灵活性，以及有利于提高图像畸变校正的处理效率和准确性。

进一步的，第二位置信息可以包括第一参数值；线性加权融合中的各权重由第一参数值和第一预设参数值确定；第一参数值，可以用于表示第一采样点到输出图像的光学中心点的径向距离；第一预设参数值，可以用于表示输出图像的光学中心点到输出图像的四个角点的径向距离中的一个径向距离。

其中，第一预设参数值，具体可以用于表示输出图像的光学中心点到输出图像的四个角点的径向距离中的最大值、最小值或者任一值。

需要说明的是，本申请实施例以输出图像的光学中心点为原点建立极坐标系，并计算第一采样点到该原点的径向距离（即第一参数值），以及输出图像的四个角点到该原点的径向距离，从而通过第一参数值和第一预设参数值确定线性加权融合中的各权重。其中，输出图像的光学中心点和输出图像的几何中心点可能不重合。

另外，通过第一参数值和第一预设参数值可以反映出第一采样点是否位于输出图像的边缘或者角落位置。因此，线性加权融合中的权重也可以通过第一采样点在输出图像中的位置信息确定。

示例性的，请参阅图10，输入图像中存在人物1010，而本申请实施例将人物1010在输入图像中的位置近似等同于在输出图像1000中的位置。其中，点1021表示第一采样点，点1031表示输出图像1000的光学中心点，点1041、点1042、点1043和点1044分别表示输出图像1000的四个角点。

然后，通过以点1031为原点建立极坐标系，从而计算出点1021到点1031的径向距离为R（即第一参数值），点1031到点1041的径向距离为R₁，点1031到点1042的径向距离为R₂，点1031到点1043的径向距离为R₃，点1031到点1044的径向距离为R₄。其中，第一预设参数值可以是R₁、R₂、R₃、R₄中的最大值、最小值或者任一值。

进一步的，根据第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的之二进行线性加权融合以得到第一坐标映射信息，可以包括：将第一参数值和第一预设参数值按照第一预设公式进行计算以得到第一坐标映射信息，第一预设公式满足如下：

P_s= (1-W)·P_m+W·P_n；

其中，P_s表示第一坐标映射信息中的坐标信息，P_m表示第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的之一，P_n表示第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中除P_m外的之一，W表示第一参数值与第一预设参数值的比值。

需要说明的是，若第一参数值越接近于第一预设参数值，则说明第一采样点越靠近输出图像的边缘或者角落位置，即W越趋近于1（W→1），而P_s越等于P_n。此时，若P_n表示为第一目标坐标信息，则相当于将输入图像中的边缘或者角落位置进行透视投影；若P_n表示为第二目标坐标信息，则相当于将输入图像中的边缘或者角落位置先进行透视投影再进行柱面投影；若P_n表示为第三目标坐标信息，则相当于将输入图像中的边缘或者角落位置先进行透视投影再进行球面投影。

同理，若第一参数值越小于第一预设参数值，则说明第一采样点越靠近输出图像的几何中心区域，即W越趋近于0（W→1），而P_s越等于P_m。

另外，由于球面投影和柱面投影可以保持图像中位于边缘或者角落位置的立体物体的几何形状和几何比例，因此若第一采样点越靠近输出图像的边缘或者角落位置，则优先选择球面投影或者柱面投影的组合方式，即P_n具体表示第二目标坐标信息或者第三目标坐标信息，而P_m具体第一目标坐标信息或者第二目标坐标信息。

方式二：

具体的，根据位置指示信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之二进行加权融合以得到第一坐标映射信息，可以包括：若位置指示信息具体指示存在第一位置信息，则根据第一位置信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息进行线性加权融合以得到第一坐标映射信息。

需要说明的是，电子设备可能具备人脸检测中的位置检测功能。因此，在输入图像中存在人脸区域时，电子设备能够获取该人脸区域在输入图像中的位置信息（即位置指示信息具体指示存在第一位置信息）。

另外，第一位置信息可以用于判断人脸区域是位于输入图像的几何中心位置，还是位置输入图像的边缘或者角落位置等，而第二位置信息可以用于判断第一采样点是否位于该人脸区域内。因此，本申请实施例可以根据第一位置信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息进行线性加权融合，得到第一坐标映射信息，从而有利于保证图像畸变校正的灵活性，以及有利于提高图像畸变校正的处理效率和准确性。

例如，对于支持人脸检测功能的电子设备，当该电子设备拍摄到人像照片时，若该人像照片中的人脸区域位于畸变程度较小的图像中心区域时，则对该人脸区域进行畸变校正的权重较小，基本与非人脸区域的效果相当；若该人脸区域越靠近该人像照片的边缘或者角落区域，则对该人脸区域进行畸变校正的权重越大，并与非人脸区域进行平滑过渡。

可见，通过输入图像中是否存在人脸区域、该人脸区域所在的位置信息和采样点所在的位置信息进行选择性的组合和加权融合，计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息，从而有利于保证图像畸变校正的灵活性，以及有利于提高图像畸变校正的处理效率和准确性。

进一步的，第一位置信息可以包括第二参数值，第二位置信息可以包括第三参数值；线性加权融合中的各权重由第二参数值、第三参数值、第二预设参数值、第三预设参数值和第四预设参数值确定；第二参数值，用于表示人脸区域的几何中心点到输入图像的光学中心点的径向距离；第三参数值，用于表示第一采样点到输出图像中的人脸区域的几何中心点的径向距离；第二预设参数值，用于表示输入图像的光学中心点到输入图像的四个角点的径向距离中的一个径向距离；第三预设参数值，用于表示人脸区域的内切圆的半径或者人脸区域的外接圆的半径；第四预设参数值，用于表示预设系数乘以第三预设参数值，预设系数的取值大于1。

需要说明的是，本申请实施例以输入图像的光学中心点为原点建立极坐标系，并计算人脸区域的几何中心点到该原点的径向距离（即第二参数值），以及计算输入图像的四个角点到该原点的径向距离。与上述“方式一”中的原理一致，通过第二参数值和第二预设参数值可以反映出人脸区域是否位于输出图像的边缘或者角落位置。因此，线性加权融合中的权重也可以通过人脸区域在输入图像中的位置信息确定。

另外，本申请实施例将人脸区域在输入图像中的位置近似等同于在输出图像中的位置。基于上述近似，本申请实施例便于以输出图像中的人脸区域的几何中心点为原点建立极坐标系，并计算第一采样点到该原点的径向距离（即第三参数值），从而通过第三参数值可以反映出第一采样点是否位于人脸区域内。

示例性的，请参阅图11，输入图像中存在人物1110，而本申请实施例将人物1110在输入图像中的位置近似等同于在输出图像1100中的位置。其中，框1121表示输出图像1100中的人脸区域，圆1123表示该人脸区域的内切圆，该内切圆以点1122为圆心，圆1124表示该内切圆的外同心圆，点1122表示该人脸区域的几何中心点，点1130表示第一采样点。圆1123的半径为r1（即第三预设参数值），圆1124的半径为r2（即第四预设参数值）。然后，以点1122为原点建立极坐标系，并计算出点1130到点1122的径向距离为r（即第三参数值）。

进一步的，根据第一位置信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息进行线性加权融合以得到第一坐标映射信息，可以包括：将第二参数值、第三参数值、第二预设参数值、第三预设参数值和第四预设参数值按照第二预设公式进行计算以得到第一坐标映射信息，第二预设公式满足如下：

P_t = (1-W_f)·((1-W_g)·P_b+W_g·P_c)+W_f·P_a；

其中，P_t表示第一坐标映射信息中的坐标信息，P_a表示第一目标坐标信息，P_b表示第二目标坐标信息，P_c表示第三目标坐标信息，W_g表示第二参数值与第二预设参数值的比值；

W_f满足如下：

若r小于r1，则W_f等于0；若r大于r2，则W_f等于1；否则，W_f等于(r – r1)/(r2 – r1)；

其中，r表示第三参数值，r1表示第三预设参数值，r2表示第四预设参数值。

需要说明的是，若第二参数值越接近于第二预设参数值，则说明人脸区域越靠近输入图像的边缘或者角落位置，即W_g越趋近于1（W_g→1），而P_t越等于((1-W_f)·P_c+W_f·P_a)。此时，由于P_a表示第一目标坐标信息，且P_c表示第三目标坐标信息，因此相当于将输入图像先进行透视投影再进行球面投影与将输入图像进行透视投影的加权融合的畸变校正策略，从而有利于恢复位于边缘或者角落位置的人脸画面的几何形状和几何比例。

另外，若r<r1，则说明第一采样点位于人脸区域内（如图11所示）。此时，W_f等于0，而P_t等于((1-W_g)·P_b+W_g·P_c)。

同理，若r>r2，则说明第一采样点距离人脸区域较远，即第一采样点位于非人脸区域内或者背景区域。此时，W_f等于1，而P_t等于P_a。由于P_a表示第一目标坐标信息，相当于将输入图像中的背景区域进行透视投影。

同理，若r1<=r<=r2，则说明第一采样点距离人脸区域较近（即第一采样点位于临界区域或过渡区域）。此时，W_f等于(r – r1)/(r2 – r1)，而P_t等于((1-W_f)·((1-W_g)·P_b+W_g·P_c)+W_f·P_a)。

综上所述，若人脸区域越靠近输入图像的边缘或者角落位置（W_g→1），且第一采样点位于人脸区域内（r < r1），则P_t越等于P_c。此时，由于P_c表示第三目标坐标信息，相当于将输入图像中的人脸区域进行球面投影，从而通过球面投影恢复位于边缘或者角落位置的人脸区域中的人脸画面的几何形状和几何比例。

S730、根据第一坐标映射信息将输出图像的各采样点之间的坐标信息进行插值处理以得到第二坐标映射信息。

其中，第二坐标映射信息可以用于表示输出图像的各像素点的坐标信息到输入图像中对应的坐标信息之间的坐标映射关系。

需要说明的是，为了提高计算效率，以及降低计算复杂度，本申请实施例按照图像尺寸在图像坐标上进行采样，以求解输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息。然后，本申请实施例还需要对将输出图像的各采样点之间的坐标信息进行插值处理，即坐标插值，从而在全图上得到输出图像的各像素点的坐标信息映射到输入图像中对应的坐标信息，进而有利于提高去畸变图像的成像质量和完整性。

具体的，该插值处理可以包括双线性插值（the bilinear interpolation）。

需要说明的是，在输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息中，可能存在浮点值。因此，本申请实施例采用双线性插值进行插值处理。

S740、根据第二坐标映射信息将输入图像进行畸变校正以得到输出图像。

具体的，根据第二坐标映射信息将输入图像进行畸变校正以得到输出图像，可以包括：根据第二坐标映射信息将输入图像进行坐标映射以得到目标图像；将目标图像的像素点的像素值进行插值处理以得到输出图像。

其中，该插值处理可以包括最临近插值（the nearest interpolation）。

需要说明的是，根据输出图像的各像素点的坐标信息映射到输入图像中对应的坐标信息将输入图像进行坐标映射以得到目标图像，而该目标图像中可能存在缺少的像素值。因此，本申请实施例还需要对目标图像的像素点的像素值进行插值处理，即像素插值，从而得到输出图像，进而有利于提高去畸变图像的成像质量和完整性。

可以看出，本申请实施例中，首先，根据输入图像的图像尺寸、预设图像融合模型、输入图像中是否存在人脸区域和/或该人脸区域输入图像中的位置信息，计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息，得到第一坐标映射信息；然后，根据第一坐标映射信息将输出图像的各采样点之间的坐标信息进行坐标插值，计算输出图像的各像素点的坐标信息映射到输入图像中对应的坐标信息，得到第二坐标映射信息；最后，根据第二坐标映射信息将输入图像进行畸变校正以得到输出图像，即去畸变图像，从而通过上述方式有利于保证图像畸变校正的灵活性，提高图像畸变校正的处理效率和准确性，以及提高去畸变图像的成像质量和完整性。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该知悉，结合本文中所提供的实施例描述的各示例的方法、功能、模块、单元或者步骤，本申请能够以硬件或者硬件与计算机软件的结合形式来实现。某个方法、功能、模块、单元或者步骤究竟以硬件或计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用使用不同方法来实现所描述的方法、功能、模块、单元或者步骤，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元/模块的划分。例如，可以对应各个功能划分各个功能单元/模块，也可以将两个或两个以上的功能集成在一个功能单元/模块中。上述集成的功能单元/模块既可以采用硬件的方式实现，也可以采用软件程序的方式实现。需要说明的是，本申请实施例中对功能单元/模块的划分是示意性的，只是一种逻辑功能划分，而实际实现时可以有另外的划分方式。

在采用集成的单元/模块的情况下，图12示出一种图像畸变校正装置的功能单元组成框图。图像畸变校正装置1200，具体包括：处理单元1220和通信单元1230。处理单元1220用于对电子设备的动作进行控制管理，例如，处理单元1220用于支持图像畸变校正装置1200执行图7中的部分或全部步骤，以及用于本文所描述的技术的其它过程。通信单元1230用于支持图像畸变校正装置1200与其他设备的通信。图像畸变校正装置1200还可以包括存储单元1210，用于存储其所需的程序代码和数据。

其中，处理单元1220可以是处理器或控制器，例如CPU、GPU、通用处理器、ISP、DSP、ASIC、FPGA、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请实施例所描述的各种示例性的逻辑方框、模块和电路。另外，处理单元1220也可以是实现计算功能的组合，例如包含一个或多个微处理器组合、DSP和微处理器的组合。通信单元1230可以是通信接口、收发器和收发电路等。存储单元1210可以是存储器。当处理单元1220为处理器，通信单元1230为通信接口，存储单元1210为存储器时，本申请实施例所涉及的图像畸变校正装置1200可以为图13所示的电子设备。

具体的，处理单元1220用于执行如上述方法实施例中由电子设备执行的任一步骤，且在执行诸如发送等数据传输时，可选择的调用通信单元1230来完成相应操作。下面进行详细说明。

处理单元1220用于：获取输入图像和人脸检测信息，人脸检测信息包括人脸指示信息和/或位置指示信息，人脸指示信息用于指示输入图像中是否存在人脸区域，位置指示信息用于指示是否存在第一位置信息，第一位置信息用于表示人脸区域在输入图像中的位置信息；根据输入图像的图像尺寸、预设图像融合模型和人脸检测信息确定第一坐标映射信息，第一坐标映射信息用于表示输出图像的各采样点的坐标信息到输入图像中对应的坐标信息之间的坐标映射关系，预设图像融合模型包括透视投影模型、柱面投影模型、球面投影模型中的至少之一；根据第一坐标映射信息将输出图像的各采样点之间的坐标信息进行插值处理以得到第二坐标映射信息，第二坐标映射信息用于表示输出图像的各像素点的坐标信息到输入图像中对应的坐标信息之间的坐标映射关系；根据述第二坐标映射信息将输入图像进行畸变校正以得到输出图像。

可以看出，本申请实施例中，首先，根据输入图像的图像尺寸、预设图像融合模型、输入图像中是否存在人脸区域和/或该人脸区域输入图像中的位置信息，计算输出图像的各采样点的坐标信息映射到输入图像中对应的坐标信息，得到第一坐标映射信息；然后，根据第一坐标映射信息将输出图像的各采样点之间的坐标信息进行坐标插值，计算输出图像的各像素点的坐标信息映射到输入图像中对应的坐标信息，得到第二坐标映射信息；最后，根据第二坐标映射信息将输入图像进行畸变校正以得到输出图像，即去畸变图像，从而通过上述方式有利于保证图像畸变校正的灵活性，提高图像畸变校正的处理效率和准确性，以及提高去畸变图像的成像质量和完整性。

需要说明的是，图像畸变校正装置1200执行的各个操作的具体实现可以参见上述图7所示的方法实施例的相应描述，在此不再赘述。

具体的，在根据输入图像的图像尺寸、预设图像融合模型和人脸检测信息确定第一坐标映射信息方面，处理单元1220用于：按照输入图像的图像尺寸在图像坐标上进行采样以得到输出图像的M个采样点，M的取值为大于1的整数；根据预设图像融合模型确定目标坐标信息，目标坐标信息用于表示第一采样点的坐标信息映射到输入图像中对应的坐标信息，第一采样点为M个采样点中的一个采样点；根据人脸检测信息、目标坐标信息和第二位置信息确定第一坐标映射信息，第二位置信息用于表示第一采样点在输出图像中的位置信息。

具体的，目标坐标信息包括第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之一；在根据预设图像融合模型确定目标坐标信息方面，处理单元1220用于：根据透视投影模型确定第一采样点的坐标信息映射到输入图像中对应的坐标信息以得到第一目标坐标信息；和/或，根据柱面投影模型确定第一采样点的坐标信息映射到第一图像中对应的坐标信息，以及根据透视投影模型确定第一图像中对应的坐标信息映射到输入图像中对应的坐标信息以得到第二目标坐标信息，第一图像用于表示输入图像按照透视投影模型进行投影计算以得到的图像；和/或，根据球面投影模型确定第一采样点的坐标信息映射到第一图像中对应的坐标信息，以及根据透视投影模型确定第一图像中对应的坐标信息映射到输入图像中对应的坐标信息以得到第三目标坐标信息。

具体的，若人脸检测信息包括人脸指示信息和位置指示信息，则在根据人脸检测信息、目标坐标信息和第二位置信息确定第一坐标映射信息方面，处理单元1220用于：若人脸指示信息具体指示输入图像中存在人脸区域，则根据位置指示信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之二进行加权融合以得到第一坐标映射信息；或者，若人脸指示信息具体指示输入图像中不存在人脸区域，则将第一目标坐标信息作为第一坐标映射信息中的坐标信息；或者，若人脸指示信息具体指示输入图像中不存在人脸区域，则将第二目标坐标信息作为第一坐标映射信息中的坐标信息；或者，若人脸指示信息具体指示输入图像中不存在人脸区域，则将第三目标坐标信息作为第一坐标映射信息中的坐标信息。

具体的，在根据位置指示信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之二进行加权融合以得到第一坐标映射信息方面，处理单元1220用于：若位置指示信息具体指示不存在第一位置信息，则根据第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的之二进行线性加权融合以得到第一坐标映射信息。

具体的，第二位置信息包括第一参数值；线性加权融合中的各权重由第一参数值和第一预设参数值确定；第一参数值，用于表示第一采样点到输出图像的光学中心点的径向距离；第一预设参数值，用于表示输出图像的光学中心点到输出图像的四个角点的径向距离中的一个径向距离。

具体的，在根据第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的之二进行线性加权融合以得到第一坐标映射信息方面，处理单元1220用于：将第一参数值和第一预设参数值按照第一预设公式进行计算以得到第一坐标映射信息，第一预设公式满足如下：

P_s= (1-W)·P_m+W·P_n；

其中，P_s表示第一坐标映射信息中的坐标信息，P_m表示第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的之一，P_n表示第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中除P_m外的之一，W表示第一参数值与第一预设参数值的比值。

具体的，在根据位置指示信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之二进行加权融合以得到第一坐标映射信息方面，处理单元1220用于：若位置指示信息具体指示存在第一位置信息，则根据第一位置信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息进行线性加权融合以得到第一坐标映射信息。

具体的，第一位置信息包括第二参数值，第二位置信息包括第三参数值；线性加权融合中的各权重由第二参数值、第三参数值、第二预设参数值、第三预设参数值和第四预设参数值确定；第二参数值，用于表示人脸区域的几何中心点到输入图像的光学中心点的径向距离；第三参数值，用于表示第一采样点到输出图像中的人脸区域的几何中心点的径向距离；第二预设参数值，用于表示输入图像的光学中心点到输入图像的四个角点的径向距离中的一个径向距离；第三预设参数值，用于表示人脸区域的内切圆的半径或者人脸区域的外接圆的半径；第四预设参数值，用于表示预设系数乘以第三预设参数值，预设系数的取值大于1。

具体的，在根据第一位置信息和第二位置信息将第一目标坐标信息、第二目标坐标信息、第三目标坐标信息进行线性加权融合以得到第一坐标映射信息方面，处理单元1220用于：将第二参数值、第三参数值、第二预设参数值、第三预设参数值和第四预设参数值按照第二预设公式进行计算以得到第一坐标映射信息，第二预设公式满足如下：

P_t = (1-W_f)·((1-W_g)·P_b+W_g·P_c)+W_f·P_a；

其中，P_t表示第一坐标映射信息中的坐标信息，P_a表示第一目标坐标信息，P_b表示第二目标坐标信息，P_c表示第三目标坐标信息，W_g表示第二参数值与第二预设参数值的比值；

W_f满足如下：

若r小于r1，则W_f等于0；若r大于r2，则W_f等于1；否则，W_f等于(r – r1)/(r2 – r1)；

其中，r表示第三参数值，r1表示第三预设参数值，r2表示第四预设参数值。

具体的，在根据第二坐标映射信息将输入图像进行畸变校正以得到输出图像方面，处理单元1220用于：根据第二坐标映射信息将输入图像进行坐标映射以得到目标图像；将目标图像的像素点的像素值进行插值处理以得到输出图像。

下面介绍本申请实施例提供的又一种电子设备的结构示意图，如图13所示。其中，电子设备1300包括处理器1310、存储器1320、通信接口1330和至少一个用于连接处理器1310、存储器1320、通信接口1330的通信总线。

处理器1310可以是一个或多个中央处理器CPU。在处理器1310是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。存储器1320包括但不限于是随机存储记忆体（random access memory, RAM）、只读存储器（read-only memory, ROM）、可擦除可编程只读存储器（rrasableprogrammable read only memory, EPROM）或便携式只读存储器（compact disc read-only memory, CD-ROM），并且存储器1320用于存储相关指令及数据。通信接口1330用于接收和发送数据。

电子设备1300中的处理器1310用于读取存储器1320中存储的一个或多个程序1321用于执行以下步骤：获取输入图像和人脸检测信息，人脸检测信息包括人脸指示信息和/或位置指示信息，人脸指示信息用于指示输入图像中是否存在人脸区域，位置指示信息用于指示是否存在第一位置信息，第一位置信息用于表示人脸区域在输入图像中的位置信息；根据输入图像的图像尺寸、预设图像融合模型和人脸检测信息确定第一坐标映射信息，第一坐标映射信息用于表示输出图像的各采样点的坐标信息到输入图像中对应的坐标信息之间的坐标映射关系，预设图像融合模型包括透视投影模型、柱面投影模型、球面投影模型中的至少之一；根据第一坐标映射信息将输出图像的各采样点之间的坐标信息进行插值处理以得到第二坐标映射信息，第二坐标映射信息用于表示输出图像的各像素点的坐标信息到输入图像中对应的坐标信息之间的坐标映射关系；根据第二坐标映射信息将输入图像进行畸变校正以得到输出图像。

需要说明的是，电子设备1300执行的各个操作的具体实现可以参见上述图7所示的方法实施例的相应描述，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序可操作来使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，其中，该计算机程序产品包括计算机程序，该计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

需要说明的是，对于上述的各个实施例，为了简单描述，将其都表述为一系列的动作组合。本领域技术人员应该知悉，本申请不受所描述的动作顺序的限制，因为本申请实施例中的某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作、步骤、模块或单元等并不一定是本申请实施例所必须的。

在上述实施例中，本申请实施例对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域技术人员应该知悉，本申请实施例所描述的方法、步骤或者相关模块/单元的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式来实现，也可以是由处理器执行计算机程序指令的方式来实现。其中，该计算机程序产品包括至少一个计算机程序指令，计算机程序指令可以由相应的软件模块组成，软件模块可以被存放于RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、移动硬盘、只读光盘（CD-ROM）或者本领域熟知的任何其它形式的存储介质中。该计算机程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。例如，该计算机程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质、或者半导体介质（如SSD）等。

上述实施例中描述的各个装置或产品包含的各个模块/单元，其可以是软件模块/单元，可以是硬件模块/单元，也可以一部分是软件模块/单元，而另一部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置或产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现；或者，其包含的一部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，而另一部分（如果有）的部分模块/单元可以采用电路等硬件方式实现。对于应用于或集成于芯片模组的各个装置或产品，或者应用于或集成于终端的各个装置或产品，同理可知。

以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围。凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims (14)

1.一种图像畸变校正方法，其特征在于，包括：

获取输入图像和人脸检测信息，所述人脸检测信息包括人脸指示信息和/或位置指示信息，所述人脸指示信息用于指示所述输入图像中是否存在人脸区域，所述位置指示信息用于指示是否存在第一位置信息，所述第一位置信息用于表示所述人脸区域在所述输入图像中的位置信息；

根据所述输入图像的图像尺寸、预设图像融合模型和所述人脸检测信息确定第一坐标映射信息，所述第一坐标映射信息用于表示输出图像的各采样点的坐标信息到所述输入图像中对应的坐标信息之间的坐标映射关系，所述预设图像融合模型包括透视投影模型、柱面投影模型、球面投影模型中的至少之一；

根据所述第一坐标映射信息将所述输出图像的各采样点之间的坐标信息进行插值处理以得到第二坐标映射信息，所述第二坐标映射信息用于表示所述输出图像的各像素点的坐标信息到所述输入图像中对应的坐标信息之间的坐标映射关系；

根据所述第二坐标映射信息将所述输入图像进行畸变校正以得到所述输出图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述输入图像的图像尺寸、预设图像融合模型和所述人脸检测信息确定第一坐标映射信息，包括：

按照所述输入图像的图像尺寸在图像坐标上进行采样以得到所述输出图像的M个采样点，所述M的取值为大于1的整数；

根据所述预设图像融合模型确定目标坐标信息，所述目标坐标信息用于表示第一采样点的坐标信息映射到所述输入图像中对应的坐标信息，所述第一采样点为所述M个采样点中的一个采样点；

根据所述人脸检测信息、所述目标坐标信息和第二位置信息确定所述第一坐标映射信息，所述第二位置信息用于表示所述第一采样点在所述输出图像中的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述目标坐标信息包括第一目标坐标信息、第二目标坐标信息、第三目标坐标信息中的至少之一；

所述根据所述预设图像融合模型确定目标坐标信息，包括：

根据所述透视投影模型确定所述第一采样点的坐标信息映射到所述输入图像中对应的坐标信息以得到所述第一目标坐标信息；和/或，

根据所述柱面投影模型确定所述第一采样点的坐标信息映射到第一图像中对应的坐标信息，以及根据所述透视投影模型确定所述第一图像中对应的坐标信息映射到所述输入图像中对应的坐标信息以得到所述第二目标坐标信息，所述第一图像用于表示所述输入图像按照所述透视投影模型进行投影计算以得到的图像；和/或，

根据所述球面投影模型确定所述第一采样点的坐标信息映射到所述第一图像中对应的坐标信息，以及根据所述透视投影模型确定所述第一图像中对应的坐标信息映射到所述输入图像中对应的坐标信息以得到所述第三目标坐标信息。

4.根据权利要求3所述的方法，其特征在于，若所述人脸检测信息包括所述人脸指示信息和所述位置指示信息，则所述根据所述人脸检测信息、所述目标坐标信息和第二位置信息确定所述第一坐标映射信息，包括：

若所述人脸指示信息具体指示所述输入图像中存在所述人脸区域，则根据所述位置指示信息和所述第二位置信息将所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息中的至少之二进行加权融合以得到所述第一坐标映射信息；或者，

若所述人脸指示信息具体指示所述输入图像中不存在所述人脸区域，则将所述第一目标坐标信息作为所述第一坐标映射信息中的坐标信息；或者，

若所述人脸指示信息具体指示所述输入图像中不存在所述人脸区域，则将所述第二目标坐标信息作为所述第一坐标映射信息中的坐标信息；或者，

若所述人脸指示信息具体指示所述输入图像中不存在所述人脸区域，则将所述第三目标坐标信息作为所述第一坐标映射信息中的坐标信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述位置指示信息和所述第二位置信息将所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息中的至少之二进行加权融合以得到所述第一坐标映射信息，包括：

若所述位置指示信息具体指示不存在所述第一位置信息，则根据所述第二位置信息将所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息中的之二进行线性加权融合以得到所述第一坐标映射信息。

6.根据权利要求5所述的方法，其特征在于，所述第二位置信息包括第一参数值；

所述线性加权融合中的各权重由所述第一参数值和第一预设参数值确定；

所述第一参数值，用于表示所述第一采样点到所述输出图像的光学中心点的径向距离；

所述第一预设参数值，用于表示所述输出图像的光学中心点到所述输出图像的四个角点的径向距离中的一个径向距离。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第二位置信息将所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息中的之二进行线性加权融合以得到所述第一坐标映射信息，包括：

将所述第一参数值和所述第一预设参数值按照第一预设公式进行计算以得到所述第一坐标映射信息，所述第一预设公式满足如下：

P_s= (1-W)·P_m+W·P_n；

其中，所述P_s表示所述第一坐标映射信息中的坐标信息，所述P_m表示所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息中的之一，所述P_n表示所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息中除所述P_m外的之一，所述W表示所述第一参数值与所述第一预设参数值的比值。

8.根据权利要求4所述的方法，其特征在于，所述根据所述位置指示信息和所述第二位置信息将所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息中的至少之二进行加权融合以得到所述第一坐标映射信息，包括：

若所述位置指示信息具体指示存在所述第一位置信息，则根据所述第一位置信息和所述第二位置信息将所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息进行线性加权融合以得到所述第一坐标映射信息。

9.根据权利要求8所述的方法，其特征在于，所述第一位置信息包括第二参数值，所述第二位置信息包括第三参数值；

所述线性加权融合中的各权重由所述第二参数值、所述第三参数值、第二预设参数值、第三预设参数值和第四预设参数值确定；

所述第二参数值，用于表示所述人脸区域的几何中心点到所述输入图像的光学中心点的径向距离；

所述第三参数值，用于表示所述第一采样点到所述输出图像中的所述人脸区域的几何中心点的径向距离；

所述第二预设参数值，用于表示所述输入图像的光学中心点到所述输入图像的四个角点的径向距离中的一个径向距离；

所述第三预设参数值，用于表示所述人脸区域的内切圆的半径或者所述人脸区域的外接圆的半径；

所述第四预设参数值，用于表示预设系数乘以所述第三预设参数值，所述预设系数的取值大于1。

10.根据权利要求9所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息将所述第一目标坐标信息、所述第二目标坐标信息、所述第三目标坐标信息进行线性加权融合以得到所述第一坐标映射信息，包括：

将所述第二参数值、所述第三参数值、所述第二预设参数值、所述第三预设参数值和所述第四预设参数值按照第二预设公式进行计算以得到所述第一坐标映射信息，所述第二预设公式满足如下：

P_t = (1-W_f)·((1-W_g)·P_b+W_g·P_c)+W_f·P_a；

其中，所述P_t表示所述第一坐标映射信息中的坐标信息，所述P_a表示所述第一目标坐标信息，所述P_b表示所述第二目标坐标信息，所述P_c表示所述第三目标坐标信息，所述W_g表示所述第二参数值与所述第二预设参数值的比值；

所述W_f满足如下：

若r小于r1，则所述W_f等于0；若所述r大于r2，则所述W_f等于1；否则，所述W_f等于(r –r1)/(r2 – r1)；

其中，所述r表示所述第三参数值，所述r1表示所述第三预设参数值，所述r2表示所述第四预设参数值。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述根据所述第二坐标映射信息将所述输入图像进行畸变校正以得到所述输出图像，包括：

根据所述第二坐标映射信息将所述输入图像进行坐标映射以得到目标图像；

将所述目标图像的像素点的像素值进行插值处理以得到所述输出图像。

12.一种图像畸变校正装置，其特征在于，所述装置包括处理单元，所述处理单元用于：

获取输入图像和人脸检测信息，所述人脸检测信息包括人脸指示信息和/或位置指示信息，所述人脸指示信息用于指示所述输入图像中是否存在人脸区域，所述位置指示信息用于指示是否存在第一位置信息，所述第一位置信息用于表示所述人脸区域在所述输入图像中的位置信息；

根据所述输入图像的图像尺寸、预设图像融合模型和所述人脸检测信息确定第一坐标映射信息，所述第一坐标映射信息用于表示输出图像的各采样点的坐标信息到所述输入图像中对应的坐标信息之间的坐标映射关系，所述预设图像融合模型包括透视投影模型、柱面投影模型、球面投影模型中的至少之一；

根据所述第一坐标映射信息将所述输出图像的各采样点之间的坐标信息进行插值处理以得到第二坐标映射信息，所述第二坐标映射信息用于表示所述输出图像的各像素点的坐标信息到所述输入图像中对应的坐标信息之间的坐标映射关系；

根据所述第二坐标映射信息将所述输入图像进行畸变校正以得到所述输出图像。

13.一种电子设备，其特征在于，包括处理器、存储器和通信接口，所述存储器存储有一个或多个程序，并且所述一个或多个程序由所述处理器执行，所述一个或多个程序包括用于执行如权利要求1-11任一项所述的方法中的步骤的指令。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序可操作来使得计算机执行如权利要求1-11中任一项所述的方法。

Images