CN113747002B - 终端及图像拍摄方法 - Google Patents

Abstract

本发明是关于一种终端及图像拍摄方法，涉及智能终端技术领域，本发明包括：响应用户在终端上输入的调节指令，根据所述调节指令对应的调整矢量确定出调整后的视场角；所述调整矢量包括调整量和调整方向；确定调整后的视场角对应的投影矩阵；投影矩阵中的元素表示矫正图像中对应的像素点在未矫正图像中的位置；未矫正图像为根据调整后的视场角确定的发生畸变的图像；矫正图像为对未矫正图像进行矫正后得到的图像；确定投影矩阵中每个元素在通过广角摄像头拍摄的图像中的像素，将确定的像素作为矫正图像中对应像素点的像素，得到矫正图像；在终端的显示屏上显示矫正图像。由于本发明实施例能够呈现不同视场角下的矫正图像，扩展了拍照的方式。

Description

终端及图像拍摄方法

技术领域

本发明涉及智能终端技术领域，尤其涉及一种终端及图像拍摄方法。

背景技术

对于手机的拍照功能来说，由于改变图像的可视范围，一般采用改***件或调整像距的方式，这样大多会改变手机的厚度，与现在手机越来越轻薄的设计理念下不匹配，所以手机无法改变拍摄的硬件条件。

目前，在改变手机拍摄出来的可视范围时，一般会通过软件的方式实现。具体来说，手机的传感器获取最大视场角下的图像，用户调整时，按照手机的显示比例，确定用户调整的调整量，根据调整量确定调整后的图像的尺寸，然后从手机拍摄的图像中以图像中心为截取中心截取调整后的图像的尺寸大小的图像，得到不同可视范围的图像。

目前，仅能够通过上述方式得到图像，拍照方式比较单一。

发明内容

本发明提供一种终端及图像拍摄方法，提供一种新的拍照方式。

第一方面，本发明实施例提供的一种终端，包括：广角摄像头、接收单元、处理器和显示屏；

所述广角摄像头，用于拍摄图像；

所述接收单元，用于接收用户在终端上输入的调节指令；

所述处理器，用于响应用户在终端上输入的调节指令，根据所述调节指令对应的调整矢量确定出调整后的视场角；所述调整矢量包括调整量和调整方向；

确定所述调整后的视场角对应的投影矩阵；所述投影矩阵中的元素表示矫正图像中对应的像素点在未矫正图像中的位置；所述未矫正图像为根据所述调整后的视场角确定的发生畸变的图像；所述矫正图像为对所述未矫正图像进行矫正后得到的图像；

确定所述投影矩阵中每个元素在通过广角摄像头拍摄的图像中的像素，将确定的像素作为矫正图像中对应像素点的像素，得到矫正图像；

所述显示屏，用于显示所述矫正图像。

上述终端，提供一种新的拍照方式，确定用户调整的视场角，根据视场角对应的投影矩阵中记载的位置，从通过广角摄像头拍摄的图像中确定矫正图像中的像素，得到用户调整视场角下的矫正图像，从而实现从视场角的方向上改变可视范围，扩展了拍照的方式。

在一种可能的实现方式中，所述处理器，具体用于：

根据调整矢量与视场角的对应关系，确定调整指令对应的调整矢量对应的视场角改变值；

将确定出来的视场角改变值和终端的最大视场角之间的差值，作为调整后的视场角。

上述终端，通过调整矢量与视场角的对应关系，确定用户改变的视场角改变值，并根据视场角改变值确定调整后的视场角，本发明无需通过调整矢量去计算视场角，提高了确定调整后的视场角的效率。

在一种可能的实现方式中，所述处理器，具体用于：

根据所述调整后的视场角，确定矫正图像中像素点对应的入射角；

通过预设的入射角与像高的对应关系，确定未矫正图像中像素点对应的像高；所述像高为像素点的位置与图像中心之间的距离；

根据所述未矫正图像中像素点对应的像高以及预设的第二比值，确定所述矫正图像中相同像素点对应的像高；所述预设的第二比值为所述未矫正图像与所述矫正图像中相同像素点对应的像高之间的比值；

根据所述矫正图像中相同像素点对应的像高，确定所述矫正图像中相同像素点在未矫正图像中的位置；

根据所述矫正图像中相同像素点在未矫正图像中的位置，确定所述调整后的视场角对应的投影矩阵。

上述终端，在确定未矫正图像中像素点对应的像高后，根据未矫正图像中像素点对应的像高与矫正图像中相同像素点对应的像高之间的关系，确定矫正图像中像素点对应的像高，进而确定矫正图像中像素点在未矫正图像中的位置，得到投影矩阵，能够解决在终端无法通过硬件改变视场角的情况下，通过图像处理的方式，确定投影矩阵，以此求出用户需求的视场角下的矫正图像。

在一种可能的实现方式中，所述处理器，具体用于：

根据调整后的视场角，确定未矫正图像的对角线长度；

根据调整后的视场角，确定矫正图像的对角线长度；

根据所述矫正图像的对角线长度，确定所述矫正图像的尺寸；

根据所述矫正图像的尺寸以及终端的分辨率，确定矫正图像中像素点的相对位置；

根据所述像素点的相对位置，确定所述矫正图像中像素点对应的入射角。

上述终端，由于矫正图像的像素点的入射角不会跟随图像的大小而改变，而是根据像素点的相对位置有关，所以在终端无法通过硬件改变视场角的情况下，本发明通过求取矫正图像中像素点的相对位置，确定矫正图像中像素点的入射角。

在一种可能的实现方式中，所述处理器，具体用于：

若所述投影矩阵中元素未超出终端拍摄的图像的尺寸范围，则从所述投影矩阵中元素在终端拍摄的图像中的位置处，提取像素；或

若所述投影矩阵中元素超出终端拍摄的图像的尺寸范围，则将预设像素确定为所述投影矩阵中元素在终端拍摄的图像中的像素。

上述终端，由于用户在图像的长或图像的宽上改变可视范围时，即，调整视场角时，可视范围的像素点变少，在终端的分辨率不变的情况下，本发明采用在投影矩阵中元素未超出终端拍摄的图像的尺寸范围，从投影矩阵中元素在终端拍摄的图像中的位置处，提取像素，在投影矩阵中元素超出终端拍摄的图像的尺寸范围，则将预设像素确定为投影矩阵中元素在终端拍摄的图像中的像素，这样做能够将矫正图像中不在可视范围内的像素点使用预设像素补充，这样无需改变可视范围内的像素点的个数，从而提高了矫正图像的清晰度。

在一种可能的实现方式中，所述处理器，具体用于：

若所述投影矩阵中元素未在终端拍摄的图像中的像素点的位置上，则根据在终端拍摄的图像中与所述投影矩阵中元素相邻的像素点的像素，确定所述投影矩阵中元素在终端拍摄的图像中的像素。

上述终端，在投影矩阵中元素未超出终端拍摄的图像的尺寸范围，但是投影矩阵中元素未在终端拍摄的图像中的像素点的位置上，本发明可以通过在终端拍摄的图像中与投影矩阵中元素相邻的像素点的像素确定该元素在图像中的像素，能够避免投影矩阵中元素未能找到像素而导致不能成像的情况下，提高了成像的成功率。

第二方面，本发明实施例提供的一种图像拍摄方法，应用于终端，所述方法包括：

响应用户在终端上输入的调节指令，根据所述调节指令对应的调整矢量确定出调整后的视场角；所述调整矢量包括调整量和调整方向；

确定所述调整后的视场角对应的投影矩阵；所述投影矩阵中的元素表示矫正图像中对应的像素点在未矫正图像中的位置；所述未矫正图像为根据所述调整后的视场角确定的发生畸变的图像；所述矫正图像为对所述未矫正图像进行矫正后得到的图像；

确定所述投影矩阵中每个元素在通过广角摄像头拍摄的图像中的像素，将确定的像素作为矫正图像中对应像素点的像素，得到矫正图像；

在所述终端的显示屏上显示所述矫正图像。

在一种可能的实现方式中，所述根据所述调节指令对应的调整矢量确定出调整后的视场角，包括：

根据调整矢量与视场角的对应关系，确定调整指令对应的调整矢量对应的视场角改变值；

将确定出来的视场角改变值和终端的最大视场角之间的差值，作为调整后的视场角。

在一种可能的实现方式中，确定所述调整后的视场角对应的投影矩阵，包括：

根据所述调整后的视场角，确定矫正图像中像素点对应的入射角；

通过预设的入射角与像高的对应关系，确定未矫正图像中像素点对应的像高；所述像高为像素点的位置与图像中心之间的距离；

根据所述未矫正图像中像素点对应的像高以及预设的第二比值，确定所述矫正图像中相同像素点对应的像高；所述预设的第二比值为所述未矫正图像与所述矫正图像中相同像素点对应的像高之间的比值；

根据所述矫正图像中相同像素点对应的像高，确定所述矫正图像中相同像素点在未矫正图像中的位置；

根据所述矫正图像中相同像素点在未矫正图像中的位置，确定所述调整后的视场角对应的投影矩阵。

在一种可能的实现方式中，所述根据所述调整后的视场角，确定未矫正图像中像素点对应的入射角，包括：

根据调整后的视场角，确定矫正图像的对角线长度；

根据所述矫正图像的对角线长度，确定所述矫正图像的尺寸；

根据所述矫正图像的尺寸以及终端的分辨率，确定矫正图像中像素点的相对位置；

根据所述像素点的相对位置，确定所述矫正图像中像素点对应的入射角。

在一种可能的实现方式中，确定所述投影矩阵中每个元素在终端拍摄的图像中的像素，包括：

若所述投影矩阵中元素未超出终端拍摄的图像的尺寸范围，则从所述投影矩阵中元素在终端拍摄的图像中的位置处，提取像素；或

若所述投影矩阵中元素超出终端拍摄的图像的尺寸范围，则将预设像素确定为所述投影矩阵中元素在终端拍摄的图像中的像素。

在一种可能的实现方式中，从所述投影矩阵中元素在终端拍摄的图像中的位置处，提取像素，包括：

若所述投影矩阵中元素未在终端拍摄的图像中的像素点的位置上，则根据在终端拍摄的图像中与所述投影矩阵中元素相邻的像素点的像素，确定所述投影矩阵中元素在终端拍摄的图像中的像素。

第三方面，本申请还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理单元执行时实现第二方面所述图像拍摄方法的步骤。

另外，第二方面至第三方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。

图1是本发明实施例提供的一种终端的结构示意图。

图2是本发明实施例提供的一种终端的软件架构示意图；

图3是本发明实施例提供的一种图像拍摄方法的工作流程的示意图；

图4是本发明实施例提供的一种默认视场角到改变水平方向时的相机应用的界面示意图；

图5是本发明实施例提供的一种默认视场角到改变垂直方向时的相机应用的界面的示意图；

图6是本发明实施例提供的一种默认视场角到改变对角线方向时的相机应用的界面的示意图；

图7是本发明实施例提供的第一种改变视场角的控制按钮在相机应用的界面的示意图；

图8是本发明实施例提供的第二种改变视场角的控制按钮在相机应用的界面的示意图；

图9是本发明实施例提供的第三种改变视场角的控制按钮在相机应用的界面的示意图；

图10是本发明实施例提供的一种确定调整后的视场角的示意图；

图11是本发明实施例提供的一种确定调整后的视场角对应的投影矩阵的示意图；

图12是本发明实施例提供的一种终端的相机模块投影的原理的示意图；

图13是本发明实施例提供的一种调整后的视场角的矫正图像的尺寸的示意图；

图14是本发明实施例提供的一种示出了镜头的成像圆与成像平面之间的附图；

图15是本发明实施例提供的一种像素点在成像坐标XOY与像素坐标vu的示意图；

图16是本发明实施例提供的一种确定投影矩阵中元素的像素的示意图；

图17是本发明实施例提供的一种投影矩阵中元素在终端拍摄的图像的位置的示意图；

图18是本发明实施例提供的一种矫正前与矫正后的对比图。

具体实施方式

为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例中的终端可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等。

以终端为手机举例，手机中的广角摄像头拍摄图像，用户可以通过手机的触摸屏输入调节指令，并将调节指令发送给处理器，处理器根据调节指令对应的调整矢量确定出调整后的视场角；确定调整后的视场角对应的投影矩阵；确定投影矩阵中每个元素在通过广角摄像头拍摄的图像中的像素，将确定的像素作为矫正图像中对应像素点的像素，得到调整后的视场角下的矫正图像，并采用手机的显示屏显示矫正图像，这样虽然手机的硬件没有改变，但是本发明提供一种基于软件的方式，将显示在显示屏中的图像，改变为用户需求的视场角下对应的矫正后的图像，扩展了图像拍摄的方式。

在某些实施例中，所述处理器，具体用于：

根据调整矢量与视场角的对应关系，确定调整指令对应的调整矢量对应的视场角改变值；

将确定出来的视场角改变值和终端的最大视场角之间的差值，作为调整后的视场角。

在某些实施例中，所述处理器，具体用于：

根据所述调整后的视场角，确定未矫正图像中像素点对应的入射角；

通过预设的入射角与像高的对应关系，确定所述未矫正图像中像素点对应的像高；所述像高为像素点的位置与图像中心之间的距离；

根据所述未矫正图像中像素点对应的像高以及预设的第二比值，确定所述矫正图像中相同像素点对应的像高；所述预设的第二比值为所述未矫正图像与所述矫正图像中相同像素点对应的像高之间的比值；

根据所述矫正图像中相同像素点对应的像高，确定所述矫正图像中相同像素点在未矫正图像中的位置；

根据所述矫正图像中相同像素点在未矫正图像中的位置，确定所述调整后的视场角对应的投影矩阵。

在某些实施例中，所述处理器，具体用于：

根据调整后的视场角，确定未矫正图像的对角线长度；

根据所述未矫正图像的对角线长度，确定所述未矫正图像的尺寸；

根据所述未矫正图像的尺寸以及终端的分辨率，确定未矫正图像中像素点的相对位置；

根据所述像素点的相对位置，确定所述未矫正图像中像素点对应的入射角。

在某些实施例中，所述处理器，具体用于：

若所述投影矩阵中元素未超出终端拍摄的图像的尺寸范围，则从所述投影矩阵中元素在终端拍摄的图像中的位置处，提取像素；或

若所述投影矩阵中元素超出终端拍摄的图像的尺寸范围，则将预设像素确定为所述投影矩阵中元素在终端拍摄的图像中的像素。

在某些实施例中，所述处理器，具体用于：

若所述投影矩阵中元素未在终端拍摄的图像中的像素点的位置上，则根据在终端拍摄的图像中与所述投影矩阵中元素相邻的像素点的像素，确定所述投影矩阵中元素在终端拍摄的图像中的像素。

本发明实施例除了上述提供的终端的结构之外，还可以包括图1中所述的元件。

应该理解的是，图1所示终端100仅是一个范例，并且终端100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

图1中示例性示出了根据示例性实施例中终端100的硬件配置框图。如图1所示，终端100包括：射频(radio frequency，RF)电路110、存储器120、显示单元130、广角摄像头140、传感器150、音频电路160、无线保真(Wireless Fidelity，Wi-Fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。

RF电路110可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器180处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序或数据，从而执行终端100的各种功能以及数据处理。存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得终端100能运行的操作***。本申请中存储器120可以存储操作***及各种应用程序，还可以存储执行本申请实施例所述方法的代码。

显示单元130可用于接收输入的数字或字符信息，产生与终端100的用户设置以及功能控制有关的信号输入，具体地，显示单元130可以包括设置在终端100正面的触摸屏131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。其中在某些实施例中，接收单元相当于显示单元130的触摸屏131。

显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元130可以包括设置在终端100正面的显示屏132。其中，显示屏132可以采用液晶显示器、发光二极管、电子墨水等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。其中，采用电子墨水形成的显示屏通常称为水墨屏。

其中，触摸屏131可以覆盖在显示屏132之上，也可以将触摸屏131与显示屏132集成而实现终端100的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元130可以显示应用程序以及对应的操作步骤。

广角摄像头140可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。

在某些实施例中，将处理器与广角摄像头相连，广角摄像头140拍摄图像后，处理器180可以将从拍摄的图像提取像素，形成调整后的视场角下的矫正后的图像。

终端100还可以包括至少一种传感器150，比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154。终端100还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。终端100还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。本申请中麦克风162可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，终端100可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。

处理器180是终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据。在一些实施例中，处理器180可包括一个或多个处理单元；处理器180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器180中。本申请中处理器180可以运行操作***、应用程序、用户界面显示及触控响应，以及本申请实施例所述的处理方法。另外，处理器180与显示单元130耦接。

蓝牙模块181，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端100可以通过蓝牙模块181与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

终端100还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理***与处理器180逻辑相连，从而通过电源管理***实现管理充电、放电以及功耗等功能。终端100还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

图2是本发明实施例的终端100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，广角摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明终端100软件以及硬件的工作流程。

当触摸屏131接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动广角摄像头驱动，通过广角摄像头140捕获静态图像或视频。

以下结合附图对本发明实施例提供的一种图像拍摄方法进行详细介绍。如图3所示，该方法具体包括以下步骤：

S300：响应用户在终端上输入的调节指令，根据调节指令对应的调整矢量确定出调整后的视场角；调整矢量包括调整量和调整方向；

S301：确定调整后的视场角对应的投影矩阵；

其中，投影矩阵中的元素表示矫正图像中对应的像素点在未矫正图像中的位置；未矫正图像为根据调整后的视场角确定的发生畸变的图像；矫正图像为对未矫正图像进行矫正后得到的图像。

例如，投影矩阵为

其中a_0,0对应矫正图像中第一行第一列的像素点，a_0,0为(x₀，y₀)，表示矫正图像中第一行第一列的像素点在未矫正图像中的位置；a_1,0对应矫正图像中第一行第二列的像素点，a_1,0为(x₁，y₀)，表示矫正图像中第一行第二列的像素点在未矫正图像中的位置；a_2,0对应矫正图像中第一行第三列的像素点，a_2,0为(x₂，y₀)，表示矫正图像中第一行第三列的像素点在未矫正图像中的位置，依次类推，投影矩阵中的元素的个数与矫正图像中像素点的个数相同，矫正图像中对应的像素点在未矫正图像中的位置均能够在投影矩阵中的元素中找到。

S302：确定投影矩阵中每个元素在通过广角摄像头拍摄的图像中的像素，将确定的像素作为矫正图像中对应像素点的像素，得到矫正图像；

S303：在终端的显示屏上显示矫正图像。

详细来说，对于用户而言，用户在终端上输入调节指令，终端响应调节指令，确定调整后的视场角，即，用户需求的视场角，用户想要得到在该视场角下拍摄的图像，然后确定用户需求的视场角对应的投影矩阵，即，根据用户需求的视场角确定已经进行矫正后的图像与未矫正的图像的关系，然后根据终端拍摄的未校正的图像和其关系，确定矫正图像，即得到用户需求的视场角下的矫正图像，从而能够完成在不改变终端硬件的基础上，通过软件上的处理，得到不同视场角下的图像，扩展了图像拍摄的方式。

对于人机交互过程中，响应用户在终端上输入的调节指令包括以下方式：

方式1：响应用户点击的视场角的调节按钮的周围的箭头以及点击箭头的次数；箭头对应调整方式，连续点击的次数对应调整量。

其中连续点击的次数为，没有改变其他方向时点击的次数，例如，当用户在第一方向上点击3次同一个箭头，第4次点击第二方向的一个箭头，则在第一方向的调整量为3次。

结合图4所示，圆形的内部标注视场角，即为视场角的调节按钮，圆形上多个方向上的三角箭头为调整方向，具体操作时，记录用户点击其中一个三角箭头时，即调整方向，并记录用户点击该三角箭头的次数，即确定调整量。其中，当用户点击次数达到上限，则视场角恢复成默认的视场角，即一开始的视场角，从重新开始计时。例如，上线为10次，默认的视场角为30度，当用户在同一个箭头上点击10次时，再点击11次时，按照30度调节1次计算，而不是30度调节11次计算。

其中，在调节时，调整方向可以包括但不限于水平方向、垂直方向、对角线方向；水平方向为以图像作为平面的情况下的水平方向，垂直方向为以图像作为平面的情况下的垂直方向，对角线方向为以图像作为平面的情况下的方形图像的对角线的方向。

调整过程为：点击水平方向的两个箭头表示调整方向为水平方向，调整后形如图4所示，右侧的图像中，S1为未调整之前可视范围的水平方向的长度，在水平方向调整后，可以增加水平方向的显示范围，调整后的为S2。例如，当终端以最大视场角拍摄时，显示时默认视场角的范围，默认下显示的水平方向的长度为S1，本发明调整时，是通过水平方向的视场角，从而增加水平方向的显示范围，调整后的水平方向的长度为S2。

点击垂直方向的两个箭头表示调整方向为垂直方向，调整后形如图5所示；右侧的图像中，H1为未调整之前可视范围的垂直方向的高度，在垂直方向调整后，可以增加垂直方向的高度范围，调整后的垂直方向上的高度为H2。

点击水平方向和垂直方向成45度夹角的两个箭头表示调节方向为对角线方向，即对角线方向调整时，水平方向和垂直方向均调整，调整后形如图6的右侧图所示，其中，调整对角线方式其实是调整水平方向和垂直方向两个方向，H1为未调整之前可视范围的垂直方向的高度，S1为未调整之前可视范围的水平方向的长度，在对角线方向调整后，可以增加水平方向的显示范围和垂直方向的显示范围，即调整后的水平方向为S2、调整后的垂直方向为H2。

方式2：响应用户点击的方向线条中的符号以及点击符号的次数；其中方向线条代表调整方式，符号代表调大或调小，连续点击符号的次数表示调整量。

结合图7所示，在拍摄的用户界面中显示三个方向线条，三个方向分别为水平方向、垂直方向、以及对角线方向，每个方向线条中包括“+”和“-”的符号，“+”表示调大，“-”表示调小。

例如，点击水平方向的方向线条的“+”时，即调整方向为水平方向增大，调整量为连续点击符号的次数。点击水平方向的方向线条的“-”时，减少视场角。

对于本发明来说，除了图7这种长条性的方向线条，方向线条还可以包括：

例如，结合图8所示，方向线条还包括具有双向箭头的方向线条，每个双向箭头的方向线条中的箭头处设置有标注增大或减小的标识，““+”表示调大，“-”表示调小。

又如，结合图9所示，方向线条还包括具有单位调整量的方向线条，每个短线段，表示1个单位调整量，最靠近三条方向线条的集中地点，调整量最大，远离三条方向线条的集中地点，调整量最小。

需要说明的是，针对上述各种方式来说，调整对角线方式时，还可以采用检测用户的两个手指同时按屏幕时，滑动的距离作为调整量。

响应用户输入的调节指令后，根据调整指令对应的调整矢量确定调整后的视场角的过程具体为：根据调整矢量与视场角的对应关系，确定调整指令对应的调整矢量对应的视场角改变值；将确定出来的视场角改变值和终端的最大视场角之间的差值，作为调整后的视场角。

每个方向针对不同点击次数与视场角之间具有对应关系，结合表1所示：

表1

调整矢量(水平方向)	视场角改变量
		第一调整量	第一视场角
第二调整量	第二视场角
		第三调整量	第三视场角

表1中，当前的调整量为第一调整量，调整方向为水平方向，则确定当前的调整矢量对应的视场角改变值为第一视场角；当前的调整量为第二调整量，调整方向为水平方向，则确定当前的调整矢量对应的视场角改变值为第二视场角；当前的调整量为第三调整量，调整方向为水平方向，则确定当前的调整矢量对应的视场角改变值为第三视场角。

在实际进行计算时，结合图10所示，包括以下步骤：

S1000：将记录的点击次数乘以单次点击的调整量得到用户当前次调整的调整量；

S1010：根据调整矢量与视场角的对应关系，确定当前调整量和调整方向对应的视场角改变值；

S1020：将视场角改变值和终端的最大视场角之间的差值，作为调整后的视场角。

具体来说，先设定总调节量，再用总调节量除以预设次数，得到单次点击的调整量，根据记录的点击次数，将次数乘以单次点击的调整量得到用户当前次调整的调整量，然后根据与视场角的对应关系，确定当前调整矢量对应的视场角改变值，然后再与最大视场角相减，得到当前调整后的视场角。

由于本发明无法通过改***件的方式改变视场角，为了得到改变视场角的效果，本发明提供一种软件的方式以固定的视场角拍摄的图像中，提取信息从而得到不同视场角下对应的图像，结合图11所示，具体来说：

S1100：根据调整后的视场角，确定矫正图像中像素点对应的入射角；

具体包括：根据调整后的视场角，确定矫正图像的对角线长度；根据矫正图像的对角线长度，确定矫正图像的尺寸；根据矫正图像的尺寸以及终端的分辨率，确定矫正图像中像素点的相对位置；根据像素点的相对位置，确定矫正图像中像素点对应的入射角。

结合图12所示，示出了投影球面与图像平面的关系，在投影中心、投影球面与图像平面的焦点、矫正图像中的像素点n组成的三角形中，根据三角形的关系，确定成像模型算式1，θ为视场角：

2fL＝2f*tan(θ/2)                 (1)

上式中，f为镜头光心到图像中心的距离，fL为矫正图像的对角线长度的一半。其中，f为预设的，将视场角带入算式(1)中，得到矫正图像的对角线长度。

结合图13所示，示出了以矫正图像的图像中心为X0Y的平面。其中图像中对角线与图像的宽和长之间的关系如下所示：

Ratio＝Widt h/H eight            (2)

fHalfS＝sqrt(fL*fL/(1+Ratio*Ratio))        (3)

fHalfL＝fHalfS*Ratio           (4)

其中，Ratio表示矫正图像的宽与长之间的比值，fHalfS为矫正图像的宽的一半，fHalfL为矫正图像的长的一半，对角线的长度fL。

根据上述算式2～4，分别计算出矫正图像的长度以及宽度，并根据矫正图像的长度以及宽度，计算矫正图像的尺寸。根据矫正图像的尺寸和终端的分辨率，确定矫正图像中像素点的相对位置。这样可以按照相对位置为矫正图像中每个像素点赋值，附上像素点的坐标。

结合图14所示，示出了镜头的成像圆与成像平面之间的附图。对于未校正图像中的m点，对应矫正图像中的n点，即以入射光入射时没有因为镜头的原因发生畸变的情况下，得到像素点n，发生畸变的情况下得到像素点m。

其中，on的距离等于n点的横坐标的平方与纵坐标的平方相加之后开根号得到，根据镜头的中心、图像的圆心以及校正图像中的像素点n的相对位置，组成的三角形(图15中为虚线三角形)，得到以下算式5。

β＝π/2-arctan(f/sqrt(x*x+y*y))             (5)

其中，x表示像素点的横坐标，y表示像素点的纵坐标，即上述介绍的被赋值的像素点的坐标，β表示像素点的入射角，对于每一个矫正图像的像素点来说，将横坐标和纵坐标带入到算式5中，得到矫正图像中每个像素点的入射角。例如将m点的横纵坐标带入到算式5中，得到m点的入射角β。

S1110：通过预设的入射角与像高的对应关系，确定未矫正图像中像素点对应的像高；像高为像素点的位置与图像中心之间的距离；

对于入射角与像高的对应关系，结合表2所示：

表2

根据计算出的像素点的入射角，通过查表的方式，确定入射角对应的未矫正图像中像素点的像高。

然而，计算得到的像素点的入射角在表中并没有查找到，在此，本发明实施例还提出：

针对每个像素点，通过查询预设的入射角与像高的对应关系，找到所述入射角对应的预设个数的像高；

将预设个数的像高输入到拉格朗日模型中，确定未矫正图像中像素点对应的像高。

例如，入射角为6.00度，则入射角对应的预设个数的像高，可以根据与6.00度相近的多个入射角的像高，例如，入射角5.30对应的未矫正图像中像素点的像高为0.154864143280，入射角5.88对应的未矫正图像中像素点的像高为0.172147188720，入射角6.47对应的未矫正图像中像素点的像高为0.189458930890，入射角7.06对应的未矫正图像中像素点的像高为0.206803962900。

将上述得到的未矫正图像中像素点的像高带入到算式6中得到未校正图像中像素点对应的像高，如图14所示，om的值。

如下算式：

fR＝L(β)                     (6)

其中，fR为未校正图像中像素点对应的像高，L(β)为拉格朗日模型。

拉格朗日模型的具体计算公式为：

其中每个l_j(β)为拉格朗日基本多项式，表达为：

将上述0.154864143280、0.172147188720、0.189458930890、0.206803962900带入到算式8以及算式7中，得到fR。

S1120：根据未矫正图像中像素点对应的像高以及预设的第二比值，确定矫正图像中相同像素点对应的像高；预设的第二比值为未矫正图像与矫正图像中相同像素点对应的像高之间的比值；

Rd＝fR*R/pfR[Length-1]                 (9)

其中，pfR[Length-1]为未矫正图像中畸变最大像素点对应的像高，R为成像圆的半径，Rd为矫正图像中相同像素点对应的像高。以图15为例，若未矫正图像的像素点m，则om为未矫正图像中像素点对应的像高，on为矫正图像中像素点对应的像高。

具体来说，对于终端来说，是采用感光的传感器成像的，传感器的成像的形状为圆成像，对于终端来说可知成像圆的半径R，以及圆心坐标(lx，ly)，所以R/pfR[Length-1]的值不变，设置为第二比值，同时第二比值等于在未校正图像中像素点对应的像高与矫正图像相同像素点对应的像高之比。

S1130：根据矫正图像中相同像素点对应的像高，确定矫正图像中相同像素点在未矫正图像中的位置；

结合图15所示，对于矫正图像中的像素点n，可以根据n的相对坐标，确定on与x轴之间的夹角。具体如：

α＝arctan(y/x)                 (10)

由于得知on的实际的Rd，则根据三角形算式：

cosα＝Rd/x_n                    (11)

通过坐标系变换，从xoy坐标系，转换未uv坐标系，其中，由于圆心o的坐标为预设的，(lx，ly)。

则坐标系变换的算式为：

fx＝x_n+lx                     (12)

则综合算式11和算式12，得到计算矫正图像中的像素点在未矫正图像中的位置为：

fx＝Rd*cos(α)+lx                (13)

同样的，计算得到：

fy＝Rd*sin(α)+ly                (14)

根据算式13和算式14可以计算矫正图像中每一个像素点在未矫正图像中的位置。

S1140：根据矫正图像中相同像素点在未矫正图像中的位置，确定调整后的视场角对应的投影矩阵。

将上述计算出来的每一个像素点在未矫正图像中的位置，按照与矫正图像中的像素点的位置相对应的方式建立投影矩阵，例如，矫正图像中第一行第一列的像素点，对应投影矩阵的第一行第一列的元素，矫正图像中第一行第二列的像素点，对应投影矩阵的第一行第二列的元素，依次类推，投影矩阵中的元素与矫正图像中像素点相对应设置。

当采用现有技术进行处理时，由于终端具有固定的分辨率，所以当从图像中以图像中心为截取中心截取小尺寸的图像时，截取到的分辨率达不到终端的要求，即截取的图像的像素点比较少，为了符合终端的分辨率，则通过插值法增加像素点，特别是截取的图像特别小时，插值法采用四周的像素取值进行计算，则四周的像素可能也是插值法计算出来的，从而导致图像不清晰。

基于此，本发明对投影矩阵中的每个元素确定像素时，采用以下方式：

若投影矩阵中元素未超出终端拍摄的图像的尺寸范围，则从投影矩阵中元素在终端拍摄的图像中的位置处，提取像素；或

若投影矩阵中元素超出终端拍摄的图像的尺寸范围，则将预设像素确定为投影矩阵中元素在终端拍摄的图像中的像素。

在实际执行时，结合图16所示，包括：

S1600：从投影矩阵中选择任意元素作为当前元素；

S1610：判断当前元素是否超过终端拍摄的图像的尺寸范围，若是，则执行S1620，否则，执行S1630。

S1620：将预设像素确定为当前元素在终端拍摄的图像中的像素。

S1630：从当前元素在终端拍摄的图像中的位置处，提取像素；

其中，当投影矩阵中元素未在终端拍摄的图像中的像素点的位置上，则根据在终端拍摄的图像中与投影矩阵中元素相邻的像素点的像素，确定投影矩阵中元素在终端拍摄的图像中的像素。从而可以避免该像素点找不到对应的像素的情况，提高成像的成功率。

结合图17所示，终端拍摄的图像P为11*7的分辨率，即每一行包括11个像素点，每一列包含7个像素点，每一个小格代表1个像素点。当投影矩阵中元素S的位置虽然在终端拍摄的图像P中，但未在像素点的位置上，则可以根据与S的位置相邻的像素点1、像素点2、像素点3、像素点4的像素，确定S的位置的像素。例如取像素点1、像素点2、像素点3、像素点4的平均值，确定S的位置的像素。

S1640：判断投影矩阵是否有未被选择的元素，若是，则执行S1700，否则，结束。

由于矫正图像与未矫正图像相比，矫正图像的尺寸明显比未矫正图像的大，以投影矩阵中元素记载的位置，可能会超出终端拍摄的图像的尺寸范围，同时，由于终端始终以最大视场角拍摄图像，用户需求的视场角的可使范围比终端拍摄的图像的可视范围小，所以，本发明将预设像素确定为超出终端拍摄的图像的尺寸的投影矩阵中元素的像素，超过终端拍摄的图像的尺寸的像素为可视范围之外的像素点，未超过终端拍摄的图像的尺寸的像素为可视范围之内的像素点。

本发明将未超出终端拍摄的图像的尺寸范围的，从投影矩阵中元素在终端拍摄的图像中的位置处，提取像素，所以，调整后的视场角对应的可视范围的像素点均在终端拍摄的图像中，调整后的视场角对应的不可视范围的像素点均在终端拍摄的图像的范围外，这样不改变调整后的视场角对应的可视范围的像素点，在可视范围外增加像素点，从而提高了矫正图像的清晰度。

结合图18所示，当用户调整视场角时，调整方向为对角线方向，图18左侧的图像是终端采用最大视场角拍摄的，该图像为未矫正的图像。终端确定用户调整后的视场角对应投影矩阵中每个元素在图18左侧的图像中的像素，得到矫正图像，图18右侧的图像，在获取投影矩阵中的每个元素的像素过程中，不仅得到了矫正后的图像，还改变了视场角，得到用户调整后的视场角下的矫正后的图像。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由终端的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在终端上运行时，使得所述终端执行实现本发明实施例上述任意一项图像拍摄方法。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种终端，其特征在于，包括：广角摄像头、接收单元、处理器和显示屏；

所述广角摄像头，用于拍摄图像；

所述接收单元，用于接收用户在终端上输入的调节指令；

所述处理器，用于响应用户在终端上输入的调节指令，根据所述调节指令对应的调整矢量确定出调整后的视场角；所述调整矢量包括调整量和调整方向；

确定所述调整后的视场角对应的投影矩阵；所述投影矩阵中的元素表示矫正图像中对应的像素点在未矫正图像中的位置；所述未矫正图像为根据所述调整后的视场角确定的发生畸变的图像；所述矫正图像为对所述未矫正图像进行矫正后得到的图像；

确定所述投影矩阵中每个元素在通过广角摄像头拍摄的图像中的像素，将确定的像素作为矫正图像中对应像素点的像素，得到矫正图像；

所述显示屏，用于显示所述矫正图像；

所述处理器，具体用于：

根据所述调整后的视场角，确定矫正图像中像素点对应的入射角；

通过预设的入射角与像高的对应关系，确定未矫正图像中像素点对应的像高；所述像高为像素点的位置与图像中心之间的距离；

根据所述未矫正图像中像素点对应的像高以及预设的第二比值，确定所述矫正图像中相同像素点对应的像高；所述预设的第二比值为所述未矫正图像与所述矫正图像中相同像素点对应的像高之间的比值；

根据所述矫正图像中相同像素点对应的像高，确定所述矫正图像中相同像素点在未矫正图像中的位置；

根据所述矫正图像中相同像素点在未矫正图像中的位置，确定所述调整后的视场角对应的投影矩阵。

2.根据权利要求1所述的终端，其特征在于，所述处理器，具体用于：

根据调整矢量与视场角的对应关系，确定调整指令对应的调整矢量对应的视场角改变值；

将确定出来的视场角改变值和终端的最大视场角之间的差值，作为调整后的视场角。

3.根据权利要求1所述的终端，其特征在于，所述处理器，具体用于：

根据调整后的视场角，确定矫正图像的对角线长度；

根据所述矫正图像的对角线长度，确定所述矫正图像的尺寸；

根据所述矫正图像的尺寸以及终端的分辨率，确定矫正图像中像素点的相对位置；

根据所述像素点的相对位置，确定所述矫正图像中像素点对应的入射角。

4.根据权利要求1～3任一项所述的终端，其特征在于，所述处理器，具体用于：

若所述投影矩阵中元素未超出终端拍摄的图像的尺寸范围，则从所述投影矩阵中元素在终端拍摄的图像中的位置处，提取像素；或

若所述投影矩阵中元素超出终端拍摄的图像的尺寸范围，则将预设像素确定为所述投影矩阵中元素在终端拍摄的图像中的像素。

5.根据权利要求4所述的终端，其特征在于，所述处理器，具体用于：

若所述投影矩阵中元素未在终端拍摄的图像中的像素点的位置上，则根据在终端拍摄的图像中与所述投影矩阵中元素相邻的像素点的像素，确定所述投影矩阵中元素在终端拍摄的图像中的像素。

6.一种图像拍摄方法，其特征在于，应用于终端，所述方法包括：

响应用户在终端上输入的调节指令，根据所述调节指令对应的调整矢量确定出调整后的视场角；所述调整矢量包括调整量和调整方向；

确定所述调整后的视场角对应的投影矩阵；所述投影矩阵中的元素表示矫正图像中对应的像素点在未矫正图像中的位置；所述未矫正图像为根据所述调整后的视场角确定的发生畸变的图像；所述矫正图像为对所述未矫正图像进行矫正后得到的图像；

确定所述投影矩阵中每个元素在通过广角摄像头拍摄的图像中的像素，将确定的像素作为矫正图像中对应像素点的像素，得到矫正图像；

在所述终端的显示屏上显示所述矫正图像；

所述确定所述调整后的视场角对应的投影矩阵，包括：

根据所述调整后的视场角，确定矫正图像中像素点对应的入射角；

通过预设的入射角与像高的对应关系，确定未矫正图像中像素点对应的像高；所述像高为像素点的位置与图像中心之间的距离；

根据所述未矫正图像中像素点对应的像高以及预设的第二比值，确定所述矫正图像中相同像素点对应的像高；所述预设的第二比值为所述未矫正图像与所述矫正图像中相同像素点对应的像高之间的比值；

根据所述矫正图像中相同像素点对应的像高，确定所述矫正图像中相同像素点在未矫正图像中的位置；

根据所述矫正图像中相同像素点在未矫正图像中的位置，确定所述调整后的视场角对应的投影矩阵。

7.根据权利要求6所述的图像拍摄方法，其特征在于，所述根据所述调节指令对应的调整矢量确定出调整后的视场角，包括：

根据调整矢量与视场角的对应关系，确定调整指令对应的调整矢量对应的视场角改变值；

将确定出来的视场角改变值和终端的最大视场角之间的差值，作为调整后的视场角。

8.根据权利要求6所述的图像拍摄方法，其特征在于，所述根据所述调整后的视场角，确定未矫正图像中像素点对应的入射角，包括：

根据调整后的视场角，确定矫正图像的对角线长度；

根据所述矫正图像的对角线长度，确定所述矫正图像的尺寸；

根据所述矫正图像的尺寸以及终端的分辨率，确定矫正图像中像素点的相对位置；

根据所述像素点的相对位置，确定所述矫正图像中像素点对应的入射角。

Images