CN104915919B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

提供能够以少的处理量以及存储器消耗量来进行图像的变形的图像处理装置。一种对所输入的图像的至少一部分进行变形的图像处理装置，具有：图像取得部件，取得输入图像；目的对象确定部件，确定所述输入图像中包含的变形对象的目的对象；图存储部件，存储定义了二维平面中的像素的移动量的图即移动量图；图变形部件，使所述移动量图对准所述变形对象的目的对象的形状而变形；以及图像变形部件，基于所述变形后的移动量图，决定与所述目的对象对应的像素的移动量，使该像素移动，从而进行图像的变形。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及使图像的一部分变形的图像处理装置。

背景技术

近年，搭载了用于更美丽地对被摄体进行拍照的功能的数字照相机、具有对所拍摄的图像更美丽地进行加工的功能的软件正在普及。这样的功能之一存在使图像的一部分变形的功能。若使用该功能，则能够例如将照片拍到的人物的面部或嘴校正为较小，或将眼睛校正为较大。

关于以不对观赏该图像的人带来不协调感的方式使图像的一部分变形的方法，开发了各种方法。例如，在专利文献1所述的图像变形装置中，将图像中的想要校正的区域(例如人的面部等)以栅格进行分割，按每个栅格算出像素的移动量和移动方向，从而进行图像的变形。

现有技术文献

专利文献

专利文献1：日本专利第5240795号公报

在专利文献1所述的装置中，在存储器空间中暂时展开图像数据，利用三维样条插值(spline interpolation)，按每个栅格算出校正的程度，从而进行图像的变形处理。另一方面，在将使图像变形的功能搭载于便携电话等便携式设备的情况下，由于存储器容量或处理速度的限制，难以展开大量的数据而进行复杂的运算的情况较多。

发明内容

本发明是考虑上述的课题而完成的，其目的在于，提供能够以少的处理量以及存储器消耗量来进行图像的变形的图像处理装置。

本发明所涉及的图像处理装置是通过使图像的至少一部分变形，从而使该图像中包含的对象物(以下，目的对象(object))变形为期望的形状的装置。

具体而言，本发明的第一方式所涉及的图像处理装置是对所输入的图像的至少一部分进行变形的图像处理装置，其特征在于，具有：图像取得部件，取得输入图像；目的对象确定部件，确定所述输入图像中包含的变形对象的目的对象；图存储部件，存储定义了二维平面中的像素的移动量的图即移动量图；图变形部件，使所述移动量图对准所述变形对象的目的对象的形状而变形；以及图像变形部件，基于所述变形后的移动量图，决定与所述目的对象对应的像素的移动量，使该像素移动，从而进行图像的变形。

目的对象确定部件是确定图像中包含的变形对象的目的对象的部件。变形对象的目的对象，例如在被摄体为人的面部的情况下，也可以是面部整体，也可以是眼睛或嘴等。此外，变形对象的目的对象也可以是人的面部以外。此外，变形对象的目的对象也可以自动地被检测，也可以由用户指定。

移动量图是定义了像素的移动量的二维的图。本发明所涉及的图像处理装置中，图变形部件使移动量图对准目的对象的形状而变形，基于变形后的移动量图来决定像素的移动量。根据该结构，即使不进行复杂的运算，也能够仅通过决定图与像素之间的对应关系而求得使目的对象变形所需的像素的移动量。即，能够较低地抑制用于进行图像的变形的处理成本。

此外，也可以是本发明所涉及的图像处理装置的特征在于，还具有：移动方向设定部件，针对所述变形对象的目的对象，设定使像素移动的方向，所述图像变形部件使对象的像素向所述设定的方向移动。

通过移动方向设定部件设定使像素移动的方向，能够指定目的对象的变形方法。例如，在设为“使与人物的面部对应的像素向面部的中心移动”的情况下，能够将作为被摄体而拍到的人物的面部校正为较小。使像素移动的方向也可以从用户取得，也可以自动地决定。例如，也可以估计目的对象的中心点，使像素向该中心点移动。

此外，也可以是其特征在于，所述目的对象确定部件提取与变形对象的目的对象对应的控制点，所述图变形部件基于所述控制点的位置，使所述移动量图变形。

控制点是对进行变形的目的对象的形状附加特征的点，典型地说，是表示目的对象的边缘或角的点，但不限于此。通过使用控制点，能够使移动量图变形为与变形对象的目的对象的形状更贴合的形状。

此外，也可以是其特征在于，所述图像变形部件进行所述变形后的移动量图与所述变形对象的目的对象之间的位置对准，决定与像素对应的移动量。

通过对准变形后的移动量图与变形对象的目的对象之间的位置，从而能够将应该移动的像素与其移动量建立对应。另外，在图像具有的像素间距与图的间距不一致的情况下，也可以通过对其中一个进行放大或者缩小，从而使间距一致。

此外，也可以是其特征在于，所述移动方向设定部件通过在所述图像上设定目标点来设定使像素移动的方向，所述移动量图具有与所述目标点对应的点的坐标，所述图像变形部件使用所述目标点，进行变形后的移动量图与所述变形对象的目的对象之间的位置对准。

移动量图的形状与变形对象的目的对象的形状不一定一致。因此，作为用于对准移动量图与目的对象之间的位置的公共的坐标，能够利用目标点。

此外，也可以是其特征在于，所述图存储部件存储与多个变形对象的目的对象的种类和/或多个变形方法对应的多个移动量图，所述图变形部件以及图像变形部件选择多个移动量图之中的、与变形对象的目的对象的种类和/或变形方法对应的移动量图来进行处理。

像这样，也可以使图存储部件按每个目的对象的种类或者形状、变形的方法分别存储对应的多个移动量图，使用适合的移动量图来进行处理。通过这样，能够得到更自然的变形结果。

另外，本发明能够特定为包含上述部件的至少一部分的图像处理装置。此外，本发明还能够特定为图像处理方法。此外，本发明能够特定为使计算机执行上述图像处理方法的程序。只要不产生技术的矛盾，则能够将上述处理或部件自由组合而实施。

根据本发明，能够提供能够以少的处理量以及存储器消耗量来进行图像的变形的图像处理装置。

附图说明

图1是实施方式所涉及的摄像装置的***结构图。

图2是第一实施方式中使用的移动量图的例子。

图3是进行变形的对象图像的例子。

图4是表示控制点和目标点的配置位置的图。

图5是说明移动量图的变形方法的第一图。

图6是说明移动量图的变形方法的第二图。

图7是说明移动量图的变形方法的第三图。

图8是说明像素的移动方法的图。

图9是第一实施方式所涉及的摄像装置的处理流程图。

图10是第二实施方式中使用的移动量图的例子。

标号说明

10 摄像装置

11 摄像部

12 提取部

13 移动量图存储部

14 图像变形部

15 输入输出部

16 存储器

具体实施方式

(第一实施方式)

以下，参照附图说明本发明的优选实施方式。

第一实施方式所涉及的摄像装置是具有从所拍摄到的图像检测人的面部，对该面部和面部中包含的器官的大小进行校正的功能的摄像装置。例如，能够将作为被摄体的人物的面部或嘴的大小校正为较小。图1是第一实施方式所涉及的摄像装置10的***结构图。

摄像装置10由摄像部11、提取部12、移动量图存储部13、图像变形部14、输入输出部15、存储器16构成。

摄像部11是拍摄图像的部件，典型地说，由光学***、摄像元件、以及其接口构成。只要能够拍摄图像，则摄像部11可以由任意设备构成。

提取部12是从由摄像部11拍摄到的图像提取进行变形的对象(以下，目的对象)的部件。具体而言，在从图像中确定了包含人物的面部的区域之后，提取该区域中包含的、与眼睛或嘴等的器官对应的特征点。所提取到的特征点与器官建立对应地存储。

移动量图存储部13是存储定义了像素的移动量的二维的图(移动量图)的部件。

图2是移动量图存储部13中存储的移动量图的例子。图201的各格子中写入的数值是表示像素的移动量的值。在本实施方式中，使用像素数作为表示像素的移动量的值，但移动量不限定于特定的单位。例如，也可以是与移动量成比例的系数。

位于图201的中央的黑圆是成为使像素移动的目标的点(以下，目标点)。目标点是为了决定各像素的移动方向而使用的点。具体而言，在本实施方式中，各像素的移动方向被决定为从该像素的位置朝向目标点的方向。此外，图201中的虚线202是将移动量的峰以图形描绘的线(以下，移动量峰)。即，图201是与“使处于圆周的附近的像素向圆的中心移动”这样的变形对应的图。图201由以二维排列表示的移动量和目标点的坐标构成。

另外，移动量峰在对移动量图进行变形时使用。关于移动量峰的信息，也可以由移动量图本身持有，也可以根据移动量的排列而每次求出。

图像变形部14是在基于提取部12提取到的特征点和移动量图存储部13中存储的移动量图，决定了构成图像的像素的移动量和移动方向之后，进行图像的变形的部件。具体的方法如后述。

此外，输入输出部15是接受由用户进行的输入操作，对用户提示信息的部件。具体而言，由触摸面板及其控制部件、液晶显示器及其控制部件构成。触摸面板以及液晶显示器在本实施方式中由一个触摸面板显示器构成。

存储器16是存储进行了变形后的图像的部件。存储器16也可以是闪速存储器等非易失存储器，也可以是固定盘驱动器等。

以上说明的各部件的控制通过CPU等处理装置执行控制程序来实现。此外，该控制功能也可以通过FPGA(现场可编程门阵列，Field Programmable Gate Array)、ASIC(专用集成电路，Application Specific Integrated Circuit)等来实现，也可以通过它们的组合来实现。

接着，说明对拍摄图像进行变形的方法。

图3是由摄像部11拍摄到的图像的例子。第一实施方式所涉及的摄像装置10是具有从拍摄图像检测人物的嘴，将该嘴的大小校正为较小的功能的摄像装置。使用图3所示的图像，说明对拍摄图像进行变形的方法。

(1)变形对象目的对象的确定处理

最初，说明提取部12进行的处理。提取部12从摄像部11拍摄到的图像检测面部，确定进行变形的目的对象的处理。具体而言，执行以下的四个步骤。另外，设为图像的取得已完成。

(1－1)面部区域的检测

作为最初的步骤，首先，从所取得的图像检测面部存在的区域(面部区域301)。由于检测图像中包含的面部的方法是公知的，所以省略详细的说明。

(1－2)面部中包含的器官的检测

接着，从所检测到的面部区域301的内部检测眼睛、鼻子、嘴这样的器官。只要检测对象的器官是面部中包含的器官，则可以是任何器官。例如，也可以是外眼角、大眼角、嘴角、颌、鬓角等。此外，也可以将面部本身作为检测对象，也可以检测多个器官。在本例中，由于将嘴作为对象来进行变形处理，所以提取嘴存在的区域(嘴区域302)。

另外，在器官的检测中，能够使用公知的方法。例如，也可以利用基于模板图像的模式匹配，也可以利用基于明暗差的模式匹配。此外，也可以提取特征点，基于该特征点的位置关系来确定器官。

(1－3)控制点的配置

接着，提取部12在所提取到的嘴区域302中配置控制点。控制点是成为进行变形时的基准的点，优选是对对象器官的形状附加特征的点。例如，在对象器官为眼睛或嘴的情况下，也可以在检测到外边缘之后，将控制点配置在该外边缘上。此外，也可以检测器官的角(例如外眼角或大眼角、嘴唇的两端等)而配置控制点。

图4是放大了嘴区域302的图。在此，设为配置图4所示的控制点401A～D。另外，在检测器官时已提取特征点的情况下，也可以将该特征点的位置设为控制点的位置。

(1－4)目标点的配置

接着，提取部12在图像上配置目标点。目标点是表示使图像变形时的、像素的移动方向的点。在本实施方式中，为了将图像中包含的人物的嘴校正为较小，如标号402所示那样将目标点配置在嘴的中心。通过这样，能够使与嘴对应的像素向嘴的中心方向移动，作为结果，能够将嘴的大小校正为较小。

另外，目标点的位置也可以基于控制点的位置关系而求得。例如，也可以将通过控制点401A～D的椭圆的重心设为目标点。此外，在检测器官时已提取特征点的情况下，也可以基于该特征点的位置来决定目标点的位置。例如，在对象的器官为眼睛的情况下，也可以在瞳孔的中心设定目标点。

另外，在前述的例子中，提取部12自动提取包含人物的嘴的区域，进行控制点以及目标点的配置，但控制点以及目标点的配置也可以由用户手动进行。此外，也可以将控制点和目标点的其中一个或双方以手动的方式来配置。在将控制点或目标点以手动的方式配置的情况下，也可以在触摸面板显示器上显示图像，指定期望的位置。此外，也可以是用户仅指定期望的器官，仅针对所指定的器官进行控制点或目标点的配置。

(2)图像的变形处理

接着，说明图像变形部14进行的处理。图像变形部14基于移动量图，进行对拍摄图像进行变形的处理。具体而言，执行以下的四个步骤。

(2－1)基于控制点和目标点的移动量图的变形

首先，取得移动量图存储部13中存储的移动量图，将该移动量图变形为适于变形对象的器官的形状。

图2所示的图201是用于对与正圆对应的目的对象进行变形的图，但作为进行变形的对象的嘴不是正圆。因此，对图201的形状进行变形，从而通过以下的过程进行匹配为嘴的形状的处理。

首先，生成通过所配置的全部控制点的椭圆。在图4的例子的情况下，如图5所示，生成通过控制点401A～D的椭圆501。

接着，取得所生成的椭圆的长径L_X和短径L_Y，分别求得与图201中的移动量峰202的直径(设为D_p)的比率。并且，通过其结果得到的比率，使图201向X方向以及Y方向缩小。例如，在L_X/D_p为0.9、L_Y/D_p为0.6的情况下，使图201向X方向缩小90％，向Y方向缩小60％。通过该处理，图201成为图6所示的图601那样的形状。

另外，在本例中生成了通过控制点的椭圆，但不限于椭圆，也可以生成通过控制点的全部或一部分的任意的曲线或者直线。此外，只要能够将移动量图与变形对象的器官的形状对准，就可以使用与例示的方法不同的方法进行变形。

(2－2)移动量图的位置对准

接着，进行变形后的移动量图与进行变形的图像之间的位置对准。具体而言，使图601具有的目标点与图像中设定的目标点的坐标一致，使图601的分辨率与图像的分辨率一致。分辨率的变更能够通过例如双线性采样(Bilinear sampling)、近邻取样(Nearestneighbor sampling)、线性插值等已知的方法来进行。图7是使图601的分辨率与图像的分辨率一致后的例子。

另外，在移动量如本实施方式那样以像素定义的情况下，也可以根据图的变形或分辨率的变更来校正移动量的值。

若进行这样的处理，则进行变形的图像和移动量图中定义的移动量成为以像素单位对应的状态。即，能够得到将变形对象的图像具有的像素移动多少就可以这样的信息。

(2－3)使用移动量图的、对象图像的像素的移动

接着，使用移动量图，进行使对象图像的像素移动的处理。具体而言，关于进行变形的对象图像的一个个像素，判定是否通过移动量图已分配移动量，使用该移动量进行像素的移动。

图8是说明像素的移动方法的图。在此，设为对像素801分配“5”这样的移动量，对像素802分配“3”这样的移动量。首先，说明像素801。图像变形部14将作为处理对象的像素的像素801与目标点以直线连接，取得在该直线上且处于比处理对象的像素更外方的像素的像素值。在本例中，取得与远离5个像素量的距离而位于外方的点803对应的像素值，设为与变更后的像素801对应的像素值。此外，在对像素802进行处理的情况下，取得与远离3个像素量的距离而位于外方的点804对应的像素值，设为与变更后的像素802对应的像素值。

另外，在移动量为0的情况下，使用原始的像素值。

若对全部像素进行这样的处理，则能够生成变形后的图像。

另外，变形后的图像也可以在新确保存储器区域之后生成，也可以对已有的图像覆写像素值而生成。在使用后者的方法的情况下，考虑之后是否参照该像素而决定像素的处理顺序即可。

此外，存在取得像素值的对象的点803以及点804不一定对应于特定的像素的情况(位于像素和像素的中间的情况等)。在这样的情况下，通过从周边的像素对像素值进行插值而取得像素值。插值处理能够通过例如双线性插值等已知的方法来进行。

此外，像素的移动不限于例示的方法，也可以使用其他公知的变形(Morphing)方法来进行。

接着，说明用于实现以上说明的功能的处理流程图。

图9是第一实施方式所涉及的摄像装置10进行的处理的流程图。该处理通过用户的操作(例如，拍摄图像的操作)而开始。

首先，在步骤S11中，摄像部11拍摄图像。

接着，在步骤S12中，提取部12从所拍摄到的图像检测包含人的面部的区域(面部区域)，检测该面部区域中包含的器官(在本实施方式中为嘴)。在本步骤中，进行(1－1)以及(1－2)中说明的处理。另外，面部、器官的判别也可以使用模式匹配等进行，也可以在检测到多个特征点之后，使用该特征点的位置关系来进行。

在步骤S13中，提取部12对对象的器官配置控制点和目标点。在本步骤中，进行(1－3)以及(1－4)中说明的处理。在本实施方式中，在嘴的外边缘配置四个控制点，在嘴的中心配置目标点。

接着，在步骤S14中，图像变形部14在从移动量图存储部13取得移动量图，基于所设定的控制点进行了变形之后，进行位置对准。在本步骤中，进行(2－1)以及(2－2)中说明的处理。

接着，在步骤S15中，图像变形部14使用变形后的移动量图，使对象图像中包含的像素移动，生成变形后的图像。在本步骤中，进行(2－3)中说明的处理。变形后的图像被存储至存储器16，提供给用户。

如上说明，第一实施方式所涉及的摄像装置通过在进行图像的变形时，使预先存储的移动量图变形，从而决定像素的移动量和移动方向。在以往的方法中，由于按每个像素或栅格这样的移动对象算出校正的程度，所以需要进行复杂的计算，但在本实施方式所涉及的摄像装置中，由于能够以简单的处理来进行图像的变形，所以能够以较少的处理量来实现图像的变形。此外，由于像素的参照依赖关系简单，所以通过对处理顺序下工夫，即使不使用缓冲用的存储器，也能够取得变形后的图像。

(第二实施方式)

在第一实施方式中，使移动量图存储部13存储单一的移动量图。相对于此，第二实施方式是使移动量图存储部13存储多个移动量图，选择适合于对象的移动量图来进行图像变形处理的实施方式。

第二实施方式所涉及的摄像装置的结构与第一实施方式相同，所以省略详细的说明，仅说明不同点。

在第二实施方式中，使移动量图存储部13按每个变形对象的目的对象的种类、变形的方法分别存储对应的多个移动量图。在本实施方式中，使用除了图2所示的图201之外，还使移动量图存储部13存储图10所示的图1001的例子来进行说明。图1001是与“使位于水平方向的像素靠近中心线1002的方向”这样的变形对应的移动量图。即，图1001的各格子中写入的数值是表示将各像素沿着中心线1002的垂线而靠近中心线1002的移动的量的值。通过使用了图1001的变形，能够得到例如嘴的横向的大小不变而使嘴唇变薄这样的效果。

第二实施方式在步骤S13中，用户通过输入输出部15(触摸面板)指定像素的移动方向来代替提取部12配置目标点。在此，设为通过描绘来指定点或直线作为像素的移动方向。另外，指定了点的情况下的移动方向是朝向该点的方向，指定了直线的情况下的移动方向是与该直线垂直的方向。基于用户的指定还能够视为变形方法的指定。

在步骤S14中，除了第一实施方式中说明的处理之外，还追加从所存储的多个移动量图选择要使用的图的处理。例如，在由用户指定了点的情况下选择图201，在指定了直线的情况下选择图1001。

对移动量图进行变形的处理与第一实施方式相同，但在指定了直线(以下，目标线)作为像素的移动方向的情况下，也可以附加根据该目标线的朝向，对图1001进行旋转的处理。此外，在图10的例子的情况下，移动量峰以标号1003以及1004所示的直线表示。对该移动量图进行变形时的变形量也可以设为该移动量峰与图像中配置的控制点重合的值。

此外，移动量图的位置对准在第一实施方式中使用目标点来进行，但在第二实施方式中使用目标线来进行。

像这样，在第二实施方式中，根据目的对象的变形方法，从多个移动量图选择要使用的移动量图。由此，用户能够选择多个变形方法。

另外，在第二实施方式中，在像素的移动方向由点指定的情况和由直线指定的情况下，切换要使用的移动量图，但要使用的移动量图也可以通过其他方法来选择。例如，也可以由用户指定变形的强度，根据该强度而选择不同的移动量图。此外，在能够选择变形对象的目的对象的情况下，也可以根据所选择的目的对象的种类或形状，选择适合的移动量图。

(变形例)

上述的实施方式只是一例，本发明能在不脱离其主旨的范围内进行适当变更而实施。

例如，在实施方式的说明中，以具有摄像部的摄像装置为例进行了说明，但图像不一定需要经由照相机取得，例如，也可以从装置的外部经由有线或者无线网络而取得。此外，也可以取得盘驱动器或闪速存储器等存储装置中存储的图像。像这样，本发明也可以作为对所输入的图像进行变形的图像处理装置而实施。此外，也可以作为图像处理软件而实施。

此外，在实施方式的说明中，列举了检测人的面部，使面部中包含的器官缩小的例子，但变形对象也可以不一定是人的面部。此外，在实施方式的说明中，列举了通过将使像素移动的目标配置在图的中心侧而缩小目的对象的例子，但也可以通过将使像素移动的目标配置在图的外侧而放大目的对象。此外，也可以在将目标点配置在图的中心侧的状态下，通过将移动量设为负值而放大目的对象。

此外，在实施方式的说明中，作为移动量图的例子，列举了图201以及图1001，但只要能够定义像素的移动量和移动方向，移动量图也可以是其他任何形式。此外，使像素移动的方向也可以由点和线以外定义。

Claims (8)

1.一种图像处理装置，对所输入的图像的至少一部分进行变形，其特征在于，具有：

图像取得部件，取得输入图像；

目的对象确定部件，确定所述输入图像中包含的变形对象的目的对象；

图存储部件，存储定义了二维平面中的各个像素的移动量的二维的图即移动量图；

图变形部件，使所述移动量图对准所述变形对象的目的对象的形状而变形；以及

图像变形部件，基于所述变形后的移动量图，决定与所述目的对象对应的像素的移动量，使该像素移动，从而进行图像的变形。

2.如权利要求1所述的图像处理装置，其特征在于，还具有：

移动方向设定部件，针对所述变形对象的目的对象，设定使像素移动的方向，

所述图像变形部件使对象的像素向所述设定的方向移动。

3.如权利要求2所述的图像处理装置，其特征在于，

所述目的对象确定部件提取与变形对象的目的对象对应的控制点，

所述图变形部件基于所述控制点的位置，使所述移动量图变形。

4.如权利要求2或3所述的图像处理装置，其特征在于，

所述图像变形部件进行所述变形后的移动量图与所述变形对象的目的对象之间的位置对准，决定与像素对应的移动量。

5.如权利要求4所述的图像处理装置，其特征在于，

所述移动方向设定部件通过在所述图像上设定目标点来设定使像素移动的方向，

所述移动量图具有与所述目标点对应的点的坐标，

所述图像变形部件使用所述目标点，进行变形后的移动量图与所述变形对象的目的对象之间的位置对准。

6.如权利要求1所述的图像处理装置，其特征在于，

所述图存储部件存储与多个变形对象的目的对象的种类和/或多个变形方法对应的多个移动量图，

所述图变形部件以及图像变形部件选择多个移动量图之中的、与变形对象的目的对象的种类和/或变形方法对应的移动量图来进行处理。

7.一种图像处理方法，由对所输入的图像的至少一部分进行变形的图像处理装置进行，其特征在于，包含：

图像取得步骤，取得输入图像；

目的对象确定步骤，确定所述输入图像中包含的变形对象的目的对象；

图变形步骤，使定义了二维平面中的各个像素的移动量的二维的图即移动量图对准所述变形对象的目的对象的形状而变形；以及

图像变形步骤，使用所述变形后的移动量图，决定与所述目的对象对应的像素的移动量，使该像素移动，从而进行图像的变形。

8.一种存储了图像处理程序的存储介质，其特征在于，

所述图像处理程序使对所输入的图像的至少一部分进行变形的图像处理装置执行以下步骤：

图像取得步骤，取得输入图像；

目的对象确定步骤，确定所述输入图像中包含的变形对象的目的对象；

图变形步骤，使定义了二维平面中的各个像素的移动量的二维的图即移动量图对准所述变形对象的目的对象的形状而变形；以及

图像变形步骤，使用所述变形后的移动量图，决定与所述目的对象对应的像素的移动量，使该像素移动，从而进行图像的变形。