CN107545536A - 一种智能终端的图像处理方法及图像处理*** - Google Patents
一种智能终端的图像处理方法及图像处理*** Download PDFInfo
- Publication number
- CN107545536A CN107545536A CN201710705349.9A CN201710705349A CN107545536A CN 107545536 A CN107545536 A CN 107545536A CN 201710705349 A CN201710705349 A CN 201710705349A CN 107545536 A CN107545536 A CN 107545536A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- image processing
- reference object
- described image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 claims abstract description 17
- 210000000056 organ Anatomy 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 21
- 230000001568 sexual effect Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 17
- 230000004069 differentiation Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 37
- 230000006870 function Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 235000016838 Pomo dAdamo Nutrition 0.000 description 7
- 244000003138 Pomo dAdamo Species 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 7
- 210000004709 eyebrow Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241001300078 Vitrea Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003255 anti-acne Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种智能终端的图像处理方法及图像处理***,其中,图像处理方法包括以下步骤:开启所述智能终端的图像处理模式;获取所述智能终端存储的一包含拍摄对象的图像;设定所述拍摄对象的特征信息与所述图像的图像处理模式的对应关系;识别并获取所述拍摄对象的特征信息;根据与所述拍摄对象的特征信息对应的所述图像处理模式对所述图像进行图像处理;所述拍摄对象的特征信息包括性别、年龄、肤色、脸型中的一种或多种。可以通过性别、年龄、肤色、脸型等区分适用不同的美颜美化效果,满足用户对图像美颜美化的多样化、个性化的需求。
Description
技术领域
本发明涉及智能终端领域,尤其涉及一种智能终端的图像处理方法及图像处理***。
背景技术
由于智能终端携带的便利性和智能终端摄像头像素的大大提高,越来越多的用户更倾向于通过智能终端进行拍照,在某种程度上,智能终端已经逐渐取代相机成为当前拍照的主流工具。而随着智能终端触摸屏技术的广泛应用,相机应用的美颜与美化功能也越来越受到人们的喜欢,美颜与美化功能成为了相机应用中的一种标配功能,可见美颜与美化功能的需求量之大。
目前,智能终端相机的美颜美化功能的通常算法是进行人脸皮肤区域检测,识别人脸皮肤区域,将人脸皮肤区域使用高斯算法等进行模糊,然后进行高光,加亮等操作。这种美颜美化的方法简单易行,但是较为单一,对所有用户采用统一算法,因而无法满足用户对图像美颜美化的多样化、个性化的需求。此外,很多智能终端的前置摄像头默认的拍照模式均为美颜美化模式,即在自拍时,美颜美化模式能够对自拍出的照片进行自动美颜美化,如对皮肤进行磨皮、祛痘、美白等,其受到了广大女性用户的青睐,但对于男性用户来说,使用美颜美化模式自拍出的照片可能会美颜美化过度,降低男性用户的男子气概。因此,如果在自拍时未关闭美颜美化模式,男性用户在自拍出被美颜美化过的照片后需要手动关闭美颜美化模式并重新自拍,之后,若女性用户接着自拍,美颜美化模式处于关闭状态,女性用户在自拍出未被没美颜美化过的照片后需要手动开启美颜美化模式并重新自拍,即至少自拍两次才可能自拍出满足用户要求的照片。可见,当前的拍照方式还存在拍照效率低的问题。
因此,本发明提供了一种智能终端的图像处理方法及图像处理***,不仅可以通过性别区分美颜美化效果,还可根据年龄、肤色、脸型等区分适用不同的美颜美化效果,满足用户对图像美颜美化的多样化、个性化的需求。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供一种智能终端的图像处理方法及图像处理***。
本发明公开了一种智能终端的图像处理方法,包括以下步骤:
开启所述智能终端的图像处理模式;
获取所述智能终端存储的一包含拍摄对象的图像;
设定所述拍摄对象的特征信息与所述图像的图像处理模式的对应关系;
识别并获取所述拍摄对象的特征信息;
根据与所述拍摄对象的特征信息对应的所述图像处理模式对所述图像进行图像处理;
所述拍摄对象的特征信息包括性别、年龄、肤色、脸型中的一种或多种。
优选地,还包括以下步骤:
建立一模型数据库;
发送一是否存储所述图像处理模式的选择请求;
当所述选择请求的反馈为存储所述图像处理模式时,将所述图像处理模式存储于所述模型数据库。
优选地,还包括以下步骤:
获取所述智能终端存储的另一包含所述拍摄对象的图像;
发送一是否使用存储于所述模型数据库的所述图像处理模式的选择请求;
当所述选择请求的反馈为使用存储于所述模型数据库的所述图像处理模式时,根据所述图像处理模式对所述另一包含所述拍摄对象的图像进行图像处理。
优选地,还包括以下步骤:
启动所述智能终端的摄像头,捕捉所述拍摄对象;
判断所述摄像头捕捉到的所述拍摄对象的性别;
当所述性别为男性时,关闭所述智能终端的图像处理模式。
优选地,判断所述摄像头捕捉到的所述拍摄对象的性别的步骤包括:
检测所述摄像头捕捉到的所述拍摄对象的人脸区域;
检测所述人脸区域的至少一个局部器官区域;
基于二维主成分分析法,提取所述人脸区域及各个所述局部器官区域的特征;
根据所述人脸区域及各个所述局部器官区域的特征,利用二维线性判别式分析法进行性别分类,得到所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果;
对所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果进行融合,得到最终的性别识别结果。
本发明还公开了一种智能终端的图像处理***,包括模式启动模块、图像获取模块、模式设定模块、图像识别模块、图像处理模块;
所述模式启动模块,开启所述智能终端的图像处理模式;
所述图像获取模块,获取所述智能终端存储的一包含拍摄对象的图像;
所述模式设定模块,设定所述拍摄对象的特征信息与所述图像的图像处理模式的对应关系,所述拍摄对象的特征信息包括性别、年龄、肤色、脸型中的一种或多种;
所述图像识别模块,与所述图像获取模块通信连接,识别并获取所述拍摄对象的特征信息;
所述图像处理模块,与所述图像获取模块、模式设定模块、图像识别模块通信连接,根据与所述拍摄对象的特征信息对应的所述图像处理模式对所述图像进行图像处理。
优选地,还包括模型数据库模块、选择请求模块;
所述选择请求模块,与所述图像处理模块通信连接,发送一是否存储所述图像处理模式的选择请求;
所述模型数据库模块,与所述选择请求模块通信连接,当所述选择请求模块的反馈为存储所述图像处理模式时,将所述图像处理模式存储于所述模型数据库模块中。
优选地,所述图像获取模块,获取所述智能终端存储的另一包含所述拍摄对象的图像;
所述选择请求模块,与所述图像获取模块通信连接,发送一是否使用存储于所述模型数据库模块的所述图像处理模式的选择请求;
所述图像处理模块,当所述选择请求模块的反馈为使用存储于所述模型数据库模块的所述图像处理模式时,根据所述图像处理模式对所述另一包含所述拍摄对象的图像进行图像处理。
优选地,还包括图像拍摄模块、性别判断模块、模式关闭模块;
所述图像拍摄模块,启动所述智能终端的摄像头,捕捉所述拍摄对象;
所述性别判断模块,与所述图像拍摄模块通信连接,判断所述摄像头捕捉到的所述拍摄对象的性别;
所述模式关闭模块,与所述性别判断模块通信连接,当所述性别为男性时,关闭所述智能终端的图像处理模式。
优选地,所述性别判断模块包括人脸检测单元、局部检测单元、特征提取单元、性别分类单元、融合结果单元;
所述人脸检测单元,检测所述摄像头捕捉到的所述拍摄对象的人脸区域;
所述局部检测单元,与所述人脸检测单元通信连接,检测所述人脸区域的至少一个局部器官区域;
所述特征提取单元,与所述人脸检测单元、局部检测单元通信连接,基于二维主成分分析法,提取所述人脸区域及各个所述局部器官区域的特征;
所述性别分类单元,与所述特征提取单元通信连接,根据所述人脸区域及各个所述局部器官区域的特征,利用二维线性判别式分析法进行性别分类,得到所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果;
所述融合结果单元,与所述性别分类单元通信连接,对所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果进行融合,得到最终的性别识别结果。
采用了上述技术方案后,与现有技术相比,具有以下有益效果:
1.本发明提供的图像处理方法及图像处理***,不仅可以通过性别区分美颜美化效果,还可根据年龄、肤色、脸型等区分适用不同的美颜美化效果,满足用户对图像美颜美化的多样化、个性化的需求。
附图说明
图1为符合本发明一优选实施例的图像处理方法的流程示意图;
图2为如图1的图像处理方法的存储图像处理模式的流程示意图;
图3为如图2的图像处理方法的使用存储的图像处理模式的流程示意图;
图4为符合本发明一优选实施例的区分性别的图像处理方法的流程示意图;
图5为如图4的图像处理方法的区分性别的流程示意图;
图6为符合本发明一优选实施例的图像处理***的结构示意图。
附图标记:
100-图像处理***;
11-模式启动模块;
12-图像获取模块;
13-模式设定模块;
14-图像识别模块;
15-图像处理模块;
16-模型数据库模块;
17-选择请求模块;
18-图像拍摄模块;
19-性别判断模块;
20-模式关闭模块。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一”、“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和 /或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
在本发明的描述中,除非另有规定和限定,对于本领域的普通技术人员而言,可以根据具体情况理解术语的具体含义。
在后续的描述中,使用用于表示元件的诸如“模块”、“单元”等的后缀仅为了有利于本发明的说明,其本身并没有特定的意义,仅表示***的一部分。因此,“模块”与“单元”可以混合地使用。
参考图1,本发明的图像处理方法,包括以下步骤:
S100:开启所述智能终端的图像处理模式;
S200:获取所述智能终端存储的一包含拍摄对象的图像;
S300:设定所述拍摄对象的特征信息与所述图像的图像处理模式的对应关系,所述拍摄对象的特征信息包括性别、年龄、肤色、脸型中的一种或多种;
S400:识别并获取所述拍摄对象的特征信息;
S500:根据与所述拍摄对象的特征信息对应的所述图像处理模式对所述图像进行图像处理。
本发明提供的图像处理方法,可以应用于智能终端,智能终端可以以各种形式来实施。例如,本发明中描述的智能终端可以包括诸如移动电话、智能电话、笔记本电脑、 PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、智能手表等的移动终端,以及诸如数字TV、台式计算机等的固定终端。下面,假设智能终端为智能手机,对本发明进行说明。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
本发明提供的图像处理方法,对图片进行处理、修改,通常是通过图片处理软件,对图片进行调色、抠图、合成、明暗修改、彩度和色度的修改、添加特殊效果、编辑、修复等等。例如,人像美颜、图片美化等,美颜处理的方法包括但不限于美白、磨皮、瘦脸、放大、拉长等,美化处理的方法包括但不限于裁剪、倾斜、各种滤镜等。当然,本领域的技术人员也可以根据实际需要设置其他的图像处理方法。下面以美颜为例,对本发明进行说明。
本发明提供的图像处理方法,既可以应用于用户使用智能手机拍摄图像过程中的实时美颜处理,也可以应用于用户使用智能手机拍摄图像后的后期美颜处理,也可以应用于用户下载或保存图像的美颜处理。
步骤S300:设定所述拍摄对象的特征信息与所述图像的图像处理模式的对应关系,所述拍摄对象的特征信息包括性别、年龄、肤色、脸型中的一种或多种。
本发明的图像处理方法,可以根据性别、年龄、肤色、脸型等特征区分适用不同的美颜效果。具体地,可以将不同年龄、性别、肤色、脸型等特征组合构成不同的肖像模型,对不同的肖像模型进行不同的美颜效果的试验,匹配相应的最合适的美颜效果,将不同的肖像模型与相应的美颜效果一一对应,这样,每一种年龄、性别、肤色、脸型等特征或其组合将对应一种最合适的美颜效果,如25岁、男、肤色黄色、瓜子脸,在多次试验下略微调整亮度即可显现最好的美颜效果,则该种特征组合对应该种美颜效果,当检测到该种特征组合时,使用该种美颜效果。
S400:识别并获取所述拍摄对象的特征信息;
对于性别、年龄、肤色、脸型等不同的特征,其识别与获取的方式各有不同。
-性别
对于性别的识别,可以采用将人脸上的局部器官(例如五官)特征分别训练的分类器和人脸整体特征的分类器相结合的分类器融合方式,构造融合分类器来进行性别识别,从而提高识别准确率;并采用2DPCA的方法对图像进行降维,采用2DLDA作为分类方法,在保证检测精度的基础上,减小了运算量,提升了训练和检测速度。具体地:
(1)对图像进行预处理:对图像依次进行灰度化、直方图均衡化以及中值滤波处理。
灰度化:采用加权平均值法。图像一般可以分为彩色图像和灰度图像,彩色图像的像素点是由R(红色)、G(绿色)、B(黑色)三种颜色组成,灰度图像只含有亮度信息,不含彩色信息,例如彩色图像的灰度化,常采用经验式:gray=0.39*R+0.5*G+0.11*B。
直方图均衡化:将各灰度级分量平均布满空间,直方图上表现为由密集的灰度分布变为均匀的分布,从而增强图像的对比度,可以降低光线对图像的干扰,使得特征容易提取。
中值滤波:其本质是一种统计排序的滤波器。对于原图像中某点,中值滤波处理过程以该点为中心的邻域内所有像素的统计排序中值为该点的响应。中值滤波对某些类型的随机噪声具有较好的降噪能力,与线性平滑滤波相比,其在降低噪声的同时不会引起较高的模糊效应。
(2)人脸区域检测:采用基于级联分类模型的分类器AdaBoost(AdaptiveBoosting) 方法设计分类器,对一张图像进行人脸检测,提取图像中存在的人脸。
大部分运行效率较高的智能算法都是通过提取高效以及利于识别和处理的特征实现的,而Adaboost算法也是一样的,Adaboost是Freund和Schapire在PAC(ProbablyApproximately Correct)模型基础上提出的一种学习模型,它的算法思想是:通过对大量正样本和负样本的学习,通过学习的反馈,弱分类器在不知道先验的训练误差的前提下,自适应的调整错误率以及相应的权重,直到强分类器达到预定的性能,将Adaboost算法应用于人脸检测,同时将Haar特征和Cascade算法和Adaboost算法结合,大大提高检测的速度和检测的精确率。
(3)人脸局部器官区域截取:通过之前的步骤,已经从一张图像中获取了一张人脸图像,先将其尺寸归一化,之后从其中提取至少一个人脸局部器官图像,可以分别提取左眼、右眼、眉毛、嘴巴、鼻子这五官。例如,用于人脸区域中眼睛区域检测的分类器可以由AdaBoost学习算法训练得到,需要注意的是选取样本的问题,正样本为人眼区域图像,而训练负样本则由两部分构成,一部分是除去人眼区域的整幅人脸图像,另一部分是将原图像中人眼区域四周的子窗口图像,用类似的方式可以截取人脸的双眼图像。
(4)特征降维:采用2DPCA(Two-Dimensional Principal Component Analysis,二维主成分分析)的方法。
PCA(Principal Component Analysis)在模式识别和计算机视觉领域是一个经典的特征提取和数据降维的工具,而2DPCA方法是在PCA的基础之上发展起来的一种新型的主成分分析方法,相对于传统的PCA方法,2DPCA是基于二维图像矩阵的,而非一维图像向量。这种处理方法不需要事先把图像转成一维的向量,相当于去除了图像的行向量或列向量的相关性。在2DPCA中,用二维图像矩阵直接构建一个协方差矩阵,求出此协方差矩阵特征值和特征向量,并用对应于最大几个特征值对应的特征向量构建坐标系,然后将每个图像矩阵在这个坐标系上投影,从而得到图像的特征,这种特征受样本个数的影响较小。与PCA构造的协方差矩阵相比,使用2DPCA的协方差矩阵要小很多,其主要优点有:直接地计算训练样本的写法差矩阵;计算特征值特征向量所需要的时间比较少。
(5)模式分类:本发明采用2DLDA(Two-Dimensional Linear DiscriminationAnalysis,二维线性判别分析)方法。
2DLDA也是一种直接基于二维图像矩阵的方法,分别计算二维图像的类内和类间散度矩阵,在一定最优准则下确定最优的投影坐标系。将原始图像向坐标系投影得到人脸图像的2DLDA特征,2DLDA方法运算量小,有效利用了人脸图像的空间结构信息。
(6)五官贡献权重大小的确定以及融合:
获得每个子分类器的准确率Pi(i=1,2,…6),初步确定每个子分类器的权重Qi=Pi/ ∑Pi;比较简单的融合方法是加法和乘法。
另外,性别的识别还可以结合其他方式,举例来说,可以识别并获取图像中的目标特征,可以为胡须、饰品、发型、喉结以及眉毛中的一种或多种,如当目标特征为胡须时,其对应的目标特征信息可以为有胡须(特征值为1)或无胡须(特征值为0),确定有胡须对应的性别为男性,无胡须时再根据其它目标特征,如发型、饰品、喉结或眉毛等,进一步确定拍摄对象的性别,又如当目标特征为饰品,如发卡或耳坠等时,其对应的目标特征信息可以为有饰品或无饰品,确定有饰品对应的性别为即女性,无饰品时再根据其它目标特征进一步确定拍摄对象的性别;当目标特征为喉结时,其对应的目标特征信息可以为有喉结或没喉结,当目特征信息为有喉结时,确定拍摄对象的目标性别为男性,当目标特征信息为无喉结时,确定拍摄对象的目标性别为女性,本发明实施例不做限定。
-年龄
对于年龄的识别,可以参照性别识别的二类分类算法,利用回归方程或多类分类算法,根据样本进行聚类分类训练。
在一个人从小孩长成青年人的过程中,人脸部骨骼不断生长,从而脸型不断变长变大,相貌也随之发生变化,由青年人不断衰老变成老年人的过程中,皮肤的肤色、皱纹也会随之变化,因此,年龄识别率会随着人的年龄变化而急剧下降。现今主流的年龄识别方法是,基于人脸模型和年龄函数的方法,其中年龄函数由多组已知年龄的人的人脸图像训练获得,基于这个方法,主要有以下四类:
(1)构建全局年龄函数:通过大量的训练图像,构件一个全局年龄函数,通过直接使用这个函数,计算出目标人脸图像的年龄。
(2)外观特定的年龄函数:这种年龄函数以面部特征划分输入。在这种方法下,我们认为对于面部特征类似的个体,其老化过程也是十分相似的,通过输入一张人脸图像,寻找与之有着相似特征的年龄函数,然后计算其年龄。
(3)加权年龄函数:加权年龄函数与外观特定的年龄函数相似,但其是通过输入图像,找不到与之有着相似特征的图像所计算出的年龄函数,这时使用所有年龄函数对该人脸图像的年龄进行估算,然后对其进行加权,从而得到估算结果。
(4)加权个人特殊年龄函数:这种方法对输入要求较高,不仅要求有人脸图像,还要有性别、健康、生活水平、经济状况、压力水平、工作条件、婚姻状况、居住地点、接触到的天气条件等因素,计算过程包含加权年龄函数与外观特定的年龄函数,同时对非图像信息的影响进行加权计算。
-肤色
对于肤色的识别,首先对肤色区域进行检测,再通过对人脸区域平均法提取肤色,或通过脸部以下,比如脖子(脖子以下受风吹日晒较少,皮肤颜色较浅,皮肤质量也比面部好)采样得到用户皮肤真实颜色,将颜色与数据库中的颜色数据比较,得出肤色及所属人种。
对肤色区域进行检测的过程中,通常是基于单高斯模型法、混合高斯模型法、椭圆肤色模型法等方法实现的。单高斯模型法是假设肤色分布服从单峰高斯分布,通过统计分析、预测高斯分布的参数,基于该参数建立模型,利用模型来判断新的像素或区域是否为肤色。但由于具有不同种族的肤色分布并不完全满足单峰高斯分布,因此提出了混合高斯模型法,混合高斯模型法采用多峰的高斯分布模型确定图像的像素或区域是否为肤色。由于通常情况下,肤色信息在转换到YCbCr空间中时,其在CbCr坐标系下是位于一个类似椭圆集簇的范围之内,所以也可以基于肤色信息所确定的椭圆肤色模型对人的肤色进行检测。当然,还有其它用于肤色检测的方法,例如基于区域模型的检测方法,基于直方图模型的检测方法等等。
彩色图像中的肤色检测方法可以采用:
(1)颜色空间转换:
给定一幅待检彩色图像,将其从原始颜色空间转换到肤色的聚集性好、肤色与非肤色的区分性好的颜色空间,分类颜色空间(转换后的颜色空间)可以为YCrCb、YUV、 Lab、HSV、HIS、归一化的RGB等,也可以为在相同光照条件下肤色的聚集性好,肤色与非肤色的区分性好的其它颜色空间。
(2)检测人脸,去除人脸上非皮肤部分,得到人脸皮肤区域:
将原始彩色图像转换为灰度图像,并从中检测出人脸,例如利用Haar小波作为特征的瀑布式AdaBoost分类器进行人脸的检测方法等,关于人脸检测的具体过程在此不再赘述。检测到的人脸区域以矩形表示,该矩形中优选包含了人脸的皮肤和非皮肤部件(如眉毛、眼睛、鼻孔、嘴巴等),还有可能包含一些背景区域。
在检测到的人脸区域内,定位人脸的外轮廓、眉毛、眼睛、鼻孔、嘴巴。在定位人脸的各个部件后,保留人脸外轮廓以内去除了眉毛、眼睛、鼻孔、嘴巴后的区域作为人脸皮肤区域。
(3)采集肤色样本:
在转换颜色空间的彩色图像上,提取步骤(2)中确定的人脸皮肤区域内像素颜色作为肤色样本。
(4)根据采集的肤色样本,建立肤色分类器。
(5)使用步骤(4)中建立的肤色分类器,对整张图像逐个像素地进行分类。分类为肤色的像素点,在肤色检测结果图像上标记为白色,反之标记为黑色,得到肤色检测结果图像。
-脸型
对于脸型的识别,通过人脸区域识别后进行面部轮廓提取即可。在检测到人脸区域并定位面部关键特征点之后,主要的人脸区域就可以被裁剪出来,经过预处理之后,与库存的已知脸型进行比对,完成最终的脸型分类。
参考图2、3,在一优选实施例中,本发明的图像处理方法还包括:
S600:建立一模型数据库;
S700:发送一是否存储所述图像处理模式的选择请求;
S800:当所述选择请求的反馈为存储所述图像处理模式时,将所述图像处理模式存储于所述模型数据库。
S900:获取所述智能终端存储的另一包含所述拍摄对象的图像;
S1000:发送一是否使用存储于所述模型数据库的所述图像处理模式的选择请求;
S1100:当所述选择请求的反馈为使用存储于所述模型数据库的所述图像处理模式时,根据所述图像处理模式对所述另一包含所述拍摄对象的图像进行图像处理。
本发明的图像处理方法,为方便用户对图像进行美颜处理,可以在用户对其图像进行处理后,存储适用于该用户特征的该美颜效果,在用户打开另一图像时,直接使用存储的美颜效果对图像进行处理,不必在对图像进行识别,减少了运算过程,提高了运算效率,保证了用户图像美颜效果的统一。
参考图4,在一优选实施例中,本发明的图像处理方法还包括:
S1200:启动所述智能终端的摄像头,捕捉所述拍摄对象;
S1300:判断所述摄像头捕捉到的所述拍摄对象的性别;
S1400:当所述性别为男性时,关闭所述智能终端的图像处理模式。
在本实施例中,当判断的性别为男性时,且美颜模式开启时,关闭美颜模式;当判断的性别为男性时,且美颜模式关闭时,维持美颜模式关闭状态;当判断的性别为女性时,且美颜模式开启时,维持美颜模式开启状态;当判断的性别为女性时,且美颜模式关闭时,开启美颜模式。本发明的图像处理方法,能够自动识别拍摄对象的性别,且当识别出的性别为男性时,自动切换美颜模式的状态,减少了用户的手动操作,提高了用户的拍照效率,进而提高了用户的使用体验。对图像中性别的识别过程参见步骤400的介绍及图5,不再赘述。
参考图6,本发明还公开了一种智能终端的图像处理***100,包括模式启动模块11、图像获取模块12、模式设定模块13、图像识别模块14、图像处理模块15;
所述模式启动模块11,开启所述智能终端的图像处理模式;
所述图像获取模块12,获取所述智能终端存储的一包含拍摄对象的图像;
所述模式设定模块13,设定所述拍摄对象的特征信息与所述图像的图像处理模式的对应关系,所述拍摄对象的特征信息包括性别、年龄、肤色、脸型中的一种或多种;
所述图像识别模块14,与所述图像获取模块12通信连接,识别并获取所述拍摄对象的特征信息;
所述图像处理模块15,与所述图像获取模块12、模式设定模块13、图像识别模块14通信连接,根据与所述拍摄对象的特征信息对应的所述图像处理模式对所述图像进行图像处理。
在一优选实施例中,还包括模型数据库模块16、选择请求模块17;
所述选择请求模块17,与所述图像处理模块15通信连接,发送一是否存储所述图像处理模式的选择请求;
所述模型数据库模块16,与所述选择请求模块17通信连接,当所述选择请求模块17的反馈为存储所述图像处理模式时,将所述图像处理模式存储于所述模型数据库模块16中。
在一优选实施例中,所述图像获取模块12,获取所述智能终端存储的另一包含所述拍摄对象的图像;
所述选择请求模块17,与所述图像获取模块12通信连接,发送一是否使用存储于所述模型数据库模块16的所述图像处理模式的选择请求;
所述图像处理模块15,当所述选择请求模块17的反馈为使用存储于所述模型数据库模块16的所述图像处理模式时,根据所述图像处理模式对所述另一包含所述拍摄对象的图像进行图像处理。
在一优选实施例中,还包括图像拍摄模块18、性别判断模块19、模式关闭模块20;
所述图像拍摄模块18,启动所述智能终端的摄像头,捕捉所述拍摄对象;
所述性别判断模块19,与所述图像拍摄模块18通信连接,判断所述摄像头捕捉到的所述拍摄对象的性别;
所述模式关闭模块20,与所述性别判断模块19通信连接,当所述性别为男性时,关闭所述智能终端的图像处理模式。
在一优选实施例中,所述性别判断模块19包括人脸检测单元、局部检测单元、特征提取单元、性别分类单元、融合结果单元;
所述人脸检测单元,检测所述摄像头捕捉到的所述拍摄对象的人脸区域;
所述局部检测单元,与所述人脸检测单元通信连接,检测所述人脸区域的至少一个局部器官区域;
所述特征提取单元,与所述人脸检测单元、局部检测单元通信连接,基于二维主成分分析法,提取所述人脸区域及各个所述局部器官区域的特征;
所述性别分类单元,与所述特征提取单元通信连接,根据所述人脸区域及各个所述局部器官区域的特征,利用二维线性判别式分析法进行性别分类,得到所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果;
所述融合结果单元,与所述性别分类单元通信连接,对所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果进行融合,得到最终的性别识别结果。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种智能终端的图像处理方法,其特征在于,包括以下步骤:
开启所述智能终端的图像处理模式;
获取所述智能终端存储的一包含拍摄对象的图像;
设定所述拍摄对象的特征信息与所述图像的图像处理模式的对应关系;
识别并获取所述拍摄对象的特征信息;
根据与所述拍摄对象的特征信息对应的所述图像处理模式对所述图像进行图像处理;
所述拍摄对象的特征信息包括性别、年龄、肤色、脸型中的一种或多种。
2.如权利要求1所述的图像处理方法,其特征在于,
还包括以下步骤:
建立一模型数据库;
发送一是否存储所述图像处理模式的选择请求;
当所述选择请求的反馈为存储所述图像处理模式时,将所述图像处理模式存储于所述模型数据库。
3.如权利要求2所述的图像处理方法,其特征在于,
还包括以下步骤:
获取所述智能终端存储的另一包含所述拍摄对象的图像;
发送一是否使用存储于所述模型数据库的所述图像处理模式的选择请求;
当所述选择请求的反馈为使用存储于所述模型数据库的所述图像处理模式时,根据所述图像处理模式对所述另一包含所述拍摄对象的图像进行图像处理。
4.如权利要求1所述的图像处理方法,其特征在于,
还包括以下步骤:
启动所述智能终端的摄像头,捕捉所述拍摄对象;
判断所述摄像头捕捉到的所述拍摄对象的性别;
当所述性别为男性时,关闭所述智能终端的图像处理模式。
5.如权利要求4所述的图像处理方法,其特征在于,
判断所述摄像头捕捉到的所述拍摄对象的性别的步骤包括:
检测所述摄像头捕捉到的所述拍摄对象的人脸区域;
检测所述人脸区域的至少一个局部器官区域;
基于二维主成分分析法,提取所述人脸区域及各个所述局部器官区域的特征;
根据所述人脸区域及各个所述局部器官区域的特征,利用二维线性判别式分析法进行性别分类,得到所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果;
对所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果进行融合,得到最终的性别识别结果。
6.一种智能终端的图像处理***,其特征在于,
包括模式启动模块、图像获取模块、模式设定模块、图像识别模块、图像处理模块;
所述模式启动模块,开启所述智能终端的图像处理模式;
所述图像获取模块,获取所述智能终端存储的一包含拍摄对象的图像;
所述模式设定模块,设定所述拍摄对象的特征信息与所述图像的图像处理模式的对应关系,所述拍摄对象的特征信息包括性别、年龄、肤色、脸型中的一种或多种;
所述图像识别模块,与所述图像获取模块通信连接,识别并获取所述拍摄对象的特征信息;
所述图像处理模块,与所述图像获取模块、模式设定模块、图像识别模块通信连接,根据与所述拍摄对象的特征信息对应的所述图像处理模式对所述图像进行图像处理。
7.如权利要求6所述的图像处理***,其特征在于,
还包括模型数据库模块、选择请求模块;
所述选择请求模块,与所述图像处理模块通信连接,发送一是否存储所述图像处理模式的选择请求;
所述模型数据库模块,与所述选择请求模块通信连接,当所述选择请求模块的反馈为存储所述图像处理模式时,将所述图像处理模式存储于所述模型数据库模块中。
8.如权利要求7所述的图像处理***,其特征在于,
所述图像获取模块,获取所述智能终端存储的另一包含所述拍摄对象的图像;
所述选择请求模块,与所述图像获取模块通信连接,发送一是否使用存储于所述模型数据库模块的所述图像处理模式的选择请求;
所述图像处理模块,当所述选择请求模块的反馈为使用存储于所述模型数据库模块的所述图像处理模式时,根据所述图像处理模式对所述另一包含所述拍摄对象的图像进行图像处理。
9.如权利要求6所述的图像处理***,其特征在于,
还包括图像拍摄模块、性别判断模块、模式关闭模块;
所述图像拍摄模块,启动所述智能终端的摄像头,捕捉所述拍摄对象;
所述性别判断模块,与所述图像拍摄模块通信连接,判断所述摄像头捕捉到的所述拍摄对象的性别;
所述模式关闭模块,与所述性别判断模块通信连接,当所述性别为男性时,关闭所述智能终端的图像处理模式。
10.如权利要求9所述的图像处理***,其特征在于,
所述性别判断模块包括人脸检测单元、局部检测单元、特征提取单元、性别分类单元、融合结果单元;
所述人脸检测单元,检测所述摄像头捕捉到的所述拍摄对象的人脸区域;
所述局部检测单元,与所述人脸检测单元通信连接,检测所述人脸区域的至少一个局部器官区域;
所述特征提取单元,与所述人脸检测单元、局部检测单元通信连接,基于二维主成分分析法,提取所述人脸区域及各个所述局部器官区域的特征;
所述性别分类单元,与所述特征提取单元通信连接,根据所述人脸区域及各个所述局部器官区域的特征,利用二维线性判别式分析法进行性别分类,得到所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果;
所述融合结果单元,与所述性别分类单元通信连接,对所述人脸区域的性别分类结果及所述局部器官区域的性别分类结果进行融合,得到最终的性别识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710705349.9A CN107545536A (zh) | 2017-08-17 | 2017-08-17 | 一种智能终端的图像处理方法及图像处理*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710705349.9A CN107545536A (zh) | 2017-08-17 | 2017-08-17 | 一种智能终端的图像处理方法及图像处理*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107545536A true CN107545536A (zh) | 2018-01-05 |
Family
ID=60970545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710705349.9A Pending CN107545536A (zh) | 2017-08-17 | 2017-08-17 | 一种智能终端的图像处理方法及图像处理*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107545536A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108093178A (zh) * | 2018-01-03 | 2018-05-29 | 上海传英信息技术有限公司 | 一种通过pca线性变换实现照片肤色变化的方法和拍照手机 |
CN108391602A (zh) * | 2018-04-25 | 2018-08-14 | 中国农业科学院农业信息研究所 | 一种雏鸡性别识别***及其识别方法 |
CN108520221A (zh) * | 2018-03-30 | 2018-09-11 | 百度在线网络技术(北京)有限公司 | 体型识别的方法、装置、存储介质及终端设备 |
CN110443769A (zh) * | 2019-08-08 | 2019-11-12 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
WO2019233341A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN111028214A (zh) * | 2019-12-05 | 2020-04-17 | 北京美医医学技术研究院有限公司 | 一种基于云平台的皮肤检测装置 |
CN111798367A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN112102153A (zh) * | 2020-08-20 | 2020-12-18 | 北京百度网讯科技有限公司 | 图像的卡通化处理方法、装置、电子设备和存储介质 |
WO2021036853A1 (zh) * | 2019-08-31 | 2021-03-04 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
CN112561822A (zh) * | 2020-12-17 | 2021-03-26 | 苏州科达科技股份有限公司 | 美颜方法、装置、电子设备及存储介质 |
WO2021208709A1 (zh) * | 2020-04-13 | 2021-10-21 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120081568A1 (en) * | 2010-09-30 | 2012-04-05 | Nintendo Co., Ltd. | Storage medium recording information processing program, information processing method, information processing system and information processing device |
CN103198303A (zh) * | 2013-04-12 | 2013-07-10 | 南京邮电大学 | 一种基于人脸图像的性别识别方法 |
CN103413270A (zh) * | 2013-08-15 | 2013-11-27 | 北京小米科技有限责任公司 | 一种图像的处理方法、装置和终端设备 |
CN103995911A (zh) * | 2013-02-15 | 2014-08-20 | 北京银万特科技有限公司 | 基于智能信息终端的美容选配方法与*** |
CN105721770A (zh) * | 2016-01-20 | 2016-06-29 | 广东欧珀移动通信有限公司 | 一种拍照的控制方法及装置 |
US9603437B2 (en) * | 2013-04-08 | 2017-03-28 | Panasonic Intellectual Property Corporation Of America | Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state |
-
2017
- 2017-08-17 CN CN201710705349.9A patent/CN107545536A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120081568A1 (en) * | 2010-09-30 | 2012-04-05 | Nintendo Co., Ltd. | Storage medium recording information processing program, information processing method, information processing system and information processing device |
CN103995911A (zh) * | 2013-02-15 | 2014-08-20 | 北京银万特科技有限公司 | 基于智能信息终端的美容选配方法与*** |
US9603437B2 (en) * | 2013-04-08 | 2017-03-28 | Panasonic Intellectual Property Corporation Of America | Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state |
CN103198303A (zh) * | 2013-04-12 | 2013-07-10 | 南京邮电大学 | 一种基于人脸图像的性别识别方法 |
CN103413270A (zh) * | 2013-08-15 | 2013-11-27 | 北京小米科技有限责任公司 | 一种图像的处理方法、装置和终端设备 |
CN105721770A (zh) * | 2016-01-20 | 2016-06-29 | 广东欧珀移动通信有限公司 | 一种拍照的控制方法及装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108093178A (zh) * | 2018-01-03 | 2018-05-29 | 上海传英信息技术有限公司 | 一种通过pca线性变换实现照片肤色变化的方法和拍照手机 |
CN108520221A (zh) * | 2018-03-30 | 2018-09-11 | 百度在线网络技术(北京)有限公司 | 体型识别的方法、装置、存储介质及终端设备 |
CN108520221B (zh) * | 2018-03-30 | 2019-08-09 | 百度在线网络技术(北京)有限公司 | 体型识别的方法、装置、存储介质及终端设备 |
CN108391602A (zh) * | 2018-04-25 | 2018-08-14 | 中国农业科学院农业信息研究所 | 一种雏鸡性别识别***及其识别方法 |
CN108391602B (zh) * | 2018-04-25 | 2023-06-06 | 中国农业科学院农业信息研究所 | 一种雏鸡性别识别***及其识别方法 |
WO2019233341A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN111798367A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110443769B (zh) * | 2019-08-08 | 2022-02-08 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
CN110443769A (zh) * | 2019-08-08 | 2019-11-12 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
WO2021036853A1 (zh) * | 2019-08-31 | 2021-03-04 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
CN111028214A (zh) * | 2019-12-05 | 2020-04-17 | 北京美医医学技术研究院有限公司 | 一种基于云平台的皮肤检测装置 |
WO2021208709A1 (zh) * | 2020-04-13 | 2021-10-21 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112102153A (zh) * | 2020-08-20 | 2020-12-18 | 北京百度网讯科技有限公司 | 图像的卡通化处理方法、装置、电子设备和存储介质 |
CN112102153B (zh) * | 2020-08-20 | 2023-08-01 | 北京百度网讯科技有限公司 | 图像的卡通化处理方法、装置、电子设备和存储介质 |
CN112561822A (zh) * | 2020-12-17 | 2021-03-26 | 苏州科达科技股份有限公司 | 美颜方法、装置、电子设备及存储介质 |
CN112561822B (zh) * | 2020-12-17 | 2022-07-01 | 苏州科达科技股份有限公司 | 美颜方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107545536A (zh) | 一种智能终端的图像处理方法及图像处理*** | |
CN103914699B (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
CN106056064B (zh) | 一种人脸识别方法及人脸识别装置 | |
CN105608447B (zh) | 对人体面部微笑表情深度卷积神经网络的检测方法 | |
Kashem et al. | Face recognition system based on principal component analysis (PCA) with back propagation neural networks (BPNN) | |
CN108717524B (zh) | 一种基于双摄手机和人工智能***的手势识别*** | |
CN103984948B (zh) | 一种基于人脸图像融合特征的软双层年龄估计方法 | |
KR100882476B1 (ko) | 음란성 이미지의 판별 방법과 그 장치 | |
CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
CN108647625A (zh) | 一种表情识别方法及装置 | |
CN106485222A (zh) | 一种基于肤色分层的人脸检测方法 | |
CN104484658A (zh) | 一种基于多通道卷积神经网络的人脸性别识别方法及装置 | |
CN109271930B (zh) | 微表情识别方法、装置与存储介质 | |
CN104504383B (zh) | 一种基于肤色和Adaboost算法的人脸检测方法 | |
CN106778785A (zh) | 构建图像特征提取模型的方法及图像识别的方法、装置 | |
CN106067016B (zh) | 一种人脸图像眼镜检测方法及装置 | |
Radu et al. | A robust sclera segmentation algorithm | |
CN109902561A (zh) | 一种应用于机器人的人脸识别方法和装置、机器人 | |
CN106909883A (zh) | 一种基于ros的模块化手部区域检测方法和装置 | |
CN106909884A (zh) | 一种基于分层结构和可变形部分模型的手部区域检测方法和装置 | |
CN111860250A (zh) | 基于人物细粒度特征的图像识别方法及装置 | |
Sahu et al. | Study on face recognition techniques | |
Rahman et al. | An automatic face detection and gender classification from color images using support vector machine | |
CN114187166A (zh) | 图像处理方法、智能终端及存储介质 | |
Karacs et al. | Bionic eyeglass: an audio guide for visually impaired |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20221223 Address after: 201203 1st floor, building 1, Lane 36, Xuelin Road, Pudong New Area Free Trade Zone, Shanghai Applicant after: SHANGHAI TRANSSION INFORMATION TECHNOLOGY Ltd. Address before: Room 922 / 926, block a, No.1 Lane 399, shengxia Road, Pudong New Area pilot Free Trade Zone, Shanghai 201203 Applicant before: SHANGHAI SPREADRISE COMMUNICATION TECHNOLOGY Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180105 |
|
RJ01 | Rejection of invention patent application after publication |