CN111566693B - 一种皱纹检测方法及电子设备 - Google Patents
一种皱纹检测方法及电子设备 Download PDFInfo
- Publication number
- CN111566693B CN111566693B CN201880085477.0A CN201880085477A CN111566693B CN 111566693 B CN111566693 B CN 111566693B CN 201880085477 A CN201880085477 A CN 201880085477A CN 111566693 B CN111566693 B CN 111566693B
- Authority
- CN
- China
- Prior art keywords
- wrinkle
- detected
- image
- line
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000037303 wrinkles Effects 0.000 title claims abstract description 416
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 61
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 23
- 210000001061 forehead Anatomy 0.000 description 17
- 238000013461 design Methods 0.000 description 16
- 238000007726 management method Methods 0.000 description 16
- 230000001815 facial effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 206010000496 acne Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000011148 porous material Substances 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009759 skin aging Effects 0.000 description 1
- 230000036559 skin health Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
Abstract
一种皱纹检测方法及电子设备,该方法旋转人脸图像中需要检测皱纹的区域得到多个待检测图像,通过在每个不同角度的待检测图像中分别根据像素点的灰度值从全部像素点中确定皱纹点,并根据皱纹点确定至少一条皱纹线,此后,电子设备可在需要检测皱纹的区域显示皱纹线,其中,每条皱纹线指示待检测图像中的一条皱纹。采用以上方法,电子设备可分别在具有不同旋转角度的待检测图像中检测皱纹,有助于提高对于不同走向的皱纹进行检测时的检测精度。
Description
本申请要求于2018年7月16日提交中国专利局、申请号为201810776285.6、申请名称为“一种检测皱纹的方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及通信领域,尤其涉及一种皱纹检测方法及电子设备。
背景技术
面部皱纹的严重程度可以直接反映人们肌肤年龄、皮肤健康状况,皱纹作为皮肤老化的标志性特征之一,颇受爱美人士的关注。
目前,一些应用程序可检测用户面部图像中存在的皱纹。然而,由于用户面部图像中皱纹的走向具有不规则性,现有方法在进行皱纹检测时难以准确检测不同走向的皱纹,因此检测精确度不高。
发明内容
本申请实施例提供一种皱纹检测方法及电子设备,用于解决现有的皱纹检测方法的检测精度不高的技术问题。
第一方面,本申请实施例提供一种皱纹检测方法,通过旋转人脸图像中需要检测皱纹的区域得到多个待检测图像,在每个不同角度的待检测图像中分别根据像素点的灰度值从全部像素点中确定皱纹点,此后根据确定的皱纹点从多个待检测图像中确定至少一条皱纹线,在人脸图像中需要检测皱纹的区域显示皱纹线,其中,每条皱纹线指示待检测图像中的一条皱纹,从而可以指示人脸图像的需要检测皱纹的区域中的皱纹。
采用以上方法,可在不同角度的待检测图像中检测皱纹,有助于提高对于不同走向的皱纹进行检测时的检测精度。
一种可能的设计中,可通过以下方式中的任意一种,旋转人脸图像中需要检测皱纹的区域得到多个待检测图像:
方式一、可以将人脸图像中需要检测皱纹的区域,分别按照预设角度集合中的部分或全部预设角度旋转,得到多个待检测图像,其中,预设角度集合包括多个预设角度,每个预设角度的数值不同。
方式二、可以将人脸图像中需要检测皱纹的区域,分别按照预设角度集合中的部分或全部预设角度旋转,得到多个备选图像,之后将多个备选图像,分别按照预设比例集合中的部分或全部预设比例进行缩小,得到多个待检测图像,其中,预设比例集合包括多个预设比例,每个预设比例的数值不同。
一种可能的设计中,在从待检测图像的全部像素点中确定皱纹点时,可设置矩形窗口,之后按设定的滑动步长,控制矩形窗口遍历待检测图像,并在矩形窗口所在的每个窗口位置,确定位于矩形窗口中心位置的中心像素点,根据矩形窗口中全部像素点的灰度值确定中心像素点的置信度值,得到多个置信度值,此后,将不小于阈值的置信度值所对应的中心像素点,作为皱纹点,其中,置信度值可用于表示中心像素点为皱纹点的可能性。从而可以通过对备选图像进行缩小,提高对于不同粗细的皱纹的检测精度。
一种可能的设计中,若矩形窗口的长、宽均为N个像素,可根据以下公式,确定位于矩形窗口中心位置的中心像素点的置信度值:
其中,M表示矩形窗口中心位置的中心像素点的置信度值,Pij表示第一矩阵中位于第i行、第j列的元素,Qij表示第二矩阵中位于第i行、第j列的元素,第一矩阵为预设的N*N的矩阵,第一矩阵中每一行的元素相同,第二矩阵中第i行、第j列的元素,为矩形窗口中第i行、第j列的像素点的灰度值,1≤i≤N,1≤j≤N,N为奇数,且N大于等于3。
一种可能的设计中,第一矩阵的表达式为:
其中,P为第一矩阵,n0>n1;或者
其中,P为第一矩阵,n0<n1;或者
一种可能的设计中,阈值为所述多个置信度值的均值,从而将具有不小于阈值的置信度值的中心像素点作为皱纹点,提高皱纹点的检测准确度。
一种可能的设计中,在从多个待检测图像中确定至少一条皱纹线时,可以确定皱纹点中至少两个连续的皱纹点的轮廓线,之后确定轮廓线中的直线段,并将部分或全部直线段作为皱纹线。
一种可能的设计中,确定的皱纹线满足以下条件中的一个或多个:皱纹线的尺寸不小于预设像素尺寸;或者,皱纹线上距离最远的两个像素点之间的连线与水平方向的夹角不大于预设夹角。
一种可能的设计中,在区域中显示至少一条皱纹线时,可以在需要检测皱纹的区域中,显示根据全部待检测图像确定的全部皱纹线。
一种可能的设计中,还可以根据显示的至少一条皱纹线的特征集,确定皱纹评分,并输出皱纹评分,其中,皱纹线的特征集可包括以下特征中的一个或多个皱纹线的长度、皱纹线的宽度、皱纹线上像素点的对比度值、皱纹线的面积占比,其中,对比度值用于表征皱纹线上像素点的对比度,皱纹线的面积占比用于表征皱纹线上的像素数量占待检测图像中全部像素数量的比重。
一种可能的设计中,可根据以下公式确定皱纹评分:
H=A×ω1+B×ω2+C×ω3+D×ω4+ω5;
其中,H为皱纹评分,A为皱纹线的长度,B为皱纹线的宽度,C为皱纹线上像素点的对比度值,D为皱纹线的面积占比,ω1、ω2、ω3以及ω4为小于零的预设参数,ω5为预设参数。
第二方面,本申请实施例提供一种电子设备,用于实现上述第一方面或第一方面中的任意一种方法,包括相应的功能模块,分别用于实现以上方法中的步骤。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现,或通过软件、硬件相结合的方式实现。硬件或软件可包括一个或多个与上述功能相对应的模块。
本申请实施例提供的一种电子设备,包括处理器、存储器和显示屏;其中处理器与存储器和显示屏相耦合;其中,存储器用于存储程序指令;处理器用于读取存储器中存储的程序指令,结合显示屏,以实现本申请实施例第一方面及其任一可能的设计的方法。
第三方面,本申请实施例提供的一种计算机存储介质,该计算机存储介质存储有程序指令,当程序指令在电子设备上运行时,使得电子设备执行本申请实施例第一方面及其任一可能的设计的方法。
第四方面,本申请实施例提供的一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备本申请实施例第一方面及其任一可能的设计的方法。
第五方面,本申请实施例提供的一种芯片,所述芯片与电子设备中的存储器耦合,控制电子设备执行本申请实施例第一方面及其任一可能的设计的方法。
另外,第二方面至第五方面所带来的技术效果可参见上述第一方面的描述,此处不再赘述。
需要说明的是,本申请实施例中“耦合”是指两个部件彼此直接或间接地结合。
附图说明
图1为本申请实施例适用的一种电子设备的结构示意图;
图2A为本申请实施例适用的一种用户界面的示意图;
图2B为本申请实施例提供的另一种用户界面的示意图;
图3为本申请实施例提供的一种皱纹检测方法的流程示意图;
图4为本申请实施例提供的人脸图像中需要检测皱纹的区域的位置示意图;
图5为本申请实施例提供的一种需要检测皱纹的区域的示意图;
图6为本申请实施例提供的一种旋转需要检测皱纹的区域的效果示意图;
图7为本申请实施例提供的一种缩小需要检测皱纹的区域的效果示意图;
图8为本申请实施例提供的一种检测缩小的需要检测皱纹的区域中皱纹线的效果示意图;
图9为本申请实施例提供的一种矩形窗口的示意图;
图10为本申请实施例提供的一种根据皱纹点的轮廓线确定皱纹线的示意图;
图11为本申请实施例提供的一种皱纹线的示意图;
图12为本申请实施例提供的一种皱纹线融合的示意图;
图13为本申请实施例提供的另一种皱纹线融合的示意图;
图14为本申请实施例提供的眼下区域皱纹及对应的皱纹评分的示意图;
图15为本申请实施例提供的额头区域皱纹及对应的皱纹评分的示意图;
图16为本申请实施例提供的另一种皱纹检测方法的流程示意图;
图17为本申请实施例提供的一种皱纹检测结果报告页面的示意图;
图18为本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
应理解,本申请实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a、b、c可以是单个,也可以是多个。
本申请公开的各个实施例可以应用于电子设备中。在本申请一些实施例中,电子设备可以是包含诸如个人数字助理和/或音乐播放器等功能的便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(如智能手表)、车载设备等。便携式电子设备的示例性实施例包括但不限于搭载或者其它操作***的便携式电子设备。上述便携式电子设备也可以是诸如具有触敏表面(例如触控面板)的膝上型计算机(Laptop)等。还应当理解的是,在本申请其他一些实施例中,上述电子设备也可以是具有触敏表面(例如触控面板)的台式计算机。
图1示出了一种电子设备100的结构示意图。
电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus,USB)接口130、充电管理模块140、电源管理模块141、电池142、天线2、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像头193、以及显示屏194等。其中传感器模块180包括环境光传感器180L。此外,传感器模块180还可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、骨传导传感器180M等。在另一些实施例中,本申请实施例中的电子设备100还可以包括天线1、移动通信模块150、以及用户标识模块(subscriber identification module,SIM)卡接口195等。
处理器110可以包括一个或多个处理单元。例如:处理器110可以包括应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processingunit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、存储器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在一些实施例中,处理器110中还可以设置存储器,用于存储指令和数据。示例的,处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在另一些实施例中,处理器110还可以包括一个或多个接口。例如,接口可以为通用串行总线(universal serial bus,USB)接口130。又例如,接口还可以为集成电路(inter-integrated circuit,I2C)接口、集成电路内置音频(inter-integrated circuitsound,I2S)接口、脉冲编码调制(pulse code modulation,PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purposeinput/output,GPIO)接口、用户标识模块(subscriber identity module,SIM)接口等。可以理解的是,本申请实施例可以通过接口连接电子设备100的不同模块,从而使得电子设备100能够实现不同的功能。例如拍照、处理等。需要说明的是,本申请实施例对电子设备100中接口的连接方式不作限定。
其中,USB接口130是符合USB标准规范的接口。例如,USB接口130可以包括MiniUSB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电、阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器、开关、功率放大器、低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波、放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A、受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络)、蓝牙(bluetooth,BT)、全球导航卫星***(global navigation satellite system,GNSS)、调频(frequency modulation,FM)、近距离无线通信技术(near field communication,NFC)、红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波信号,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM)、通用分组无线服务(general packet radio service,GPRS)、码分多址接入(codedivision multiple access,CDMA)、宽带码分多址(wideband code division multipleaccess,WCDMA)、时分码分多址(time-division code division multiple access,TD-SCDMA)、长期演进(long term evolution,LTE)、BT、GNSS、WLAN、NFC、FM、和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS)、全球导航卫星***(global navigation satellite system,GLONASS)、北斗卫星导航***(beidounavigation satellite system,BDS)、准天顶卫星***(quasi-zenith satellitesystem,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
电子设备100通过GPU、显示屏194、以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emittingdiode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED)、柔性发光二极管(flex light-emittingdiode,FLED)、Miniled、MicroLed、Micro-oLed、量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3、MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别、人脸识别、语音识别、文本理解等。
外部存储器接口120可以用于连接外部存储卡(例如,Micro SD卡),实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据、电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能。例如音乐播放、录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐、或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个、四个或更多麦克风170C,实现声音信号采集、降噪、还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口、美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190可以包括开机键、音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照、音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒、接收信息、闹钟、游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态、电量变化,也可以用于指示消息、未接来电、通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
下面以电子设备100为例对本申请实施例进行详细说明。
另外,应理解,本申请实施例中电子设备支持的应用程序可以包括拍照类的应用,例如相机。此外,电子设备支持的应用程序还可以包括其他多种应用,例如:绘图、游戏、电话、视频播放器、音乐播放器、照片管理、浏览器、日历、时钟等。
本申请实施例中的电子设备支持的应用又可以包括用于皮肤检测的应用。其中,用于皮肤检测的应用是通过对拍摄的人脸图像来检测用户面部皮肤的特征(例如面部皮肤的皱纹、毛孔、黑头、色斑、红区等),并可以为用户提供检测结果报告。例如,检测结果报告可以但不限于包括针对面部皮肤上各个特征的打分、对面部皮肤的综合分析等,还可以进而展示用户的人脸图片,并根据对各个特征的检测结果在人脸图像上分别标示出相应的问题,比如在鼻头区域标示有黑头,在额头区域标示有皱纹,在脸颊区域标示有色斑等等。可以理解的是,检测结果报告可以通过用户界面呈现给用户,例如,检测结果报告可以如图2A所示的用户界面200,包括综合得分、肤龄、以及毛孔、黑头、细纹、色斑以及红区的得分。在另一些实施例中,用户界面200上还可以包括虚拟按钮201、虚拟按钮202、虚拟按钮203、虚拟按钮204和虚拟按钮205,其中以虚拟按钮201为例,电子设备100响应于对虚拟按钮201的操作,在显示屏194上显示针对毛孔的具体护理建议。虚拟按钮202、虚拟按钮203、虚拟按钮204和虚拟按钮205的功能可参见虚拟按钮201的功能,在此不再赘述。
为了使得电子设备对用户面部皮肤的检测更加准确,示例的,本申请实施例的用户皮肤检测方案,可以在处理器110中集成拍摄条件检测模块、图像质量检测模块、感兴趣区域(region of interest,ROI)检测模块、皮肤特征检测模块、结果分析模块等。在一些实施例中,可以在处理器110中的应用处理器上集成拍摄条件检测模块、图像质量检测模块、感兴趣区域(region of interest,ROI)检测模块、皮肤特征检测模块、结果分析模块等等。在另一些实施例中,在处理器110中集成人工智能(artificial intelligence,AI)芯片,在AI芯片上集成拍摄条件检测模块、图像质量检测模块、感兴趣区域(region of interest,ROI)检测模块、皮肤特征检测模块、结果分析模块等,来实现用户皮肤检测。
其中,拍摄条件检测模块可以实现对当前拍摄条件进行检测,以指导用户在要求的拍摄条件下进行拍摄,确保拍摄图像满足要求,从而保证基于图像对皮肤检测的准确性。例如,要求的拍摄条件包括:环境光照充足、人脸与电子设备之间的距离合适(例如25cm左右)、面部端正、睁眼闭眼、不佩戴眼镜、前额尽量无刘海遮挡、对焦准确、无明显抖动等。
当拍摄条件检测模块检测成功后,处理器110会启动智能补光。例如,当拍摄条件检测模块在当前拍摄条件满足要求时,确定检测成功。具体的,本申请实施例中电子设备可以采用不同的补光模式(例如闪光灯模式,手电筒模式)对用户的面部进行补光,以满足不同面部皮肤特征检测的要求。在对用户的面部补光后,处理器110就可以控制摄像头193对用户面部进行拍摄得到用户面部的人脸图像。
图像质量检测模块可以对人脸图像的质量进行检测,以确保拍摄的图像满足不同面部皮肤特征检测的要求。
ROI检测模块可以在图像质量检测模块检测到图像的质量满足要求后,从人脸图像中确定待检测的ROI,例如黑头的ROI是鼻头上的一小块区域。
皮肤特征检测模块可以分别对已经确定出的ROI中的面部皮肤特征进行检测,例如检测皮肤中的皱纹、毛孔、黑头、色斑、红区、出油程度等。
结果分析模块可以对皮肤特征检测模块检测得到的面部皮肤特征的检测结果进行分析,并针对各个皮肤特征给出各个检测项的打分、打分排序等。
另外,在一些实施例中,处理器110中还可以集成图像预处理模块。其中,图像预处理模块可以对拍摄到的人脸图像进行压缩、剪裁等,以便ROI检测模块、皮肤特征检测模块等进行后续处理。
为了输出人脸图像分析结果,或输出各个检测项的打分等,处理器110还可以将检测得到的检测报告(包含各个特征的检测结果在人脸图像上的区域,比如在鼻头区域标示有黑头,在额头区域标示有皱纹,在脸颊区域标示有色斑等等,各个检测项的打分等)显示在显示屏194上,供用户进行查看,提高用户体验。
综上,为了提高皱纹检测中的准确度,本申请实施例提供一种检测皱纹的方法,该方法可以由电子设备100对人脸图像中需要检测皱纹的区域进行旋转,得到多个待检测图像,之后分别检测不同待检测图像中的皱纹,由于不同的待检测图像的旋转角度不同,从而对多个待检测图像分别进行皱纹检测,可提高不同走向皱纹的检测准确度。
上述本申请实施例提供的皱纹检测方法可应用于电子设备100所支持的用于皮肤检测的应用程序。例如,如图2B所示,电子设备100的显示屏194显示测肤应用的图标206。电子设备100检测到对图标206的操作(如,电子设备检测到用户点击图标206),则响应于对图标206的操作,在显示屏194显示测肤应用的用户界面208。其中测肤应用的用户界面710包括虚拟按钮209(在实施中,虚拟按钮可命名为“测试”或“拍照”等等)。电子设备100检测到对虚拟按钮209的操作(如,电子设备检测到用户点击虚拟按钮209),则响应于对虚拟按钮209的操作,根据本申请实施例提供的皱纹检测方法,对人脸图像中需要检测皱纹的区域进行皱纹检测。
其中,人脸图像,可由电子设备100响应于对虚拟按钮209的操作,通过摄像头193拍摄使用电子设备100的用户面部得到,这里的摄像头193,可以是电子设备100的前置摄像头,或者,为了提高拍照的质量,在前置摄像头的像素低于后置摄像头的像素的情况下,摄像头193也可以是电子设备100的后置摄像头。或者,人脸图像也可以是电子设备100响应于对虚拟按钮209的操作,从内部存储器121或通过外部存储器接口120从外部存储器中读取的图像,此时人脸图像可以是事先拍摄并存储于内部存储器121或外部存储器中的人脸图像。
例如,人脸图像可以是电子设备通过摄像头193(这里的摄像头193可以是前置摄像头或者后置摄像头)拍摄用户面部得到的图像,在拍照后,电子设备100将得到的人脸图像存储于内部存储器121中,在电子设备100检测到对虚拟按钮209的操作后,电子设备100可从内部存储器121中读取该人脸图像。另外在实施中,内部存储器121存储的人脸图像,也可以是电子设备100通过移动通信模块150和/或无线通信模块1160接收的图像。
进一步的,电子设备100检测到对虚拟按钮209的操作后,还可以由用户选择电子设备100通过摄像头193进行拍摄以获取人脸图像,还是由电子设备100从内部存储器121或外部存储器中读取人脸图像。例如,电子设备100检测到对虚拟按钮209的操作后,显示屏194显示照片选择区域212,其中,照片选择区域212可包括“如何选择照片”、“从哪里获取照片”等提示信息,用于提醒用户选择人脸图像的来源,照片选择区域212还可包括多个虚拟按键,用于通过用户对虚拟按键的操作,执行虚拟按键对应的操作以通过不同途径获取人脸图像,例如,虚拟按键可以是表示通过拍摄的方式获取人脸图像的第一按键213(第一按键213的名称可以是“拍摄”、“拍照”等等),或者,虚拟按键可以是表示通过从存储器中读取的方式获取人脸图像的第二按键214(第二按键214的名称可以是“存储”、“相册”等等)。电子设备100在检测到用户对第一按键213的操作后,可响应于用户对第一按键213的操作,通过摄像头193拍摄用户面部图像,作为人脸图像;电子设备100在检测到用户对第二按键214的操作后,可继续提示用户选择人脸图像的存储路径,并从用户选择的存储路径读取用户选择的图像作为人脸图像。其中,存储路径可以是电子设备100的“相册”的默认存储路径;存储路径可以包括内部存储器121的存储路径,也可以外部存储的存储路径。另外应理解,以上照片选择区域212的显示,也可通过电子设备100检测到对于虚拟按钮209的操作以外的方式触发,例如,可以在用户界面208设置新的功能虚拟按键,用于电子设备100检测到对于新的功能虚拟按键的操作后,显示照片选择区域212。
采用以上方法获取用户的人脸图像后,显示屏194可显示人脸图像预览界面210,并在人脸图像预览界面210的预览区域211显示人脸图像,电子设备100可以根据预览区域211中的人脸图像确定皱纹检测的ROI,并将其作为人脸图像中需要检测皱纹的区域,用于通过本申请实施例提供的皱纹检测方法,进行皱纹的检测。
接下来详细描述基于上述不同方式获取的图像,电子设备100中的处理器110如何具体实现对人脸图像进行皱纹检测,具体请参见图3所示,可包括以下步骤:
S101:处理器110旋转上述获取的人脸图像中需要检测皱纹的区域,得到多个待检测图像;
S102:处理器110根据每个待检测图像中像素点的灰度值,从每个待检测图像的全部像素点中确定皱纹点;
S103:处理器110根据皱纹点,从多个待检测图像中确定至少一条皱纹线,每条皱纹线用于表示待检测图像中的一条皱纹;
S104:处理器110在显示屏194显示检测的人脸图像,并在人脸图像的相应区域中显示至少一条皱纹线,具体如下述图17所示,下述描述到图17时将详细阐述。
应理解,以上S101、S102以及S103所示步骤,可以由电子设备100的处理器110执行内部存储器121中的程序代码予以实现。
应理解,本申请实施例所涉及的需要检测皱纹的区域,可以是面部常见皱纹的区域,举例来说,可以将如图4所示人脸图像中以下区域中的至少一个区域作为需要检测皱纹的区域:额头区域401、眼下区域402、眼角区域403、鼻翼向下延伸的区域404或者眉心区域405等等。
一种实现方式中,可以根据感兴趣区域检测功能确定人脸图像中皱纹的ROI,并将皱纹的ROI作为需要检测皱纹的区域。具体来说,可通过图像压缩和剪裁,从人脸图像中额头区域401、眼下区域402、眼角区域403、鼻翼向下延伸的区域404或者眉心区域405中的至少一个区域,提取皱纹的ROI作为需要检测皱纹的区域。示例性的,可根据图4所示眼下区域402,提取如图5中编号(a)所示的皱纹的ROI作为需要检测皱纹的区域;也可以根据图4所示额头区域401,提取如图5中编号(b)所示的皱纹的ROI作为需要检测皱纹的区域。
S101所示步骤中涉及的待检测图像,可以是指正常色彩的人脸图像进行旋转后得到的正常色彩的图像,则在S102所示步骤中,处理器110可以对待检测图像进行色彩处理,以确定待检测图像中的像素点的灰度值;待检测图像也可以是正常色彩的人脸图像进行旋转并进行色彩处理后得到的灰度图像,灰度图像中每个像素点可由灰度值表示,则在S102所示步骤中,处理器110可直接根据灰度图像确定各像素点的灰度值。
在S101所示步骤的实施中,处理器110旋转人脸图像中需要检测皱纹的区域得到多个待检测图像的方式可以有多种,下面举例几种可行的方式予以说明:
方式一、按照预设角度集合中的部分或全部预设角度旋转需要检测皱纹的区域,得到多个待检测图像。
具体来说,可将所述人脸图像中需要检测皱纹的区域,分别按照预设角度集合中的部分或全部预设角度进行旋转,将旋转得到的多个图像作为待检测图像,其中,预设角度集合可以包括多个预设角度,任意两个预设角度的数值可以不同。应理解,预设角度,可表示表示需要检测皱纹的区域实际旋转的角度,其中,预设角度的取值可以在[-180,180]°(度)之间,例如,预设角度可以是90°;预设角度的取值,也可以不在[-180,180]°之间,例如,预设角度为270°,表示需要检测皱纹的区域实际旋转了270°。
在实施中,还可通过预设角度集合中预设角度的数值的符号的正、负,表示旋转需要检测皱纹的区域时的旋转方向,例如,可通过如下方式表示旋转需要检测皱纹的区域时的旋转方向:若预设角度的数值符号为正,可表示将需要检测皱纹的区域进行顺时针旋转,若预设角度数值为负,可表示将需要检测皱纹的区域进行顺时针旋转;或者,本申请实施例中也不排除采用如下方式表示旋转需要检测皱纹的区域时的旋转方向,若预设角度集合中预设角度的数值为负,可表示将需要检测皱纹的区域进行顺时针旋转,若预设角度数值为正,可表示将需要检测皱纹的区域进行顺时针旋转。
示例性的,提取的需要检测皱纹的区域为如图5中编号(a)所示的区域,若预设角度集合包括三个预设角度:30°、60°以及90°,从而在S101所示步骤的实施中,可以对如图5中编号(a)所示的区域按照30°进行旋转,得到如图6中编号(a)所示的图像,对如图5中编号(a)所示的区域按照60°进行旋转,得到如图6中编号(b)所示的图像,以及对如图5中编号(a)所示的区域按照90°进行旋转,得到如图6中编号(c)所示的图像,从而图6中编号(a)、编号(b)以及编号(c)所示图像为待检测图像。另外在实施中,还可将预设角度设为0°。
另外,还可根据需要检测皱纹的区域在人脸图像中的位置,设定预设角度集合中的预设角度,例如,由于额头区域皱纹分布方向多为水平方向和竖直方向,针对如图5中编号(b)所示额头区域检测皱纹时的预设角度集合中的预设角度可包括0°以及90°,即待检测图像包括待检测图像(可视为将需要检测皱纹的区域按照0°旋转后的图像)以及将需要检测皱纹的区域旋转90°(顺时针旋转90°或者逆时针旋转90°)后的图像。
方式二、按照预设角度集合中的部分或全部预设角度旋转需要检测皱纹的区域,并分别按照预设比例集合中的部分或全部预设比例进行缩小,得到多个待检测图像。
具体来说,可将人脸图像中需要检测皱纹的区域,分别按照预设角度集合中的部分或全部预设角度旋转,得到多个备选图像,这里预设角度集合以及预设角度的设置方式,可以参照以上方式一的实施;此后,可将多个备选图像,分别按照预设比例集合中的部分或全部预设比例进行缩小,得到多个待检测图像,其中,待检测图像,可以包括备选图像,预设比例集合包括多个预设比例,每个预设比例的数值不同,预设比例可表示缩小前备选图像的尺寸与缩小后得到的待检测图像的尺寸之间的比例关系,例如,预设比例可以是小于等于1的值。应理解,这里所指缩小,可以是指在不改变图像的长宽比例的情况下对图像进行等比缩小。
示例性的,可将旋转需要检测皱纹的区域后得到的每个备选图像,分别按照预设比例集合中的部分或全部预设比例进行缩小,得到多个待检测图像。举例来说,若根据预设角度集合中的预设角度旋转需要检测皱纹的区域后,得到的备选图像之一为图7中编号(a)所示图像,假设预设比例集合中的预设比例为0.5和0.3,此时,可对编号(a)所示图像按照预设比例0.5进行缩小,得到如图7中编号(b)所示图像,以及对编号(a)所示图像按照预设比例0.3进行缩小,得到如图7中编号(c)所示图像,从而可将如图7中编号(b)、编号(c)所示图像作为待检测图像;另外在实施中,还可将图7中编号(a)所示备选图像,作为待检测图像。
在实施中,根据设角度集合中的预设角度旋转需要检测皱纹的区域后,得到的备选图像可以为多个,例如,备选图像可以为如图6中编号(a)、编号(b)以及编号(c)所示图像,则可根据预设比例0.5和0.3,对如图6中编号(a)所示图像进行旋转,得到两个图像,对如图6中编号(b)所示图像进行旋转,得到两个图像,以及对如图6中编号(c)所示图像进行旋转,得到两个图像,将图6中编号(a)、编号(b)以及编号(c)所示图像,以及旋转编号(a)、编号(b)以及编号(c)所示图像得到的多个图像作为待检测图像。
由于灰度图像中皱纹所在区域相比非皱纹区域的灰度值更低(即皱纹区域色彩更暗),但在按照大于1的预设比例放大后,灰度图像中明暗区域的对比没有放大前明显,尤其是对于较粗的皱纹,皱纹所在区域内像素点的灰度值差别不大,从而放大后的灰度图像中更难准确检测皱纹点,因此为了提高皱纹检测的准确性,可在按照小于1的比例进行缩小后的灰度图像中检测皱纹,例如在如图8中编号(a)所示的灰度图像,为编号(b)所示灰度图像的部分区域放大后得到的灰度图像,可见在编号(a)所示灰度图像中,明暗区域的对比不明显,很难根据该灰度图像确定皱纹点所在位置,而编号(b)所示灰度图像中的明暗区域的对比更加明显,因此根据编号(b)所示图像(相当于编号(a)所示灰度图像按照小于1的预设比例进行缩小后得到的灰度图像)更容易确定皱纹点所在位置,其中,在图7中编号(c)所示图像中的深色线条表示编号(b)所示图像中皱纹所在位置。
采用以上方式二,可根据缩小备选图像所得到的待检测图像,对需要检测皱纹的区域中的皱纹进行检测,由于待检测图像将备选图像按照小于1的比例进行缩小,可使得图像中明暗区域对比更加明显,因此可以更加准确地确定待检测图像中的皱纹点,从而能够更为准确的检测不同粗细的皱纹。
一种实现方式中,处理器110可根据以下方法确定皱纹点:设置矩形窗口,并按照设定的滑动步长控制矩形窗口遍历待检测图像,其中,可在矩形窗口所在的每一个窗口位置,确定位于矩形窗口中心位置的中心像素点,以及根据矩形窗口中全部像素点的灰度值确定中心像素点的置信度值,从而得到多个置信度值,将不小于阈值的置信度值所对应的中心像素点,作为皱纹点,其中,置信度值可用于表示中心像素点为皱纹点的可能性。在实施中,滑动步长可设置为一个像素,即,每次控制矩形窗口沿水平方向或竖直方向移动一个像素点,以遍历待检测图像并确定待检测图像中全部像素点对应的置信度值。
具体的,矩形窗口可以设置为由N*N个像素组成的正方形,其中,N为大于1的奇数,例如N取3,或者N取5,从而矩形窗口的行数、列数均为N。如图9所示,可将设置的矩形窗口901遍历待检测图像900,并确定矩形窗口901所在的每一个窗口位置时矩形窗口901的中心像素点的置信度值。
步骤S102所涉及的阈值,可以是预设值,如0或者400。应理解,所述阈值越小,根据以上方法确定出的皱纹点数量越多,即阈值越小,皱纹检测的灵敏度越高。但如果阈值过小,确定出的皱纹点可能会位于如图9所示待检测图像900中的黑色区域902(黑色区域中像素点的灰度值一般为0),此时该皱纹点无法用于指示皱纹位置,因此,可将遍历待检测图像后所确定的多个窗口位置的中心像素点的置信度值的均值,作为阈值,或者将确定的多个窗口位置的中心像素点的非零的置信度值的均值,作为阈值,以提高皱纹检测准确度。可以理解,提高阈值的取值可以提高选取的皱纹点与周围的像素点之间的灰度值差异,从而提高皱纹点检测的准确度。
在一种可能的设计中,若矩形窗口的长、宽均为N个像素,电子设备100可根据以下公式(1)确定中心像素点的置信度值:
其中,M表示矩形窗口中心位置的中心像素点的置信度值,Pij表示第一矩阵中位于第i行、第j列的元素,Qij表示第二矩阵中位于第i行、第j列的元素,第一矩阵为预设的N*N的矩阵,第一矩阵中每一行的元素相同,第二矩阵中第i行、第j列的元素,为矩形窗口中第i行、第j列的像素点的灰度值,1≤i≤N,1≤j≤N,N为奇数,且N大于等于3。
具体的,第二矩阵中的元素可由矩形窗口中全部像素的灰度值构成,举例来说,若矩形窗口为由N*N个像素组成的正方形,则第二矩阵可以为N*N矩阵,其中,第二矩阵中每一个像素位置的取值可以是第二矩阵中对应位置的灰度值,如,第二矩阵中Q11的取值,可以是矩形窗口中第1行第1列像素点的灰度值。
另外,第一矩阵的行数N、列数N,可以与矩形窗口的像素行数N、列数N相同,例如,矩形窗口的尺寸为3*3个像素,第一矩阵为3*3的矩阵。
示例性的,若N=3,则第一矩阵P可以具有如下表达式:
式(2)中,n0>n1;或者,n0<n1。
若N=5,第一矩阵P还可以具有如式(3)所示的表达式:
一种可行的方式中,第一矩阵P可以具有如下表达式:
下面举例说明本申请实施例中确定矩形窗口中心像素点的置信度值的方式。若矩形窗口901的尺寸为5*5像素,当滑动到某一窗口位置时,矩形窗口901内各像素点的灰度值如表1所示,可见,矩形窗口901在该窗口位置时中心像素点(行数、列数均为3的像素点)的灰度值为110。
表1-矩形窗口901内各像素点的灰度值统计表
根据表1,可将第二矩阵Q的表达式设置为:
式(5)中,第二矩阵中的像素(i,j)的取值,为表1所示矩形窗口901内位于第i行第j列的像素点的灰度值。
此后,处理器110可根据式(4)所示的第一矩阵P以及式(5)所示的第二矩阵Q的表达式,通过公式(1)确定矩形窗口901中心像素点的置信度值。
示例性的,采用以上皱纹点检测方法,处理器110确定的如图10中编号(a)所示待检测图像中的皱纹点的位置,可以如图10中编号(b)图像中的白色亮点所示。
进行上述处理后,处理器110可以确定待检测图像中至少两个连续的皱纹点的轮廓线,之后确定轮廓线所包括的直线段,将全部直线段中的部分或全部直线段,作为皱纹线。在实施中,可采用轮廓提取技术提取待检测图像中的轮廓线。
仍以图10为例,处理器110根据S102所示步骤可确定如图10中编号(b)图像中的白色亮点所示的皱纹点,此后,电子设备100可根据皱纹点确定至少一条轮廓线,在轮廓线的基础上,可将轮廓线所包括的全部直线段,作为皱纹线,得到如编号(c)图像中的白色亮线所示的皱纹线。
处理器110确定的皱纹线满足以下预设条件中的一个或多个:
条件一、皱纹线的尺寸不小于预设像素尺寸。这里皱纹线的尺寸,可以由皱纹线的长度表示,其中皱纹线的长度可以是组成该皱纹线的直线段的长度(其中,直线段的长度单位为像素点的数量),或者,皱纹线的尺寸可以由组成该皱纹线的直线段的像素点的数量表示。处理器110可根据条件一,选择尺寸不小于预设像素尺寸的直线段作为皱纹线,如图11所示,若预设像素尺寸为50像素(每一像素为一个像素点的尺寸),当轮廓线1100上的A、B两像素点之间的直线段1101的像素数量大于或等于50,可以将直线段1101作为皱纹线。应理解,本申请中也可将皱纹线的尺寸大于预设像素尺寸,作为预设条件。
条件二、皱纹线上距离最远的两个像素点之间的连线与水平方向的夹角不大于预设夹角。处理器110可以将满足条件二的直线段作为皱纹线,如图11所示,若预设角度为15°,A、B两像素点之间的直线段1101与水平方向之间的夹角θ不大于15°,则可将直线段1101作为皱纹线。应理解,本申请中也可将皱纹线上距离最远的两个像素点之间的连线与水平方向的夹角小于预设夹角,作为预设条件。
本申请在实施中,处理器110也既可以将以上条件一或条件二作为预设条件,也可以将以上条件一和条件二作为预设条件。
处理器110在确定直线段1101作为皱纹线后,还可以确定并保存直线段1101的信息,由于后续确定皱纹评分,例如,可以确定并保存直线段1101的长度、宽度、面积以及直线段1101上的像素点的对比度值。以上确定直线段1101的信息的过程,处理器110可以调用内部存储器121中的程序代码予以实现,此后,处理器110可以将确定的直线段1101的信息存储于内部存储器121,或通过外部存储器接口120,将信息存储于外部存储器。
其中,直线段1101的宽度可以用像素数量表示,可用于表示直线段1101的平均像素宽度,如图10所示,直线段1101可以是宽度不均匀的直线段,可以将直线段1101的平均像素宽度作为直线段1101的宽度,例如,直线段1101长度为60像素,其中,宽度为1(像素)的直线段1101的长度为30像素,宽度为2的直线段1101的长度为20像素,宽度为3的直线段1101的长度为10像素,可知直线段1101的平均像素宽度为2像素((1*30+2*20+3*10)/60),从而可以将2作为直线段1101的宽度。
直线段1101的面积,可以由组成该皱纹线的直线段的像素点的数量表示,单位为像素数量。
直线段1101上的像素点的对比度值,可用于表示直线段1101上像素点的对比度(contrast ratio)。在实施中,可将直线段1101上像素点的对比度的平均值作为直线段1101上的像素点的对比度值。
处理器110可将确定的至少一条皱纹线,在需要检测皱纹的区域中进行显示,以在需要检测皱纹的区域中指示出皱纹所在位置。示例性的,若待检测图像数量为两个或两个以上,可以将全部待检测图像中确定出的皱纹线,融合到需要检测皱纹的区域中进行显示。应理解,这里的“融合”,是指将多个图像中的皱纹线,合并到同一图像中,或者是指将图像中的皱纹线融合到另一图像中,其中融合前后,皱纹线在图像中所处的位置不变。
一种可行的实施方式中,若待检测图像为旋转需要检测皱纹的区域后得到的,在融合皱纹线前,还需要对待检测图像对应的皱纹线(即根据待检测图像确定的皱纹线)进行反方向的旋转,例如,将需要检测皱纹的区域进行顺时针30°旋转后得到待检测图像,则在融合皱纹线的过程中,需要将根据该待检测图像确定的皱纹线,逆时针旋转30°,之后将皱纹线和其他待检测图像对应的皱纹线(若其他待检测图像经过旋转,需要对其他待检测图像进行反方向旋转)进行融合。
另外一种可行的实施方式中,若对需要检测皱纹的区域进行旋转后得到备选图像,在对备选图像进行缩小后得到待检测图像,则在融合皱纹线前,还可以对待检测图像对应的皱纹线进行放大,其中进行放大时的放大比例为对备选图像进行缩小时依据的预设比例分之一(如,进行缩小时依据的预设比例为n,则按照1/n的比例进行放大)。例如,将备选图像按照0.5的预设比例进行缩小后得到待检测图像,则在融合皱纹线前,可按照1/0.5的比例将待检测图像对应的皱纹线进行2倍放大,之后将皱纹线和其他待检测图像对应的皱纹线(若其他待检测图像进行过缩小,需要对其他待检测图像进行等比例放大)进行融合。
举例来说,若在S101所示步骤中确定的待检测图像为如图7中编号(a)、编号(b)以及编号(c)所示图像,其中,如图7中编号(a)所示图像可视为根据备选图像(备选图像即如图7中编号(a)所示图像)按照预设比例1进行缩小得到的,图7中编号(b)所示图像为根据备选图像按照预设比例0.5进行缩小得到的,图7中编号(c)所示图像为根据备选图像按照预设比例0.3进行缩小得到的,根据如图7中编号(a)所示图像确定的皱纹线进行1倍放大后的皱纹线如图12中编号(a)图像中的白色亮线所示,根据如图7中编号(b)所示图像确定的皱纹线进行1/0.5倍放大后的图像如图12中编号(b)图像中的白色亮线所示,根据如图7中编号(c)所示图像确定的皱纹线进行1/0.3倍放大后的图像如图12中编号(c)图像中的白色亮线所示,在融合皱纹线时,可以将如图12中编号(a)图像、编号(b)图像以及编号(c)图像中的白色亮线,融合得到如图12中编号(d)所示的图像,其中白色亮线用于表示如图7中编号(a)所示备选图像对应的皱纹线(备选图像对应的皱纹线,即根据备选图像确定的全部待检测图像确定的皱纹线,融合至同一图像得到的皱纹线)。
在上例中,若如图7中编号(a)图像所示的备选图像,是将如图5中编号(a)图像所示的需要检测皱纹的区域顺时针旋转90°后的到的,可以对如图12中编号(d)图像中白色亮线所示的皱纹线逆时针旋转90°,此后与其他的备选图像对应的皱纹线进行融合,得到如图5中编号(a)图像所示的需要检测皱纹的区域对应的皱纹线(需要检测皱纹的区域对应的皱纹线,即根据需要检测皱纹的区域确定的全部待检测图像对应的全部皱纹线,融合至同一图像得到的皱纹线)。例如,对如图12中编号(d)图像所示的白色亮线逆时针旋转90°后,可得到如图13中编号(a)图像中的白色亮线,图13中编号(b)图像中白色亮线,可表示逆时针旋转60°后的根据如图6中编号(b)所示的备选图像对应的皱纹线,以及,图13中编号(c)图像中白色亮线,可表示逆时针旋转30°后的根据如图6中编号(c)所示的备选图像对应的皱纹线,在S104所示步骤中,可以对如图13中编号(a)图像中的白色亮线、编号(b)图像中的白色亮线以及编号(c)图像中白色亮线进行融合,得到如图13中编号(d)图像中的白色亮线,此后,将编号(d)图像中的白色亮线显示在如图5中编号(a)图像所示的需要检测皱纹的区域中,可得到如图13中编号(e)所示图像,图13中编号(e)所示图像中的白色亮线为需要检测皱纹的区域对应的皱纹线,用于表示需要检测皱纹的区域中的皱纹。
本发明实施还可以根据需要检测皱纹的区域中的皱纹,确定用户人脸图像中的皱纹评分,皱纹评分用于表示用户面部皱纹的严重程度。具体来说,可根据显示的皱纹线的特征集,确定皱纹评分,其中,皱纹线的特征集包括以下特征中的一个或多个:皱纹线的长度、皱纹线的宽度、皱纹线上像素点的对比度值、皱纹线的面积占比。其中,皱纹线的长度可以是指组成皱纹线的直线段的长度;皱纹线的宽度,可以是指组成皱纹线的直线段的宽度;皱纹线上像素点的对比度值,用于表征皱纹线上像素点的对比度,可以由组成皱纹线的直线段上像素点的对比度值表示;皱纹线的面积占比,用于表示皱纹线所围像素区域内的像素数量占待检测图像中全部像素数量的比重,其中,皱纹线的面积占比可以由组成皱纹线的直线段的面积表示。以上确定皱纹评分的信息的过程,处理器110可通过调用内部存储器121中的程序代码予以实现。在输出皱纹评分时,处理器110可以通过显示屏194中显示皱纹评分,例如,可在如图2A所示的用户界面200中显示皱纹评分(如图2A中“细纹78分”所示);或者处理器110可以通过扬声器170A或耳机接口170D播放皱纹评分对应的音频。
示例性的,确定皱纹评分可以符合下述公式要求:
H=A×ω1+B×ω2+C×ω3+D×ω4+ω5;(6)
其中,H为皱纹评分,A为皱纹线的长度,B为皱纹线的宽度,C为皱纹线上像素点的对比度值,D为皱纹线的面积占比,ω1、ω2、ω3以及ω4为小于零的预设参数,ω5为预设参数。在实施中,ω5可以是预设的正整数,例如,ω5的取值可以与皱纹评分的满分相关,如皱纹评分的满分为100分,则ω5取值可以为100。在实施中,还可以将式(6)中取整后的H,作为用户的皱纹评分。
一种可行的方式中,可以对需要检测皱纹的区域中的全部皱纹线的长度进行排序,确定前N(N≥2)长的皱纹线作为目标皱纹线,并将N个目标皱纹线的平均长度,作为上述特征集中的皱纹线的长度,将N个目标皱纹线的平均宽度作为上述特征集中的皱纹线的宽度,将N个目标皱纹线上像素点的对比度值的均值作为特征集中的皱纹线上像素点的对比度值,以及将N个目标皱纹线的面积占比的平均值作为特征集中的皱纹线的面积占比。
示例性的,采用以上方法,对用户眼下区域进行皱纹评分的结果可以参照图14,其中,根据图14中编号为(a1)的眼下区域确定的皱纹线如编号(a2)图像中的白色亮线所示,采用以上方法确定的编号为(a1)的眼下区域对应的皱纹评分为61分;根据编号为(b1)的眼下区域确定的皱纹线如编号(b2)图像中的白色亮线所示,采用以上方法确定的编号为(b1)的眼下区域对应的皱纹评分为75分;根据编号为(c1)的眼下区域确定的皱纹线如编号(c2)图像中的白色亮线所示,采用以上方法确定的编号为(c1)的眼下区域对应的皱纹评分为86分;根据编号为(d1)的眼下区域确定的皱纹线如编号(d2)图像中的白色亮线所示,采用以上方法确定的编号为(d1)的眼下区域对应的皱纹评分为91分。
采用以上方法,对用户额头区域进行皱纹评分的结果可以参照图15,其中,根据图15中编号为(e1)的额头区域确定的皱纹线如编号(e2)图像中的白色亮线所示,采用以上方法确定的编号为(e1)的额头区域对应的皱纹评分为61分;根据图15中编号为(f1)的额头区域确定的皱纹线如编号(f2)图像中的白色亮线所示,采用以上方法确定的编号为(f1)的额头区域对应的皱纹评分为82分;根据图15中编号为(g1)的额头区域确定的皱纹线如编号(g2)图像中的白色亮线所示,采用以上方法确定的编号为(g1)的额头区域对应的皱纹评分为94分。
一种可能的实现方式中,可以将全部需要检测皱纹的区域的皱纹评分的均值进行取整(如向上取整),将取整后的数值作为用户皱纹评分的总得分,例如,用户额头区域评分为94分,用户的眼下区域评分为91分,可以将93分作为用户皱纹评分的总分。
结合图16所示,具体详述皱纹评分的具体实现过程,具体可包括以下步骤:
步骤1601:处理器110根据人脸图像,提取人脸图像中需要检测皱纹的区域;
步骤1602:处理器110分别根据预设角度集合中的多个预设角度,旋转步骤1601中得到的区域,得到多个备选图像;
步骤1603:处理器110针对每一个备选图像,根据预设比例集合中的多个预设比例进行旋转,得到多个待检测图像;
步骤1604:处理器110针对每一个待检测图像,根据待检测图像中像素点的灰度值确定皱纹点;
步骤1605:处理器110针对每一个待检测图像,根据确定的皱纹点确定至少一条皱纹线;
步骤1606:处理器110针对根据同一个备选图像得到的多个待检测图像,将得到的全部皱纹线按照预设比例进行放大,并将放大后的皱纹线融合到备选图像中,得到备选图像所对应的融合后的皱纹线;
步骤1607:处理器110针对每一个备选图像所对应的融合后的皱纹线,根据得到该备选图像所依据的预设角度进行逆向旋转,并将旋转后的皱纹线融合到需要检测皱纹的区域中,得到需要检测皱纹的区域所对应的皱纹线;进而还可在显示屏194中显示需要检测皱纹的区域所对应的皱纹线;
步骤1608:处理器110根据需要检测皱纹的区域所对应的皱纹线,确定皱纹评分,并在显示屏194中显示需要检测皱纹的区域所对应的皱纹评分。
在以上步骤1608的实施中,处理器110可通过显示屏194在如图2A所示的用户界面中显示皱纹评分,如图中“细纹78分”所示。处理器110也可以通过显示屏194显示皱纹检测结果报告,其中,皱纹检测结果报告可以包括但不限于包括皱纹评分、护肤建议、结果图等等。如图17所示,显示屏194可显示皱纹检测结果报告页面1700,可见,皱纹检测结果报告页面1700可包括皱纹评分、护肤建议、标示有皱纹线的需要检测皱纹的区域,即皱纹检测的结果图。示例性的,该皱纹检测结果报告页面1700,可以是处理器110在确定皱纹评分后显示的,也可以是处理器110在检测到对图2A所示的虚拟按钮203的操作后显示的。
在采用本申请实施例提供的皱纹检测方法,对需要检测皱纹的区域进行皱纹检测后,可以将检测到的皱纹线标示于需要检测皱纹的区域中,以及,可以将标示有皱纹线的需要检测皱纹的区域显示于电子设备100的显示屏194中,例如,可以将标示有皱纹线的需要检测皱纹的区域,显示在如图2所示的用户界面200中,从而可直观地指示皱纹位置。
应理解,上述本申请提供的实施例中,从电子设备作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,电子设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
基于相同的构思,图18所示为本申请提供的一种电子设备1800。示例的,电子设备1800包括至少一个处理器1801、存储器1802和显示屏1803。其中,处理器1801与存储器1802、显示屏1803耦合,本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。
在实施中,存储器1802可用于存储程序指令,显示屏1803可用于实现电子设备1800的显示功能。处理器1801可用于调用存储器1802中存储的程序、指令时,结合显示屏1803,使得电子设备1800执行图3和/或图16所示的皱纹检测方法中由电子设备所执行的步骤,从而提高拍照的质量。
具体的,存储器1802可具有上述方法实施例中电子设备100的内部存储器121的功能,如存储程序代码、指令,以及存储电子设备100确定的直线段1101的信息。处理器1801可具有上述方法实施例中电子设备100的处理器110的功能,如,处理器1801可调用存储器1802中存储的程序,执行如图3所示方法中S101、S102以及S103所示步骤,或者,执行如图16所示方法中如步骤1601至1608所示步骤。显示屏1803可具有上述方法实施例中电子设备100的显示屏194的功能,如,显示屏1803可用于执行如图3所示方法中S104所示步骤,用于显示步骤1607中确定的显示需要检测皱纹的区域所对应的皱纹线,以及可用于显示皱纹评分。
示例性的,电子设备1800还可以包括扬声器/外部播放器接口1804,扬声器/外部播放器接口1804可具有电子设备100的扬声器170A/耳机接口170D的功能,如,可用于电子设备1800输出皱纹评分。
所属领域的技术人员可以清楚地了解到本申请实施例可以用硬件实现,或固件实现,或它们的组合方式来实现。当使用软件实现时,可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括RAM、ROM、电可擦可编程只读存储器(electrically erasableprogrammable read only memory,EEPROM)、只读光盘(compact disc read-Only memory,CD-ROM)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如,如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(digital subscriber line,DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的,那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本申请实施例所使用的,盘(disk)和碟(disc)包括压缩光碟(compact disc,CD)、激光碟、光碟、数字通用光碟(digital video disc,DVD)、软盘和蓝光光碟,其中盘通常磁性的复制数据,而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
总之,以上所述仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡根据本申请的揭露,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种皱纹检测方法,其特征在于,包括:
旋转人脸图像中需要检测皱纹的区域,得到多个待检测图像;
根据每个所述待检测图像中像素点的灰度值,从每个所述待检测图像的全部像素点中确定皱纹点;
根据所述皱纹点,从所述多个待检测图像中确定至少一条皱纹线,每条所述皱纹线用于表示所述待检测图像中的一条皱纹;
在所述区域中显示至少一条所述皱纹线;
所述旋转人脸图像中需要检测皱纹的区域,得到多个待检测图像,包括:
将所述区域分别按照预设角度集合中的部分或全部预设角度旋转,得到多个备选图像;将所述多个备选图像,分别按照预设比例集合中的部分或全部预设比例进行缩小,得到所述多个待检测图像,所述预设比例集合包括多个预设比例,每个所述预设比例的数值不同;
所述至少一条皱纹线包括所述多个待检测图像分别对应的皱纹线,所述方法还包括:
针对每个待检测图像对应的皱纹线执行以下处理:
根据获得任一待检测图像时采用的预设比例对所述任一待检测图像对应的皱纹线进行放大,以及,根据获得所述待检测图像时采用的预设角度,在获得所述待检测图像时进行的旋转操作的相反方向上对所述任一待检测图像对应的皱纹线进行旋转;
所述在所述区域中显示至少一条所述皱纹线,包括:
将处理后的每个待检测图像对应的皱纹线融合至所述区域中,融合前后皱纹线在每个待检测图像中所处的位置不变;
显示所述区域中的皱纹线。
2.如权利要求1所述的方法,其特征在于,根据待检测图像中像素点的灰度值,从所述待检测图像的全部像素点中确定皱纹点,包括:
设置矩形窗口;
按设定的滑动步长,控制所述矩形窗口遍历所述待检测图像;
在所述矩形窗口所在的每个窗口位置,确定位于矩形窗口中心位置的中心像素点,并根据所述矩形窗口中全部像素点的灰度值确定所述中心像素点的置信度值,得到多个置信度值,所述置信度值用于表示所述中心像素点为皱纹点的可能性;
将不小于阈值的置信度值所对应的中心像素点,作为所述皱纹点。
3.如权利要求2所述的方法,其特征在于,所述矩形窗口的长、宽均为N个像素;
所述确定位于矩形窗口中心位置的中心像素点,并根据所述矩形窗口中全部像素点的灰度值确定所述中心像素点的置信度值,包括:
根据以下公式确定所述位于矩形窗口中心位置的中心像素点的置信度值:
其中,M表示所述矩形窗口中心位置的中心像素点的置信度值,Pij表示第一矩阵中位于第i行、第j列的元素,Qij表示第二矩阵中位于第i行、第j列的元素,所述第一矩阵为预设的N*N的矩阵,所述第一矩阵中每一行的元素相同,所述第二矩阵中第i行、第j列的元素,为所述矩形窗口中第i行、第j列的像素点的灰度值,1≤i≤N,1≤j≤N,N为奇数,且N大于等于3。
5.如权利要求2或4所述的方法,其特征在于,所述阈值为所述多个置信度值的均值。
6.如权利要求1-2或4任一所述的方法,其特征在于,所述根据所述皱纹点,从所述多个待检测图像中确定至少一条皱纹线,包括:
确定所述皱纹点中至少两个连续的皱纹点的轮廓线;
确定所述轮廓线中的直线段;
将部分或全部所述直线段作为所述皱纹线。
7.如权利要求1-2或4任一所述的方法,其特征在于,所述皱纹线满足以下条件中的一个或多个:
所述皱纹线的尺寸不小于预设像素尺寸;
所述皱纹线上距离最远的两个像素点之间的连线与水平方向的夹角不大于预设夹角。
8.如权利要求1-2或4任一所述的方法,其特征在于,在所述区域中显示至少一条所述皱纹线,包括:
在所述区域中,显示根据全部所述待检测图像确定的全部皱纹线。
9.如权利要求1-2或4任一所述的方法,其特征在于,该方法还包括:
根据显示的所述至少一条所述皱纹线的特征集,确定皱纹评分,所述特征集包括以下特征中的一个或多个:所述皱纹线的长度、所述皱纹线的宽度、所述皱纹线上像素点的对比度值、所述皱纹线的面积占比,其中,所述对比度值用于表征所述皱纹线上像素点的对比度,所述皱纹线的面积占比用于表征所述皱纹线上的像素数量占所述待检测图像中全部像素数量的比重;
输出所述皱纹评分。
10.如权利要求9所述的方法,其特征在于,通过如下公式确定所述皱纹评分:
H=A×ω1+B×ω2+C×ω3+D×ω4+ω5;
其中,所述H为所述皱纹评分,所述A为所述皱纹线的长度,所述B为所述皱纹线的宽度,所述C为所述皱纹线上像素点的对比度值,所述D为所述皱纹线的面积占比,所述ω1、所述ω2、所述ω3以及所述ω4为小于零的预设参数,所述ω5为预设参数。
11.一种电子设备,其特征在于,包括处理器、存储器和显示屏;
其中所述处理器与所述存储器和所述显示屏相耦合;
所述存储器,用于存储程序指令;
所述处理器,用于读取所述存储器中存储的所述程序指令,结合所述显示屏,以实现如权利要求1至10任一所述的方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质存储有程序指令,当所述程序指令在电子设备上运行时,使得所述电子设备执行如权利要求1至10任一所述的方法。
13.一种计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1至10任一所述的方法。
14.一种芯片,其特征在于,所述芯片与电子设备中的存储器耦合,控制所述电子设备执行如权利要求1至10任一所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018107762856 | 2018-07-16 | ||
CN201810776285 | 2018-07-16 | ||
PCT/CN2018/106242 WO2020015149A1 (zh) | 2018-07-16 | 2018-09-18 | 一种皱纹检测方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111566693A CN111566693A (zh) | 2020-08-21 |
CN111566693B true CN111566693B (zh) | 2022-05-20 |
Family
ID=69164982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880085477.0A Active CN111566693B (zh) | 2018-07-16 | 2018-09-18 | 一种皱纹检测方法及电子设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11941804B2 (zh) |
EP (1) | EP3809361B1 (zh) |
CN (1) | CN111566693B (zh) |
WO (1) | WO2020015149A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3858235A4 (en) * | 2018-09-26 | 2021-09-08 | NEC Corporation | ESTIMATE DEVICE, ESTIMATE METHOD, AND STORAGE MEDIUM |
CN111199171B (zh) * | 2018-11-19 | 2022-09-23 | 荣耀终端有限公司 | 一种皱纹检测方法和终端设备 |
CN111353490B (zh) * | 2020-02-28 | 2023-10-31 | 创新奇智(重庆)科技有限公司 | 发动机编号牌质量分析方法、装置、电子设备及存储介质 |
CN111767846A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 图像识别方法、装置、设备和计算机存储介质 |
CN113592796A (zh) * | 2021-07-19 | 2021-11-02 | 深圳数联天下智能科技有限公司 | 嘴角下垂的检测方法、装置、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916370A (zh) * | 2010-08-31 | 2010-12-15 | 上海交通大学 | 人脸检测中非特征区域图像处理的方法 |
CN103827916A (zh) * | 2011-09-22 | 2014-05-28 | 富士胶片株式会社 | 皱纹检测方法、皱纹检测装置和皱纹检测程序以及皱纹评估方法、皱纹评估装置和皱纹评估程序 |
JP5528692B2 (ja) * | 2008-11-17 | 2014-06-25 | 株式会社 資生堂 | シワ評価方法、シワ評価装置、シワ評価プログラム、及び該プログラムが記録された記録媒体 |
CN105310652A (zh) * | 2014-06-09 | 2016-02-10 | 松下知识产权经营株式会社 | 皱纹检测装置和皱纹检测方法 |
CN107158570A (zh) * | 2017-05-11 | 2017-09-15 | 柳华荣 | 一种软组织修复*** |
CN107330370A (zh) * | 2017-06-02 | 2017-11-07 | 广州视源电子科技股份有限公司 | 一种额头皱纹动作检测方法和装置及活体识别方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015232746A (ja) * | 2014-06-09 | 2015-12-24 | パナソニックIpマネジメント株式会社 | 皺検出装置および皺検出方法 |
-
2018
- 2018-09-18 EP EP18926958.2A patent/EP3809361B1/en active Active
- 2018-09-18 US US17/260,015 patent/US11941804B2/en active Active
- 2018-09-18 CN CN201880085477.0A patent/CN111566693B/zh active Active
- 2018-09-18 WO PCT/CN2018/106242 patent/WO2020015149A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5528692B2 (ja) * | 2008-11-17 | 2014-06-25 | 株式会社 資生堂 | シワ評価方法、シワ評価装置、シワ評価プログラム、及び該プログラムが記録された記録媒体 |
CN101916370A (zh) * | 2010-08-31 | 2010-12-15 | 上海交通大学 | 人脸检测中非特征区域图像处理的方法 |
CN103827916A (zh) * | 2011-09-22 | 2014-05-28 | 富士胶片株式会社 | 皱纹检测方法、皱纹检测装置和皱纹检测程序以及皱纹评估方法、皱纹评估装置和皱纹评估程序 |
CN105310652A (zh) * | 2014-06-09 | 2016-02-10 | 松下知识产权经营株式会社 | 皱纹检测装置和皱纹检测方法 |
CN107158570A (zh) * | 2017-05-11 | 2017-09-15 | 柳华荣 | 一种软组织修复*** |
CN107330370A (zh) * | 2017-06-02 | 2017-11-07 | 广州视源电子科技股份有限公司 | 一种额头皱纹动作检测方法和装置及活体识别方法和*** |
Also Published As
Publication number | Publication date |
---|---|
WO2020015149A1 (zh) | 2020-01-23 |
EP3809361A1 (en) | 2021-04-21 |
CN111566693A (zh) | 2020-08-21 |
EP3809361A4 (en) | 2021-08-11 |
US20210327058A1 (en) | 2021-10-21 |
US11941804B2 (en) | 2024-03-26 |
EP3809361B1 (en) | 2023-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112333380B (zh) | 一种拍摄方法及设备 | |
CN111566693B (zh) | 一种皱纹检测方法及电子设备 | |
CN109793498B (zh) | 一种皮肤检测方法及电子设备 | |
CN112215802B (zh) | 一种皮肤检测方法和电子设备 | |
CN111343907B (zh) | 一种色素检测方法及电子设备 | |
CN111543049B (zh) | 一种拍照方法及电子设备 | |
CN111103922B (zh) | 摄像头、电子设备和身份验证方法 | |
CN113542580B (zh) | 去除眼镜光斑的方法、装置及电子设备 | |
CN110138999B (zh) | 一种用于移动终端的证件扫描方法及装置 | |
CN111147667A (zh) | 一种熄屏控制方法及电子设备 | |
CN113572956A (zh) | 一种对焦的方法及相关设备 | |
CN111417982B (zh) | 一种色斑检测方法及电子设备 | |
CN111557007B (zh) | 一种检测眼睛睁闭状态的方法及电子设备 | |
CN114302063A (zh) | 一种拍摄方法及设备 | |
CN111542856B (zh) | 一种皮肤检测方法和电子设备 | |
CN115150543B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN117472250A (zh) | 电子书的翻页处理方法及终端 | |
CN113472996A (zh) | 图片传输方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210429 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Applicant after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |