CN107330900A - 一种自动人像分割方法 - Google Patents

一种自动人像分割方法 Download PDF

Info

Publication number
CN107330900A
CN107330900A CN201710481570.0A CN201710481570A CN107330900A CN 107330900 A CN107330900 A CN 107330900A CN 201710481570 A CN201710481570 A CN 201710481570A CN 107330900 A CN107330900 A CN 107330900A
Authority
CN
China
Prior art keywords
portrait
segmentation
network
dividing method
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710481570.0A
Other languages
English (en)
Inventor
陈丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Pinguo Technology Co Ltd
Original Assignee
Chengdu Pinguo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Pinguo Technology Co Ltd filed Critical Chengdu Pinguo Technology Co Ltd
Priority to CN201710481570.0A priority Critical patent/CN107330900A/zh
Publication of CN107330900A publication Critical patent/CN107330900A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种自动人像分割方法，包括步骤模型训练、人像初步分割和人像精确分割；所述模型训练包括步骤：获取训练数据；将训练数据输入神经网络，学习得到网络参数模型；当神经网络收敛后，存储所述网络参数模型，完成模型训练；所述人像初步分割包括步骤：载入所述网络参数模型到移动客户端；利用移动客户端获取输入图像；将所述输入图像输入网络参数模型，得到人像分割初步图像；所述人像精确分割包括步骤：对人像分割初步图像，去除错分的孤立区，保留连通区域；利用抠像算法对连通区域分割细节，突出边缘，得到人像分割最终图像。本发明能够自动且准确的进行人像分割，耗时短且占用空间小，适用于移动客户端。

Description

一种自动人像分割方法
技术领域
本发明属于图像处理技术领域，特别是涉及一种自动人像分割方法。
背景技术
近年来，随着科技的发展，每天都有大量的数字图片产生，而各种图像处理技术也是层出不穷。其中，对人像的个性化处理更是一个极富活力的研究领域。从美肤、五官美化、背景替换，每一步都为人像美化提供了助力。而快速准确的人像分割正是前述背景替换模块的关键步骤。分割的准确性直接影响了背景替换的质量与多样性，同时，也影响了美肤的一致性。
目前，存在很多人像分割算法，比如早期的交互式分割Graphcut等，基于crf的分割，近期等基于深度学习的fcn等。交互式方法，往往需要用户对图像分割有一定的了解，可以画出比较好的分割线，用户体验稍差，且分割速度较慢，通常需要几十秒的时间；基于crf的分割同样是速度较慢；而fcn方法存在的问题主要有三点，一是模型尺寸较大，通常有几百兆，不利于用于移动端，二是计算量较大，速度非常慢，通常需要几秒到几十秒；三是计算过程中涉及到pooling层计算，影响了分割的精度。
发明内容
为了解决上述问题，本发明提出了一种自动人像分割方法，能够自动且准确的进行人像分割，耗时短且占用空间小，适用于移动客户端。
为达到上述目的，本发明采用的技术方案是：
一种自动人像分割方法，包括步骤模型训练、人像初步分割和人像精确分割；
所述模型训练包括步骤：获取训练数据；将训练数据输入神经网络，学习得到网络参数模型；当神经网络收敛后，存储所述网络参数模型，完成模型训练；
所述人像初步分割包括步骤：载入所述网络参数模型到移动客户端；利用移动客户端获取输入图像；将所述输入图像输入网络参数模型，得到人像分割初步图像；
所述人像精确分割包括步骤：对人像分割初步图像，去除错分的孤立区，保留连通区域；利用抠像算法对连通区域分割细节，突出边缘，得到人像分割最终图像。
进一步的是，所述获取训练数据过程包括步骤：搜集人像图片；人工标注人像区域，形成与人像图片对应的掩码图；将掩码图进行缩放至预定尺寸后构成训练数据。
进一步的是，所述神经网络包含卷积模块、上采样层和softmax层；每个所述卷积模块包括卷积层、relu层和pooling层。
进一步的是，所述神经网络包含5个卷积模块、2个上采样层和1个softmax层。
进一步的是，将训练数据输入神经网络后，初始化神经网络；用自适应估计矩阵算法更新神经网络权值；训练过程中，动态调节学习率；经过学习得到网络参数模型。
进一步的是，获取输入图像后，将输入图像进行尺寸缩放到预定尺寸；再将缩放后的图像输入网络参数模型，得到人像分割掩码图，人像分割掩码图作为人像分割初步图像。
进一步的是，将所述人像分割掩码图进行形态学运算，去除错分的孤立区，获得多个连通区域；计算各连通区域的面积并排序，去除不在预设区域内的连通区域，保留剩余的连通区域。
进一步的是，对所述保留的连通区域的外边缘处根据预定像素建立扩展区域，通过抠像算法对扩展区域进行分割细节和突出边缘，得到人像分割最终图像。
采用本技术方案的有益效果：
本发明提出一个瘦长型的深度神经网络结构，极大地缩减了计算量和模型尺寸，从而实现移动端快速人像分割；
本发明提出一个高效的分割算法，提高分割精度，在我们的标注数据集上IOU为94.16％；标注大量的训练数据，极大地提高了训练模型的性能。
附图说明
图1为本发明的一种自动人像分割方法流程示意图；
图2为本发明中模型训练的流程示意图；
图3为本发明中人像初步分割的流程示意图；
图4为本发明中人像精确分割的流程示意图；
图5为本发明中神经网络的结构示意图；
图6为本发明中卷积模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
在本实施例中，参见图1-图4所示，本发明提出了一种自动人像分割方法，包括步骤模型训练、人像初步分割和人像精确分割。
1.所述模型训练包括步骤：获取训练数据；将训练数据输入神经网络，学习得到网络参数模型；当神经网络收敛后，存储所述网络参数模型，完成模型训练。
所述获取训练数据过程包括步骤：搜集人像图片；人工标注人像区域，形成与人像图片对应的掩码图；将掩码图进行缩放至预定尺寸后构成训练数据。
如图5和图6所示，所述神经网络包含卷积模块、上采样层和softmax层；每个所述卷积模块包括卷积层、relu层和pooling层。
优选的是，所述神经网络包含5个卷积模块、2个上采样层和1个softmax层。
将训练数据输入神经网络后，初始化神经网络；用自适应估计矩阵算法更新神经网络权值；训练过程中，动态调节学习率；经过学习得到网络参数模型。
2.所述人像初步分割包括步骤：载入所述网络参数模型到移动客户端；利用移动客户端获取输入图像；将所述输入图像输入网络参数模型，得到人像分割初步图像。
获取输入图像后，将输入图像进行尺寸缩放到预定尺寸；再将缩放后的图像输入网络参数模型，得到人像分割掩码图，人像分割掩码图作为人像分割初步图像。
3.所述人像精确分割包括步骤：对人像分割初步图像，去除错分的孤立区，保留连通区域；利用抠像算法对连通区域分割细节，突出边缘，得到人像分割最终图像。
所述人像分割掩码图进行形态学运算，去除错分的孤立区，获得多个连通区域；计算各连通区域的面积并排序，去除不在预设区域内的连通区域，保留剩余的连通区域。
对所述保留的连通区域的外边缘处根据预定像素建立扩展区域，通过抠像算法对扩展区域进行分割细节和突出边缘，得到人像分割最终图像。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种自动人像分割方法，其特征在于，包括步骤：模型训练、人像初步分割和人像精确分割；
所述模型训练包括步骤：获取训练数据；将训练数据输入神经网络，学习得到网络参数模型；当神经网络收敛后，存储所述网络参数模型，完成模型训练；
所述人像初步分割包括步骤：载入所述网络参数模型到移动客户端；利用移动客户端获取输入图像；将所述输入图像输入网络参数模型，得到人像分割初步图像；
所述人像精确分割包括步骤：对人像分割初步图像，去除错分的孤立区，保留连通区域；利用抠像算法对连通区域分割细节，突出边缘，得到人像分割最终图像。
2.根据权利要求1所述的一种自动人像分割方法，其特征在于，所述获取训练数据过程包括步骤：搜集人像图片；人工标注人像区域，形成与人像图片对应的掩码图；将掩码图进行缩放至预定尺寸后构成训练数据。
3.根据权利要求2所述的一种自动人像分割方法，其特征在于，所述神经网络包含卷积模块、上采样层和softmax层；每个所述卷积模块包括卷积层、relu层和pooling层。
4.根据权利要求3所述的一种自动人像分割方法，其特征在于，所述神经网络包含5个卷积模块、2个上采样层和1个softmax层。
5.根据权利要求4所述的一种自动人像分割方法，其特征在于，将训练数据输入神经网络后，初始化神经网络；用自适应估计矩阵算法更新神经网络权值；训练过程中，动态调节学习率；经过学习得到网络参数模型。
6.根据权利要求5所述的一种自动人像分割方法，其特征在于，获取输入图像后，将输入图像进行尺寸缩放到预定尺寸；再将缩放后的图像输入网络参数模型，得到人像分割掩码图，所述人像分割掩码图作为人像分割初步图像。
7.根据权利要求6所述的一种自动人像分割方法，其特征在于，将所述人像分割掩码图进行形态学运算，去除错分的孤立区，获得多个连通区域；计算各连通区域的面积并排序，去除不在预设区域内的连通区域，保留剩余的连通区域。
8.根据权利要求7所述的一种自动人像分割方法，其特征在于，对所述保留的连通区域的外边缘处根据预定像素建立扩展区域，通过抠像算法对扩展区域进行分割细节和突出边缘，得到人像分割最终图像。
CN201710481570.0A 2017-06-22 2017-06-22 一种自动人像分割方法 Pending CN107330900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710481570.0A CN107330900A (zh) 2017-06-22 2017-06-22 一种自动人像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710481570.0A CN107330900A (zh) 2017-06-22 2017-06-22 一种自动人像分割方法

Publications (1)

Publication Number Publication Date
CN107330900A true CN107330900A (zh) 2017-11-07

Family

ID=60194367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710481570.0A Pending CN107330900A (zh) 2017-06-22 2017-06-22 一种自动人像分割方法

Country Status (1)

Country Link
CN (1) CN107330900A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182674A (zh) * 2017-12-14 2018-06-19 合肥金星机电科技发展有限公司 基于U-Net深度学习网络的粒度检测分析方法
CN109035257A (zh) * 2018-07-02 2018-12-18 百度在线网络技术（北京）有限公司 人像分割方法、装置及设备
CN109816011A (zh) * 2019-01-21 2019-05-28 厦门美图之家科技有限公司 生成人像分割模型的方法和视频关键帧提取方法
CN110049378A (zh) * 2019-04-17 2019-07-23 珠海格力电器股份有限公司 一种视频模式下的互动方法、控制***及终端
CN110610526A (zh) * 2019-08-12 2019-12-24 江苏大学 一种基于wnet对单目人像进行分割和景深渲染的方法
CN110992374A (zh) * 2019-11-28 2020-04-10 杭州趣维科技有限公司 一种基于深度学习的头发精细化分割方法及***
CN111401247A (zh) * 2020-03-17 2020-07-10 杭州趣维科技有限公司 一种基于级联卷积神经网络的人像分割方法
CN111627098A (zh) * 2020-05-21 2020-09-04 广州光锥元信息科技有限公司 对图像中水流区域识别并生成动态水流视频的方法及装置
CN114612971A (zh) * 2022-03-04 2022-06-10 北京百度网讯科技有限公司 人脸检测方法、模型训练方法、电子设备及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682297A (zh) * 2012-05-07 2012-09-19 中北大学 模拟视觉细胞感受野特性的pcnn人脸图像分割方法
CN104463865A (zh) * 2014-12-05 2015-03-25 浙江大学 一种人像分割方法
CN104881647A (zh) * 2015-05-27 2015-09-02 北京旷视科技有限公司 信息处理方法、信息处理***和信息处理装置
CN105550669A (zh) * 2016-01-27 2016-05-04 大连楼兰科技股份有限公司 一种基于图像识别的智能事故勘测方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务***
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及***
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682297A (zh) * 2012-05-07 2012-09-19 中北大学 模拟视觉细胞感受野特性的pcnn人脸图像分割方法
CN104463865A (zh) * 2014-12-05 2015-03-25 浙江大学 一种人像分割方法
CN104881647A (zh) * 2015-05-27 2015-09-02 北京旷视科技有限公司 信息处理方法、信息处理***和信息处理装置
CN105550669A (zh) * 2016-01-27 2016-05-04 大连楼兰科技股份有限公司 一种基于图像识别的智能事故勘测方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务***
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及***
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
任磊: "棉花图像分割算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
董长虹: "《Matlab图像处理与应用》", 31 January 2004, 国防工业出版社 *
陈伟: "《煤矿监控图像分析方法研究》", 31 December 2011, 中国矿业大学出版社 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182674A (zh) * 2017-12-14 2018-06-19 合肥金星机电科技发展有限公司 基于U-Net深度学习网络的粒度检测分析方法
CN108182674B (zh) * 2017-12-14 2021-11-23 合肥金星机电科技发展有限公司 基于U-Net深度学习网络的粒度检测分析方法
CN109035257A (zh) * 2018-07-02 2018-12-18 百度在线网络技术（北京）有限公司 人像分割方法、装置及设备
CN109816011B (zh) * 2019-01-21 2021-09-07 厦门美图之家科技有限公司 视频关键帧提取方法
CN109816011A (zh) * 2019-01-21 2019-05-28 厦门美图之家科技有限公司 生成人像分割模型的方法和视频关键帧提取方法
CN110049378A (zh) * 2019-04-17 2019-07-23 珠海格力电器股份有限公司 一种视频模式下的互动方法、控制***及终端
CN110610526A (zh) * 2019-08-12 2019-12-24 江苏大学 一种基于wnet对单目人像进行分割和景深渲染的方法
CN110610526B (zh) * 2019-08-12 2023-09-22 江苏大学 一种基于wnet对单目人像进行分割和景深渲染的方法
CN110992374A (zh) * 2019-11-28 2020-04-10 杭州趣维科技有限公司 一种基于深度学习的头发精细化分割方法及***
CN110992374B (zh) * 2019-11-28 2023-09-05 杭州小影创新科技股份有限公司 一种基于深度学习的头发精细化分割方法及***
CN111401247A (zh) * 2020-03-17 2020-07-10 杭州趣维科技有限公司 一种基于级联卷积神经网络的人像分割方法
CN111401247B (zh) * 2020-03-17 2023-07-28 杭州小影创新科技股份有限公司 一种基于级联卷积神经网络的人像分割方法
CN111627098A (zh) * 2020-05-21 2020-09-04 广州光锥元信息科技有限公司 对图像中水流区域识别并生成动态水流视频的方法及装置
CN111627098B (zh) * 2020-05-21 2023-04-07 广州光锥元信息科技有限公司 对图像中水流区域识别并生成动态水流视频的方法及装置
CN114612971A (zh) * 2022-03-04 2022-06-10 北京百度网讯科技有限公司 人脸检测方法、模型训练方法、电子设备及程序产品

Similar Documents

Publication Publication Date Title
CN107330900A (zh) 一种自动人像分割方法
CN105825484B (zh) 一种基于深度学习的深度图像去噪及增强方法
CN110517279B (zh) 头颈血管中心线提取方法及装置
CN109101975A (zh) 基于全卷积神经网络的图像语义分割方法
CN109285162A (zh) 一种基于局部区域条件随机场模型的图像语义分割方法
CN106780367B (zh) 基于字典学习的hdr照片风格转移方法
CN107730536B (zh) 一种基于深度特征的高速相关滤波物体追踪方法
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN109685811A (zh) 基于双路径U-net卷积神经网络的PET/CT高代谢***分割方法
CN109145941A (zh) 一种非规则宫颈细胞团图像分类方法及***
CN112232351B (zh) 一种基于深度神经网络的车牌识别***
CN106960457B (zh) 一种基于图像语义提取和涂鸦的彩绘画创作方法
CN104143186B (zh) 一种slic超像素分块优化方法
CN104680558B (zh) 使用GPU硬件加速的Struck目标跟踪方法
CN110096202B (zh) 一种基于深度强化学习的轻量级图像自动裁剪***及方法
CN113888501B (zh) 一种基于注意力定位网络的无参考型图像质量评价方法
CN105809666A (zh) 图像抠图方法及装置
CN109376859A (zh) 一种基于菱形卷积的神经网络剪枝方法
CN107103311A (zh) 一种连续手语的识别方法及其装置
CN109712095A (zh) 一种快速边缘保留的人脸美化方法
CN100487732C (zh) 一种基于人脸照片的卡通肖像生成方法
CN103761736B (zh) 一种基于贝叶斯和谐度的图像分割方法
CN109859222A (zh) 基于级联神经网络的边缘提取方法及***
CN112633288A (zh) 一种基于绘画笔触指导的人脸素描生成方法
CN110324613B (zh) 一种面向视频传输质量的深度学习图像评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication