CN108363986A - 基于改进Sobel算子的人脸速写***和轮廓提取方法 - Google Patents

Abstract

本发明公开了一种基于改进Sobel算子的人脸速写***和轮廓提取方法，该***包括图像采集模块、图像处理模块、控制信息转化模块、执行模块；***采集到人脸信息后转化为灰度图像，通过与改进的Sobel算子卷积运算得到梯度图像，然后对所述梯度图像依次进行初步边缘细化，二值化，得到二值化图像，对所述二值化图像先剔除噪点及短线条，然后进行最终边缘细化操作，得到处理后图像；将其转化为步进电机驱动脉冲，控制步进电机转动，带动画笔移动，完成人脸速写。

Description

基于改进Sobel算子的人脸速写***和轮廓提取方法

技术领域

本发明涉及一种智能人脸速写***，尤其涉及的是一种基于改进Sobel算子的人脸速写***。

背景技术

速写在美术学科中而言是一种快速的写生技巧，绘画者需要提前学***台上运行变得较为困难。

发明内容

技术问题：本发明提供一种可自动快速的基于改进Sobel算子的人脸速写***。

技术方案：本发明的基于改进Sobel算子的人脸速写***，包括图像采集模块，通过摄像头采集并提取包含人脸的原始图像；

图像处理模块，用以将摄像头采集的原始图像转化为灰度图像，并进行人脸轮廓的提取，具体为：将所述灰度图像与改进的Sobel算子作平面卷积，得到梯度图像，然后对所述梯度图像依次进行初步边缘细化，二值化，得到二值化图像，对所述二值化图像先剔除噪点及短线条，然后进行最终边缘细化操作，得到处理后图像；

控制信息转化模块，用以确定处理后图像中每个黑色像素点的矢量信息，确定每次绘制的起始点，并转化为步进电机驱动脉冲；

执行模块，用以根据控制信息转化模块给出的步进电机脉冲信号，控制步进电机转动，带动画笔移动，完成人脸速写。

进一步的，本发明***中，所述改进的Sobel算子为：

进一步的，本发明***中，所述摄像头为黑白摄像头，采集并提取的原始图像即为灰度图像。

进一步的，本发明***中，所述摄像头为彩色摄像头，采集并提取的原始图像为彩色图像，图像处理模块通过公式Y＝0.299R+0.587G+0.114B将彩色图像转化为灰度图像，其中R、G、B分别代表彩色图像中红色、绿色、蓝色三个通道的颜色，Y为转换后灰度图像。

进一步的，本发明***中，所述图像采集模块采用DMA方式采集包含人脸的原始图像。

进一步的，本发明***中，所述图像处理模块采用最大梯度法进行初步边缘细化，具体为：找出梯度图像中任一像素点八邻域中的最大梯度值，将其乘以梯度系数后与该像素点作比较，若大于该像素点梯度值，则剔除该像素点，否则保留该像素点；

图像处理模块采用遍历法进行最终边缘细化，具体为：按照自上而下逐行，每行中从左到右逐个元素，遍历剔除噪点及短线条后的二值化图像中像素点，以同一行中是否连续来对黑色像素点进行分组，连续排列的黑色像素点和单独的一个黑色像素点均独立成组，若一个分组中的黑色像素点个数大于极限数，则保留该组黑色像素点，否则剔除该组中全部黑色像素点，其中，极限数C＝a*W，a为极限系数，W为图像宽度。

进一步的，本发明***中，所述图像处理模块通过模板匹配法剔除噪点及短线条，具体为：将二值化后图像中黑色像素点逐个与3*3模板矩阵进行卷积操作，每次操作中，若结果为0，则剔除该黑色像素点，否则继续与5*5模板矩阵进行卷积操作，若结果为0，则剔除5*5模板矩阵邻域内所有黑色像素点，否则继续与7*7模板矩阵进行卷积操作，若结果为0，则剔除7*7模板矩阵邻域内所有黑色像素点，否则保留7*7模板矩阵邻域内所有黑色像素点，所述3*3模板矩阵、5*5模板矩阵、7*7模板矩阵的形式为：矩阵首行、首列及尾行、尾列元素为1，其余元素为0。

进一步的，本发明***中，所述控制信息转化模块通过以下方法将处理后图像转化为步进电机驱动脉冲：

步骤一：自上而下，从左到右遍历处理后图像中的像素点，得出所有黑色像素点坐标并判断每个黑色像素点属性，所述属性包括端点、中间点和分离点，其中，若在某黑色像素点八邻域内只有一个黑色像素点，则判断其为端点，若有两个，则判断其为中间点，若有两个以上，则判断其为分离点；

步骤二：生成所有黑色像素点的矢量信息，当属性为分离点时，还要生成分离点的分支数，即黑色像素点八邻域内黑色像素点个数，根据黑色像素点矢量信息，按照如下方式生成各绘制线条：以属性为端点或分离点的黑色像素点为起点，与起点八邻域内的黑色像素点连接，如该黑色像素点的属性为端点或分离点时，将该黑色像素点作为此线条终点，如该黑色像素点的属性为中间点，则连接该黑色像素点，并找到该黑色像素点八邻域内还未进行连接的黑色像素点，依次类推，按照上述方式逐点连接，直至线条终点；

步骤三：临近线条互连，若线条长度不多于十个黑色像素点，且线条端点的7*7邻域内存在其他端点，则将其连为同一线条；

步骤四：根据生成的线条信息，生成每个步进电机的驱动脉冲。

本发明的基于改进Sobel算子的人脸轮廓提取方法，包括以下流程：

步骤一：通过摄像头以DMA方式采集并提取包含人脸的原始图像，当摄像头为黑白摄像头时，采集并提取的原始图像即为灰度图像，当摄像头为彩色摄像头时，采集并提取的原始图像为彩色图像，则将彩色图像转化为灰度图像；

步骤二：将灰度图像与改进的Sobel算子作平面卷积运算，得到梯度图像；

步骤三：利用最大梯度法对梯度图像进行初步边缘细化，得到细化后图像；

步骤四：通过局部自适应阈值法对细化后图像进行二值化操作，得到二值化图像；

步骤五：通过模板匹配法剔除二值化图像中噪点及短线条；

步骤六：通过遍历法对剔除噪点及短线条的二值化图像进行最终边缘细化，得到处理后图像。

进一步的，本发明方法中，所述步骤三中利用最大梯度法进行初步边缘细化的具体内容为：找出梯度图像中任一像素点八邻域中的最大梯度值，将其乘以梯度系数后与该像素点作比较，若大于该像素点梯度值，则剔除该像素点，否则保留该像素点；

所述步骤五中通过模板匹配法剔除噪点及短线条的具体内容为：将二值化后图像中黑色像素点逐个与3*3模板矩阵进行卷积操作，每次操作中，若结果为0，则剔除该黑色像素点，否则继续与5*5模板矩阵进行卷积操作，若结果为0，则剔除5*5模板矩阵邻域内所有黑色像素点，否则继续与7*7模板矩阵进行卷积操作，若结果为0，则剔除7*7模板矩阵邻域内所有黑色像素点，否则保留7*7模板矩阵邻域内所有黑色像素点，所述3*3模板矩阵、5*5模板矩阵、7*7模板矩阵的形式为：矩阵首行、首列及尾行、尾列元素为1，其余元素为0；

所述步骤六中采用遍历法进行最终边缘细化的具体内容为：按照自上而下逐行，每行中从左到右逐个元素，遍历剔除噪点及短线条后的二值化图像中像素点，以同一行中是否连续来对黑色像素点进行分组，连续排列的黑色像素点和单独的一个黑色像素点均独立成组，若一个分组中的黑色像素点个数大于极限数，则保留该组黑色像素点，否则剔除该组中全部黑色像素点，其中，极限数C＝a*W，a为极限系数，W为图像宽度。

有益效果：本发明与现有技术相比，具有以下优点：

(1)本发明提出的改进的Sobel算子，将水平及竖直两个方向模板改进为一个全方向模板，一个模板便能完成水平、竖直及斜向边缘的提取，与现有技术相比，不需要分别求出水平及竖直方向梯度值，将灰度图像与全方向模板做平面卷积后，直接可以得出图像中所有方向梯度值，极大的缩短了在嵌入式平台上提取轮廓的运算时间；

(2)通过模板匹配法，采用本发明提出的3*3、5*5、7*7矩阵模板，来剔除二值化图像中的噪点和5*5范围大小的短线条，通过最终边缘细化方法，可有效保证轮廓图像宽度为1～2，通过临近线条互连方法，可使图像更加平滑、连续，与现有技术相比，不需要频繁的升降画笔绘制短线条，使速写结果更加逼真，并减少了速写工作量，使***可以在更短的时间内完成速写。

(3)与现有技术相比，本发明可以在嵌入式平台上独立完成所有图像处理过程并产生控制指令，高效完成人脸速写；

附图说明

图1为本发明***框图。

图2为本发明方法的流程图。

图3为本发明工作结构示意图。

图4为本发明待机结构示意图。

具体实施方式

下面结合实施例和说明书附图说明对本发明作进一步描述。

本发明***工作所需的硬件设备如图3所示，包括摄像头1，微处理器2，电机驱动模块3，稳压模块4，步进电机5，液晶屏幕6，LED照明模块7，所述的稳压模块2输入端与220V交流电相连，输出端与摄像头1、微处理器2、电机驱动模块3、步进电机5，液晶屏幕6、LED照明模块7相连，所述的微处理器2与电机驱动模块3、摄像头1、液晶屏幕6相连，步进电机5与电机驱动模块3相连。

如图2所示，本发明所述***工作流程如下：

S1、微处理器通过DMA方式采集图像采集模块中带有人脸的图像，所谓DMA，即直接存储器访问方法，使得***设备可以没有CPU干预下，通过DMA控制器直接访问内存，快捷高效；

S2、图像处理模块首先将带有人脸的图像转化为灰度图像，然后进行下列操作：

S2.1、将人脸灰度图像与改进的Sobel算子作平面卷积运算，得到梯度图像，某一点的梯度值为：G＝2*IMG[i-1][j]-IMG[i-1][j+1]-2*IMG[i][j+1]-IMG[i+1][j+1]+IMG[i-1][j-1]+2*IMG[i][j-1]+IMG[i+1][j-1]-2*IMG[i+1][j]，其中，IMG(i,j)为当前像素点，G为当前像素点梯度值；

S2.2、在梯度图像中，图像的边缘处梯度值较大，一般呈现出屋顶状，即“亮”区域、“灰色”区域和“暗”区域，图像中目标的真正边缘应该位于“亮”区域处，通过最大梯度法对梯度图像进行初步边缘细化，得到细化后图像，所谓最大梯度法，即通过寻找像素点邻域内最大梯度值，与其比较判断是否为真正边缘，其中，梯度系数通过实验方法得出，实验表明，当梯度系数为0.82时，取得效果较好；

S2.3、通过局部自适应阈值法对细化后图像进行二值化操作；

S2.4、通过模板匹配法剔除二值化图像中噪点及短线条，模板匹配法包括3*3模板矩阵、5*5模板矩阵、7*7模板矩阵，可剔除噪点和不大于5*5像素范围内的短线条，模板具体形式为：矩阵首行、首列及尾行、尾列元素为1，其余元素为0；

具体步骤为：将二值化后图像中黑色像素点依次与3*3模板矩阵进行卷积操作，每次操作中，若结果为0，则剔除该黑色像素点，否则继续与5*5模板矩阵进行卷积操作，若结果为0，则剔除5*5模板邻域内所有黑色像素点，否则继续与7*7模板矩阵进行卷积操作，若结果为0，则剔除7*7模板矩阵邻域内所有黑色像素点，否则保留7*7模板矩阵邻域内所有黑色像素点；

S2.5、通过遍历法对二值化图像进行最终边缘细化，即按照自上而下逐行，每行中从左到右逐个元素，遍历去噪后图像中像素点，以同一行中是否连续来对黑色像素点进行分组，连续排列的黑色像素点和单独的一个黑色像素点均独立成组，若一个分组中的黑色像素点个数大于极限数，则保留该组黑色像素点，否则剔除该组中全部黑色像素点，其中，极限数C＝a*W，W为图像宽度，a为极限系数，实验表明，当极限系数取0.11时，可有效的细化边缘并保留图像中有效信息；

S3、将最终边缘细化后图像通过以下方法转化为步进电机驱动脉冲：

S3.1、自上而下，从左到右遍历图像中的像素点，得出所有黑色像素点坐标并判断每个黑色像素点属性，所述属性包括端点、中间点和分离点，其中，若在某黑色像素点八邻域内只有一个黑色像素点，则判断其为端点，若有两个，则判断其为中间点，若有两个以上，则判断其为分离点；

S3.2生成所有黑色像素点的矢量信息，当属性为分离点时，还要生成分离点的分支数，即黑色像素点八邻域内黑色像素点个数，根据黑色像素点矢量信息，按照以下方式生成各绘制线条：以属性为端点或分离点的黑色像素点为起点，与起点八邻域内的黑色像素点连接，如该黑色像素点的属性为端点或分离点时，将该黑色像素点作为此线条终点，如该黑色像素点的属性为中间点，则连接该黑色像素点，并找到该黑色像素点八邻域内还未进行连接的黑色像素点，判断属性，依次类推，按照上述方式逐点连接，直至线条终点，在生成绘制线条时，端点和中间点只能连接到一段线条，但分离点需要根据分支数，连接到多个线条；

S3.3临近线条互连，若线条长度不多余五个黑色像素点，且线条起点或终点的5*5邻域内存在其他线条的起点或终点，则将其连为同一线条；

S4、微处理器将从图像采集模块采集到的原始图像和最终边缘细化后图像发送到液晶屏幕进行显示，并由按键确认是否进行人脸速写；

S5、微处理器收到确认指令后，根据生成的线条信息，生成每个步进电机的驱动脉冲并发送给执行模块，完成人脸速写。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (10)

1.一种基于改进Sobel算子的人脸速写***，其特征在于，该***包括：

图像采集模块，通过摄像头采集并提取包含人脸的原始图像；

图像处理模块，用以将摄像头采集的原始图像转化为灰度图像，并进行人脸轮廓的提取，具体为：将所述灰度图像与改进的Sobel算子作平面卷积，得到梯度图像，然后对所述梯度图像依次进行初步边缘细化，二值化，得到二值化图像，对所述二值化图像先剔除噪点及短线条，然后进行最终边缘细化操作，得到处理后图像；

控制信息转化模块，用以确定处理后图像中每个黑色像素点的矢量信息，确定每次绘制的起始点，并转化为步进电机驱动脉冲；

执行模块，用以根据控制信息转化模块给出的步进电机脉冲信号，控制步进电机转动，带动画笔移动，完成人脸速写。

2.如权利要求1所述的一种基于改进Sobel算子的人脸速写***，其特征在于，所述改进的Sobel算子为：

3.如权利要求1所述的一种基于改进Sobel算子的人脸速写***，其特征在于，所述摄像头为黑白摄像头，采集并提取的原始图像即为灰度图像。

4.如权利要求1所述的一种基于改进Sobel算子的人脸速写***，其特征在于，所述摄像头为彩色摄像头，采集并提取的原始图像为彩色图像，图像处理模块通过公式Y＝0.299R+0.587G+0.114B将彩色图像转化为灰度图像，其中R、G、B分别代表彩色图像中红色、绿色、蓝色三个通道的颜色，Y为转换后灰度图像。

5.如权利要求1、2、3或4所述的一种基于改进Sobel算子的人脸速写***，其特征在于，所述图像采集模块采用DMA方式采集包含人脸的原始图像。

6.如权利要求1、2、3或4所述的一种基于改进Sobel算子的人脸速写***，其特征在于，所述图像处理模块采用最大梯度法进行初步边缘细化，具体为：找出梯度图像中任一像素点八邻域中的最大梯度值，将其乘以梯度系数后与该像素点作比较，若大于该像素点梯度值，则剔除该像素点，否则保留该像素点；

图像处理模块采用遍历法进行最终边缘细化，具体为：按照自上而下逐行，每行中从左到右逐个元素，遍历剔除噪点及短线条后的二值化图像中像素点，以同一行中是否连续来对黑色像素点进行分组，连续排列的黑色像素点和单独的一个黑色像素点均独立成组，若一个分组中的黑色像素点个数大于极限数，则保留该组黑色像素点，否则剔除该组中全部黑色像素点，其中，极限数C＝a*W，a为极限系数，W为图像宽度。

7.如权利要求1、2、3或4所述的一种基于改进Sobel算子的人脸速写***，其特征在于，所述图像处理模块通过模板匹配法剔除噪点及短线条，具体为：将二值化后图像中黑色像素点逐个与3*3模板矩阵进行卷积操作，每次操作中，若结果为0，则剔除该黑色像素点，否则继续与5*5模板矩阵进行卷积操作，若结果为0，则剔除5*5模板矩阵邻域内所有黑色像素点，否则继续与7*7模板矩阵进行卷积操作，若结果为0，则剔除7*7模板矩阵邻域内所有黑色像素点，否则保留7*7模板矩阵邻域内所有黑色像素点，所述3*3模板矩阵、5*5模板矩阵、7*7模板矩阵的形式为：矩阵首行、首列及尾行、尾列元素为1，其余元素为0。

8.如权利要求1、2、3或4所述的一种基于改进Sobel算子的人脸速写***，其特征在于，所述控制信息转化模块通过以下方法将处理后图像转化为步进电机驱动脉冲：

步骤一：自上而下，从左到右遍历处理后图像中的像素点，得出所有黑色像素点坐标并判断每个黑色像素点属性，所述属性包括端点、中间点和分离点，其中，若在某黑色像素点八邻域内只有一个黑色像素点，则判断其为端点，若有两个，则判断其为中间点，若有两个以上，则判断其为分离点；

步骤二：生成所有黑色像素点的矢量信息，当属性为分离点时，还要生成分离点的分支数，即黑色像素点八邻域内黑色像素点个数，根据黑色像素点矢量信息，按照如下方式生成各绘制线条：以属性为端点或分离点的黑色像素点为起点，与起点八邻域内的黑色像素点连接，如该黑色像素点的属性为端点或分离点时，将该黑色像素点作为此线条终点，如该黑色像素点的属性为中间点，则连接该黑色像素点，并找到该黑色像素点八邻域内还未进行连接的黑色像素点，依次类推，按照上述方式逐点连接，直至线条终点；

步骤三：临近线条互连，若线条长度不多于十个黑色像素点，且线条端点的7*7邻域内存在其他端点，则将其连为同一线条；

步骤四：根据生成的线条信息，生成每个步进电机的驱动脉冲。

9.一种基于改进Sobel算子的人脸轮廓提取方法，其特征在于，该方法包括以下流程：

步骤一：通过摄像头以DMA方式采集并提取包含人脸的原始图像，当摄像头为黑白摄像头时，采集并提取的原始图像即为灰度图像，当摄像头为彩色摄像头时，采集并提取的原始图像为彩色图像，则将彩色图像转化为灰度图像；

步骤二：将灰度图像与改进的Sobel算子作平面卷积运算，得到梯度图像；

步骤三：利用最大梯度法对梯度图像进行初步边缘细化，得到细化后图像；

步骤四：通过局部自适应阈值法对细化后图像进行二值化操作，得到二值化图像；

步骤五：通过模板匹配法剔除二值化图像中噪点及短线条；

步骤六：通过遍历法对剔除噪点及短线条的二值化图像进行最终边缘细化，得到处理后图像。

10.根据权利要求9所述的基于改进Sobel算子的人脸轮廓提取方法，其特征在于，所述步骤三中利用最大梯度法进行初步边缘细化的具体内容为：找出梯度图像中任一像素点八邻域中的最大梯度值，将其乘以梯度系数后与该像素点作比较，若大于该像素点梯度值，则剔除该像素点，否则保留该像素点；

所述步骤五中通过模板匹配法剔除噪点及短线条的具体内容为：将二值化后图像中黑色像素点逐个与3*3模板矩阵进行卷积操作，每次操作中，若结果为0，则剔除该黑色像素点，否则继续与5*5模板矩阵进行卷积操作，若结果为0，则剔除5*5模板矩阵邻域内所有黑色像素点，否则继续与7*7模板矩阵进行卷积操作，若结果为0，则剔除7*7模板矩阵邻域内所有黑色像素点，否则保留7*7模板矩阵邻域内所有黑色像素点，所述3*3模板矩阵、5*5模板矩阵、7*7模板矩阵的形式为：矩阵首行、首列及尾行、尾列元素为1，其余元素为0；

所述步骤六中采用遍历法进行最终边缘细化的具体内容为：按照自上而下逐行，每行中从左到右逐个元素，遍历剔除噪点及短线条后的二值化图像中像素点，以同一行中是否连续来对黑色像素点进行分组，连续排列的黑色像素点和单独的一个黑色像素点均独立成组，若一个分组中的黑色像素点个数大于极限数，则保留该组黑色像素点，否则剔除该组中全部黑色像素点，其中，极限数C＝a*W，a为极限系数，W为图像宽度。