CN103760975A - 一种追踪定位人脸的方法及显示*** - Google Patents

一种追踪定位人脸的方法及显示*** Download PDF

Info

Publication number
CN103760975A
CN103760975A CN201410002101.2A CN201410002101A CN103760975A CN 103760975 A CN103760975 A CN 103760975A CN 201410002101 A CN201410002101 A CN 201410002101A CN 103760975 A CN103760975 A CN 103760975A
Authority
CN
China
Prior art keywords
line segment
actual
point
user
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410002101.2A
Other languages
English (en)
Other versions
CN103760975B (zh
Inventor
林松
尹卢峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN BITLAND INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN BITLAND INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN BITLAND INFORMATION TECHNOLOGY Co Ltd filed Critical SHENZHEN BITLAND INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410002101.2A priority Critical patent/CN103760975B/zh
Publication of CN103760975A publication Critical patent/CN103760975A/zh
Application granted granted Critical
Publication of CN103760975B publication Critical patent/CN103760975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种追踪定位人脸的方法及显示***,该方法包括:S0:由多个参考特征点形成的至少四条线段,设置为第一参考线段、第二参考线段、第三参考线段以及第四参考线段,设置一个比对参考点;S1:形成与参考线段对应的第一实际线段、第二实际线段、第三实际线段以及第四实际线段,设置一个实际比对点;S2:比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同;S3:比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同;S4:比较实际比对点的位置与比对参考点的位置是否相同。实施本发明的有益效果是,能够准确追踪定位人脸。

Description

一种追踪定位人脸的方法及显示***
技术领域
本发明涉及电子设备领域,更具体地说,涉及一种通过调整显示屏位置追踪定位人脸的方法及显示***。
背景技术
电子装置具有供用户观看的显示屏,其广泛地应用于包括笔记本个人电脑、台式个人电脑、一体机等各种终端机中,只有当用户相对于该电子装置处于最佳视角时,其观看效果才最好。目前当电子装置的方向不变而用户由于某种需要改变脸部朝向来使用该电子装置时,虽然也存在根据人脸位置变化来调整电子装置显示屏的位置与人脸的位置相适应的方法,但实现过程均较为复杂,计算较为繁琐,难以实现精确定位,影响用户感受,降低了用户的使用愉悦感。
发明内容
本发明要解决的技术问题在于,针对现有技术中存在的根据人脸位置变化来调整电子装置显示屏位置与人脸位置相适应的方法较为复杂,难以实现精确定位的缺陷,提供一种实现过程简单,而且能够通过调整显示屏位置精确追踪定位人脸的方法,所述方法包括如下步骤:
S0:通过摄像头采集用户脸部图像,提取并存储与脸部图像中的预定位置分别对应的多个参考特征点,根据预定的规则将所述多个参考特征点两两相连而形成第一参考线段、第二参考线段、第三参考线段以及第四参考线段,记录该第一至第四参考线段的长度,并从所述多个参考特征点中选择一个比对参考点;
S1:再次通过摄像头采集用户脸部图像时,从采集到的用户脸部图像中提取与所述参考特征点对应着脸部图像中的相同预定位置的实际特征点;将所述实际特征点两两相连形成与所述第一至第四参考线段对应的第一实际线段、第二实际线段、第三实际线段以及第四实际线段,并将所述实际特征点中与所述比对参考点对应着脸部图像中的相同预定位置的实际特征点设置为实际比对点;
S2:比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同,若相同,则执行下一个子步骤;若不相同,则调整显示屏前后倾斜角度;
S3:比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同,若相同,则执行下一个子步骤;若不相同,则调整显示屏水平旋转角度;
S4:比较实际比对点的位置与比对参考点的位置是否相同,若相同,则调整完成,若不相同,则调整显示屏垂直高度。
在上述追踪定位人脸的方法中,所述步骤S1还包括:若摄像头无法采集到所有与所述参考特征点相同的实际特征点,则给出用户不在调整范围内的提示。
在上述追踪定位人脸的方法中,所述步骤S1和所述步骤S2之间还包括:
S12:根据比较实际比对点的位置与比对参考点的位置计算出的水平距离和垂直距离,依次调整显示屏水平旋转角度、垂直高度以及前后倾斜角度,直到满足:实际比对点的位置与比对参考点位置相同。
在上述追踪定位人脸的方法中,所述步骤S2还包括:若无法通过调整显示屏前后倾斜角度使第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值相同时,则给出用户不在调整范围内的提示;
在上述追踪定位人脸的方法中,所述步骤S3还包括:若无法通过调整显示屏水平旋转角度使第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值相同时,则给出用户不在调整范围内的提示;
在上述追踪定位人脸的方法中,所述步骤S4还包括:若无法通过调整显示屏垂直高度使比对参考点的位置与实际比对点的位置相同时,则给出用户不在调整范围内的提示。
在上述追踪定位人脸的方法中,从摄像头采集的用户脸部图像获取的多个参考特征点为用户眼球位置A0和B0、鼻尖位置C0以及用户两嘴角的端点X0和Y0;实际参考特征点为用户眼球位置A1和B1、鼻尖位置C1以及用户两嘴角的端点X1和Y1;
其中,所述第一参考线段为A0和B0形成的线段AB0,第二参考线段为X0和Y0形成的线段XY0,第三参考线段为A0和C0形成的线段AC0,第四参考线段为B0和C0形成的线段BC0,比对参考点为C0;第一实际线段为A1和B1形成的线段AB1,第二实际线段为X1和Y1形成的线段XY1,第三实际线段为A1和C1形成的线段AC1,第四实际线段为B1和C1形成的线段BC1,实际比对点为C1。
在上述追踪定位人脸的方法中,从摄像头采集的用户脸部图像获取的多个参考特征点为用户眼球位置A0和B0、鼻尖位置C0、用户两嘴角的端点X0和Y0以及用户鼻子两侧的端点D0和E0;实际特征点为用户眼球位置A1和B1、鼻尖位置C1、用户两嘴角的端点X1和Y1以及用户鼻子两侧的端点D1和E1;
其中,所述第一参考线段为A0和B0形成的线段AB0,第二参考线段为X0和Y0形成的线段XY0,第三参考线段为A0和D0形成的线段AD0,第四参考线段为B0和E0形成的线段BE0,比对参考点为C0;所述第一实际线段为A1和B1形成的线段AB1,第二实际线段为X1和Y1形成的线段XY1,第三实际线段为A1和D1形成的线段AD1,第四实际线段为B1和E1形成的线段BE1,实际比对点为C1。
还提供一种显示***,包括显示屏、摄像头、中央处理器以及驱动模块;所述中央处理器包括特征点提取单元、第一比较单元、第二比较单元以及第三比较单元;
所述摄像头用于采集用户脸部图像,并传输给所述中央处理器;
所述特征点提取单元用于接收用户脸部图像,提取与所述参考特征点相同的实际特征点;根据预定的规则将所述实际特征点两两相连而形成与所述第一至第四参考线段对应的第一实际线段、第二实际线段、第三实际线段以及第四实际线段,并将所述实际特征点中与所述比对参考点对应着脸部图像中的相同预定位置的实际特征点设置为实际比对点;;
所述第一比较单元用于比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同,若不相同,则输出用于调整显示屏前后倾斜角度的信号给所述驱动模块;
所述第二比较单元用于比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同,若不相同,则输出用于调整显示屏水平旋转角度的信号给所述驱动模块;
所述第三比较单元用于比较实际比对点的位置与比对参考点的位置是否相同,若不相同,则输出用于调整显示屏垂直高度的信号给所述驱动模块;
所述驱动模块用于根据接收到的信号驱动显示屏旋转及/或升降。
实施本发明的追踪定位人脸的方法及显示***,具有以下有益效果:根据提取到的用户脸部图像特征点所形成的至少四条实际线段中,比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同、比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同以及比较实际比对点的位置与比对参考点的位置是否相同来调整显示屏位置,达到准确追踪定位人脸的目的,并且实现过程简单,能够对人脸进行精确定位,给用户使用带来便利。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为本发明一种追踪定位人脸的方法的流程图;
图2是本发明第一较佳实施例提供的用户脸部图像的关键数据点所形成的特征图;
图3是本发明第一较佳实施例提供的流程图;
图4是本发明第二较佳实施例提供的用户脸部图像的关键数据点所形成的特征图;
图5是本发明第二较佳实施例提供的流程图;
图6是本发明一种显示***的结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
图1为本发明一种追踪定位人脸的方法的流程图,方法包括如下步骤:主要包括如下步骤:
S0:预先通过摄像头采集用户脸部图像,提取并存储与脸部图像中的预定位置分别对应的多个参考特征点以及存储根据预定规则将多个参考特征点两两相连而形成的至少四条线段,分别设置为第一参考线段、第二参考线段、第三参考线段以及第四参考线段,记录第一至第四参考线段的长度,并从这多个参考特征点中选择一个比对参考点;
S1:再次通过摄像头采集用户脸部图像时,从采集到的用户图像中提取与所述参考特征点对应着脸部图像中的相同预定位置的实际特征点的实际特征点;根据参考线段涉及到的参考特征点,并将与其对应的实际特征点连接,以形成与所述参考线段对应的第一实际线段、第二实际线段、第三实际线段以及第四实际线段,并将所述实际特征点中的与比对参考点相同的特征点设置为实际对比点;即提取的实际特征点要与预先存储的参考特征点完全相同、所形成的实际线段与参考线段所对应的特征点也要完全相同以及选择的实际比对点和比对参考点也一定为用户脸部图像的同一个特征点。
S2:比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同,若相同,则执行下一个子步骤;若不相同,则调整显示屏前后倾斜角度使其相同;若无法通过调整显示屏前后倾斜角度使第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值相同时,则说明用户抬头或低头超出了调整范围,给出用户不在调整范围内的提示。
S3:比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同,若相同,则执行下一个子步骤;若不相同,则调整显示屏水平旋转角度使其相同;若无法通过调整显示屏水平旋转角度使第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值相同时,说明用户面向左侧或右侧并且超出了范围,则给出用户不在调整范围内的提示。
S4:比较实际比对点的位置与比对参考点的位置是否相同,若相同,则调整完成,若不相同,则调整显示屏垂直高度使其相同。若无法通过调整显示屏垂直高度使比对参考点的位置与实际比对点的位置相同时,说明用户坐的过高或过低并且超出了调整范围,则给出用户不在调整范围内的提示。
在上述过程中,提取的参考特征点按照预定规则所形成的线段必须满足如下条件:用于调整显示屏前后倾斜角度的两条线段必须是两条水平线段,在这里水平线段的定义是:摄像头采集到的用户人脸图像可以看作是与显示屏的屏幕大小形状相同的长方形,形成四个端点,以屏幕的底部两端点形成线段为基准,提取的用户脸部的参考特征点所形成的线段是与屏幕的底部两端点形成的线段是平行的,但因不同用户脸部的差异,可以存在一定的误差,即在一定误差范围内均可以认为是平行的,并且在提取特征点时,可以根据需要尽可能选取与屏幕的底部两端点形成的线段尽可能平行的点,例如提取眼球特征点时,可以根据实际需要选择偏离眼球中心允许范围内的的点也可。而用于调整显示屏水平旋转角度的特征点所形成的两条线段则为具有有一定夹角的两条线段,但均不能为与屏幕的底部两端点形成的线段平行的线段,这样的线段可以定义为两条倾斜的线段。
若用于调整显示屏前后倾斜角度的线段是两条倾斜的线段,则这两条线段的比例关系即受到前后倾斜角度变化的影响又受水平旋转角度变化的影响,若选择两条水平线段,那么这两条线段则只受前后倾斜角度的影响,当把这个前后倾斜角度调整好之后,其余成一定夹角的任何两条倾斜线段比例均可以用来作为调整水平旋转角度的依据,但可以优选为一组垂直线段。
所述步骤S1还包括:若根据摄像头采集到的用户脸部图像,通过现有的人脸特征点提取方法若无法提取到所有与所述参考特征点相同的实际特征点,则说明用户的位置超出了调整范围,例如,用户侧脸,或者偏离显示屏较远,在这种情况下可以认定为用户此时不想使用包括该显示屏的电子装置如电脑,则给出用户不在调整范围内的提示。
此外,在步骤S1和步骤S2之间还包括:
S12:根据比较实际比对点的位置与比对参考点的位置计算出的水平距离和垂直距离,依次调整显示屏水平旋转角度、垂直高度以及前后倾斜角度,直到满足:实际比对点的位置与比对参考点位置相同。
显然地,摄像头在收到定位需求后,采集用户脸部图像,此时用户脸部位置是确定的,影响实际特征点的位置及实际线段数据不再是用户脸部位置,而是显示屏的位置。每次调整显示屏的前后倾斜角度或水平旋转角度或垂直高度之后,摄像头均会重新采集用户脸部图像,提取同样的实际特征点以及形成同样的实际线段,因此每次调整显示屏的位置之后从脸部图像中提取到的实际特征点位置或实际线段数据均会作相应的改变直到满足要求。
图2为本发明第一较佳实施例提供的用户脸部图像的关键数据点所形成的特征图,先通过用户选择合适的位置,通过摄像头采集用户与预定位置对应的脸部图像,通过现有的人脸图像特征点提取方法提取的指定的多个参考特征点分别为用户眼球位置A0和B0、鼻尖位置C0以及两嘴角的端点X0和Y0,根据这五个参考特征点形成四根线段,其中,AB0为参考特征点A0与B0形成的第一参考线段,XY0为参考特征点X0与Y0形成的第二参考线段,AC0为参考特征点A0与C0形成的第三参考线段,BC0为参考特征点B0与C0形成的第四参考线段,C0为设置的比对参考点。
之后,在摄像头收到定位需求后,采集用户的脸部图像,通过现有的人脸图像特征点提取方法提取与参考特征点相同的实际特征点,该实际特征点也为用户的眼球位置A1和B1、鼻尖位置C1以及两嘴角的端点X1和Y1,与预存储的参考特征点所包括的用户脸部特征点以及个数是完全一致的,根据这五个关键数据点形成四根线段,其中,AB1为实际特征点A1与B1形成的第一实际线段,XY1为实际特征点X1与Y1形成的第二实际线段,AC1为实际特征点A1与C1形成的第三实际线段,BC1为实际特征点B1与C1形成的第四实际线段。C1为设置的实际比对点。
其中,用于比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同的标准是:AB1/XY1=AB0/XY0,用于比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同的标准是:AD1/BE1=AD0/BE0,用于比较实际比对点的位置与比对参考点的位置是否相同的标准为:C1与C0重合。
如图3所示,为本发明第一较佳实施例提供的流程图,根据图1提供的方法流程图可以归纳为如下步骤:
S0’:预先通过摄像头采集用户脸部图像,提取并存储的参考特征点为A0,B0,C0,X0,Y0;形成的四条参考线段为AB0、XY0、AC0以及AD0,比对参考点为C0;
S1’:摄像头收到定位需求后,再次采集用户脸部图像,提取实际特征点为A1,B1,C1,X1,Y1;形成的四条实际线段为AB1、XY1、AC1以及AD1,实际比对点为C1;
S2’:比较是否满足:AB1/XY1=AB0/XY0;若满足,则执行下一个子步骤,若不满足,则调整显示屏前后倾斜角度,直到满足该条件;若无法通过调整显示屏前后倾斜角度使其满足AB1/XY1=AB0/XY0时,则给出用户不在调整范围内的提示;
S3’:比较是否满足:AC1/BC1=AC0/BC0;若满足,则执行下一个子步骤,若不满足,则调整显示屏水平旋转角度直到满足该条件;若无法通过调整显示屏水平旋转角度使其满足AC1/BC1=AC0/BC0时,则给出用户不在调整范围内的提示;
S4’:比较是否满足:C1与C0重合,是C1的位置与C0的位置相同;若满足,则调整完成,无需再对显示屏进行调整,若不满足,则调整显示屏垂直高度直到满足该条件;若无法通过调整显示屏垂直高度使其满足C1与C0重合时,则给出用户不在调整范围内的提示。
在上述步骤中,AB1/XY1=AB0/XY0,AC1/BC1=AC0/BC0以及C1与C0重合,这里的相等和重合可以定义为在一定范围内就是相等和重合,即允许有一定的偏差,可以根据需要进行设定。步骤S2’和步骤S3’是用来比较是否需要调整显示屏的角度,可以改变两者的顺序,只需满足最后调整显示屏高度即可。
步骤S1’和步骤S2’之间还包括步骤:
S12’:最先根据实际比对点C1与比对参考点C0的位置,依次调整显示屏水平旋转角度、垂直高度以及前后倾斜角度,直到满足:C1与C0重合。该步骤是进行初步调整(也可以说是粗调),这个步骤是比较拍摄到的像素点C1与C0的位置而计算出的水平、垂直距离x,y,该水平距离、垂直距离的具体算法是:以比对参考点C0为原点,与屏幕的底部两端点形成的线段平行的直线为x轴,与其垂直的直线为y轴。把这个x值直接用来调整显示屏水平旋转角度,y值用来调整显示屏垂直高度,若超出了高度调整再调整显示屏前后倾斜角度。
这个步骤的目的是将人脸放在摄像比较中间的位置,这样提取实际特征点形成AB1,AC1等线段的数据时比较准确,因为摄像的边缘容易产生畸变,而且还可以提升效率,能更快地调整好显示屏的位置与人脸位置相适应,以达到追踪定位人脸的目的。
在上述步骤S1’中,在收到定位需求后,若摄像头采集到的用户脸部图像中,无法提取到所有与参考特征点相同的实际特征点,相当于实际特征点没有全部在脸部图像内,则说明用户的位置超出了调整范围,例如侧脸,或者偏离显示屏较远,因此在这种情况下可认定用户不打算使用该显示屏,此时则给出用户不在调整范围内的提示。
因此,实施本发明第一较佳实施例的具体过程如下:通过摄像头采集用户脸部图像,提取的用户脸部实际特征点为A1,B1,C1,X1,Y1,首先判断是否能提取到所有这些特征点,若不能,即这些实际特征点并没有全部在脸部图像内,则是用户的位置超出了调整范围,例如,用户侧脸,或者偏离显示屏较远,这种情况可认定用户不打算使用该显示屏,此时给出用户不在调整范围内的提示。
然后比较AB1/XY1是否等于AB0/XY0,这里的相等可以定义为在一定范围内就相等,这是用于判断人脸与显示屏垂直方向的角度,通过调整显示屏的前后倾斜角度来完成,例如,当用户抬头时,靠近显示屏的部位会相对变大,所以AB1/XY1要小于AB0/XY0,此时需调整显示屏前后倾斜角度,从而改变线段AB1或XY1的数据,以使AB1/XY1的值等于或趋近于AB0/XY0,所以若无法调整到要求的位置,则说明用户抬头或低头超出了调整范围,则给出用户不在调整范围内的提示,当用户低头时AB1/XY1要大于AB0/XY0,调整显示屏前后倾斜角度,即改变线段AB1或XY1的数据,以完成前后倾斜角度的调整。
同样,比较AC1/BC1是否等于AC0/BC0,这里的相等可以定义为在一定范围内就相等,这是用于判断人脸与显示屏水平方向的角度,通过调整显示屏水平旋转角度,即可以改变线段AC1或BC1的数据,以完成水平旋转角度的调整,若无法调整到要求的位置,则说明用户面向左侧或右侧并且超出了调整范围,则给出用户不在调整范围内的提示。最后确认C1与C0是否重合,这里的重合可以定义为在一定范围内就是重合的,这时只需调整显示屏垂直高度即可,通过调整显示屏的升/降,即可改变C1的位置数据,使其与C0重合,若无法调整到要求的位置,则说明用户坐的过高或过低并且超出了调整范围,则给出用户不在调整范围内的提示。
图4为本发明第二较佳实施例提供的用户脸部图像的关键数据点所形成的特征图,先通过用户选择合适的位置,通过摄像头采集用户与预定位置对应的脸部图像,通过现有的人脸图像特征点提取方法提取的指定的多个参考特征点分别为用户眼球位置A0和B0或者两眼角的端点A0’和B0’或者两眼角的端点A0’’和B0’’、鼻尖位置C0、鼻子两侧的端点D0和E0以及两嘴角的端点X0和Y0,如图所示,根据这七个参考特征点形成四根线段,其中,以眼球位置A0和B0为例,AB0为参考特征点A0与B0形成的第一参考线段,XY0为参考特征点X0与Y0形成的第二参考线段,AD0为参考特征点A0与D0形成的第三参考线段,BE0为参考特征点B0与E0形成的第四参考线段,C0为设置的比对参考点。
之后,在摄像头收到定位需求后,实时采集用户的脸部图像,通过现有的人脸图像特征点提取方法提取与参考特征点相同的实际特征点,该实际特征点也为用户的眼球位置A1和B1或者两眼角的端点A1’和B1’或者两眼角的端点A1’’和B1’’、鼻尖位置C1、鼻子两侧的端点D1和E1以及两嘴角的端点X1和Y1,与预存储的参考特征点所包括的用户脸部特征点以及个数是完全一致的,根据这七个关键数据点可以形成四根线段,其中,以眼球位置A1和B1为例,AB1为实际特征点A1与B1形成的第一实际线段,XY1为实际特征点X1与Y1形成的第二实际线段,AD1为实际特征点A1与D1形成的第三实际线段,BE1为实际特征点B1与E1形成的第四实际线段,C1为设置的实际比对点。
其中,用于比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同的标准是:AB1/XY1=AB0/XY0,用于比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同的标准是:AD1/BE1=AD0/BE0,用于比较实际比对点的位置与比对参考点的位置是否相同的标准为:C1与C0重合。
如图5所示,为本发明提供的第二较佳实施例的流程图,其实现步骤与图3原理一样,此处不再赘述。
现介绍实施本发明第二较佳实施例的具体过程如下:通过摄像头采集用户脸部图像,提取的用户脸部实际特征点为A1,B1,C1,D1,E1,X1,Y1,首先判断是否能提取到所有这些特征点,若不能,即这些实际特征点并没有全部在脸部图像内,则是用户的位置超出了调整范围,例如,用户侧脸,或者偏离显示屏较远,这种情况可认定用户不打算使用该显示屏,此时给出用户不在调整范围内的提示。
然后比较AB1/XY1是否等于AB0/XY0,这里的相等可以定义为在一定范围内就相等,这是用于判断人脸图像与显示屏垂直方向的角度,通过调整显示屏的前后倾斜角度来完成,例如,当用户抬头时,靠近显示屏的部位会相对变大,所以AB1/XY1要小于AB0/XY0,此时需调整显示屏前后倾斜角度,改变线段AB1或XY1的数据,以使AB1/XY1的值等于或趋近于AB0/XY0,所以若无法调整到要求的位置,则说明用户抬头或低头超出了调整范围,则给出用户不在调整范围内的提示,当用户低头时AB1/XY1要大于AB0/XY0,调整显示屏位置,即改变线段AB1或XY1的数据,以完成前后倾斜角度的调整。
同样,比较AD1/BE1是否等于AD0/BE0,这里的相等可以定义为在一定范围内就相等,这是用于判断人脸与显示屏水平方向的角度,通过调整显示屏的水平旋转角度完成,即通过调整显示屏位置,改变线段AD1或BE1的数据,直到等于或接近于AD0与BE0的比值,若无法调整到要求的位置,则说明用户面向左侧或右侧并且超出了调整范围,则给出用户不在调整范围内的提示。最后确认C1与C0是否重合,这里的重合可以定义为在一定范围内就是重合的,这时只需调整显示屏垂直高度即可,即通过调整显示屏的垂直高数据,即可改变C1的位置数据,直至与C0重合。若无法调整到要求的位置,则说明用户坐的过高或过低并且超出了调整范围,则给出用户不在调整范围内的提示。
在第二较佳实施例中,还可以通过比较实际特征点形成的线段AB1和DE1的比值AB1/DE1是否等于预存的参考特征点形成的线段AB0和DE0的比值AB0/DE0来作为调整显示屏前后倾斜角度的标准。其中,DE1为实际特征点D1和E1形成的线段,DE0为参考特征点中D0与E0形成的线段。并且实际特征点中的眼球位置A1和B1可以用两眼角的端点A1’和B1’或者两眼角端点A1’’和B1’’来代替,均能实现追踪定位人脸的目的。
此外,也并不限于上述几种实现方式,其中,用户眼球位置A1和B1、鼻尖位置C1以及两嘴角的端点X1和Y1是比较容易抓取、容易说明、容易理解的用户脸部特征点,但人脸的特征点还包括眉梢以及人中等,根据人脸图像特征点抓取方法均可以抓取,只需形成至少两根水平线段,作为比较是否需要调整显示屏前后倾斜角度的依据、形成两根成一定夹角的倾斜线段,作为比较是否需要调整显示屏水平旋转角度的依据、可以以图像特征点如鼻尖、眉心等作为比较是否需要调整显示屏垂直高度的依据,但因鼻尖比较接近人脸正中间,调整过程会更为简单和准确。总之,除上述列举的这几种例子外,还有较多的实施方式,在此不再赘述。
实施本发明一种追踪定位人脸的方法,通过配合一定的硬件结构,即可调整显示屏位置与人脸位置相适应,实现追踪定位人脸。如图6所示,该显示***包括显示屏,还包括摄像头20、中央处理器30以及驱动模块40;中央处理器30包括特征点提取单元301、第一比较单元302、第二比较单元303以及第三比较单元304。其中,中央处理器30在用户选择合适位置时,通过摄像头采集用户脸部图像,预先提取并存储有与脸部图像中的预定位置分别对应的多个参考特征点,根据预定的规则将多个参考点两两相连形成第一至第四参考线段,并从这多个参考特征点中选择一个比对参考点。
摄像头20装设在显示屏上,用于采集用户脸部图像,并传输给中央处理器30。
特征点提取单元301用于接收用户脸部图像,提取与参考特征点相同的实际特征点;根据参考线段涉及到的参考特征点,并将与其对应的实际特征点连接,以形成与参考线段对应的第一实际线段、第二实际线段、第三实际线段以及第四实际线段,并将实际特征点中的与比对参考点相同的特征点设置为实际比对点。
第一比较单元302用于比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同,若不相同,则输出用于调整显示屏前后倾斜角度的信号给驱动模块40。
第二比较单元303用于比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同,若不相同,则输出用于调整显示屏水平旋转角度的信号给驱动模块40。
第三比较单元304用于比较实际比对点的位置与比对参考点的位置是否相同,若不相同,则输出用于调整显示屏垂直高度的信号给驱动模块40。其比较及调整方法均根据上述追踪定位人脸方法来实现。
驱动模块40用于根据接收到的信号驱动显示屏旋转及/或升降。
具体地,驱动模块40将接收到的用于调整显示屏前后倾斜角度的信号、用于调整显示屏水平旋转角度的信号以及用于调整显示屏垂直高度的信号分别输出至第一至第三电机,进而分别调整显示屏前后倾斜角度、水平旋转角度以及垂直高度,使显示屏的位置最终与人脸位置相适应,达到追踪定位人脸的目的。
本发明一种追踪定位人脸的方法及显示***,主要应用于单摄像头的电子装置,因在现有的电子产品中,例如一体机,显示器,手机等产品多是配有一个摄像头,因此具有很强的实用性,实现方法简单,而且能够精确定位人脸。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (9)

1.一种追踪定位人脸的方法,其特征在于,所述方法包括如下步骤: 
S0:通过摄像头采集用户脸部图像,提取并存储与脸部图像中的预定位置分别对应的多个参考特征点,根据预定的规则将所述多个参考特征点两两相连而形成第一参考线段、第二参考线段、第三参考线段以及第四参考线段,记录该第一至第四参考线段的长度,并从所述多个参考特征点中选择一个比对参考点; 
S1:再次通过摄像头采集用户脸部图像时,从采集到的用户脸部图像中提取与所述参考特征点对应着脸部图像中的相同预定位置的实际特征点;将所述实际特征点两两相连形成与所述第一至第四参考线段对应的第一实际线段、第二实际线段、第三实际线段以及第四实际线段,并将所述实际特征点中与所述比对参考点对应着脸部图像中的相同预定位置的实际特征点设置为实际比对点; 
S2:比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同,若相同,则执行下一个子步骤;若不相同,则调整显示屏前后倾斜角度; 
S3:比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同,若相同,则执行下一个子步骤;若不相同,则调整显示屏水平旋转角度; 
S4:比较实际比对点的位置与比对参考点的位置是否相同,若相同,则调整完成,若不相同,则调整显示屏垂直高度。 
2.根据根据权利要求1所述的追踪定位人脸的方法,其特征在于,所述步骤S1还包括:若摄像头无法采集到所有与所述参考特征点相同的实际特征点,则给出用户不在调整范围内的提示。 
3.根据根据权利要求1所述的追踪定位人脸的方法,其特征在于,所述步骤S1和所述步骤S2之间还包括: 
S12:根据比较实际比对点的位置与比对参考点的位置计算出的水平距离 和垂直距离,依次调整显示屏水平旋转角度、垂直高度以及前后倾斜角度,直到满足:实际比对点的位置与比对参考点位置相同。 
4.根据权利要求1所述的追踪定位人脸的方法,其特征在于,所述步骤S2还包括:若无法通过调整显示屏前后倾斜角度使第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值相同时,则给出用户不在调整范围内的提示。 
5.根据权利要求1所述的追踪定位人脸的方法,其特征在于,所述步骤S3还包括:若无法通过调整显示屏水平旋转角度使第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值相同时,则给出用户不在调整范围内的提示。 
6.根据权利要求1所述的追踪定位人脸的方法,其特征在于,所述步骤S4还包括:若无法通过调整显示屏垂直高度使比对参考点的位置与实际比对点的位置相同时,则给出用户不在调整范围内的提示。 
7.根据权利要求1所述的追踪定位人脸的方法,其特征在于,从摄像头采集的用户脸部图像中提取的多个参考特征点为用户眼球位置A0和B0、鼻尖位置C0以及用户两嘴角的端点X0和Y0;实际参考特征点为用户眼球位置A1和B1、鼻尖位置C1以及用户两嘴角的端点X1和Y1; 
其中,所述第一参考线段为A0和B0形成的线段AB0,第二参考线段为X0和Y0形成的线段XY0,第三参考线段为A0和C0形成的线段AC0,第四参考线段为B0和C0形成的线段BC0,比对参考点为C0;第一实际线段为A1和B1形成的线段AB1,第二实际线段为X1和Y1形成的线段XY1,第三实际线段为A1和C1形成的线段AC1,第四实际线段为B1和C1形成的线段BC1,实际比对点为C1。 
8.根据权利要求1所述的追踪定位人脸的方法,其特征在于,从摄像头采集的用户脸部图像获取的多个参考特征点为用户眼球位置A0和B0、鼻尖位置C0、用户两嘴角的端点X0和Y0以及用户鼻子两侧的端点D0和E0;实际特征点为用户眼球位置A1和B1、鼻尖位置C1、用户两嘴角的端点X1和Y1以及用户鼻子两侧的端点D1和E1; 
其中,所述第一参考线段为A0和B0形成的线段AB0,第二参考线段为X0和Y0形成的线段XY0,第三参考线段为A0和D0形成的线段AD0,第四参考线段为B0和E0形成的线段BE0,比对参考点为C0;所述第一实际线段为A1和B1形成的线段AB1,第二实际线段为X1和Y1形成的线段XY1,第三实际线段为A1和D1形成的线段AD1,第四实际线段为B1和E1形成的线段BE1,实际比对点为C1。 
9.一种显示***,其特征在于,包括显示屏、摄像头、中央处理器以及驱动模块;所述中央处理器包括特征点提取单元、第一比较单元、第二比较单元以及第三比较单元; 
所述摄像头用于采集用户脸部图像,并传输给所述中央处理器; 
所述特征点提取单元用于接收用户脸部图像,提取与参考特征点对应着脸部图像中的相同预定位置的实际特征点;根据预定的规则将所述实际特征点两两相连而形成与第一至第四参考线段对应的第一实际线段、第二实际线段、第三实际线段以及第四实际线段,并将所述实际特征点中与比对参考点对应着脸部图像中的相同预定位置的实际特征点设置为实际比对点; 
所述第一比较单元用于比较第一实际线段和第二实际线段的比值与第一参考线段和第二参考线段的比值是否相同,若不相同,则输出用于调整显示屏前后倾斜角度的信号给所述驱动模块; 
所述第二比较单元用于比较第三实际线段和第四实际线段的比值与第三参考线段和第四参考线段的比值是否相同,若不相同,则输出用于调整显示屏水平旋转角度的信号给所述驱动模块; 
所述第三比较单元用于比较实际比对点的位置与比对参考点的位置是否相同,若不相同,则输出用于调整显示屏垂直高度的信号给所述驱动模块; 
所述驱动模块用于根据接收到的信号驱动显示屏旋转及/或升降。 
CN201410002101.2A 2014-01-02 2014-01-02 一种追踪定位人脸的方法及显示*** Active CN103760975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410002101.2A CN103760975B (zh) 2014-01-02 2014-01-02 一种追踪定位人脸的方法及显示***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410002101.2A CN103760975B (zh) 2014-01-02 2014-01-02 一种追踪定位人脸的方法及显示***

Publications (2)

Publication Number Publication Date
CN103760975A true CN103760975A (zh) 2014-04-30
CN103760975B CN103760975B (zh) 2017-01-04

Family

ID=50528227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410002101.2A Active CN103760975B (zh) 2014-01-02 2014-01-02 一种追踪定位人脸的方法及显示***

Country Status (1)

Country Link
CN (1) CN103760975B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105234940A (zh) * 2015-10-23 2016-01-13 上海思依暄机器人科技有限公司 机器人及其控制方法
CN105242888A (zh) * 2014-07-10 2016-01-13 联想(北京)有限公司 一种***控制方法及电子设备
CN105301789A (zh) * 2015-12-09 2016-02-03 深圳市中视典数字科技有限公司 一种跟随人眼位置的立体显示装置
CN105701763A (zh) * 2015-12-30 2016-06-22 青岛海信移动通信技术股份有限公司 一种调整人脸图像的方法及装置
CN106955122A (zh) * 2017-03-20 2017-07-18 苏州网颢信息科技有限公司 放射治疗中基于单摄像模组的头部三维检测方法
CN108134902A (zh) * 2017-12-25 2018-06-08 三星电子(中国)研发中心 一种拍摄相同背景的照片的方法和装置
CN109995994A (zh) * 2018-01-02 2019-07-09 上海银晨智能识别科技有限公司 自动调节的拍照***及其控制装置、方法、可读存储介质
CN110909662A (zh) * 2019-11-20 2020-03-24 湖南检信智能科技有限公司 人脸运动模糊矫正方法
WO2020087751A1 (zh) * 2018-10-29 2020-05-07 歌尔股份有限公司 一种音频设备定向显示方法、装置和音频设备
CN112869701A (zh) * 2021-01-11 2021-06-01 上海微创医疗机器人(集团)股份有限公司 视线检测方法、手术机器人***、控制方法和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458531A (zh) * 2007-12-12 2009-06-17 深圳富泰宏精密工业有限公司 显示屏自动调整***及方法
CN101859176A (zh) * 2009-04-08 2010-10-13 群康科技(深圳)有限公司 屏幕控制装置及其方法
US20100295827A1 (en) * 2009-05-25 2010-11-25 Lg Electronics Inc. Display device and method of adjusting viewing angle thereof
CN102547209A (zh) * 2012-02-06 2012-07-04 华为技术有限公司 视讯设备控制方法、装置及视讯***
US8379059B2 (en) * 2009-08-07 2013-02-19 Fih (Hong Kong) Limited Portable electronic device and method for adjusting display orientation of the portable electronic device
CN103092344A (zh) * 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458531A (zh) * 2007-12-12 2009-06-17 深圳富泰宏精密工业有限公司 显示屏自动调整***及方法
CN101859176A (zh) * 2009-04-08 2010-10-13 群康科技(深圳)有限公司 屏幕控制装置及其方法
US20100295827A1 (en) * 2009-05-25 2010-11-25 Lg Electronics Inc. Display device and method of adjusting viewing angle thereof
US8379059B2 (en) * 2009-08-07 2013-02-19 Fih (Hong Kong) Limited Portable electronic device and method for adjusting display orientation of the portable electronic device
CN102547209A (zh) * 2012-02-06 2012-07-04 华为技术有限公司 视讯设备控制方法、装置及视讯***
CN103092344A (zh) * 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴巾一: "《人脸识别方法综述》", 《计算机应用研究》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242888B (zh) * 2014-07-10 2018-10-12 联想(北京)有限公司 一种***控制方法及电子设备
CN105242888A (zh) * 2014-07-10 2016-01-13 联想(北京)有限公司 一种***控制方法及电子设备
CN105234940A (zh) * 2015-10-23 2016-01-13 上海思依暄机器人科技有限公司 机器人及其控制方法
CN105301789A (zh) * 2015-12-09 2016-02-03 深圳市中视典数字科技有限公司 一种跟随人眼位置的立体显示装置
CN105701763A (zh) * 2015-12-30 2016-06-22 青岛海信移动通信技术股份有限公司 一种调整人脸图像的方法及装置
CN105701763B (zh) * 2015-12-30 2019-05-21 青岛海信移动通信技术股份有限公司 一种调整人脸图像的方法及装置
CN106955122A (zh) * 2017-03-20 2017-07-18 苏州网颢信息科技有限公司 放射治疗中基于单摄像模组的头部三维检测方法
CN108134902A (zh) * 2017-12-25 2018-06-08 三星电子(中国)研发中心 一种拍摄相同背景的照片的方法和装置
CN108134902B (zh) * 2017-12-25 2020-09-18 三星电子(中国)研发中心 一种拍摄相同背景的照片的方法和装置
CN109995994A (zh) * 2018-01-02 2019-07-09 上海银晨智能识别科技有限公司 自动调节的拍照***及其控制装置、方法、可读存储介质
WO2020087751A1 (zh) * 2018-10-29 2020-05-07 歌尔股份有限公司 一种音频设备定向显示方法、装置和音频设备
US11551633B2 (en) 2018-10-29 2023-01-10 Goeriek Inc. Directional display method and apparatus for audio device and audio device
CN110909662A (zh) * 2019-11-20 2020-03-24 湖南检信智能科技有限公司 人脸运动模糊矫正方法
CN112869701A (zh) * 2021-01-11 2021-06-01 上海微创医疗机器人(集团)股份有限公司 视线检测方法、手术机器人***、控制方法和存储介质
CN112869701B (zh) * 2021-01-11 2024-03-29 上海微创医疗机器人(集团)股份有限公司 视线检测方法、手术机器人***、控制方法和存储介质

Also Published As

Publication number Publication date
CN103760975B (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN103760975A (zh) 一种追踪定位人脸的方法及显示***
US20110074822A1 (en) Viewing Direction Determination Method, Viewing Direction Determination Apparatus, Image Processing Method, Image Processing Apparatus, Display Device and Electronic Device
JP6211536B2 (ja) ディスプレイ映像の回転を制御する装置及びその方法
US9195881B2 (en) Image transformation apparatus and method
US20160309329A1 (en) Sensor-assisted user authentication
CN103049084A (zh) 一种可根据人脸方向来调整显示方向的电子设备及其方法
EP1501019A2 (en) Apparatus and method for automatically compensating for an image gradient of a mobile communication terminal
JP2016051482A (ja) 認証システムにおいてユーザを登録および認証するための方法、顔認証システム、ならびに認証システムにおいてユーザを認証するための方法
CN103189899B (zh) 对象显示装置以及对象显示方法
CN110032271A (zh) 对比度调节装置及其方法、虚拟现实设备及存储介质
CN103279260A (zh) 方向自适应显示***及其调整方法
CN103546678B (zh) 用于校正后置摄像机的图像畸变的装置和方法
CN106954053A (zh) 一种梯形校正方法及***
CN106600855A (zh) 基于面部识别的支付装置和方法
WO2018058311A1 (zh) 控制方法、控制装置及电子装置
CN104216509B (zh) 一种电子设备及信息处理方法
CN106250839A (zh) 一种虹膜图像透视校正方法、装置和移动终端
CN108569214A (zh) 车辆的显示***及其驱动方法
US11200414B2 (en) Process for capturing content from a document
CN112352261A (zh) 工程机械用的物体检测装置以及物体检测方法
CN109782913A (zh) 一种控制屏幕内容显示的方法及装置
US20120293557A1 (en) Object tracking apparatus, interactive image display system using object tracking apparatus, and methods thereof
US8433444B2 (en) Mirror and adjustment method therefor
CN109840453B (zh) 一种人脸匹配方法及装置
US20140043475A1 (en) Media display system and adjustment method for adjusting angle of the media display system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant