CN106028140B - 一种终端用户身份登录方法和*** - Google Patents

一种终端用户身份登录方法和*** Download PDF

Info

Publication number
CN106028140B
CN106028140B CN201610354454.8A CN201610354454A CN106028140B CN 106028140 B CN106028140 B CN 106028140B CN 201610354454 A CN201610354454 A CN 201610354454A CN 106028140 B CN106028140 B CN 106028140B
Authority
CN
China
Prior art keywords
image
user
pixel
camera
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610354454.8A
Other languages
English (en)
Other versions
CN106028140A (zh
Inventor
宋茂松
仲维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Qingdao Hisense Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Electronics Co Ltd filed Critical Qingdao Hisense Electronics Co Ltd
Priority to CN201610354454.8A priority Critical patent/CN106028140B/zh
Publication of CN106028140A publication Critical patent/CN106028140A/zh
Application granted granted Critical
Publication of CN106028140B publication Critical patent/CN106028140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种终端用户身份登录方法和***，涉及电子技术领域，包括分别获取到第一摄像头和第二摄像头同时拍摄的包含用户的图像；根据所述第一摄像头拍摄的图像确定用户的个数信息；当所述用户个数为1个时，基于对所述第一摄像头拍摄的图像确定目标用户，当所述用户个数大于等于2时，将所述第一摄像头和第二摄像头拍摄的包含用户的图像合成三维立体图像；获取所述三维立体图像中每个用户对应的距离和角度信息；根据所述每个用户对应的距离和角度信息，以及预设的不同距离和角度与权重值的对应关系，确定每个用户对应的的权重数值；将所述权重数值最大的用户作为目标用户；基于所述目标用户的人脸信息进行登录操作。

Description

一种终端用户身份登录方法和***
技术领域
本发明涉及电子技术领域，尤其涉及一种终端用户身份登录方法和***。
背景技术
随着电视的智能化功能的集成，越来越多的社交应用、网络视频应用、游戏应用可供不同喜好的用户来选择，同时在节目选择、图像设置、声音设置、功能设置等方面，在各个家庭成员也有各自的差异化选择。因此越来越多的智能电视上已具备多账号管理***，用于管理不同家庭成员的偏好设置和对应的应用账号。在此背景下，目前在国内外厂商基于多账号管理相关的功能越来越得到关注。在智能电视中通过对多账号的管理，给不同使用习惯和偏好的用户带来了更好的使用体验。然而，目前智能电视的多账号管理在用户切换时，大多需要人工手动切换，需要先在账号管理页面登出，再选择账号，输入密码登入，比较繁琐，或者指纹识别等依赖物理接触的自动识别***，用户体验有待改善。
针对此问题，在已有的技术中，鸿海精密工业股份有限公司采用3D深度传感器识别用户骨架的方式对智能电视用户进行识别，并利用用户骨架信息提供给用户对应的电视节目。（专利文件：CN104333804A ）。该技术通过控制3D 深度传感器识别出在电视前的用户骨架的所有节点，根据识别出的用户骨架的所有节点，计算出用户的骨架特征值。根据用户的骨架特征值在数据库查找该骨架特征值对应的医学特征，从而识别出电视用户信息，并进行相关的切换。
虽然，上述发明解决了智能电视***的用户识别以及切换的问题，然而由于采用3D深度传感器识别用户骨架的方式对智能电视用户进行识别，在现实情况下会出现受环境影响大以及骨架特征库建立困难等难以避免的瓶颈及缺陷。智能电视的用户家居环境复杂多变，一般光线变化较大，且用户和智能电视之前经常有茶几、盆景的隔离物对人体的遮挡，这势必会对骨架信息的提取造成较大的影响。另外当有多人共同观看电视时，很难准确区分并获取到目标用户骨架信息实现用户帐号匹配，也即目前已有的技术方案无法实现快速识别用户的身份，进而无法在智能终端中准确的登录到目标用户账户中进行服务，用户体验差。
发明内容
本发明的实施例提供一种终端用户身份登录方法和***，用以弥补目前识别用户身份的方式准确度低，操作程序复杂，容易受到环境影响无法识别到用户的信息，无法准确登录到目标用户帐号中进行服务，用户体验差等技术缺陷。
一方面，本申请实施例提供了一种终端用户身份登录方法，包括：
分别获取到第一摄像头和第二摄像头同时拍摄的包含用户的图像；
根据所述第一摄像头拍摄的图像确定用户的个数信息；
当所述用户个数为1个时，基于对所述第一摄像头拍摄的图像确定目标用户，当所述用户个数大于等于2时，将所述第一摄像头和第二摄像头拍摄的包含用户的图像合成三维立体图像；
获取所述三维立体图像中每个用户与终端之间的距离和角度信息；
根据所述每个用户与终端之间的距离和角度信息，以及预设的不同距离和角度与权重值的对应关系，确定每个用户对应的权重数值；
将所述权重数值最大的用户作为目标用户；
基于所述目标用户的人脸信息进行登录操作。
另一方面，本申请实施例还提供了一种终端用户身份登录***，包括：平行设置在所述终端上的第一摄像头和第二摄像头，运行在所述终端处理器上的图像处理***和登录执行***；
其中，所述第一摄像头和第二摄像头处于同一水平线上；
所述第一摄像头和第二摄像头，用于在同一拍摄时刻分别拍摄一张包含用户的图像；
所述图像处理***，用于根据所述第一摄像头拍摄的图像确定用户的个数信息；当所述用户个数为1个时，基于对所述第一摄像头拍摄的图像确定目标用户，当所述用户个数大于等于2时，将所述第一摄像头和第二摄像头拍摄的包含用户的图像合成三维立体图像；
获取所述三维立体图像中每个用户与终端之间的距离和角度信息；
根据所述每个用户与终端之间的距离和角度信息，以及预设的不同距离和角度与权重值的对应关系，确定每个用户对应的的权重数值；
将所述权重数值最大的用户作为目标用户；
所述登录执行***，用于基于所述目标用户的人脸信息进行登录操作。
本发明实施例提供一种终端用户身份登录方法和***，分别获取到第一摄像头和第二摄像头同时拍摄的包含用户的图像，根据第一摄像头拍摄的用户图像确定用户个数，一个用户时，就基于第一摄像头拍摄的图像确定目标用户，两个及以上用户时，首先将第一摄像头和第二摄像头拍摄的图像合成三维立体图像，获取到三维立体图像中每个用户的距离和角度信息，基于不同的距离和角度与权重值的对应关系，确定出每个用户的权重数值，将权重数值最大的用户作为目标用户；也就是说，在识别出终端用户个数后，如果只有一个用户则自动登入相应的账号；当存在多个用户时，需要基于各个用户与终端的距离和角度，同时结合各个用户的优先级权重信息，自动登入加权数值最高的用户，避免用户手动登出登入账号，从而实现用户的自动切换，并且不需要像已有技术中只能通过识别骨架信息才能对用户进行识别，因而避免了已有技术识别用户身份的方式准确度低，操作程序复杂，容易受到环境影响无法准确登录到目标用户帐号中进行服务的缺陷，提高了用户体验。
附图说明
图1为本发明实施例一种终端用户身份登录方法的流程示意图一；
图2为本发明实施例一种终端用户身份登录方法的流程示意图二；
图3a为第一图像中任意一个像素点为中心像素点建立预设窗口的示意图；
图3b为第一图像中任意一个像素点为中心像素点建立预设窗口与第二图像进行匹配的示意图；
图3c为第一图像中任意一个像素点为中心像素点建立预设窗口与第二图像匹配结果示意图；
图4为本发明实施例一种终端用户身份登录方法的流程示意图三；
图5为本发明实施例的一种终端用户身份登录***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种终端用户身份登录方法，如图1所示，包括：
S101：分别获取到第一摄像头和第二摄像头同时拍摄的包含用户的图像；
S102：根据所述第一摄像头拍摄的图像确定用户的个数信息；
S103：当所述用户个数为1个时，基于对所述第一摄像头拍摄的图像确定目标用户，当所述用户个数大于等于2时，将所述第一摄像头和第二摄像头拍摄的包含用户的图像合成三维立体图像；获取所述三维立体图像中每个用户对应的距离和角度信息；根据所述每个用户对应的距离和角度信息，以及预设的不同距离和角度与权重值的对应关系，确定每个用户对应的权重数值；将所述权重数值最大的用户作为目标用户；
S104：基于所述目标用户的人脸信息进行登录操作。
终端可以最常用的电视机为例，但是并不局限于电视领域，如平板电脑，电脑，一体机等显示终端。
本发明实施例提供一种终端用户身份登录方法和***，分别获取到第一摄像头和第二摄像头同时拍摄的包含用户的图像，根据第一摄像头拍摄的用户图像确定用户个数，一个用户时，就基于第一摄像头拍摄的图像确定目标用户，两个及以上用户时，首先将第一摄像头和第二摄像头拍摄的图像合成三维立体图像，获取到三维立体图像中每个用户的距离和角度信息，基于不同的距离和角度与权重值的对应关系，确定出每个用户的权重数值，将权重数值最大的用户作为目标用户；也就是说，在识别出终端用户个数后，如果只有一个用户则自动登入相应的账号；当存在多个用户时，需要基于各个用户与终端的距离和角度，同时结合各个用户的优先级权重信息，自动登入加权数值最高的用户，避免用户手动登出登入账号，从而实现用户的自动切换，并且不需要像已有技术中只能通过识别骨架信息才能对用户进行识别，因而避免了已有技术识别用户身份的方式准确度低，操作程序复杂，容易受到环境影响无法准确登录到目标用户帐号中进行服务的缺陷，提高了用户体验。
本发明实施例的一种终端用户身份登录方法的执行主体为终端的处理器，该终端可以为电视、电脑等，本发明实施例对此不作限定，该第一摄像头和第二摄像头用于获取人体的图像，该第一摄像头和第二摄像头可以是在终端上设置的摄像头。
以电视机为例，本发明实施例中，根据人脸识别技术对第一摄像头拍摄的用户图像进行人脸识别，也是基于已知技术，示例的，处理器会针对左摄像头所拍摄的一张基准图像对用户的面部轮廓进行图像识别处理。该识别处理过程主要通过对二维图像进行肤色提取，边缘及空洞处理，基于Canny算法的边缘检测以及八邻域搜索法来完成。通过对第一摄像头拍摄的图像进行人脸识别，可以获取到用户的人脸信息，如人脸的个数，人脸的轮廓大小等信息。
当用户启动第一摄像头和第二摄像头去感应到用户所在位置时，在同一拍摄时刻，分别获取到第一摄像头和第二摄像头拍摄的包含用户的图像，可以是一张，也可以是多张，但为了后续得到三维立体图像，必须保证是两个摄像头同时拍摄，另外，也可通过用户手动输入用户移动控制终端的开始信息，如用户按下在终端遥控器中设置启动用户识别技术的启动按键，在获取到所述启动按键触发的启动指令后，处理器控制所述第一摄像头和第二摄像头获取包含用户在内的至少一张图像。如用户在电视机前处于不停的移动状态，第一摄像头和第二摄像头可以在预设时间内同时拍摄多张包含用户的图像，对应于每个拍摄时刻，如可将每个拍摄时刻的间隔设置为1s-2s；具体可通过设置在所述处理器中的定时器以实现。将获取到的含人体的图像按获取的先后顺序缓存在终端的存储器中，在需要识别的时候，通过处理器从存储器中获取，由于第一摄像头和第二摄像头在1s内可以拍摄10~60个图像帧，优选的，是25~30个图像帧，由于第一摄像头和第二摄像头拍摄的人体可能是一个动态过程，故每一帧图像帧是有差异的，故在选择合成三维立体图像时，通过选取第一摄像头和第二摄像头在同一时刻拍摄的一帧图像，这样可以避免形成的三维立体图像与实际用户所处位置的差异，提高了识别精确性。如果用户选择静止站立，那么第一第二摄像头可以只拍摄一张或者拍摄多张选择一张作为后续识别过程的输入基础。
其中，对于将第一摄像头和第二摄像头在同一时刻分别拍摄的包含人体的图像合成三维立体图像的方式，在现有技术中存在多种实现方式，本发明实施例对此不进行限定，本发明实施例仅以第一图像和第二图像为例进行说明，其中，第一图像和第二图像分别为由第一摄像头和第二摄像头在同一时刻分别拍摄的图像，并不具有任何指示性含义。
示例性的，如图2所示，步骤S102中，将第一摄像头和第二摄像头同时拍摄的包含人体的第一图像和第二图像合成三维立体图像可以通过以下方式实现，
S1011、获取所述第一图像的每个像素点；
其中，对于获取第一图像的每个像素点的具体方式，本发明实施例在此不再赘述，可以通过现有技术来实现，例如，粒子滤波。
获取到第一图像的每个像素点以后，可以以所述第一图像和第二图像设置坐标系，则第一图像和第二图像上的每个像素点均可以用坐标的形式表示，如图3a所示和图3b所示，当然还可以存在其他方式用以唯一标记第一图像和第二图像上相应的像素点，本发明实施例在此不再赘述。
S1012、以所述第一图像的每个像素点为中心像素点建立预设窗口；其中，所述预设窗口包含按照预设距离，以所述中心像素点为中心的M个像素点；
图3a为第一图像中任意一个像素点为中心像素点建立预设窗口的示意图，其预设窗口可以通过以所述中心像素点为中心，在所述中心像素点四周（上、下、左、由）各延长L个长度单位所包含的区域，即所述预设距离为2L则上述M个像素点即为以所述中心像素点四周各延长L个长度单位所包含的区域内的所有像素点；本发明实施例对所述L的具体大小不进行限定，可以根据实际需要达到的精度进行设定。
S1013、获取所述预设窗口的像素值；
由于预设窗口内包含M个像素点，故所述预设窗口的像素值为M个像素点灰度值的总和，对于计算每个像素的灰度值的具体方式本发明实施例在此不再赘述，例如，若所述预设窗口为以任意一个像素点为中心像素点向左向右各一个像素点，则该预设窗口内包含5个像素点，该预设窗口的像素值为5个像素点灰度值的总和。
S1014、根据所述预设窗口的像素值，从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域，如图3b所示；
由于对于第一图像种每个像素点建立预设窗口，并根据预设窗口的像素值从所述第二图像中查到的目标区域的方式和原理均相同，故本发明实施例仅以第一像素点为例进行说明，该第一像素点为第一图像中的任意一个像素点，并不具有指示性含义。
示例性的，如图4所示，步骤S1014可以通过以下方式实现：
S10141、确定所述第一像素点在所述第一图像中的坐标，并以所述第一像素点为中心建立第一预设窗口；如图3a所示；
S10142、在保持所述第一像素点纵坐标不变的情况下，从所述第二图像中选取每个候选区域，所述候选区域的窗口大小与所述第一预设窗口大小相同，且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的，所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同；
其中，所述候选区域的窗口大小或者窗口距离是指候选区域内任意一个中心像素点，按照预设距离2L，以所述中心像素点为中心，在所述中心像素点四周（上、下、左、由）各延长L个长度单位所包含的区域；
S10143、计算每个所述候选区域的像素值，所述像素值是指候选区域内所有像素点的灰度值之和；
S10144、将所述候选区域的像素值中与所述第一预设窗口的像素值的差异值最小的候选区域确定为目标区域。
其中，当获取到第一像素点的坐标时，可以将所述第一像素点从第二图像指向第一图像的方向，保持纵坐标不变的情况下，将第一像素点遍历所述第二图像中的任何一个像素点，并可以通过SAD(Sum of Absolute Difference)或SSD(Sum of SquaredDifference)算法matching方式从第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域，如图3c所示的d点。
当然，为了减少计算量，在获取到第一像素点的坐标以后，可以从所述第二图像中与所述第一像素点纵坐标相同，大于等于横坐标的候选区域中选取目标区域。
当然，本发明实施例也可以基于第二图像，在第一图像中选取与第二图像中任意一个像素点构建的预设窗口的像素值差异最小的区域为目标区域，此时，应按照第一图像指向第二图像的方向，保持纵坐标不变的情况下，将第二图像中的每个像素点构成的预设窗口遍历所述第一图像的候选区域，以获取目标区域。
S1015、确定每个所述目标区域的中心像素点；
S1016、将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配，获取与所述第一图像对应的三维立体图像。
优选的，为了提高识别精度，需要提取出所述第一图像中的人体轮廓，在此人体轮廓的基础上，获取每一个像素点的像素信息，并从三维立体图像中获取与之对应的像素点距离信息，由于用户的人体应处于同一平面，因而拥有相近的像素点距离信息，故在识别之前，可以对三维立体图像中人体对应的像素点距离进行均值操作，以便人体轮廓内的人体与背景等干扰信息进行分离，从而高精度的提取出用户的人体。
进一步的，在步骤S103中，当所述用户个数大于等于2时，将所述第一摄像头和第二摄像头拍摄的包含用户的图像合成三维立体图像；获取所述三维立体图像中每个用户对应的距离和角度信息；根据所述每个用户对应的距离和角度信息，以及预设的不同距离和角度与权重值的对应关系，确定每个用户对应的的权重数值；将所述权重数值最大的用户作为目标用户；
通常来说，在多个用户存在时，可以优先登录位于终端屏幕最靠中间以及距离终端最近的用户进行登录，即同样距离下，可以选择靠近屏幕中心处的用户进行登录，同样角度时，可以选择距离终端最近的用户进行登录；
实际应用中，可以分别对不同距离以及不同角度设置相应的权重值，示例的，如距离1m对应的权重值为A1、2m对应的权重值为B1、3m~4m对应的权重值为C1….；角度15°以内对应的权重值为A2、15°~30°对应的权重值为B2、30°~60°对应的权重值为C2；计算时，可以获取到用户距离的权重值和角度的权重值后，进行相加或者相乘等数学处理。
具体的权重值可以由用户根据使用习惯自由设计，本发明对此不再赘述。
进一步的，步骤S103中通过三维立体图像获取到用户的距离信息和角度信息，包括：
S1021、对三维立体图像建立距离信息的横向直方图及纵向直方图；
S1022、基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理；
S1023、在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线，以及在纵向直方图中提取具有相同横坐标的纵向直线。
S1024、根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓。
S1025、基于所述三维立体图像获取所述人体轮廓中至少一个像素点的距离信息和角度信息。
U-MAP即为横向直方图，横坐标为X轴，纵坐标为距离Z。当针对三维图像建立U-MAP后，人体在U-MAP中将呈现为一条横线，在一定连续的X坐标内(人体宽度)，保持同一距离Z。
同理，V-MAP即为纵向直方图，横坐标为距离Z，纵坐标为Y轴。当针对三维图像建立V-MAP后，人体在V-MAP中将呈现为一条纵线，在一定连续的Y坐标内（人体高度），保持同一距离Z。
通过两幅直方图的直线提取操作，可以互相校验，识别出人体。
对于人体轮廓提取的方式有多种，本发明实施例在此不再赘述，示例性的，该方法可以通过采用八邻域搜索法来实现。
在提取到用户的人体轮廓后，基于三维立体图像，读取相应人体轮廓内的至少一个像素点的距离信息，在像素点较多的情况下，对三维立体图像中对应像素值的距离信息进行均值操作后，该用户到智能电视的物理距离也得以计算出。当然，通过双目摄像头还原出的三维图像不仅包含每个像素点的距离信息，还有每个像素点在世界坐标系下的X，Y，Z信息，所以基于三角函数等基础算法可以计算出每个像素点的角度信息，与距离相似，在实际中获取每个用户的角度信息可以通过对多个像素点的角度进行均值操作，即获取平均角度作为每个用户的角度信息。
对于步骤S104中，基于目标用户的人脸信息进行登录操作，示例的，可以包括：
S1031：将所述目标用户的人脸与人脸特征库进行匹配，所述人脸特征库预存有不同的人脸信息与所述终端的登录信息的对应关系；
S1032：根据所述目标用户的人脸信息获取对应的终端的登录信息；
S1033：基于所述终端的登录信息在终端中进行登录操作。
在人脸特征库中，可以预存有用户A、用户B、用户C、用户D等多人的登录信息，可以包括每个人的用户名和密码，如果确定目标用户为用户B，那么可以调用用户B的用户名和密码信息，在终端中进行自动登录，不需要用户手动输入，提高了用户体验。
本发明实施例还提供了一种终端用户身份登录***，如图5所示，该一种终端用户身份登录***中的各个功能与本发明上述实施例中一种终端用户身份登录方法相对应，具体可以参考本发明上述实施例的描述，本发明实施例在此不再赘述。
如图5所示，该一种终端用户身份登录***，在终端60中，包括：平行设置在终端上的第一摄像头601和第二摄像头602，运行在所述终端处理器上的图像处理***603、和登录执行***604；
其中，所述第一摄像头601和第二摄像602头处于同一水平线上；
所述第一摄像头601和第二摄像602，用于在同一拍摄时刻拍摄一张包含用户的图像；
所述图像处理***603，用于根据所述第一摄像头拍摄的图像确定用户的个数信息；当所述用户个数为1个时，基于对所述第一摄像头拍摄的图像确定目标用户，当所述用户个数大于等于2时，将所述第一摄像头和第二摄像头拍摄的包含用户的图像合成三维立体图像；
获取所述三维立体图像中每个用户对应的距离和角度信息；
根据所述每个用户对应的距离和角度信息，以及预设的不同距离和角度与权重值的对应关系，确定每个用户对应的的权重数值；
将所述权重数值最大的用户作为目标用户；
所述登录执行***604，用于基于所述目标用户的人脸信息进行登录操作。
本发明实施例提供一种终端用户身份登录方法和***，分别获取到第一摄像头和第二摄像头同时拍摄的包含用户的图像，根据第一摄像头拍摄的用户图像确定用户个数，一个用户时，就基于第一摄像头拍摄的图像确定目标用户，两个及以上用户时，首先将第一摄像头和第二摄像头拍摄的图像合成三维立体图像，获取到三维立体图像中每个用户的距离和角度信息，基于不同的距离和角度与权重值的对应关系，确定出每个用户的权重数值，将权重数值最大的用户作为目标用户；也就是说，在识别出终端用户个数后，如果只有一个用户则自动登入相应的账号；当存在多个用户时，需要基于各个用户与终端的距离和角度，同时结合各个用户的优先级权重信息，自动登入加权数值最高的用户，避免用户手动登出登入账号，从而实现用户的自动切换，并且不需要像已有技术中只能通过识别骨架信息才能对用户进行识别，因而避免了已有技术识别用户身份的方式准确度低，操作程序复杂，容易受到环境影响无法准确登录到目标用户帐号中进行服务的缺陷，提高了用户体验。
可选的，基于所述第一摄像头和第二摄像头分别同时拍摄的包含人体的第一图像和第二图像，所述图像处理***603包括：
第一获取单元，用于获取所述第一图像的每个像素点；
建立单元，用于以所述第一图像的每个像素点为中心像素点建立预设窗口，其中，所述预设窗口包含按照预设距离，以所述中心像素点为中心的M个像素点；
第二获取单元，用于获取所述预设窗口的像素值
提取单元，用于根据所述预设窗口的像素值，从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域；
确定单元，用于确定每个所述目标区域的中心像素点；
生成单元，用于将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配，获取与所述第一图像对应的三维立体图像。
可选的，所述提取单元包括：
确定模块，用于确定所述第一像素点在所述第一图像中的坐标，并以所述第一像素点为中心建立第一预设窗口；
选取模块，用于在保持所述第一像素点纵坐标不变的情况下，从所述第二图像中选取每个候选区域，所述候选区域的窗口大小与所述第一预设窗口大小相同，且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的，所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同；
计算模块，用于计算每个所述候选区域的像素值，所述像素值是指候选区域内所有像素点的灰度值之和；
判定模块，用于将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
可选的，所述图像处理***603还包括：
用户距离角度确定模块，用于对所述三维立体图像建立距离信息的横向直方图及纵向直方图；
基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理；
在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线，以及在纵向直方图中提取具有相同横坐标的纵向直线；
根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓；
基于所述三维立体图像获取所述人体轮廓中至少一个像素点的距离信息和角度信息。
可选的，所述登录执行***604还包括：
人脸特征匹配模块，用于将所述目标用户的人脸与人脸特征库进行匹配，所述人脸特征库预存有不同的人脸信息与所述终端的登录信息的对应关系；
根据所述目标用户的人脸信息获取对应的终端的登录信息；
基于所述终端的登录信息在终端中进行登录操作。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种终端用户身份登录方法，其特征在于，包括：
分别获取到第一摄像头和第二摄像头同时拍摄的包含用户的图像；
根据所述第一摄像头拍摄的图像确定用户的个数信息；
当所述用户个数为1个时，基于对所述第一摄像头拍摄的图像确定目标用户，当所述用户个数大于等于2时，将所述第一摄像头和第二摄像头拍摄的包含用户的图像合成三维立体图像；
获取所述三维立体图像中每个用户与终端之间的距离和角度信息；
根据所述每个用户与终端之间的距离和角度信息，以及预设的不同距离和角度与权重值的对应关系，确定每个用户对应的的权重数值；
将所述权重数值最大的用户作为目标用户；
基于所述目标用户的人脸信息进行登录操作。
2.根据权利要求1所述的方法，其特征在于，对于第一图像和第二图像，将第一摄像头和第二摄像头同时拍摄的包含人体的第一图像和第二图像合成三维立体图像，包括：
获取所述第一图像的每个像素点；
以所述第一图像的每个像素点为中心像素点建立预设窗口，其中，所述预设窗口包含按照预设距离，以所述中心像素点为中心的M个像素点；
获取所述预设窗口的像素值；
根据所述预设窗口的像素值，从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域；
确定每个所述目标区域的中心像素点；
将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配，获取与所述第一图像对应的三维立体图像。
3.根据权利要求2所述的方法，其特征在于，对于第一像素点，所述第一像素点为所述第一图像中所有像素点中的任意一个像素点，所述获取所述预设窗口的像素值，并根据所述预设窗口的像素值，从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域，包括：
确定所述第一像素点在所述第一图像中的坐标，并以所述第一像素点为中心建立第一预设窗口；
在保持所述第一像素点纵坐标不变的情况下，从所述第二图像中选取每个候选区域，所述候选区域的窗口大小与所述第一预设窗口大小相同，且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的，所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同；
计算每个所述候选区域的像素值，所述像素值是指候选区域内所有像素点的灰度值之和；
将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
4.根据权利要求3所述的方法，其特征在于，所述通过三维立体图像获取到的用户距离信息和角度信息，包括：
对所述三维立体图像建立距离信息的横向直方图及纵向直方图；
基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理；
在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线，以及在纵向直方图中提取具有相同横坐标的纵向直线；
根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓；
基于所述三维立体图像获取所述人体轮廓中至少一个像素点的距离信息和角度信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述目标用户的人脸信息进行登录操作，包括：
将所述目标用户的人脸与人脸特征库进行匹配，所述人脸特征库预存有不同的人脸信息与所述终端的登录信息的对应关系；
根据所述目标用户的人脸信息获取对应的终端的登录信息；
基于所述终端的登录信息在终端中进行登录操作。
6.一种终端用户身份登录***，其特征在于，包括：平行设置在所述终端上的第一摄像头和第二摄像头，运行在所述终端处理器上的图像处理***和登录执行***；
其中，所述第一摄像头和第二摄像头处于同一水平线上；
所述第一摄像头和第二摄像头，用于在同一拍摄时刻分别拍摄一张包含用户的图像；
所述图像处理***，用于根据所述第一摄像头拍摄的图像确定用户的个数信息；当所述用户个数为1个时，基于对所述第一摄像头拍摄的图像确定目标用户，当所述用户个数大于等于2时，将所述第一摄像头和第二摄像头拍摄的包含用户的图像合成三维立体图像；
获取所述三维立体图像中每个用户与终端之间的距离和角度信息；
根据所述每个用户与终端之间的距离和角度信息，以及预设的不同距离和角度与权重值的对应关系，确定每个用户对应的的权重数值；
将所述权重数值最大的用户作为目标用户；
所述登录执行***，用于基于所述目标用户的人脸信息进行登录操作。
7.根据权利要求6所述***，其特征在于，基于所述第一摄像头和第二摄像头分别同时拍摄的包含人体的第一图像和第二图像，所述图像处理***包括：
第一获取单元，用于获取所述第一图像的每个像素点；
建立单元，用于以所述第一图像的每个像素点为中心像素点建立预设窗口，其中，所述预设窗口包含按照预设距离，以所述中心像素点为中心的M个像素点；
第二获取单元，用于获取所述预设窗口的像素值
提取单元，用于根据所述预设窗口的像素值，从所述第二图像中提取与所述预设窗口的像素值差异值最小的区域为目标区域；
确定单元，用于确定每个所述目标区域的中心像素点；
生成单元，用于将每个所述第一图像的中心像素点与所述目标区域的中心像素点进行匹配，获取与所述第一图像对应的三维立体图像。
8.根据权利要求7所述***，其特征在于，所述提取单元包括：
确定模块，用于确定第一像素点在所述第一图像中的坐标，并以所述第一像素点为中心建立第一预设窗口；所述第一像素点为所述第一图像中所有像素点中的任意一个像素点；
选取模块，用于在保持所述第一像素点纵坐标不变的情况下，从所述第二图像中选取每个候选区域，所述候选区域的窗口大小与所述第一预设窗口大小相同，且所述候选区域为以所述第二图像中任意一个像素点为中心像素点建立的，所述候选区域内的每个像素点的纵坐标与所述第一像素点的纵坐标相同；
计算模块，用于计算每个所述候选区域的像素值，所述像素值是指候选区域内所有像素点的灰度值之和；
判定模块，用于将所述所有候选区域的像素值中与所述第一预设窗口的像素值差异值最小的候选区域确定为目标区域。
9.根据权利要求8所述***，其特征在于，所述图像处理***还包括：
用户距离角度确定模块，用于对所述三维立体图像建立距离信息的横向直方图及纵向直方图；
基于所述横向直方图和所述纵向直方图进行最小二乘法算法的直线提取处理；
在经过直线提取处理后的横向直方图中提取具有相同纵坐标的横向直线，以及在纵向直方图中提取具有相同横坐标的纵向直线；
根据所述横向直线和所述纵向直线获取所述第一图像对应的三维立体图像的人体轮廓；
基于所述三维立体图像获取所述人体轮廓中至少一个像素点的距离信息和角度信息。
10.根据权利要求9所述***，其特征在于，所述登录执行***还包括：
人脸特征匹配模块，用于将所述目标用户的人脸与人脸特征库进行匹配，所述人脸特征库预存有不同的人脸信息与所述终端的登录信息的对应关系；
根据所述目标用户的人脸信息获取对应的终端的登录信息；
基于所述终端的登录信息在终端中进行登录操作。
CN201610354454.8A 2016-05-26 2016-05-26 一种终端用户身份登录方法和*** Active CN106028140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610354454.8A CN106028140B (zh) 2016-05-26 2016-05-26 一种终端用户身份登录方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610354454.8A CN106028140B (zh) 2016-05-26 2016-05-26 一种终端用户身份登录方法和***

Publications (2)

Publication Number Publication Date
CN106028140A CN106028140A (zh) 2016-10-12
CN106028140B true CN106028140B (zh) 2019-03-12

Family

ID=57093951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610354454.8A Active CN106028140B (zh) 2016-05-26 2016-05-26 一种终端用户身份登录方法和***

Country Status (1)

Country Link
CN (1) CN106028140B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110186161B (zh) * 2019-06-03 2021-10-26 宁波奥克斯电气股份有限公司 默认参数更新方法、空调自学习控制方法以及空调器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006100881A (ja) * 2004-09-28 2006-04-13 Sony Corp 記録再生装置、記録再生方法および記録再生システム
CN101951481A (zh) * 2009-07-09 2011-01-19 索尼公司 电视节目选择***、推荐方法和录制方法
JP2011505618A (ja) * 2007-11-21 2011-02-24 ジェスチャー テック，インコーポレイテッド デバイスアクセス制御
CN102984588A (zh) * 2011-09-02 2013-03-20 索尼公司 响应于面部辨认的个性化电视观看模式调整
CN103369391A (zh) * 2007-11-21 2013-10-23 高通股份有限公司 基于媒体偏好控制电子设备的方法和***
CN104683872A (zh) * 2015-02-05 2015-06-03 四川长虹电器股份有限公司 电视设备上使用人脸识别技术分账户管理用户的方法
CN104918109A (zh) * 2015-06-08 2015-09-16 小米科技有限责任公司 智能播放的方法及装置
CN105592367A (zh) * 2015-12-23 2016-05-18 青岛海信电器股份有限公司 一种图像显示参数调节方法和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006100881A (ja) * 2004-09-28 2006-04-13 Sony Corp 記録再生装置、記録再生方法および記録再生システム
JP2011505618A (ja) * 2007-11-21 2011-02-24 ジェスチャー テック，インコーポレイテッド デバイスアクセス制御
CN103369391A (zh) * 2007-11-21 2013-10-23 高通股份有限公司 基于媒体偏好控制电子设备的方法和***
CN101951481A (zh) * 2009-07-09 2011-01-19 索尼公司 电视节目选择***、推荐方法和录制方法
CN102984588A (zh) * 2011-09-02 2013-03-20 索尼公司 响应于面部辨认的个性化电视观看模式调整
CN104683872A (zh) * 2015-02-05 2015-06-03 四川长虹电器股份有限公司 电视设备上使用人脸识别技术分账户管理用户的方法
CN104918109A (zh) * 2015-06-08 2015-09-16 小米科技有限责任公司 智能播放的方法及装置
CN105592367A (zh) * 2015-12-23 2016-05-18 青岛海信电器股份有限公司 一种图像显示参数调节方法和***

Also Published As

Publication number Publication date
CN106028140A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN105912912B (zh) 一种终端用户身份登录方法和***
US11551482B2 (en) Facial recognition-based authentication
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
US20150310259A1 (en) Using facial data for device authentication or subject identification
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN110276308B (zh) 图像处理方法及装置
CN105425964B (zh) 一种手势识别方法和***
CN105763917B (zh) 一种终端开机的控制方法和***
CN110866977B (zh) 增强现实处理方法及装置、***、存储介质和电子设备
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN105654048A (zh) 一种多视角人脸比对方法
CN111008935B (zh) 一种人脸图像增强方法、装置、***及存储介质
KR20160057867A (ko) 디스플레이 장치 및 그에 의한 이미지 처리 방법
CN109840885B (zh) 图像融合方法及相关产品
CN113221767B (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN106780757B (zh) 一种增强现实的方法
CN114298902A (zh) 一种图像对齐方法、装置、电子设备和存储介质
CN110070481A (zh) 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
CN109711287B (zh) 人脸采集方法及相关产品
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN102783174B (zh) 图像处理设备、内容传递***、图像处理方法和程序
CN106028140B (zh) 一种终端用户身份登录方法和***
CN110597397A (zh) 增强现实的实现方法、移动终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee after: Hisense Visual Technology Co., Ltd.

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee before: QINGDAO HISENSE ELECTRONICS Co.,Ltd.