WO2017201675A1 - 一种利用生物信息识别的机器人及其使用方法 - Google Patents

一种利用生物信息识别的机器人及其使用方法 Download PDF

Info

Publication number
WO2017201675A1
WO2017201675A1 PCT/CN2016/083190 CN2016083190W WO2017201675A1 WO 2017201675 A1 WO2017201675 A1 WO 2017201675A1 CN 2016083190 W CN2016083190 W CN 2016083190W WO 2017201675 A1 WO2017201675 A1 WO 2017201675A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
biometric
information
voice
robot
Prior art date
Application number
PCT/CN2016/083190
Other languages
English (en)
French (fr)
Inventor
叶军
付骏
苗森
Original Assignee
深圳普得技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳普得技术有限公司 filed Critical 深圳普得技术有限公司
Priority to PCT/CN2016/083190 priority Critical patent/WO2017201675A1/zh
Publication of WO2017201675A1 publication Critical patent/WO2017201675A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Definitions

  • the present invention relates to the field of intelligent robot technology, and more particularly to a robot that utilizes biometric information recognition and a method of using the same.
  • biometrics With the continuous development of robots, the degree of intelligence is constantly increasing, and the market demand for artificial intelligence is getting higher and higher. As an important foundation of artificial intelligence, biometrics has received high attention in research fields at home and abroad. In recent years, biometrics have been greatly improved at the algorithm level, enabling biometrics to be implemented faster on civilian CPUs.
  • biometric algorithms have a variety of technical routes, these algorithms have varying degrees of limitations in practical applications.
  • the identification method used by most robots is to manually enter the user's biological information in advance, such as fingerprint information.
  • fingerprint information Each time a new user has to manually enter user information, the operation is cumbersome; in addition, in order to improve the recognition success rate, the current solution is Repeat the input of the user's fingerprint multiple times before use to ensure that there are enough comparison samples, but this method will keep the sample inconvenience after the fingerprint is entered, and can not automatically update and improve the user's fingerprint information according to the change, so that the identification The correct rate cannot be improved and the user experience is reduced.
  • the identification method adopted by most robots is to manually input the user's biological information in advance, such as fingerprint information, and each time a new user has to manually enter user information, the operation is cumbersome; in addition, in order to improve the recognition success rate, the current solution
  • the user's fingerprint is repeatedly input many times before use to ensure that there are enough comparison samples, but this method will keep the sample inconvenience after the fingerprint is entered, and can not automatically update and improve the user's fingerprint information according to the change.
  • the recognition accuracy rate cannot be improved, and the user experience is reduced.
  • the technical problem to be solved by the present invention is to provide a robot that utilizes biometric information recognition and a method of using the same.
  • the technical solution adopted by the present invention to solve the technical problem thereof is: constructing a robot that utilizes biometric information recognition, including:
  • a voice input module for receiving user voice information
  • an image input module for receiving user image information
  • a voice recognition module connected to the voice input module for identifying and determining voice content of the user voice information
  • a registration instruction extraction module connected to the voice recognition module and configured to issue a registration instruction
  • a voice biometric extraction module coupled to the voice input module for converting the user voice information into a voice feature vector identifying a user identity
  • an image biometric extraction module connected to the image input module for converting the user image information of the user into an image feature vector for identifying a user identity
  • a biometric comparison and management module respectively connected to the registration instruction extraction module, the speech biometrics extraction module, and the image biometrics extraction module, wherein the biometric comparison and management module is used for registration
  • the new user establishes an association relationship between the voice feature vector of the user and the image feature vector, automatically updates the registered user biometric, and manages the user's personal transaction information.
  • the method further includes: a biometric storage module connected to the biometric comparison and management module for storing a biometric of the user.
  • the method further includes: a user information management module for storing the personal transaction information of the user, which is connected to the biometric feature and the management module.
  • the user image information includes one or more of a face, a gesture, a gesture, a form, a fingerprint, and an iris.
  • the present invention also discloses a method for using a robot that uses biometric information identification, and includes the following steps.
  • a new user registration instruction is issued, a new user account is registered, and the voice feature vector is added to In the new user account, establishing a correspondence between the voice feature vector and the new user account; if yes, obtaining a voice feature vector enhancement amount by comparing with the existing voice feature vector of the user, Whether the speech feature vector enhancement amount has an enhanced value;
  • the user image information of the user is received while receiving the user voice information of the user
  • the user personalized information includes one or more of user personal information, user social information, user scheduling information, and user daily habits.
  • a robot using biometric information and a method for using the same according to the present invention have the following beneficial effects:
  • the robot can imitate the interaction process between people and complete the user's Automatic registration; in the process of human-computer interaction, the robot has the learning ability to identify the user's identity by comparing the biometric information of the user, and automatically update and improve the user's biological information according to the difference of the biometrics recognized each time.
  • the robot is becoming more and more familiar to the user, thus effectively improving the recognition rate of the robot to the user; the robot also provides different personalized services for different users.
  • FIG. 1 is a schematic structural diagram of a system of a robot of the present invention
  • FIG. 2 is a schematic diagram of a biometric information registration application of the robot of the present invention.
  • FIG. 3 is a flow chart of biometric registration of a robot of the present invention.
  • FIG. 4 is a schematic diagram of a face angle and a biological feature of the robot of the present invention.
  • FIG. 5 is a flow chart of automatic updating and perfecting of biometrics of the robot of the present invention.
  • FIG. 6 is a schematic diagram showing the data structure of the biometrics of the robot of the present invention.
  • FIG. 1 a schematic structural view of a first embodiment of the present invention.
  • This embodiment discloses a robot that utilizes biometric information recognition, including: a voice input module 101, a voice recognition module 102, a voice biometric feature extraction module 103, a registration instruction extraction module 104, an image input module 105, and an image biometric feature extraction.
  • the module 106, the biometric comparison and management module 107, the biometric storage module 108, and the user information storage module 109 are respectively described below:
  • the voice input module 101 is configured to receive user voice information
  • the image input module 105 is configured to receive user images.
  • Information Preferably, in the robot using the biometric information recognition of the present invention, the user image information includes, but is not limited to, a user's face, gesture, posture, form, fingerprint, iris.
  • the voice recognition module 102 of the voice content is connected to the voice input module 101 for identifying and determining the user's language preference;
  • the registration instruction extraction module 104 is coupled to the voice recognition module 102 for issuing a registration instruction
  • the voice biometric feature extraction module 103 is coupled to the voice input module 101 for converting user voice information into a voice feature vector for identifying a user identity.
  • the image biometric feature extraction module 106 is coupled to the image input module 105 for converting user image information of the user into an image feature vector for identifying the identity of the user.
  • the biometric comparison and management module 107 is connected to the registration instruction extraction module 104, the speech biometric extraction module 103, and the image biometric extraction module 106, respectively, and the biometric comparison and management module 107 is used to register new users and establish The association between the user's speech feature vector and the image feature vector, automatic updating of registered user biometrics, and management of user personal transaction information.
  • the biometric storage module 108 is connected to the biometric comparison and management module 107 for storing user biometrics; the user information storage module 109 is connected with the biometric comparison and management module 107 for storing user personal transaction information. .
  • the biometric feature comparison algorithm of speech and face is based on the calculation of similarity. In practical applications, changes in human tonality, speech rate, etc., face angle and subtle changes will be accurate for biometric recognition. The resulting P-direction, the more biometric vector templates of the average user, the higher the accuracy of the comparison. Therefore, in the process of human-computer interaction, the biometric comparison and management module 107 is used to identify the identity of the current user. After the user identity is successfully identified, the biometric comparison and management module 107 continuously performs the biometric vector of the user. Update and improve to achieve the effect of improving the accuracy of the comparison.
  • the biometric registration of the present invention mimics the introduction between a person and a person, initiated by the user's voice.
  • the speech recognition module 202 judges the sentence.
  • Register the command for the new user where "ABC” is the name or logo of the robot and "XYZ” is the name of the new user and the entry to the user information database.
  • the robot of the present invention detects the human face 306 through the camera device 205 and the face detection, and converts the face image into a feature vector used by the robot for face recognition, which is compared by the biometric feature.
  • the management module 107 generates a user information database with XYZ as an entry.
  • the present invention also discloses a method for using a robot that uses biometric information identification, which includes the following steps.
  • the preset registration condition is a specific statement format, and the statement formats are all abstracting the introduction between people.
  • a new user registration instruction is issued, a new user account is registered, a voice feature vector is added to the new user account, and a correspondence between the voice feature vector and the new user account is established; if yes, the user is The existing speech feature vector comparison obtains the speech feature vector enhancement amount, and determines whether the speech feature vector enhancement amount has enhanced value;
  • the speech feature vector enhancement amount is added to the biometric vector database of the user; if not, the process ends.
  • the user image information of the user is received while receiving the user voice information of the user
  • obtaining the image feature vector enhancement amount by comparing with the existing image feature vector of the user, and determining whether the image feature vector enhancement amount has an enhanced value; if yes, adding the image feature vector enhancement amount to In the biometric vector database; if not, it ends.
  • biometrics include but not limited to the user's voice information, image information, face, gesture, posture, shape, fingerprint, rainbow Membrane.
  • the biometric vector of the user is continuously received and extracted and compared with the biometric vector database until identified.
  • biometrics are mainly divided into two categories, one is perfecting existing biometrics, such as facial positive information in a user's face information, When the frontal information of the face changes slightly, the robot can still recognize and add these subtle changes as enhancements to the existing face positive information; the other is features that are not in the biometric vector database, such as the user passing the voice.
  • the robot captures the image information of the user, and the image information is not stored in the biometric vector database. Then, the robot automatically extracts the image feature corresponding to the image information, and adds the image feature to the biometric feature.
  • the vector database In the vector database.
  • biometric vector enhancement amount It is judged whether the biometric vector enhancement amount has an enhanced value; not all biometrics have an added value, and if each biometric is stored, the data amount is too large, which is not conducive to quickly and accurately identifying the user.
  • the biometric vector enhancement amount is added to the biometric vector database; if not, then returning to extract the biometric vector of the user.
  • the user personalized information includes one or more of user personal information, user social information, user scheduling information, and user daily habits.
  • the robot performs voice recognition on the voice input 401; when the voice information is recognized as the new user registration command 402, the robot determines whether it is the registered user 403, that is, whether the XYZ in the above embodiment is already present in the system. If not, initiate a new user profile 405 and add the user biometric 407; if yes, the existing user profile Feature enhancement 404.
  • the Local Binary Pattern (LBP) algorithm is taken as an example for description.
  • A1 and B 1 are the original images of the input, and
  • A2 and B2 are the local Binary Pattern.
  • LBP The feature image generated by the algorithm, A1 corresponds to A2, and B1 corresponds to B2.
  • the feature images B 1 and B2 are divided into N x M block squares, and the feature points in the square are counted to form a vector HIST to represent the features in the square.
  • the feature similarity can be obtained by comparing two feature images by one by one.
  • the number of squares such as 9x9 or 7x7, will be highly recognizable to the same person, but the redundancy of the face rotation or movement will not be high.
  • the number of squares is small, such as 3x3, 2x2, and the redundancy for the rotation or movement of the face is high, but the recognition for people is low.
  • the image may have a large change due to the position, angle, and other reasons of the face.
  • LBP Local Binary Pattern
  • Speech recognition is generally divided into text-based Text Dependent and text-independent Text Independent. Since human speech has a certain degree of change, such as intonation and speech rate.
  • the biometric identification of speech also has the problem of face recognition, that is, a single special
  • the stencil template is often not able to accurately identify the user identity in the actual application scenario.
  • the system needs to automatically collect valuable templates to enhance the redundancy and accuracy of the comparison.
  • the robot After the user completes the registration, the robot starts to interact with the user, the user voice information input module 101 re-receives the user's voice information, and the user voice information biometric extraction module 103 extracts the user's voice feature vector, and the creature The feature comparison and the information stored in the database in the management module 107 are compared to determine whether the identification is possible;
  • the speech feature vectors are continuously extracted and compared with the information stored in the database in the biometric comparison and management module 107.
  • the first action extracting the voice feature vector enhancement amount of the registered user; the biometric comparison and management module
  • 107 determining whether the speech feature vector enhancement amount has an enhanced value; if so, adding the speech feature vector enhancement amount to the first biometric vector template of the registered user; if not, returning to continue extracting the biometric feature.
  • the second action performing pre-stored user personalized information, providing personalized service for the user; after performing the first action and the second action, determining whether the end condition is reached; if yes, ending; if not, the user voice
  • the information input module 101 re-receives the user's user voice information.
  • the user personalized information includes: one or more of user personal information, user social information, user inter-office arrangement information, and user daily habits.
  • FIG. 5 is a third embodiment of the robot of the present invention.
  • 5 is a flow chart of automatic updating and perfecting of the biometrics of the robot of the present invention; in this embodiment, the robot continuously extracts the biometrics 502 in the human-computer interaction 501, and compares with the biometrics in the biometric vector database. 503. Determine whether the current user identifies 504. If no, continue to extract biometrics 502; if so, make two actions:
  • the robot of the present invention takes the above-mentioned XYZ as an example, and the basic structure of the biometric database mainly includes data.
  • the categories are: biometric 720, user information 730, social information 740, daytime and habit 75 0, wherein the biometric 720 category includes, but is not limited to, one or more speech features 725, one or more facial features 721.
  • the data includes, but is not limited to, the user's birthday, age, address, phone number, etc. 731.
  • the social information 740 category data includes, but is not limited to, one or more family members and relationships, one or more friends, and relationships, etc. 741.
  • the 750 category data includes, but is not limited to, the characteristics of the language 751 commonly used by the user, the characteristics of the action 730, and the characteristics of the habit 752.
  • the database structure described in FIG. 6 basically protects the robot by collecting the user information, using the user identifier 710 as the entry, the biometric 720 as the information base for identifying the user, and utilizing the personal user information 730 for the user, the social information 740, Events and habits 750 information processing to provide personalized services for this user. It can be understood that the above personal information of the user can be adjusted according to specific needs according to different application scenarios and user requirements.
  • the robot is more intelligent and has the learning ability.
  • the robot can automatically complete the registration of the user and continuously learn in the process of human-computer interaction. Continuously and automatically improve the user's biometrics, making the robot more and more familiar to users, and constantly improve the recognition rate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供一种利用生物信息识别的机器人及其使用方法，包括．语音输入模块（101）、语音识别模块（102），语音生物特征提取模块（103）、注册指令提取模块（104）、图像输入模块（105）、图像生物特征提取模块（106）、生物特征比对和管理模块（107）。在人机交互开始时，该机器人能模仿人与人的交互过程，通过预设指令完成用户的自动注册；在人机交互过程中，该机器人具有学习能力，通过比对用户的生物特征信息，识别用户的身份，并根据每次识别的生物特征区别，自动更新和完善用户的生物信息，使机器人对用户越来越熟悉，从而有效提高机器人对用户的识别率．该机器人还针对用户的不同，提供不同的个性化服务。

Description

发明名称：一种利用生物信息识别的机器人及其使用方法 技术领域
[0001] 本发明涉及智能机器人技术领域， 更具体地说， 涉及一种利用生物信息识别的 机器人及其使用方法。
背景技术
[0002] 随着机器人的不断发展， 智能化程度不断提高， 市场对于人工智能的要求越来 越高。 生物识别作为人工智能的重要基础， 在国内外的研究领域都得到很高的 重视。 近年来， 生物识别在算法层面有很大的提升， 使得生物识别在民用 CPU上 可以较快地实现。
[0003] 虽然生物识别的算法有很多种技术路线， 但是这些算法在实际应用中， 都有不 同程度的局限。 目前， 多数机器人釆用的识别方法是提前手动录入用户的生物 信息， 如指纹信息， 每次新用户都要人工录入用户信息， 操作繁琐； 另外， 为 提高识别成功率， 目前的解决方案是在使用前多次重复输入用户的指纹， 以保 证有足够多的比对样本， 但这种方法在录入指纹结束后便会保持样本不便， 不 能根据变化即使自动更新和完善用户的指纹信息， 使得识别正确率不能提高， 降低用户体验。
技术问题
[0004] 目前， 多数机器人采用的识别方法是提前手动录入用户的生物信息， 如指纹信 息， 每次新用户都要人工录入用户信息， 操作繁琐； 另外， 为提高识别成功率 , 目前的解决方案是在使用前多次重复输入用户的指纹， 以保证有足够多的比 对样本， 但这种方法在录入指纹结束后便会保持样本不便， 不能根据变化即使 自动更新和完善用户的指纹信息， 使得识别正确率不能提高， 降低用户体验。 问题的解决方案
技术解决方案
[0005] 本发明要解决的技术问题在于， 提供一种利用生物信息识别的机器人及其使用 方法。 [0006] 本发明解决其技术问题所釆用的技术方案是： 构造一种利用生物信息识别的机 器人， 包括：
[0007] 用于接收用户语音信息的语音输入模块， 用于接收用户图像信息的图像输入模 块；
[0008] 与所述语音输入模块连接、 用于识别并判断所述用户语音信息的语音内容的语 音识别模块；
[0009] 与所述语音识别模块连接、 用于发出注册指令的注册指令提取模块；
[0010] 与所述语音输入模块连接、 用于将所述用户语音信息转化为识别用户身份的语 音特征向量的语音生物特征提取模块；
[0011] 与所述图像输入模块连接、 用于将用户的所述用户图像信息转化为识别用户身 份的图像特征向量的图像生物特征提取模块；
[0012] 分别与所述注册指令提取模块、 所述语音生物特征提取模块、 以及所述图像生 物特征提取模块连接的生物特征比对和管理模块， 所述生物特征比对和管理模 块用于注册新用户、 建立用户的所述语音特征向量和所述图像特征向量之间的 关联关系、 自动更新已注册用户生物特征、 以及管理用户个人事务信息。
[0013] 在本发明所述的利用生物信息识别的机器人中， 还包括： 与所述生物特征比对 和管理模块连接、 用于存储用户生物特征的生物特征存储模块。
[0014] 在本发明所述的利用生物信息识别的机器人中， 还包括： 与所述生物特征比对 和管理模块连接、 用于存储用户个人事务信息的用户信息管理模块。
[0015] 优选地， 在本发明所述的利用生物信息识别的机器人中， 所述用户图像信息包 括人脸、 手势、 姿态、 形态、 指纹、 虹膜中的一种或多种。
[0016] 另， 本发明还公开一种利用生物信息识别的机器人的使用方法， 包括下述步骤
[0017] 接收用户的用户语音信息， 识别所述用户语音信息的语音内容；
[0018] 判断所述语音内容是否符合预设注册条件；
[0019] 若否， 则重新接收用户的语音信息； 若是， 将所述用户语音信息转化为用于识 别用户身份的语音特征向量， 判断所述用户是否为已注册用户；
[0020] 若否， 则发出新用户注册指令， 注册新用户账户， 将所述语音特征向量添加至 所述新用户账户中， 建立所述语音特征向量和所述新用户账户之间的对应关系 ； 若是， 则通过与所述用户的已有语音特征向量比对得到语音特征向量增强量 , 判断所述语音特征向量增强量是否具有增强价值；
[0021] 若是， 则将所述语音特征向量增强量添加至所述用户的生物特征向量数据库中 ； 若否， 则结束。
[0022] 进一步， 在本发明所述的利用生物信息识别的机器人的使用方法中， 在接收所 述用户的用户语音信息同时， 接收所述用户的用户图像信息，
[0023] 对于新注册用户账户： 将所述用户图像信息转化为用于识别用户身份的图像特 征向量， 将所述图像特征向量添加至所述新用户账户中， 并建立所述语音特征 向量、 所述图像特征向量、 以及所述新用户账户之间的对应关系；
[0024] 对于已注册用户账户： 通过与所述用户的已有图像特征向量比对得到图像特征 向量增强量， 并判断所述图像特征向量增强量是否具有增强价值； 若是， 则将 所述图像特征向量增强量添加至所述生物特征向量数据库中； 若否， 则结束。
[0025] 本发明所述的利用生物信息识别的机器人的使用方法， 对于已注册用户， 在人 机交互过程中：
[0026] 接收所述用户的生物信息， 提取所述生物信息对应的生物特征向量；
[0027] 将所述生物特征向量与所述生物特征向量数据库做比对， 判断能否识别； [0028] 若否， 则继续接收并提取所述用户的生物特征向量， 并与所述生物特征向量数 据库做比对， 直至被识别。
[0029] 本发明所述的利用生物信息识别的机器人的使用方法， 在用户被识别后： [0030] 通过与所述生物特征向量数据库比对得到生物特征向量增强量；
[0031] 判断所述生物特征向量增强量是否具有增强价值；
[0032] 若是， 则将所述生物特征向量增强量添加到所述生物特征向量数据库中； 若否
, 则返回继续提取用户的生物特征向量。
[0033] 本发明所述的利用生物信息识别的机器人的使用方法， 在用户被识别后： [0034] 执行预存的用户个性化信息， 为用户提供个性化服务；
[0035] 判断是否达到结束条件；
[0036] 若否， 则重新接收用户生物信息； 若是， 则结束。 [0037] 优选地， 所述用户个性化信息包括用户个人信息、 用户社交信息、 用户时间安 排信息、 用户日常习惯中的一种或多种。
发明的有益效果
有益效果
[0038] 实施本发明的一种利用生物信息识别的机器人及其使用方法 , 具有以下有益效 果： 在人机交互开始时， 该机器人能模仿人与人的交互过程， 通过预设指令完 成用户的自动注册； 在人机交互过程中， 该机器人具有学习能力， 通过比对用 户的生物特征信息， 识别用户的身份， 并根据每次识别的生物特征区别， 自动 更新和完善用户的生物信息， 使机器人对用户越来越熟悉， 从而有效提高机器 人对用户的识别率； 该机器人还针对用户的不同， 提供不同的个性化服务。 对附图的简要说明
附图说明
[0039] 下面将结合附图及实施例对本发明作进一步说明， 附图中：
[0040] 图 1是本发明机器人的***结构示意图；
[0041] 图 2是本发明机器人的生物信息注册应用的示意图；
[0042] 图 3是本发明机器人的生物特征注册的流程图；
[0043] 图 4是本发明机器人的人脸角度和生物特征的示意图；
[0044] 图 5是本发明机器人的生物特征自动更新和完善的流程图；
[0045] 图 6是本发明机器人的生物特征的数据结构示意图。
实施该发明的最佳实施例
本发明的最佳实施方式
[0046] 如图 1所示， 在本发明的第一实施例的结构示意图。
[0047] 本实施例公开一种利用生物信息识别的机器人， 包括： 语音输入模块 101、 语 音识别模块 102、 语音生物特征提取模块 103、 注册指令提取模块 104、 图像输入 模块 105、 图像生物特征提取模块 106、 生物特征比对和管理模块 107、 生物特征 存储模块 108、 用户信息存储模块 109， 以下分别做说明：
[0048] 语音输入模块 101用于接收用户语音信息， 图像输入模块 105用于接收用户图像 信息。 优选地， 在本发明的利用生物信息识别的机器人中， 用户图像信息包括 但不限于用户的人脸、 手势、 姿态、 形态、 指纹、 虹膜。
[0049] 语音内容的语音识别模块 102与语音输入模块 101连接， 用于识别并判断用户语 首 息；
[0050] 注册指令提取模块 104与语音识别模块 102连接， 用于发出注册指令；
[0051] 语音生物特征提取模块 103与语音输入模块 101连接， 用于将用户语音信息转化 为识别用户身份的语音特征向量；
[0052] 图像生物特征提取模块 106与图像输入模块 105连接， 用于将用户的用户图像信 息转化为识别用户身份的图像特征向量；
[0053] 生物特征比对和管理模块 107分别与注册指令提取模块 104、 语音生物特征提取 模块 103、 以及图像生物特征提取模块 106连接， 生物特征比对和管理模块 107用 于注册新用户、 建立用户的语音特征向量和图像特征向量之间的关联关系、 自 动更新已注册用户生物特征、 以及管理用户个人事务信息。
[0054] 生物特征存储模块 108与生物特征比对和管理模块 107连接， 用于存储用户生物 特征的； 用户信息存储模块 109与生物特征比对和管理模块 107连接， 用于存储 用户个人事务信息。
[0055] 语音和人脸的生物特征比对算法以计算相似度为判断基础， 在实际应用中， 人 的语调、 语速等变化， 人脸的角度和细微的变化会对生物识别的准确率造成影 P向， 一般用户的生物特征向量模板越多， 比对的准确度越高。 因此， 在人机交 互的过程中， 生物特征比对和管理模块 107用于识别当前用户的身份， 当用户身 份被成功识别后， 生物特征比对和管理模块 107对用户的生物特征向量不断进行 更新和完善， 以到达提高比对准确率的效果。
[0056] 如图 2所示， 本发明的生物特征注册模仿人和人之间的介绍， 由用户语音发起 。 当用户 305对机器人 307说： "ABC, 我叫 XYZ"301， 或相似句型" ABC， 我是 X YZ"、 "ABC, 请叫我 XYZ"等时， 语音识别模块 202将该句话判断为新用户注册 指令， 其中" ABC"为机器人的名称或标识， "XYZ"为新用户的名称和用户信息数 据库的入口。 同吋， 本发明机器人通过摄像头设备 205 , 以及人脸检测， 检测到 人脸 306, 将人脸图像转换成机器人用于人脸识别的特征向量， 由生物特征比对 和管理模块 107生成以 XYZ为入口的用户信息数据库。
[0057] 另， 本发明还公开一种利用生物信息识别的机器人的使用方法， 包括下述步骤
[0058] 接收用户的用户语音信息， 识别用户语音信息的语音内容；
[0059] 判断语音内容是否符合预设注册条件； 预设注册条件为特定的语句格式， 这些 语句格式都是将人与人之间的介绍进行抽象。
[0060] 若否， 则重新接收用户的语音信息； 若是， 将用户语音信息转化为用于识别用 户身份的语音特征向量， 判断用户是否为已注册用户；
[0061] 若否， 则发出新用户注册指令， 注册新用户账户， 将语音特征向量添加至新用 户账户中， 建立语音特征向量和新用户账户之间的对应关系； 若是， 则通过与 用户的已有语音特征向量比对得到语音特征向量增强量， 判断语音特征向量增 强量是否具有增强价值；
[0062] 若是， 则将语音特征向量增强量添加至用户的生物特征向量数据库中； 若否， 则结束。
[0063] 进一步， 在本发明的利用生物信息识别的机器人的使用方法中， 在接收用户的 用户语音信息同时， 接收用户的用户图像信息，
[0064] 对于新注册用户账户： 将用户图像信息转化为用于识别用户身份的图像特征向 量， 将图像特征向量添加至新用户账户中， 并建立语音特征向量、 图像特征向 量、 以及新用户账户之间的对应关系； 建立关联关系后， 当机器人再次识别用 户时， 便可通过单一信息对用户进行识别。 当然， 在一定应用场景中， 例如需 要提高安全性， 则需要同时满足语音信息和图像信息才能正确识别。
[0065] 对于已注册用户账户： 通过与用户的已有图像特征向量比对得到图像特征向量 增强量， 并判断图像特征向量增强量是否具有增强价值； 若是， 则将图像特征 向量增强量添加至生物特征向量数据库中； 若否， 则结束。
[0066] 进一步， 本发明的利用生物信息识别的机器人的使用方法， 对于已注册用户， 在人机交互过程中：
[0067] 接收用户的生物信息， 提取生物信息对应的生物特征向量； 这里的生物特征包 括但不限于用户的语音信息、 图像信息、 人脸、 手势、 姿态、 形态、 指纹、 虹 膜。
[0068] 将生物特征向量与生物特征向量数据库做比对， 判断能否识别；
[0069] 若否， 则继续接收并提取用户的生物特征向量， 并与生物特征向量数据库做比 对， 直至被识别。
[0070] 本发明的利用生物信息识别的机器人的使用方法， 在用户被识别后：
[0071] 通过与生物特征向量数据库比对得到生物特征向量增强量； 生物特征主要分为 两类， 一类是对现有生物特征的完善， 例如用户的人脸信息中的人脸正面信息 , 当人脸的正面信息发生细微变化时， 机器人依然能够识别， 并将这些细微变 化作为增强量添加到已有人脸正面信息中； 另一类是生物特征向量数据库中没 有的特征， 例如用户通过语音信息被识别后， 机器人捕捉到了用户的图像信息 , 而该图像信息并未存储在生物特征向量数据库中， 此吋， 机器人自动提取该 图像信息对应的图像特征， 并将该图像特征添加到生物特征向量数据库中。
[0072] 判断生物特征向量增强量是否具有增强价值； 并非所有的生物特征都具有增加 价值， 如果将每个生物特征都存储， 会导致数据量过大， 反而不利于快速准确 的识别用户。
[0073] 若是， 则将生物特征向量增强量添加到生物特征向量数据库中； 若否， 则返回 继续提取用户的生物特征向量。
[0074] 本发明的利用生物信息识别的机器人的使用方法， 在用户被识别后：
[0075] 执行预存的用户个性化信息， 为用户提供个性化服务；
[0076] 判断是否达到结束条件；
[0077] 若否， 则重新接收用户生物信息； 若是， 则结束。
[0078] 优选地， 用户个性化信息包括用户个人信息、 用户社交信息、 用户时间安排信 息、 用户日常习惯中的一种或多种。
[0079] 图 3是本发明第二实施例。
[0080] 图 3是本发明机器人的生物特征注册的流程图。 具体的， 机器人对语音输入 401 进行语音识别； 当语音信息被识别为新用户注册指令 402时， 机器人判断是否是 已注册用户 403， 即上述实施例中的 XYZ是否已经在***中存在。 如果否， 则启 动建立新用户档案 405 , 并添加用户生物特征 407 ; 如果是， 则对现有用户生物 特征增强 404。 这吋需要首先判断新获取的生物特征向量是否有价值 406， 如果 是， 则添加用户生物特征 407， 并结束 408 ; 如果否， 则结束 408。
[0081] 语音识别和人脸识别的计算机算法有很多种方法， 一般流程主要包括语音或图 形的釆集， 然后将原始信息转换成机器语言， 在识别时， 将用机器语言描述的 特征进行相似度的比较。 以人脸识别为例， 主流算法主要分成两种： 基于特征 点的对比和基于图形相似度的对比。
[0082] 如图 4所示， 以 Local Binary Pattern (LBP) 算法为例进行说明。 A1和 B 1是输 入的原始图像， A2和 B2是用 Local Binary Pattern
(LBP) 算法产生的特征图像， A1对应 A2， B1对应 B2。 以一种通用的比对方式 为例， 将特征图像 B 1和 B2分成 N x M块方格， 将方格内的特征点做统计， 形成一 个矢量 HIST来代表该方格内的特征。 将两个特征图像按方格一个一个做比对， 就可以得到特征的相似度。 一般情况下， 方格数量多， 如 9x9或 7x7， 对同一个 人的识别度会高， 但是对于人脸转动或移动的冗余就不高。 相反， 方格数量少 ， 如 3x3, , 2x2 , 对于人脸转动或移动的冗余高， 但是对人的识别度会低。 一些 基于特征点的比对算法， 对于图形的变形、 旋转等问题处理较好， 但是依然无 法完全解决人脸转动造成的比对精度下降的问题。
[0083] 在实际应用中， 由于人脸的位置、 角度以及其他原因， 图像会有较大的变化。
以图 4中的 A1和 B1为例， 当人脸角度转动后， 特征点以及特征点的分布发生了很 大的变化。 如果这个变化超过机器人判断的阈值， 则机器人无法识别这是同一 个用户。 因此， 当机器人识别出用户身份后， 有必要持续地收集用户模板， 收 集不同角度的人脸特征， 以扩大用户的生物信息模板， 保证机器人从不同的角 度能识别出用户。
[0084] 可以理解， 本实施例仅以 Local Binary Pattern (LBP) 算法为例来说明图像识 别过程， 在实际使用中， 可根据需要选取一种或多种图像识别算法结合进行图 像识别。
[0085] 语音识别的过程和人脸类似。 语音识别一般分为基于文字 Text Dependent和与 文字无关 Text Independent 由于人的语音会有一定程度的变化， 如语调、 语速
， 以及身体情况等， 语音的生物身份识别也会有人脸识别的问题， 即单一的特 征模板往往是不能较好的在实际应用场景下， 对用户身份做准确的识别， 需要 ***自动收集有价值的模板， 增强比对的冗余度和准确度。
[0086] 在用户完成注册后， 机器人开始与用户之间进行交互， 用户语音信息输入模块 101重新接收用户的用户语音信息， 用户语音信息生物特征提取模块 103提取用 户的语音特征向量， 并与生物特征比对和管理模块 107中数据库存储的信息做比 对， 判断能否识别；
[0087] 若否， 则继续提取语音特征向量， 并与生物特征比对和管理模块 107中数据库 存储的信息做比对。
[0088] 语音特征向量经比对识别后， 执行第一动作和第二动作：
[0089] 第一动作： 提取已注册用户的语音特征向量增强量； 生物特征比对和管理模块
107判断语音特征向量增强量是否具有增强价值； 若是， 则将语音特征向量增强 量添加到已注册用户的第一生物特征向量模板中； 若否， 则返回继续提取生物 特征。
[0090] 第二动作： 执行预存的用户个性化信息， 为用户提供个性化服务； 执行完第一 动作和第二动作后， 判断是否达到结束条件； 若是， 则结束； 若否， 则用户语 音信息输入模块 101重新接收用户的用户语音信息。 优选的， 本发明的利用生物 信息识别的机器人的使用方法， 用户个性化信息包括： 用户个人信息、 用户社 交信息、 用户吋间安排信息、 用户日常习惯中的一种或多种。
[0091] 图 5是本发明机器人的第 3实施例。
[0092] 图 5是本发明机器人的生物特征自动更新和完善的流程图； 在本实施例中， 机 器人在人机交互 501中， 不断提取生物特征 502, 与生物特征向量数据库内生物 特征比对 503 , 判断当前用户是否识别 504。 如果否， 则继续提取生物特征 502; 如果是， 做出两个动作：
[0093] (一） 在交互中不断提取生物特征 505 , 并得到现有用户生物特征增强量 404, 为了避免过多地添加不必要的特征， 机器人会对新采集的特征进行判断， 看是 否对用户的生物特征增强有价值， 是否需要增强 406。 如果否， 则回到不断提取 生物特征 505中； 如果是， 则进行将用户生物特征增强量添加用户生物特征 407 [0094] (二） 对当前用户提供基于身份的个性化服务 530 , 如语音中加载用户名称， 基于该用户习惯服务等。 当流程满足结束条件 532吋， 结束 533 ; 否则流程从人 机交互的流程节点继续运行。
[0095] 图 6是本发明机器人的生物特征的数据结构示意图， 在本实施例中， 本发明的 机器人， 用户标识 710以上述提及的 XYZ为例， 其生物特征数据库基本结构主要 包括的数据类别有： 生物特征 720、 用户信息 730、 社交信息 740、 吋间和习惯 75 0， 其中， 在生物特征 720类别包括但不限于一个或多个语音特征 725、 一个或多 个人脸特征 721。 在用户信息 730类别下， 数据包括但不限于用户的生日、 年龄 、 地址、 电话等 731。 在社交信息 740类别数据包括但不限于一个或多个家人以 及关系、 一个或多个友人以及关系等 741。 在事件和习惯 750类别数据包括但不 限于用户常用的语言 751的特征、 动作 730的特征、 以及习惯 752的特征等。 图 6 所描述的数据库结构， 基本保障机器人通过对一个用户信息的收集， 以用户标 识 710为入口， 以生物特征 720为识别用户的信息基础， 利用对用户的个人用户 信息 730、 社交信息 740、 事件和习惯 750信息处理， 来提供针对该用户的个性化 服务。 可以理解， 根据不同的应用场景和用户需求， 上述用户个人信息可根据 具体需要调整。
[0096] 综上， 通过实施本发明， 使机器人更加智能， 具有学习能力， 通过模拟人与人 之间的交互方式， 机器人可自动完成用户的注册， 并在人机交互过程中不断的 学习， 不断自动完善用户的生物特征， 使得机器人对用户越来越熟悉， 不断提 高识别率。
[0097] 以上实施例只为说明本发明的技术构思及特点， 其目的在于让熟悉此项技术的 人士能够了解本发明的内容并据此实施， 并不能限制本发明的保护范围。 凡跟 本发明权利要求范围所做的均等变化与修饰， 均应属于本发明权利要求的涵盖 范围。

Claims

一种利用生物信息识别的机器人， 其特征在于， 包括：
用于接收用户语音信息的语音输入模块， 用于接收用户图像信息的图 像输入模块；
与所述语音输入模块连接、 用于识别并判断所述用户语音信息的语音 内容的语音识别模块；
与所述语音识别模块连接、 用于发出注册指令的注册指令提取模块； 与所述语音输入模块连接、 用于将所述用户语音信息转化为识别用户 身份的语音特征向量的语音生物特征提取模块；
与所述图像输入模块连接、 用于将用户的所述用户图像信息转化为识 别用户身份的图像特征向量的图像生物特征提取模块；
分别与所述注册指令提取模块、 所述语音生物特征提取模块、 以及所 述图像生物特征提取模块连接的生物特征比对和管理模块， 所述生物 特征比对和管理模块用于注册新用户、 建立用户的所述语音特征向量 和所述图像特征向量之间的关联关系、 自动更新已注册用户生物特征
、 以及管理用户个人事务信息。
根据权利要求 1所述的利用生物信息识别的机器人， 其特征在于， 还 包括： 与所述生物特征比对和管理模块连接、 用于存储用户生物特征 的生物特征存储模块。
根据权利要求 2所述的利用生物信息识别的机器人， 其特征在于， 还 包括： 与所述生物特征比对和管理模块连接、 用于存储用户个人事务 信息的用户信息管理模块。
根据权利要求 1-3任一所述的利用生物信息识别的机器人， 其特征在 于， 所述用户图像信息包括人脸、 手势、 姿态、 形态、 指纹、 虹膜中 的一种或多种。
一种利用生物信息识别的机器人的使用方法， 其特征在于， 包括下述 步骤：
接收用户的用户语音信息， 识别所述用户语音信息的语音内容； 判断所述语音内容是否符合预设注册条件；
若否， 则重新接收用户的语音信息； 若是， 将所述用户语音信息转化 为用于识别用户身份的语音特征向量， 判断所述用户是否为已注册用 户；
若否， 则发出新用户注册指令， 注册新用户账户， 将所述语音特征向 量添加至所述新用户账户中， 建立所述语音特征向量和所述新用户账 户之间的对应关系； 若是， 则通过与所述用户的已有语音特征向量比 对得到语音特征向量增强量， 判断所述语音特征向量增强量是否具有 增强价值；
若是， 则将所述语音特征向量增强量添加至所述用户的生物特征向量 数据库中； 若否， 则结束。
[权利要求 6] 根据权利要求 5所述的利用生物信息识别的机器人的使用方法， 其特 征在于， 在接收所述用户的用户语音信息同吋， 接收所述用户的用户 图像信息，
对于新注册用户账户： 将所述用户图像信息转化为用于识别用户身份 的图像特征向量， 将所述图像特征向量添加至所述新用户账户中， 并 建立所述语音特征向量、 所述图像特征向量、 以及所述新用户账户之 间的对应关系；
对于已注册用户账户： 通过与所述用户的已有图像特征向量比对得到 图像特征向量增强量， 并判断所述图像特征向量增强量是否具有增强 价值； 若是， 则将所述图像特征向量增强量添加至所述生物特征向量 数据库中； 若否， 则结束。
[权利要求 7] 根据权利要求 5或 6所述的利用生物信息识别的机器人的使用方法， 其 特征在于， 对于已注册用户， 在人机交互过程中： 接收所述用户的生物信息， 提取所述生物信息对应的生物特征向量； 将所述生物特征向量与所述生物特征向量数据库做比对， 判断能否识 别；
若否， 则继续接收并提取所述用户的生物特征向量， 并与所述生物特 征向量数据库做比对， 直至被识别。
[权利要求 8] 根据权利要求 7所述的利用生物信息识别的机器人的使用方法， 其特 征在于， 在用户被识别后：
通过与所述生物特征向量数据库比对得到生物特征向量增强量； 判断所述生物特征向量增强量是否具有增强价值； 若是， 则将所述生物特征向量增强量添加到所述生物特征向量数据库 中； 若否， 则返回继续提取用户的生物特征向量。
[权利要求 9] 根据权利要求 7所述的利用生物信息识别的机器人的使用方法， 其特 征在于， 在用户被识别后：
执行预存的用户个性化信息， 为用户提供个性化服务；
判断是否达到结束条件；
若否， 则重新接收用户生物信息； 若是， 则结束。
[权利要求 10] 根据权利要求 9所述的利用生物信息识别的机器人的使用方法， 其特 征在于， 所述用户个性化信息包括用户个人信息、 用户社交信息、 用 户吋间安排信息、 用户日常习惯中的一种或多种。
PCT/CN2016/083190 2016-05-24 2016-05-24 一种利用生物信息识别的机器人及其使用方法 WO2017201675A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/083190 WO2017201675A1 (zh) 2016-05-24 2016-05-24 一种利用生物信息识别的机器人及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/083190 WO2017201675A1 (zh) 2016-05-24 2016-05-24 一种利用生物信息识别的机器人及其使用方法

Publications (1)

Publication Number Publication Date
WO2017201675A1 true WO2017201675A1 (zh) 2017-11-30

Family

ID=60411102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/083190 WO2017201675A1 (zh) 2016-05-24 2016-05-24 一种利用生物信息识别的机器人及其使用方法

Country Status (1)

Country Link
WO (1) WO2017201675A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180300468A1 (en) * 2016-08-15 2018-10-18 Goertek Inc. User registration method and device for smart robots
WO2019061348A1 (zh) * 2017-09-29 2019-04-04 上海与德通讯技术有限公司 智能机器人及其控制方法及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1494037A (zh) * 2002-11-01 2004-05-05 ��ʽ���綫֥ 人员识别仪器、人员识别方法和通行控制器
CN101127592A (zh) * 2006-08-15 2008-02-20 华为技术有限公司 一种生物模版注册方法及***
CN103870735A (zh) * 2014-03-18 2014-06-18 小米科技有限责任公司 解锁处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1494037A (zh) * 2002-11-01 2004-05-05 ��ʽ���綫֥ 人员识别仪器、人员识别方法和通行控制器
CN101127592A (zh) * 2006-08-15 2008-02-20 华为技术有限公司 一种生物模版注册方法及***
CN103870735A (zh) * 2014-03-18 2014-06-18 小米科技有限责任公司 解锁处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180300468A1 (en) * 2016-08-15 2018-10-18 Goertek Inc. User registration method and device for smart robots
US10929514B2 (en) * 2016-08-15 2021-02-23 Goertek Inc. User registration method and device for smart robots
WO2019061348A1 (zh) * 2017-09-29 2019-04-04 上海与德通讯技术有限公司 智能机器人及其控制方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109918680B (zh) 实体识别方法、装置及计算机设备
CN107871100B (zh) 人脸模型的训练方法和装置、人脸认证方法和装置
WO2019095571A1 (zh) 人物情绪分析方法、装置及存储介质
WO2019033525A1 (zh) Au特征识别方法、装置及存储介质
WO2021135685A1 (zh) 身份认证的方法以及装置
WO2020007129A1 (zh) 基于语音交互的上下文获取方法及设备
CN107911643B (zh) 一种视频通信中展现场景特效的方法和装置
WO2022174699A1 (zh) 图像更新方法、装置、电子设备及计算机可读介质
CN112699686B (zh) 基于任务型对话***的语义理解方法、装置、设备及介质
TW201137768A (en) Face recognition apparatus and methods
WO2020147256A1 (zh) 会议内容区分方法、装置、计算机设备及存储介质
CN110188708A (zh) 一种基于卷积神经网络的人脸表情识别方法
CN109727350A (zh) 一种基于人脸识别的门禁控制方法及装置
Alshamsi et al. Automated facial expression and speech emotion recognition app development on smart phones using cloud computing
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及***
CN113656761B (zh) 基于生物识别技术的业务处理方法、装置和计算机设备
WO2014173325A1 (zh) 喉音识别方法及装置
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN111428666A (zh) 基于快速人脸检测的智能家庭陪伴机器人***及方法
WO2023273616A1 (zh) 图像识别方法及装置、电子设备、存储介质
CN110263726B (zh) 一种基于深度相关性特征学习的指静脉识别方法及装置
WO2017201675A1 (zh) 一种利用生物信息识别的机器人及其使用方法
Muthumari et al. Smart and multi-way attendance tracking system using an image-processing technique
Ge et al. Deep and discriminative feature learning for fingerprint classification
CN103984415B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16902665

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16902665

Country of ref document: EP

Kind code of ref document: A1