CN107704834B - 微表情面审辅助方法、装置及存储介质 - Google Patents

微表情面审辅助方法、装置及存储介质 Download PDF

Info

Publication number
CN107704834B
CN107704834B CN201710955000.0A CN201710955000A CN107704834B CN 107704834 B CN107704834 B CN 107704834B CN 201710955000 A CN201710955000 A CN 201710955000A CN 107704834 B CN107704834 B CN 107704834B
Authority
CN
China
Prior art keywords
video
feature
client
stress
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710955000.0A
Other languages
English (en)
Other versions
CN107704834A (zh
Inventor
徐国强
郭鹏程
胡艺飞
单以磊
韦峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201710955000.0A priority Critical patent/CN107704834B/zh
Publication of CN107704834A publication Critical patent/CN107704834A/zh
Priority to PCT/CN2018/077342 priority patent/WO2019071903A1/zh
Application granted granted Critical
Publication of CN107704834B publication Critical patent/CN107704834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供一种微表情面审辅助方法、装置及计算机可读存储介质。该方法包括以下步骤：生成应激问题及其标准答案；切割客户回答应激问题的第一视频得到每个应激问题对应的第一视频片段；提取每个第一视频片段中客户面部包含的第一、第二动作特征；以第一、第二动作特征形成的特征子集，以及该视频片段的欺诈标注训练支持向量机模型得到评分模型；采集客户回答应激问题的第二视频，切割第二视频得到每个应激问题对应的第二视频片段；从每个第二视频片段中提取客户面部包含的第一、第二动作特征形成的特征子集；将特征子集输入评分模型，输出客户回答每个应激问题的欺诈评分结果。利用本发明，可以有效识别客户是否存在欺诈嫌疑。

Description

微表情面审辅助方法、装置及存储介质
技术领域
本发明涉及视频处理技术领域，尤其涉及一种基于视频进行微表情分析的***及方法。
背景技术
金融机构在接收到客户申请的大额信用贷款时，通常需要风控人员的线下或远程面审，风控人员通过提问来审核借款人的相关信息是否存在欺诈。目前，审核借款人是否欺诈极度依赖于风控人员的经验和判断，市面上没有一款能够客观、有效地识别借款人是否存在欺诈的工具。
发明内容
鉴于以上原因，本发明提供一种微表情面审辅助方法、装置及存储介质，可以在面审过程中，对贷款客户的微表情进行识别、分析，客观、有效地甄别客户是否存在欺诈的嫌疑。
为实现上述目的，本发明提供一种计算装置，该计算装置通过网络连接摄像装置，或是通过网络连接移动终端、该移动终端包括摄像装置。摄像装置拍摄风控人员面审贷款客户的视频，通过网络传送至该计算装置。该计算装置的处理器执行存储器中的微表情面审辅助程序，实现以下步骤：
应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型；
第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
所述第一动作特征为动作单元(action unit，AU),所述第二动作特征包括头部朝向及眼球朝向。
优选地，所述第一特征提取步骤，包括以下步骤：
利用人脸检测算法从第一视频片段中提取人脸图像；
从人脸图像中提取人脸特征点；
对提取的人脸特征点进行降维处理；
根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征。
进一步地，所述第一特征提取步骤，还可以包括以下步骤：
统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、次数；
统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数；
根据统计结果生成一个特征集；及
利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。
本发明还提供一种微表情面审辅助方法，应用于计算装置，该方法包括：
应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型；
第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
优选地，所述第一特征提取步骤，包括以下步骤：
利用人脸检测算法从第一视频片段中提取人脸图像；
从人脸图像中提取人脸特征点；
对提取的人脸特征点进行降维处理；
根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征。
进一步地，所述第一特征提取步骤，还可以包括以下步骤：
统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、次数；
统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数；
根据统计结果生成一个特征集；及
利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述所述计算机可读存储介质中包括微表情面审辅助程序10，所述微表情面审辅助程序10被处理器执行时，实现如上所述的微表情面审辅助方法中的任意步骤。
本发明提供的微表情面审辅助方法、装置及存储介质，根据贷款客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案。在模型训练阶段，采集客户回答应激问题的第一视频，以单个应激问题为单位对采集的第一视频进行切割得到每个应激问题对应的视频片段，识别每个视频片段中客户面部包含的第一动作特征(AU)及第二动作特征(例如头部朝向、眼球朝向)，以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段中的客户回答应激问题的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型。之后，将训练好的模型应用于实时的面审环节：采集客户回答应激问题的第二视频，以单个应激问题为单位对采集的第一视频进行切割得到每个应激问题对应的视频片段，从每个视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集，将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。利用本发明，可以客观、有效地甄别客户是否存在欺诈的嫌疑。
附图说明
图1为本发明微表情面审辅助方法第一较佳实施例的应用环境图。
图2为本发明微表情面审辅助方法第二较佳实施例的应用环境图。
图3为本发明微表情面审辅助方法较佳实施例的流程图。
图4为图3中步骤S30第一较佳实施例的具体流程图。
图5为图3中步骤S30第二较佳实施例的具体流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参图1所示，是本发明微表情面审辅助方法第一较佳实施例的应用环境图。在该实施例中，摄像装置3通过网络2连接计算装置1，摄像装置3拍摄风控人员面审贷款客户的视频(主要是拍摄贷款客户的正脸视频)，通过网络2传送至计算装置1，计算装置1利用本发明提供的微表情面审辅助程序10(APP)，对视频进行分析，对客户欺诈的可能性给出一个风险评分，供面审人员及金融机构参考。
计算装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该计算装置1包括：存储器11、网络接口12、处理器13及通信总线14。
摄像装置3安装于执行面审环节的特定场所，如办公场所、监控区域，拍摄风控人员面审贷款客户的视频，在本发明中，主要是拍摄贷款客户的正脸视频，通过网络2将拍摄得到的视频传输至处理器13。网络接口12可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线14用于实现这些组件之间的连接通信。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述计算装置1的内部存储单元，例如该计算装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述计算装置1的外部存储器11，例如所述计算装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11存储所述微表情面审辅助程序10的程序代码、摄像装置3拍摄的视频，以及处理器13执行微表情面审辅助程序10的程序代码应用到的数据以及最后输出的数据等。
处理器13在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片。
图1仅示出了具有组件11-14的计算装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该计算装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器。显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器用于显示计算装置1处理的信息以及可视化的用户界面。
可选地，该计算装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。用户，例如面审人员，可以通过触摸启动微表情面审辅助程序10。
参图2所示，是本发明微表情面审辅助方法第二较佳实施例的应用环境图。贷款客户、风控人员通过终端3远程执行面审环节，终端3的摄像装置30拍摄风控人员面审贷款客户的视频，并通过网络2传送至所述计算装置1，计算装置1的处理器13执行存储器11存储的微表情面审辅助程序10的程序代码，对视频进行分析，对客户欺诈的可能性给出一个风险评分，供面审人员及金融机构参考。
图2中计算装置1的组件，例如图中示出的存储器11、网络接口12、处理器13及通信总线14，以及图中未示出的组件，请参关于图1的介绍。
所述终端3可以为智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
在一些场景中，待审核的对象自身不符合要求，但为了达成目的，例如获取信任，获取优惠政策、资助、贷款等等，会刻意隐瞒真实情况，提供虚假信息，故在审核过程中需要对这些对象是否存在欺诈嫌疑进行甄别。例如，图谋欺诈的客户在贷款面审的时候，会故意隐藏其情绪，如客户会刻意隐藏心虚的情绪，单凭人眼难以识别。但是，可以通过多种应激，刺激客户表现出真实情绪，再借助摄像装置30拍摄客户回答应激问题过程中的视频、利用微表情面审辅助程序10对视频进行分析，辅助判断客户是否存在欺诈嫌疑。
图1或图2中的微表情面审辅助程序10，在被处理器13执行时，实现以下步骤：
应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案；
第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机(supportvector model，SVM)模型进行训练，得到欺诈评分模型；
第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。
客户在申请贷款时，会向金融机构提交一些基本信息，包括身份证信息、地址信息、联系电话、职业等等。根据这些基本信息，上述应激问答步骤中，根据贷款客户的基本信息生成应激问题及标准答案，包括以下几个类别：
A.根据客户的身份证信息，通过身份证的编码规范，例如身份证号码的前2位代表省、直辖市、自治区，第3-4位代表地级市，第5-6位代表县，第7-14位代表出生日期，第15-16位代表乡政，第17位代表性别(1-男，2-女)，生成生日、星座、户籍所在地、户籍所在地邮编、区号、生肖、年龄等问题和答案；
B.根据客户的地址信息，通过查询电子地图(如百度地图)，生成该地址附近有哪些关联地址，例如医院、商场、公园、餐馆、酒店，以及这些地址中从某一个地址(例如X医院)到另一个地址(例如Y公园)的交通方式和时间等问题和答案；
C.根据客户的手机号码，通过手机号码的编码规范，例如，手机号呢前3位数字代表运营商，第4-7位代表手机号码的归属地，生成归属地、运营商的问题和答案；
D.根据客户的职业，生成相关问题和答案，例如：
客户申请贷款填写的职业为“批发、零售充电宝”，则可以生成以下问题：
充电宝有什么品牌？
华为充电宝容量最大多少？
客户申请贷款填写的职业为“养猪”，则可以生成以下问题：
猪每天睡觉多长时间？
猪长到100斤需要多久？
客户申请贷款填写的职业为“JAVA工程师”，则可以生成以下问题：
什么是Spring框架？请说几个你常用的设计模式？
这些应激问题及其标准答案，预存于计算装置1的存储器11，或是存储于通过网络与计算装置1连接的其它存储设备。
上述关于生成应激问题仅是提供部分例子，未能穷举。
关于上述步骤的详细介绍，请参图3关于方法流程图的说明。
如图3所示，为本发明微表情面审辅助方法较佳实施例的流程图。在需要对特定对象是否存在欺诈嫌疑的情况下，利用图1或图2所示的架构，同时启动计算装置1，并启动处理器13执行微表情面审辅助程序10的程序代码，实现以下步骤：
步骤S10，根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案。这些应激问题及其标准答案可以实现准备好，存储于存储设备，例如计算装置1的存储器11，或者其它可以由计算装置1读取的远端或本地存储设备。如何根据贷款客户的基本信息生成应激问题及标准答案，请参上文中的示例，在次不再赘述。
步骤S20，采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段。例如，客户在面审的过程中，可能需要回答几十个甚至更多数量的应激问题。应激问题越多，越能刺激客户暴露出真实情绪。
应激问题展示给客户的方式，可以是面审人员现场提问客户的方式：与计算装置1相连接的摄像装置3录制客户在面审现场回答应激问题的视频；或者以面审人员远程提问客户的方式：客户与面审人员通过终端3及网络2远程连接，面审人员远程提问，并利用终端3的摄像装置30或网络2连接的摄像装置30录制客户回答应激问题的视频，录制的视频传送并存储于计算装置1的存储器11中。此外，所述应激问题还可以问卷的方式在终端3的显示界面展示给客户，每一个应激问题可以设置预设的答题时间，超过预设时间则展示下一个应激问题，终端3或网络2连接的摄像装置30录制客户回答应激问题的视频，录制的视频传送并存储于计算装置1的存储器11中。
拍摄得到的一个客户的视频是连续的，为甄别回答每个应激问题时客户的真实情绪，需将各个应激问题对应的视频片段分别提取、分析。例如，将客户回答应激问题“你是否有固定住房资产？”、“你的工作稳定吗？”、“如果将这笔资金贷款给你，你是否能在规定期限能还款？”的视频片段，逐一从总的视频中切割出来，留待后续分析。
步骤S30，提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征。
第一动作特征指的是面部动作单元(action unit，AU)。不论完整表情，还是微表情，都是藉由人类面部动作的活动而表现。保罗·艾克曼因此把人类所有面部肌肉的活动拆分、编号，继而推出了面部行为编码***(Facial ActionCodingSystem，FACS)。
保罗·艾克曼总结出人类一共有39个主要的AU。每一个AU，就是脸部的一小组肌肉收缩代码。比如AU1就代表眉头向中间聚拢并抬起的一个动作。不同的AU组合代表了不同的情绪。
第二动作特征包括眼球朝向、头部朝向。
有研究发现，对大多数人来说，当人们的大脑进入记忆搜索状态，也就是回忆某件真实存在的事情时，眼睛会先向上、再向左转动。
大部分人，当大脑正在“建筑”一个声音或图像时，换句话说，人们撒谎的时候，眼球的运动方向可能是右上方，但如果并不转动眼睛，也不能说明其没有说谎。如果人们在试图记起确实发生的事情，会向左上方看。这种“眼动”是一种反射动作，除非受过严格训练，否则是假装不来的。
再者，欺诈者被审核时，若注意力太集中，眼球开始干燥会导致过多地眨眼，这是个致命的信息泄露。
大部分说谎者的表情、动作都与平时不一样，通过有效识别、分析是能发现端倪的。
关于提取第一动作特征及第二动作特征的具体原理，请参图4及图5的详细介绍。
步骤S40，以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型。
面审人员会综合考虑客户申请贷款提供的资料、面审情况、客户的历史信誉等，给每一个视频片段分配一个欺诈标注，欺诈标注表示该客户是否存在欺诈嫌疑，例如1表示有欺诈嫌疑，0代表无欺诈嫌疑。在本实施例中，欺诈标注综合考虑以下几个方面：
客户对应激问题的回答是否错误；
客户回答应激问题时情绪是否异常；
客户是否有逾期还款的记录；
电核意见(对客户、客户亲友进行电话回访后判断是否存在欺诈嫌疑)。
步骤S10至步骤S40，属于收集训练样本、模型训练阶段。样本数据越多，训练得到的欺诈评分模型越精确。之后，进入模型应用阶段。
步骤S50，采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段。
步骤S60，从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集。
步骤S50与步骤S20对应、步骤S60与步骤S30对应，区别在于步骤S20、S30应用于模型训练阶段，步骤S50、S60应用于模型应用阶段。
步骤S70，将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果。例如，输出的欺诈评分结果为1时，表示客户回答应激问题时，表现出的不是真实情绪、有欺诈嫌疑，输出的欺诈评分结果为0时，表示客户回答应激问题时反应真实。
如图4所示，为图3中步骤S30第一较佳实施例的具体流程图。
步骤S31，利用人脸检测算法从第一视频片段中提取人脸图像。人脸检测算法可以为基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。
步骤S32，从人脸图像中提取人脸特征点。例如，可以使用dlib算法从人脸图像中提取68个人脸特征点。此外，还可以提取眼球特征点。例如每只眼镜提取一个眼球特征点。
步骤S33，对提取的人脸特征点进行降维处理，例如PCA降维。
步骤S34，根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征。例如，假设第一动作特征为AU1，即“皱眉”，从客户回答居住问题的视频片段中获取得到AU1的信息如下：“客户在回答居住类问题时，共出现皱眉一次，持续时间，累计持续时间1.39秒”，从客户回答身份核实类问题的视频片段中获取得到AU1的信息如下：“客户在回答身份核实类问题时，共出现皱眉一次，累计持续时间3.64秒”。第二动作特征，如眼球朝向、头部朝向，可以根据人脸特征点在视频片段中的位置变化确定。
如图5所示，为图3中步骤S30第二较佳实施例的具体流程图。
步骤S31-S34与图4相同，请参上文中的说明。
步骤S35，统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、次数。
步骤S36，统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数。
步骤S35、S36是在进行特征构造。一次面审过程的视频片段，通常至少有几十个，经过步骤S35、S36构造得到的组合特征，数目一般是好几千个。
步骤S37，根据统计结果生成一个特征集。
步骤S38，利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。特征选择是一种数据预处理方法。当样本的特征数非常大时，可能仅仅有少部分特征会对结果产生影响，因此可以使用特征选择算法降低特征的数量。
假设样本有n个特征，那么，其有2n-1种可能的特征子集，如果特征选择需要去穷举所有2n种可能的特征子集，对于n比较大的情况，计算的代价太大，无法真正实现。因此可以通过一些算法实现特征的选择。这里的特征筛选算法可以为正向搜索/反向搜索(forward/backwardsearch)、过滤特征选择(filter feature selection)，或是其他可用的特征筛选算法。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括微表情面审辅助程序10，所述微表情面审辅助程序10被处理器执行时实现的功能，请参上述关于图3～图5的介绍，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种微表情面审辅助方法，应用于计算装置，其特征在于，该方法包括：
应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案，包括：
根据客户的身份证信息，通过身份证的编码规范，生成生日、星座、户籍所在地、户籍所在地邮编、区号、生肖、年龄相关问题和答案；
根据客户的地址信息，通过查询电子地图，生成该地址附近关联地址，以及这些关联地址中从某一个地址到另一个地址的交通方式和时间相关问题和答案；
根据客户的手机号码，通过手机号码的编码规范，生成归属地、运营商相关问题和答案；
根据客户的职业，生成相关问题和答案；
第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型；
第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果；
所述第一特征提取步骤包括以下步骤：
利用人脸检测算法从第一视频片段中提取人脸图像；
从人脸图像中提取人脸特征点；
对提取的人脸特征点进行降维处理；
根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征；
所述第一特征提取步骤还包括以下步骤：
统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、次数；
统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数；
根据统计结果生成一个特征集；及
利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。
2.如权利要求1所述的微表情面审辅助方法，其特征在于，所述第一动作特征为动作单元(action unit，AU),所述第二动作特征包括头部朝向及眼球朝向。
3.如权利要求1所述的微表情面审辅助方法，其特征在于，其中，所述应激问题展示给客户的方式，是以面审人员现场提问客户的方式：与计算装置相连接的视频录制设备录制客户在面审现场回答应激问题的视频，或者以面审人员远程提问客户的方式：客户与面审人员通过终端及网络远程连接，面审人员远程提问，并利用终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
4.如权利要求1所述的微表情面审辅助方法，其特征在于，其中，所述应激问题以问卷的方式在终端的显示界面展示给客户，每一个应激问题可以设置预设的答题时间，超过预设时间则展示下一个应激问题，终端或网络连接的视频录制设备录制客户回答应激问题的视频，录制的视频传送并存储于计算装置的存储器中。
5.一种计算装置，其特征在于，所述计算装置包括存储器、处理器，所述存储器中包括微表情面审辅助程序，所述微表情面审辅助程序被所述处理器执行时实现如下步骤：
应急问答步骤：根据客户的基本信息自动生成海量的应激问题和这些应激问题的标准答案，包括：
根据客户的身份证信息，通过身份证的编码规范，生成生日、星座、户籍所在地、户籍所在地邮编、区号、生肖、年龄相关问题和答案；
根据客户的地址信息，通过查询电子地图，生成该地址附近关联地址，以及这些关联地址中从某一个地址到另一个地址的交通方式和时间相关问题和答案；
根据客户的手机号码，通过手机号码的编码规范，生成归属地、运营商相关问题和答案；
根据客户的职业，生成相关问题和答案；
第一视频采集步骤：采集客户回答应激问题的第一视频，以单个应激问题为单位对第一视频进行切割得到每个应激问题对应的第一视频片段；
第一特征提取步骤：提取每个第一视频片段中客户面部包含的第一动作特征及第二动作特征；
模型训练步骤：以每个视频片段中识别的第一动作特征及第二动作特征形成的特征子集，以及面审人员对该视频片段的欺诈标注为样本数据，对支持向量机模型进行训练，得到欺诈评分模型；
第二视频采集步骤：采集客户回答应激问题的第二视频，以单个应激问题为单位对第二视频进行切割得到每个应激问题对应的第二视频片段；
第二特征提取步骤：从每个第二视频片段中提取客户面部包含的第一动作特征及第二动作特征形成的特征子集；
评分步骤：将提取的特征子集输入训练得到的欺诈评分模型，输出客户回答每个应激问题的欺诈评分结果；
所述第一特征提取步骤包括以下步骤：
利用人脸检测算法从第一视频片段中提取人脸图像；
从人脸图像中提取人脸特征点；
对提取的人脸特征点进行降维处理；
根据降维后的人脸特征点识别人脸图像中出现的第一动作特征，获取每个第一动作特征在该第一视频片段中持续的时间，并根据每个第一动作特征中人脸特征点的坐标计算该第一动作特征包含的第二动作特征；
所述第一特征提取步骤还包括以下步骤：
统计每个第一视频片段中第一动作特征及第二动作特征同时出现的时间、次数；
统计每个第一视频片段中第一动作特征、第二动作特征两个动作特征只有一个出现的时间、次数；
根据统计结果生成一个特征集；及
利用特征筛选算法对所述特征集中的特征进行筛选，得到特征子集。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括微表情面审辅助程序，所述微表情面审辅助程序被处理器执行时，实现如权利要求1至4中任一项所述的微表情面审辅助方法的步骤。
CN201710955000.0A 2017-10-13 2017-10-13 微表情面审辅助方法、装置及存储介质 Active CN107704834B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710955000.0A CN107704834B (zh) 2017-10-13 2017-10-13 微表情面审辅助方法、装置及存储介质
PCT/CN2018/077342 WO2019071903A1 (zh) 2017-10-13 2018-02-27 微表情面审辅助方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710955000.0A CN107704834B (zh) 2017-10-13 2017-10-13 微表情面审辅助方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN107704834A CN107704834A (zh) 2018-02-16
CN107704834B true CN107704834B (zh) 2021-03-30

Family

ID=61183768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710955000.0A Active CN107704834B (zh) 2017-10-13 2017-10-13 微表情面审辅助方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN107704834B (zh)
WO (1) WO2019071903A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704834B (zh) * 2017-10-13 2021-03-30 深圳壹账通智能科技有限公司 微表情面审辅助方法、装置及存储介质
CN108510194B (zh) * 2018-03-30 2022-11-29 平安科技（深圳）有限公司 风控模型训练方法、风险识别方法、装置、设备及介质
CN108717663B (zh) * 2018-05-18 2023-06-09 深圳壹账通智能科技有限公司 基于微表情的面签欺诈判断方法、装置、设备及介质
CN108765131B (zh) * 2018-05-18 2023-06-09 深圳壹账通智能科技有限公司 基于微表情的信贷审核方法、装置、终端及可读存储介质
CN108734570A (zh) * 2018-05-22 2018-11-02 深圳壹账通智能科技有限公司 一种风险预测方法、存储介质和服务器
CN109410071A (zh) * 2018-09-17 2019-03-01 平安科技（深圳）有限公司 核保数据处理方法、装置、计算机设备和存储介质
CN109389489B (zh) * 2018-09-25 2023-04-18 平安科技（深圳）有限公司 欺诈行为的识别方法、计算机可读存储介质及终端设备
CN109325851A (zh) * 2018-09-29 2019-02-12 平安科技（深圳）有限公司 欺诈概率的展示方法、***、计算机设备及可读存储介质
CN109543011A (zh) * 2018-10-16 2019-03-29 深圳壹账通智能科技有限公司 问答数据处理方法、装置、计算机设备和存储介质
CN109450639A (zh) * 2018-10-23 2019-03-08 出门问问信息科技有限公司 身份验证的方法、装置、电子设备及计算机可读存储介质
CN109801074A (zh) * 2018-12-13 2019-05-24 平安科技（深圳）有限公司 客户身份核实方法、装置、计算机设备及可读存储介质
CN109872026A (zh) * 2018-12-14 2019-06-11 深圳壹账通智能科技有限公司 评测结果生成方法、装置、设备及计算机可读存储介质
CN109829358A (zh) * 2018-12-14 2019-05-31 深圳壹账通智能科技有限公司 微表情贷款控制方法、装置、计算机设备及存储介质
CN109461073A (zh) * 2018-12-14 2019-03-12 深圳壹账通智能科技有限公司 智能识别的风险管理方法、装置、计算机设备及存储介质
CN109584050A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 基于微表情识别的用户风险程度分析方法及装置
CN109509087A (zh) * 2018-12-15 2019-03-22 深圳壹账通智能科技有限公司 智能化的贷款审核方法、装置、设备及介质
CN109767317A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 基于会员等级评定的贷款审核方法、装置、设备及介质
CN109697665A (zh) * 2018-12-15 2019-04-30 深圳壹账通智能科技有限公司 基于人工智能的贷款审核方法、装置、设备及介质
CN109815803B (zh) * 2018-12-18 2023-04-18 平安科技（深圳）有限公司 面审风险控制方法、装置、计算机设备和存储介质
CN109697666A (zh) * 2018-12-18 2019-04-30 深圳壹账通智能科技有限公司 风险预警方法、装置、计算机设备和存储介质
CN109584051A (zh) * 2018-12-18 2019-04-05 深圳壹账通智能科技有限公司 基于微表情识别的客户逾期风险判断方法及装置
CN109754312A (zh) * 2018-12-18 2019-05-14 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109767321A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 问答过程优化方法、装置、计算机设备和存储介质
CN111353354B (zh) * 2018-12-24 2024-01-23 杭州海康威视数字技术股份有限公司 一种人体应激性信息识别方法、装置及电子设备
CN109543658A (zh) * 2018-12-25 2019-03-29 中国政法大学 智能审讯辅助方法及装置
CN109858411A (zh) * 2019-01-18 2019-06-07 深圳壹账通智能科技有限公司 基于人工智能的案件审判方法、装置及计算机设备
CN109993053B (zh) * 2019-01-23 2023-09-15 平安科技（深圳）有限公司 电子装置、基于微表情识别的访谈辅助方法和存储介质
CN109902656B (zh) * 2019-03-12 2020-10-23 吉林大学 一种面部动作单元的识别方法、***
CN111192141A (zh) * 2020-01-06 2020-05-22 深圳壹账通智能科技有限公司 基于远程光体积描述术的风险评估方法、装置及存储介质
CN111429267A (zh) * 2020-03-26 2020-07-17 深圳壹账通智能科技有限公司 面审风险控制方法、装置、计算机设备及存储介质
CN111639536A (zh) * 2020-04-29 2020-09-08 深圳壹账通智能科技有限公司 面审欺诈辅助识别方法、装置、电子设备及存储介质
CN111783543B (zh) * 2020-06-02 2023-10-27 北京科技大学 一种基于多任务学习的面部活动单元检测方法
CN112001628A (zh) * 2020-08-24 2020-11-27 河北冀联人力资源服务集团有限公司 智能面试视频的推荐方法
CN113033359B (zh) * 2021-03-12 2023-02-24 西北大学 基于自监督的预训练和面瘫分级的建模、分级方法及***
CN113505604B (zh) * 2021-07-16 2023-04-18 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备
CN117422547B (zh) * 2023-12-18 2024-04-02 湖南三湘银行股份有限公司 一种基于智能对话***与微表情识别的审核装置及方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065902A1 (fr) * 2001-02-16 2002-08-29 Ooo 'mp 'elsys' Procede et dispositif d'enregistrement d'une onde de pulsation et systeme biometrique
CN103065122A (zh) * 2012-12-21 2013-04-24 西北工业大学 基于面部动作单元组合特征的人脸表情识别方法
CN103211605A (zh) * 2013-05-14 2013-07-24 重庆大学 一种心理测试***及心理测试方法
CN104408440A (zh) * 2014-12-10 2015-03-11 重庆邮电大学 一种基于两步降维和并行特征融合的人脸表情识别方法
CN104537361A (zh) * 2015-01-15 2015-04-22 上海博康智能信息技术有限公司 基于视频的测谎方法及其测谎***
CN104820495A (zh) * 2015-04-29 2015-08-05 姜振宇 一种异常微表情识别与提醒方法及装置
CN105160318A (zh) * 2015-08-31 2015-12-16 北京旷视科技有限公司 基于面部表情的测谎方法及***
CN205486164U (zh) * 2016-01-21 2016-08-17 合肥君达高科信息技术有限公司 一种新型人脸3d表情动作识别***
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
CN106529453A (zh) * 2016-10-28 2017-03-22 深圳市唯特视科技有限公司 一种基于增强补丁和多标签学习相结合的表情测谎方法
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置
CN107103266A (zh) * 2016-02-23 2017-08-29 中国科学院声学研究所 二维人脸欺诈检测分类器的训练及人脸欺诈检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203016970U (zh) * 2013-01-03 2013-06-26 黑龙江工程学院 一种心理学教学用智能测谎仪
CN107704834B (zh) * 2017-10-13 2021-03-30 深圳壹账通智能科技有限公司 微表情面审辅助方法、装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065902A1 (fr) * 2001-02-16 2002-08-29 Ooo 'mp 'elsys' Procede et dispositif d'enregistrement d'une onde de pulsation et systeme biometrique
CN103065122A (zh) * 2012-12-21 2013-04-24 西北工业大学 基于面部动作单元组合特征的人脸表情识别方法
CN103211605A (zh) * 2013-05-14 2013-07-24 重庆大学 一种心理测试***及心理测试方法
CN104408440A (zh) * 2014-12-10 2015-03-11 重庆邮电大学 一种基于两步降维和并行特征融合的人脸表情识别方法
CN104537361A (zh) * 2015-01-15 2015-04-22 上海博康智能信息技术有限公司 基于视频的测谎方法及其测谎***
CN104820495A (zh) * 2015-04-29 2015-08-05 姜振宇 一种异常微表情识别与提醒方法及装置
CN105160318A (zh) * 2015-08-31 2015-12-16 北京旷视科技有限公司 基于面部表情的测谎方法及***
CN205486164U (zh) * 2016-01-21 2016-08-17 合肥君达高科信息技术有限公司 一种新型人脸3d表情动作识别***
CN107103266A (zh) * 2016-02-23 2017-08-29 中国科学院声学研究所 二维人脸欺诈检测分类器的训练及人脸欺诈检测方法
CN105913046A (zh) * 2016-05-06 2016-08-31 姜振宇 微表情识别装置及方法
CN106529453A (zh) * 2016-10-28 2017-03-22 深圳市唯特视科技有限公司 一种基于增强补丁和多标签学习相结合的表情测谎方法
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于眼动记录与分析技术的测谎研究》;孟春宁 等；;《数据采集与处理》;20161231;第31卷(第4期);第809-814页； *
《微表情在欺骗检测中的应用》;申寻兵 等；;《心理科学进展》;20170228;第25卷(第2期);第211–220页； *

Also Published As

Publication number Publication date
CN107704834A (zh) 2018-02-16
WO2019071903A1 (zh) 2019-04-18

Similar Documents

Publication Publication Date Title
CN107704834B (zh) 微表情面审辅助方法、装置及存储介质
Mason et al. An investigation of biometric authentication in the healthcare environment
US20190005359A1 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
CN112328999B (zh) 双录质检方法、装置、服务器及存储介质
US12008600B2 (en) Sentiments based transaction systems and methods
WO2019085329A1 (zh) 基于循环神经网络的人物性格分析方法、装置及存储介质
CN109492595B (zh) 适用于固定群体的行为预测方法和***
WO2019085331A1 (zh) 欺诈可能性分析方法、装置及存储介质
CN114787883A (zh) 自动情绪识别方法、***、计算设备及计算机可读存储介质
CN108052889A (zh) 情绪识别方法、装置及存储介质
CN111353366A (zh) 一种情绪检测方法及装置、电子设备
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN107656959A (zh) 一种留言方法、装置及留言设备
CN108875514B (zh) 人脸认证方法和***、以及认证设备和非易失性存储介质
CN109785114A (zh) 用于贷款审核的信用数据展示方法、装置、设备及介质
Malatji et al. Acceptance of biometric authentication security technology on mobile devices
Almuzaini et al. Medication identification aid for visually impaired patients
CN109858219A (zh) 用户注册方法、装置、电子设备及计算机可读存储介质
JP6977834B2 (ja) 情報処理装置、遺伝情報作成方法及びプログラム
CN112487980A (zh) 基于微表情治疗方法、装置、***与计算机可读存储介质
KR20220110403A (ko) Ai 기반의 얼굴 익명화 특징 추출을 이용한 자율신경계 피부변화 추적 방법
KR20210068689A (ko) 전자 장치 및 그 제어 방법
CN106462920A (zh) 用于进行评估的方法和***
JP2019149014A (ja) 判定システム、判定方法及びプログラム
Kaushal et al. Mood Detection Using Face Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180606

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen one ledger Intelligent Technology Co., Ltd.

Address before: 200030 Xuhui District, Shanghai Kai Bin Road 166, 9, 10 level.

Applicant before: Shanghai Financial Technologies Ltd

TA01 Transfer of patent application right
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1251065

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant