CN110895685A - 基于深度学习的微笑服务质量评价***及评价方法 - Google Patents

基于深度学习的微笑服务质量评价***及评价方法 Download PDF

Info

Publication number
CN110895685A
CN110895685A CN201911166917.8A CN201911166917A CN110895685A CN 110895685 A CN110895685 A CN 110895685A CN 201911166917 A CN201911166917 A CN 201911166917A CN 110895685 A CN110895685 A CN 110895685A
Authority
CN
China
Prior art keywords
smile
service quality
quality evaluation
mouth corner
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911166917.8A
Other languages
English (en)
Inventor
宋剑飞
张发恩
林国森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Wisdom Shanghai Technology Co Ltd
AInnovation Shanghai Technology Co Ltd
Original Assignee
Innovation Wisdom Shanghai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Wisdom Shanghai Technology Co Ltd filed Critical Innovation Wisdom Shanghai Technology Co Ltd
Priority to CN201911166917.8A priority Critical patent/CN110895685A/zh
Publication of CN110895685A publication Critical patent/CN110895685A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Processing (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本发明公开了一种基于深度学习的微笑服务质量评价***，包括人体图像采集模块，用于采集服务人员的人体图像；人脸识别模块，用于对人体图像进行人脸识别；人脸关键点识别模块，用于对识别到的人脸区域进行进一步的人脸关键点识别；嘴角识别模块，用于在识别到的各人脸关键点中进一步识别出嘴角关键点；表情识别模块，用于对嘴角关键点进行嘴角状态识别，识别得到服务人员的嘴角状态；微笑质量判定模块，用于将识别的嘴角状态与预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果，并将该嘴角状态合规判定结果作为微笑服务质量评价结果输出，本发明解决了人工评价主观性强、评价结果不够科学、客观的技术问题。

Description

基于深度学习的微笑服务质量评价***及评价方法
技术领域
本发明涉及服务质量评价技术领域，尤其涉及一种基于深度学习的微笑服务质量评价***及评价方法。
背景技术
在一些特定的服务场景，比如在收费站、机场、火车站、餐厅等地需要对服务人员的微笑服务质量进行评价。目前，对于服务人员的微笑服务质量的评价方式通常采用人工现场评价、监督的方式进行，人工评价方式主观性较强，无法对服务人员的微笑服务质量进行客观评价。
发明内容
本发明提供了一种基于深度学习的微笑服务质量评价***，以解决上述技术问题。
本发明解决其技术问题采取的技术方案是，提供一种基于深度学习的微笑服务质量评价***，用于对服务人员的微笑服务质量是否合格进行评价，包括
人体图像采集模块，用于采集所述服务人员的人体图像；
人脸识别模块，连接所述人体图像采集模块，用于根据预设的人脸识别模型对所述人体图像进行人脸识别检测，识别得到一人脸区域；
人脸关键点识别模块，连接所述人脸识别模块，用于根据预设的人脸关键点识别模型对所述人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点；
嘴角识别模块，连接所述人脸关键点识别模块，用于根据预设的嘴角识别模型在各所述人脸关键点中识别出嘴角关键点；
表情识别模块，分别连接所述人脸关键点识别模块和所述嘴角识别模块，用于根据预设的表情识别模型对所述嘴角关键点进行嘴角状态识别，识别得到关联于所述服务人员的当前嘴角状态；
微笑质量判定模块，连接所述表情识别模块，用于将识别的所述嘴角状态与一预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果，并将所述嘴角状态合规判定结果作为微笑服务质量评价结果输出。
进一步地，所述微笑服务质量评价***还包括：
头部姿态识别模块，分别连接所述人脸识别模块和所述微笑质量判定模块，用于根据预设的头部姿态识别模型在所述人脸区域中识别出所述服务人员的头部姿态，得到一头部姿态识别结果，
所述微笑质量判定模块综合所述嘴角状态合规判定结果和所述头部姿态识别结果，判定所述服务人员的微笑服务质量是否达标，并输出所述微笑服务质量评价结果。
进一步地，所述头部姿态为所述服务人员的头部相对于摄像采集设备的设置位置的欧拉角。
进一步地，所述微笑服务质量评价***还包括：
语音采集模块，用于采集所述服务人员的语音信息；
语音识别模块，连接所述语音采集模块，用于识别所述语音信息中的语音内容；
一用语库，于所述用语库中预存有多个用语；
语音内容合规判定模块，分别连接所述语音识别模块和所述微笑质量判定模块，并连接所述用语库，用于将识别到的所述语音内容与所述用语库中的各所述用语进行用语匹配，以判断所述语音内容中是否包含有不合规用语，并生成一语音内容合规判定结果并存储，
所述微笑质量判定模块综合所述嘴角状态合规判定结果和所述语音内容合规判定结果，判定所述服务人员的微笑服务质量是否合规，并最终形成所述微笑服务质量评价结果并输出。
进一步地，所述微笑服务质量评价***还包括：
肢体关键点识别模块，连接所述人体图像采集模块，用于根据预设的肢体关键点识别模型对连续采集的多张所述人体图像连续进行肢体关键点识别，识别得到针对每一张所述人体图像的肢体关键点识别结果；
肢体动作识别模块，连接所述肢体关键点识别模块，用于根据各所述肢体关键点识别结果，对各所述肢体关键点在拍摄人体图像期间的对应的肢体动作进行识别检测；
肢体动作合规判定模块，分别连接所述肢体动作识别模块和所述微笑质量判定模块，用于判定各所述肢体动作是否合规，并生成一肢体动作合规判定结果并存储，
所述微笑质量判定模块综合所述嘴角状态合规判定结果和所述肢体动作合规判定结果，判定所述服务人员的微笑服务质量是否合规，并最终形成所述微笑质量判定结果并输出。
本发明还提供了一种微笑服务质量评价方法，通过应用所述微笑服务质量评价***实现，具体包括如下步骤：
步骤S1，所述微笑服务质量评价***采集所述服务人员的人体图像；
步骤S2，所述微笑服务质量评价***对所述人体图像进行人脸识别检测，识别得到一人脸区域；
步骤S3，所述微笑服务质量评价***对所述人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点；
步骤S4，所述微笑服务质量评价***在各所述人脸关键点中识别出嘴角关键点；
步骤S5，所述微笑服务质量评价***对所述嘴角关键点进行嘴角状态识别，识别得到关联于所述服务人员的当前嘴角状态；
步骤S6，所述微笑服务质量评价***将识别的所述嘴角状态与一预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果，并将所述嘴角状态合规判定结果作为微笑服务质量评价结果输出。
本发明还提供另外一种微笑服务质量评价方法，通过应用所述微笑服务质量评价***实现，具体包括如下步骤：
步骤L1，所述微笑服务质量评价***采集所述服务人员的人体图像和所述服务人员的语音信息；
步骤L2，所述微笑服务质量评价***对所述人体图像进行人脸识别检测，识别得到一人脸区域，
并对所述语音信息进行语音内容识别，输出一语音内容识别结果；
步骤L3，所述微笑服务质量评价***对所述人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点，
并对所述语音内容进行内容合规性评价，生成一语音内容合规判定结果并存储；
步骤L4，所述微笑服务质量评价***在各所述人脸关键点中识别出嘴角关键点；
步骤L5，所述微笑服务质量评价***对所述嘴角关键点进行嘴角状态识别，识别得到关联于所述服务人员的当前嘴角状态；
步骤L6，所述微笑服务质量评价***将识别的所述嘴角状态与一预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果；
步骤L7，所述微笑服务质量评价***综合所述步骤L3中得到的所述语音内容合规判定结果和所述步骤L6中得到所述嘴角状态合规判定结果，判定所述服务人员的微笑服务质量是否合规，最终形成所述微笑服务质量评价结果并输出。
本发明另外还提供了一种微笑服务质量评价方法，通过应用所述微笑服务质量评价***实现，具体包括如下步骤：
步骤M1，所述微笑服务质量评价***连续采集多张关联于所述服务人员的人体图像；
步骤M2，所述微笑服务质量评价***对各所述人体图像进行人脸识别检测，识别得到每一张所述人体图像上的人脸区域，
并对各所述人体图像连续进行肢体关键点识别，识别得到针对每一张所述人体图像的肢体关键点识别结果；
步骤M3，所述微笑服务质量评价***对各所述人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点，
并根据各所述肢体关键点识别结果，对各所述肢体关键点在拍摄所述人体图像期间的对应的肢体动作进行识别检测；
步骤M4，所述微笑服务质量评价***在各所述人脸关键点中识别出对应的嘴角关键点，并判定各所述肢体动作是否合规，然后生成一肢体动作合规判定结果并存储；
步骤M5，所述微笑服务质量评价***对各所述嘴角关键点进行嘴角状态识别，识别得到在拍摄所述人体图像期间的关联于所述服务人员的嘴角状态；
步骤M6，所述微笑服务质量评价***将识别到的各所述嘴角状态与一预设的标准嘴角状态进行图像匹配，得到在拍摄所述人体图像期间的针对所述服务人员的嘴角状态合规判定结果；
步骤M7，所述微笑服务质量评价***综合所述步骤M4中得到的所述肢体动作合规判定结果和所述步骤M6中得到所述嘴角状态合规判定结果，判定所述服务人员在拍摄所述人体图像期间的微笑服务质量是否合规，并最终形成所述微笑服务质量评价结果并输出。
本发明通过图像采集设备自动采集服务人员的服务现场，然后通过机器识别技术，对服务人员的微笑状态、现场语音内容或肢体状态进行识别检测，最终通过预定的评价规则对服务人员的微笑状态、语音内容和肢体状态是否合格进行评价，整个评价过程完全自动化，解决了人工评价主观性强、评价结果不够科学、客观的技术问题。
附图说明
图1是实施例一提供的基于深度学习的微笑服务质量评价***的结构示意图；
图2是实施例二提供的基于深度学习的微笑服务质量评价***的结构示意图；
图3是实施例三提供的基于深度学习的微笑服务质量评价***的结构示意图；
图4是应用实施例一提供的基于深度学习的微笑服务质量评价***评价服务人员的微笑服务质量的方法步骤图；
图5是应用实施例二提供的基于深度学习的微笑服务质量评价***评价服务人员的微笑服务质量的方法步骤图；
图6是应用实施例三提供的基于深度学习的微笑服务质量评价***评价服务人员的微笑服务质量的方法步骤图；
图7是本发明提供的基于深度学习的微笑服务质量评价***对服务人员的微笑服务质量进行评价的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
实施例一提供的一种基于深度学习的微笑服务质量评价***，用于对服务人员的微笑服务质量是否合格进行评价，请参照图1，实施例一提供的微笑服务质量评价***包括：
人体图像采集模块1，用于采集服务人员的人体图像；
人脸识别模块2，连接人体图像采集模块1，用于根据预设的人脸识别模型对人体图像进行人脸识别检测，识别得到一人脸区域；
人脸关键点识别模块3，连接人脸识别模块2，用于根据预设的人脸关键点识别模型对人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点；
嘴角识别模块4，连接人脸关键点识别模块3，用于根据预设的嘴角识别模型在各人脸关键点中识别出嘴角关键点；
表情识别模块5，分别连接人脸关键点识别模块3和嘴角识别模块4，用于根据预设的表情识别模型对嘴角关键点进行嘴角状态识别，识别得到关联于服务人员的当前嘴角状态；
微笑质量判定模块6，连接表情识别模块5，用于将识别的嘴角状态与一预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果，并将嘴角状态合规判定结果作为微笑服务质量评价结果输出。
上述技术方案中，人脸识别模型、人脸关键点识别模型、嘴角识别模型和表情识别模型均为预先训练好的识别模型。各识别模型的训练过程是已知的，而且各识别模型的训练过程也并非本发明要求权利保护的范围，所以在此不作阐述。
上述的人脸关键点包括常见的64个人脸关键点，比如嘴角、眼睛、鼻子、眉毛、额头等人脸关键点，在本实施例中，微笑服务质量评价***通过识别嘴角关键点的嘴角状态来判断服务人员的微笑服务质量是否达标。具体来说，人在微笑时，嘴角处于抿嘴状态，而且通常会露出几颗牙齿，***可以通过识别抿嘴幅度以及露齿数量来判断微笑服务质量是否达标。
所以，***通过将识别到的嘴角状态与一符合微笑服务质量的标准嘴角状态图片进行图片匹配，若匹配到识别的嘴角状态的抿嘴幅度以及露齿数量与标准嘴角状态基本一致，则判定该服务人员的微笑服务质量达标。
为了提高对服务人员微笑服务质量是否达标的准确度，优选地，请继续参照图1，微笑服务质量评价***中还包括：
头部姿态识别模块7，分别连接人脸识别模块2和微笑质量判定模块6，用于根据预设的头部姿态识别模型在人脸区域中识别出服务人员的头部姿态，得到一头部姿态识别结果，
微笑质量判定模块6综合嘴角状态合规判定结果和头部姿态识别结果，判定服务人员的微笑服务质量是否达标，并最终输出微笑服务质量评价结果。
上述技术方案中，***综合嘴角状态合规判定结果和头部姿态识别结果的过程简述如下：
在一些特定的服务场景，比如在收费站或者机场，服务人员在微笑时，头部会有所倾斜，所以，***将头部姿态作为微笑服务质量评价的其中一个因素有利于提高微笑服务质量评价的准确性。
头部姿态的计算方式优选为计算服务人员的头部相对于设想采集设备的设置位置的欧拉角。
头部姿态识别模型也是预先训练好的，头部姿态识别模型的训练方法为现有技术，其训练过程在此不作阐述。
本发明提供了一种应用实施例一提供的微笑服务质量评价***实现对服务人员的微笑服务质量进行评价的方法，请参照图4和图7，具体包括如下步骤：
步骤S1，微笑服务质量评价***采集服务人员的人体图像；
步骤S2，微笑服务质量评价***对人体图像进行人脸识别检测，识别得到一人脸区域；
步骤S3，微笑服务质量评价***对人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点；
步骤S4，微笑服务质量评价***在各人脸关键点中识别出嘴角关键点；
步骤S5，微笑服务质量评价***对嘴角关键点进行嘴角状态识别，识别得到关联于服务人员的当前嘴角状态；
步骤S6，微笑服务质量评价***将识别到的嘴角状态与一预设的标准嘴角状态进行图片匹配，得到一嘴角状态合规判定结果，并将嘴角状态合规判定结果作为微笑服务质量评价结果并输出。
实施例二
实施例二与实施例一的区别在于，请参照图2，实施例二提供的微笑服务质量评价***还包括：
语音采集模块8，用于采集服务人员的语音信息；
语音识别模块9，连接语音采集模块8，用于识别语音信息中的语音内容；
一用语库10，于用语库中预存有多个用语；
语音内容合规判定模块11，分别连接语音识别模块9和微笑质量判定模块6，并连接用语库10，用于将识别到的语音内容与用语库中的各用语进行用语匹配，以判断语音内容中是否包含有不合规用语，并生成一语音内容合规判定结果并存储；
微笑质量判定模块6综合嘴角状态合规判定结果和语音内容合规判定结果，判定服务人员的微笑服务质量是否合规，并最终形成微笑服务质量评价结果并输出。
实施例二相比于实施例一而言，由于其判定服务人员微笑服务质量是否合规另外考虑了服务人员在微笑服务时的说话内容，所述实施例二提供的微笑服务质量评价***对服务人员的微笑服务质量的判定更为科学、合理、准确。当服务人员处于微笑状态，但说话内容不符合要求，则***将判定该服务人员的微笑服务不合格。
请参照图5和图7，本发明还提供了一种应用实施例二提供的微笑服务质量评价***实现对服务人员的微笑服务质量评价的方法，该评价方法具体步骤如下：
步骤L1，微笑服务质量评价***采集服务人员的人体图像和服务人员的语音信息；
步骤L2，微笑服务质量评价***对人体图像进行人脸识别检测，识别得到一人脸区域，并对所述语音信息进行语音内容识别，输出一语音内容识别结果；
步骤L3，微笑服务质量评价***对人脸区域进行进一步的人脸关键点检测，识别得到多个人脸关键点，
并对语音内容进行内容合规性评价，生成一语音内容合规判定结果并存储；
步骤L4，微笑服务质量评价***在各人脸关键点中识别出嘴角关键点；
步骤L5，微笑服务质量评价***对嘴角关键点进行嘴角状态识别，识别得到关联于服务人员的当前嘴角状态；
步骤L6，微笑服务质量评价***将识别的嘴角状态与一预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果；
步骤L7，微笑服务质量评价***综合步骤L3中得到的语音内容合规判定结果和嘴角状态合规判定结果，判定服务人员的微笑服务质量是否合规，最终形成微笑服务质量评价结果并输出。
上述方法步骤中，当语音内容合规判定结果为合格，并且嘴角状态合规判定结果同样判定为合格，则***最终确认该服务人员的微笑服务质量合格，否则为不合格。
实施例三
实施三与实施例二的区别在于，请参照图3，实施例三提供的微笑服务质量评价***还包括：
肢体关键点识别模块12，连接人体图像采集模块1，用于根据预设的肢体关键点识别模型对连续采集的多张人体图像连续进行肢体关键点识别，识别得到针对每一张人体图像的肢体关键点识别结果；
肢体动作识别模块13，连接肢体关键点识别模块12，用于根据各肢体关键点识别结果，对各肢体关键点在拍摄人体图像期间的对应的肢体动作进行识别检测；
肢体动作合规判定模块14，分别连接肢体动作识别模块13和微笑质量判定模块6，用于判定各肢体动作是否合规，并生成一肢体动作合规判定结果并存储，
微笑质量判定模块6综合嘴角状态合规判定结果和肢体动作合规判定结果，判定服务人员的微笑服务质量是否合规，并最终形成微笑质量判定结果并输出。
由于肢体动作比如收费站服务人员的弯腰动作、伸手递交收费卡等动作可以有效评价服务人员的服务质量，所以***将肢体动作纳入到对服务人员的微笑服务质量评价中，有利于提高对微笑服务质量评价的科学性、合理性。
上述技术方案中，肢体关键点识别模型是预先训练好的，而且训练肢体关键点识别模型为现有的训练方法，其详细的训练过程在此不作阐述。另外***对肢体动作的识别检测也为现有技术，在此不作阐述。
另外需要说明的是，***判定肢体动作是否合规同样可以通过将识别到的肢体动作与标准的肢体动作进行图像匹配的方式，来确定肢体动作是否合规。
本发明还提供了一种应用实施例三提供的微笑服务质量评价***实现对服务人员微笑服务质量评价的方法，请参照图6和图7，该评价方法具体包括如下步骤：
步骤M1，微笑服务质量评价***连续采集多张关联于服务人员的人体图像；
步骤M2，微笑服务质量评价***对各人体图像进行人脸识别检测，识别得到每一张人体图像上的人脸区域，
并对各人体图像连续进行肢体关键点识别，识别得到针对每一张人体图像的肢体关键点识别结果；
步骤M3，微笑服务质量评价***对各人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点，
并根据各肢体关键点识别结果，对各肢体关键点在拍摄各人体图像期间的对应的肢体动作进行识别检测；
步骤M4，微笑服务质量评价***在各人脸关键点中识别出对应的嘴角关键点，
并判定各肢体动作是否合规，然后生成一肢体动作合规判定结果并存储；
步骤M5，微笑服务质量评价***对各嘴角关键点进行嘴角状态识别，识别得到在拍摄人体图像期间的关联于服务人员的嘴角状态；
步骤M6，微笑服务质量评价***将识别到的各嘴角状态与一预设的标准嘴角状态进行图像匹配，得到在拍摄人体图像期间的针对服务人员的嘴角状态合规判定结果；
步骤M7，微笑服务质量评价***综合步骤M4中得到的肢体动作合规判定结果和嘴角状态合规判定结果，判定服务人员在拍摄人体图像期间的微笑服务质量是否合规，并最终形成微笑服务质量评价结果并输出。
上述步骤中，当***判定在拍摄人体图像期间内，服务人员的肢体动作合格，并且嘴角状态也合格，则判定该服务人员的微笑服务质量合格，否则为不合格。
本发明另外还综合在拍摄人体图像期间内的服务人员的嘴角状态合规判定结果、肢体动作合规判定结果和语音内容合规判定结果，判断服务人员的微笑服务质量是否合格。当服务人员的嘴角状态合格、并且肢体动作合规，且语音内容合规，则判定该服务人员的微笑服务质量合格，否则为不合格。
本发明提供的微笑服务质量评价***综合服务人员的嘴角状态合规判定结果、肢体动作合规判定结果和语音内容合规判定结果，形成对服务人员的微笑服务质量评价结果的具体方法步骤在此不再赘述。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种基于深度学习的微笑服务质量评价***，用于对服务人员的微笑服务质量是否合格进行评价，其特征在于，包括：
人体图像采集模块，用于采集所述服务人员的人体图像；
人脸识别模块，连接所述人体图像采集模块，用于根据预设的人脸识别模型对所述人体图像进行人脸识别检测，识别得到一人脸区域；
人脸关键点识别模块，连接所述人脸识别模块，用于根据预设的人脸关键点识别模型对所述人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点；
嘴角识别模块，连接所述人脸关键点识别模块，用于根据预设的嘴角识别模型在各所述人脸关键点中识别出嘴角关键点；
表情识别模块，分别连接所述人脸关键点识别模块和所述嘴角识别模块，用于根据预设的表情识别模型对所述嘴角关键点进行嘴角状态识别，识别得到关联于所述服务人员的当前嘴角状态；
微笑质量判定模块，连接所述表情识别模块，用于将识别的所述嘴角状态与一预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果，并将所述嘴角状态合规判定结果作为微笑服务质量评价结果输出。
2.如权利要求1所述的微笑服务质量评价***，其特征在于，还包括：
头部姿态识别模块，分别连接所述人脸识别模块和所述微笑质量判定模块，用于根据预设的头部姿态识别模型在所述人脸区域中识别出所述服务人员的头部姿态，得到一头部姿态识别结果；
所述微笑质量判定模块综合所述嘴角状态合规判定结果和所述头部姿态识别结果，判定所述服务人员的微笑服务质量是否达标，并输出所述微笑服务质量评价结果。
3.如权利要求2所述的微笑服务质量评价***，其特征在于，所述头部姿态为所述服务人员的头部相对于摄像采集设备的设置位置的欧拉角。
4.如权利要求1所述的微笑服务质量评价***，其特征在于，还包括：
语音采集模块，用于采集所述服务人员的语音信息；
语音识别模块，连接所述语音采集模块，用于识别所述语音信息中的语音内容；
一用语库，于所述用语库中预存有多个用语；
语音内容合规判定模块，分别连接所述语音识别模块和所述微笑质量判定模块，并连接所述用语库，用于将识别到的所述语音内容与所述用语库中的各所述用语进行用语匹配，以判断所述语音内容中是否包含有不合规用语，并生成一语音内容合规判定结果并存储；
所述微笑质量判定模块综合所述嘴角状态合规判定结果和所述语音内容合规判定结果，判定所述服务人员的微笑服务质量是否合规，并最终形成所述微笑服务质量评价结果并输出。
5.如权利要求1所述的微笑服务质量评价***，其特征在于，还包括：
肢体关键点识别模块，连接所述人体图像采集模块，用于根据预设的肢体关键点识别模型对连续采集的多张所述人体图像连续进行肢体关键点识别，识别得到针对每一张所述人体图像的肢体关键点识别结果；
肢体动作识别模块，连接所述肢体关键点识别模块，用于根据各所述肢体关键点识别结果，对各所述肢体关键点在拍摄人体图像期间的对应的肢体动作进行识别检测；
肢体动作合规判定模块，分别连接所述肢体动作识别模块和所述微笑质量判定模块，用于判定各所述肢体动作是否合规，并生成一肢体动作合规判定结果并存储；
所述微笑质量判定模块综合所述嘴角状态合规判定结果和所述肢体动作合规判定结果，判定所述服务人员的微笑服务质量是否合规，并最终形成所述微笑质量判定结果并输出。
6.一种微笑服务质量评价方法，通过应用如权1-5任意一项所述的微笑服务质量评价***实现，其特征在于，具体包括如下步骤：
步骤S1，所述微笑服务质量评价***采集所述服务人员的人体图像；
步骤S2，所述微笑服务质量评价***对所述人体图像进行人脸识别检测，识别得到一人脸区域；
步骤S3，所述微笑服务质量评价***对所述人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点；
步骤S4，所述微笑服务质量评价***在各所述人脸关键点中识别出嘴角关键点；
步骤S5，所述微笑服务质量评价***对所述嘴角关键点进行嘴角状态识别，识别得到关联于所述服务人员的当前嘴角状态；
步骤S6，所述微笑服务质量评价***将识别的所述嘴角状态与一预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果，并将所述嘴角状态合规判定结果作为微笑服务质量评价结果输出。
7.一种微笑服务质量评价方法，通过应用如权1-5任意一项所述的微笑服务质量评价***实现，其特征在于，具体包括如下步骤：
步骤L1，所述微笑服务质量评价***采集所述服务人员的人体图像和所述服务人员的语音信息；
步骤L2，所述微笑服务质量评价***对所述人体图像进行人脸识别检测，识别得到一人脸区域，并对所述语音信息进行语音内容识别，输出一语音内容识别结果；
步骤L3，所述微笑服务质量评价***对所述人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点，并对所述语音内容进行内容合规性评价，生成一语音内容合规判定结果并存储；
步骤L4，所述微笑服务质量评价***在各所述人脸关键点中识别出嘴角关键点；
步骤L5，所述微笑服务质量评价***对所述嘴角关键点进行嘴角状态识别，识别得到关联于所述服务人员的当前嘴角状态；
步骤L6，所述微笑服务质量评价***将识别的所述嘴角状态与一预设的标准嘴角状态进行图像匹配，得到一嘴角状态合规判定结果；
步骤L7，所述微笑服务质量评价***综合所述步骤L3中得到的所述语音内容合规判定结果和所述步骤L6中得到所述嘴角状态合规判定结果，判定所述服务人员的微笑服务质量是否合规，最终形成所述微笑服务质量评价结果并输出。
8.一种微笑服务质量评价方法，通过应用如权1-5任意一项所述的微笑服务质量评价***实现，其特征在于，具体包括如下步骤：
步骤M1，所述微笑服务质量评价***连续采集多张关联于所述服务人员的人体图像；
步骤M2，所述微笑服务质量评价***对各所述人体图像进行人脸识别检测，识别得到每一张所述人体图像上的人脸区域，并对各所述人体图像连续进行肢体关键点识别，识别得到针对每一张所述人体图像的肢体关键点识别结果；
步骤M3，所述微笑服务质量评价***对各所述人脸区域进行进一步的人脸关键点识别，识别得到多个人脸关键点，并根据各所述肢体关键点识别结果，对各所述肢体关键点在拍摄所述人体图像期间的对应的肢体动作进行识别检测；
步骤M4，所述微笑服务质量评价***在各所述人脸关键点中识别出对应的嘴角关键点，
并判定各所述肢体动作是否合规，然后生成一肢体动作合规判定结果并存储；
步骤M5，所述微笑服务质量评价***对各所述嘴角关键点进行嘴角状态识别，识别得到在拍摄所述人体图像期间的关联于所述服务人员的嘴角状态；
步骤M6，所述微笑服务质量评价***将识别到的各所述嘴角状态与一预设的标准嘴角状态进行图像匹配，得到在拍摄所述人体图像期间的针对所述服务人员的嘴角状态合规判定结果；
步骤M7，所述微笑服务质量评价***综合所述步骤M4中得到的所述肢体动作合规判定结果和所述步骤M6中得到所述嘴角状态合规判定结果，判定所述服务人员在拍摄所述人体图像期间的微笑服务质量是否合规，并最终形成所述微笑服务质量评价结果并输出。
CN201911166917.8A 2019-11-25 2019-11-25 基于深度学习的微笑服务质量评价***及评价方法 Withdrawn CN110895685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911166917.8A CN110895685A (zh) 2019-11-25 2019-11-25 基于深度学习的微笑服务质量评价***及评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911166917.8A CN110895685A (zh) 2019-11-25 2019-11-25 基于深度学习的微笑服务质量评价***及评价方法

Publications (1)

Publication Number Publication Date
CN110895685A true CN110895685A (zh) 2020-03-20

Family

ID=69787959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911166917.8A Withdrawn CN110895685A (zh) 2019-11-25 2019-11-25 基于深度学习的微笑服务质量评价***及评价方法

Country Status (1)

Country Link
CN (1) CN110895685A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348390A (zh) * 2020-11-17 2021-02-09 广州顶新时代电子***科技有限公司 一种基于服务质量的智能考核***
CN113642503A (zh) * 2021-08-23 2021-11-12 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及***
CN115063720A (zh) * 2022-06-16 2022-09-16 平安银行股份有限公司 一种图像处理方法、装置、计算机设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007499A (zh) * 2008-01-29 2011-04-06 泰塞拉技术爱尔兰公司 检测数字图像中的脸部表情
CN103098078A (zh) * 2010-09-13 2013-05-08 惠普发展公司，有限责任合伙企业 笑容检测***及方法
CN105608447A (zh) * 2016-02-17 2016-05-25 陕西师范大学 对人体面部微笑表情深度卷积神经网络的检测方法
CN106096831A (zh) * 2016-06-08 2016-11-09 山西万立科技有限公司 高速公路文明服务综合评价***
US20180039821A1 (en) * 2016-08-03 2018-02-08 Microsoft Technology Licensing, Llc Combining images aligned to reference frame
CN107820018A (zh) * 2017-11-30 2018-03-20 广东欧珀移动通信有限公司 用户拍照方法、装置及设备
CN108229855A (zh) * 2018-02-06 2018-06-29 上海小蚁科技有限公司 服务质量监测方法及装置、计算机可读存储介质、终端
CN108694372A (zh) * 2018-03-23 2018-10-23 广东亿迅科技有限公司 一种视频直播客服态度评价方法及装置
CN108830633A (zh) * 2018-04-26 2018-11-16 华慧视科技（天津）有限公司 一种基于笑脸检测的微笑服务评价方法
CN109033377A (zh) * 2018-07-27 2018-12-18 重庆柚瓣家科技有限公司 一种辅助社交的聊天***及方法
CN109472198A (zh) * 2018-09-28 2019-03-15 武汉工程大学 一种姿态鲁棒的视频笑脸识别方法
CN109858379A (zh) * 2019-01-03 2019-06-07 深圳壹账通智能科技有限公司 笑容真诚度检测方法、装置、存储介质和电子设备
CN109871751A (zh) * 2019-01-04 2019-06-11 平安科技（深圳）有限公司 基于人脸表情识别的服务态度评估方法、装置及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007499A (zh) * 2008-01-29 2011-04-06 泰塞拉技术爱尔兰公司 检测数字图像中的脸部表情
CN103098078A (zh) * 2010-09-13 2013-05-08 惠普发展公司，有限责任合伙企业 笑容检测***及方法
CN105608447A (zh) * 2016-02-17 2016-05-25 陕西师范大学 对人体面部微笑表情深度卷积神经网络的检测方法
CN106096831A (zh) * 2016-06-08 2016-11-09 山西万立科技有限公司 高速公路文明服务综合评价***
US20180039821A1 (en) * 2016-08-03 2018-02-08 Microsoft Technology Licensing, Llc Combining images aligned to reference frame
CN107820018A (zh) * 2017-11-30 2018-03-20 广东欧珀移动通信有限公司 用户拍照方法、装置及设备
CN108229855A (zh) * 2018-02-06 2018-06-29 上海小蚁科技有限公司 服务质量监测方法及装置、计算机可读存储介质、终端
CN108694372A (zh) * 2018-03-23 2018-10-23 广东亿迅科技有限公司 一种视频直播客服态度评价方法及装置
CN108830633A (zh) * 2018-04-26 2018-11-16 华慧视科技（天津）有限公司 一种基于笑脸检测的微笑服务评价方法
CN109033377A (zh) * 2018-07-27 2018-12-18 重庆柚瓣家科技有限公司 一种辅助社交的聊天***及方法
CN109472198A (zh) * 2018-09-28 2019-03-15 武汉工程大学 一种姿态鲁棒的视频笑脸识别方法
CN109858379A (zh) * 2019-01-03 2019-06-07 深圳壹账通智能科技有限公司 笑容真诚度检测方法、装置、存储介质和电子设备
CN109871751A (zh) * 2019-01-04 2019-06-11 平安科技（深圳）有限公司 基于人脸表情识别的服务态度评估方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348390A (zh) * 2020-11-17 2021-02-09 广州顶新时代电子***科技有限公司 一种基于服务质量的智能考核***
CN113642503A (zh) * 2021-08-23 2021-11-12 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及***
CN113642503B (zh) * 2021-08-23 2024-03-15 国网山东省电力公司金乡县供电公司 基于图像和语音识别的窗口服务评分方法及***
CN115063720A (zh) * 2022-06-16 2022-09-16 平安银行股份有限公司 一种图像处理方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111563487B (zh) 基于姿态识别模型的舞蹈评分方法及相关设备
CN110895685A (zh) 基于深度学习的微笑服务质量评价***及评价方法
US10068128B2 (en) Face key point positioning method and terminal
CN104361276B (zh) 一种多模态生物特征身份认证方法及***
CN105809144B (zh) 一种采用动作切分的手势识别***和方法
Aran et al. Signtutor: An interactive system for sign language tutoring
EP3716159A1 (en) Multi-modal emotion recognition device, method and storage medium using artificial intelligence
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
TWI621999B (zh) 一種人臉檢測方法
CN110348378A (zh) 一种认证方法、装置和存储介质
CN110085229A (zh) 智能虚拟外教信息交互方法及装置
WO2020073403A1 (zh) 静默语音输入辨识方法、计算装置和计算机可读介质
CN111291613A (zh) 一种课堂表现评价方法及***
Kalbande et al. Lip reading using neural networks
CN112651714A (zh) 一种基于多模态信息的面试测评方法和***
CN112286364A (zh) 人机交互方法和装置
CN112149553A (zh) 一种***行为识别方法
KR101747712B1 (ko) 스마트폰을 통한 면접 자동인식 실시간관리방법
CN109345427B (zh) 一种结合人脸识别和行人识别技术的教室视频点到方法
CN112149517A (zh) 一种人脸考勤方法、***、计算机设备及存储介质
CN109087694B (zh) 一种帮助学生锻炼身体的方法及家教设备
CN108960191B (zh) 一种面向机器人的多模态融合情感计算方法及***
CN108197593B (zh) 基于三点定位方法的多尺寸人脸表情识别方法及装置
CN113837112A (zh) 一种视频数据处理方法及电子设备
CN113255535A (zh) 一种基于微表情分析的抑郁症识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200320