CN112132095A - 危险状态的识别方法、装置、电子设备及存储介质 - Google Patents

危险状态的识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112132095A
CN112132095A CN202011062013.3A CN202011062013A CN112132095A CN 112132095 A CN112132095 A CN 112132095A CN 202011062013 A CN202011062013 A CN 202011062013A CN 112132095 A CN112132095 A CN 112132095A
Authority
CN
China
Prior art keywords
target user
information
lip
preset
dangerous state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011062013.3A
Other languages
English (en)
Other versions
CN112132095B (zh
Inventor
谭皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011062013.3A priority Critical patent/CN112132095B/zh
Publication of CN112132095A publication Critical patent/CN112132095A/zh
Application granted granted Critical
Publication of CN112132095B publication Critical patent/CN112132095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Psychiatry (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Social Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种危险状态的识别方法、装置、电子设备及存储介质，涉及安全技术领域。获取目标用户当前的人脸图像，基于所述人脸图像，识别所述目标用户的唇部特征，基于所述唇部特征进行唇语识别，获得识别结果，将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置，基于所述匹配结果，确定所述目标用户是否处于危险状态。如此，可以实现基于用户的唇部动作确定用户是否处于危险状态。

Description

危险状态的识别方法、装置、电子设备及存储介质
技术领域
本申请涉及安全技术领域，更具体地，涉及一种危险状态的识别方法、装置、电子设备及存储介质。
背景技术
随着生活水平和科技水平的快速进步，人们对于安全防护的需求越来越高，越来越多的安全防护技术也出现在人们的生活中。相关技术中，用户可以通过主动上报危险状态，进而获取帮助，但是，这样的方式的便利性和安全性有待提升。
发明内容
有鉴于此，本申请提出了一种危险状态的识别方法、装置、电子设备及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种危险状态的识别方法，所述方法包括：获取目标用户当前的人脸图像；基于所述人脸图像，识别所述目标用户的唇部特征；基于所述唇部特征进行唇语识别，获得识别结果；将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置；基于所述匹配结果，确定所述目标用户是否处于危险状态。
第二方面，本申请实施例提供了一种危险状态的识别装置，所述装置包括：图像获取模块、唇部识别模块、唇语识别模块、唇语匹配模块及状态确定模块。图像获取模块，用于获取目标用户当前的人脸图像；唇部识别模块，用于基于所述人脸图像，识别所述目标用户的唇部特征；唇语识别模块，用于基于所述唇部特征进行唇语识别，获得识别结果；唇语匹配模块，用于将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置；状态确定模块，用于基于所述匹配结果，确定所述目标用户是否处于危险状态。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行第一方面提供的危险状态的识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行第一方面提供的危险状态的识别方法。
相对于现有技术，本申请提供的方案中，通过获取目标用户当前的人脸图像，基于所述人脸图像，识别所述目标用户的唇部特征，基于所述唇部特征进行唇语识别，获得识别结果，将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置，基于所述匹配结果，确定所述目标用户是否处于危险状态。如此，可以通过对目标用户进行唇语识别，根据唇语识别结果判断用户是否处于为危险状态，从而实现用户可以通过唇部动作来触发识别出危险状态，方便用户对于其所处危险状态的上报，并且由于唇部动作的隐秘性，也能使得安全性得到提升。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个实施例提供的危险状态的识别方法的流程示意图。
图2示出了本申请另一个实施例提供的危险状态的识别方法的流程示意图。
图3示出了图2所示步骤S240在一种实施方式中的子步骤流程示意图。
图4示出了本申请又一个实施例提供的危险状态的识别方法的流程示意图。
图5示出了图4所示步骤S460在一种实施方式中的子步骤流程示意图。
图6是根据本申请一实施例提供的一种危险状态的识别装置的框图。
图7是本申请实施例的用于执行根据本申请实施例的危险状态的识别方法的电子设备的框图。
图8是本申请实施例的用于保存或者携带实现根据本申请实施例的路径生成方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
实际应用中，网络交流日益发达，人们对网络的依赖和使用日益增多，外卖、顺风车及网络交友等业务也铺天盖地而来，陌生人之间的交集也越来越多，但是，在与陌生人产生交集后，也许会使自己暴露在危险之中。在日常新闻中，我们经常听到搭乘顺风车、点外卖或网友见面遇到被伤害的新闻，遇到危险时，可以选择打电话报警或者通过社交软件发送求救信息给家人或朋友方法。
发明人经过长期的研究发现，以上遇到危险情况时的处理方式中，需要用户通过语音输入或者手动操作来实现危险状态的上报，十分的不方便。并且危险的到来往往是有预谋的，在犯罪分子有着充分准备和失去理智的情况下，贸然报警或者求救或许会激怒犯罪分子，让当事人处在更危险的状态。
针对上述问题，发明人提出一种危险状态的识别方法、装置及电子设备，可以通过对目标用户进行唇语识别，根据识别结果判断用户是否处于危险状态，从而根据用户所处的状态判断时是否需要发送报警信息。下面对该内容进行详细描述。
请参照图1，图1为本申请一个实施例提供的一种危险状态的识别方法的流程示意图。下面将结合图1对本申请实施例提供的危险状态的识别方法进行详细阐述。该危险状态的识别方法可以包括以下步骤：
步骤S110：获取目标用户当前的人脸图像。
在本申请实施例中，可以通过识别目标用户的唇部动作，以识别目标用户是否处于危险状态。电子设备在识别目标用户的唇部动作时，可以获取其当前的人脸图像，以通过其人脸图像来识别其唇部动作。其中，目标用户可以指任意用户，也可以指电子设备的使用用户；目标用户当前的人脸图像指的是当前时刻对目标用户进行人脸图像采集所获得的人脸图像。
在一些实施方式中，电子设备可以每隔预设时间执行获取目标用户当前的人脸图像，并执行后续的步骤，以确定目标用户是否处于危险状态。该预设时间可以预先设置，例如，根据用户的操作预先设置，电子设备该预设时间的具体大小可以不做限定，例如，预设时间可以为5分钟，也可以为10分钟等。
在另一些实施方式中，电子设备也可以在检测到用于触发危险状态的识别的指令时，执行所述获取目标用户当前的人脸图像。可以理解地，用户可以通过主动输入相应的指令至电子设备，以指示电子设备识别其是否处于危险状态，即执行危险状态的识别方法的过程。
在该实施方式中，用于触发危险状态的识别的指令可以包括：电子设备检测到的目标用户输入的预设手势、电子设备检测到的对指定按键的操作、检测到的按键组合操作以及检测到目标用户的指定表情中的一种或者多种，其中，预设手势、指定按键、按键组合操作以及指定表情可以预先设置，具体内容可以不做限定。
在一些实施方式中，电子设备可以包括图像采集装置，例如彩色摄像头、深度摄像头等。电子设备在需要识别对目标用户是否处于危险状态进行识别时，可以通过图像采集装置获取该目标用户的人脸图像。作为一种实施方式，电子设备可以采集目标用户当前的多帧人脸图像，例如，连续采集多帧人脸图像，即采集一段包括目标用户的人脸的视频；作为另一种实施方式，电子设备也可以采集目标用户当前的一帧人脸图像。
步骤S120：基于所述人脸图像，识别所述目标用户的唇部特征。
在本申请实施例中，电子设备可以基于获取的目标用户的人脸图像，识别该目标用户的唇语特征，以便识别其唇部动作，对其唇语进行识别，进而后续判断其是否处于危险状态。
在一些实施方式中，可以从人脸图像中提取唇部区域的唇部图像，再根据唇部图像提取唇部特征，获得目标用户的唇部特征。其中，可以通过阈值分割的方式，从人脸图像中分割出唇部区域，进而获得唇部区域的唇部图像；也可以通过预先训练的唇部区域的区域提取模型，将人脸图像输入到该区域提取模型中，获得该区域提取模型输出的唇部图像，具体获取唇部图像的方式可以不做限定。在根据唇部图像提取唇部特征时，可以通过预先训练的特征提取模型，将唇部图像输入到特征提取模型，获得特征提取模型输出的唇部特征；也可以通过奇异值分解法、离散余弦变换法、离散小波变换法等提取唇部特征点方法，从唇部图像中提取唇部特征。其中，以上区域提取模型可以为深度神经网络等，在此不做限定。
在该实施方式中，当电子设备获得目标用户的人脸图像为连续的多帧人脸图像，即包含目标用户的人脸的视频时，可以提取每帧图像中的唇部图像，每帧图像中的唇部图像可以调整为相同大小，并且按照时间先后顺序将提取出的唇部图片样本数据进行拼接保存，生成唇部特征数据集。其中，以上包含目标用户的人脸的视频需要经过后期处理使其帧率相等，如帧率均为30f/s。
在以上实施方式中，在提取唇部特征时可以先获取唇部图像，再从唇部图像中获取对应的唇部特征，基于此，在进行唇语识别的过程中可以消除其他无关的脸部信息的干扰，提高识别准确率。
步骤S130：基于所述唇部特征进行唇语识别，获得识别结果。
在本申请实施例中，电子设备可以对已识别到的唇部特征进行识别，以便获取到该唇部特征对应的唇语信息，该唇语信息即为最终的识别结果，进而可以基于识别结果判断目标用户是否处于危险状态。
在一些实施方式中，唇语识别可以理解为通过分析目标用户的嘴唇运动特征来获取目标用户通过唇语表达的内容，该分析过程可以包含两个步骤，拼音序列识别和汉字序列识别，其中，拼音序列识别即将连续的唇部特征图像映射为拼音语句，汉字序列识别即为将拼音序列翻译为对应的汉字语句。作为一种实施方式，可以通过卷积神经网络模型、拼音序列识别网络框架等方法进行拼音序列识别，进一步地，可以基于Encoder-Decoder模型和汉字序列识别网络来进行汉字序列识别，进而获取到该唇部特征对应的唇语信息，针对唇语识别的方法本申请实施例对此不作限制。
步骤S140：将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置。
在本申请实施例中，由于该预设唇语信息根据表征危险状态的唇语信息预先设置，因此电子设备在获得目标用户的唇语的识别结果之后，可以将识别结果与预设唇语信息进行匹配，以确定目标用户是否处于危险状态。
在一些实施方式中，预设唇语信息可以为电子设备根据用户预先输入的唇部图像，而识别出的唇语信息。示例性地，电子设备可以显示唇语信息的设置界面，并提示用户进行唇语输入，在检测到用户开始唇语输入的操作之后，采集用户的人脸图像，最后根据采集的用户人脸图像，进行唇语识别，进而获得用户设置的唇语信息，即作为预设唇语信息。
步骤S150：基于所述匹配结果，确定所述目标用户是否处于危险状态。
在本申请实施例中，电子设备在获得以上识别结果与预设唇语信息的匹配结果之后，可以根据匹配结果确定出该目标用户是否处于危险状态。其中，当识别结果与预设唇语信息匹配时，可以确定该目标用户处于危险状态；当识别结果与预设唇语信息不匹配时，可以确定该目标用户不处于危险状态。
在本实施例中，通过上述唇语识别的方法获取到目标用户的唇语信息后，可以将唇语信息的内容与预设唇语信息的内容进行匹配，该预设唇语信息内容可以为表征为处于危险状态下的唇语信息，通过判断唇语信息的内容是否与给预设唇语信息内容是否匹配，进而可以基于该匹配结果判断目标用户是否处危险状态。
请参阅图2，图2示出了本申请另一个实施例提供的危险状态的识别方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，所述危险状态的识别具体可以包括以下步骤：
步骤S210：获取目标用户当前的人脸图像。
步骤S220：基于所述人脸图像，识别所述目标用户的唇部特征。
步骤S230：基于所述唇部特征进行唇语识别，获得识别结果。
在本申请实施例中，步骤S210至步骤S230可以参阅前述实施例中步骤S110至步骤S130的内容，在此不再赘述。
步骤S240：将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置。
在一些实施方式中，请参阅图3，步骤S240可以包括：
步骤S241：获取所述识别结果与所述预设唇语信息之间的相似度。
在本申请实施例中，识别结果与预设唇语信息之间的相似度可以理解为目标用户的唇部特征对应的文字信息与表征危险状态的文字信息之间的相似度。
一个可能的例子中，建立一个表征危险状态的词典库，该词典库中包含训练语料库中的所有词语，例如“救救我”、“报警”、“救命”或“帮帮我”等，词典库中的词语都可以表示用户处于危险状态，即针对目标用户唇部特征的识别结果中为词典库中的词语，则可以判断针对该用户唇部特征的识别结果与预设唇语信息匹配。一些情况下，目标用户可能所表达的文字信息并不是和词典库中的词语完全一致，则可以通过一些算法判断目标用户通过唇语表达的文字信息与词典库中的词语的相似度，通过该相似度来判断针对该用户唇部特征的识别结果与预设唇语信息是否匹配。
步骤S242：若所述相似度大于预设相似度阈值，则确定所述识别结果与所述预设唇语信息匹配。
其中，预设相似度阈值可以是提前预设的一个固定值，如0.4，通过判断获取的相似度与预设相似度阈值之间的大小来判断针对目标用户的识别结果与预设唇语信息是否匹配。实际应用中，本方案主要应用场景为用户处于危险状态下，若针对目标用户的预设相似度阈值设置较高，在用户较紧张的情况下，通过唇语表达的文字可能是断断续续的，如“快…救…救我”，通过计算该文字信息与预设唇语信息的相似度可能会比较低，如0.5，在此情况下，可能会导致计算获取的相似度小于相似度阈值，对应地，识别结果与预设唇语信息不匹配，进一步地，就可能会导致误判目标用户的是否处于危险状态。因此，本申请实施例中，预设相似度阈值一般会设置得比较小，如0.3或0.4，在预设相似阈值设置得较低的情况下，即使目标用户由于紧张等因素表达的文字信息不完整或者断断续续的，不会误判针对目标用户的识别结果与预设唇语之间的匹配结果。
示例性地，若针对目标用户唇部特征的识别结果为“快救救我，快救救我”，可以计算出该文字信息“快救救我，快救救我”与表征危险状态的词典库中的词语的相似度，例如0.7，预设相似度阈值可以为0.4，对应地，可以判断该相似度大于预设相似度阈值，进一步地，可以确定针对该目标用户的识别结果与预设唇语信息匹配。
步骤S243：若所述相似度小于或等于预设相似度阈值，则确定所述识别结果与所述唇语信息不匹配。
示例性地，若针对目标用户唇部特征的识别结果为“点错了”，可以计算出该文字信息“点错了”与表征危险状态的词典库中的词语的相似度，例如0.1，预设相似度阈值可以为0.4，对应地，可以判断该相似度小于预设相似度阈值，进一步地，可以确定针对该目标用户的识别结果与预设唇语信息不匹配。
在本申请实施例中，还可以通过对目标用户所表达的文字信息进行语义分析和情感分类，判断针对该目标用户的识别结果与预设唇语信息是否匹配。对应地，可以基于大量的文本语料库，通过类似神经网络模型训练，将每个词语映射成一个定维度的向量，维度在几十到化百维之间，每个向量就代表着这个词语，词语的语义和语法相似性和通过向量之间的相似度来判断。可以将目标用户通过唇语表达的文字信息进行切分，提取出文字信息中的名词、形容词、副词及连接词等，并依次对该切分后的文字信息与文本语料库中的词语向量进行相似度比较，进一步地，还可以对该文字信息进行情感分析，判断该文字信息对应的情感是否为负面情感，其中负面情感可以包括紧张、焦虑、难过及害怕等情绪。
基于此，对目标用户所表达的文字信息进行情感分类，可以该文字信息进行分词和停用词处理，在利用构件好的情感词典，对该文字信息进行字符串匹配，从而挖掘正面和负面信息。其中，情感词典包括包含正面词语词典、负面词语词典、否定词语词典、程度副词词典等四部分，每个词典一般都包含两部分，词语和权重。利用情感词典进行文本匹配，即，遍历目标用户的文字信息分词后的语句汇总的词语，如果词语命中对应的情感词典，则进行相应权重的处理，正面词权重为加法，负面词权重为减法，否定词权重取相反数，程度副词权重则和它修饰的词语权重相乘，根据最终输出的权重值来判断该文字信息的情感分类。可以理解，在目标用户处于危险状态的情况时，目标用户的情感一般是紧张、恐惧、不安等，因此对应的权重为负数。当目标用户表达的文字信息的语义为表达自己所处危险状态时，同时检测该文字信息对应的情感分类，若计算出该文字信息对应的权重为负数，则可以判断该文字信息属于负面情感，进一步地，结合语义分析和情感分类来分析针对目标用户唇部特征的识别结果，当该文字信息的语义为表达自己所处危险状态以及其对应的情感分类为负面情感时，可以再进一步判断目标用户是否处于危险状态。
步骤S250：在所述匹配结果表征所述识别结果与所述预设唇语信息匹配时，获取所述人脸图像对应的表情信息。
在本实施例中，当针对目标用户的识别结果与预设唇语信息匹配时，还可以获取该目标用户的人脸图像对应的表情信息。
可以理解，当针对目标用户的识别结果与预设唇语信息匹配时，可以判断该用户处于危险状态的概率比较大，但是一些情况下，如小孩在使用手机时误触发危险状态的识别的指令或者恶作剧故意触发危险状态的识别的指令，若仅仅只根据唇语识别的结果判断，可能会出现误判的情况，因此，可以通过人脸面部表情识别进一步确定目标用户是否处于危险状态，以提高判断的准确性。
步骤S260：判断所述表情信息是否满足预设表情条件，所述预设表情条件根据表征危险状态的表情信息预先设置。
基于此，可以对获取到的表情信息进行判断，判断该表情信息是否满足表征危险状态的预设表情条件。
一些实施方式中，可以通过对训练集中的图像人工标记脸型轮廓和五官的特征点和情绪状态，使用卷积神经网络，将训练集中的图像的特征点的位置坐标作为输入，训练集的图像对应的情绪状态作为输出，对卷积神经网络进行训练，得到用于表情识别的表情识别模型。在利用该表情识别模型进行表情识别时，可以基于通过摄像头获取到的目标用户的人脸图像，并确定人脸及其主要部件的位置和形状(如脸型轮廓、五官)，提取其特征点，将特征点之间的关系(如距离、角度等)作为特征向量输入到该表情识别模型，获得表情识别模型输出的情绪状态，作为识别到的表情信息，从而实现表情识别。
具体地，将特征点之间的关系作为特征向量输入到该表情模型中，获得表情识别模型输出的情绪状态，可以理解为在目标用户的人脸上标出68个特征点，并通过预测器计算得到该68个特征点出的数据坐标，可以通过两个眉毛上的10个特征点分析目标用户的挑眉程度和皱眉程度，挑眉可能对应的是开心或惊讶等，皱眉可能对应的是疑惑、担心或害怕等，还可以通过对眼睛周围的特征点进行分析，获得目标用户的眼睛的睁开程度，进一步地，通过嘴部周围的特征点分析嘴部的张开程度，张嘴可能对应的是开心、惊讶或恐惧等，没有张张嘴可能对应的是正常或生气等，即，对目标用户人脸的68个特征点进行分析以实现对目标用户的表情识别。
步骤S270：若所述表情信息满足所述预设表情条件，确定所述目标用户处于危险状态。
可以理解，在针对目标用户的识别结果与预设唇语信息匹配的前提下，若通过上述方式判断目标用户的表情信息为恐惧、害怕或不安等负面情绪，即满足预设表情条件，则可以确定目标用户处于危险状态。
基于此，在确定目标用户处于危险状态之后，可以通过图4所示的步骤发送报警信息。
步骤S280：若所述表情信息不满足所述预设表情条件，确定所述目标用户不处于危险状态。
可选地，在针对目标用户的识别结果与预设唇语信息匹配的前提下，若判断出该目标用户的表情信息为开心、高兴等正面情绪，则不满足预设条件，此时可以考虑到为该手机的使用者的恶作剧或者故意测试该功能，当确定目标用户不处于危险状态的情况下，对应地，电子设备不会获取目标用户的实时位置信息并且根据该位置信息生成报警信息。
步骤S290：在所述匹配结果表征所述识别结果与所述预设唇语信息不匹配时，确定所述目标用户不处于危险状态。
可以理解，通过唇语识别技术获取到的唇语信息与预设唇语信息不匹配时，表明目标用户并未处于危险状态，对应地，电子设备不会获取目标用户的实时位置信息并且根据该位置信息生成报警信息。
在本实施例中，通过唇语识别技术对目标用户的唇部特征进行识别，并对该识别结果进行分析，并结合对目标用户的表情信息的判断，通过结合分析结果与判断结果来确定目标用户是否处于危险状态，方便用户对于其所处危险状态的上报。
请参阅图4，图4示出了本申请又一个实施例提供的危险状态的识别方法的流程示意图。下面将针对图4所示的流程进行详细的阐述，所述危险状态的识别具体可以包括以下步骤：
步骤S410：获取目标用户当前的人脸图像。
步骤S420：基于所述人脸图像，识别所述目标用户的唇部特征。
步骤S430：基于所述唇部特征进行唇语识别，获得识别结果。
步骤S440：将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置。
步骤S450：基于所述匹配结果，确定所述目标用户是否处于危险状态。
在本申请实施例中，步骤S410至步骤S450可以参阅前述实施例中步骤S110至步骤S150的内容，在此不再赘述。
步骤S460：当确定所述目标用户处于危险状态时，生成报警信息，所述报警信息用于指示所述目标用户处于危险状态。
在一些实施方式中，可以通过图5所述的步骤来生成报警信息，即，步骤S460可以包括图5所示步骤。
步骤S461：获取所述目标用户所处位置的位置信息，所述位置信息包括实时定位信息和/或背景环境信息。
实际应用中，在确定目标用户处于危险状态时，可以通过目标用户的手机自带的定位***获取该目标用户所处位置的实时定位信息，其中定位***可以是GPS(全球定位***，Global Positioning System)、BDS(北斗卫星导航***，BeiDou NavigationSatellite System)、GLONASS(全球卫星导航***，Global Navigation SatelliteSystem)等当地卫星定位***，或者可以使用网络定位，网络定位可以有两种方式，一种方式可以是通过Wi-Fi(Wireless Fidelity)小范围定位，根据Wi-Fi路由器所在的位置进行定位，通过Wi-Fi路由器定位精度高但不可靠，因为谷歌没有办法记录下地球上每个路由器的位置，所以不时有定位到其他地方、甚至其他省市的现象，并且目标用户在危险状态下可能并未接入到某个Wi-Fi路由器中，实际应用中采用Wi-Fi路由器定位的不多；网络定位中另一种方式可以是基站定位，这种定位可靠，但误差大，原因是这种定位方式依赖于基站分布密度。发达地区的城区定位精度会比较高，目前最高可达几十米到百米以内。但边远地区基站分布间距比较大的时候，误差会很大，有时甚至可达数公里以上。网络定位的优点就是定位速度快，只要目标用户的手机处于联网状态，可以实现瞬间定位，能够在最短的时间内定位处于危险状态下的目标用户的实时位置信息是很重要的；使用卫星定位***的优点是定位精确，不受网络限制，即时在荒无人烟的沙漠海上都可以定位，而且精度高，能够精确定位处于危险状态下的目标用户的实时位置信息也是很重要的，但是使用卫星定位***依赖于太空中的卫星，特点是首次定位反应慢，目前市面上的手机冷启动首次定位也需要10秒甚至20秒以上。基于此，可以通过将网络定位与卫星定位结合使用，一起辅助定位，既能保证定位的准确性也能保证定位的及时性，可以实现精准且快速地定位到处于危险状态下目标用户地实时位置信息。
一种实施方式中，可以只获取处于危险状态下的目标用户的实时定位信息，并将该实时定位信息作为目标用户所处位置的位置信息，该位置信息可以代表目标用户的准确地理位置，其位置信息可以是目标用户所处位置的经纬度。
同时，也可以通过目标用户的手机的摄像头获取目标用户具体所处位置的背景环境信息。示例性地，通过手机的摄像头获取到包含目标用户的图片或视频，通过算法分析确定出目标用户所处的具体背景环境，例如，当目标用户在出租车上，可以根据采集到的包含目标用户的图片或视频分析出该目标用户所处的具体背景环境为车内；当目标用户在房屋内，可以根据采集到的包含目标用户的图片或视频分析出该目标用户所处的具体背景为室内；当目标用户在室外时，可以根据采集到的包含目标用户的图片或视频分析出该目标用户所处的具体背景为室外。
又一种实施方式中，可以将通过图像采集装置获取到的目标用户的背景环境信息作为目标用户所处位置的位置信息，即，该位置信息代表用户所处的具体场景，该位置信息可以是室内、室外或车内等场景。
另一种实施方式中，可以理解，将获取到的目标用户的实时位置信息以及目标用户所处位置的具体背景环境信息结合起来可以帮助更准确地确定目标用户的位置信息，即，获取的目标用户所处位置的位置信息可以包括实时位置信息和具体的背景环境信息。
可选地，确定目标用户所处位置的实时定位信息可以有多种方式。在一种实施方式中，可以是在确定目标用户处于危险状态时，获取当前时刻目标用户所处位置的实时定位信息，即，只获取一次目标用户的实时定位信息，其中获取到的实时定位信息可以包括目标用户所处位置的经纬度及当前时刻的时间信息，如：(118.5，31.5，200927.0915)，其中118.5代表目标用户所处位置的经度、31.5代表目标用户所处位置的维度、200927.0915代表当前时刻的时间为2020年9月27日上午9点15分。
另一种实施方式中，可以通过一个循环的程序来获取目标用户的所处位置的经纬度，即，每隔一个预设时间段就获取目标用户的经纬度，如可以设置每隔1秒就通过定位***获取目标用户所处位置的经纬度，基于此，可以持续获取目标用户的实时定位信息，相较于只获取一次目标用户的实时定位信息的方式，可以保证在目标用户移动时也可以获取到目标用户的实时定位信息，以使接收到该实时定位信息的用户可以实时观察到目标用户所处的位置信息，例如：当目标用户打车时在车上遇到危险时，目标用户的实时位置信息一直在发生变化，接收到该目标用户的实时位置信息的用户可以通过借助地图应用的API(应用程序接口，Application Programming Interface)来显示目标用户的实时定位信息，进而可以更加直观地观察到目标用户的实时位置信息。
步骤S462：基于所述位置信息，生成携带有所述位置信息的报警信息。
可选地，将获取到的目标用户的实时定位信息和/或背景环境信息整合生成针对该目标用户的报警信息，该报警信息既可以指示该用户处于危险状态，又包含了该目标用户的实时位置信息。
步骤S470：将所述报警信息发送至指定设备。
其中，指定设备可以为目标用户的家人或/和朋友的手机，也可以为警察局接收报警电话的电子设备，还可以为报警平台的服务器等，本申请实施例中对此不做限定。
实际应用中，目标用户的手机可以在生成对应的报警信息后，不需目标用户操作自动将该报警信息发送至指定设备处。对应地，在管理指定设备的相关人员接收到该报警信息后，可以根据该报警信息汇总携带的目标用户的位置信息对目标用户进行救助。例如，若目标用户的家人或朋友接收到该求救信息，可以根据求救信息中携带的位置信息赶往对应的位置寻找目标用户并对其实施救助，目标用户的家人或朋友也可以根据该求救信息中携带的位置信息报警，通过警察的援助寻找目标用户；若警察接收到该求救信息，则可以直接根据该求救信息中携带的位置信息对目标用户进行救援。
在本实施例中，通过唇语识别技术对目标用户的唇部特征进行识别，并对该识别结果进行分析，根据分析结果判断该目标用户是否处于危险状态，并结合定位技术获取处于危险状态下的目标用户的实时位置信息，基于该位置信息生成有关该目标用户的报警信息，以使相关救援人员可以根据该报警信息对目标用户进行救援。很好实现了唇语识别技术在具体生活中的应用，降低目标用户在遭遇危险时，可能被伤害的风险，提高报警求助的成功率，帮助目标用户及时发出有效的求救信息，达到了保护用户人身和财产安全的目的。
请参照图6，其中示出了本申请实施例提供的一种危险状态的识别装置600的结构框图。该装置600可以包括：图像获取模块610、唇部识别模块620、唇语识别模块630、唇语匹配模块640和状态确定模块650。
图像获取模块610用于获取目标用户当前的人脸图像。
唇部识别模块620用于基于所述人脸图像，识别所述目标用户的唇部特征。
唇语识别模块630用于基于所述唇部特征进行唇语识别，获得识别结果。
唇语匹配模块630用于将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置。
状态确定模块650用于基于所述匹配结果，确定所述目标用户是否处于危险状态。
可选地，状态确定模块650可以包括：第一确定单元以及第二确定单元。第一确定单元用于在所述匹配结果表征所述识别结果与所述预设唇语信息匹配时，确定所述目标用户处于危险状态；第二确定单元用于在所述匹配结果表征所述识别结果与所述唇语信息不匹配时，确定所述目标用户不处于危险状态。
可选地，唇语匹配模块630还可以用于获取所述识别结果与所述预设唇语信息之间的相似度，若所述相似度大于预设相似度阈值，则确定所述识别结果与所述预设唇语信息匹配，若所述相似度小于或等于预设相似度阈值，则确定所述识别结果与所述唇语信息不匹配。
可选地，状态确定模块650可以具体用于：在所述匹配结果表征所述识别结果与所述预设唇语信息匹配时，获取所述人脸图像对应的表情信息，判断所述表情信息是否满足预设表情条件，所述预设表情条件根据表征危险状态的表情信息预先设置，若所述表情信息满足所述预设表情条件，确定所述目标用户处于危险状态。
可选地，状态确定模块650还可以用于若所述表情信息不满足所述预设表情条件，确定所述目标用户不处于危险状态。
危险状态的识别装置600还可以包括：报警信息生成模块以及信息发送模块。报警信息生成模块用于在所述基于所述匹配结果，确定所述目标用户是否处于危险状态之后，当确定所述目标用户处于危险状态时，生成报警信息，所述报警信息用于指示所述目标用户处于危险状态；报警信息生成模块可以具体用于获取所述目标用户所处位置的位置信息，所述位置信息包括实时定位信息和/或背景环境信息，基于所述位置信息，生成携带有所述位置信息的报警信息；信息发送模块用于将所述报警信息发送至指定设备。
图像获取模块610可以具体用于：在检测到用于触发危险状态的识别的指令时，执行所述获取目标用户当前的人脸图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请实施例提供的方案中，通过获取目标用户当前的人脸图像，基于所述人脸图像，识别所述目标用户的唇部特征，基于所述唇部特征进行唇语识别，获得识别结果，将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置，基于所述匹配结果，确定所述目标用户是否处于危险状态。如此，可以通过对目标用户进行唇语识别，根据唇语识别结果判断用户是否处于为危险状态，从而实现用户可以通过唇部动作来触发识别出危险状态，方便用户对于其所处危险状态的上报，并且由于唇部动作的隐秘性，也能使得安全性得到提升。
参照图7，其中示出了本申请实施例提供的一种电子设备700的结构框图，本申请实施例提供的危险状态的识别方法可以由该电子设备700执行。
本申请实施例中的电子设备700可以包括一个或多个如下部件：处理器701、存储器702、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器702中并被配置为由一个或多个处理器701执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器701可以包括一个或者多个处理核。处理器701利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器702内的指令、程序、代码集或指令集，以及调用存储在存储器702内的数据，执行电子设备700的各种功能和处理数据。可选地，处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器701中，单独通过一块通信芯片进行实现。
存储器702可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器702可用于存储指令、程序、代码、代码集或指令集。存储器702可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备700在使用中所创建的数据(比如上述的各种对应关系)等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图8，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种危险状态的识别方法，其特征在于，所述方法包括：
获取目标用户当前的人脸图像；
基于所述人脸图像，识别所述目标用户的唇部特征；
基于所述唇部特征进行唇语识别，获得识别结果；
将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置；
基于所述匹配结果，确定所述目标用户是否处于危险状态。
2.根据权利要求1所述的方法，其特征在于，所述基于所述匹配结果，确定所述目标用户是否处于危险状态，包括：
在所述匹配结果表征所述识别结果与所述预设唇语信息匹配时，确定所述目标用户处于危险状态；
在所述匹配结果表征所述识别结果与所述预设唇语信息不匹配时，确定所述目标用户不处于危险状态。
3.根据权利要求2所述的方法，其特征在于，所述将所述识别结果与预设唇语信息进行匹配，获得匹配结果，包括：
获取所述识别结果与所述预设唇语信息之间的相似度；
若所述相似度大于预设相似度阈值，则确定所述识别结果与所述预设唇语信息匹配；
若所述相似度小于或等于预设相似度阈值，则确定所述识别结果与所述唇语信息不匹配。
4.根据权利要求2所述的方法，其特征在于，所述在所述匹配结果表征所述识别结果与所述预设唇语信息匹配时，确定所述目标用户处于危险状态，包括：
在所述匹配结果表征所述识别结果与所述预设唇语信息匹配时，获取所述人脸图像对应的表情信息；
判断所述表情信息是否满足预设表情条件，所述预设表情条件根据表征危险状态的表情信息预先设置；
若所述表情信息满足所述预设表情条件，确定所述目标用户处于危险状态。
5.根据权利要求4所述的方法，其特征在于，所述基于所述匹配结果，确定所述目标用户是否处于危险状态，还包括：
若所述表情信息不满足所述预设表情条件，确定所述目标用户不处于危险状态。
6.根据权利要求1所述的方法，其特征在于，在所述基于所述匹配结果，确定所述目标用户是否处于危险状态之后，所述方法还包括：
当确定所述目标用户处于危险状态时，生成报警信息，所述报警信息用于指示所述目标用户处于危险状态；
将所述报警信息发送至指定设备。
7.根据权利要求6所述的方法，其特征在于，所述生成报警信息，包括：
获取所述目标用户所处位置的位置信息，所述位置信息包括实时定位信息和/或背景环境信息；
基于所述位置信息，生成携带有所述位置信息的报警信息。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述获取目标用户当前的人脸图像，包括：
在检测到用于触发危险状态的识别的指令时，执行所述获取目标用户当前的人脸图像。
9.一种危险状态的识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标用户当前的人脸图像；
唇部识别模块，用于基于所述人脸图像，识别所述目标用户的唇部特征；
唇语识别模块，用于基于所述唇部特征进行唇语识别，获得识别结果；
唇语匹配模块，用于将所述识别结果与预设唇语信息进行匹配，获得匹配结果，其中，所述预设唇语信息根据表征危险状态的唇语信息预先设置；
状态确定模块，用于基于所述匹配结果，确定所述目标用户是否处于危险状态。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-8中任意一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8中任意一项所述的方法。
CN202011062013.3A 2020-09-30 2020-09-30 危险状态的识别方法、装置、电子设备及存储介质 Active CN112132095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011062013.3A CN112132095B (zh) 2020-09-30 2020-09-30 危险状态的识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011062013.3A CN112132095B (zh) 2020-09-30 2020-09-30 危险状态的识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112132095A true CN112132095A (zh) 2020-12-25
CN112132095B CN112132095B (zh) 2024-02-09

Family

ID=73844975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011062013.3A Active CN112132095B (zh) 2020-09-30 2020-09-30 危险状态的识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112132095B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926407A (zh) * 2021-02-02 2021-06-08 华南师范大学 基于校园欺凌的求救信号检测方法、装置及***
CN114612977A (zh) * 2022-03-10 2022-06-10 苏州维科苏源新能源科技有限公司 一种基于大数据的采集分析方法
WO2023006033A1 (zh) * 2021-07-29 2023-02-02 华为技术有限公司 语音交互方法、电子设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026779A1 (en) * 2008-12-24 2011-02-03 David Matsumoto Systems and methods for analyzing facial expressions, identifying intent and transforming images through review of facial expressions
US20120308971A1 (en) * 2011-05-31 2012-12-06 Hyun Soon Shin Emotion recognition-based bodyguard system, emotion recognition device, image and sensor control apparatus, personal protection management apparatus, and control methods thereof
CN110113319A (zh) * 2019-04-16 2019-08-09 深圳壹账通智能科技有限公司 身份认证方法、装置、计算机设备和存储介质
CN110377761A (zh) * 2019-07-12 2019-10-25 深圳传音控股股份有限公司 一种增强视频体验的方法及装置
CN110427809A (zh) * 2019-06-21 2019-11-08 平安科技（深圳）有限公司 基于深度学习的唇语识别方法、装置、电子设备及介质
CN111045639A (zh) * 2019-12-11 2020-04-21 深圳追一科技有限公司 语音输入方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026779A1 (en) * 2008-12-24 2011-02-03 David Matsumoto Systems and methods for analyzing facial expressions, identifying intent and transforming images through review of facial expressions
US20120308971A1 (en) * 2011-05-31 2012-12-06 Hyun Soon Shin Emotion recognition-based bodyguard system, emotion recognition device, image and sensor control apparatus, personal protection management apparatus, and control methods thereof
CN110113319A (zh) * 2019-04-16 2019-08-09 深圳壹账通智能科技有限公司 身份认证方法、装置、计算机设备和存储介质
CN110427809A (zh) * 2019-06-21 2019-11-08 平安科技（深圳）有限公司 基于深度学习的唇语识别方法、装置、电子设备及介质
CN110377761A (zh) * 2019-07-12 2019-10-25 深圳传音控股股份有限公司 一种增强视频体验的方法及装置
CN111045639A (zh) * 2019-12-11 2020-04-21 深圳追一科技有限公司 语音输入方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张晓冰;龚海刚;杨帆;戴锡笠;: "基于端到端句子级别的中文唇语识别研究", 软件学报, no. 06 *
肖庆阳;张金;左闯;范娟婷;梁碧玮;邸硕临;: "基于语义约束的口型序列识别方法", 计算机应用与软件, no. 09 *
马宁;田国栋;周曦;: "一种基于long short-term memory的唇语识别方法", 中国科学院大学学报, no. 01 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926407A (zh) * 2021-02-02 2021-06-08 华南师范大学 基于校园欺凌的求救信号检测方法、装置及***
WO2023006033A1 (zh) * 2021-07-29 2023-02-02 华为技术有限公司 语音交互方法、电子设备及介质
CN114612977A (zh) * 2022-03-10 2022-06-10 苏州维科苏源新能源科技有限公司 一种基于大数据的采集分析方法

Also Published As

Publication number Publication date
CN112132095B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN112132095B (zh) 危险状态的识别方法、装置、电子设备及存储介质
CN109145680B (zh) 一种获取障碍物信息的方法、装置、设备和计算机存储介质
US11521378B2 (en) Refined searching based on detected object configurations
Khaled et al. In-door assistant mobile application using cnn and tensorflow
CN111539212A (zh) 文本信息处理方法、装置、存储介质及电子设备
CN110929176A (zh) 一种信息推荐方法、装置及电子设备
CN112150457A (zh) 视频检测方法、装置及计算机可读存储介质
CN113850109A (zh) 一种基于注意力机制和自然语言处理的视频图像告警方法
CN112052911A (zh) 识别图像中暴恐内容的方法、装置、电子设备和存储介质
CN115761839A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN114898266A (zh) 训练方法、图像处理方法、装置、电子设备以及存储介质
CN106791010B (zh) 一种信息处理的方法、装置和移动终端
CN115966061B (zh) 基于5g消息的灾情预警处理方法、***和装置
CN112381091A (zh) 视频内容识别方法、装置、电子设备及存储介质
CN112036307A (zh) 图像处理方法及装置、电子设备和存储介质
CN116740607A (zh) 视频处理方法及装置、电子设备和存储介质
CN108241678A (zh) 兴趣点数据的挖掘方法和装置
CN107622769B (zh) 号码修改方法及装置、存储介质、电子设备
KR102395410B1 (ko) 비마커 방식을 이용한 수어 아바타 제공 시스템 및 그 제공 방법
CN115018215A (zh) 基于多模态认知图谱的人口居住预测方法、***和介质
CN113392639B (zh) 基于人工智能的标题生成方法、装置及服务器
CN111723783A (zh) 一种内容识别方法和相关装置
CN117332039B (zh) 文本检测方法、装置、设备和存储介质
CN113518201B (zh) 视频处理方法、装置及设备
CN116702094B (zh) 一种群体应用偏好特征表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant