CN110634483B - 人机交互方法、装置、电子设备及存储介质 - Google Patents

人机交互方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110634483B
CN110634483B CN201910829244.3A CN201910829244A CN110634483B CN 110634483 B CN110634483 B CN 110634483B CN 201910829244 A CN201910829244 A CN 201910829244A CN 110634483 B CN110634483 B CN 110634483B
Authority
CN
China
Prior art keywords
voice
awakening
module
detected
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910829244.3A
Other languages
English (en)
Other versions
CN110634483A (zh
Inventor
李美卓
赵媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910829244.3A priority Critical patent/CN110634483B/zh
Publication of CN110634483A publication Critical patent/CN110634483A/zh
Priority to US17/011,158 priority patent/US11620984B2/en
Application granted granted Critical
Publication of CN110634483B publication Critical patent/CN110634483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开关于一种人机交互方法、装置、电子设备及存储介质。该方法包括：当检测到语音时，判断所述语音中是否包含有唤醒词；其中，所述唤醒词为用于唤醒所述社交互动客户端中的虚拟形象的语音片段；当判断出所述语音中包含所述唤醒词时，唤醒所述虚拟形象，并接收用户给出的语音指令；执行所述语音指令所指示的目标操作，并通过所述虚拟形象输出反馈信息；其中，所述反馈信息为用于表征所述目标操作的操作结果的信息。本公开可以提高在社交互动客户端中的人机交互的趣味性。

Description

人机交互方法、装置、电子设备及存储介质
技术领域
本公开涉及互联网技术领域，尤其涉及人机交互方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展，诞生了很多社交互动客户端，如视频社交互动客户端、即时通讯客户端以及音频分享客户端等。这里，社交互动客户端与常规的工具型客户端相比，前者对人机交互过程的趣味性具有较高的要求。
相关技术中，针对社交互动客户端的人机交互方法包括：接收用户基于客户端页面手动发出的操作指令，执行与操作指令对应的操作。其中，操作指令包括检索指令、功能开启指令、音视频播放指令等指令。
然而，相关技术所提供的交互过程为传统的人机交互过程，趣味性不足。而由于趣味性是影响用户对社交互动客户端的使用粘性的重要因素，因此，亟需一种人机交互方法，以提高在社交互动客户端中的人机交互的趣味性。
发明内容
本公开提供一种人机交互方法、装置、电子设备及存储介质，以提高在社交互动客户端中的人机交互的趣味性。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种人机交互方法，该方法应用于社交互动客户端，包括：
当检测到语音时，判断所述语音中是否包含有唤醒词；其中，所述唤醒词为用于唤醒所述社交互动客户端中的虚拟形象的语音片段；
当判断出所述语音中包含所述唤醒词时，唤醒所述虚拟形象，并接收用户给出的语音指令；
执行所述语音指令所指示的目标操作，并通过所述虚拟形象输出反馈信息；其中，所述反馈信息为用于表征所述目标操作的操作结果的信息。
可选地，所述接收用户给出的语音指令的步骤，包括：
开启拾音，并在拾音过程中，检测是否出现语音尾端点；
当检测到所述语音尾端点时，结束拾音，并将拾音期间的语音片段作为所接收的语音指令。
可选地，所述检测是否出现语音尾端点的步骤，包括：
在拾音过程中，检测是否出现大于预设时长的静音，如果是，检测所述静音之前拾音的语音对应的语句是否完整；
当所述静音之前拾音的语音对应的语句完整时，确定出现语音尾端点。
可选地，所述检测所述静音之前拾音的语音对应的语句是否完整的步骤，包括：
将所述静音之前拾音的语音输入至预设的第一神经网络模型，得到所述静音之前拾音的语音对应的语句是否完整的结果；
其中，所述第一神经网络模型，为基于多个样本语音以及每个样本语音的标注信息所训练获得的，所述标注信息，用于表征样本语音对应的语句是否完整。
可选地，所述判断所述语音中是否包含有唤醒词的步骤，包括：
将所述语音输入至预设的第二神经网络模型，得到由各个音素的排列组合所形成的多个音素序列，所述各个音素为所述语音对应的音素序列中的各个音素；
当所述多个音素序列中，包含有与唤醒词匹配的音素序列时，判定所述语音中包含有所述唤醒词；
其中，所述第二神经网络模型为基于多个样本语音以及每个样本语音对应的音素序列所训练获得的。
可选地，所述方法还包括：
当检测到满足预定的推荐时机时，通过所述虚拟形象输出关于可执行操作的推荐信息；
当检测到接受推荐的语音时，执行与所述推荐信息相匹配的可执行操作。
可选地，所述方法还包括：
当检测到满足预定的互动时机时，播放为所述虚拟对象指定的、且与该互动时机对应的互动语音，和/或，在为所述虚拟形象指定的短消息输出区域中，输出与该互动时机对应的互动短消息。
根据本公开实施例的第二方面，提供一种人机交互装置，该装置应用于社交互动客户端，包括：
判断模块，被配置为当检测到语音时，判断所述语音中是否包含有唤醒词；其中，所述唤醒词为用于唤醒所述社交互动客户端中的虚拟形象的语音片段；
唤醒和接收模块，被配置为当所述判断模块判断出所述语音中包含所述唤醒词时，唤醒所述虚拟形象，并接收用户给出的语音指令；
执行和输出模块，被配置为执行所述语音指令所指示的目标操作，并通过所述虚拟形象输出反馈信息；其中，所述反馈信息为用于表征所述目标操作的操作结果的信息。
可选地，所述唤醒和接收模块接收用户给出的语音指令，包括：
开启拾音，并在拾音过程中，检测是否出现语音尾端点；
当检测到所述语音尾端点时，结束拾音，并将拾音期间的语音片段作为所接收的语音指令。
可选地，所述唤醒和接收模块检测是否出现语音尾端点，包括：
在拾音过程中，检测是否出现大于预设时长的静音，如果是，检测所述静音之前拾音的语音对应的语句是否完整；
当所述静音之前拾音的语音对应的语句完整时，确定出现语音尾端点。
可选地，所述唤醒和接收模块检测所述静音之前拾音的语音对应的语句是否完整，包括：
将所述静音之前拾音的语音输入至预设的第一神经网络模型，得到所述静音之前拾音的语音对应的语句是否完整的结果；
其中，所述第一神经网络模型，为基于多个样本语音以及每个样本语音的标注信息所训练获得的，所述标注信息，用于表征样本语音对应的语句是否完整。
可选地，所述判断模块，具体被配置为：
将所述语音输入至预设的第二神经网络模型，得到由各个音素的排列组合所形成的多个音素序列，所述各个音素为所述语音对应的音素序列中的各个音素；
当所述多个音素序列中，包含有与唤醒词匹配的音素序列时，判定所述语音中包含有所述唤醒词；
其中，所述第二神经网络模型为基于多个样本语音以及每个样本语音对应的音素序列所训练获得的。
可选地，所述装置还包括：推荐模块和执行模块；
所述推荐模块，被配置为当检测到满足预定的推荐时机时，通过所述虚拟形象输出关于可执行操作的推荐信息；
所述执行模块，被配置为当检测到接受推荐的语音时，执行与所述推荐信息相匹配的可执行操作。
可选地，所述装置还包括：播放模块和/或互动输出模块；
所述播放模块，被配置为当检测到满足预定的互动时机时，播放为所述虚拟对象指定的、且与该互动时机对应的互动语音；
所述互动输出模块，被配置为当检测到满足预定的互动时机时，在为所述虚拟形象指定的短消息输出区域中，输出与该互动时机对应的互动短消息。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述任一所述的人机交互方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述任一所述的人机交互方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行上述任一所述的人机交互方法。
本公开实施例提供的技术方案至少带来以下有益效果：
本公开实施例提供的人机交互方法中，当检测到语音时，判断该语音中是否包含有唤醒词；当该语音中包含有唤醒词时，唤醒社交互动客户端中的虚拟形象，并接收用户给出的语音指令；然后，执行该语音指令所指示的目标操作，并通过虚拟形象输出反馈信息。可见，本方案通过语音结合虚拟形象与用户进行交互，提高了在社交互动客户端中的人机交互的趣味性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种人机交互方法的流程图。
图2是根据一示例性实施例示出的一个人机交互场景的示意图。
图3是根据一示例性实施例示出的另一个人机交互场景的示意图。
图4是根据一示例性实施例示出的另一个人机交互场景的示意图。
图5是根据一示例性实施例示出的一种人机交互装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的一种用于人机交互的装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了提高在社交互动客户端中的人机交互的趣味性，本公开实施例提供了一种人机交互方法、装置、电子设备及存储介质。
其中，本公开实施例提供的一种人机交互方法的执行主体，可以为一种人机交互装置，该装置可以应用于电子设备中；可以理解的是，该人机交互装置，为该电子设备中的社交互动客户端的软件功能模块。在具体应用中，该电子设备可以为智能手机、平板设备、计算机、娱乐设备、游戏设备、医疗设备、健身设备或个人数字助理等。
本公开实施例提供的人机交互方法，可以应用于社交互动客户端中的各类应用场景，如直播场景、音视频播放场景以及人机聊天场景等等。
图1是根据一示例性实施例示出的一种人机交互方法的流程图，该人机交互方法应用于社交互动客户端中，如图1所示，该人机交互方法可以包括以下步骤。
在步骤S11中，当检测到语音时，判断该语音中是否包含有唤醒词；其中，该唤醒词为用于唤醒社交互动客户端中的虚拟形象的语音片段。
可以理解的是，社交互动客户端中可以有一个或多个虚拟形象，不同的虚拟形象可以具有不同的唤醒词。在实际应用中，当社交互动客户端中具有多个虚拟形象时，用户可以在社交互动客户端中预先指定一虚拟形象。这样，社交互动客户端检测到语音时，可以判断所检测到的语音中是否包含有所指定的虚拟形象的唤醒词。当然，当用户未在社交互动客户端中指定虚拟形象时，社交互动客户端也可以具有默认的虚拟形象；相应的，社交互动客户端检测到语音时，可以判断所检测到的语音中是否包含有默认的虚拟形象的唤醒词。
该步骤中，社交互动客户端可以对所在环境进行语音检测，并且，社交互动客户端进行语音检测的实现方式存在多种。示例性的，在一种实现方式中，每当社交互动客户端监测到声音能量时，开始拾音；在拾音过程中，检测是否出现大于预设时长的静音；当出现静音时，结束拾音；判断拾音期间的声音片段是否为语音片段，如果是，确定拾音期间的声音片段为一条语音。
其中，判断拾音期间的声音片段是否为语音片段，可以对拾音期间的声音片段进行语音活动检测；在具体应用中，可以利用ITU-T(International TelecommunicationUnion Telecommunication Standardization Sector，国际电信联盟远程通信标准化部)的G.729协议的附件B所示的语音活动检测方法进行语音活动检测；当然，并不局限于此，任何一种能够实现语音活动检测的方法，均可以应用到本公开。
另外，判断语音中是否包含有唤醒词的具体实现方式可以存在多种。为了方案清楚及布局清晰，后续对判断语音中是否包含有唤醒词的具体实现方式进行示例性的说明。
在步骤S12中，当判断出该语音中包含唤醒词时，唤醒虚拟形象，并接收用户给出的语音指令。
这里，唤醒虚拟形象，可以具体为：使虚拟形象出现在社交互动客户端的界面上，同时，在为该虚拟形象指定的短消息输出区域中，输出对唤醒词进行应答的短消息；或者，在使虚拟形象出现在社交互动客户端的界面上的同时，以对该虚拟形象指定的音色输出对唤醒词进行应答的语音；或者，在使虚拟形象出现在社交互动客户端的界面上的同时，输出对唤醒词进行应答的语音和短消息。
该步骤中，接收用户给出的语音指令的具体实现方式存在多种，示例性的，在一种实现方式中，接收用户给出的语音指令，可以包括：开启拾音；在拾音过程中，检测是否出现语音尾端点；当检测到语音尾端点时，结束拾音，并将拾音期间的语音片段作为所接收的语音指令。在实际应用中，检测是否出现语音尾端点可以有多种具体的实现方式，为了方案清楚及布局清晰，后续对检测是否出现语音尾端点的具体实现方式进行示例性的说明。
在步骤S13中，执行语音指令所指示的目标操作，并通过虚拟形象输出反馈信息。
其中，该反馈信息为用于表征目标操作的操作结果的信息。
该步骤中，执行语音指令所指示的目标操作，可以由社交互动客户端单独完成，也可以由社交互动客户端与服务器交互完成。
示例性的，在第一种实现方式中，当社交互动客户端接收到用户给出的语音指令时，可以利用语音识别模型，识别该语音指令对应的文本；进而，确定该文本所指示的目标操作，并执行所确定的目标操作。
在第二种实现方式中，当社交互动客户端接收到用户给出的语音指令，并利用语音识别模型识别出该语音指令对应的文本后，可以将该文本发送至服务器，以使服务器确定该文本所指示的目标操作；并且，当服务器确定目标操作后，社交互动客户端也可以与服务器交互，完成该目标操作所需的各个子步骤。
在第三种实现方式中，社交互动客户端可以直接将语音指令发送至服务器，以使服务器利用语音识别模型识别语音指令对应的文本，并确定该文本所指示的目标操作；同样的，当服务器确定目标操作后，社交互动客户端可以与服务器交互，完成该目标操作所需的各个子步骤。
上述三种实现方式中，在进行语音识别时，所使用的语音识别模型存在多种。示例性的，上述的语音识别模型如transformer模型，并不局限于此。其中，transformer模型是一种端到端的语音识别模型，模型结构由一个编码器以及一个解码器组成；所谓端到端是指模型的输入为语音，而输出为识别出的文本。
在实际应用中，确定文本所指示的目标操作的具体确定过程可以为：社交互动客户端或服务器将文本输入至预先训练完成的第三神经网络模型，从而得到该文本对应的目标操作类别、该文本中的各个关键词，以及每个关键词对应的关键词类别。其中，所得到的目标操作类别对应的操作即是所确定的目标操作。执行目标操作的具体实现过程可以为：社交互动客户端和/或服务器将与该目标操作类别相关的关键词类别下的关键词作为操作参数，执行该目标操作类别对应的操作。其中，文本中的关键词是指文本中出现的专有名词以及有意义的数量词等；关键词类别包括预设的多个，用于根据关键词的含义以及关键词所表征的对象，将文本中出现的关键词进行归类。在一种可选的实现方式中，预设的多个关键词类别，可以与社交互动客户端中的可执行操作的类别一一对应。
其中，第三神经网络模型可以基于多个样本文本指令以及每个样本文本指令的标注信息训练获得；这里，样本文本指令的该标注信息可以包括样本文本指令中的各个关键词以及每个关键词对应的关键词类别。
为了方案清楚，以一具体的示例为例，对执行语音指令所指示的目标操作的过程进行说明。假设用户所给出的语音指令对应的文本为“播放张三的天气真好”，将该文本输入至上述的第三神经网络模型，可以得到该文本对应的目标操作类别为“检索并播放歌曲”，以及“张三”和“天气真好”这两个关键词；其中，“张三”可以对应“歌手”这一关键词类别，而“天气真好”可以对应歌曲名称这一关键词类别。然后，以“张三”和“天气真好”为检索关键字进行歌曲检索；当检索到该歌曲时，播放该歌曲。
需要说明的是，上述所示出的执行语音指令所指示的目标操作的具体实现方式，仅仅作为示例，并不应该构成对本公开的限定。
另外，通过虚拟形象所输出反馈信息可以包括：反馈语音和/或反馈短消息。其中，反馈短消息可以是纯文本，也可以既包含文本，又包含图片或表情。
为了方案清楚，图2示例性的示出了一个人机交互场景的示意图，该人机交互场景为社交互动客户端中，用户唤醒虚拟形象并与虚拟形象进行交互的场景；如图2所示，当检测到包含有唤醒词“小二”的语音“小二现身”时，虚拟形象小二出现在社交互动客户端的界面上，且通过虚拟形象小二输出了对唤醒词进行应答的短消息“嗯，我在呢”；然后，用户给出语音指令“播放张三的天气真好”；执行该语音指令所指示的目标操作，即检索并播放歌手张三演唱的歌曲《天气真好》；当检索到该歌曲时，播放该歌曲，并由虚拟形象输出“已找到歌曲”的反馈短消息，或者，还可以以虚拟形象的音色播放一段内容为“已找到歌曲”的反馈语音。
可以理解的是，图2所示的交互场景中，将用户给出的语音或语音指令对应的文本显示于社交互动客户端中，可以便于用户确认自己所发出的语音或语音指令是否被清楚地理解。当然，在一种实现方式中，在社交互动客户端中，也可以不显示用户所发出的语音或语音指令对应的文本；或者，可以将用户所发出的语音或语音指令以一段语音的方式记录在图2所示的交互界面上；这样，当用户点击交互界面上所记录的语音或语音指令时，可以播放该语音或语音指令。
在实际应用中，通过虚拟形象所输出的反馈信息中的反馈语音对应有反馈文本，该反馈语音为对该反馈文本进行语音合成得到的语音。可选地，在一种实现方式中，可以利用tractron+LPCNET模型，将反馈文本合成为反馈语音。其中，tractron是语音合成中的声学模型，将反馈文本转成声学特征帧序列；LPCNET是一种基于信号处理改进的语音合成声码器网络模型，LPCNET将tractron输出的声学特征帧序列转换成语音；tractron+LPCNET模型是指声学模型和声码器的组合模型，该组合模型可以将输入的文本映射成语音输出。另外，在一种实现方式中，可以将反馈短消息中的文本，作为反馈语音对应的反馈文本。
本公开实施例提供的人机交互方法中，当检测到语音时，判断该语音中是否包含有唤醒词；当该语音中包含有唤醒词时，唤醒社交互动客户端中的虚拟形象，并接收用户给出的语音指令；然后，执行该语音指令所指示的目标操作，并通过虚拟形象输出反馈信息。可见，本方案通过语音结合虚拟形象与用户进行交互，提高了在社交互动客户端中的人机交互的趣味性。
为了方案清楚及布局清晰，下面对步骤S11中，判断语音中是否包含有唤醒词的具体实现方式进行示例性的说明。
示例性的，在一种实现方式中，判断语音中是否包含有唤醒词的步骤，可以包括：
将语音输入至预设的第二神经网络模型，得到由各个音素的排列组合所形成的多个音素序列，这里，各个音素为该语音对应的音素序列中的各个音素；
当所得到的多个音素序列中，包含有与唤醒词匹配的音素序列时，判定该语音中包含有唤醒词；
其中，该第二神经网络模型为基于多个样本语音以及每个样本语音对应的音素序列所训练获得的。
举例而言，假设将一条内容为“你好小二”的语音输入至第二神经网络模型，则可以得到由音素序列“n i h ao x i ao er”中各个音素的排列组合所形成的多个音素序列，包括：n i h ao、x i ao er、n i、x i ao、n i h ao x i ao、n i h ao x i ao er以及n ier等，鉴于数量较多，此处不一一列举。其中，该音素序列中的各个音素为该音素序列中的各个声母和韵母。假设唤醒词为“小二”；那么，由于所得到的多个音素序列中，包含有与“小二”匹配的音素序列“x i ao er”，故判定该语音中包含有唤醒词。
在另一种实现方式中，判断语音中是否包含有唤醒词的步骤，可以包括：
将语音转换为文本；
当转换得到的文本中，包含有唤醒词对应的文本时，判定语音中包含有唤醒词。
其中，关于如何将语音转换为文本的具体实现方式，可以采用上述的语音识别模型来进行语音识别，此处不做赘述。
下面，对接收用户给出的语音指令的过程中，检测是否出现语音尾端点的具体实现方式进行示例性的说明。
示例性的，在一种实现方式中，检测是否出现语音尾端点的步骤，可以包括：
在拾音过程中，检测是否出现大于预设时长的静音，如果是，确定出现语音尾端点。这里，静音的时长可以预先指定，例如5秒或10秒等等，本公开对此不做限定。
在另一种实现方式中，检测是否出现语音尾端点的步骤，可以包括：
在拾音过程中，检测是否出现大于预设时长的静音，如果是，检测该静音之前拾音的语音对应的语句是否完整；
当该静音之前拾音的语音对应的语句完整时，确定出现语音尾端点。
其中，检测静音之前拾音的语音对应的语句是否完整的步骤，可以包括：
将静音之前拾音的语音输入至预设的第一神经网络模型，得到静音之前拾音的语音对应的语句是否完整的结果；
其中，该第一神经网络模型，为基于多个样本语音以及每个样本语音的标注信息所训练获得的。这里，样本语音的标注信息，用于表征样本语音对应的语句是否完整。
可以理解的是，检测静音之前拾音的语音对应的语句完整，可以避免接收到无意义的语音指令。
该实现方式中，样本语音的标注信息可以具体为样本语音对应的状态序列。该状态序列为对样本语音对应的音素序列中的音素进行状态标注所获得的。这里所说的状态可以包括起始、中间以及结束三种状态，并不局限于此。举例而言，假设分别以1、2、3表示音素的三种状态；有一样本语音为“放首歌吧”，该样本语音对应的音素序列为“f ang sh ou ge b a”；那么对该音素序列中的音素进行状态标注所获得的状态序列可以为“f1 f2 f3ang1 ang2 ang3 sh1 sh2 sh3 ou1 ou2 ou3 g1 g2 g3 e1 e2 e3 b1 b2 b3 a1 a2 a3”。该状态序列中，最后一个状态为a3，由于3代表结束状态，故说明该状态序列对应的样本语音对应的语句为完整的语句。
可以理解的是，当第一神经网络模型训练完成后，假设将一内容为“我想”的语音输入至训练完成的第一神经网络模型，可以得到该语音的状态序列可以为“w1 w2 w3 o1o2 o3 x1 x2 x3 i1 i2 i3 ang1 ang2 ang2”，由于该状态系列中，最后一个状态为ang2，则可以确定该语音对应的语句不完整。
另外，为了提高该第一神经网络模型检测语句不完整的语音的能力，在训练该第一神经网络模型时，所采用的样本语音，均可以为语句完整的样本语音。这样，训练完成的第一神经网络模型可以较为容易地识别出语句不完整的语音。
在实际应用中，该第一神经网络模型可以为MGRU(Minimum Gated RecurrentUnit，最小门控循环单元)+HMM(Hidden Markov Model，隐马尔可夫模型)的模型；该MGRU+HMM的模型中中MGRU的输入为声学特征帧序列，输出为所有可能的状态序列，假如状态标注时可以有N个状态，当前语音的输入有T个音素，那么该输出为N*T个状态序列；HMM在这些状态序列中学习状态之间的跳转，给出一条最优的状态序列。可以理解的是，当输出的该状态序列中，最后一个状态不为结束状态时，便可以确定输入至该模型中的语音语句不完整。
以上，为对接收用户给出的语音指令的过程中，检测是否出现语音尾端点的具体实现方式进行的示例性的说明。
可选地，在一种实现方式中，本公开实施例提供的人机交互方法，还可以包括：
当检测到满足预定的推荐时机时，通过虚拟形象输出关于可执行操作的推荐信息；
当检测到接受推荐的语音时，执行与该推荐信息相匹配的可执行操作。
其中，预定的推荐实际可以存在多个。例如，当检测到用户从未使用过社交互动客户端中的某个功能时，可以通过虚拟形象输出推荐该功能的可执行操作的推荐信息。再例如，当检测到用户经常使用直播服务的时间到来时，可以通过虚拟形象输出关于开启直播的推荐信息。
该实现方式中，通过虚拟形象输出的推荐信息，可以包括推荐语言和/或推荐短消息。
为了方案清楚，图3示例性的示出了一个人机交互场景的示意图，该人机交互场景为虚拟形象推荐可执行操作的场景；如图3所示，虚拟形象输出“要不要听笑话”的笑话推荐信息，当检测到用户给出的接受推荐的语音“好”时，执行笑话检索操作，通过虚拟形象，输出一个所检索到的笑话。
可选地，在一种实现方式中，本公开实施例提供的人机交互方法，还可以包括：
当检测到满足预定的互动时机时，播放为虚拟对象指定的、且与该互动时机对应的互动语音，和/或，在为虚拟形象指定的短消息输出区域中，输出与该互动时机对应的互动短消息。
可以理解的是，预定的互动时机可以存在多种。例如，步骤S12中，唤醒虚拟形象时，输出对唤醒词进行应答的语音和/或短消息，即可以是一个预定的互动时机。或者，当通过虚拟形象输出关于可执行操作的推荐信息，并检测到不接受推荐的语音时，可以播放“好吧，那我走啦”的语音，和/或，输出“好吧，那我走啦”的短消息。或者，在用户在直播时，当检测到其他社交互动客户端的用户发来礼物，可以直播界面中，播放对该送礼物的用户进行赞赏的互动语音，和/或，输出对该送礼物的用户进行赞赏的互动短消息。
为了方案清楚，图4示例性的示出了一个人机交互场景的示意图，该人机交互场景为社交互动客户端中，虚拟形象与用户的好友进行互动的场景；如图4所示，当检测到其他社交互动客户端的用户发来礼物时，通过虚拟形象输出对该送礼物的用户进行赞赏互动短消息“哇哦，你真棒！”。
需要说明的是，上述所示出的推荐时机以及互动时机仅仅作为示例，并不应该构成对本公开的限定。
图5是根据一示例性实施例示出的一种人机交互装置的框图。该装置可以用于电子设备，在具体应用中，该电子设备可以为智能手机、平板设备、计算机、娱乐设备、游戏设备、医疗设备、健身设备或个人数字助理等。参照图5，该装置包括判断模块151，唤醒和接收模块152和执行和输出模块153。
该判断模块151，被配置为当检测到语音时，判断所述语音中是否包含有唤醒词；其中，所述唤醒词为用于唤醒所述社交互动客户端中的虚拟形象的语音片段；
该唤醒和接收模块152，被配置为当所述判断模块判断出所述语音中包含所述唤醒词时，唤醒所述虚拟形象，并接收用户给出的语音指令；
该执行和输出模块153，被配置为执行所述语音指令所指示的目标操作，并通过所述虚拟形象输出反馈信息；其中，所述反馈信息为用于表征所述目标操作的操作结果的信息。
可选地，该唤醒和接收模块接收用户给出的语音指令，可以包括：
开启拾音，并在拾音过程中，检测是否出现语音尾端点；
当检测到所述语音尾端点时，结束拾音，并将拾音期间的语音片段作为所接收的语音指令。
可选地，该唤醒和接收模块检测是否出现语音尾端点，可以包括：
在拾音过程中，检测是否出现大于预设时长的静音，如果是，检测所述静音之前拾音的语音对应的语句是否完整；
当所述静音之前拾音的语音对应的语句完整时，确定出现语音尾端点。
可选地，该唤醒和接收模块检测所述静音之前拾音的语音对应的语句是否完整，包括：
将所述静音之前拾音的语音输入至预设的第一神经网络模型，得到所述静音之前拾音的语音对应的语句是否完整的结果；
其中，所述第一神经网络模型，为基于多个样本语音以及每个样本语音的标注信息所训练获得的，所述标注信息，用于表征样本语音对应的语句是否完整。
可选地，该判断模块，可以具体被配置为：
将所述语音输入至预设的第二神经网络模型，得到由各个音素的排列组合所形成的多个音素序列，所述各个音素为所述语音对应的音素序列中的各个音素；
当所述多个音素序列中，包含有与唤醒词匹配的音素序列时，判定所述语音中包含有所述唤醒词；
其中，所述第二神经网络模型为基于多个样本语音以及每个样本语音对应的音素序列所训练获得的。
可选地，所述装置还可以包括：推荐模块和执行模块；
所述推荐模块，被配置为当检测到满足预定的推荐时机时，通过所述虚拟形象输出关于可执行操作的推荐信息；
所述执行模块，被配置为当检测到接受推荐的语音时，执行与所述推荐信息相匹配的可执行操作。
可选地，所述装置还可以包括：播放模块和/或互动输出模块；
所述播放模块，被配置为当检测到满足预定的互动时机时，播放为所述虚拟对象指定的、且与该互动时机对应的互动语音；
所述互动输出模块，被配置为当检测到满足预定的互动时机时，在为所述虚拟形象指定的短消息输出区域中，输出与该互动时机对应的互动短消息。
可选地，所述反馈信息可以包括：反馈语音和/或反馈短消息。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例提供的人机交互装置，当检测到语音时，判断该语音中是否包含有唤醒词；当该语音中包含有唤醒词时，唤醒社交互动客户端中的虚拟形象，并接收用户给出的语音指令；然后，执行该语音指令所指示的目标操作，并通过虚拟形象输出反馈信息。可见，本方案通过语音结合虚拟形象与用户进行交互，提高了在社交互动客户端中的人机交互的趣味性。
图6是根据一示例性实施例示出的一种电子设备的框图，如图6所示，该电子设备可以包括：
处理器610；
用于存储处理器可执行指令的存储器620；
其中，处理器610被配置为执行存储器620上所存放的可执行指令时，以实现上述任一所述的人机交互方法。
在具体应用中，该电子设备可以为智能手机、平板设备、计算机、娱乐设备、游戏设备、医疗设备、健身设备或个人数字助理等。
图7是根据一示例性实施例示出的一种用于人机交互的装置700的框图。例如，装置700可以是智能手机、平板设备、计算机、娱乐设备、游戏设备、医疗设备、健身设备或个人数字助理等。
参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)接口712，传感器组件714，以及通信组件716。
处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件706为装置700的各种组件提供电力。电源组件706可以包括电源管理***，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行上述任一所述的人机交互方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由权利要求书来限制。

Claims (10)

1.一种人机交互方法，其特征在于，应用于社交互动客户端；所述方法包括：
当检测到语音时，判断所述语音中是否包含有唤醒词；其中，所述唤醒词为用于唤醒所述社交互动客户端中的虚拟形象的语音片段；
当判断出所述语音中包含所述唤醒词时，唤醒所述虚拟形象，并接收用户给出的语音指令；
执行所述语音指令所指示的目标操作，并通过所述虚拟形象输出反馈信息；其中，所述反馈信息为用于表征所述目标操作的操作结果的信息；
所述接收用户给出的语音指令的步骤，包括：开启拾音，并在拾音过程中，检测是否出现语音尾端点；当检测到所述语音尾端点时，结束拾音，并将拾音期间的语音片段作为所接收的语音指令；所述检测是否出现语音尾端点的步骤，包括：在拾音过程中，检测是否出现大于预设时长的静音，如果是，检测所述静音之前拾音的语音对应的语句是否完整；当所述静音之前拾音的语音对应的语句完整时，确定出现语音尾端点；
所述判断所述语音中是否包含有唤醒词的步骤，包括：将所述语音输入至预设的第二神经网络模型，得到由各个音素的排列组合所形成的多个音素序列，所述各个音素为所述语音对应的音素序列中的各个音素；当所述多个音素序列中，包含有与唤醒词匹配的音素序列时，判定所述语音中包含有所述唤醒词；其中，所述第二神经网络模型为基于多个样本语音以及每个样本语音对应的音素序列所训练获得的。
2.根据权利要求1所述的方法，其特征在于，所述检测所述静音之前拾音的语音对应的语句是否完整的步骤，包括：
将所述静音之前拾音的语音输入至预设的第一神经网络模型，得到所述静音之前拾音的语音对应的语句是否完整的结果；
其中，所述第一神经网络模型，为基于多个样本语音以及每个样本语音的标注信息所训练获得的，所述标注信息，用于表征样本语音对应的语句是否完整。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当检测到满足预定的推荐时机时，通过所述虚拟形象输出关于可执行操作的推荐信息；
当检测到接受推荐的语音时，执行与所述推荐信息相匹配的可执行操作。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
当检测到满足预定的互动时机时，播放为所述虚拟形象指定的、且与该互动时机对应的互动语音，和/或，在为所述虚拟形象指定的短消息输出区域中，输出与该互动时机对应的互动短消息。
5.一种人机交互装置，其特征在于，应用于社交互动客户端；所述装置包括：
判断模块，被配置为当检测到语音时，判断所述语音中是否包含有唤醒词；其中，所述唤醒词为用于唤醒所述社交互动客户端中的虚拟形象的语音片段；
唤醒和接收模块，被配置为当所述判断模块判断出所述语音中包含所述唤醒词时，唤醒所述虚拟形象，并接收用户给出的语音指令；
执行和输出模块，被配置为执行所述语音指令所指示的目标操作，并通过所述虚拟形象输出反馈信息；其中，所述反馈信息为用于表征所述目标操作的操作结果的信息；
所述唤醒和接收模块接收用户给出的语音指令，包括：开启拾音，并在拾音过程中，检测是否出现语音尾端点；当检测到所述语音尾端点时，结束拾音，并将拾音期间的语音片段作为所接收的语音指令；所述唤醒和接收模块检测是否出现语音尾端点，包括：在拾音过程中，检测是否出现大于预设时长的静音，如果是，检测所述静音之前拾音的语音对应的语句是否完整；当所述静音之前拾音的语音对应的语句完整时，确定出现语音尾端点；
所述判断模块，具体被配置为：
将所述语音输入至预设的第二神经网络模型，得到由各个音素的排列组合所形成的多个音素序列，所述各个音素为所述语音对应的音素序列中的各个音素；
当所述多个音素序列中，包含有与唤醒词匹配的音素序列时，判定所述语音中包含有所述唤醒词；
其中，所述第二神经网络模型为基于多个样本语音以及每个样本语音对应的音素序列所训练获得的。
6.根据权利要求5所述的装置，其特征在于，所述唤醒和接收模块检测所述静音之前拾音的语音对应的语句是否完整，包括：
将所述静音之前拾音的语音输入至预设的第一神经网络模型，得到所述静音之前拾音的语音对应的语句是否完整的结果；
其中，所述第一神经网络模型，为基于多个样本语音以及每个样本语音的标注信息所训练获得的，所述标注信息，用于表征样本语音对应的语句是否完整。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：推荐模块和执行模块；
所述推荐模块，被配置为当检测到满足预定的推荐时机时，通过所述虚拟形象输出关于可执行操作的推荐信息；
所述执行模块，被配置为当检测到接受推荐的语音时，执行与所述推荐信息相匹配的可执行操作。
8.根据权利要求5-7任一项所述的装置，其特征在于，所述装置还包括：播放模块和/或互动输出模块；
所述播放模块，被配置为当检测到满足预定的互动时机时，播放为所述虚拟形象指定的、且与该互动时机对应的互动语音;
所述互动输出模块，被配置为当检测到满足预定的互动时机时，在为所述虚拟形象指定的短消息输出区域中，输出与该互动时机对应的互动短消息。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的人机交互方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的人机交互方法。
CN201910829244.3A 2019-09-03 2019-09-03 人机交互方法、装置、电子设备及存储介质 Active CN110634483B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910829244.3A CN110634483B (zh) 2019-09-03 2019-09-03 人机交互方法、装置、电子设备及存储介质
US17/011,158 US11620984B2 (en) 2019-09-03 2020-09-03 Human-computer interaction method, and electronic device and storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910829244.3A CN110634483B (zh) 2019-09-03 2019-09-03 人机交互方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110634483A CN110634483A (zh) 2019-12-31
CN110634483B true CN110634483B (zh) 2021-06-18

Family

ID=68970070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910829244.3A Active CN110634483B (zh) 2019-09-03 2019-09-03 人机交互方法、装置、电子设备及存储介质

Country Status (2)

Country Link
US (1) US11620984B2 (zh)
CN (1) CN110634483B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273990A (zh) * 2020-01-21 2020-06-12 腾讯科技（深圳）有限公司 信息交互方法、装置、计算机设备和存储介质
CN111312240A (zh) * 2020-02-10 2020-06-19 北京达佳互联信息技术有限公司 数据控制方法、装置、电子设备及存储介质
CN111343473B (zh) * 2020-02-25 2022-07-01 北京达佳互联信息技术有限公司 直播应用的数据处理方法、装置、电子设备及存储介质
CN111541908A (zh) * 2020-02-27 2020-08-14 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
CN111767465A (zh) * 2020-07-09 2020-10-13 中国工商银行股份有限公司 信息的推荐方法、装置、计算设备和介质
CN112135160A (zh) * 2020-09-24 2020-12-25 广州博冠信息科技有限公司 直播中虚拟对象控制方法及装置、存储介质和电子设备
CN113076397A (zh) * 2021-03-29 2021-07-06 Oppo广东移动通信有限公司 意图识别方法、装置、电子设备及存储介质
CN113115061B (zh) * 2021-04-07 2023-03-10 北京字跳网络技术有限公司 直播交互方法、装置、电子设备和存储介质
CN113380275B (zh) * 2021-06-18 2024-06-25 北京声智科技有限公司 语音处理方法、装置、智能设备及存储介质
US20230091386A1 (en) * 2021-09-17 2023-03-23 Multics Co., Ltd. Augmented reality hologram virtual aquarium system
CN114006747A (zh) * 2021-10-28 2022-02-01 平安普惠企业管理有限公司 交互安全管理方法、装置、计算机设备及可读存储介质
CN114025186A (zh) * 2021-10-28 2022-02-08 广州方硅信息技术有限公司 直播间内的虚拟语音互动方法、装置及计算机设备
CN114286119B (zh) * 2021-12-03 2023-12-26 北京达佳互联信息技术有限公司 数据处理方法、装置、服务器、终端、***及存储介质
CN114339320B (zh) * 2021-12-10 2023-12-12 北京达佳互联信息技术有限公司 一种虚拟资源处理方法、装置、设备及存储介质
CN115424623A (zh) * 2022-03-23 2022-12-02 北京罗克维尔斯科技有限公司 语音交互方法、装置、设备及计算机可读存储介质
CN114780190B (zh) * 2022-04-13 2023-12-22 脸萌有限公司 消息处理方法、装置、电子设备及存储介质
CN115348458A (zh) * 2022-05-16 2022-11-15 阿里巴巴（中国）有限公司 虚拟直播控制方法以及***
US20240185849A1 (en) * 2022-12-05 2024-06-06 Google Llc Facilitating virtual or physical assistant interactions with virtual objects in a virtual environment
CN117725489B (zh) * 2024-02-07 2024-06-25 北京智芯微电子科技有限公司 边缘计算的业务流感知方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871506A (zh) * 2017-11-15 2018-04-03 北京云知声信息技术有限公司 语音识别功能的唤醒方法及装置
CN108257616A (zh) * 2017-12-05 2018-07-06 苏州车萝卜汽车电子科技有限公司 人机对话的检测方法以及装置
CN108428448A (zh) * 2017-02-13 2018-08-21 芋头科技（杭州）有限公司 一种语音端点检测方法及语音识别方法
CN109584896A (zh) * 2018-11-01 2019-04-05 苏州奇梦者网络科技有限公司 一种语音芯片及电子设备
CN110033776A (zh) * 2019-03-08 2019-07-19 佛山市云米电器科技有限公司 一种应用于屏幕设备的虚拟形象交互***与方法
CN110047471A (zh) * 2019-05-13 2019-07-23 深圳市智宇盟科技有限公司 语音唤醒方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI235358B (en) * 2003-11-21 2005-07-01 Acer Inc Interactive speech method and system thereof
US7995064B2 (en) * 2004-10-12 2011-08-09 Imvu, Inc. Computer-implemented chat system having dual channel communications and self-defining product structures
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160191958A1 (en) * 2014-12-26 2016-06-30 Krush Technologies, Llc Systems and methods of providing contextual features for digital communication
CN105869637B (zh) * 2016-05-26 2019-10-15 百度在线网络技术（北京）有限公司 语音唤醒方法和装置
US10565795B2 (en) * 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
US11250844B2 (en) * 2017-04-12 2022-02-15 Soundhound, Inc. Managing agent engagement in a man-machine dialog
US10672380B2 (en) * 2017-12-27 2020-06-02 Intel IP Corporation Dynamic enrollment of user-defined wake-up key-phrase for speech enabled computer system
WO2019136387A1 (en) * 2018-01-08 2019-07-11 Ebay Inc. Artificial assistant system notifications
US10943606B2 (en) * 2018-04-12 2021-03-09 Qualcomm Incorporated Context-based detection of end-point of utterance
US10958600B1 (en) * 2018-05-18 2021-03-23 CodeObjects Inc. Systems and methods for multi-channel messaging and communication
US11076039B2 (en) * 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11132992B2 (en) * 2019-05-05 2021-09-28 Microsoft Technology Licensing, Llc On-device custom wake word detection
US11263249B2 (en) * 2019-05-31 2022-03-01 Kyndryl, Inc. Enhanced multi-workspace chatbot
KR102228549B1 (ko) * 2019-06-11 2021-03-16 엘지전자 주식회사 음성 인에이블 디바이스 선택 방법, 음성 인에이블 디바이스 선택 장치 및 이를 제어하는 지능형 컴퓨팅 디바이스
US10586540B1 (en) * 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428448A (zh) * 2017-02-13 2018-08-21 芋头科技（杭州）有限公司 一种语音端点检测方法及语音识别方法
CN107871506A (zh) * 2017-11-15 2018-04-03 北京云知声信息技术有限公司 语音识别功能的唤醒方法及装置
CN108257616A (zh) * 2017-12-05 2018-07-06 苏州车萝卜汽车电子科技有限公司 人机对话的检测方法以及装置
CN109584896A (zh) * 2018-11-01 2019-04-05 苏州奇梦者网络科技有限公司 一种语音芯片及电子设备
CN110033776A (zh) * 2019-03-08 2019-07-19 佛山市云米电器科技有限公司 一种应用于屏幕设备的虚拟形象交互***与方法
CN110047471A (zh) * 2019-05-13 2019-07-23 深圳市智宇盟科技有限公司 语音唤醒方法

Also Published As

Publication number Publication date
US20210065682A1 (en) 2021-03-04
CN110634483A (zh) 2019-12-31
US11620984B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
CN110634483B (zh) 人机交互方法、装置、电子设备及存储介质
JP2019117623A (ja) 音声対話方法、装置、デバイス及び記憶媒体
CN110210310B (zh) 一种视频处理方法、装置和用于视频处理的装置
CN113362812B (zh) 一种语音识别方法、装置和电子设备
CN108648754B (zh) 语音控制方法及装置
WO2021031308A1 (zh) 音频处理方法、装置及存储介质
EP3933570A1 (en) Method and apparatus for controlling a voice assistant, and computer-readable storage medium
CN111583923B (zh) 信息控制方法及装置、存储介质
CN107945806B (zh) 基于声音特征的用户识别方法及装置
CN110990534B (zh) 一种数据处理方法、装置和用于数据处理的装置
CN110660375B (zh) 一种生成乐曲的方法、装置和设备
CN113362813A (zh) 一种语音识别方法、装置和电子设备
US11354520B2 (en) Data processing method and apparatus providing translation based on acoustic model, and storage medium
CN117253478A (zh) 一种语音交互方法和相关装置
CN110930977B (zh) 一种数据处理方法、装置和电子设备
CN112988956A (zh) 自动生成对话的方法及装置、信息推荐效果检测方法及装置
CN113936697A (zh) 语音处理方法、装置以及用于语音处理的装置
CN109658924B (zh) 会话消息处理方法、装置及智能设备
CN113259754A (zh) 视频生成方法、装置、电子设备及存储介质
CN111968637B (zh) 终端设备的操作模式控制方法、装置、终端设备及介质
CN113891150A (zh) 一种视频处理方法、装置和介质
CN112837668B (zh) 一种语音处理方法、装置和用于处理语音的装置
CN113591495A (zh) 语音翻译方法、装置及存储介质
CN111739528A (zh) 一种交互方法、装置和耳机
CN108364631B (zh) 一种语音合成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant