CN109996026A - 基于穿戴式设备的视频特效互动方法、装置、设备及介质 - Google Patents

基于穿戴式设备的视频特效互动方法、装置、设备及介质 Download PDF

Info

Publication number
CN109996026A
CN109996026A CN201910327776.7A CN201910327776A CN109996026A CN 109996026 A CN109996026 A CN 109996026A CN 201910327776 A CN201910327776 A CN 201910327776A CN 109996026 A CN109996026 A CN 109996026A
Authority
CN
China
Prior art keywords
special efficacy
preset
keyword
video calling
acquire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910327776.7A
Other languages
English (en)
Other versions
CN109996026B (zh
Inventor
吴磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201910327776.7A priority Critical patent/CN109996026B/zh
Publication of CN109996026A publication Critical patent/CN109996026A/zh
Application granted granted Critical
Publication of CN109996026B publication Critical patent/CN109996026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明适用于智能穿戴技术领域,提供了一种基于穿戴式设备的视频特效互动方法、装置、设备及介质,该方法包括:当检测到穿戴式设备与终端进行视频通话时,获取所述视频通话的语音,对获取到的所述语音进行语义识别,以获取所述语音中的关键词,将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度,当所述匹配相似度度大于预设的相似度阈值时,获取与所述关键词对应的特效,根据预设的加载条件和预设的加载参数将获取到的所述特效加载到所述视频通话中,从而降低了用户在视频通话过程中使用特效的操作复杂度,减少了用户在使用特效时的互动障碍,进而提升了用户体验。

Description

基于穿戴式设备的视频特效互动方法、装置、设备及介质
技术领域
本发明属于智能穿戴技术领域,尤其涉及一种基于穿戴式设备的视频特效互动方法、装置、设备及介质。
背景技术
随着智能穿戴技术的发展,现在用户可以通过穿戴式设备的视频通话功能进行视频对话,为了增加视频通话的趣味性,穿戴式设备厂商在穿戴式设置中预置了互动特效以便用户在视频通话中进行互动,当穿戴式设备的用户在视频通话中发出加载特效请求时,穿戴式设备将预置的互动特效呈现在视频通话界面,用户通过视频通话界面中呈现的特效进行选择。
然而,由于穿戴式设备屏幕大小的限制,呈现的特效选项会遮挡视频通话界面,同时,当穿戴式设备的预置特效选项较多时,手动选择特效不仅增加了用户的操作复杂度,还会让用户的注意力从视频通话中转移到操作流程中,产生互动障碍,进而降低了用户体验。
发明内容
本发明的目的在于提供一种基于穿戴式设备的视频特效互动方法、装置、设备及介质,旨在解决由于现有技术中穿戴式设备用户在视频通话过程中使用互动特效操作复杂度高的问题。
一方面,本发明提供一种基于穿戴式设备的视频特效互动方法,所述方法包括下述步骤:
当检测到穿戴式设备与终端进行视频通话时,获取所述视频通话的语音;
对获取到的所述语音进行语义识别,以获取所述语音中的关键词;
将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度;
当所述匹配相似度度大于预设的相似度阈值时,获取与所述关键词对应的特效;
根据预设的加载条件和预设的加载参数将获取到的所述特效加载到所述视频通话中。
优选地,所述获取与所述关键词对应的特效的步骤之前,包括:
获取所述视频通话的场景参数;
根据所述场景参数获取与所述关键词对应的特效。
优选地,所述将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度的步骤之后,包括:
当所述匹配相似度等于100%时,获取与所述关键词对应的特效;
根据预设的加载参数将获取到的所述特效加载到所述视频通话中。
优选地,所述获取与所述关键词对应的特效的步骤之后,包括:
将获取到的所述特效在视频通话界面的备选区域进行显示;
当接收到穿戴式设备用户通过所述备选区域输入的特效加载请求时,根据预设的加载参数将获取到的所述特效加载到所述视频通话中。
优选地,所述获取与所述关键词对应的特效的步骤之后,还包括:
获取所述视频通话的图像帧,对获取到的所述图像帧进行图像识别,计算获取到的所述特效在所述图像帧中的加载参数;
根据预设的加载条件以及计算出的加载参数将获取到的所述特效加载到所述视频通话中。
另一方面,本发明提供了一种基于穿戴式设备的视频特效互动装置,所述装置包括:
语音获取单元,用于当检测到穿戴式设备与终端进行视频通话时,获取所述视频通话的语音;
语义识别单元,用于对获取到的所述语音进行语义识别,以获取所述语音中的关键词;
相似度计算单元,用于将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度;
特效获取单元,用于当所述匹配相似度度大于预设的相似度阈值时,获取与所述关键词对应的特效;以及
特效加载单元,用于根据预设的加载条件和预设的加载参数将获取到的所述特效加载到所述视频通话中。
优选地,所述装置还包括:
特效显示单元,用于将获取到的所述特效在视频通话界面的备选区域进行显示;以及
第一特效加载单元,用于当接收到穿戴式设备用户通过所述备选区域输入的特效加载请求时,根据预设的加载参数将获取到的所述特效加载到所述视频通话中。
优选地,所述装置还包括:
参数计算单元,用于获取所述视频通话的图像帧,对获取到的所述图像帧进行图像识别,计算获取到的所述特效在所述图像帧中的加载参数;以及
第二特效加载单元,用于根据预设的加载条件以及计算出的加载参数将获取到的所述特效加载到所述视频通话中。
另一方面,本发明还提供了一种穿戴式设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明当检测到穿戴式设备与终端进行视频通话时,获取该视频通话的语音,对获取到的该语音进行语义识别,以获取该语音中的关键词,将获取到的该关键词与预设的特效名称进行匹配,得出匹配相似度,当该匹配相似度度大于预设的相似度阈值时,获取与该关键词对应的特效,根据预设的加载条件和预设的加载参数将获取到的该特效加载到该视频通话中,从而降低了用户在视频通话过程中使用特效的操作复杂度,减少了用户在使用特效时的互动障碍,进而提升了用户体验。
附图说明
图1是本发明实施例一提供的基于穿戴式设备的视频特效互动方法的实现流程图;
图2是本发明实施例二提供的基于穿戴式设备的视频特效互动方法的实现流程图;
图3是本发明实施例三提供的基于穿戴式设备的视频特效互动方法的实现流程图;
图4是本发明实施例四提供的基于穿戴式设备的视频特效互动装置的结构示意图;
图5是本发明实施例五提供的基于穿戴式设备的视频特效互动装置的结构示意图;
图6是本发明实施例六提供的基于穿戴式设备的视频特效互动装置的结构示意图;以及
图7是本发明实施例七提供的穿戴式设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的基于穿戴式设备的视频特效互动方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,当检测到穿戴式设备与终端进行视频通话时,获取该视频通话的语音。
本发明实施例适用于穿戴式设备,该穿戴式设备应该具有视频通话功能,具体地,在获取该视频通话的语音时,可以获取穿戴式设备用户的语音和终端用户的语音,以便于后续对视频通话的语音进行深度分析。
在步骤S102中,对获取到的该语音进行语义识别,以获取该语音中的关键词。
在本发明实施例中,在对获取到的该语音进行语义识别时,可以对语音的用户身份不作区分,具体地,可以将获取到的语音进行分段处理,得到多个语音片段,然后将每个语音片段转换为文本,再将该文本进行语义分析,生成分析结果,该分析结果中包含该语音片段的关键词,获取到的关键词可以为一个,也可以为多个,在对获取到的该语音进行语义识别,以获取该语音中的关键词之后,优选地,对获取到的关键词进行等级划分,该关键词等级包括第一关键词和第二关键词,以便于后续根据关键词等级快速确认相应的特效,提高特效的确认效率,当然,在对获取到的关键词分配三个或者更多等级,在此不作限定。
作为示例地,若获取到的视频通话语音片段对应的文本文字内容包含:“过年了,祝您节日快乐!”,则获取到的语音的关键词包含第一关键词“节日快乐”和第二关键词“新年”、“春节”。
在对获取到的该语音进行语义识别时,也可以对语音的用户身份进行区分,然后将通话双方中一方的用户语音作为语义识别的基本语音,对方的语音作为语义识别的辅助语音,例如,将穿戴式设备用户的语音作为语义识别的基本语音,终端用户的语音作为辅助语义识别的语音。具体地,在对获取到的该语音进行语义识别前,可以首先建立穿戴式设备用户的语音识别模型,将获取到的语音与已建立的语音识别模型进行匹配,以确定获取到的视频通话中的语音的用户身份,然后根据上述语义识别方法,对获取到的通话双方的用户语音分别进行语义识别,可以首先对基本语音进行语义识别,获取第一关键词,然后再对辅助语音进行语义识别,获取第二关键词,该第一关键词和第二关键词即为最终关键词。
在步骤S103中,将获取到的该关键词与预设的特效名称进行匹配,得出匹配相似度。
在本发明实施例中,穿戴式设备中建立有特效库,该预设的特效保存于该特效库中,每个具体的特效对应一个具体地特效名称,所有的特效名可以单独存放在一个特效名称库,然后将获取到的该关键词与该特效名称库中的名称逐一进行匹配,并得出具体的匹配相似度。
在将获取到的该关键词与预设的特效名称进行匹配前,可以对特效进行分类,例如,节日祝福类、打招呼类、卡通动画类等,基于步骤S102中对获取到的关键词分配等级,在将获取到的该关键词与预设的特效名称进行匹配时,优选地,根据获取到的第一关键词和预设的特效名称进行匹配,得出第二匹配相似度,当第二匹配相似度大于预设的第二相似度阈值时,获取该第一关键词对应的特效名称所属的分类,基于第一关键词,将获取到的第二关键词与该分类下的特效名称进行匹配,得到第一匹配相似度,将该第一匹配相似度作为最终的匹配相似度,从而提高了匹配相似度的计算精确度。
作为示例地,获取到的关键词为第一关键词“节日快乐”和第二关键词“新年”、“春节”,预设的特效“节日快乐”和“新年快乐”所属的特效分类为节日祝福类,第一等级相似度阈值为50%,首先将第一关键词与上述特效名称进行匹配,得到第二匹配相似度100%和80%,进一步地,基于第一关键词,将第二关键词“新年”、“春节”与该分类下的特效名称“节日快乐”和“新年快乐”进行匹配,得出匹配相似度90%和100%。
在这里需要说明的是,该预设的特效名称可以由穿戴式设备出厂时进行统一设置,也可以由用户根据需要从穿戴式设备的官网更新或其它途径下载,在此不作限定,对于每个特效对应的特效名称,可以为***默认,优选地,特效名称支持用户根据使用习惯进行修改,从而满足了用户实际通话过程中对特效的实际互动需求,提升了用户体验。
在步骤S104中,当该匹配相似度度大于预设的相似度阈值时,获取与该关键词对应的特效。
在本发明实施例中,该预设的相似度阈值可以为一个具体的值,例如,80%,在得出匹配相似度后,将得出的匹配相似度与该预设的相似度阈值进行比较,当匹配相似度大于该预设的相似度阈值时,获取该关键词进行相似度比较时对应的特效名称,并将该特效名称对应的特效作为关键词对应的一个或者多个特效,该特效可以包括动画特效、贴纸特效和文本特效的一种或者多种,当然,该特效还可以包括上述以外的特效,在此不作限定。
在获取与该关键词对应的特效前,优选地,获取该视频通话的场景参数,根据该场景参数获取与该关键词对应的特效,以提高获取关键词对应的特效的准确度。具体地,该场景参数可以包括视频通话的时间参数(例如,当前日期、时间、节假日等)、天气参数(例如,晴天/雨雪天、温度、风向风速等),还可以包括视频聊天时的用户情绪(例如,伤心、兴奋、激动等)、用户性别和用户地理位置等其中一种或多种参数,当然,还可以包括上述以外参数,例如,用户年龄、用户的特效使用习惯等,在此不作限定。
作为示例地,关键词“好冷”对应的动画特效包括刮风、下雨和下雪,对应的贴纸特效包括被子,若获取到的关键词为“好冷”,获取到的天气参数包含中雪,则根据该天气参数和该关键词获取到对应的特效为被子和下雪。
又一示例地,关键词“节日快乐”对应的特效包括春节快乐、端午节快乐,若获取到的关键词为“节日快乐”,获取到的时间参数包含端午节,则根据时间参数和该关键词获取到对应的特效为端午节快乐。
在步骤S105中,根据预设的加载条件和预设的加载参数将获取到的该特效加载到该视频通话中。
在本发明实施例中,在根据预设的加载条件和预设的加载参数将获取到的该特效加载到该视频通话中前,可以由用户设置加载条件,该加载条件可以为当满足预设目标的加载条件时自动将特效自动加载到视频通话中,也可以为用户输入的加载请求。
当加载条件为当满足预设的目标时自动将特效自动加载到视频通话中时,具体的,该预设的目标可以为获取到的与关键词对应的特效满足预设的数量(例如,小于等于三个),或者对获取到的与关键词对应的特效根据匹配相似度进行优先级排序后满足预设数量的特效(例如,优先级最高的一个),也可以为获取到的特效对应的匹配相似度满足预设的相似度范围(例如,大于等于90%),当然,还可以为上述两个或者以上的条件组合,在此不作限定。优选地,当该匹配相似度等于100%时,获取与该关键词对应的特效,根据预设的加载参数将获取到的该特效加载到该视频通话中。
在根据预设的加载条件和预设的加载参数将获取到的该特效加载到该视频通话中时,该预设的加载参数可以包括预设的加载位置、预设的加载时长以及预设的加载尺寸等一种或者多种参数,每个特效可能对应不同的加载参数。
在根据预设的加载条件和预设的加载参数将获取到的该特效加载到该视频通话中之后,优选地,将已加载的特效添加到常用特效添加到常用特效库中,以便于用户后续根据使用习惯快速选择。
在本发明实施例中,当检测到穿戴式设备与终端进行视频通话时,获取该视频通话的语音,对获取到的该语音进行语义识别,以获取该语音中的关键词,将获取到的该关键词与预设的特效名称进行匹配,得出匹配相似度,当该匹配相似度度大于预设的相似度阈值时,获取与该关键词对应的特效,根据预设的加载条件和预设的加载参数将获取到的该特效加载到该视频通话中,从而降低了用户在视频通话过程中使用特效的操作复杂度,减少了用户在使用特效时的互动障碍,进而提升了用户体验。
实施例二:
图2示出了本发明实施例二提供的基于穿戴式设备的视频特效互动方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S201中,当检测到穿戴式设备与终端进行视频通话时,获取该视频通话的语音。
在步骤S202中,对获取到的该语音进行语义识别,以获取该语音中的关键词。
在步骤S203中,将获取到的该关键词与预设的特效名称进行匹配,得出匹配相似度。
在步骤S204中,当该匹配相似度度大于预设的相似度阈值时,获取与该关键词对应的特效。
在本发明实施例中,步骤S201-S204的实施方式可对应参考前述实施例一中步骤S101-S104的描述,在此不再赘述。
在步骤S205中,将获取到的该特效在视频通话界面的备选区域进行显示。
在本发明实施例中,在将获取到的该特效在视频通话界面的备选区域进行显示时,当获取到的特效为多个时,可以根据匹配相似度对获取到的该特效进行优先级排序,然后根据该优先级排序结果将获取到的该特效在视频通话界面的备选区域进行显示,以便于用户对特效进行快速选择。在对获取到的该特效进行优先级排序时,还可以判断获取到的该特效是否存在于常用特效库中,根据判断结果和匹配相似度对获取到的该特效进行优先级排序,进一步提高了优先级排序的准确度。
在步骤S206中,当接收到穿戴式设备用户通过该备选区域输入的特效加载请求时,根据预设的加载参数将获取到的该特效加载到该视频通话中。
在本发明实施例中,在预设的加载参数将获取到的该特效加载到该视频通话中时,该预设的加载参数可以包括预设的加载位置、预设的加载时间以及预设的加载尺寸等参数,在此不作限定。
在根据预设的加载条件和预设的加载参数将获取到的该特效加载到该视频通话中之后,优选地,将已加载的特效添加到常用特效添加到常用特效库中,以便于用户后续根据使用习惯快速选择。
在本发明实施例中,通过将获取到的该特效在视频通话界面的备选区域进行显示,当接收到穿戴式设备用户通过该备选区域输入的特效加载请求时,根据预设的加载参数将获取到的该特效加载到该视频通话中,提高了特效加载到视频通话中的准确度,进而提升了用户体验。
实施例三:
图3示出了本发明实施例三提供的基于穿戴式设备的视频特效互动方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S301中,当检测到穿戴式设备与终端进行视频通话时,获取该视频通话的语音。
在步骤S302中,对获取到的该语音进行语义识别,以获取该语音中的关键词。
在步骤S303中,将获取到的该关键词与预设的特效名称进行匹配,得出匹配相似度。
在步骤S304中,当该匹配相似度度大于预设的相似度阈值时,获取与该关键词对应的特效。
在本发明实施例中,步骤S301-S304的实施方式可对应参考前述实施例一中步骤S101-S104的描述,在此不再赘述。
在步骤S305中,获取该视频通话的图像帧,对获取到的该图像帧进行图像识别,计算获取到的该特效在该图像帧中的加载参数。
在本发明实施例中,可以将获取到与获取与该关键词对应的特效的时间获取视频通话中的图像帧,然后根据获取到的该特效的预设的加载规则计算获取到的该特效在该图像帧中的加载参数,该预设的加载规则可以包括特效在图像帧中的比例,在图像帧中的加载关键点,以及特效的参考点与关键点的位置关系(例如,在关键点正上方,距离为该特效在图像帧中的加载尺寸的1/10),还可以包括上述以外的加载参数,例如,倾斜度,在此不作限定。
在步骤S306中,根据计算得到的加载参数以及预设的加载条件将获取到的该特效加载到该视频通话中。
在本发明实施例中,步骤S306的实施方式可对应参考前述实施例一中步骤S105的描述,在此不再赘述,在这里需要说明的是,本发明实施例中的加载参数为计算得出,在将获取到的该特效加载到该视频通话中时,还可以实时获取该视频通话的图像帧,对获取到的该图像帧进行图像识别,以更新上述加载参数,以实现特效对图像中的加载关键点的智能追踪显示。
实施例四:
图4示出了本发明实施例四提供的基于穿戴式设备的视频特效互动装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
语音获取单元41,用于当检测到穿戴式设备与终端进行视频通话时,获取该视频通话的语音;
语义识别单元42,用于对获取到的该语音进行语义识别,以获取该语音中的关键词;
相似度计算单元43,用于将获取到的该关键词与预设的特效名称进行匹配,得出匹配相似度;
特效获取单元44,用于当该匹配相似度度大于预设的相似度阈值时,获取与该关键词对应的特效;以及
特效加载单元45,用于根据预设的加载条件和预设的加载参数将获取到的该特效加载到该视频通话中。
在本发明实施例中,基于穿戴式设备的视频特效互动装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。基于穿戴式设备的视频特效互动装置的各单元的具体实施方式可参考前述方法实施例一的描述,在此不再赘述。
实施例五:
图5示出了本发明实施例五提供的基于穿戴式设备的视频特效互动装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
语音获取单元51,用于当检测到穿戴式设备与终端进行视频通话时,获取该视频通话的语音;
语义识别单元52,用于对获取到的该语音进行语义识别,以获取该语音中的关键词;
相似度计算单元43,用于将获取到的该关键词与预设的特效名称进行匹配,得出匹配相似度;
特效获取单元54,用于当该匹配相似度度大于预设的相似度阈值时,获取与该关键词对应的特效;
特效显示单元55,用于将获取到的该特效在视频通话界面的备选区域进行显示;以及
第一特效加载单元56,用于当接收到穿戴式设备用户通过该备选区域输入的特效加载请求时,根据预设的加载参数将获取到的该特效加载到该视频通话中。
在本发明实施例中,基于穿戴式设备的视频特效互动装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。基于穿戴式设备的视频特效互动装置的各单元的具体实施方式可参考前述方法实施例二的描述,在此不再赘述。
实施例六:
图6示出了本发明实施例六提供的基于穿戴式设备的视频特效互动装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
语音获取单元61,用于当检测到穿戴式设备与终端进行视频通话时,获取该视频通话的语音;
语义识别单元62,用于对获取到的该语音进行语义识别,以获取该语音中的关键词;
相似度计算单元63,用于将获取到的该关键词与预设的特效名称进行匹配,得出匹配相似度;
特效获取单元64,用于当该匹配相似度度大于预设的相似度阈值时,获取与该关键词对应的特效;
参数计算单元65,用于获取该视频通话的图像帧,对获取到的该图像帧进行图像识别,计算获取到的该特效在该图像帧中的加载参数;以及
第二特效加载单元66,用于根据预设的加载条件以及计算出的加载参数将获取到的该特效加载到该视频通话中。
在本发明实施例中,基于穿戴式设备的视频特效互动装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。基于穿戴式设备的视频特效互动装置的各单元的具体实施方式可参考前述方法实施例三的描述,在此不再赘述。
实施例七:
图7示出了本发明实施例五提供的穿戴式设备的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的穿戴式设备7包括处理器70、存储器71以及存储在存储器71中并可在处理器70上运行的计算机程序72。该处理器70执行计算机程序72时实现上述各方法实施例中的步骤,例如图1所示的步骤S101至S105。或者,处理器70执行计算机程序72时实现上述各装置实施例中各单元的功能,例如图4所示单元41至45的功能。
在本发明实施例中,当检测到穿戴式设备与终端进行视频通话时,获取所述视频通话的语音,对获取到的所述语音进行语义识别,以获取所述语音中的关键词,将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度,当所述匹配相似度度大于预设的相似度阈值时,获取与所述关键词对应的特效,根据预设的加载条件和预设的加载参数将获取到的所述特效加载到所述视频通话中,从而降低了用户在视频通话过程中使用特效的操作复杂度,减少了用户在使用特效时的互动障碍,进而提升了用户体验。
实施例八:
在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例中的步骤,例如,图1所示的步骤S101至S105。或者,该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能,例如图4所示单元41至45的功能。
在本发明实施例中,当检测到穿戴式设备与终端进行视频通话时,获取所述视频通话的语音,对获取到的所述语音进行语义识别,以获取所述语音中的关键词,将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度,当所述匹配相似度度大于预设的相似度阈值时,获取与所述关键词对应的特效,根据预设的加载条件和预设的加载参数将获取到的所述特效加载到所述视频通话中,从而降低了用户在视频通话过程中使用特效的操作复杂度,减少了用户在使用特效时的互动障碍,进而提升了用户体验。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质,例如,ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于穿戴式设备的视频特效互动方法,其特征在于,所述方法包括下述步骤:
当检测到穿戴式设备与终端进行视频通话时,获取所述视频通话的语音;
对获取到的所述语音进行语义识别,以获取所述语音中的关键词;
将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度;
当所述匹配相似度度大于预设的相似度阈值时,获取与所述关键词对应的特效;
根据预设的加载条件和预设的加载参数将获取到的所述特效加载到所述视频通话中。
2.如权利要求1所述的方法,其特征在于,所述获取与所述关键词对应的特效的步骤之前,包括:
获取所述视频通话的场景参数;
根据所述场景参数获取与所述关键词对应的特效。
3.如权利要求1所述的方法,其特征在于,所述将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度的步骤之后,包括:
当所述匹配相似度等于100%时,获取与所述关键词对应的特效;
根据预设的加载参数将获取到的所述特效加载到所述视频通话中。
4.如权利要求1所述的方法,其特征在于,所述获取与所述关键词对应的特效的步骤之后,包括:
将获取到的所述特效在视频通话界面的备选区域进行显示;
当接收到穿戴式设备用户通过所述备选区域输入的特效加载请求时,根据预设的加载参数将获取到的所述特效加载到所述视频通话中。
5.如权利要求1所述的方法,其特征在于,所述获取与所述关键词对应的特效的步骤之后,还包括:
获取所述视频通话的图像帧,对获取到的所述图像帧进行图像识别,计算获取到的所述特效在所述图像帧中的加载参数;
根据预设的加载条件以及计算出的加载参数将获取到的所述特效加载到所述视频通话中。
6.一种基于穿戴式设备的视频特效互动装置,其特征在于,所述装置包括:
语音获取单元,用于当检测到穿戴式设备与终端进行视频通话时,获取所述视频通话的语音;
语义识别单元,用于对获取到的所述语音进行语义识别,以获取所述语音中的关键词;
相似度计算单元,用于将获取到的所述关键词与预设的特效名称进行匹配,得出匹配相似度;
特效获取单元,用于当所述匹配相似度度大于预设的相似度阈值时,获取与所述关键词对应的特效;以及
特效加载单元,用于根据预设的加载条件和预设的加载参数将获取到的所述特效加载到所述视频通话中。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
特效显示单元,用于将获取到的所述特效在视频通话界面的备选区域进行显示;以及
第一特效加载单元,用于当接收到穿戴式设备用户通过所述备选区域输入的特效加载请求时,根据预设的加载参数将获取到的所述特效加载到所述视频通话中。
8.如权利要求6所述的装置,其特征在于,所述装置还包括:
参数计算单元,用于获取所述视频通话的图像帧,对获取到的所述图像帧进行图像识别,计算获取到的所述特效在所述图像帧中的加载参数;以及
第二特效加载单元,用于根据预设的加载条件以及计算出的加载参数将获取到的所述特效加载到所述视频通话中。
9.一种穿戴式设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201910327776.7A 2019-04-23 2019-04-23 基于穿戴式设备的视频特效互动方法、装置、设备及介质 Active CN109996026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910327776.7A CN109996026B (zh) 2019-04-23 2019-04-23 基于穿戴式设备的视频特效互动方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910327776.7A CN109996026B (zh) 2019-04-23 2019-04-23 基于穿戴式设备的视频特效互动方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN109996026A true CN109996026A (zh) 2019-07-09
CN109996026B CN109996026B (zh) 2021-01-19

Family

ID=67135081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910327776.7A Active CN109996026B (zh) 2019-04-23 2019-04-23 基于穿戴式设备的视频特效互动方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN109996026B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176440A (zh) * 2019-11-22 2020-05-19 广东小天才科技有限公司 一种视频通话方法及可穿戴设备
CN111416955A (zh) * 2020-03-16 2020-07-14 维沃移动通信有限公司 一种视频通话方法及电子设备
CN111770375A (zh) * 2020-06-05 2020-10-13 百度在线网络技术(北京)有限公司 视频处理方法、装置、电子设备及存储介质
CN112702625A (zh) * 2020-12-23 2021-04-23 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN113450804A (zh) * 2021-06-23 2021-09-28 深圳市火乐科技发展有限公司 语音可视化方法、装置、投影设备及计算机可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266746A (ja) * 2003-03-04 2004-09-24 Megachips System Solutions Inc 画像音声通信システム
US7681213B2 (en) * 2001-05-16 2010-03-16 Sony Corporation Content distribution system, content distribution control apparatus, content distribution control method, content distribution control program and content distribution control program storage medium
CN103354522A (zh) * 2013-06-28 2013-10-16 华为技术有限公司 一种多级流表查找方法和装置
CN104428766A (zh) * 2012-07-03 2015-03-18 三菱电机株式会社 语音识别装置
CN104618875A (zh) * 2015-02-06 2015-05-13 掌赢信息科技(上海)有限公司 一种消息发送方法和电子设备
CN104780459A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的特效加载方法和电子设备
CN105653142A (zh) * 2016-01-07 2016-06-08 厦门美图之家科技有限公司 基于区域和用户属性的图像特效排序方法及***
US20160358629A1 (en) * 2013-05-02 2016-12-08 FreshTake Media, Inc. Interactive real-time video editor and recorder
CN107864357A (zh) * 2017-09-28 2018-03-30 努比亚技术有限公司 视频通话特效控制方法、终端及计算机可读存储介质
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
CN108986790A (zh) * 2018-09-29 2018-12-11 百度在线网络技术(北京)有限公司 语音识别联系人的方法和装置
CN109040615A (zh) * 2018-08-10 2018-12-18 北京微播视界科技有限公司 视频特效添加方法、装置、终端设备及计算机存储介质
CN109062986A (zh) * 2018-06-29 2018-12-21 深圳市彬讯科技有限公司 一种标签的分类处理方法及装置
WO2019024750A1 (zh) * 2017-08-03 2019-02-07 腾讯科技(深圳)有限公司 视频通信的方法、装置、终端及计算机可读存储介质
CN109474844A (zh) * 2017-09-08 2019-03-15 腾讯科技(深圳)有限公司 视频信息处理方法及装置、计算机设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7681213B2 (en) * 2001-05-16 2010-03-16 Sony Corporation Content distribution system, content distribution control apparatus, content distribution control method, content distribution control program and content distribution control program storage medium
JP2004266746A (ja) * 2003-03-04 2004-09-24 Megachips System Solutions Inc 画像音声通信システム
CN104428766A (zh) * 2012-07-03 2015-03-18 三菱电机株式会社 语音识别装置
US20160358629A1 (en) * 2013-05-02 2016-12-08 FreshTake Media, Inc. Interactive real-time video editor and recorder
CN103354522A (zh) * 2013-06-28 2013-10-16 华为技术有限公司 一种多级流表查找方法和装置
CN104618875A (zh) * 2015-02-06 2015-05-13 掌赢信息科技(上海)有限公司 一种消息发送方法和电子设备
CN104780459A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的特效加载方法和电子设备
CN105653142A (zh) * 2016-01-07 2016-06-08 厦门美图之家科技有限公司 基于区域和用户属性的图像特效排序方法及***
WO2019024750A1 (zh) * 2017-08-03 2019-02-07 腾讯科技(深圳)有限公司 视频通信的方法、装置、终端及计算机可读存储介质
CN109474844A (zh) * 2017-09-08 2019-03-15 腾讯科技(深圳)有限公司 视频信息处理方法及装置、计算机设备
CN107864357A (zh) * 2017-09-28 2018-03-30 努比亚技术有限公司 视频通话特效控制方法、终端及计算机可读存储介质
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
CN109062986A (zh) * 2018-06-29 2018-12-21 深圳市彬讯科技有限公司 一种标签的分类处理方法及装置
CN109040615A (zh) * 2018-08-10 2018-12-18 北京微播视界科技有限公司 视频特效添加方法、装置、终端设备及计算机存储介质
CN108986790A (zh) * 2018-09-29 2018-12-11 百度在线网络技术(北京)有限公司 语音识别联系人的方法和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176440A (zh) * 2019-11-22 2020-05-19 广东小天才科技有限公司 一种视频通话方法及可穿戴设备
CN111176440B (zh) * 2019-11-22 2024-03-19 广东小天才科技有限公司 一种视频通话方法及可穿戴设备
CN111416955A (zh) * 2020-03-16 2020-07-14 维沃移动通信有限公司 一种视频通话方法及电子设备
CN111416955B (zh) * 2020-03-16 2022-03-04 维沃移动通信有限公司 一种视频通话方法及电子设备
CN111770375A (zh) * 2020-06-05 2020-10-13 百度在线网络技术(北京)有限公司 视频处理方法、装置、电子设备及存储介质
JP2021193559A (ja) * 2020-06-05 2021-12-23 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体
JP7263660B2 (ja) 2020-06-05 2023-04-25 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体
US11800042B2 (en) 2020-06-05 2023-10-24 Baidu Online Network Technology (Beijing) Co., Ltd. Video processing method, electronic device and storage medium thereof
CN112702625A (zh) * 2020-12-23 2021-04-23 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN112702625B (zh) * 2020-12-23 2024-01-02 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN113450804A (zh) * 2021-06-23 2021-09-28 深圳市火乐科技发展有限公司 语音可视化方法、装置、投影设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109996026B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN109996026A (zh) 基于穿戴式设备的视频特效互动方法、装置、设备及介质
US11637797B2 (en) Automated image processing and content curation
CN102782751B (zh) 社会网络中的数字媒体语音标签
CN109145104B (zh) 用于对话交互的方法和装置
US20110096992A1 (en) Method, apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
CN103918247A (zh) 基于背景环境的智能手机传感器逻辑
CN110781305A (zh) 基于分类模型的文本分类方法及装置,以及模型训练方法
CN110765294B (zh) 图像搜索方法、装置、终端设备及存储介质
CN110990598B (zh) 资源检索方法、装置、电子设备及计算机可读存储介质
CN112052333A (zh) 文本分类方法及装置、存储介质和电子设备
KR20230025917A (ko) 여행과 연관된 증강 현실 기반 음성 번역
CN113806588A (zh) 搜索视频的方法和装置
CN111625649A (zh) 文本处理方法、装置、电子设备及介质
CN112988671A (zh) 媒体文件处理方法、装置、可读介质及电子设备
CN111950255B (zh) 诗词生成方法、装置、设备及存储介质
CN111753917A (zh) 数据处理方法、装置及存储介质
US10880604B2 (en) Filter and prevent sharing of videos
CN110827085A (zh) 文本处理方法、装置及设备
CN110442803A (zh) 由计算设备执行的数据处理方法、装置、介质和计算设备
CN113849723A (zh) 搜索方法及搜索装置
CN113726942A (zh) 一种智能电话接听方法、***、介质及电子终端
CN112446214A (zh) 广告关键词的生成方法、装置、设备及存储介质
CN117290605A (zh) 一种车载智能场景推荐方法、装置、设备和介质
CN112446208A (zh) 广告标题的生成方法、装置、设备和存储介质
CN112036307A (zh) 图像处理方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant