CN111865766A - 基于音像传输的互动方法、介质、设备及*** - Google Patents

基于音像传输的互动方法、介质、设备及*** Download PDF

Info

Publication number
CN111865766A
CN111865766A CN202010700187.1A CN202010700187A CN111865766A CN 111865766 A CN111865766 A CN 111865766A CN 202010700187 A CN202010700187 A CN 202010700187A CN 111865766 A CN111865766 A CN 111865766A
Authority
CN
China
Prior art keywords
audio
information
video data
comment
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010700187.1A
Other languages
English (en)
Other versions
CN111865766B (zh
Inventor
应臻恺
徐婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pateo Connect and Technology Shanghai Corp
Original Assignee
Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pateo Electronic Equipment Manufacturing Co Ltd filed Critical Shanghai Pateo Electronic Equipment Manufacturing Co Ltd
Priority to CN202010700187.1A priority Critical patent/CN111865766B/zh
Publication of CN111865766A publication Critical patent/CN111865766A/zh
Application granted granted Critical
Publication of CN111865766B publication Critical patent/CN111865766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种基于音像传输的互动方法、介质、设备及***，所述基于音像传输的互动方法包括：获取与音像数据对应的互动信息，并进行识别；根据识别结果确定所述互动信息所属的评论类别；在预设的效果素材库中查找与所述评论类别一致的特效信息；将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的反馈信息。本发明提供一种异地双方针对分享的音像数据进行形象化互动的方法，有效地实现了异地双方的情感沟通。

Description

基于音像传输的互动方法、介质、设备及***
技术领域
本发明属于音像识别的技术领域，涉及一种基于基于音像识别的互动方法，特别是涉及一种基于音像传输的互动方法、介质、设备及***。
背景技术
伴随着新经济的发展，互联网逐渐成为了世界的主导，在短短数十年的时间里，网络变得越来越完善，它拉近了人与人之间的距离，使我们的地球变成了一个真正的“村落”，让更多的人体会到了“身隔千里远，情系一线间”的便捷。网络的发展也促进了通讯手段的变化，传统的交流方式已经不能满足人们的要求。从E-mai到智能手机，网络带来了通讯速度的提升，降低了通讯成本，更改变了传统网络通讯的质量和形式，使交流不再只是局限于普通语言文字，利用视频让天各一方的朋友能够彼此相见。
目前，用户之间可以通过多种社交软件进行语音互动和视频互动，而大多数社交软件皆依赖于常见的手机、电脑等设备，由此，用户之间进行交互所依赖的设备比较单一，进而使得用户之间的沟通形式比较单一。
在现有技术中，用户之间进行语音互动和视频互动仅能单纯的还原对方的反馈信息，而不能对其进行处理后，增强对方的反馈效果。
因此，如何提供一种基于音像传输的互动方法、介质、设备及***，以解决现有技术无法对用户双方的互动信息进一步识别并增强互动效果等缺陷，成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于音像传输的互动方法、介质、设备及***，用于解决现有技术无法对用户双方的互动信息进一步识别并增强互动效果的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种基于音像传输的互动方法，所述基于音像传输的互动方法包括：获取与音像数据对应的互动信息，并进行识别；根据识别结果确定所述互动信息所属的评论类别；在预设的效果素材库中查找与所述评论类别一致的特效信息；将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的反馈信息。
于本发明的一实施例中，所述互动信息包括语音互动信息和/或图像互动信息；获取与音像数据对应的互动信息，并进行识别的步骤包括：对所述语音互动信息进行语义识别，确定用户的评论语气与评论心情；和/或对所述图像互动信息进行图像识别，确定用户的评论表情及评论动作。
于本发明的一实施例中，根据识别结果判断互动信息所属的评论类别的步骤包括：对所述评论语气、评论心情、评论表情及评论动作中的一种或多种进行评论属性的划分；将所述评论属性进行去重优化处理，以将互不相同的评论属性作为所述评论类别。
于本发明的一实施例中，在预设的效果素材库中查找与所述评论类别一致的特效信息的步骤包括：在所述预设的效果素材库中调取与所述评论类别一致的声效信息；和/或在所述预设的效果素材库中调取与所述评论类别一致的动画信息；根据所述声效信息和动画信息中的至少一种生成所述特效信息。
于本发明的一实施例中，在将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的反馈信息的步骤之后，所述基于音像传输的互动方法还包括：发送与所述音像数据对应的所述互动信息、特效信息和反馈信息的其中一种。
于本发明的一实施例中，所述基于音像传输的互动方法还包括：根据不同来源的互动信息与所述特效信息生成多个所述反馈信息；将多个所述反馈信息按照时间顺序生成弹幕信息并发送所述弹幕信息，以供所述音像数据的发起方浏览多人的反馈情况。
本发明另一方面提供一种介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于音像传输的互动方法。
本发明又一方面提供一种设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述的基于音像传输的互动方法。
本发明最后一方面提供一种基于音像传输的互动***，所述基于音像传输的互动***包括：车机端，用于发送音像数据，接收与所述音像数据对应的信息或接收音像数据，发送与所述音像数据对应的所述信息；所述信息为互动信息、特效信息和反馈信息的其中一种；客户端，用于接收音像数据，发送与所述音像数据对应的所述信息或发送音像数据，接收与所述音像数据对应的所述信息；服务端，分别与所述车机端和移动客户端通信连接，用于传输音像数据以及获取与音像数据对应的所述互动信息，并进行识别；根据识别结果确定所述互动信息所属的评论类别；在预设的效果素材库中查找与所述评论类别一致的所述特效信息；将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的所述反馈信息。
于本发明的一实施例中，所述客户端为家中的智能设备：所述智能设备为电视、外置摄像头与智能音箱结合的一体设备，用于接收音像数据，发送与所述音像数据对应的所述信息或发送音像数据，接收与所述音像数据对应的所述信息。
如上所述，本发明所述的基于音像传输的互动方法、介质、设备及***，具有以下有益效果：
本发明突破手机、电脑等单一设备的限制，通过异地双方可应用的多种网络设备更便捷地进行语音互动与视频互动。本发明还提供一种异地双方针对分享的音像数据进行形象化互动的方法，对用户双方的互动信息进一步识别并增强互动效果，有效地实现了异地双方的情感沟通，提高了用户之间互动时的设备体验。
附图说明
图1显示为本发明的基于音像传输的互动方法于一实施例中的原理流程图。
图2显示为本发明的基于音像传输的互动方法于一实施例中的互动信息识别流程图。
图3显示为本发明的基于音像传输的互动方法于一实施例中的评论类别流程示意图。
图4显示为本发明的基于音像传输的互动方法于一实施例中的反馈信息生成示意图。
图5显示为本发明的车机端于一实施例中的结构示意图。
图6显示为本发明的客户端于一实施例中的结构示意图。
图7显示为本发明的服务端于一实施例中的结构示意图。
图8显示为本发明的基于音像传输的互动***于一实施例中的车主音像数据传输示意图。
图9显示为本发明的基于音像传输的互动***于一实施例中的家中音像数据传输示意图。
图10显示为本发明的基于音像传输的互动***于一实施例中的结构原理图。
元件标号说明
5 车机端
6 客户端
7 服务端
71 处理器
72 存储器
73 通信接口
74 ***总线
S11～S14 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明所述的基于音像传输的互动方法提供了一种异地双方针对分享的音像数据进行形象化互动的方法，有效地实现了异地双方的情感沟通。
以下将结合图1至图10详细阐述本实施例的一种基于音像传输的互动方法、介质、设备及***的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的基于音像传输的互动方法、介质、设备及***。
请参阅图1，显示为本发明的基于音像传输的互动方法于一实施例中的原理流程图。如图1所示，所述基于音像传输的互动方法具体包括以下几个步骤：
S11，获取与音像数据对应的互动信息，并进行识别。
在本实施例中，所述音像数据包括语音数据、图片数据和视频数据中的至少一种。所述互动信息包括语音互动信息和/或图像互动信息。
具体地，语音互动信息为“Wow，太棒了！”，图像互动信息包括手势信息和脸部信息。所述手势信息包括：大拇指与食指弯曲的OK手势、大拇指竖起的点赞手势、大拇指与食指交叉的比心手势等。脸部信息包括脸部的表情信息和脸部动作信息，其中，脸部表情信息包括喜怒哀乐等表情，脸部动作信息包括噘嘴亲亲的动作。
请参阅图2，显示为本发明的基于音像传输的互动方法于一实施例中的互动信息识别流程图。如图2所示，S11包括：
(1)对所述语音互动信息进行语义识别，确定用户的评论语气与评论心情。和/或
具体地，对语音互动信息“Wow，太棒了！”进行语义识别，则判定用户的评论语气为高兴，评论心情为赞美。
(2)对所述图像互动信息进行图像识别，确定用户的评论表情及评论动作。
具体地，对脸部动作信息噘嘴亲亲的动作进行图像识别，则判定用户的评论表情为喜欢；对大拇指与食指交叉的比心手势进行图像识别，则判定用户的评论动作为比心，也表达了用户的喜欢。
S12，根据识别结果确定所述互动信息所属的评论类别。
请参阅图3，显示为本发明的基于音像传输的互动方法于一实施例中的评论类别流程示意图。结合图3所示，S12包括：
(1)对所述评论语气、评论心情、评论表情及评论动作中的一种或多种进行评论属性的划分。
具体地，结合用户的评论语气为高兴，评论心情为赞美以及用户的评论表情为喜欢、评论动作为比心可得出评论属性为喜欢、赞美。
(2)将所述评论属性进行去重优化处理，以将互不相同的评论属性作为所述评论类别。
具体地，将喜欢和赞美两个评论属性作为评论类别。所述互不相同的评论属性是以不同的特效信息内容为参考依据进行判断的，可以通过不同的特效信息内容表示出来即为评论属性互不相同，例如，喜欢可以用爱心的特效信息，赞美可以用点赞的特效信息，两个为互不相同的评论属性。
S13，在预设的效果素材库中查找与所述评论类别一致的特效信息。
在本实施例中，S13包括：
(1)在所述预设的效果素材库中调取与所述评论类别一致的声效信息。所述声效信息包括鼓掌声、口哨声、旋律音或背景音，以及类似KTV唱歌程序中所包含的声效信息。和/或
具体地，在所述预设的效果素材库中调取与所述评论类别“喜欢”一致的声效信息(鼓掌声)。
(2)在所述预设的效果素材库中调取与所述评论类别一致的动画信息。所述动画信息包括撒花、星星、爱心以及类似各种社交软件中包含的表情图画等动画信息。
具体地，在所述预设的效果素材库中调取与所述评论类别“赞美”一致的动画信息(爱心)。
(3)根据所述声效信息和动画信息中的至少一种生成所述特效信息。
S14，将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的反馈信息。
请参阅图4，显示为本发明的基于音像传输的互动方法于一实施例中的反馈信息生成示意图。如图4所示，在效果素材库中确定声效信息和动画信息，并将声效信息和动画信息结合生成特效信息，最后将互动信息与特效信息叠加生成反馈信息。
在本实施例中，所述基于音像传输的互动方法还包括：发送与所述音像数据对应的所述互动信息、特效信息和反馈信息的其中一种。
在本实施例中，所述基于音像传输的互动方法还包括：根据不同来源的互动信息与所述特效信息生成多个所述反馈信息；将多个所述反馈信息按照时间顺序生成弹幕信息并发送所述弹幕信息，以供所述音像数据的发起方浏览多人的反馈情况。
本发明所述的基于音像传输的互动方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本实施例提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于音像传输的互动方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的计算机可读存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的计算机存储介质。
本发明所述的设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述的基于音像传输的互动方法。具体地，一个基于音像传输的互动***中，至少包括双方用户分别使用的第一设备与第二设备。所述设备具有语音输入、输出装置以及视频输入、输出装置。所述设备预先装载有可以语音互动或视频互动的社交软件应用程序或者预先装载有可以识别语音互动信息或视频互动信息并能处理互动信息的应用程序。所述设备可以是车机端、客户端、服务端或其他可用于执行所述基于音像传输的互动方法的电子设备以及用于执行所述基于音像传输的互动方法的多种电子设备的组合。
进一步地，所述特效信息可以是设备对互动信息进行解析识别后自动生成的，也可以是用户手动点击进行选择的。所述设备向用户呈现基于音像数据浏览的语音、视频交互界面，在该交互界面中设有可供用户选择特效信息的触控按键，以使用户在手动点击相应的特效信息按键后，选定该特效信息进行发送。
请参阅图5，显示为本发明的车机端于一实施例中的结构示意图。如图5所示，所述设备为车机端，包括：处理器及存储器。所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述车机端执行所述的基于音像传输的互动方法。
请参阅图6，显示为本发明的客户端于一实施例中的结构示意图。如图6所示，所述设备为客户端，包括：处理器及存储器。所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述客户端执行所述的基于音像传输的互动方法。所述客户端既包括如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等，还包括智能音箱或其他具有语音、视频功能的智能家居的物联网设备。
请参阅图7，显示为本发明的服务端于一实施例中的结构示意图。如图7所示，本实施例提供一种服务端7，所述服务端7包括：处理器71、存储器72、通信接口73或/和***总线74；存储器72和通信接口73通过***总线74与处理器71连接并完成相互间的通信，存储器72用于存储计算机程序，通信接口73用于和其他设备进行通信，处理器71用于运行计算机程序，使所述服务端7执行所述基于音像传输的互动方法的各个步骤。需要说明的是，所述服务端可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成。
上述提到的***总线74可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该***总线可以分为地址总线、数据总线、控制总线等。通信接口73用于实现数据库访问设备与其他设备(如客户端、读写库和只读库)之间的通信。存储器72可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
上述的处理器71可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(AlicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
于一实施例中，本发明所述的基于音像传输的互动***包括：车机端、客户端和服务端。
所述车机端用于发送音像数据，接收与所述音像数据对应的信息或接收音像数据，发送与所述音像数据对应的所述信息；所述信息为互动信息、特效信息和反馈信息的其中一种。
所述客户端用于接收音像数据，发送与所述音像数据对应的所述信息或发送音像数据，接收与所述音像数据对应的所述信息。
所述服务端分别与所述车机端和移动客户端通信连接，用于传输音像数据以及获取与音像数据对应的所述互动信息，并进行识别；根据识别结果确定所述互动信息所属的评论类别；在预设的效果素材库中查找与所述评论类别一致的所述特效信息；将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的所述反馈信息。
在本实施例中，所述客户端为家中的智能设备。
所述智能设备为电视、外置摄像头与智能音箱结合的一体设备，用于接收音像数据，发送与所述音像数据对应的所述信息或发送音像数据，接收与所述音像数据对应的所述信息。
在具体实施例1中，请参阅图8，显示为本发明的基于音像传输的互动***于一实施例中的车主音像数据传输示意图。如图8所示，以车主在车内收到家人的询问信息为例，音像互动的具体实现过程包括：
(1)车主的家人通过家中物联网设备发出家中语音信息“到哪里啦？什么时候回家呀？”，该家中语音信息通过服务端传送至车机端，被车主收听。
(2)车主通过车机端或车主的手机端，拍摄车内的照片或短视频，或拍摄车外环境的照片或短视频作为车主音像数据。其中，车内的照片或短视频包括车主自拍或车主与车中其他人员的拍摄信息等，车外环境包括沿途美丽风景、驾车路况等。具体的实现方式可以是车机端结合外置摄像头进行照片或短视频的获取，也可以是车主手机获取照片或短视频后同步至车机端，再由车机端将车主音像数据发送至服务端，通过服务端将该车主音像数据转发至家中物联网设备。
(3)车主的家人通过家中物联网设备接收该车主音像数据。其中，家中物联网设备包括智能电视和带屏幕显示的智能音箱。
(4)接收情况分为家中智能电视已打开的情况和家中智能电视未打开的情况。在已打开时，智能电视自动弹出提醒消息，车主的家人通过电视遥控器进行车主音像数据的查看；在未打开时，智能音箱通过语音提醒车主的家人进行车主音像数据的查看。例如，语音信息为“来自沪F HU820(车牌号)或车主的音像片段分享，现在查看么？”。
(5)家人通过打开电视进行确认后浏览车主音像数据或直接通过带屏幕显示的智能音箱进行浏览，并进行反馈。具体地，家人长按遥控器上的某个按键进行互动反馈或家人长按智能音箱的屏幕画面进行互动反馈。
针对沿途美丽风景，家人反馈语音互动信息“WoW！好美啊！”，家人反馈图像互动信息“点赞、比心”；针对通畅的路况，家人反馈语音互动信息“哇！路况真不错！”，家人反馈图像互动信息“OK手势”；针对车主和车内其他人员的合影，家人反馈语音互动信息“WoW！好棒，看到你们就开心”，家人反馈图像互动信息“点赞、比心”。
(6)家人还可以追加语音互动信息作为回复，例如“知道啦！玩的开心！”。
(7)服务端将互动信息进行识别后，结合特效信息的叠加生成反馈信息，反馈至车机端。车机端通过语音提醒车主进行反馈信息的查看。例如“家里来回音啦，现在查看么？”。
(8)车主在查看反馈信息时附带特效信息。
在具体实施例2中，请参阅图9，显示为本发明的基于音像传输的互动***于一实施例中的家中音像数据传输示意图。如图9所示，以车主家人在家中收到车主发送的询问信息为例，音像互动的具体实现过程包括：
(1)车主驾车时，向家中物联网设备发送语音信息“今晚妈妈做什么好吃的了？宝宝在干嘛呢？”。
(2)家人通过智能电视外置摄像头、智能音箱摄像头或手机微信拍摄车主想看的对应场景的家中音像数据，该家中音像数据通过服务端发送至车机端。例如，家中的美食照片、宝宝熟睡或玩耍的视频、父母逗宝宝的照片。
(3)出于安全考虑，若车主在驾车过程中，提醒车主停车后查看，或自动检测车机行驶状态，在行驶过程中自动锁定家中音像数据。
具体地，车主停车后，通过长按方向盘按键输入查看指令或车主直接发出语音查看指令。针对家中的美食照片，车主发出语音互动信息“WoW！真好吃！”、“妈妈的手艺简直太诱人了”、“好想马上吃一口”，车主发出图像互动信息“点赞、比心的手势”；针对宝宝熟睡、玩耍的视频，车主发出语音互动信息“好想TA呀！”、“真想亲一下”，车主发送图像互动信息“比心的手势”和“脸部噘嘴亲亲的动作”。
(4)服务端对车主的互动信息进行解析与特效信息叠加后反馈至家中物联网设备，家人通过家中智能电视、智能音箱等物联网设备接收车主的反馈信息。
在具体实施例3中，请参阅图10，显示为本发明的基于音像传输的互动***于一实施例中的结构原理图。如图10所示，本发明所述基于音像传输的互动***可以是一对一互动，也可以是一对多互动。图10中，一个车机端分享音像数据，通过服务端分发至多个客户端。以结婚这一具体应用场景为例，所述车机端为婚车，所述客户端为男方亲朋好友所使用的设备。当男方去女方家中接新娘时，大家都迫不及待想要看到新娘的样子，新郎将新娘接上婚车后，通过婚车车机端拍摄新郎与新娘的语音、图片或视频，并将其作为音像数据发送至多个新郎的亲朋好友所使用的设备，通过车机端的屏幕以弹幕的方式显示各个亲朋好友的评论信息，例如“新娘子好漂亮呀”、“新婚快乐”、撒花动画、鼓掌声、爱心等特效。
结合图10所示的基于音像传输的互动***，其他的具体实施例还包括过年时，正驾车返乡或远在他乡不能回家过年的用户，通过自己的车机端或其他设备向多个家人发送新年祝福以及分享自己所在地的音像数据，同时收到多个家人的反馈信息。
综上所述，本发明所述基于音像传输的互动方法、介质、设备及***突破手机、电脑等单一设备的限制，通过异地双方可应用的多种网络设备更便捷地进行语音互动与视频互动。本发明还提供一种异地双方针对分享的音像数据进行形象化互动的方法，对用户双方的互动信息进一步识别并增强互动效果，有效地实现了异地双方的情感沟通，提高了用户之间互动时的设备体验。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于音像传输的互动方法，其特征在于，所述基于音像传输的互动方法包括：
获取与音像数据对应的互动信息，并进行识别；
根据识别结果确定所述互动信息所属的评论类别；
在预设的效果素材库中查找与所述评论类别一致的特效信息；
将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的反馈信息。
2.根据权利要求1所述的基于音像传输的互动方法，其特征在于，所述互动信息包括语音互动信息和/或图像互动信息；获取与音像数据对应的互动信息，并进行识别的步骤包括：
对所述语音互动信息进行语义识别，确定用户的评论语气与评论心情；和/或
对所述图像互动信息进行图像识别，确定用户的评论表情及评论动作。
3.根据权利要求2所述的基于音像传输的互动方法，其特征在于，根据识别结果判断互动信息所属的评论类别的步骤包括：
对所述评论语气、评论心情、评论表情及评论动作中的一种或多种进行评论属性的划分；
将所述评论属性进行去重优化处理，以将互不相同的评论属性作为所述评论类别。
4.根据权利要求1所述的基于音像传输的互动方法，其特征在于，在预设的效果素材库中查找与所述评论类别一致的特效信息的步骤包括：
在所述预设的效果素材库中调取与所述评论类别一致的声效信息；和/或
在所述预设的效果素材库中调取与所述评论类别一致的动画信息；
根据所述声效信息和动画信息中的至少一种生成所述特效信息。
5.根据权利要求1所述的基于音像传输的互动方法，其特征在于，在将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的反馈信息的步骤之后，所述基于音像传输的互动方法还包括：
发送与所述音像数据对应的所述互动信息、特效信息和反馈信息的其中一种。
6.根据权利要求1所述的基于音像传输的互动方法，其特征在于，所述基于音像传输的互动方法还包括：
根据不同来源的互动信息与所述特效信息生成多个所述反馈信息；
将多个所述反馈信息按照时间顺序生成弹幕信息并发送所述弹幕信息，以供所述音像数据的发起方浏览多人的反馈情况。
7.一种介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的基于音像传输的互动方法。
8.一种设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如权利要求1至6中任一项所述的基于音像传输的互动方法。
9.一种基于音像传输的互动***，其特征在于，所述基于音像传输的互动***包括：
车机端，用于发送音像数据，接收与所述音像数据对应的信息或接收音像数据，发送与所述音像数据对应的所述信息；所述信息为互动信息、特效信息和反馈信息的其中一种；
客户端，用于接收音像数据，发送与所述音像数据对应的所述信息或发送音像数据，接收与所述音像数据对应的所述信息；
服务端，分别与所述车机端和移动客户端通信连接，用于传输音像数据以及获取与音像数据对应的所述互动信息，并进行识别；根据识别结果确定所述互动信息所属的评论类别；在预设的效果素材库中查找与所述评论类别一致的所述特效信息；将所述互动信息与所述特效信息进行叠加，生成与所述音像数据对应的所述反馈信息。
10.根据权利要求9所述的基于音像传输的互动***，其特征在于，所述客户端为家中的智能设备：
所述智能设备为电视、外置摄像头与智能音箱结合的一体设备，用于接收音像数据，发送与所述音像数据对应的所述信息或发送音像数据，接收与所述音像数据对应的所述信息。
CN202010700187.1A 2020-07-20 2020-07-20 基于音像传输的互动方法、介质、设备及*** Active CN111865766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010700187.1A CN111865766B (zh) 2020-07-20 2020-07-20 基于音像传输的互动方法、介质、设备及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010700187.1A CN111865766B (zh) 2020-07-20 2020-07-20 基于音像传输的互动方法、介质、设备及***

Publications (2)

Publication Number Publication Date
CN111865766A true CN111865766A (zh) 2020-10-30
CN111865766B CN111865766B (zh) 2024-02-02

Family

ID=73000617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010700187.1A Active CN111865766B (zh) 2020-07-20 2020-07-20 基于音像传输的互动方法、介质、设备及***

Country Status (1)

Country Link
CN (1) CN111865766B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209205A (zh) * 2022-07-08 2022-10-18 上海哔哩哔哩科技有限公司 互动动画生成、动画物料处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120163775A1 (en) * 2010-12-28 2012-06-28 Pooja Banerjee Image system
WO2015128758A1 (en) * 2014-02-26 2015-09-03 Yogesh Chunilal Rathod Request based real-time or near real-time broadcasting & sharing of captured & selected media
CN106127828A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实的处理方法、装置及移动终端
CN107516533A (zh) * 2017-07-10 2017-12-26 阿里巴巴集团控股有限公司 一种会话信息处理方法、装置、电子设备
CN110377761A (zh) * 2019-07-12 2019-10-25 深圳传音控股股份有限公司 一种增强视频体验的方法及装置
CN110413834A (zh) * 2019-06-14 2019-11-05 北京字节跳动网络技术有限公司 语音评论修饰方法、***、介质和电子设备
CN111063370A (zh) * 2019-12-31 2020-04-24 中国银行股份有限公司 一种语音处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120163775A1 (en) * 2010-12-28 2012-06-28 Pooja Banerjee Image system
WO2015128758A1 (en) * 2014-02-26 2015-09-03 Yogesh Chunilal Rathod Request based real-time or near real-time broadcasting & sharing of captured & selected media
CN106127828A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实的处理方法、装置及移动终端
CN107516533A (zh) * 2017-07-10 2017-12-26 阿里巴巴集团控股有限公司 一种会话信息处理方法、装置、电子设备
CN110413834A (zh) * 2019-06-14 2019-11-05 北京字节跳动网络技术有限公司 语音评论修饰方法、***、介质和电子设备
CN110377761A (zh) * 2019-07-12 2019-10-25 深圳传音控股股份有限公司 一种增强视频体验的方法及装置
CN111063370A (zh) * 2019-12-31 2020-04-24 中国银行股份有限公司 一种语音处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209205A (zh) * 2022-07-08 2022-10-18 上海哔哩哔哩科技有限公司 互动动画生成、动画物料处理方法及装置

Also Published As

Publication number Publication date
CN111865766B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
US8117281B2 (en) Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
CN112087655B (zh) 赠送虚拟礼物的方法、装置及电子设备
JP2020504475A (ja) ビデオデータ再生中の関連オブジェクトの提供
WO2022052749A1 (zh) 一种消息处理方法、装置、设备及存储介质
US20190102929A1 (en) Methods and systems for mediating multimodule animation events
CN113395533A (zh) 虚拟礼物特效显示方法、装置、计算机设备及存储介质
US20150117837A1 (en) Systems and methods for supplementing content at a user device
US11068971B1 (en) Method, medium, and system for virtual try-on coordination via communications sessions
CN109600628A (zh) 视频制作方法、装置、计算机设备及存储介质
KR20210130583A (ko) 인스턴트 메시징 애플리케이션을 통해 콘텐츠를 공유하는 방법 및 시스템
CN112866798B (zh) 视频生成方法、装置、设备及存储介质
CN113419800A (zh) 交互方法、装置、介质和电子设备
WO2020173284A1 (zh) 互动内容展示方法、装置、电子设备及存储介质
US20120109609A1 (en) Online media and presentation interaction method
US20230047600A1 (en) Method and system for sharing content on instant messaging application during calls
CN109325180A (zh) 文章摘要推送方法、装置、终端设备、服务器及存储介质
US20140164901A1 (en) Method and apparatus for annotating and sharing a digital object with multiple other digital objects
CN114697703B (zh) 视频数据生成方法、装置、电子设备及存储介质
WO2014097814A1 (ja) 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体
CN114610199B (zh) 会话消息处理方法、装置、存储介质以及电子设备
EP2575131A1 (en) A method for synchronized music and video dubbing
CN111865766B (zh) 基于音像传输的互动方法、介质、设备及***
TW528976B (en) Information providing system, information providing apparatus and information providing method as well as data recording medium
CN109996123A (zh) 多媒体数据的处理方法和***及存储介质、移动设备
US20160224317A1 (en) Audible photos & voice comments in digital social interactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201822 No.208, building 4, no.1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai

Applicant after: Botai vehicle networking technology (Shanghai) Co.,Ltd.

Address before: 201822 No.208, building 4, no.1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai

Applicant before: SHANGHAI PATEO ELECTRONIC EQUIPMENT MANUFACTURING Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3701, No. 866 East Changzhi Road, Hongkou District, Shanghai, 200080

Patentee after: Botai vehicle networking technology (Shanghai) Co.,Ltd.

Country or region after: China

Address before: 201822 No.208, building 4, no.1411, Yecheng Road, Jiading Industrial Zone, Jiading District, Shanghai

Patentee before: Botai vehicle networking technology (Shanghai) Co.,Ltd.

Country or region before: China