CN114844873A - 基于人工智能的物联网设备视听流实时处理*** - Google Patents

基于人工智能的物联网设备视听流实时处理*** Download PDF

Info

Publication number
CN114844873A
CN114844873A CN202210375466.4A CN202210375466A CN114844873A CN 114844873 A CN114844873 A CN 114844873A CN 202210375466 A CN202210375466 A CN 202210375466A CN 114844873 A CN114844873 A CN 114844873A
Authority
CN
China
Prior art keywords
user terminal
stream
cloud server
terminal equipment
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210375466.4A
Other languages
English (en)
Inventor
吉约姆·龙卡里
索蒂里奥斯·斯塔西诺普洛斯·索毅
安德烈·翁古雷努·安德烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenma Artificial Intelligence Technology Shenzhen Co ltd
Original Assignee
Shenma Artificial Intelligence Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenma Artificial Intelligence Technology Shenzhen Co ltd filed Critical Shenma Artificial Intelligence Technology Shenzhen Co ltd
Priority to CN202210375466.4A priority Critical patent/CN114844873A/zh
Publication of CN114844873A publication Critical patent/CN114844873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明适用于信息技术领域,提供了基于人工智能的物联网设备视听流实时处理***,包括:收集模块,所述收集模块用于收集视听流,所述收集模块通过实时流协议将视听流传输给用户终端设备;用户终端设备,所述用户终端设备用于运行WEBRTC图形客户端,所述用户终端设备通过与网络连接的方式访问收集模块和AI云服务器;AI云服务器,所述AI云服务器用于在CPU或GPU以及支持机器学习框架的计算优化芯片上进行推理。本发明通过收集模块、用户终端设备和AI云服务器对视听流进行了处理,为用户提供较好地服务,解决了因数据采集设备的处理能力带来的后续高成本的问题,同时避免了将视听流传输到用户终端设备的延迟。

Description

基于人工智能的物联网设备视听流实时处理***
技术领域
本发明属于信息技术领域,尤其涉及基于人工智能的物联网设备视听流实时处理***。
背景技术
流技术并不是一个新概念,已经创建了许多用于流视频和音频的解决方案,用于通过不同传输协议的无线连接传输数据,同样,虽然开发较晚,但可以使用其中一些协议来实现从机器人和连接/物联网设备传输视听流,但解决这些设备的连接问题并试图保持恒定传输速率的难度增加,物联网设备的计算能力有限,可能会阻碍流的快速编码。近年来随着人工智能的进步,以及处理视听数据和接收AI结果的实时性能的实现,增加的AI过程使整个流媒体过程又增加了一个复杂度,需要不同的方法。
将AI应用于连接到静态处理***的摄像头/麦克风组合的音频和视频流的一些传统成功方法,数据采集后立即进行本地处理,使用处理***的处理资源,例如独立的计算机或在连接到本地网络的本地服务器中处理流,并在通过 Internet 传输流之前通过可视化应用它们或修改音频将原始流与结果组合起来,之后最终用户可以在他们的端看到修改后的流设备。例如,某人使用 Zoom 等在线会议应用程序从他们的计算机流式传输将使用连接到计算机的摄像头和麦克风录制视频和音频,然后该应用程序将使用 AI 检测视频流中的人,将删除背景和添加虚拟背景,甚至可以在本地处理声音以去除背景噪音,并将处理后的视频和音频流传输到使用Zoom APP的另一台计算机或智能手机上观看。这个过程很常见,并且可以在 AI 模型可以在具有足够处理能力的处理单元中本地运行的***中正常工作。延迟取决于本地***的处理能力,处理能力越低延迟越大,因此为了减少延迟,本地处理***可能需要较高的成本,在我们通常没有高处理能力的低成本移动机器人或其他物联网设备的情况下,这可能会引入很大的延迟,使 AI 过程非常缓慢,并为整个流媒体体验增加很大的延迟。在某些处理能力不足的情况下,这甚至会阻碍整个过程的完成,因为设备没有足够的处理能力来完成 AI 过程,这样,传统的方法无法应用于机器人或物联网(IOT)设备。除了上述过程,还有其他方法,包括数据收集设备将视听流传输到云端服务器,并使用云端服务器的计算能力完成人工智能过程,AI 处理完成后,将结果与原始流合并,并将最终流发送到最终用户的设备进行显示。这个过程可以避免在原始本地***上进行整个AI流程和流式传输的复杂性,而且云服务器上的AI流程确实可以非常快地发生,但是使用云处理也有很大的成本。
发明内容
本发明实施例的目的在于提供基于人工智能的物联网设备视听流实时处理***,旨在解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
基于人工智能的物联网设备视听流实时处理***,包括:
收集模块,所述收集模块用于收集视听流,所述收集模块通过实时流协议将视听流传输给用户终端设备;
用户终端设备,所述用户终端设备用于运行WEBRTC图形客户端,所述用户终端设备通过与网络连接的方式访问收集模块和AI云服务器;
AI云服务器,所述AI云服务器用于在CPU或GPU以及支持机器学习框架的计算优化芯片上进行推理。
进一步的,所述收集模块为IOT设备或机器人。
进一步的,所述用户终端设备的***用于实时处理视听流、隔离视频帧序列和音频剪辑。
进一步的,所述用户终端设备与AI云服务器之间建立WEBSOCKET连接。
进一步的,所述用户终端设备从流中提取数据块,并通过WEBSOCKET将其发送到AI云服务器进行计算,所述AI云服务器通过WEBSOCKET将推理结果发送回用户终端设备进行显示。
进一步的,视听流实时处理的具体步骤如下:
1)IOT设备和用户终端设备之间的P2P连接被发起;
2)实时流在用户终端设备上接收,并直接显示给用户;
3)用户终端设备从实时流中提取数据块并发送给AI云服务器;
4)AI云服务器对数据块进行处理,并将推理结果发送回用户终端设备;
5)用户终端设备处理推理结果,并在流的顶部显示输出。
进一步的,IOT设备、用户终端设备以及AI云服务器之间交互的具体步骤如下:
a.WEBRTC握手:IOT设备和用户终端设备使用第三方服务器交换WEBRTC握手以进行发现,若握手成功,用户终端设备与AI云服务器建立WEBSOCKET连接;
b.视频流建立:IOT设备和用户终端设备正在交换视频流,视频显示在用户终端设备层上;
c.帧提取和计算:用户终端设备从视频流中提取帧,并通过WEBSOCKET将其发送到AI云服务器进行计算;
d.AI信息显示:在计算完成后,AI云服务器通过WEBSOCKET将信息发送回用户终端设备进行显示。
与现有技术相比,本发明的有益效果是:
该基于人工智能的物联网设备视听流实时处理***,通过收集模块、用户终端设备和AI云服务器对视听流进行了处理,为用户提供较好地服务,解决了因数据采集设备的处理能力带来的后续高成本的问题,同时避免了将视听流传输到用户终端设备的延迟。
附图说明
图1为基于人工智能的物联网设备视听流实时处理***的结构示意图。
图2为基于人工智能的物联网设备视听流实时处理***中的用户终端设备上的流层和 AI 显示层示意图。
图中:01-AI云服务器,02-用户终端设备,03-IOT设备。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图1和图2所示,为本发明一个实施例提供的基于人工智能的物联网设备视听流实时处理***,包括:
收集模块,所述收集模块用于收集视听流,所述收集模块通过实时流协议将视听流传输给用户终端设备02;
用户终端设备02,所述用户终端设备02用于运行WEBRTC图形客户端,所述用户终端设备02通过与网络连接的方式访问收集模块和AI云服务器01;
AI云服务器01,所述AI云服务器01用于在CPU或GPU以及支持机器学习框架的计算优化芯片上进行推理。
在本发明实施例中,优选的,用户终端设备02的***使用本地资源,通过AI云服务器01处理分离的数据流,或将分离的数据传输到云端,云端根据网络性能进行处理,处理后的结果发送回用户终端设备02,用户终端设备02将处理后的结果与原始流相结合,并重现最终流以供用户观看和收听。
如图1所示,作为本发明的一种优选实施例,所述收集模块为IOT设备03或机器人。
在本发明实施例中,优选的,视听流由机器人或物联网设备收集,并使用实时流协议直接传输到最终用户设备。
如图1所示,作为本发明的一种优选实施例,所述用户终端设备02的***用于实时处理视听流、隔离视频帧序列和音频剪辑。
在本发明实施例中,优选的,用户终端设备02的***负责处理流,隔离视频帧序列和音频剪辑,之后,***使用用户终端设备02的本地资源通过AI处理分离的流或将一些孤立的数据传输到云端,云端根据网络性能进行处理,并将结果发送回本地设备,将它们与原始流相结合,并重现最终流以供最终用户收听和观看。
如图1所示,作为本发明的一种优选实施例,所述用户终端设备02与AI云服务器01之间建立WEBSOCKET连接。
在本发明实施例中,优选的,WEBSOCKET是一种在单个TCP连接上进行全双工通信的协议。
如图1所示,作为本发明的一种优选实施例,所述用户终端设备02从流中提取数据块,并通过WEBSOCKET将其发送到AI云服务器01进行计算,所述AI云服务器01通过WEBSOCKET将推理结果发送回用户终端设备02进行显示。
在本发明实施例中,优选的,用户终端设备02具有WEBSOCKET 的支持。
如图1所示,作为本发明的一种优选实施例,视听流实时处理的具体步骤如下:
1)IOT设备03和用户终端设备02之间的P2P连接被发起;
2)实时流在用户终端设备02上接收,并直接显示给用户;
3)用户终端设备02从实时流中提取数据块并发送给AI云服务器01;
4)AI云服务器01对数据块进行处理,并将推理结果发送回用户终端设备02;
5)用户终端设备02处理推理结果,并在流的顶部显示输出。
在本发明实施例中,优选的,P2P即Peer-to-Peer的缩写,含义为“点对点”或者“端对端”,在P2P网络中,所有节点的地位都是对等的,每个节点即充当服务器,又充当客户端,这样可以缓解中心服务器压力,使得资源或任务处理更加分散化。
如图2所示,作为本发明的一种优选实施例,IOT设备03、用户终端设备02以及AI云服务器01之间交互的具体步骤如下:
a.WEBRTC握手:IOT设备和用户终端设备使用第三方服务器交换WEBRTC握手以进行发现,若握手成功,用户终端设备与AI云服务器建立WEBSOCKET连接;
b.视频流建立:IOT设备和用户终端设备正在交换视频流,视频显示在用户终端设备层上;
c.帧提取和计算:用户终端设备从视频流中提取帧,并通过WEBSOCKET将其发送到AI云服务器进行计算;
d.AI信息显示:在计算完成后,AI云服务器通过WEBSOCKET将信息发送回用户终端设备进行显示。
在本发明实施例中,优选的,用户设备将从流中提取帧并通过WEBSOCKET 连接将其发送到AI云服务器01进行计算,在此期间,仍然显示视频流,只有在收到来自 AI云服务器01的答复后,才会进行新的提取。 在计算完成后,AI云服务器01通过WEBSOCKET将信息发送回用户设备进行显示,由于视频已经显示在一个图层上,因此在其上添加另一个图层以显示 AI 信息。在正常情况下,WEBRTC 流的延迟约为 0.2 秒,对 AI云服务器01的请求需要大约 0.2 秒,AI 推理需要 0.1 秒。
本发明的工作原理是:
该基于人工智能的物联网设备视听流实时处理***,通过收集模块、用户终端设备02和AI云服务器01对视听流进行了处理,为用户提供较好地服务,解决了因数据采集设备的处理能力带来的后续高成本的问题,同时避免了将视听流传输到用户终端设备02的延迟。
以上仅是本发明的优选实施方式,应当指出,对于本领域的技术人员来说,在不脱离本发明构思的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些均不会影响本发明实施的效果和专利的实用性。

Claims (7)

1.基于人工智能的物联网设备视听流实时处理***,其特征在于,包括:
收集模块,所述收集模块用于收集视听流,所述收集模块通过实时流协议将视听流传输给用户终端设备;
用户终端设备,所述用户终端设备用于运行WEBRTC图形客户端,所述用户终端设备通过与网络连接的方式访问收集模块和AI云服务器;
AI云服务器,所述AI云服务器用于在CPU或GPU以及支持机器学习框架的计算优化芯片上进行推理。
2.根据权利要求1所述的基于人工智能的物联网设备视听流实时处理***,其特征在于,所述收集模块为IOT设备或机器人。
3.根据权利要求1所述的基于人工智能的物联网设备视听流实时处理***,其特征在于,所述用户终端设备的***用于实时处理视听流、隔离视频帧序列和音频剪辑。
4.根据权利要求3所述的基于人工智能的物联网设备视听流实时处理***,其特征在于,所述用户终端设备与AI云服务器之间建立WEBSOCKET连接。
5.根据权利要求4所述的基于人工智能的物联网设备视听流实时处理***,其特征在于,所述用户终端设备从流中提取数据块,并通过WEBSOCKET将其发送到AI云服务器进行计算,所述AI云服务器通过WEBSOCKET将推理结果发送回用户终端设备进行显示。
6.根据权利要求1-5任一所述的基于人工智能的物联网设备视听流实时处理***,其特征在于,视听流实时处理的具体步骤如下:
1)IOT设备和用户终端设备之间的P2P连接被发起;
2)实时流在用户终端设备上接收,并直接显示给用户;
3)用户终端设备从实时流中提取数据块并发送给AI云服务器;
4)AI云服务器对数据块进行处理,并将推理结果发送回用户终端设备;
5)用户终端设备处理推理结果,并在流的顶部显示输出。
7.根据权利要求1-5任一所述的基于人工智能的物联网设备视听流实时处理***,其特征在于,IOT设备、用户终端设备以及AI云服务器之间交互的具体步骤如下:
a.WEBRTC握手:IOT设备和用户终端设备使用第三方服务器交换WEBRTC握手以进行发现,若握手成功,用户终端设备与AI云服务器建立WEBSOCKET连接;
b.视频流建立:IOT设备和用户终端设备正在交换视频流,视频显示在用户终端设备层上;
c.帧提取和计算:用户终端设备从视频流中提取帧,并通过WEBSOCKET将其发送到AI云服务器进行计算;
d.AI信息显示:在计算完成后,AI云服务器通过WEBSOCKET将信息发送回用户终端设备进行显示。
CN202210375466.4A 2022-04-11 2022-04-11 基于人工智能的物联网设备视听流实时处理*** Pending CN114844873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210375466.4A CN114844873A (zh) 2022-04-11 2022-04-11 基于人工智能的物联网设备视听流实时处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210375466.4A CN114844873A (zh) 2022-04-11 2022-04-11 基于人工智能的物联网设备视听流实时处理***

Publications (1)

Publication Number Publication Date
CN114844873A true CN114844873A (zh) 2022-08-02

Family

ID=82563427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210375466.4A Pending CN114844873A (zh) 2022-04-11 2022-04-11 基于人工智能的物联网设备视听流实时处理***

Country Status (1)

Country Link
CN (1) CN114844873A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981724A (zh) * 2019-01-28 2019-07-05 上海左岸芯慧电子科技有限公司 一种基于区块链的物联网终端、人工智能***及处理方法
CN110377278A (zh) * 2019-06-03 2019-10-25 杭州黑胡桃人工智能研究院 一种基于人工智能与物联网的可视化编程工具***
CN110430395A (zh) * 2019-07-19 2019-11-08 苏州维众数据技术有限公司 视频数据ai处理***及处理方法
US20200106829A1 (en) * 2018-10-02 2020-04-02 Brainworks Foundry, Inc. Fluid Client Server Partitioning of Machines Learning, AI Software, and Applications
CN111479048A (zh) * 2020-04-22 2020-07-31 安徽大学 一种基于边缘计算的智能视频图像处理设备
CN111935491A (zh) * 2020-06-28 2020-11-13 百度在线网络技术(北京)有限公司 直播的特效处理方法、装置以及服务器
CN112600824A (zh) * 2020-12-09 2021-04-02 广州亿语智能科技有限公司 电话语音通信方法、装置、服务器及存储介质
CN113095160A (zh) * 2021-03-23 2021-07-09 中国大唐集团科学技术研究院有限公司华东电力试验研究院 基于人工智能和5g的电力***人员安全行为识别方法及***
CN113115067A (zh) * 2021-04-19 2021-07-13 脸萌有限公司 直播***、视频处理方法及相关装置
CN113329205A (zh) * 2021-04-09 2021-08-31 成都中科创达软件有限公司 物联网视频数据处理***、智能零售***及方法和装置
AU2021104783A4 (en) * 2021-08-01 2022-04-28 Musleh Alsulami An artificial intelligence based iot enabled drowsiness detection system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200106829A1 (en) * 2018-10-02 2020-04-02 Brainworks Foundry, Inc. Fluid Client Server Partitioning of Machines Learning, AI Software, and Applications
CN109981724A (zh) * 2019-01-28 2019-07-05 上海左岸芯慧电子科技有限公司 一种基于区块链的物联网终端、人工智能***及处理方法
CN110377278A (zh) * 2019-06-03 2019-10-25 杭州黑胡桃人工智能研究院 一种基于人工智能与物联网的可视化编程工具***
CN110430395A (zh) * 2019-07-19 2019-11-08 苏州维众数据技术有限公司 视频数据ai处理***及处理方法
CN111479048A (zh) * 2020-04-22 2020-07-31 安徽大学 一种基于边缘计算的智能视频图像处理设备
CN111935491A (zh) * 2020-06-28 2020-11-13 百度在线网络技术(北京)有限公司 直播的特效处理方法、装置以及服务器
CN112600824A (zh) * 2020-12-09 2021-04-02 广州亿语智能科技有限公司 电话语音通信方法、装置、服务器及存储介质
CN113095160A (zh) * 2021-03-23 2021-07-09 中国大唐集团科学技术研究院有限公司华东电力试验研究院 基于人工智能和5g的电力***人员安全行为识别方法及***
CN113329205A (zh) * 2021-04-09 2021-08-31 成都中科创达软件有限公司 物联网视频数据处理***、智能零售***及方法和装置
CN113115067A (zh) * 2021-04-19 2021-07-13 脸萌有限公司 直播***、视频处理方法及相关装置
AU2021104783A4 (en) * 2021-08-01 2022-04-28 Musleh Alsulami An artificial intelligence based iot enabled drowsiness detection system

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGQIAO ZHANG、LINGFEI DUAN: ""Browser/Server based Experimental Environment for Reinforcement Learning"", 《2018 IEEE 3RD ADVANCED INFORMATION TECHNOLOGY, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IAEAC)》, 16 December 2018 (2018-12-16) *
冯九龙、杨海涛、栾晓鹏、马营营、冯荟璇: ""基于5G多视频融合的流媒体应用探索与研究"", 《现代信息科技》, vol. 6, no. 5, 10 March 2022 (2022-03-10) *
冯黎明;伍淑辉;卓勇;: "油气管道安全防护智能视频监控***设计", 石油工业技术监督, no. 08, 20 August 2020 (2020-08-20) *
杨利中、魏小彬、高春娟: ""基于人工智能的音视频参考帧自适应算法"", 《广播电视网络》, no. 2, 9 March 2022 (2022-03-09) *

Similar Documents

Publication Publication Date Title
CN107682657B (zh) 一种基于WebRTC的多人语音视频通话方法及***
CN111479121B (zh) 一种基于流媒体服务器的直播方法及***
CN104253856A (zh) 可缩放Web实时通信媒体引擎以及相关的方法、***
CN113556584B (zh) 云手机的截图传输方法、装置、电子设备和存储介质
CN103348657B (zh) 流媒体播放方法、设备及***
CN106789593B (zh) 一种融合手语的即时消息处理方法、服务器及***
EP2802115B1 (en) Method, terminal and server for recovering session content transmission
WO2023125350A1 (zh) 音频数据推送方法、装置、***、电子设备及存储介质
Ogundeyi et al. WebSocket in real time application
CN110933470B (zh) 一种视频数据的共享方法
Sun et al. Elasticedge: An intelligent elastic edge framework for live video analytics
CN114844873A (zh) 基于人工智能的物联网设备视听流实时处理***
CN114301880B (zh) 三维数据传输方法及电子设备、信令服务器
CN115186210A (zh) 一种基于多粒度的Web 3D渲染和加载优化方法
Saveliev et al. Architecture of data exchange with minimal client-server interaction at multipoint video conferencing
CN115334059A (zh) 一种音视频互通方法、装置、设备及存储介质
CN110753071B (zh) 一种信息获取方法和装置
CN102611914B (zh) 一种云电视应用服务***及方法
CN111553005A (zh) 一种基于像素流技术的桥梁可视化***及方法
CN114401254B (zh) 流媒体服务的处理方法、装置、电子设备及存储介质
CN110011979A (zh) 多网热备实现方法及装置
CN114827097B (zh) 通信网络构建方法、装置及计算机设备
CN113923396B (zh) 基于视频会议场景下的远程桌面控制方法、装置和介质
CN117938822B (zh) 一种基于wasm的实时语音通信方法、终端及摄像头
CN113596396B (zh) 一种基于gb28181的目标跟踪***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination