CN118200272A - 一种在即时通信应用中建立同屏交流分享的方法、*** - Google Patents
一种在即时通信应用中建立同屏交流分享的方法、*** Download PDFInfo
- Publication number
- CN118200272A CN118200272A CN202410304560.XA CN202410304560A CN118200272A CN 118200272 A CN118200272 A CN 118200272A CN 202410304560 A CN202410304560 A CN 202410304560A CN 118200272 A CN118200272 A CN 118200272A
- Authority
- CN
- China
- Prior art keywords
- screen
- communication
- screen communication
- data
- sharing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006854 communication Effects 0.000 title claims abstract description 985
- 238000004891 communication Methods 0.000 title claims abstract description 942
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000012545 processing Methods 0.000 claims abstract description 87
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 230000001960 triggered effect Effects 0.000 claims description 6
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 abstract description 12
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 26
- 230000000694 effects Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种在即时通信应用中建立同屏交流分享的方法,方法包括:在一即时通信终端,基于待分享内容生成同屏交流分享创建请求并向服务端发送,而后接收服务端返回的同屏交流分享链接或创建完成通知,根据所述链接的触发事件或所述通知的接收事件,启动同屏交流页面;在另一即时通信应用终端,接收同屏交流分享链接并显示,根据所述链接的触发事件,启动同屏交流页面;在参与同屏交流的即时通信应用终端,采集同屏数据并发送,接收其它终端发送的同屏数据并执行页面同步处理,实现所有参与者终端之间同屏互动交流。可见,本申请为即时通信应用提供了一种新的分享与交流方式,通过分享直接进入同屏互动交流,简单易用且提升了沟通效率与质量。
Description
技术领域
本发明涉及互联网通信技术领域,尤其涉及一种在即时通信应用中建立同屏交流分享的方法与***。
背景技术
即时通信(或即时通讯)应用软件在人们工作、生活中使用非常广泛,如现有的微信、QQ、钉钉、企业微信、客服工具等,其主要功能为即时发送与接收互联网消息,解决人们信息沟通与交流问题。在日常使用中,经常有发送一个内容至其他用户,然后就该内容进行交流的需求,现有的技术解决这一问题的方式一般为:在即时通信应用中选择内容发送至其他用户,其他用户通过聊天面板访问内容,然后双方发起语音、视频通话,就已分享的内容进行讨论,但该方式无法实现就分享内容的浏览与操作同步,沟通效果较差。另外一种方式:分享者首先创建视频会议,然后将视频会议入口信息分享给其他用户,在进入视频会议后,分享者通过文件共享、桌面共享等功能,实现与其他参与用户就分享内容进行同屏交流讨论,该方式可获得良好的沟通效果,但实现步骤繁杂,不适合于快速沟通交流。因此,亟需提出一种在即时通信应用中就分享内容建立同屏交流分享、快速构建同屏交流的方法和***,解决以上问题。
发明内容
针对上述问题,本发明提供一种在即时通信应用中就分享内容建立同屏交流分享、快速构建同屏交流的方法与***,旨在实现即时通信应用的使用者能够基于分享内容快速发起同屏交流,提升沟通效率、质量,本发明提供的技术方案如下:
第一方面,本申请提供了一种在即时通信应用中建立同屏交流分享的方法,所述方法应用于即时通信应用终端,所述方法包括:
基于需建立同屏交流分享的分享内容获取数据和/或信息,并基于所述数据和/或信息生成同屏交流分享创建请求,向服务端发送所述同屏交流分享创建请求;接收所述服务端发送的同屏交流分享链接和/或同屏交流分享描述数据,基于所述同屏交流分享链接和/或同屏交流分享描述数据生成访问入口链接,并在所述即时通信应用终端显示所述访问入口链接,或者,接收所述服务端返回的同屏交流分享创建完成通知;在接收到对所述访问入口链接的触发事件或接收到所述同屏交流分享创建完成通知后,启动同屏交流页面;
还包括:接收服务端或其它即时通信应用终端发送的同屏交流分享链接和/或同屏交流分享描述数据,基于其生成访问入口链接,并在所述即时通信应用终端显示;在接收到对所述访问入口链接的触发事件后,启动同屏交流页面。
其中,所述同屏交流分享用于在被用户访问时实现与其它访问者之间的同屏互动交流;基于所述分享内容获取的数据包括但不限于文件(包括文件夹)数据、图片数据、文本数据、表格数据、网页数据、视频数据、声音数据等,基于所述分享内容获取的信息包括但不限于网址信息、文件(包括文件夹)信息、网页信息、图片信息、声音信息、视频信息、文本信息、已在所述即时通信应用终端中生成或存在的分享信息等。
以上方法为即时通信应用终端用户提供了一种基于分享内容快速创建同屏交流分享,并启动同屏交流的方法,提供了两种启动方式:通过同屏交流分享链接进入、在接收到同屏交流分享创建完成通知后进入,提升了通过分享沟通的效率。
一种可能的实施方式中,在所述即时通信应用终端显示所述访问入口链接的方式,采用在所述即时通信应用终端的聊天面板区域显示所述访问入口链接的方式,所述访问入口链接用于在接收到用户触发事件后,启动同屏交流页面。
该实施方式有利于用户在即时通信软件中聊天时,快速进入就分享内容的同屏交流。
一种可能的实施方式中,在所述即时通信应用终端启动所述同屏交流页面之后,基于所述同屏交流页面的链接中包含的网络请求,接收所述服务端返回的同屏交流页面数据以加载并生成本地所述同屏交流页面,并建立所述即时通信应用终端与服务端对应的同屏交流服务之间的通信。
以上实施方式对应于在服务端处理同屏交流分享创建请求时,在服务端生成并存放了同屏交流页面的内容,最终提供至终端的同屏交流分享链接可直接或间接访问到所述同屏交流页面的内容,为一种由服务端存放并提供同屏交流页面数据的方式。
一种可能的实施方式中,在所述即时通信应用终端启动所述同屏交流页面之后,向服务端发送同屏交流服务连接请求,建立所述即时通信应用终端与所述同屏交流服务之间的通信,接收所述同屏交流服务发送的所述同屏交流页面数据,加载并生成所述同屏交流页面。
以上实施方式提供了一种通过同屏交流服务加载同屏交流页面数据的方法,其中,所述同屏交流服务用于为参与同屏交流的各终端提供数据通信服务。
一种可能的实施方式中,在所述即时通信应用终端启动所述同屏交流页面之后,在所述同屏交流页面本地加载同屏交流部件,所述同屏交流部件包括但不限于涂鸦部件、视频显示部件、音视频控制部件、录制部件、同屏状态信息显示部件、同屏权限控制部件、同屏交流设置部件、参与者信息显示部件中的一种或者多种。
以上实施方式提供了一种在即时通信应用终端本地加载同屏交流部件的方式。
一种可能的实施方式中,在建立所述即时通信应用终端与服务端所述同屏交流服务之间的通信之后,在所述同屏交流页面,采集操作指令数据、图片数据、内容数据、视频数据中的一种或多种,生成同屏数据,将所述同屏数据向所述同屏交流服务发送;接收所述同屏交流服务发送的同屏数据,基于所述同屏数据包含的数据类型,在所述同屏交流页面执行页面同步处理,所述页面同步处理包括基于所述操作指令数据执行其包含的操作指令以还原操作行为、基于所述图片数据替换或绘制图片、基于所述内容数据更新或替换页面内容数据、播放视频数据中的一种或多种。
以上实施方式实现了参与同屏交流的各终端页面显示内容、操作保持同步,具有同屏交流的效果。
一种可能的实施方式中,在所述即时通信应用终端启动所述同屏交流页面之后,建立所述即时通信应用终端与服务端或其他参与同屏交流的其他即时通信应用终端之间的音频和/或视频通信,发送与接收音频数据和/或视频数据。
以上实施方式在同屏交流中增加音视频通信,可达到“面对面”的交流效果,进一步提升沟通效率与沟通质量。
一种可能的实施方式中,在所述同屏交流分享的创建者所在的即时通信应用终端启动所述同屏交流页面之后,基于所述同屏交流分享的所述信息在所述创建者的即时通信应用终端本地获取与所述同屏交流分享相关的数据,基于所述与所述同屏交流分享相关的数据生成所述同屏交流页面数据,在本地加载所述同屏交流页面,并将所述同屏交流页面数据向所述服务端或其它参与者终端发送。
以上实施方式提供了一种在所述同屏交流分享的创建者终端生成同屏交流页面数据的方式,有利于减轻服务器运算负载、保护用户数据和隐私。
一种可能的实施方式中,在所述同屏交流分享的参与者所在的即时通信应用终端启动所述同屏交流页面之后,接收所述服务端或所述同屏交流创建者即时通信应用终端发送的所述同屏交流页面数据,基于所述同屏交流页面数据加载本地同屏交流页面。
以上实施方式提供了一种所述同屏交流分享的接收者加载同屏交流页面数据的方式,包括从服务端接收或从另一终端接收两种方式。
一种可能的实施方式中,在所述即时通信应用终端生成同屏交流分享创建请求,获取对所述同屏交流分享的分享至的目标用户的设置数据,基于所述设置数据生成分享请求并向所述服务端发送,所述分享请求由所述服务端处理,基于其包含的设置数据获取分享目标,将所述同屏交流分享链接和/或同屏交流分享描述数据发送至所述分享目标。
以上实施方式提供了一种为所述同屏交流分享设置分享目标与范围的方法,以将所述同屏交流分享发送至相应的接收者。
第二方面,本申请还提供了一种在即时通信应用中建立同屏交流分享的方法,所述方法应用于服务端,方法包括:
接收即时通信应用终端发送的同屏交流分享创建请求,基于所述同屏交流分享创建请求注册同屏交流服务,并生成对应的同屏交流分享链接和/或同屏交流分享描述数据向对应的即时通信应用终端发送,还包括,生成同屏交流分享创建完成通知向所述发送同屏交流分享创建请求的即时通信应用终端发送;
接收即时通信应用终端发送的同屏交流服务连接请求,并基于其查找对应的同屏交流服务,建立所述即时通信应用终端与所述对应的同屏交流服务之间的通信连接,还包括,在确定所述同屏交流服务未启动时启动所述同屏交流服务;
所述同屏交流服务接收所述即时通信应用终端发送的同屏数据,向连接所述同屏交流服务其它即时通信应用终端发送同屏数据。
以上实施方式为在即时通信应用***中创建及访问同屏交流分享提供了服务端服务支持,包括注册处理、连接处理以及同屏交流过程中的数据通信服务等。
在一种可能的实施方式中,服务端接收所述即时通信应用终端发送的分享请求,解析所述分享请求中包含的分享目标与对应的同屏交流分享链接,向所述分享目标发送所述同屏交流分享链接和/或所述同屏交流分享描述数据。
以上实施方式实现了对即时通信应用终端分享的分享需求进行处理。
在一种可能的实施方式中,在接收到所述即时通信应用终端发送的所述同屏交流分享创建请求之后,基于所述同屏交流分享创建请求包含的数据和/或信息,在所述服务端生成同屏交流页面数据。另外,在接收到所述即时通信应用终端启动所述同屏交流页面发送的网络请求后,向所述即时通信应用终端返回所述同屏交流页面数据,或者,在接收到所述即时通信应用终端发送的同屏交流服务连接请求后,向所述即时通信应用终端返回对应的所述同屏交流页面数据。
以上实施方式提供了一种在服务端生成同屏交流页面数据的方法,该方法在服务端生成并存放了同屏交流页面的内容数据,通过提供至终端的同屏交流分享链接或终端连接的同屏交流服务可获取到所述同屏交流页面的数据内容。
在一种可能的实施方式中,在所述服务端生成所述同屏交流页面数据,进一步的,在所述同屏交流页面中创建同屏交流部件,在所述同屏交流页面数据中增加所述同屏交流部件数据,其中,所述同屏交流部件包括涂鸦部件、视频显示部件、音视频控制部件、录制部件、同屏状态信息显示部件、同屏权限控制部件、同屏交流设置部件中的一种或者多种。
通过以上实施方式所提供的同屏交流页面内容和数据,内置包含同屏交流部件,或进一步包含相关同屏交流的客户端配置信息,便于在即时通信应用终端启动同屏交流页面加载时,直接从服务端加载到所述同屏交流部件。
在一种可能的实施方式中,在启动所述同屏交流服务之后,记录同屏交流页面数据、所述同屏交流服务接收的同屏数据、向所述即时通信应用终端发送的同屏数据、发送者信息、接收者信息、发生时间信息中的一种或者多种生成同屏交流过程录制数据。
以上实施方式所生成的同屏交流过程录制数据,可用于生成同屏交流过程的回放或视频。
第三方面,本申请还提供了一种包括同屏交流分享功能的即时通信***,该***包括:即时通信应用终端、服务端,所述即时通信应用终端包括:创建模块、链接生成与处理模块、同屏交流页面,所述同屏交流页面还包括:加载模块、同屏数据采集与处理模块,所述服务端包括:创建请求处理模块、访问请求处理模块、同屏交流服务模块,其中:
所述创建模块,用于创建同屏交流分享创建请求并向所述服务端发送;
所述链接生成与处理模块,用于接收所述服务端返回的同屏交流分享创建完成通知,或者,接收所述创建请求处理模块发送的同屏交流分享链接和/或同屏交流分享描述数据,生成访问入口链接并在所述即时通信应用终端显示;
所述链接生成与处理模块,还用于接收服务端或其它即时通信应用终端发送的同屏交流分享链接和/或同屏交流分享描述数据生成访问入口链接,并在所述即时通信应用终端显示;
所述链接生成与处理模块,还用于在接收到对所述访问入口链接的触发事件或接收到所述同屏交流分享创建完成通知后,启动同屏交流页面;
所述加载模块,用于基于所述同屏交流分享链接加载页面内容;
所述同屏数据采集与处理模块,用于采集操作指令数据、图片数据、内容数据、视频数据中的一种或多种,生成同屏数据向所述同屏交流服务模块发送;
所述同屏数据采集与处理模块,还用于接收所述同屏交流服务模块发送的同屏数据,基于所述同屏数据包含的数据类型,在所述同屏交流页面执行对应的页面同步处理;
所述创建请求处理模块,用于接收所述创建模块发送的同屏交流分享创建请求,基于其注册同屏交流服务,并生成对应的同屏交流分享链接和/或同屏交流分享描述数据向对应的即时通信应用终端发送,还包括,生成同屏交流分享创建完成通知向所述发送同屏交流分享创建请求的即时通信应用终端发送;
所述访问请求处理模块,用于接收所述链接生成与处理模块发送的同屏交流服务连接请求,并基于其查找对应的同屏交流服务,建立所述同屏交流服务与所述即时通信应用终端之间的通信连接,还包括,在确定所述同屏交流服务未启动时启动所述同屏交流服务;
所述同屏交流服务模块,用于接收所述同屏数据采集与处理模块发送的同屏数据,还用于向所述同屏数据采集与处理模块发送同屏数据。
在一种可能的实施方式中,所述即时通信***还包括:
所述链接生成与处理模块,还用于在生成所述访问入口链接后,在所述即时通信应用终端的聊天面板区域显示所述访问入口链接;
所述加载模块,还用于,基于所述同屏交流页面的链接中所包含的网络请求,接收所述服务端返回的同屏交流页面数据,加载并生成所述同屏交流页面内容,并建立所述即时通信应用终端与服务端所述同屏交流服务之间的通信;
所述加载模块,还用于在所述同屏交流页面加载同屏交流部件,所述同屏交流部件包括涂鸦部件、视频显示部件、音视频控制部件、录制部件、同屏状态信息显示部件、同屏权限控制部件、同屏交流设置部件中的一种或者多种;
所述加载模块,还用于接收所述服务端或所述同屏交流创建者即时通信应用终端发送的所述同屏交流页面数据,基于所述同屏交流页面数据加载本地所述同屏交流页面;
所述同屏数据采集与处理模块,还用于接收所述同屏交流服务模块发送的所述同屏交流页面数据,取代所述加载模块加载并生成所述同屏交流页面内容;
所述创建模块,还用于获取对所述同屏交流分享的分享目标的设置数据,基于所述设置数据生成分享请求并向所述创建请求处理模块发送;
所述创建请求处理模块,还用于接收所述创建模块发送的分享请求,解析所述分享请求中包含的分享目标与对应的同屏交流分享链接,向所述分享目标发送所述同屏交流分享链接和/或所述同屏交流分享描述数据。
在一种可能的实施方式中,所述即时通信***的所述同屏交流页面还包括音视频模块、涂鸦模块、页面内容数据生成模块,其中:
所述音视频模块,用于执行所述即时通信应用终端与服务端或其他参与同屏交流的其他即时通信应用终端之间的音频和/或视频通信;
所述涂鸦模块,用于采集涂鸦数据并向所述同屏交流服务模块发送,还用于接收所述同屏交流服务模块发送的涂鸦数据并执行涂鸦绘制;
所述同屏交流页面中的所述页面内容数据生成模块,用于基于所述同屏交流分享的所述信息在本地获取所述同屏交流分享的数据内容,基于所述同屏交流分享的数据内容在本地加载生成同屏交流页面内容,并采集或生成同屏交流页面数据向所述服务端或其它参与者终端发送。
在一种可能的实施方式中,所述即时通信***的服务端还包括录制模块、页面内容数据生成模块,其中:
所述录制模块,用于记录同屏交流页面数据、所述同屏交流服务模块接收的同屏数据、向所述同屏数据采集与处理模块发送的同屏数据、发送者信息、接收者信息、发生时间信息中的一种或者多种并结构化存储生成为同屏交流过程录制数据;
所述服务端的所述页面内容数据生成模块,用于基于所述创建模块发送的所述同屏交流分享创建请求所包含的数据和/或信息,在所述服务端生成同屏交流页面数据;
所述服务端的所述页面内容数据生成模块,还用于在所述同屏交流页面中创建同屏交流部件,在所述服务端生成的所述同屏交流页面数据中增加所述同屏交流部件数据;
所述访问请求处理模块,还用于在接收到所述即时通信应用终端启动所述同屏交流页面发送的网络请求后,向所述即时通信应用终端返回所述同屏交流页面数据;
所述同屏交流服务模块,还用于在与所述即时通信应用终端建立连接后,向所述即时通信应用终端返回对应的所述同屏交流页面数据。
第四方面,本申请还提供了一种计算机程序产品,包括指令,当所述指令在计算机上运行时,使得计算机执行如上述第一方面、第二方面中任一项在即时通信应用中建立与使用同屏交流分享方法。
本发明至少具有如下有益效果:
本发明提供了一种在即时通信应用中建立同屏交流分享的方法,使用户在即时通信应用终端,基于待分享的内容创建分享,并基于分享快速进入同屏交流,相较于现有即时通信应用中的文件分享等,可在不增加任何额外操作步骤,即可实现同屏交流,获得优良的沟通效果。可见,本申请为即时通信应用增加了一种新型的分享,效率高、体验佳。
附图说明
图1为本申请实施例提供的一种在即时通信应用创建者终端创建与启动同屏交流分享的流程示意图;
图2为本申请实施例提供的一种在即时通信应用接收者终端接收与启动同屏交流分享的流程示意图;
图3为本申请实施例提供的一种通过网络请求从服务端加载页面数据的流程示意图;
图4为本申请实施例提供的一种通过连接同屏交流服务加载页面数据的流程示意图;
图5为本申请实施例提供的一种在本地加载同屏交流部件的流程示意图;
图6为本申请实施例提供的一种相关同屏数据处理的流程示意图;
图7为本申请实施例提供的一种关于音视频通信处理的流程示意图;
图8为本申请实施例提供的一种在创建者终端生成页面数据并处理的流程示意图;
图9为本申请实施例提供的一种在参与者终端加载页面数据的流程示意图;
图10为本申请实施例提供的一种在即时通信应用终端生成分享请求的流程示意图;
图11为本申请实施例提供的一种在服务端处理同屏交流分享创建请求的流程示意图;
图12为本申请实施例提供的一种同屏交流服务的连接与提供服务的流程示意图;
图13为本申请实施例提供的一种服务端处理分享请求的流程示意图;
图14为本申请实施例提供的一种在服务端生成页面数据并提供服务的流程示意图;
图15为本申请实施例提供的一种在服务端生成同屏交流部件数据的流程示意图;
图16为本申请实施例提供的一种在服务端记录同屏交流过程的流程示意图;
图17为本申请实施例提供的一种在即时通信应用中建立同屏交流分享的流程示意图;
图18为本申请实施例提供的一种包括同屏交流分享功能的即时通信***结构示意图;
图19为本申请实施例提供的一种包括同屏交流分享功能的即时通信***结构示意图;
图20为本申请实施例提供的一种在即时通信应用中建立同屏交流分享的界面示意图;
图21为本申请实施例提供的一种在即时通信应用中建立同屏交流分享的界面示意图;
图22为本申请实施例提供的一种在即时通信应用中建立同屏交流分享的界面示意图;
图23为本申请实施例提供的一种在即时通信应用中建立同屏交流分享的界面示意图;
图24为本申请实施例提供的一种在即时通信应用中建立同屏交流分享的界面示意图;
具体实施方式
本申请的实施方式部分仅用于对本申请进行解释,而非旨在限制本申请。
本申请实施例可应用于即时通信***,包括即时通信应用终端、服务端,以及与即时通信***相关联的其他***。
本申请实施例中的“分享”同时包括“发送”的含义,即包括将某内容或数据发送给某人的形式。本申请实施例中的同屏互动交流包括页面显示同步、页面操作或操作效果同步、音频交流、视频交流、同步涂鸦中的一种或者多种。
下面结合附图,对本申请的实施例进行描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
图1示出了一种可能的在即时通信应用创建者终端创建与启动同屏交流分享的流程示意图,步骤S101基于需建立同屏交流分享的分享内容获取数据和/或信息,并基于所述数据和/或信息生成同屏交流分享创建请求,向服务端发送所述同屏交流分享创建请求。在服务端对所述创建请求处理后返回处理结果,所述处理结果包括但不限于同屏交流分享链接、对同屏交流分享的描述数据、处理完成通知信息等。在创建者终端执行步骤S102,接收所述服务端发送的同屏交流分享链接和/或同屏交流分享描述数据,基于所述同屏交流分享链接和/或同屏交流分享描述数据生成访问入口链接,并在所述即时通信应用终端显示所述访问入口链接,或者,接收所述服务端返回的同屏交流分享创建完成通知。S103,在接收到对所述访问入口链接的触发事件或接收到所述同屏交流分享创建完成通知后,启动同屏交流页面。
以上实施方式中,S101生成同屏交流分享创建请求,提供了基于待分享内容获取数据与信息两种方式,例如,待分享的内容为一个PDF文档,所述数据即为PDF文件数据,所述信息如文件名称、文件路径、网络文件地址等信息。
可选的,S101生成同屏交流分享创建请求,在该请求中包括用户ID、Cookie等类似的用户识别或验证信息;可选的,在所述即时通信应用终端与服务端建立通讯连接之后,在向服务端发送的网络请求中自动包含用户识别信息;可选的,在本申请实施例中,基于即时通信应用终端与服务端建立的通信连接,服务端通过所述通信连接识别用户身份。
可选的,在所述同屏交流分享创建请求中,还包含对所述同屏交流分享的设置信息,例如:同屏交流分享的构建方式(数据或信息)、同屏交流页面内容数据的生成方式(服务端生成或本地生成)、采用哪种方式加载页面数据(网络链接加载或通过同屏交流服务加载)、是否进行数据保护(如在交流过程中禁止截屏)、可访问的有效时间、是否启动录制、同屏交流部件的初始设置(如默认关闭视频)、同屏交流的限定设置(如限定当前聊天用户访问、重新分享无效,限制房间人数、位置限制等)、同屏交流的控制设置(如仅一方具有操作权限)、是否开启视频通信、访问密码、增加水印等,包括但不限于以上设置信息。可选的,基于部分或全部设置信息中包含的默认值,执行默认赋值处理。可选的,记录用户对所述同屏交流分享的设置生成用户设置,在生成所述同屏交流分享创建请求时使用用户设置赋值。可选的,在服务端存放设置信息并对生成的同屏交流分享进行设置。
需要特别说明的是,在本申请中,和/或,描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
其中,所述同屏交流分享描述数据用于所述同屏交流分享在所述即时通信应用终端中呈现,例如名称等。
可选的,所述入口链接还包括所述同屏交流分享链接,即在所述入口链接中直接显示所述同屏交流分享链接的内容。
所述同屏交流页面,用于显示所述同屏交流分享的内容、同屏交流部件等,其呈现内容的形式包括但不限于网页、webview部件、图片、表格部件、pdf浏览控件、word控件等,其页面形式包括但不限于独立页面、弹出窗口等。
结合以上实施方式,在具体的实施场景中,在所述即时通信应用终端,响应用户对所述同屏交流分享内容的选择事件,接收用户选择的所述同屏交流分享内容(或信息),基于该内容生成所述同屏交流分享创建请求并发送,可选的,响应用户对分享内容的选择事件,接收用户选择的用于基于该分享内容创建同屏交流分享类型分享的标记信息(即用户选择在分享一个内容的同时,指定基于该内容创建同屏交流类型的分享),基于所述分享内容、所述标记信息生成所述同屏交流分享创建请求,或者,生成分享创建请求,且在所述分享创建请求中包括创建类型参数,所述参数为同屏交流分享类型,也可理解为,向所述服务端发送普通的分享创建请求,同时在所发送请求中包含所述分享请求的类型信息,所述类型为同屏交流分享类型,服务端基于此识别所述普通的分享创建请求为所述同屏交流分享创建请求并处理。
图2示出了一种可能的在即时通信应用的同屏交流分享接收者终端接收与启动同屏交流分享的流程示意图。步骤S201接收服务端或其它即时通信应用终端发送的同屏交流分享链接和/或同屏交流分享描述数据,基于其生成访问入口链接,并在所述即时通信应用终端显示。步骤S202在接收到对所述访问入口链接的触发事件后,启动同屏交流页面。可选的,所述入口链接还包括直接采用所述同屏交流分享链接的形式。可选的,在接收到对所述访问入口链接的触发事件或启动同屏交流页面后,向服务端发送连接请求,可选的,在所述连接请求中携带用户(如用户ID)参数信息。可选的,所述同屏交流页面包括独立页面、弹出窗口等形式。可选的,在S201中接收服务端或其它即时通信终端发送的同屏交流分享创建完成通知,在用户对所述通知信息确认后启动同屏交流页面,其中,所述同屏交流分享创建完成通知中包含所述同屏交流分享链接和/或同屏交流分享描述数据信息。可选的,在步骤S202访问入口链接后,执行访问验证操作,采集验证数据并向所述服务端发送,例如,对访问者的身份进行验证、访问权限验证等。可选的,所述接收者终端接收所述服务端返回的验证结果信息并显示,例如,某同屏交流分享设置了访问时间限制,所述服务端返回禁止进入的相关提示信息等。
结合以上图1、图2所示的实施例,使用户在即时通信应用终端快速基于待分享内容在所述即时通信***中生成同屏交流分享并发送至接收者,创建者与接收者基于所生成的链接或通知快速进入同屏交流,同屏显示分享内容以及同步操作。因此,以上实施例的有益效果是,在不增加用户操作步骤(如操作步骤数量与普通的文件分享大致相同)的情况下,实现了高效的同屏互动交流,操作简单且提升交流效率、质量。
在另一具体的实现场景中,S102、S201步骤基于所述同屏交流分享链接和/或同屏交流分享描述数据生成访问入口链接,在所述即时通信应用终端的聊天面板区域,显示所述访问入口链接。可选的,在所述即时通信应用终端的聊天面板区域,直接显示所述同屏交流分享链接。以上实现场景适合于即时通信的聊天场景,如两个用户聊天、群聊等,具有高效的特点。可选的,在所述即时通信应用终端显示所述同屏交流分享入口链接,在所述入口链接上显示可进行同屏交流的标记信息或相关设置信息。
在一种可能的实现方式中,如图3所示,在即时通信应用终端,S301启动同屏交流页面后,S302基于所述同屏交流页面的链接中包含的网络请求,向服务端请求数据,S303接收所述服务端返回的同屏交流页面数据以加载并生成本地所述同屏交流页面,并建立所述即时通信应用终端与服务端对应的同屏交流服务之间的通信。该实现方式通过同屏交流页面的链接中包含的网络请求从服务端获取同屏交流页面数据,例如,在服务端为某同屏交流分享生成了网页A,即在网页A中包含了用户提供的分享内容,在生成的同屏交流页面的链接中包含网页A的网址,由此,在终端打开同屏交流页面后,访问与加载网页A以获得同屏交流内容数据。
在另一种可能的实现方式中,如图4所示,在即时通信应用终端,S401启动同屏交流页面,S402向服务端发送同屏交流服务连接请求,建立与所述同屏交流服务之间的通信,S403接收所述同屏交流服务发送的所述同屏交流页面数据,加载并生成所述同屏交流页面。该实现方式S402步骤建立所述即时通信应用终端与所述同屏交流服务之间的通信,其中,所述同屏交流服务用于在同屏交流过程中为终端提供数据通信服务。可见,在该方式下,所述同屏交流页面本身加载完成后,不包括同屏交流页面数据内容,即不包括所述分享内容,在该页面加载完成后,通过S403通过从所述同屏交流服务获取所述同屏交流页面数据,加载生成包括分享内容的页面。该实现方式有利于所述同屏交流服务对传输的数据进行统一管理和处理。
在一种可能的实现方式中,对应于以上图3所示的即时通信应用终端通过同屏交流页面的链接中包含的网络请求请求同屏交流页面数据的实施方式,以及图4所示的即时通信应用终端通过同屏交流服务加载同屏交流页面数据的实施方式,在所述服务端的实现方式如图14所示,S1401接收即时通信应用终端发送的所述同屏交流分享创建请求,S1402基于所述同屏交流分享创建请求包含的数据和/或信息,在服务端生成同屏交流页面数据,S1403在接收到即时通信应用终端启动所述同屏交流页面发送的网络请求后,向所述即时通信应用终端返回所述同屏交流页面数据,或者,在接收到即时通信应用终端发送的同屏交流服务连接请求后,向所述即时通信应用终端返回对应的同屏交流页面数据。该实现方式在服务端生成并存放同屏交流页面和/或同屏交流页面数据,对应于图3所示的终端实施方式,如在服务端基于创建者终端发送的分享内容数据生成网页文件并在服务端存放,如网页A,然后基于网页A的网址生成同屏交流分享链接;对应于图4所示的终端实施方式,如基于创建者终端发送的分享内容数据在服务端生成所述同屏交流页面数据并存放为数据记录,并记录所述数据记录与所注册的同屏交流服务之间的关系,在S1403接收到所述同屏交流服务连接请求后返回对应的数据记录中包含的数据。
在一种可能的实现方式中,如图5所示,在即时通信应用终端,S501启动同屏交流页面后,执行S502,在本地加载同屏交流部件。其中,所述同屏交流部件包括但不限于涂鸦部件、视频显示部件、音视频控制部件、录制部件、同屏状态信息显示部件、同屏权限控制部件、同屏交流设置部件中的一种或者多种,所述同屏交流部件用于辅助同屏交流以及实现同屏交流过程中的相关功能控制。可选的,执行S502同时对所述同屏交流部件进行初始化配置,如默认开启麦克风,连接音频通信服务。可选的,基于已有的配置信息、所述同屏交流分享的设置信息加载所述同屏交流部件,如加载涂鸦部件、不加载视频显示部件、不加载视频控制部件等。该种实现方式加载部件速度快,无需从服务端获取数据。
在另一种可能的实现方式中,如图15所示,在服务端,S1501在服务端生成同屏交流页面数据,同时或随后执行S1502在服务端生成的所述同屏交流页面中创建同屏交流部件,在所述同屏交流页面数据中增加所述同屏交流部件数据。通过该种可能的实现方式,在所述服务端生成同屏交流部件,以供终端下载后加载所述同屏交流部件,或者,通过接收同屏交流服务数据加载所述同屏交流部件。可选的,S1502还包括生成同屏交流部件的初始化配置以及在服务端基于已有的配置信息生成和/或配置所述同屏交流部件,类同于上一实施例,在此不再赘述。通过该种实现方式,有利于在不更新终端程序的情况下更新同屏交流部件的加载配置,实现业务逻辑调整。
在一种可能的实现方式中,如图6所示,在即时通信应用终端,所述同屏交流页面、同屏交流部件加载完成或加载过程中,执行步骤S601,建立与服务端所述同屏交流服务之间的通信,之后,执行S602,在所述同屏交流页面,采集操作指令数据、图片数据、内容数据、视频数据中的一种或多种,生成同屏数据,将所述同屏数据向所述同屏交流服务发送;接收所述同屏交流服务发送的同屏数据,基于所述同屏数据包含的数据类型,在所述同屏交流页面执行页面同步处理。
其中,S601建立终端与服务端同屏交流服务之间的通信,所述同屏交流服务类似于会议房间的服务程序,在同屏交流过程中为各终端提供数据通信服务,用于发送与接收同屏数据。可选的,在一种可能的实施场景中,所述同屏交流服务在所述即时通信应用终端执行,实现参与同屏交流的各终端之间的直接通信。
在以上实施方式中,S602的执行结果为,实现了参与同屏交流的各终端的所述同屏交流页面的显示和/或操作保持同步,即在其中一个终端执行操作,所引起的所述同屏交流页面画面内容发生的改变,操作效果同步至其它终端,其实现方式包括但不限于以下方式中的一种或者多种:
方式一:在发生操作的即时通信应用终端,启动事件监听获取操作事件,所述操作事件至少包括用户操作事件,并将所监听到的操作事件转化为操作指令,将所述操作指令、与所述操作事件相关的数据采集生成为操作数据,将所述操作数据作为同屏数据向所述同屏交流服务发送;其它参与同屏交流的即时通信应用终端接收所述同屏数据,解析其包含的操作指令以及与操作相关的数据,基于所述与操作相关的数据,在接收者终端执行对应的操作指令,获得与发生操作的终端同步的效果。以下,例如所述同屏交流页面的形式为网页,示例说明以上过程:例如,在一侧终端网页发生了点击操作,在监听到该事件后,转化为click操作指令,同时记录发生点击事件的按钮、点击事件触发的函数作为与点击操作相关的数据,在接收终端网页,通过Javascript调用对应按钮的onclick事件执行,或者执行所述点击事件触发的函数,由此获得与发生操作的终端一致的页面操作效果。又如,在一侧终端网页发生了页面滑动操作,监听到页面滑动事件后,对应生成页面滑动操作指令,并记录滑动距离数据,在接收终端网页,以所述滑动位移为参数,通过Javascript执行页面滑动操作指令,实现页面同步滑动的效果。
方式二:在发生操作的即时通信应用终端,启动事件监听页面数据内容的变化,所述页面数据用于所述同屏交流页面基于其生成页面的显示内容,在监听到页面数据内容变化后,采集全部页面数据或发生变化的增量部分数据生成为同屏数据,将所述同屏数据向所述同屏交流服务发送;其他参与同屏交流的即时通信应用终端接收所述同屏数据,基于其包含的页面数据内容及性质,在接收者终端执行页面数据更新或替换处理,最终生成与发生操作端一致的页面数据内容,从而获得相同的页面显示效果。同样,以所述同屏交流页面形式为网页作为示例,说明以上过程:例如,在一侧终端的网页中,启动监听网页内容变化函数如MutationObserver执行监听,在该侧用户操作,导致网页数据内容发生变化后,采集发生变化部分的网页数据,如DOM数据、序列化后的DOM数据等作为同屏数据发送,接收者终端接收所述网页数据,对本地网页数据执行更新或替换操作,由此实现网页页面最终显示内容的更新,与首先发生网页内容变化的终端网页保持一致的显示效果。
方式三:在发生操作的即时通信应用终端,启动事件监听,当监听到事件后,基于页面显示内容或发生改变的页面显示内容生成图片数据和/或绘制指令,将所述图片数据和/或绘制指令作为同屏数据发送;在接收者终端,接收同屏数据,并解析其包含的图片数据和/或绘制指令,基于其在本地终端页面显示或绘制图片、替换图片,以使得接收者终端显示内容与发送终端的页面显示保持一致。
方式四:在一侧即时通信应用终端,录制屏幕数据,获取图片或视频数据并生成同屏数据发送;在其它参与同屏交流的终端,接收所述图片或视频数据并显示,由此获得同屏显示的效果。可选的,在接收所述图片或视频数据并显示的终端,采集用户操作事件,基于所述操作事件生成同屏数据发送;在所述录制屏幕数据的一侧终端,接收所述同屏数据并解析其包含的操作事件,并在本终端执行所述操作事件包含的操作。可选的,在接收到所述同屏交流创建者终端退出所述同屏交流的指令后,停止录制屏幕数据。该方式实现了终端A录制屏幕数据,参与同屏交流的终端B、C通过获取显示内容以同终端A显示保持一致,在终端A中为同屏交流页面的执行环境,而B、C仅以图像或视频形式显示结果,为达到互动目的,在B中用户对画面进行滑动时,采集滑动的事件以及与该事件相关的数据(如滑动位移、位置)等生成同屏数据发送,当终端A接收到该同屏数据后,在终端A中实际执行滑动操作,因为B、C画面与A保持同步状态,所以B中最终显示出滑动效果。
以上实现方式均实现了参与同屏交流的各终端之间所述同屏交流页面同屏、同步的效果,需要特别说明的是,本申请用于实现同屏交流页面的同屏、同步的方法不限于以上方式,以上仅为部分实现方式示例,而不应因以上示例而限制本申请。
在一种可能的实现方式中,如图7所示,在即时通信应用终端,S701启动同屏交流页面,S702建立所述即时通信应用终端与服务端或其他参与同屏交流的其他即时通信应用终端之间的音频和/或视频通信,S703发送与接收音频数据和/或视频数据。可选的,所述即时通信应用终端通过与提供音视频服务的服务器建立连接,发送与接收音视频数据。优选的,采用WebRTC(Web Real Time Communication,网络实时通信)在参与交流的各终端之间直接进行视频和音频通信。可选的,在所述即时通信应用终端执行S702、S703步骤。可选的,在所述同屏交流页面程序中执行S702、S703步骤。
通过以上实现方式,建立参与同屏交流的各终端之间的音视频通信,在执行同屏互动交流的同时进行音视频交流,进一步提升沟通效率和用户体验,最终获得“面对面”的沟通效果。
在一种可能的实现方式中,在所述即时通信应用终端启动同屏交流页面后,接收涂鸦部件启动指令,拦截用户操作,采集涂鸦操作数据生成为同屏数据,将所述同屏数据向服务端或其它参与者终端发送;接收服务端或其它参与者终端发送的同屏数据,解析其包含的涂鸦操作数据,在本地终端执行同步涂鸦绘制。该实现方式实现交流终端间涂鸦同步。
在一种可能的实现方式中,如图8所示,在所述同屏交流分享创建者所在的即时通信应用终端,S801创建者所在的即时通信应用终端启动所述同屏交流页面,S802基于所述同屏交流分享的所述信息在所述创建者的即时通信应用终端本地获取与所述同屏交流分享相关的数据,基于所述与所述同屏交流分享相关的数据生成所述同屏交流页面数据,在本地加载所述同屏交流页面,S803将所述同屏交流页面数据向所述服务端或其它参与者终端发送。
以上实现方式提供了一种在创建者终端生成同屏交流页面数据的方法,举例说明:创建者基于本地文件a.pdf创建同屏交流分享,但该文件数据较大,创建者的初衷为针对其中的一部分内容进行交流讨论,由此,在生成所述同屏交流分享创建请求时,采用提供a.pdf的信息进行创建(如文件名、文件在本地的存储路径),即不提供实际的文件数据。当服务端处理所述创建请求时,对应于所生成的同屏交流分享,并未在服务端生成和存放所述同屏交流页面数据(或a.pdf的内容数据),仅存放文件名、文件在本地的存储路径等信息。在所述同屏交流分享创建完成后,在创建者终端执行步骤S801进入同屏交流页面,根据同屏交流分享描述信息中包含的文件名、文件在本地的存储路径信息在本地获取a.pdf的内容数据,并在创建者终端的同屏交流页面中显示,同时,执行S803发送该页面显示所对应的页面数据。通过该实现方式,在所述创建过程中减小了网络的传输量,同时节约服务端的存储资源,另外,创建者仅将a.pdf的显示部分的内容数据发送至接收者,有利于整体数据内容的保护。
在一种可能的实施方式中,对应于以上图14在服务端生成同屏交流页面数据、图8在创建者终端生成同屏交流页面数据,接收者终端加载所述同交流页面数据的流程如图9所示,S901参与者所在的即时通信应用终端启动所述同屏交流页面,S902接收所述服务端或创建者即时通信应用终端发送的所述同屏交流页面数据,基于所述同屏交流页面数据加载本地同屏交流页面。以上实现方式中,S902接收数据的方式包括但不限于通过基于所述同屏交流页面的链接中包含的网络请求请求获取数据、通过所述同屏交流服务获取数据等方式。
在另一种可能的实现方式中,如图10所示,在同屏交流分享创建者所在的即时通信应用终端,执行以下步骤:S1001获取对所述同屏交流分享的分享至的目标用户的设置数据,S1002基于所述设置数据生成分享请求并向所述服务端发送。以上实现方式在创建同屏交流分享的同时设置分享的目标用户。可选的,S1002生成单独的分享请求向服务端发送。可选的,将S1002所生成的分享请求的内容合并在所述同屏交流分享创建请求中发送,即所述同屏交流分享创建请求同时包括创建信息、分享目标信息。可选的,在具体的应用场景中,所述即时通信***根据场景计算获得分享的目标用户信息,而不需要生成与发送所述分享请求,例如,在A用户与B用户的聊天场景中,A创建同屏交流分享,自动设置B为分享目标。需要说明的是,本申请所述分享目标可理解为接收分享的用户、终端、模块或程序等,包括但不限于即时通信终端用户、即时通信终端用户集合、聊天房间等。
在一种可能的实现方式中,在所述服务端处理所述同屏交流分享请求的处理流程如图11所示,S1101接收即时通信应用终端发送的同屏交流分享创建请求,S1102基于所述同屏交流创建请求注册同屏交流服务,然后,执行S1103生成对应的同屏交流分享链接和/或同屏交流分享描述数据向对应的即时通信应用终端发送,或者,执行S1104生成同屏交流分享创建完成通知向所述发送同屏交流分享创建请求的即时通信应用终端发送。
可选的,S1102注册所述同屏交流服务,包括但不限于创建同屏交流服务记录、分配同屏交流服务程序、启动同屏交流服务程序中的一种或多种处理,该步骤可理解为注册一个会议房间,可选择立即提供房间服务或在接收到连接时提供房间服务。可选的,S1102还包括注册所述同屏交流服务的配置信息,如最大连接数等。可选的,S1102还包括记录所述同屏交流服务的关联信息,如同屏交流分享的数据或信息、创建者、分享目标(接收者或聊天ID等)等。以上,注册所述同屏交流服务便于对用户创建的同屏交流分享进行管理。可选的,S1101步骤之后,还包括在服务端对所接收的用于创建同屏交流分享的数据进行处理,例如,将所接收的数据转换为网页格式、增加水印等,生成同屏交流页面数据。
在以上步骤中,S1103生成的同屏交流分享链接和/或同屏交流分享描述数据,用于所述同屏交流分享的创建者或接收者接收,在终端生成入口信息;S1104生成的同屏交流分享创建完成通知用于创建者终端接收,例如使所述创建者终端在接收到通知后直接进入同屏交流页面,便捷高效。可选的,在服务端创建所述同屏交流分享请求失败后,还包括向所述创建者终端返回所述同屏交流分享创建失败通知,所述创建者终端在接收到该通知后显示通知内容。
在一种可能的场景中,本申请可跳过S1102步骤进行实施,即不对所述同屏交流服务进行注册,在所述同屏交流分享创建完成后即分配对应的同屏交流服务提供通信服务,该方式采用实时分配所述同屏交流服务的形式进行实施。
在一种可能的实现方式中,所述服务端处理所述同屏交流分享连接请求的处理流程如图12所示,S1201接收即时通信应用终端发送的同屏交流服务连接请求;S1202基于所述同屏交流服务连接请求查找对应的同屏交流服务,建立所述即时通信应用终端与所述所对应的同屏交流服务之间的通信连接;S1203所述同屏交流服务接收所述即时通信应用终端发送的同屏数据,向连接所述同屏交流服务其它即时通信应用终端发送同屏数据。以上实现方式中,S1202查找并连接对应的同屏交流服务,可选的,在确认所述同屏交流服务未启动时,启动所述同屏交流服务。可选的,S1202对连接请求进行检测,如:基于所述同屏交流分享的分享目标和/或所述同屏交流服务的配置信息判断是否允许连接,在不允许连接时返回提示信息,有利于防止伪造链接进入同屏交流等情况。可选的,S1203所述同屏交流服务还包括对所接收的同屏数据进行处理,生成新的同屏数据发送至其它接收终端,所述处理包括但不限于敏感词检测、数据过滤等。以上,S1202可理解为进入会议房间的处理过程,S1203步骤类似于提供会议房间服务过程。
在一种可能的实现方式中,所述服务端处理所述即时通信终端发送的分享请求的处理流程如图13所示,S1301接收所述即时通信应用客户端发送的分享请求;S1302解析所述分享请求中包含的分享目标与对应的同屏交流分享链接;S1303向所述分享目标发送所述同屏交流分享链接和/或所述同屏交流分享描述数据。可选的,基于所述同屏交流分享的设置信息处理所述分享请求,例如,在所述设置信息中设置了该同屏交流分享的有效时间,在所述即时通信终端生成所述分享请求或者在所述服务端处理所述分享请求时,执行有效性判断并返回相应的提示信息并显示。可选的,在处理所述同屏交流分享创建请求的同时,处理所述分享请求。
在一种可能的实现方式中,如图16所示,S1601在服务端启动同屏交流服务;S1602在服务端记录同屏交流服务ID(房间ID)、同屏交流页面数据、所述同屏交流服务接收的同屏数据、向所述即时通信应用终端发送的同屏数据、发送者信息、接收者信息、发生时间信息中的一种或者多种生成同屏交流过程录制数据。可选的,记录所述即时通信应用终端发送的音频数据和/或视频数据生成至所述同屏交流过程录制数据。可选的,接收所述即时通信应用终端发送的涂鸦数据,记录并生成至所述同屏交流过程录制数据。优选的,将一次同屏交互过程所接收与发送的数据,以及对应的发生时间信息按照结构化存储生成所述同屏交流过程录制数据。可选的,基于所述同屏交流过程录制数据每次发生变化后,采用消息摘要算法为所述同屏交流过程录制数据生成消息摘要,所述消息摘要用于存证所述同屏交流过程,可选的,在所述同屏交流页面显示所述消息摘要,可选的,在所述同屏交流过程结束后,所生成的消息摘要在终端显示或提交至区块链存储。
以上实现方式实现了针对所述同屏分享交流的同屏交流过程记录、存储与存证,另外,所述同屏交流过程录制数据还可用于生成同屏交流过程的回放或生成回放视频。
在一种可能的实现方式中,在所述即时通信应用终端,执行如图16所示实施例所提供的方法,在所述即时通信应用终端记录生成同屏交流过程录制数据。
为了便于理解,以下,以一综合的实施过程进行示例说明,如图17所示,包括即时通信应用终端10A(创建者终端)、服务端20、即时通信应用终端10B(接收者终端),示意流程如下:
在所述即时通信应用终端10A:
S1701,生成同屏交流分享创建请求。该步骤选择用于创建同屏交流分享的内容,可选的,在所述创建请求中包括创建者用户ID信息、创建方式(通过信息或数据创建)、所述同屏交流分享的设置信息等;
S1702,生成分享请求。该步骤设置分享的目标,包括但不限于:接收者用户ID、聊天ID、群聊房间ID等;
S1703,发送创建、分享请求。包括单独发送创建请求与分享请求,将两个请求合并为一个网络请求发送等方式,可选的,在创建步骤完成后,在聊天面板选择所述同屏交流分享链接,设置分享目标并生成新的分享请求发送;
在服务端20:
S1704,接收创建、分享请求;
S1705,生成同屏交流页面数据。该处采用在服务端生成并存储所述同屏交流页面数据的方式,以供参与者终端在进入同屏交流后下载该数据;
S1706,创建同屏交流部件,在所述同屏交流页面数据中加入所述同屏交流部件数据。该实施方式采用在服务端同屏交流页面生成同屏交流部件的方式,该方式下,终端加载同屏交流页面即包含了所述同屏交流部件。可选的,在生成所述同屏交流部件的同时,对所述同屏交流部件进行默认设置,或者,提供默认的配置参数;
S1707,注册同屏交流服务,并生成对应的同屏交流分享链接和/或同屏交流分享描述数据。该步骤的执行顺序无特别限定,如可在S1704之后执行。该步骤可以理解为注册会议房间。可选的,在该步骤中启动所述同屏交流服务;
S1708,生成同屏交流分享创建完成通知。在该实施例中,采用了在服务端处理创建请求完成后向创建者终端发送通知的方式,以供所述创建者终端接收到所述通知后直接进入同屏交流,可选的,生成同屏交流分享链接及描述信息并向所述创建者终端发送;
S1709,发送同屏交流分享创建完成通知;
在所述即时通信应用终端10A:
S1711,接收同屏交流分享创建完成通知;
S1712,启动同屏交流页面;
在服务端20:
S1710,处理分享请求;
S1713,发送同屏交流分享链接及描述信息;
在所述即时通信应用终端10B:
S1717,生成访问入口链接并显示;
S1718,接收到对访问入口链接的触发事件,启动同屏交流页面;
在所述即时通信应用终端10A:
S1714,发送同屏交流页面链接网络请求。该步骤承接S1712步骤,在启动所述同屏交流页面后,通过该页面包含的网址向服务端请求加载所述同屏交流页面数据;
在服务端20:
S1715,返回同屏交流页面数据;
在所述即时通信应用终端10A:
S1716,加载同屏交流页面数据。该步骤加载的同屏交流页面中已包含了相关用于同屏交流的部件(参考步骤S1706中的服务端处理);
S1721,发送同屏交流服务连接请求。该步骤目的在于建立同屏相关的数据通信;
在服务端20:
S1722,启动同屏交流服务并建立连接。该步骤采用了在接收到连接请求时启动所述同屏交流服务的方式,建立同屏交流服务与终端10A的连接;
在所述即时通信应用终端10B:
S1719,发送同屏交流页面链接网络请求(与S1714处理类同);
在服务端20:
S1720,返回同屏交流页面数据;
在所述即时通信应用终端10B:
S1723,加载同屏交流页面数据(与S1716处理类同);
S1724,发送同屏交流服务连接请求;
在服务端20:
S1725,建立同屏交流服务连接。即建立同屏交流服务与终端10B的连接;
以下开始同屏交互,例如,在10B终端中发生用户操作,同步至10A终端,示例步骤如下:
在所述即时通信应用终端10B:
S1726,采集生成同屏数据;
S1727,发送同屏数据;
在服务端20:
S1728,处理同屏数据;
S1729,发送同屏数据;
在所述即时通信应用终端10A:
S1730,接收同屏数据,执行页面同步处理。通过该步骤,获得与所述即时通信应用终端10B同屏、同步操作的效果。
需要说明的是,该实施例仅代表本申请一种实施方式,其中的一些步骤或模块可以组合、替换、省略进行实施,所述步骤的执行顺序也不固定,仅用于说明本申请的实现原理,不应因此而限制本申请。
在一种可能的实施方式中,本申请的一个即时通信应用终端同时包含所述服务端的功能,实现本申请其它实施例所提供的在即时通信应用中建立同屏交流分享的方法。例如,在一个即时通信应用终端执行所述同屏交流分享创建请求处理,注册并提供同屏交流分享服务等。
在一种可能的实现方式中,用户在进行音视频通信的场景中,创建同屏交流分享,并基于所创建的同屏交流分享直接进入同屏交流。在该实现方式中,在音视频通信页面,包含用于创建同屏交流分享的第一按钮,接收创建者对所述第一按钮的触发事件,打开分享内容选择画面,接收创建者选择的分享内容,基于所选择的分享内容获取数据和/或信息,并基于所述数据和/或信息生成同屏交流分享创建请求,向服务端发送所述同屏交流分享创建请求。另外,该实现方式基于参与音视频交流的用户(不包括创建者)设置分享目标,进一步的,生成分享请求向服务端发送,可选的,在所述同屏交流分享创建请求中包含所述分享请求中包含的信息,即合并为一个请求向所述服务端发送。在该方式下,服务端处理所述同屏交流分享创建请求,可采用生成同屏交流分享链接或不生成同屏交流分享链接的方式,在不生成所述同屏交流分享链接的情况下,注册所述同屏交流服务并直接启动所述同屏交流服务,为参与同屏交流的终端提供通信服务。在该实现方式下,参与音视频通信的各终端接收服务端发送的同屏交流分享链接或同屏交流分享创建完成通知,直接启动同屏交流页面,或者,在当前的音视频通信页面加载同屏交流页面内容和部件。
在一种可能的实现方式中,用户基于已分享的内容创建同屏交流分享,如点击查看某分享内容,选择创建同屏交流分享,或者,长按某已分享的内容,选择并创建同屏交流分享。所述已分享的内容例如在聊天面板中已存在的分享内容、在朋友圈中已分享的内容等,其主要特征是在服务端已注册过该分享记录。在该实现方式下,在创建者终端基于已分享内容的标识信息生成同屏交流分享创建请求,向所述服务端发送。服务端处理所述同屏交流分享创建请求,基于所述已分享内容的标识信息获取同屏交流分享内容的数据或信息,在服务端注册同屏交流分享服务,生成同屏交流分享链接和/或同屏交流分享描述数据,或者生成创建同屏交流分享完成通知,或者生成为某分享记录创建同屏交流分享的标记信息,向所述创建者终端发送。可选的,在该实现方式中,基于某已分享内容,同时设置分享目标,基于该设置结果生成分享请求向服务端发送,或者,将所述分享请求与所述创建同屏交流分享请求合并为一个网络请求发送,在服务端处理生成同屏交流分享后基于所述分享请求的设置信息,发送分享链接至对应的即时通信应用终端。可选的,所述创建者终端接收为某分享记录创建同屏交流分享的标记信息,在已分享内容上显示标记,即标识该分享内容可进行同屏交流,在接收到对带有所述标记信息的分享链接的触发事件后,启动所述同屏交流页面。可选的,所述创建者终端接收所述服务端发送的同屏交流分享链接和/或同屏交流分享描述数据,基于所述同屏交流分享链接和/或同屏交流分享描述数据生成访问入口链接,并在所述即时通信应用终端显示所述访问入口链接,或者,接收所述服务端返回的同屏交流分享创建完成通知。所述创建者终端在接收到对所述访问入口链接的触发事件或接收到所述同屏交流分享创建完成通知后,启动同屏交流页面。在接收者终端,接收服务端或其它即时通信应用终端发送的同屏交流分享链接和/或同屏交流分享描述数据,基于其生成访问入口链接,并在所述即时通信应用终端显示;在接收到对所述访问入口链接的触发事件后,启动同屏交流页面。
在一种可能的实施方式中,在所述即时通信应用终端采集设备信息数据,如屏幕尺寸、页面尺寸等,在生成与发送所述同屏交流分享创建请求、所述同屏交流连接请求时包含所述设备信息数据,在服务端或创建者终端,基于所述设备信息数据,生成所述同屏交流页面数据或所述同屏交流的配置数据。该实施方式利于保证同屏的效果,例如通过各终端的显示尺寸进行计算,获得兼容各终端设备的页面显示尺寸与比例等,以解决终端页面显示差异、涂鸦过程中的错位等问题。
在一种可能的实施方式中,本申请提供一种基于分享内容创建解说类型分享并执行分享的方法。具体为:在所述即时通信应用创建者终端,接收用户对用于建立解说类型分享的分享内容的选择;基于所选择的分享内容的数据和/或信息在所述本地终端或服务端生成解说页面数据,并加载解说部件,生成解说页面,所述解说部件包括但不限于音频采集部件、视频采集部件、涂鸦部件等;基于创建者在所述解说页面的操作,在所述本地终端或服务端采集操作指令数据、图片数据、内容数据、音频数据、视频数据、涂鸦数据中的一种或多种以及对应的发生时间信息,生成解说数据记录,进一步结构化存储生成为解说数据;基于所述分享内容、解说数据、分享目标设置、解说页面数据或信息等中的一种或多种生成解说类型分享创建请求向服务端发送;服务端接收所述请求,注册所述解说类型分享创建请求,基于其包含的分享目标,生成解说类型分享链接和/或解说类型分享描述数据向所述分享目标发送;在所述即时通信应用创建者终端或接收者终端,接收服务端或其它即时通信应用终端发送的解说类型分享链接和/或解说类型分享描述数据,基于其生成访问入口链接,并在所述即时通信应用终端显示(或在聊天面板显示),在接收到对所述访问入口链接的触发事件后,启动解说播放页面;在启动播放后,加载所述解说页面数据,加载播放控制部件(如开始、播放、暂停、播放进度部件、快进、回退等),获取所述解说数据并解析,根据所述解说数据记录包含的时间信息,按照时间顺序执行对应的播放处理,包括基于所述解说数据记录的类型执行对应的播放处理,如基于所述操作指令数据还原操作行为、基于所述图片数据替换或绘制图片、基于所述内容数据更新或替换页面内容数据、播放视频数据、播放音频数据、还原执行涂鸦绘制中的一种或多种。以上,所述用于创建解说类型分享的内容类型包括但不限于文件(包括文件夹)、图片、文本、表格、网页、视频、声音、网址等。可选的,所述用于创建解说类型分享的内容类型还包括已有的解说类型分享,以实现一种针对分享内容多次解说交流的方法。以上实现方式优点在于,可针对交流内容,在即时通信软件中实现一种不在线的交流方式,如用户A需对某合同文件中的部分内容进行解说、涂鸦批注,用户B在浏览解说时可获取到以上信息,并生成了网络交流过程的存证。以上解说类型的交流方法可作为本申请所述同屏交流方法的一种补充的交流方式,需要特别说明的是,本申请中的一些用于同屏交流的方法,在所述解说交流方法中同样适用。
在一种可能的实施方式中,在进入所述同屏交流页面后,参与者在交流过程中实现交流内容的更换操作,具体为:在所述即时通信应用终端,接收用户触发的更换或选择同屏交流分享内容更换事件;获取新的分享内容获取数据和/或信息,并基于所述数据和/或信息生成交流内容更换请求;在服务端或发起请求终端生成新的同屏交流页面数据,并向其它参与者终端发送所述同屏交流页面数据;在服务端处理所述交流内容更换请求,向参与者终端发送更换指令和/或同屏交流页面数据;在参与者终端,接收所述更换指令重新加载页面数据,或者,接收新的所述同屏交流页面数据并更新页面。可选的,在服务端对应于每个同屏交流内容注册并存放数据记录,或者,进一步存储对应的同屏交流页面数据,以供在同屏交流过程中切换交流内容。
在一种可能的实施方式中,在所述同屏交流结束,在服务端或本地终端生成所述同屏交流过程录制数据后,返回录制完成标记信息和/或录制数据描述信息,并在所述终端中的入口链接处显示所述录制标记信息。可选的,在所述入口链接处显示所述录制数据描述信息,如录制时长、数据大小等。可选的,在所述即时通信应用终端获取所述同屏交流分享链接和/或同屏交流分享描述数据,还包括获取所述同屏交流的录制完成标记信息和/或录制数据描述信息。在接收到对所述访问入口链接的触发事件后,启动同屏交流页面,载入所述同屏交流页面数据和/或所述同屏交流过程录制数据,加载播放控制部件(如开始、播放、暂停、播放进度部件、快进、回退等),解析所述同屏交流过程录制数据,根据所述录制数据记录包含的时间信息,按照时间顺序执行对应的播放处理,包括基于所述录制数据记录的类型执行对应的播放处理,如基于所述操作指令数据还原操作行为、基于所述图片数据替换或绘制图片、基于所述内容数据更新或替换页面内容数据、播放视频数据、播放音频数据、还原执行涂鸦绘制中的一种或多种。以上实施例提供了一种查看、回放同屏交流过程的方法。
在一种可能的实施方式中,所述服务端接收所述即时通信应用终端发送的同屏交流分享设置请求或根据所述同屏交流分享的设置信息产生的设置请求,基于所述设置请求中包含的设置信息对已创建的同屏交流分享或已注册的同屏交流服务进行设置。例如,所述设置信息为取消同屏交流服务,则设置对应的同屏交流分享类型为普通分享(现有技术中的内容分享),同时注销对应的同屏交流服务;所述设置信息为关闭所述同屏交流分享,则取消同屏交流分享链接的访问权限等。以上举例改变了所述同屏交流分享的状态,可选的,在即时通信应用终端获取并更新同屏交流分享的状态信息,如取消同屏交流标记等。以上实施例便于用户对同屏交流分享的状态进行设置,如在交流结束后,设置其状态并将其转化为一个普通的分享。
在一种可能的实施方式中,在针对所述同屏交流分享的同屏交流过程中,接收所述即时通信终端发送的音频或视频交流切换请求,将所述同屏交流页面切换为独立的音频或视频通信功能页面,或者切换为所述即时通信应用终端音频或视频通信页面。还包括,接收所述即时通信终端发送的同屏分享交流切换请求,将当前页面切换为对分享内容进行交流的同屏交流页面。该实施例示例了一种独立的音视频通信交流与同屏交流的切换方法。
在一种可能的实施方式中,在同屏交流过程中对各参与终端的操作权进行分配,使同一时刻仅有一个终端拥有操作权,根据一个终端是否占有操作权,将该终端的控制状态分为:空闲(本终端及其它终端均未占有操作权)、主控(本终端占有操作权)、受控(其它终端占有操作权)等状态,包括:
在其中一终端的同屏交流页面监听到用户操作后,判断该终端的控制状态,根据所述控制状态执行以下判断并操作:
A.当为空闲状态时,向服务端发送操作权申请并经许可后获得所述操作权,并设置本终端的控制状态为主控状态,执行所述用户操作,同时启动本终端定时器开始计时操作,由所述服务端通知其他终端将控制状态切换为受控状态;向服务端发送操作权申请并经驳回后,拦截所述用户操作;
B.当为受控状态时,拦截用户操作;
C.当为主控状态时,执行用户操作,并刷新所述定时器,重新开始计时。
在启动所述定时器开始计时之后,还包括:
A在预设的时间阈值之内,监听到在所述同屏交流页面上的用户操作后,刷新所述定时器重新开始计时;
B所述定时器计时达到预设的时间阈值,则设置本终端的控制状态为空闲状态,并向服务端发送操作权交回通知,由所述服务端通知其他终端将控制状态切换为空闲状态。
以上实现方式实现了同屏交流过程中各终端操作权限的自动分配。
在一种可能的实施方式中,本申请在所述同屏交流页面与服务端建立数据通信的通信方式,可选的,采用所述即时通信终端已同服务端建立的通信通道取代。本申请在服务端为所述同屏交流页面提供的通信服务,如所述同屏交流服务,可选的,采用服务端与同所述即时通信终端建立的通信通道取代。
在一种可能的实施方式中,在所述服务端接收所述同屏交流分享创建请求后,在服务端,在所述服务端创建一个浏览实例,在所述浏览实例中加载所述同屏交流页面数据,生成同屏交流页面浏览与操作实例,并启动页面监听;在所述实例内容加载完成或者监听到所述实例页面内容发生变化后,采集所述实例页面数据生成所述同屏数据向参与同屏交流的所述即时通信应用终端发送,或者,基于所述实例页面采集用于绘制所述实例页面内容的绘制指令作为同屏数据向参与同屏交流的所述即时通信应用终端发送,或者,基于所述实例页面显示内容生成图片或视频数据,将所述图片或视频数据作为同屏数据向参与同屏交流的所述即时通信应用终端发送。对应的,基于以上所述服务端发送的数据,在对应的所述即时通信应用终端接收。还包括,在所述即时通信应用终端采集用户操作事件,将所述操作事件向所述服务端发送。还包括,在所述服务端,接收所述即时通信应用终端发送的用户操作事件,在所述浏览实例中执行所述用户操作。可选的,以上采集数据的方式包括采集增量数据、全量数据方式,其中所述增量数据为发生变化的部分数据或包含发生变化的部分数据。可选的,结合本实施例提供的方法,使用其中一个所述即时通信应用终端的同屏交流页面取代以上所述浏览与操作实例的方式进行实施。以上实现方式提供了另一种本申请实现同屏的方法,其在服务端为所述同屏交流内容创建了实际的浏览与操作执行环境,各参与终端针对同屏交流内容的操作事件,发送至服务端并在服务端执行环境中实际执行,然后将执行结果的镜像发送至终端显示获得同屏效果,有利于解决所述同屏交互中包含动态执行内容(如向服务端发送网络请求,多个相同的请求导致运行逻辑错误)而导致的执行混乱问题。
另外需要特别说明的是,以上几个实施例中,其中的同屏交流页面数据支持本申请实施例所列举的服务端生成、创建者终端本地生成等方式,所述同屏交流部件的加载同样支持本申请实施例所列举的服务端生成、终端本地生成等方式,另外支持本申请其它实施所提供的基于设置信息对所述同屏交流分享进行设置等。
基于相同的发明构思,参考图18所示,本发明实施例还提供包括同屏交流分享功能的即时通信***,所述***包括即时通信应用终端10、服务端20,所述即时通信应用终端10包括:创建模块101、链接生成与处理模块102、同屏交流页面103,所述同屏交流页面103还包括:加载模块1031、同屏数据采集与处理模块1032,所述服务端20包括:创建请求处理模块201、访问请求处理模块202、同屏交流服务模块203,其中:
所述创建模块101,用于创建同屏交流分享创建请求并向所述服务端发送;
所述链接生成与处理模块102,用于接收所述服务端返回的同屏交流分享创建完成通知,或者,接收所述创建请求处理模块201发送的同屏交流分享链接和/或同屏交流分享描述数据,生成访问入口链接并在所述即时通信应用终端显示;
所述链接生成与处理模块102,还用于接收服务端或其它即时通信应用终端发送的同屏交流分享链接和/或同屏交流分享描述数据生成访问入口链接,并在所述即时通信应用终端显示;
所述链接生成与处理模块102,还用于在接收到对所述访问入口链接的触发事件或接收到所述同屏交流分享创建完成通知后,启动同屏交流页面;
所述加载模块1031,用于基于所述同屏交流分享链接加载页面内容;
所述同屏数据采集与处理模块1032,用于采集操作指令数据、图片数据、内容数据、视频数据中的一种或多种,生成同屏数据向所述同屏交流服务模块203发送;
所述同屏数据采集与处理模块1032,还用于接收所述同屏交流服务模块203发送的同屏数据,基于所述同屏数据包含的数据类型,在所述同屏交流页面执行对应的页面同步处理;
所述创建请求处理模块201,用于接收所述创建模块101发送的同屏交流分享创建请求,基于其注册同屏交流服务,并生成对应的同屏交流分享链接和/或同屏交流分享描述数据向对应的即时通信应用终端发送,还包括,生成同屏交流分享创建完成通知向所述发送同屏交流分享创建请求的即时通信应用终端发送;
所述访问请求处理模块202,用于接收所述链接生成与处理模块102发送的同屏交流服务连接请求,并基于其查找对应的同屏交流服务,建立所述同屏交流服务与所述即时通信应用终端之间的通信连接,还包括,在确定所述同屏交流服务未启动时启动所述同屏交流服务;
所述同屏交流服务模块203,用于接收所述同屏数据采集与处理模块1032发送的同屏数据,以及向所述同屏数据采集与处理模块1032发送同屏数据。
在一种可能的实施方式中,所述即时通信***还包括:
所述链接生成与处理模块102,还用于在生成所述访问入口链接后,在所述即时通信应用终端的聊天面板区域显示所述访问入口链接;
所述加载模块1031,还用于,基于所述同屏交流页面的链接中所包含的网络请求,接收所述服务端返回的同屏交流页面数据,加载并生成所述同屏交流页面内容,并建立所述即时通信应用终端与服务端所述同屏交流服务之间的通信;
所述加载模块1031,还用于在所述同屏交流页面加载同屏交流部件,所述同屏交流部件包括涂鸦部件、视频显示部件、音视频控制部件、录制部件、同屏状态信息显示部件、同屏权限控制部件、同屏交流设置部件中的一种或者多种;
所述加载模块1031,还用于接收所述服务端或所述同屏交流创建者即时通信应用终端发送的所述同屏交流页面数据,基于所述同屏交流页面数据加载本地所述同屏交流页面;
所述同屏数据采集与处理模块1032,还用于接收所述同屏交流服务模块203发送的所述同屏交流页面数据,加载并生成所述同屏交流页面内容;
所述创建模块101,还用于获取对所述同屏交流分享的分享目标的设置数据,基于所述设置数据生成分享请求并向所述创建请求处理模块201发送;
所述创建请求处理模块201,还用于接收所述创建模块101发送的分享请求,解析所述分享请求中包含的分享目标与对应的同屏交流分享链接,向所述分享目标即时通信应用终端发送所述同屏交流分享链接和/或所述同屏交流分享描述数据。
在一种可能的实施方式中,所述即时通信***的所述同屏交流页面103还包括音视频模块1033、涂鸦模块1034、页面内容数据生成模块1035,其中:
所述音视频模块1033,用于执行所述即时通信应用终端与服务端或其他参与同屏交流的其他即时通信应用终端之间的音频和/或视频通信;
所述涂鸦模块1034,用于采集涂鸦数据并向所述同屏交流服务模块203发送,以及接收所述同屏交流服务模块203发送的涂鸦数据并执行涂鸦绘制;
所述同屏交流页面103中的所述页面内容数据生成模块1035,用于基于所述同屏交流分享的所述信息在本地获取所述同屏交流分享的数据内容,基于所述同屏交流分享的数据内容在本地加载生成同屏交流页面内容,并采集或生成同屏交流页面数据向所述服务端或其它参与者终端发送。
在一种可能的实施方式中,所述即时通信***的服务端20还包括录制模块204、页面内容数据生成模块205,其中:
所述录制模块204,用于记录同屏交流页面数据、所述同屏交流服务模块203接收的同屏数据、向所述同屏数据采集与处理模块1032发送的同屏数据、发送者信息、接收者信息、发生时间信息中的一种或者多种并结构化存储生成为同屏交流过程录制数据;
所述服务端20的所述页面内容数据生成模块205,用于基于所述创建模块101发送的所述同屏交流分享创建请求所包含的数据和/或信息,在所述服务端生成同屏交流页面数据;
所述服务端的所述页面内容数据生成模块205,还用于在所述同屏交流页面中创建同屏交流部件,在所述服务端生成的所述同屏交流页面数据中增加所述同屏交流部件数据;
所述访问请求处理模块202,还用于在接收到所述即时通信应用终端启动所述同屏交流页面发送的网络请求后,向所述即时通信应用终端返回所述同屏交流页面数据;
所述同屏交流服务模块203,还用于在与所述即时通信应用终端建立连接后,向所述即时通信应用终端返回对应的所述同屏交流页面数据。
在一种可能的实施方式中,所述即时通信应用终端10还包括录制模块1036,所述录制模块1036用于在本地记录同屏交流页面数据、发送与接收的同屏数据、发生时间信息中的一种或者多种并结构化存储生成为同屏交流过程录制数据。
本申请实施例还提供一种即时通信应用终端,其包含处理器、用于存储处理器可执行指令的存储器;其中,所述处理器被配置为可执行以上任意一项在即时通信应用中建立与使用同屏交流分享的方法。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述实施例所述的在即时通信应用中建立与使用同屏交流分享的方法。
此外,本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行上述实施例所述的在即时通信应用中建立与使用同屏交流分享的方法。
以下,结合即时通信软件应用实例,对本申请进行示例性说明,便于进一步理解:
如图20所示,为时通讯软件X的一个聊天面板,用户A、用户B在聊天过程中;用户A有针对文件1与用户B交流讨论的需求,此时,用户A点击下方增加按钮(见虚线内“+”图标按钮),启动发送数据的类型选择面板,如图21所示,在该处选择“同屏交流分享”(见虚线框标记);进入同屏交流分享内容选择面板,如图22所示,在该页面,选择用于同屏交流的分享内容,此时,用户A选择“文件1”,基于用户A选择的内容,向服务端发送同屏交流分享创建请求;在服务端处理以上创建请求后,生成同屏交流分享链接,用户A终端接收所述同屏交流分享链接并在聊天面板中显示,如图23所示(见虚线框标记);同时,因该同屏交流分享在聊天场景中发起,服务端设置并处理分享目标为当前的聊天房间ID,因此,用户B同时接收到所述同屏交流分享链接;用户A、用户B点击所述同屏交流分享链接,进入同屏交流页面,如图24所示;在双方进入同屏分享交流页面后,示例性的处理步骤如下:
1)加载同屏交流页面数据,以及同屏交流部件;
2)建立与服务端之间的同屏交流数据通信,或者建立两个终端之间的同屏交流数据通信;
3)基于所述同屏交流分享创建时的设置信息,启动音频、视频通信功能,包括采集一侧终端的摄像头视频数据并向另一侧终端发送,接收另一侧终端的视频数据并在本侧终端播放,采集发送与接收音视频数据;
4)当在一侧终端发生用户操作时,采集生成同屏数据向服务端或另一侧终端发送;接收服务端或另一侧终端发送的同屏数据,在本侧终端执行相应的页面同步处理。另外,该步骤根据操作权限设置,还包括仅允许其中一侧终端执行操作,另一侧终端执行同步的情形;
5)启动涂鸦模块,采集涂鸦数据向服务端或另一侧终端发送;接收服务端或另一侧终端发送的涂鸦数据,在本侧终端执行相应的同步涂鸦处理。
总结该实施例中提供的方法:在即时通信应用程序中聊天页面(包括群聊),接收用户触发的第二按钮点击事件,启动发送内容类型选择面板;接收用户对发送类型的选择事件,当确认所选择的类型为同屏交流分享类型时,启动用于创建同屏交流分享的分享内容选择面板;接收用户选择的分享内容,基于所述用户选择的内容,生成同屏交流分享创建请求发送;接收所述同屏交流分享创建完成通知启动同屏交流页面(或经用户确认后启动同屏交流页面),或者,接收所述同屏交流分享链接在所述聊天页面显示,接收用户对所述同屏交流分享链接的点击事件并启动所述同屏交流页面;进入所述同屏交流页面后,采集操作指令数据、图片数据、内容数据、视频数据中的一种或多种,生成同屏数据向服务端或其它终端发送;接收服务端或其它终端发送的同屏数据,基于所述同屏数据包含的数据类型,在所述同屏交流页面执行页面同步处理。
以上,为本申请的一个应用场景举例,用于说明本申请的实施效果,以上实施方法快捷的满足了用户A、用户B针对文件1的交流讨论需求,不难看出,用户A创建同屏交流分享的步骤与普通的文件分享操作次数基本相同,但实现了同屏交流的目的,提升了沟通的效率,另外,以上实施例实现了视频会议分享文档讨论的效果,但相比创建一个会议、进入会议、执行分享的操作步骤,明显快捷高效。进一步的,结合以上实施例,用户A或用户B有邀请用户C参与讨论的需求,仅需在即时通信聊天面板中,长按分享链接进行分享目标用户选择,即可实现用户C邀请加入同屏讨论。进一步的,在所述同屏交流结束后,在服务端(或终端)记录生成同屏交流过程录制数据,用户可通过聊天面板的所述同屏交流分享链接,进入查看交流的过程记录,回放同屏交流过程,同时提供了交流的证据。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种在即时通信应用中建立同屏交流分享的方法,其特征在于,所述方法应用于即时通信应用终端,所述方法包括:
在所述即时通信应用终端中的音视频通信场景或页面,接收用户触发的按钮点击事件,启动用于创建同屏交流分享的分享内容选择面板,接收用户选择的分享内容,基于所述用户选择的分享内容,生成同屏交流分享创建请求发送;接收所述同屏交流分享创建完成通知启动同屏交流页面,创建同屏交流分享并基于所创建的同屏交流分享直接进入同屏交流;
其中,所述服务端功能包括:接收所述即时通信应用终端发送的同屏交流分享创建请求,基于所述同屏交流分享创建请求注册同屏交流服务,并生成对应的同屏交流分享链接和/或同屏交流分享描述数据;生成同屏交流分享创建完成通知;接收所述即时通信应用终端发送的同屏交流服务连接请求,并基于其查找对应的同屏交流服务,建立所述即时通信应用终端与所述对应的同屏交流服务之间的通信连接;接收所述即时通信应用终端发送的同屏数据,向连接所述同屏交流服务的其它即时通信应用终端发送同屏数据。
2.根据权利要求1所述的方法,其特征在于,在所述即时通信应用终端生成同屏交流分享创建请求,还包括:
获取参与音视频交流的用户作为对所述同屏交流分享的分享目标的设置数据,基于所述设置数据生成分享请求并向所述服务端发送,其中,所述分享请求由所述服务端处理,基于其包含的设置数据获取所述同屏交流分享的分享目标,将所述同屏交流分享链接和/或同屏交流分享描述数据发送至所述分享目标。
3.根据权利要求1所述的方法,其特征在于,在所述即时通信应用终端生成同屏交流分享创建请求,还包括:
在所述即时通信应用终端采集设备信息数据,基于所述设备信息数据生成所述同屏交流的配置数据,在所述同屏交流分享创建请求中包含所述设备信息数据。
4.根据权利要求1所述的方法,其特征在于,在所述即时通信应用终端启动所述同屏交流页面之后,还包括:
在所述同屏交流页面本地加载同屏交流部件,所述同屏交流部件包括涂鸦部件、视频显示部件、音视频控制部件、录制部件、同屏状态信息显示部件、同屏权限控制部件、同屏交流设置部件中的一种或者多种。
5.根据权利要求1所述的方法,其特征在于,在启动所述同屏交流页面和进入所述同同屏交流后,还包括:
在所述音视频通信页面加载同屏交流页面内容和同屏交流部件。
6.根据权利要求1所述的方法,其特征在于,在所述即时通信应用终端生成所述同屏交流分享创建请求发送,还包括:
将所述同屏交流创建请求,与同屏交流分享请求合并为一个请求向所述服务端发送。
7.根据权利要求1所述的方法,其特征在于,在建立所述即时通信应用终端与服务端对应的同屏交流服务之间的通信之后,还包括:
在所述同屏交流页面,采集操作指令数据、图片数据、内容数据、视频数据、涂鸦数据中的一种或多种,生成同屏数据,将所述同屏数据向所述同屏交流服务发送;接收所述同屏交流服务发送的同屏数据,基于所述同屏数据包含的数据类型,在所述同屏交流页面执行页面同步处理,所述页面同步处理包括基于所述操作指令数据执行其包含的操作指令以还原操作行为、基于所述图片数据替换或绘制图片、基于所述内容数据更新或替换页面内容数据、播放视频数据、基于所述涂鸦数据执行同步涂鸦绘制中的一种或多种。
8.根据权利要求1所述的方法,其特征在于,在所述即时通信应用终端进入所述同屏交流页面之后,还包括:
接收所述即时通信终端发送的切换为音频或视频交流的切换请求,将所述同屏交流页面切换为独立的音频或视频通信页面;接收所述即时通信终端发送的切换为同屏交流的切换请求,将音频或视频通信页面切换为所述同屏交流页面。
9.根据权利要求1所述的方法,其特征在于,在启动所述同屏交流之后,还包括,在所述服务端或所述即时通信应用终端,记录同屏交流页面数据、所述同屏交流服务接收的同屏数据、向所述即时通信应用终端发送的同屏数据、发送者信息、接收者信息、发生时间信息中的一种或者多种生成同屏交流过程录制数据;返回录制完成标记信息和/或录制数据描述信息,并在所述终端中的入口链接处显示所述录制标记信息;接收用户对所述同屏交流分享链接的访问事件,启动播放所述同屏交流过程录制数据以回放所述同屏交流过程,其中,所述同屏交流过程录制数据用于生成同屏交流过程的回放或视频。
10.根据权利要求1所述的方法,其特征在于,在所述即时通信应用终端启动所述同屏交流页面之后,还包括:
接收用户触发的更换同屏交流分享内容事件;获取新的分享内容的数据和/或信息,并基于所述新的分享内容数据和/或信息生成交流内容更换请求向所述服务端发送,其中,在所述服务端或发起所述内容更换请求的终端生成新的同屏交流页面数据,并向其它参与者终端发送所述同屏交流页面数据;在所述服务端处理所述交流内容更换请求,向参与者终端发送更换指令和/或同屏交流页面数据;
在所述同屏交流的参与者终端,接收所述更换指令重新加载页面数据,或者,接收新的所述同屏交流页面数据并更新所述同屏交流页面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410304560.XA CN118200272A (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410304560.XA CN118200272A (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
CN202111513109.1A CN114422460B (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111513109.1A Division CN114422460B (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118200272A true CN118200272A (zh) | 2024-06-14 |
Family
ID=81264668
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410304599.1A Pending CN118200273A (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
CN202410304421.7A Pending CN118200271A (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
CN202111513109.1A Active CN114422460B (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
CN202410304560.XA Pending CN118200272A (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410304599.1A Pending CN118200273A (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
CN202410304421.7A Pending CN118200271A (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
CN202111513109.1A Active CN114422460B (zh) | 2021-12-12 | 2021-12-12 | 一种在即时通信应用中建立同屏交流分享的方法、*** |
Country Status (1)
Country | Link |
---|---|
CN (4) | CN118200273A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134318A (zh) * | 2022-06-16 | 2022-09-30 | 王蕾茜 | 一种用户可以同步同屏实时手绘的应用程序及聊天方法 |
CN114970449B (zh) * | 2022-07-08 | 2022-11-01 | 青岛希望鸟科技有限公司 | 一种应用于同屏交流的字体处理方法 |
CN115186218B (zh) * | 2022-09-14 | 2023-01-10 | 中新云服(北京)科技有限公司 | 一种应用于网页同屏的内容切换方法、*** |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101166161B (zh) * | 2007-10-11 | 2012-05-30 | 刘帅 | 一种在即时通讯工具中动态获取对方屏幕的交流方法 |
KR101470346B1 (ko) * | 2012-07-20 | 2014-12-09 | 주식회사 케이티 | Rcs 이동통신 네트워크를 통한 사용자 단말간 스크린 쉐어 방법 |
CN102883135B (zh) * | 2012-11-01 | 2015-08-26 | 成都飞视美视频技术有限公司 | 屏幕共享及控制方法 |
US20150033140A1 (en) * | 2013-07-23 | 2015-01-29 | Salesforce.Com, Inc. | Providing active screen sharing links in an information networking environment |
CN105450688A (zh) * | 2014-08-20 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 屏幕分享方法和装置 |
CN105451198B (zh) * | 2014-09-30 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 即时通信中分享图片的方法和装置 |
CN106973330B (zh) * | 2017-03-20 | 2021-03-02 | 腾讯科技(深圳)有限公司 | 一种屏幕直播方法、装置和*** |
CN112291496A (zh) * | 2019-07-24 | 2021-01-29 | 北京我声我视科技有限公司 | 一种基于内容的即时通信方法和*** |
CN111107145B (zh) * | 2019-12-17 | 2022-02-11 | 青岛希望鸟科技有限公司 | 基于html5网页的在线同步交流*** |
CN111405303B (zh) * | 2020-03-06 | 2021-11-12 | 青岛希望鸟科技有限公司 | 基于网页快速建立直播的方法 |
CN113595852A (zh) * | 2020-04-30 | 2021-11-02 | 北京字节跳动网络技术有限公司 | 一种邮件信息展示方法、装置、电子设备和存储介质 |
CN112347401A (zh) * | 2020-09-30 | 2021-02-09 | 深圳市聚点数码科技有限公司郑州分公司 | 房屋同屏带看方法、***、装置及计算机可读存储介质 |
CN111935443B (zh) * | 2020-10-12 | 2021-01-22 | 融智通科技(北京)股份有限公司 | 一种视频会议实时直播分享到即时通讯工具的方法和装置 |
CN113242173B (zh) * | 2021-05-10 | 2023-05-16 | 深圳宜享科技有限公司 | 屏幕的分享方法、装置、***和即时通讯服务器 |
CN113377312A (zh) * | 2021-06-17 | 2021-09-10 | 北京十一贝科技有限公司 | 同屏互动方法、装置、计算机设备及计算机可读存储介质 |
-
2021
- 2021-12-12 CN CN202410304599.1A patent/CN118200273A/zh active Pending
- 2021-12-12 CN CN202410304421.7A patent/CN118200271A/zh active Pending
- 2021-12-12 CN CN202111513109.1A patent/CN114422460B/zh active Active
- 2021-12-12 CN CN202410304560.XA patent/CN118200272A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN118200273A (zh) | 2024-06-14 |
CN114422460B (zh) | 2024-03-01 |
CN114422460A (zh) | 2022-04-29 |
CN118200271A (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114422460B (zh) | 一种在即时通信应用中建立同屏交流分享的方法、*** | |
US11140106B2 (en) | Method, device and storage medium for interactive message in video page | |
US10872127B2 (en) | Method and system of providing for cross-device operations between user devices | |
EP3926917B1 (en) | Data transmission method, device and computer storage medium | |
US7856473B2 (en) | Teleconference system, teleconference support method, and computer program | |
US9367832B2 (en) | Synchronizing image data among applications and devices | |
US20160330258A1 (en) | Broadcasts among electronic devices of registered users via internet protocol | |
EP2631825A1 (en) | Communication system, server and terminal, with mounting of a per-conference shared folder | |
US20150149933A1 (en) | User interface widget unit sharing for application user interface distribution | |
KR102052245B1 (ko) | 인증된 미디어 콘텐츠 입력에 기초하여 미디어 콘텐츠의 협력자들을 추천하는 방법들, 시스템들, 및 매체들 | |
US20130080560A1 (en) | System and Method for Sharing Digital Data on a Presenter Device to a Plurality of Participant Devices | |
CN104539977A (zh) | 直播预览方法及装置 | |
US20230017859A1 (en) | Meeting control method and apparatus, device, and medium | |
CN112584187A (zh) | 会话的创建方法、装置、服务器和存储介质 | |
CN110730324A (zh) | 一种视频画面显示控制方法和装置 | |
CN118400344A (zh) | 一种在即时通信应用中建立同屏交流分享的方法、*** | |
JP3882605B2 (ja) | メッセージングシステムおよび方法、メッセージング装置、ならびに、メッセージ交換装置 | |
CN114885116A (zh) | 基于云会议桌面的群组讨论方法及相关设备 | |
KR20110065292A (ko) | 컨텐트에 대한 코멘트 공유 방법 및 그 장치 | |
CN111143607B (zh) | 一种信息获取方法和装置 | |
CN114726816B (zh) | 一种建立关联关系的方法、装置、电子设备和存储介质 | |
CN116820792B (zh) | 一种应用于网页同屏交流的交互处理方法 | |
CN114466208B (zh) | 直播记录处理方法、装置、存储介质及计算机设备 | |
CN116980149A (zh) | 连接管理方法、装置、终端及存储介质 | |
CN117609652A (zh) | 一种显示设备及网页的投屏方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |