CN114501048A - 以大屏显示为中心的跨屏实时通信交互方法及*** - Google Patents

以大屏显示为中心的跨屏实时通信交互方法及*** Download PDF

Info

Publication number
CN114501048A
CN114501048A CN202210053767.5A CN202210053767A CN114501048A CN 114501048 A CN114501048 A CN 114501048A CN 202210053767 A CN202210053767 A CN 202210053767A CN 114501048 A CN114501048 A CN 114501048A
Authority
CN
China
Prior art keywords
information
data information
content
sending
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210053767.5A
Other languages
English (en)
Inventor
陈晓东
张华生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yixin Media Information Technology Guangzhou Co ltd
Original Assignee
Yixin Media Information Technology Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yixin Media Information Technology Guangzhou Co ltd filed Critical Yixin Media Information Technology Guangzhou Co ltd
Priority to CN202210053767.5A priority Critical patent/CN114501048A/zh
Publication of CN114501048A publication Critical patent/CN114501048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开一种以大屏显示为中心的跨屏实时通信交互方法及***，涉及数据通信方法、跨屏幕显示技术领域，本发明以OTT大屏为中心，通过移动端与OTT大屏端中装载的应用程序，依托移动4G/5G、WiFi网络，实现移动端与大屏端跨屏实时通信交互***；通过构建移动端与OTT大屏互动链路,建立“人与人”之间信息沟通渠道，解决手机操作不便、功能繁杂，屏幕狭小、视觉疲劳的问题，OTT大屏聚焦手机小屏与电视大屏之间的信息交流和分享，构建手机小屏与大屏之间的沟通渠道，使人们能够以十分便捷的方式实现“人与人”之间文字、语音、图片、视频的多媒体信息连接，以满足人们最基础、最普遍的交流需求。

Description

以大屏显示为中心的跨屏实时通信交互方法及***
技术领域
本发明涉及数据通信方法、跨屏幕显示技术领域，具体涉及以大屏显示为中心的跨屏实时通信交互方法及***。
背景技术
移动客户端是一款具备移动端与移动端实现即时通讯功能的同时，还可实现移动端与OTT大屏之间多媒体即时通讯服务APP。其中，OTT大屏APP用于下载安装在OTT智能电视、OTT智能投影或OTT机顶盒中，移动端APP用于下载安装在手机(包括安卓和苹果)中.实现手机与大屏之间的即时通讯服务。
OTT大屏端APP与移动端小屏APP两者的功能、操作UI、UE等互不相同，以此分别满足不同终端、不同用户、不同场景和不同需求之间“人与人“的渠道建立和沟通实现。其中，移动端APP充分考虑了用户生活的忙碌、时间的碎片、场所的移动和变换等因素，OTT大屏端APP的设计更多的考虑了中老年人群使用需求、特点、能力、场景、生理等特殊因素，力求为双方都提供使用便捷、功能强大交流手段。
发明内容
本发明的目的在于提出以大屏显示为中心的跨屏实时通信交互方法及***，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明为了是建立在以OTT大屏为中心，通过移动端与OTT大屏端中装载的应用程序，依托移动4G/5G、wifi网络，实现移动端与大屏端跨屏实时通信交互***，由服务平台、移动客户端、OTT大屏客户端软件共同组成，跨屏实时通信交互方法包括发送端（信息发送）、平台端和信息接收端（信息接收）三方构成。
为了实现上述目的，根据本发明的一方面，提供以大屏显示为中心的跨屏实时通信交互方法，所述方法包括以下步骤：
S100，发送端选择信息接收对象；
S200，发送端对平台端发送数据信息，并显示所发送的数据信息所包含的一维信息或二维信息的缩略图；
S300，平台端接收数据信息后，对接收到的数据信息进行合法性检查，如果监测到非法的内容则中止发送流程并向发送端返回发送内容非法提醒及发送失败的提醒，如果通过合法性检查则转到步骤S400；
S400，如果内容合法则将数据信息存储在平台端的存储介质中，同时向发送数据信息的发送端返回发送成功消息；
S500，平台端解析数据信息中的信息接收对象，判断信息接收对象的联系人进行是否在线，如果信息接收对象的联系人在线则将数据信息传输至在线接收对象所对应的信息接收端并进入步骤S700；如果信息接收对象的联系人离线则进入步骤S600；
S600，当监测到信息接收对象的联系人离线时将数据信息挂起，同时启动对象上线监测进程，直到当监测到信息接收对象的联系人上线时则将数据信息传输至在线接收对象所对应的信息接收端；即，信息接收对象的联系人如果离线则将数据信息挂起，同时启动对象上线监测进程，当监测信息接收对象的联系人上线则将数据信息传输至在线接收对象；
S700，平台端生成数据信息的缩略图并发送到所述信息接收端，所述信息接收端收到数据信息的缩略图后进行来信息提醒；
S800，当所述信息接收端显示数据信息的缩略图并向平台端请求下载数据信息的清晰视图，平台端生成数据信息的清晰视图并将所述数据信息的清晰视图发送到所述信息接收端，所述信息接收端将所述数据信息的清晰视图下载完成后替换所述数据信息的缩略图，以显示所述数据信息的清晰视图，并同步将所述数据信息的清晰视图存储在缓存中；当信息接收端再次查看数据信息时会先检查缓存,如存在数据信息的清晰视图则读取缓存中数据信息的清晰视图，如果没有则从平台端下载数据信息的清晰视图；所述清晰视图是数据信息的视频截图或者数据信息的第一帧图像；设置此步骤主要是考虑到OTT大屏端的存储空间普遍有限，如不设置缓存则很容易造成***空间不足；
S900，信息接收端向平台端发送信息接收完成回执，平台端收到信息接收完成回执，改变信息状态，完成整个信息发送及接收流程。
进一步地，在S100中，所述信息接收对象包括一个或多个移动端用户、一个或多个OTT大屏终端、移动端与OTT大屏端组合的群组中任意一种或多种的组合。
进一步地，在S200中，所述数据信息包括输入的文本内容、图片内容、视频内容、音频内容、即时录入语音内容、即时拍摄的音视频内容中任意一种，其中，输入的文本内容、即时录入的语音内容、即时拍摄的音视频内容一次只能发生一条，而发送选择的文件一次可以选择多个。
进一步地，在S100中，发送端选择信息接收对象还包括以下步骤：
S101，进入二维富媒体内容编辑界面；其中，所述二维富媒体包括动画、声音、视频或交互性的信息；
S102，选择及编辑封面内容，得到二维富媒体主题封面内容；其中，选择封面内容是指从输入的文本内容、图片内容、视频内容、音频内容、录入语音内容、实时拍摄的音视频内容中选择其中的一项作为二维富媒体封面内容；
S103，对已选择或编辑的二维富媒体封面内容进行确认，确认的封面内容为二维富媒体的第一维内容即为一维信息；
S104，选择二维富媒体中的第二维内容，第二维内容可以是一个或多个图片、一个或多个视频、一个或多个音频、一个或多个PDF文档中一个或多个类型文件的组合；
S105，对选择的第二维内容进行编辑整理及排序；
S106，对整个二维富媒体内容进行确认，在并在移动端形成二维富媒体信息集合，即为二维信息；
S107，对二维信息中的图片、视频文档进行压缩生成缩略图；
S108，将二维富媒体的数据集合作为数据信息，所述数据信息包含二维富媒体数据结构文档，封面文件，缩略图文件，二维文件包；二维富媒体数据结构文档中包含联系人信息、二维信息结构内容；其中，二维信息结构内容包括封面内容记录、文本内容、缩略图大小和名称等。
进一步地，在S200中，发送端对平台端发送数据信息还包括以下步骤：
S201，对数据信息的内容进行图片化处理，对图片和视频生成剪影缩略图，对文本类文件对应生成默认图标；
S202，发送端的界面显示等待发送动画；
S203，将数据信息的内容加入发送队列等待发送；
S204，按发送队列顺序逐条发送数据信息的内容；当内容开始发送时发送通知到信息接收对象；
S205，收到发送通知时，停止等待发送动画并显示发送进度；
S206，判断发送队列中的内容是否发送成功，如果发送不成功则返回发送不成功通知；
S207，收到发送不成功通知时显示发送失败，显示重新发送按钮标识；
S208，如果发送成功则检查发送的内容是否发送完成，如果已经发送完成则按发送队列的顺序发送队列中的下一条内容；
S209，如果已经发送完成则返回发送完成通知并显示信息发送成功。
进一步地，在S300中，对接收到的数据信息进行合法性检查的方法具体包括:一是合规检查，二是版权检查；其中合规问题涉及的对象包括非法信息、违规信息；通常都通过技术手段和/或人工审核来完成审核检查工作；技术手段采用深度学习的模型相关文献（Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. "Explaining andharnessing adversarial examples." arXiv preprint arXiv:1412.6572 (2014)）进行合法性检查。
进一步地，在S800中，对所有接收到的信息进行通览，通览是一条一条自动播放接收到的信息，同时可以通过遥控器左右进行内容切换。
其中，发送端是移动端，移动端指的是装载有移动端APP的智能手机、智能平板电脑。
其中，平台端指的是装载有管理***的云服务平台，包括云计算和云存储平台。
其中，信息接收端可以是一个或多个移动端、一个或多个移动端对应的OTT大屏端、多个移动端与多个移动端对应的OTT大屏端的组合，OTT大屏端指的是安装有OTT大屏APP的智能电视、智能投影或智能机顶盒等可以在大屏幕显示的终端设备；其中，移动端可以是信息发送方，也可以是信息接收方；OTT大屏端只能是移动端对应的信息接收方。
本发明还提供了以大屏显示为中心的跨屏实时通信交互***，所述***包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下***的单元中：
接收对象选择单元，用于发送端选择信息接收对象；
信息发送单元，用于发送端对平台端发送数据信息，并显示所发送的数据信息所包含的一维信息或二维信息的缩略图；
合法性检查单元，用于平台端接收数据信息后，对接收到的数据信息进行合法性检查，如果监测到非法的内容则中止发送流程并向发送端返回发送内容非法提醒及发送失败的提醒，如果通过合法性检查则转到信息存储单元；
信息存储单元，用于如果内容合法则将数据信息存储在平台端的存储介质中，同时向发送数据信息的发送端返回发送成功消息；
在线判断单元，用于平台端解析数据信息中的信息接收对象，判断信息接收对象的联系人进行是否在线，如果信息接收对象的联系人在线则将数据信息传输至在线接收对象所对应的信息接收端并进入信息接收单元；如果信息接收对象的联系人离线则进入离线检测单元；
离线检测单元，用于当监测到信息接收对象的联系人离线时将数据信息挂起，同时启动对象上线监测进程，直到当监测到信息接收对象的联系人上线时则将数据信息传输至在线接收对象所对应的信息接收端；
信息接收单元，用于平台端生成数据信息的缩略图并将所述数据信息的缩略图发送到所述信息接收端，所述信息接收端收到数据信息的缩略图后进行来信息提醒；
清晰视图下载单元，用于当所述信息接收端显示数据信息的缩略图并向平台端请求下载数据信息的清晰视图，平台端生成数据信息的清晰视图并将所述数据信息的清晰视图发送到所述信息接收端，所述信息接收端将所述数据信息的清晰视图下载完成后替换所述数据信息的缩略图，以显示所述数据信息的清晰视图，并同步将所述数据信息的清晰视图存储在缓存中；当信息接收端再次查看数据信息时会先检查缓存,如存在数据信息的清晰视图则读取缓存中数据信息的清晰视图，如果没有则从平台端下载数据信息的清晰视图；设置此单元主要是考虑到OTT大屏端的存储空间普遍有限，如不设置缓存则很容易造成***空间不足；
信息接收完成单元，用于信息接收端向平台端发送信息接收完成回执，平台端收到信息接收完成回执，改变信息状态，完成整个信息发送及接收流程。
本发明的有益效果为：本发明提供以大屏显示为中心的跨屏实时通信交互方法及***，通过构建移动端与OTT大屏互动链路,建立“人与人”之间信息沟通渠道。虽然，手机微信等能够提供丰富的互动交流手段，但手机操作不便、功能繁杂，屏幕狭小、视觉疲劳。OTT大屏聚焦手机小屏与电视大屏之间的信息交流和分享，构建手机小屏与大屏之间的沟通渠道，使人们能够以十分便捷的方式实现“人与人”之间文字、语音、图片、视频的多媒体信息连接，以满足人们最基础、最普遍的交流需求。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为以大屏显示为中心的跨屏实时通信交互方法的流程图；
图2所示为二维富媒体内容处理的流程图；
图3所示为二维富媒体发送流程图；
图4所示为以大屏显示为中心的跨屏实时通信交互***结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本发明的以大屏显示为中心的跨屏实时通信交互方法的流程图，下面结合图1来阐述根据本发明的实施方式的以大屏显示为中心的跨屏实时通信交互方法。
本发明提出以大屏显示为中心的跨屏实时通信交互方法，具体包括以下步骤：
1.本方法的应用对象包括信息发送、平台端和信息接收三方；
2.信息发送方只能是移动端，移动端指的是装载有移动端APP的智能手机、智能平板电脑；
3.平台端指的是装载有管理***的云服务平台，包括云计算和云存储平台；
4.信息接收端可以是一个或多个移动端、一个或多个移动端对应的OTT大屏端、多个移动端与多个移动端对应的OTT大屏端的组合；
5.移动端可以是信息发送方，也可以是信息接收方；
6.OTT大屏端只能是移动端对应的信息接收方。
7.OTT大屏端指的是安装有OTT大屏APP的智能电视、智能投影或智能机顶盒等可以在大屏幕显示的终端设备。
其具体特征在于：
A、选择信息接收对象，可以是一个或多个移动端用户、一个或多个移动端用户对应的OTT大屏端终端组合的群组；
B.针对对象A选择发送一维信息，发送的内容可以是输入的文本内容、图片内容、视频内容、音频内容、即时录入语音内容、即时拍摄的音视频内容等，发送内容一次只能发送上述的一种，其中输入的文本内容、即时录入的语音内容、即时拍摄的音视频内容一次只能发生一条，而发送选择的文件一次可以选择多个；
C.针对对象A选择二维富媒体内容，其内容包括封面、内容集合等；
D.信息发送；
E.在发送端显示缩略图；
F.将发送的信息集合D通过X网络发送至平台端；
G.平台端对接收到的的信息进行合法性检查；
H.平台端如果监测到非法的内容则中止发送流程，并向移动端返回发送内容非法提醒及发送失败的提醒；
I.如果内容合法则将信息正式存储在平台存储介质中，同时向发送信息的移动端返回发送成功消息J；
K.内容在平台端完成H步骤后解析二维信息集合中的信息接收对象，对信息接收对象进行是否在线监测L。接收对象在线则通过Y网络将信息传输至在线接收对象；接收对象如果离线则进入步骤M；
M.接收对象不在线则将信息挂起，同时启动对象上线监测过程，当监测到未上线对象上线则通过Y网络将信息传输至在线接收对象；
O.在线接收对象接收缩略信息内容；
P.信息接收端收到缩略信息后进行来信息提醒；
Q.查看缩略图信息，同时向平台端I请求下载清晰视图，下载完后替换缩略图显示，同步将清晰视图存储在缓存R中；再次查看信息时会先检查缓存R,如有清晰视图则读取缓存R中的内容，如果没有再向平台端I发出请求；设置此步骤主要是考虑到OTT大屏端的存储空间普遍有限，如不设置缓存则很容易造成***空间不足；
S.显示信息有三种方式，S是根据信息提醒进行信息浏览；
T.对所有接收到的信息进行通览，所谓通览就是一条一条自动播放，同时可以通过遥控器左右进行内容切换；
U.打开信息后在下方显示所有信息缩略图，通过遥控器可左右选择播放信息；
V.对信息浏览首先显示的也是缩略图，正式查看时则会显示清晰视图；
W.向平台端发送信息接收完成回执；
N.平台端收到信息接收完成回执，改变信息状态，完成整个信息发送及接收流程；
X/Y：指的是3G、4G、5G、WIFI或有线网络；
如图2所示，其中，所述还包括图2中的二维富媒体内容处理的步骤:
B1.进入二维富媒体内容编辑界面；
B2/B3.选择及编辑二维富媒体主题封面；选择封面内容可以是输入的文本内容、图片内容、视频内容、音频内容、录入语音内容、实时拍摄的音视频内容等，并且只能选择其中的一项作为二维富媒体封面内容；
B4.对已选择或编辑的二维富媒体封面内容进行确认，确认的内容为二维富媒体的第一维；
B5/B6.选择二维富媒体中的第二维内容，其内容可以是一个或多个图片、一个或多个视频、一个或多个音频、一个或多个PDF文档中一个或多个类型文件的组合；
B7.对选择的第二维度内容进行编辑整理及排序；
B8.对整个二维富媒体内容进行确认；
B9.经过B8步骤后在移动端形成二维富媒体信息集合；
B10.根据信息集合内容进行二次处理过程，对其中的图片、视频文档进行压缩生成缩略图；
B11.生成二维富媒体数据集合，其中包含二维富媒体数据结构文档，封面文件，缩略图文件，二维文件包；文档中包含接收人信息、二维信息结构内容；
B12.文档中包含接收对象信息和二维信息结构内容，结构内容包括封面内容记录、文本内容、缩略图大小和名称等；
B13.一维封面文件包；
B14.缩略图文件；
B15.二维内容文件包。
如图3所示，其中，所述步骤C还包括图3中二维富媒体发送流程:
C1.确定发送的内容进入C2；
C2.对C1确定发送的内容进行图片化处理，对图片和视频生成剪影缩略图，对文本类文件对应生成默认图标；
C3.手机端界面显示等待发送动画；
C4.将内容加入发送队列等待发送，进入C5移动端发送功能模块；
C5.移动端内容发送功能模块，此功能模块属于中间件；
C6.发送内容进入移动端发送功能模块的发送队列；
C7/C8.内容发送，按C8发送队列顺序逐条发送；当内容开始发送时功能模块进入C9返回信息开始发送通知；
C10.收到来自发送功能模块的返回的发送通知时，停止等待发送动画并显示发送进度；
C11.对发送队列中的内容进行发送成功与否检测，如果发送不成功则返回不成功通知；
C12.收到发送不成功通知时显示发送失败，显示重新发送按钮标识；
C13.如果发送成功则检查发送的内容是否发送完成，如果已经发送完成则进入C8按顺序发送队列中的下一条内容；
C14.如果已经发送完成则返回发送完成通知，在显示层显示信息发送成功。
本发明的实施例提供的以大屏显示为中心的跨屏实时通信交互***，如图4所示为本发明的以大屏显示为中心的跨屏实时通信交互***结构图，该实施例的以大屏显示为中心的跨屏实时通信交互***包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述以大屏显示为中心的跨屏实时通信交互***实施例中的步骤。
所述***包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下***的单元中：
接收对象选择单元，用于发送端选择信息接收对象；
信息发送单元，用于发送端对平台端发送数据信息，并显示所发送的数据信息所包含的一维信息或二维信息的缩略图；
合法性检查单元，用于平台端接收数据信息后，对接收到的数据信息进行合法性检查，如果监测到非法的内容则中止发送流程并向发送端返回发送内容非法提醒及发送失败的提醒，如果通过合法性检查则转到信息存储单元；
信息存储单元，用于如果内容合法则将数据信息存储在平台端的存储介质中，同时向发送数据信息的发送端返回发送成功消息；
在线判断单元，用于平台端解析数据信息中的信息接收对象，判断信息接收对象的联系人进行是否在线，如果信息接收对象的联系人在线则将数据信息传输至在线接收对象所对应的信息接收端并进入信息接收单元；如果信息接收对象的联系人离线则进入离线检测单元；
离线检测单元，用于当监测到信息接收对象的联系人离线时将数据信息挂起，同时启动对象上线监测进程，直到当监测到信息接收对象的联系人上线时则将数据信息传输至在线接收对象所对应的信息接收端；
信息接收单元，用于平台端生成数据信息的缩略图并将所述数据信息的缩略图发送到所述信息接收端，所述信息接收端收到数据信息的缩略图后进行来信息提醒；
清晰视图下载单元，用于当所述信息接收端显示数据信息的缩略图并向平台端请求下载数据信息的清晰视图，平台端生成数据信息的清晰视图并将所述数据信息的清晰视图发送到所述信息接收端，所述信息接收端将所述数据信息的清晰视图下载完成后替换所述数据信息的缩略图，以显示所述数据信息的清晰视图，并同步将所述数据信息的清晰视图存储在缓存中；当信息接收端再次查看数据信息时会先检查缓存,如存在数据信息的清晰视图则读取缓存中数据信息的清晰视图，如果没有则从平台端下载数据信息的清晰视图；设置此单元主要是考虑到OTT大屏端的存储空间普遍有限，如不设置缓存则很容易造成***空间不足；
信息接收完成单元，用于信息接收端向平台端发送信息接收完成回执，平台端收到信息接收完成回执，改变信息状态，完成整个信息发送及接收流程。
所述以大屏显示为中心的跨屏实时通信交互***可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述以大屏显示为中心的跨屏实时通信交互***，可运行的***可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是以大屏显示为中心的跨屏实时通信交互***的示例，并不构成对以大屏显示为中心的跨屏实时通信交互***的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述以大屏显示为中心的跨屏实时通信交互***还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述以大屏显示为中心的跨屏实时通信交互***运行***的控制中心，利用各种接口和线路连接整个以大屏显示为中心的跨屏实时通信交互***可运行***的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述以大屏显示为中心的跨屏实时通信交互***的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (8)

1.以大屏显示为中心的跨屏实时通信交互方法，其特征在于，所述方法包括以下步骤：
S100，发送端选择信息接收对象；
S200，发送端对平台端发送数据信息，并显示所发送的数据信息所包含的一维信息或二维信息的缩略图；
S300，平台端接收数据信息后，对接收到的数据信息进行合法性检查，如果监测到非法的内容则中止发送流程并向发送端返回发送内容非法提醒及发送失败的提醒，如果通过合法性检查则转到步骤S400；
S400，如果内容合法则将数据信息存储在平台端的存储介质中，同时向发送数据信息的发送端返回发送成功消息；
S500，平台端解析数据信息中的信息接收对象，判断信息接收对象的联系人进行是否在线，如果信息接收对象的联系人在线则将数据信息传输至在线接收对象所对应的信息接收端并进入步骤S700；如果信息接收对象的联系人离线则进入步骤S600；
S600，当监测到信息接收对象的联系人离线时将数据信息挂起，同时启动对象上线监测进程，直到当监测到信息接收对象的联系人上线时则将数据信息传输至在线接收对象所对应的信息接收端；
S700，平台端生成数据信息的缩略图并将所述数据信息的缩略图发送到所述信息接收端，所述信息接收端收到数据信息的缩略图后进行来信息提醒；
S800，当所述信息接收端显示数据信息的缩略图并向平台端请求下载数据信息的清晰视图，平台端生成数据信息的清晰视图并将所述数据信息的清晰视图发送到所述信息接收端，所述信息接收端将所述数据信息的清晰视图下载完成后替换所述数据信息的缩略图，以显示所述数据信息的清晰视图，并同步将所述数据信息的清晰视图存储在缓存中；当信息接收端再次查看数据信息时会先检查缓存,如存在数据信息的清晰视图则读取缓存中数据信息的清晰视图，如果没有则从平台端下载数据信息的清晰视图；
S900，信息接收端向平台端发送信息接收完成回执，平台端收到信息接收完成回执，改变信息状态，完成整个信息发送及接收流程。
2.根据权利要求1所述的以大屏显示为中心的跨屏实时通信交互方法，其特征在于，在S100中，所述信息接收对象包括一个或多个移动端用户、一个或多个OTT大屏终端、移动端与OTT大屏端组合的群组中任意一种或多种的组合。
3.根据权利要求1所述的以大屏显示为中心的跨屏实时通信交互方法，其特征在于，在S200中，所述数据信息包括输入的文本内容、图片内容、视频内容、音频内容、即时录入语音内容、即时拍摄的音视频内容中任意一种，其中，输入的文本内容、即时录入的语音内容、即时拍摄的音视频内容一次只能发生一条，而发送选择的文件一次可以选择多个。
4.根据权利要求1所述的以大屏显示为中心的跨屏实时通信交互方法，其特征在于，在S100中，发送端选择信息接收对象还包括以下步骤：
S101，进入二维富媒体内容编辑界面；其中，所述二维富媒体包括动画、声音、视频或交互性的信息；
S102，选择及编辑封面内容，得到二维富媒体主题封面内容；其中，选择封面内容是指从输入的文本内容、图片内容、视频内容、音频内容、录入语音内容、实时拍摄的音视频内容中选择其中的一项作为二维富媒体封面内容；
S103，对已选择或编辑的二维富媒体封面内容进行确认，确认的封面内容为二维富媒体的第一维内容即为一维信息；
S104，选择二维富媒体中的第二维内容，第二维内容可以是一个或多个图片、一个或多个视频、一个或多个音频、一个或多个PDF文档中一个或多个类型文件的组合；
S105，对选择的第二维内容进行编辑整理及排序；
S106，对整个二维富媒体内容进行确认，在并在移动端形成二维富媒体信息集合，即为二维信息；
S107，对二维信息中的图片、视频文档进行压缩生成缩略图；
S108，将二维富媒体的数据集合作为数据信息，所述数据信息包含二维富媒体数据结构文档，封面文件，缩略图文件，二维文件包；二维富媒体数据结构文档中包含联系人信息、二维信息结构内容；其中，二维信息结构内容包括封面内容记录、文本内容、缩略图大小和名称等。
5.根据权利要求1所述的以大屏显示为中心的跨屏实时通信交互方法，其特征在于，在S200中，发送端对平台端发送数据信息还包括以下步骤：
S201，对数据信息的内容进行图片化处理，对图片和视频生成剪影缩略图，对文本类文件对应生成默认图标；
S202，发送端的界面显示等待发送动画；
S203，将数据信息的内容加入发送队列等待发送；
S204，按发送队列顺序逐条发送数据信息的内容，当内容开始发送时发送通知到信息接收对象；
S205，收到发送通知时，停止等待发送动画并显示发送进度；
S206，判断发送队列中的内容是否发送成功，如果发送不成功则返回发送不成功通知；
S207，收到发送不成功通知时显示发送失败，显示重新发送按钮标识；
S208，如果发送成功则检查发送的内容是否发送完成，如果已经发送完成则按发送队列的顺序发送队列中的下一条内容；
S209，如果已经发送完成则返回发送完成通知并显示信息发送成功。
6.根据权利要求1所述的以大屏显示为中心的跨屏实时通信交互方法，其特征在于，在S800中，对所有接收到的信息进行通览，通览是一条一条自动播放接收到的信息，同时可以通过遥控器左右进行内容切换。
7.根据权利要求1所述的以大屏显示为中心的跨屏实时通信交互方法，其特征在于，信息接收端可以是一个或多个移动端、一个或多个移动端对应的OTT大屏端、多个移动端与多个移动端对应的OTT大屏端的组合，OTT大屏端指的是安装有OTT大屏APP的智能电视、智能投影或智能机顶盒等可以在大屏幕显示的终端设备；其中，移动端可以是信息发送方，也可以是信息接收方；OTT大屏端只能是移动端对应的信息接收方。
8.以大屏显示为中心的跨屏实时通信交互***，其特征在于，所述***包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下***的单元中：
接收对象选择单元，用于发送端选择信息接收对象；
信息发送单元，用于发送端对平台端发送数据信息，并显示所发送的数据信息所包含的一维信息或二维信息的缩略图；
合法性检查单元，用于平台端接收数据信息后，对接收到的数据信息进行合法性检查，如果监测到非法的内容则中止发送流程并向发送端返回发送内容非法提醒及发送失败的提醒，如果通过合法性检查则转到信息存储单元；
信息存储单元，用于如果内容合法则将数据信息存储在平台端的存储介质中，同时向发送数据信息的发送端返回发送成功消息；
在线判断单元，用于平台端解析数据信息中的信息接收对象，判断信息接收对象的联系人进行是否在线，如果信息接收对象的联系人在线则将数据信息传输至在线接收对象所对应的信息接收端并进入信息接收单元；如果信息接收对象的联系人离线则进入离线检测单元；
离线检测单元，用于当监测到信息接收对象的联系人离线时将数据信息挂起，同时启动对象上线监测进程，直到当监测到信息接收对象的联系人上线时则将数据信息传输至在线接收对象所对应的信息接收端；
信息接收单元，用于平台端生成数据信息的缩略图并将所述数据信息的缩略图发送到所述信息接收端，所述信息接收端收到数据信息的缩略图后进行来信息提醒；
清晰视图下载单元，用于当所述信息接收端显示数据信息的缩略图并向平台端请求下载数据信息的清晰视图，平台端生成数据信息的清晰视图并将所述数据信息的清晰视图发送到所述信息接收端，所述信息接收端将所述数据信息的清晰视图下载完成后替换所述数据信息的缩略图，以显示所述数据信息的清晰视图，并同步将所述数据信息的清晰视图存储在缓存中；当信息接收端再次查看数据信息时会先检查缓存,如存在数据信息的清晰视图则读取缓存中数据信息的清晰视图，如果没有则从平台端下载数据信息的清晰视图；
信息接收完成单元，用于信息接收端向平台端发送信息接收完成回执，平台端收到信息接收完成回执，改变信息状态，完成整个信息发送及接收流程。
CN202210053767.5A 2022-01-18 2022-01-18 以大屏显示为中心的跨屏实时通信交互方法及*** Pending CN114501048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210053767.5A CN114501048A (zh) 2022-01-18 2022-01-18 以大屏显示为中心的跨屏实时通信交互方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210053767.5A CN114501048A (zh) 2022-01-18 2022-01-18 以大屏显示为中心的跨屏实时通信交互方法及***

Publications (1)

Publication Number Publication Date
CN114501048A true CN114501048A (zh) 2022-05-13

Family

ID=81511025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210053767.5A Pending CN114501048A (zh) 2022-01-18 2022-01-18 以大屏显示为中心的跨屏实时通信交互方法及***

Country Status (1)

Country Link
CN (1) CN114501048A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180167426A1 (en) * 2015-10-29 2018-06-14 CrankWheel ehf. Multiplatform Screen Sharing Solution for Software Demonstration
US20180167443A1 (en) * 2016-12-08 2018-06-14 Sap Se Hybrid cloud integration systems and methods
US20180275948A1 (en) * 2017-03-27 2018-09-27 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
CN109445733A (zh) * 2018-10-16 2019-03-08 杭州橙鹰数据技术有限公司 跨屏展示方法、装置、计算设备以及储存介质
CN110430314A (zh) * 2018-10-11 2019-11-08 彩云之端文化传媒(北京)有限公司 一种不同屏幕之间的智能跨屏连接平台
CN110474948A (zh) * 2019-06-18 2019-11-19 北京世纪超星信息技术发展有限责任公司 一种网络设备之间的交互方法
CN111988382A (zh) * 2020-08-07 2020-11-24 浙江讯盟科技有限公司 一种跨终端进行应用界面交互的方法和***
CN113286191A (zh) * 2021-05-20 2021-08-20 Oppo广东移动通信有限公司 内容协同方法、装置、电子设备以及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180167426A1 (en) * 2015-10-29 2018-06-14 CrankWheel ehf. Multiplatform Screen Sharing Solution for Software Demonstration
US20180167443A1 (en) * 2016-12-08 2018-06-14 Sap Se Hybrid cloud integration systems and methods
US20180275948A1 (en) * 2017-03-27 2018-09-27 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
CN110430314A (zh) * 2018-10-11 2019-11-08 彩云之端文化传媒(北京)有限公司 一种不同屏幕之间的智能跨屏连接平台
CN109445733A (zh) * 2018-10-16 2019-03-08 杭州橙鹰数据技术有限公司 跨屏展示方法、装置、计算设备以及储存介质
CN110474948A (zh) * 2019-06-18 2019-11-19 北京世纪超星信息技术发展有限责任公司 一种网络设备之间的交互方法
CN111988382A (zh) * 2020-08-07 2020-11-24 浙江讯盟科技有限公司 一种跨终端进行应用界面交互的方法和***
CN113286191A (zh) * 2021-05-20 2021-08-20 Oppo广东移动通信有限公司 内容协同方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
US11792241B2 (en) Method, system, and non-transitory computer-readable record medium for displaying reaction during VoIP-based call
US8943164B2 (en) Apparatus and methods for retrieving/ downloading content on a communication device
CN102710789B (zh) 智能终端间数据的交互方法、***及装置
US10419804B2 (en) Cooperative provision of personalized user functions using shared and personal devices
EP2239703B1 (en) Method of sharing image based files between a group of communication devices
CN103166941A (zh) 一种数据分享的方法及装置
JP2006343830A (ja) ファイル変換システム
CN111093094A (zh) 视频转码方法、装置、***及电子设备及可读存储介质
CN111526411A (zh) 视频的处理方法、装置、设备及介质
CN112839238B (zh) 投屏播放方法、装置和存储介质
CN102460410A (zh) 通信***中发送和接收用户界面的装置和方法
CN106599323A (zh) 在分布式文件***中实现分布式管道的方法和装置
CN113282590A (zh) 基于5g消息的接口联调方法及装置
CN117542543A (zh) 视频文件处理方法、装置、电子设备及计算机可读介质
CN114501048A (zh) 以大屏显示为中心的跨屏实时通信交互方法及***
CN112016280B (zh) 一种文件编辑方法、装置及计算机可读介质
CN113766255A (zh) 视频流合并方法、装置、电子设备及计算机介质
US10491681B2 (en) Method and a device for enriching a call
US11461168B1 (en) Data loss protection with continuity
CN112243135B (zh) 一种多媒体播放的方法和装置
CN116777438A (zh) 一种资源处理方法、装置、设备及计算机可读存储介质
CN115079889A (zh) 信息处理方法、装置、设备、介质及产品
CN115037991A (zh) 浏览器视频播放方法、装置、终端设备和可读存储介质
CN117692668A (zh) 直播审核转码方法、***、装置及存储介质
CN116320616A (zh) 多媒体文件处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination