CN110650341A - 视频交互方法及相关设备 - Google Patents

视频交互方法及相关设备 Download PDF

Info

Publication number
CN110650341A
CN110650341A CN201910947188.3A CN201910947188A CN110650341A CN 110650341 A CN110650341 A CN 110650341A CN 201910947188 A CN201910947188 A CN 201910947188A CN 110650341 A CN110650341 A CN 110650341A
Authority
CN
China
Prior art keywords
video stream
terminal
encoded
display area
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910947188.3A
Other languages
English (en)
Inventor
聂鹏程
汪碧海
杨泽渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN201910947188.3A priority Critical patent/CN110650341A/zh
Publication of CN110650341A publication Critical patent/CN110650341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供一种视频交互方法及相关设备,该方法包括:第一终端将第一视频流和第二视频流分别使用第一编码率和第二编码率进行编码后发送给第二终端;第二终端接收到经过编码的第一视频流和第二视频流后,分别使用第一解码率和第二解码率进行解码,将第一视频流和第二视频流分别显示在显示屏的第一显示区域和第二显示区域上,使得第二终端可以显示两路视频流的画面。进一步地,若第一终端通过服务器向第二终端发送第一视频流和第二视频流,服务器可以采用人工智能(Artificial Intelligence,AI)技术自适应地调整两路视频流的编码率。本申请实施例,能提高两路视频画面的显示质量,提供了一种智能视频交互方案。

Description

视频交互方法及相关设备
技术领域
本申请涉及通信技术领域,尤其涉及一种视频交互方法及相关设备。
背景技术
随着通信技术的发展和智能设备的普及,人们使用带有摄像功能的设备视频拍摄并分享给家人朋友已经成为日常生活中的一部分。
当用户在旅途中遇见风景美不胜收时,打开手机摄像头就可以与远方的亲友分享前方的风景。但是当用户在用一个摄像头分享风景的同时,又想用另一个摄像头分享此刻自己的状态时,视频的传输效果往往不尽如人意。例如,A在某景点旅游中,想要给家里的B分享眼前的风景照和自己见到美景时欣悦的表情,因此打开了手机前置摄像头和后置摄像头同时传送了前置摄像头和后置摄像头的风景。B打开了家里的大屏电视,大屏电视将A拍摄的两个画面显示在屏幕上,使B身临其境。由于当前的视频传输方法不支持分享两路视频,即便支持分享两路视频,分享的两个画面显示画面质量也较低,使得分享效果大打折扣,影响了用户体验。
如何提高两路视频的显示质量,是当前技术人员研究的热点问题。
发明内容
本申请实施例公开了一种视频交互方法及相关设备,通过对两路视频进行切换编解码,提高了提高两路视频的显示质量,从而提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
第一方面,本申请实施例公开了一种视频交互方法,包括:
第一终端将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流;
上述第一终端将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流;其中,该第一编码模块的编码率为第一编码率,该第二编码模块的编码率为第二编码率,第一编码率大于第二编码率;
上述第一终端向第二终端发送第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,该第一显示区域大于第二显示区域。
可以看出,第一终端采集第一视频流与第二视频流,分别使用第一编码率和第二编码率编码后发送给第二终端。第二终端接收到两路视频流,将编码率较大的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的两路视频画面;由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源;由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
在第一方面的一种可选的方案中,在上述第一终端向第二终端发送第一编码视频流和第二编码视频流之后,还包括:
第一终端接收第一调整请求;
第一终端根据该第一调整请求,将第一编码模块的编码率调整为所述第二编码率,将第二编码模块的编码率调整为所述第一编码率;
第一终端将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第三编码视频流;第一终端将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第四编码视频流;
第一终端向所述第二终端发送第三编码视频流和第四编码视频流。
可以看出,用户可以切换第二终端的显示区域,也即是说,将第二编码视频流在第一显示区域显示,将第一编码视频流在第二显示区域显示,第二终端切换显示区域后向第一终端发送第一调整请求,第一终端接收调整请求后,将第二视频流采用编码质量较高的第一编码率编码,降低第一视频流的编码率,使得第一显示区域显示的视频流采用更高的编码率从而获得更好的显示效果;由此可见,采用本申请实施例的方法,能够让用户自主选择需要在第一显示区域显示的视频画面,丰富了视频分享的灵活性和多样性,满足了用户对交互性的需求,提升了用户视频交互的体验。
在第一方面的另一种可选的方案中,在上述第一终端向第二终端发送第一编码视频流和第二编码视频流之后,还包括:
第一终端接收服务器发送的第二调整请求;
第一终端根据第二调整请求,将第一编码模块的编码率调整为第三编码率,将第二编码模块的编码率调整为第四编码率,第三编码率大于第四编码率;
第一终端将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第五编码视频流;第一终端将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第六编码视频流;第五视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
第一终端向第二终端发送第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
可以看出,第一终端在通过服务器进行第一视频流和第二视频流的传输时还受到服务器的调控。服务器通过分析网络情况,自适应地控制上传链路带宽生成第二调整请求,并向第一终端反馈第二调整请求,第一终端接收第二调整请求后使第一视频流和第二视频流的编码码率满足第一调整请求指示的网络信道带宽,提高了视频传输的稳定性。
在第一方面的另一种可选的方案中,在第一终端向第二终端发送第三编码视频流和第四编码视频流之后,还包括:
第一终端接收服务器发送的第二调整请求;
第一终端根据第二调整请求,将第一编码模块的编码率调整为第四编码率;将第二编码模块的编码率调整为第三编码率,上述第三编码率大于第四编码率;
第一终端将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第七编码视频流;第一终端将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第八编码视频流,第三编码率大于第四编码率;第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
第一终端向第二终端发送第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在第一方面的另一种可选的方案中,在第一终端向第二终端发送第五编码视频流和第六编码视频流之后,还包括:
第一终端接收第一调整请求;
第一终端根据该第一调整请求,将第一编码模块的编码率调整为第四编码率,将第二编码模块的编码率调整为第三编码率,上述第三编码率大于第四编码率;
第一终端将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第九编码视频流;第一终端将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第十编码视频流;
第一终端向所述第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在第一方面的另一种可选的方案中,其特征在于,在第一终端向第二终端发送第一编码视频流和第二编码视频流之后,还包括:
第一终端接收第二终端发送的第一音频流;
第一终端根据第一音频流播放音频。
可以看出,第一终端向第二终端分享视频画面后,还接收到第二终端反馈的音频流。第一终端接收第二终端的音频后,可以获知第二终端的用户的声音分享,实现了第一终端用户与第二终端用户之间视频分享的互动,丰富了视频交互的灵活性和多样性。
在第一方面的另一种可选的方案中,其特征在于,在第一终端将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流之后,还包括:
第一终端将第一摄像模块采集的第一视频流在第一显示屏的第三显示区域显示;
在第一终端将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流之后,还包括:
第一终端将第二摄像模块采集的第二视频流在第一显示屏的第四显示区域显示,上述第三显示区域大于第四显示区域;
在第一终端向第二终端发送第一编码视频流和第二编码视频流之后,还包括:
所述第一终端接收第二终端发送的反馈编码视频流,该反馈编码视频流为第二终端通过第三摄像模块采集的反馈视频流编码后得到的视频流;
第一终端将该反馈编码视频流解码得到反馈解码视频流;
所述第一终端将反馈解码视频流在所述第一显示屏的第三显示区域显示,将第一摄像模块采集的第一视频流调整为在第一显示屏的第五显示区域显示,上述第一显示屏的第五显示区域小于第三显示区域。
可以看出,第一终端向第二终端分享视频画面后,第二终端也可向第一终端发送本端的视频画面,使得第一终端的用户也能观看到第二终端分享的视频流,有效地实现了第一终端与第二终端的双向互动,满足了用户对交互性的需求,丰富了视频分享的灵活性和多样性,提升了用户视频交互的体验。
第二方面,本申请实施例提供一种视频交互方法,包括:
第二终端接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,上述第一编码率大于第二编码率;
上述第二终端将第一编码视频流通过第一解码模块解码得到第一解码视频流,将第二编码视频流通过第二解码模块解码得到第二解码视频流;其中,第一解码模块的解码率为第一解码率,第二解码模块的解码率为第二解码率;
上述第二终端将第一解码视频流在第二显示屏的第一显示区域中显示,上述第二终端将第二解码视频流第二解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第二方面的一种可选的方案中,在第二终端将通过第一编码率编码的第一解码视频流在第二显示屏的第一显示区域中显示,第二终端将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,还包括:
第二终端接收显示区域的切换命令,并根据切换命令生成第一调整请求,将第一调整请求发送给第一终端;
第二终端接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
第二终端将第三编码视频流通过第二解码模块解码得到第三解码视频流,将第四编码视频流通过第一解码模块解码得到第四解码视频流;
第二终端将第四解码视频流在第二显示屏的第一显示区域中显示,第二终端将第三解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第二方面的另一种可选的方案中,在第二终端将通过第一编码率编码的第一解码视频流在第二显示屏的第一显示区域中显示,第二终端将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,还包括:
第二终端接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第二调整请求由服务器发送给第一终端,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
第二终端将第五编码视频流通过第一解码模块解码得到第五解码视频流,将第六编码视频流通过第二解码模块解码得到第六解码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
第二终端将第五解码视频流在第二显示屏的第一显示区域中显示,第二终端将第六解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第二方面的另一种可选的方案中,在第二终端接收第一终端发送的第三编码视频流和第四编码视频流之后,还包括:
第二终端接收第七编码视频流和第八编码视频流,该第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,该第八编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码的视频流;其中,第二调整请求由服务器发送给第二终端,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
第二终端将第七编码视频流通过第二解码模块解码得到第七解码视频流,将第八编码视频流通过第一解码模块解码得到第八解码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
第二终端将第八解码视频流在第二显示屏的第一显示区域中显示,第二终端将第七解码视频流在第二显示屏的第二显示区域显示,第一显示区域大于第二显示区域。
在第二方面的另一种可选的方案中,在第二终端接收第一终端发送的第五编码视频流和第六编码视频流之后,还包括:
第二终端接收第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码发送的视频流,该第十编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码的视频流;
第二终端将第九编码视频流通过第二解码模块解码得到第九解码视频流,将第十编码视频流通过第一解码模块解码得到第十解码视频流;其中,第一解码模块的解码率为第四解码率,第二解码模块的解码率为第三解码率;
第二终端将第十解码视频流在第二显示屏的第一显示区域中显示,将第九解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第二方面的另一种可选的方案中,在第二终端将第四解码视频流在第二显示屏的第一显示区域中显示,第二终端将第三解码视频流在第二显示屏的第二显示区域显示之后,还包括:
第二终端采集第一音频流;
第二终端向第一终端发送第一音频流,第一音频流用于第一终端播放音频。
可以看出,第二终端接收到第一终端分享的视频流后,可以采集本端的音频发送给第一终端。相应的,第一终端接收音频后,可以获知第二终端的用户的声音分享,实现了第一终端与第二终端之间视频分享的互动,丰富了视频交互的灵活性和多样性。
在第二方面的另一种可选的方案中,所述第一视频流还用于第一终端在第一显示屏的第三显示区域显示,第二视频流还用于第一终端在第一显示屏的第四显示区域显示;在第二终端将第一解码视频流在所述第二显示屏的第一显示区域中显示,将第二解码视频流在第二显示屏的第二显示区域显示之后,还包括:
第二终端通过第三摄像模块采集反馈视频流;
第二终端将反馈视频流在第二显示屏的第六显示区域显示,上述第六显示区域小于第一显示区域;
第二终端将反馈视频流编码得到反馈编码视频流;
第二终端向第一终端发送反馈编码视频流,该反馈编码视频流用于第一终端在第一显示屏的第三显示区域显示,第一视频流还用于在第一终端的第一显示屏的第五显示区域显示,上述第五显示区域小于第三显示区域。
第三方面,本申请实施例提供一种视频交互方法,包括:服务器接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,上述第一编码率大于第二编码率;
服务器向第二终端转发第一编码视频流和第二编码视频流;其中,经过通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,经过通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第三方面的一种可选的方案中,在服务器接收第一终端发送的第一编码视频流和第二编码视频流之后,还包括:
服务器接收第二终端发送的第一调整请求;
服务器向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
服务器接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
向第二终端发送第三编码视频流和第四编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第三方面的另一种可选的方案中,在服务器接收第一终端发送的第一编码视频流和第二编码视频流之后,还包括:
服务器分析网络信道带宽得到第二调整请求;
服务器向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
服务器接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第三编码率大于第四编码率,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
服务器向第二终端转发第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第三方面的另一种可选的方案中,在服务器接收第一终端发送的第一编码视频流和第二编码视频流之后,还包括:
服务器分析网络信道带宽得到第二调整请求;
服务器向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
服务器接收第七编码视频流和第八编码视频流,该第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,该第八编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码的视频流;其中,第三编码率大于第四编码率,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
服务器向第二终端转发第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第三方面的另一种可选的方案中,服务器接收第五编码视频流和第六编码视频流之后,还包括:
服务器分析网络信道带宽得到第二调整请求;
服务器向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
服务器接收第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,该第十编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码的视频流;其中,第三编码率大于第四编码率,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
服务器向第二终端转发第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第三方面的另一种可选的方案中,在服务器接收第一终端发送的第一编码视频流和第二编码视频流之后,还包括:
服务器接收第二终端发送的第一音频流;
服务器向第一终端转发所述第一音频流,该第一音频流用于第一终端播放音频。
在第三方面的另一种可选的方案中,所述第一视频流还用于所述第一终端在第一显示屏的第三显示区域显示,所述第二视频流还用于所述第一终端在所述第一显示屏的第四显示区域显示;在所述服务器所述向第二终端转发所述第一编码视频流和所述第二编码视频流之后,还包括:
接收所述第二终端发送的反馈编码视频流,所述反馈编码视频流为所述第二终端采集的反馈视频流编码得到的视频流;
向所述第一终端转发所述反馈编码视频流,所述反馈视频流用于所述第一终端在所述第一显示屏的第三显示区域显示,所述第一视频流还用于所述第一终端在所述第一显示屏的第五显示区域显示,所述第五显示区域小于所述第三显示区域。
第四方面,本申请实施例提供一种终端,包括存储器、处理器、收发器、第一摄像模块、第二摄像模块、第一编码模块和第二编码模块,上述存储器存储有程序,上述处理器调用所述程序,用于执行如下操作:
将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流;将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流;其中,第一编码模块的编码率为第一编码率,第二编码模块的编码率为第二编码率,该第一编码率大于所述第二编码率;
通过收发器向第二终端发送第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第四方面的一种可选的方案中,上述处理器,还用于:
在通过收发器向第二终端发送第一编码视频流和第二编码视频流之后,通过收发器接收第一调整请求;
根据该第一调整请求,将第一编码模块的编码率调整为第二编码率,将第二编码模块的编码率调整为第一编码率;
将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第三编码视频流;所述处理器,还用于将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第四编码视频流;
通过收发器向第二终端发送第三编码视频流和第四编码视频流。
在第四方面的另一种可选的方案中,上述处理器,还用于:
在通过收发器向第二终端发送第一编码视频流和第二编码视频流之后,通过收发器接收服务器发送的第二调整请求;
根据第二调整请求,将第一编码模块的编码率调整为第三编码率,将第二编码模块的编码率调整为第四编码率,第三编码率大于第四编码率;
将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第五编码视频流;所述处理器,还用于将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第六编码视频流;该第五视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
通过收发器向第二终端发送上述第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在第四方面的另一种可选的方案中,上述处理器,还用于:
在通过收发器向第二终端发送第一编码视频流和第二编码视频流之后,通过收发器接收所服务器发送的第二调整请求;
根据第二调整请求,将第一编码模块的编码率调整为第四编码率;将第二编码模块的编码率调整为第三编码率,上述第三编码率大于第四编码率;
将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第七编码视频流;上述处理器,还用于将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第八编码视频流,上述第三编码率大于第四编码率;上述第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
通过收发器向第二终端发送第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在第四方面的一种可选的方案中,上述处理器,还用于:
在通过收发器向第二终端发送上述第五编码视频流和第六编码视频流之后,通过收发器接收第一调整请求;
根据该第一调整请求,将第一编码模块的编码率调整为第四编码率,将第二编码模块的编码率调整为第三编码率;
将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第九编码视频流;所述处理器,还用于将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第十编码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
通过收发器向第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在第四方面的另一种可选的方案中,终端还包括播放器;上述处理器,还用于:
在通过收发器向第二终端发送第一编码视频流和第二编码视频流之后,通过收发器接收第二终端发送的第一音频流;
通过播放器根据第一音频流播放音频。
在第四方面的另一种可选的方案中,上述终端,还包括第一显示屏和解码器;上述处理器,还用于:
在将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流之后,将第一摄像模块采集的第一视频流在第一显示屏的第三显示区域显示;
在将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流之后,将第二摄像模块采集的第二视频流在第一显示屏的第四显示区域显示,第三显示区域大于第四显示区域;
在向第二终端发送第一视频流、第二视频流之后,通过收发器接收第二终端发送的反馈编码视频流,反馈编码视频流为第二终端通过第三摄像模块采集的反馈视频流编码后得到的视频流;
将反馈编码视频流通过解码器解码得到反馈解码视频流;
将反馈解码视频流在第一显示屏的第三显示区域显示,将第一摄像模块采集的第一视频流调整为在第一显示屏的第五显示区域显示,第一显示屏的第五显示区域小于第三显示区域。
第五方面,本申请实施例提供一种终端,包括存储器、处理器、收发器、第一解码模块、第二解码模块和第二显示屏,上述存储器存储有程序,上述处理器调用上述程序,用于执行如下操作:
通过收发器接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,第一编码率大于第二编码率;
将第一编码视频流通过第一解码模块解码得到第一解码视频流,将第二编码视频流通过第二解码模块解码得到第二解码视频流;其中,第一解码模块的解码率为第一解码率,第二解码模块的解码率为第二解码率;
将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第五方面的一种可选的方案中,上述处理器,还用于:
在将通过第一编码率编码的第一解码视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,通过收发器接收显示区域的切换命令,并根据切换命令生成第一调整请求,通过收发器将第一调整请求发送给第一终端;
接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码发送的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
通过将第三编码视频流通过第二解码模块解码得到第三解码视频流,将第四编码视频流通过第一解码模块解码得到第四解码视频流;
将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第五方面的另一种可选的方案中,上述处理器,还用于:
在将第一解码视频流在第二显示屏的第一显示区域中显示,将第二解码视频流在第二显示屏的第二显示区域显示之后,通过收发器接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,上述第二调整请求由服务器发送给第一终端,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
将第五编码视频流通过第一解码模块解码得到第五解码视频流,将第六编码视频流通过第二解码模块解码得到第六解码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第三编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第五方面的另一种可选的方案中,上述处理器,还用于:
在接收第一终端发送的第三编码视频流和第四编码视频流之后,通过收发器接收第七编码视频流和第八编码视频流,第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,第八编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第二调整请求由服务器发送给第二终端,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
将第七编码视频流通过第二解码模块解码得到第七解码视频流,将第八编码视频流通过第一解码模块解码得到第八解码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第四编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第五方面的一种可选的方案中,上述处理器,还用于:
在通过收发器接收第五编码视频流和第六编码视频流之后,通过收发器接收显示区域的切换命令,并根据切换命令生成第一调整请求,通过收发器将第一调整请求发送给第一终端;
接收第一终端发送的第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码发送的视频流,该第十编码视频流为第一终端在接收到第一调整请求之后通过第三编码率编码的视频流;
通过将第九编码视频流通过第二解码模块解码得到第三解码视频流,将第十编码视频流通过第一解码模块解码得到第四解码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第四编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第五方面的另一种可选的方案中,所述终端,还包括音频采集模块;上述处理器,还用于:
在将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,通过音频采集模块采集第一音频流;
通过收发器向第一终端发送第一音频流,第一音频流用于第一终端播放音频。
可以看出,第一终端向第二终端分享视频画面后,还接收到第二终端反馈的音频流。第一终端接收第二终端的音频后,可以获知第二终端的用户的声音分享,实现了第一终端用户与第二终端用户之间视频分享的互动,丰富了视频交互的灵活性和多样性。
在第五方面的另一种可选的方案中,所述终端还包括第三摄像模块、编码器;上述第一视频流还用于第一终端在第一显示屏的第三显示区域显示,第二视频流还用于第一终端在第一显示屏的第四显示区域显示;上述处理器,还用于:
在将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,通过第三摄像模块采集反馈视频流;
将反馈视频流在第二显示屏的第六显示区域进行显示,上述第六显示区域小于所述第一显示区域;
通过编码器将反馈视频流编码得到反馈编码视频流;
通过收发器向第一终端发送反馈编码视频流,反馈编码视频流用于第一终端在第一显示屏的第三显示区域显示,第一视频流还用于在第一终端的第一显示屏的第五显示区域显示,第五显示区域小于第三显示区域。
第六方面,本申请实施例提供一种服务器,包括存储器、处理器、收发器,所述存储器存储有程序,上述处理器调用上述程序,用于执行如下操作:
通过收发器接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,上述第一编码率大于第二编码率;
通过收发器向第二终端转发第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第六方面的一种可选的方案中,上述处理器,还用于:
在通过收发器接收第一终端发送的第一编码视频流和第二编码视频流之后,通过收发器接收第二终端发送的第一调整请求;
通过收发器向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
通过收发器接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
处理器,还用于通过收发器向第二终端发送第三编码视频流和第四编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第六方面的另一种可选的方案中,上述处理器,还用于:
在通过收发器接收第一终端发送的第一编码视频流和第二编码视频流之后,分析网络信道带宽得到第二调整请求;
通过收发器向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
通过收发器接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第三编码率大于第四编码率,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
通过收发器向第二终端转发第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第六方面的另一种可选的方案中,上述处理器,还用于:
在所述通过所述收发器接收第一终端发送的第三编码视频流和第四编码视频流之后,分析网络带宽信息得到第二调整请求;
通过收发器向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
通过收发器接收第七编码视频流和第八编码视频流,该第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,该第八编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码的视频流;其中,第三编码率大于第四编码率,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
通过收发器向第二终端转发第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第六方面的一种可选的方案中,上述处理器,还用于:
在通过收发器向第二终端转发第五编码视频流和第六编码视频流之后,通过收发器接收第二终端发送的第一调整请求;
通过收发器向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
通过收发器接收第一终端发送的第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码的视频流,该第十编码视频流为第一终端在接收到第一调整请求之后通过第三编码率编码的视频流;
处理器,还用于通过收发器向第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第六方面的另一种可选的方案中,上述处理器,还用于:
在所述通过所述收发器向第二终端转发所述第一编码视频流和所述第二编码视频流之后,通过收发器接收第二终端发送的第一音频流;
通过收发器向第一终端转发第一音频流,该第一音频流用于第一终端播放音频。
在第六方面的另一种可选的方案中,上述第一视频流还用于第一终端在第一显示屏的第三显示区域显示,上述第二视频流还用于第一终端在第一显示屏的第四显示区域显示;上述处理器,还用于:
在通过收发器向第二终端转发第一编码视频流和第二编码视频流之后,通过收发器接收第二终端发送的反馈编码视频流,反馈编码视频流为第二终端采集的反馈视频流编码得到的视频流;
通过收发器向第一终端转发反馈编码视频流,上述反馈视频流用于第一终端在第一显示屏的第三显示区域显示,上述第一视频流还用于第一终端在第一显示屏的第五显示区域显示,上述第五显示区域小于第三显示区域
第七方面,本申请实施例提供一种终端,包括第一摄像单元、第二摄像单元、第一编码单元、第二编码单元和通信单元;
上述第一编码单元,用于将第一摄像单元采集的第一视频流进行编码,得到第一编码视频流;上述第二编码单元,用于将第二摄像单元采集的第二视频流进行编码,得到第二编码视频流;其中,第一编码单元的编码率为第一编码率,第二编码单元的编码率为第二编码率,该第一编码率大于所述第二编码率;
上述通信单元,用于向第二终端发送第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第七方面的一种可选的方案中,上述终端还包括决策单元;上述通信单元,还用于向第二终端发送第一编码视频流和第二编码视频流之后,接收第一调整请求;
上述决策单元,还用于根据该第一调整请求,将第一编码单元的编码率调整为第二编码率,将第二编码单元的编码率调整为第一编码率;
上述第一编码单元,还用于将第一摄像单元采集的第一视频流进行编码,得到第三编码视频流;上述第二编码单元,还用于将第二摄像单元采集的第二视频流进行编码,得到第四编码视频流;
上述通信单元,还用于向第二终端发送第三编码视频流和第四编码视频流。
在第七方面的另一种可选的方案中,上述终端还包括决策单元;上述通信单元,还用于向第二终端发送第一编码视频流和第二编码视频流之后,接收服务器发送的第二调整请求;
上述决策单元,还用于根据第二调整请求,将第一编码单元的编码率调整为第三编码率,将第二编码单元的编码率调整为第四编码率,第三编码率大于第四编码率;
上述第一编码单元,还用于将第一摄像单元采集的第一视频流,通过第一编码单元进行编码,得到第五编码视频流;上述第二编码单元,还用于将第二摄像单元采集的第二视频流,通过第二编码单元进行编码,得到第六编码视频流;该第五视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述通信单元,还用于向第二终端发送上述第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在第七方面的另一种可选的方案中,上述终端还包括决策单元;上述通信单元,还用于向第二终端发送第一编码视频流和第二编码视频流之后,接收所服务器发送的第二调整请求;
上述决策单元,还用于根据第二调整请求,将第一编码单元的编码率调整为第四编码率;将第二编码单元的编码率调整为第三编码率,上述第三编码率大于第四编码率;
上述第一编码单元,还用于将第一摄像单元采集的第一视频流进行编码,得到第七编码视频流;上述第二编码单元,还用于将第二摄像单元采集的第二视频流进行编码,得到第八编码视频流,上述第三编码率大于第四编码率;上述第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述通信单元,还用于向第二终端发送第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在第七方面的一种可选的方案中,上述终端还包括决策单元;上述通信单元,还用于向第二终端发送第一编码视频流和第二编码视频流之后,接收第一调整请求;
上述决策单元,还用于根据该第一调整请求,将第一编码单元的编码率调整为第四编码率,将第二编码单元的编码率调整为第三编码率;
上述第一编码单元,还用于将第一摄像单元采集的第一视频流进行编码,得到第九编码视频流;上述第二编码单元,还用于将第二摄像单元采集的第二视频流,通过第二编码单元进行编码,得到第十编码视频流;其中,第一解码单元的解码率为第三解码率,第二解码单元的解码率为第四解码率;
上述通信单元,还用于向第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在第七方面的另一种可选的方案中,上述终端还包括输出单元;上述通信单元,还用于在通过通信单元向第二终端发送第一编码视频流和第二编码视频流之后,接收第二终端发送的第一音频流;
上述输出单元,用于根据第一音频流播放音频。
在第七方面的另一种可选的方案中,上述终端,还包括决策单元、第一显示屏和解码单元;上述决策单元,还用于在将第一摄像单元采集的第一视频流,通过第一编码单元进行编码,得到第一编码视频流之后,将第一摄像单元采集的第一视频流在第一显示屏的第三显示区域显示;
上述决策单元,还用于在将第二摄像单元采集的第二视频流,通过第二编码单元进行编码,得到第二编码视频流之后,将第二摄像单元采集的第二视频流在第一显示屏的第四显示区域显示,第三显示区域大于第四显示区域;
上述通信单元,还用于在向第二终端发送第一视频流、第二视频流之后,接收第二终端发送的反馈编码视频流,反馈编码视频流为第二终端通过第三摄像单元采集的反馈视频流编码后得到的视频流;
上述解码单元,还用于将反馈编码视频流通过解码单元解码得到反馈解码视频流;
上述决策单元,还用于将反馈解码视频流在第一显示屏的第三显示区域显示,上述处理单元,还用于将第一摄像单元采集的第一视频流调整为在第一显示屏的第五显示区域显示,第一显示屏的第五显示区域小于第三显示区域。
第八方面,本申请实施例提供一种终端,包括通信单元、第一解码单元、第二解码单元和第二显示屏;
上述通信单元,用于接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,第一编码率大于第二编码率;
上述第一解码单元,用于将第一编码视频流解码得到第一解码视频流;
上述第二解码单元,用于将第二编码视频流解码得到第二解码视频流;其中,第一解码单元的解码率为第一解码率,第二解码单元的解码率为第二解码率;
上述决策单元,用于将第一解码视频流在第二显示屏的第一显示区域中显示,将第二解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第八方面的一种可选的方案中,上述通信单元,还用于在决策单元将第一解码视频流在第二显示屏的第一显示区域中显示,将第二解码视频流在第二显示屏的第二显示区域显示之后,接收显示区域的切换命令;
上述决策单元,还用于根据切换命令生成第一调整请求,通过通信单元将第一调整请求发送给第一终端;
上述通信单元,还用于接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码发送的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
上述第二解码单元,还用于通过将第三编码视频流解码得到第三解码视频流;上述第四解码单元,还用于将第四编码视频流通过第一解码单元解码得到第四解码视频流;
上述决策单元,还用于将第四解码视频流在第二显示屏的第一显示区域中显示,将第三解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第八方面的另一种可选的方案中,上述通信单元,还用于在决策单元将第一解码视频流在第二显示屏的第一显示区域中显示,将第二解码视频流在第二显示屏的第二显示区域显示之后,接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,上述第二调整请求由服务器发送给第一终端,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述第一解码单元,还用于将第五编码视频流解码得到第五解码视频流;上述第二解码单元,还用于将第六编码视频流通过第二解码单元解码得到第六解码视频流;其中,第一解码单元的解码率为第三解码率,第二解码单元的解码率为第四解码率;
上述决策单元,还用于将第五解码视频流在第二显示屏的第一显示区域中显示,将第六解码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第八方面的另一种可选的方案中,上述通信单元,还用于在接收第一终端发送的第三编码视频流和第四编码视频流之后,接收第七编码视频流和第八编码视频流,第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,第八编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第二调整请求由服务器发送给第二终端,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述第二解码单元,还用于将第七编码视频流解码得到第七解码视频流;上述第一解码单元,还用于将第八编码视频流通过第一解码单元解码得到第八解码视频流;其中,第一解码单元的解码率为第三解码率,第二解码单元的解码率为第四解码率;
上述决策单元,还用于将第八解码视频流在第二显示屏的第一显示区域中显示,将第七解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第八方面的一种可选的方案中,上述通信单元,还用于在通过通信单元接收第五编码视频流和第六编码视频流之后,接收显示区域的切换命令;
上述决策单元,还用于根据切换命令生成第一调整请求,通过通信单元将第一调整请求发送给第一终端;
上述通信单元,还用于接收第一终端发送的第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码发送的视频流,该第十编码视频流为第一终端在接收到第一调整请求之后通过第三编码率编码的视频流;
上述第二解码单元,还用于通过将第九编码视频流通过第二解码单元解码得到第三解码视频流;上述第一解码单元,还用于将第十编码视频流通过第一解码单元解码得到第四解码视频流;其中,第一解码单元的解码率为第三解码率,第二解码单元的解码率为第四解码率;
上述决策单元,还用于将第十解码视频流在第二显示屏的第一显示区域中显示,将第九解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在第八方面的另一种可选的方案中,所述终端,还包括音频采集单元;上述音频采集单元,还用于在决策单元将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,采集第一音频流;
上述通信单元,还用于向第一终端发送第一音频流,第一音频流用于第一终端播放音频。
在第八方面的另一种可选的方案中,所述终端还包括第三摄像单元、编码单元;上述第一视频流还用于第一终端在第一显示屏的第三显示区域显示,第二视频流还用于第一终端在第一显示屏的第四显示区域显示;上述第三摄像单元,还用于在将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,采集反馈视频流;
上述决策单元,还用于将反馈视频流在第二显示屏的第六显示区域进行显示,上述第六显示区域小于所述第一显示区域;
上述编码单元,还用于将反馈视频流编码得到反馈编码视频流;
上述通信单元,还用于向第一终端发送反馈编码视频流,该反馈编码视频流用于第一终端在第一显示屏的第三显示区域显示,第一视频流还用于在第一终端的第一显示屏的第五显示区域显示,第五显示区域小于第三显示区域。
第九方面,本申请实施例提供一种服务器,包括通信单元,
上述通信单元,用于接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,上述第一编码率大于第二编码率;
上述通信单元,还用于向第二终端转发第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第九方面的一种可选的方案中,上述通信单元,还用于在通过通信单元接收第一终端发送的第一编码视频流和第二编码视频流之后,接收第二终端发送的第一调整请求;
上述通信单元,还用于向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
上述通信单元,还用于接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
上述通信单元,还用于向第二终端发送第三编码视频流和第四编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第九方面的另一种可选的方案中,上述服务器还包括决策单元;上述决策单元,用于在通信单元接收第一终端发送的第一编码视频流和第二编码视频流之后,分析网络信道带宽得到第二调整请求;
上述通信单元,还用于向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
上述通信单元,还用于接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第三编码率大于第四编码率,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述通信单元,还用于向第二终端转发第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第九方面的另一种可选的方案中,上述服务器还包括决策单元;上述决策单元,用于在所述通过所述通信单元接收第一终端发送的第三编码视频流和第四编码视频流之后,分析网络带宽信息得到第二调整请求;
上述通信单元,还用于向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
上述通信单元,还用于接收第七编码视频流和第八编码视频流,该第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,该第八编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码的视频流;其中,第三编码率大于第四编码率,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述通信单元,还用于向第二终端转发第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第九方面的一种可选的方案中,上述通信单元,还用于在通过通信单元向第二终端转发第五编码视频流和第六编码视频流之后,接收第二终端发送的第一调整请求;
上述通信单元,还用于向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
上述通信单元,还用于接收第一终端发送的第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码的视频流,该第十编码视频流为第一终端在接收到第一调整请求之后通过第三编码率编码的视频流;
上述通信单元,还用于向第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在第九方面的另一种可选的方案中,上述通信单元,还用于在向第二终端转发所述第一编码视频流和所述第二编码视频流之后,接收第二终端发送的第一音频流;
上述通信单元,还用于在向第一终端转发第一音频流,该第一音频流用于第一终端播放音频。
在第九方面的另一种可选的方案中,上述第一视频流还用于第一终端在第一显示屏的第三显示区域显示,上述第二视频流还用于第一终端在第一显示屏的第四显示区域显示;上述通信单元,还用于在通过通信单元向第二终端转发第一编码视频流和第二编码视频流之后,接收第二终端发送的反馈编码视频流,反馈编码视频流为第二终端采集的反馈视频流编码得到的视频流;
上述通信单元,还用于向第一终端转发反馈编码视频流,上述反馈视频流用于第一终端在第一显示屏的第三显示区域显示,上述第一视频流还用于第一终端在第一显示屏的第五显示区域显示,上述第五显示区域小于第三显示区域
第十方面,本申请实施例提供一种视频交互***,该***包括第一终端、第二终端和服务器,其中:所述第一终端为第一方面,或者第一方面的任意一种可能的实现方式所描述的终端;所述第二终端为第二方面,或者第二方面的任意一种可能的实现方式所描述的终端;所述服务器为第三方面或者第三方面的任意一种可能的实现方式所描述的服务器。
第十一方面,本申请实施例提供一种视频交互***,该***包括第一终端、第二终端和服务器,其中:所述第一终端为第七方面,或者第七方面的任意一种可能的实现方式所描述的终端;所述第二终端为第八方面,或者第八方面的任意一种可能的实现方式所描述的终端;所述服务器为第九方面或者第九方面的任意一种可能的实现方式所描述的服务器。
第十二方面,本申请实施例提供一种视频交互***,该***包括第一终端和第二终端,其中:所述第一终端为第一方面,或者第一方面的任意一种可能的实现方式所描述的终端;所述第二终端为第二方面,或者第二方面的任意一种可能的实现方式所描述的终端。
第十三方面,本申请实施例提供一种视频交互***,该***包括第一终端和第二终端,其中:所述第一终端为第七方面,或者第七方面的任意一种可能的实现方式所描述的终端;所述第二终端为第八方面,或者第八方面的任意一种可能的实现方式所描述的终端。
第十四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在处理器上运行时,实现第一方面、第二方面、第三方面中任意一方面或者任意一方面的可选的方案所描述的方法。
第十五方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在处理器上运行时,实现第一方面、第二方面、第三方面中任意一方面或者任意一方面的可选的方案所描述的方法。
可以理解的是,上述第二方面至第九方面的技术方案与第一方面的技术方案一致,有益效果可参照第一方面的技术方案的有益效果,这里不再赘述。
附图说明
以下对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种视频交互***的架构示意图;
图2是本申请实施例提供的一种视频交互***的运行场景示意图;
图3是本申请实施例提供的一种视频交互方法的流程示意图;
图4是本申请实施例提供的一种视频交互方法的架构示意图;
图5是本申请实施例提供的一种视频交互方法的场景示意图;
图6是本申请实施例提供的又一种视频交互方法的流程示意图;
图7是本申请实施例提供的又一种视频交互方法的架构示意图;
图8是本申请实施例提供的又一种视频交互方法的流程示意图;
图9是本申请实施例提供的又一种视频交互方法的场景示意图;
图10是本申请实施例提供的又一种视频交互方法的架构示意图;
图11是本申请实施例提供的又一种视频交互方法的架构示意图;
图12是本申请实施例提供的一种终端的结构示意图;
图13是本申请实施例提供的又一种终端的结构示意图;
图14是本申请实施例提供的一种服务器的结构示意图;
图15是本申请实施例提供的又一种终端的结构示意图;
图16是本申请实施例提供的又一种终端的结构示意图;
图17是本申请实施例提供的又一种服务器的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参加图1,图1是本申请实施例提供的一种视频交互***的架构示意图,该视频交互***包括第一终端11、服务器12和第二终端13。
第一终端11可以包含第一摄像模块111、第二摄像112、编码器113和收发器114。其中第一摄像模块111和第二摄像模块112用于采集第一视频流MV1与第二视频流MV2。编码器113将第一视频流MV1编码为第一编码视频流CMV1,将第二视频流MV2编码为第二编码视频流CMV2。第一发送模块将第一编码视频流CMV1和第二编码视频流CMV2发送给服务器12。
服务器12中包含有收发器121,用于接收第一终端11发送的第一编码视频流CMV1和第二编码视频流CMV2,并向第二终端103转发CMV1和CMV2。
第二终端13包含有收发器131、解码器132、第二显示屏133。第二终端13通过收发器131接收到第一编码视频流CMV1和第二编码视频流CMV2后,解码器132分别将CMV1和CMV2解码得到第一解码视频流DMV1和第二解码视频流DMV2,将第一解码视频流DMV1在第二显示屏133上的第一显示区域显示,将第二解码视频流DMV2在第二显示屏的第二显示区域显示。
可选的,上述第一终端可以手机或者其他摄像设备,上述第二终端可以是大屏显示器或者其他显示设备。
第一摄像模块111可以是一个摄像头,也可以是多个摄像头组成的摄像头模组,也可以是第一终端中耦合的摄像模块,也可以是与第一终端相连的摄像设备,本申请对此不做限定。相应的,第二摄像模块也可以是一个摄像头,也可以是多个摄像头组成的摄像头模组,可以是第一终端中耦合的摄像模块,也可以是与第一终端相连的摄像设备,本申请对此不做限定。,第二摄像模块可以是手机的前置摄像头。例如,以第一终端为手机为例,该第一摄像头可以为手机的后置摄像模块,该第二摄像模块可以为手机的前置摄像模块。
编码器113可以为集成了第一编码模块与第二编码库的编码装置,使用第一编码模块和第二编码模块分别对两路视频流进行编码,也可以是同一个编码器中的不同编码单元,或者使用不同的时隙进行编码,下文中仅对该编码器集成了第一编码模块和第一编码模块进行编码的方式进行叙述。
参见图2,图2是一种视频交互***运行时的场景示意图,手机端201通过后置摄像头拍摄风景照片,通过前置摄像头拍摄另一画面,发送给服务器202后,由服务器202转发给大屏端,大屏端203接收到两路视频画面后,将后置摄像头的画面作为大屏显示,将前置摄像头的画面作为画中画形式显示,第二终端的用户即可观看到第一终端分享的两路视频。
可选的,上述第一终端通过服务端将两路视频分享给第二终端时,需要先向第二终端发送视频分享请求。第二终端接收第一终端的视频分享请求后,服务器建立第一终端与第二终端的视频分享通道。可选的,第一终端可以经由服务器通过账号与大屏端相互绑定,例如,服务器提供账号绑定服务,第一终端输入绑定的第二终端的标识后,可以与第二终端进行绑定,则第一终端通过服务器向与其绑定的第二终端发送视频分享请求。
请参见图3,图3是本申请实施例提供的一种视频交互方法,该方法可以基于图2所示的视频交互***来实现,该方法包括但不限于如下步骤:
步骤S301:第一终端通过第一摄像模块采集得到第一视频流,通过第二摄像模块采集得到第二视频流。
具体的,上述第一摄像模块和第二摄像模块是可以进行摄像的功能模块,通过该第一摄像模块可以采集到第一视频流MV1,通过该第二摄像模块可以采集到第二视频流MV2。第一摄像模块和第二摄像模块采集视频流后将第一视频流MV1和第二视频流MV2传送给编码器。可选的,第一终端还可以包括麦克风或者其他音频采集模块,通过音频采集模块采集音频流HA1,将音频流HA1传送给编码器。
可选的,第一终端可以接收选择操作,该选择操作指示任意一个摄像模块作为第一摄像模块,除第一摄像模块中的任意一个作为第二摄像模块,也可以默认两个或多个摄像模块中的任意一个作为第一摄像模块。例如,以第一终端作为手机为例,该手机包含前置摄像头和后置摄像头模组,该可以默认手机后置摄像模组为第一摄像模块,该手机的前置摄像头为第二摄像模块。步骤S302:通过第一编码模块采用第一编码率编码得到第一编码视频流,将第二视频流通过第二编码模块采用第二编码率编码得到第二编码视频流。
具体的,第一终端可以使用不同的编码率编码不同的视频流,例如1080P、720P等不同的编码率。其中,第一编码率大于第二编码率。在编码时,将第一视频流MV1使用较高的编码率编码得到第一编码视频流CMV1,第二编码率MV2使用较低的编码率编码得到第二编码视频流CMV2,使得第一视频流的编码率大于第二视频流的编码率。例如,第一终端通过第一编码模块将第一视频流使用1080P编码率编码,通过第二编码模块将第二视频流MV2使用720P编码率编码。其中,第一编码模块和第一编码模块可以是两个不同的编码模块,也可以集成在同一个编码装置中得不同模块,或者是集成在同一个编码装置中的同一个模块。
可选的,第一终端若采集了音频流HA1,将HA1通过编码器编码后得到CHA1,将CHA1传送给收发器。步骤S303:第一终端发送所述第一编码视频流和第二编码视频流。
具体的,第一终端接收编码模块传送的第一编码视频流CMV1和第二编码视频流CMV2,将第一编码视频流CMV1通过满足第一编码率的网络信道传输给服务器,将第二视频流CMV2通过满足第二编码率的网络信道传输给服务器。例如,参见图4,图4是本申请实施例提供的一种视频交互方法的场景示意图,包括第一终端401、服务器402和第二终端403。其中网络信道1的带宽满足1080P编码率的视频传输,网络信道2的带宽满足720P编码率的视频传输,则第一终端将第一编码视频流CMV1通过网络信道1发送给服务器,将第二编码视频流CMV2通过网络信道2发送给服务器。
可选的,收发器将编码后音频流CHA1通过满足音频传输的网络信道发送给服务器。
步骤S304:服务器转发第一编码视频流和第二编码视频流。
具体的,服务器接收第一终端发送的第一编码视频流CMV1和第二编码视频流CMV2后,将CMV1与CMV2转发给与第一终端进行视频交互的第二终端。例如,参见图4,服务器由网络信道1接收第一编码视频流CMV1,由网络信道2接收第二编码视频流CMV2,再通过满足第一视频流的编码率的网络信道发送给第二终端,即将第一编码视频流CMV1通过满足1080p编码率的网络信道发送给第二终端,将第二编码视频流CMV2通过满足720p编码率的网络信道发送给第二终端。
可选的,服务器接收第一终端发送的音频流CHA1,将CHA1转发给第二终端。
步骤S305:接收第一编码视频流和第二编码视频流。
具体的,第二终端接收服务器转发的由第一终端发送的第一视频流CMV1和CMV2,将第一编码视频流CMV1和第二编码视频流CMV2传送给解码模块解码。可选的,第二终端还接收由服务器转发的由第一终端发送的音频流CHA1。
步骤S306:将第一编码视频流通过第一解码模块采用第一解码率解码得到第一解码视频流,将第二编码视频流通过第二解码模块采用第二解码率解码得到第二解码视频流。
具体的,第二终端中可以包含第一解码模块和第二解码模块,用于解析需要在显示屏显示的视频流。第二终端的解码模块接收到第一编码视频流CMV1和第二编码视频流CMV2后,将第一编码视频流CMV1在第一解码模块中解码得到第一解码视频流DMV1,其中第一解码模块的解码率是第一解码率,经由第一解码率可以解码使用第一编码率编码的视频流。第二终端将第二编码视频流CMV2在第二解码模块中解码得到第二解码视频流DMV2,其中第二解码模块的解码率是第二解码率,经由第二解码率可以解码使用第二编码率编码的视频流。例如,第一解码率可以解码使用1080P编码的视频流,第二解码率可以解码使用720P编码的视频流,则第一编码视频流使用1080P编码率编码,则将第一编码视频流使用第一解码率解码,同理,若第一编码视频流使用720P编码率编码,则将第一编码视频流使用第二解码率解码。解码模块将解码后的解码视频流传送给显示器。
可选的,第二终端将编码后的音频流CHA1进行解码。
可选的,其中,第一解码模块和第一解码模块可以是两个不同的解码模块,也可以集成在同一个解码装置中得不同模块,或者是集成在同一个编码装置中的同一个模块。
步骤S307:将第一解码视频流在第一显示区域显示,将第二解码视频流在第二显示区域显示。
具体的,第二终端将第一解码视频流DMV1在第二显示屏的第一显示区域显示,将第二解码视频流DMV2在第二显示屏的第二显示区域显示。其中,第一显示区域的面积大于第二显示区域,例如,参见图4,第二终端将第一解码视频流作为大屏显示,将第二解码视频流以画中画形式显示在视频的左上角或右上角等,使得第二终端的用户既可以大屏观看到第一终端拍摄的第一视频流的场景,同时又可以观看到第二视频流的场景。由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源。可选的,第二终端将解码后音频流DHA1通过扬声器或者其他音频设备播放为音频,使用户在观看场景时还可以听见第一终端分享的声音。
可选的,在第一终端采集两路视频流时,采集方式主要有以下情况:
情况一,第一终端可以同时开启使用第一摄像模块和第二摄像模块分别采集第一视频流和第二视频流,例如,同时打开第一摄像模块和第二摄像模块采集第一视频流和第二视频流,将第一视频流和第二视频流经编码后发送给第二终端。
情况二,第一终端也可以先通过第一摄像模块采集第一视频流,在第一摄像模块已开启的情况下,再开启第二摄像模块采集第一视频流。由于视频采集过程是实时进行的,在第一时刻时第一摄像模块采集第一视频流后,即经编码发送给第二终端,在第一摄像头持续采集视频流的第二时刻时,第二摄像模块开始采集第二视频流,经编码后发送给第二终端,也即是说,第二时刻后,第一终端向第二终端发送此刻实时采集、编码的两路视频流。可选的,第一终端也可以先开启第二摄像头采集第二视频流,具体藐视参照前述,这里不再赘述。
在图3所描述的方法中,第一终端采集第一视频流与第二视频流,分别使用第一编码率和第二编码率编码后发送服务器,由服务器转发给第二终端。相应的,第二终端接收到两路视频流,将编码率更高的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的多个视频画面;由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源;由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
可选的,参见图5,第二终端将第一解码视频流在第一显示区域显示,将第二解码视频流在第二显示区域显示之后,可以切换第二终端的显示区域。参见图5,图5是本申请实施例提供的一种切换视频场景的示意图,包含第二终端501和遥控终端502。其中,第二终端501接收遥控终端502发出的切换显示区域的信号,将第二编码视频流DMV2在第二显示屏的第一显示区域显示,相应的,将第一编码视频流DMV1在第二显示屏的第二显示区域显示。可选的,第二终端还可以通过触摸屏幕或者其他选择操作接收到切换显示区域的信号。第二终端切换显示区域后,由于第二编码视频流编码质量较低,在较大区域显示时清晰度不足够,因此需要向第一终端发送第一调整请求,调整视频流的编码率。
因此,在图3所示的视频交互方法后,还可以通过第二终端的监控调整第一终端的视频编码率。请参见图6,图6是本申请实施例提供的又一种视频交互方法,该方法可以基于图2所示的视频交互***来实现,该方法包括但不限于如下步骤:
步骤S601:第二终端切换显示区域,将第二解码视频流在第一显示区域显示,将第一解码视频流在第二显示区域显示,生成第一调整请求并发送给第一终端。
具体的,第二终端切换显示区域,根据切换后的显示区域生成第一调整请求并发送给第一终端。即第二终端将第二解码视频流切换到第一显示区域显示,将第一解码视频流切换到第二显示区域显示。可选的,该第一调整请求指示将需要在第一显示区域显示的视频流的编码率提高,同时降低需要在第二显示区域显示的视频流的编码率。
步骤S602:服务器接收第二终端发送的第一调整请求,向第一终端转发该第一调整请求。
具体的,服务器接收第二终端发送的第一调整请求后,将第一调整请求转发给正在与第二终端进行视频交互的第一终端。
步骤S603:第一终端接收第一调整请求,将第一编码模块的编码率调整为第二编码率,将第二编码模块的编码率调整为第一编码率。
具体的,由于第一编码模块用于将第一摄像头采集的第一视频流进行编码,相应的,第二编码模块用于将第二摄像头采集的第二视频流进行编码。第一终端接收到第一调整请求后,将第一编码模块的编码率调整为第二编码率,将第二编码模块的编码率调整为第一编码率。例如,第一编码模块的默认编码率是1080p编码率,第二编码模块的默认编码率是720p编码率,接收第一调整请求后,将第一编码模块的编码率调整为720p编码率,将第二编码模块的编码率调整为1080p编码率。
步骤S604:通过第一编码模块编码得到第三编码视频流,将第二视频流通过第四编码模块编码得到第四编码视频流。
具体的,由于第一终端与第二终端正在进行视频交互,第一摄像头与第二摄像头正在实时采集拍摄画面,第一终端在接收到第一调整请求后,将第一摄像头采集的第一视频流MV1通过第一编码模块的进行编码得到第三编码视频流CMV3,第一编码模块的编码率已经调整为第二编码率,相应的,第一终端将第二摄像头采集的实时采集的第二视频流MV2通过第二编码模块进行编码得到第四编码视频流CMV4,其中,第二编码模块的编码率已经调整为第一编码率。例如,第一编码模块将第一视频流MV1通过720p的编码率进行编码得到第三编码视频流CMV3,相应的,第二编码模块将第一视频流MV2通过1080p的编码率进行编码得到第四编码视频流CMV4。
也即是说,第三编码视频流CMV3是第一摄像头采集的第一视频流经由第一编码模块使用第二编码率编码的视频流,相应的,第四编码视频流CMV4是第一摄像头采集的第一视频流经由第一编码模块使用第二编码率编码的视频流。由于第一编码率高于第二编码率,第二终端切换显示区域后,向第一终端发送调整请求,第一终端将需要在较大的显示区域显示的第二视频流的编码率提高,相应的,将需要在较小的显示区域显示的第一视频流的编码率降低。
步骤S605:第一终端发送所述第三编码视频流和第四编码视频流。
具体的,第一终端接收编码模块传送的第三编码视频流CMV3和第四编码视频流CMV4,将第三编码视频流CMV3通过满足第二编码率的网络信道传输给服务器,将第四视频流CMV4通过满足第一编码率的网络信道传输给服务器。例如,网络信道1的带宽满足1080P编码率的视频传输,网络信道2的带宽满足720P编码率的视频传输,则第一终端将第三编码视频流CMV3通过网络信道1发送给服务器,将第四编码视频流CMV4通过网络信道2发送给服务器。具体实现请参见前述图4,这里不再赘述。
步骤S606:服务器向第二终端转发第三编码视频流和第四编码视频流。
具体的,服务器接收第一终端发送的第三编码视频流CMV3和第四编码视频流CMV4后,将CMV3与CMV4转发给与第一终端进行视频交互的第二终端。例如,服务器由网络信道1接收第三编码视频流CMV3,由网络信道2接收第四编码视频流CMV4,再通过满足第一视频流的编码率的网络信道发送给第二终端,即将第三编码视频流CMV3通过满足720p编码率的网络信道发送给第二终端,将第四编码视频流CMV4通过满足1080p编码率的网络信道发送给第二终端。
步骤S607:第二终端接收第三编码视频流和第四编码视频流。
具体的,第二终端接收服务器转发的由第一终端发送的第三视频流CMV3和第四编码视频流CMV4,将第三编码视频流CMV3和第四编码视频流CMV4传送给解码模块解码。
步骤S608:第二终端将第三编码视频流通过第二解码模块采用第二解码率解码得到第三解码视频流,将第四编码视频流通过第一解码模块采用第一解码率解码得到第四解码视频流。
具体的,第二终端可以将第一解码模块用于需要在第一显示区域显示的视频流进行编码,相应的,第二编码模块用于需要在第二显示区域的视频流进行编码。解码模块接收到第三编码视频流CMV3和第四编码视频流CMV4后,将第三编码视频流CMV3在第二解码模块中解码得到第三解码视频流DMV3,其中第二解码模块的解码率是第二解码率,经由第二解码率可以解码使用第二编码率编码的视频流。第二终端将第四编码视频流CMV4在第一解码模块中解码得到第四解码视频流DMV4,其中第一解码模块的解码率是第一解码率,经由第一解码率可以解码使用第一编码率编码的视频流。例如,第一解码率可以解码使用1080P编码的视频流,第二解码率可以解码使用720P编码的视频流,则第三编码视频流使用720P编码率编码,则将第三编码视频流使用第二解码率解码,同理,若第四编码视频流使用1080P编码率编码,则将第四编码视频流使用第一解码率解码。解码模块将解码后的解码视频流传送给显示器。
可选的,其中,第一解码模块和第一解码模块可以是两个不同的解码模块,也可以集成在同一个解码装置中得不同模块,或者是集成在同一个编码装置中的同一个模块。
步骤S609:将第四解码视频流在第一显示区域显示,将第二解码视频流在第二显示区域显示。
具体的,第二终端将第四解码视频流DMV4在第二显示屏的第一显示区域显示,将第三解码视频流DMV3在第二显示屏的第二显示区域显示。其中,第一显示区域的面积大于第二显示区域,使得第二终端的用户既可以大屏观看到第一终端拍摄的第一视频流的场景,同时又可以观看到第二视频流的场景。具体显示场景如图2所示,这里不再赘述。
在图6所示的方法中,第二终端切换显示区域,并向第一终端发送第一调整请求,第一终端将调整了编码率后编码的到的第三编码视频流和第四编码视频流发送给第二终端,其中第四解码视频流DMV4为第二视频流MV2使用第一编码率编码的视频流,编码质量较之前的第一编码率有所提高,使得切换到第一显示区域后,显示质量也相适应的提高。相应的,第三解码视频流DMV3为第一视频流MV1使用第二编码率编码的视频流,由于之前的编码质量较高,切换到第二显示区域后,由于第二显示区域较小,使用高质量的第一编码率对于显示效果改善不明显且浪费了网络资源,调整使用第二编码率后,节省了网络资源、减轻了服务器的转发压力并且减轻了第二终端的计算压力,也满足了用户需求。
可选的,参见图7,图7是本申请实施例提供的又一种视频交互方法的架构示意图,包含第一终端701、服务器702和第二终端703。其中,服务器702在转发视频流时实时监控网络信道变化,当网络信道带宽不满足视频流上传需求,或者其他需要调整视频编码率的原因,则根据当前网络信道带宽生成第二调整请求发送给第一终端,调整第一终端的视频流编码率。例如,多个终端通过服务器分享视频,而服务器只能接收1000条编码率为1080P的视频流和1000条编码为720P的视频流,当服务器再次接收到视频流时,因为处理资源的限制需要降低视频的网络信道的带宽,则将当前可以满足的上行网络带宽通过第二调整请求发送给第一终端。
因此,在图3所示的视频交互方法后,还可以通过服务器提供的链路控制功能来智能地调整第一终端的视频编码率。请参见图8,图8是本申请实施例提供的又一种视频交互方法,该方法可以基于图2所示的视频交互***来实现,该方法包括但不限于如下步骤:
步骤S801:服务器分析网络信道带宽得到第二调整请求,向第一终端发送该第二调整请求。
具体的,服务器接收多个终端上传的视频流,同时监控视频流的传输链路。发送的第一调整请求后,将第一调整请求转发给正在与第二终端进行视频交互的第一终端。当网络信道带宽不满足视频流上传需求,或者其他需要调整视频编码率的原因,则根据当前网络信道带宽生成第二调整请求发送给第一终端,调整第一终端的视频流编码率。
服务器生成第二调整请求后,向第一终端发送该第二调整请求,第一终端接收第二调整请求后,调整编码模块的编码率。可选的,服务器在生成调整请求时,优先保证第一显示区域显示的视频流的传输质量。可选的,服务器可以根据多种计算方法或者人工智能(Artificial Intelligence,AI)技术(如计算机视觉相关技术)不断优化链路自适应控制的效果,使得能在保证第一显示区域显示的视频流质量的情况下,达到网络信道资源的利用最大化。
可选的,服务器可以向第二终端发送第二调整请求指示的编码率,第二终端接收到第二调整请求后可对应调整解码模块的解码率。
步骤S802:第一终端接收第二调整请求,将第一编码模块的编码率调整为第三编码率,将第二编码模块的编码率调整为第四编码率。
具体的,第一终端接收到第二调整请求后,将第一编码模块的编码率调整为第三编码率,将第二编码模块的编码率调整为第四编码率,其中第三编码率高于第四编码率。例如,第一编码模块的默认编码率是1080p编码率,第二编码模块的默认编码率是720p编码率,接收第二调整请求后,将第一编码模块的编码率调整为720p编码率,将第二编码模块的编码率调整为480p编码率。
步骤S803:第一终端通过第一编码模块编码得到第五编码视频流,将第二视频流通过第二编码模块编码得到第五编码视频流。
具体的,由于第一终端与第二终端正在进行视频交互,第一摄像头与第二摄像头正在实时采集拍摄画面,第一终端在接收到第一调整请求后,将第一摄像头采集的第一视频流MV1通过第一编码模块的进行编码得到第五编码视频流CMV5,第一编码模块的编码率已经调整为第三编码率,相应的,第一终端将第二摄像头采集的实时采集的第二视频流MV2通过第二编码模块进行编码得到第六编码视频流CMV6,其中,第二编码模块的编码率已经调整为第四编码率。例如,第一编码模块将第一视频流MV1通过720p的编码率进行编码得到第五编码视频流CMV5,相应的,第二编码模块将第二视频流MV2通过480p的编码率进行编码得到第六编码视频流CMV6。
也即是说,第五编码视频流CMV5是第一摄像头采集的第一视频流经由第一编码模块使用第三编码率编码的视频流,相应的,第六编码视频流CMV6是第一摄像头采集的第一视频流经由第一编码模块使用第四编码率编码的视频流。由于服务器监控网络信道变化,自适应的调整视频流的编码率,在第一视频流与第二视频流传输时,可以优先保证了在第一显示区域显示的视频的编码质量和传输质量,同时也减轻了服务器的计算压力。
可选的,服务器可以同时监控上行链路和下行链路的信道变化,通过网络带宽信息生成第二调整请求。
可选的,服务器可以监控网络变化情况,当网络中存在其他网络信道时,分析生成第二调整请求可以指示第一终端切换其他网络信道。
步骤S804:第一终端发送第五编码视频流和第六编码视频流。
具体的,第一终端接收编码模块传送的第五编码视频流CMV5和第六编码视频流CMV6,将第五编码视频流CMV5通过满足第三编码率的网络信道传输给服务器,将第六视频流CMV6通过满足第三编码率的网络信道传输给服务器。例如,网络信道1的带宽满足720P编码率的视频传输,网络信道2的带宽满足480P编码率的视频传输,则第一终端将第五编码视频流CMV5通过网络信道1发送给服务器,将第六编码视频流CMV6通过网络信道2发送给服务器。具体实现案例请参见前述图4,这里不再赘述。
步骤S805:服务器向第二终端转发第五编码视频流和第六编码视频流。
具体的,服务器接收第一终端发送的第五编码视频流CMV5和第六编码视频流CMV6后,将CMV5与CMV6转发给与第一终端进行视频交互的第二终端。例如,服务器由网络信道1接收第五编码视频流CMV5,由网络信道2接收第六编码视频流CMV6,再通过满足第一视频流的编码率的网络信道发送给第二终端,即将第五编码视频流CMV5通过满足720p编码率的网络信道发送给第二终端,将第六编码视频流CMV6通过满足480p编码率的网络信道发送给第二终端。
步骤S806:第二终端接收第五编码视频流和第六编码视频流。
具体的,第二终端接收服务器转发的由第一终端发送的第五视频流CMV5和第六编码视频流CMV6,将第五编码视频流CMV5和第六编码视频流CMV6传送给解码模块解码。
步骤S607:第二终端将第五编码视频流通过第一解码模块采用第三解码率解码得到第五解码视频流,将第六编码视频流通过第二解码模块采用第四解码率解码得到第六解码视频流。
具体的,第二终端可以将第一解码模块用于需要在第一显示区域显示的视频流进行编码,相应的,第二编码模块用于需要在第二显示区域的视频流进行编码。解码模块接收到第五编码视频流CMV5和第六编码视频流CMV6后,将第五编码视频流CMV5在第一解码模块中解码得到第三解码视频流DMV5,其中第一解码模块的解码率是第三解码率,经由第三解码率可以解码使用第三编码率编码的视频流。第二终端将第六编码视频流CMV6在第二解码模块中解码得到第六解码视频流DMV6,其中第二解码模块的解码率是第四解码率,经由第四解码率可以解码使用第四编码率编码的视频流。例如,第三解码率可以解码使用720P编码的视频流,第四解码率可以解码使用480P编码的视频流,则第五编码视频流使用720P编码率编码,将第五编码视频流使用第三解码率解码,同理,若第四编码视频流使用480P编码率编码,则将第四编码视频流使用第四码率解码。解码模块将解码后的解码视频流传送给显示器。
可选的,其中,第一解码模块和第一解码模块可以是两个不同的解码模块,也可以集成在同一个解码装置中得不同模块,或者是集成在同一个编码装置中的同一个模块。
步骤S608:第二终端将第五解码视频流在第一显示区域显示,将六解码视频流在第二显示区域显示。
具体的,第二终端将第五解码视频流DMV5在第二显示屏的第一显示区域显示,将第三解码视频流DMV6在第二显示屏的第二显示区域显示。其中,第一显示区域的面积大于第二显示区域,使得第二终端的用户既可以大屏观看到第一终端拍摄的第一视频流的场景,同时又可以观看到第二视频流的场景。具体显示场景如前述图2所示,这里不再赘述。
在图8所示的方法中,服务器监控网络信道变化生成第二调整请求,并向第一终端发送第二调整请求,第一终端将调整了编码率后编码的到的第三编码视频流和第四编码视频流发送给第二终端,其中第五解码视频流DMV5为第一视频流MV1使用第三编码率编码的视频流,相应的,第六解码视频流DMV6为第二视频流MV2使用第四编码率编码的视频流。第一终端通过调整两路视频流的编码率,节省了网络资源、减轻了服务器的转发压力并且减轻了第二终端的计算压力。
在一些可能的实施过程中,在用户切换了两路视频流的显示区域后,服务器的仍实时监控网络信道变化。例如,在服务器监控到网络信道带宽变小第二终端将第五解码视频流在第二显示屏的第一显示区域显示,将第六视频流在第二显示屏的第二显示区域显示情况下,则向第一终端发送第二调整指令。第一终端通过收发器接收服务器发送的第二调整请求后,通过编码器将第一采集装置在接收到第二调整请求后采集到的第一视频流MV1调整为使用第四编码率编码,得到第七编码视频流CMV7,相应的,通过编码器将第二采集装置在接收到第二调整请求后采集到的第二视频流MV2调整为使用第三编码率编码,得到第八编码视频流CMV8。第一终端将第七编码视频流和第八编码视频流发送给服务器,经由服务器转发给第二终端。第二终端将第七视频流CMV7和第八视频流CMV8分别使用第四解码率和第三解码率解码得到第七解码视频流和第八解码视频流,将第八解码视频流在第二显示屏的第一显示区域显示,将第七解码视频流在第二显示屏的第二显示区域显示。具体实施步骤参考前述图8的流程,这里不再赘述。
在一些可能的实施过程中,服务器通过自适应链路调控第一终端两路视频流的编码率后,第一终端还接收由第二终端发送的切换显示区域的调整请求。例如,参考前述图8所述的流程图,在服务器监控到网络信道带宽变小时,向第一终端发送调整请求,第一终端接收调整请求后,将第一摄像头采集的第一视频流通过第一编码模块使用第三编码率编码得到第五视频流CMV5并发送给第二终端,相应的,第一终端将第二摄像头采集的第二视频流通过第二编码模块使用第四编码率得到第六视频流CMV6发送给第二终端。第二终端在接收到第五编码视频流与第六编码视频流后,分别解码显示在第一显示区域和第二显示区域。此后,第二终端还可以接收切换显示区域的信号,生成第一调整请求,并向第一终端发送该第一调整请求,第一终端接收第一调整请求后,将第一摄像头采集的第一视频流通过第一编码模块使用第四编码率编码得到第九视频流CMV9并发送给第二终端,相应的,第一终端将第二摄像头采集的第二视频流通过第二编码模块使用第三编码率得到第十视频流CMV10发送给第二终端。第二终端在接收到第九编码视频流与第十编码视频流后,分别解码显示在第二显示区域和第一显示区域。具体实施步骤参考前述图6的流程,这里不再赘述。
可选的,在第二终端将第一解码视频流在第二显示屏的第一显示区域显示,将第二解码视频流在第二显示屏的第二显示区域显示之后,第二终端可以通过麦克风或者音频采集设备采集音频流HA2,将HA2通过第二终端的编码器编码得到编码音频流CHA2,将编码音频流CHA2通过收发器发送给服务器,由服务器转发给第一终端。第一终端通过收发器接收到第二中终端发送的编码音频流CHA2后,通过解码器解码得到解码音频流DHA2,将解码音频流DHA2播放为音频。也即是说,第一终端向第二终端分享视频画面后,还接收到第二终端反馈的音频流。第一终端接收第二终端的音频后,可以获知第二终端的用户的声音分享,实现了第一终端用户与第二终端用户之间视频分享的互动,丰富了视频交互的灵活性和多样性。
可选的,第一采集设备采集的第一视频流还用于在第一终端的第一显示屏的第三显示区域显示,第二采集设备采集的第二视频流还用于在第一终端的第一显示屏的第三显示区域显示,其中第三显示区域大于第四显示区域。在第二终端将第一解码视频流在第二显示屏的第一显示区域显示,将第二解码视频流在第二显示屏的第二显示区域显示之后,第二终端可以通过第三摄像模块采集反馈视频流RMV。
参见图9,图9是本申请实施例提供的又一种视频交互方法的运行示意图,包含第一终端901、服务器902、第二终端903和第二终端的用户904。第二终端903将反馈视频流RMV通过第二终端的编码器编码得到编码反馈视频流CRMV,将反馈编码视频流CRMV通过收发器发送给服务器902,由服务器902转发给第一终端901。第一终端通过收发器接收到第二中终端发送的编码音频流CRMV后,通过解码器解码得到反馈解码视频流DRMV,将反馈解码视频流DRMV在第一终端的第三显示屏的第五显示区域显示。可选的,第五显示区域可以是全屏显示的区域,此时第一显示屏不显示第一视频流和第二视频流的画面;第五显示区域还可以是比第三显示区域更小的显示区域,用于以画中画形式显示在第三显示区域中。
可选的,第二终端可能包含多个摄像模块,终端接收用户对多个摄像模块中的第三采集设备的选择操作,使用第三采集设备采集反馈视频流RMV。
参见图9,可以看出,第一终端向第二终端分享视频画面后,第二终端也可向第一终端发送本端的视频画面,使得第一终端的用户也能观看到第二终端分享的视频流,有效地实现了第一终端与第二终端的双向互动,满足了用户对交互性的需求,丰富了视频分享的灵活性和多样性,提升了用户视频交互的体验。
请参加图10,图10是本申请实施例提供的又一种视频交互***的架构示意图,该视频交互***包括第一终端1001和第二终端1002。
第一终端1001可以包含第一摄像模块1011、第二摄像模块1012、编码器1013和收发器1014。其中第一摄像模块1011和第二摄像模块1012分别用于采集第一视频流MV1与第二视频流MV2。编码器1013将第一视频流MV1编码为第一编码视频流CMV1,将第二视频流MV2编码为第二编码视频流CMV2。第一发送模块将第一编码视频流CMV1和第二编码视频流CMV2发送给第二终端112。
第二终端1002包含有收发器1021、解码器1022、第二显示屏1023。第二终端1002通过收发器1021接收到第一编码视频流CMV1和第二编码视频流CMV2后,解码器1022分别将CMV1和CMV2解码得到第一解码视频流DMV1和第二解码视频流DMV2,将第一解码视频流DMV1在第二显示屏1023上的第一显示区域显示,将第二解码视频流DMV2在第二显示屏的第二显示区域显示。
可选的,第一终端与第二终端通过局域网或者其他短距离网络连接方式进行连接,例如,第一终端与第二终端通过WIFI连接。
可选的,上述第一终端可以手机或者其他摄像设备,上述第二终端可以是大屏显示器或者其他显示设备。
第一摄像模块1012可以是一个摄像头,也可以是多个摄像头组成的摄像头模组,也可以是第一终端中耦合的摄像模块,也可以是与第一终端相连的摄像设备,本申请对此不做限定。相应的,第二摄像模块1013也可以是一个摄像头,也可以是多个摄像头组成的摄像头模组,可以是第一终端中耦合的摄像模块,也可以是与第一终端相连的摄像设备,本申请对此不做限定。,第二摄像模块可以是手机的前置摄像头。例如,以第一终端为手机为例,该第一摄像头可以为手机的后置摄像模块,该第二摄像模块可以为手机的前置摄像模块。
编码器1013可以为集成了第一编码模块与第二编码库的编码装置,使用第一编码模块和第二编码模块分别对两路视频流进行编码,也可以是同一个编码器中的不同编码单元,或者使用不同的时隙进行编码,下文中仅对该编码器集成了第一编码模块和第一编码模块进行编码的方式进行叙述。
请参见图11,图11是本申请实施例提供的一种视频交互方法,该方法可以基于图2所示的视频交互***来实现,该方法包括但不限于如下步骤:
步骤S1101:第一终端通过第一摄像模块采集得到第一视频流,通过第二摄像模块采集得到第二视频流。
具体的,上述第一摄像模块和第二摄像模块是可以进行摄像的功能模块,通过该第一摄像模块可以采集到第一视频流MV1,通过该第二摄像模块可以采集到第二视频流MV2。第一摄像模块和第二摄像模块采集视频流后将第一视频流MV1和第二视频流MV2传送给编码器。可选的,第一终端还可以包括麦克风或者其他音频采集模块,通过音频采集模块采集音频流HA1,将音频流HA1传送给编码器。
步骤S1102:通过第一编码模块采用第一编码率编码得到第一编码视频流,将第二视频流通过第二编码模块采用第二编码率编码得到第二编码视频流。
具体的,第一终端可以使用不同的编码率编码不同的视频流,例如1080P、720P等不同的编码率。其中,第一编码率大于第二编码率。在编码时,将第一视频流MV1使用较高的编码率编码得到第一编码视频流CMV1,第二编码率MV2使用较低的编码率编码得到第二编码视频流CMV2,使得第一视频流的编码率大于第二视频流的编码率。例如,第一终端通过第一编码模块将第一视频流使用1080P编码率编码,通过第二编码模块将第二视频流MV2使用720P编码率编码。其中,第一编码模块和第一编码模块可以是两个不同的编码模块,也可以集成在同一个编码装置中得不同模块,或者是集成在同一个编码装置中的同一个模块。
可选的,第一终端若采集了音频流HA1,将HA1通过编码器编码后得到CHA1,将CHA1传送给收发器。
步骤S1103:第一终端发送所述第一编码视频流和第二编码视频流。
具体的,第一终端接收编码模块传送的第一编码视频流CMV1和第二编码视频流CMV2,将第一编码视频流CMV1和第二编码视频流CMV2发送给第二终端。例如,第一终端可以使用WIFI将第一编码视频流CMV1和第二编码视频流CMV2发送给第二终端。
可选的,收发器将编码后音频流CHA1通过满足音频传输的网络信道发送给服务器。
步骤S1104:第二终端接收第一编码视频流和第二编码视频流。
具体的,第二终端第一终端发送的第一视频流CMV1和CMV2,将第一编码视频流CMV1和第二编码视频流CMV2传送给解码模块解码。可选的,第二终端还接收由服务器转发的由第一终端发送的音频流CHA1。
步骤S1105:将第一编码视频流通过第一解码模块采用第一解码率解码得到第一解码视频流,将第二编码视频流通过第二解码模块采用第二解码率解码得到第二解码视频流。
具体的,第二终端中可以包含第一解码模块和第二解码模块,用于解析需要在显示屏显示的视频流。第二终端的解码模块接收到第一编码视频流CMV1和第二编码视频流CMV2后,将第一编码视频流CMV1在第一解码模块中解码得到第一解码视频流DMV1,其中第一解码模块的解码率是第一解码率,经由第一解码率可以解码使用第一编码率编码的视频流。第二终端将第二编码视频流CMV2在第二解码模块中解码得到第二解码视频流DMV2,其中第二解码模块的解码率是第二解码率,经由第二解码率可以解码使用第二编码率编码的视频流。例如,第一解码率可以解码使用1080P编码的视频流,第二解码率可以解码使用720P编码的视频流,则第一编码视频流使用1080P编码率编码,则将第一编码视频流使用第一解码率解码,同理,若第一编码视频流使用720P编码率编码,则将第一编码视频流使用第二解码率解码。解码模块将解码后的解码视频流传送给显示器。
可选的,第二终端将编码后的音频流CHA1进行解码。
可选的,其中,第一解码模块和第一解码模块可以是两个不同的解码模块,也可以集成在同一个解码装置中得不同模块,或者是集成在同一个编码装置中的同一个模块。
步骤S1106:第二终端将第一解码视频流在第一显示区域显示,将第二解码视频流在第二显示区域显示。
具体的,第二终端将第一解码视频流DMV1在第二显示屏的第一显示区域显示,将第二解码视频流DMV2在第二显示屏的第二显示区域显示。其中,第一显示区域的面积大于第二显示区域,例如,第二终端将第一解码视频流作为大屏显示,将第二解码视频流以画中画形式显示在视频的左上角或右上角等,使得第二终端的用户既可以大屏观看到第一终端拍摄的第一视频流的场景,同时又可以观看到第二视频流的场景。由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源。可选的,第二终端将解码后音频流DHA1通过扬声器或者其他音频设备播放为音频,使用户在观看场景时还可以听见第一终端分享的声音。
一些可能的实施方式如前述图3的视频交互方法中所述,这里不再赘述。
在图11所描述的方法中,第一终端与第二终端通过局域网,第一终端采集第一视频流与第二视频流,分别使用第一编码率和第二编码率编码后发送给第二终端。相应的,第二终端接收到两路视频流,将编码率更高的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的多个视频画面;由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且降低了第二终端的计算压力;由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法使第一终端与第二终端直接连接分享两路视频,能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参见图12,图12是本申请实施例提供的一种终端120的结构示意图,其中,该终端120可以包括存储器1201、处理器1202、收发器1203、编码器1204、第一摄像模块1205和第二摄像模块1206,各个单元的详细描述如下。其中,存储器1201、处理器1202、收发器1203、编码器1204、第一视频模块1205和第二摄像模块1206可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,存储器1201(Memory)是终端中的记忆设备,存储器1201包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器1201用于提供存储空间,存放程序和数据,可包括但不限于:Android***、iOS***、WindowsPhone***等等,本申请对此并不作限定。可以理解的是,此处的存储器1201既可以包括终端的内置存储器,当然也可以包括终端所支持的扩展存储器。
处理器1202可以是一个或多个中央处理器(centralprocessingunit,CPU),在处理器1202是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。处理器1202是终端的计算核心以及控制核心,其可以解析终端内的各类指令以及处理终端的各类数据,例如:处理器1202可以在终端内部结构之间传输各类交互数据,等等。
收发器1203可选的可以包括标准的有线通信器或接口、无线通信器或接口(如WI-FI模块、移动通信接口等),受处理器1202的控制可以用于收发数据;收发器1203还可以用于终端内部信令或者指令的传输以及交互。
编码器1204中集成了两个编码模块,分别为第一编码模块和第二编码模块,该两个编码模块可以是两个不同的编码器,也可以是集成在同一编码器中的不同模块,或者是同一个编码器中的编码模块。
第一摄像模块1205,可以是第一终端中带有摄像功能的摄像头,也可以是使用其他连接方式连接的摄像设备,例如,使用USB连接线连接的高清摄像头等。
第二摄像模块1206,可以是第一终端中带有摄像功能的摄像头,也可以是使用其他连接方式连接的摄像设备,例如,使用USB连接线连接的高清摄像头等。
在本申请实施例中,处理器1202运行存储器1201中的可执行计算机程序,用于执行如下操作:
将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流;将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流;其中,第一编码模块的编码率为第一编码率,第二编码模块的编码率为第二编码率,该第一编码率大于所述第二编码率;
通过收发器向第二终端发送第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可选的方案中,上述处理器1202,还用于在通过收发器向第二终端发送第一编码视频流和第二编码视频流之后,通过收发器接收第一调整请求;
上述处理器1202,还用于根据该第一调整请求,将第一编码模块的编码率调整为第二编码率,将第二编码模块的编码率调整为第一编码率;
上述处理器1202,还用于将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第三编码视频流;所述处理器,还用于将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第四编码视频流;
上述处理器1202,还用于通过收发器向第二终端发送第三编码视频流和第四编码视频流。
在一种可选的方案中,上述处理器1202,还用于在通过收发器向第二终端发送第一编码视频流和第二编码视频流之后,通过收发器接收服务器发送的第二调整请求;
上述处理器1202,还用于根据第二调整请求,将第一编码模块的编码率调整为第三编码率,将第二编码模块的编码率调整为第四编码率,第三编码率大于第四编码率;
上述处理器1202,还用于将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第五编码视频流;所述处理器,还用于将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第六编码视频流;该第五视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述处理器1202,还用于通过收发器向第二终端发送上述第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在一种可选的方案中,上述处理器1202,还用于在通过收发器向第二终端发送第一编码视频流和第二编码视频流之后,通过收发器接收所服务器发送的第二调整请求;
上述处理器1202,还用于根据第二调整请求,将第一编码模块的编码率调整为第四编码率;将第二编码模块的编码率调整为第三编码率,上述第三编码率大于第四编码率;
上述处理器1202,还用于将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第七编码视频流;上述处理器1202,还用于将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第八编码视频流,上述第三编码率大于第四编码率;上述第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述处理器1202,还用于通过收发器向第二终端发送第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在一种可选的方案中,上述处理器1202,还用于在通过收发器向第二终端发送上述第五编码视频流和第六编码视频流之后,通过收发器接收第一调整请求;
上述处理器1202,还用于根据该第一调整请求,将第一编码模块的编码率调整为第四编码率,将第二编码模块的编码率调整为第三编码率;
上述处理器1202,还用于将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第九编码视频流;所述处理器,还用于将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第十编码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
上述处理器1202,还用于通过收发器向第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在一种可选的方案中,终端120还包括第一播放器1207;上述处理器1202,还用于在通过收发器向第二终端发送第一编码视频流和第二编码视频流之后,通过收发器接收第二终端发送的第一音频流;
上述处理器1202,还用于通过播放器根据第一音频流播放音频。
在一种可选的方案中,上述终端,还包括第一显示屏1208和解码器1209;上述处理器1202,还用于在将第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流之后,将第一摄像模块采集的第一视频流在第一显示屏的第三显示区域显示;
上述处理器1202,还用于在将第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流之后,将第二摄像模块采集的第二视频流在第一显示屏的第四显示区域显示,第三显示区域大于第四显示区域;
上述处理器1202,还用于在向第二终端发送第一视频流、第二视频流之后,通过收发器接收第二终端发送的反馈编码视频流,反馈编码视频流为第二终端通过第三摄像模块采集的反馈视频流编码后得到的视频流;
上述处理器1202,还用于将反馈编码视频流通过解码器解码得到反馈解码视频流;
上述处理器1202,还用于将反馈解码视频流在第一显示屏的第三显示区域显示,上述处理器1202,还用于将第一摄像模块采集的第一视频流调整为在第一显示屏的第五显示区域显示,第一显示屏的第五显示区域小于第三显示区域。
在一种可选的方案中,上述终端,还包括第一音频采集模块;所述第一终端通过音频采集模块采集音频流,经过编码后发送给第二终端,使第二终端可以听到第一终端发送的声音。
需要说明的是,各个操作的实现还可以对应参照图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例的相应描述。该终端120为图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例中的第一终端。
图12所描述的终端120中,第一终端采集第一视频流与第二视频流,分别使用第一编码率和第二编码率编码后发送给第二终端。第二终端接收到两路视频流,将编码率更高的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的多个视频画面;由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源;由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
请参见图13,图13是本申请实施例提供的一种终端130的结构示意图,其中,该终端130可以包括存储器1301、处理器1302、收发器1303、解码器1304和第二显示屏1305,各个单元的详细描述如下。其中存储器1301、处理器1302、收发器1303、解码器1304和第二显示屏1305可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,存储器1301(Memory)是终端中的记忆设备,存储器6001包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器1301用于提供存储空间,存放程序和数据,可包括但不限于:Android***、iOS***、WindowsPhone***等等,本申请对此并不作限定。可以理解的是,此处的存储器6001既可以包括终端的内置存储器,当然也可以包括终端所支持的扩展存储器。
处理器1302可以是一个或多个中央处理器(centralprocessingunit,CPU),在处理器1302是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。处理器1302是终端的计算核心以及控制核心,其可以解析终端内的各类指令以及处理终端的各类数据,例如:处理器1302可以在终端内部结构之间传输各类交互数据,等等。
收发器1303可选的可以包括标准的有线通信器或接口、无线通信器或接口(如WI-FI模块、移动通信接口等),受处理器1302的控制可以用于收发数据;收发器1303还可以用于终端内部信令或者指令的传输以及交互。
解码器1304中集成了两个解码模块,分别为第一解码模块和第二解码模块,该两个解码模块可以是两个不同的解码器,也可以是集成在同一解码器中的不同模块,或者是同一个解码器中的解码模块。
在本申请实施例中,处理器1302运行存储器1301中的可执行计算机程序,用于执行如下操作:
通过收发器接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,第一编码率大于第二编码率;
将第一编码视频流通过第一解码模块解码得到第一解码视频流,将第二编码视频流通过第二解码模块第二解码率解码得到第二解码视频流;其中,第一解码模块的解码率为第一解码率,第二解码模块的解码率为第二解码率;
将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方式种,上述处理器1302,还用于在将通过第一编码率编码的第一解码视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,通过收发器接收显示区域的切换命令,并根据切换命令生成第一调整请求,通过收发器将第一调整请求发送给第一终端;
上述处理器1302,还用于接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码发送的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
上述处理器1302,还用于通过将第三编码视频流通过第二解码模块解码得到第三解码视频流,将第四编码视频流通过第一解码模块解码得到第四解码视频流;
上述处理器1302,还用于将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述处理器1302,还用于在将第一解码视频流在第二显示屏的第一显示区域中显示,将第二解码视频流在第二显示屏的第二显示区域显示之后,通过收发器接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,上述第二调整请求由服务器发送给第一终端,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述处理器1302,还用于将第五编码视频流通过第一解码模块解码得到第五解码视频流,将第六编码视频流通过第二解码模块解码得到第六解码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
上述处理器1302,还用于将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第三编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可选的方案中,上述处理器1302,还用于在接收第一终端发送的第三编码视频流和第四编码视频流之后,还包括:
上述处理器1302,还用于通过收发器接收第七编码视频流和第八编码视频流,第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,第八编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第二调整请求由服务器发送给第二终端,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述处理器1302,还用于将第七编码视频流通过第二解码模块解码得到第七解码视频流,将第八编码视频流通过第一解码模块解码得到第八解码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
上述处理器1302,还用于将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第四编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述处理器1302,还用于在通过收发器接收第五编码视频流和第六编码视频流之后,通过收发器接收显示区域的切换命令,并根据切换命令生成第一调整请求,通过收发器将第一调整请求发送给第一终端;
上述处理器1302,还用于接收第一终端发送的第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码发送的视频流,该第十编码视频流为第一终端在接收到第一调整请求之后通过第三编码率编码的视频流;
上述处理器1302,还用于通过将第九编码视频流通过第二解码模块解码得到第三解码视频流,将第十编码视频流通过第一解码模块解码得到第四解码视频流;其中,第一解码模块的解码率为第三解码率,第二解码模块的解码率为第四解码率;
上述处理器1302,还用于将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第四编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,所述终端130,还包括第二音频采集模块1306;上述处理器1302,还用于在将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,通过音频采集模块采集第一音频流;
上述处理器1302,还用于通过收发器向第一终端发送第一音频流,第一音频流用于第一终端播放音频。
在一种可能的实施方案中,所述终端还包括第三摄像模块1307和编码器1308;上述第一视频流还用于第一终端在第一显示屏的第三显示区域显示,第二视频流还用于第一终端在第一显示屏的第四显示区域显示;上述处理器1302,还用于在将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,通过第三摄像模块采集反馈视频流;
上述处理器1302,还用于将反馈视频流在第二显示屏的第六显示区域进行显示,上述第六显示区域小于所述第一显示区域;
上述处理器1302,还用于通过编码器将反馈视频流编码得到反馈编码视频流;
上述处理器1302,还用于通过收发器向第一终端发送反馈编码视频流,反馈编码视频流用于第一终端在第一显示屏的第三显示区域显示,第一视频流还用于在第一终端的第一显示屏的第五显示区域显示,第五显示区域小于第三显示区域。
第三摄像模块1307,可以是第二终端中带有摄像功能的摄像头,也可以是使用其他连接方式连接的摄像设备,例如,使用USB连接线连接的高清摄像头等。
可以看出,第二终端接收到第一终端分享的视频画面后,第二终端通过本端的摄像模块采集视频画面发送给第一终端,使得第一终端的用户也能观看到第二终端分享的视频流,有效地实现了第一终端与第二终端的双向互动,满足了用户对交互性的需求,丰富了视频分享的灵活性和多样性,提升了用户视频交互的体验。
需要说明的是,各个操作的实现还可以对应参照图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例的相应描述。该终端13为图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例中的第二终端。
图13所描述的终端130中,第一终端采集第一视频流与第二视频流,分别使用第一编码率和第二编码率编码后发送给第二终端。第二终端接收到两路视频流,将编码率更高的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的多个视频画面;由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源;由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
请参见图14,图14是本申请实施例提供的一种服务器80的结构示意图,其中,该终端140可以包括存储器1401、处理器1402、收发器1403,各个单元的详细描述如下。其中存储器1401、处理器1402、收发器1403可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,存储器1401(Memory)是终端中的记忆设备,存储器1401包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器1401用于提供存储空间,存放程序和数据,可包括但不限于:Android***、iOS***、WindowsPhone***等等,本申请对此并不作限定。可以理解的是,此处的存储器6001既可以包括终端的内置存储器,当然也可以包括终端所支持的扩展存储器。
处理器1402可以是一个或多个中央处理器(centralprocessingunit,CPU),在处理器1402是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。处理器1402是终端的计算核心以及控制核心,其可以解析终端内的各类指令以及处理终端的各类数据,例如:处理器1402可以在终端内部结构之间传输各类交互数据,等等。
收发器1403可选的可以包括标准的有线通信器或接口、无线通信器或接口(如WI-FI模块、移动通信接口等),受处理器1402的控制可以用于收发数据;收发器1403还可以用于终端内部信令或者指令的传输以及交互。
在本申请实施例中,处理器1402运行存储器1401中的可执行计算机程序,用于执行如下操作:
通过收发器接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,上述第一编码率大于第二编码率;
通过收发器向第二终端转发第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述处理器1402,还用于在通过收发器接收第一终端发送的第一编码视频流和第二编码视频流之后,通过收发器接收第二终端发送的第一调整请求;
上述处理器1402,还用于通过收发器向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
上述处理器1402,还用于通过收发器接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
处理器,还用于通过收发器向第二终端发送第三编码视频流和第四编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述处理器1402,还用于在通过收发器接收第一终端发送的第一编码视频流和第二编码视频流之后,分析网络信道带宽得到第二调整请求;
上述处理器1402,还用于通过收发器向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
上述处理器1402,还用于通过收发器接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第三编码率大于第四编码率,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述处理器1402,还用于通过收发器向第二终端转发第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,所述服务器140,还可以包括网络检测器;上述处理器1402,还用于在所述通过所述收发器接收第一终端发送的第三编码视频流和第四编码视频流之后,通过网络检测器分析网络带宽信息得到第二调整请求;
上述处理器1402,还用于通过收发器向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
上述处理器1402,还用于通过收发器接收第七编码视频流和第八编码视频流,该第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,该第八编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码的视频流;其中,第三编码率大于第四编码率,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述处理器1402,还用于通过收发器向第二终端转发第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述处理器1402,还用于在通过收发器向第二终端转发第五编码视频流和第六编码视频流之后,通过收发器接收第二终端发送的第一调整请求;
上述处理器1402,还用于通过收发器向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
上述处理器1402,还用于通过收发器接收第一终端发送的第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码的视频流,该第十编码视频流为第一终端在接收到第一调整请求之后通过第三编码率编码的视频流;
上述处理器1402,还用于通过收发器向第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述处理器1402,还用于在所述通过所述收发器向第二终端转发所述第一编码视频流和所述第二编码视频流之后,还包括:
上述处理器1402,还用于通过收发器接收第二终端发送的第一音频流;
上述处理器1402,还用于通过收发器向第一终端转发第一音频流,该第一音频流用于第一终端播放音频。
在一种可能的实施方案中,上述第一视频流还用于第一终端在第一显示屏的第三显示区域显示,上述第二视频流还用于第一终端在第一显示屏的第四显示区域显示;上述处理器1402,还用于在通过收发器向第二终端转发第一编码视频流和第二编码视频流之后,通过收发器接收第二终端发送的反馈编码视频流,反馈编码视频流为第二终端采集的反馈视频流编码得到的视频流;
上述处理器1402,还用于通过收发器向第一终端转发反馈编码视频流,上述反馈视频流用于第一终端在第一显示屏的第三显示区域显示,上述第一视频流还用于第一终端在第一显示屏的第五显示区域显示,上述第五显示区域小于第三显示区域
需要说明的是,各个操作的实现还可以对应参照图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例的相应描述。该终端13为图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例中的服务器。
图14所描述的终端140中,服务器140转发第一终端采集的第一音频流和第二音频流给第二终端。第二终端接收到两路视频流,将编码率更高的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的多个视频画面。由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
请参见图15,图15是本申请实施例提供的一种终端150的结构示意图,该终端150可以包括第一摄像单元1501、第二摄像单元1502、编码单元1503和通信单元1504,其中,编码单元1503中集成了两个编码单元,分别为第一编码单元和第二编码单元,该两个编码单元可以是两个不同的编码器,也可以是集成在同一编码器中的不同模块,或者是同一个编码器中的编码模块。上述终端150各个单元的详细描述如下:
上述第一编码单元,用于将第一摄像单元采集的第一视频流进行编码,得到第一编码视频流;上述第二编码单元,用于将第二摄像单元采集的第二视频流进行编码,得到第二编码视频流;其中,第一编码单元的编码率为第一编码率,第二编码单元的编码率为第二编码率,该第一编码率大于所述第二编码率;
上述通信单元,用于向第二终端发送第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述终端还包括决策单元;上述通信单元,还用于向第二终端发送第一编码视频流和第二编码视频流之后,接收第一调整请求;
上述决策单元,还用于根据该第一调整请求,将第一编码单元的编码率调整为第二编码率,将第二编码单元的编码率调整为第一编码率;
上述第一编码单元,还用于将第一摄像单元采集的第一视频流进行编码,得到第三编码视频流;上述第二编码单元,还用于将第二摄像单元采集的第二视频流进行编码,得到第四编码视频流;
上述通信单元,还用于向第二终端发送第三编码视频流和第四编码视频流。
在一种可能的实施方案中,上述终端还包括决策单元1505;上述通信单元,还用于向第二终端发送第一编码视频流和第二编码视频流之后,接收服务器发送的第二调整请求;
上述决策单元,还用于根据第二调整请求,将第一编码单元的编码率调整为第三编码率,将第二编码单元的编码率调整为第四编码率,第三编码率大于第四编码率;
上述第一编码单元,还用于将第一摄像单元采集的第一视频流,通过第一编码单元进行编码,得到第五编码视频流;上述第二编码单元,还用于将第二摄像单元采集的第二视频流,通过第二编码单元进行编码,得到第六编码视频流;该第五视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述通信单元,还用于向第二终端发送上述第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在一种可能的实施方案中,上述终端还包括决策单元1505;上述通信单元,还用于向第二终端发送第一编码视频流和第二编码视频流之后,接收所服务器发送的第二调整请求;
上述决策单元,还用于根据第二调整请求,将第一编码单元的编码率调整为第四编码率;将第二编码单元的编码率调整为第三编码率,上述第三编码率大于第四编码率;
上述第一编码单元,还用于将第一摄像单元采集的第一视频流进行编码,得到第七编码视频流;上述第二编码单元,还用于将第二摄像单元采集的第二视频流进行编码,得到第八编码视频流,上述第三编码率大于第四编码率;上述第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述通信单元,还用于向第二终端发送第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在一种可能的实施方案中,上述终端还包括决策单元1505;上述通信单元,还用于向第二终端发送第一编码视频流和第二编码视频流之后,接收第一调整请求;
上述决策单元,还用于根据该第一调整请求,将第一编码单元的编码率调整为第四编码率,将第二编码单元的编码率调整为第三编码率;
上述第一编码单元,还用于将第一摄像单元采集的第一视频流进行编码,得到第九编码视频流;上述第二编码单元,还用于将第二摄像单元采集的第二视频流,通过第二编码单元进行编码,得到第十编码视频流;其中,第一解码单元的解码率为第三解码率,第二解码单元的解码率为第四解码率;
上述通信单元,还用于向第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示。
在一种可能的实施方案中,上述终端还包括输出单元1507;上述通信单元,还用于在通过通信单元向第二终端发送第一编码视频流和第二编码视频流之后,接收第二终端发送的第一音频流;
上述输出单元,用于根据第一音频流播放音频。
在一种可能的实施方案中,上述终端,还包括决策单元1505、第一显示屏1507和解码单元1508;上述决策单元,还用于在将第一摄像单元采集的第一视频流,通过第一编码单元进行编码,得到第一编码视频流之后,将第一摄像单元采集的第一视频流在第一显示屏的第三显示区域显示;
上述决策单元,还用于在将第二摄像单元采集的第二视频流,通过第二编码单元进行编码,得到第二编码视频流之后,将第二摄像单元采集的第二视频流在第一显示屏的第四显示区域显示,第三显示区域大于第四显示区域;
上述通信单元,还用于在向第二终端发送第一视频流、第二视频流之后,接收第二终端发送的反馈编码视频流,反馈编码视频流为第二终端通过第三摄像单元采集的反馈视频流编码后得到的视频流;
上述解码单元,还用于将反馈编码视频流通过解码单元解码得到反馈解码视频流;
上述决策单元,还用于将反馈解码视频流在第一显示屏的第三显示区域显示,上述处理单元,还用于将第一摄像单元采集的第一视频流调整为在第一显示屏的第五显示区域显示,第一显示屏的第五显示区域小于第三显示区域。
需要说明的是,各个操作的实现还可以对应参照图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例的相应描述。该终端150为图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例中的第一终端。
图15所描述的终端150中,第一终端采集第一视频流与第二视频流,分别使用第一编码率和第二编码率编码后发送给第二终端。第二终端接收到两路视频流,将编码率更高的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的多个视频画面;由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源;由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
请参见图16,图16是本申请实施例提供的又一种终端160的结构示意图,该终端160可以包括通信1601、解码单元1602、决策单元1603和第二显示屏1604,其中,解码单元1602中集成了两个解码单元,分别为第一解码单元和第二解码单元,该两个解码单元可以是两个不同的解码器,也可以是集成在同一解码器中的不同模块,或者是同一个解码器中的解码模块。上述终端160各个单元的详细描述如下:
上述通信单元,用于接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,第一编码率大于第二编码率;
上述第一解码单元,用于将第一编码视频流解码得到第一解码视频流;上述第二解码单元,用于将第二编码视频流解码得到第二解码视频流;其中,第一解码单元的解码率为第一解码率,第二解码单元的解码率为第二解码率;
上述决策单元,用于将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述通信单元,还用于在决策单元将通过第一编码率编码的第一解码视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,接收显示区域的切换命令;
上述决策单元,还用于根据切换命令生成第一调整请求,通过通信单元将第一调整请求发送给第一终端;
上述通信单元,还用于接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码发送的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
上述第二解码单元,还用于通过将第三编码视频流解码得到第三解码视频流;上述第四解码单元,还用于将第四编码视频流通过第一解码单元解码得到第四解码视频流;
上述决策单元,还用于将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述通信单元,还用于在决策单元将第一解码视频流在第二显示屏的第一显示区域中显示,将第二解码视频流在第二显示屏的第二显示区域显示之后,接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,上述第二调整请求由服务器发送给第一终端,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述第一解码单元,还用于将第五编码视频流解码得到第五解码视频流;上述第二解码单元,还用于将第六编码视频流通过第二解码单元解码得到第六解码视频流;其中,第一解码单元的解码率为第三解码率,第二解码单元的解码率为第四解码率;
上述决策单元,还用于将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第三编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述通信单元,还用于在接收第一终端发送的第三编码视频流和第四编码视频流之后,接收第七编码视频流和第八编码视频流,第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,第八编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第二调整请求由服务器发送给第二终端,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述第二解码单元,还用于将第七编码视频流解码得到第七解码视频流;上述第一解码单元,还用于将第八编码视频流通过第一解码单元解码得到第八解码视频流;其中,第一解码单元的解码率为第三解码率,第二解码单元的解码率为第四解码率;
上述决策单元,还用于将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第四编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述通信单元,还用于在通过通信单元接收第五编码视频流和第六编码视频流之后,接收显示区域的切换命令;
上述决策单元,还用于根据切换命令生成第一调整请求,通过通信单元将第一调整请求发送给第一终端;
上述通信单元,还用于接收第一终端发送的第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码发送的视频流,该第十编码视频流为第一终端在接收到第一调整请求之后通过第三编码率编码的视频流;
上述第二解码单元,还用于通过将第九编码视频流通过第二解码单元解码得到第三解码视频流;上述第一解码单元,还用于将第十编码视频流通过第一解码单元解码得到第四解码视频流;其中,第一解码单元的解码率为第三解码率,第二解码单元的解码率为第四解码率;
上述决策单元,还用于将通过第三编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第四编码率编码的视频流在第二显示屏的第二显示区域显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,所述终端,还包括音频采集单元1605;上述音频采集单元,还用于在决策单元将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,采集第一音频流;
上述通信单元,还用于向第一终端发送第一音频流,第一音频流用于第一终端播放音频。
在一种可能的实施方案中,所述终端还包括第三摄像单元1606和编码单元1607;上述第一视频流还用于第一终端在第一显示屏的第三显示区域显示,第二视频流还用于第一终端在第一显示屏的第四显示区域显示;上述第三摄像单元,还用于在将通过第一编码率编码的视频流在第二显示屏的第一显示区域中显示,将通过第二编码率编码的视频流第二解码视频流在第二显示屏的第二显示区域显示之后,采集反馈视频流;
上述决策单元,还用于将反馈视频流在第二显示屏的第六显示区域进行显示,上述第六显示区域小于所述第一显示区域;
上述编码单元,还用于将反馈视频流编码得到反馈编码视频流;
上述通信单元,还用于向第一终端发送反馈编码视频流,该反馈编码视频流用于第一终端在第一显示屏的第三显示区域显示,第一视频流还用于在第一终端的第一显示屏的第五显示区域显示,第五显示区域小于第三显示区域。
需要说明的是,各个操作的实现还可以对应参照图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例的相应描述。该终端160为图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例中的第二终端。
图16所描述的终端160中,第一终端采集第一视频流与第二视频流,分别使用第一编码率和第二编码率编码后发送给第二终端。第二终端接收到两路视频流,将编码率更高的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的多个视频画面;由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源;由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
请参见图17,图17是本申请实施例提供的一种服务器170的结构示意图,该服务器170可以包括通信单元1701,其中,各个单元的详细描述如下:
上述通信单元,用于接收第一终端发送的第一编码视频流和第二编码视频流,该第一编码视频流为第一终端采集的第一视频流通过第一编码率编码得到的视频流,该第二编码视频流为第一终端采集的第二视频流通过第二编码率编码后得到的视频流,上述第一编码率大于第二编码率;
上述通信单元,还用于向第二终端转发第一编码视频流和第二编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述通信单元,还用于在通过通信单元接收第一终端发送的第一编码视频流和第二编码视频流之后,接收第二终端发送的第一调整请求;
上述通信单元,还用于向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
上述通信单元,还用于接收第一终端发送的第三编码视频流和第四编码视频流,该第三编码视频流为第一终端在接收到第一调整请求之后通过第二编码率编码的视频流,该第四编码视频流为第一终端在接收到第一调整请求之后通过第一编码率编码的视频流;
上述通信单元,还用于向第二终端发送第三编码视频流和第四编码视频流;其中,通过第一编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第二编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述服务器还包括决策单元1702;上述决策单元,用于在通信单元接收第一终端发送的第一编码视频流和第二编码视频流之后,分析网络信道带宽得到第二调整请求;
上述通信单元,还用于向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
上述通信单元,还用于接收第五编码视频流和第六编码视频流,该第五编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,该第六编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码的视频流;其中,第三编码率大于第四编码率,第五编码视频流和第六编码视频流满足第二调整请求指示的网络信道带宽;
上述通信单元,还用于向第二终端转发第五编码视频流和第六编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述服务器还包括决策单元;上述决策单元,用于在所述通过所述通信单元接收第一终端发送的第三编码视频流和第四编码视频流之后,分析网络带宽信息得到第二调整请求;
上述通信单元,还用于向第一终端发送第二调整请求,该第二调整请求用于第一终端调整编码率;
上述通信单元,还用于接收第七编码视频流和第八编码视频流,该第七编码视频流为第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,该第八编码视频流为第一终端在接收到第二调整请求之后通过第三编码率编码的视频流;其中,第三编码率大于第四编码率,第七编码视频流和第八编码视频流满足第二调整请求指示的网络信道带宽;
上述通信单元,还用于向第二终端转发第七编码视频流和第八编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述通信单元,还用于在通过通信单元向第二终端转发第五编码视频流和第六编码视频流之后,接收第二终端发送的第一调整请求;
上述通信单元,还用于向第一终端转发第一调整请求,该第一调整请求用于第一终端调整编码率;
上述通信单元,还用于接收第一终端发送的第九编码视频流和第十编码视频流,该第九编码视频流为第一终端在接收到第一调整请求之后通过第四编码率编码的视频流,该第十编码视频流为第一终端在接收到第一调整请求之后通过第三编码率编码的视频流;
上述通信单元,还用于向第二终端发送第九编码视频流和第十编码视频流;其中,通过第三编码率编码的视频流用于在第二终端的第二显示屏的第一显示区域中显示,通过第四编码率编码的视频流用于在第二终端的第二显示屏的第二显示区域中显示,上述第一显示区域大于第二显示区域。
在一种可能的实施方案中,上述通信单元,还用于在向第二终端转发所述第一编码视频流和所述第二编码视频流之后,接收第二终端发送的第一音频流;
上述通信单元,还用于在向第一终端转发第一音频流,该第一音频流用于第一终端播放音频。
需要说明的是,各个操作的实现还可以对应参照图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例的相应描述。该终端150为图3所示的方法实施例或图11所示的方法实施例中的任一个方法实施例中的第一终端。
图17所描述的终端170中,第一终端采集第一视频流与第二视频流,分别使用第一编码率和第二编码率编码后发送给第二终端。第二终端接收到两路视频流,将编码率更高的第一编码视频流在显示屏的第一显示区域显示,将第二编码视频流在显示屏的第二显示区域显示,使得第二终端的用户可以观看到第一终端发送的多个视频画面;由于第一显示区域相比第二显示区域较大,因此更高编码率的视频流使得第一显示区域的显示效果满足用户需求,相应的,由于第二显示区域较小,此时第二显示区域的视频流可以适当降低编码率,不影响用户体验且节省了网络资源;由此可见,在用户进行视频分享时,本申请实施例提供的视频交互方法能够提高两个摄像头拍摄的视频画面的分享效果,提升用户视频交互的体验。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在处理器上运行时,实现图3所示实施例中第一终端所执行的操作,或者实现图3实施例中的第二终端执行的操作,或者实现图3实施例中的服务器执行的操作,或者实现图11所示实施例中第一终端所执行的操作,或者实现图11实施例中的第二终端执行的操作,或者实现图5实施例中的服务器执行的操作。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在处理器上运行时,实现图3所示实施例中第一终端所执行的操作,或者实现图3实施例中的第二终端执行的操作,或者实现图3实施例中的服务器执行的操作,或者实现图11所示实施例中第一终端所执行的操作,或者实现图11实施例中的第二终端执行的操作,或者实现图11实施例中的服务器执行的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (37)

1.一种视频交互方法,其特征在于,应用于带有第一摄像模块、第二摄像模块和第一显示屏的第一终端中,其中所述第一终端与第二终端进行实时视频交互;所述方法包括:
所述第一终端将所述第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流;所述第一终端将所述第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流;其中,所述第一编码模块的编码率为第一编码率,所述第二编码模块的编码率为第二编码率,所述第一编码率大于所述第二编码率;
所述第一终端向所述第二终端发送所述第一编码视频流和所述第二编码视频流;其中,通过所述第一编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第二编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
2.根据权利要求1所述的方法,其特征在于,在所述第一终端向第二终端发送所述第一编码视频流和所述第二编码视频流之后,还包括:
所述第一终端接收第一调整请求;
所述第一终端根据所述第一调整请求,将所述第一编码模块的编码率调整为所述第二编码率,将所述第二编码模块的编码率调整为所述第一编码率;
所述第一终端将所述第一摄像模块采集的第一视频流,通过所述第一编码模块进行编码,得到第三编码视频流;所述第一终端将所述第二摄像模块采集的第二视频流,通过所述第二编码模块进行编码,得到第四编码视频流;
所述第一终端向所述第二终端发送所述第三编码视频流和所述第四编码视频流。
3.根据权利要求1所述的方法,其特征在于,在所述第一终端向第二终端发送所述第一编码视频流和所述第二编码视频流之后,还包括:
所述第一终端接收服务器发送的第二调整请求;
根据所述第二调整请求,所述第一终端将所述第一编码模块的编码率调整为所述第三编码率,将所述第二编码模块的编码率调整为所述第四编码率,所述第三编码率大于所述第四编码率;
所述第一终端将所述第一摄像模块采集的第一视频流,通过所述第一编码模块进行编码,得到第五编码视频流;所述第一终端将所述第二摄像模块采集的第二视频流,通过所述第二编码模块进行编码,得到第六编码视频流;所述第五视频流和所述第六编码视频流满足所述第二调整请求指示的网络信道带宽;
所述第一终端向所述第二终端发送所述第五编码视频流和所述第六编码视频流;其中,通过所述第三编码率编码的视频流用于在所述第二终端的所述第二显示屏的第一显示区域中显示,通过所述第四编码率编码的视频流用于在所述第二终端的所述第二显示屏的第二显示区域中显示。
4.根据权利要求2所述的方法,其特征在于,在所述第一终端向所述第二终端发送所述第三编码视频流和所述第四编码视频流之后,还包括:
所述第一终端接收服务器发送的第二调整请求;
所述第一终端根据所述第二调整请求,将所述第一编码模块的编码率调整为第四编码率;将所述第二编码模块的编码率调整为第三编码率,所述第三编码率大于所述第四编码率;
所述第一终端将所述第一摄像模块采集的第一视频流,通过所述第一编码模块进行编码,得到第七编码视频流;所述第一终端将所述第二摄像模块采集的第二视频流,通过所述第二编码模块进行编码,得到第八编码视频流,所述第三编码率大于所述第四编码率;所述第七编码视频流和所述第八编码视频流满足所述第二调整请求指示的网络信道带宽;
所述第一终端向所述第二终端发送所述第七编码视频流和所述第八编码视频流;其中,通过所述第三编码率编码的视频流用于在所述第二终端的所述第二显示屏的所述第一显示区域中显示,通过所述第四编码率编码的视频流用于在所述第二终端的所述第二显示屏的第二显示区域中显示。
5.根据权利要求1至4中任一项所述的方法,其特征在于,在所述第一终端向第二终端发送所述第一编码视频流和所述第二编码视频流之后,还包括:
所述第一终端接收所述第二终端发送的第一音频流;
所述第一终端根据所述第一音频流播放音频。
6.根据权利要求1至5中任一项所述的方法,其特征在于,在所述第一终端将所述第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流之后,还包括:
所述第一终端将所述第一摄像模块采集的第一视频流在第一显示屏的第三显示区域显示;
在所述第一终端将所述第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流之后,还包括:
所述第一终端将所述第二摄像模块采集的第二视频流在所述第一显示屏的第四显示区域显示,所述第三显示区域大于所述第四显示区域;
所述第一终端向所述第二终端发送所述第一编码视频流和所述第二编码视频流之后,还包括:
所述第一终端接收所述第二终端发送的反馈编码视频流,所述反馈编码视频流为所述第二终端通过第三摄像模块采集的反馈视频流编码后得到的视频流;
所述第一终端将所述反馈编码视频流解码得到反馈解码视频流;
所述第一终端将所述反馈解码视频流在所述第一显示屏的第三显示区域显示,所述第一终端将所述第一摄像模块采集的第一视频流调整为在所述第一显示屏的第五显示区域显示,所述第一显示屏的第五显示区域小于所述第三显示区域。
7.一种视频交互方法,其特征在于,应用于带有第二显示屏的第二终端中,其中,所述第二终端与第一终端进行实时视频交互,所述方法包括:
所述第二终端接收所述第一终端发送的第一编码视频流和第二编码视频流,所述第一编码视频流为所述第一终端采集的第一视频流通过第一编码率编码得到的视频流,所述第二编码视频流为所述第一终端采集的第二视频流通过第二编码率编码后得到的视频流,所述第一编码率大于所述第二编码率;
所述第二终端将所述第一编码视频流通过第一解码模块解码得到第一解码视频流,将所述第二编码视频流通过第二解码模块解码得到第二解码视频流;其中,所述第一解码模块的解码率为第一解码率,所述第二解码模块的解码率为第二解码率;
所述第二终端将所述第一解码视频流在所述第二显示屏的第一显示区域中显示,所述第二终端将所述第二解码视频流在所述第二显示屏的第二显示区域显示,所述第一显示区域大于所述第二显示区域。
8.根据权利要求7所述的方法,其特征在于,在所述第二终端将通过所述第一解码视频流在所述第二显示屏的第一显示区域中显示,所述第二终端将所述第二解码视频流在所述第二显示屏的第二显示区域显示之后,还包括:
所述第二终端接收显示区域的切换命令,并根据所述切换命令生成第一调整请求,将所述第一调整请求发送给所述第一终端;
所述第二终端接收所述第一终端发送的第三编码视频流和第四编码视频流,所述第三编码视频流为所述第一终端在接收到所述第一调整请求之后通过第二编码率编码的视频流,所述第四编码视频流为所述第一终端在接收到所述第一调整请求之后通过第一编码率编码的视频流;
所述第二终端将所述第三编码视频流通过所述第二解码模块解码得到第三解码视频流,将所述第四编码视频流通过所述第一解码模块解码得到第四解码视频流;
所述第二终端将通过所述第四解码视频流在所述第二显示屏的第一显示区域中显示,所述第二终端将通过所述第三解码视频流在所述第二显示屏的第二显示区域显示,所述第一显示区域大于所述第二显示区域。
9.根据权利要求7所述的方法,其特征在于,在所述第二终端将通过所述第一解码视频流在所述第二显示屏的第一显示区域中显示,所述第二终端将所述第二解码视频流在所述第二显示屏的第二显示区域显示之后,还包括:
所述第二终端接收第五编码视频流和第六编码视频流,所述第五编码视频流为所述第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,所述第六编码视频流为所述第一终端在接收到所述第二调整请求之后通过第四编码率编码的视频流;其中,所述第二调整请求由服务器发送给第一终端,所述第五编码视频流和第六编码视频流满足所述第二调整请求指示的网络信道带宽;
所述第二终端将所述第五编码视频流通过所述第一解码模块解码得到第五解码视频流,将所述第六编码视频流通过所述第二解码模块解码得到第六解码视频流;其中,所述第一解码模块的解码率为第三解码率,所述第二解码模块的解码率为第四解码率;
所述第二终端将所述第五解码视频流在所述第二显示屏的第一显示区域中显示,所述第二终端将所述第六解码视频流在所述第二显示屏的第二显示区域显示,所述第一显示区域大于所述第二显示区域。
10.根据权利要求8所述的方法,其特征在于,在所述第二终端接收所述第一终端发送的第三编码视频流和第四编码视频流之后,还包括:
所述第二终端接收第七编码视频流和第八编码视频流,所述第七编码视频流为所述第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,所述第八编码视频流为所述第一终端在接收到所述第二调整请求之后通过第三编码率编码的视频流;其中,所述第二调整请求由服务器发送给第二终端,所述第七编码视频流和第八编码视频流满足所述第二调整请求指示的网络信道带宽;
所述第二终端将所述第七编码视频流通过所述第二解码模块解码得到第七解码视频流,将所述第八编码视频流通过所述第一解码模块解码得到第八解码视频流;其中,所述第一解码模块的解码率为第三解码率,所述第二解码模块的解码率为第四解码率;
所述第二终端将所述第八解码视频流在所述第二显示屏的第一显示区域中显示,所述第二终端将所述第七解码视频流在所述第二显示屏的第二显示区域显示,所述第一显示区域大于所述第二显示区域。
11.根据权利要求7至10中任一项所述的方法,其特征在于,在所述第二终端将所述第一解码视频流在所述第二显示屏的第一显示区域中显示,所述第二终端将所述第二解码视频流在所述第二显示屏的第二显示区域显示之后,还包括:
所述第二终端采集第一音频流;
所述第二终端向所述第一终端发送所述第一音频流,所述第一音频流用于所述第一终端播放音频。
12.根据权利要求7至11中任一项所述的方法,其特征在于,所述第一视频流还用于所述第一终端在第一显示屏的第三显示区域显示,所述第二视频流还用于所述第一终端在所述第一显示屏的第四显示区域显示;在所述第二终端将所述第一解码视频流在所述第二显示屏的第一显示区域中显示,所述第二终端将所述第二解码视频流在所述第二显示屏的第二显示区域显示之后,还包括:
所述第二终端通过第三摄像模块采集反馈视频流;
所述第二终端将所述反馈视频流在所述第二显示屏的第六显示区域显示,所述第六显示区域小于所述第一显示区域;
所述第二终端将所述反馈视频流编码得到反馈编码视频流;
所述第二终端向所述第一终端发送所述反馈编码视频流,所述反馈编码视频流用于所述第一终端在所述第一显示屏的第三显示区域显示,所述第一视频流还用于在所述第一终端的第一显示屏的第五显示区域显示,所述第五显示区域小于所述第三显示区域。
13.一种视频交互方法,其特征在于,应用在第一终端和第二终端进行实时视频交互时,所述方法包括:
服务器接收所述第一终端发送的第一编码视频流和第二编码视频流,所述第一编码视频流为所述第一终端采集的第一视频流通过第一编码率编码得到的视频流,所述第二编码视频流为所述第一终端采集的第二视频流通过第二编码率编码后得到的视频流,所述第一编码率大于所述第二编码率;
所述服务器向所述第二终端转发所述第一编码视频流和所述第二编码视频流;其中,通过所述第一编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第二编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
14.根据权利要求13所述的方法,其特征在于,在所述服务器接收所述第一终端发送的第一编码视频流和第二编码视频流之后,还包括:
所述服务器接收所述第二终端发送的第一调整请求;
所述服务器向所述第一终端转发所述第一调整请求,所述第一调整请求用于所述第一终端调整编码率;
所述服务器接收所述第一终端发送的第三编码视频流和第四编码视频流,所述第三编码视频流为所述第一终端在接收到所述第一调整请求之后通过第二编码率编码的视频流,所述第四编码视频流为所述第一终端在接收到所述第一调整请求之后通过第一编码率编码的视频流;
向所述第二终端发送所述第三编码视频流和所述第四编码视频流;其中,通过所述第一编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第二编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
15.根据权利要求13所述的方法,其特征在于,在所述服务器接收所述第一终端发送的第一编码视频流和第二编码视频流之后,还包括:
所述服务器分析网络信道带宽得到第二调整请求;
所述服务器向第一终端发送所述第二调整请求,所述第二调整请求用于所述第一终端调整编码率;
所述服务器接收第五编码视频流和第六编码视频流,所述第五编码视频流为所述第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,所述第六编码视频流为所述第一终端在接收到所述第二调整请求之后通过第四编码率编码的视频流;其中,所述第三编码率大于所述第四编码率,所述第五编码视频流和第六编码视频流满足所述第二调整请求指示的网络信道带宽;
所述服务器向所述第二终端转发所述第五编码视频流和所述第六编码视频流;其中,通过所述第三编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第四编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
16.根据权利要求14所述的方法,其特征在于,在所述服务器接收所述第一终端发送的第一编码视频流和第二编码视频流之后,还包括:
所述服务器分析网络信道带宽得到第二调整请求;
所述服务器向第一终端发送所述第二调整请求,所述第二调整请求用于所述第一终端调整编码率;
所述服务器接收第七编码视频流和第八编码视频流,所述第七编码视频流为所述第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,所述第八编码视频流为所述第一终端在接收到所述第二调整请求之后通过第三编码率编码的视频流;其中,所述第三编码率大于所述第四编码率,所述第七编码视频流和第八编码视频流满足所述第二调整请求指示的网络信道带宽;
所述服务器向所述第二终端转发所述第七编码视频流和所述第八编码视频流;其中,通过所述第三编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第四编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
17.根据权利要求13至16任一项中所述的方法,其特征在于,在所述服务器接收所述第一终端发送的第一编码视频流和第二编码视频流之后,还包括:
所述服务器接收所述第二终端发送的第一音频流;
所述服务器向所述第一终端转发所述第一音频流,所述第一音频流用于所述第一终端播放音频。
18.根据权利要求13至17中任一项所述的方法,其特征在于,所述第一视频流还用于所述第一终端在第一显示屏的第三显示区域显示,所述第二视频流还用于所述第一终端在所述第一显示屏的第四显示区域显示;在所述服务器所述向第二终端转发所述第一编码视频流和所述第二编码视频流之后,还包括:
接收所述第二终端发送的反馈编码视频流,所述反馈编码视频流为所述第二终端采集的反馈视频流编码得到的视频流;
向所述第一终端转发所述反馈编码视频流,所述反馈视频流用于所述第一终端在所述第一显示屏的第三显示区域显示,所述第一视频流还用于所述第一终端在所述第一显示屏的第五显示区域显示,所述第五显示区域小于所述第三显示区域。
19.一种终端,包括存储器、处理器、收发器、第一摄像模块、第二摄像模块、第一编码模块和第二编码模块,所述存储器存储有程序,所述处理器调用所述程序,用于执行如下操作:
将所述第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流;所述第一终端将所述第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流;其中,所述第一编码模块的编码率为第一编码率,所述第二编码模块的编码率为第二编码率,所述第一编码率大于所述第二编码率;
通过所述收发器向所述第二终端发送所述第一编码视频流和所述第二编码视频流;其中,通过所述第一编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第二编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
20.根据权利要求19所述的终端,其特征在于,所述处理器,还用于:
在通过所述收发器向所述第二终端发送所述第一编码视频流和所述第二编码视频流之后,通过所述收发器接收第一调整请求;
根据所述第一调整请求,将所述第一编码模块的编码率调整为所述第二编码率,将所述第二编码模块的编码率调整为所述第一编码率;
将所述第一摄像模块采集的第一视频流,通过所述第一编码模块进行编码,得到第三编码视频流;所述处理器,还用于将所述第二摄像模块采集的第二视频流,通过所述第二编码模块进行编码,得到第四编码视频流;
通过所述收发器向所述第二终端发送所述第三编码视频流和所述第四编码视频流。
21.根据权利要求19所述的终端,其特征在于,所述处理器,还用于:
在通过所述收发器向所述第二终端发送所述第一编码视频流和所述第二编码视频流之后,通过所述收发器接收服务器发送的第二调整请求;
根据所述第二调整请求,将所述第一编码模块的编码率调整为所述第三编码率,将所述第二编码模块的编码率调整为所述第四编码率,所述第三编码率大于所述第四编码率;
将所述第一摄像模块采集的第一视频流,通过所述第一编码模块进行编码,得到第五编码视频流;所述处理器,还用于将所述第二摄像模块采集的第二视频流,通过所述第二编码模块进行编码,得到第六编码视频流;所述第五视频流和所述第六编码视频流满足所述第二调整请求指示的网络信道带宽;
通过所述收发器向所述第二终端发送所述第五编码视频流和所述第六编码视频流;其中,通过所述第三编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第四编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示。
22.根据权利要求20所述的终端,其特征在于,所述处理器,还用于:
在通过所述收发器向所述第二终端发送所述第三编码视频流和所述第四编码视频流之后,通过所述收发器接收所述服务器发送的第二调整请求;
根据所述第二调整请求,将所述第一编码模块的编码率调整为第四编码率;将所述第二编码模块的编码率调整为第三编码率,所述第三编码率大于所述第四编码率;
将所述第一摄像模块采集的第一视频流,通过控制第一编码模块进行编码,得到第七编码视频流;所述处理器,还用于将所述第二摄像模块采集的第二视频流,通过控制第二编码模块进行编码,得到第八编码视频流,所述第三编码率大于所述第四编码率;所述第七编码视频流和所述第八编码视频流满足所述第二调整请求指示的网络信道带宽;
通过所述收发器向所述第二终端发送所述第七编码视频流和所述第八编码视频流;其中,通过所述第三编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第四编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示。
23.根据权利要求19至22中任一项所述的终端,其特征在于,所述终端还包括播放器;所述处理器,还用于:
在通过所述收发器向所述第二终端发送所述第一编码视频流和所述第二编码视频流之后,通过所述收发器接收所述第二终端发送的第一音频流;
通过所述播放器根据所述第一音频流播放音频。
24.根据权利要求19至22中任一项所述的终端,其特征在于,所述终端,还包括第一显示屏和解码器;所述处理器,还用于:
在将所述第一摄像模块采集的第一视频流,通过第一编码模块进行编码,得到第一编码视频流之后,将所述第一摄像模块采集的第一视频流在第一显示屏的第三显示区域显示;
在将所述第二摄像模块采集的第二视频流,通过第二编码模块进行编码,得到第二编码视频流之后,将所述第二摄像模块采集的第二视频流在所述第一显示屏的第四显示区域显示,所述第三显示区域大于所述第四显示区域;
在所述向第二终端发送所述第一视频流、所述第二视频流之后,通过所述收发器接收所述第二终端发送的反馈编码视频流,所述反馈编码视频流为所述第二终端通过第三摄像模块采集的反馈视频流编码后得到的视频流;
将所述反馈编码视频流通过所述解码器解码得到反馈解码视频流;
将所述反馈解码视频流在所述第一显示屏的第三显示区域显示,所述处理器,还用于将所述第一摄像模块采集的第一视频流调整为在所述第一显示屏的第五显示区域显示,所述第一显示屏的第五显示区域小于所述第三显示区域。
25.一种终端,其特征在于,包括存储器、处理器、收发器、第一解码模块、第二解码模块和第二显示屏,所述存储器存储有程序,所述处理器调用所述程序,用于执行如下操作:
通过所述收发器接收所述第一终端发送的第一编码视频流和第二编码视频流,所述第一编码视频流为所述第一终端采集的第一视频流通过第一编码率编码得到的视频流,所述第二编码视频流为所述第一终端采集的第二视频流通过第二编码率编码后得到的视频流,所述第一编码率大于所述第二编码率;
将所述第一编码视频流通过第一解码模块解码得到第一解码视频流,将所述第二编码视频流通过第二解码模块第二解码率解码得到第二解码视频流;其中,所述第一解码模块的解码率为第一解码率,所述第二解码模块的解码率为第二解码率;
将所述第一解码视频流在所述第二显示屏的第一显示区域中显示,将所述第二解码视频流所述第二解码视频流在所述第二显示屏的第二显示区域显示,所述第一显示区域大于所述第二显示区域。
26.根据权利要求25所述的终端,其特征在于,所述处理器,还用于:
在将所述第一解码视频流在所述第二显示屏的第一显示区域中显示,将所述第二解码视频流在所述第二显示屏的第二显示区域显示之后,通过所述收发器接收显示区域的切换命令,并根据所述切换命令生成第一调整请求,通过所述收发器将所述第一调整请求发送给所述第一终端;
接收所述第一终端发送的第三编码视频流和第四编码视频流,所述第三编码视频流为所述第一终端在接收到所述第一调整请求之后通过第二编码率编码发送的视频流,所述第四编码视频流为所述第一终端在接收到所述第一调整请求之后通过第一编码率编码的视频流;
通过将所述第三编码视频流通过所述第二解码模块解码得到第三解码视频流,将所述第四编码视频流通过所述第一解码模块解码得到第四解码视频流;
将所述第四解码视频流在所述第二显示屏的第一显示区域中显示,将所述第三解码视频流在所述第二显示屏的第二显示区域显示,所述第一显示区域大于所述第二显示区域。
27.根据权利要求25所述的终端,其特征在于,所述处理器,还用于:
在将所述第一解码视频流在所述第二显示屏的第一显示区域中显示,将所述第二解码视频流在所述第二显示屏的第二显示区域显示之后,通过所述收发器接收第五编码视频流和第六编码视频流,所述第五编码视频流为所述第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,所述第六编码视频流为所述第一终端在接收到所述第二调整请求之后通过第四编码率编码的视频流;其中,所述第二调整请求由服务器发送给第一终端,所述第五编码视频流和第六编码视频流满足所述第二调整请求指示的网络信道带宽;
将所述第五编码视频流通过所述第一解码模块解码得到第五解码视频流,将所述第六编码视频流通过所述第二解码模块解码得到第六解码视频流;其中,所述第一解码模块的解码率为第三解码率,所述第二解码模块的解码率为第四解码率;
将所述第五解码视频流在所述第二显示屏的第一显示区域中显示,将所述第六解码视频流在所述第二显示屏的第二显示区域显示,所述第一显示区域大于所述第二显示区域。
28.根据权利要求26所述的终端,其特征在于,所述处理器,还用于:
在接收所述第一终端发送的第三编码视频流和第四编码视频流之后,还包括:
通过所述收发器接收第七编码视频流和第八编码视频流,所述第七编码视频流为所述第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,所述第八编码视频流为所述第一终端在接收到所述第二调整请求之后通过第四编码率编码的视频流;其中,所述第二调整请求由服务器发送给第二终端,所述第七编码视频流和第八编码视频流满足所述第二调整请求指示的网络信道带宽;
将所述第七编码视频流通过所述第二解码模块解码得到第七解码视频流,将所述第八编码视频流通过所述第一解码模块解码得到第八解码视频流;其中,所述第一解码模块的解码率为第三解码率,所述第二解码模块的解码率为第四解码率;
将所述第八解码视频流在所述第二显示屏的第一显示区域中显示,将所述第七解码视频流在所述第二显示屏的第二显示区域显示,所述第一显示区域大于所述第二显示区域。
29.根据权利要求25至28中任一项所述的终端,其特征在于,所述终端还包括音频采集模块;所述处理器,还用于:
在所述将通过所述第一编码率编码的视频流在所述第二显示屏的第一显示区域中显示,将通过所述第二编码率编码的视频流所述第二解码视频流在所述第二显示屏的第二显示区域显示之后,通过所述音频采集模块采集第一音频流;
通过所述收发器向所述第一终端发送所述第一音频流,所述第一音频流用于所述第一终端播放音频。
30.根据权利要求25至29中任一项所述的终端,其特征在于,所述终端还包括第三摄像模块、编码器;所述第一视频流还用于所述第一终端在第一显示屏的第三显示区域显示,所述第二视频流还用于所述第一终端在所述第一显示屏的第四显示区域显示;所述处理器,还用于:
在所述将通过所述第一编码率编码的视频流在所述第二显示屏的第一显示区域中显示,将通过所述第二编码率编码的视频流所述第二解码视频流在所述第二显示屏的第二显示区域显示之后,通过所述第三摄像模块采集反馈视频流;
将所述反馈视频流在所述第二显示屏的第六显示区域进行显示,所述第六显示区域小于所述第一显示区域;
通过所述编码器将所述反馈视频流编码得到反馈编码视频流;
通过收发器向所述第一终端发送所述反馈编码视频流,所述反馈编码视频流用于所述第一终端在所述第一显示屏的第三显示区域显示,所述第一视频流还用于在所述第一终端的第一显示屏的第五显示区域显示,所述第五显示区域小于所述第三显示区域。
31.一种服务器,其特征在于,包括存储器、处理器、收发器,所述存储器存储有程序,所述处理器调用所述程序,用于执行如下操作:
通过所述收发器接收所述第一终端发送的第一编码视频流和第二编码视频流,所述第一编码视频流为所述第一终端采集的第一视频流通过第一编码率编码得到的视频流,所述第二编码视频流为所述第一终端采集的第二视频流通过第二编码率编码后得到的视频流,所述第一编码率大于所述第二编码率;
通过所述收发器向所述第二终端转发所述第一编码视频流和所述第二编码视频流;其中,通过所述第一编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第二编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
32.根据权利要求31所述的服务器,其特征在于,所述处理器,还用于:
在通过所述收发器接收所述第一终端发送的第一编码视频流和第二编码视频流之后,通过所述收发器接收第二终端发送的第一调整请求;
通过所述收发器向所述第一终端转发所述第一调整请求,所述第一调整请求用于所述第一终端调整编码率;
通过所述收发器接收所述第一终端发送的第三编码视频流和第四编码视频流;
通过所述收发器接收所述第一终端发送的第三编码视频流和第四编码视频流,所述第三编码视频流为所述第一终端在接收到所述第一调整请求之后通过第二编码率编码的视频流,所述第四编码视频流为所述第一终端在接收到所述第一调整请求之后通过第一编码率编码的视频流;
通过所述收发器向所述第二终端发送所述第三编码视频流和所述第四编码视频流;其中,通过所述第一编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第二编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
33.根据权利要求31所述的服务器,其特征在于,所述处理器,还用于:
在通过所述收发器接收所述第一终端发送的第一编码视频流和第二编码视频流之后,分析网络信道带宽得到第二调整请求;
通过所述收发器向第一终端发送所述第二调整请求,所述第二调整请求用于所述第一终端调整编码率;
通过所述收发器接收第五编码视频流和第六编码视频流,所述第五编码视频流为所述第一终端在接收到第二调整请求之后通过第三编码率编码发送的视频流,所述第六编码视频流为所述第一终端在接收到所述第二调整请求之后通过第四编码率编码的视频流;其中,所述第三编码率大于所述第四编码率,所述第五编码视频流和第六编码视频流满足所述第二调整请求指示的网络信道带宽;
通过所述收发器向所述第二终端转发所述第五编码视频流和所述第六编码视频流;其中,通过所述第三编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第四编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
34.根据权利要求31所述的服务器,其特征在于,所述处理器,还用于:
在所述通过所述收发器接收所述第一终端发送的第三编码视频流和第四编码视频流之后,分析网络带宽信息得到第二调整请求;
通过所述收发器向第一终端发送所述第二调整请求,所述第二调整请求用于所述第一终端调整编码率;
通过所述收发器接收第七编码视频流和第八编码视频流,所述第七编码视频流为所述第一终端在接收到第二调整请求之后通过第四编码率编码发送的视频流,所述第八编码视频流为所述第一终端在接收到所述第二调整请求之后通过第三编码率编码的视频流;其中,所述第三编码率大于所述第四编码率,所述第七编码视频流和第八编码视频流满足所述第二调整请求指示的网络信道带宽;
通过所述收发器向所述第二终端转发所述第七编码视频流和所述第八编码视频流;其中,通过所述第三编码率编码的视频流用于在所述第二终端的第二显示屏的第一显示区域中显示,通过所述第四编码率编码的视频流用于在所述第二终端的第二显示屏的第二显示区域中显示,所述第一显示区域大于所述第二显示区域。
35.根据权利要求31至34任一项中所述的服务器,其特征在于,所述处理器,还用于:
在所述通过所述收发器向第二终端转发所述第一编码视频流和所述第二编码视频流之后,还包括:
通过所述收发器接收所述第二终端发送的第一音频流;
通过所述收发器向所述第一终端转发所述第一音频流,所述第一音频流用于所述第一终端播放音频。
36.根据权利要求31至35中任一项所述的服务器,其特征在于,所述第一视频流还用于所述第一终端在第一显示屏的第三显示区域显示,所述第二视频流还用于所述第一终端在所述第一显示屏的第四显示区域显示;所述处理器,还用于:
在所述通过所述收发器向第二终端转发所述第一编码视频流和所述第二编码视频流之后,通过所述收发器接收所述第二终端发送的反馈编码视频流,所述反馈编码视频流为所述第二终端采集的反馈视频流编码得到的视频流;
通过所述收发器向所述第一终端转发所述反馈编码视频流,所述反馈视频流用于所述第一终端在所述第一显示屏的第三显示区域显示,所述第一视频流还用于所述第一终端在所述第一显示屏的第五显示区域显示,所述第五显示区域小于所述第三显示区域。
37.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在处理器上运行时,实现权利要求1至19中任一项所述的方法。
CN201910947188.3A 2019-09-29 2019-09-29 视频交互方法及相关设备 Pending CN110650341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910947188.3A CN110650341A (zh) 2019-09-29 2019-09-29 视频交互方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910947188.3A CN110650341A (zh) 2019-09-29 2019-09-29 视频交互方法及相关设备

Publications (1)

Publication Number Publication Date
CN110650341A true CN110650341A (zh) 2020-01-03

Family

ID=68993635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910947188.3A Pending CN110650341A (zh) 2019-09-29 2019-09-29 视频交互方法及相关设备

Country Status (1)

Country Link
CN (1) CN110650341A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073665A (ko) * 2000-01-19 2001-08-01 오길록 저 지연 영상 통신을 위한 동영상 시간 코드 및 율제어버퍼 레벨 조절 장치 및 그 방법
CN101742223A (zh) * 2010-01-19 2010-06-16 上海华平信息技术股份有限公司 视频流带宽智能调节方法
CN103024342A (zh) * 2012-12-25 2013-04-03 广东威创视讯科技股份有限公司 视频会议***中的带宽控制方法及***
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
CN107528938A (zh) * 2017-07-26 2017-12-29 维沃移动通信有限公司 一种视频通话方法、终端及计算机可读存储介质
CN109195010A (zh) * 2018-08-15 2019-01-11 咪咕视讯科技有限公司 一种码率调节方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073665A (ko) * 2000-01-19 2001-08-01 오길록 저 지연 영상 통신을 위한 동영상 시간 코드 및 율제어버퍼 레벨 조절 장치 및 그 방법
CN101742223A (zh) * 2010-01-19 2010-06-16 上海华平信息技术股份有限公司 视频流带宽智能调节方法
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
CN103024342A (zh) * 2012-12-25 2013-04-03 广东威创视讯科技股份有限公司 视频会议***中的带宽控制方法及***
CN107528938A (zh) * 2017-07-26 2017-12-29 维沃移动通信有限公司 一种视频通话方法、终端及计算机可读存储介质
CN109195010A (zh) * 2018-08-15 2019-01-11 咪咕视讯科技有限公司 一种码率调节方法及装置

Similar Documents

Publication Publication Date Title
US10728594B2 (en) Method and apparatus for transmitting data of mobile terminal
US11051015B2 (en) Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
US11184584B2 (en) Method for image decoding, method for image encoding, apparatus for image decoding, apparatus for image encoding
US10237548B2 (en) Video transmission based on independently encoded background updates
US20110285863A1 (en) Live television broadcasting system for the internet
CN103888699A (zh) 具有视频功能的投影装置及利用其进行视频会谈的方法
US20170163934A1 (en) Data, multimedia & video transmission updating system
KR19990064087A (ko) 화상 음성 복호화장치와 화상 음성 부호화장치 및 정보전송시스템
CN103686219A (zh) 一种视频会议录播的方法、设备及***
KR20180035089A (ko) 관심 영역을 고려한 가상 현실 서비스 제공
US6526100B1 (en) Method for transmitting video images, a data transmission system and a multimedia terminal
CN108696720B (zh) 一种适用于卫星通信的视频调度***和方法
CN117176972B (zh) 一个基于WebRTC技术的云会议音视频传输***及方法
US20130291011A1 (en) Transcoding server and method for overlaying image with additional information therein
CN112272281B (zh) 一种区域分布式视频会议***
JP6466638B2 (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
CN111083427B (zh) 嵌入式终端、4k视频会议***的数据处理方法
KR20120009948A (ko) 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
CN110650341A (zh) 视频交互方法及相关设备
CN107332818B (zh) 媒体数据的处理方法、装置和***、存储介质及处理器
CN115706829A (zh) 一种多窗口视频通信方法、设备及***
US10616620B1 (en) Low bitrate encoding of spherical video to support live streaming over a high latency and/or low bandwidth network
KR20130030066A (ko) 영상 회의 시스템
KR20180096399A (ko) 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN104702970A (zh) 一种同步视频数据的方法、设备及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103

RJ01 Rejection of invention patent application after publication