CN112073826B - 合录音视频作品状态显示方法、服务器及终端设备 - Google Patents
合录音视频作品状态显示方法、服务器及终端设备 Download PDFInfo
- Publication number
- CN112073826B CN112073826B CN202010127550.5A CN202010127550A CN112073826B CN 112073826 B CN112073826 B CN 112073826B CN 202010127550 A CN202010127550 A CN 202010127550A CN 112073826 B CN112073826 B CN 112073826B
- Authority
- CN
- China
- Prior art keywords
- work
- chorus
- terminal
- state information
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/654—Transmission by server directed to the client
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开一种合录音视频作品状态显示方法、服务器及终端设备,所述方法包括:响应于接收到第二终端上传的第二作品,对所述第二作品进行审核;所述第二作品为被邀请的第二终端响应合唱请求后,根据审核通过的第一作品录制并上传的音视频作品;所述第一作品为在第一终端录制生成的音视频作品;根据所述第二作品的审核进程生成第二审核状态信息;向所述第一终端发送所述第二审核状态信息,所述第二审核状态信息用于指示所述第一终端显示与所述第二作品的审核进程匹配的状态信息。本申请使邀请方也能够实时准确地获知被邀请方参与合唱录制的第二作品的审核状态。
Description
本申请要求在2019年06月10日提交中国专利局、申请号为201910497761.5、发明名称为″合录音视频作品状态展示方法及服务器″的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及终端交互技术领域,尤其涉及一种合录音视频作品状态显示方法、服务器及终端设备。
背景技术
一对一合唱录制是两个智能终端常规交互形式之一,两个终端中的任意一方发起合唱邀请,另一方接受邀请后进行合唱,最终完成合录音视频作品的录制。智能终端上对内容审核的过程是机器自动审核,人工审核后置,因此可以将音视频作品在终端进行实时显示。
申请人发现,当对音视频作品具有较高要求时,比如当两个终端中至少一个为智能电视,由于智能电视对作品内容的审核力度较为严格,服务器需要对每个终端上传的音视频作品分别单独审核。用户仅能在单端查看单人作品的审核状态,即用户A仅能查看第一终端显示的第一音视频作品审核状态,用户B仅能查看第二终端显示的第二音视频作品审核状态,而作为发起合唱的用户A却无法获知用户B所录作品的审核进程和状态。
发明内容
本申请提供一种合录音视频作品状态显示方法、服务器及终端设备,以解决邀请方无法获知受邀方参与合唱录制的作品的审核状态的问题。
第一方面,本申请提供一种合录音视频作品状态显示方法,用于服务器,包括:
响应于接收到第二终端上传的第二作品,对所述第二作品进行审核;所述第二作品为被邀请的第二终端响应合唱请求后,根据审核通过的第一作品录制并上传的音视频作品;所述第一作品为在第一终端录制生成的音视频作品;
根据所述第二作品的审核进程生成第二审核状态信息;
向所述第一终端发送所述第二审核状态信息,所述第二审核状态信息用于指示所述第一终端显示与所述第二作品的审核进程匹配的状态信息。
第二方面,本申请提供一种合录音视频作品状态显示方法,用于第一终端,所述方法包括:
响应于第一作品录制完成,在合唱作品列表中***与所述第一作品对应的第一合唱条目;所述第一作品用于使第二终端在所述第一作品的基础上录制第二作品,并将第二作品上传至服务器;
向服务器上传所述第一作品;
根据服务器发送的所述第二作品的第二审核状态信息,控制所述第一合唱条目显示与第二作品的审核进程匹配的状态信息。
第三方面,本申请还提供一种服务器,包括:
通信器,用于与第一终端和第二终端通信连接;
控制器,被配置为执行:
响应于接收到第二终端上传的第二作品,对所述第二作品进行审核;所述第二作品为被邀请的第二终端响应合唱请求后,根据审核通过的第一作品录制并上传的音视频作品;所述第一作品为在第一终端录制生成的音视频作品;
根据所述第二作品的审核进程生成第二审核状态信息;
向所述第一终端发送所述第二审核状态信息,所述第二审核状态信息用于指示所述第一终端显示与所述第二作品的审核进程匹配的状态信息。
第四方面,本申请还提供一种终端设备,包括:
显示器;
通信器,用于与服务器通信连接;
控制器,被配置为执行:
响应于第一作品录制完成,在合唱作品列表中***与所述第一作品对应的第一合唱条目;所述第一作品用于使第二终端在所述第一作品的基础上录制第二作品,并将第二作品上传至服务器;
向服务器上传所述第一作品;
根据服务器发送的所述第二作品的第二审核状态信息,控制所述显示器在所述第一合唱条目显示与第二作品的审核进程匹配的状态信息。
本申请上述的技术方案中,是以第一终端和第二终端作为一对一合唱的交互对象,并以服务器作为连接第一终端和第二终端的中间设备,第一终端为邀请方(即合唱发起人)录制第一作品使用的终端设备,第二终端为合唱发起人选择的被邀请方在第一作品的基础上录制第二作品时使用的终端设备。第二终端录制完成第二作品后,将第二作品上传至服务器,然后服务器对第二作品进行审核,并根据第二作品的审核进程生成第二审核状态信息,使得第一终端能根据第二审核状态信息的指示,为用户显示第二作品的审核状态,从而使邀请方也能够实时准确地获知被邀请方参与合唱录制的第二作品的审核状态,提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为应用场景图;
图2为本申请实施例示出的联系人交互界面;
图3为本申请实施例示出的K歌合唱-发起合唱界面;
图4为本申请实施例示出的演唱模式选择界面;
图5为本申请实施例示出的第一作品演唱段落选择界面;
图6为本申请实施例示出的MV模式下第一作品录制界面示意图;
图7为本申请实施例示出的作品录制完成后的显示界面;
图8为本申请实施例示出的试听结束后的显示界面;
图9为本申请实施例示出的一种″我的作品″的显示界面;
图10为本申请实施例示出的终端保存作品后的提示界面;
图11为本申请实施例示出的MV模式下第一作品播放效果图;
图12为本申请实施例示出的音频模式下第一作品播放效果图;
图13为本申请实施例示出的K歌合唱-待合唱歌曲界面;
图14为本申请实施例示出的第二作品演唱段落选择界面二
图15为本申请实施例示出的音频模式下第二作品录制界面示意图;
图16为本申请实施例示出的MV模式下第二作品录制界面示意图;
图17为本申请实施例示出的MV模式下第二作品播放效果图;
图18为本申请实施例示出的音频模式下第二作品播放效果图;
图19为本申请实施例示出的另一种″我的作品″的显示界面;
图20为本申请实施例示出的合录音视频作品状态显示方法流程图;
图21为本申请实施例示出的第二终端响应合唱请求的情况下,第一终端、服务器和第二终端之间的交互逻辑图;
图22为本申请实施例示出的第二终端拒绝合唱请求的情况下,第一终端、服务器和第二终端之间的交互逻辑图;
图23为本申请实施例示出的显示设备与控制装置之间操作场景的示意图;
图24为本申请实施例示出的控制装置100的硬件配置框图;
图25为本申请实施例示出的显示设备200的硬件配置框图;
图26为本申请实施例示出的显示设备200的硬件架构框图;
图27为本申请实施例示出的显示设备200的功能配置示意图;
图28(a)为本申请实施例示出的显示设备200中软件配置示意图;
图28(b)为本申请实施例示出的显示设备200中应用程序的配置示意图;
图29为本申请实施例示出的显示设备200中用户界面的示意图;
图30为本申请实施例示出的第一作品和第二作品状态信息显示的交互逻辑图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示的应用场景图,本申请实施例所述的合录音视频作品状态显示方法,是将第一终端10和第二终端30作为交互对象,并以服务器20作为连接第一终端10和第二终端30的中间设备。第一终端10和服务器20之间,以及第二终端30与服务器20之间,可通过局域网(LAN)、无线局域网(WLAN)和其他互联网网络进行通信。其中,第一终端10和第二终端30可以为智能电视、电脑、平板终端或智能手机等可支持K歌合唱的终端设备。在实际应用中,第一终端10对应的用户A既可以作为发起合唱邀请的邀请方,也可以作为被邀请对象;同样地,第二终端30对应的用户B也可以是发起合唱邀请的邀请方,或者被邀请对象。本申请实施例中,以第一终端10作为合唱发起端,第二终端30为被邀请端为例来描述合录音视频作品状态显示方法,需要说明的是,本申请中的术语″第一″、″第二″仅用于区分邀请方和被邀请方,不应理解为指示/暗示相对重要性或排列顺序等。
对于第一终端10和第二终端30,可以预先安装支持K歌合唱的社交应用类软件。第一终端的支持K歌合唱的社交应用类软件开启后,应用页面可以根据实际功能需求进行设置,页面中包括联系人列表,列表中包括多个联系人,通过选择联系人或者点击联系人头像,即可进入联系人交互界面。如图2所示,发起人用户A选择进入联系人用户B的交互界面后,界面上可显示用户B的ID、交互活动类型和本地预览等信息,其中交互活动类型可包括视频通话、一起K歌和留言等,当选择″一起K歌″时,作为邀请方的用户A选择与用户B进行K歌合唱,即用户A的终端设备为第一终端,被邀请的用户B的终端设备为第二终端。第一终端10和第二终端30上可配置摄像头,当本地预览中的摄像头开启时,可以在界面中显示摄像头的画面预览,使用户A可以在界面中预览当前摄像头拍摄到的个人画面。当用户A在联系人交互界面选择″一起K歌″后,第一终端的界面切换至K歌合唱,如图3示例性提供的K歌合唱界面,如果用户A选择″待合唱歌曲″页面,则用户A将作为被邀请对象,查看其他终端向他发起合唱邀请的曲目,并选择是否参与其中某一待合唱歌曲的合唱录制。
对于第一终端10和第二终端30,也可以直接安装K歌软件,用户登录K歌软件后直接接入K歌合唱界面。
如果用户A选择″发起合唱″页面,则用户A成为邀请方,用户B则为参与合唱录制的被邀请方,在″发起合唱″页面,用户A可以选择想要合唱的歌曲,可以选择***推送的推荐曲目,或者可以在搜索栏中输入歌曲名称或歌手等信息,来搜索想要合唱的歌曲,″发起合唱″页面中显示的曲目可包括歌曲名称、歌曲文件大小、歌曲风格和歌手等信息,并且每条曲目对应设置″发起合唱″的启动按键,当用户A点击″发起合唱″的启动按键时,即开始启动发起端的演唱,进入如图4所示的演唱模式选择界面,用户A可以根据个人意愿选择″MV(Music Video,音乐短片)模式″和″音频模式″,″MV模式″包括演唱的音频和用户A演唱时摄像头拍摄的视频图像,需要开启第一终端配置的摄像头和麦克风;″音频模式″则仅包括用户A的演唱音频,仅开启第一终端配置的麦克风。在一些实施例中,终端设备中还可以提供更多的演唱模式供用户选择。
当用户A选择演唱模式后,第一终端界面跳转至如图5所示的界面,软件***中已经预置了演唱段落的划分模式,比如Part1部分的歌词选段标蓝色,Part2部分的歌词选段标红色,其他部分的歌词选段为合唱,作为合唱发起人的用户A在进行单人演唱时可选择唱红色部分或者唱蓝色部分,比如用户A选择唱蓝色部分,则用户A在实际演唱时只需演唱蓝色部分和合唱部分,从而得到第一终端录制的第一作品;被邀请方用户B在用户A完成的第一作品的基础上,演唱红色部分和合唱部分,则可以得到完整的合录音视频作品,即第二终端录制的第二作品。
如图6所示,当用户A选择MV模式并且选择完成演唱段落后,开始录制第一作品,图6中合唱的发起者为张北北,发起合唱的曲目为《故笙》,在第一作品录制过程中,界面显示歌词和发起者的视频图像,歌词中可通过不同颜色来区分邀请方和被邀请方演唱的段落。
如图7所示,当用户A录制完成第一作品后,用户A可在显示界面中选择试听效果或是重唱,如果用户A选择试听效果,则在试听结束后,参照图8所示的显示界面,如果用户A对第一作品的演唱效果满意,即可选择″发布上传″,将第一作品上传至服务器;如果用户A试听后对第一作品的演唱效果不满意,则可选择″重唱″,从而重新录制第一作品。
第一终端和第二终端中可以设置″我的作品″显示界面,在图9所示的″我的作品″显示界面中,包括″个人作品″和″合唱作品″。合唱作品中的各个合唱条目可以类似列表的形式向用户显示,每个合唱条目中可包括序号、歌曲名称、标识框K1、状态信息显示框K2、试听量K3、转发量K4、第二播放控件K5、第一播放控件K6、转发键K7和删除键K8等。
其中,标识框K1用于标识本地终端是歌曲的发起方还是被邀请方,比如当标识框K1中显示″我发起的″,则说明是由本地终端发起的歌曲合唱请求二当标识框K1中显示″好友合唱″,则说明本地终端是被邀请方,是由其他终端邀请本地终端用户参与歌曲的合唱录制。以序号为01,歌曲名称为《等你下课》的合唱条目为例,由于标识框K1中显示为″我发起的″,则对于《等你下课》这首合唱歌曲来说,本地终端为合唱邀请的发起端,即为第一终端。又比如,序号为04,歌曲名称为《青花瓷》的合唱条目,其标识框K1中显示为″好友合唱″,则对于《青花瓷》这首合唱歌曲来说,本地终端为被邀请端,即为第二终端。通过设置标识框K1,终端作为邀请方发起的合唱作品和作为被邀请方参与合唱的作品都会显示在同一个合唱作品列表中。在其他可能的实现方式中,也可分别设置″我发起的合唱作品列表″和″被邀请的合唱作品列表″,本领域技术人员可以根据实际应用灵活调整终端的显示页面,并不限于本申请实施例所提供的示例。
状态信息显示框K2用于显示合唱进程的状态信息,第一终端/第二终端会根据服务器反馈的与合唱进程匹配的状态信息,对状态信息显示框K2中的状态信息进行动态更新。第一终端作为发起端,本申请所述的方法会实现从第一作品上传、第一作品的审核、好友是否响应合唱请求以及第二作品审核结束的全流程状态显示,使得发起端用户A也能够准确获知第二作品的审核状态;而第二终端作为被邀请端,则仅显示第二作品上传直至第二作品审核结束这期间内的状态信息变化。
参照图2-图8的界面操作流程,例如第一终端录制完成《故梦》的第一作品后,点击图8中示出的″发布上传″,即可将第一作品上传至服务器,然后第一终端向合唱作品列表中会***与第一作品对应的第一合唱条目,即图9中序号为02的第一合唱条目,该第一合唱条目中标识框K1显示″我发起的″,状态信息展示框K2根据进程可以显示第一作品上传中;当第一作品上传服务器成功时,状态信息展示框K2显示的状态信息可变更为第一作品上传成功。
具体来说,服务器接收第一终端上传的第一作品后,会生成第一作品的URL,并将第一作品的URL回传至第一终端;第一终端存储第一作品的URL,根据第一作品的URL关联生成第一合唱条目,并在合唱作品列表中***与第一作品对应的第一合唱条目,即将《故梦》的第一作品的URL与序号为02的第一合唱条目进行了关联,具体地,可以将《故梦》的第一作品的URL与序号为02的第一合唱条目的第一播放控件K6关联,则第一作品在第一终端中保存成功,通过触发第一播放控件K6,即可在第一终端播放第一作品。
第一终端可以向用户A显示如图10所示的提示界面,提示用户″保存成功,作品将保存在合唱作品,n小时后将完成审核,你的朋友将收到邀请″,同时使合唱作品列表中序号为02的合唱条目中,状态信息显示框K2显示第一作品待审核。用户A在序号为02的合唱条目中点击第一播放控件K6,即可在第一终端中播放《故梦》的第一作品,即无论第一作品是否审核通过,都可以在第一终端中播放第一作品。
又例如,对于图9所示的序号为03,曲名为《全世界谁倾听你》的第一合唱条目,当点击第一播放控件K6时,第一作品的播放效果如图11或图12所示,可以参照图5,利用颜色来使邀请方用户A(张北北)区分哪部分是自己演唱的段落,哪部分是被邀请方用户B演唱的段落,第一作品中,用户A单独演唱的段落以及合唱段落具有人声音频,被邀请方用户B单独演唱的段落为纯背景音乐,并且MV模式下中如图11仅显示摄像头拍摄的用户A的视频图像,或者音频模式下如图12仅显示用户A的真实头像,用户B的头像为默认的虚拟头像。
对于服务器端,服务器在接收并存储第一终端上传的第一作品后,需要对第一作品进行审核,在一些实施方式中,审核的方式可以选择机器自动审核,人工审核后置的方式,以提高作品审核力度,但机器自动审核后作品必须通过人工审核才能发布。服务器对第一作品进行审核,并生成第一审核状态信息,向第一终端发送第一审核状态信息,所述第一审核状态信息用于指示第一终端在第一合唱条目显示与第一作品的审核进程匹配的状态信息,比如,根据第一作品的审核进程,指示状态信息显示框K2中显示第一作品待审核、第一作品审核中、第一作品审核成功或失败。第一作品审核通过后,第一终端对应的第一合唱条目显示的状态信息为第一作品审核成功,服务器向被邀请方所在的第二终端发送合唱请求。
第二终端在接收到合唱请求后,如图13所示,在第二终端K歌页面的待合唱歌曲列表中***对应的待合唱曲目,比如邀请方张北北(用户A)向指定的被邀请方发起《故梦》的合唱请求,则当服务器将《故梦》的合唱请求发送至第二终端后,第二终端的待合唱列表中就***《故梦》这一待合唱曲目,这时服务器向第一终端发送第一响应状态信息,所述第一响应状态信息用于指示第一终端将第一合唱条目显示的与第一作品的审核进程匹配的状态信息变更为待响应指示,则参照图9,第一终端中序号为02的第一合唱条目的状态信息显示框K2显示待响应。
待合唱曲目中可显示歌曲名称和邀请方信息,比如图13中第一个待合唱曲目显示是张北北发起的《故梦》合唱请求,每个单独的待合唱曲目中可设置如″参与″和″拒绝″等选项,比如用户B有想要与张北北合唱《故梦》的意愿,则用户B可选择张北北发起的《故梦》待合唱曲目中的″参与″选项,则表明张北北发起的《故梦》合唱请求被第二终端响应,这时服务器可向第一终端发送第二响应状态信息,所述第二响应状态信息用于指示第一终端将第一合唱条目显示的待响应指示变更为已响应指示,则第一终端如图9中《故梦》的第一合唱条目(序号02)显示的状态信息变更为已响应。
用户B点击″参与″后,即合唱请求被第二终端响应,则服务器将审核通过的第一作品发送给第二终端,用户B参照合唱发起人用户A预先录制的第一作品,完成其他段落的演唱,比如用户A在录制第一作品时选择唱蓝色部分的选段,如图14所示,用户B就需要完成合唱部分和Part2对应的红色部分的选段,从而得到完整的合录音视频作品,即第二作品,第二作品与第一作品的录制方式类似,具体可参照前述相关描述。图15为音频模式下《故梦》的第二作品的录制界面示意图,图16为MV模式下《故梦》的第二作品的录制界面示意图,其中邀请方用户A为张北北,被邀请方用户B为王小喵,MV模式下还包括第一终端摄像头拍摄的张北北录制第一作品时的视频图像,以及第二终端摄像头拍摄的王小喵录制第二作品时的视频图像。第二作品录制完成后,可在第二终端的合唱作品列表中***与第二作品对应的合唱条目,比如***《故梦》的合唱条目,那么在第二终端中该合唱条目的标识框K1应显示″好友合唱″,第二作品录制完成后,如果试听效果满意,则可选择″发布上传″,由第二终端将第二作品上传至服务器。
反之,服务器响应于接收到第二终端拒绝合唱请求的消息,则向第一终端发送第三状态响应信息,所述第三状态响应信息用于指示第一终端将第一合唱条目显示的待响应指示变更为未接受邀请指示。例如,假设用户B拒绝了张北北发起的《故梦》合唱请求,则第一终端如图9中《故梦》的第一合唱条目(序号02)显示的状态信息为未接受邀请(或未响应),同时第二终端将如图13中张北北发起的待合唱曲目《故梦》从待合唱歌曲列表中移除,这样待合唱歌曲列表就不再继续显示用户B拒绝的合唱请求。在其他可能的情况中,参照图9,用户A可以在第一终端中操作删除键K8,来删除合唱作品列表中的某个第一合唱条目,比如在服务器向第二终端发送《故梦》的合唱请求后,待合唱歌曲列表中就***《故梦》这一待合唱曲目,用户B查看后可以随时响应该合唱请求。如果在用户B响应该合唱请求前,用户A提前将第一终端合唱作品列表中对应的《故梦》的第一合唱条目删除,那么在用户B响应待合唱曲目《故梦》的合唱请求时,第二终端需要向用户B显示提示信息,提示信息比如为″用户A的合唱邀请已过期″。
服务器接收并存储第二终端上传的第二作品后,会生成第二作品的URL,并将第二作品的URL回传至第二终端;第二终端存储第二作品的URL,并将第二作品的URL与第二终端合唱作品列表中对应的第一合唱条目关联,具体来说,是将第二作品的URL与对应的第一合唱条目中的第一播放控件K6关联,从而使第二作品成功保存在第二终端中,被邀请方可以通过点击第一播放控件K6,来播放自己录制的第二作品,这样无论第二作品是否审核通过,被邀请方都可以在第二终端播放第二作品。第二作品的播放效果如图17或图18所示,可以参照图5,利用颜色来区分哪部分是邀请方演唱的段落,哪部分是被邀请方演唱的段落,MV模式下第二作品的播放效果如图17所示,显示合唱双方终端摄像头拍摄的视频图像以及用户ID;或者,音频模式下如图18所示,显示合唱双方在同一种社交应用软件中的真实头像和用户ID名称,比如对于合唱歌曲《全世界谁倾听你》,发起人用户A的用户ID为张北北,被邀请方的用户ID为黄晓宇love。此外,由于第二终端已经预先接收并存储了第一作品及其URL,被邀请方可以在第二终端如图13所示的K歌合唱页面中,选择左侧第二项″好友合唱″,进入后即可查看邀请方单独录制的第一作品,也就是说,被邀请方也可以在第二终端观看某一受邀合唱歌曲对应的第一作品和第二作品。此时,第二作品尚未审核通过,因此邀请方在第一终端仅能观看自己录制的第一作品,而无法观看第二作品。
同时,服务器响应于接收到第二终端上传的第二作品后,会对第二作品进行审核,并根据第二作品的审核进程分别生成第二审核状态信息和第三审核状态信息。其中,所述第二审核状态信息用于指示第一终端显示与第二作品的审核进程匹配的状态信息,第一终端接收到第二审核状态信息后,使第一终端中与第二作品对应的第一合唱条目的状态信息显示框K2显示第二作品的审核状态,比如第二作品待审核、第二作品审核中、第二作品审核成功或第二作品审核失败;所述第三审核状态信息用于指示第二终端显示与第二作品的审核进程匹配的状态信息,第二终端接收到第三审核状态信息后,使第二终端中与第二作品对应的第一合唱条目的状态信息显示框K2显示第二作品的审核状态,比如第二作品待审核、第二作品审核中、第二作品审核成功或第二作品审核失败。
在第二作品审核成功后,服务器需要将审核成功的第二作品的URL发送给第一终端,以使第一终端能够播放第二作品。在具体的实现方式中,服务器响应于第二作品审核成功,可以自动向第一终端发送第二作品的URL;或者,服务器响应于接收到第一终端在第二作品审核成功后发送的第二作品请求,然后向第一终端发送第二作品的URL,即第一终端接收到的第二审核状态信息指示第二作品审核成功,则向服务器发送第二作品请求,服务器接收到第二作品请求后,再向第一终端发送第二作品的URL。
本实施例中,对于发起合唱邀请后在第一终端生成的第一合唱条目,图9示出了第一合唱条目中包括第一播放控件K6和第二播放控件K5,第一播放控件K6与第一作品的URL关联,第一终端接收到第二作品的URL后,使第二播放控件K5与第二作品的URL关联,触发第一播放控件K6即可在第一终端播放第一作品,触发第二播放控件K5即可在第一终端播放审核成功的第二作品。在其他实现方式中,第一合唱条目也可不设置第二播放控件K5,而是仅设置单独的第一播放控件K6,当第一终端接收到第二作品的URL时,使第二作品的URL与第一播放控件K6关联,即与第一播放控件K6相关联的内容由第一作品的URL替换为第二作品的URL,这样在第二作品审核成功之前触发第一播放控件K6播放的是第一作品,在第二作品审核成功之后触发第一播放控件K6播放的是第二作品。
在本申请其他可能的实现方式中,在K歌应用中,″我的作品″界面中可以设置多个条目集合,每个条目集合具有对应的类别控件,触发不同的类别控件可以显示不同的条目集合,每个条目集合包括若干个合唱条目。第二作品录制完成之后且第二作品审核完成之前,第一条目集合中包括若干第一合唱条目,第一合唱条目中具有单独的第一播放控件K6,对于第一条目集合中显示″我发起的″的第一合唱条目,其第一播放控件K6与本机录制的第一作品的URL关联;对于第一条目集合中显示″好友合唱″的第一合唱条目,其第一播放控件K6与本机响应发起人的合唱请求后录制的第二作品的URL关联。
当第二作品审核成功之后,第一终端接收服务器发送的第二作品的URL,然后根据第二作品的URL生成第二合唱条目,并将第二合唱条目***到第二条目集合中,并使第二合唱条目中的播放控件与第二作品的URL关联,这样第二条目集合中就包括本机作为合唱发起方最终录制完成的全部第二作品对应的第二合唱条目,通过触发第二合唱条目中的播放控件即可播放本机用户与被邀请方共同录制的第二作品。
图19示出了另一种″我的作品″的显示界面,在″9.我的作品″中至少包括″9.1审核中的作品″(即第一条目集合)以及″9.2我发起的作品″(即第二条目集合),″9.1审核中的作品″中我发起的合唱对应的第二作品审核成功后,即可在″9.2我发起的作品″中***新生成的第二合唱条目,并将第二合唱条目中的播放控件与该第二作品的URL关联,在″9.2我发起的作品″中可播放所有本机发起合唱请求后最终录制的第二作品。此外,″9.我的作品″中还可包括″9.4好友邀请作品″(即第三条目集合),″9.4好友邀请作品″中包括本机作为被邀请方录制并审核成功的第二作品对应的第三合唱条目,触发第三合唱条目的播放控件可以播放本机响应好友的合唱请求后最终审核通过的第二作品。需要说明的是,″我的作品″中设置的条目集合的数量和类别可以根据实际应用进行设置,不限于实施例及附图所示,各条目集合中的合唱条目(第一条目集合和第二条目集合等)的显示形式、条目结构等内容基本相似。
由于现有技术中,服务器仅向第二终端反馈第二作品的审核状态,会导致邀请方无法在第一终端获知第二作品的审核状态,也就无法准确获取第二作品的审核进程,使得终端交互体验存在不足。对此,如图20所示,本申请实施例提供的合录音视频作品状态显示方法,主要针对第二终端录制的第二作品上传至服务器后,服务器如何控制第一终端中第一合唱条目的状态信息显示框K2准确显示与第二作品审核进程匹配的状态信息,即所述方法应用于服务器,具体实现步骤如下:
步骤S110,响应于接收到第二终端上传的第二作品,对所述第二作品进行审核。
其中,所述第二作品为被邀请的第二终端响应合唱请求后,根据审核通过的第一作品录制并上传的音视频作品,所述第一作品为在第一终端录制生成的音视频作品。服务器对接收到的第二作品进行审核,审核的方式可以选择机器自动审核,人工审核后置的方式,以保证审核力度。在实际应用中,不限于其他审核方式,但要保证对作品审核的力度和严格。
步骤S120,根据所述第二作品的审核进程生成第二审核状态信息。审核进程包括接收到第二作品但还未审核、已启动对第二作品的审核、第二作品审核通过或未通过,服务器可以将与第二作品审核进程匹配的审核状态分别反馈给第一终端和第二终端,这样不仅作为被邀请的第二终端可以显示其录制的第二作品的审核状态,作为邀请方的第一终端也可以实时显示第二作品的审核状态。
步骤S130,向所述第一终端发送所述第二审核状态信息,所述第二审核状态信息用于指示所述第一终端显示与所述第二作品的审核进程匹配的状态信息。比如,当审核进程为服务器接收到第二作品但还未审核,则状态信息显示框K2中显示的状态信息为第二作品待审核;当审核进程为已启动对第二作品的审核,则状态信息显示框K2中显示的状态信息为第二作品审核中;当审核进程为审核通过时,则状态信息显示框K2中显示的状态信息为第二作品审核成功;当审核进程为审核未通过时,则状态信息显示框K2中显示的状态信息为第二作品审核失败。
参照图9,第一终端发起对《年少有为》歌曲的合唱邀请,因此第一终端***的序号为06的第一合唱条目中标识框K1应显示″我发起的″,第二终端录制完成《年少有为》的第二作品,并上传服务器审核后,如果审核进程为第二作品审核已通过,那么在第一终端序号06的第一合唱条目中,状态信息显示框K2中显示的状态信息变更为第二作品审核成功,同样第二终端中与《年少有为》对应的第一合唱条目的状态信息显示框K2也同步变更为第二作品审核成功。
好友向本机用户发起对《七里香》的合唱邀请,那么对于《七里香》的合唱行为来说,好友终端为邀请方的第一终端,本机为被邀请方的第二终端,那么在第二终端录制完成《七里香》的第二作品后,在第二终端的合唱作品列表中***如图9中序号05,名称为《七里香》的第一合唱条目,第一合唱条目中标识框K1应显示″好友合唱″,《七里香》的第二作品上传服务器后,如果审核进程为已启动对第二作品的审核,那么第二终端序号为05的第一合唱条目中,状态信息显示框K2中显示的状态信息变更为第二作品审核中,第一终端《七里香》的第一合唱条目的状态信息显示框K2也同步变更为第二作品审核中。对于同一合唱歌曲,第一终端和第二终端中合唱作品列表的第一合唱条目是对应的。
如图9所示,当第二作品审核成功之后,歌曲的合唱录制过程结束,状态信息显示框K2无需再显示状态信息,比如序号为01和序号为04的第一合唱条目,这时状态信息显示框K2可处于隐藏状态。以序号为01的合唱条目为例,第一终端″我发起的″的第一合唱条目还可以设置相应的第二作品请求选项,即第二播放控件K5,当序号为01的第一合唱条目的状态信息显示框K2显示第二作品审核成功后,用户可以点击第二播放控件K5,即相当于第一终端触发对《等你下课》的第二作品请求,则服务器响应于第二作品请求后,将《等你下课》的第二作品的URL发送给第一终端,第一终端对第二作品的URL和第二播放控件K5进行关联,则第一终端的合唱发起人能够观看审核通过后的《等你下课》的第二作品。即当用户点击序号01的第一合唱条目的第二播放控件K5,就可以播放审核通过后的《等你下课》的第二作品,只有第二作品审核通过,第一终端才能播放第二作品;当用户点击序号为01的第一合唱条目的第一播放控件K6,第一播放控件K6被触发时即可播放《等你下课》的第一作品;或者如图19的方式,按照不同类别设置不同的条目集合,通过第一条目集合中的第一合唱条目可以播放第一作品,通过第二条目集合中的第二合唱条目可以播放第二作品,这样作为邀请方的第一终端可以观看第一作品和第二作品。当第二作品录制并审核通过后,说明第二作品对应的合唱已完成,则可以将第二作品对应的待合唱曲目从第二终端的待合唱歌曲列表中移除,比如《故梦》的第二作品审核通过后,则将第二终端如图13所示的张北北发起的《故梦》待合唱曲目移除。
此外,通过合唱条目中的转发键K7,可以将录制完成的第二作品转发给联系人列表中的联系人,或者转发至相关社交通信账户的联系人/朋友圈/QQ空间等,从而实现合录音视频作品的资源分享;通过删除键K8,可以删除对应的合唱条目,使其不再显示于合唱作品列表中。通过K3可以使用户获知合唱作品的试听量,K4可以使用户获知合唱作品的转发量。
图21示出一种在执行合录音视频作品状态显示方法时第一终端、服务器和第二终端之间的交互逻辑,对应于第二终端响应合唱请求的情况:
第一终端:录制第一作品;响应于第一作品录制完成,在合唱作品列表中***与第一作品对应的第一合唱条目,并将第一作品上传至服务器;
服务器:响应于接收到第一终端上传的第一作品,向第一终端回传第一作品的URL;
第一终端:响应于接收到服务器回传的第一作品的URL,存储第一作品的URL;将第一作品的URL与第一合唱条目中的第一播放控件关联;
服务器:对第一作品进行审核,并生成第一审核状态信息;向第一终端发送第一审核状态信息;
第一终端:根据服务器发送的第一作品的第一审核状态信息,控制第一合唱条目显示与第一作品的审核进程匹配的状态信息;
服务器:响应于在第一作品审核成功,向第二终端发送合唱请求,以及,向第一终端发送第一响应状态信息;
第一终端:响应于接收到服务器发送的第一响应状态信息,控制第一合唱条目将显示的与第一作品的审核进程匹配的状态信息变更为待响应指示;
第二终端:响应于接收到服务器发送的合唱请求,在待合唱歌曲列表中***与合唱请求对应的待合唱曲目;
第二终端:响应合唱请求;
服务器:响应于合唱请求被第二终端响应,将第一作品发送至第二终端,以及,向第一终端发送第二响应状态信息;
第一终端:响应于接收到服务器发送的第二响应状态信息,控制第一合唱条目将显示的待响应指示变更为已响应指示;
第二终端:根据服务器发送的第一作品,录制第二作品;响应于第二作品录制完成,在合唱作品列表中***与第二作品对应的第一合唱条目,并将第二作品上传至服务器;
服务器:响应于接收到第二终端上传的第二作品,向第二终端回传第二作品的URL;
第二终端:响应于接收到服务器回传的第二作品的URL,存储第二作品的URL;将第二作品的URL与第一合唱条目中的第一播放控件关联;
服务器:对第二作品进行审核,根据所述第二作品的审核进程,分别生成第二审核状态信息和第三审核状态信息;向第一终端发送第二审核状态信息,向第二终端发送第三审核状态信息;
第一终端:根据服务器发送的第二作品的第二审核状态信息,控制第一合唱条目显示与第二作品的审核进程匹配的状态信息;
第二终端:根据服务器发送的第二作品的第三审核状态信息,控制第一合唱条目显示与第二作品的审核进程匹配的状态信息;
服务器:响应于第二作品审核成功,向第一终端发送第二作品的URL;
第一终端:响应于接收到服务器发送的第二作品的URL,存储第二作品的URL;对第二作品的URL进行关联处理;其中,对第二作品的URL进行关联处理为将第二作品的URL与第一合唱条目中的第一播放控件关联,或者,将第二作品的URL与第一合唱条目中的第二播放控件关联,或者,根据第二作品的URL关联生成第二合唱条目;
第二终端:响应于第二作品审核成功,将第二作品对应的待合唱曲目从待合唱歌曲列表中移除,即当第二作品未审核通过时,可以将第二作品对应的待合唱曲目保留在待合唱歌曲列表中,方便第二终端在如图13的页面重新响应待合唱曲目对应的合唱请求,从而重新录制第二作品,第二作品审核通过,则此次合唱录制有效,即可将待合唱曲目从待合唱歌曲列表中移除。
图22示出另一种在执行合录音视频作品状态显示方法时第一终端、服务器和第二终端之间的交互逻辑,对应于第二终端拒绝合唱请求的情况:
第一终端:录制第一作品;响应于第一作品录制完成,在合唱作品列表中***与第一作品对应的第一合唱条目,并将第一作品上传至服务器;
服务器:响应于接收到第一终端上传的第一作品,向第一终端回传第一作品的URL;
第一终端:响应于接收到服务器回传的第一作品的URL,存储第一作品的URL;将第一作品的URL与第一合唱条目中的第一播放控件关联;
服务器:对第一作品进行审核,并生成第一审核状态信息;向第一终端发送第一审核状态信息;
第一终端:根据服务器发送的第一作品的第一审核状态信息,控制第一合唱条目显示与第一作品的审核进程匹配的状态信息;
服务器:响应于在第一作品审核成功,向第二终端发送合唱请求,以及,向第一终端发送第一响应状态信息;
第一终端:响应于接收到服务器发送的第一响应状态信息,控制第一合唱条目将显示的与第一作品的审核进程匹配的状态信息变更为待响应指示;
第二终端:响应于接收到服务器发送的合唱请求,在待合唱歌曲列表中***与合唱请求对应的待合唱曲目;
第二终端:拒绝合唱请求,向服务器发送拒绝合唱请求的消息;将待合唱曲目从待合唱歌曲列表中移除;
服务器:响应于接收到第二终端拒绝合唱请求的消息,向第一终端发送第三状态响应信息;
第一终端:响应于接收到服务器发送的第三响应状态信息,控制第一合唱条目将显示的待响应指示变更为未接受邀请指示。
由以上技术方案可知,在第二作品上传服务器审核时,服务器可以根据第二作品的审核进程准确地指示第一终端所要显示的第二作品审核的状态信息,使邀请方也能够实时准确地获知被邀请方参与合唱录制的第二作品的审核状态。此外,还能通过服务器,对第一终端和第二终端中合唱条目的全进程状态进行动态更新显示,使得合唱双方能够实时准确获知合唱进程状态,通过对合唱条目结构化设计,使用户能方便掌握和使用相关功能。
以上实施例中关于第一终端第一作品以及第二终端第二作品的录制过程、审核过程,可根据相关支持K歌合唱的社交应用类软件进行适应性调节和变化,以上实施例仅仅为示例性的,终端中进行合唱录制时的各个显示界面、界面内容、状态信息显示形式以及应用具有的功能等方面,均可根据实际应用需求而灵活设定,不限于本实施例所述。
本申请实施例还提供一种服务器,包括但不限于:
通信器,用于与第一终端和第二终端通信连接;
控制器,被配置为执行:
响应于接收到第二终端上传的第二作品,对所述第二作品进行审核;所述第二作品为被邀请的第二终端响应合唱请求后,根据审核通过的第一作品录制并上传的音视频作品;所述第一作品为在第一终端录制生成的音视频作品;
根据所述第二作品的审核进程生成第二审核状态信息;
向所述第一终端发送所述第二审核状态信息,所述第二审核状态信息用于指示所述第一终端显示与所述第二作品的审核进程匹配的状态信息。
服务器中的控制器还被配置为执行前述服务器端方法实施例中的其他程序步骤,可参照前述相关说明,这里不再赘述。
在本申请其他实施例中,还提供一种终端设备,所述终端设备的硬件***结构包括显示屏、麦克风、摄像头、存储器、通信器和控制器等,显示器用于向用户显示如说明书附图中示例的界面和状态信息等,以及支持用户对显示界面的操作,比如输入信息和切换页面等,用户对显示界面的操作可以通过输入设备实现,也可以通过手势操作或者触屏操作来实现。存储器用于存储程序指令、第一作品的URL和第二作品的URL等内容;终端设备的通信器用于与服务器通信连接;终端设备的控制器被配置为调用并执行存储器中的程序指令,以执行如上第一终端/第二终端执行的部分或全部步骤,当终端设备发起合唱时,该终端设备可视为第一终端,则与其进行一对一合唱交互的另一终端设备可视为第二终端;当终端设备作为被邀请方参与发起人的合唱时,终该端设备可视为第二终端,则与其进行一对一合唱交互的另一终端设备可视为第一终端。此外,终端设备还应包括输入输出设备、网络设备等必要的硬件设备,如遥控器、键盘、鼠标、机顶盒、路由器和交换机等。
由于智能电视终端对合唱录制过程中生成的第一作品和第二作品需要进行更严格的审核,在本申请可选的方案中,第一终端和第二终端中至少有一个为显示设备,比如智能电视。本申请实施例示出一种具有双***硬件结构的显示设备,并针对其结构、功能和实现方式等方面进行详细说明。
为便于用户使用,显示设备上通常会设置各种外部装置接口,以便于连接不同的外设设备或线缆以实现相应的功能。而在显示设备的接口上连接有高清晰度的摄像头时,如果显示设备的硬件***没有接收源码的高像素摄像头的硬件接口,那么就会导致无法将摄像头接收到的数据呈现到显示设备的显示屏上。
并且,受制于硬件结构,传统显示设备的硬件***仅支持一路硬解码资源,且通常最大仅能支持4K分辨率的视频解码,因此当要实现边观看网络电视边进行视频聊天时,为了不降低网络视频画面清晰度,就需要使用硬解码资源(通常是硬件***中的GPU)对网络视频进行解码,而在此情况下,只能采取由硬件***中的通用处理器(例如CPU)对视频进行软解码的方式处理视频聊天画面。
采用软解码处理视频聊天画面,会大大增加CPU的数据处理负担,当CPU的数据处理负担过重时,可能会出现画面卡顿或者不流畅的问题。进一步的,受制于CPU的数据处理能力,当采用CPU软解码处理视频聊天画面时,通常无法实现多路视频通话,当用户想要再同一聊天场景同时与多个其他用户进行视频聊天时,会出现接入受阻的情况。
基于上述各方面的考虑,为克服上述缺陷,本申请公开了一种双硬件***架构,以实现多路视频聊天数据(至少一路本地视频)。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是,以下对各个概念的说明,仅为了使本申请的内容更加容易理解,并不表示对本申请保护范围的限定。
本申请各实施例中使用的术语″模块″,可以是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请各实施例中使用的术语″遥控器″,是指电子设备(如本申请中公开的显示设备)的一个组件,该组件通常可在较短的距离范围内无线控制电子设备。该组件一般可以使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请各实施例中使用的术语″手势″,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
本申请各实施例中使用的术语″硬件***″,可以是指由集成电路(IntegratedCircuit,IC)、印刷电路板(Printed circuit board,PCB)等机械、光、电、磁器件构成的具有计算、控制、存储、输入和输出功能的实体部件。在本申请各个实施例中,硬件***通常也会被称为主板(motherboard)或芯片。
图23中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图23所示,用户可通过控制装置100来操作显示设备200。
其中,控制装置100可以是遥控器100A,其可与显示设备200之间通过红外协议通信、蓝牙协议通信、紫蜂(ZigBee)协议通信或其他短距离通信方式进行通信,用于通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
控制装置100也可以是智能设备,如移动终端100B、平板电脑、计算机、笔记本电脑等,其可以通过本地网(LAN,Local Area Network)、广域网(WAN,Wide Area Network)、无线局域网((WLAN,Wireless Local Area Network)或其他网络与显示设备200之间通信,并通过与显示设备200相应的应用程序实现对显示设备200的控制。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(UI,User Interface)为用户提供各种控制。
示例的,移动终端100B与显示设备200均可安装软件应用,从而可通过网络通信协议实现二者之间的连接通信,进而实现一对一控制操作的和数据通信的目的。如:可以使移动终端100B与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端100B上,通过控制移动终端100B上用户界面,实现控制显示设备200的功能;也可以将移动终端100B上显示的音视频内容传输到显示设备200上,实现同步显示功能。
如图23所示,显示设备200还可与服务器300通过多种通信方式进行数据通信。在本申请各个实施例中,可允许显示设备200通过局域网、无线局域网或其他网络与服务器300进行通信连接。服务器300可以向显示设备200提供各种内容和互动。
示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG,ElectronicProgram Guide)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器300可以是一组,也可以是多组,可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
显示设备200,一方面讲,可以是液晶显示器、OLED(Organic Light EmittingDiode)显示器、投影显示设备;另一方面讲,显示设备被可以是智能电视或显示器和机顶盒组成的显示***。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上的一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。示例的包括,网络电视、智能电视、互联网协议电视(IPTV)等。在一些实施例中,显示设备可以不具备广播接收电视功能。
如图23所述,显示设备上可以连接或设置有摄像头,用于将摄像头拍摄到的画面呈现在本显示设备或其他显示设备的显示界面上,以实现用户之间的交互聊天。具体的,摄像头拍摄到的画面可在显示设备上全屏显示、半屏显示、或者显示任意可选区域。
作为一种可选的连接方式,摄像头通过连接板与显示器后壳连接,固定安装在显示器后壳的上侧中部,作为可安装的方式,可以固定安装在显示器后壳的任意位置,能保证其图像采集区域不被后壳遮挡即可,例如,图像采集区域与显示设备的显示朝向相同。
作为另一种可选的连接方式,摄像头通过连接板或者其他可想到的连接器可升降的与显示后壳连接,连接器上安装有升降马达,当用户要使用摄像头或者有应用程序要使用摄像头时,再升出显示器之上,当不需要使用摄像头时,其可内嵌到后壳之后,以达到保护摄像头免受损坏和保护用户的隐私安全。
作为一种实施例,本申请所采用的摄像头可以为1600万像素,以达到超高清显示目的。在实际使用中,也可采用比1600万像素更高或更低的摄像头。
当显示设备上安装有摄像头以后,显示设备不同应用场景所显示的内容可得到多种不同方式的融合,从而达到传统显示设备无法实现的功能。
示例性的,用户可以在边观看视频节目的同时,与至少一位其他用户进行视频聊天。视频节目的呈现可作为背景画面,视频聊天的窗口显示在背景画面之上。形象的,可以称该功能为″边看边聊″。
可选的,在″边看边聊″的场景中,在观看直播视频或网络视频的同时,跨终端的进行至少一路的视频聊天。
另一示例中,用户可以在边进入教育应用学习的同时,与至少一位其他用户进行视频聊天。例如,学生在学习教育应用程序中内容的同时,可实现与老师的远程互动。形象的,可以称该功能为″边学边聊″。
另一示例中,用户在玩纸牌游戏时,与进入游戏的玩家进行视频聊天。例如,玩家在进入游戏应用参与游戏时,可实现与其他玩家的远程互动。形象的,可以称该功能为″边看边玩″。
可选的,游戏场景与视频画面进行融合,将视频画面中人像进行抠图,显示在游戏画面中,提升用户体验。
可选的,在体感类游戏中(如打球类、拳击类、跑步类、跳舞类等),通过摄像头获取人体姿势和动作,肢体检测和追踪、人体骨骼关键点数据的检测,再与游戏中动画进行融合,实现如体育、舞蹈等场景的游戏。
另一示例中,用户可以在K歌应用中,与至少一位其他用户进行视频和语音的交互。形象的,可以称该功能为″边看边唱″。可选地,当至少一位用户在聊天场景进入该应用时,可多个用户共同完成一首歌的录制。
另一个示例中,用户可在本地打开摄像头获取图片和视频,形象的,可以称该功能为″照镜子″。
在另一些示例中,还可以再增加更多功能或减少上述功能。本申请对该显示设备的功能不作具体限定。
图24中示例性示出了根据示例性实施例中控制装置100的配置框图。如图24所示,控制装置100包括控制器110、通信器130、用户输入/输出接口140、存储器190、供电电源180。
控制装置100被配置为可控制所述显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起到用户与显示设备200之间交互中介作用。如:用户通过操作控制装置100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制装置100可是一种智能设备。如:控制装置100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图23所示,移动终端100B或其他智能电子设备,可在安装操控显示设备200的应用之后,起到控制装置100类似功能。如:用户可以通过安装应用,在移动终端100B或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制装置100实体按键的功能。
控制器110包括处理器112、RAM 113和ROM 114、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信器130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信器130可包括WIFI模块131、蓝牙模块132、NFC模块133等通信模块中至少一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以是红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制装置100包括通信器130和输出接口中至少一者。控制装置100中配置通信器130,如:WIFI、蓝牙、NFC等模块,可将用户输入指令通过WIFI协议、或蓝牙协议、或NFC协议编码,发送至显示设备200.
存储器190,用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器110的控制下为控制装置100各电器元件提供运行电力支持。可以电池及相关控制电路。
图25中示例性示出根据示例性实施例中显示设备200中硬件***的硬件配置框图。
在采用双硬件***架构时,硬件***的机构关系可以图25所示。第一控制器包含第一控制器的各类处理器及各类接口,第二控制器则包含第二控制器的各类处理器及各类接口。第一控制器及第二控制器中可以各自安装有相对独立的操作***,第二控制器的操作***和第一控制器的操作***可以通过通信协议相互通信,示例性的:第二控制器的操作***的framework层和第一控制器的操作***的framework层可以进行通信进行命令和数据的传输,从而使显示设备200中存在两个在独立但又存在相互关联的子***。
如图25所示,第二控制器与第一控制器之间可以通过多个不同类型的接口实现连接、通信及供电。第二控制器与第一控制器之间接口的接口类型可以包括通用输入输出接口(General-purpose input/output,GPIO)、USB接口、HDMI接口、UART接口等。第二控制器与第一控制器之间可以使用这些接口中的一个或多个进行通信或电力传输。例如图25所示,在双硬件***架构下,可以由外接的电源(power)为第一控制器供电,而第二控制器则可以不由外接电源,而由第一控制器供电。可选地,外接电源也可以分别连接第一控制器和第二控制器,给第一控制器和第二控制器供电。
除用于与第一控制器进行连接的接口之外,第二控制器还可以包含用于连接其他设备或组件的接口,例如图25中所示的用于连接摄像头(Camera)的MIPI接口,蓝牙接口等。
类似的,除用于与第一控制器进行连接的接口之外,第一控制器还可以包含用于连接显示屏TCON(Timer Control Register)的VBY接口,用于连接功率放大器(Amplifier,AMP)及扬声器(Speaker)的I2S接口;以及IR/Key接口,USB接口,Wifi接口,蓝牙接口,HDMI接口,Tuner接口等。
下面结合图26对本申请双硬件***架构进行进一步的说明。需要说明的是图26仅仅是对本申请双硬件***架构的一个示例性说明,并不表示对本申请的限定。在实际应用中,两个硬件***均可根据需要包含更多或更少的硬件或接口。
图26中示例性示出了根据图25显示设备200的硬件架构框图。如图26所示,显示设备200的硬件***以包括第一控制器210和第二控制器310,以及通过各类接口与第一控制器210或第二控制器310相连接的模块。
第一控制器210主要实现传统电视功能(比如可以外接机顶盒等),第二控制器310可以用于接收第一控制器210发送的指令。
与第一控制器210连接的模块可以包括调谐解调器220、通信器230、外部装置接口250、存储器290、用户输入接口260-3、视频处理器260-1、音频处理器260-2、第一显示器280、音频输出接口270、供电模块240。在其他实施例中第一控制器210也可以包括更多或更少的模块。
在其他实施例中,第一控制器210也可以连接更多或者更少的模块。
在其他实施例中,第一控制器210可以包括上述任意一个或者多个模块在内。当上述任意一个或者多个模块包含于第一控制器210时,所述第一控制器210可以不用连接具有相同功能的模块。
其中,调谐解调器220,用于对通过有线或无线方式接收广播电视信号,进行放大、混频和谐振等调制解调处理,从而从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号,以及附加信息(例如EPG数据信号)。根据电视信号广播制式不同,调谐解调器220的信号途径可以有很多种,诸如:地面广播、有线广播、卫星广播或互联网广播等;以及根据调制类型不同,所述信号的调整方式可以数字调制方式,也可以模拟调制方式;以及根据接收电视信号种类不同,调谐解调器220可以解调模拟信号和/或数字信号。
调谐解调器220,还用于根据用户选择,以及由第一控制器210控制,响应用户选择的电视频道频率以及该频率所携带的电视信号。
在其他一些示例性实施例中,调谐解调器220也可在外置设备中,如外置机顶盒等。这样,机顶盒通过调制解调后输出电视音视频信号,经过外部装置接口250输入至显示设备200中。
通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器230可以包括WIFI模块231,蓝牙通信协议模块232,有线以太网通信协议模块233,及红外通信协议模块等其他网络通信协议模块或近场通信协议模块(图中未示出)。
显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如,通信器可根据控制器的控制接收遥控器100A的控制信号。
外部装置接口250,是提供第一控制器210和第二控制器及外部其他设备间数据传输的组件。外部装置接口250可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接,可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中,外部装置接口250可以包括:高清多媒体接口(HDMI)端子也称之为HDMI251、复合视频消隐同步(CVBS)端子也称之为AV252、模拟或数字分量端子也称之为分量253、通用串行总线(USB)端子也称为USB254、红绿蓝(RGB)端子(图中未示出)等任一个或多个。本申请不对外部装置接口的数量和类型进行限制。
第一控制器210,通过运行存储在存储器290上的各种软件控制程序(如操作***和/或各种应用程序),来控制显示设备200的工作和响应用户的操作。
如图26所示,第一控制器210包括只读存储器RAM214、随机存取存储器ROM213、图形处理器216、CPU处理器212、通信接口218、以及通信总线。其中,RAM214和ROM213以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。
ROM213,用于存储各种***启动的指令。如在收到开机信号时,显示设备200电源开始启动,CPU处理器212运行ROM213中***启动指令,将存储在存储器290的操作***拷贝至RAM214中,以开始运行启动操作***。当操作***启动完成后,CPU处理器212再将存储器290中各种应用程序拷贝至RAM214中,然后,开始运行启动各种应用程序。
图形处理器216,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在第一显示器280上。
CPU处理器212,用于执行存储在存储器290中操作***和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器212,可以包括多个处理器。所述多个处理器中可包括一个主处理器以及多个或一个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。多个或一个子处理器,用于执行在待机模式等状态下的一种操作。
通信接口218,可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
第一控制器210可以控制显示设备200的整体操作。例如:响应于接收到用于选择在第一显示器280上显示UI对象的用户命令,第一控制器210便可以执行与由用户命令选择的对象有关的操作。
其中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器290,包括存储用于驱动和控制显示设备200的各种软件模块。如:存储器290中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等(图中未示出)。
其中,基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块是用于控制第一显示器280进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,是用于与外部设备之间进行控制和数据通信的模块。浏览器模块,是用于执行浏览服务器之间数据通信的模块。服务模块,是用于提供各种服务以及各类应用程序在内的模块。
同时,存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
用户输入接口260-3,用于将用户的输入信号发送给第一控制器210,或者,将从第一控制器210输出的信号传送给用户。示例性的,控制装置(例如移动终端100B或遥控器100A)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口,再由用户输入接口260-3转送至第一控制器210;或者,控制装置可接收经第一控制器210处理从用户输入接口260-3输出的音频、视频或数据等输出信号,并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
在一些实施例中,用户可在第一显示器280上显示的图形用户界面(GUI)输入用户命令,则用户输入接口260-3通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口260-3通过传感器识别出声音或手势,来接收用户输入命令。
显示器280上显示或播放的视频信号。
示例的,视频处理器260-1,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等(图中未示出)。
显显示器280上显示或播放的视频信号。
示例的,视频处理器260-1,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等(图中未示出)。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频画面进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对输入视频的帧率进行转换,如将输入的24Hz、25Hz、30Hz、60Hz视频的帧率转换为60Hz、120Hz或240Hz的帧率,其中,输入帧率可以与源视频流有关,输出帧率可以与显示器的刷新率有关。显示格式化模块,用于将帧率转换模块输出的信号,改变为符合诸如显示器显示格式的信号,如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。
第一显示器280,用于接收源自视频处理器260-1输入的图像信号,进行显示视频内容和图像以及菜单操控界面。第一显示器280包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。显示视频内容,可以来自调谐解调器220接收的广播信号中的视频,也可以来自通信器或外部设备接口输入的视频内容。第一显示器280,同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。
以及,根据第一显示器280类型不同,还包括用于驱动显示的驱动组件。或者,倘若第一显示器280为一种投影显示器,还可以包括一种投影装置和投影屏幕。
音频处理器260-2,用于接收音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等音频数据处理,得到可以在扬声器272中播放的音频信号。
音频输出接口270,用于在第一控制器210的控制下接收音频处理器260-2输出的音频信号,音频输出接口可包括扬声器272,或输出至外接设备的发生装置的外接音响输出端子274,如:外接音响端子或耳机输出端子等。
在其他一些示例性实施例中,视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2,也可以包括一个或多个芯片组成。
以及,在其他一些示例性实施例中,视频处理器260-1和音频处理器260-2,可以为单独的芯片,也可以与第一控制器210一起集成在一个或多个芯片中。
供电模块240,用于在第一控制器210控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电模块240可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部的电源,如在显示设备200中提供外接电源的电源接口。
如图26所示,与第二控制器310连接的模块可以包括通信器330、检测器340、存储器390。在某些实施例中还可以包括用户输入接口、视频处理器360-1、音频处理器360-2、显示器、音频输出接口(图中未示出)。在某些实施例中,也可以存在独立为第二控制器310供电的供电模块((图中未示出))。
在一些实施例中,第二控制器310也可以连接更多或更少的模块。
在一些实施例中,第二控制器310可以包括上述任意一个或者多个模块在内。当上述任意一个或者多个模块包含于第二控制器310时,所述第一控制器210可以不用连接具有相同功能的模块。
通信器330是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器330可以包括WIFI模块331,蓝牙通信协议模块332,有线以太网通信协议模块333,及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。(图中未示出)
第二控制器310的通信器330和第一控制器210的通信器230也有相互交互。例如,第一控制器210硬件***内的WiFi模块231用于连接外部网络,与外部服务器等产生网络通信。第二控制器310硬件***内的WiFi模块331用于连接至第一控制器210的WiFi模块231,而不与外界网络等产生直接连接,第二控制器310通过第一控制器210连接外部网络。因此,对于用户而言,一个如上述实施例中的显示设备至对外显示一个WiFi账号。
检测器340,是显示设备第二控制器310用于采集外部环境或与外部交互的信号的组件。检测器340可以包括光接收器342,用于采集环境光线强度的传感器,可以通过采集环境光来自适应显示参数变化等;还可以包括图像采集器341,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
外部装置接口350,提供第二控制器310与第一控制器210或外部其他设备间数据传输的组件。外部装置接口350可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接。
视频处理器360-1,用于处理相关视频信号。
第二控制器310,通过运行存储在存储器390上的各种软件控制程序(如用安装的第三方应用等),以及与第一控制器210的交互,来控制显示设备200的工作和响应用户的操作。
如图26所示,第二控制器310包括只读存储器ROM313、随机存取存储器RAM314、图形处理器316、CPU处理器312、通信接口318、以及通信总线。其中,ROM313和RAM314以及图形处理器316、CPU处理器312、通信接口318通过总线相连接。
ROM313,用于存储各种***启动的指令。CPU处理器312运行ROM313中***启动指令,将存储在存储器390的操作***拷贝至RAM314中,以开始运行启动操作***。当操作***启动完成后,CPU处理器312再将存储器390中各种应用程序拷贝至RAM314中,然后,开始运行启动各种应用程序。
CPU处理器312,用于执行存储在存储器390中操作***和应用程序指令,和与第一控制器210进行通信、信号、数据、指令等传输与交互,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
通信接口318为多个,可包括第一接口318-1到第n接口318-n。这些接口可以是经由网络被连接到外部设备的网络接口,也可以是经由网络被连接到第一控制器210的网络接口。
第二控制器310可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器280上显示UI对象的用户命令,第一控制器210便可以执行与由用户命令选择的对象有关的操作。
图形处理器316,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在第一显示器280上。
第二控制器310的图形处理器316与第一控制器210的图形处理器216均能产生各种图形对象。区别性的,若应用1安装于第二控制器310,应用2安装在第一控制器210,当用户在应用1的界面,且在应用1内进行用户输入的指令时,由第二控制器310的图形处理器316产生图形对象。当用户在应用2的界面,且在应用2内进行用户输入的指令时,由第一控制器210的图形处理器216产生图形对象。
图27中示例性示出了根据示例性实施例中显示设备的功能配置示意图。
如图27所示,第二控制器的存储器390和第一控制器的存储器290分别用于存储操作***、应用程序、内容和用户数据等,在第二控制器310和第一控制器210的控制下执行驱动显示设备200的***运行以及响应用户的各种操作。第二控制器的存储器390和第一控制器的存储器290可以包括易失性和/或非易失性存储器。
对于第一控制器210,存储器290,具体用于存储驱动显示设备200中第一控制器210的运行程序,以及存储显示设备200内置各种应用程序,以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面,以及与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用程序的内部数据。存储器290用于存储操作***(OS)内核、中间件和应用等***软件,以及存储输入的视频数据和音频数据、及其他用户数据。
存储器290,具体用于存储视频处理器260-1和音频处理器260-2、第一显示器280、通信器230、调谐解调器220、输入/输出接口等驱动程序和相关数据。
在一些实施例中,存储器290可以存储软件和/或程序,用于表示操作***(OS)的软件程序包括,例如:内核、中间件、应用编程接口(API)和/或应用程序。示例性的,内核可控制或管理***资源,或其它程序所实施的功能(如所述中间件、API或应用程序),以及内核可以提供接口,以允许中间件和API,或应用访问控制器,以实现控制或管理***资源。
示例的,存储器290,包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、第一音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作***2911、以及应用程序2912、浏览器模块(图中未示出)等等。第一控制器210通过运行存储器290中各种软件程序,来执行诸如:广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。
存储器390,包括存储用于驱动和控制显示设备200的各种软件模块。如:存储器390中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等(图中未示出)。由于存储器390与存储器290的功能比较相似,相关之处参见存储器290即可,在此就不再赘述。
示例的,存储器390,包括图像控制模块3904、第二音频控制模块3906、外部指令识别模块3907、通信控制模块3908、光接收模块3909、操作***3911、以及应用程序3912、浏览器模块3913等等。第二控制器310通过运行存储器390中各种软件程序,来执行诸如:图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。
区别性的,第一控制器的外部指令识别模块2907和第二控制器的外部指令识别模块3907可识别不同的指令。
示例性的,由于摄像头等图像接收设备与第二控制器310连接,因此,第二控制器的外部指令识别模块3907可包括图形识别模块3907-1,图形识别模块3907-1内存储有图形数据库,摄像头接收到外界的图形指令时,与图形数据库中的指令进行对应关系,以对显示设备作出指令控制。而由于语音接收设备以及遥控器与第一控制器210连接,因此,第一控制器的外部指令识别模块2907可包括语音识别模块2907-2,语音识别模块2907-2内存储有语音数据库,语音接收设备等接收到外界的语音指令或时,与语音数据库中的指令进行对应关系,以对显示设备作出指令控制。同样的,遥控器等控制装置100与第一控制器210连接,由按键指令识别模块2907-3与控制装置100进行指令交互。
图28(a)中示例性示出根据示例性实施例中显示设备200中软件***的配置框图。
对第一控制器210,如图28(a)中所示,操作***2911,包括用于处理各种基础***服务和用于实施硬件相关任务的执行操作软件,充当应用程序和硬件组件之间完成数据处理的媒介。
一些实施例中,部分操作***内核可以包含一系列软件,用以管理显示设备硬件资源,并为其他程序或软件代码提供服务。
其他一些实施例中,部分操作***内核可包含一个或多个设备驱动器,设备驱动器可以是操作***中的一组软件代码,帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的,包括显示器、摄像头、Flash、WiFi和音频驱动器。
其中,可访问性模块2911-1,用于修改或访问应用程序,以实现应用程序的可访问性和对其显示内容的可操作性。
通信模块2911-2,用于经由相关通信接口和通信网络与其他外设的连接。
用户界面模块2911-3,用于提供显示用户界面的对象,以供各应用程序访问,可实现用户可操作性。
控制应用程序2911-4,用于控制进程管理,包括运行时间应用程序等。
事件传输***2914,可在操作***2911内或应用程序2912中实现。一些实施例中,一方面在在操作***2911内实现,同时在应用程序2912中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
其中,事件监听模块2914-1,用于监听用户输入接口输入事件或子事件。
事件识别模块2914-2,用于对各种用户输入接口输入各类事件的定义,识别出各种事件或子事件,且将其传输给处理用以执行其相应一组或多组的处理程序。
其中,事件或子事件,是指显示设备200中一个或多个传感器检测的输入,以及外界控制设备(如控制装置100等)的输入。如:语音输入各种子事件,手势识别的手势输入子事件,以及控制装置的遥控按键指令输入的子事件等。示例的,遥控器中一个或多个子事件包括多种形式,包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作,如移动、按住、释放等操作。
界面布局管理模块2913,直接或间接接收来自于事件传输***2914监听到各用户输入事件或子事件,用于更新用户界面的布局,包括但不限于界面中各控件或子控件的位置,以及容器的大小或位置、层级等与界面布局相关各种执行操作。
由于第二控制器的操作***3911与第一控制器的操作***2911的功能比较相似,相关之处参见操作***2911即可,在此就不再赘述。
如图28(b)中所示,显示设备的应用程序包含可在显示设备200执行的各种应用程序。
第一控制器的应用程序2912可包含但不限于一个或多个应用程序,如:视频点播应用程序、应用程序中心、游戏应用等。第二控制器的应用程序3912可包含但不限于一个或多个应用程序,如:直播电视应用程序、媒体中心应用程序等。需要说明的是,第二控制器和第一控制器上分别包含什么应用程序是根据操作***和其他设计确定的,本发明无需对第二控制器和第一控制器上所包含的应用程序做具体的限定和划分。
直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机***或其他设备相关但可以在显示设备中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
图29中示例性示出了根据示例性实施例中显示设备200中用户界面的示意图。如图29所示,用户界面包括多个视图显示区,示例的,第一视图显示区201和播放画面202,其中,播放画面包括布局一个或多个不同项目。以及用户界面中还包括指示项目被选择的选择器,可通过用户输入而移动选择器的位置,以改变选择不同的项目。
需要说明的是,多个视图显示区可以呈现不同层级的显示画面。如,第一视图显示区可呈现视频聊天项目内容,第二视图显示区可呈现应用层项目内容(如,网页视频、VOD展示、应用程序画面等)。
可选的,不同视图显示区的呈现存在优先级区别,优先级不同的视图显示区之间,视图显示区的显示优先级不同。如,***层的优先级高于应用层的优先级,当用户在应用层使用获取选择器和画面切换时,不遮挡***层的视图显示区的画面展示;以及,根据用户的选择使应用层的视图显示区的大小和位置发生变化时,***层的视图显示区的大小和位置不受影响。
也可以呈现相同层级的显示画面,此时,选择器可以在第一视图显示区和第二视图显示区之间做切换,以及当第一视图显示区的大小和位置发生变化时,第二视图显示区的大小和位置可随及发生改变。
由于第二控制器310及第一控制器210中可能分别安装有独立的操作***,从而使显示设备200中存在两个在独立但又存在相互关联的子***。例如,第二控制器310和第一控制器210均可以独立安装有安卓(Android)及各类APP,使得每个芯片均可以实现一定的功能,并且使第二控制器310和第一控制器210协同实现某项功能。
以终端设备为上述双***架构的显示设备为例,即包括第一控制器210和第二控制器310,通过第一终端的第一控制器210使用户A(邀请方/合唱发起方)选出联系人列表中的一位用户B作为被邀请方,然后跳转至第一终端的第二控制器310,使用户A继续选出想要与被邀请方进行合唱的待合唱曲目,在第一终端的第一控制器210中由麦克风采集用户A演唱的音频,通过HDMI将音频数据传输至第二控制器310;第二控制器310收到音频数据之后,对音频数据进行编解码操作,并在第一终端的第二控制器310中由摄像头采集用户A演唱时拍摄到的视频图像,在第二控制器310中对视频数据进行编解码操作,最终将第一控制器210采集的人声音频以及第二控制器310采集的视频合成一个总的音视频文件,从而完成第一作品的录制,第二作品的录制过程可参照第一作品,这里不再赘述。采用并行的第一控制器210和第二控制器310进行双***通信,可以保证作品录制时视频和音频之间的低延迟,从而提高合录音视频作品的录制效果和播放效果。
如图30所示,为第一作品和第二作品状态信息显示的交互逻辑图,图30中显示了从第一终端选择联系人到录制第一作品,直至第二终端录制的第二作品审核通过的整体流程,以及第一终端和第二终端的第一合唱条目状态信息的显示和变更,可参照以上各实施例的相关描述和说明,此处不再赘述。
本说明书中各个实施例之间相同相似的部分互相参照即可。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,并不构成对本发明保护范围的限定。本发明的真正范围和精神由所附的权利要求指出。
Claims (15)
1.一种合录音视频作品状态显示方法,用于服务器,其特征在于,包括:
响应于接收到第二终端上传的第二作品,对所述第二作品进行审核;所述第二作品为被邀请的第二终端响应第一终端发起的合唱请求后,根据审核通过的第一作品录制并上传的音视频作品;所述第一作品为在第一终端录制生成的音视频作品;所述第一作品是录制合唱歌曲中邀请方用户单独演唱的段落和合唱段落;所述第二作品是在所述第一作品的基础上,继续录制所述合唱歌曲中被邀请用户单独演唱的段落和所述合唱段落而得到的完整的合录音视频作品;
根据所述第二作品的审核进程生成第二审核状态信息;
向所述第一终端发送所述第二审核状态信息,所述第二审核状态信息用于指示所述第一终端显示与所述第二作品的审核进程匹配的状态信息。
2.根据权利要求1所述的方法,其特征在于,响应于接收到第二终端上传的第二作品,对所述第二作品进行审核之前,所述方法还包括:
响应于接收到第一终端上传的第一作品,向所述第一终端回传所述第一作品的URL,以使所述第一终端根据所述第一作品的URL关联生成第一合唱条目;
对所述第一作品进行审核,并生成第一审核状态信息;
向所述第一终端发送所述第一审核状态信息,所述第一审核状态信息用于指示所述第一终端在所述第一合唱条目显示与所述第一作品的审核进程匹配的状态信息。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于在所述第一作品审核成功,向所述第二终端发送合唱请求,以及,向所述第一终端发送第一响应状态信息,所述第一响应状态信息用于指示所述第一终端将所述第一合唱条目显示的与所述第一作品的审核进程匹配的状态信息变更为待响应指示。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
响应于所述合唱请求被所述第二终端响应,将所述第一作品发送至所述第二终端;
以及,向所述第一终端发送第二响应状态信息,所述第二响应状态信息用于指示所述第一终端将所述第一合唱条目显示的所述待响应指示变更为已响应指示。
5.根据权利要求1所述的方法,其特征在于,在对所述第二作品进行审核之前,所述方法还包括:
响应于接收到所述第二终端上传的第二作品,向所述第二终端回传所述第二作品的URL;
在对所述第二作品后进行审核之后,所述方法还包括:
向所述第二终端发送第三审核状态信息,所述第三审核状态信息用于指示所述第二终端显示与所述第二作品的审核进程匹配的状态信息。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于接收到所述第一终端在第二作品审核成功后发送的第二作品请求,或者响应于所述第二作品审核成功,向所述第一终端发送所述第二作品的URL,以使所述第一终端根据所述第二作品的URL生成第二合唱条目,其中,所述第二合唱条目和所述第一合唱条目分别位于不同的类别控件对应的不同的条目集合中。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
响应于接收到所述第二终端拒绝所述合唱请求的消息,向所述第一终端发送第三状态响应信息,所述第三状态响应信息用于指示所述第一终端将所述第一合唱条目显示的所述待响应指示变更为未接受邀请指示。
8.一种合录音视频作品状态显示方法,用于第一终端,其特征在于,所述方法包括:
响应于第一作品录制完成,在合唱作品列表中***与所述第一作品对应的第一合唱条目;所述第一作品用于使服务器向第二终端发送由第一终端发起的合唱请求,所述合唱请求用于指示第二终端在响应合唱请求后,在所述第一作品的基础上录制第二作品,并将第二作品上传至服务器;所述第一作品是录制合唱歌曲中邀请方用户单独演唱的段落和合唱段落;所述第二作品是在所述第一作品的基础上,继续录制所述合唱歌曲中被邀请用户单独演唱的段落和所述合唱段落而得到的完整的合录音视频作品;
向服务器上传所述第一作品;
根据服务器发送的所述第二作品的第二审核状态信息,控制所述第一合唱条目显示与第二作品的审核进程匹配的状态信息。
9.根据权利要求8所述的方法,其特征在于,向服务器上传第一作品之后,所述方法还包括:
根据所述服务器发送的所述第一作品的第一审核状态信息,控制所述第一合唱条目显示与所述第一作品的审核进程匹配的状态信息。
10.根据权利要求8所述的方法,其特征在于,向服务器上传第一作品之后,所述方法还包括:
响应于接收到服务器回传的第一作品的URL,存储所述第一作品的URL;
将所述第一作品的URL与所述第一合唱条目中的第一播放控件关联,所述第一播放控件用于被触发时播放所述第一作品。
11.根据权利要求8所述的方法,其特征在于,向服务器上传第一作品之后,所述方法还包括:
响应于接收到服务器发送的第一响应状态信息,控制所述第一合唱条目将显示的与所述第一作品的审核进程匹配的状态信息变更为待响应指示;
或者,响应于接收到服务器发送的第二响应状态信息,控制所述第一合唱条目将显示的待响应指示变更为已响应指示;
或者,响应于接收到服务器发送的第三响应状态信息,控制所述第一合唱条目将显示的待响应指示变更为未接受邀请指示。
12.根据权利要求10所述的方法,其特征在于,所述方法还包括:
响应于接收到服务器发送的第二作品的URL,存储所述第二作品的URL;
将所述第二作品的URL与所述第一播放控件关联;或者,将所述第二作品的URL与所述第一合唱条目中的第二播放控件关联,所述第二播放控件用于被触发时播放所述第二作品。
13.根据权利要求8所述的方法,其特征在于,所述方法还包括:
响应于接收到服务器发送的第二作品的URL,存储所述第二作品的URL;
根据所述第二作品的URL生成第二合唱条目,其中,所述第二合唱条目和所述第一合唱条目分别位于不同的类别控件对应的不同的条目集合中。
14.一种服务器,其特征在于,包括:
通信器,用于与第一终端和第二终端通信连接;
控制器,被配置为执行:
响应于接收到第二终端上传的第二作品,对所述第二作品进行审核;所述第二作品为被邀请的第二终端响应第一终端发起的合唱请求后,根据审核通过的第一作品录制并上传的音视频作品;所述第一作品为在第一终端录制生成的音视频作品;所述第一作品是录制合唱歌曲中邀请方用户单独演唱的段落和合唱段落;所述第二作品是在所述第一作品的基础上,继续录制所述合唱歌曲中被邀请用户单独演唱的段落和所述合唱段落而得到的完整的合录音视频作品;
根据所述第二作品的审核进程生成第二审核状态信息;
向所述第一终端发送所述第二审核状态信息,所述第二审核状态信息用于指示所述第一终端显示与所述第二作品的审核进程匹配的状态信息。
15.一种终端设备,其特征在于,包括:
显示器;
通信器,用于与服务器通信连接;
控制器,被配置为执行:
响应于第一作品录制完成,在合唱作品列表中***与所述第一作品对应的第一合唱条目;所述第一作品用于使服务器向第二终端发送由第一终端发起的合唱请求,所述合唱请求用于指示第二终端在响应合唱请求后,所述第一作品的基础上录制第二作品,并将第二作品上传至服务器;所述第一作品是录制合唱歌曲中邀请方用户单独演唱的段落和合唱段落;所述第二作品是在所述第一作品的基础上,继续录制所述合唱歌曲中被邀请用户单独演唱的段落和所述合唱段落而得到的完整的合录音视频作品;
向服务器上传所述第一作品;
根据服务器发送的所述第二作品的第二审核状态信息,控制所述显示器在所述第一合唱条目显示与第二作品的审核进程匹配的状态信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910497761 | 2019-06-10 | ||
CN2019104977615 | 2019-06-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112073826A CN112073826A (zh) | 2020-12-11 |
CN112073826B true CN112073826B (zh) | 2022-05-24 |
Family
ID=73657925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010127550.5A Active CN112073826B (zh) | 2019-06-10 | 2020-02-28 | 合录音视频作品状态显示方法、服务器及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112073826B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114944171A (zh) * | 2022-06-06 | 2022-08-26 | 北京字跳网络技术有限公司 | 音频录制方法、装置及电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3799761B2 (ja) * | 1997-08-11 | 2006-07-19 | ヤマハ株式会社 | 演奏装置、カラオケ装置および記録媒体 |
CN101226740B (zh) * | 2008-02-04 | 2012-06-06 | 中兴通讯股份有限公司 | 基于交互式网络电视业务管理***的卡拉ok业务*** |
US9293127B2 (en) * | 2009-06-01 | 2016-03-22 | Zya, Inc. | System and method for assisting a user to create musical compositions |
CN102568460A (zh) * | 2010-12-28 | 2012-07-11 | 张泽铭 | 联网多人异步合唱影音作品***及实施方法 |
CN102394860A (zh) * | 2011-08-31 | 2012-03-28 | 无敌科技(西安)有限公司 | 信号传送***、方法、电脑程序产品及电脑可读取储存媒体 |
CN108597484A (zh) * | 2018-03-19 | 2018-09-28 | 潍坊学院 | 一种多模式唱歌*** |
CN108960782A (zh) * | 2018-07-10 | 2018-12-07 | 北京木瓜移动科技股份有限公司 | 内容审核方法以及装置 |
-
2020
- 2020-02-28 CN CN202010127550.5A patent/CN112073826B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112073826A (zh) | 2020-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111163274B (zh) | 一种视频录制方法及显示设备 | |
CN112533037B (zh) | 连麦合唱作品的生成方法和显示设备 | |
CN112073664B (zh) | 一种视频通话方法和显示设备 | |
CN112399212A (zh) | 显示设备、分享文件的方法和服务器 | |
CN112399264B (zh) | 一种放映厅业务管理方法及应用 | |
CN112399263A (zh) | 一种互动方法、显示设备及移动终端 | |
CN112788422A (zh) | 显示设备 | |
CN112073770B (zh) | 显示设备及视频通讯数据处理方法 | |
CN112839254A (zh) | 显示设备与内容显示方法 | |
CN111291219A (zh) | 一种改变界面背景颜色的方法及显示设备 | |
CN112399243A (zh) | 一种播放方法及显示设备 | |
CN112528051B (zh) | 一种演唱作品的发布方法、显示设备及服务器 | |
CN112788378B (zh) | 显示设备与内容显示方法 | |
CN112073826B (zh) | 合录音视频作品状态显示方法、服务器及终端设备 | |
CN112533056B (zh) | 一种显示设备及声音再现方法 | |
CN112068855A (zh) | 一种双***下应用的升级方法及*** | |
CN112533023B (zh) | 连麦合唱作品的生成方法和显示设备 | |
CN112399225B (zh) | 放映厅业务管理方法及显示设备 | |
CN112533030B (zh) | 一种演唱界面的显示方法、显示设备及服务器 | |
CN112073773A (zh) | 一种屏幕互动方法、装置及显示设备 | |
CN113495702B (zh) | 一种互动邀请处理方法及显示设备 | |
CN112073779B (zh) | 显示设备及按键传递的容错方法 | |
CN112399223B (zh) | 一种改善莫尔条纹现象的方法及显示设备 | |
CN112911353B (zh) | 一种显示设备、端口调度方法及存储介质 | |
CN112786036B (zh) | 显示设备与内容显示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |