CN111327934A - 通信终端、控制设备及视频多设备同步播放方法 - Google Patents

通信终端、控制设备及视频多设备同步播放方法 Download PDF

Info

Publication number
CN111327934A
CN111327934A CN202010130292.6A CN202010130292A CN111327934A CN 111327934 A CN111327934 A CN 111327934A CN 202010130292 A CN202010130292 A CN 202010130292A CN 111327934 A CN111327934 A CN 111327934A
Authority
CN
China
Prior art keywords
video
communication terminal
video data
playing
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010130292.6A
Other languages
English (en)
Inventor
陈维强
张斌
高雪松
高伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN202010130292.6A priority Critical patent/CN111327934A/zh
Publication of CN111327934A publication Critical patent/CN111327934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了通信终端、控制设备及视频多设备同步播放方法。本申请中，通信终端响应于用户选定目标视频资源的操作，向控制设备发送视频播放指令，使得控制设备获取目标视频资源的视频数据，并将该视频数据分别发送给通信终端和显示设备，使得通信终端和显示设备同步播放该视频数据；接收控制设备发送的视频数据并播放。

Description

通信终端、控制设备及视频多设备同步播放方法
技术领域
本申请涉及通信领域，特别涉及通信终端、控制设备及视频多设备同步播放方法。
背景技术
在用户观影场景下，传统的做法是用户使用遥控器控制智能电视以选择需要观看的视频并进行播放。使用遥控器与智能电视进行交互的方式存在交互形式单一、操作不灵活的缺点。
随着智能通信终端的普及，用户期望在通信终端和智能电视上同步播放视频。如何便捷地实现在通信终端以及智能电视上同步播放视频，是目前需要解决的技术问题。
发明内容
本申请示例性的实施方式中提供一种通信终端、控制设备及视频多设备同步播放方法，可通过使用通信终端实现视频在通信终端和显示设备上的同步播放，以提升用户体验。
根据示例性的实施方式中的一方面，提供一种通信终端，包括：
触摸屏，被配置为接收来自用户的触摸操作；
显示屏，被配置为显示用户界面；
处理器，所述处理器分别与所述触摸屏和所述显示屏耦接，所述处理器被配置为：
响应于用户选定目标视频资源的操作，向控制设备发送视频播放指令，并接收所述控制设备发送的视频数据并将所述视频数据解码后在所述显示屏上播放；其中，所述控制设备被配置为根据所述视频播放指令获取所述目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据。
上述实施例中，所述处理器被进一步配置为：
响应于用户选定播放的第一视频帧以进行智能识别的操作，暂停所述通信终端的视频播放并在所述显示屏显示所第一视频帧，不控制所述显示设备所播放的视频数据进行暂停；
响应于用户通过所述触摸屏在所述第一视频帧中选定目标区域的操作，向所述控制设备发送智能识图指令，接收所述控制设备发送的与所述图像关联的内容并将所述内容在所述显示屏上播放；其中，所述控制设备被配置为识别所述第一视频帧的目标区域内的图像，获得与所述图像相关联的内容，并将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
上述实施例中，所述控制设备被进一步配置为：将所述内容合成到待发送的视频数据中发送给所述通信终端；以及，将所述内容合成到待发送的视频数据中并处理为与所述显示设备适配的界面格式后，发送给所述显示设备。
上述实施例中，所述视频数据被配置在视频层中的第一播放窗口进行播放，所述内容被配置在位于所述视频层上层的OSD层中的第二播放窗口进行显示，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸。
上述实施例中，所述处理器被进一步配置为：
响应于用户在所述第一视频帧中选定目标区域的操作，在显示屏中显示提示窗口，所述提示窗口中包括用于确认选定所选目标区域的第一功能选项以及用于撤销选定目标区域的第二功能选项；
所述第一功能选项被配置为：响应于所述提示窗口中的第一功能选项被触发的用户操作，向所述控制设备发送智能识图指令；
所述第二功能选项被配置为：响应于所述提示窗口中的第二功能选项被触发的用户操作，撤销用户在所述第一视频帧中选定的目标区域。
上述实施例中，所述智能识图指令携带所述目标区域的坐标信息，使得所述控制设备根据所述坐标信息确定所述第一视频帧的目标区域内的图像。
上述实施例中，所述处理器被进一步配置为：响应于用户停止视频播放的操作，停止播放视频，并向所述控制设备发送停止播放指令，使得所述控制设备停止向所述显示设备发送视频数据。
根据示例性的实施方式中的一方面，提供一种通信终端，包括：
触摸屏，被配置为接收来自用户的触摸操作；
显示屏，被配置为显示用户界面；
处理器，所述处理器分别与所述触摸屏和所述显示屏耦接，所述处理器被配置为：
响应于用户选定目标视频资源的操作，向控制设备发送视频播放指令，并接收所述控制设备发送的视频数据并将所述视频数据解码后在所述显示屏上播放；其中，所述控制设备被配置为根据所述视频播放指令获取所述目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将经所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据；
响应于用户选定播放的第一视频帧以进行智能识别的操作，暂停所述通信终端的视频播放并在所述显示屏显示所第一视频帧，不控制所述显示设备所播放的视频数据进行暂停；
响应于用户通过所述触摸屏在所述第一视频帧中选定目标区域的操作，向所述控制设备发送智能识图指令，并接收所述控制设备发送的与所述图像关联的内容并将所述内容在所述显示屏上播放；其中，所述控制设备被配置为识别所述第一视频帧的目标区域内的图像，获得与所述图像相关联的内容，并将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
上述实施例中，所述视频数据被配置在视频层中的第一播放窗口进行播放，所述内容被配置在位于所述视频层上层的OSD层中的第二播放窗口进行显示，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸。
根据示例性的实施方式中的一方面，提供一种控制设备，所述控制设备通过局域网与通信终端通信连接，通过物理连接线与显示设备连接，所述控制设备被配置为：
接收通信终端发送的视频播放指令；
根据所述视频播放指令获取所述视频播放指令请求获取的目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据。
上述实施例中，所述控制设备被进一步配置为：
接收所述通信终端发送的智能识图指令，所述智能识图指令携带用户在第一视频帧中选定的目标区域的坐标信息；
根据所述目标区域的坐标信息确定所述第一视频帧的目标区域内的图像，对所述目标区域内的图像进行识别，生成与所述目标区域内的图像相关的搜索关键词，并根据所述搜索关键词，搜索得到与所述目标区域内的图像关联的内容；
将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
上述实施例中，所述控制设备被进一步配置为：将所述内容合成到待发送的视频数据中发送给所述通信终端；以及，将所述内容合成到待发送的视频数据中并处理为与所述显示设备适配的界面格式后，发送给所述显示设备。
上述实施例中，所述控制设备被进一步配置为：将待播放的视频数据配置在视频层中的第一播放窗口，将所述内容配置在位于所述视频层上层的OSD层中的第二播放窗口，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸。
根据示例性的实施方式中的一方面，提供一种控制设备，包括：网络路由模块、交互通信模块、应用控制模块、视频云通信模块、数据处理模块、界面合成模块、显示及播放模块；
所述网络路由模块，被配置为接收通信终端发送的视频播放指令，并将所述视频播放指令发送给所述应用控制模块；
所述应用控制模块，被配置为根据所述视频播放指令配置所述视频云通信模块的工作模式为视频播放模式；
所述视频云通信模块，被配置为在视频播放模式下，从视频资源服务器获取所述视频播放指令请求的目标视频资源的视频数据，并传递给所述数据处理模块；
所述数据处理模块，被配置为将视频数据发送给所述交互通信模块；以及，对所述视频数据进行解码，将解码后的视频数据发送给所述界面合成模块；
所述交互通信模块，被配置为将视频数据通过所述网络路由模块发送给所述通信终端；
所述界面合成模块，被配置为将解码后的视频数据处理为与所述显示设备适配的视频数据，并发送给所述显示及播放模块；
所述显示及播放模块，被配置为将视频数据发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据。
上述实施例中，还包括：智能分析模块、数据库检索模块；
所述网络路由模块，被进一步配置为接收所述通信终端发送的智能识图指令，所述智能识图指令携带用户在第一视频帧中选定的目标区域的坐标信息；
所述应用控制模块，被进一步配置为根据所述智能识图指令配置所述智能分析模块的工作模式为智能识图模式；
所述智能分析模块，被配置为根据所述目区域的坐标信息确定所述第一视频帧中所述目标区域内的图像，对所述目标区域内的图像进行识别，生成与所述目标区域内的图像相关的搜索关键词，并将所述搜索关键词发送所述数据库检索模块；
所述数据库检索模块，被配置为根据所述搜索关键词，搜索得到与所述目标区域内的图像关联的内容，并发送给所述数据处理模块；
所述数据处理模块，被进一步配置为将所述内容合成到待发送的视频数据中并发送给所述交互通信模块；以及，将所述内容合成到待发送的视频数据中并发送给所述界面合成模块。
上述实施例中，所述数据处理模块，被进一步配置为将待播放的视频数据配置在视频层中的第一播放窗口将所述内容配置在位于所述视频层上层的OSD层中的第二播放窗口，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸。
根据示例性的实施方式中的一方面，一种视频同步播放方法，包括：
响应于用户选定目标视频资源的操作，向控制设备发送视频播放指令，并接收所述控制设备发送的视频数据并将所述视频数据解码后在所述显示屏上播放；其中，所述控制设备被配置为根据所述视频播放指令获取所述目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将经所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据；
响应于用户选定播放的第一视频帧以进行智能识别的操作，暂停所述通信终端的视频播放并在所述显示屏显示所第一视频帧，不控制所述显示设备所播放的视频数据进行暂停；
响应于用户通过所述触摸屏在所述第一视频帧中选定目标区域的操作，向所述控制设备发送智能识图指令，并接收所述控制设备发送的与所述图像关联的内容并将所述内容在所述显示屏上播放；其中，所述控制设备被配置为识别所述第一视频帧的目标区域内的图像，获得与所述图像相关联的内容，并将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
根据示例性的实施方式中的一方面，提供一种视频同步播放方法，包括：
接收通信终端发送的视频播放指令，根据所述视频播放指令获取所述视频播放指令请求获取的目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据；
接收所述通信终端发送的智能识图指令，所述智能识图指令携带用户在第一视频帧中选定的目标区域的坐标信息；
根据所述目标区域的坐标信息确定所述第一视频帧的目标区域内的图像，对所述目标区域内的图像进行识别，生成与所述目标区域内的图像相关的搜索关键词，并根据所述搜索关键词，搜索得到与所述目标区域内的图像关联的内容；
将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实施例。
本申请的上述实施例中，通信终端可响应于用户的操作，与控制设备进行交互，使得控制设备获取视频数据并分别发送给通信终端和显示设备，从而使得通信终端和显示设备能够同步播放视频，简化了用户同屏观影的操作，提升了用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了本申请实施例中的智能家居***架构示意图；
图2示例性示出了本申请实施例中的一种通信终端的结构示意图；
图3示例性示出了本申请实施例中的一种通信终端的软件架构示意图；
图4示例性示出了本申请实施例中的通信终端的用户界面示意图；
图5示例性示出了本申请实施例中的控制设备的结构图；
图6示例性示出了本申请实施例中的在通信终端和智能电视上实现视频同步播放的信令交互流程示意图；
图7示例性示出了本申请实施例中基于图5所示的控制设备的结构所实现的视频同步播放示意图；
图8示例性示出了本申请实施例中实现视频帧和关联内容同步播放的流程示意图；
图9示例性示出了本申请实施例中基于图5所示的控制设备的结构所实现的视频帧和关联内容同步播放的示意图；
图10示例性示出了本申请实施例中观影时交互实现的进程图；
图11示例性示出了本申请实施例中通信终端的界面和用户操作示意图；
图12、图13示例性示出了本申请实施例中视频同步播放情况下的通信终端和智能电视的显示界面示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，″/＂表示或的意思，例如，A/B可以表示A或B；文本中的″和/或＂仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，″多个＂是指两个或多于两个。
以下，术语″第一＂、″第二＂仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有″第一＂、″第二＂的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，″多个″的含义是两个或两个以上。
本申请实施例提出一种显示设备和移动终端同步播放视频的交互方法，借以提升用户观影时的交互体验。用户以通信终端作为操作设备，与控制设备进行交互，使得控制设备分别向通信终端和显示设备发送视频数据，以实现在通信终端和智能设备上同步播放视频。本申请实施例基于用于在通信终端上的操作，借助于控制设备的功能，实现更为便捷，提高了用户体验。
下面结合附图对本申请实施例进行详细说明。
图1示出了本申请实施例的智能家居***架构示意图。如图所示，该***架构中包括通信终端100、显示设备200、控制设备300。
控制设备300与通信终端100之前通过无线方式连接，比如通过无线局域网连接，更具体地，可通过Wi-Fi连接。控制设备300与显示设备200之间通过有线方式连接，比如通过HDMI(High Definition Multimedia Interface，高清多媒体接口)连接。控制设备300还可以通过互联网与视频资源服务器400以及内容资源服务器500连接。
通信终端100作为交互设备，可与控制设备300安装有用于实现交互的软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以实现用通信终端100与控制设备300建立控制指令协议，通过控制通信终端100上用户界面，向控制设备300发送指令，接收控制设备300发来的视频数据并在通信终端100上播放出来。通信终端100可以为手机、平板电脑、可穿戴设备、笔记本电脑等。
控制设备300为智能家居***的主控设备，具有与通信终端100的交互功能，能够响应通信终端100发送的指令进行相应处理。控制设备300具有视频处理能力，还具有图像AI(Artificial Intelligence，人工智能)识别能力。
视频资源服务器400用于存储视频资源的数据，控制设备300可通过家庭有线网络连接到互联网(Internet)获取视频资源。
内容资源服务器500用于存储知识数据库资源，如百度百科等知识数据库，控制设备300可通过家庭有线网络连接到互联网(Internet)获取知识资源。
显示设备200，可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。示例的包括，网络电视、智能电视、互联网协议电视(IPTV)等。
图2示出了通信终端100的结构示意图。
下面以通信终端100为例对实施例进行具体说明。应该理解的是，图2所示通信终端100仅是一个范例，并且通信终端100可以具有比图2中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
图2中示例性示出了根据示例性实施例中通信终端100的硬件配置框图。如图2所示，通信终端100包括：射频(radio frequency，RF)电路110、存储器120、显示单元130、摄像头140、传感器150、音频电路160、无线保真(Wireless Fidelity，Wi-Fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。
RF电路110可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器180处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序或数据，从而执行通信终端100的各种功能以及数据处理。存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得通信终端100能运行的操作***。本申请中存储器120可以存储操作***及各种应用程序，还可以存储执行本申请实施例所述方法的代码。
显示单元130可用于接收输入的数字或字符信息，产生与通信终端100的用户设置以及功能控制有关的信号输入，具体地，显示单元130可以包括设置在通信终端100正面的触摸屏131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元130可以包括设置在通信终端100正面的显示屏132。其中，显示屏132可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。
其中，触摸屏131可以覆盖在显示屏132之上，也可以将触摸屏131与显示屏132集成而实现通信终端100的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元130可以显示应用程序以及对应的操作步骤。
摄像头140可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。
通信终端100还可以包括至少一种传感器150，比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154。通信终端100还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路160、扬声器161、麦克风162可提供用户与通信终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。通信终端100还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。本申请中麦克风162可以获取用户的语音。
Wi-Fi属于短距离无线传输技术，通信终端100可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。
处理器180是通信终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行通信终端100的各种功能和处理数据。在一些实施例中，处理器180可包括一个或多个处理单元；处理器180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器180中。本申请中处理器180可以运行操作***、应用程序、用户界面显示及触控响应，以及本申请实施例所述的处理方法。另外，处理器180与摄像头140和显示单元130耦接。
蓝牙模块181，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互，还可以与控制设备(比如智能家居***的主控设备)进行连接，从而进行两者间的音频传输。例如，通信终端100可以通过蓝牙模块181与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
通信终端100还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理***与处理器180逻辑相连，从而通过电源管理***实现管理充电、放电以及功耗等功能。通信终端100还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。
图3是本发明实施例的通信终端100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供通信终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，通信终端振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
下面结合捕获拍照场景，示例性说明通信终端100软件以及硬件的工作流程。
当触摸屏131接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头140捕获静态图像或视频。
图4是用于示出通信终端(例如图2的通信终端100)上的用户界面的示意图。在一些具体实施中，用户通过触摸用户界面上的应用图标可以打开相应的应用程序，或者通过触摸用户界面上的文件夹图标可以打开相应的文件夹。
下面以显示设备200为智能电视作为例子，对本申请实施例进行说明。
图5示例性示出了本申请实施例中的控制设备的结构图。如图所示，该控制设备可包括：网络路由模块501、应用控制模块502、视频云通信模块503、数据处理模块504、交互通信模块505、界面合成模块506、显示及播放模块507、智能分析模块508、数据库检索模块509。
网络路由模块501，负责数据的网络传输、路由管理及数据安全，并完成有线网络与无线WIFI之间的相互转化。
应用控制模块502，负责解析并实施交互通信模块505传来的指令，完成各模块的工作模式配置及模块间的协调工作，确保指令的成功达成。
视频云通信模块503，负责经网络路由模块501，从视频资源服务器获取视频数据，并传输给数据处理模块504。
数据处理模块504，按照应用控制模块502指定的工作模式，对应用信息中的图像、视频等进行视频转发、视频编解码、图像预处理、图文转换、图像合成及本机存储等处理；数据处理模块504可针对发往通信终端以及智能电视的视频数据进行分别处理。针对发往智能电视的视频数据，数据处理模块504处理前后不会变更图像及视频的质量，包括分辨率、帧频等相关参数；针对发往通信终端的视频数据，可灵活根据通信终端处理性能及协议参数进行适配处理。
交互通信模块505，负责经网络路由模块501的WIFI与通信终端进行通信，接收来自于通信终端的指令，并完成与通信终端间的数据的收发控制。
界面合成模块506，负责将数据处理模块504传来的视频整合成适于智能电视机操作***处理的界面格式，并将整合后的视频数据传送给显示及播放模块507。
显示及播放模块507，负责与智能电视间的通信，通过HDMI线将界面合成模块506传来的视频数据传送给智能电视进行显示及播放。
智能分析模块508，负责对用户选定的视频帧中的目标区域内的图像进行智能识别，输出文本形式的特征词条给数据库检索模块509。
数据库检索模块509，负责按照智能分析模块508提供的文本词条，对数据库进行知识检索，得到词条相对应的具体知识内容，并传送给数据处理模块504。
图6示例性示出了本申请实施例提供的在通信终端和智能电视上实现视频同步播放的信令交互流程示意图，图7示例性示出了基于图5所示的控制设备的结构所实现的该流程，图7中的虚线框内的流程和功能由控制设备的相关功能模块实现。
下面结合图5、图6和图7对该流程进行说明。如图6所示，该流程可包括：
601：通信终端响应于启动用于实现视频同步播放的应用程序的用户操作，显示该应用程序的用户界面。
示例性地，当用户点击通信终端界面上显示的该应用程序的图标后，可启动该应用程序。该应用程序被启动后，用户可点击该应用的用户界面上的″观影模式″功能选项，以使得通信终端向控制设备发送指令，使得控制设备进入″观影模式″，并将用户界面提供给通信终端，即，将控制设备提供的用户界面反投屏(或者说镜像)到通信终端上。该用户界面上可包括视频资源项目显示区域，该区域中可包括一个或多个可供用户选择的视频资源项目。其中，视频资源项目可被呈现为视频资源的名称，或者呈现为视频资源对应的缩略图，可以通过视图控件来实现视频资源项目。
602：通信终端响应于在用户界面中选定目标视频资源的用户操作，向控制设备发送视频播放指令。
其中，用户可通过点击通信终端的用户界面中的目标视频资源所在位置，以选择该目标视频资源，根据该用户操作，通信终端可获得用户的点击位置(比如坐标)，并将该坐标信息携带于视频播放指令发送给控制设备，控制设备可根据该坐标信息确定出用户在用户界面中的点击位置，进而确定出该用户所选择的目标视频资源，并得到该目标视频资源的链接地址。
通信终端可通过WIFI将视频播放指令发送给控制设备。
603～604：控制设备接收到视频播放指令后，根据用户所选择的目标视频资源，从视频资源服务器下载该目标视频的数据。
该步骤中，控制设备可向视频资源服务器发送视频资源获取请求，其中携带有该目标视频资源的链接地址；视频资源服务器根据该视频资源的链接地址查找到该视频的数据，并发送给控制设备。
结合图5和图7，上述步骤中，控制设备中的网络路由模块接收到该视频播放指令后，将其转发给应用控制模块，应用控制模块负责解析出该指令，并下发工作模式(视频播放模式，或称为″观影模式＂)配置给各功能模块以通知相应功能模块工作。视频云通信模块按指定工作模式经网络路由模块从互联网视频资源服务器获取视频数据，并传递给数据处理模块。
605～609：控制设备将接收到的视频数据分别发送给通信终端和智能电视，使得通信终端和智能电视同时播放该视频。
该步骤中，控制设备可对发送给通信终端和智能电视的视频数据进行区别处理，分别传送给通信终端和智能电视进行显示及播放。
具体地，控制设备将视频数据发送给通信终端的过程可包括：控制设备将接收到的视频数据发送给通信终端，通信终端接收到视频数据后进行解码，并对解码得到的视频帧进行显示及播放(参见605～606)。
控制设备将视频数据发送给智能电视的过程可包括：控制设备对接收到的视频数据进行解码，并将解码得到的视频处理成适合智能电视操作***处理的界面格式，并将处理后的视频数据发送给智能电视进行显示及播放(参见607～609)。
结合图5和图7，上述步骤中，控制设备中的数据处理模块接收到视频数据后，对视频数据进行区别处理，分别传送给通信终端及智能电视进行显示及播放。其中，发送给通信终端的过程为：数据处理模块将视频数据转发给交互通信模块，并经过网络路由模块的WIFI发送出去；发送给智能电视的过程为：数据处理模块对视频数据进行解码，解码后传送给界面合成模块，界面合成模块将界面合成后的视频数据传送给显示及播放模块，之后经HDMI传输给智能电视进行显示及播放。
上述流程中，控制设备对发送给智能电视的视频进行处理时，处理前后不变更视频的质量，包括分辨率、帧频等相关参数；对发送给通信终端的视频，可灵活根据通信终端的处理性能及协议参数进行适配处理。
上述流程中，通信终端及智能电视播放的视频都是从控制设备统一获取的，播放内容是一致的，控制设备还可对通信终端和智能电视的播放时延进行控制，以使通信终端和智能电视的视频播放保持时间同步。
根据以上实施例，通过使用通信终端响应用户操作，基于控制设备强大的视频处理能力，由控制设备负责视频数据的更新及调度，在不改变原始视频质量的前提下，实现通信终端与智能电视的视频同步播放，实现小屏转大屏的交互体验，与使用遥控器进行控制操作相比，可简化用户操作，提高交互体验。
在通信终端和智能电视同步播放视频的过程中，如果用户对某个或某些视频帧中的对象感兴趣，想要获取更多的信息，则可以通过在通信终端上选取感兴趣的对象，并向控制设备发送智能识图指令，以使得控制设备获取与该对象关联的内容，并将其合成到视频帧中分别发送给通信终端和智能电视，以实现视频帧和关联内容的同步显示和播放。
图8示例性示出了本申请实施例中实现视频帧和关联内容同步播放的流程示意图，图9示例性示出了基于图5所示的控制设备的结构所实现的该流程，图9中的虚线框内的流程和功能由控制设备的相关功能模块实现。
下面结合图5、图8和图9对该流程进行说明。如图8所示，该流程可包括：
801：通信终端响应于选定播放的第一视频帧以进行智能识别的用户操作，暂停视频播放并显示第一视频帧。
该步骤中，在一些场景中，用户可点击通信终端的视频窗口中正在播放的视频，以选定当前的视频帧(为描述方便这里称为第一视频帧)，被选定的第一视频帧静止显示在视频播放窗口中。
在另一些场景中，用户可触发通信终端的用户界面中的″智能识图″功能选项，使得通信终端向控制设备发送指令，以使控制设备进入″智能识图＂模式，并将当前播放的第一视频帧静止。
本申请实施例中，当通信终端根据用户的操作暂停视频播放时，显示设备保持视频进行播放。
802～803：通信终端响应于在第一视频帧中选定目标区域的用户操作，向控制设备发送智能识图指令。
该步骤中，用户可以在第一视频帧中以画圈的方式(即圈选)选定该第一视频帧中的目标区域，该目标区域内包含用户感兴趣的对象，比如人、动植物、物体、动作、行为、场景等。当然，用户也可以采用其他方式选定第一视频帧中的目标区域，比如可以采用画方框的方式选取目标区域，或者通过点击以选定以点击位置为中心的设定大小和形状的区域作为目标区域。
可选地，在用户在第一视频帧中选定目标区域后，通信终端可显示提示窗口，该提示窗口中可包含用于确认选定目标区域的第一功能选项，如果用户触发第一功能选项，则通信终端向控制设备发送智能识图指令，并使得控制设备退出″智能识图＂模式，继续对接收到的视频数据进行处理并分别发送给通信终端和显示设备，使得通信终端继续播放视频。
可选地，提示窗口中还可包括用于取消选定目标区域的第二功能选项。如果用户触发第二功能选项，则通信终端可关闭该提示窗口，继续等待用户操作。
可选地，提示窗口中还可包括用于使得控制设备退出″智能识图″模式的第三功能选项，如果用户触发该第三功能选项，则可使控制设备退出″智能识图＂模式，继续对接收到的视频数据进行处理并分别发送给通信终端和显示设备，使得通信终端继续播放视频。
通信终端可将用户选定的第一视频帧中的目标区域的坐标信息携带在智能识图指令中发送给控制设备。
804：控制设备接收到智能识图指令后，对第一视频帧中的目标区域内的图像进行智能识别，并根据识别结果生成与该第一视频帧的目标区域内的图像相关的搜索关键词。
该步骤中，控制设备可根据智能识图指令中携带的目标区域的坐标信息，确定第一视频帧中目标区域内的图像。控制设备可采用图像AI识别技术对该第一视频帧的目标区域内的图像进行识别，得到相应的特征词条，所述特征词条可作为与该第一视频帧的目标区域内的图像相关的搜索关键词。
例如，控制设备采用图像AI识别技术从第一视频帧目标区域内的图像中识别得到建筑物A，则将该建筑物A的名称即为特征词条，可作为搜索关键词；再例如，控制设备采用图像AI识别技术从第一视频帧目标区域内的图像中识别得到某种植物，但未识别得到该植物的种类或名称，则可将识别得到的该植物的特征(比如叶子的形状，花朵的形状、颜色等)作为特征词条。
结合图5和图9，上述步骤中，控制设备中的应用控制模块经网络路由模块的WIFI获取到携带有截图图像的智能识图指令后，负责解析出该指令，并下发工作模式配置给各功能模块并通知其工作。应用控制模块将第一视频帧目标区域的坐标信息作为处理参数下发给智能分析模块。智能分析模块对第一视频帧目标区域内的图像进行智能检测及识别，识别出图像中的对象(人、物或者景点等)，并输出特征词条给数据库检索模块。
805～806：控制设备向内容资源服务器发送搜索请求，其中携带上述搜索关键词，并接收内容资源服务器根据该搜索请求返回的与第一视频帧目标区域内的图像关联的内容。
该步骤中，内容资源服务器在接收到搜索请求后，可根据其中携带的搜索关键词查询指示数据库，得到对应的内容，比如识别得到目标区域中的建筑物A的例子中，搜索到的内容为该建筑物A的介绍(包括位置、相关历史等)。该内容可以以文本形式发送给控制设备。
结合图5和图9，上述步骤中，控制设备中的数据库检索模块经网络路由模块连接到内容资源服务器的知识数据库，根据词条对知识数据库进行检索，并获取对应词条的详细内容，之后将详细内容以文本形式发给数据处理模块。
807：控制设备接收到内容资源服务器返回的搜索结果后，将其中的搜索结果内容合成到视频数据中。
该步骤中，控制设备可将文本形式或其他形式的内容转换为图片，将该图片合成到待发送该通信终端和智能电视的视频帧中。其中，该图片的尺寸可小于视频帧的尺寸，形成″画中画＂形式的视频帧。
在另一些实施例中，可在视频层上创建OSD层，在OSD层中创建播放窗口，将视频数据配置在视频层中的第一播放窗口进行播放，将上述内容配置在位于视频层上层的OSD层中的第二播放窗口进行显示，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸，形成″画中画＂的显示方式。其中，OSD(On Screen Display)是一种在屏显示技术，可实现在图像上叠加文字、图片等，使显示屏幕为用户提供更多的附加信息。
结合图5和图9，上述步骤中，控制设备中的数据处理模块收到应用指令及文本内容后，将文本内容先转换成图片，再跟当前处理的视频帧进行图像合成。
808～812：控制设备将合成有内容的视频数据分别发送给通信终端和智能电视，使得通信终端和智能电视同时显示合成有内容的视频数据。
该步骤中，控制设备可对发送给通信终端和智能电视的视频数据进行区别处理，分别传送给通信终端和智能电视进行显示及播放。
具体地，控制设备将合成后的视频数据发送给通信终端的过程可包括：控制设备将合成后的视频数据进行编码，将编码后的视频数据发送给通信终端，通信终端接收到视频数据后进行解码，并对解码得到的合成有文本内容的视频帧进行显示及播放(参见808～809)。
控制设备将视频数据发送给智能电视的过程可包括：控制设备将合成后的视频数据处理成适合智能电视操作***处理的界面格式，并将处理后的视频数据发送给智能电视进行显示及播放(参见810～812)。
结合图5和图9，上述步骤中，控制设备中的视频处理模块对经图像合成后的视频进行区别处理，分别传送给通信终端及智能电视进行显示及播放。其中，发给通信终端的过程为：先将合成后的视频进行编码，之后转发给交互通信模块，并经过网络路由模块的WIFI发送给通信终端；发给智能电视的过程为：将合成后的视频传送给界面合成模块进行界面合成，界面合成后的视频传送给显示及播放模块，之后经HDMI传输给智能电视进行显示及播放。
上述流程中，控制设备对发送给智能电视的视频进行处理时，处理前后不变更内容图片和视频的质量，包括分辨率、帧频等相关参数；对发送给通信终端的视频，可灵活根据通信终端的处理性能及协议参数进行适配处理。
上述流程中，通信终端及智能电视播放的视频都是从控制设备统一获取的，播放内容是一致的，控制设备还可通信终端和智能电视的播放时延进行控制，以使通信终端和智能电视的视频播放保持时间同步。
本申请的上述流程中，借助于控制设备的强大图像AI处理功能及视频数据处理功能(如编解码处理能力)，可实现更为可靠便捷，且更为流畅的观影交互。通过本申请实施例，可基于通信终端进行便捷的人机交互，获得用户对播放的视频中感兴趣的对象，通过查询知识数据库获得该对象的相关内容，并通过与视频帧合成的方式，同步显示在通信终端和智能电视的屏幕上，提高了用户体验。
图10示例性示出了本申请实施例中，观影时交互实现的进程图。
在第一阶段，用户打开观影模式：
用户操控通信终端打开应用程序，之后点击该应用程序的用户界面中的″电视观影＂按钮，通过WIFI与控制设备交互，使控制设备进入观影模式，展示用户可选择的视频资源及操作选项。此时智能电视已开机，并播放默认视频。
在第二阶段，获取视频数据：
用户点击所选择的视频资源后，通信终端向控制设备发出指令，并进入等待界面等待视频回传；控制设备对指令进行解析并进入观影模式，之后向智能电视推送等待界面视屏；智能电视播放等待界面视频。
控制设备与视频资源服务器通信，获取到视频数据，将该视频数据回传给通信终端，通信终端经WIFI拆包并进行视频解码后播放视频。控制设备还将视频数据进行解码及界面合成后传输给智能电视，智能电视端播放视频。
在第三阶段，人机交互处理：
在通信终端进行视频播放时，用户点击″智能识图＂按钮，操作通信终端进入智能识图模式，之后通信终端的播放画面静止。
用户圈选静止图像中的人物，通信终端检测到圈选动作完成并弹出确认提醒窗口。如果用户选择该窗口中的″取消″按钮，通信终端的应用程序退出该窗口，继续等待用户操作；如果用户选择″退出″，则通信终端退出智能识图模式，并播放视频；如果用户选择″确认″，则通信终端自动退出智能识图模式，对圈选的内容进行图像截取，之后将相应的指令及截图数据发送给控制设备进行AI分析。发完指令之后，通信终端继续播放视频，并等待智能分析视频回传。
控制设备对指令进行解析后，依次进行如下处理：对传来的图像进行AI分析及识别，以便得到特征词条；利用特征词条对知识数据库进行检索，并获取对应词条的详细内容；对获取的详细内容进行图文转换并进行图像预处理；将处理完的图像跟当前的视频数据进行图像合成，合成为画中画形式的视频。
控制设备对画中画形式的视频进行视频编码后回传给通信终端；通信终端经WIFI拆包并视频解码后播放视频。控制设备对画中画形式的视频进行界面合成后传输给智能电视；智能电视端播放视频。
在第四阶段，退出观影模式：
用户点击″退出观影″按钮，通过WIFI与控制设备交互，令控制设备退出观影模式，并同步向控制设备发送控制指令，之后通信终端进入等待界面；控制设备对指令进行解析之后向智能电视推送等待界面视屏，之后控制设备退出观影模式；智能电视播放等待界面视频。最后用户关闭通信终端的应用程序。
图11至图13示例性示出了通信终端和智能电视的界面。
如图11所示，在通信终端100上，开启了本申请实施例中的上述应用程序，并通过该应用程序与控制设备交互，获取到视频数据并正在进行播放。此时，用户想要对视频中的人物有更多了解，因此触发该控制设备进入″智能识图＂模式，使通信终端的视频播放窗口中的视频帧1100静止，用户在该视频帧选定了区域1101，通信终端向控制设备发送智能识图指令。
控制设备对该视频帧的区域1101中的人物进行识别，得到相关特征词条，并从知识库搜索到该特征词条对应的文本内容，然后将该文本内容转换为图片并与待传输给通信终端和智能电视的视频帧进行合成。这些合成有文本内容的视频帧传输给通信终端和智能电视进行显示，通信终端和智能电视的屏幕显示分别如图12和如图13所示。
其中，在图12中，搜索到的目标人物的相关文字简介被以图片形式1202合成到视频帧1201中。在图13中，智能电视同步播放视频帧1301，且该视频帧中合成有图片形式的人物文字简介1302。
综上所述，本申请的一些实施例，基于通信终端上的用户操作及控制设备的图像AI识别技术，提出一种基于智能电视和通信终端同屏观影的交互方案，借以提升用户观影时的交互体验。用户以通信终端为操作设备，通过点击后画圈的方式对视频中的目标区域进行选中操作，经图像AI识别后获取图像涉及到的历史人物、演员、动植物、商品等相应的详细介绍信息，以画中画的形式同步显示在通信终端及智能电视屏幕上。该方法基于便捷的通信终端操作，借助于控制设备强大的图像AI处理功能及视频编解码处理能力，实现了更为可靠便捷，且更为流畅的观影交互。
基于相同的技术构思，本申请实施例还提供了一种控制设备。该控制设备可包括处理器、存储器。其中，存储器与处理器连接，配置为存储计算机指令；处理器与存储器连接，配置为执行所述计算机指令以使得该控制设备进行如上述实施例所描述的方法。
在此需要说明的是，本申请实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
由于本发明实施例中的通信终端和计算机存储介质可以应用于上述处理方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明的实施例在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (18)

1.一种通信终端，其特征在于，包括：
触摸屏，被配置为接收来自用户的触摸操作；
显示屏，被配置为显示用户界面；
处理器，所述处理器分别与所述触摸屏和所述显示屏耦接，所述处理器被配置为：
响应于用户选定目标视频资源的操作，向控制设备发送视频播放指令，并接收所述控制设备发送的视频数据并将所述视频数据解码后在所述显示屏上播放；其中，所述控制设备被配置为根据所述视频播放指令获取所述目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据。
2.如权利要求1所述的通信终端，其特征在于，所述处理器被进一步配置为：
响应于用户选定播放的第一视频帧以进行智能识别的操作，暂停所述通信终端的视频播放并在所述显示屏显示所第一视频帧，不控制所述显示设备所播放的视频数据进行暂停；
响应于用户通过所述触摸屏在所述第一视频帧中选定目标区域的操作，向所述控制设备发送智能识图指令，接收所述控制设备发送的与所述图像关联的内容并将所述内容在所述显示屏上播放；其中，所述控制设备被配置为识别所述第一视频帧的目标区域内的图像，获得与所述图像相关联的内容，并将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
3.如权利要求2所述的通信终端，其特征在于，所述控制设备被进一步配置为：
将所述内容合成到待发送的视频数据中发送给所述通信终端；以及，
将所述内容合成到待发送的视频数据中并处理为与所述显示设备适配的界面格式后，发送给所述显示设备。
4.如权利要求2所述的通信终端，其特征在于，所述视频数据被配置在视频层中的第一播放窗口进行播放，所述内容被配置在位于所述视频层上层的OSD层中的第二播放窗口进行显示，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸。
5.如权利要求2所述的通信终端，其特征在于，所述处理器被进一步配置为：
响应于用户在所述第一视频帧中选定目标区域的操作，在显示屏中显示提示窗口，所述提示窗口中包括用于确认选定所选目标区域的第一功能选项以及用于撤销选定目标区域的第二功能选项；
所述第一功能选项被配置为：响应于所述提示窗口中的第一功能选项被触发的用户操作，向所述控制设备发送智能识图指令；
所述第二功能选项被配置为：响应于所述提示窗口中的第二功能选项被触发的用户操作，撤销用户在所述第一视频帧中选定的目标区域。
6.如权利要求2所述的通信终端，其特征在于，所述智能识图指令携带所述目标区域的坐标信息，使得所述控制设备根据所述坐标信息确定所述第一视频帧的目标区域内的图像。
7.如权利要求1所述的通信终端，其特征在于，所述处理器被进一步配置为：
响应于用户停止视频播放的操作，停止播放视频，并向所述控制设备发送停止播放指令，使得所述控制设备停止向所述显示设备发送视频数据。
8.一种通信终端，其特征在于，包括：
触摸屏，被配置为接收来自用户的触摸操作；
显示屏，被配置为显示用户界面；
处理器，所述处理器分别与所述触摸屏和所述显示屏耦接，所述处理器被配置为：
响应于用户选定目标视频资源的操作，向控制设备发送视频播放指令，并接收所述控制设备发送的视频数据并将所述视频数据解码后在所述显示屏上播放；其中，所述控制设备被配置为根据所述视频播放指令获取所述目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将经所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据；
响应于用户选定播放的第一视频帧以进行智能识别的操作，暂停所述通信终端的视频播放并在所述显示屏显示所第一视频帧，不控制所述显示设备所播放的视频数据进行暂停；
响应于用户通过所述触摸屏在所述第一视频帧中选定目标区域的操作，向所述控制设备发送智能识图指令，并接收所述控制设备发送的与所述图像关联的内容并将所述内容在所述显示屏上播放；其中，所述控制设备被配置为识别所述第一视频帧的目标区域内的图像，获得与所述图像相关联的内容，并将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
9.如权利要求8所述的通信终端，其特征在于，所述视频数据被配置在视频层中的第一播放窗口进行播放，所述内容被配置在位于所述视频层上层的OSD层中的第二播放窗口进行显示，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸。
10.一种控制设备，其特征在于，所述控制设备通过局域网与通信终端通信连接，通过物理连接线与显示设备连接，所述控制设备被配置为：
接收通信终端发送的视频播放指令；
根据所述视频播放指令获取所述视频播放指令请求获取的目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据。
11.如权利要求10所述的控制设备，其特征在于，所述控制设备被进一步配置为：
接收所述通信终端发送的智能识图指令，所述智能识图指令携带用户在第一视频帧中选定的目标区域的坐标信息；
根据所述目标区域的坐标信息确定所述第一视频帧的目标区域内的图像，对所述目标区域内的图像进行识别，生成与所述目标区域内的图像相关的搜索关键词，并根据所述搜索关键词，搜索得到与所述目标区域内的图像关联的内容；
将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
12.如权利要求10所述的控制设备，其特征在于，所述控制设备被进一步配置为：
将所述内容合成到待发送的视频数据中发送给所述通信终端；以及，
将所述内容合成到待发送的视频数据中并处理为与所述显示设备适配的界面格式后，发送给所述显示设备。
13.如权利要求11所述的控制设备，其特征在于，所述控制设备被进一步配置为：
将待播放的视频数据配置在视频层中的第一播放窗口，将所述内容配置在位于所述视频层上层的OSD层中的第二播放窗口，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸。
14.一种控制设备，其特征在于，包括：网络路由模块、交互通信模块、应用控制模块、视频云通信模块、数据处理模块、界面合成模块、显示及播放模块；
所述网络路由模块，被配置为接收通信终端发送的视频播放指令，并将所述视频播放指令发送给所述应用控制模块；
所述应用控制模块，被配置为根据所述视频播放指令配置所述视频云通信模块的工作模式为视频播放模式；
所述视频云通信模块，被配置为在视频播放模式下，从视频资源服务器获取所述视频播放指令请求的目标视频资源的视频数据，并传递给所述数据处理模块；
所述数据处理模块，被配置为将视频数据发送给所述交互通信模块；以及，对所述视频数据进行解码，将解码后的视频数据发送给所述界面合成模块；
所述交互通信模块，被配置为将视频数据通过所述网络路由模块发送给所述通信终端；
所述界面合成模块，被配置为将解码后的视频数据处理为与所述显示设备适配的视频数据，并发送给所述显示及播放模块；
所述显示及播放模块，被配置为将视频数据发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据。
15.如权利要求14所述的控制设备，其特征在于，还包括：智能分析模块、数据库检索模块；
所述网络路由模块，被进一步配置为接收所述通信终端发送的智能识图指令，所述智能识图指令携带用户在第一视频帧中选定的目标区域的坐标信息；
所述应用控制模块，被进一步配置为根据所述智能识图指令配置所述智能分析模块的工作模式为智能识图模式；
所述智能分析模块，被配置为根据所述目区域的坐标信息确定所述第一视频帧中所述目标区域内的图像，对所述目标区域内的图像进行识别，生成与所述目标区域内的图像相关的搜索关键词，并将所述搜索关键词发送所述数据库检索模块；
所述数据库检索模块，被配置为根据所述搜索关键词，搜索得到与所述目标区域内的图像关联的内容，并发送给所述数据处理模块；
所述数据处理模块，被进一步配置为将所述内容合成到待发送的视频数据中并发送给所述交互通信模块；以及，将所述内容合成到待发送的视频数据中并发送给所述界面合成模块。
16.如权利要求15所述的控制设备，其特征在于：
所述数据处理模块，被进一步配置为将待播放的视频数据配置在视频层中的第一播放窗口，将所述内容配置在位于所述视频层上层的OSD层中的第二播放窗口，所述第二播放窗口的尺寸小于所述第一播放窗口的尺寸。
17.一种视频多设备同步播放方法，其特征在于，包括：
响应于用户选定目标视频资源的操作，向控制设备发送视频播放指令，并接收所述控制设备发送的视频数据并将所述视频数据解码后在所述显示屏上播放；其中，所述控制设备被配置为根据所述视频播放指令获取所述目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将经所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据；
响应于用户选定播放的第一视频帧以进行智能识别的操作，暂停所述通信终端的视频播放并在所述显示屏显示所第一视频帧，不控制所述显示设备所播放的视频数据进行暂停；
响应于用户通过所述触摸屏在所述第一视频帧中选定目标区域的操作，向所述控制设备发送智能识图指令，并接收所述控制设备发送的与所述图像关联的内容并将所述内容在所述显示屏上播放；其中，所述控制设备被配置为识别所述第一视频帧的目标区域内的图像，获得与所述图像相关联的内容，并将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
18.一种视频多设备同步播放方法，其特征在于，包括：
接收通信终端发送的视频播放指令，根据所述视频播放指令获取所述视频播放指令请求获取的目标视频资源的视频数据，并将所述视频数据发送给所述通信终端以及将所述视频数据解码后发送给所述显示设备，使得所述通信终端和所述显示设备同时播放所述视频数据；
接收所述通信终端发送的智能识图指令，所述智能识图指令携带用户在第一视频帧中选定的目标区域的坐标信息；
根据所述目标区域的坐标信息确定所述第一视频帧的目标区域内的图像，对所述目标区域内的图像进行识别，生成与所述目标区域内的图像相关的搜索关键词，并根据所述搜索关键词，搜索得到与所述目标区域内的图像关联的内容；
将所述内容分别发送给所述通信终端和显示设备，使得所述通信终端和所述显示设备同时播放所述内容。
CN202010130292.6A 2020-02-28 2020-02-28 通信终端、控制设备及视频多设备同步播放方法 Pending CN111327934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010130292.6A CN111327934A (zh) 2020-02-28 2020-02-28 通信终端、控制设备及视频多设备同步播放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130292.6A CN111327934A (zh) 2020-02-28 2020-02-28 通信终端、控制设备及视频多设备同步播放方法

Publications (1)

Publication Number Publication Date
CN111327934A true CN111327934A (zh) 2020-06-23

Family

ID=71171341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130292.6A Pending CN111327934A (zh) 2020-02-28 2020-02-28 通信终端、控制设备及视频多设备同步播放方法

Country Status (1)

Country Link
CN (1) CN111327934A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112165644A (zh) * 2020-09-27 2021-01-01 海信视像科技股份有限公司 一种显示设备及竖屏状态下视频播放方法
CN112887726A (zh) * 2021-03-16 2021-06-01 西安万像电子科技有限公司 图像处理方法和装置、存储介质及电子设备
CN113490064A (zh) * 2020-09-11 2021-10-08 青岛海信电子产业控股股份有限公司 一种视频播放方法和设备及服务器
CN114546308A (zh) * 2020-11-25 2022-05-27 华为终端有限公司 应用界面投屏方法、装置、设备以及存储介质
CN116778011A (zh) * 2023-05-22 2023-09-19 阿里巴巴（中国）有限公司 图像生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533396A (zh) * 2013-09-29 2014-01-22 乐视网信息技术（北京）股份有限公司 一种视频内容互动方法、装置及***
CN103618915A (zh) * 2013-11-13 2014-03-05 深圳市同洲电子股份有限公司 一种多屏互动的方法及装置
CN103428556B (zh) * 2012-05-17 2016-11-23 华为技术有限公司 多屏互动的方法及***
WO2018129292A1 (en) * 2017-01-05 2018-07-12 Blackfire Research Corporation Enhanced home media experience using a wireless media hub
CN108882010A (zh) * 2018-06-29 2018-11-23 深圳市九洲电器有限公司 一种多屏播放的方法及***
US10194189B1 (en) * 2013-09-23 2019-01-29 Amazon Technologies, Inc. Playback of content using multiple devices
CN110362714A (zh) * 2019-07-25 2019-10-22 腾讯科技（深圳）有限公司 视频内容的搜索方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428556B (zh) * 2012-05-17 2016-11-23 华为技术有限公司 多屏互动的方法及***
US10194189B1 (en) * 2013-09-23 2019-01-29 Amazon Technologies, Inc. Playback of content using multiple devices
CN103533396A (zh) * 2013-09-29 2014-01-22 乐视网信息技术（北京）股份有限公司 一种视频内容互动方法、装置及***
CN103618915A (zh) * 2013-11-13 2014-03-05 深圳市同洲电子股份有限公司 一种多屏互动的方法及装置
WO2018129292A1 (en) * 2017-01-05 2018-07-12 Blackfire Research Corporation Enhanced home media experience using a wireless media hub
CN108882010A (zh) * 2018-06-29 2018-11-23 深圳市九洲电器有限公司 一种多屏播放的方法及***
CN110362714A (zh) * 2019-07-25 2019-10-22 腾讯科技（深圳）有限公司 视频内容的搜索方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113490064A (zh) * 2020-09-11 2021-10-08 青岛海信电子产业控股股份有限公司 一种视频播放方法和设备及服务器
CN112165644A (zh) * 2020-09-27 2021-01-01 海信视像科技股份有限公司 一种显示设备及竖屏状态下视频播放方法
CN114546308A (zh) * 2020-11-25 2022-05-27 华为终端有限公司 应用界面投屏方法、装置、设备以及存储介质
WO2022111421A1 (zh) * 2020-11-25 2022-06-02 华为技术有限公司 应用界面投屏方法、装置、设备以及存储介质
CN114546308B (zh) * 2020-11-25 2024-07-05 华为终端有限公司 应用界面投屏方法、装置、设备以及存储介质
CN112887726A (zh) * 2021-03-16 2021-06-01 西安万像电子科技有限公司 图像处理方法和装置、存储介质及电子设备
CN112887726B (zh) * 2021-03-16 2022-11-25 西安万像电子科技有限公司 图像处理方法和装置、存储介质及电子设备
CN116778011A (zh) * 2023-05-22 2023-09-19 阿里巴巴（中国）有限公司 图像生成方法
CN116778011B (zh) * 2023-05-22 2024-05-24 阿里巴巴（中国）有限公司 图像生成方法

Similar Documents

Publication Publication Date Title
CN111327934A (zh) 通信终端、控制设备及视频多设备同步播放方法
CN111277884B (zh) 视频播放方法及设备
CN111405318B (zh) 视频展示方法、装置及计算机存储介质
WO2021164177A1 (zh) 播放媒体资源的方法、显示设备及移动终端
CN111836109A (zh) 显示设备、服务器及自动更新栏目框的方法
CN114286165A (zh) 一种显示设备、移动终端及投屏数据传输方法
CN114339332B (zh) 一种移动终端、显示设备及跨网投屏方法
CN111479145A (zh) 显示设备及电视节目的推送方法
CN111897478A (zh) 一种页面显示方法及显示设备
CN113590059A (zh) 一种投屏方法及移动终端
CN114286152A (zh) 显示设备、通信终端及投屏画面动态显示方法
CN112004157A (zh) 一种多轮语音交互方法及显示设备
CN113784200A (zh) 通信终端、显示设备及投屏连接方法
CN113225838A (zh) 一种麦克风的控制方法、音频接收设备及音频采集设备
CN112272331B (zh) 一种节目频道列表快速展示的方法及显示设备
CN111741314A (zh) 视频播放方法及显示设备
CN113784186B (zh) 终端设备、服务器和通信控制方法
CN111324255B (zh) 一种基于双屏终端的应用处理方法及通信终端
CN112786022B (zh) 终端、第一语音服务器、第二语音服务器及语音识别方法
CN114286320A (zh) 一种显示设备、移动终端及蓝牙连接方法
CN114390329A (zh) 显示设备及图像识别方法
CN113825007B (zh) 视频播放方法、装置及显示设备
CN113573115B (zh) 确定搜索字符的方法及显示设备
CN111381801B (zh) 一种基于双屏终端的音频播放方法及通信终端
US12019947B2 (en) Projection method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200623

RJ01 Rejection of invention patent application after publication