CN113132769A - 显示设备及音画同步方法 - Google Patents

显示设备及音画同步方法 Download PDF

Info

Publication number
CN113132769A
CN113132769A CN202010042618.XA CN202010042618A CN113132769A CN 113132769 A CN113132769 A CN 113132769A CN 202010042618 A CN202010042618 A CN 202010042618A CN 113132769 A CN113132769 A CN 113132769A
Authority
CN
China
Prior art keywords
audio
sound
display device
delay time
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010042618.XA
Other languages
English (en)
Inventor
陈俊宁
初德进
程志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202010042618.XA priority Critical patent/CN113132769A/zh
Publication of CN113132769A publication Critical patent/CN113132769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4852End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种显示设备及音画同步方法,该显示设备的控制器用于获取音画同步设置参数,并获取所述显示设备的图像延迟时长,根据所述音画同步设置参数和所述图像延迟时长,确定所述显示设备的音频延迟时长;显示设备的音频处理器用于根据所述音频延迟时长控制音频数据的播放时间,使得所述音频数据与所述图像数据同步播放。本实施例的方案可应用于视频起播流程、以及UI界面响应流程,两个流程中确定出的音频延迟时长是相同的,因此,能够避免两个流程互相干扰的情况,从而能够解决音画不同步的问题,提高用户的音画观看体验。

Description

显示设备及音画同步方法
技术领域
本申请涉及多媒体播放技术领域,尤其涉及一种显示设备及音画同步 方法。
背景技术
越来越多的显示设备支持多媒体播放。在多媒体播放技术中,显示设 备(例如电视机)将待播放的多媒体数据(也可以称为音画数据)解析为 图像数据和音频数据,对图像数据经过画质处理后输出至显示屏进行显 示,对音频数据经过音效处理后输出至扬声器进行播放。
由于图像数据和音频数据是采用不同的数据处理通路进行处理,并 且,相对于音频数据的音效处理过程,图像数据的画质处理过程耗时较长, 所以图像数据到达显示屏所需时长大于音频数据到达扬声器所需时长。从 而,导致了在多媒体数据播放过程中会出现音画不同步的现象。
发明内容
本申请提供一种显示设备及音画同步方法,用以解决多媒体数据播放 过程中出现的音画不同步现象。
第一方面,本申请提供一种显示设备,包括:
显示屏,被配置为呈现画面内容;
扬声器,被配置为再现声音;
视频处理器,被配置为对图像数据进行画质处理,并将所述画质处理后 的图像数据输出至所述显示屏;
控制器,被配置为:获取音画同步设置参数,从所述视频处理器获取图 像延迟时长,根据所述音画同步设置参数和所述图像延迟时长,确定音频延 迟时长,并将所述音频延迟时长配置给所述音频处理器;
所述音频处理器,被配置为根据所述音频延迟时长控制音频数据输出至 所述扬声器的时间,以使所述音频数据达到所述扬声器的时刻与所述图像数 据到达所述显示屏的时刻相同。
一种可能的实现方式中,所述显示设备还包括:
用户图形界面,被配置为接收用户输入的操作指令;
相应的,所述控制器具体被配置为:
从所述用户图形界面接收用户针对音画同步功能输入的操作指令,并从 所述操作指令中获取所述音画同步设置参数。
一种可能的实现方式中,所述控制器还被配置为:
将所述显示设备的***文件中的音画同步属性的值设置为所述音画同步 设置参数。
一种可能的实现方式中,所述控制器具体被配置为:
在接收到播放指令时,从所述显示设备的***文件中读取音画同步属性 的值,得到所述音画同步设置参数。
一种可能的实现方式中,所述控制器还被配置为:
在接收到播放结束指令时,更新所述音频延迟时长为预设值,并将更新 后的音频延迟时长配置给所述音频处理器。
一种可能的实现方式中,所述控制器具体被配置为:
根据所述音画同步设置参数和预设的单位延迟时长,确定所述音频数据 相对于所述图像数据的输出延迟;
根据所述音频数据相对于所述图像数据的输出延迟,以及所述图像延迟 时长,确定所述音频延迟时长。
一种可能的实现方式中,所述控制器具体被配置为:
通过运行所述视频处理器的驱动程序从所述视频处理器获取所述图像延 迟时长;
通过运行所述音频处理器的驱动程序将所述音频延迟时长配置给所述音 频处理器。
第二方面,本申请提供一种音画同步方法,应用于显示设备,所述方 法包括:
获取音画同步设置参数,所述音画同步设置参数用于指示所述显示设 备在播放包括音频数据和图像数据的音画数据时,所述音频数据相对于所 述图像数据的输出延迟;
获取所述显示设备的图像延迟时长,所述图像延迟时长用于指示所述 显示设备对所述图像数据进行画质处理所需的时长;
根据所述音画同步设置参数和所述图像延迟时长,确定所述显示设备 的音频延迟时长;
根据所述音频延迟时长控制所述音频数据的播放时间,使得所述音频 数据与所述图像数据同步播放。
一种可能的实现方式中,所述获取音画同步设置参数,包括:通过用 户图形界面接收用户针对音画同步功能输入的操作指令;从所述操作指令 中获取音画同步设置参数。
一种可能的实现方式中,所述从所述操作指令中获取音画同步设置参 数之后,还包括:将所述显示设备的***文件中的音画同步属性的值设置 为所述音画同步设置参数。
一种可能的实现方式中,所述获取音画同步设置参数,包括:在接收 到所述音画数据的播放指令时,从所述显示设备的***文件中读取音画同 步属性的值,得到所述音画同步设置参数。
一种可能的实现方式中,所述方法还包括:在所述音画数据播放结束 后,更新所述显示设备的音频延迟时长为预设值。
一种可能的实现方式中,所述根据所述音画同步设置参数和所述图像 延迟时长,确定所述显示设备的音频延迟时长,包括:
根据所述音画同步设置参数和预设的单位延迟时长,确定所述音频数 据相对于所述图像数据的输出延迟;
根据所述音频数据相对于所述图像数据的输出延迟,以及所述图像延 迟时长,确定所述显示设备的音频延迟时长。
一种可能的实现方式中,所述获取所述显示设备的图像延迟时长,包 括:
通过运行视频处理器的驱动程序从所述视频处理器获取所述图像延 迟时长;
所述确定所述显示设备的音频延迟时长之后,还包括:
通过运行音频处理器的驱动程序将所述音频延迟时长配置给所述音 频处理器。
第三方面,本申请提供一种音画同步装置,应用于显示设备,所述装 置包括:
第一获取部,用于获取音画同步设置参数,所述音画同步设置参数用 于指示所述显示设备在播放包括音频数据和图像数据的音画数据时,所述 音频数据相对于所述图像数据的输出延迟;
第二获取部,用于获取所述显示设备的图像延迟时长,所述图像延迟 时长用于指示所述显示设备对所述图像数据进行画质处理所需的时长;
确定部,用于根据所述音画同步设置参数和所述图像延迟时长,确定 所述显示设备的音频延迟时长;
音频延迟处理部,用于根据所述音频延迟时长控制所述音频数据的播 放时间,使得所述音频数据与所述图像数据同步播放。
一种可能的实现方式中,所述第一获取部具体用于:通过用户图形界 面接收用户针对音画同步功能输入的操作指令;从所述操作指令中获取音 画同步设置参数。
一种可能的实现方式中,所述第一获取部还用于:将所述显示设备的 ***文件中的音画同步属性的值设置为所述音画同步设置参数。
一种可能的实现方式中,所述第一获取部具体用于:在接收到所述音 画数据的播放指令时,从所述显示设备的***文件中读取音画同步属性的 值,得到所述音画同步设置参数。
一种可能的实现方式中,所述确定部还用于:在所述音画数据播放结 束后,更新所述显示设备的音频延迟时长为预设值。
一种可能的实现方式中,所述确定部具体用于:
根据所述音画同步设置参数和预设的单位延迟时长,确定所述音频数 据相对于所述图像数据的输出延迟;
根据所述音频数据相对于所述图像数据的输出延迟,以及所述图像延 迟时长,确定所述显示设备的音频延迟时长。
一种可能的实现方式中,所述第二获取部具体用于:通过运行视频处 理器的驱动程序从所述视频处理器获取所述图像延迟时长;
所述确定部还用于通过运行音频处理器的驱动程序将所述音频延迟 时长配置给所述音频处理器。
第四方面,本申请提供一种显示设备,包括:存储器、处理器以及计 算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计 算机程序执行如第二方面任一项所述的方法。
第五方面,本申请提供一种计算机可读存储介质,所述计算机可读存 储介质包括计算机程序,所述计算机程序被处理器执行时实现如第二方面 任一项所述的方法。
本申请提供的显示设备及音画同步方法,该显示设备的控制器用于获 取音画同步设置参数,并获取所述显示设备的图像延迟时长,根据所述音 画同步设置参数和所述图像延迟时长,确定所述显示设备的音频延迟时 长;音频处理器用于根据所述音频延迟时长控制音频数据的播放时间,使 得所述音频数据与所述图像数据同步播放。本实施例的显示设备在应用于 视频起播流程、以及用户图形界面响应流程中时,两个流程中确定出的音频延迟时长是相同的,因此,能够避免两个流程互相干扰的情况,从而能 够解决音画不同步的问题,提高用户的音画观看体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对 实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地, 下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员 来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的 附图。
图1为本申请实施例中显示设备与控制装置之间操作场景的示意图;
图2为本申请实施例中控制装置的配置框图;
图3A为本申请一个实施例中显示设备中硬件***的硬件结构示意 图;
图3B为本申请另一个实施例中显示设备中硬件***的硬件结构示意 图;
图4示出了电源板与负载的连接关系示意图;
图5中示例性示出了根据图3A所示显示设备的硬件架构框图;
图6中示例性示出了根据示例性实施例中显示设备的功能配置示意 图;
图7中示例性示出了根据示例性实施例中显示设备中软件***的配置 框图;
图8中示例性示出了显示设备的应用程序的示意图;
图9中示例性示出了根据示例性实施例中显示设备中用户图形界面的 示意图;
图10为本申请实施例中显示设备对多媒体数据的播放原理示意图;
图11为本申请实施例中画质处理通路的处理过程示意图;
图12A至图12D为本申请实施例提供的通过OSD菜单调节音画同步 功能的示意图;
图13A示例的是一种可能的干扰情况的示意图;
图13B示例的是另一种可能的干扰情况的示意图;
图14为本申请一个实施例提供的音画同步方法的流程示意图;
图15为本申请实施例提供的显示设备的架构示意图;
图16为本申请另一个实施例提供的音画同步方法的流程示意图;
图17为本申请一个实施例提供的音画同步装置的结构示意图;
图18为本申请一个实施例提供的显示设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而 不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、 “第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描 述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互 换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的 那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变 形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、 方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可 包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步 骤或单元。
本申请主要针对具有双***、双显示屏结构的显示设备,即具有第一 控制器(第一硬件***)、第二控制器(第二硬件***)、第一显示屏和 第二显示屏的显示设备的音画同步处理,下面首先对具有双***硬件结构 的显示设备的结构、功能和实现方式等方面进行详细说明。
为便于用户使用,显示设备上通常会设置各种外部装置接口,以便于 连接不同的外设设备或线缆以实现相应的功能。而在显示设备的接口上连 接有高清晰度的摄像头时,如果显示设备的硬件***没有接收源码的高像 素摄像头的硬件接口,那么就会导致无法将摄像头接收到的数据呈现到显 示设备的显示屏上。
并且,受制于硬件结构,传统显示设备的硬件***仅支持一路硬解码 资源,且通常最大仅能支持4K分辨率的视频解码,因此当要实现边观看 网络电视边进行视频聊天时,为了不降低网络视频画面清晰度,就需要使 用硬解码资源(通常是硬件***中的GPU)对网络视频进行解码,而在此 情况下,只能采取由硬件***中的通用处理器(例如CPU)对视频进行软 解码的方式处理视频聊天画面。
采用软解码处理视频聊天画面,会大大增加CPU的数据处理负担, 当CPU的数据处理负担过重时,可能会出现画面卡顿或者不流畅的问题。 在一些实施例中,受制于CPU的数据处理能力,当采用CPU软解码处理 视频聊天画面时,通常无法实现多路视频通话,当用户想要再同一聊天场 景同时与多个其他用户进行视频聊天时,会出现接入受阻的情况。
基于上述各方面的考虑,为克服上述缺陷,本申请公开了一种双硬件 ***架构,以实现多路视频聊天数据(至少一路本地视频)。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的 是,以下对各个概念的说明,仅为了使本申请的内容更加容易理解,并不 表示对本申请保护范围的限定。
本申请各实施例中使用的术语“模块”,可以是指任何已知或后来开 发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合, 能够执行与该元件相关的功能。
本申请各实施例中使用的术语“遥控器”,是指电子设备(如本申请 中公开的显示设备)的一个组件,该组件通常可在较短的距离范围内无线 控制电子设备。该组件一般可以使用红外线和/或射频(RF)信号和/或蓝牙 与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功 能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控 装置中的大部分物理内置硬件。
本申请各实施例中使用的术语“手势”,是指用户通过一种手型的变 化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
本申请各实施例中使用的术语“硬件***”,可以是指由集成电路 (IntegratedCircuit,IC)、印刷电路板(Printed circuit board,PCB)等 机械、光、电、磁器件构成的具有计算、控制、存储、输入和输出功能的 实体部件。在本申请各个实施例中,硬件***通常也会被称为主板 (motherboard)或芯片。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景 的示意图。如图1所示,用户可通过控制装置100来操作显示设备200。
其中,控制装置100可以是遥控器100A,其可与显示设备200之间 通过红外协议通信、蓝牙协议通信、紫蜂(ZigBee)协议通信或其他短距 离通信方式进行通信,用于通过无线或其他有线方式来控制显示设备200。 用户可以通过遥控器100A上按键、语音输入、控制面板输入等输入用户 指令,来控制显示设备200。如:用户可以通过遥控器100A上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关 机按键等输入相应控制指令,来实现控制显示设备200的功能。
控制装置100也可以是智能设备,如移动终端100B、平板电脑、计 算机、笔记本电脑等,其可以通过本地网(LAN,Local Area Network)、 广域网(WAN,Wide Area Network)、无线局域网(WLAN,Wireless Local Area Network)或其他网络与显示设备200之间通信,并通过与显示设备 200相应的应用程序实现对显示设备200的控制。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联 的屏幕上通过直观的用户界面(UI,User Interface)为用户提供各种控制。
示例的,移动终端100B与显示设备200均可安装软件应用,从而可 通过网络通信协议实现二者之间的连接通信,进而实现一对一控制操作的 和数据通信的目的。如:可以使移动终端100B与显示设备200建立控制 指令协议,将遥控控制键盘同步到移动终端100B上,通过控制移动终端 100B上用户界面,实现控制显示设备200的功能;也可以将移动终端100B 上显示的音视频内容传输到显示设备200上,实现同步显示功能。
如图1所示,显示设备200还可与服务器300通过多种通信方式进行 数据通信。在本申请各个实施例中,可允许显示设备200通过局域网、无 线局域网或其他网络与服务器300进行有线通信连接或无线通信连接。服 务器300可以向显示设备200提供各种内容和互动。
示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG, ElectronicProgram Guide)互动,接收软件程序更新,或访问远程储存的数 字媒体库。服务器300可以是一组,也可以是多组,可以是一类或多类服 务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
显示设备200包括第一显示屏201与第二显示屏202,其中,第一显 示屏201与第二显示屏202之间相互独立,第一显示屏201与第二显示屏 202之间采用双硬件控制***。
其中,第一显示屏201和第二显示屏202可以用于显示不同的显示画 面。如,第一显示屏201可以用于传统电视节目的画面显示,第二显示屏 202用于通知类消息、语音助手等辅助信息的画面显示。
在一些实施例中,第一显示屏201显示的内容与第二显示屏202显示 的内容之间可以相互独立,互不影响。例如,在第一显示屏201播放电视 节目时,第二显示屏202可以显示与电视节目无关的时间、天气、气温、 提醒消息等信息。
在一些实施例中,第一显示屏201显示的内容与第二显示屏202显示 的内容之间也可以存在关联关系。例如,在第一显示屏201播放视频聊天 的主画面时,第二显示屏202可以显示当前接入视频聊天的用户的头像、 聊天时长等信息。
在一些实施例中,第二显示屏202显示的部分或全部内容可以调整至 第一显示屏201显示。例如,可以将第一显示屏201显示的时间、天气、 气温、提醒消息等信息调整到第一显示屏201显示,而用第二显示屏202 显示其它的信息。
另外,第一显示屏201在显示传统电视节目画面的同时,还显示多方 交互画面,且多方交互画面不会遮挡传统电视节目画面。其中,本申请对 传统电视节目画面和多方交互画面的显示方式不做限定。例如,本申请可 以根据传统电视节目画面和多方交互画面的优先级,设置传统电视节目画 面和多方交互画面的位置和大小。
以传统电视节目画面的优先级高于多方交互画面的优先级为例,传统 电视节目画面的面积大于多方交互画面的面积,且多方交互画面可以位于 传统电视节目画面的一侧,也可以悬浮设置在多方交互画面的一角。
显示设备200,一方面讲,可以是液晶显示器、OLED(Organic Light EmittingDiode)显示器、投影显示设备;另一方面讲,显示设备200可以 是智能电视或显示器和机顶盒组成的显示***。具体显示设备类型,尺寸 大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可 以根据需要做性能和配置上的一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算 机支持功能的智能网络电视功能。示例的包括,网络电视、智能电视、互 联网协议电视(IPTV)等。在一些实施例中,显示设备可以不具备广播接 收电视功能。
如图1所示,显示设备200上可以连接或设置有摄像头,用于将摄像 头拍摄到的画面呈现在本显示设备或其他显示设备的显示界面上,以实现 用户之间的交互聊天。具体的,摄像头拍摄到的画面可在显示设备上全屏 显示、半屏显示、或者显示任意可选区域。
作为一种在一些实施例中连接方式,摄像头通过连接板与显示设备的 后壳连接,固定安装在显示设备的后壳的上侧中部,作为可安装的方式, 可以固定安装在显示设备的后壳的任意位置,能保证其图像采集区域不被 后壳遮挡即可,例如,图像采集区域与显示设备的显示朝向相同。
作为另一种在一些实施例中连接方式,摄像头通过连接板或者其他可 想到的连接器可升降的与显示设备后壳连接,连接器上安装有升降马达, 当用户要使用摄像头或者有应用程序要使用摄像头时,再升出显示设备之 上,当不需要使用摄像头时,其可内嵌到后壳之后,以达到保护摄像头免 受损坏和保护用户的隐私安全。
作为一种实施例,本申请所采用的摄像头可以为1600万像素,以达 到超高清显示目的。在实际使用中,也可采用比1600万像素更高或更低 的摄像头。
当显示设备上安装有摄像头以后,显示设备不同应用场景所显示的内 容可得到多种不同方式的融合,从而达到传统显示设备无法实现的功能。
示例性的,用户可以在边观看视频节目的同时,与至少一位其他用户 进行视频聊天。视频节目的呈现可作为背景画面,视频聊天的窗口显示在 背景画面之上。形象的,可以称该功能为“边看边聊”。
在一些实施例中,在“边看边聊”的场景中,在观看直播视频或网络 视频的同时,跨终端的进行至少一路的视频聊天。
另一示例中,用户可以在边进入教育应用学习的同时,与至少一位其 他用户进行视频聊天。例如,学生在学习教育应用程序中内容的同时,可 实现与老师的远程互动。形象的,可以称该功能为“边学边聊”。
另一示例中,用户在玩纸牌游戏时,与进入游戏的玩家进行视频聊天。 例如,玩家在进入游戏应用参与游戏时,可实现与其他玩家的远程互动。 形象的,可以称该功能为“边看边玩”。
在一些实施例中,游戏场景与视频画面进行融合,将视频画面中人像 进行抠图,显示在游戏画面中,提升用户体验。
在一些实施例中,在体感类游戏中(如打球类、拳击类、跑步类、跳 舞类等),通过摄像头获取人体姿势和动作,肢体检测和追踪、人体骨骼 关键点数据的检测,再与游戏中动画进行融合,实现如体育、舞蹈等场景 的游戏。
另一示例中,用户可以在K歌应用中,与至少一位其他用户进行视频 和语音的交互。形象的,可以称该功能为“边看边唱”。在一些实施例中, 当至少一位用户在聊天场景进入该应用时,可多个用户共同完成一首歌的 录制。
另一个示例中,用户可在本地打开摄像头获取图片和视频,形象的, 可以称该功能为“照镜子”。
在另一些示例中,还可以再增加更多功能或减少上述功能。本申请对 该显示设备的功能不作具体限定。
图2中示例性示出了根据示例性实施例中控制装置100的配置框图。 如图2所示,控制装置100包括控制器110、通信器130、用户输入/输出 接口140、存储器190、供电电源180。
控制装置100被配置为可控制所述显示设备200,以及可接收用户的 输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令, 起到用户与显示设备200之间交互中介作用。如:用户通过操作控制装置 100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制装置100可是一种智能设备。如:控制装置100 可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端100B或其他智能电子设备, 可在安装操控显示设备200的应用之后,起到控制装置100类似功能。如: 用户可以通过安装应用,在移动终端100B或其他智能电子设备上可提供 的图形用户界面的各种功能键或虚拟按钮,以实现控制装置100实体按键 的功能。
控制器110包括处理器112、RAM 113和ROM 114、通信接口以及通 信总线。控制器110用于控制控制装置100的运行和操作,以及内部各部 件之间通信协作以及外部和内部的数据处理功能。
通信器130在控制器110的控制下,实现与显示设备200之间控制信 号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200 上。通信器130可包括WIFI模块131、蓝牙模块132、NFC模块133等通 信模块中至少一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、 传感器143、按键144、摄像头145等输入接口中至少一者。如:用户可 以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口 通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信 号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些 实施例中,可以是红外接口,也可以是射频接口。如:红外信号接口时, 需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送 模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指 令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频 发送端子发送至显示设备200。
在一些实施例中,控制装置100包括通信器130和输出接口中至少一 者。控制装置100中配置通信器130,如:WIFI、蓝牙、NFC等模块,可 将用户输入指令通过WIFI协议、或蓝牙协议、或NFC协议编码,发送至 显示设备200。
存储器190,用于在控制器110的控制下存储驱动和控制控制装置100 的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控 制信号指令。
供电电源180,用于在控制器110的控制下为控制装置100各电器元 件提供运行电力支持。供电电源180可以采用电池及相关控制电路实现供 电。
在一些实施例中,图3A中示例性示出了根据示例性实施例中显示设 备200中硬件***的硬件结构示意图。为了便于说明,图3A中显示设备 200以液晶显示器为例进行示意。
图3A所示,显示设备200可以包括:第一面板11、第一背光组件12、 第一后壳13、第一控制器14、第二控制器15、第一显示驱动电路16、第 二面板21、第二背光组件22、第二后壳23、第二显示驱动电路24和电源 组件30。另外,在一些实施例中,显示设备200还可以包括:底座或者悬 挂支架。为了便于说明,图3A中显示设备200中以包含底座41进行举例 示意,该底座41用于支撑显示设备200。值得说明的是,图中仅示出一种 形式的底座设计,本领域技术人员可以根据产品需求设计不同形式的底 座。
其中,第一面板11用于给用户呈现第一显示屏201的画面。在一些 实施例中,第一面板11可以为液晶面板。例如,液晶面板可以从上到下 依次包括:水平偏光板、彩色滤光片、液晶层、薄膜晶体管TFT、垂直偏 光板、导光板和印刷电路板(printed circuit board,PCB),该印刷电路板 PCB上设置有栅极驱动电路、源极驱动电路等驱动电路。其中,栅极驱动电路通过扫描线与薄膜晶体管TFT的栅极连接,源极驱动电路通过数据 线与薄膜晶体管TFT的漏极连接。
其中,第一背光组件12位于第一面板11的下方,通常是一些光学组 件,用于供应充足的亮度与分布均匀的光源,使第一面板11能正常显示 影像。第一背光组件12还包括第一背板(图中未示出)。
其中,第一后壳13盖设在第一面板11上,以共同隐藏第一背光组件 12、第一控制器14、第二控制器15和第一显示驱动电路16和电源组件 30等显示设备200的零部件,起到美观的效果。
其中,第一控制器14、第二控制器15和第一显示驱动电路16和电源 组件30设置于第一背板上,通常在第一背板上冲压形成一些凸包结构。 第一控制器14、第二控制器15和第一显示驱动电路16和电源组件30通 过螺钉或者挂钩固定在凸包上。
在一些实施例中,第一控制器14、第二控制器15、第一显示驱动电 路16和电源组件30可以共同设置在一个板子上,也可以分别设置不同的 板子上,如第一控制器14设置在主板上,第二控制器15设置在交互板上, 第一显示驱动电路16设置在第一显示驱动板上,电源组件30设置在电源 板上,也可以组合设置在不同的板子上,也可以与第一背光组件12共同 设置在一个板子上,具体可以根据实际需求进行设置,本申请对此不做限 定。
为了便于说明,图3A中将第一控制器14、第二控制器15和第一显 示驱动电路16和电源组件30共设在一个板子上进行举例示意。
其中,第一显示驱动电路16主要的功能是:通过第一控制器14传输 的背光驱动信号,如PWM信号以及Local dimming信号,进行千级背光 分区控制,此部分控制是根据图像内容变化的,以及在与第一控制器14 之间建立握手后,接收第一控制器14发送的VbyOne显示信号,并将 VbyOne显示信号转换为LVDS信号,实现第一显示屏201的图像画面显 示。
其中,第二面板21用于给用户呈现第二显示屏202的画面。在一些 实施例中,第二面板21可以为液晶面板,具体包含的结构可以参见前述 内容的描述,此处不做赘述。
其中,第二背光组件22位于第二面板12的下方,通常是一些光学组 件,用于供应充足的亮度与分布均匀的光源,使第二面板12能正常显示 影像。第二背光组件22还包括第二背板(图中未示出)。
其中,第二后壳23盖设在第二面板21上,以共同隐藏第二背光组件 22和第二显示驱动电路24等显示设备200的零部件,起到美观的效果。
其中,第二显示驱动电路24设置于第二背板上,通常在第二背板上 冲压形成一些凸包结构。第二显示驱动电路24通过螺钉或者挂钩固定在 凸包上。第二显示驱动电路24可以单独设置在一个板子上,如第二显示 驱动板上,也可以与第二背光组件22共同设置在一个板子上,具体可以 根据实际需求进行设置,本申请对此不做限定。为了便于说明,图3A中将第二显示驱动电路24单独设在一个板子上进行举例示意。
在一些实施例中,图3A中还包括按键板,按键板可以设置在第一背 板上,也可以设置在第二背板上,本申请对此不做限定。且按键板上设置 有多个按键和按键电路,使得第一控制器14或者第二控制器15可以从按 键板上接收按键信号,也使得第一控制器14或者第二控制器15可以向按 键板发送控制信号。
另外,显示设备200还包括声音再现装置(图中未示出)例如音响组 件,如包括功率放大器(Amplifier,AMP)及扬声器(Speaker)的I2S接 口等,用于实现声音的再现。通常音响组件至少能够实现两个声道的声音 输出;当要实现全景声环绕的效果,则需要设置多个音响组件,输出多个 声道的声音,这里不再具体展开说明。
需要说明的是,显示设备200还可以为OLED显示器,对应的,显示 设备200所包含的模板发生相应的改变,如由于OLED显示器可以实现自 发光,因此,OLED显示器中不需要背光组件(图3A中的第一背光组件 12和第二背光组件22),此处不做过多说明。
或者,如图3A所示以具有双显示屏的显示设备作为示例性说明,而 在图3B中示例性示出了根据示例性实施例中显示设备中硬件***的硬件 结构示意图。
其中,如图3B所示的具有单显示屏的显示设备中,该显示设备包括: 面板1、背光组件2、后壳3、控制器4、电源组件5和底座6。其中,面 板1用于给用户呈现画面;背光组件2位于面板1的下方,通常是一些光 学组件,用于供应充足的亮度与分布均匀的光源,使面板1能正常显示图 像内容,背光组件2还包括背板,控制器4和电源组件5设置于背板上, 通常在背板上冲压形成一些凸包结构,控制器4和电源组件5通过螺钉或 者挂钩固定在凸包上;后壳3盖设在面板1上,以共同隐藏背光组件2、 控制器4和电源组件5等显示设备的零部件,起到美观的效果;底座6, 用于支撑显示设备。
其中,控制器4和电源组件5可以单独设置在一个板子上,也可以共 同设置在一个板子上,也可以与背光组件共同设置在一个板子上,具体可 以根据实际需求进行设置,本申请对此不做限定。为了便于说明,图3B 中,控制器4和电源组件5共同设置在一个板上。
另外,显示设备200还包括声音再现装置(图中未示出)例如音响组 件,如包括功率放大器(Amplifier,AMP)及扬声器(Speaker)的I2S接 口等,用于实现声音的再现。通常音响组件至少能够实现两个声道的声音 输出;当要实现全景声环绕的效果,则需要设置多个音响组件,输出多个 声道的声音,这里不再具体展开说明。
需要说明的是,显示设备200还可以采用OLED显示屏,这样,显示 设备200所包含的模板发生相应的改变,此处不做过多说明。
图4示出了电源板与负载的连接关系示意图,如图4所示,电源组件 30包括输入端IN和输出端OUT(图中示出第一输出端OUT1、第二输出 端OUT2、第三输出端OUT3、第四输出端OUT4和第五输出端OUT5), 其中,输入端IN与交流电源AC(如市电)相连,输出端OUT与负载相 连,比如,第一输出端OUT1和声音再现装置相连,第二输出端OUT2和 第一面板11/第二面板21相连,第三输出端OUT3和第一背光组件12/第 二背光组件22相连,第四输出端OUT4和第一控制器14/第二控制器15 相连,第五输出端OUT5和第一显示驱动电路16/第二显示驱动电路24相 连。其中,电源组件30需要将交流市电转换为负载所需求的直流电,并且,该直流电通常具有不同的规格,例如音响组件需要18V,第一控制器 14需要12V/18V等。
为便于表述,以下将双硬件***架构中的一个硬件***称为第一硬件 ***或第一控制器,并将另一个硬件***称为第二硬件***或第二控制 器。第一控制器包含第一控制器的各类处理器、各类接口,及通过各类接 口与第一控制器相连的各类模块,第二控制器则包含第二控制器的各类处 理器、各类接口,及通过各类接口与第二控制器相连的各类模块。
第一控制器及第二控制器中可以各自安装有相对独立的操作***,第 一控制器的操作***和第二控制器的操作***可以通过通信协议相互通 信,示例性的:第一控制器的操作***的framework层和第二控制器的操 作***的framework层可以进行通信进行命令和数据的传输,从而使显示 设备200中存在两个在独立但又存在相互关联的子***。
下面结合图5对本申请双硬件***架构进行在一些实施例中说明。需 要说明的是图5仅仅是对本申请双硬件***架构的一个示例性说明,并不 表示对本申请的限定。在实际应用中,两个硬件***均可根据需要包含更 多或更少的硬件或接口。
图5中示例性示出了根据图3A所示显示设备200的硬件架构框图。 如图5所示,显示设备200的硬件***以包括第一控制器210和第二控制 器310,以及通过各类接口与第一控制器210或第二控制器310相连接的 模块。
在一些实施例中:第二控制器310可以用于接收第一控制器210发送 的指令,并控制第二显示屏380显示相应的图像。
与第一控制器210连接的模块可以包括调谐解调器220、通信器230、 外部装置接口25、存储器290、用户输入接口260-3、视频处理器260-1、 音频处理器260-2、第一显示屏280(即图1中的第一显示屏201)、音频 输出接口270、供电模块240。在其他实施例中,第一控制器210也可以 连接更多或更少的模块。
其中,调谐解调器220,用于对通过有线或无线方式接收广播电视信 号,进行放大、混频和谐振等调制解调处理,从而从多个无线或有线广播 电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号,以 及附加信息(例如EPG数据信号)。根据电视信号广播制式不同,调谐 解调器220的信号途径可以有很多种,诸如:地面广播、有线广播、卫星 广播或互联网广播等;以及根据调制类型不同,所述信号的调整方式可以 数字调制方式,也可以模拟调制方式;以及根据接收电视信号种类不同, 调谐解调器220可以解调模拟信号和/或数字信号。
调谐解调器220,还用于根据用户选择,以及由第一控制器210控制, 响应用户选择的电视频道频率以及该频率所携带的电视信号。
在其他一些示例性实施例中,调谐解调器220也可在外置设备中,如 外置机顶盒等。这样,机顶盒通过调制解调后输出电视音视频信号,经过 外部装置接口250输入至显示设备200中。
通信器230是用于根据各种通信协议类型与外部设备或外部服务器进 行通信的组件。例如:通信器230可以包括WIFI模块231,蓝牙通信协 议模块232,有线以太网通信协议模块233,及红外通信协议模块等其他 网络通信协议模块或近场通信协议模块(图中未示出)。
显示设备200可以通过通信器230与外部控制设备或内容提供设备之 间建立控制信号和数据信号的连接。例如,通信器可根据第一控制器210 的控制接收遥控器100的控制信号。
外部装置接口250,是提供第一控制器210和外部其他设备间数据传 输的组件。外部装置接口250可按照有线/无线方式与诸如机顶盒、游戏装 置、笔记本电脑等的外部设备连接,可接收外部设备的诸如视频信号(例 如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中,外部装置接口250可以包括:高清多媒体接口(HDMI)端子 也称之为HDMI251、复合视频消隐同步(CVBS)端子也称之为AV 252、 模拟或数字分量端子也称之为分量253、通用串行总线(USB)端子254、 红绿蓝(RGB)端子(图中未示出)等任一个或多个。本申请不对外部装 置接口的数量和类型进行限制。
第一控制器210,通过运行存储在存储器290上的各种软件控制程序 (如操作***和/或各种应用程序),来控制显示设备200的工作和响应用 户的操作。
如图5所示,第一控制器210包括只读存储器RAM 213、随机存取存 储器ROM 214、图形处理器216、CPU处理器212、通信接口218、以及 通信总线。其中,RAM 213和ROM 214以及图形处理器216、CPU处理 器212、通信接口218通过总线相连接。
ROM 213,用于存储各种***启动的指令。如在收到开机信号时,显 示设备200电源开始启动,CPU处理器212运行ROM中***启动指令, 将存储在存储器290的操作***拷贝至RAM 214中,以开始运行启动操 作***。当操作***启动完成后,CPU处理器212再将存储器290中各种 应用程序拷贝至RAM 214中,然后,开始运行启动各种应用程序。
图形处理器216,用于产生各种图形对象,如:图标、操作菜单、以 及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指 令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运 算器得到的各种对象,进行渲染的结果显示在第一显示屏280上。
CPU处理器212,用于执行存储在存储器290中操作***和应用程序 指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数 据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器212,可以包括多个处理器。所 述多个处理器中可包括一个主处理器以及多个或一个子处理器。主处理 器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下 显示画面的操作。多个或一个子处理器,用于执行在待机模式等状态下的 一种操作。
通信接口218,可包括第一接口218-1到第n接口218-n。这些接口可 以是经由网络被连接到外部设备的网络接口。
第一控制器210可以控制显示设备200与第一显示屏280相关的操作。 例如:响应于接收到用于选择在第一显示屏280上显示UI对象的用户命 令,第一控制器210便可以执行与由用户命令选择的对象有关的操作。
第一控制器210可以控制显示设备200与第二显示屏380相关的操作。 例如:响应于接收到用于选择在第二显示屏380上显示UI对象的用户命 令,第一控制器210便可以执行与由用户命令选择的对象有关的操作。
其中,所述对象可以是可选对象中的任何一个,例如超链接或图标。 与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等 操作,或者执行与图标相对应程序的操作。用于选择UI对象用户命令, 可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸 板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器290,包括存储用于驱动和控制显示设备200的各种软件模块。 如:存储器290中存储的各种软件模块,包括:基础模块、检测模块、通 信模块、显示控制模块、浏览器模块、和各种服务模块等(图中未示出)。
其中,基础模块是用于显示设备200中各个硬件之间信号通信、并向 上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传 感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管 理模块。语音识别模块中包括语音解析模块和语音指令数据库模块。显示 控制模块是用于控制第一显示屏280进行显示图像内容的模块,可以用于 播放多媒体图像内容和UI界面等信息。通信模块,是用于与外部设备之 间进行控制和数据通信的模块。浏览器模块,是用于执行浏览服务器之间 数据通信的模块。服务模块,是用于提供各种服务以及各类应用程序在内 的模块。
同时,存储器290还用于存储接收外部数据和用户数据、各种用户界 面中各个项目的图像以及焦点对象的视觉效果图等。
用户输入接口260-3,用于将用户的输入信号发送给第一控制器210, 或者,将从第一控制器210输出的信号传送给用户。示例性的,控制装置 (例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择 信号、音量调节信号等输入信号发送至用户输入接口,再由用户输入接口 260-3转送至第一控制器210;或者,控制装置可接收经第一控制器210 处理从用户输入接口260-3输出的音频、视频或数据等输出信号,并且显 示接收的输出信号或将接收的输出信号输出为音频或振动形式。
在一些实施例中,用户可在第一显示屏280上显示的图形用户界面 (GUI)输入用户命令,则用户输入接口260-3通过图形用户界面(GUI) 接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用 户命令,则用户输入接口260-3通过传感器识别出声音或手势,来接收用 户输入命令。
视频处理器260-1,用于接收视频信号,根据输入信号的标准编解码 协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合 成等视频数据处理,可得到直接在第一显示屏280上显示或播放的视频信 号。
示例的,视频处理器260-1,包括解复用模块、视频解码模块、图像 合成模块、帧率转换模块、显示格式化模块等(图中未示出)。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输 入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩 放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或 自身生成的GUI信号,与缩放处理后视频画面进行叠加混合处理,以生成 可供显示的图像信号。
帧率转换模块,用于对输入视频的帧率进行转换,如将输入的24Hz、 25Hz、30Hz、60Hz视频的帧率转换为60Hz、120Hz或240Hz的帧率,其 中,输入帧率可以与源视频流有关,输出帧率可以与显示设备的刷新率有 关。显示格式化模块,用于将帧率转换模块输出的信号,改变为符合诸如 显示设备显示格式的信号,如将帧率转换模块输出的信号进行格式转换以 输出RGB数据信号。
第一显示屏280,用于接收源自视频处理器260-1输入的图像信号, 进行显示视频内容和图像以及菜单操控界面第一显示屏280包括用于呈现 画面的显示屏组件以及驱动图像显示的驱动组件。显示视频内容,可以来 自调谐解调器220接收的广播信号中的视频,也可以来自通信器或外部设 备接口输入的视频内容。第一显示屏280,同时显示显示设备200中产生 且用于控制显示设备200的用户操控界面UI。
以及,根据第一显示屏280类型不同,还包括用于驱动显示的驱动组 件。或者,倘若第一显示屏280为一种投影显示屏,还可以包括一种投影 装置和投影屏幕。
音频处理器260-2,用于接收音频信号,根据输入信号的标准编解码 协议,进行解压缩和解码,以及降噪、数模转换和放大处理等音频数据处 理,得到可以在扬声器272中播放的音频信号。
音频输出接口270,用于在第一控制器210的控制下接收音频处理器 260-2输出的音频信号,音频输出接口可包括扬声器272,或输出至外接设 备的发生装置的外接音响输出端子274,如:外接音响端子或耳机输出端 子等。
在其他一些示例性实施例中,视频处理器260-1可以包括一个或多个 芯片组成。音频处理器260-2,也可以包括一个或多个芯片组成。
以及,在其他一些示例性实施例中,视频处理器260-1和音频处理器 260-2,可以为单独的芯片,也可以与第一控制器210一起集成在一个或多 个芯片中。
供电模块240,用于在第一控制器210控制下,将外部电源输入的电 力为显示设备200提供电源供电支持。供电模块240可以包括安装显示设 备200内部的内置电源电路,也可以是安装在显示设备200外部的电源, 如在显示设备200中提供外接电源的电源接口。
与第一控制器210相类似,如图5所示,与第二控制器310连接的模 块可以包括通信器330、检测器340、存储器390、第二显示屏380(即图 1中的第二显示屏202)。在某些实施例中还可以包括用户输入接口、视 频处理器、音频处理器、显示屏、音频输出接口(图中未示出)。在某些 实施例中,也可以存在独立为第二控制器310供电的供电模块(图中未示出)。
通信器330是用于根据各种通信协议类型与外部设备或外部服务器进 行通信的组件。例如:通信器330可以包括WIFI模块331,蓝牙通信协 议模块332,有线以太网通信协议模块333,及红外通信协议模块等其他 网络通信协议模块或近场通信协议模块(图中未示出)。
通信器330和第一控制器210的通信器230也有相互交互。例如,第 一控制器210硬件***内的WiFi模块231用于连接外部网络,与外部服 务器等产生网络通信。第二控制器310硬件***内的WiFi模块331用于 连接至第一控制器210的WiFi模块231,而不与外界网络等产生直接连接, 第二控制器310通过第一控制器210连接外部网络。因此,对于用户而言, 一个如上述实施例中的显示设备至对外显示一个WiFi账号。
检测器340,是第二控制器310用于采集外部环境或与外部交互的信 号的组件。检测器340可以包括光接收器342,用于采集环境光线强度的 传感器,可以通过采集环境光来自适应显示参数变化等;还可以包括图像 采集器341,如相机、摄像头等,可以用于采集外部环境场景,以及用于 采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识 别用户手势,以实现与用户之间互动的功能。
外部装置接口350,提供第二控制器310与第一控制器210或外部其 他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶 盒、游戏装置、笔记本电脑等的外部设备连接。
视频处理器360,用于处理相关视频信号。
第二控制器310,通过运行存储在存储器390上的各种软件控制程序 (如用安装的第三方应用等),以及与第一控制器210的交互,来控制显 示设备200的工作和响应用户的操作。
如图5所示,第二控制器310包括只读存储器ROM 313、随机存取存 储器RAM 314、图形处理器316、CPU处理器312、通信接口318、以及 通信总线。其中,ROM 313和RAM 314以及图形处理器316、CPU处理 器312、通信接口318通过总线相连接。
ROM 313,用于存储各种***启动的指令。CPU处理器312运行ROM 中***启动指令,将存储在存储器390的操作***拷贝至RAM 314中, 以开始运行启动操作***。当操作***启动完成后,CPU处理器312再将 存储器390中各种应用程序拷贝至RAM 314中,然后,开始运行启动各 种应用程序。
CPU处理器312,用于执行存储在存储器390中操作***和应用程序 指令,和与第一控制器210进行通信、信号、数据、指令等传输与交互, 以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内 容,以便最终显示和播放各种音视频内容。
通信接口318为多个,可包括第一接口318-1到第n接口318-n。这 些接口可以是经由网络被连接到外部设备的网络接口,也可以是经由网络 被连接到第一控制器210的网络接口。
第二控制器310可以控制显示设备200与第二显示屏380相关的操作。 例如:响应于接收到用于选择在第二显示屏380上显示UI对象的用户命 令,第二控制器310便可以执行与由用户命令选择的对象有关的操作。
第二控制器310可以控制显示设备200与第一显示屏280相关的操作。 例如:响应于接收到用于选择在第一显示屏280上显示UI对象的用户命 令,第一控制器210便可以执行与由用户命令选择的对象有关的操作。
图形处理器316,用于产生各种图形对象,如:图标、操作菜单、以 及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指 令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运 算器得到的各种对象,进行渲染的结果显示在第二显示屏380上。
第二控制器310的图形处理器316与第一控制器210的图形处理器 216均能产生各种图形对象。区别性的,若应用1安装于第二控制器310, 应用2安装在第一控制器210,当用户在应用1的界面,且在应用1内进 行用户输入的指令时,由第二控制器310的图形处理器316产生图形对象。 当用户在应用2的界面,且在应用2内进行用户输入的指令时,由第一控制器210的图形处理器216产生图形对象。
图6中示例性示出了根据示例性实施例中显示设备的功能配置示意 图。
如图6所示,第二控制器310的存储器390和第一控制器210的存储 器290分别用于存储操作***、应用程序、内容和用户数据等,在第二控 制器310和第一控制器210的控制下执行驱动第一显示屏280和第二显示 屏380的***运行以及响应用户的各种操作。存储器390和存储器290可 以包括易失性和/或非易失性存储器。
对于存储器290,具体用于存储驱动显示设备200中第一控制器210 的运行程序,以及存储显示设备200内置各种应用程序,以及用户从外部 设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面,以 及与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用程 序的内部数据。存储器290用于存储操作***(OS)内核、中间件和应 用等***软件,以及存储输入的视频数据和音频数据、及其他用户数据。
存储器290,具体用于存储视频处理器260-1和音频处理器260-2、第 一显示屏280、通信器230、调谐解调器220、输入/输出接口等驱动程序 和相关数据。
在一些实施例中,存储器290可以存储软件和/或程序,用于表示操作 ***(OS)的软件程序包括,例如:内核、中间件、应用编程接口(API)和/ 或应用程序。示例性的,内核可控制或管理***资源,或其它程序所实施 的功能(如所述中间件、API或应用程序),以及内核可以提供接口,以 允许中间件和API,或应用访问控制器,以实现控制或管理***资源。
示例的,存储器290,包括广播接收模块2901、频道控制模块2902、 音量控制模块2903、图像控制模块2904、显示控制模块2905、第一音频 控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模 块2909、电力控制模块2910、操作***2911、以及其他应用程序2912、 浏览器模块2913等等。第一控制器210通过运行存储器290中各种软件 程序,来执行诸如:广播电视信号接收解调功能、电视频道选择控制功能、 音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部 指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各 种功能的软件操控平台、以及浏览器功能等各类功能。
存储器390,包括存储用于驱动和控制显示设备200的各种软件模块。 如:存储器390中存储的各种软件模块,包括:基础模块、检测模块、通 信模块、显示控制模块、浏览器模块、和各种服务模块等(图中未示出)。 由于存储器390与存储器290的功能比较相似,相关之处参见存储器290 即可,在此就不再赘述。
示例的,存储器390,包括图像控制模块3904、第二音频控制模块 3906、外部指令识别模块3907、通信控制模块3908、光接收模块3909、 操作***3911、以及其他应用程序3912、浏览器模块3913等。第一控制 器210通过运行存储器290中各种软件程序,来执行诸如:图像控制功能、 显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器 功能等各类功能。
区别性的,第一控制器210的外部指令识别模块2907和第二控制器 310的外部指令识别模块3907可识别不同的指令。
示例性的,在摄像头等图像接收设备与第二控制器310连接时,第二 控制器310的外部指令识别模块3907可包括图形识别模块2907-1,图形 识别模块3907-1内存储有图形数据库,摄像头接收到外界的图形指令时, 与图形数据库中的指令进行对应关系,以对显示设备作出指令控制。而由 于语音接收设备以及遥控器与第一控制器210连接,因此,第一控制器210 的外部指令识别模块2907可包括语音识别模块2907-2,语音识别模块 2907-2内存储有语音数据库,语音接收设备等接收到外界的语音指令或 时,与语音数据库中的指令进行对应关系,以对显示设备作出指令控制。 同样的,遥控器等控制装置100与第一控制器210连接,由按键指令识别 模块2907-3与控制装置100进行指令交互。
图7中示例性示出了根据示例性实施例中显示设备200中软件***的 配置框图。
对于第一控制器210,如图7中所示,操作***2911,包括用于处理 各种基础***服务和用于实施硬件相关任务的执行操作软件,充当应用程 序和硬件组件之间完成数据处理的媒介。
一些实施例中,部分操作***内核可以包含一系列软件,用以管理显 示设备硬件资源,并为其他程序或软件代码提供服务。
其他一些实施例中,部分操作***内核可包含一个或多个设备驱动 器,设备驱动器可以是操作***中的一组软件代码,帮助操作或控制显示 设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体 组件的代码。示例的,包括显示屏、摄像头、Flash、WiFi和音频驱动器。
其中,可访问性模块2911-1,用于修改或访问应用程序,以实现应用 程序的可访问性和对其显示内容的可操作性。
通信模块2911-2,用于经由相关通信接口和通信网络与其他外设的连 接。
用户界面模块2911-3,用于提供显示用户界面的对象,以供各应用程 序访问,可实现用户可操作性。
控制应用程序2911-4,用于控制进程管理,包括运行时间应用程序等。
事件传输***2914,可在操作***2911内或应用程序2912中实现。 一些实施例中,一方面在在操作***2911内实现,同时在应用程序2912 中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件 或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
其中,事件监听模块2914-1,用于监听用户输入接口输入事件或子事 件。
事件识别模块2914-2,用于对各种用户输入接口输入各类事件的定 义,识别出各种事件或子事件,且将其传输给处理用以执行其相应一组或 多组的处理程序。
其中,事件或子事件,是指显示设备200中一个或多个传感器检测的 输入,以及外界控制设备(如控制装置100等)的输入。如:语音输入各 种子事件,手势识别的手势输入子事件,以及控制装置的遥控按键指令输 入的子事件等。示例的,遥控器中一个或多个子事件包括多种形式,包括 但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非 实体按键的操作,如移动、按住、释放等操作。
界面布局管理模块2913,直接或间接接收来自于事件传输***2914 监听到各用户输入事件或子事件,用于更新用户界面的布局,包括但不限 于界面中各控件或子控件的位置,以及容器的大小或位置、层级等与界面 布局相关各种执行操作。
由于第而控制器310的操作***3911与第一控制器210的操作*** 2911的功能比较相似,相关之处参见操作***2911即可,在此就不再赘 述。
如图8中所示,显示设备的应用程序层包含可在显示设备200执行的 各种应用程序。
第一控制器210的应用程序层2912可包含但不限于一个或多个应用 程序,如:视频点播应用程序、应用程序中心、游戏应用等。第二控制器 310的应用程序层3912可包含但不限于一个或多个应用程序,如:直播电 视应用程序、媒体中心应用程序等。需要说明的是,第二控制器310和第 一控制器210上分别包含什么应用程序是根据操作***和其他设计确定 的,本申请无需对第二控制器310和第一控制器210上所包含的应用程序 做具体的限定和划分。
直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直 播电视应用程序可以使用来自有线电视、无线广播、卫星服务或其他类型 的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示 设备200上显示直播电视信号的视频。
视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电 视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播 可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如, 媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用 程序访问各种图像或音频所提供服务。
应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游 戏、应用程序,或某些和计算机***或其他设备相关但可以在显示设备中 运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将 它们储存在本地储存器中,然后在显示设备200上可运行。
由于第二控制器310及第一控制器210中可能分别安装有独立的操作 ***,从而使显示设备200中存在两个在独立但又存在相互关联的子***。 例如,第二控制器310与第一控制器210均可以独立安装有安卓(Android) 及各类APP,均可以实现一定的功能,并且使第二控制器310与第一控制 器210协同实现某项功能。
图9中示例性示出了根据示例性实施例中显示设备200中用户界面的 示意图。如图9所示,用户界面包括视第一图显示区2011和第二图显示 区2021。第一图显示区2011和第二图显示区2021的功能实现基本相同, 下面仅对第一图显示区2011进行重点说明。示例的,其中,第一视图显 示区2011包括布局一个或多个不同项目。以及,用户界面中还包括指示 项目被选择的选择器,可通过用户输入而移动选择器的位置,以改变选择 不同的项目。
一些实施例中,第一视图显示区2011为可缩放视图显示。“可缩放”, 可以表示第一视图显示区2011在屏幕上尺寸或占比是可缩放的,或视图 显示201中项目在屏幕上尺寸或占比是可缩放的。
“项目”是指在显示设备200中用户界面的视图显示区中显示以表示, 诸如图标、缩略图、视频剪辑等对应内容的视觉对象。例如:项目可以表 示电影、电视剧的图像内容或视频剪辑、音乐的音频内容、应用程序,或 其他用户访问内容历史信息。
此外,项目可以表示显示设备200与外接设备连接的接口或接口集合 显示,或可表示连接至显示设备的外部设备名称等。如:信号源输入接口 集合、或高清多媒体接口(High Definition Multimedia Interface,HDMI)、USB接口、PC端子接口等。
需要说明的是:视图显示区可呈现视频聊天项目内容,或者呈现应用 层项目内容(如,网页视频、云点播(Video on Demand,VOD)展示、 应用程序画面等)。
“选择器”用于指示其中任意项目已被选择,如:光标或焦点对象。根 据用户在显示设备200中触摸的图标或菜单位置来定位选择信息输入,可 使显示设备200中显示焦点对象的移动来选择控制项目,可选择或控制其 中一个或多个项目。
焦点对象指根据用户输入在项目之间移动的对象。示例的,通过项目 边缘绘制粗线来实现或标识焦点对象位置。在其他实施例中,焦点形式不 限于示例,可以是光标等有形或无形可被用户识别的形态,如可以项目的 3D变形等形式,也可以改变聚焦的项目的文本或图像的边框线、尺寸、 颜色、透明度和轮廓和/或字体等标识。
事件传输***2914,可监听到的各预定义的事件或子事件的用户输 入,将识别出事件或子事件的控制直接或间接提供给界面布局管理模块 2913。
界面布局管理模块2913,用于用户界面状态(包括视图分区、项目、 焦点或光标对象等位置和/或大小、变化过程等)的监控,以及根据该事件 或子事件,可执行修改视图显示区的大小和位置、层级等布局,和/或,调 整或修改视图显示区各类项目布局的大小或/和位置、数量、类型、内容等 布局。一些实施例中,修改和调整布局,包括在屏幕上显示或不显示各视 图分区或视图分区中项目内容。
用户输入接口,用于将用户的输入信号发送给控制器,或者,将从控 制器输出的信号传送给用户。示例性的,控制装置(例如移动终端或遥控 器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等 输入信号发送至用户输入接口,再由用户输入接口转送至控制器;或者, 控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等 输出信号,并且显示接收的输出信号或将接收的输出信号输出为音频或振 动形式。
在一些实施例中,用户可在显示设备200上显示的用户界面输入用户 命令,则用户输入接口通过用户界面接收用户输入命令。或者,用户可通 过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器 识别出声音或手势,来接收用户输入命令。
“用户界面”,是应用程序或操作***与用户之间进行交互和信息交 换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。 用户界面常用的表现形式是图形用户界面(graphicuserinterface,GUI),是 指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设 备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包 括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget 等可视的界面元素。
本申请实施例的方案可适用于如图3A所示的具有双显示屏的显示设 备,还可适用于如图3B所示的具有单显示屏的显示设备。
需要说明的是,对于具有双显示屏的显示设备而言,本实施例对于两 个显示屏幕的相对位置不作具体限定。两个显示屏幕可以上下排列,还可 以左右排列,当然,还可以采用其他的排列方式。附图中是以上下排列为 例进行示意的。
另外,对于具有双显示屏的显示设备而言,通常一个显示屏幕较大, 被称为为大屏,或者主屏;另一个显示屏幕较小,被称为小屏,或者次屏 (辅屏)。大屏用于显示主要的播放内容,例如:多媒体的图像数据,小 屏用于显示辅助信息,例如:天气信息、时间信息等。
本实施例的显示设备具有播放多媒体数据的功能。图10为本申请实 施例中显示设备对多媒体数据的播放原理示意图。多媒体数据包括音频数 据和图像数据。显示设备在对多媒体数据进行播放时,将多媒体数据解析 为图像数据和音频数据,并对图像数据和音频数据采用不同的数据处理通 路分别进行处理。如图10所示,图像数据经过画质处理通路后输出至显 示屏,以使显示屏对图像数据进行画面呈现;音频数据经过音效处理通路 后输出至扬声器,以使扬声器再现声音。
继续参见图10,画质处理通路用于对图像数据进行画质处理。画质处 理通路的处理过程可以包括:降噪处理(TNR)、去隔行处理(Deinterlacing,DEI)、缩放处理(Scaler)、动态补偿处理(FRC)等。其中,数字图像 在数字化和传输过程中经常受到成像设备和外界环境噪声干扰的影响,因 此,数字图像称为含噪图像或者噪声图像。通过降噪处理可以减少数字图 像中噪声。去隔行处理是指把隔行扫描的图像转换为逐行扫描的图像,以 消除或者减少隔行扫描的缺点。缩放处理的目的有两个:(1)使得图像 符合显示区域的大小;(2)生成对应图像的缩略图。动态补偿处理采用 动态映像***,在传统的两帧图像之间加插一帧运动补偿帧,使得高速运 动的画面也能自然清晰。本实施例中,画质处理通路的具体处理过程可以 在显示设备的视频处理器中实现。
需要说明的是,实际应用中,画质处理通路除了包括上述处理过程之 外,还可以包括其他更多的处理过程,例如:亮度处理、对比度处理、色 度处理、色调处理、清晰度处理、动态对比度处理、伽玛校正处理、色温 处理、白平衡处理、色彩校正处理、亮度动态处理等,本实施例对此不作 详述。
继续参见图10,音效处理通路用于对音频数据进行音效处理。音效处 理通路的处理过程主要包括:数字剧院音效***(Digital Theater System, DTS)音效处理、杜比全景声(ATMOS)音效处理、图示均衡器(Graphic Equalizer,GEQ)处理、参量均衡器(ParametricEqualizer,PEQ)处理等。
其中,DTS音效处理和ATMOS音效处理都是对声音的音效进行处理, 用于改善声音的播放效果。GEQ通过面板上推拉键的分布,可直观地反映 出所调出的均衡补偿曲线,各个频率的提升和衰减情况一目了然,它采用 恒定Q值技术,每个频点设有一个推拉电位器,无论提升或衰减某频率, 滤波器的频带宽始终不变。常用的专业均衡器则是将20Hz~20kHz的信号 分成10段、15段、27段、31段来进行调节。这样根据不同的要求分别 选择不同段数的频率均衡器。一般来说10段均衡器的频率点以倍频程间 隔分布,使用在一般场合下,15段均衡器是2/3倍频程均衡器,使用在专 业扩声上,31段均衡器是1/3倍频程均衡器,多数有在比较重要的需要精 细补偿的场合下。
PEQ对均衡调节的各种参数都可细致调节,多附设在调音台上,但也 有独立的参量均衡器,调节的参数内容包括频段、频点、增益和品质因数Q值等,可以美化和修饰声音,使声音风格更加鲜明突出,丰富多彩达到 所需要的艺术效果。本实施例中,音效处理通路中的具体处理过程可以在 显示设备的音频处理器中实现。
实际应用过程中发现,相对于音频数据的音效处理过程,图像数据的 画质处理过程耗时较长,使得图像数据到达显示屏所需时长大于音频数据 到达扬声器所需时长,从而容易导致音画不同步的现象。
下面对图像数据的画质处理过程耗时较长的原因进行分析。画质处理 通路进行一帧图像数据的处理时,不仅需要读取当前帧的图像数据,还需 要读取后几帧的图像数据。进而,根据当前帧以及后几帧的图像数据,对 当前帧进行处理,然后,将处理后的数据写入当前帧。由于对当前帧进行 处理过程中,需要读取后几帧的图像数据,因此会产生较大的耗时。
下面结合图11进行举例说明。图11为本申请一个实施例提供的画质 处理过程的示意图。如图11所示,假设读取帧数的阈值为4,则表示每次 需要读取当前帧以及后3帧的图像数据。例如,待处理的当前帧为第n帧, 则需要读取第n帧、第n+1帧、第n+2帧和第n+3帧的图像数据,对上述 4帧图像数据进行处理后,将处理结果写入第n帧中。第n+1帧、第n+2帧、以及后续帧的处理过程类似,此处不作赘述。假设刷新率为60HZ, 当读取帧数的阈值为4时,需要读取4帧图像数据,则相当于每一帧的画 质处理耗时为1/60*4=66ms。
为了解决由于图像数据的画质处理过程耗时较长导致的音画不同步 的问题,目前,音效处理通路中还包括音频延迟处理模块。如图10所示, 音效处理模块对音频数据进行音效处理后,还需要经过音频延迟处理模 块。音频延迟处理模块用于对音频数据进行缓存处理,待缓存一定时长后 再输出至扬声器,保证音频数据到达扬声器的时刻与图像数据到达显示屏 的时刻相同,从而消除音画不同步的现象。因此,音频延迟处理模块需要 知道对音频数据缓存的时长。
本实施例中,为了描述方便,将画质处理通路对图像数据的处理耗时 称为“图像延迟时长(PQDelay)”,根据图11以及相关描述可知,图 像延迟时长是与视频处理器读取帧数阈值相关的,当视频处理器读取帧数 阈值确定后,视频处理器对应的图像延迟时长也就确定了。将音频延迟处 理模块对音频数据缓存的时长称为“音频延迟时长(AudioDelay)”。
一种应用场景中,可以由多媒体中间件模块来设置音频延迟处理模块 的音频延时时长。多媒体中间件模块可以设置在显示设备的控制器中。其 中,多媒体中间件模块是指用于维护非物理信号源的播放逻辑的模块。对 于显示设备而言,信号源可以划分为物理信号源和非物理信号源。物理信 号源是指高清多媒体接口(High Definition MultimediaInterface,HDMI)、 模拟电视(Analog TV,ATV)、视频(Audio and Video,AV)、数字电 视(Digital TV,DTV)等信号源,非物理信号源是指网络播放源或者U 盘播放源等。也就是说,多媒体中间件模块主要维护网络视频或者U盘视 频播放的播放逻辑。
具体的,在网络视频或者U盘视频起播时,多媒体中间件模块从视频 处理器获取画质处理通路的图像延迟时长,并将获取到的图像延迟时长作 为音频延迟时长设置到音频延迟处理模块,这样使得画质处理通路对图像 数据的处理时长与音效处理通路对音频数据的处理时长相同,保证了音画 同步播放。
另一种应用场景中,还可以由TV中间件模块来设置音频延迟处理模 块的音频延时时长。其中,TV中间件模块也可以设置在显示设备的控制 器中。TV中间件模块主要用于实现两个功能:(1)响应用户界面(User Interface,UI)设置,比如音量的增减、声音设置(声音模式、输出设备、 均衡设置、音画同步等)、图像设置(图像模式、亮度、对比度)等。(2)负责维护物理信号源(HDMI/ATV/AV/DTV等)的播放逻辑。例如:检测 物理信号源是否稳定,当物理信号源稳定时设置声音参数等。
具体的,在显示设备的屏幕菜单调节方式(on-screen display,OSD) 菜单中,提供了音画同步功能选项。音画同步功能的本质是对音频延迟处 理模块的音频延迟时长进行调节。
示例性的,图12A至图12D为本申请实施例提供的通过OSD菜单调 节音画同步功能的示意图。以双屏显示设备为例,假设OSD菜单显示在 大屏中。如图12A所示,当用户感知到音画不同步现象时,可以通过OSD 菜单调出设置功能。设置功能中包括:图像设置、声音设置、网络设置、 蓝牙设置、AI设置、通用设置等。用户选择声音设置后,显示设备显示声 音设置界面,如图12B所示。
在声音设置界面可以选择高级设置,使得显示设备显示如图12C所示 的高级设置界面。在高级设置界面中包括均衡器、声音平衡、音画同步、 音量自动控制。
当用户选择音画同步功能后,显示设备显示如图12D所示的音画同步 设置界面。在图12D所示的音画同步设置界面中,用户可以设置音画同步 功能的取值。
结合图12D,假设音画同步功能的取值范围为-10到10,每个取值对 应一个音频延迟时长。具体的,音画同步功能的相邻两个取值之间的间隔 为10ms,取值0表示100ms。当用户设置取值等于1时,相当于将音频延 迟时长设置为110ms,当用户设置取值等于2时,相当于将音频延迟时长 设置为120ms,当用户设置取值等于-1时,相当于将音频延时时长设置为 90ms,以此类推。可见,用户可以通过调节音画同步功能的取值,来改变 音频延迟时长,从而保证音频数据与图像数据同步。
然而,当显示设备播放网络视频或者U盘视频的场景中,多媒体中间 件模块和TV中间件模块均可以设置音频延迟处理模块的音频延迟时长, 而多媒体中间件模块和TV中间件模块彼此的处理流程相互独立,导致可 能会出现两个流程互相干扰的情况。下面结合图13A和图13B举例说明 两种可能的干扰情况。
图13A示例的是一种可能的干扰情况的示意图。如图13A所示,假 设在网络视频或者U盘视频起播时,多媒体中间件模块从视频处理器获取 到画质处理通路的图像延迟时长为150ms,则多媒体中间件模块在视频起 播流程中将音频延迟时长也设置为150ms。然而,在视频播放过程中,用 户有可能通过UI菜单调节音画同步功能,将音画同步功能的取值设置为 Value=1,则TV中间件模块在响应UI的处理流程中,将音频延时时长设 置为110ms(100+10*Value=110ms),从而使得音频延迟处理模块的音频 延迟时长由150ms变更为110ms,即TV中间件模块设置的110ms覆盖掉 之前多媒体中间件模块设置的150ms。
图13B示例的是另一种可能的干扰情况的示意图。如图13B所示,假 设用户先通过UI菜单调节音画同步功能,将音画同步功能的取值设置为Value=1,则TV中间件模块在响应UI的处理流程中,将音频延时时长设 置为110ms(100+10*Value=110ms)。然后,在网络视频或者U盘视频起 播时,多媒体中间件模块从视频处理器获取到画质处理通路的图像延迟时 长为150ms,则多媒体中间件模块在视频起播流程中将音频延迟时长也设 置为150ms。这样,使得音频延迟处理模块的音频延迟时长由110ms变更 为150ms,即多媒体中间件模块设置的150ms覆盖掉之前TV中间件模块 设置的110ms。
为此,本申请实施例提供一种音画同步方法,能够避免上述的视频起 播流程和UI界面响应流程相互干扰的问题。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个 具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实 施例不再赘述。
图14为本申请一个实施例提供的音画同步方法的流程示意图。如图 14所示,本实施例的方法包括:
S501:获取音画同步设置参数,所述音画同步设置参数用于指示所述 显示设备在播放包括音频数据和图像数据的音画数据时,所述音频数据相 对于所述图像数据的输出延迟。
S502:获取所述显示设备的图像延迟时长,所述图像延迟时长用于指 示所述显示设备对所述图像数据进行画质处理所需的时长。
S503:根据所述音画同步设置参数和所述图像延迟时长,确定所述显 示设备的音频延迟时长。
本实施例中,S501至S503可以由控制器中的多媒体中间件模块执行, 还可以由控制器中的TV中间件模块执行。示例性的,在视频起播流程中, 多媒体中间件模块通过执行S501至S503,使得多媒体中间件模块可以确 定出显示设备的音频延迟时长,并设置到音频处理器的音频延迟处理模块 中。在响应UI界面流程中,TV中间件模块通过执行S501至S503,使得 TV中间件模块可以确定出显示设备的音频延迟时长,并设置到音频处理 器的音频延迟处理模块中。
其中,音画同步设置参数是指用户在UI界面(例如图12D所示的界 面)中为音画同步功能设置的取值。本实施例对于音画同步设置参数的取 值范围不作限定,该音画同步设置参数可以为正数、负数和零。
在一些实施例中,音画同步设置参数为预设取值范围内的整数,例如: -10到10之间的整数。本实施例中,音画同步设置参数指示的是显示设备 在播放包括音频数据和图像数据的音画数据时,音频数据相对于图像数据 的输出延迟。示例性的,音画同步设置参数与该输出延迟之间可以存着一 个映射关系,根据音画同步设置参数的取值以及该映射关系,可以得到音 频数据相对于图像数据的输出延迟。假设,音频数据相对于图像数据的输出延迟为DeltaDelay,音画同步设置参数的取值为Value,则二者之间的 映射关系可以为:
DeltaDelay=Value*DelayValue
其中,DelayValue表示预设的单位延迟时长,即音画同步设置参数的 相邻的两个取值之间的延迟大小,例如:DelayValue可以为10ms。这样, 根据所述音画同步设置参数和预设的单位延迟时长,可以确定所述音频数 据相对于所述图像数据的输出延迟。
示例性的,当用户在UI界面中设置的音画同步设置参数的取值为1 时,表示音频数据相对于图像数据的输出延迟为10ms,当用户在UI界面 中设置的音画同步设置参数的取值为0时,表示音频数据相对于图像数据 的输出延迟为0ms,当用户在UI界面中设置的音画同步设置参数的取值 为-1时,表示音频数据相对于图像数据的输出延迟为-10ms,以此类推。
一种可能的应用场景中,S501至S503由控制器中的TV中间件模块 执行。该场景中,TV中间件模块可以通过用户界面接收用户针对音画同 步功能输入的操作指令,并从该操作指令中获取音画同步设置参数Value。 进而,TV中间件模块根据该音画同步设置参数Value和预设的单位延迟 时长DelayValue,可以确定出音频数据相对于所述图像数据的输出延迟 DeltaDelay。
TV中间件模块还可以从视频处理器获取显示设备的图像延迟时长 PQDelay,所述图像延迟时长指示的是显示设备对图像数据进行画质处理 所需的时长。进而,TV中间件模块可以根据音频数据相对于图像数据的 输出延迟DeltaDelay,以及图像延迟时长PQDelay,确定出显示设备的音 频延迟时长。示例性的,假设音频延迟时长为AudioDelay,则:
AudioDelay=DeltaDelay+PQDelay=Value*DelayValue+PQDelay
这样,TV中间件模块可以将音频延迟时长AudioDelay设置到音频处 理器的音频延迟处理模块中。
在一些实施例中,上述应用场景中,TV中间件模块从操作指令中获 取到音画同步设置参数之后,还可以将显示设备的***文件中的音画同步 属性的值设置为该音画同步设置参数。其中,该***文件是指位于显示设 备中的、可被各个进程获取到的全局性的文件。
示例性的,***文件中记录有多个属性以及每个属性的值,属性和值 都可以是字符串的格式。例如,若S501中TV中间件模块获取到的音画 同步设置参数为2,则将***文件中的属性sys.his.mm.audioDelay的值设 置为2。这样使得其他模块在需要获知音画同步设置参数时,可以通过读 取该***文件获取。
另一种可能的应用场景中,S501至S503由控制器的多媒体中间件模 块执行。该场景中,多媒体中间件模块在接收到音画数据的播放指令(例 如网络视频或者U盘视频的起播指令)时,多媒体中间件模块可以从显示 设备的***文件中读取音画同步属性的值(例如,上述应用场景中由TV 中间件模块写入到***文件中的属性sys.his.mm.audioDelay的值),得到 音画同步设置参数Value。进而,多媒体中间件模块根据该音画同步设置 参数Value和预设的单位延迟时长DelayValue,可以确定出音频数据相对 于所述图像数据的输出延迟DeltaDelay。
多媒体中间件模块还可以从视频处理器获取显示设备的图像延迟时 长PQDelay,所述图像延迟时长指示的是显示设备对图像数据进行画质处 理所需的时长。进而,多媒体中间件模块可以根据音频数据相对于图像数 据的输出延迟DeltaDelay,以及图像延迟时长PQDelay,确定出显示设备 的音频延迟时长。示例性的,假设音频延迟时长为AudioDelay,则:
AudioDelay=DeltaDelay+PQDelay=Value*DelayValue+PQDelay
这样,多媒体中间件模块可以将音频延迟时长AudioDelay设置到音 频处理器的音频延迟处理模块中。
在一些实施例中,多媒体中间件模块在音画数据播放结束之后,可以 将显示设备的音频延迟时长AudioDelay设置为预设值。例如,将音频延 迟时长AudioDelay设置为0。这样可以避免本实施例的音画同步方案给非 视频播放场景带来影响,例如,能够避免非视频播放场景下的遥控器按键 音延迟等问题。
由此可见,本实施例的方法可以应用于视频起播流程中,由控制器中 的多媒体中间件模块确定音频延迟时长;还可以应用于UI界面响应流程, 由控制器中的TV中间件模块确定音频延迟时长。并且,在视频起播流程 中多媒体中间件模块确定出的音频延迟时长,与在UI界面响应流程中TV 中间件模块确定出的音频延迟时长是相同的,因此,能够避免图13A和图 13B所示的两个流程互相干扰的情况,从而能够解决音画不同步的问题, 提高用户的音画观看体验。
本实施例的方法无论是由TV中间件模块执行,还是由多媒体中间件 模块执行,在S502中获取显示设备的图像延迟时长时,均可以通过运行 存储器中存储的视频处理器的驱动程序从视频处理器获取图像延迟时长。 其中,视频处理器的驱动程序主要用于读取或者设置视频处理器的状态。
图15为本申请实施例提供的显示设备的架构示意图。如图15所示, 存储器中用于存储视频处理器、音频处理器等的驱动程序和相关数据。控 制器中的TV中间件模块、多媒体中间件模块可以通过运行视频处理器的 驱动程序从视频处理器获取到图像延迟时长。类似的,控制器中的TV中 间件模块、多媒体中间件模块确定出音频延迟时长后,还可以通过运行音 频处理器的驱动程序将该音频延迟时长写入音频处理器中,例如,将音频 延迟时长写入到音频处理器的音频延迟处理模块中。
S504:根据所述音频延迟时长控制所述音频数据的播放时间,使得所 述音频数据与所述图像数据同步播放。
经过上述的S501至S503后,音频处理器的音频延迟处理模块获取到 音频延迟时长,从而在音画数据的播放过程中,可以根据音频延迟时长控 制音频数据的播放时间,使得所述音频数据与所述图像数据同步播放。在 一些实施例中,一种控制音频数据的播放时间的方式可以为:根据音频延 迟时长在音频处理器中设置一定大小的缓存区,将音效处理模块输出的音 频数据先在缓存区中进行缓存,然后再输出至扬声器。
本实施例提供的音画同步方法,包括:获取音画同步设置参数,并获 取所述显示设备的图像延迟时长;根据所述音画同步设置参数和所述图像 延迟时长,确定所述显示设备的音频延迟时长;根据所述音频延迟时长控 制所述音频数据的播放时间,使得所述音频数据与所述图像数据同步播 放。本实施例的方法在应用于视频起播流程、以及UI界面响应流程中时, 两个流程中确定出的音频延迟时长是相同的,因此,能够避免两个流程互 相干扰的情况,从而能够解决音画不同步的问题,提高用户的音画观看体 验。
图16为本申请另一个实施例提供的音画同步方法的流程示意图。图 16示例的是视频起播流程和UI界面响应流程的具体实现过程。其中,S701 至S705示例的是UI界面响应流程中TV中间件模块的处理过程。S706 至S710示例的是视频起播流程中多媒体中间件模块的处理过程。
如图16所示,本实施例的方法包括:
S701:TV中间件模块通过用户界面接收用户针对音画同步功能输入 的操作指令,并从操作指令中获取音画同步设置参数Value。
其中,音画同步设置参数用于指示所述显示设备在播放包括音频数据 和图像数据的音画数据时,所述音频数据相对于所述图像数据的输出延 迟。
S702:TV中间件模块将显示设备的***文件中的音画同步属性设置 为音画同步设置参数Value。
例如,若S701中获取到的音画同步设置参数为2,则将***文件中的 属性sys.his.mm.audioDelay的值设置为2。
S703:TV中间件模块通过通过运行视频处理器的驱动程序从视频处 理器获取图像延迟时长PQDelay。
其中,所述图像延迟时长用于指示所述显示设备对所述图像数据进行 画质处理所需的时长。
S704:TV中间件模块根据音画同步设置参数Value和图像延迟时长 PQDelay,确定显示设备的音频延迟时长AudioDelay。
AudioDelay=DeltaDelay+PQDelay=Value*DelayValue+PQDelay
S705:TV中间件模块通过运行音频处理器的驱动程序将音频延迟时 长AudioDelay写入音频处理器中。
S706:多媒体中间件模块接收音画数据的播放指令。
例如,音画数据可以为网络视频或者U盘视频等。
S707:多媒体中间件模块从显示设备的***文件中读取音画同步属性 的值,得到音画同步设置参数Value。
例如,读取显示设备的***文件中的音画同步属性值,将读取到的值 作为音画同步设置参数Value。
S708:多媒体中间件模块通过运行视频处理器的驱动程序从视频处理 器获取图像延迟时长PQDelay。
S709:多媒体中间件模块根据音画同步设置参数Value和图像延迟时 长PQDelay,确定显示设备的音频延迟时长AudioDelay。
AudioDelay=DeltaDelay+PQDelay=Value*DelayValue+PQDelay
S710:多媒体中间件模块通过运行音频处理器的驱动程序将音频延迟 时长AudioDelay写入音频处理器中。
通过上述的S701至S705的UI界面响应流程,或者上述的S706至 S710的视频起播流程之后,音频处理器的音频延迟处理模块可以获知到音 频延迟时长AudioDelay,进而,音频延迟处理模块可以根据频延迟时长 AudioDelay控制音频数据的播放时间,使得音频数据与图像数据同步播 放。
由此可见,本实施例的方法在应用于视频起播流程、以及UI界面响 应流程中时,两个流程中确定出的音频延迟时长是相同的,因此,能够避 免两个流程互相干扰的情况,从而能够解决音画不同步的问题,提高用户 的音画观看体验。
本申请实施例提供一种显示设备,包括:显示屏、扬声器、视频处理 器、音频处理器和控制器。其中,
显示屏,被配置为呈现画面内容;扬声器,被配置为再现声音;视频处 理器,被配置为对图像数据进行画质处理,并将所述画质处理后的图像数据 输出至所述显示屏;控制器,被配置为:获取音画同步设置参数,从所述视 频处理器获取图像延迟时长,根据所述音画同步设置参数和所述图像延迟时 长,确定音频延迟时长,并将所述音频延迟时长配置给所述音频处理器;所 述音频处理器,被配置为根据所述音频延迟时长控制音频数据输出至所述扬 声器的时间,以使所述音频数据达到所述扬声器的时刻与所述图像数据到达 所述显示屏的时刻相同。
在一些实施例中,所述显示设备还包括:用户图形界面,被配置为接收 用户输入的操作指令;相应的,所述控制器具体被配置为:从所述用户图形 界面接收用户针对音画同步功能输入的操作指令,并从所述操作指令中获取 所述音画同步设置参数。
在一些实施例中,所述控制器还被配置为:将所述显示设备的***文件 中的音画同步属性的值设置为所述音画同步设置参数。
在一些实施例中,所述控制器具体被配置为:在接收到播放指令时,从 所述显示设备的***文件中读取音画同步属性的值,得到所述音画同步设置 参数。
在一些实施例中,所述控制器还被配置为:在接收到播放结束指令时, 更新所述音频延迟时长为预设值,并将更新后的音频延迟时长配置给所述音 频处理器。
在一些实施例中,所述控制器具体被配置为:根据所述音画同步设置参 数和预设的单位延迟时长,确定所述音频数据相对于所述图像数据的输出延 迟;根据所述音频数据相对于所述图像数据的输出延迟,以及所述图像延迟 时长,确定所述音频延迟时长。
在一些实施例中,所述控制器具体被配置为:通过运行所述视频处理器 的驱动程序从所述视频处理器获取所述图像延迟时长;通过运行所述音频处 理器的驱动程序将所述音频延迟时长配置给所述音频处理器。
本申请实施例提供的显示设备可用于实现上述实施例中的音画同步方 法,其实现原理和技术效果类似,此处不再赘述。
图17为本申请一个实施例提供的音画同步装置的结构示意图。如图8 所示,本实施例的音画同步装置800,包括:第一获取部801、第二获取 部802、确定部803和音频延迟处理部804。其中,
第一获取部801,用于获取音画同步设置参数,所述音画同步设置参 数用于指示所述显示设备在播放包括音频数据和图像数据的音画数据时, 所述音频数据相对于所述图像数据的输出延迟;第二获取部802,用于获 取所述显示设备的图像延迟时长,所述图像延迟时长用于指示所述显示设 备对所述图像数据进行画质处理所需的时长;确定部803,用于根据所述 音画同步设置参数和所述图像延迟时长,确定所述显示设备的音频延迟时长;音频延迟处理部804,用于根据所述音频延迟时长控制所述音频数据 的播放时间,使得所述音频数据与所述图像数据同步播放。
在一些实施例中,所述第一获取部801具体用于:通过用户界面接收 用户针对音画同步功能输入的操作指令;从所述操作指令中获取音画同步 设置参数。
在一些实施例中,所述第一获取部801还用于:将所述显示设备的系 统文件中的音画同步属性的值设置为所述音画同步设置参数。
在一些实施例中,所述第一获取部801具体用于:在接收到所述音画 数据的播放指令时,从所述显示设备的***文件中读取音画同步属性的 值,得到所述音画同步设置参数。
在一些实施例中,所述确定部803还用于:在所述音画数据播放结束 后,更新所述显示设备的音频延迟时长为预设值。
在一些实施例中,所述确定部803具体用于:根据所述音画同步设置 参数和预设的单位延迟时长,确定所述音频数据相对于所述图像数据的输 出延迟;根据所述音频数据相对于所述图像数据的输出延迟,以及所述图 像延迟时长,确定所述显示设备的音频延迟时长。
在一些实施例中,所述第二获取部802具体用于:通过运行视频处理 器的驱动程序从所述视频处理器获取所述图像延迟时长;所述确定部803 还用于通过运行音频处理器的驱动程序将所述音频延迟时长配置给所述 音频处理器。
本实施例提供的音画同步装置,可用于执行上述方法实施例中的技术 方案,其实现原理和技术效果类似,此处不再赘述。
图18为本申请一个实施例提供的显示设备的结构示意图。如图18所 示,本实施例的显示设备900,包括:处理器901以及存储器902;其中, 存储器902,用于存储计算机程序;处理器901,用于执行存储器存储的 计算机程序,以实现上述实施例中的音画同步方法。具体可以参见前述方 法实施例中的相关描述。
可选地,存储器902既可以是独立的,也可以跟处理器901集成在一 起。
当所述存储器902是独立于处理器901之外的器件时,所述显示设备 900还可以包括:总线903,用于连接所述存储器902和处理器901。
本实施例提供的显示设备,可用于执行上述任一方法实施例中的技术 方案,其实现原理和技术效果类似,本实施例此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储 介质包括计算机程序,所述计算机程序用于实现如上任一方法实施例中的 技术方案。
本申请实施例还提供一种芯片,包括:存储器、处理器以及计算机程 序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程 序执行上述任一方法实施例中的技术方案。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法, 可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性 的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以 有另外的划分方式,例如多个模块可以结合或者可以集成到另一个***, 或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦 合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的, 作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地 方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元 中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在 一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用 硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算 机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若 干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络 设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的 部分步骤。
应理解,上述处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文: Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器 或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步 骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模 块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储 NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储 器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA) 总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准 体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线 可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中 的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者 它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只 读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程 只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器, 磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介 质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介 质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理 器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和存储介质也 可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分 步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算 机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步 骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存 储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非 对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的 普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进 行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或 者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范 围。

Claims (10)

1.一种显示设备,其特征在于,包括:
显示屏,被配置为呈现画面内容;
扬声器,被配置为再现声音;
视频处理器,被配置为对图像数据进行画质处理,并将所述画质处理后的图像数据输出至所述显示屏;
控制器,被配置为:获取音画同步设置参数,从所述视频处理器获取图像延迟时长,根据所述音画同步设置参数和所述图像延迟时长,确定音频延迟时长,并将所述音频延迟时长配置给所述音频处理器;
所述音频处理器,被配置为根据所述音频延迟时长控制音频数据输出至所述扬声器的时间,以使所述音频数据达到所述扬声器的时刻与所述图像数据到达所述显示屏的时刻相同。
2.根据权利要求1所述的显示设备,其特征在于,所述显示设备还包括:
用户图形界面,被配置为接收用户输入的操作指令;
相应的,所述控制器具体被配置为:
从所述用户图形界面接收用户针对音画同步功能输入的操作指令,并从所述操作指令中获取所述音画同步设置参数。
3.根据权利要求2所述的显示设备,其特征在于,所述控制器还被配置为:
将所述显示设备的***文件中的音画同步属性的值设置为所述音画同步设置参数。
4.根据权利要求1所述的显示设备,其特征在于,所述控制器具体被配置为:
在接收到播放指令时,从所述显示设备的***文件中读取音画同步属性的值,得到所述音画同步设置参数。
5.根据权利要求4所述的显示设备,其特征在于,所述控制器还被配置为:
在接收到播放结束指令时,更新所述音频延迟时长为预设值,并将更新后的音频延迟时长配置给所述音频处理器。
6.根据权利要求1至5任一项所述的显示设备,其特征在于,所述控制器具体被配置为:
根据所述音画同步设置参数和预设的单位延迟时长,确定所述音频数据相对于所述图像数据的输出延迟;
根据所述音频数据相对于所述图像数据的输出延迟,以及所述图像延迟时长,确定所述音频延迟时长。
7.根据权利要求1至5任一项所述的显示设备,其特征在于,所述控制器具体被配置为:
通过运行所述视频处理器的驱动程序从所述视频处理器获取所述图像延迟时长;
通过运行所述音频处理器的驱动程序将所述音频延迟时长配置给所述音频处理器。
8.一种音画同步方法,其特征在于,应用于显示设备,所述方法包括:
获取音画同步设置参数;
获取所述显示设备的图像延迟时长,所述图像延迟时长用于指示所述显示设备对图像数据进行画质处理所需的时长;
根据所述音画同步设置参数和所述图像延迟时长,确定所述显示设备的音频延迟时长;
根据所述音频延迟时长控制音频数据的播放时间,以使所述音频数据与所述图像数据同步播放。
9.一种显示设备,其特征在于,包括:存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行如权利要求8所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,所述计算机程序被处理器执行时实现如权利要求8所述的方法。
CN202010042618.XA 2020-01-15 2020-01-15 显示设备及音画同步方法 Pending CN113132769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010042618.XA CN113132769A (zh) 2020-01-15 2020-01-15 显示设备及音画同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010042618.XA CN113132769A (zh) 2020-01-15 2020-01-15 显示设备及音画同步方法

Publications (1)

Publication Number Publication Date
CN113132769A true CN113132769A (zh) 2021-07-16

Family

ID=76771901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010042618.XA Pending CN113132769A (zh) 2020-01-15 2020-01-15 显示设备及音画同步方法

Country Status (1)

Country Link
CN (1) CN113132769A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095621A (zh) * 2021-11-18 2022-02-25 浙江博采传媒有限公司 4d照扫音频同步方法、装置及存储介质
CN114598917A (zh) * 2022-01-27 2022-06-07 海信视像科技股份有限公司 显示设备及音频处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128294A1 (en) * 2002-01-04 2003-07-10 James Lundblad Method and apparatus for synchronizing audio and video data
CN101005589A (zh) * 2006-01-16 2007-07-25 深圳Tcl新技术有限公司 一种使音频视频保持同步的控制方法
CN101047777A (zh) * 2006-03-31 2007-10-03 索尼株式会社 视频和音频处理***、视频处理装置、音频处理装置、输出装置以及控制该***的方法
US20120154679A1 (en) * 2010-12-21 2012-06-21 Comcast Cable Communications, Llc User-controlled synchronization of audio and video
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
CN109167890A (zh) * 2018-08-22 2019-01-08 青岛海信电器股份有限公司 一种音画同步方法和装置及显示设备
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128294A1 (en) * 2002-01-04 2003-07-10 James Lundblad Method and apparatus for synchronizing audio and video data
CN101005589A (zh) * 2006-01-16 2007-07-25 深圳Tcl新技术有限公司 一种使音频视频保持同步的控制方法
CN101047777A (zh) * 2006-03-31 2007-10-03 索尼株式会社 视频和音频处理***、视频处理装置、音频处理装置、输出装置以及控制该***的方法
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
US20120154679A1 (en) * 2010-12-21 2012-06-21 Comcast Cable Communications, Llc User-controlled synchronization of audio and video
CN109167890A (zh) * 2018-08-22 2019-01-08 青岛海信电器股份有限公司 一种音画同步方法和装置及显示设备
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095621A (zh) * 2021-11-18 2022-02-25 浙江博采传媒有限公司 4d照扫音频同步方法、装置及存储介质
CN114598917A (zh) * 2022-01-27 2022-06-07 海信视像科技股份有限公司 显示设备及音频处理方法
CN114598917B (zh) * 2022-01-27 2024-03-29 海信视像科技股份有限公司 显示设备及音频处理方法

Similar Documents

Publication Publication Date Title
CN112449229B (zh) 一种音画同步处理方法及显示设备
CN112073797B (zh) 一种音量调节方法及显示设备
CN111526415B (zh) 一种双屏显示设备及其hdmi的切换方法
CN111510788B (zh) 一种双屏双***屏幕切换动画的显示方法及显示设备
CN111405221B (zh) 显示设备及录制文件列表的显示方法
CN111491190B (zh) 一种双***摄像头切换控制方法及显示设备
CN111464840B (zh) 显示设备及显示设备屏幕亮度的调节方法
CN112788422A (zh) 显示设备
CN113014970B (zh) 显示设备和显示控制方法
CN112788423A (zh) 一种显示设备及菜单界面的显示方法
CN112783380A (zh) 显示设备和方法
CN113132769A (zh) 显示设备及音画同步方法
CN112911354B (zh) 显示设备和声音控制方法
CN113141528B (zh) 显示设备、开机动画播放方法及存储介质
CN112788378A (zh) 显示设备与内容显示方法
CN113012647B (zh) 显示设备和背光光源控制方法
CN112788387B (zh) 显示设备、方法和存储介质
CN112788375A (zh) 显示设备、显示方法及计算设备
CN113365124A (zh) 一种显示设备及显示方法
CN113015023A (zh) Html5网页中的视频控制的方法及装置
CN111970547B (zh) 一种显示设备
CN112788380B (zh) 显示设备及显示方法
CN113630633B (zh) 显示设备及交互控制方法
CN111641855B (zh) 一种双屏显示设备及其音频输出方法
CN111526398B (zh) 显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716

RJ01 Rejection of invention patent application after publication