具体实施方式
下面结合附图,对本发明的实施例进行描述。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外,在本发明实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
首先,对本发明的发明原理进行介绍:现有技术中在利用MEMC功能对图像进行优化时,由于MEMC功能会造成静态图像部分画面破碎的问题,因此通常只对动态画面采用MEMC功能进行优化。而当检测到要显示的图像中包括静态图像时则关闭MEMC功能,不对画面进行相应优化。针对上述现有技术,本发明发明人发现存在着一种情况,即当所显示的画面中既有运动的部分又有静态的部分时,利用上述方法就无法对运动图像进行MEMC处理,此时还是会出现运动抖动和运动模糊的问题。为了解决上述问题,本发明中想到可以将静态图像与运动的图像部分相剥离,对运动的图像部分进行MEMC算法的优化,对静态图像的部分则不进行相应的优化直接进行显示。这样一来,就可以对既有运动部分又有静态部分的画面进行MEMC处理,实现相应的优化,同时还不影响静态图像部分的显示。
实施例一:
基于上述发明原理,本发明实施例提供一种图像处理方法,如图1所示,该方法包括:
S101、获取待显示视频数据。
具体的,该待显示视频数据可以包括预先存储在设备中的电影、电视等视频数据。也可以是在播放时才从网络设备实时下载获取的视频流数据。对于待显示视频数据的存储格式或存储方式,本发明可不做限制。
S102、获取与待显示视频数据对应的静态图像。
具体的,本发明实施例中所称静态图像是指需要与待显示视频数据同时进行显示的各类静态的图像。具体的,静态图像可以包括字幕图案、菜单图像等。
这里的同时进行显示,可以包括按照预先设定好的对应方式进行同步显示。例如,影视节目中的字幕图像。一个字幕图像通常会持续显示数秒时间,那么在这数秒内的每一帧画面都会与该字幕图像A同时进行显示,即这数秒内的每一帧画面对应的视频数据都与该字幕图像A对应。再例如,在视频数据播放的过程中,当用户触发设置功能时,画面上会弹出相应的菜单图像,则在用户关闭该菜单之前这期间的每一帧画面都会与该菜单图像同步进行显示,即这期间的每一帧画面对应的视频数据都与该菜单图像对应。
在一种实现方式中,静态图像包括字幕图像。考虑到目前视频的字幕包括两种,一种是内嵌字幕,一种是外挂字幕。其中内嵌字幕存储在待显示视频数据的数据文件中为存储字幕而专门设置的指定存储空间中。外挂字幕则像音乐的歌词文件一样,是单独的一个文本文件或者图片文件。该文本文件或者图片文件有一定的文件格式,带有时间戳。该文本文件或者图片文件可以是视频播放器软件从网络上下载的,也可以是预先存储在视频播放器软件中的某个数据文件中的。在播放视频时会同步对该文本文件进行解析生成相应字幕。
因此,本发明实施例中,上述步骤S102具体包括:
S102a、判断字幕图案是内嵌字幕还是外挂字幕。
S102b、若字幕图案为内嵌字幕,则解析待显示视频数据所在的数据文件,获取字幕图案。
具体的,目前字幕包括文本字幕和图片字幕。其中,文本字幕是以文本文件进行存储的,在使用时会先从待显示视频数据所在的数据文件中解析出文本字幕,再生成用于显示的字幕图案。图片字幕则可以直接从待显示视频数据所在的数据文件中解析出用于显示的字幕图案。
S102c、若字幕图案为外挂字幕,则解析视频播放器软件提供的数据文件,获取字幕图案。
与上述步骤S102a同理,若从视频播放器软件提供的数据文件中解析出的是文本字幕,则需要根据文本字幕生成用于显示的字幕图案。若从视频播放器软件提供的数据文件中解析出的是图片字幕,则可以直接用该图片字幕进行显示。
在获取到待显示视频数据以及与待显示视频数据对应的静态图像之后,则执行以下步骤S105:
S105、在第一显示区域显示静态图像,在第二显示区域显示运动增强视频数据对应的图像。
其中,运动增强视频数据是通过对待显示视频数据中用于在第二显示区域显示图像的视频数据进行MEMC处理后所生成的。第二显示区域包括显示屏中除第一显示区域之外的区域。第一显示区域为显示屏中的预设区域。
示例性的,显示屏中所显示的画面如图2所示,其中用虚线框出的部分即为第一显示区域,显示屏中除第一显示区域之外的部分为第二显示区域。在进行显示时,先将待显示视频数据中用于在第二显示区域显示图像的视频数据进行MEMC处理,生成运动增强视频数据,并在第二显示区域显示运动增强视频数据对应的图像。而在第一显示区域则直接显示作为静态图像的字幕图案“这是一架钢琴”。
这样一来,当显示屏所显示的画面中既有静态图像又有运动图像时,本发明通过对画面中的运动图像部分对应的视频数据进行MEMC处理,并将经过MEMC处理后的该部分视频数据对应的图像显示在第二显示区域。对于静态图像部分则不进行MEMC处理直接显示在第一显示区域中。通过这种方式,能够在画面中同时显示经过MEMC处理的运动图像和不经MEMC处理的静态图像,避免了MEMC处理对显示静态图像的影响。
在一种实现方式中,为了确定用于显示静态图像的第一显示区域的范围以及用于显示运动图像的第二显示区域的范围,本发明实施例在执行上述步骤S105显示静态图像和运动增强视频数据对应的图像之前,还包括以下步骤S103:
S103、确定第一显示区域的范围以及第二显示区域的范围。
具体的,考虑到在视频播放时,可以通过视频播放器软件中的设置参数包括的指示字幕图案显示位置的参数来确定第一显示区域的范围。因此,步骤S103具体可以包括以下S103a-S103c的内容:
S103a、获取视频播放器软件中的设置参数。其中设置参数中包括指示字幕图案显示位置的参数。
具体的,视频播放器软件可以为设备中自带的播放器软件,也可以为安装在设备中的第三方应用程序。具体的,视频播放器软件中的设置参数可以为视频播放器软件的UI(User Interface,用户界面)参数。
具体的,在一种实现方式中,由于视频播放器软件是在获取到字幕信息之后,才能根据字幕信息的内容确定字幕图案的显示位置的。因此在获取视频播放器软件中的设置参数之前,该方法还包括将字幕信息发送至视频播放器软件。
S103b、根据设置参数,确定字幕图案在显示屏中所占据的第一显示区域的范围。
具体的,确定字幕图案在显示屏所显示画面中所占据的第一显示区域的范围包括:在显示屏中建立一个坐标系,假设显示屏最左上角的像素位置为坐标原点(0,0)。根据获取到的设置参数,确定第一显示区域的范围为(x1,x2,y1,y2)。其中,x1表示字幕图案在显示屏中从左向右数第x1个像素点的位置开始,x2表示字幕图案在显示屏中从左向右数第x2个像素点的位置结束,y1表示字幕图案在显示屏中从上向下数第y1个像素点的位置开始,y2表示字幕图案在显示屏中从上向下数第y2个像素点的位置结束。例如,图3为所要显示的显示屏,其中包括字幕图案“这是一架钢琴”,那么字幕图案所在显示屏中所占据的第一显示区域的范围即可由(x1,x2,y1,y2)来表示。
S103c、在确定第一显示区域的范围之后,根据第一显示区域的范围,确定第二显示区域的范围。
具体的,在一种实现方式中,可以将显示屏中除第一显示区域之外的其他显示区域都作为第二显示区域,以便在显示屏中除第一显示区域之外的其他显示区域中都显示经过MEMC处理之后的图像。另外,也可以将第一显示区域之外的显示区域中的部分区域作为第二显示区域,以便只在这一部分区域内显示经过MEMC处理的图像。对此本发明可以不作显示。
另外,在一种实现方式中,考虑到在第二显示区域显示运动增强视频数据对应图像之前,为了对用于在第二显示区域显示图像的视频数据进行相应的MEMC处理,本发明实施例还包括以下步骤S104的内容:
S104、利用预设通信协议,生成控制指令并向图像处理器发送该控制指令。以使得图像处理器根据控制指令确定第二显示区域的范围,并使得图像处理器对待显示视频数据中用于在第二显示区域显示图像的视频数据进行MEMC处理。
具体的,由于现有技术中在对视频数据进行MEMC处理时,通常是针对整幅画面来进行处理,即利用两帧或多帧完整的图像,生成介于两帧或多帧画面中间的完整的画面图像。而没有针对画面中的部分图像进行MEMC处理的方法。因此为了使图像处理器能够快速确定需要进行MEMC处理的图像,本发明实施例中,通过预先构建一种预设通信协议的方式,当需要图像处理器对第二显示区域范围内的视频数据进行MEMC处理时,则向图像处理器发送与该第二显示区域范围对应的控制指令,以便图像处理器对该范围内的视频数据进行处理。
例如,预设通信协议中包括预设的多种控制指令,其中每种控制指令对应不同的第二显示区域的范围,例如控制指令A表示除了屏幕正下方的长宽分别为x和y的区域之外的区域皆为第二显示区域;控制指令B表示除了屏幕正下方的长宽分别为x’和y’的区域之外的区域皆为第二显示区域。当向图像处理器发送相应的控制指令时,图像处理器即可根据控制指令确定需要进行MEMC处理的视频数据的范围。
本发明实施例能够将静态图像和经过MEMC处理后的图像分别进行显示,从而避免了MEMC处理对显示静态图像的影响。从而当要显示的画面中既有运动部分又有静止部分时,既能够利用MEMC算法避免运动抖动和运动模糊的问题,还能够避免因为MEMC算法所引起的静态图像部分画面破碎的问题。
实施例二:
将本发明实施例一所提供的图像处理方法应用在具体的图像处理装置中之后,本发明实施例还提供一种显示设备。如图4所示,该显示设备20包括图像处理装置201、视频播放器202、图像处理器203。其中视频播放器202可以为运行第三方应用软件或者其他UI软件的硬件装置,图像处理器203可以为任意一种用于处理图像的芯片,例如帧率转换芯片。该显示设备20的工作流程如图5所示,包括:
S301、图像处理装置201获取待显示视频数据。
S302、图像处理装置201判断字幕图案是内嵌字幕还是外挂字幕。
若字幕图案为内嵌字幕,则执行S303;若字幕图案为外挂字幕,则执行S304。
S303、若字幕为内嵌字幕,则图像处理装置201解析待显示视频数据所在的数据文件,获取字幕图案。
S304、若字幕为外挂字幕,则视频播放器202将包含外挂字幕的数据文件发送给图像处理装置201,以便图像处理装置201解析获取到的数据文件,获取字幕图案。
S305、在图像处理装置201获取到字幕图案之后即步骤S303或者S304之后,图像处理装置201将字幕信息发送至视频播放器202。
S306、视频播放器202根据字幕信息,确定字幕图案的显示位置。
S307、视频播放器202将包含字幕图案的显示位置的设置参数发送给图像处理装置201。
S308、图像处理装置201根据字幕图案的显示位置,确定第一显示区域的范围以及第二显示区域的范围。
S309、将与第二显示区域的范围相对应的控制指令发送至图像处理器203。
S310、图像处理器203接收到控制指令后,对待显示视频数据中用于在第二显示区域显示图像的视频数据进行MEMC处理,生成运动增强视频数据。
示例性的,如图6所示,当字幕为内嵌字幕,则第一步,图像处理装置201会将字幕信息发送给视频播放器202;第二步,然后视频播放器202根据字幕信息并结合应用场景设置字幕位置,将包含指示字幕图案显示位置的设置参数发送给图像处理装置201;第三步,图像处理装置201确定第一显示区域和第二显示区域,并向图像处理器203发送控制指令,以便图像处理器203对相应的视频数据进行MEMC处理。
再例如,如图7所示,当字幕为外挂字幕,则第一步,需要视频播放器202将包含字幕数据的数据文件发送给图像处理装置201,以便图像处理装置201解析出字幕图案;之后的步骤和图6所示基本相同,第二步,图像处理装置201将字幕信息发送给视频播放器202;第三步,视频播放器202根据字幕信息并结合应用场景设置字幕位置,将包含指示字幕图案显示位置的设置参数发送给图像处理装置201;第四步,图像处理装置201确定第一显示区域和第二显示区域,并向图像处理器203发送控制指令,以便图像处理器203对相应的视频数据进行MEMC处理。
S311、图像处理装置201在第一显示区域显示静态图像,在第二显示区域显示运动增强视频数据对应的图像。
在一种实现方式中,视频播放器202可以内置在图像处理装置201中,进而图像处理装置201可以通过视频播放器202来完成S311的内容,即播放相应视频画面。
实施例三:
本发明实施例还提供一种图像处理装置,用于执行上述实施例一所提供的图像处理方法。
如图8所示,该图像处理装置40包括:获取单元401、显示单元402。其中,
获取单元401,用于获取待显示视频数据以及与待显示视频数据对应的静态图像;
显示单元402,用于在获取单元获取待显示视频数据以及与待显示视频数据对应的静态图像之后,在第一显示区域显示静态图像,在第二显示区域显示运动增强视频数据对应的图像;其中,运动增强视频数据是通过对待显示视频数据中用于在第二显示区域显示图像的视频数据进行MEMC处理所生成的;第二显示区域包括显示屏中除第一显示区域之外的区域;第一显示区域为显示屏中的预设区域。
可选的,静态图像包括字幕图案;获取单元401,具体用于判断字幕图案是内嵌字幕还是外挂字幕;若字幕图案为内嵌字幕,则解析待显示视频数据所在的数据文件,获取字幕图案;若字幕图案为外挂字幕,则解析视频播放器软件提供的数据文件,获取字幕图案。
可选的,图像处理装置还包括:区域确定单元403;
区域确定单元403,用于在显示单元在第一显示区域显示静态图像以及在第二显示区域显示运动增强视频数据对应的图像之前,获取视频播放器软件中的设置参数,设置参数中包括指示字幕图案显示位置的参数;根据设置参数,确定字幕图案在显示屏中所占据的第一显示区域的范围;在确定第一显示区域的范围后,根据第一显示区域的范围,确定第二显示区域的范围。
可选的,静态图像包括菜单图像。
可选的,图像处理装置40还包括:增强处理单元404;
增强处理单元404,用于在显示单元在第二显示区域显示运动增强视频数据对应的图像之前,利用预设通信协议,生成控制指令并向图像处理器发送控制指令,以使得图像处理器根据控制指令确定第二显示区域的范围,并对待显示视频数据中用于在第二显示区域显示图像的视频数据进行MEMC处理。
本发明实施例中提供的图像处理装置所解决的技术问题以及实现的技术效果可以参照上述实施例一的相应内容,在此不再赘述。
在采用集成的单元的情况下,上述实施例中所涉及的图像处理装置装置的一种可能的结构示意图。图像处理装置装置50包括:处理模块501、通信模块502和存储模块503。处理模块501用于对图像处理装置50的动作进行控制管理,例如,处理模块501用于支持图像处理装置50执行图1中的过程S101-S105。通信模块502用于支持图像处理装置装置与其他实体的通信。存储模块503用于存储图像处理装置的程序代码和数据。
其中,处理模块501可以是处理器或控制器,例如可以是中央处理器(centralprocessing unit,CPU),通用处理器,数字信号处理器(digital signal processor,DSP),专用集成电路(application-specific integrated circuit,ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块502可以是收发器、收发电路或通信接口等。存储模块503可以是存储器。
当处理模块501为如图9所示的处理器,通信模块502为图9的收发器,存储模块503为图9的存储器时,本申请实施例所涉及的图像处理装置可以为如下的图像处理装置60。
参照图9所示,该图像处理装置60包括:处理器601、收发器602、存储器603和总线604。
其中,处理器601、收发器602、存储器603通过总线604相互连接;总线604可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器601可以是一个通用中央处理器(Central Processing Unit,CPU),微处理器,特定应用集成电路(Application-Specific Integrated Circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。
存储器603可以是只读存储器(Read-Only Memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(Random Access Memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器602用于存储执行本发明方案的应用程序代码,并由处理器601来控制执行。收发器602用于接收外部设备输入的内容,处理器601用于执行存储器603中存储的应用程序代码,从而实现本发明实施例一中所述图像处理方法。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的***、设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。