视频图像处理方法及设备
技术领域
本发明实施例涉及视频技术领域,尤其涉及一种视频图像处理方法及设备。
背景技术
在视频监控或视频会议的场景下,一幅像图像存在大量静止区域,运动区域相对较少。在目前的编码方案中,基本上都是使用在时间上和待编码图像最接近的参考图像作为参考,且由于目前的编码标准和实际使用的编码方案都是有损压缩的,这样在一个高质量的参考图像之后,随着时间的推移,参考图像的质量变得比高质量的参考图像要差得多。使用这种差质量的参考图像做参考,后续的编码图像的重建也会比较差,同时编码码率也比较高。
发明内容
本发明实施例提供一种视频图像处理方法及设备,用以解决现有技术中以差质量的参考图像做参考,后续的编码图像的重建也会比较差,同时编码码率也比较高的缺陷,提高视频图像的编码质量、降低视频图像的编码码率,进而减小编码码流需要的传输带宽和存储编码码流需要的存储空间的缺陷。
本发明实施例提供一种视频图像处理方法,包括:
对视频图像各图像的区域进行划分,区分出所述视频图像各图像的静止区域和运动区域;
以所述静止区域的图像为依据,生成长期参考图像;
仅针对所述运动区域生成短期参考图像;
令所述待编码图像中的静止区域以所述长期参考图像作为参考,令所述待编码图像中的运动区域以短期参考图像作为参考,生成所述待编码图像。
本发明实施例提供一种视频图像处理设备,包括:
图像区域划分单元,用于对视频图像各图像的区域进行划分,区分出所述视频图像各图像的静止区域和运动区域;
长期参考图像生成单元,用于以所述静止区域的图像为依据,生成长期参考图像;
短期参考图像生成单元,用于针对所述运动区域生成短期参考图像;
待编码图像生成单元,用于生成待编码图像,其中,所述待编码图像中的静止区域以所述长期参考图像作为参考,所述待编码图像中的运动区域以短期参考图像作为参考。
本发明实施例提供的视频图像处理方法及设备,对视频图像各图像的区域进行划分,区分出视频图像各图像的静止区域和运动区域;以静止区域的图像为依据,生成长期参考图像;仅针对运动区域生成短期参考图像;令待编码图像中的静止区域以长期参考图像作为参考,令待编码图像中的运动区域以短期参考图像作为参考,生成待编码图像。与现有技术相比,本发明实施例提供的视频处理方法及设备无需对待编码图像进行整幅编码,待编码图像中的运动区域以短期参考图像作为参考,待编码图像中的静止区域以长期参考图像作为参考,即可生成完整的待编码图像。因此,本发明实施例提供的视频图像处理方法及设备能够提高视频图像的编码质量、降低视频图像的编码码率,进而减小编码码流需要的传输带宽和存储编码码流需要的存储空间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一和实施例二提供的视频图像处理方法的概括步骤流程图;
图2为本发明实施例三和实施例四提供的视频图像处理设备的概括信号流向关系示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参见附图1,本发明实施例一提供的视频图像处理方法包括:
步骤11:对视频图像各图像的区域进行划分,区分出视频图像各图像的静止区域和运动区域;
步骤12:以静止区域的图像为依据,生成长期参考图像;
步骤13:仅针对运动区域生成短期参考图像;
步骤14:令待编码图像中的静止区域以长期参考图像作为参考,令待编码图像中的运动区域以短期参考图像作为参考,生成待编码图像。
本发明实施例提供的视频图像处理方法,经过步骤11:对视频图像各图像的区域进行划分,区分出视频图像各图像的静止区域和运动区域;步骤12:以静止区域的图像为依据,生成长期参考图像;步骤13:仅针对运动区域生成短期参考图像;步骤14:令待编码图像中的静止区域以长期参考图像作为参考,令待编码图像中的运动区域以短期参考图像作为参考,生成待编码图像。与现有技术相比,本发明实施例提供的视频处理方法无需对待编码图像进行整幅编码,待编码图像中的运动区域以短期参考图像作为参考,待编码图像中的静止区域以长期参考图像作为参考,即可生成完整的待编码图像。因此,本发明实施例提供的视频图像处理方法能够提高视频图像的编码质量、降低视频图像的编码码率,进而减小编码码流需要的传输带宽和存储编码码流需要的存储空间。
其中,本发明实施例一提供的视频图像处理方法的应用环境包括视频监控环境,和/或,视频会议环境。由于本发明实施例一提供的视频图像处理方法中应用的长期参考图像是以视频图像中的静止区域的图像为依据的,因此,需要该实时视频图像的摄像背景角度单一,也就是说,需要摄像机本身固定,并且摄像场景也是固定不变的,视频监控环境,和/或,视频会议环境完全符合本发明实施例一提供的视频图像处理方法的摄像需求。而如果是电视、电影等摄像,由于摄像角度、焦距是实时变化的,视频图像中的各图像中很难找到静止区域,因此,本发明实施例一提供的视频处理方法不太适合用于对电视、电影视频图像的处理。
其中,应用本发明实施例一提供的视频图像处理方法对视频图像各图像进行划分时,以历史图像为依据,其中,静止区域为在120图像以上图像中静止不变的区域,运动区域为在各图像中有人或者物体运动的区域。例如,在视频会议环境中,当摄像机的安装位置、摄像头方向都不变的情况下,在视频会议实时视频图像中,墙壁、吊灯、办公桌等固定背景通常是固定不变的,而视频会议场景中的人可能是运动的,因此,此时,可以将墙壁、吊灯、办公桌等固定背景组合而成的图像作为静止区域,而将人作为运动区域进行划分。选取120图像以上图像作为参考,是为了使静止区域的选取更加精准,此时,如果选取的图像数过少,会影响对静止区域的判断。即使是现有的视频播放技术中一般采用24图像的画面频率,在这种情况下,放映120图像所需要的时间是5s,本实施例中,认为5s以上静止不变的视频画面区域为静止区域,以免选取时间过短,处于运动区域中的人或物体还没来得及变化,从而被误判到静止区域中。
其中,生成待编码图像的方法包括:
步骤1411:将待编码图像中的运动区域剔除,得到待编码图像的静止区域的图像;
步骤1412:以短期参考图像为依据,生成待编码图像的运动区域的图像;
步骤1413:将待编码图像的静止区域的图像与待编码图像的运动区域的图像拼接在一起,生成完整的待编码图像。
在本发明实施例一提供的视频图像处理方法中,由于运动区域是采用预剔除的方式实现与静止区域剥离的,需要在图像中剔除足够大的区域,才能保证运动区域完全被剔除,避免视频画面中处于运动的人或者物体因为运动区域过小而无法完全包括,造成视频画面严重失真。因此,本发明实施例一提供的视频图像处理方法并不能很好地适应静止区域过于分散的场景。
其中,视频图像处理方法还包括对长期参考图像在设定的周期内更新,包括:将各待更新的长期参考图像存储于参考图像缓冲区里,其中,各长期参考图像上附加有生成时间标签;调用生成时间标签与待编码图像最接近的长期参考图像作为参考,生成待编码图像。
由于在本发明实施例一提供的视频图像处理方法中,设定了图像中的静止区域,在长期应用中,该静止区域中的图像也有可能发生变化,比如,如果场景进行过重新装修,墙壁的图像会发生变化,如果办公桌被移动过,办公桌的图像也会发生变化,因此,需要在设定的周期内对长期参考图像进行更新,才能尽可能避免视频图像失真。
实施例二
与本发明实施例一提供的视频图像处理方法不同,在本发明实施例二提供的视频图像处理方法中,生成待编码图像的方法包括:
步骤1421:对视频图像各图像进行划格,使各图像形成多个格状区域;
步骤1422:对待编码图像与长期参考图像进行比对;选取待编码图像中,与长期参考图像对应的区域完全一致的格状区域为待编码图像的静止区域;与长期参考图像对应的区域不一致的格状区域为待编码图像的运动区域;
步骤1423:完全套用长期参考图像中的格状区域,生成待编码图像的静止区域的图像;
步骤1424:以待编码图像的短期参考图像为依据生成待编码图像的运动区域的图像;
步骤1425:将待编码图像的静止区域的图像与待编码图像的运动区域的图像拼接在一起,生成完整的待编码图像。
采用本发明实施例二提供的视频图像处理方法的好处是,即使静止区域非常分散,由于本发明实施例二提供的视频图像处理方法采用划格的方式对视频图像进行了划分,也能够很好地适应。
实施例三
参见附图2,作为本发明实施例一提供的视频图像处理方法的一种具体的实现,本发明实施例三提供的视频图像处理设备包括:
图像区域划分单元31,用于对视频图像各图像的区域进行划分,区分出视频图像各图像的静止区域和运动区域;
长期参考图像生成单元32,用于以静止区域的图像为依据,生成长期参考图像;
短期参考图像生成单元33,用于针对运动区域生成短期参考图像;
待编码图像生成单元34,用于生成待编码图像,其中,待编码图像中的静止区域以长期参考图像作为参考,待编码图像中的运动区域以短期参考图像作为参考。
本发明实施例提供的视频图像处理设备,通过图像区域划分单元31,对视频图像各图像的区域进行划分,区分出视频图像各图像的静止区域和运动区域;通过长期参考图像生成单元32,以静止区域的图像为依据,生成长期参考图像;通过短期参考图像生成单元33,仅针对运动区域生成短期参考图像;通过待编码图像生成单元34,令待编码图像中的静止区域以长期参考图像作为参考,令待编码图像中的运动区域以短期参考图像作为参考,生成待编码图像。与现有技术相比,本发明实施例提供的视频处理设备无需对待编码图像进行整幅编码,待编码图像中的运动区域以短期参考图像作为参考,待编码图像中的静止区域以长期参考图像作为参考,即可生成完整的待编码图像。因此,本发明实施例提供的视频图像处理方法及设备能够提高视频图像的编码质量、降低视频图像的编码码率,进而减小编码码流需要的传输带宽和存储编码码流需要的存储空间。
其中,本发明实施例三视频图像处理的设备的应用环境包括视频监控环境,和/或,视频会议环境。由于本发明实施例三提供的视频图像处理设备中应用的长期参考图像是以视频图像中的静止区域的图像为依据的,因此,需要该实时视频图像的摄像背景角度单一,也就是说,需要摄像机本身固定,并且摄像场景也是固定不变的,视频监控环境,和/或,视频会议环境完全符合本发明实施例三提供的视频图像处理设备的摄像需求。而如果是电视、电影等摄像,由于摄像角度、焦距是实时变化的,视频图像中的各图像中很难找到静止区域,因此,本发明实施例三提供的视频处理设备不太适合用于对电视、电影视频图像的处理。
其中,本发明实施例三提供的视频图像处理设备还包括:
静止区域选取单元,用于根据120图像以上图像进行比对,选取120图像以上图像中均静止不变的区域为静止区域;
运动区域选取单元,用于选取在各图像中有人或物体运动的区域为运动区域。
例如,在视频会议环境中,当摄像机的安装位置、摄像头方向都不变的情况下,在视频会议实时视频图像中,墙壁、吊灯、办公桌等固定背景通常是固定不变的,而视频会议场景中的人可能是运动的,因此,此时,可以将墙壁、吊灯、办公桌等固定背景组合而成的图像作为静止区域,而将人作为运动区域进行划分。选取120图像以上图像作为参考,是为了使静止区域的选取更加精准,此时,如果选取的图像数过少,会影响对静止区域的判断。即使是现有的视频播放技术中一般采用24图像的画面频率,在这种情况下,放映120图像所需要的时间是5s,本实施例中,认为5s以上静止不变的视频画面区域为静止区域,以免选取时间过短,处于运动区域中的人或物体还没来得及变化,从而被误判到静止区域中。
其中,本发明实施例三提供的视频处理设备还包括:
图像裁剪单元,用于将待编码图像中的运动区域剪除,得到待编码图像的静止区域的图像;
运动区域图像生成单元,用于以短期参考图像为依据,生成待编码图像的运动区域的图像;
图像拼接单元,用于将待编码图像的静止区域的图像与待编码图像的运动区域的图像拼接在一起,生成完整的待编码图像。
在本发明实施例三提供的视频图像处理设备中,由于运动区域是采用预剔除的方式实现与静止区域剥离的,需要在图像中剔除足够大的区域,才能保证运动区域完全被剔除,避免视频画面中处于运动的人或者物体因为运动区域过小而无法完全包括,造成视频画面严重失真。因此,本发明实施例三提供的视频图像处理设备并不能很好地适应静止区域过于分散的场景。
其中,本发明实施例三提供的视频处理设备还包括:
长期参考图像存储单元,用于将待更新的长期参考图像存储于参考图像缓冲区里,其中,各长期参考图像上附加有生成时间标签;
长期参考图像调用单元,用于调用生成时间标签与待编码图像最接近的长期参考图像作为参考。
由于在本发明实施例三提供的视频图像处理设备中,设定了图像中的静止区域,在长期应用中,该静止区域中的图像也有可能发生变化,比如,如果场景进行过重新装修,墙壁的图像会发生变化,如果办公桌被移动过,办公桌的图像也会发生变化,因此,需要在设定的周期内对长期参考图像进行更新,才能尽可能避免视频图像失真。
实施例四
与本发明实施例三提供的视频处理设备不同,本发明实施例四提供的视频处理设备还包括:
划格单元,用于对视频图像各图像进行划格,使各图像形成多个格状区域;
图像比对单元,用于待编码图像与长期参考图像进行比对,选取待编码图像中,与长期参考图像对应的区域完全一致的格状区域为待编码图像的静止区域;与长期参考图像对应的区域不一致的格状区域为待编码图像的运动区域;
静止区域图像生成单元,用于完全套用长期参考图像中的格状区域,生成待编码图像的静止区域的图像;
运动区域图像生成单元,用于以待编码图像的短期参考图像为依据生成待编码图像的运动区域的图像;
待编码图像生成单元,用于将静止区域的图像与运动区域的图像拼接在一起,生成完整的待编码图像。
采用本发明实施例四提供的视频图像处理设备的好处是,即使静止区域非常分散,由于本发明实施例四提供的视频图像处理设备采用划格的方式对视频图像进行了划分,也能够很好地适应。
本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
以上所描述的设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。