CN109493304B - 一种图像数据处理方法以及装置 - Google Patents

一种图像数据处理方法以及装置 Download PDF

Info

Publication number
CN109493304B
CN109493304B CN201710824066.6A CN201710824066A CN109493304B CN 109493304 B CN109493304 B CN 109493304B CN 201710824066 A CN201710824066 A CN 201710824066A CN 109493304 B CN109493304 B CN 109493304B
Authority
CN
China
Prior art keywords
picture
layered
user terminal
picture data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710824066.6A
Other languages
English (en)
Other versions
CN109493304A (zh
Inventor
应玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710824066.6A priority Critical patent/CN109493304B/zh
Priority to PCT/CN2018/105131 priority patent/WO2019052452A1/zh
Publication of CN109493304A publication Critical patent/CN109493304A/zh
Application granted granted Critical
Publication of CN109493304B publication Critical patent/CN109493304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种图像数据处理方法以及装置,其中方法包括:发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片;接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。采用本发明,可避免图片显示区域长时间处于空白状态,也可提高图片显示效果。

Description

一种图像数据处理方法以及装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种图像数据处理方法以及装置。
背景技术
随着移动互联网的发展,终端设备的下载流量大幅增长,用户下载流量中,图片流量占据很大占比。大量的图片也给网络传输带宽负载带来了很大的压力。因此,若用户在网络状态不是很稳定的情况下,下载质量较高的图片,则会导致图片数据传输时间过长,进而导致用户终端的图片显示区域长时间处于空白状态。虽然通过下载质量较低的图片,可以解决图片数据传输时间过长的问题,但是质量较低的图片可能会导致图片内容过于模糊,严重影响显示效果。
发明内容
本发明实施例提供一种图像数据处理方法以及装置,可避免图片显示区域长时间处于空白状态,也可提高图片显示效果。
本发明第一方面提供了一种图像数据处理方法,包括:
发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使所述服务器根据所述第一分层图片获取请求选择与所述尺寸信息相匹配的目标分层图片;
接收所述服务器发送的所述目标分层图片中的基础层图片数据,并通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
接收所述服务器发送的所述目标分层图片中的增强层图片数据,并通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
其中,还包括:
获取用户终端的操作***信息,并发送携带所述用户终端的操作***信息的解码器获取请求到所述服务器,以使所述服务器根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器;
接收所述服务器发送的与所述用户终端的操作***信息相匹配的分层图片解码器。
其中,在所述发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器之前,还包括:
获取显示区域的尺寸信息,并判断所述尺寸信息是否满足分层图片自适应条件;
若判断为不满足,则发送第二分层图片获取请求到所述服务器,以使所述服务器根据所述第二分层图片获取请求依次发送具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据;
若判断为满足,则执行所述发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器的步骤。
其中,在所述获取显示区域的尺寸信息之前,还包括:
判断是否支持分层图片格式;
若判断为不支持,则发送原始图片获取请求到所述服务器,以使所述服务器根据所述原始图片获取请求返回原始图片;
通过原始解码器对所接收到的所述原始图片进行解码,并显示解码后的原始图片;
若判断为支持,则执行所述获取显示区域的尺寸信息的步骤。
本发明第二方面提供了一种图像数据处理方法,包括:
若接收到用户终端发送的第一分层图片获取请求,则根据所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息选择与所述尺寸信息相匹配的目标分层图片;
发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
其中,所述若接收到用户终端发送的第一分层图片获取请求,则根据所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息选择与所述尺寸信息相匹配的目标分层图片,包括:
若接收到用户终端发送的第一分层图片获取请求,则提取所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息;
在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片;
将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片。
其中,还包括:
若接收到所述用户发送的第二分层图片获取请求,则根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片,并依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
若接收到所述用户发送的原始图片获取请求,则根据所述原始图片获取请求发送原始图片到所述用户终端;
其中,所述第二分层图片获取请求是由所述用户终端在检测到所述尺寸信息不满足分层图片自适应条件时所发送的;所述原始图片获取请求是由所述用户终端在检测到不支持分层图片格式时所发送的;所述第一分层图片获取请求是由所述用户终端在检测到所述尺寸信息满足分层图片自适应条件时所发送的。
其中,还包括:
接收所述用户终端发送的解码器获取请求;所述解码器获取请求携带所述用户终端的操作***信息;
根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器,并将所查找出的与所述用户终端的操作***信息相匹配的分层图片解码器发送至所述用户终端。
其中,还包括:
获取原始图片,通过与服务器的操作***信息相匹配的分层图片解码器对所述原始图片进行解码,得到解码后的原始图片数据;
通过分层图片编码器将所述解码后的原始图片数据编码为至少一种分辨率的分层图片;各分层图片均包括基础层图片数据和至少一个增强层图片数据。
其中,还包括:
设置与至少一种操作***信息分别对应的分层图片解码器;
对所述分层图片解码器和分层图片编码器中的预测方式进行优化;所述预测方式包括编码单元划分方式、预测单元划分方式、变换单元划分方式、帧内预测方向选择方式;
根据所对应的操作***信息对所述分层图片解码器进行汇编优化和代码结构优化。
其中,所述根据所对应的操作***信息对所述分层图片解码器中的预测算法进行优化,包括:
在所述分层图片解码器中设置存储空间选择优化规则,所述存储空间选择优化规则包括将寄存器设置为最高优先级的临时存储空间的规则,所述寄存器是与所述分层图片解码器所对应的操作***信息相关联的;
在所述分层图片解码器中设置计算优化规则,所述计算优化规则包括将矩阵运算的循环逻辑转换成基于向量指令集进行运算的规则,所述向量指令集是与所述分层图片解码器所对应的操作***信息相关联的。
本发明第三方面提供了一种图像数据处理方法,包括:
用户终端发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器;
所述服务器根据所述第一分层图片获取请求选择与所述尺寸信息相匹配的目标分层图片,并发送所述目标分层图片中的基础层图片数据到所述用户终端;
所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
所述服务器发送所述目标分层图片中的增强层图片数据到所述用户终端;
所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
其中,还包括:
所述用户终端获取用户终端的操作***信息,并发送携带所述用户终端的操作***信息的解码器获取请求到所述服务器;
所述服务器根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器,并发送与所述用户终端的操作***信息相匹配的分层图片解码器到所述用户终端。
其中,在所述用户终端发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器之前,还包括:
所述用户终端获取显示区域的尺寸信息,并判断所述尺寸信息是否满足分层图片自适应条件;
若判断为不满足,则所述用户终端发送第二分层图片获取请求到所述服务器;
所述服务器根据所述第二分层图片获取请求依次发送具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据;
若判断为满足,则执行所述用户终端发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器的步骤。
其中,在所述用户终端获取显示区域的尺寸信息之前,还包括:
所述用户终端判断是否支持分层图片格式;
若判断为不支持,则所述用户终端发送原始图片获取请求到所述服务器;
所述服务器根据所述原始图片获取请求返回原始图片;
所述用户终端通过原始解码器对所接收到的所述原始图片进行解码,并显示解码后的原始图片;
若判断为支持,则执行所述用户终端获取显示区域的尺寸信息的步骤。
其中,所述服务器根据所述第一分层图片获取请求选择与所述尺寸信息相匹配的目标分层图片,包括:
所述服务器提取所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息;
在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片;
将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片。
其中,还包括:
所述服务器获取原始图片,通过与服务器的操作***信息相匹配的分层图片解码器对所述原始图片进行解码,得到解码后的原始图片数据;
所述服务器通过分层图片编码器将所述解码后的原始图片数据编码为至少一种分辨率的分层图片;各分层图片均包括基础层图片数据和至少一个增强层图片数据。
其中,还包括:
所述服务器设置与至少一种操作***信息分别对应的分层图片解码器;
所述服务器对所述分层图片解码器和分层图片编码器中的预测方式进行优化;所述预测方式包括编码单元划分方式、预测单元划分方式、变换单元划分方式、帧内预测方向选择方式;
所述服务器根据所对应的操作***信息对所述分层图片解码器进行汇编优化和代码结构优化。
其中,所述服务器根据所对应的操作***信息对所述分层图片解码器中的预测算法进行优化,包括:
在所述分层图片解码器中设置存储空间选择优化规则,所述存储空间选择优化规则包括将寄存器设置为最高优先级的临时存储空间的规则,所述寄存器是与所述分层图片解码器所对应的操作***信息相关联的;
在所述分层图片解码器中设置计算优化规则,所述计算优化规则包括将矩阵运算的循环逻辑转换成基于向量指令集进行运算的规则,所述向量指令集是与所述分层图片解码器所对应的操作***信息相关联的。
本发明第四方面提供了一种图像数据处理装置,包括:
发送模块,用于发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使所述服务器根据所述第一分层图片获取请求选择与所述尺寸信息相匹配的目标分层图片;
接收模块,用于接收所述服务器发送的所述目标分层图片中的基础层图片数据;
解码显示模块,用于通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
所述接收模块,还用于接收所述服务器发送的所述目标分层图片中的增强层图片数据;
所述解码显示模块,还用于通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
其中,所述发送模块,还用于获取用户终端的操作***信息,并发送携带所述用户终端的操作***信息的解码器获取请求到所述服务器,以使所述服务器根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器;
所述接收模块,还用于接收所述服务器发送的与所述用户终端的操作***信息相匹配的分层图片解码器。
其中,还包括:
第一判断模块,用于获取显示区域的尺寸信息,并判断所述尺寸信息是否满足分层图片自适应条件;
所述发送模块,还用于若所述第一判断模块判断为不满足,则发送第二分层图片获取请求到所述服务器,以使所述服务器根据所述第二分层图片获取请求依次发送具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据;
通知模块,用于若所述第一判断模块判断为满足,则通知所述发送模块发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器。
其中,还包括:
第二判断模块,用于判断是否支持分层图片格式;
所述发送模块,还用于若所述第二判断模块判断为不支持,则发送原始图片获取请求到所述服务器,以使所述服务器根据所述原始图片获取请求返回原始图片;
所述解码显示模块,还用于通过原始解码器对所接收到的所述原始图片进行解码,并显示解码后的原始图片;
所述通知模块,还用于若所述第二判断模块判断为支持,则通知所述第一判断模块获取显示区域的尺寸信息,并判断所述尺寸信息是否满足分层图片自适应条件。
本发明第五方面提供了一种图像数据处理装置,包括:
选择模块,用于若接收到用户终端发送的第一分层图片获取请求,则根据所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息选择与所述尺寸信息相匹配的目标分层图片;
发送模块,用于发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
所述发送模块,还用于发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
其中,所述选择模块,包括:
提取单元,用于若接收到用户终端发送的第一分层图片获取请求,则提取所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息;
查找单元,用于在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片;
确定单元,用于将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片。
其中,所述选择模块,还用于若接收到所述用户发送的第二分层图片获取请求,则根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片;
所述发送模块,还用于依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
所述发送模块,还用于若接收到所述用户发送的原始图片获取请求,则根据所述原始图片获取请求发送原始图片到所述用户终端;
其中,所述第二分层图片获取请求是由所述用户终端在检测到所述尺寸信息不满足分层图片自适应条件时所发送的;所述原始图片获取请求是由所述用户终端在检测到不支持分层图片格式时所发送的;所述第一分层图片获取请求是由所述用户终端在检测到所述尺寸信息满足分层图片自适应条件时所发送的。
其中,还包括:
接收模块,用于接收所述用户终端发送的解码器获取请求;所述解码器获取请求携带所述用户终端的操作***信息;
解码器查找模块,用于根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器,并将所查找出的与所述用户终端的操作***信息相匹配的分层图片解码器发送至所述用户终端。
其中,还包括:
解码模块,用于获取原始图片,通过与服务器的操作***信息相匹配的分层图片解码器对所述原始图片进行解码,得到解码后的原始图片数据;
编码模块,用于通过分层图片编码器将所述解码后的原始图片数据编码为至少一种分辨率的分层图片;各分层图片均包括基础层图片数据和至少一个增强层图片数据。
其中,还包括:
解码器设置模块,用于设置与至少一种操作***信息分别对应的分层图片解码器;
第一优化设置模块,用于对所述分层图片解码器和分层图片编码器中的预测方式进行优化;所述预测方式包括编码单元划分方式、预测单元划分方式、变换单元划分方式、帧内预测方向选择方式;
第二优化设置模块,用于根据所对应的操作***信息对所述分层图片解码器进行汇编优化和代码结构优化。
其中,所述第二优化设置模块,包括:
第一规则设置单元,用于在所述分层图片解码器中设置存储空间选择优化规则,所述存储空间选择优化规则包括将寄存器设置为最高优先级的临时存储空间的规则,所述寄存器是与所述分层图片解码器所对应的操作***信息相关联的;
第二规则设置单元,用于在所述分层图片解码器中设置计算优化规则,所述计算优化规则包括将矩阵运算的循环逻辑转换成基于向量指令集进行运算的规则,所述向量指令集是与所述分层图片解码器所对应的操作***信息相关联的。
本发明第六方面提供了一种图像数据处理装置,包括:处理器、存储器以及网络接口;
所述处理器与存储器、网络接口相连,其中,网络接口用于连接服务器,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行以下操作:
发送携带显示区域的尺寸信息的第一分层图片获取请求到所述服务器,以使所述服务器根据所述第一分层图片获取请求选择与所述尺寸信息相匹配的目标分层图片;
接收所述服务器发送的所述目标分层图片中的基础层图片数据,并通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
接收所述服务器发送的所述目标分层图片中的增强层图片数据,并通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
本发明第七方面提供了一种图像数据处理装置,包括:处理器、存储器以及网络接口;
所述处理器与存储器、网络接口相连,其中,网络接口用于连接用户终端,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行以下操作:
若接收到所述用户终端发送的第一分层图片获取请求,则根据所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息选择与所述尺寸信息相匹配的目标分层图片;
发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
本发明第八方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,当所述处理器执行所述程序指令时执行本发明实施例中第一方面中的方法。
本发明第九方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,当所述处理器执行所述程序指令时执行本发明实施例中第二方面中的方法。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络架构的示意图;
图2是本发明实施例提供的一种图像数据处理方法的时序示意图;
图3a是本发明实施例提供的一种用户终端的图片显示示意图;
图3b是本发明实施例提供的另一种用户终端的图片显示示意图;
图3c是本发明实施例提供的又一种用户终端的图片显示示意图;
图4是本发明实施例提供的另一种图像数据处理方法的时序示意图;
图5是本发明实施例提供的一种解码器的优化方法的流程示意图;
图6是本发明实施例提供的一种分层图片解码器的结构示意图;
图7是本发明实施例提供的一种图像数据处理方法的流程示意图;
图8是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图9是本发明实施例提供的一种图像数据处理装置的结构示意图;
图10是本发明实施例提供的另一种图像数据处理装置的结构示意图;
图11是本发明实施例提供的又一种图像数据处理装置的结构示意图;
图12是本发明实施例提供的又一种图像数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,是本发明实施例提供的一种网络架构的示意图。如图1所示,该网络架构可以包括:服务器100、服务器200以及多个用户终端300。服务器100可以通过互联网分别与多个用户终端300进行网络连接,服务器200也可以通过互联网分别与多个用户终端300进行网络连接。其中,由图1可知,多个用户终端300可以包括计算机、平板电脑、智能手机、笔记本电脑、掌上电脑、数字电视以及移动互联网设备(MID)等终端设备,或者可以为终端设备中的客户端。其中,服务器100可以用于设置多种操作***分别对应的分层图片解码器,并将所设置的多种分层图片解码器上线,使得多个用户终端300可以通过服务器100获取到与各自操作***相匹配的分层图片解码器。其中,服务器200可以将原始图片编码为多个不同分辨率的分层图片,并在某用户终端300请求获取分层图片时,服务器200可以根据该用户终端300中的显示区域的尺寸信息选择相应分辨率的分层图片,并先发送所选择的分层图片中的基础层图片数据,使得该用户终端300可以先通过从服务器100获取到的分层图片解码器解码基础层图片数据,进而该用户终端300可以先显示质量较低的基础层图片数据,以避免图片显示区域长时间处于空白状态;随后服务器200可以继续发送所选择的分层图片中的增强层图片数据,使得该用户终端300通过从服务器100获取到的分层图片解码器解码增强层图片数据,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,得到质量较高的图片,并显示该质量较高的图片,以提高图片显示效果。
其中,分层图片可以包括基础层图片数据和至少一个增强层图片数据,基础层图片数据是指可以大致显示图片内容的低质量图片数据,即基础层图片数据的数据量较小,使得可以较快将基础层图片数据传输至用户终端300,增强层图片数据可以是指高质量图片数据与基础层图片数据之间的差量,因此,通过叠加增强层图片数据和基础层图片数据可以得到更高质量的图片数据。当有多个增强层图片数据时,每叠加一个增强层图片数据,就会使图片的质量上升一个层次,即图片的显示是从模糊到清晰的一个渐变过程。其中,分层图片解码器是可以用于对分层图片进行解码的一种解码器,即分层图片解码器可以对基础层图片数据进行解码,也可以对增强层图片数据进行解码,也可以对增强层图片数据和基础层图片数据进行合成。
可选的,图1中的服务器100和服务器200可以合并为同一个服务器,即服务器100和服务器200分别所执行的功能可以在同一个服务器上实现。
请参见图2,是本发明实施例提供的一种图像数据处理方法的时序示意图,该方法可以包括:
S201,用户终端发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器;
具体的,在S201步骤之前,用户终端可以先向服务器发送携带用户终端的操作***信息的解码器获取请求,使得服务器可以根据解码器获取请求查找与用户终端的操作***信息相匹配的分层图片解码器,进而服务器可以将所查找出的分层图片解码器发送到用户终端。其中,操作***信息可以包括微软***信息、苹果***信息、安卓***信息等其他操作***信息中的任意一种。由此可见,服务器可以预先设置与多种操作***分别对应的分层图片解码器,其中,服务器可以包括上述图1对应实施例中的服务器100和服务器200分别所具备的功能。可选的,服务器还可以对分层图片解码器进行汇编优化和代码结构优化,当用户终端在使用优化后的分层图片解码器进行解码时,该优化后的分层图片解码器将会尽量多的采用该用户终端的操作***的寄存器作为临时存储空间,且该优化后的分层图片解码器将会尽量多的采用该用户终端的操作***的向量运算指令进行解码计算。因此,通过针对不同的操作***进行不同的汇编优化和代码结构优化,可以使得各种操作***的用户终端均可以使用到优化后的分层图片解码器,以提高分层图片解码器的解码效率。
进一步的,用户终端获取到相应的分层图片解码器后,还可以进一步检测显示区域的尺寸信息,并发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以请求相应的分层图片;其中,分层图片也可以称之为X5图片。
S202,服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片;
具体的,服务器获取到第一分层图片获取请求后,可以提取第一分层图片获取请求中的用户终端的显示区域的尺寸信息,并在预设的多个不同分辨率的分层图片中,查找像素宽度大于尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片,并将至少一个待选择分层图片中的最低分辨率的分层图片确定为与尺寸信息相匹配的目标分层图片。其中,服务器可以预先将某原始图片编码为多种分辨率的分层图片,而目标分层图片即为其中一种分辨率的分层图片。其中,尺寸信息可以是用户终端的显示区域的宽度,服务器可以将多种分辨率的分层图片中的像素宽度大于尺寸信息且与尺寸信息的数值相邻的分层图片确定为目标分层图片。例如,某个原始图片对应有3种分辨率的分层图片,分别为810像素宽度的分层图片、610像素宽度的分层图片、410像素宽度的分层图片,若尺寸信息为800像素宽度,则将为810像素宽度的分层图片确定为目标分层图片;若尺寸信息为600像素宽度,则将为610像素宽度的分层图片确定为目标分层图片;若尺寸信息为400像素宽度,则将为410像素宽度的分层图片确定为目标分层图片。
其中,服务器预先将某原始图片编码为多种分辨率的分层图片的具体过程可以为:服务器通过与服务器的操作***信息相对应的分层图片解码器对该原始图片进行解码,得到可以支持分层图片格式的原始图片数据,即解码后的原始图片数据,服务器再通过与服务器的操作***相对应的分层图片编码器对解码后的原始图片数据进行编码,生成多种分辨率的分层图片。其中,分层图片解码器和分层图片编码器均是基于视频编码标准H.265进行编解码。
S203,服务器发送目标分层图片中的基础层图片数据到用户终端;
具体的,服务器在选择出目标分层图片后,可以先将目标分层图片中的基础层图片数据发送到用户终端,其中,由于基础层图片数据的数据量比较小(即图片内容的锯齿比较明显),所以传输基础层图片数据的时长会比较短,使得用户可以较快的在用户终端的显示区域上显示基础层图片数据,避免显示区域长时间处于空白状态。
S204,用户终端通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
具体的,用户终端在接收到基础层图片数据后,可以通过所获取到的分层图片解码器对基础层图片数据进行解码。由于分层图片解码器在服务器侧有进行汇编优化和代码结构优化,所以用户终端在使用该分层图片解码器进行解码的过程中,可以尽量多的采用用户终端的操作***所对应的寄存器作为临时存储空间,且还可以尽量多的采用用户终端的操作***所对应的向量运算指令进行解码计算,从而可以有效提高解码速度。
用户终端在解码完基础层图片数据后,即可直接将所解码出的基础层图片数据放入显示区域进行显示。由于基础层图片数据的数据量比较小(即图片内容的锯齿比较明显),所以传输基础层图片数据的时长会比较短,使得用户可以较快的在用户终端的显示区域上显示基础层图片数据,避免显示区域长时间处于空白状态。
S205,服务器发送目标分层图片中的增强层图片数据到用户终端;
具体的,服务器在发送完目标分层图片中的基础层图片数据后,即可继续发送目标分层图片中的增强层图片数据到用户终端。或者,用户终端在接收到基础层图片数据后,可以返回确认接收指令到服务器,使得服务器根据确认接收指令触发执行增强层图片数据的发送操作。由于增强层图片数据为高质量图片数据与基础层图片数据之间的差值,所以增强层图片数据的数据量也较小,从而也可以同样缩短传输增强层图片数据的传输时间。
S206,用户终端通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据;
具体的,用户终端接收到增强层图片数据后,可以通过分层图片解码器对增强层图片数据进行解码,在解码过程中同样可以多采用用户终端的操作***对应的寄存器和向量运算指令进行解码,以提高解码速度。用户终端在解码出增强层图片数据后,可以将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据,所合成出的图片数据的清晰度要高于基础层图片数据的清晰度。
可选的,若服务器侧中的目标分层图片中的增强层图片数据的数量大于1,则服务器可以在发送完第一个增强层图片数据后,继续发送下一个增强层图片数据到用户终端,使得用户终端继续将第二个增强层图片数据与已显示的图片进行合成,得到更加清晰的合成图片,以此类推,服务器可以依次发送完各增强层图片数据,而用户终端可以依次将各增强层图片数据合成到已显示的图片中,使得用户终端的显示区域中所显示的图片呈逐渐清晰的变化趋势。
进一步的,请一并参见图3a-图3c,是本发明实施例提供的一种用户终端的图片显示示意图。如图3a所示,用户终端400的显示区域500所显示的图片为目标分层图片中的基础层图片数据600,从图3a可知,基础层图片数据600的显示效果具有较明显的锯齿现象,其中,目标分层图片的分辨率为310*250,且目标分层图片包括一个基础层图片数据600以及两个增强层图片数据,则显示区域500所显示的基础层图片数据600的分辨率也为310*250。服务器发送完基础层图片数据600后,可以继续发送其中一个增强层图片数据到用户终端400,用户终端400对该增强层图片数据解码后,可以将解码后的增强层图片数据与已显示的基础层图片数据600进行合成,得到如图3b所示的合成图片700,并将图3a中的基础层图片数据600更新为合成图片700,即得到图3b所示的显示区域500中所显示的合成图片700,其中,合成图片700的分辨率也为310*250,但合成图片700的清晰度高于基础层图片数据600。服务器发送完其中一个增强层图片数据后,可以继续发送另一个增强层图片数据到用户终端400,用户终端400对该增强层图片数据解码后,可以将解码后的增强层图片数据与已显示的合成图片700进行合成,得到如图3c所示的最终图片800,并将图3b中的合成图片700更新为最终图片800,即得到图3c所示的显示区域500中所显示的最终图片800,其中,最终图片800的分辨率也为310*250,但最终图片800的清晰度高于合成图片700。由此可见,在显示区域500中,图片的清晰度是呈逐渐清晰的渐变过程,即显示区域500中所显示的图片是从基础层图片数据600变为合成图片700,再变为最终图片800。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。而且通过服务器对各操作***信息分别对应的分层图片解码器进行汇编优化和代码结构优化,可以使得各种操作***的用户终端均可以使用到优化后的分层图片解码器,以提高分层图片解码器的解码效率。
请参见图4,是本发明实施例提供的另一种图像数据处理方法的时序示意图,该方法可以包括:
S401,用户终端获取用户终端的操作***信息,并发送携带用户终端的操作***信息的解码器获取请求到服务器;
具体的,用户终端启动可用于显示图片的应用程序后,可以进一步获取用户终端的操作***信息,并发送携带用户终端的操作***信息的解码器获取请求到服务器;其中,操作***信息可以包括微软***信息、苹果***信息、安卓***信息等其他操作***信息中的任意一种。
S402,服务器根据解码器获取请求查找与用户终端的操作***信息相匹配的分层图片解码器,并发送与用户终端的操作***信息相匹配的分层图片解码器到用户终端;
具体的,服务器根据解码器获取请求查找与用户终端的操作***信息相匹配的分层图片解码器,并发送与用户终端的操作***信息相匹配的分层图片解码器到用户终端。由此可见,服务器可以预先设置与多种操作***分别对应的分层图片解码器,其中,服务器可以包括上述图1对应实施例中的服务器100和服务器200分别所具备的功能。可选的,服务器还可以对分层图片解码器进行汇编优化和代码结构优化,当用户终端在使用优化后的分层图片解码器进行解码时,该优化后的分层图片解码器将会尽量多的采用该用户终端的操作***的寄存器作为临时存储空间,且该优化后的分层图片解码器将会尽量多的采用该用户终端的操作***的向量运算指令进行解码计算。因此,通过针对不同的操作***进行不同的汇编优化和代码结构优化,可以使得各种操作***的用户终端均可以使用到优化后的分层图片解码器,以提高分层图片解码器的解码效率。
S403,用户终端判断是否支持分层图片格式;
具体的,用户终端获取到分层图片解码器后,可以进一步判断用户终端是否支持分层图片格式,即判断用户终端是否能够通过分层图片解码器解码分层图片。其中,分层图片格式可以是包括基础层图片数据和至少一个增强层图片数据的图片格式,即一个分层图片可以包括基础层图片数据和至少一个增强层图片数据,基础层图片数据是指可以大致显示图片内容的低质量图片数据,增强层图片数据可以是指高质量图片数据与基础层图片数据之间的差量。
可选的,用户终端也可以在S401步骤之前,就先判断该用户终端是否支持分层图片格式,若判断为支持,则再执行S401-S402,并继续执行S407之后的步骤;若判断为不支持,则直接执行S404-S406的步骤。因此,本发明实施例并不对S403步骤的执行顺序进行限制。
S404,若判断为不支持,则用户终端发送原始图片获取请求到服务器;
具体的,若S403判断为不支持,则用户终端可以进一步发送原始图片获取请求到服务器。
S405,服务器根据原始图片获取请求返回原始图片;
具体的,服务器根据原始图片获取请求返回原始图片,进一步的,服务器还可以根据原始图片获取请求发送原始解码器到用户终端。或者,服务器可以在发送分层图片解码器到用户终端的同时,一并发送原始解码器到用户终端。或者,用户终端自身携带原始解码器,因此,服务器可以无需发送原始解码器到用户终端。其中,原始解码器是指可以用于解码PNG(Portable Network Graphics,便携式网络图形)、JPEG(Joint PhotographicExperts Group,联合图像专家小组)、GIF(Graphics Interchange Format,图像互换格式)等格式的图片的解码器。
S406,用户终端通过原始解码器对所接收到的原始图片进行解码,并显示解码后的原始图片;
具体的,用户终端获取到原始图片和原始解码器后,即可通过原始解码器对所接收到的原始图片进行解码,并将解码后的原始图片显示到显示区域上。
S407,若判断为支持,则用户终端获取显示区域的尺寸信息,并判断尺寸信息是否满足分层图片自适应条件;
具体的,若S403判断为支持,即用户终端可以对分层图片进行解码,则用户终端可以进一步获取显示区域的尺寸信息,并判断尺寸信息是否满足分层图片自适应条件。其中,判断是否满足分层图片自适应条件的具体过程可以是:检测尺寸信息是否大于预设的尺寸阈值,若大于,则可以确定尺寸信息满足分层图片自适应条件,否则,确定尺寸信息不满足分层图片自适应条件,且跳转到S414-S415的步骤。
可选的,在判断尺寸信息是否满足分层图片自适应条件之前,还可以检测用户终端是否已配置自适应协议,若检测为未配置自适应协议,则可以直接执行S414-S415的步骤;若检测为已配置自适应协议,则可以执行判断尺寸信息是否满足分层图片自适应条件的步骤。其中,自适应协议可以指同时在用户终端和服务器之间共同部署的协议,配置有自适应协议的用户终端可以触发执行判断尺寸信息是否满足分层图片自适应条件的步骤,进而触发S408的步骤;而配置有自适应协议的服务器可以对S408步骤中的第一分层图片获取请求进行识别和响应,进而触发S409的步骤。
S408,若判断为满足自适应条件,则用户终端发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器;
S409,服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片;
S410,服务器发送目标分层图片中的基础层图片数据到用户终端;
S411,用户终端通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
S412,服务器发送目标分层图片中的增强层图片数据到用户终端。
S413,用户终端通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据;
其中,S408-S413步骤的具体实现方式可以参见上述图2对应实施例中的S201-S206,这里不再进行赘述。
S414,若判断为不满足自适应条件,则用户终端发送第二分层图片获取请求到服务器;
具体的,若S407判断出尺寸信息不满足自适应条件,或用户终端检测出未配置自适应协议,则用户终端可以进一步发送第二分层图片获取请求到服务器,该第二分层图片获取请求未携带尺寸信息。
S415,服务器根据第二分层图片获取请求依次发送具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据。
具体的,服务器可以根据第二分层图片获取请求,在预设的多种分辨率的分层图片中获取具有最大分辨率的分层图片,并发送具有最大分辨率的分层图片中的基础层图片数据到用户终端,使得用户终端对其进行解码和显示;服务器在发送完最大分辨率的分层图片中的基础层图片数据后,可以继续发送具有最大分辨率的分层图片中的增强层图片数据到用户终端,使得用户终端对该增强层图片数据进行解码,并将解码后的该增强层图片数据与已显示的基础层图片数据进行合成,以显示出最终的高质量图片。其中,用户终端对具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据的解码和显示的具体过程均可以参见S408-S413步骤。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。而且通过服务器对各操作***信息分别对应的分层图片解码器进行汇编优化和代码结构优化,可以使得各种操作***的用户终端均可以使用到优化后的分层图片解码器,以提高分层图片解码器的解码效率。
进一步的,再请一并参见图5,是本发明实施例提供的一种解码器的优化方法的流程示意图,方法可以在上述图2对应实施例的S201之前执行,或者可以在上述图4对应实施例的S401之前执行,方法可以包括:
S501,设置与至少一种操作***信息分别对应的分层图片解码器;
具体的,服务器可以预先设置与至少一种操作***信息分别对应的分层图片解码器。服务器还可以预先设置与服务器的操作***对应的分层图片编码器,以便于服务器可以通过分层图片编码器将原始图片预先编码为多种分辨率的分层图片。
S502,对分层图片解码器和预设的分层图片编码器中的预测方式进行优化;预测方式包括编码单元划分方式、预测单元划分方式、变换单元划分方式、帧内预测方向选择方式;
具体的,服务器可以进一步对各分层图片解码器和预设的分层图片编码器中的预测方式进行优化,其中,预测方式包括编码单元划分方式、预测单元划分方式、变换单元划分方式、帧内预测方向选择方式。
其中,服务器对编码单元划分方式进行优化的过程可以为:利用在时间和空间相关的编码单元的深度信息来快速判断当前CU(Coding Unit,编码单元)最佳编码尺寸,该优化提取前一帧相同位置以及当前帧的周围的CU的深度信息,缩小CU划分的判定区间,来对当前CU划分深度进行预测,提高CU划分深度的预测速度,以避免不必要的计算,降低计算复杂度。
其中,服务器对预测单元划分方式进行优化的过程可以为:在CU层进行率失真优化之前,获取并分析影响PU(Prediction Unit,预测单元)模式选择的主要因素,从而选择出概率最高的几种模式作为候选PU划分模式。其中,PU是预测的基本单元,一个CU可包含一个或多个PU,PU最大尺寸是CU的尺寸。
其中,对于不同纹理特性的残差块的TU(Transform Unit,预测单元)分布呈现出一定的规律:当残差块的纹理较复杂,运动矢量变化较剧烈时,TU选择大尺寸为最佳分割的可能性非常小;反之,当残差块的纹理较简单时,TU总是选择较大的分割。因此,服务器对变换单元划分方式进行优化的过程可以为:在TU决策算法中,对残差块的纹理进行分析,若纹理较简单,提前终止TU的分割,该优化能够大幅降低编解码时间。其中,TU是变换和量化的基本单元,一个CU可包含一个或多个TU,TU同样采用四叉树型的递归划分结构,可比PU大,但不超过CU的大小。
其中,服务器对帧内预测方向选择方式进行优化的过程可以为:根据与当前待编码区域相邻的已编码块的划分情况预测当前块的可能划分,去除不必要编码单元尺寸和预测模式决策过程。该优化在保证编码质量和压缩效率基本不变的情况下,能有效降低编解码计算复杂度,大幅提升编解码运算效率。
由此可见,通过对分层图片解码器和分层图片编码器的预测方式进行优化,可以在分层图片编码器编码分层图片时提高编码效率,也可以在分层图片解码器解码分层图片时提高解码效率。
S503,根据所对应的操作***信息对分层图片解码器进行汇编优化和代码结构优化;
具体的,服务器还可以根据所对应的操作***信息对分层图片解码器进行汇编优化和代码结构优化,即不同的操作***信息对应的分层图片解码器,进行不同的汇编优化和代码结构优化。汇编优化和代码结构优化的具体过程可以为:在分层图片解码器中设置存储空间选择优化规则,存储空间选择优化规则包括将寄存器设置为最高优先级的临时存储空间的规则,寄存器是与分层图片解码器所对应的操作***信息相关联的;并在分层图片解码器中设置计算优化规则,计算优化规则包括将矩阵运算的循环逻辑转换成基于向量指令集进行运算的规则,向量指令集是与分层图片解码器所对应的操作***信息相关联的。因此,用户终端在使用设置有存储空间选择优化规则和计算优化规则的分层图片解码器进行解码时,可以尽量多的采用用户终端的操作***所对应的寄存器作为临时存储空间,且还可以尽量多的采用用户终端的操作***所对应的向量运算指令进行解码计算,从而可以有效提高解码速度。其中,向量运算指令可以包括向量数据装载指令、向量数据交错指令、向量数据交换指令和向量数据存储指令。
可选的,服务器也可以对分层图片编码器进行汇编优化,对分层图片编码器进行的汇编优化与对分层图片解码器进行的汇编优化的方式是相类似的。
进一步的,请一并参见图6,是本发明实施例提供的一种分层图片解码器的结构示意图,如图6所示,分层图片解码器可以包括Entropy Decoding(熵解码)、IQ/IDCT(InverseQuantization/Inverse Discrete Cosine Transform,反量化/散余弦变换)、DeblockingFilter(去块滤波处理)、Intra Prediction(帧内预测)、Intra/Inter Mode Selection(帧内/帧间模式选择)、SAO filtering(Sample Adaptive Offset Filtering,取样自适应偏移滤波)、Motion Compensation(MC,运动补偿)、picture buffering(图片缓冲)。其中,Entropy Decoding可以用于读取图片数据,并解析出数据结构,该数据结构可以包括宏块类型、运动矢量、参考帧、残差等等;IQ/IDCT可以用于对熵解码后的数据进行变换以得到空间域的值;Deblocking Filter可以用于对数据进行滤波处理;Intra Prediction可以用于进行帧内预测的计算;Intra/Inter Mode Selection可以用于选择对应的帧内预测和帧间预测的模式;SAO filtering可以用于降低图像的取样失真,增加图像的清晰度;MotionCompensation可以用于基于已有的帧图像数据对后续的帧图像做运动补偿处理,优化后续解码的图像。其中,picture buffering可以指解码后的图像缓冲区。其中,随着图像解码的进行,会不断有新的图像生成,因此,可以将已解码图像放到picture buffering中,进而在图像输出显示的时候,可以按照先后顺序从picture buffering中提取图像数据,以在手机屏幕渲染输出。其中,在进行图像解码时可以先做Intra Prediction(即帧内预测的计算),然后再根据帧内预测的数据、和picture buffering中的图像数据,进行Intra/Inter ModeSelection的计算。例如,可以先对基础层图片数据进行Entropy Decoding处理,并在分层图片解码器中进行其他的解码处理,以生成解码后的基础层图片数据,进一步将解码后的基础层图片数据放入picture buffering中,并同时将解码后的基础层图片数据输出到手机屏幕进行显示;在后续解码出增强层图片数据后,可以将解码后的增强层图片数据与picture buffering中的解码后的基础层图片数据进行合并,并将手机屏幕中的解码后的基础层图片数据替换为合并后的图片数据。
其中,对分层图片解码器所进行的汇编优化可以具体指对高频次调用的模块(诸如Entropy Decoding、IQ/IDCT、Deblocking Filter、Intra Prediction、Intra/InterMode Selection、SAO filtering、Motion Compensation等)进行深度的汇编优化。
本发明实施例通过对分层图片解码器和分层图片编码器的预测方式进行优化,可以有效提高编解码速度;而且再进一步对分层图片解码器进行汇编优化和代码结构优化,使得可以在解码的过程中尽量多的采用用户终端的操作***所对应的寄存器作为临时存储空间,且还可以尽量多的采用用户终端的操作***所对应的向量运算指令进行解码计算,从而可以进一步提高解码速度。
请参见图7,是本发明实施例提供的一种图像数据处理方法的流程示意图,所述方法可以包括:
S701,获取用户终端的操作***信息,并发送携带所述用户终端的操作***信息的解码器获取请求到所述服务器,以使所述服务器根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器;
S702,接收所述服务器发送的与所述用户终端的操作***信息相匹配的分层图片解码器;
S703,判断是否支持分层图片格式;
S704,若判断为不支持,则发送原始图片获取请求到所述服务器,以使所述服务器根据所述原始图片获取请求返回原始图片;
S705,通过原始解码器对所接收到的所述原始图片进行解码,并显示解码后的原始图片;
S706,若判断为支持,获取显示区域的尺寸信息,并判断所述尺寸信息是否满足分层图片自适应条件;
S707,若判断为满足,则发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使所述服务器根据所述第一分层图片获取请求选择与所述尺寸信息相匹配的目标分层图片;
S708,接收所述服务器发送的所述目标分层图片中的基础层图片数据,并通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
S709,接收所述服务器发送的所述目标分层图片中的增强层图片数据,并通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据;
S710,若判断为不满足,则发送第二分层图片获取请求到所述服务器,以使所述服务器根据所述第二分层图片获取请求依次发送具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据;
其中,S701-S710步骤描述的是用户终端一侧的所有操作,S701-S710步骤的具体实现方式可以参见上述图4对应实施例中的S401-S415中对用户终端的具体描述,这里不再进行赘述。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。
请参见图8,是本发明实施例提供的另一种图像数据处理方法的流程示意图,所述方法可以包括:
S801,获取原始图片,通过与服务器的操作***信息相匹配的分层图片解码器对所述原始图片进行解码,得到解码后的原始图片数据;
S802,通过分层图片编码器将所述解码后的原始图片数据编码为至少一种分辨率的分层图片;各分层图片均包括基础层图片数据和至少一个增强层图片数据;
具体的,服务器通过与服务器的操作***信息相对应的分层图片解码器对该原始图片进行解码,得到可以支持分层图片格式的原始图片数据,即解码后的原始图片数据,服务器再通过与服务器的操作***相对应的分层图片编码器对解码后的原始图片数据进行编码,生成多种分辨率的分层图片。其中,分层图片解码器和分层图片编码器均是基于视频编码标准H.265进行编解码。
S803,接收所述用户终端发送的解码器获取请求;所述解码器获取请求携带所述用户终端的操作***信息;
S804,根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器,并将所查找出的与所述用户终端的操作***信息相匹配的分层图片解码器发送至所述用户终端;
S805,若接收到用户终端发送的第一分层图片获取请求,则根据所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息选择与所述尺寸信息相匹配的目标分层图片;
其中,若服务器接收到用户终端发送的第一分层图片获取请求,则也可以说明服务器已与用户终端达成预设协议,该预设协议可以指用户终端可以请求自适应的分层图片的协议。
S806,发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
S807,发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据;
S808,若接收到所述用户发送的第二分层图片获取请求,则根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片,并依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
S809,若接收到所述用户发送的原始图片获取请求,则根据所述原始图片获取请求发送原始图片到所述用户终端;
其中,所述第二分层图片获取请求是由所述用户终端在检测到所述尺寸信息不满足分层图片自适应条件时所发送的;所述原始图片获取请求是由所述用户终端在检测到不支持分层图片格式时所发送的;所述第一分层图片获取请求是由所述用户终端在检测到所述尺寸信息满足分层图片自适应条件时所发送的。
其中,S803-S809步骤的具体实现方式可以参见上述图4对应实施例中的S401-S415中对服务器的具体描述,这里不再进行赘述。
可选的,在S801的步骤之前,还可以执行上述图5对应实施例中的S501-S503步骤。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。而且通过服务器对各操作***信息分别对应的分层图片解码器进行汇编优化和代码结构优化,可以使得各种操作***的用户终端均可以使用到优化后的分层图片解码器,以提高分层图片解码器的解码效率。
请参见图9,是本发明实施例提供的一种图像数据处理装置的结构示意图,该图像数据处理装置1可以包括:发送模块11、接收模块12、解码显示模块13;
所述发送模块11,用于发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使所述服务器根据所述第一分层图片获取请求选择与所述尺寸信息相匹配的目标分层图片;
所述接收模块12,用于接收所述服务器发送的所述目标分层图片中的基础层图片数据;
所述解码显示模块13,用于通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
所述接收模块12,还用于接收所述服务器发送的所述目标分层图片中的增强层图片数据;
所述解码显示模块13,还用于通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
其中,所述发送模块11,还用于获取用户终端的操作***信息,并发送携带所述用户终端的操作***信息的解码器获取请求到所述服务器,以使所述服务器根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器;
所述接收模块12,还用于接收所述服务器发送的与所述用户终端的操作***信息相匹配的分层图片解码器。
进一步的,如图9所示,该图像数据处理装置1还可以包括:第一判断模块14和第二判断模块15、通知模块16;
所述第一判断模块14,用于获取显示区域的尺寸信息,并判断所述尺寸信息是否满足分层图片自适应条件;
所述发送模块11,还用于若所述第一判断模块14判断为不满足,则发送第二分层图片获取请求到所述服务器,以使所述服务器根据所述第二分层图片获取请求依次发送具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据;
所述通知模块16,用于若所述第一判断模块14判断为满足,则通知所述发送模块11发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器。
所述第二判断模块15,用于判断是否支持分层图片格式;
所述发送模块11,还用于若所述第二判断模块15判断为不支持,则发送原始图片获取请求到所述服务器,以使所述服务器根据所述原始图片获取请求返回原始图片;
所述解码显示模块13,还用于通过原始解码器对所接收到的所述原始图片进行解码,并显示解码后的原始图片;
所述通知模块16,还用于若所述第二判断模块15判断为支持,则通知所述第一判断模块14获取显示区域的尺寸信息,并判断所述尺寸信息是否满足分层图片自适应条件。
其中,所述发送模块11、所述接收模块12、所述解码显示模块13、所述第一判断模块14、所述第二判断模块15、所述通知模块16的具体功能实现方式可以参见上述图4对应实施例中的S401-S415中对用户终端的具体描述,这里不再进行赘述。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。
请参见图10,是本发明实施例提供的另一种图像数据处理装置的结构示意图,该图像数据处理装置2可以包括:选择模块21、发送模块22;
所述选择模块21,用于若接收到用户终端发送的第一分层图片获取请求,则根据所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息选择与所述尺寸信息相匹配的目标分层图片;
所述发送模块22,用于发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
所述发送模块22,还用于发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
其中,所述选择模块21,还用于若接收到所述用户发送的第二分层图片获取请求,则根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片;
所述发送模块22,还用于依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
所述发送模块22,还用于若接收到所述用户发送的原始图片获取请求,则根据所述原始图片获取请求发送原始图片到所述用户终端;
其中,所述第二分层图片获取请求是由所述用户终端在检测到所述尺寸信息不满足分层图片自适应条件时所发送的;所述原始图片获取请求是由所述用户终端在检测到不支持分层图片格式时所发送的;所述第一分层图片获取请求是由所述用户终端在检测到所述尺寸信息满足分层图片自适应条件时所发送的。
进一步的,如图10所示,该图像数据处理装置2还可以包括:接收模块25、解码器查找模块26、解码模块23、编码模块24、解码器设置模块27、第一优化设置模块28、第二优化设置模块29;
所述接收模块25,用于接收所述用户终端发送的解码器获取请求;所述解码器获取请求携带所述用户终端的操作***信息;
所述解码器查找模块26,用于根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器,并将所查找出的与所述用户终端的操作***信息相匹配的分层图片解码器发送至所述用户终端。
所述解码模块23,用于获取原始图片,通过与服务器的操作***信息相匹配的分层图片解码器对所述原始图片进行解码,得到解码后的原始图片数据;
所述编码模块24,用于通过分层图片编码器将所述解码后的原始图片数据编码为至少一种分辨率的分层图片;各分层图片均包括基础层图片数据和至少一个增强层图片数据。
所述解码器设置模块27,用于设置与至少一种操作***信息分别对应的分层图片解码器;
所述第一优化设置模块28,用于对所述分层图片解码器和分层图片编码器中的预测方式进行优化;所述预测方式包括编码单元划分方式、预测单元划分方式、变换单元划分方式、帧内预测方向选择方式;
所述第二优化设置模块29,用于根据所对应的操作***信息对所述分层图片解码器进行汇编优化和代码结构优化。
其中,所述选择模块21、所述发送模块22、所述接收模块25、所述解码器查找模块26、所述解码模块23以及所述编码模块24的具体功能实现方式可以参见上述图4对应实施例中的S401-S415中对服务器的具体描述,这里不再进行赘述。所述解码器设置模块27、所述第一优化设置模块28以及所述第二优化设置模块29的具体功能实现方式可以参见上述图5对应实施例中的S501-S503,这里不再进行赘述。
进一步的,如图10所示,所述第二优化设置模块29可以包括:第一规则设置单元291、第二规则设置单元292;
所述第一规则设置单元291,用于在所述分层图片解码器中设置存储空间选择优化规则,所述存储空间选择优化规则包括将寄存器设置为最高优先级的临时存储空间的规则,所述寄存器是与所述分层图片解码器所对应的操作***信息相关联的;
所述第二规则设置单元292,用于在所述分层图片解码器中设置计算优化规则,所述计算优化规则包括将矩阵运算的循环逻辑转换成基于向量指令集进行运算的规则,所述向量指令集是与所述分层图片解码器所对应的操作***信息相关联的。
其中,第一规则设置单元291、第二规则设置单元292的具体功能实现方式可以参见上述图5对应实施例中的S503,这里不再进行赘述。
进一步的,如图10所示,所述选择模块21可以包括:提取单元211、查找单元212、确定单元213;
所述提取单元211,用于若接收到用户终端发送的第一分层图片获取请求,则提取所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息;
所述查找单元212,用于在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片;
所述确定单元213,用于将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片。
其中,所述提取单元211、所述查找单元212以及所述确定单元213的具体功能实现方式可以参见上述图2对应实施例中的S202,这里不再进行赘述。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。而且通过服务器对各操作***信息分别对应的分层图片解码器进行汇编优化和代码结构优化,可以使得各种操作***的用户终端均可以使用到优化后的分层图片解码器,以提高分层图片解码器的解码效率。
请参见图11,是本发明实施例提供的又一种图像数据处理装置的结构示意图,如图11所示,所述图像数据处理装置1000可以应用于上述图1对应实施例中的用户终端100,所述图像数据处理装置1000可以包括:处理器1001、存储器1005、网络接口1004,此外,所述图像数据处理装置1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,可选用户接口1003可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在图11所示的图像数据处理装置1000中,网络接口1004可提供网络通讯功能,且网络接口1004可以与服务器连接;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使所述服务器根据所述第一分层图片获取请求选择与所述尺寸信息相匹配的目标分层图片;
接收所述服务器发送的所述目标分层图片中的基础层图片数据,并通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
接收所述服务器发送的所述目标分层图片中的增强层图片数据,并通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
在一个实施例中,处理器1001还可以执行以下步骤:
获取用户终端的操作***信息,并发送携带所述用户终端的操作***信息的解码器获取请求到所述服务器,以使所述服务器根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器;
接收所述服务器发送的与所述用户终端的操作***信息相匹配的分层图片解码器。
在一个实施例中,处理器1001在执行发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器之前,还可以执行以下步骤:
获取显示区域的尺寸信息,并判断所述尺寸信息是否满足分层图片自适应条件;
若判断为不满足,则发送第二分层图片获取请求到所述服务器,以使所述服务器根据所述第二分层图片获取请求依次发送具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据;
若判断为满足,则执行所述发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器的步骤。
在一个实施例中,处理器1001在执行获取显示区域的尺寸信息之前,还可以执行以下步骤:
判断是否支持分层图片格式;
若判断为不支持,则发送原始图片获取请求到所述服务器,以使所述服务器根据所述原始图片获取请求返回原始图片;
通过原始解码器对所接收到的所述原始图片进行解码,并显示解码后的原始图片;
若判断为支持,则执行所述获取显示区域的尺寸信息的步骤。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。
请参见图12,是本发明实施例提供的又一种图像数据处理装置的结构示意图。如图12所示,所述图像数据处理装置2000可以应用于服务器,该服务器可以包括上述图1对应实施例中的服务器100和服务器200的所有功能。所述图像数据处理装置2000可以包括:处理器2001、网络接口2003、存储器2004,此外,所述图像数据处理装置2000还可以包括:至少一个通信总线2002。其中,通信总线2002用于实现这些组件之间的连接通信。网络接口2003可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器2004可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器2004可选的还可以是至少一个位于远离前述处理器2001的存储装置。如图12所示,作为一种计算机存储介质的存储器2004中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在图12所示的图像数据处理装置2000中,所述网络接口2003用于与用户终端进行通信;而处理器2001可以用于调用存储器2004中存储的设备控制应用程序,以实现:
若接收到用户终端发送的第一分层图片获取请求,则根据所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息选择与所述尺寸信息相匹配的目标分层图片;
发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据。
在一个实施例中,所述处理器2001在执行若接收到用户终端发送的第一分层图片获取请求,则根据所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息选择与所述尺寸信息相匹配的目标分层图片时,可以具体执行以下步骤:
若接收到用户终端发送的第一分层图片获取请求,则提取所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息;
在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片;
将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片。
在一个实施例中,所述处理器2001还可以执行以下步骤:
若接收到所述用户发送的第二分层图片获取请求,则根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片,并依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
若接收到所述用户发送的原始图片获取请求,则根据所述原始图片获取请求发送原始图片到所述用户终端;
其中,所述第二分层图片获取请求是由所述用户终端在检测到所述尺寸信息不满足分层图片自适应条件时所发送的;所述原始图片获取请求是由所述用户终端在检测到不支持分层图片格式时所发送的;所述第一分层图片获取请求是由所述用户终端在检测到所述尺寸信息满足分层图片自适应条件时所发送的。
在一个实施例中,所述处理器2001还可以执行以下步骤:
接收所述用户终端发送的解码器获取请求;所述解码器获取请求携带所述用户终端的操作***信息;
根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器,并将所查找出的与所述用户终端的操作***信息相匹配的分层图片解码器发送至所述用户终端。
在一个实施例中,所述处理器2001还可以执行以下步骤:
获取原始图片,通过与服务器的操作***信息相匹配的分层图片解码器对所述原始图片进行解码,得到解码后的原始图片数据;
通过分层图片编码器将所述解码后的原始图片数据编码为至少一种分辨率的分层图片;各分层图片均包括基础层图片数据和至少一个增强层图片数据。
在一个实施例中,所述处理器2001还可以执行以下步骤:
设置与至少一种操作***信息分别对应的分层图片解码器;
对所述分层图片解码器和分层图片编码器中的预测方式进行优化;所述预测方式包括编码单元划分方式、预测单元划分方式、变换单元划分方式、帧内预测方向选择方式;
根据所对应的操作***信息对所述分层图片解码器进行汇编优化和代码结构优化。
在一个实施例中,所述处理器2001在执行根据所对应的操作***信息对所述分层图片解码器进行汇编优化和代码结构优化时,可以具体执行以下步骤:
在所述分层图片解码器中设置存储空间选择优化规则,所述存储空间选择优化规则包括将寄存器设置为最高优先级的临时存储空间的规则,所述寄存器是与所述分层图片解码器所对应的操作***信息相关联的;
在所述分层图片解码器中设置计算优化规则,所述计算优化规则包括将矩阵运算的循环逻辑转换成基于向量指令集进行运算的规则,所述向量指令集是与所述分层图片解码器所对应的操作***信息相关联的。
本发明实施例通过发送携带显示区域的尺寸信息的第一分层图片获取请求到服务器,以使服务器根据第一分层图片获取请求选择与尺寸信息相匹配的目标分层图片,再接收服务器发送的目标分层图片中的基础层图片数据,并通过分层图片解码器,对基础层图片数据进行解码,并对解码后的基础层图片数据进行显示,并接收服务器发送的目标分层图片中的增强层图片数据,并通过分层图片解码器对增强层图片数据进行解码,并将解码后的增强层图片数据与解码后的基础层图片数据进行合成,并显示所合成出的图片数据。由此可见,尽管在网络状态不稳定的情况下,依然可以较快获取到基础层图片数据,使得显示区域可以先显示基础层图片数据的内容,避免图片显示区域长时间处于空白状态,后续可以进一步接收增强层图片数据,并对增强层图片数据和基础层图片数据进行合成,得到质量较高的图片,从而可以提高图片显示效果。而且通过服务器对各操作***信息分别对应的分层图片解码器进行汇编优化和代码结构优化,可以使得各种操作***的用户终端均可以使用到优化后的分层图片解码器,以提高分层图片解码器的解码效率。
此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的图像数据处理装置1所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图7所对应实施例中对所述图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
此外,这里需要指出的是:本发明实施例还提供了另一种计算机存储介质,且所述计算机存储介质中存储有前文提及的图像数据处理装置2所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图8所对应实施例中对所述图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (12)

1.一种图像数据处理方法,其特征在于,包括:
在检测到显示区域的尺寸信息满足分层图片自适应条件时,发送携带所述显示区域的尺寸信息的第一分层图片获取请求到服务器,以使所述服务器提取所述第一分层图片获取请求所携带的用户终端的显示区域的尺寸信息,在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片,将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片;
接收所述服务器发送的所述目标分层图片中的基础层图片数据,并通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;所述基础层图片数据的数据量小于高质量图片数据;
接收所述服务器发送的所述目标分层图片中的增强层图片数据,并通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据;所述增强层图片数据是指所述高质量图片数据与所述基础层图片数据之间的差量;
在检测到所述尺寸信息不满足分层图片自适应条件时,发送第二分层图片获取请求到所述服务器,以使所述服务器根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片,并依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
在检测到不支持分层图片格式时,发送原始图片获取请求到所述服务器,以使所述服务器根据所述原始图片获取请求发送原始图片到所述用户终端。
2.一种图像数据处理方法,其特征在于,包括:
若接收到用户终端发送的第一分层图片获取请求,则提取所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息,在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片,将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片;
发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;所述基础层图片数据的数据量小于高质量图片数据;
发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据;所述增强层图片数据是指所述高质量图片数据与所述基础层图片数据之间的差量;
若接收到所述用户终端发送的第二分层图片获取请求,则根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片,并依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
若接收到所述用户终端发送的原始图片获取请求,则根据所述原始图片获取请求发送原始图片到所述用户终端;
其中,所述第二分层图片获取请求是由所述用户终端在检测到所述尺寸信息不满足分层图片自适应条件时所发送的;所述原始图片获取请求是由所述用户终端在检测到不支持分层图片格式时所发送的;所述第一分层图片获取请求是由所述用户终端在检测到所述尺寸信息满足分层图片自适应条件时所发送的。
3.如权利要求2所述的方法,其特征在于,还包括:
接收所述用户终端发送的解码器获取请求;所述解码器获取请求携带所述用户终端的操作***信息;
根据所述解码器获取请求查找与所述用户终端的操作***信息相匹配的分层图片解码器,并将所查找出的与所述用户终端的操作***信息相匹配的分层图片解码器发送至所述用户终端。
4.如权利要求2所述的方法,其特征在于,还包括:
获取原始图片,通过与服务器的操作***信息相匹配的分层图片解码器对所述原始图片进行解码,得到解码后的原始图片数据;
通过分层图片编码器将所述解码后的原始图片数据编码为至少一种分辨率的分层图片;各分层图片均包括基础层图片数据和至少一个增强层图片数据。
5.如权利要求3所述的方法,其特征在于,还包括:
设置与至少一种操作***信息分别对应的分层图片解码器;
对所述分层图片解码器和分层图片编码器中的预测方式进行优化;所述预测方式包括编码单元划分方式、预测单元划分方式、变换单元划分方式、帧内预测方向选择方式;
根据所对应的操作***信息对所述分层图片解码器进行汇编优化和代码结构优化。
6.如权利要求5所述的方法,其特征在于,所述根据所对应的操作***信息对所述分层图片解码器进行汇编优化和代码结构优化,包括:
在所述分层图片解码器中设置存储空间选择优化规则,所述存储空间选择优化规则包括将寄存器设置为最高优先级的临时存储空间的规则,所述寄存器是与所述分层图片解码器所对应的操作***信息相关联的;
在所述分层图片解码器中设置计算优化规则,所述计算优化规则包括将矩阵运算的循环逻辑转换成基于向量指令集进行运算的规则,所述向量指令集是与所述分层图片解码器所对应的操作***信息相关联的。
7.一种图像数据处理装置,其特征在于,包括:
发送模块,用于在检测到显示区域的尺寸信息满足分层图片自适应条件时,发送携带所述显示区域的尺寸信息的第一分层图片获取请求到服务器,以使所述服务器提取所述第一分层图片获取请求所携带的用户终端的显示区域的尺寸信息,在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片,将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片;
接收模块,用于接收所述服务器发送的所述目标分层图片中的基础层图片数据;所述基础层图片数据的数据量小于高质量图片数据;
解码显示模块,用于通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;
所述接收模块,还用于接收所述服务器发送的所述目标分层图片中的增强层图片数据;所述增强层图片数据是指所述高质量图片数据与所述基础层图片数据之间的差量;
所述解码显示模块,还用于通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据;
所述发送模块,还用于在检测到所述尺寸信息不满足分层图片自适应条件时,发送第二分层图片获取请求到所述服务器,以使所述服务器根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片,并依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
所述发送模块,还用于在检测到不支持分层图片格式时,发送原始图片获取请求到所述服务器,以使所述服务器根据所述原始图片获取请求发送原始图片到所述用户终端。
8.一种图像数据处理装置,其特征在于,包括:
选择模块,用于若接收到用户终端发送的第一分层图片获取请求,则提取所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息,在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片,将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片;
发送模块,用于发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;所述基础层图片数据的数据量小于高质量图片数据;
所述发送模块,还用于发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据;所述增强层图片数据是指所述高质量图片数据与所述基础层图片数据之间的差量;
所述选择模块,还用于若接收到所述用户终端发送的第二分层图片获取请求,则根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片;
所述发送模块,还用于依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
所述发送模块,还用于若接收到所述用户终端发送的原始图片获取请求,则根据所述原始图片获取请求发送原始图片到所述用户终端;
其中,所述第二分层图片获取请求是由所述用户终端在检测到所述尺寸信息不满足分层图片自适应条件时所发送的;所述原始图片获取请求是由所述用户终端在检测到不支持分层图片格式时所发送的;所述第一分层图片获取请求是由所述用户终端在检测到所述尺寸信息满足分层图片自适应条件时所发送的。
9.一种图像数据处理装置,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与存储器、网络接口相连,其中,网络接口用于连接服务器,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行以下操作:
在检测到显示区域的尺寸信息满足分层图片自适应条件时,发送携带所述显示区域的尺寸信息的第一分层图片获取请求到所述服务器,以使所述服务器提取所述第一分层图片获取请求所携带的用户终端的显示区域的尺寸信息,在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片,将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片;
接收所述服务器发送的所述目标分层图片中的基础层图片数据,并通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;所述基础层图片数据的数据量小于高质量图片数据;
接收所述服务器发送的所述目标分层图片中的增强层图片数据,并通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据;所述增强层图片数据是指所述高质量图片数据与所述基础层图片数据之间的差量;
在检测到所述尺寸信息不满足分层图片自适应条件时,发送第二分层图片获取请求到所述服务器,以使所述服务器根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片,并依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
在检测到不支持分层图片格式时,发送原始图片获取请求到所述服务器,以使所述服务器根据所述原始图片获取请求发送原始图片到所述用户终端。
10.一种图像数据处理装置,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与存储器、网络接口相连,其中,网络接口用于连接用户终端,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行以下操作:
若接收到所述用户终端发送的第一分层图片获取请求,则提取所述第一分层图片获取请求所携带的所述用户终端的显示区域的尺寸信息,在多个不同分辨率的分层图片中,查找像素宽度大于所述尺寸信息中的图片宽度的至少一个分层图片,作为至少一个待选择分层图片,将所述至少一个待选择分层图片中的最低分辨率的分层图片确定为与所述尺寸信息相匹配的目标分层图片;
发送所述目标分层图片中的基础层图片数据到所述用户终端,以使所述用户终端通过分层图片解码器,对所述基础层图片数据进行解码,并对解码后的基础层图片数据进行显示;所述基础层图片数据的数据量小于高质量图片数据;
发送所述目标分层图片中的增强层图片数据到所述用户终端,以使所述用户终端通过所述分层图片解码器对所述增强层图片数据进行解码,并将解码后的增强层图片数据与所述解码后的基础层图片数据进行合成,并显示所合成出的图片数据;所述增强层图片数据是指所述高质量图片数据与所述基础层图片数据之间的差量;
若接收到所述用户终端发送的第二分层图片获取请求,则根据所述第二分层图片获取请求在多个不同分辨率的分层图片中选择具有最大分辨率的分层图片,并依次发送所述具有最大分辨率的分层图片中的基础层图片数据和增强层图片数据到所述用户终端;
若接收到所述用户终端发送的原始图片获取请求,则根据所述原始图片获取请求发送原始图片到所述用户终端;
其中,所述第二分层图片获取请求是由所述用户终端在检测到所述尺寸信息不满足分层图片自适应条件时所发送的;所述原始图片获取请求是由所述用户终端在检测到不支持分层图片格式时所发送的;所述第一分层图片获取请求是由所述用户终端在检测到所述尺寸信息满足分层图片自适应条件时所发送的。
11.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,当所述处理器执行所述程序指令时执行如权利要求1所述的方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,当所述处理器执行所述程序指令时执行如权利要求2-6任一项所述的方法。
CN201710824066.6A 2017-09-13 2017-09-13 一种图像数据处理方法以及装置 Active CN109493304B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710824066.6A CN109493304B (zh) 2017-09-13 2017-09-13 一种图像数据处理方法以及装置
PCT/CN2018/105131 WO2019052452A1 (zh) 2017-09-13 2018-09-12 一种图像数据处理方法、用户终端、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710824066.6A CN109493304B (zh) 2017-09-13 2017-09-13 一种图像数据处理方法以及装置

Publications (2)

Publication Number Publication Date
CN109493304A CN109493304A (zh) 2019-03-19
CN109493304B true CN109493304B (zh) 2022-11-08

Family

ID=65687963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710824066.6A Active CN109493304B (zh) 2017-09-13 2017-09-13 一种图像数据处理方法以及装置

Country Status (2)

Country Link
CN (1) CN109493304B (zh)
WO (1) WO2019052452A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020118411A1 (de) * 2019-07-16 2021-01-21 Whatsapp Inc. Verfahren und systeme zum übertragen eines bildes in sätzen
US11646983B1 (en) 2019-07-16 2023-05-09 Whatsapp Llc Methods and systems for transmitting an image with thumbnail data
CN115914750A (zh) * 2022-11-10 2023-04-04 深圳创维-Rgb电子有限公司 图片显示方法、装置、显示设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518374A (zh) * 2011-06-10 2014-01-15 联发科技股份有限公司 可伸缩视频编码方法及其装置
CN105681818A (zh) * 2016-01-07 2016-06-15 中国联合网络通信集团有限公司 一种图片云存储方法及装置
CN105847345A (zh) * 2016-03-21 2016-08-10 深圳市茁壮网络股份有限公司 一种图片合并显示方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098311B (zh) * 2006-06-29 2010-10-13 腾讯科技(深圳)有限公司 一种即时通信中图片实时传输方法及其装置
US9338204B2 (en) * 2013-01-25 2016-05-10 Mobitv, Inc. Prioritized side channel delivery for download and store media
EP2804375A1 (en) * 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
WO2015099613A1 (en) * 2013-12-26 2015-07-02 Singapore University Of Technology And Design A method and apparatus for reducing data bandwidth between a cloud server and a thin client

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518374A (zh) * 2011-06-10 2014-01-15 联发科技股份有限公司 可伸缩视频编码方法及其装置
CN105681818A (zh) * 2016-01-07 2016-06-15 中国联合网络通信集团有限公司 一种图片云存储方法及装置
CN105847345A (zh) * 2016-03-21 2016-08-10 深圳市茁壮网络股份有限公司 一种图片合并显示方法及装置

Also Published As

Publication number Publication date
WO2019052452A1 (zh) 2019-03-21
CN109493304A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
US11818389B2 (en) Method and device for encoding/decoding motion vector
CN111066326B (zh) 机器学习视频处理***和方法
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US10771813B2 (en) Reference frame encoding method and apparatus, and reference frame decoding method and apparatus
US8644381B2 (en) Apparatus for reference picture resampling generation and method thereof and video decoding system using the same
EP2805499B1 (en) Video decoder, video encoder, video decoding method, and video encoding method
CN109565587B (zh) 具有上下文解码和重构旁路的视频编码的方法和***
CN109493304B (zh) 一种图像数据处理方法以及装置
US11310514B2 (en) Encoding method and apparatus using non-encoding region, block-based encoding region, and pixel-based encoding region
JP2014525176A (ja) 輝度に基づく色度イントラ予測
WO2016048183A1 (en) Intra-prediction complexity reduction using a reduced number of angular modes and subsequent refinement
EP3873094B1 (en) Reduction of visual artifacts in parallel video coding
GB2560548A (en) Video data processing system
CN110679150A (zh) 相同帧运动估计和补偿
WO2020159982A1 (en) Shape adaptive discrete cosine transform for geometric partitioning with an adaptive number of regions
JP2022509191A (ja) 映像デコーディング制御方法、装置、電子機器及び記憶媒体
US20190222858A1 (en) Optimal out of loop inter motion estimation with multiple candidate support
CN111432213A (zh) 用于视频和图像压缩的自适应贴片数据大小编码
KR102028016B1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR102234712B1 (ko) 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치
US20210195220A1 (en) Methods and systems for adaptive cropping
CN111108747B (zh) 获得信号的时间样本的目标表示
EP3281410B1 (en) Efficient low-complexity video compression
WO2021046692A1 (en) Resolution-adaptive video coding with conditional interpolation filters
CN116405675A (zh) 编码方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant