CN108810537B - 一种图片转码方法、装置及图像处理设备 - Google Patents

一种图片转码方法、装置及图像处理设备 Download PDF

Info

Publication number
CN108810537B
CN108810537B CN201710283315.5A CN201710283315A CN108810537B CN 108810537 B CN108810537 B CN 108810537B CN 201710283315 A CN201710283315 A CN 201710283315A CN 108810537 B CN108810537 B CN 108810537B
Authority
CN
China
Prior art keywords
picture
target picture
transcoding
target
natural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710283315.5A
Other languages
English (en)
Other versions
CN108810537A (zh
Inventor
刘海军
王诗涛
罗斌姬
黄晓政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710283315.5A priority Critical patent/CN108810537B/zh
Priority to PCT/CN2018/082626 priority patent/WO2018196614A1/zh
Priority to TW107113598A priority patent/TWI669947B/zh
Publication of CN108810537A publication Critical patent/CN108810537A/zh
Application granted granted Critical
Publication of CN108810537B publication Critical patent/CN108810537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明实施例公开了一种图片转码方法、装置及图像处理设备,其中方法包括:将所述目标图片输入到转码***后,对所述目标图片进行解码;依据解码结果确定所述目标图片为自然图片,采用有损压缩方式作为输入源进行转码视频编码输入;依据解码结果确定所述目标图片为非自然图片,采用无损压缩方式作为输入源进行转码视频编码输入。采用本发明实施例的方案可以在保留目标图片必要的有效信息的前提下提升图片压缩效率。

Description

一种图片转码方法、装置及图像处理设备
技术领域
本发明涉及图像处理领域,特别涉及一种图片转码方法、装置及图像处理设备。
背景技术
随着移动互联网的发展,终端设备的下载流量大幅增长,用户下载流量中,图片消耗的流量占据很大比例。大量的图片传输给网络带来了很大的承载压力。目前在网络中传输的主流图片格式包括:JPEG(Joint Photographic Experts Group,联合图像专家小组,是第一个国际图像压缩标准)、PNG (Portable Network Graphic Format,图像文件存储格式)、GIF(Graphics Interchange Format,图像互换格式)等。
目前针对图片的转码方案对于以上提到的JPEG、PNG以及GIF格式图片;都存在压缩效率不高的问题,或者,导致有效信息过量丢失的问题。
传统的图片转码方案是采用预定或者用户指定的方式确定以何种信源格式作为输入进行视频算法压缩。例如:以YUV420信源格式作为输入进行视频算法压缩;或者,以YUV444信源格式作为输入进行视频算法压缩。使用前者,可能会导致有效信息过量丢失的问题,后者,则存在压缩效率低的问题。
因此,采用以上图片转码方案存在压缩效率低或者有效信息过量丢失的问题。
发明内容
本发明实施例提供了一种图片转码方法、装置及图像处理设备,用于在保留图片必要的有效信息的前提下提升图片压缩效率。
一方面本发明实施例提供了一种图片转码方法,包括:
在目标图片为自然图片的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;
在所述目标图片为非自然图片的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
在一种可选的实现方式中,所述方法还包括:
将所述目标图片输入到转码***后,对所述目标图片进行解码;
所述目标图片为自然图片的情况包括:对所述目标图片进行解码后确定所述目标图片为自然图片;
所述目标图片为非自然图片的情况包括:对所述目标图片进行解码后确定所述目标图片为非自然图片。
在一种可选的实现方式中,所述目标图片为非自然图片包括:
所述目标图片包含文本信息,或者,所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片包含文本信息包括:
所述目标图片的格式为PNG,所述目标图片包含文本数据块;
或者,所述目标图片的格式为GIF,所述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,所述目标图片包含文本信息,或者,所述目标图片由设备自动生成包括:
对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片为自然图片包括:
所述目标图片包含摄像头信息。
在一种可选的实现方式中,所述有损压缩方式包括:YUV420;所述无损压缩方式包括:YUV444。
在一种可选的实现方式中,所述对所述目标图片进行解码包括:将所述目标图片解码为RGB数据。
二方面本发明实施例提供了一种图片转码方法,包括:
在目标图片的高频分量小于第一阈值的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;
在所述目标图片的高频分量大于第二阈值的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
在一种可选的实现方式中,所述目标图片的高频分量小于第一阈值包括:
经对所述目标图片进行高频分量检测,确定所述目标图片的高频分量小于第一阈值;
所述目标图片的高频分量大于第二阈值包括:
经对所述目标图片进行高频分量检测,确定所述目标图片的高频分量大于第二阈值。
在一种可选的实现方式中,所述目标图片的高频分量大于第二阈值包括:
所述目标图片包含文本信息,或者,所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片包含文本信息包括:
所述目标图片的格式为PNG,所述目标图片包含文本数据块;
或者,所述目标图片的格式为GIF,所述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,所述目标图片包含文本信息,或者,所述目标图片由设备自动生成包括:
对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片的高频分量小于第一阈值包括:
所述目标图片包含摄像头信息。
在一种可选的实现方式中,在对所述目标图片进行内容识别之前,所述方法还包括:
将所述目标图片解码为RGB数据。
在一种可选的实现方式中,所述有损压缩方式包括:YUV420;所述无损压缩方式包括:YUV444。
三方面本发明实施例提供了一种图片转码的装置,包括:
转码单元,用于在目标图片为自然图片的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;在所述目标图片为非自然图片的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
在一种可选的实现方式中,所述装置还包括:
解码单元,用于将所述目标图片输入到转码***后,对所述目标图片进行解码;
所述转码单元,具体用于在对所述目标图片进行解码后确定所述目标图片为自然图片;或者,在对所述目标图片进行解码后确定所述目标图片为非自然图片。
在一种可选的实现方式中,所述目标图片为非自然图片包括:
所述目标图片包含文本信息,或者,所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片包含文本信息包括:
所述目标图片的格式为PNG,所述目标图片包含文本数据块;
或者,所述目标图片的格式为GIF,所述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,所述装置还包括:
内容识别单元,用于对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片为自然图片包括:
所述目标图片包含摄像头信息。
在一种可选的实现方式中,所述有损压缩方式包括:YUV420;所述无损压缩方式包括:YUV444。
在一种可选的实现方式中,所述解码单元,具体用于将所述目标图片解码为RGB数据。
四方面本发明实施例提供了一种图片转码的装置,包括:
转码单元,用于在目标图片的高频分量小于第一阈值的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;在所述目标图片的高频分量大于第二阈值的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
在一种可选的实现方式中,所述装置还包括:
分量检测单元,用于经对所述目标图片进行高频分量检测,确定所述目标图片的高频分量小于第一阈值,或者,确定所述目标图片的高频分量大于第二阈值。
在一种可选的实现方式中,所述目标图片的高频分量大于第二阈值包括:
所述目标图片包含文本信息,或者,所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片包含文本信息包括:
所述目标图片的格式为PNG,所述目标图片包含文本数据块;
或者,所述目标图片的格式为GIF,所述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,所述装置还包括:
内容识别单元,用于对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片的高频分量小于第一阈值包括:
所述目标图片包含摄像头信息。
在一种可选的实现方式中,所述转码单元,用于在所述内容识别单元对所述目标图片进行内容识别之前,将所述目标图片解码为RGB数据。
在一种可选的实现方式中,所述有损压缩方式包括:YUV420;所述无损压缩方式包括:YUV444。
五方面本发明实施例提供了一种图像处理设备,包括:输入输出设备、处理器以及存储器;
所述处理器,用于在目标图片为自然图片的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;在所述目标图片为非自然图片的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
在一种可选的实现方式中,所述处理器,还用于将所述目标图片输入到转码***后,对所述目标图片进行解码;
所述目标图片为自然图片的情况包括:对所述目标图片进行解码后确定所述目标图片为自然图片;
所述目标图片为非自然图片的情况包括:对所述目标图片进行解码后确定所述目标图片为非自然图片。
在一种可选的实现方式中,所述目标图片为非自然图片包括:
所述目标图片包含文本信息,或者,所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片包含文本信息包括:
所述目标图片的格式为PNG,所述目标图片包含文本数据块;
或者,所述目标图片的格式为GIF,所述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,所述处理器,还用于对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片为自然图片包括:
所述目标图片包含摄像头信息。
在一种可选的实现方式中,所述有损压缩方式包括:YUV420;所述无损压缩方式包括:YUV444。
在一种可选的实现方式中,所述对所述目标图片进行解码包括:将所述目标图片解码为RGB数据。
六方面本发明实施例还提供了一种图像处理设备,包括:输入输出设备、处理器以及存储器;
所述处理器,用于在目标图片的高频分量小于第一阈值的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;在所述目标图片的高频分量大于第二阈值的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
在一种可选的实现方式中,所述处理器,还用于对所述目标图片进行高频分量检测,经对所述目标图片进行高频分量检测,确定所述目标图片的高频分量小于第一阈值,或者,确定所述目标图片的高频分量大于第二阈值。
在一种可选的实现方式中,所述目标图片的高频分量大于第二阈值包括:
所述目标图片包含文本信息,或者,所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片包含文本信息包括:
所述目标图片的格式为PNG,所述目标图片包含文本数据块;
或者,所述目标图片的格式为GIF,所述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,所述处理器,还用于对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述目标图片的高频分量小于第一阈值包括:
所述目标图片包含摄像头信息。
在一种可选的实现方式中,所述处理器,还用于在对所述目标图片进行内容识别之前,将所述目标图片解码为RGB数据。
在一种可选的实现方式中,所述有损压缩方式包括:YUV420;所述无损压缩方式包括:YUV444。
七方面本发明实施例还提供了一种图像处理设备,包括:图片解码器、信源转换器以及视频编码器,还包括:信源选择器;
目标图片经所述图片解码器解码后,输出给所述信源选择器;
所述信源选择器在确定所述目标图片为自然图片的情况下选择有损压缩方式,在确定所述目标图片为非自然图片的情况下选择无损压缩方式;
所述信源转换器依所述信源选择器确定的压缩方式对解码后的所述目标图片进行转换处理后输出给所述视频编码器。
在一种可选的实现方式中,所述信源选择器在确定所述目标图片包含文本信息的情况下,或者,确定所述目标图片由设备自动生成的情况下,确定所述目标图片为非自然图片。
在一种可选的实现方式中,所述信源选择器用于确定所述目标图片包含文本信息包括:确定所述目标图片的格式为PNG,所述目标图片包含文本数据块的;或者,确定所述目标图片的格式为GIF,所述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,所述信源选择器用于确定所述目标图片由设备自动生成包括:对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述信源选择器确定所述目标图片为自然图片包括:确定所述目标图片包含摄像头信息。
在一种可选的实现方式中,所述有损压缩方式包括:YUV420;所述无损压缩方式包括:YUV444。
在一种可选的实现方式中,所述图片解码器用于将所述目标图片解码为 RGB数据。
八方面本发明实施例还提供了一种图像处理设备,包括:图片解码器、信源转换器以及视频编码器,还包括:信源选择器;
目标图片经所述图片解码器解码后,输出给所述信源选择器;
所述信源选择器在确定目标图片的高频分量小于第一阈值的情况下选择有损压缩方式,在确定所述目标图片的高频分量大于第二阈值的情况下选择无损压缩方式;
所述信源转换器依所述信源选择器确定的压缩方式对解码后的所述目标图片进行转换处理后输出给所述视频编码器。
在一种可选的实现方式中,所述信源选择器,还用于对所述目标图片进行高频分量检测,确定所述目标图片的高频分量小于第一阈值,或者,确定所述目标图片的高频分量大于第二阈值。
在一种可选的实现方式中,所述信源选择器用于确定所述目标图片的高频分量大于第二阈值包括:
确定所述目标图片包含文本信息,或者,确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述信源选择器用于确定所述目标图片包含文本信息包括:
确定所述目标图片的格式为PNG,所述目标图片包含文本数据块;或者,确定所述目标图片的格式为GIF,所述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,所述信源选择器,还用于对所述目标图片进行内容识别;依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
在一种可选的实现方式中,所述信源选择器,用于确定目标图片的高频分量小于第一阈值包括:确定所述目标图片包含摄像头信息。
在一种可选的实现方式中,所述有损压缩方式包括:YUV420;所述无损压缩方式包括:YUV444。
从以上技术方案可以看出,本发明实施例具有以下优点:将目标图片的类型分为自然图片和非自然图片;其中,非自然图片由于包含较多的高频分量,使用较低比率的压缩方式则可以尽量保留有效信息;自然图片会具有较少的高频分量,可以使用更高压缩比率达到更高的压缩效率;因此,采用本发明实施例的方案可以在保留目标图片必要的有效信息的前提下提升图片压缩效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例转码***的***架构图;
图2A为本发明实施例目标图片的示意图;
图2B为本发明实施例目标图片的示意图;
图2C为本发明实施例目标图片的示意图;
图3为本发明实施例方法流程示意图;
图4为本发明实施例装置结构示意图;
图5为本发明实施例装置结构示意图;
图6为本发明实施例图像处理设备结构示意图;
图7为本发明实施例图像处理设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,为本发明实施例转码***的架构图,在图1中主要包含如下几个部分:图片解码器、信源选择器、信源转换器以及视频编码器;以上各部分可以通过总线连接,其中图片解码器负责对输入到转码***进行解码,解码后的数据发送给信源选择器;信源选择器则依据解码后的数据进行判决,确定是使用有损压缩还是无损压缩,然后由信源转换器将解码后的数据转为 YUV格式的数据,然后由信源转换器将YUV格式的数据发给视频编码器。后续流程依视频编码的流程,在此不再赘述。
一方面本发明实施例提供了一种图片转码方法,主要用于实现智能的信源选择,可以参考图1所示的***结构,主要在信源选择器实现,该方法包括:
101A:在目标图片为自然图片的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;
102A:在上述目标图片为非自然图片的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
可以理解的是,以上步骤101A和步骤102A并不具有逻辑先后次序,并且以上两个步骤在执行过程中会择一执行,也就是说并不会同时都执行;因为,这取决于目标图像是自然图片还是非自然图片。自然图片和非自然图片,是基于图片的生成方式进行的分类,自然图片是自然生成的图片,例如:相机拍摄的照片、自然风光图像等;非自然图片,通常是人参与生成或者设备自动生成的图片,例如:即时通讯界面的截图、游戏画面等;即时通讯界面的截图和游戏画面有可能既包含人参与的部分,也包含设备自动生成的部分;更具地,以游戏画面为例:即时对战游戏中,玩家之间会使用文字进行交流,其中文字部分是人参与的部分;其他部分则是设备依机程序指令绘制的而成的图片内容。可以理解的是,除了即时通讯界面的截图,这里还可以是整个桌面或者其他应用界面的截图,除了游戏画面还可以是其他任意由计算机绘制的图片,以上关于自然图片和非自然图片的举例不应理解为对本发明实施例的唯一性限定。另外,在本实施例中,目标图片是输入到转码***的图片,该图片的格式可以是任意的图片格式;例如:JPEG、PNG以及GIF格式,或者其他格式。
作为一个举例,如图2A、图2B以及图2C,为前述举例中提到的三种目标图片的可能情况;其中图2A为相机拍摄的照片,图2B以及图2C分别为:即时通讯界面的截图和游戏画面;图2A是自然图片,其高频分量会比较少,即:图像过度较为柔和边界过度更为自然;图2B以及图2C,是非自然图片,其高频分量较多,即:存在较多突变的边界,例如:图2B中文字的线条与背景之间有鲜明的对比而且边界过渡变化大,图2C中画面元素之间也会有明显的边界,过度不如自然图片过度柔和。
另需要说明的是,在本实施例中有损压缩方式和无损压缩方式,是图片的转码使用的压缩算法,通常来说图像压缩都会使图片的有效信息发生减少;因此,在本发明实施例中,“无损”应当理解为相对的无损,也即是说无损压缩方式相比于有损压缩方式可以保留更多的目标图片的有效信息。例如: YUV444相对于YUV420而言,属于无损压缩方式。
从以上技术方案可以看出,本发明实施例具有以下优点:将目标图片的类型分为自然图片和非自然图片;其中,非自然图片由于包含较多的高频分量,使用较低比率的压缩方式则可以尽量保留有效信息;自然图片会具有较少的高频分量,可以使用更高压缩比率达到更高的压缩效率;因此,采用本发明实施例的方案可以在保留目标图片必要的有效信息的前提下提升图片压缩效率。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行的操作,以及这种操作对目标图片的类型确认造成的影响,具体如下:上述方法还包括:
将上述目标图片输入到转码***后,对上述目标图片进行解码;
上述目标图片为自然图片的情况包括:对上述目标图片进行解码后确定上述目标图片为自然图片;
上述目标图片为非自然图片的情况包括:对上述目标图片进行解码后确定上述目标图片为非自然图片。
在本实施例中,目标图片会被首先解码,从而为后续识别图片的类型做准备;在这里解码可以解码为RGB格式的数据。
在一种可选的实现方式中,本发明实施例还提供了具体如何判断非自然图片的实现方案,如下:上述目标图片为非自然图片包括:
上述目标图片包含文本信息,或者,上述目标图片由设备自动生成。
由于非自然图片具有一些特性,例如包含文本信息以及设备自动生成,还可能具有其他特性导致其与自然图片之间存在区别;通过这些特性可以迅速的确定目标图片的类型。
在一种可选的实现方式中,本发明实施例还提供了如何确定目标图片包含文本信息,具体如下:上述目标图片包含文本信息包括:
上述目标图片的格式为PNG,上述目标图片包含文本数据块;
或者,上述目标图片的格式为GIF,上述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,本发明实施例还提供了另一种判断非自然图片和自然图片的实现方案,如下:上述目标图片包含文本信息,或者,上述目标图片由设备自动生成包括:
对上述目标图片进行内容识别,依上述内容识别的结果确定上述目标图片包含文本信息,或者,依上述内容识别的结果确定上述目标图片由设备自动生成。
内容识别是指对目标图片内所包含的具体内容进行识别的技术,例如:使用滑动窗模式进行文本检测;通过连通域分析进行文本检测;还有基于深度学习方法来识别具体内容的实现方案,例如:全卷积神经网络、模式识别以及速率失真优化等。具体如何进行内容识别以区分目标图片的类型,后续实施例将会给出详细说明,在此不再赘述。
在一种可选的实现方式中,本发明实施例还提供了能够快速确定目标图片为自然图片的方案,具体如下:上述目标图片为自然图片包括:
上述目标图片包含摄像头信息。
在前述实施例中,可以优先使用较为快速确定目标图片类型的实现方案,在这些方案无法确定图片格式的情况下,再使用内容识别的方式来确定目标图片的类型。
在一种可选的实现方式中,在本实施例中还给出了基于后续要进行视频编码,在转码时选择YUV格式作为目标格式,对应已经确定的压缩方式具体转码方案如下:上述有损压缩方式包括:YUV420;上述无损压缩方式包括: YUV444。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行解码的具体实现方案,如下:上述对上述目标图片进行解码包括:将上述目标图片解码为RGB数据。
二方面本发明实施例提供了一种图片转码方法,本实施例使用高频分量的大小来对图片类型进行区分,区别于前一实施例使用自然图片和非自然图片来进行图片类型区分,该方法包括:
101B:在目标图片的高频分量小于第一阈值的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;
102B:在上述目标图片的高频分量大于第二阈值的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
基于前述说明可知,高频分量越多,那么如果使用有损压缩将会丢失过多的信息,例如,图2B中文字会变得不清晰;而高频分量较少的情况下,则可以使用叫高的压缩比。
本实施例中,第一阈值和第二阈值是用于确定选用压缩方式的临界点,可以理解的是,为了避免冲突,第一阈值应当小于或等于第二阈值。如果第一阈值等于第二阈值,那么目标图片的高频分量等于第一阈值或第二阈值,这种情况下,可以依图片压缩的技术需求来选用压缩方式:选用有损压缩方式可以获得更高的压缩比,选用无损压缩方式则可以保留更多目标图片的有用信息。如果第一阈值小于第二阈值,那么第一阈值和第二阈值之间会存在一个区间,即大于或等于第一阈值且小于或等于第二阈值这个区间,如果目标图片的高频分量落在这个区间内,可以参考前面关于“目标图片的高频分量等于第一阈值或第二阈值”的处理方案,在此不再赘述。
在一种可选的实现方式中,目标图片的高频分量可以通过高频分量检测直接获得,具体如下:上述目标图片的高频分量小于第一阈值包括:
经对上述目标图片进行高频分量检测,确定上述目标图片的高频分量小于第一阈值;
上述目标图片的高频分量大于第二阈值包括:
经对上述目标图片进行高频分量检测,确定上述目标图片的高频分量大于第二阈值。
在一种可选的实现方式中,目标图片的高频分量也可以不通过高频分量检测来获得,在进行高频分量检测之前先对其内包含的信息进行确认,来分辨其所属的类型,具体如下:上述目标图片的高频分量大于第二阈值包括:
上述目标图片包含文本信息,或者,上述目标图片由设备自动生成。
由于非自然图片相对来说会有更高的高频分量,如图2B和图2C所示,因此基于本实施例可以基于非自然图片具有的一些特性,例如包含文本信息以及设备自动生成,还可能具有的其他特性导致其与自然图片之间存在区别;通过这些特性可以迅速的确定目标图片的类型,相应地确定其高频分量是否高于了第二阈值。
在一种可选的实现方式中,本发明实施例还提供了如何确定目标图片包含文本信息,具体如下:上述目标图片包含文本信息包括:
上述目标图片的格式为PNG,上述目标图片包含文本数据块;
或者,上述目标图片的格式为GIF,上述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,本发明实施例还提供了另一种判断非自然图片和自然图片的实现方案,如下:上述目标图片包含文本信息,或者,上述目标图片由设备自动生成包括:
对上述目标图片进行内容识别,依上述内容识别的结果确定上述目标图片包含文本信息,或者,依上述内容识别的结果确定上述目标图片由设备自动生成。
内容识别是指对目标图片内所包含的具体内容进行识别的技术,例如:使用滑动窗模式进行文本检测;通过连通域分析进行文本检测;还有基于深度学习方法来识别具体内容的实现方案,例如:全卷积神经网络、模式识别以及速率失真优化等。具体如何进行内容识别以区分目标图片的类型,后续实施例将会给出详细说明,在此不再赘述。
在一种可选的实现方式中,发明实施例还提供了能够快速确定目标图片为自然图片的方案,由于自然图片通常具有较低的高频分量,因此可以通过确定自然图片来确定其高频分量是否小于第一阈值,具体如下:上述目标图片的高频分量小于第一阈值包括:
上述目标图片包含摄像头信息。
在前述实施例中,可以优先使用较为快速确定目标图片类型的实现方案,在这些方案无法确定图片格式的情况下,再使用高频分量检测的方式来确定目标图片的类型。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行解码的具体实现方案,如下:在对上述目标图片进行内容识别之前,上述方法还包括:
将上述目标图片解码为RGB数据。
在一种可选的实现方式中,在本实施例中还给出了基于后续要进行视频编码,在转码时选择YUV格式作为目标格式,对应已经确定的压缩方式具体转码方案如下:上述有损压缩方式包括:YUV420;上述无损压缩方式包括: YUV444。
基于以上说明,本发明实施例还提供了一个具体的举例实施例,在该实施例中,目标图片被解码为RGB数据、有损压缩方式和无损压缩方式分别为 YUV420和YUV444。本实施例可以大大节省图片流量带宽及储存成本,其应用场景广泛,可以应用于社交类、新闻类、工具类等各种应用。例如:在手Q、 QQ空间、QQ浏览器、腾讯体育、腾讯新闻、天天快报、腾讯手机管家等各种应用(Application,App)。这是由于设备内会存在各种图片等待转码,转码后进行数据传输或者存储,因此具有节省流量或者节省存储空间的需求。在前述图2A、图2B以及图2C给出的三个应用场景产生的图片作为举例,由于应用场景还有很多不再一一绘图说明。
在本实施例中,由执行信源选择的模块利用原图片的解码信息识别出视频编码器应该采用YUV420还是YUV444编码,基本的方法流程,如图3所示,包括:
301:图片输入到转码***,调用图片解码器,获得图片的头信息,将原图片解码成RGB数据。
302:确定图片类型。
在本实施例中确定图片类型分为两部分,可以先执行A部分,在A部分无法确定图片类型的情况下,执行B部分。
A部分:
302A:依据图片的头信息对图片进行格式区分。
在本实施例中,以联合图像组(Joint Photographic Group,JPG),PNG 以及GIF格式为例;可以理解的是图片格式并不仅仅只有以上三种,例如还可以有:位图(Bitmap,BMP)等;因此输入到转码***内的图片格式也不会只有JPG,PNG和GIF,因此以上举例不应理解为对本发明实施例的限定。
302A1:如果图片为JPG图片,则读取JPG解码器中的解码信息,判断是否带有包含摄像头可交换图像文件(Exchangeable Image File,exif)信息,如果带有exif信息,则判断是自然拍照相片,即自然图片,采用YUV420作为输入源进行转码视频编码器输入。
302A2:如果为PNG图片,则读取PNG图片信息中是否包含文本数据块 (tEXt或者zTXt),如果包含这些文本信息则可以确定为非自然图片,直接采用YUV444作为输入源进行转码视频编码器输入。
302A3:如果为GIF图片,则读取GIF图片信息中是否包含图片文件扩展数据块,如果包含图片文件扩展数据块则直接采用YUV444作为输入源进行转码视频编码器输入。
B部分:
302B:通过内容识别确定图片类型,如果是包含文件信息或者为计算机生成图片,采用YUV444作为输入源进行转码视频编码器输入,否则采用 YUV420作为输入源进行转码视频编码器输入
B部分可以在以上A部分没有直接决定转码视频编码器输入信源格式的情况下,采用图片内容识别模块对解码的RGB数据进行分析,来判决RGB 是否包含文件信息或者为计算机生成图片。具体的图片内容识别包括以下而不限于以下几个方面:
1、滑动窗模式的文本检测方法:基于滑动窗口全图扫描的方式,对每个滑动窗口基于方向梯度直方图(Histogram of Oriented Gradient,HOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)、加窗傅立叶变换 (Gabor)、局部二值模式(Local Binary Patterns,LBP)等纹理特征训练 Adaboost(一种迭代算法),支持向量机(Support Vector Machine,SVM)等二类分类器得到文字区域的概率响应值,然后再利用连通域分析结合形态学等操作定位最终的文字框。如果检测到文字区域则转码***自动将信源切换为YUV444作为输入进行图片转码,如果没有检测到文字则使用YUV420作为输入进行图片转码
2、连通域分析的文本检测方法:这种基于底层规则,例如:区域特征提取(Maximally Stable Extremal Regions,MSER)、标准窗口小部件工具包 (StandardWidget Toolkit,SWT)先分割得到连通的小区域,然后利用颜色、亮度、边缘、形状等信息进行过滤或者分类器判别的方式来分离文字区域与非文字区域;如果检测到文字区域则转码***自动将信源切换为YUV444作为输入进行图片转码,如果没有检测到文字则使用YUV420作为输入进行图片转码
3、基于深度学习方法的全卷积神经网络(Full Convolution Network,FCN) 采用模式识别方法对图片内容进行分析,通过机器学习的方法以及互联网特有的大数据训练实现对图片内容识别;主要的识别内容包括文字区域以及计算机生成的图片,如果包括以上两个部分则转码***自动将信源切换为 YUV444作为输入进行图片转码,如果没有检测到则使用YUV420作为输入进行图片转码
4、编码器速率失真优化(Rate-Distortion Optimization,RDO)方法,这个方法主要是基于对于文字以及计算机等生成画面图像来说,如果采用YUV420 编码那么会明显的导致编码BD-rate(用于表示码率与性能之间关系的参数) 结构相似性(structuralsimilarity index,SSIM)或者BD-rate峰值信噪比(Peak Signal to Noise Ratio,PSNR)相比YUV444有明显的损失;因此转码***利用这个特性,可以对要转码的图片采用全图片或者部分区域图片进行BD-rate SSIM以及BD-PSNR的比较,然后自动决定是采用哪一种信源输入作为转码***的视频编码输入。
303:基于图片类型的判决数据,如果为非自然图片,即:包含文本信息或者为计算机生成图片,则需要采用YUV444作为输入源进行转码视频编码器输入;如果为自然图片,即:不包含文本信息或者为计算机生成图片,则采用YUV420作为输入源进行转码视频编码器输入;将RGB数据通过信源格式转换需求生成YUV420或者YUV444、
304:调用视频编码器对YUV420或者YUV444进行编码操作。
视频编码器可能使用为H.265、AVS(Audio Video coding Standard,音频视频编码标准,属于一种信源编码标准)、H.264或者AVS2等。
305:将视频编码输入的码流以及相关的头信息进行格式封装,转码成新的图片格式。
本发明实施例提供的采用视频压缩方法实现的智能图片转码方法;由于视频编码压缩效率要优于JPEG、PNG以及GIF等图片压缩标准,采用视频压缩标准(比如H.265,AVS2等)能够大幅节省图片的带宽。因此通过将传统图片格式通过转码***生成新的图片格式,能够有效的节省应用的运营带宽成本。
同时,本发明实施例针对传统的视频压缩算法作为有损压缩模式,在一些图片(比如带文本的图片以及计算生成的图片上)会造成主观体验的损失,通过引入YUV444的视频压缩方法,将RGB转换成YUV444进行视频压缩,能够减少由于RGB转换成YUV420过程中造成的主观效果损失。另外,本发明实施例中中通过引入智能的信源格式选择模块,能够让转码***实现自动识别哪些图片应该使用YUV420,能够保证最大力度的节省带宽成本;同时,也能够识别出哪些图片应该使用YUV444进行压缩,保证主观体验不受损失。通过利用本发明中的智能转码***,能够让应用既最大限度的节省带宽同时不让用户感受不出有主观体验的损失。
本发明实施例的方法采用了更高效的视频编码标准,同时采用有损压缩模式进行编码,因此,压缩效率大大高于JPEG、PNG以及GIF等传统图片格式,这对节省图片带宽流量以及存储成本具有重要意义。目前该方法与***已经在手Q、QQ空间、QQ浏览器、腾讯体育、腾讯新闻、天天快报、手机管家等多个业务进行测试。根据业务统计,相比于JPEG压缩能节省40%以上流量;对于PNG图片,能节省60%以上流量,对于GIF图片,流量节省更是达到了80%以上。
三方面本发明实施例提供了一种图片转码的装置,如图4所示,包括:
转码单元401,用于在目标图片为自然图片的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;在上述目标图片为非自然图片的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
在本实施例中有损压缩方式和无损压缩方式,是图片的转码使用的压缩算法,通常来说图像压缩都会使图片的有效信息发生减少;因此,在本发明实施例中,“无损”应当理解为相对的无损,也即是说无损压缩方式相比于有损压缩方式可以保留更多的目标图片的有效信息。例如:YUV444相对于 YUV420而言,属于无损压缩方式。
从以上技术方案可以看出,本发明实施例具有以下优点:将目标图片的类型分为自然图片和非自然图片;其中,非自然图片由于包含较多的高频分量,使用较低比率的压缩方式则可以尽量保留有效信息;自然图片会具有较少的高频分量,可以使用更高压缩比率达到更高的压缩效率;因此,采用本发明实施例的方案可以在保留目标图片必要的有效信息的前提下提升图片压缩效率。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行的操作,以及这种操作对目标图片的类型确认造成的影响,具体如下:上述装置还包括:
解码单元402,用于将上述目标图片输入到转码***后,对上述目标图片进行解码;
上述转码单元401,具体用于在对上述目标图片进行解码后确定上述目标图片为自然图片;或者,在对上述目标图片进行解码后确定上述目标图片为非自然图片。
在本实施例中,目标图片会被首先解码,从而为后续识别图片的类型做准备;在这里解码可以解码为RGB格式的数据。
在一种可选的实现方式中,本发明实施例还提供了具体如何判断非自然图片的实现方案,如下:上述目标图片为非自然图片包括:
上述目标图片包含文本信息,或者,上述目标图片由设备自动生成。
在一种可选的实现方式中,上述目标图片包含文本信息包括:
上述目标图片的格式为PNG,上述目标图片包含文本数据块;
或者,上述目标图片的格式为GIF,上述目标图片包含图片文件扩展数据块。
由于非自然图片具有一些特性,例如包含文本信息以及设备自动生成,还可能具有其他特性导致其与自然图片之间存在区别;通过这些特性可以迅速的确定目标图片的类型。
在一种可选的实现方式中,本发明实施例还提供了如何确定目标图片包含文本信息或者设备自动生成的方案,具体如下:上述装置还包括:
内容识别单元403,用于对上述目标图片进行内容识别,依上述内容识别的结果确定上述目标图片包含文本信息,或者,依上述内容识别的结果确定上述目标图片由设备自动生成。
内容识别是指对目标图片内所包含的具体内容进行识别的技术,例如:使用滑动窗模式进行文本检测;通过连通域分析进行文本检测;还有基于深度学习方法来识别具体内容的实现方案,例如:全卷积神经网络、模式识别以及速率失真优化等。具体如何进行内容识别以区分目标图片的类型,前面实施例已经给出了详细说明,在此不再赘述。
在一种可选的实现方式中,本发明实施例还提供了能够快速确定目标图片为自然图片的方案,具体如下:上述目标图片为自然图片包括:
上述目标图片包含摄像头信息。
在前述实施例中,可以优先使用较为快速确定目标图片类型的实现方案,在这些方案无法确定图片格式的情况下,再使用内容识别的方式来确定目标图片的类型。
在一种可选的实现方式中,在本实施例中还给出了基于后续要进行视频编码,在转码时选择YUV格式作为目标格式,对应已经确定的压缩方式具体转码方案如下:上述有损压缩方式包括:YUV420;上述无损压缩方式包括: YUV444。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行解码的具体实现方案,如下:上述解码单元402,具体用于将上述目标图片解码为RGB数据。
四方面本发明实施例提供了一种图片转码的装置,如图5所示,包括:
转码单元501,用于在目标图片的高频分量小于第一阈值的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;在上述目标图片的高频分量大于第二阈值的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
基于前述说明可知,高频分量越多,那么如果使用有损压缩将会丢失过多的信息,例如,图2B中文字会变得不清晰;而高频分量较少的情况下,则可以使用叫高的压缩比。
本实施例中,第一阈值和第二阈值是用于确定选用压缩方式的临界点,可以理解的是,为了避免冲突,第一阈值应当小于或等于第二阈值。如果第一阈值等于第二阈值,那么目标图片的高频分量等于第一阈值或第二阈值,这种情况下,可以依图片压缩的技术需求来选用压缩方式:选用有损压缩方式可以获得更高的压缩比,选用无损压缩方式则可以保留更多目标图片的有用信息。如果第一阈值小于第二阈值,那么第一阈值和第二阈值之间会存在一个区间,即大于或等于第一阈值且小于或等于第二阈值这个区间,如果目标图片的高频分量落在这个区间内,可以参考前面关于“目标图片的高频分量等于第一阈值或第二阈值”的处理方案,在此不再赘述。
在一种可选的实现方式中,目标图片的高频分量可以通过高频分量检测直接获得,具体如下:上述装置还包括:
分量检测单元502,用于经对上述目标图片进行高频分量检测,确定上述目标图片的高频分量小于第一阈值,或者,确定上述目标图片的高频分量大于第二阈值。
在一种可选的实现方式中,目标图片的高频分量也可以不通过高频分量检测来获得,在进行高频分量检测之前先对其内包含的信息进行确认,来分辨其所属的类型,具体如下:上述目标图片的高频分量大于第二阈值包括:
上述目标图片包含文本信息,或者,上述目标图片由设备自动生成。
由于非自然图片相对来说会有更高的高频分量,如图2B和图2C所示,因此基于本实施例可以基于非自然图片具有的一些特性,例如包含文本信息以及设备自动生成,还可能具有的其他特性导致其与自然图片之间存在区别;通过这些特性可以迅速的确定目标图片的类型,相应地确定其高频分量是否高于了第二阈值。
在一种可选的实现方式中,本发明实施例还提供了如何确定目标图片包含文本信息,具体如下:上述目标图片包含文本信息包括:
上述目标图片的格式为PNG,上述目标图片包含文本数据块;
或者,上述目标图片的格式为GIF,上述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,本发明实施例还提供了另一种判断非自然图片和自然图片的实现方案,如下:上述装置还包括:
内容识别单元503,用于对上述目标图片进行内容识别,依上述内容识别的结果确定上述目标图片包含文本信息,或者,依上述内容识别的结果确定上述目标图片由设备自动生成。
内容识别是指对目标图片内所包含的具体内容进行识别的技术,例如:使用滑动窗模式进行文本检测;通过连通域分析进行文本检测;还有基于深度学习方法来识别具体内容的实现方案,例如:全卷积神经网络、模式识别以及速率失真优化等。具体如何进行内容识别以区分目标图片的类型,后续实施例将会给出详细说明,在此不再赘述。
在一种可选的实现方式中,发明实施例还提供了能够快速确定目标图片为自然图片的方案,由于自然图片通常具有较低的高频分量,因此可以通过确定自然图片来确定其高频分量是否小于第一阈值,具体如下:上述目标图片的高频分量小于第一阈值包括:
上述目标图片包含摄像头信息。
在前述实施例中,可以优先使用较为快速确定目标图片类型的实现方案,在这些方案无法确定图片格式的情况下,再使用高频分量检测的方式来确定目标图片的类型。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行解码的具体实现方案,如下:上述转码单元501,还用于在上述内容识别单元503对上述目标图片进行内容识别之前,将上述目标图片解码为RGB数据。
在一种可选的实现方式中,在本实施例中还给出了基于后续要进行视频编码,在转码时选择YUV格式作为目标格式,对应已经确定的压缩方式具体转码方案如下:上述有损压缩方式包括:YUV420;上述无损压缩方式包括: YUV444。
五方面本发明实施例提供了一种图像处理设备,如图6所示,包括:输入输出设备601、处理器602以及存储器603;其中输入输出设备601、处理器602以及存储器603可以通过总线连接;
存储器603包括但不限于是随机存储记忆体(英文:Random Access Memory,简称:RAM)、只读存储器(Read-Only Memory,ROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、或便携式只读存储器(Compact Disc Read-Only Memory,CD-ROM),该存储器603用于相关指令及数据。输入输出设备601用于接收和发送数据。
处理器602可以是一个或多个中央处理器(Central Processing Unit,CPU),在处理器602是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该图像处理设备中的处理器602用于读取上述存储器603中存储的程序代码,执行以下操作:在目标图片为自然图片的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;在上述目标图片为非自然图片的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
在本实施例中有损压缩方式和无损压缩方式,是图片的转码使用的压缩算法,通常来说图像压缩都会使图片的有效信息发生减少;因此,在本发明实施例中,“无损”应当理解为相对的无损,也即是说无损压缩方式相比于有损压缩方式可以保留更多的目标图片的有效信息。例如:YUV444相对于 YUV420而言,属于无损压缩方式。
从以上技术方案可以看出,本发明实施例具有以下优点:将目标图片的类型分为自然图片和非自然图片;其中,非自然图片由于包含较多的高频分量,使用较低比率的压缩方式则可以尽量保留有效信息;自然图片会具有较少的高频分量,可以使用更高压缩比率达到更高的压缩效率;因此,采用本发明实施例的方案可以在保留目标图片必要的有效信息的前提下提升图片压缩效率。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行的操作,以及这种操作对目标图片的类型确认造成的影响,具体如下:上述处理器602,还用于将上述目标图片输入到转码***后,对上述目标图片进行解码;
上述目标图片为自然图片的情况包括:对上述目标图片进行解码后确定上述目标图片为自然图片;
上述目标图片为非自然图片的情况包括:对上述目标图片进行解码后确定上述目标图片为非自然图片。
在本实施例中,目标图片会被首先解码,从而为后续识别图片的类型做准备;在这里解码可以解码为RGB格式的数据。
在一种可选的实现方式中,本发明实施例还提供了具体如何判断非自然图片的实现方案,如下:上述目标图片为非自然图片包括:
上述目标图片包含文本信息,或者,上述目标图片由设备自动生成。
在一种可选的实现方式中,上述目标图片包含文本信息包括:
上述目标图片的格式为PNG,上述目标图片包含文本数据块;
或者,上述目标图片的格式为GIF,上述目标图片包含图片文件扩展数据块。
由于非自然图片具有一些特性,例如包含文本信息以及设备自动生成,还可能具有其他特性导致其与自然图片之间存在区别;通过这些特性可以迅速的确定目标图片的类型。
在一种可选的实现方式中,本发明实施例还提供了如何确定目标图片包含文本信息或者设备自动生成的方案,具体如下:上述处理器602,还用于对上述目标图片进行内容识别,依上述内容识别的结果确定上述目标图片包含文本信息,或者,依上述内容识别的结果确定上述目标图片由设备自动生成。
内容识别是指对目标图片内所包含的具体内容进行识别的技术,例如:使用滑动窗模式进行文本检测;通过连通域分析进行文本检测;还有基于深度学习方法来识别具体内容的实现方案,例如:全卷积神经网络、模式识别以及速率失真优化等。具体如何进行内容识别以区分目标图片的类型,前面实施例已经给出了详细说明,在此不再赘述。
在一种可选的实现方式中,本发明实施例还提供了能够快速确定目标图片为自然图片的方案,具体如下:上述目标图片为自然图片包括:
上述目标图片包含摄像头信息。
在前述实施例中,可以优先使用较为快速确定目标图片类型的实现方案,在这些方案无法确定图片格式的情况下,再使用内容识别的方式来确定目标图片的类型。
在一种可选的实现方式中,在本实施例中还给出了基于后续要进行视频编码,在转码时选择YUV格式作为目标格式,对应已经确定的压缩方式具体转码方案如下:上述有损压缩方式包括:YUV420;上述无损压缩方式包括: YUV444。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行解码的具体实现方案,如下:上述对上述目标图片进行解码包括:将上述目标图片解码为RGB数据。
六方面本发明实施例还提供了一种图像处理设备,如图6所示,包括:输入输出设备601、处理器602以及存储器603;其中输入输出设备601、处理器602以及存储器603可以通过总线连接。
上述处理器602,用于在目标图片的高频分量小于第一阈值的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;在上述目标图片的高频分量大于第二阈值的情况下,采用无损压缩方式作为输入源进行转码视频编码输入。
基于前述说明可知,高频分量越多,那么如果使用有损压缩将会丢失过多的信息,例如,图2B中文字会变得不清晰;而高频分量较少的情况下,则可以使用叫高的压缩比。
本实施例中,第一阈值和第二阈值是用于确定选用压缩方式的临界点,可以理解的是,为了避免冲突,第一阈值应当小于或等于第二阈值。如果第一阈值等于第二阈值,那么目标图片的高频分量等于第一阈值或第二阈值,这种情况下,可以依图片压缩的技术需求来选用压缩方式:选用有损压缩方式可以获得更高的压缩比,选用无损压缩方式则可以保留更多目标图片的有用信息。如果第一阈值小于第二阈值,那么第一阈值和第二阈值之间会存在一个区间,即大于或等于第一阈值且小于或等于第二阈值这个区间,如果目标图片的高频分量落在这个区间内,可以参考前面关于“目标图片的高频分量等于第一阈值或第二阈值”的处理方案,在此不再赘述。
在一种可选的实现方式中,目标图片的高频分量可以通过高频分量检测直接获得,具体如下:上述处理器602,还用于对上述目标图片进行高频分量检测,经对上述目标图片进行高频分量检测,确定上述目标图片的高频分量小于第一阈值,或者,确定上述目标图片的高频分量大于第二阈值。
在一种可选的实现方式中,目标图片的高频分量也可以不通过高频分量检测来获得,在进行高频分量检测之前先对其内包含的信息进行确认,来分辨其所属的类型,具体如下:上述目标图片的高频分量大于第二阈值包括:
上述目标图片包含文本信息,或者,上述目标图片由设备自动生成。
由于非自然图片相对来说会有更高的高频分量,如图2B和图2C所示,因此基于本实施例可以基于非自然图片具有的一些特性,例如包含文本信息以及设备自动生成,还可能具有的其他特性导致其与自然图片之间存在区别;通过这些特性可以迅速的确定目标图片的类型,相应地确定其高频分量是否高于了第二阈值。
在一种可选的实现方式中,本发明实施例还提供了如何确定目标图片包含文本信息,具体如下:上述目标图片包含文本信息包括:
上述目标图片的格式为PNG,上述目标图片包含文本数据块;
或者,上述目标图片的格式为GIF,上述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,本发明实施例还提供了另一种判断非自然图片和自然图片的实现方案,如下:上述处理器602,还用于对上述目标图片进行内容识别,依上述内容识别的结果确定上述目标图片包含文本信息,或者,依上述内容识别的结果确定上述目标图片由设备自动生成。
内容识别是指对目标图片内所包含的具体内容进行识别的技术,例如:使用滑动窗模式进行文本检测;通过连通域分析进行文本检测;还有基于深度学习方法来识别具体内容的实现方案,例如:全卷积神经网络、模式识别以及速率失真优化等。具体如何进行内容识别以区分目标图片的类型,后续实施例将会给出详细说明,在此不再赘述。
在一种可选的实现方式中,发明实施例还提供了能够快速确定目标图片为自然图片的方案,由于自然图片通常具有较低的高频分量,因此可以通过确定自然图片来确定其高频分量是否小于第一阈值,具体如下:上述目标图片的高频分量小于第一阈值包括:
上述目标图片包含摄像头信息。
在前述实施例中,可以优先使用较为快速确定目标图片类型的实现方案,在这些方案无法确定图片格式的情况下,再使用高频分量检测的方式来确定目标图片的类型。
在一种可选的实现方式中,本发明实施例还提供了在确定目标图片的类型之前进行解码的具体实现方案,如下:上述处理器602,还用于在对上述目标图片进行内容识别之前,将上述目标图片解码为RGB数据。
在一种可选的实现方式中,在本实施例中还给出了基于后续要进行视频编码,在转码时选择YUV格式作为目标格式,对应已经确定的压缩方式具体转码方案如下:上述有损压缩方式包括:YUV420;上述无损压缩方式包括: YUV444。
下面七方面以及八方面提供的图像处理设备,可以参考前述实施例中方法流程,不再赘述。
七方面本发明实施例还提供了一种图像处理设备,如图7所示,包括:图片解码器701、信源转换器702以及视频编码器703,还包括:信源选择器 704;目标图片经上述图片解码器701解码后,输出给上述信源选择器704;
上述信源选择器704在确定上述目标图片为自然图片的情况下选择有损压缩方式,在确定上述目标图片为非自然图片的情况下选择无损压缩方式;
上述信源转换器702器依上述信源选择器704确定的压缩方式对解码后的上述目标图片进行转换处理后输出给上述视频编码器703。
在一种可选的实现方式中,上述信源选择器704在确定上述目标图片包含文本信息的情况下,或者,确定上述目标图片由设备自动生成的情况下,确定上述目标图片为非自然图片。
在一种可选的实现方式中,上述信源选择器704用于确定上述目标图片包含文本信息包括:确定上述目标图片的格式为PNG,上述目标图片包含文本数据块的;或者,确定上述目标图片的格式为GIF,上述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,上述信源选择器704用于确定上述目标图片由设备自动生成包括:对上述目标图片进行内容识别,依上述内容识别的结果确定上述目标图片包含文本信息,或者,依上述内容识别的结果确定上述目标图片由设备自动生成。
在一种可选的实现方式中,上述信源选择器704确定上述目标图片为自然图片包括:确定上述目标图片包含摄像头信息。
在一种可选的实现方式中,上述有损压缩方式包括:YUV420;上述无损压缩方式包括:YUV444。
在一种可选的实现方式中,上述图片解码器701用于将上述目标图片解码为RGB数据。
八方面本发明实施例还提供了一种图像处理设备,如图7所示,包括:图片解码器701、信源转换器702以及视频编码器703,还包括:信源选择器 704;
目标图片经上述图片解码器701解码后,输出给上述信源选择器704;
上述信源选择器704在确定目标图片的高频分量小于第一阈值的情况下选择有损压缩方式,在确定上述目标图片的高频分量大于第二阈值的情况下选择无损压缩方式;
上述信源转换器702依上述信源选择器704确定的压缩方式对解码后的上述目标图片进行转换处理后输出给上述视频编码器703。
在一种可选的实现方式中,上述信源选择器704,还用于对上述目标图片进行高频分量检测,确定上述目标图片的高频分量小于第一阈值,或者,确定上述目标图片的高频分量大于第二阈值。
在一种可选的实现方式中,上述信源选择器704用于确定上述目标图片的高频分量大于第二阈值包括:
确定上述目标图片包含文本信息,或者,确定上述目标图片由设备自动生成。
在一种可选的实现方式中,上述信源选择器704用于确定上述目标图片包含文本信息包括:
确定上述目标图片的格式为PNG,上述目标图片包含文本数据块;或者,确定上述目标图片的格式为GIF,上述目标图片包含图片文件扩展数据块。
在一种可选的实现方式中,上述信源选择器704,还用于对上述目标图片进行内容识别;依上述内容识别的结果确定上述目标图片包含文本信息,或者,依上述内容识别的结果确定上述目标图片由设备自动生成。
在一种可选的实现方式中,上述信源选择器704,用于确定目标图片的高频分量小于第一阈值包括:确定上述目标图片包含摄像头信息。
在一种可选的实现方式中,上述有损压缩方式包括:YUV420;上述无损压缩方式包括:YUV444。
以上图像处理设备可以是移动设备,例如:手机、个人电脑等;也可以是服务器设备,例如:社交平台服务器、即时通讯服务器等。因此以上图像处理设备可以是这些设备中的组成部分,因此可以基于这些设备的硬件结构,这些设备的硬件结构本发明实施例不赘述。其中图7中各组成部分以硬件形式存在。
值得注意的是,上述图像处理设备实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
另外,本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成,相应的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种图片转码方法,其特征在于,包括:
将目标图片输入到转码***后,通过所述转码***中的图片解码器对所述目标图片进行解码,得到解码后的数据;所述解码后的数据用于指示所述转码***中的信源选择器进行判决,所述转码***包括所述图片解码器、所述信源选择器、信源转换器以及视频编码器,所述信源转换器用于将所述解码后的数据转换为YUV格式的数据,并将所述YUV格式的数据发送至所述视频编码器中进行视频编码;
若所述解码后的数据包括摄像头可交换图像文件exif信息,则所述信源选择器判决所述目标图片为自然图片;
若所述解码后的数据包括文本信息,则所述信源选择器判决所述目标图片为非自然图片,所述文本信息包括文本信息数据块tEXt、压缩文本数据块zTXt和/或图形文本扩展数据块;
在所述信源选择器判决所述目标图片为自然图片的情况下,采用有损压缩方式作为输入源进行转码视频编码输入;所述自然图片是自然生成的图片,所述有损压缩方式包括YUV420;
在所述信源选择器判决所述目标图片为非自然图片的情况下,采用无损压缩方式作为输入源进行转码视频编码输入,所述无损压缩方式包括YUV444;所述非自然图片包含以下至少一种:设备自动生成或者与所述自然图片存在特性区别的图片。
2.根据权利要求1所述方法,其特征在于,所述目标图片为非自然图片包括:
所述目标图片包含所述文本信息,或者,所述目标图片由设备自动生成。
3.根据权利要求2所述方法,其特征在于,所述目标图片包含文本信息包括:
所述目标图片的格式为PNG,所述目标图片包含所述文本信息数据块tEXt和/或所述压缩文本数据块zTXt;
或者,所述目标图片的格式为GIF,所述目标图片包含所述图形文本扩展数据块。
4.根据权利要求2所述方法,其特征在于,所述目标图片包含文本信息,或者,所述目标图片由设备自动生成包括:
对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
5.根据权利要求1所述方法,其特征在于,所述目标图片为自然图片包括:
所述目标图片包含所述摄像头可交换图像文件exif信息。
6.根据权利要求1所述方法,其特征在于,所述对所述目标图片进行解码,得到解码后的数据,包括:将所述目标图片解码为RGB数据。
7.一种图片转码方法,其特征在于,所述方法由转码***中的信源选择器执行,所述信源选择器用于接收由所述转码***中的图片解码器对目标图片进行解码后所得到的解码后的数据;若所述解码后的数据包括摄像头可交换图像文件exif信息,则所述信源选择器判决所述目标图片为自然图片;若所述解码后的数据包括文本信息,则所述信源选择器判决所述目标图片为非自然图片,所述文本信息包括文本信息数据块tEXt、压缩文本数据块zTXt和/或图形文本扩展数据块;所述转码***包括所述图片解码器、所述信源选择器、信源转换器以及视频编码器,所述信源转换器用于将所述解码后的数据转换为YUV格式的数据,并将所述YUV格式的数据发送至所述视频编码器中进行视频编码;所述目标图片为输入所述转码***中的图片,所述方法包括:
在无法确定所述解码后的数据是否包括所述摄像头可交换图像文件exif信息和所述文本信息的情况下,基于所述解码后的数据对目标图片进行高频分量检测,获得所述目标图片的高频分量;
在目标图片的高频分量小于第一阈值的情况下,采用有损压缩方式作为输入源进行转码视频编码输入,所述有损压缩方式包括YUV420;
在所述目标图片的高频分量大于第二阈值的情况下,采用无损压缩方式作为输入源进行转码视频编码输入,所述无损压缩方式包括YUV444。
8.一种图片转码的装置,其特征在于,包括:
解码单元,用于将目标图片输入到转码***后,通过所述转码***中的图片解码器对所述目标图片进行解码,得到解码后的数据;所述解码后的数据用于指示所述转码***中的信源选择器进行判决,所述转码***包括所述图片解码器、所述信源选择器、信源转换器以及视频编码器,所述信源转换器用于将所述解码后的数据转换为YUV格式的数据,并将所述YUV格式的数据发送至所述视频编码器中进行视频编码;
转码单元,用于在所述信源选择器判决所述目标图片为自然图片的情况下,采用有损压缩方式作为输入源进行转码视频编码输入,所述有损压缩方式包括YUV420;所述自然图片是自然生成的图片;其中,若所述解码后的数据包括摄像头可交换图像文件exif信息,则所述信源选择器判决所述目标图片为自然图片;
所述转码单元,还用于在所述信源选择器判决所述目标图片为非自然图片的情况下,采用无损压缩方式作为输入源进行转码视频编码输入,所述无损压缩方式包括YUV444;所述非自然图片包含以下至少一种:设备自动生成或者与所述自然图片存在特性区别的图片;其中,若所述解码后的数据包括文本信息,则所述信源选择器判决所述目标图片为非自然图片,所述文本信息包括文本信息数据块tEXt、压缩文本数据块zTXt和/或图形文本扩展数据块。
9.根据权利要求8所述装置,其特征在于,所述目标图片为非自然图片包括:
所述目标图片包含所述文本信息,或者,所述目标图片由设备自动生成。
10.根据权利要求9所述装置,其特征在于,所述目标图片包含文本信息包括:
所述目标图片的格式为PNG,所述目标图片包含所述文本信息数据块tEXt和/或所述压缩文本数据块zTXt;
或者,所述目标图片的格式为GIF,所述目标图片包含所述图形文本扩展数据块。
11.根据权利要求9所述装置,其特征在于,所述装置还包括:
内容识别单元,用于对所述目标图片进行内容识别,依所述内容识别的结果确定所述目标图片包含文本信息,或者,依所述内容识别的结果确定所述目标图片由设备自动生成。
12.根据权利要求8所述装置,其特征在于,所述目标图片为自然图片包括:
所述目标图片包含所述摄像头可交换图像文件exif信息。
13.一种图片转码的装置,其特征在于,所述装置运行在转码***中的信源选择器中,所述信源选择器用于接收由所述转码***中的图片解码器对目标图片进行解码后所得到的解码后的数据;若所述解码后的数据包括摄像头可交换图像文件exif信息,则所述信源选择器判决所述目标图片为自然图片;若所述解码后的数据包括文本信息,则所述信源选择器判决所述目标图片为非自然图片,所述文本信息包括文本信息数据块tEXt、压缩文本数据块zTXt和/或图形文本扩展数据块;所述转码***包括所述图片解码器、所述信源选择器、信源转换器以及视频编码器,所述信源转换器用于将所述解码后的数据转换为YUV格式的数据,并将所述YUV格式的数据发送至所述视频编码器中进行视频编码;所述目标图片为输入所述转码***中的图片,包括:
分量检测单元,用于在无法确定所述解码后的数据是否包括所述摄像头可交换图像文件exif信息和所述文本信息的情况下,基于所述解码后的数据对目标图片进行高频分量检测,确定所述目标图片的高频分量小于第一阈值,或者,确定所述目标图片的高频分量大于第二阈值;
转码单元,用于在目标图片的高频分量小于第一阈值的情况下,采用有损压缩方式作为输入源进行转码视频编码输入,所述有损压缩方式包括YUV420;在所述目标图片的高频分量大于第二阈值的情况下,采用无损压缩方式作为输入源进行转码视频编码输入,所述无损压缩方式包括YUV444。
14.一种图像处理设备,其特征在于,包括处理器,所述处理器被配置用于调用存储的程序代码,执行如权利要求1-6任一项所述的方法或者权利要求7所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法或者权利要求7所述的方法。
CN201710283315.5A 2017-04-26 2017-04-26 一种图片转码方法、装置及图像处理设备 Active CN108810537B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710283315.5A CN108810537B (zh) 2017-04-26 2017-04-26 一种图片转码方法、装置及图像处理设备
PCT/CN2018/082626 WO2018196614A1 (zh) 2017-04-26 2018-04-11 图片转码方法、计算设备及存储介质
TW107113598A TWI669947B (zh) 2017-04-26 2018-04-20 圖片轉碼方法、計算設備及儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710283315.5A CN108810537B (zh) 2017-04-26 2017-04-26 一种图片转码方法、装置及图像处理设备

Publications (2)

Publication Number Publication Date
CN108810537A CN108810537A (zh) 2018-11-13
CN108810537B true CN108810537B (zh) 2023-04-07

Family

ID=63919432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710283315.5A Active CN108810537B (zh) 2017-04-26 2017-04-26 一种图片转码方法、装置及图像处理设备

Country Status (3)

Country Link
CN (1) CN108810537B (zh)
TW (1) TWI669947B (zh)
WO (1) WO2018196614A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308098B (zh) * 2019-07-26 2024-06-07 杭州海康威视数字技术股份有限公司 一种图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751483B1 (en) * 2004-04-16 2010-07-06 Majesco Entertainment Company Video codec for embedded handheld devices
CN104025561A (zh) * 2012-11-23 2014-09-03 华为技术有限公司 图像压缩方法及图像处理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194140B2 (en) * 2001-11-05 2007-03-20 Canon Kabushiki Kaisha Image processing apparatus and method which compresses image data of each region using a selected encoding method
CN1224926C (zh) * 2002-12-04 2005-10-26 中国科学院计算技术研究所 压缩域体育视频定位标题文字的方法
JP4393319B2 (ja) * 2004-09-08 2010-01-06 キヤノン株式会社 画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US7881384B2 (en) * 2005-08-05 2011-02-01 Lsi Corporation Method and apparatus for H.264 to MPEG-2 video transcoding
CN100425066C (zh) * 2005-09-23 2008-10-08 逐点半导体(上海)有限公司 图像压缩的方法
CN100514366C (zh) * 2006-11-30 2009-07-15 腾讯科技(深圳)有限公司 一种图像压缩方法和装置
FR2940577B1 (fr) * 2008-12-23 2011-04-22 Sagem Comm Procede d'encodage par segmentation d'une image.
CN102164167B (zh) * 2011-02-21 2014-10-15 北京奇虎科技有限公司 一种用于远程控制的分类传输方法和***
CN102611823B (zh) * 2012-01-13 2014-06-04 百度在线网络技术(北京)有限公司 一种基于图片内容选择压缩算法的方法和设备
CN102630043B (zh) * 2012-04-01 2014-11-12 北京捷成世纪科技股份有限公司 一种基于对象的视频转码方法和装置
CN103873877A (zh) * 2012-12-14 2014-06-18 华为技术有限公司 远程桌面的图像传输方法及装置
CN103886623B (zh) * 2012-12-19 2017-03-15 华为技术有限公司 一种图像压缩方法、设备及***
KR102437698B1 (ko) * 2015-08-11 2022-08-30 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 인코딩 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751483B1 (en) * 2004-04-16 2010-07-06 Majesco Entertainment Company Video codec for embedded handheld devices
CN104025561A (zh) * 2012-11-23 2014-09-03 华为技术有限公司 图像压缩方法及图像处理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭文勇 ; 孙怡 ; 濮怀宇 ; .一种图像不同区域的编解码压缩算法.计算机技术与发展.2009,(第08期),全文 . *

Also Published As

Publication number Publication date
WO2018196614A1 (zh) 2018-11-01
CN108810537A (zh) 2018-11-13
TWI669947B (zh) 2019-08-21
TW201907714A (zh) 2019-02-16

Similar Documents

Publication Publication Date Title
WO2020108018A1 (zh) 游戏场景处理方法、装置、电子设备以及存储介质
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
US10198628B2 (en) Method and apparatus for determining a document suitability for server-based optical character recognition (OCR) processing
CN109120988B (zh) 解码方法、装置、电子设备以及存储介质
CN110740316A (zh) 数据编码方法及装置
CN111654721A (zh) 视频处理方法、***、电子设备及存储介质
CN110691246B (zh) 视频编码方法、装置及电子设备
JPH11167623A (ja) 画像処理装置及び画像処理方法
CN113068034A (zh) 视频编码方法及装置、编码器、设备、存储介质
CN111970565A (zh) 视频数据处理方法、装置、电子设备及存储介质
CN108810537B (zh) 一种图片转码方法、装置及图像处理设备
CN112468792B (zh) 图像识别方法、装置、电子设备及存储介质
CN113452996A (zh) 一种视频编码、解码方法及装置
JP4441300B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
CN112001842A (zh) 图片生成方法、装置、电子设备及计算机可读存储介质
CN113613024B (zh) 视频预处理方法及设备
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
CN110378973B (zh) 图像信息处理方法、装置以及电子设备
CN114390307A (zh) 图像画质增强方法、装置、终端及可读存储介质
US20230177734A1 (en) System, Device, and Method for Improved Encoding and Enhanced Compression of Images, Videos, and Media Content
US20220046144A1 (en) Apparatus, method, and storage medium
CN111831366A (zh) 一种图像数据的发送方法、装置及相关组件
CN113989136A (zh) 清晰度增强方法、终端及存储介质
CN115426519A (zh) H265视频在浏览器中的播放方法及***
CN113808225A (zh) 一种图像的无损编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant