CN112040240B - 数据处理方法、设备和存储介质 - Google Patents

数据处理方法、设备和存储介质 Download PDF

Info

Publication number
CN112040240B
CN112040240B CN202011212659.5A CN202011212659A CN112040240B CN 112040240 B CN112040240 B CN 112040240B CN 202011212659 A CN202011212659 A CN 202011212659A CN 112040240 B CN112040240 B CN 112040240B
Authority
CN
China
Prior art keywords
image data
layer image
base layer
code stream
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202011212659.5A
Other languages
English (en)
Other versions
CN112040240A (zh
Inventor
李文广
赵文军
周长波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202011212659.5A priority Critical patent/CN112040240B/zh
Publication of CN112040240A publication Critical patent/CN112040240A/zh
Application granted granted Critical
Publication of CN112040240B publication Critical patent/CN112040240B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种数据处理方法、设备和存储介质,从原始图像中得到待处理图像数据,基于第一预设编码规则对基本层图像数据进行编码,基于第二预设编码规则对增强层图像数据进行编码,从而对待处理图像数据的精度尽可能地进行保留,保证待处理图像数据的动态范围和后期编辑空间,再通过根据基本层图像码流以及增强层图像码流,生成最终的目标图像码流,达到兼容的目的。

Description

数据处理方法、设备和存储介质
技术领域
本发明涉及数据处理领域,尤其涉及一种数据处理方法、设备和存储介质。
背景技术
随着图像传感器硬件性能的逐渐增加,相机所能拍摄的实际场景的动态范围也越来越大。而当前互联网使用最为广泛的主流图像压缩格式,如,JPEG(Joint PhotographicExperts Group,是由联合图像专家组提出的一种针对静止图像的有损压缩国际标准),由于数据位深的限制只能够保留相机所拍摄场景的部分动态范围。
近些年来,为了适应高动态范围(High Dynamic Range, HDR)图像,一些支持高位深的图像压缩技术也不断被提出来,但是对一些主流图像格式并不兼容。
发明内容
本发明提供了一种数据处理方法、设备和存储介质,可以用于将高动态范围图像与主流图像格式的图像进行兼容。
本发明的第一方面是为了提供一种数据处理方法,包括:获取原始图像数据,对所述原始图像数据做非线性图像变换处理得到待处理图像数据;从所述待处理图像数据或所述原始图像数据中提取预设数据量的基本层图像数据;基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流;基于所述待处理图像数据和所述基本层图像数据计算残差,基于所述残差确定增强层图像数据;基于第二预设编码规则对所述增强层图像数据进行编码,得到增强层图像码流;将所述增强层图像码流写入所述基本层图像码流中的预设字段,以生成目标图像码流。
本发明的第二方面是为了提供一种数据处理方法,包括:获取目标图像码流;基于第一预设解码规则对所述目标图像码流进行解码,得到基本层图像数据。
本发明的第三方面是为了提供一种电子设备,包括:存储器、处理器以及图像采集装置;所述存储器,用于存储计算机程序;所述图像采集装置,用于获取原始图像数据;所述处理器调用所述计算机程序,以实现如下步骤:获取原始图像数据,对所述原始图像数据做非线性图像变换处理得到待处理图像数据;从所述待处理图像数据或所述原始图像数据中提取预设数据量的基本层图像数据;基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流;基于所述待处理图像数据和所述基本层图像数据计算残差,基于所述残差确定增强层图像数据;基于第二预设编码规则对所述增强层图像数据进行编码,得到增强层图像码流;将所述增强层图像码流写入所述基本层图像码流中的预设字段,以生成目标图像码流。
本发明的第四方面是为了提供一种电子设备,包括:存储器、处理器以及通信组件;所述存储器,用于存储计算机程序;所述通信组件,用于获取目标图像码流;所述处理器调用所述计算机程序,以实现如下步骤:基于第一预设解码规则对所述目标图像码流进行解码,得到基本层图像数据。
本发明的第五方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第一方面以及第二方面所述的方法。
本申请实施例提供了一种数据处理方法,获取原始图像数据,对所述原始图像数据做非线性图像变换处理得到待处理图像数据;从所述待处理图像数据或所述原始图像数据中提取预设数据量的基本层图像数据;基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流;基于所述待处理图像数据和所述基本层图像数据计算残差,基于所述残差确定增强层图像数据;基于第二预设编码规则对所述增强层图像数据进行编码,得到增强层图像码流;将所述增强层图像码流写入所述基本层图像码流中的预设字段,以生成目标图像码流。
通过将对基本层图像数据进行编码,以及对增强层图像数据进行编码,并生成目标图像码流,从而完成对待处理图像数据的编码,同时可以兼容增强层图像数据码流以及基本层图像数据码流。
此外,由于对原始图像数据做非线性图像变换处理得到待处理图像数据,所以待处理图像数据则可以是HDR图像数据,那么则可以最终对HDR图像数据进行编码。其中,基本层图像数据则可以属于主流图像格式的图像数据,如,JPEG等图像数据。那么将增强层图像码流写入基本层图像码流中的预设字段,以生成目标图像码流,则可以以主流图像格式的图像码流为载体,编码HDR图像数据,从而可以根据不同的需求,即可以解码主流图像格式的图像数据,也可以解码HDR图像数据。
基于此,可以大大提高了HDR图像的传播性。
此外,若解码端可解码目标图像码流中的全部信息,可以得到一个接近于待处理图像的动态范围较高图像。由于待处理图像数据逼近原图图像信息量,因此具有较大的后期编辑空间。给用户提供更多的创作空间和自由度。
同时,由于待处理图像数据(即HDR图像数据)是从由原始图像进行非线性变换后得到的,从而使得待处理图像数据对应的待处理图像比原始图像在视觉上更为相近基本层图像,接近用户拍摄时的观感,对图像传播中保持统一较为一致的观感有利,便于用户的后期编辑操作,对用户更加友好。
相对的,基于上述数据处理方法的本申请实施例另提供的方法以及对应设备和存储介质,也可以具有上述对应的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例提供的一种数据处理方法的流程示意图;
图2为本发明实施例提供的数据处理方法的示意图;
图3为本发明实施例提供的划分成slice的示意图;
图4为本发明实施例提供的对slice划分的示意图;
图5为本发明实施例提供的扫描block的示意图;
图6为本发明实施例提供的扫描slice的示意图;
图7为本发明实施例提供的增强层图像码流的示意图;
图8为本发明实施例提供的增强层图像码流的头信息的示意图;
图9为本发明实施例提供的增强层图像码流的头信息的示意图;
图10为本发明实施例提供的一种数据处理方法的流程示意图;
图11为本发明实施例提供的一种数据处理方法的流程示意图;
图12为本发明实施例提供的一种数据处理装置的结构示意图;
图13为本发明实施例提供的一种数据处理装置的结构示意图;
图14为本发明实施例提供的一种数据处理装置的结构示意图;
图15为本发明实施例提供的一种电子设备的结构示意图;
图16为本发明实施例提供的一种电子设备的结构示意图;
图17为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
为了便于理解本申请的技术方案和技术效果,下面对现有技术进行简要说明:
基于前文所述可知,由于HDR图像越来越多,当前针对HDR图像的压缩方式往往是直接对高位深的图像进行压缩,这样的话,在高位深的显示设备还不普及并且还不兼容传统图像格式,如JPEG,的情况下,很难受到市场的广泛支持。
此外,虽然JPEG XT图像压缩标准,能够在兼容JPEG的基础上对HDR图像进行压缩,但是该压缩方案却是针对传输端的,其解码出来的图像是在线性空间,对于有想对解码后的图像进行后期编辑的用户很不友好。而且由于图像都是使用8bit的JPEG进行压缩。数据精度的不足影响了图像后期编辑的空间。
因此,为了解决以上问题,本申请实施例提出的方案。从原始图像中得到待处理图像数据,基于第一预设编码规则对基本层图像数据进行编码,基于第二预设编码规则对所述增强层图像数据进行编码,从而对待处理图像数据的精度尽可能地进行保留,保证待处理图像数据的动态范围和后期编辑空间,再通过根据基本层图像码流以及增强层图像码流,生成最终的目标图像码流,达到兼容的目的。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种数据处理方法的流程示意图;本申请实施例提供的该方法100可以由可具有编码器的电子设备执行,该编码器可以设置在电子设备中,电子设备可以为,相机、无人机、手持云台、手机、平板电脑等,具有摄像和/或照相功能的电子设备均可。该方法100包括以下步骤:
101:获取原始图像数据,对原始图像数据做非线性图像变换处理得到待处理图像数据。
102:从待处理图像数据或原始图像数据中提取预设数据量的基本层图像数据。
103:基于第一预设编码规则对基本层图像数据进行编码,得到基本层图像码流。
104:基于待处理图像数据和基本层图像数据计算残差,基于残差确定增强层图像数据。
105:基于第二预设编码规则对增强层图像数据进行编码,得到增强层图像码流。
106:将增强层图像码流写入基本层图像码流中的预设字段,以生成目标图像码流。
相对的,在对待处理图像数据进行编码之后,还可以对目标图像码流进行解码,该解码过程可以是待处理图像数据进行编码的逆过程,其可以通过具有解码器的电子设备进行实现,该解码器可以与编码器同时设置在通过一个电子设备中,也可以分别独立在不同的电子设备中进行配对使用。
以下针对上述步骤进行详细地阐述:
101:获取原始图像数据,对原始图像数据做非线性图像变换处理得到待处理图像数据。
其中,原始图像数据为高动态范围的图像数据。原始图像数据包括线性图像数据或者非线性图像数据。线性图像数据可以是通过图像传感器采集的得到的图像数据。非线性图像数据可以是基于多张图像生成的高动态范围图像数据,也可以是通过图像传感器采集的得到的图像数据。
其中,原始图像数据可以是指从电子设备中的图像采集装置采集的原始图像数据,该原始图像数据可以为线性图像数据,该图像数据可以是线性HDR图像数据。其中,图像采集装置可以是相机、摄像头等,如可以通过手机来获取到原始图像数据,该原始图像数据可以为16bit(位)的线性图像数据。
在获取到原始图像数据后,可以从该原始图像数据中获取到待处理图像数据,可以为非线性图像数据,其大小可以为12bit。获取方式可以包括以下几种方式:
例如,根据前文所述,手机的摄像头拍摄外部环境的图像,该图像为16bit的线性图像数据。手机中的编码器在获取到该图像数据后,可以通过非线性图像变换,得到12bit的非线性图像数据,作为中间层图像数据,并可以直接作为待处理图像数据,该待处理图像数据可以是非线性HDR图像数据。
需要说明的是,也可以对原始图像数据做线性图像变换处理得到待处理图像数据,具体的实施过程与前文所述相似,此处就不再赘述。仅说明:例如,将16bit原始图像数据线性图像变换处理(如,线性剪裁)到15bit图像数据。这样可以压缩数据量,便于后续图像处理。
由于是针对该非线性HDR图像数据进行编码,且该HDR图像是通过原始图像进行非线性变换/线性变换得到的,那么该HDR图像相比原始图像而言,会更接近显示设备(即显示设备可以具有解码器的电子设备的显示设备)所支持的可展示图像。如,传统显示设备通常支持较低位深的图像,如8bit图像,对于16bit原始图像非线性变换到12bitHDR图像,实际上数据量不会减少太多。在非线性变换中,保留人眼更敏感的细节信息,对人不敏感的细节信息做更大的压缩。且,在视觉效果上,对于非线性12bitHDR图像会更接近于8bit图像,而线性16bit原始图像,则不太接近8bit图像。由于在视觉效果上12bitHDR图像更接近于8bit图像,那么对于用户的观看而言,12bitHDR图像会更友好,且12bitHDR图像又还保留有高位深图像的信息,所以也给用户留有了编辑的空间。无论是视觉效果上还是编辑上,对于用户都非常友好。
为了能够在视觉效果上更加贴近与显示设备所展示的图像,或者,能够保留更多的高位深图像的信息,可以不单单仅进行一次非线性变换,得到待处理图像数据。还可以继续在该非线性变换基础进行再次的非线性变换。
具体的,对原始图像数据做非线性图像变换处理得到待处理图像数据,包括:对原始图像数据做至少一次非线性图像变换处理得到待处理图像数据。
例如,根据前文所述,手机中的编码器在得到上述12bit图像数据后,还可以继续进行非线性变化来得到10bit图像数据,作为非线性HDR图像数据。
相对的,对原始图像数据做线性图像变换处理得到待处理图像数据,包括:对原始图像数据做至少一次线性图像变换处理得到待处理图像数据。
还可以,对原始图像数据做至少一次非线性图像变换处理和至少一次线性图像变换处理得到待处理图像数据。应理解,对非线性图像变换处理和线性图像变换处理,的处理顺序不限定。
例如,根据前文所述,手机在该12bit图像数据基础上继续进行线性压缩,如线性剪裁,得到10bit图像数据,作为最终的非线性HDR图像数据。或者,根据前文所述,手机中的编码器可以针对16bit原始图像数据进行非线性图像变换处理,得到14bit图像数据,然后对该14bit图像数据进行一次线性剪裁,得到12bit图像数据。在该12bit图像数据基础上,再进行一次线性剪裁,得到10bit图像数据,作为最终的非线性HDR图像数据。
需要说明的是,对于原始图像而言,当可以采集到更大的图像,如20bit原始图像数据等等。那么随着原始图像数据的增大,上述针对该原始图像数据的变换过程也可以增多,不拘泥于一次、二次的压缩过程,应理解的是,第一次对原始图像数据进行变换的过程可以是非线性图像变换处理,然后继续多次的线性图像变换处理等。
相对的,也可以针对不同的显示设备来选择最终的待处理图像数据的数据量,如果显示设备可以支持更大的展示图像数据,如,10bit图像数据、12bit图像数据等。都可以随着其改变上述变换次数以及图像变换的目标,但是变换的具体实施步骤是相似的,就不再赘述。
为了能够满足用户的自主性,也可以用户来主导上述图像变换的过程。
具体的,对原始图像数据做非线性图像变换处理得到待处理图像数据,包括:基于图像精度损失,确定原始图像数据的非线性图像变换的目标;基于非线性图像变换的目标,对原始图像做非线性图像变换处理得到待处理图像数据。
其中,图像精度损失是指图像在变换过程中所损失的精度,其根据图像数据最终变换目标来确定。在本申请实施例中,该图像精度损失是已经预置好的,可以为多个,每个损失都可以对应一个最终变换目标,即图像最终变换的数据量。如,图像数据最终被变换到10bit图像数据或12bit图像数据或14bit图像数据等。且每个变换目标也可以对应预置好的变换过程。
例如,根据前文所述,手机中的编码器可以通过展示设备,如编码器所在手机的屏幕,来预先显示出各个变换目标,供用户选择。手机中的编码器响应于用户的选择,确定最终的变换目标,通过上述过程,以及变换目标对原始图像进行变换,得到待处理图像数据,并作为最终的非线性HDR图像数据。
需要说明的是,除了上述变换目标外,还可以设置变换次数,从而根据变换过程的次数来确定其变换过程。由于前文阐述过类似的内容,此处就不再赘述。
此外,对于线性图像变换处理来说也可以:对原始图像数据做线性图像变换处理得到待处理图像数据,包括:基于图像精度损失,确定原始图像数据的线性图像变换的目标;基于线性图像变换的目标,对原始图像做线性图像变换处理得到待处理图像数据。此处就不再赘述。
在另一实施方式中,获取原始图像数据,对原始图像数据做图像变换处理得到待处理图像数据。该图像变换处理可以包括线性变换处理、非线性变换处理,或者线性变换处理与非线性变换组合处理。
102:从待处理图像数据或原始图像数据中提取预设数据量的基本层图像数据。
此外,基本层图像数据是指基础数据位深的图像数据,即低位深图像数据,其动态范围也是基础动态范围。如8bit图像数据。该基本层图像数据是符合传统显示设备的可展示图像数据的。
其中,从待处理图像数据或原始图像数据中提取预设数据量的基本层图像数据,包括:对待处理图像数据或原始图像数据做线性图像变换处理得到预设数据量的基本层图像数据。
其中,预设数据量可以根据解码器所关联的或所在的电子设备需求而定,如8bit。
例如,根据前文所述,手机中的编码器可以在获取到上述12bit图像数据后,进行线性剪裁,直接得到线性剪裁后的8bit基本层图像数据。
需要说明的是,也可以从原始图像数据中做线性图像变换处理得到预设数据量的基本层图像数据。此处就不再赘述,但应理解,基本层图像数据的动态范围是小于待处理图像数据的动态范围的。
103:基于第一预设编码规则对基本层图像数据进行编码,得到基本层图像码流。
其中,第一预设编码规则为根据JPEG编码规则确定的编码规则。此外,还可以是根据当前主流图像格式的编码规则确定的编码规则,如TIFF(标签图像文件格式,Tag ImageFile Format)、BMP(Bitmap,位图)等。以下可以以JPEG为例进行说明:
例如,根据前文所述,如图2所示,手机中的编码器可以在获取到上述基本层图像数据,根据JPEG编码规则进行编码,得到基本层图像码流。
104:基于待处理图像数据和基本层图像数据计算残差,基于残差确定增强层图像数据。
其中,残差是指从待处理图像数据除去基本层图像数据所得到的图像数据。可以直接将该残差作为增强层图像数据。
其中,增强层图像数据是指高位深图像数据与基本层图像数据之间的图像数据。其动态范围也是高动态范围,是高于基本层图像数据的动态范围的。
在一种实施方式中,可以基于步骤101中提取的待处理图像数据和由步骤102中提取的基本层数据计算残差。
在另一种实施方式中,则具体的可以为:基于待处理图像数据和预处理的基本层图像数据计算残差,包括:从待处理图像数据中减去预处理的基本层图像数据,得到残差。
例如,根据前文所述,编码器在得到待处理图像数据,12bit图像数据后,8bit基本层图像数据后,可以从12bit图像数据中减去对应的8bit图像数据,可以得到增强层图像数据。
此外,在对待处理图像数据进行编码以及解码后,对于用于解码该目标图像码流的电子设备而言,其只能从解码后的目标图像中获取到解码后的基本层图像数据(如,对应通过JPEG编码规则编码的码流),不能拿到未编解码的基本层图像数据,所以为了后续更好地对目标图像进行解码,由解码后的增强层图像数据与解码后的基本层图像数据(这里是指通过第一图像格式进行压缩,或者说进行编码的基本层图像),得到解码后的目标图像,所以在对待处理图像数据进行编码的时候,可以是针对编解码后的基本层图像数据来确定增强层图像数据的。
此外,当基本层图像数据属于编解码后的基本层图像数据时,则可以由待处理图像数据以及编解码后的基本层图像数据,得到增强层图像数据。
具体的,也可以为:该方法100还包括:对基本层图像数据做预处理,得到预处理的基本层图像数据;基于待处理图像数据和基本层图像数据计算残差,包括:基于待处理图像数据和预处理的基本层图像数据计算残差。
其中,基本层图像数据做预处理,得到预处理的基本层图像数据,包括:基于与第一预设编码规则对应的第一预设解码规则对基本层图像码流做解码处理,将解码得到数据作为预处理的基本层图像数据。
例如,根据前文所示,如图2所示,手机中的编码器在获取到基本层图像数据,即未编解码的8bit图像数据后,对其进行JPEG编码的编码。得到编码后的基本层图像数据,然后可以再经过图像解码,得到解码后的基本层图像数据。然后,在从待处理图像数据,减去对应的解码后的基本层图像数据,得到增强层图像数据。
需要说明的是,JPEG由于该标准软硬件算法实现简单,并且能够在较高的压缩倍数下保证图像的质量,使得该标准成为使用较为广泛的图像压缩标准。除了JPEG外,还可以进行其它图像格式编解码,选择哪种图像格式进行编解码,在后续整个待处理图像数据进行编码的时候,就可以针对该图像格式的图像与HDR图像进行兼容。
此外,由于在某些较为平坦的增强层图像的区域,其经过后续的增强层图像数据的编码过程,如DCT变换和量化后,就会只剩下增强层图像数据的直流分量,从而导致最终解码后的目标图像,如12bit图像,呈现块效应。为了改善最后解码后的目标图像的质量。可以在上述得到的基本层图像数据(可以是基本层图像数据,也可以为预处理的基本层图像数据)的基础上加入随机噪声(那么也相当于在增强层图像数据上加入随机噪声,因为增强层图像数据是根据加入随机噪声的基本层图像数据得到的),就可以以增加码流和部分噪声为代价来改善这种块效应。
具体的,可以是,该方法100还包括:在基本层图像数据中加入随机噪声数据;基于待处理图像数据和基本层图像数据计算残差,包括:基于待处理图像数据和加入随机噪声数据的基本层图像数据计算残差。
其中,可以是针对基本层图像数据,也可以为预处理的基本层图像数据,加入随机噪声。
由于这种情况只会出现在图像数据中特别暗的地方,因此只在基本层图像数据或预处理的基本层图像数据的灰度值小于3的地方增加0,1随机噪声。然后确定出残差。此处就不再赘述。
此外,还可以该方法100还包括:在计算出残差后,在残差中加入随机噪声数据。
另,该方法100还包括:在计算残差的过程中,加入随机噪声数据,以使得到的残差具有随机噪声数据。
为了能够更加方便地确定出增强层图像数据,在计算残差的时候,可以将待处理图像数据的动态范围与基本层图像数据(此处以及以下所涉及的基本层图像均可以是基本层图像数据,也可以为预处理的基本层图像数据)的动态范围进行对齐。
具体的,将待处理图像数据所表示的动态范围与预处理的基本层图像数据所表示的动态范围进行对齐。
例如,对齐方式可以为:hdr/16,其中,hdr为待处理图像数据,即上述非线性HDR图像数据。当hdr为12bit,且基本层图像数据为8bit图像数据,则hdr/16可以得到8bit整数和4bit小数,从而与基本层图像数据的动态范围对齐。
在确定残差的时候,如果通过预处理的基本层图像数据来确定的,那么势必预处理的基本层图像数据会带来损失,为了补偿这个损失,可以对这个损失进行补偿。
具体的,通过增强层图像数据的动态范围与基本层图像数据的动态范围的比例,对对齐后的待处理图像数据进行补偿;从将补偿后的待处理图像数据中减去预处理的基本层图像数据,得到残差。
其中,补偿的方式可以是,例如,对hdr/16的数据进行补偿,将hdr/16*drccoef,其中,*drccoef是基本层图像数据的动态范围与HDR图像(即hdr)数据的动态范围比例的倒数。补偿完,可以在减去预处理的基本层图像数据即可得到增强层图像数据。
基于前述论述可知,其中,基于待处理图像数据和预处理的基本层图像数据计算残差,包括:将待处理图像数据所表示的动态范围与预处理的基本层图像数据所表示的动态范围进行对齐;通过增强层图像数据的动态范围与基本层图像数据的动态范围的比例,对对齐后的待处理图像数据进行补偿;从将补偿后的待处理图像数据中减去预处理的基本层图像数据,得到残差。
由于前文已经阐述过了,此处就不再赘述。
为了能够优化计算方式,减少计算量,提高计算效率和时间,可以对增强层图像的数据进行选择。
具体的,该方法100还可以包括:基于残差确定增强层图像数据,包括:基于残差,得到待保留数据;从待保留数据中选择保留数据,并作为增强层图像数据。
其中,选择保留数据是指对得到的残差,进行数据保留或者数据选择。
选择保留数据的方式可以为,例如,将(hdr/16*drccoef-base)*2n,其中,n为想要保留数据的位数。根据前文可知hdr/16可以得到4位小数,所以n最大为4,最小为1。此处可以选择n为3,那么久可以保留三位小数。(hdr/16*drccoef-base)为残差。可以在该残差内加入随机噪声数据。
由于在后续图像的编码过程中,其计算过程均是对正整数进行计算的,所以还需要将小数转换为正整数。
具体的,从待保留数据中选择保留数据,并作为增强层图像数据,包括:对保留数据进行调整,得到具有正整数数据的增强层图像数据。
例如,根据前文所述,可以通过下式(1)来调整:
Figure 514656DEST_PATH_IMAGE001
(1)
其中,res为增强层图像数据,可以理解,通过2048来调整为正整数。Base可以为预处理预的基本层图像的数据。
此外,还可以直接:对残差进行调整,得到具有正整数数据的残差,直接作为增强层图像数据。
105:基于第二预设编码规则对增强层图像数据进行编码,得到增强层图像码流。
其中,第二预设编码规则是指针对增强层图像数据的编码规则,由此进行编码的。该编码过程可以包括:如图2所示,划分成slice(切片图像数据)即图2中的划分切片图像数据,DCT(Discrete Cosine Transform,离散余弦变换)变换,量化,Qp map(quantizationparameter map,量化参数表)的计算,即图2中的量化参数,系数扫描,熵编码等。其中,根据由Qp map作为基础,对DCT变换后得到DCT变换系数进行量化的,由此进行图像数据编码。而Qp map则是可以通过基本层图像数据确定的。
基于此,基于第二预设编码规则对增强层图像数据进行编码,包括:基于基本层图像数据对增强层图像数据进行编码。
在一种实施方式中,对于该第二预设编码规则可以使用JPEG,进行编码。此外,还可以使用高位深JPEG,JPEG2000,HEVC(High Efficiency Video Coding,高效率视频编码)等编码算法对应的编码规则进行替代。相应的,该对应编码过程则也可以使用诸如高位深JPEG,JPEG2000,HEVC等编码算法对应的过程进行替代。
具体的,基于基本层图像数据对增强层图像数据进行编码,包括:根据基本层图像数据,确定反映增强层图像数据被压缩情况的第一信息;基于第一信息,对增强层图像数据进行编码。
其中,第一信息是指反映增强层图像被压缩情况的信息,如Qp map,其中,Qp map中的Qp越大,则对应位置的增强层图像被压缩得越厉害,Qp越小,则对应位置的增强层图像被保存的信息越完整。应理解,该压缩也是指被去除掉的图像数据信息。
具体的,可以先确定出基本层图像数据的亮处和/或暗处对应的数量,然后通过一个数量阈值来确定Qp的大小。从而进行编码。
其中,根据基本层图像数据,确定反映增强层图像数据被压缩情况的第一信息,包括:根据基本层图像数据的亮度分布情况,确定反映增强层图像数据被压缩情况的第一信息。
基本层图像数据的亮度分布情况是指基本层图像数据中的亮处(也可以称为高亮处)以及暗处的分布情况。如果某个图像数据区域中的亮处和/或暗处所对应的数量越多,其被保存的越完整,其Qp越小。否则,Qp越大。
更具体的,根据图像中各个预置图像数据区域中亮度情况,确定高亮像素点个数;根据各个预置图像数据区域中亮度情况,确定暗处像素点个数;根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
可以通过对应图像数据的颜色信息来确定上述暗处像素点个数和高亮像素点个数。
具体的,将基本层图像由YUV格式转换为RGB格式,根据RGB格式的图像中各个预置图像数据区域中亮度情况,确定高亮像素点个数;根据YUV格式的各个预置图像数据区域中亮度情况,确定暗处像素点个数;根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
例如,根据前文所述,手机中的编码器首先将输入的YUV(颜色编码方法,“Y”表示明亮度(Luminance或Luma),也就是灰度值;而“U”和“V” 表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。)的基本层图像数据转化为RGB(RGB color mode,红、绿、蓝三色色彩模式)的图像格式的图像数据。可以基于预先将基本层图像数据划分成多个图像数据区域,对每个区域进行统计高亮处和暗处的像素点个数和。根据统计出每个区域中的高亮处和暗处的像素点的个数和进行确定,如果高亮处和暗处的像素点的个数和大于该对应区域内像素点的个数的8%(如,该区域内的像素为16*32,则大于16*32*8%),则该区域内的量化参数qIdx设置为2,否则设置为8,直至对每个区域都完成量化参数的设置,即可得到针对增强层图像数据对应的指导量化过程的Qp map。应理解,每个区域共享同一个设置的量化参数。
其中,对于将基本层图像数据划分成多个区域,其划分方式可以是上述划分成slice(切片图像数据,每8个MB被划分成一个切片图像数据,MB(Macroblock,宏块),MB的大小是16x16像素。),也可以将基本层图像数据划分为16*32的量化块(Quantization Block,QB),同一个QB内使用相同的量化参数和/或同一个slice使用相同的量化参数。应理解,可以根据需求将图像数据进行区域划分,此处不进行限制。
对于量化块而言,其确定第一信息可以为:
具体的,根据基本层图像数据的亮度分布情况,确定反映增强层图像数据被压缩情况的第一信息,包括:将基本层图像数据划分为量化块;针对各个量化块,确定对应的亮度分布情况;根据亮度分布情况,确定各个量化块的量化参数。
由于前文已经阐述过相似的实施方式,此处就不再赘述。
在针对slice的时候,其确定亮度分布情况可以具体为:针对各个切片图像数据,确定对应的亮度分布情况,包括:针对各个切片图像数据,确定对应的亮度分布情况,包括:根据各个切片图像数据中亮度情况,确定高亮像素点个数;根据各个切片图像数据中亮度情况,确定暗处像素点个数;根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
更具体的,根据各个切片图像数据中亮度情况,确定高亮像素点个数,包括:将基本层图像数据由YUV格式转换为RGB格式,并根据RGB格式的各个切片图像数据中亮度情况,确定高亮像素点个数;根据各个切片图像数据中亮度情况,确定暗处像素点个数,包括:根据YUV格式的各个切片图像数据中亮度情况,确定暗处像素点个数;根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
由于前文已经阐述过了,此处就不再赘述。
而对于根据亮度分布情况,确定slice其量化参数可以为:根据基本层图像数据的亮度分布情况,确定反映增强层图像数据被压缩情况的第一信息,包括:将基本层图像数据划分为切片图像数据;针对各个切片图像数据,确定对应的亮度分布情况;根据亮度分布情况,确定各个切片图像数据的量化参数。由于前文已经阐述过了,此处就不再赘述。
统计每个区域内高亮处和/或暗处的像素点个数,高亮处的像素确定条件是RGB三个通道存在一个通道的值大于220,则为高亮处的像素。暗处的像素确定条件是存在YUV中的Y通道的值小于64,则为暗处的像素。由此进行统计。
应理解,对于任一区域中,如果统计出来只有暗处的像素或者高亮处的像素,则可以只按照暗处的像素或者高亮处的像素的个数进行确定,如果该区域既有暗处的像素又有高亮处的像素,则可以根据暗处的像素和高亮处的像素的个数和来判断。此处就不再赘述。
而对于slice确定其量化参数可以为:
具体的,根据亮度分布情况,确定各个切片图像数据的量化参数,包括:根据亮度分布情况中的高亮像素点个数和/或暗处像素点个数,确定对应切片图像数据的量化参数。
由于前文已经阐述过了,此处就不再赘述。
需要说明的是,上述是根据图像数据内容的重要性自适应设定量化参数过程。考虑到用户在后期编辑端会对图像数据的动态范围的两端,即图像数据的亮暗部做出较大的调整,因此本申请实施例在图像数据的这些部分会使用相对较小的量化参数,使得这部分图像数据的编码质量较高,从而保证用户图像的后期编辑空间。
此外,除了根据基本层图像数据的亮度分布情况来确定第一信息外,也可以根据HDR图像数据(如,上述12bit的待处理图像数据)的亮度分布情况来确定第一信息,确定的实施过程与上述相似,就不再赘述。仅说明:将基本层图像数据替换为待处理图像数据即可。
另,针对图2中所示的增强层图像数据的编码过程,可以将其模块化来实现。如将划分成slice(切片图像数据),DCT(Discrete Cosine Transform,离散余弦变换)变换,量化,Qp map(quantization parameter map,量化参数表)的计算,系数扫描,熵编码等分别以一个子模块来实现各自对应的功能。每个子模块均可以通过输入信息,得到输出结果。对于Qp map子模块而言,其输入可以是基本层图像数据也可以是待处理图像数据,输出是Qpmap。
在确定完第一信息后,则可以进行量化。
具体的,基于第一信息,对增强层图像数据进行编码,包括:确定划分增强层图像数据的图像数据频率的第二信息;基于第一信息,对第二信息进行量化;根据量化结果,对增强层图像数据进行编码。
其中,第二信息是指用于划分增强层图像数据的图像数据频率的信息。如,DCT变换系数,其可以划分增强层图像数据的图像数据频率,将高频和低频划分出来。低频在DCT变换系数矩阵的左上角,高频在DCT变换系数矩阵的右下角,以便于后续扫描编码,多压缩图像数据的高频信息,多保留图像数据的低频信息。
其中,确定划分增强层图像数据的图像数据频率的第二信息,可以包括:
可以先对增强层图像数据划分成slice,基于每个slice再划分为8x8像素的block子块,对每个block进行2D-DCT(二维DCT)变换得到每个block的DCT变换系数。
其中,block的具体划分方式可以为:
对增强层图像数据进行划分,得到多组宏块,并将宏块划分为子块;针对子块,确定子块对应的第二信息。
其中,对增强层图像数据进行划分,得到多组宏块,并将宏块划分为子块;基于多组宏块,组合生成切片图像数据。
例如,根据前文所述,手机中的编码器在得到增强层图像数据后,为了后续顺利进行编码,可以先将输入的增强层图像数据进划分为slice。首先,将增强层图像数据被划分为宏块MB,其大小是16x16像素。MB可以接着继续划分为4个blocks,每个block的大小为8x8像素,这些blocks可以是后续处理的基本单位。
当增强层图像数据的分辨率不满足16的倍数的时候,可以先对增强层图像数据进行padding填充直到分辨率满足16的倍数。最后,增强层图像数据的每8个MB被划分成一组,称为slice。
一个slice的MB最好要处于同一MB行,当一行剩余的MB的数目不够8个MB时,slice中MB的数目可以为4,当一行剩余的MB的数目不够4个MB时,slice中MB的数目可以为2。以此类推,直到slice中仅有1个MB。
图3中给出了划分成slice的示意图。其中,每行有8个slice,共有19个slice行,共有152个slices。每个slice可以并行的编解码。其中,slice301有8个MB,slice302有4个MB,slice303有2个MB,slice304有一个MB。该划分所对应的子模块其输入可以是增强层图像数据,输出是划分后的图像数据。此外,2D-DCT变换计算公式(2)如下:可以针对每个block来确定2D-DCT变换,得到每个block对应的变化系数。
Figure 331302DEST_PATH_IMAGE002
(2)
其中,S(u,v)为DCT变换系数,x和y为像素,为0-7,u为水平方向上的频率和v为垂直方向上的频率。s(x,y)为空间域上的系数值。
需要说明的是,DCT变换所对应的子模块,其输入可以是上述划分后的图像数据,输出可以是DCT变换系数。
还值得说明是,该2D-DCT变换计算还可以通过1D-DCT一维DCT变换得到,在此基础上得到2D-DCT变换系数。具体的,可以是二维DCT变换可以分解为两次一维DCT变换,其中一维DCT变换公式(3)为:
Figure 271577DEST_PATH_IMAGE003
Figure 605081DEST_PATH_IMAGE004
(3)
其中,该公式也可以是针对每个block来确定1D-DCT变换,得到每个block对应的变化系数。X(k)为一维DCT变换变化系数,k为0、1、2……7,x(i)为block对应的图像数据信号,i是对应像素点。
其中,变换矩阵可以规划为如下形式:
Figure 362822DEST_PATH_IMAGE005
其中:
Figure 683076DEST_PATH_IMAGE006
其中,基于第一信息,对第二信息进行量化可以为:通过下式量化公式实现:
DC分量的量化公式为:
Figure 286096DEST_PATH_IMAGE007
(4)
进一步的,在某些实施例中,可以使用:
Figure 132829DEST_PATH_IMAGE008
(5)
其中,2^(bitdepth+2),bitdepth是12的时候,该值为16384。在具体处理时代码可直接带入该值进行处理。
AC分量的量化公式为:
Figure 546624DEST_PATH_IMAGE009
(6)
其中,TF[i][j] 是DCT变换后的DCT变换系数,bitdepth为DCT变换系数的位宽,QF[i][j] 是经量化后的DCT变换系数,qMat[i][j]是量化矩阵,预置好的。qIdx 是量化参数,由输入的QP map对应位置得到,floor为向下取整函数,i,j表示在8*8block中的坐标。
对于DC分量而言,由于其数值大于AC分量,为了降低其占位过多,节省存储资源以及减少后续的计算量,通过 2^(bitdepth+2),或16384进行调整,减小DC分量,即使用TF[i][j]-2^(bitdepth+2) 防止DC分量过大。
如果资源充足,且能够快速进行后续计算,也可以不进行调整,则可以直接从公式中去除掉对应项即可。
每次量化可以是以8*8为单位的block进行的。在本申请实施例中,block, MB,QB, slice之间的划分关系如图4所示。在图4中,每个小块401代表DCT变换和量化的基本结构8*8的block,每4个block组成一个MB,1个MB内4个block数据排列的顺序如图4中所示。每8个block组成一个QB(16*32),即每8个block量化时使用相同的qIdx(即同一切片图像数据中的子块共享同一个量化参数),该值从Qp map中索引。整个图4为16*16*8为一个slice的大小。
此外,图像数据纹理边界,需要特殊考虑。
此时,如果一个slice还使用相同的qIdx,但由于这个slice位于图像数据纹理边界处的话,要不该slice整个使用较小的qIdx,如2,会使得码流比较浪费,要不该slice整个使用较大的qIdx,如,8,会使得部分图像数据编码质量较差。因此,可以对这样的slice继续划分,分为更小的块,如QB,再根据上述方式重新对每个QB中统计高亮处和/或暗处的像素点的个数信息,对每个QB分配对应的qIdx,即,此时一个QB共享一个量化参数,对每个block进行量化,以完成量化。
应理解,如果是针对一个QB共用相同的量化参数。那么根据前文可知,可以从增强层图像数据的划分开始,就可以划分到QB,每个QB中包含多个block。DCT变换的时候,对其中的block进行变换。然后,量化是针对每个block进行的,此时量化中用到的量化参数则是一个QB共用一个量化参数。当然QB也可以继续划分,划分到更小的图像数据区域单元,重复上述QP map和DCT变换,来实现最终的量化,此处就不再赘述。
需要说明的是,还可以如果是针对slice使用相同的量化参数。即根据前文可知,可以针对每个slice来确定其对应的量化参数,并进行量化,然后仅对图像数据纹理边界,使用一个QB共用相同的量化参数,并进行量化。此处就不再赘述。
对于量化功能对应的子模块其输入时DCT变换系数和QP map,输出为量化系数。
在得到量化结果后,可以对量化结果,即量化系数,进行扫描,并进行编码,生成码流。
具体的,根据量化结果,对增强层图像数据进行编码,包括:对量化结果进行扫描,并对扫描后的量化结果进行编码;得到增强层图像码流包括:基于编码结果生成增强层图像数据码流。
其中,扫描方式可以为:对量化结果进行扫描,包括:根据预置扫描方式对各个子块中的量化结果进行扫描,得到第一扫描后的量化结果;针对切片图像数据,按照第一扫描后的量化结果顺序扫描切片图像数据中各个子块中的量化结果,得到第二扫描后的量化结果,作为最终的扫描后的量化结果。
其中,预置扫描方式可以为progressive渐进扫描方式。
在扫描前,还是基于slice中的子块来进行扫描的,所以对增强层图像数据进行划分,得到多组宏块,并将宏块划分为子块;基于多组宏块,组合生成切片图像数据。
例如,根据前文所述,如图5所示,该图5是手机中的编码器通过progressive扫描方式进行扫描的,即对每个block进行单独的扫描,拿到扫描结果,即重新排序后的block结果。其中,图5中左图是扫描前的block,右图是通过progressive扫描方式扫描block,其中箭头方向表示扫描的顺序。然后,对8x8block的扫描完成后,要对slice中的所有8x8block进行扫描,先扫描每个block中相同位置的频率分量再扫描每个block中的下一频率分量,扫描顺序为低频到高频。如图6箭头方向所示。在图6中,如从0位置开始扫描,按照频率顺序进行扫描。在一实施例中,可以是频率分量由低到高进行扫描。先对同一位置的频率分量,最低频率分量的小块(像素)扫描,然后再顺序扫描下一个位置的频率分量的小块(像素),也即,扫描下一频率分量直到结束。
需要说明的是,对于扫描功能对应的子模块,其输入是量化系数,输出是扫描后重新排序的量化系数。
在扫描完成后,则对扫描后重新排序的量化系数进行编码。
例如,根据前文所述,手机中的编码器对扫描后重新排序的量化系数进行熵编码。本申请实施例熵编码过程采用的是Rice-golomb(Rice-golomb编码,莱斯-格伦布编码)混合熵编码。
上述熵编码功能的子模块的输入是扫描后重新排序的量化系数,输出是熵编码后的二进制序列。
106:将增强层图像码流写入基本层图像码流中的预设字段,以生成目标图像码流。
其中,预设字段可以根据不同编码规则选择对应的预设字段。例如,对于JPEG所对应的编码规则而言,可以是紧跟APP0应用段的位置。
例如,根据前文所述,手机中的编码器找到基本层图像码流的APP0应用段的位置(码流标记字符FF E0),然后读取该应用段的长度,将指针往后移动该长度,就是增强层图像码流的***的位置,并将增强层图像码流***到基本层图像码流中,输出最终的图像码流。
如果基本层图像码流中不存在APP0应用段,则在基本层图像码流的最后或者其它的自定义位置***增强层图像码流。
其中,如图7所示,增强层图像码流的组织结构。其中slice header(slice头信息)中存放着该slice中不同QB的qIdx值,每个QB的qIdx用1bit存储,1代表qIdx为8,0代表qIdx为2。
此外,在***增强层图像码流之前,还可以对增强层图像码流进行封装。例如,手机中的编码器将增强层图像码流使用APP7(码流标记字符FF E7)应用段进行封装,由于JPEG规定应用段的长度不能超过0XFFFF,因此需要对增强层图像码流进行切割,然后再封装。上述封装字段仅为举例说明,具体实施时,可以是其他APP字段。
具体的,该方法100还包括:将增强层图像码流进行分割,并将分割后的码流进行封装;将增强层图像码流写入基本层图像码流中的预设字段,包括:将封装后的码流写入到预设字段,封装后的码流具有对应的码流标识信息。
手机中的编码器将增强层图像码流进行分割,并将分割后的码流,进行封装,***到添加位置,增强层图像码流以及分割后的码流均具有对应的码流标识信息。
将增强层图像码流切割成多段后,每段就需要一定头信息来进行标记,头信息内容如图8所示,该段头信息用来描述增强层图像码流总的信息,未切割前的增强层图像码流,只记录一次。
图9示出了切割后每段增强层图像码流的头信息,每段增强层图像码流都有。
通过本申请实施例将增强层图像码流设置在基本层图像码流中,使得在不对图像进行后期编辑的情况下或者使用低位深的显示器浏览时,使用传统的图片浏览器,如,JPEG图片浏览器,就可以得到图像的基本层图像,大大提高了HDR图像的传播性。
在需要对图像进行编辑时,可以使用专有的图像浏览器可以得到HDR图像,并且该图像和在传统浏览器,如,JPEG图片浏览器,直接得到的基本层图像在视觉上是相似的,大大的简化了用户的编辑操作。
由于增强层图像使用本申请实施例中的编码方式进行编码,使得后续解码后的HDR图像具有逼近与原始图像的信息所以具有较大的后期编辑空间,从而给用户提供更多的创作空间和自由度。
具体的,若解码端可解码目标图像码流中的全部信息,可以得到一个接近于待处理图像的动态范围较高图像。由于待处理图像数据逼近原图图像信息量,因此具有较大的后期编辑空间。
以下为手机为例阐述本申请实施例的应用场景:用户可以通过手机进行拍照,拍下一张风景照。该风景照是16bit的线性空间的图像。手机将获取到的16bit图像发送至手机中的编码器,使得编码器获取到该16bit图像。由编码器自主或者通过用户选择,从16bit图像数据中得到非线性空间的HDR图像数据:12bit图像数据,作为待处理图像数据。编码器再从12bit图像数据中得到8bit图像数据:基本层图像数据。再将12bit图像数据与8bit图像数据的残差,并对该残差进行补偿以及调整,得到补偿以及调整后的正整数图像数据,作为增强层图像数据。
编码器将基本层图像数据进行JPEG的编码规则进行编码,得到JPEG的码流。同时将增强层图像数据进行增强层图像的编码规则进行编码,增强层图像码流。将增强层图像码流封装到JPEG码流中的APP7应用段中,得到HDR图像数据的码流。手机可以对该码流进行存储。
用户可以选择将第一用户设备中的16bit图像发送至第二用户设备上进行后期编辑。第一用户设备将最终得到的码流发送至第二用户设备。第二用户设备通过其设置的解码器对该码流进行解码。
当第二用户设备仅支持普通的JPEG解码器时,只能对基本层数据进行解码,电脑仅获取出JPEG码流,并进行解码以及显示,此时显示的图像为基本层图像数据。
当第二用户设备不仅具由普通JPEG解码器,还具有对应上述增强层编码规则的解码规则的解码器时,可以从最终码流中取出增强层图像数据码流,并根据对应的解码规则进行解码,最终可以得到解码后的基本层图像数据以及解码后的增强层图像数据,并将两者进行组合得到HDR图像数据进行展示,以供用户进行后期编辑。
其中,上述用户设备可以为手机、云台相机、智能穿戴设备、无人机用户设备。上述第一设备可以是具有拍照功能的设备,其在拍照后即基于图1所示的方法进行编码处理得到目标图像码流。
目标图像码流可以自第一用户设备基于有线、无线,直接传输或者经多设备中继传输至第二用户设备。例如,第一用户设备可以将目标图像码流对应的文件传输至互联网服务器,第二用户设备从该互联网服务器下载对应的文件。
需要说明的是,本方法100中所涉及的各个步骤不限定顺序,可以不按照标号以及撰写的先后顺序进行,可以存在并发执行的可能。同时,该方法100可以通过电子设备中的多个处理元器件并行工作来执行。
基于上述相似发明构思,图10为本发明实施例提供的一种数据处理方法的流程示意图;本申请实施例提供的该方法1000可以由可具有编码器的电子设备执行,该编码器可以设置在电子设备中,电子设备可以为,相机、无人机、手持云台、手机、平板电脑等,具有摄像或照相功能的电子设备均可。该方法1000包括以下步骤:
1001:获取待处理图像数据。
1002:从所述待处理图像数据提取预设数据量的基本层图像数据。
1003:基于所述待处理图像数据和所述基本层图像数据计算残差,确定增强层图像数据。
1004:基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流。
1005:基于第二预设编码规则对所述增强层图像数据进行编码,得到增强层编码数据。
1006:将所述增强层编码数据写入所述基本层图像码流中的预设字段,以生成目标图像码流。
由于前文已经详细阐述过步骤1001-1006的具体实施方式,此处就不再赘述。
在一实施例中,所述待处理图像数据可以是基于原始图像数据进行线性或非线性变换得到的。
在一实施例中,所述待处理图像数据为高动态范围的图像数据。所述原待处理图像数据包括线性图像数据或者非线性图像数据。所述线性图像数据可以是通过图像传感器采集的得到的图像数据。所述非线性图像数据可以是基于多张图像生成的高动态范围图像数据,也可以是通过图像传感器采集的得到的图像数据。
具体的,可以由图像传感器采集在短时间内对场景基于不同拍摄参多次曝光得到多张图像,将得到的多张图像合成为一张高动态范围的图像,作为步骤1001中获取的所述待处理图像数据。
由于前文已经阐述过了,此处就不再赘述。
另,所述待处理图像数据的数据量小于所述原始图像数据。
此外,所述第一预设编码规则为根据JPEG编码规则确定的编码规则。
其中,1002:从待处理图像数据提取预设数据量的基本层图像数据,可以包括:基于待处理图像数据进行线性变换,得到预设数据量的基本层图像数据。
由于前文已经阐述过了,此处就不再赘述。
另,本方法1000未能详细描述的内容,可以参照上述方法100中的各个步骤。
需要说明的是,本方法1000中所涉及的各个步骤不限定顺序,可以不按照标号以及撰写的先后顺序进行,可以存在并发执行的可能。同时,该方法1000可以通过电子设备中的多个处理元器件并行工作来执行。
基于上述相似发明构思,图11为本发明实施例提供的一种数据处理方法的流程示意图;本申请实施例提供的该方法1100可以由可具有解码器的电子设备执行,该解码器可以设置在电子设备中,电子设备可以为,相机、无人机、手持云台、手机、电脑等,具有摄像或照相功能的电子设备均可。该方法1100包括以下步骤:
1101:获取目标图像码流。
1102:基于第一预设解码规则对目标图像码流进行解码,得到基本层图像数据。
其中,第一预设解码规则是与第一预设编码规则对应的,即前文所设的第一预设编码规则,如根据JPEG编码规则确定的编码规则,相对的,第一预设解码规则可以是根据JPEG解码规则确定的解码规则。
例如,根据前文所述,电脑接收到用户手机发送的目标图像码流。电脑中的解码器获取该码流中的JPEG码流,然后根据JPEG解码规则确定的解码规则来对JPEG码流进行解码,得到基本层图像数据,以备进行展示。应理解,虽然该目标图像码流可以是JPEG码流的码流形式,但是由于其中还包含由增强层图像数据码流,所以在目标图像码流中除了包括JPEG码流外还有增强层图像数据码流。
此外,基本层图像数据用于生成基本层图像。
例如,根据前文所述,电脑中的解码器在获取到基本层图像数据后,可以根据该数据直接生成JPEG图像格式的基本层图像,可以通过电脑的显示屏进行展示。
另,该方法1100还包括:基于第二预设解码规则对目标图像码流进行解码,得到增强层图像数据;增强层图像数据用于配合基本层图像数据生成目标图像,目标图像的动态范围大于基本层图像的动态范围。
其中,第二预设解码规则与第二预设编码规则对应的,即前文所设的第二预设编码规则。第二预设解码规则可以是第二预设编码规则的逆过程。
例如,根据前文所述,电脑中的解码器还可以从目标图像码流中的APP7应用段中得到增强层图像数据码流。其中,可以是将分割后的码流进行拼接成完整的增强层图像数据码流。在得到增强层图像数据码流后,解码器可以根据前文所述的增强层图像数据编码规则(即第二预设编码规则)的的逆过程进行解码,得到增强层图像数据。最终将增强层图像数据以及基本层图像数据进行结合,得到最终的HDR图像数据,并生成HDR图像进行展示。
另,本方法1100未能详细描述的内容,可以参照上述方法100中的各个步骤。
需要说明的是,本方法1100中所涉及的各个步骤不限定顺序,可以不按照标号以及撰写的先后顺序进行,可以存在并发执行的可能。同时,该方法1100可以通过电子设备中的多个处理元器件并行工作来执行。
图12为本发明实施例提供的一种数据处理装置的结构示意图;该装置1200可以应用于可具有编码器的电子设备中,例如,相机、无人机、手持云台、手机、平板电脑等,具有摄像和/或照相功能的电子设备均可。该装置1200包括:变换模块1201、提取模块1202、第一编码模块1203、确定模块1204、第二编码模块1205以及生成模块1206。以下针对各个模块的功能进行详细的阐述:
变换模块1201,用于获取原始图像数据,对原始图像数据做非线性图像变换处理得到待处理图像数据。
提取模块1202,用于从待处理图像数据或原始图像数据中提取预设数据量的基本层图像数据。
第一编码模块1203,用于基于第一预设编码规则对基本层图像数据进行编码,得到基本层图像码流。
确定模块1204,用于基于待处理图像数据和基本层图像数据计算残差,基于残差确定增强层图像数据。
第二编码模块1205,用于基于第二预设编码规则对增强层图像数据进行编码,得到增强层图像码流。
生成模块1206,用于将增强层图像码流写入基本层图像码流中的预设字段,以生成目标图像码流。
其中,所述原始图像数据为高动态范围的图像数据。所述原始图像数据包括线性图像数据或者非线性图像数据。所述线性图像数据可以是通过图像传感器采集的得到的图像数据。所述非线性图像数据可以是基于多张图像生成的高动态范围图像数据,也可以是通过图像传感器采集的得到的图像数据。
此外,变换模块1201,还用于:对原始图像数据做线性图像变换处理得到待处理图像数据。
具体的,变换模块1201,具体用于:对原始图像数据做至少一次非线性图像变换处理得到待处理图像数据。
具体的,变换模块1201,包括:确定单元,用于基于图像精度损失,确定原始图像数据的非线性图像变换的目标;变换单元,用于基于非线性图像变换的目标,对原始图像做非线性图像变换处理得到待处理图像数据。
提取模块1202,用于:对待处理图像数据或原始图像数据做线性图像变换处理得到预设数据量的基本层图像数据。
此外,该装置1200:预处理模块,用于对基本层图像数据做预处理,得到预处理的基本层图像数据;确定模块1204,用于:基于待处理图像数据和预处理的基本层图像数据计算残差。
具体的,预处理模块,用于:基于与第一预设编码规则对应的第一预设解码规则对基本层图像码流做解码处理,将解码得到数据作为预处理的所述基本层图像数据。
具体的,确定模块1204,用于:从待处理图像数据中减去预处理的基本层图像数据,得到残差。
具体的,确定模块1204,用于:基于残差,得到待保留数据;从待保留数据中选择保留数据,并作为所述增强层图像数据。
具体的,确定模块1204,用于:对保留数据进行调整,得到具有正整数数据的增强层图像数据。
具体的,确定模块1204,包括:对齐单元,用于将待处理图像数据所表示的动态范围与预处理的基本层图像数据所表示的动态范围进行对齐;补偿单元,用于通过增强层图像数据的动态范围与基本层图像数据的动态范围的比例,对对齐后的待处理图像数据进行补偿;第一确定单元,用于从将补偿后的待处理图像数据中减去预处理的基本层图像数据,得到残差。
此外,该装置1200还包括:加入模块,用于在基本层图像数据中加入随机噪声数据;确定模块1204,用于:基于待处理图像数据和加入随机噪声数据的基本层图像数据计算残差。
此外,加入模块,还用于在计算残差的过程中,加入随机噪声数据,以使得到的残差具有随机噪声数据。
此外,加入模块,还用于在计算出残差后,在残差中加入随机噪声数据。
其中,第一预设编码规则为根据JPEG编码规则确定的编码规则。
具体的,第二编码模块1205,用于基于基本层图像数据对增强层图像数据进行编码。
具体的,第二编码模块1205,用于根据基本层图像数据,确定反映增强层图像数据被压缩情况的第一信息;基于第一信息,对增强层图像数据进行编码。
具体的,第二编码模块1205,用于根据基本层图像数据的亮度分布情况,确定反映增强层图像数据被压缩情况的第一信息。
具体的,第二编码模块1205,包括:第二确定单元,用于确定划分增强层图像数据的图像数据频率的第二信息;量化单元,用于基于第一信息,对第二信息进行量化;编码单元,用于根据量化结果,对增强层图像数据进行编码。
具体的,编码单元,用于对量化结果进行扫描,并对扫描后的量化结果进行编码;得到增强层图像码流包括:基于编码结果生成增强层图像数据码流。
此外,该装置1200还包括:划分模块,用于对增强层图像数据进行划分,得到多组宏块,并将宏块划分为子块;确定模块1204,还用于:针对子块,确定子块对应的第二信息。
此外,划分模块,还用于对增强层图像数据进行划分,得到多组宏块,并将宏块划分为子块;该装置1200还包括:组合模块,用于基于多组宏块,组合生成切片图像数据;其中,编码单元,用于:根据预置扫描方式对各个子块中的量化结果进行扫描,得到第一扫描后的量化结果;针对切片图像数据,按照第一扫描后的量化结果顺序扫描切片图像数据中各个子块中的量化结果,得到第二扫描后的量化结果,作为最终的扫描后的量化结果。
具体的,第二编码模块1205,包括:划分单元,用于将基本层图像数据划分为切片图像数据;第三确定单元,用于针对各个切片图像数据,确定对应的亮度分布情况;根据亮度分布情况,确定各个切片图像数据的量化参数。
具体的,第二编码模块1205,包括:划分单元,还用于将基本层图像数据划分为量化块;第三确定单元,用于针对各个量化块,确定对应的亮度分布情况;根据亮度分布情况,确定各个量化块的量化参数。
具体的,第三确定单元,用于:根据各个切片图像数据中亮度情况,确定高亮像素点个数;根据各个切片图像数据中亮度情况,确定暗处像素点个数;根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
具体的,第三确定单元,用于:将基本层图像数据由YUV格式转换为RGB格式,并根据RGB格式的各个切片图像数据中亮度情况,确定高亮像素点个数;根据各个切片图像数据中亮度情况,确定暗处像素点个数,包括:根据YUV格式的各个切片图像数据中亮度情况,确定暗处像素点个数;根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
具体的,第三确定单元,用于:根据亮度分布情况中的高亮像素点个数和/或暗处像素点个数,确定对应切片图像数据的量化参数。
其中,同一切片图像数据中的子块共享同一个量化参数。
此外,该装置1200还包括:分割模块,用于将增强层图像码流进行分割,并将分割后的码流进行封装;生成模块1206,用于:将封装后的码流写入到预设字段,封装后的码流具有对应的码流标识信息。
图13为本发明实施例提供的一种数据处理装置的结构示意图;该装置1300可以应用于可具有编码器的电子设备中,例如,相机、无人机、手持云台、手机、平板电脑等,具有摄像和/或照相功能的电子设备均可。该装置1300包括:获取模块1301、提取模块1302、确定模块1303、第一编码模块1304、第二编码模块1305以及生成模块1306。以下针对各个模块的功能进行详细的阐述:
获取模块1301,用于获取待处理图像数据。
提取模块1302,用于从所述待处理图像数据提取预设数据量的基本层图像数据。
确定模块1303,用于基于所述待处理图像数据和所述基本层图像数据计算残差,确定增强层图像数据。
第一编码模块1304,用于基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流。
第二编码模块1305,用于基于第二预设编码规则对所述增强层图像数据进行编码,得到增强层编码数据。
生成模块1306,用于将所述增强层编码数据写入所述基本层图像码流中的预设字段,以生成目标图像码流。
所述待处理图像数据是基于原始图像数据进行线性或非线性变换得到的。
另,所述待处理图像数据的数据量小于所述原始图像数据。
此外,所述第一预设编码规则为根据JPEG编码规则确定的编码规则。
其中,提取模块1302,用于:基于待处理图像数据进行线性变换,得到预设数据量的基本层图像数据。
需要注意的是,本实施例未详细描述的部分,可参考上述数据处理装置1200所示实施例的相关说明,在此不再赘述。
图14为本发明实施例提供的一种数据处理装置的结构示意图;该装置1400可以应用于可具有解码器的电子设备中,例如,相机、无人机、手持云台、手机、平板电脑等,具有摄像和/或照相功能的电子设备均可。该装置1400包括:获取模块1401、第一解码模块1402。以下针对各个模块的功能进行详细的阐述:
获取模块1401,用于获取目标图像码流。
第一解码模块1402,用于基于第一预设解码规则对目标图像码流进行解码,得到基本层图像数据。
其中,基本层图像数据用于生成基本层图像。
此外,该装置1400还包括:第二解码模块,用于基于第二预设解码规则对所述目标图像码流进行解码,得到增强层图像数据;增强层图像数据用于配合基本层图像数据生成目标图像,目标图像的动态范围大于基本层图像的动态范围。
需要注意的是,本实施例未详细描述的部分,可参考上述数据处理装置1200所示实施例的相关说明,在此不再赘述。
在一个可能的设计中,图12所示数据处理装置1200的结构可实现为一电子设备,该电子设备可以是,如相机、无人机、手持云台、手机、平板电脑等各种具有拍照或摄像功能的电子设备。如图15所示,该电子设备1500可以包括:一个或多个处理器1501、一个或多个存储器1502以及图像采集装置1503。其中,存储器1502用于存储支持电子设备执行上述图1-图9所示实施例中提供的数据处理方法的程序。其中,图像采集装置1503,用于获取原始图像数据;处理器1501被配置为用于执行存储器1502中存储的程序。具体的,程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器1501执行时能够实现如下步骤:
处理器1501运行存储器1502中存储的计算机程序以实现:
对原始图像数据做非线性图像变换处理得到待处理图像数据;从待处理图像数据或原始图像数据中提取预设数据量的基本层图像数据;基于第一预设编码规则对基本层图像数据进行编码,得到基本层图像码流;基于待处理图像数据和基本层图像数据计算残差,基于残差确定增强层图像数据;基于第二预设编码规则对增强层图像数据进行编码,得到增强层图像码流;将增强层图像码流写入基本层图像码流中的预设字段,以生成目标图像码流。
其中,所述原始图像数据为高动态范围的图像数据。所述原始图像数据包括线性图像数据或者非线性图像数据。所述线性图像数据可以是通过图像传感器采集的得到的图像数据。所述非线性图像数据可以是基于多张图像生成的高动态范围图像数据,也可以是通过图像传感器采集的得到的图像数据。
具体的,处理器1501,具体用于:对原始图像数据做至少一次非线性图像变换处理得到待处理图像数据。
此外,处理器1501,还用于:对原始图像数据做线性图像变换处理得到待处理图像数据。
具体的,处理器1501,具体用于:基于图像精度损失,确定原始图像数据的非线性图像变换的目标;基于非线性图像变换的目标,对原始图像做非线性图像变换处理得到待处理图像数据。
具体的,处理器1501,具体用于:对待处理图像数据或原始图像数据做线性图像变换处理得到预设数据量的基本层图像数据。
具体的,处理器1501,具体用于:对基本层图像数据做预处理,得到预处理的基本层图像数据;基于待处理图像数据和基本层图像数据计算残差,包括:基于待处理图像数据和预处理的基本层图像数据计算所述残差。
具体的,处理器1501,具体用于:基于与第一预设编码规则对应的第一预设解码规则对基本层图像码流做解码处理,将解码得到数据作为预处理的基本层图像数据。
具体的,处理器1501,具体用于:从待处理图像数据中减去预处理的基本层图像数据,得到所述残差。
具体的,处理器1501,具体用于:基于残差,得到待保留数据;从待保留数据中选择保留数据,并作为增强层图像数据。
具体的,处理器1501,具体用于:对保留数据进行调整,得到具有正整数数据的增强层图像数据。
具体的,处理器1501,具体用于:将待处理图像数据所表示的动态范围与预处理的基本层图像数据所表示的动态范围进行对齐;通过增强层图像数据的动态范围与基本层图像数据的动态范围的比例,对对齐后的待处理图像数据进行补偿;从将补偿后的待处理图像数据中减去所述预处理的基本层图像数据,得到残差。
此外,处理器1501,还用于:在基本层图像数据中加入随机噪声数据;处理器1501,具体用于:基于待处理图像数据和加入随机噪声数据的基本层图像数据计算残差。
此外,处理器1501,还用于:在计算残差的过程中,加入随机噪声数据,以使得到的残差具有随机噪声数据。
具体的,处理器1501,具体用于:在计算出残差后,在残差中加入随机噪声数据。
其中,第一预设编码规则为根据JPEG编码规则确定的编码规则。
具体的,处理器1501,具体用于:基于基本层图像数据对增强层图像数据进行编码。
具体的,处理器1501,具体用于:根据基本层图像数据,确定反映增强层图像数据被压缩情况的第一信息;基于第一信息,对增强层图像数据进行编码。
具体的,处理器1501,具体用于:根据基本层图像数据的亮度分布情况,确定反映增强层图像数据被压缩情况的第一信息。
具体的,处理器1501,具体用于:确定划分增强层图像数据的图像数据频率的第二信息;基于第一信息,对第二信息进行量化;根据量化结果,对增强层图像数据进行编码。
具体的,处理器1501,具体用于:对量化结果进行扫描,并对扫描后的量化结果进行编码;得到增强层图像码流包括:基于编码结果生成所述增强层图像数据码流。
此外,处理器1501,还用于:对增强层图像数据进行划分,得到多组宏块,并将宏块划分为子块;针对子块,确定子块对应的第二信息。
此外,处理器1501,还用于:对增强层图像数据进行划分,得到多组宏块,并将宏块划分为子块;基于多组宏块,组合生成切片图像数据;处理器1501,具体用于:根据预置扫描方式对各个子块中的量化结果进行扫描,得到第一扫描后的量化结果;针对切片图像数据,按照第一扫描后的量化结果顺序扫描切片图像数据中各个子块中的量化结果,得到第二扫描后的量化结果,作为最终的扫描后的量化结果。
具体的,处理器1501,具体用于:将基本层图像数据划分为切片图像数据;针对各个切片图像数据,确定对应的亮度分布情况;根据亮度分布情况,确定各个切片图像数据的量化参数。
具体的,处理器1501,具体用于:将基本层图像数据划分为量化块;针对各个量化块,确定对应的亮度分布情况;根据亮度分布情况,确定各个量化块的量化参数。
具体的,处理器1501,具体用于:根据各个切片图像数据中亮度情况,确定高亮像素点个数;根据各个切片图像数据中亮度情况,确定暗处像素点个数;根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
具体的,处理器1501,具体用于:将基本层图像数据由YUV格式转换为RGB格式,并根据RGB格式的各个切片图像数据中亮度情况,确定高亮像素点个数;根据各个切片图像数据中亮度情况,确定暗处像素点个数,包括:根据YUV格式的各个切片图像数据中亮度情况,确定暗处像素点个数;根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
具体的,处理器1501,具体用于:根据亮度分布情况中的高亮像素点个数和/或暗处像素点个数,确定对应切片图像数据的量化参数。
其中,同一切片图像数据中的子块共享同一个量化参数。
此外,处理器1501,还用于:将增强层图像码流进行分割,并将分割后的码流进行封装;将增强层图像码流写入基本层图像码流中的预设字段,包括:将封装后的码流写入到预设字段,封装后的码流具有对应的码流标识信息。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图1-图9的方法。
在一个可能的设计中,图13所示数据处理装置1300的结构可实现为一电子设备,该电子设备可以是,如相机、无人机、手持云台、手机、平板电脑等各种具有拍照或摄像功能的电子设备。如图16所示,该电子设备1600可以包括:一个或多个处理器1601、一个或多个存储器1602。其中,存储器1602用于存储支持电子设备执行上述图10所示实施例中提供的数据处理方法的程序。其中,处理器1601被配置为用于执行存储器1602中存储的程序。具体的,程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器1601执行时能够实现如下步骤:
处理器1601运行存储器1602中存储的计算机程序以实现:获取待处理图像数据;从所述待处理图像数据提取预设数据量的基本层图像数据;基于所述待处理图像数据和所述基本层图像数据计算残差,确定增强层图像数据;基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流;基于第二预设编码规则对所述增强层图像数据进行编码,得到增强层编码数据;将所述增强层编码数据写入所述基本层图像码流中的预设字段,以生成目标图像码流。
其中,所述待处理图像数据是基于原始图像数据进行线性或非线性变换得到的。
另,所述待处理图像数据的数据量小于所述原始图像数据。
此外,所述第一预设编码规则为根据JPEG编码规则确定的编码规则。
其中,处理器1601,具体用于:基于待处理图像数据进行线性变换,得到预设数据量的基本层图像数据。
需要注意的是,本实施例未详细描述的部分,可参考上述电子设备1500所示实施例的相关说明,在此不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图10的方法。
在一个可能的设计中,图14所示数据处理装置1400的结构可实现为一电子设备,该电子设备可以是,如相机、无人机、手持云台、手机、平板电脑等各种具有拍照或摄像功能的电子设备。如图17所示,该电子设备1700可以包括:一个或多个处理器1701、一个或多个存储器1702以及通信组件1703。其中,存储器1702用于存储支持电子设备执行上述图11所示实施例中提供的数据处理方法的程序。其中,通信组件1703,用于获取目标图像码流;处理器1701被配置为用于执行存储器1702中存储的程序。具体的,程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器1701执行时能够实现如下步骤:
处理器1701运行存储器1702中存储的计算机程序以实现:
基于第一预设解码规则对目标图像码流进行解码,得到基本层图像数据。
其中,基本层图像数据用于生成基本层图像。
此外,处理器1701,还用于:基于第二预设解码规则对目标图像码流进行解码,得到增强层图像数据;增强层图像数据用于配合基本层图像数据生成目标图像,目标图像的动态范围大于基本层图像的动态范围。
需要注意的是,本实施例未详细描述的部分,可参考上述电子设备1500所示实施例的相关说明,在此不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图11的方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关检测装置(例如:IMU)和方法,可以通过其它的方式实现。例如,以上所描述的遥控装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,遥控装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (61)

1.一种数据处理方法,其特征在于,包括:
获取原始图像数据,对所述原始图像数据做非线性图像变换处理得到待处理图像数据;
从所述待处理图像数据或所述原始图像数据中提取预设数据量的基本层图像数据;
基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流;
基于所述待处理图像数据和所述基本层图像数据计算残差,基于所述残差确定增强层图像数据;
根据所述基本层图像数据,确定反映所述增强层图像数据被压缩情况的第一信息;基于所述第一信息,对所述增强层图像数据进行编码,所述基本层图像数据包括亮度分量,得到增强层图像码流;
将所述增强层图像码流写入所述基本层图像码流中的预设字段,以生成目标图像码流;
基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流,包括:根据JPEG编码规则,对基本层图像数据进行编码,得到基本层图像码流;
基于所述残差确定增强层图像数据,包括:基于从待处理图像数据除去基本层图像数据所得到的图像数据,确定增强层图像数据。
2.根据权利要求1所述的方法,其特征在于,所述原始图像数据为高动态范围的图像数据。
3.根据权利要求1所述的方法,其特征在于,所述原始图像数据属于线性图像数据或者非线性图像数据。
4.根据权利要求1所述的方法,其特征在于,所述对所述原始图像数据做非线性图像变换处理得到待处理图像数据,包括:
对所述原始图像数据做至少一次非线性图像变换处理得到待处理图像数据。
5.根据权利要求1所述的方法,其特征在于,所述对所述原始图像数据做非线性图像变换处理得到待处理图像数据,包括:
基于图像精度损失,确定所述原始图像数据的非线性图像变换的目标;
基于所述非线性图像变换的目标,对所述原始图像做非线性图像变换处理得到待处理图像数据。
6.根据权利要求1所述的方法,其特征在于,所述从所述待处理图像数据或所述原始图像数据中提取预设数据量的基本层图像数据,包括:
对所述待处理图像数据或所述原始图像数据做线性图像变换处理得到预设数据量的基本层图像数据。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述基本层图像数据做预处理,得到预处理的所述基本层图像数据;
所述基于所述待处理图像数据和所述基本层图像数据计算残差,包括:
基于所述待处理图像数据和预处理的所述基本层图像数据计算所述残差。
8.根据权利要求7所述的方法,其特征在于,所述基本层图像数据做预处理,得到预处理的所述基本层图像数据,包括:
基于与所述第一预设编码规则对应的第一预设解码规则对所述基本层图像码流做解码处理,将解码得到数据作为所述预处理的所述基本层图像数据。
9.根据权利要求7所述的方法,其特征在于,所述基于所述待处理图像数据和预处理的所述基本层图像数据计算所述残差,包括:
从所述待处理图像数据中减去所述预处理的基本层图像数据,得到所述残差。
10.根据权利要求1所述的方法,其特征在于,所述基于所述残差确定增强层图像数据,包括:
基于所述残差,得到待保留数据;
从所述待保留数据中选择保留数据,并作为所述增强层图像数据。
11.根据权利要求10所述的方法,其特征在于,所述从所述待保留数据中选择保留数据,并作为所述增强层图像数据,包括:
对所述保留数据进行调整,得到具有正整数数据的增强层图像数据。
12.根据权利要求7所述的方法,其特征在于,所述基于所述待处理图像数据和预处理的所述基本层图像数据计算所述残差,包括:
将所述待处理图像数据所表示的动态范围与预处理的所述基本层图像数据所表示的动态范围进行对齐;
通过所述增强层图像数据的动态范围与基本层图像数据的动态范围的比例,对对齐后的待处理图像数据进行补偿;
从将补偿后的待处理图像数据中减去所述预处理的所述基本层图像数据,得到残差。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述基本层图像数据中加入随机噪声数据;
所述基于所述待处理图像数据和所述基本层图像数据计算残差,包括:
基于所述待处理图像数据和加入随机噪声数据的基本层图像数据计算残差。
14.根据权利要求1所述的方法,其特征在于,所述方法还包括:在计算所述残差的过程中,加入随机噪声数据,以使得到的所述残差具有随机噪声数据。
15.根据权利要求1所述的方法,其特征在于,所述方法还包括:在计算出所述残差后,在所述残差中加入随机噪声数据。
16.根据权利要求1所述的方法,其特征在于,所述第一预设编码规则为根据JPEG编码规则确定的编码规则。
17.根据权利要求1所述的方法,其特征在于,所述根据所述基本层图像数据,确定反映所述增强层图像数据被压缩情况的第一信息,包括:
根据所述基本层图像数据的亮度分布情况,确定反映所述增强层图像数据被压缩情况的第一信息。
18.根据权利要求1所述的方法,其特征在于,所述基于所述第一信息,对所述增强层图像数据进行编码,包括:
确定划分所述增强层图像数据的图像数据频率的第二信息;
基于所述第一信息,对所述第二信息进行量化;
根据量化结果,对所述增强层图像数据进行编码。
19.根据权利要求18所述的方法,其特征在于,根据量化结果,对所述增强层图像数据进行编码,包括:
对量化结果进行扫描,并对扫描后的量化结果进行编码;
得到增强层图像码流包括:基于编码结果生成所述增强层图像数据码流。
20.根据权利要求18所述的方法,其特征在于,所述方法还包括:
对所述增强层图像数据进行划分,得到多组宏块,并将所述宏块划分为子块;
针对所述子块,确定所述子块对应的所述第二信息。
21.根据权利要求19所述的方法,其特征在于,所述方法还包括:
对所述增强层图像数据进行划分,得到多组宏块,并将所述宏块划分为子块;
基于多组宏块,组合生成切片图像数据;
其中,所述对量化结果进行扫描,包括:
根据预置扫描方式对各个子块中的量化结果进行扫描,得到第一扫描后的量化结果;
针对切片图像数据,按照第一扫描后的量化结果顺序扫描切片图像数据中各个子块中的量化结果,得到第二扫描后的量化结果,作为最终的扫描后的量化结果。
22.根据权利要求17所述的方法,其特征在于,所述根据所述基本层图像数据的亮度分布情况,确定反映所述增强层图像数据被压缩情况的第一信息,包括:
将所述基本层图像数据划分为切片图像数据;
针对各个切片图像数据,确定对应的亮度分布情况;
根据所述亮度分布情况,确定各个切片图像数据的量化参数。
23.根据权利要求17所述的方法,其特征在于,所述根据所述基本层图像数据的亮度分布情况,确定反映所述增强层图像数据被压缩情况的第一信息,包括:
将所述基本层图像数据划分为量化块;
针对各个量化块,确定对应的亮度分布情况;
根据所述亮度分布情况,确定各个量化块的量化参数。
24.根据权利要求22所述的方法,其特征在于,所述针对各个切片图像数据,确定对应的亮度分布情况,包括:
根据各个切片图像数据中亮度情况,确定高亮像素点个数;
根据各个切片图像数据中亮度情况,确定暗处像素点个数;
根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
25.根据权利要求24所述的方法,其特征在于,所述根据各个切片图像数据中亮度情况,确定高亮像素点个数,包括:
将基本层图像数据由YUV格式转换为RGB格式,并根据RGB格式的各个切片图像数据中亮度情况,确定高亮像素点个数;
根据各个切片图像数据中亮度情况,确定暗处像素点个数,包括:
根据YUV格式的各个切片图像数据中亮度情况,确定暗处像素点个数;
根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
26.根据权利要求22所述的方法,其特征在于,所述根据所述亮度分布情况,确定各个切片图像数据的量化参数,包括:
根据亮度分布情况中的高亮像素点个数和/或暗处像素点个数,确定对应切片图像数据的量化参数。
27.根据权利要求19所述的方法,其特征在于,同一切片图像数据中的子块共享同一个量化参数。
28.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述增强层图像码流进行分割,并将分割后的码流进行封装;
将所述增强层图像码流写入所述基本层图像码流中的预设字段,包括:
将封装后的码流写入到所述预设字段,所述封装后的码流具有对应的码流标识信息。
29.一种数据处理方法,其特征在于,包括:
获取目标图像码流;
基于第一预设解码规则对所述目标图像码流进行解码,得到基本层图像数据;
基于第二预设解码规则对所述目标图像码流进行解码,得到增强层图像数据;
所述增强层图像数据用于配合所述基本层图像数据生成目标图像,所述目标图像的动态范围大于基本层图像的动态范围;
基于第一预设解码规则对所述目标图像码流进行解码,得到基本层图像数据,包括:基于JPEG解码规则,对所述目标图像码流进行解码,得到基本层图像数据;
所述增强层图像数据用于配合所述基本层图像数据生成目标图像,包括:将增强层图像数据以及基本层图像数据进行结合,得到HDR图像数据;
其中,所述目标图像码流是根据基于第一预设解码规则对应的编码规则对基本层图像数据进行编码以及基于第二预设解码规则对应的编码规则对增强层图像数据进行编码生成的;
根据所述基本层图像数据,确定反映所述增强层图像数据被压缩情况的第一信息;基于所述第一信息,对所述增强层图像数据进行编码,得到增强层图像码流,所述基本层图像数据包括亮度分量。
30.根据权利要求29所述的方法,其特征在于,所述基本层图像数据用于生成基本层图像。
31.一种电子设备,存储器、处理器以及图像采集装置;
所述存储器,用于存储计算机程序;
所述图像采集装置,用于获取原始图像数据;
所述处理器调用所述计算机程序,以实现如下步骤:
对所述原始图像数据做非线性图像变换处理得到待处理图像数据;
从所述待处理图像数据或所述原始图像数据中提取预设数据量的基本层图像数据;
基于第一预设编码规则对所述基本层图像数据进行编码,得到基本层图像码流;
基于所述待处理图像数据和所述基本层图像数据计算残差,基于所述残差确定增强层图像数据;
根据所述基本层图像数据,确定反映所述增强层图像数据被压缩情况的第一信息;基于所述第一信息,对所述增强层图像数据进行编码,所述基本层图像数据包括亮度分量,得到增强层图像码流;
将所述增强层图像码流写入所述基本层图像码流中的预设字段,以生成目标图像码流;
根据JPEG编码规则,对基本层图像数据进行编码,得到基本层图像码流;
基于从待处理图像数据除去基本层图像数据所得到的图像数据,确定增强层图像数据。
32.根据权利要求31所述的设备,其特征在于,所述原始图像数据为高动态范围的图像数据。
33.根据权利要求31所述的设备,其特征在于,所述原始图像数据属于线性图像数据或者非线性图像数据。
34.根据权利要求31所述的设备,其特征在于,所述处理器,还用于:对所述原始图像数据做线性图像变换处理得到待处理图像数据。
35.根据权利要求31所述的设备,其特征在于,所述处理器,具体用于:
基于图像精度损失,确定所述原始图像数据的非线性图像变换的目标;
基于所述非线性图像变换的目标,对所述原始图像做非线性图像变换处理得到待处理图像数据。
36.根据权利要求31所述的设备,其特征在于,所述处理器,具体用于:对所述待处理图像数据或所述原始图像数据做线性图像变换处理得到预设数据量的基本层图像数据。
37.根据权利要求31所述的设备,其特征在于,所述处理器,具体用于:对所述基本层图像数据做预处理,得到预处理的所述基本层图像数据;
所述基于所述待处理图像数据和所述基本层图像数据计算残差,包括:
基于所述待处理图像数据和预处理的所述基本层图像数据计算所述残差。
38.根据权利要求37所述的设备,其特征在于,所述处理器,具体用于:基于与所述第一预设编码规则对应的第一预设解码规则对所述基本层图像码流做解码处理,将解码得到数据作为所述预处理的所述基本层图像数据。
39.根据权利要求37所述的设备,其特征在于,所述处理器,具体用于:从所述待处理图像数据中减去所述预处理的基本层图像数据,得到所述残差。
40.根据权利要求31所述的设备,其特征在于,所述处理器,具体用于:
基于所述残差,得到待保留数据;
从所述待保留数据中选择保留数据,并作为所述增强层图像数据。
41.根据权利要求40所述的设备,其特征在于,所述处理器,具体用于:对所述保留数据进行调整,得到具有正整数数据的增强层图像数据。
42.根据权利要求37所述的设备,其特征在于,所述处理器,具体用于:
将所述待处理图像数据所表示的动态范围与预处理的所述基本层图像数据所表示的动态范围进行对齐;
通过所述增强层图像数据的动态范围与基本层图像数据的动态范围的比例,对对齐后的待处理图像数据进行补偿;
从将补偿后的待处理图像数据中减去所述预处理的所述基本层图像数据,得到残差。
43.根据权利要求31所述的设备,其特征在于,所述处理器,还用于:
在所述基本层图像数据中加入随机噪声数据;
所述处理器,具体用于:
基于所述待处理图像数据和加入随机噪声数据的基本层图像数据计算残差。
44.根据权利要求31所述的设备,其特征在于,所述处理器,还用于:
在计算所述残差的过程中,加入随机噪声数据,以使得到的所述残差具有随机噪声数据。
45.根据权利要求31所述的设备,其特征在于,所述处理器,还用于:
在计算出所述残差后,在所述残差中加入随机噪声数据。
46.根据权利要求31所述的设备,其特征在于,所述第一预设编码规则为根据JPEG编码规则确定的编码规则。
47.根据权利要求31所述的设备,其特征在于,所述处理器,具体用于:
根据所述基本层图像数据的亮度分布情况,确定反映所述增强层图像数据被压缩情况的第一信息。
48.根据权利要求31所述的设备,其特征在于,所述处理器,具体用于:确定划分所述增强层图像数据的图像数据频率的第二信息;
基于所述第一信息,对所述第二信息进行量化;
根据量化结果,对所述增强层图像数据进行编码。
49.根据权利要求48所述的设备,其特征在于,所述处理器,具体用于:
对量化结果进行扫描,并对扫描后的量化结果进行编码;
得到增强层图像码流包括:基于编码结果生成所述增强层图像数据码流。
50.根据权利要求48所述的设备,其特征在于,所述处理器,还用于:
对所述增强层图像数据进行划分,得到多组宏块,并将所述宏块划分为子块;
针对所述子块,确定所述子块对应的所述第二信息。
51.根据权利要求49所述的设备,其特征在于,所述处理器,还用于:对所述增强层图像数据进行划分,得到多组宏块,并将所述宏块划分为子块;
基于多组宏块,组合生成切片图像数据;
所述处理器,具体用于:根据预置扫描方式对各个子块中的量化结果进行扫描,得到第一扫描后的量化结果;
针对切片图像数据,按照第一扫描后的量化结果顺序扫描切片图像数据中各个子块中的量化结果,得到第二扫描后的量化结果,作为最终的扫描后的量化结果。
52.根据权利要求47所述的设备,其特征在于,所述处理器,具体用于:
将所述基本层图像数据划分为切片图像数据;
针对各个切片图像数据,确定对应的亮度分布情况;
根据所述亮度分布情况,确定各个切片图像数据的量化参数。
53.根据权利要求51所述的设备,其特征在于,所述处理器,具体用于:
将所述基本层图像数据划分为量化块;
针对各个量化块,确定对应的亮度分布情况;
根据所述亮度分布情况,确定各个量化块的量化参数。
54.根据权利要求52所述的设备,其特征在于,所述处理器,具体用于:根据各个切片图像数据中亮度情况,确定高亮像素点个数;
根据各个切片图像数据中亮度情况,确定暗处像素点个数;
根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
55.根据权利要求54所述的设备,其特征在于,所述处理器,具体用于:将基本层图像数据由YUV格式转换为RGB格式,并根据RGB格式的各个切片图像数据中亮度情况,确定高亮像素点个数;
根据各个切片图像数据中亮度情况,确定暗处像素点个数,包括:
根据YUV格式的各个切片图像数据中亮度情况,确定暗处像素点个数;
根据高亮像素点个数和/或暗处像素点个数,确定对应的亮度分布情况。
56.根据权利要求52所述的设备,其特征在于,所述处理器,具体用于:根据亮度分布情况中的高亮像素点个数和/或暗处像素点个数,确定对应切片图像数据的量化参数。
57.根据权利要求49所述的设备,其特征在于,同一切片图像数据中的子块共享同一个量化参数。
58.根据权利要求31所述的设备,其特征在于,所述处理器,还用于:
将所述增强层图像码流进行分割,并将分割后的码流进行封装;
将所述增强层图像码流写入所述基本层图像码流中的预设字段,包括:
将封装后的码流写入到所述预设字段,所述封装后的码流具有对应的码流标识信息。
59.一种电子设备,存储器、处理器以及通信组件;
所述存储器,用于存储计算机程序;
所述通信组件,用于获取目标图像码流;
所述处理器调用所述计算机程序,以实现如下步骤:
基于第一预设解码规则对所述目标图像码流进行解码,得到基本层图像数据;
所述处理器,还用于:
基于第二预设解码规则对所述目标图像码流进行解码,得到增强层图像数据;
所述增强层图像数据用于配合所述基本层图像数据生成目标图像,所述目标图像的动态范围大于基本层图像的动态范围;
基于JPEG解码规则,对所述目标图像码流进行解码,得到基本层图像数据;
将增强层图像数据以及基本层图像数据进行结合,得到HDR图像数据;
其中,所述目标图像码流是根据基于第一预设解码规则对应的编码规则对基本层图像数据进行编码以及基于第二预设解码规则对应的编码规则对所述增强层图像数据进行编码生成的;
所述处理器,具体用于:根据所述基本层图像数据,确定反映所述增强层图像数据被压缩情况的第一信息;基于所述第一信息,对所述增强层图像数据进行编码,得到增强层图像码流,所述基本层图像数据包括亮度分量。
60.根据权利要求59所述的设备,其特征在于,所述基本层图像数据用于生成基本层图像。
61.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1-30中任意一项所述的方法。
CN202011212659.5A 2020-11-03 2020-11-03 数据处理方法、设备和存储介质 Expired - Fee Related CN112040240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011212659.5A CN112040240B (zh) 2020-11-03 2020-11-03 数据处理方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011212659.5A CN112040240B (zh) 2020-11-03 2020-11-03 数据处理方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112040240A CN112040240A (zh) 2020-12-04
CN112040240B true CN112040240B (zh) 2021-08-27

Family

ID=73572822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011212659.5A Expired - Fee Related CN112040240B (zh) 2020-11-03 2020-11-03 数据处理方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112040240B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022141316A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 图像传输方法、可移动平台、设备、***及可读存储介质
WO2022222112A1 (zh) * 2021-04-22 2022-10-27 深圳市大疆创新科技有限公司 数据处理方法、图像传感器、图像处理器和电子设备
CN114782266B (zh) * 2022-04-19 2024-06-04 华侨大学 一种数字图像信号空间域去噪方法、装置、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127900A (zh) * 2006-08-17 2008-02-20 上海乐金广电电子有限公司 利用基本层的图像信号的编码/解码方法及装置
KR20150126728A (ko) * 2007-10-19 2015-11-12 톰슨 라이센싱 조합된 공간 및 비트 심도 확장성
CN103098471B (zh) * 2010-09-14 2016-07-06 三星电子株式会社 用于多层画面编码/解码的设备和方法
WO2012158504A1 (en) * 2011-05-16 2012-11-22 Dolby Laboratories Licensing Corporation Efficient architecture for layered vdr coding
JP5638731B1 (ja) * 2011-11-01 2014-12-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 拡張ダイナミックレンジをもつ画像の階層式符号化における適応的な偽輪郭生成防止
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
CN102595142B (zh) * 2012-03-15 2014-03-26 国网北京经济技术研究院 一种电网全息数字地图视频编码方法及***
US9219916B2 (en) * 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
KR102403360B1 (ko) * 2015-06-16 2022-05-30 광운대학교 산학협력단 하위 호환성을 고려한 hdr 영상 복호화 장치에서 다이나믹 레인지 매핑 정보를 이용하는 방법 및 장치
EP3657807A4 (en) * 2017-07-20 2020-05-27 Sony Corporation TRANSMITTER, TRANSMITTER, RECEIVER AND RECEIVER

Also Published As

Publication number Publication date
CN112040240A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112040240B (zh) 数据处理方法、设备和存储介质
US10666957B2 (en) Processing high dynamic range and wide color gamut video data for video coding
CN111194551B (zh) 利用内容自适应空间变化量化的视频译码
CN107736024B (zh) 用于视频处理的方法和设备
US9008179B2 (en) Encoding of prediction residuals for lossless video coding
KR101223983B1 (ko) 이미지 트랜스코딩을 위한 비트 레이트 감소 기술들
CN109155848A (zh) 用于高动态范围及宽色域视频译码的环路内样本处理
CN107439013A (zh) 用于高动态范围和宽色域视频译码的动态范围调整
US10805606B2 (en) Encoding method and device and decoding method and device
CN108028936A (zh) 视频译码中成分的范围调整的固定点实施
US8675984B2 (en) Merging multiple exposed images in transform domain
JP2018507623A (ja) パレットコーディングのためのエスケープピクセルのコーディング
CN113785573A (zh) 编码器、解码器和使用自适应环路滤波器的对应方法
CN113613004A (zh) 图像编码方法、装置、电子设备及存储介质
US11973976B2 (en) Systems and methods for performing padding in coding of a multi-dimensional data set
US20110116725A1 (en) Data compression method and data compression system
WO2022151053A1 (zh) 数据处理方法、装置及***、计算机存储介质
KR20210103562A (ko) 인트라 예측을 위한 교차-성분 선형 모델링의 방법 및 장치
WO2022077489A1 (zh) 数据处理方法、设备和存储介质
Yu et al. Adaptive PQ: Adaptive perceptual quantizer for HEVC main 10 profile-based HDR video coding
CN116188603A (zh) 图像处理方法和装置
CN114846789A (zh) 用于指示条带的图像分割信息的解码器及对应方法
KR20220137913A (ko) 디코딩된 픽처 버퍼 관리를 위한 동적 범위 조정 파라미터들 및 동적 범위의 시그널링
CN116886917A (zh) 增益图编码方法、解码方法、装置、设备及介质
CN115883827A (zh) 视频编码量化方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210827