CN110267041B - 图像编码方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像编码方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110267041B
CN110267041B CN201910580046.8A CN201910580046A CN110267041B CN 110267041 B CN110267041 B CN 110267041B CN 201910580046 A CN201910580046 A CN 201910580046A CN 110267041 B CN110267041 B CN 110267041B
Authority
CN
China
Prior art keywords
main body
image
pixel block
coding
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910580046.8A
Other languages
English (en)
Other versions
CN110267041A (zh
Inventor
黄海东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910580046.8A priority Critical patent/CN110267041B/zh
Publication of CN110267041A publication Critical patent/CN110267041A/zh
Priority to US16/857,075 priority patent/US11095902B2/en
Priority to EP20173292.2A priority patent/EP3758375A1/en
Priority to PCT/CN2020/090344 priority patent/WO2020259119A1/en
Application granted granted Critical
Publication of CN110267041B publication Critical patent/CN110267041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种图像编码方法、装置、电子设备和计算机可读存储介质。上述方法包括：获取参考图像中主体所在的主体区域；获取参考图像中包含的像素块，并采用多种编码模式对像素块进行编码处理，得到像素块在每一种编码模式下对应的编码数据；基于像素块与主体区域的位置关系确定像素块的目标代价参数；根据像素块的目标代价参数及在每一种编码模式下对应的编码数据，得到像素块在每一种编码模式下对应的编码代价；将编码代价最小的编码模式对应的编码数据作为像素块对应的目标编码数据。即可以动态调整像素块的失真权重值或码率权重值，从而偏向性地保留主体区域或者主体区域之外的图像细节，可以提高图像编码的处理效果。

Description

图像编码方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及影像技术领域，特别是涉及一种图像编码方法、装置、电子设备和计算机可读存储介质。
背景技术
随着影像技术的发展，视频编码技术的应用越来越广泛。当前采用的编码技术主要从三个方向消除数据中的冗余信息:空间冗余信息、时间冗余信息和统计冗余信息。例如，常用的视频压缩标准H.264/AVC、HEVC/H.265普遍采用编码标准普遍采用消除时空域冗余的运动补偿、帧内预测和量化的编码框架。然而，传统的编码技术仍存在编码处理效果较差的问题。
发明内容
本申请实施例提供一种图像编码方法、装置、电子设备和计算机可读存储介质，可以提高图像编码的处理效果。
一种图像编码方法，包括：
获取参考图像中主体所在的主体区域；
获取所述参考图像中包含的像素块，并采用多种编码模式对所述像素块进行编码处理，得到所述像素块在每一种所述编码模式下对应的编码数据；
基于所述像素块与所述主体区域的位置关系确定所述像素块的目标代价参数；
根据所述像素块的目标代价参数及在每一种所述编码模式下对应的编码数据，得到所述像素块在每一种所述编码模式下对应的编码代价；
将编码代价最小的编码模式对应的编码数据作为所述像素块对应的目标编码数据。
一种图像编码装置，包括：
主体识别模块，用于获取参考图像中主体所在的主体区域；
编码处理模块，用于获取所述参考图像中包含的像素块，并采用多种编码模式对所述像素块进行编码处理，得到所述像素块在每一种所述编码模式下对应的编码数据；
参数确定模块，用于基于所述像素块与所述主体区域的位置关系确定所述像素块的目标代价参数；
代价计算模块，用于根据所述像素块的目标代价参数及在每一种所述编码模式下对应的编码数据，得到所述像素块在每一种所述编码模式下对应的编码代价；
编码数据确定模块，用于将编码代价最小的编码模式对应的编码数据作为所述像素块对应的目标编码数据。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取参考图像中主体所在的主体区域；
获取所述参考图像中包含的像素块，并采用多种编码模式对所述像素块进行编码处理，得到所述像素块在每一种所述编码模式下对应的编码数据；
基于所述像素块与所述主体区域的位置关系确定所述像素块的目标代价参数；
根据所述像素块的目标代价参数及在每一种所述编码模式下对应的编码数据，得到所述像素块在每一种所述编码模式下对应的编码代价；
将编码代价最小的编码模式对应的编码数据作为所述像素块对应的目标编码数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取参考图像中主体所在的主体区域；
获取所述参考图像中包含的像素块，并采用多种编码模式对所述像素块进行编码处理，得到所述像素块在每一种所述编码模式下对应的编码数据；
基于所述像素块与所述主体区域的位置关系确定所述像素块的目标代价参数；
根据所述像素块的目标代价参数及在每一种所述编码模式下对应的编码数据，得到所述像素块在每一种所述编码模式下对应的编码代价；
将编码代价最小的编码模式对应的编码数据作为所述像素块对应的目标编码数据。
上述图像编码方法、装置、电子设备和计算机可读存储介质，可以根据像素块与主体区域的位置关系确定像素块的目标代价参数，即可以动态调整像素块的失真权重值或码率权重值，从而偏向性地保留主体区域或者主体区域之外的图像细节，可以提高图像编码的处理效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构示意图；
图2为一个实施例中图像编码方法的流程图；
图3为一个实施例中确定像素块的目标代价参数的流程图；
图4为一个实施例中参考图像的示意图；
图5为一个实施例中量化处理的流程图；
图6为一个实施例中对图像进行主体检测的流程图；
图7为一个实施例中主体区域置信度图进行处理的流程图；
图8为一个实施例图像检测效果的示意图；
图9为一个实施例中根据主体区域置信度图得到主体所在的主体区域的流程图；
图10为一个实施例中图像编码方法的流程图；
图11为一个实施例中图像编码装置的结构框图；
图12为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像编码方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。在一些实施例中，该电子设备也可以是服务器。其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群来实现。
图2为一个实施例中图像编码方法的流程图。本实施例中的图像编码方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像编码方法包括步骤202至步骤210。
步骤202，获取参考图像中主体所在的主体区域。
参考图像可以是电子设备通过摄像头采集的图像，也可以是存储在电子设备本地的图像，还可以是电子设备从网络下载的图像等。通常，参考图像为视频流中的一帧图像。电子设备获取参考图像中主体所在的主体区域。具体地，电子设备将参考图像输入至主体检测模型，通过主体检测模型可以对该参考图像进行主体识别，并将根据识别的主体对参考图像进行分割，得到主体所在的主体区域。主体所在的主体区域是参考图像中包含主体对应的像素点的最小区域。具体地，当主体检测模型采用矩形框输出主体所在的主体区域时，主体区域包含的像素点与主体对应的像素点关联度高于该参考图像中其他矩形区域包含的像素点与主体对应的像素点的关联度；当主体检测模型采用主体轮廓的方式输出主体所在的主体区域，则主体区域的边缘像素点即为主体的轮廓的边缘像素点，此时主体区域包含的像素点与主体对应的像素点的关联度最高。可选地，主体识别网络可通过深度学习算法如CNN（Convolutional Neural Network，卷积神经网络）、DNN（Deep Neural Network，深度神经网络）、或RNN（Recurrent Neural Network，循环神经网络）等来实现。
步骤204，获取参考图像中包含的像素块，并采用多种编码模式对像素块进行编码处理，得到像素块在每一种编码模式下对应的编码数据。
像素块是电子设备对参考图像进行划分得到的像素块。像素块可以包括宏块和子块。具体地，电子设备可以将参考图像划分为多个宏块，宏块可以进一步被划分为多个子块。宏块和子块的大小可以根据需要设定，例如，宏块的大小可以是16*16、8*8等，子块的大小可以是8*8、8*4、4*4等。
电子设备为像素块提供了多种不同的编码模式。例如，对于16*16的像素块，电子设备提供4种编码模式，具体为垂直预测编码、水平预测编码、直流预测编码和相邻样值拟合线性平面函数预测编码；对于4*4或8*8的像素块，电子设备提供了9中不同的预测编码模式，具体为垂直预测编码、水平预测编码、直流预测编码、左下方对角线预测编码、右下方对角线预测编码、垂直-向右预测编码、水平-向下预测编码、垂直-向左预测编码、水平-向上预测编码。
电子设备可以根据像素块的大小获取对应的多种编码模式，并采用多种编码模式对该像素块进行编码处理，得到该像素块在每一个编码模式下对应的编码数据。
步骤206，基于像素块与主体区域的位置关系确定像素块的目标代价参数。
像素块与主体区域的位置关系可以包括像素块在该主体区域内，像素块与该主体区域部分重叠，像素块在该主体区域内等。在一些实施例中，还可以根据与主体区域距离的大小对像素块进行区分。电子设备可以预设像素块与主体区域在不同的位置关系下的代价参数，从而根据该像素块与主体区域的位置关系获取对应的目标代价参数；电子设备也可以根据像素块与主体区域的位置关系对预设的代价参数进行调整，以得到该像素块的目标代价参数。
其中，用于评价图像编码效率的指标包括失真率和码率。代价参数可以包括失真权重值和码率权重值。电子设备通过像素块与主体区域的位置关系确定像素块的目标代价参数。具体地，电子设备可以根据需要保留的图像细节的位置来确定像素块的目标代价参数。例如，在需要图像保留主体区域细节时，则电子设备可以设置在主体区域内的像素块的目标代价参数为失真权重值高于码率权重值；在需要图像保留主体区域之外的细节时，电子设备也可以将主体区域内的像素块的目标代价参数中的失真权重值调高和/或将码率权重值调低等。
步骤208，根据像素块的目标代价参数及在每一种编码模式下对应的编码数据，得到像素块在每一种编码模式下对应的编码代价。
在本申请实施例中，以采用RDO算法（Rate Distortion Optimation，率失真优化）为例对各个模式的代价进行描述，编码模式对应的编码代价的计算公式为J(mode)＝A*SSD＋B*R。其中，J(mode)即为该编码模式下的编码代价；SSD为重建块与源图像的差值均方和，可以理解为失真率；A为失真权重值；R为该编码模式下像素块的码率；B为码率权重值。其中，当参考图像为视频流中的中间帧时，则像素块可以采用帧内预测和帧间预测的编码方式，码率R可以为对参考帧、模式、运动矢量、残差等的比特总和；当参考图像为视频流中的关键帧时，则像素块采用帧内预测的编码方式，码率R可以为模式和残差等的比特总和。
电子设备通过多种编码模式对像素块进行编码处理后，可以得到像素块在每一种编码模式下对应的编码数据，根据编码数据可以计算出该像素块编码后的失真率和码率，从而根据确定的目标代价参数和上述代价计算公式可以得到像素块在每一种编码模式下对应的编码代价。可选地，在一些实施例中，失真率也可以采用预测块与源图像的绝对误差和、或者对预测块与源图像的残差进行哈德曼变换后的系数绝对和来表示，在此不做限定。
步骤210，将编码代价最小的编码模式对应的编码数据作为像素块对应的目标编码数据。
编码代价最小的编码模式即为在一定的码率情况下失真率最小的编码模式。具体地，编码模式的压缩率越大，则失真率越大，码率越小，反之，压缩率越小，则失真率越小，码率越大。电子设备采用多种编码模式对像素块进行编码处理，并将编码代价最小的编码模式对应的编码数据作为该像素块对应的目标编码数据。
本申请实施例中，通过识别参考图像中主体所在的主体区域，根据像素块与主体区域的位置关系确定像素块的目标代价参数，采用多种编码模式对像素块进行编码处理，根据得到像素块在每一种编码模式下的编码数据和目标待机参数计算像素块在每一种编码模式下的编码代价，从而将编码代价最小的编码模式对应的编码数据作为该像素块对应的目标编码 数据。由于可以根据像素块与主体区域的位置关系确定像素块的目标代价参数，即可以动态调整像素块的失真权重值或码率权重值，从而偏向性地保留主体区域或者主体区域之外的图像细节，可以提高图像编码的处理效果。
如图3所示，在一个实施例中，提供的图像编码方法中，基于像素块与主体区域的位置关系确定像素块的目标代价参数的过程可以包括：
步骤302，获取参考图像中除主体区域之外的背景区域。
背景区域是指参考图像中除主体区域之外的区域。电子设备可以获取参考图像中除主体区域之外的背景区域。
步骤304，当像素块归属于主体区域时，将预设的代价参数中包含的失真权重值调高，得到像素块对应的目标代价参数。
步骤306，当像素块归属于背景区域时，将预设的代价参数中包含的码率权重值调高，得到像素块对应的目标代价参数。
当像素块包括的像素点均处于主体区域内时，则该像素块归属于主体区域；当像素块包括的像素点均不处于主体区域内（即均处于背景区域内）时，则该像素块归属于背景区域；当像素块包括的像素点部分处于主体区域，部分处于背景区域时，电子设备可以根据实际应用需求对该像素块进行划分。例如，电子设备可以在像素块存在部分像素点处于主体区域时，则认为该像素块归属于主体区域；电子设备也可以根据像素块在不同区域中的像素点的数量来确定像素块所归属的区域，如当像素块位于主体区域的像素点的数量低于背景区域的像素点的数量时，则确定该像素块归属于背景区域，在此不做限定。
预设的代价参数中包含的失真权重值和码率权重值，预设的代价参数是根据实验数据得到的。具体地，不同的预测模式、或者不同的代价计算方式对应的预设的代价参数可以是不同的。
电子设备可以在像素块归属于主体区域时，将预设的代价参数中包含的失真权重值调高，得到像素块对应的目标代价参数，当像素块归属于背景区域时，将预设的代价参数中包含的码率权重值调低，得到像素块对应的目标代价参数。具体的调整幅度可以根据实际应用需求设定，在此不做限定。电子设备将归属于主体区域的像素块的失真权重值调高，则根据编码代价最小的目标编码数据还原的图像块保留了该像素块的更多细节，与该像素块的差异越小；而将归属于背景区域的像素块的码率权值调高，可以提高背景区域的压缩率，因此，采用该图像编码方法对图像进行编码，可以提高背景区域的压缩率的同时保留主体区域的图像信息，优化图像编码的处理效果。
在一个实施例中，提供的图像编码方法还可以包括：对主体区域进行膨胀处理，得到过渡区域；当像素块归属于过渡区域时，将预设的代价参数作为像素点对应的目标代价参数。
膨胀（padding）处理是指对图像中的部分区域进行边界填充的操作。具体地，电子设备可以采用padding算法对主体区域进行膨胀处理，得到膨胀处理后的区域。膨胀处理后的区域包括主体区域和过渡区域。过渡区域即为膨胀处理后的区域中除主体区域之外的区域。在这种情况下，背景区域为参考图像中除主体区域和过渡区域之外的区域。
图4为一个实施例中参考图像的示意图。如图4所示，电子设备对参考图像410进行主体检测，得到主体所在的主体区域412，再对主体区域412进行膨胀区域，得膨胀处理后的区域414包括主体区域412和过渡区域416，背景区域418为参考图像410中除主体区域412和过渡区域416之外的区域。
电子设备可以在像素块归属于过渡区域时，将预设的代价参考作为该像素块的目标代价参数。例如，当预设的代价参数中失真权重值为1、码率权重值为0.7时，若调整幅度均为0.2，则当像素块归属于主体区域时，失真权重值为1.2、码率权重值为0.7，当像素块归属于过渡区域时，失真权重值为1、码率权重值为0.7，当像素块归属于除主体区域和过滤区域之外的背景区域时，失真权重值为1、码率权重值为0.5。
通过将参考图像划分为主体区域、过渡区域和背景区域，根据像素块所处的区域确定的像素块的目标代价参数以计算每一个编码模式的编码数据，可以在提高背景区域的压缩率的同时保留主体区域的图像信息，过渡区域采用预设的代价参数作为目标代价参数，可以使得还原的图像主体区域和背景区域平滑过渡，图像效果更好。
在一个实施例中，提供的图像编码方法中获取参考图像中包含的像素块之前，还可以包括：获取参考图像中除主体区域之外的背景区域；将主体区域划分为第一尺寸的多个像素块，及将背景区域划分为第二尺寸的多个像素块；其中，第一尺寸小于第二尺寸。
具体的第一尺寸和第二尺寸可以根据实际应用需求设定。例如，当第一尺寸为16*16时，第二尺寸可以是8*8或者4*4；当第一尺寸为8*8时，第二尺寸可以是4*4。当然，在一些实施例中，划分的尺寸大小也可以不局限于16*16、8*8和4*4，如第一尺寸还可以是16*8，第二尺寸可以是8*8等。电子设备可以将参考图像中主体区域划分为第一尺寸的多个像素块，将背景区域划分为第二尺寸的多个像素块。可选地，参考图像还可以包括过渡区域，电子设备可以将参考图像的过渡区域划分为第三尺寸的多个像素块，其中，第三尺寸大于或等于第一尺寸、小于或等于第二尺寸。
在一个实施例中，提供的图像编码方法将编码代价最小的编码模式对应的编码数据作为像素块对应的目标编码数据之后，还包括：
步骤502，将目标编码数据进行变换处理，得到像素块对应的一维数组。
变化处理包括DCT（DCT for Discrete Cosine Transform，离散余弦变换）和ZIGZAG扫描变换。电子设备将目标编码数据进行变换处理，具体地，电子设备可以将目标编码数据进行DCT变化，得到变换后的矩阵，进而变换后的矩阵进行ZIGZAG变换处理可以得到该像素块对应的一维数组。其中，像素块经DCT变换后低频分量集中在矩阵的左上角，ZIGZAG变换处理后的一维数据通常为从大到小排列的数组。
步骤504，当像素块归属于主体区域时，采用第一步长对一维数组进行量化处理。
步骤506，当像素块归属于参考图像中除主体区域之外的背景区域时，采用第二步长对一维数组进行量化处理，其中，第一步长小于第二步长。
量化处理是将信号的连续取值（或者大量可能的离散取值）近似为有限多个（或较小）的离散值的过程。量化处理可以去除图像的空间冗余信息、时间冗余信息中的至少一种。例如，当一维数组为[31，22，18，7，5，3，1，0.5]，将5作为量化步长的话，量化处理后结果是[6,4,4,1,1,1,0,0]，若将3作为量化步长的话，量化处理后结果是[10,7,6,2,2,1,0,0]。量化步长越小，编码损失越少，压缩率越小；反之，量化步长越大，编码损失和压缩率也越大。
第一步长小于第二步长。第一步长和第二步长的具体数值可以根据实际应用需求设定，在此不做限定。电子设备可以在像素块归属于主体区域时，采用较小的第一步长对该像素块对应的一维数组进行量化处理，从而减小主体区域的编码损失；在像素块归属于背景区域时，采用较大的第二步长对该像素块对应的一维数据进行量化处理，可以提高图像的压缩率。由于图像的背景区域通常为相似度较高的、不被关注的区域，因此区分背景区域和主体区域采用不同的量化步长进行量化处理，可以在保证图像压缩率的同时提高图像编码的处理效果，编码后还原的图像的效果更好。可选地，参考图像中还可以包括过渡区域，可选地，电子设备采用第三步长对归属于过渡区域的像素块的一维数组机进行量化，第三步长大于或等于第一步长，小于或等于第二步长，可以进一步地提高图像编码的处理效果。
在一个实施例中，参考图像为视频流中的关键帧图像，提供的图像编码方法中获取参考图像中主体所在的主体区域之前，还包括：依次获取并识别视频流中每一帧图像中主体所在的主体区域；若当前帧图像的主体区域与上一关键帧图像的主体区域不匹配时，将当前帧图像作为参考图像。
通常，视频流关键帧的选取是采用固定间隔提取的方式获取的，即每相隔固定帧数获取一帧图像作为关键帧图像；或者在视频流中图像的画面变化较大时则重新选取一帧图像作为关键帧图像。
在本申请实施例中，电子设备在对视频流进行编码的过程中，可以依次获取并识别视频流中每一帧图像中主体所在的主体区域。其中，一帧图像中的主体区域可以是一个或多个。电子设备可以将获取的当前帧图像的主体与上一关键帧图像的主体区域进行比对，若当前帧图像的主体区域与上一关键帧图像的主体区域不匹配时，则将当前帧图像作为参考图像。具体地，电子设备将当前帧图像的主体区域与上一关键帧图像的主体区区域进行比对，可以得到当前帧图像的主体区域与上一关键帧图像的主体区区域的匹配度，通过将待匹配度与预设的匹配度进行比对，则可以确定当前帧图像的主体区域与上一关键帧图像的主体区区域是否相匹配。其中，比对的属性在于主体区域的数量、主体区域的大小，可选地，还可以包括主体区域在图像中位置等，在此不做限定。
可选地，电子设备可以结合固定帧和主体识别两种方式进行关键帧的选取。具体地，电子设备可以在连续的预设帧数的图像的主体区域均匹配时，则将下一帧图像作为关键帧图像；而当连续的预设帧数的图像中存在主体区域与上一关键帧图像的主体区域不匹配时，则将连续的预设帧数的图像中第一帧不匹配的图像作为关键帧图像，并重新获取连续的预设帧数的图像以确定下一关键帧图像。
通过对视频流中的每一帧图像进行主体检测，若当前帧图像的主体区域与上一关键帧图像的主体区域不匹配时，则将当前帧图像作为关键帧图像，进行图像编码处理，即可以动态调整关键帧的选取，优化视频编码的码率分配。
在一个实施例中，提供的图像处理方法中获取参考图像中主体所在的主体区域的过程，包括：
步骤602，获取参考图像。
步骤604，生成与参考图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小。
其中，中心权重图是指用于记录参考图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征参考图像的图像中心像素点到图像边缘像素点的权重值逐渐减小。
电子设备可以根据参考图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。
步骤606，将参考图像和中心权重图输入至主体检测模型中，得到主体区域置信度图。
其中，主体检测模型是预先根据同一场景的样本图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。具体地，电子设备可以预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练，得到该主体检测模型。每组训练数据包括同一场景对应的样本图、中心权重图及已标注的主体掩膜图。其中，样本图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜（mask）图作为训练的主体检测模型期望输出得到的真实值（ground truth）。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗等。
具体地，电子设备可将该参考图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图包含各个像素点为不同主体类别的置信度值，例如某个像素点属于人的置信度是0.8，花的置信度是0.1，狗的置信度是0.1。
步骤608，根据主体区域置信度图确定参考图像中的主体，并获取主体所在的主体区域。
主体可以是各种对象，如人、花、猫、狗、牛、白云等。电子设备根据主体区域置信度图中各个像素点为不同主体类别的置信度值的大小可以确定参考图像包含的各个主体及主体所在的主体区域。
具体地，电子设备可以对主体区域置信度图进行自适应阈值过滤，可以剔除主体区域置信度图中置信度值较低，和/或零散的像素点；电子设备还可以对主体区域置信度图进行滤波、膨胀、腐蚀中的一种或多个处理，可以得到边缘精细的主体区域置信度图；从而电子设备可以根据处理后的主体区域置信度图输出参考图像中包含的多个主体所在的主体区域，可以提高主体检测的准确性。
通过生成与参考图像对应的中心权重图，将参考图像和中心权重图输入到对应的主体检测模型中，可以得到主体区域置信度图，根据主体区域置信度图可以确定参考图像中的主体及所在的主体区域，利用中心权重图可以让图像中心的对象更容易被检测，可以更加准确的识别出参考图像中的主体。
在一个实施例中，提供的图像编码方法中根据主体区域置信度图确定参考图像中的主体，并获取主体所在的主体区域的过程，包括：
步骤702，对主体区域置信度图进行处理，得到主体掩膜图。
具体地，主体区域置信度图中存在一些置信度较低、零散的点，电子设备可以对主体区域置信度图进行过滤处理，得到主体掩膜图。该过滤处理可采用配置置信度阈值，将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。其中，自适应置信度阈值可为局部自适应置信度阈值。该局部自适应置信度阈值是根据像素点的领域块的像素值分布来确定该像素点位置上的二值化置信度阈值。亮度较高的图像区域的二值化置信度阈值配置的较高，亮度较低的图像区域的二值化阈值置信度配置的较低。
可选地，电子设备还可以对该主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对该二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。具体地，电子设备将主体区域置信度图按照自适应置信度阈值过滤处理后，将保留的像素点的置信度值采用1表示，去掉的像素点的置信度值采用0表示，得到二值化掩膜图。形态学处理可包括腐蚀和膨胀。可先对二值化掩膜图进行腐蚀操作，再进行膨胀操作，去除噪声；再对形态学处理后的二值化掩膜图进行引导滤波处理，实现边缘滤波操作，得到边缘提取的主体掩膜图。通过形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和。
步骤704，检测参考图像，确定参考图像中的高光区域。
其中，高光区域是指亮度值大于亮度阈值的区域。
具体地，电子设备对参考图像进行高光检测，筛选得到亮度值大于亮度阈值的目标像素点，对目标像素点采用连通域处理得到高光区域。
步骤706，根据参考图像中的高光区域与主体掩膜图，确定参考图像中的主体，并获取主体所在的主体区域。
具体地，电子设备可以将参考图像中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到参考图像中消除高光的主体对应的主体区域。其中，电子设备将该参考图像中的高光区域与该主体掩膜图做差分处理，即参考图像和主体掩膜图中对应的像素值相减，得到该参考图像中的主体所在的主体区域。
通过对主体区域置信度图做过滤处理得到主体掩膜图，提高了主体区域置信度图的可靠性，对参考图像进行检测得到高光区域，然后与主体掩膜图进行处理，可得到消除了高光的主体所在的主体区域，针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理，提高了主体识别的精度和准确性。
图8为一个实施例中图像处理效果示意图。如图8所示，参考图像802中存在一只蝴蝶，将参考图像802输入到主体检测模型后得到主体区域置信度图804，然后对主体区域置信度图804进行滤波和二值化得到二值化掩膜图806，再对二值化掩膜图806进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图808。
在一个实施例中，提供的图像编码方法中根据主体区域置信度图确定参考图像中的主体，并获取主体所在的主体区域的过程，包括：
步骤902，根据主体区域置信度图得到参考图像包含的多个物体所在的区域及对应的类别。
步骤904，基于每一个物体对应的类别的优先等级及区域的大小确定作为主体的目标物体。
电子设备可以预设不同类别对应的优先等级。例如，类别的优先等级可以是人、花、猫、狗、牛、白云依次降低。电子设备基于每一个物体对应的类别的优先等级及区域的大小确定作为主体的目标物体，具体地，当参考图像中存在属于相同类别的多个物体时，电子设备可以根据多个物体对应的区域大小将区域最大的物体确定为目标物体；当参考图像中存在属于不同了类别的多个物体时，电子设备可以将优先等级最高的类别对应的物体作为目标物体，若参考图像中存在优先等级最高的多个物体，则可以进一步根据多个物体所在区域的大小确定目标区域。可选地，电子设备还结合每一个物体所在区域在图像中的位置确定主体的目标物体。例如，电子设备还可以预设不同类别的优先等级、不同区域大小、以及区域在图像中的不同位置的得分值，以根据每一个物体对应的类别的优先等级、区域的大小、区域在图像中的位置计算每一个物体的分数值，将分数值最高的物体作为目标物体。
步骤906，将目标物体所在的区域作为主体所在的主体区域。
电子设备确定作为主体的目标物体后，则将目标物体所在的区域作为主体所在的主体区域。
通过基于每一个物体对应的类别的优先等级及区域的大小确定作为主体的目标物体，将目标物体所在的区域作为主体所在的主体，可以提高主体识别的准确性。
图10为一个实施例中图像编码方法的流程图。如图10所示，在一个实施例中，实现该图像编码方法的过程的步骤如下：
首先，电子设备获取视频流中作为关键帧图像的参考图像，对参考图像进行主体识别，得到参考图像中主体所在的主体区域。
可选地，电子设备生成与参考图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小，将参考图像和中心权重图输入至主体检测模型中，得到主体区域置信度图，根据主体区域置信度图确定参考图像中的主体，并获取主体所在的主体区域。
可选地，电子设备对主体区域置信度图进行处理，得到主体掩膜图，检测参考图像，确定参考图像中的高光区域，根据参考图像中的高光区域与主体掩膜图，确定参考图像中的主体，并获取主体所在的主体区域。
可选地，电子设备根据主体区域置信度图得到参考图像包含的多个物体所在的区域及对应的类别；基于每一个物体对应的类别的优先等级及区域的大小确定作为主体的目标物体；将目标物体所在的区域作为主体所在的主体区域。
可选地，电子设备对参考图像的主体区域进行膨胀处理，得到过渡区域；将参考图像中主体区域和过渡区域之外的区域作为背景区域。
接着，电子设备将参考划分为多个像素块。
可选地，可以将主体区域划分为第一尺寸的多个像素块，将背景区域划分为第二尺寸的多个像素块，将过渡区域划分为第三尺寸的多个像素块；其中，第一尺寸小于第二尺寸，第三尺寸大于或等于第一尺寸，小于或等于第二尺寸。
接着，电子设备对划分的多个像素块进行帧内预测编码处理。具体地，电子设备采用多种编码模式对像素块进行编码处理，得到像素块在每一种编码模式下对应的编码数据。
接着，基于像素块与主体区域的位置关系确定各个像素块的目标代价参数，根据像素块的目标代价参数及在每一种编码模式下对应的编码数据，得到像素块在每一种编码模式下对应的编码代价，将编码代价最小的编码模式对应的编码数据作为像素块对应的目标编码数据。
可选地，当像素块归属于主体区域时，将预设的代价参数中包含的失真权重值调高，得到像素块对应的目标代价参数；当像素块归属于背景区域时，将预设的代价参数中包含的码率权重值调高，得到像素块对应的目标代价参数；当像素块归属于过渡区域时，将预设的代价参数作为该像素块对应的目标代价参数。
接着，电子设备将目标编码数据进行DCT变换处理和ZIAZAG扫描处理，得到像素块对应的一维数组。
接着，根据像素块与主体区域的位置关系，采用不同的量化步长对像素块的一维数组进行量化处理。具体地，当像素块归属于主体区域时，采用第一步长对一维数组进行量化处理；当像素块归属于背景区域时，采用第二步长对一维数组进行量化处理；当像素块归属于过渡区域时，采用第三步长对一维数组进行量化处理。其中，第一步长小于第二步长，第三步长大于或等于第一步长，且小于或等于第二步长。
可选地，量化处理后，电子设备可以进一步对像素块进行熵编码处理，以得到最终的编码数据。熵编码处理可以去除像素块的统计冗余信息。
可选地，电子设备依次获取并识别视频流中每一帧图像中主体所在的主体区域；若当前帧图像的主体区域与上一关键帧图像的主体区域不匹配时，将当前帧图像作为关键帧图像。
进一步，电子设备可以依次获取视频流中的中间帧图像，以对中间帧图像进行编码处理，中间帧图像也可以采用如上的图像编码方法进行编码处理。
应该理解的是，虽然图2、3、5、6、7、9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、5、6、7、9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图11为一个实施例的图像编码装置的结构框图。如图11所示，该图像编码装置包括主体识别模块1102、编码处理模块1104、参数确定模块1106、代价计算模块1108和编码数据确定模块1110，其中：
主体识别模块1102，用于获取参考图像中主体所在的主体区域。
编码处理模块1104，用于获取参考图像中包含的像素块，并采用多种编码模式对像素块进行编码处理，得到像素块在每一种编码模式下对应的编码数据。
参数确定模块1106，用于基于像素块与主体区域的位置关系确定像素块的目标代价参数。
代价计算模块1108，用于根据像素块的目标代价参数及在每一种编码模式下对应的编码数据，得到像素块在每一种编码模式下对应的编码代价。
编码数据确定模块1110，用于将编码代价最小的编码模式对应的编码数据作为像素块对应的目标编码数据。
本申请实施例提供的图像编码方法，可以根据像素块与主体区域的位置关系确定像素块的目标代价参数，即可以动态调整像素块的失真权重值或码率权重值，从而偏向性地保留主体区域或者主体区域之外的图像细节，可以提高图像编码的处理效果。
在一个实施例中，参数确定模块1106还可以用于获取参考图像中除主体区域之外的背景区域；当像素块归属于主体区域时，将预设的代价参数中包含的失真权重值调高，得到像素块对应的目标代价参数；当像素块归属于背景区域时，将预设的代价参数中包含的码率权重值调高，得到像素块对应的目标代价参数。
在一个实施例中，参数确定模块1106还可以用于对主体区域进行膨胀处理，得到过渡区域；当像素块归属于过渡区域时，将预设的代价参数作为像素点对应的目标代价参数。
在一个实施例中，提供的图像编码装置还可以包括分块处理模块1112，分块处理模块1112用于获取参考图像中除主体区域之外的背景区域；将主体区域划分为第一尺寸的多个像素块，及将背景区域划分为第二尺寸的多个像素块；其中，第一尺寸小于第二尺寸。
在一个实施例中，提供的图像编码装置还可以包括量化处理模块1114，量化处理模块1114用于将目标编码数据进行变换处理，得到像素块对应的一维数组；当像素块归属于主体区域时，采用第一步长对一维数组进行量化处理；当像素块归属于参考图像中除主体区域之外的背景区域时，采用第二步长对一维数组进行量化处理；其中，第一步长小于第二步长。
在一个实施例中，主体识别模块1102还可以用于依次获取并识别视频流中每一帧图像中主体所在的主体区域；若当前帧图像的主体区域与上一关键帧图像的主体区域不匹配时，将当前帧图像作为参考图像。
在一个实施例中，主体识别模块1102还可以用于获取参考图像；生成与参考图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将参考图像和中心权重图输入至主体检测模型中，得到主体区域置信度图；根据主体区域置信度图确定参考图像中的主体，并获取主体所在的主体区域。
在一个实施例中，主体识别模块1102还可以用于对主体区域置信度图进行处理，得到主体掩膜图；检测参考图像，确定参考图像中的高光区域；根据参考图像中的高光区域与主体掩膜图，确定参考图像中的主体，并获取主体所在的主体区域。
在一个实施例中，主体识别模块1102还可以用于根据主体区域置信度图得到参考图像包含的多个物体所在的区域及对应的类别；基于每一个物体对应的类别的优先等级及区域的大小确定作为主体的目标物体；将目标物体所在的区域作为主体所在的主体区域。
上述图像编码装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像编码装置按照需要划分为不同的模块，以完成上述图像编码装置的全部或部分功能。
本申请实施例中提供的图像编码装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP（Image Signal Processing，图像信号处理）管线的各种处理单元。图12为一个实施例中图像处理电路的示意图。如图12所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图12所示，图像处理电路包括ISP处理器1240和控制逻辑器1250。成像设备1210捕捉的图像数据首先由ISP处理器1240处理，ISP处理器1240对图像数据进行分析以捕捉可用于确定和/或成像设备1210的一个或多个控制参数的图像统计信息。成像设备1210可包括具有一个或多个透镜1212和图像传感器1214的照相机。图像传感器1214可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1214可获取用图像传感器1214的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1240处理的一组原始图像数据。传感器1220（如陀螺仪）可基于传感器1220接口类型把采集的图像处理的参数（如防抖参数）提供给ISP处理器1240。传感器1220接口可以利用SMIA（Standard Mobile Imaging Architecture，标准移动成像架构）接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器1214也可将原始图像数据发送给传感器1220，传感器1220可基于传感器1220接口类型把原始图像数据提供给ISP处理器1240，或者传感器1220将原始图像数据存储到图像存储器1230中。
ISP处理器1240按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1240可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1240还可从图像存储器1230接收图像数据。例如，传感器1220接口将原始图像数据发送给图像存储器1230，图像存储器1230中的原始图像数据再提供给ISP处理器1240以供处理。图像存储器1230可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA（Direct Memory Access，直接直接存储器存取）特征。
当接收到来自图像传感器1214接口或来自传感器1220接口或来自图像存储器1230的原始图像数据时，ISP处理器1240可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1230，以便在被显示之前进行另外的处理。ISP处理器1240从图像存储器1230接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1240处理后的图像数据可输出给显示器1270，以供用户观看和/或由图形引擎或GPU（Graphics Processing Unit，图形处理器）进一步处理。此外，ISP处理器1240的输出还可发送给图像存储器1230，且显示器1270可从图像存储器1230读取图像数据。在一个实施例中，图像存储器1230可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1240的输出可发送给编码器/解码器1260，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1270设备上之前解压缩。编码器/解码器1260可由CPU或GPU或协处理器实现。
ISP处理器1240确定的统计数据可发送给控制逻辑器1250单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1212阴影校正等图像传感器1214统计信息。控制逻辑器1250可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1210的控制参数及ISP处理器1240的控制参数。例如，成像设备1210的控制参数可包括传感器1220控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1212阴影校正参数。
在本申请提供的实施例中，成像设备1210可以用于采集视频流中的每一帧图像；图像存储器1230用于存储成像设备1210采集的图像；ISP处理器1240可以获取对成像设备1210采集的视频流中的图像进行主体检测，以得到图像中主体所在的主体区域；编码器/解码器1260可以对处理后的图像进行编码处理，即可以将参考图像划分为多个像素块，并采用多种编码模式对像素块进行编码处理，得到像素块在每一种编码模式下对应的编码数据；基于像素块与主体区域的位置关系确定像素块的目标代价参数；根据像素块的目标代价参数及在每一种编码模式下对应的编码数据，得到像素块在每一种编码模式下对应的编码代价；将编码代价最小的编码模式对应的编码数据作为像素块对应的目标编码数据。电子设备通过上述图像处理电路可以实现上述实施例所提供的图像编码方法，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像编码方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像编码方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态 RAM (SRAM)、动态 RAM (DRAM)、同步 DRAM (SDRAM)、双数据率 SDRAM (DDRSDRAM)、增强型 SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像编码方法，其特征在于，包括：
依次获取并识别视频流中每一帧图像中主体所在的主体区域；
根据所述视频流中每一帧图像中主体所在的主体区域，获取参考图像；所述参考图像为所述视频流中的关键帧图像；所述关键帧图像为在连续的预设帧数的图像的主体区域均匹配时，当前帧图像的下一帧图像；或者，在连续的预设帧数的图像中存在主体区域与上一关键帧图像的主体区域不匹配时，所述连续的预设帧数的图像中第一帧不匹配的图像；
获取所述参考图像中主体所在的主体区域；
获取所述参考图像中包含的像素块，并采用多种编码模式对所述像素块进行编码处理，得到所述像素块在每一种所述编码模式下对应的编码数据；
基于所述像素块与所述主体区域的位置关系确定所述像素块的目标代价参数；
根据所述像素块的目标代价参数及在每一种所述编码模式下对应的编码数据，得到所述像素块在每一种所述编码模式下对应的编码代价；
将编码代价最小的编码模式对应的编码数据作为所述像素块对应的目标编码数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述像素块与所述主体区域的位置关系确定所述像素块的目标代价参数，包括：
获取所述参考图像中除所述主体区域之外的背景区域；
当所述像素块归属于所述主体区域时，将预设的代价参数中包含的失真权重值调高，得到所述像素块对应的目标代价参数；
当所述像素块归属于所述背景区域时，将所述预设的代价参数中包含的码率权重值调高，得到所述像素块对应的目标代价参数。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述主体区域进行膨胀处理，得到过渡区域；
当所述像素块归属于所述过渡区域时，将预设的代价参数作为所述像素点对应的目标代价参数。
4.根据权利要求1所述的方法，其特征在于，所述获取所述参考图像中包含的像素块之前，还包括：
获取所述参考图像中除所述主体区域之外的背景区域；
将所述主体区域划分为第一尺寸的多个像素块，及将所述背景区域划分为第二尺寸的多个像素块；
其中，所述第一尺寸小于所述第二尺寸。
5.根据权利要求1所述的方法，其特征在于，所述将编码代价最小的编码模式对应的编码数据作为所述像素块对应的目标编码数据之后，还包括：
将所述目标编码数据进行变换处理，得到所述像素块对应的一维数组；
当所述像素块归属于所述主体区域时，采用第一步长对所述一维数组进行量化处理；
当所述像素块归属于所述参考图像中除所述主体区域之外的背景区域时，采用第二步长对所述一维数组进行量化处理；
其中，所述第一步长小于所述第二步长。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取参考图像中主体所在的主体区域，包括：
获取参考图像；
生成与所述参考图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；
将所述参考图像和所述中心权重图输入至主体检测模型中，得到主体区域置信度图；
根据所述主体区域置信度图确定所述参考图像中的主体，并获取所述主体所在的主体区域。
7.根据权利要求6所述的方法，其特征在于，所述根据所述主体区域置信度图确定所述参考图像中主体，并获取所述主体所在的主体区域，包括：
对所述主体区域置信度图进行处理，得到主体掩膜图；
检测所述参考图像，确定所述参考图像中的高光区域；
根据所述参考图像中的高光区域与所述主体掩膜图，确定所述参考图像中的主体，并获取所述主体所在的主体区域。
8.根据权利要求6所述的方法，其特征在于，所述根据所述主体区域置信度图确定所述参考图像中的主体，并获取所述主体所在的主体区域，包括：
根据所述主体区域置信度图得到所述参考图像包含的多个物体所在的区域及对应的类别；
基于每一个所述物体对应的类别的优先等级及所述区域的大小确定作为所述主体的目标物体；
将所述目标物体所在的区域作为所述主体所在的主体区域。
9.一种图像编码装置，其特征在于，包括：
主体识别模块，用于依次获取并识别视频流中每一帧图像中主体所在的主体区域；根据所述视频流中每一帧图像中主体所在的主体区域，获取参考图像；所述参考图像为所述视频流中的关键帧图像；所述关键帧图像为在连续的预设帧数的图像的主体区域均匹配时，当前帧图像的下一帧图像；或者，在连续的预设帧数的图像中存在主体区域与上一关键帧图像的主体区域不匹配时，所述连续的预设帧数的图像中第一帧不匹配的图像；
编码处理模块，用于获取所述参考图像中包含的像素块，并采用多种编码模式对所述像素块进行编码处理，得到所述像素块在每一种所述编码模式下对应的编码数据；
参数确定模块，用于基于所述像素块与所述主体区域的位置关系确定所述像素块的目标代价参数；
代价计算模块，用于根据所述像素块的目标代价参数及在每一种所述编码模式下对应的编码数据，得到所述像素块在每一种所述编码模式下对应的编码代价；
编码数据确定模块，用于将编码代价最小的编码模式对应的编码数据作为所述像素块对应的目标编码数据。
10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的图像编码方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
CN201910580046.8A 2019-06-28 2019-06-28 图像编码方法、装置、电子设备和计算机可读存储介质 Active CN110267041B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910580046.8A CN110267041B (zh) 2019-06-28 2019-06-28 图像编码方法、装置、电子设备和计算机可读存储介质
US16/857,075 US11095902B2 (en) 2019-06-28 2020-04-23 Method for image coding, electronic device and computer-readable storage medium
EP20173292.2A EP3758375A1 (en) 2019-06-28 2020-05-06 Method and apparatus for image coding, electronic device and computer-readable storage medium
PCT/CN2020/090344 WO2020259119A1 (en) 2019-06-28 2020-05-14 Method and apparatus for image coding, electronic device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580046.8A CN110267041B (zh) 2019-06-28 2019-06-28 图像编码方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110267041A CN110267041A (zh) 2019-09-20
CN110267041B true CN110267041B (zh) 2021-11-09

Family

ID=67923195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580046.8A Active CN110267041B (zh) 2019-06-28 2019-06-28 图像编码方法、装置、电子设备和计算机可读存储介质

Country Status (4)

Country Link
US (1) US11095902B2 (zh)
EP (1) EP3758375A1 (zh)
CN (1) CN110267041B (zh)
WO (1) WO2020259119A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110267041B (zh) 2019-06-28 2021-11-09 Oppo广东移动通信有限公司 图像编码方法、装置、电子设备和计算机可读存储介质
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation
CN113011210B (zh) * 2019-12-19 2022-09-16 北京百度网讯科技有限公司 视频处理方法和装置
CN111586412B (zh) * 2020-05-06 2022-07-26 华为技术有限公司 高清视频处理方法、主设备、从设备和芯片***
CN114071161B (zh) * 2020-07-29 2023-03-31 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
US11736804B2 (en) * 2020-09-07 2023-08-22 Mediatek Inc. Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings
CN112702598B (zh) * 2020-12-03 2024-06-04 浙江智慧视频安防创新中心有限公司 基于位移操作进行编解码的方法、装置、电子设备及介质
CN112839223B (zh) * 2020-12-23 2022-12-20 深圳酷派技术有限公司 图像压缩方法、装置、存储介质及电子设备
CN112887725B (zh) * 2021-01-19 2022-10-25 珠海全志科技股份有限公司 参考帧缓存数据压缩方法、计算机装置及计算机可读存储介质
CN113068034B (zh) * 2021-03-25 2022-12-30 Oppo广东移动通信有限公司 视频编码方法及装置、编码器、设备、存储介质
CN113269067B (zh) * 2021-05-17 2023-04-07 中南大学 基于深度学习的周期性工业视频片段关键帧两阶段提取方法
CN113596442B (zh) * 2021-07-07 2022-10-04 北京百度网讯科技有限公司 视频处理方法、装置、电子设备及存储介质
CN116095328A (zh) * 2021-11-02 2023-05-09 深圳市中兴微电子技术有限公司 视频编码方法、模型训练方法、设备和存储介质
CN114666600B (zh) * 2022-02-14 2023-04-07 北京大学 基于不规则模板的数据编码方法、装置、电子设备及介质
CN115547226B (zh) * 2022-10-17 2023-09-08 深圳市安立信电子有限公司 医用显示器的亮度自检及预警方法、装置及电子设备
CN116320395A (zh) * 2022-12-27 2023-06-23 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN116228606B (zh) * 2023-05-09 2023-07-28 南京茂聚智能科技有限公司 一种基于大数据的图像优化处理***
CN117098282B (zh) * 2023-10-18 2024-01-09 硬创(济宁)控股有限公司 一种基于智慧园区的大数据管理***及其方法
CN117579839B (zh) * 2024-01-15 2024-03-22 电子科技大学 一种基于率失真优化色彩空间转换矩阵的图像压缩方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198058A (zh) * 2007-12-14 2008-06-11 武汉大学 一种感兴趣区域的率失真优化帧内刷新与码率分配方法
CN101867799A (zh) * 2009-04-17 2010-10-20 北京大学 一种视频帧处理方法和视频编码器
US9311537B2 (en) * 2012-10-30 2016-04-12 Canon Kabushiki Kaisha Method, apparatus and system for detecting a supporting surface region in an image
CN109547781A (zh) * 2018-10-26 2019-03-29 西安科锐盛创新科技有限公司 基于图像预测的压缩方法及设备

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1322121A3 (en) * 2001-12-19 2003-07-16 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder with improved motion detection precision
JP2005321489A (ja) 2004-05-07 2005-11-17 Ricoh Co Ltd 撮像装置
US20060007308A1 (en) * 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
RU2472305C2 (ru) * 2007-02-23 2013-01-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования видео и способ декодирования видео, устройства для этого, программы для этого и носители хранения, на которых хранятся программы
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
CN100566427C (zh) 2007-07-31 2009-12-02 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
CN101453649B (zh) * 2008-12-30 2011-01-05 浙江大学 压缩域视频流的关键帧提取方法
US8326067B2 (en) 2009-02-27 2012-12-04 Research In Motion Limited Optimization of image encoding using perceptual weighting
CN101533512B (zh) * 2009-04-24 2012-05-09 西安电子科技大学 基于人类视觉注意***的图像感兴趣区域自动提取方法
US9473792B2 (en) * 2009-11-06 2016-10-18 Texas Instruments Incorporated Method and system to improve the performance of a video encoder
US8593534B2 (en) 2010-09-08 2013-11-26 Apple Inc. Auto-triggered camera self-timer based on recognition of subject's presence in scene
US10205953B2 (en) * 2012-01-26 2019-02-12 Apple Inc. Object detection informed encoding
KR101554541B1 (ko) * 2013-06-28 2015-09-21 한국항공대학교산학협력단 비디오 분석 정보를 활용한 전경 블록의 선택적 분산 비디오 부호화 및 복호화 방법
CN104427337B (zh) 2013-08-21 2018-03-27 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
CN103491381B (zh) * 2013-08-22 2016-03-02 合一网络技术(北京)有限公司 一种动态规划优化视频编码关键帧位置方法
CN103533356A (zh) * 2013-10-10 2014-01-22 深圳市智美达科技有限公司 视频数据传输方法和装置
WO2015107887A1 (ja) 2014-01-15 2015-07-23 日本電気株式会社 動きベクトル探索装置、動きベクトル探索方法、及び動きベクトル探索プログラムを記憶する記録媒体
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
KR102273497B1 (ko) * 2014-12-24 2021-07-07 엘지디스플레이 주식회사 표시장치와 그 구동 방법
CN104469167B (zh) 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置
CN107427076B (zh) 2015-04-06 2020-07-28 日本烟草产业株式会社 香味吸引器、内侧保持部件、香味吸引器的制造方法及内侧保持部件的制造方法
CN106162191A (zh) 2015-04-08 2016-11-23 杭州海康威视数字技术股份有限公司 一种基于目标的视频编码方法及***
CN105847664B (zh) 2015-07-31 2019-01-29 维沃移动通信有限公司 一种移动终端拍照的方法和装置
CN106295678B (zh) * 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
CN205883405U (zh) 2016-07-29 2017-01-11 深圳众思科技有限公司 一种自动追焦装置及终端
WO2018044314A1 (en) * 2016-09-01 2018-03-08 Duelight Llc Systems and methods for adjusting focus based on focus target information
CN106534862B (zh) 2016-12-20 2019-12-10 杭州当虹科技股份有限公司 一种视频编码方法
CN106686308B (zh) 2016-12-28 2018-02-16 平安科技（深圳）有限公司 图像焦距检测方法和装置
US11019362B2 (en) 2016-12-28 2021-05-25 Sony Corporation Information processing device and method
US10574997B2 (en) * 2017-10-27 2020-02-25 Apple Inc. Noise level control in video coding
CN108170817A (zh) 2017-12-29 2018-06-15 努比亚技术有限公司 照片主体的演变视频获取方法、装置及可读存储介质
CN109087332B (zh) 2018-06-11 2022-06-17 西安电子科技大学 一种基于分块相关的遮挡检测方法
CN108900778A (zh) 2018-06-27 2018-11-27 努比亚技术有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN108921130B (zh) * 2018-07-26 2022-03-01 聊城大学 基于显著性区域的视频关键帧提取方法
CN109167910A (zh) 2018-08-31 2019-01-08 努比亚技术有限公司 对焦方法、移动终端及计算机可读存储介质
CN109089047B (zh) 2018-09-29 2021-01-12 Oppo广东移动通信有限公司 控制对焦的方法和装置、存储介质、电子设备
CN109889827B (zh) 2019-04-11 2021-01-29 腾讯科技（深圳）有限公司 帧内预测编码方法、装置、电子设备及计算机存储介质
CN110267041B (zh) 2019-06-28 2021-11-09 Oppo广东移动通信有限公司 图像编码方法、装置、电子设备和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198058A (zh) * 2007-12-14 2008-06-11 武汉大学 一种感兴趣区域的率失真优化帧内刷新与码率分配方法
CN101867799A (zh) * 2009-04-17 2010-10-20 北京大学 一种视频帧处理方法和视频编码器
US9311537B2 (en) * 2012-10-30 2016-04-12 Canon Kabushiki Kaisha Method, apparatus and system for detecting a supporting surface region in an image
CN109547781A (zh) * 2018-10-26 2019-03-29 西安科锐盛创新科技有限公司 基于图像预测的压缩方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于目标跟踪的自适应分块编码方法研究;付放鸣;《信息通信》;20120131(第117期);摘要及正文第1-4段 *

Also Published As

Publication number Publication date
WO2020259119A1 (en) 2020-12-30
US20200413070A1 (en) 2020-12-31
US11095902B2 (en) 2021-08-17
EP3758375A1 (en) 2020-12-30
CN110267041A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110267041B (zh) 图像编码方法、装置、电子设备和计算机可读存储介质
CN110366048B (zh) 视频传输方法、装置、电子设备和计算机可读存储介质
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN110572573B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP5421727B2 (ja) 画像処理装置およびその制御方法
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
JP2020508010A (ja) 画像処理およびビデオ圧縮方法
JP6024952B2 (ja) 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
CN110650291B (zh) 目标追焦方法和装置、电子设备、计算机可读存储介质
CN108174225B (zh) 基于对抗生成网络的视频编解码环路内滤波实现方法及***
US20060115167A1 (en) Image processing apparatus and method of the same
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
EP1821548B1 (en) Method for pre-suppressing image noise.
WO2017085708A1 (en) Method of controlling a quality measure and system thereof
CN114586359A (zh) 一种图像处理方法及装置
CN108737797B (zh) 白平衡处理方法、装置和电子设备
CN108156461B (zh) 一种Bayer图像压缩方法及装置
CN114157870A (zh) 编码方法、介质及电子设备
US10049436B1 (en) Adaptive denoising for real-time video on mobile devices
US20230269385A1 (en) Systems and methods for improving object tracking in compressed feature data in coding of multi-dimensional data
CN107292853B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN109936741B (zh) 视频编码方法和***
CN110475044B (zh) 图像传输方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant