CN113132755B - 可扩展人机协同图像编码方法及***、解码器训练方法 - Google Patents
可扩展人机协同图像编码方法及***、解码器训练方法 Download PDFInfo
- Publication number
- CN113132755B CN113132755B CN201911415561.7A CN201911415561A CN113132755B CN 113132755 B CN113132755 B CN 113132755B CN 201911415561 A CN201911415561 A CN 201911415561A CN 113132755 B CN113132755 B CN 113132755B
- Authority
- CN
- China
- Prior art keywords
- image
- code stream
- edge
- auxiliary information
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 title claims description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 230000006835 compression Effects 0.000 claims abstract description 18
- 238000007906 compression Methods 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种可扩展人机协同图像编码方法及编码***。本方法为:提取各样本图片的边缘图并矢量化,作为驱动机器视觉任务的紧凑表示;在矢量化后的边缘图中进行关键点提取作为辅助信息;对紧凑表示和辅助信息分别进行熵编码无损压缩,获得两路码流;对两路码流进行初步解码,获得边缘图以及辅助信息;将解码得到的边缘图以及辅助信息输入生成神经网络中,进行网络的前向计算;根据得到的计算结果与对应原始图片进行损失函数计算,并将计算的损失反向传播到神经网络进行网络权值更新直到神经网络收敛,得到双路码流解码器;获取待处理图像的边缘图和辅助信息并编码压缩后得到两路码流;双路码流解码器对收到的码流解码,重建图像。
Description
技术领域
本发明属于图像编码领域,涉及一种可扩展人机协同图像编码方法及编码***,本发明可以同时提升图像在人眼视觉以及机器视觉下的质量。
背景技术
在数字图像的使用传播过程中,有损图像压缩是一项不可或缺的关键技术。传统有损图像压缩方案通过对图像进行变换得到紧凑表示从而继续量化、熵编码来进行压缩,极大地降低了数字图像在存储和传输过程中的开销,使得数字图像在日常生活得以被普遍使用。
随着计算机视觉技术的发展,越来越多的应用场景中需要考虑图像在机器视觉下的质量,也就是有损压缩后的图像在机器视觉任务下仍然可以保持与无损图像相当的性能。但是传统有损图像压缩方案仅针对人眼视觉进行优化,无法保证机器视觉下的质量。而如果仅仅考虑对机器视觉任务的特征进行压缩,不保证图像的恢复重建,则无法在人眼视觉下进行观察。
为了同时保证人眼视觉以及机器视觉下的性能,本发明提出了一个可扩展的人机协同图像编码***。在此之上,根据需求的不同,可以通过传输解码不同等级的码流,得到只针对机器视觉的重建图像以及针对人眼视觉的重建图像。
发明内容
本发明在上述技术背景下,设计了一种可扩展的人机协同图像编码方法及编码***。不同于传统视觉的单一码流,本发明提出了一个可扩展的编码框架,同时生成两路码流——视觉驱动的紧凑表示码流以及辅助信息码流,从而根据不同任务需求进行解码重建。本发明的解码器采取了一个生成模型,可以针对不同等级的码流进行解码。对于视觉驱动的紧凑表示码流,生成针对机器视觉的重建图像。对于视觉驱动的紧凑表示码流以及辅助信息码流,生成针对人眼视觉的重建图像。整体框架如附图1所示。
本发明的技术方案为:
一种可扩展人机协同图像编码方法,其步骤包括:
1)提取各样本图片的边缘图;
2)利用贝塞尔曲线对边缘图进行矢量化,作为驱动机器视觉任务的紧凑表示;然后在矢量化后的边缘图中进行关键点提取,将提取的关键点作为辅助信息;
3)对所述紧凑表示和所述辅助信息分别进行熵编码无损压缩,获得两路码流;
4)对两路码流进行初步解码,获得边缘图以及辅助信息;
5)对于需生成针对人眼视觉的重建图像任务,则将解码得到的边缘图以及辅助信息输入生成神经网络中,进行网络的前向计算;对于需生成针对机器视觉的重建图像任务,则将解码得到的边缘图输入生成神经网络中,进行网络的前向计算;
6)步骤5)得到的计算结果与对应原始图片进行损失函数计算,并将计算的损失反向传播到神经网络进行网络权值更新;
7)重复步骤2)~6)直到神经网络的损失收敛,得到针对人眼视觉重建图像任务的双路码流解码器或针对机器视觉重建图像任务的紧凑表示码流解码器;
8)对于一待处理图像I,获取该图像I的边缘图和辅助信息并编码压缩后得到两路码流,
分别记为BE和BC;
9)根据任务需求选择双路码流解码器或紧凑表示码流解码器对收到的码流解码,重建图像。
进一步的,提取所述关键点的方法为:若所述边缘图矢量化后的线为直线段,则使用直线模式提取关键点,否则使用贝塞尔曲线模式提取关键点。
进一步的,使用所述直线模式提取关键点的方法为:若直线段与水平线夹角大于设定角度,则过线段中点在水平线上左右等距采样两个颜色值;若小于或等于设定角度,则过线段中点在竖直线上上下等距采样两个颜色值;使用所述贝塞尔曲线模式提取关键点的方法为:将平行于贝塞尔曲线起点与终点连线的线与贝塞尔曲线的切点记下,若切线与水平线夹角大于设定角度,则过切点在水平线上采样曲线内的一个颜色值;若小于或等于设定角度,则过切点在竖直线上采样曲线内的一个颜色值。
进一步的,所述设定角度为45°。
进一步的,对于机器视觉任务,步骤8)中将边缘图对应的码流BE发送给紧凑表示码流解码器,步骤9)中,紧凑表示码流解码器对码流BE解码得到矢量化后的边缘图E并对其进行前向传递,得到解码图像对于人眼视觉任务,步骤8)将码流BE和BC发送给双路码流解码器,步骤9)中,双路码流解码器对码流BE和BC解码得到E和C并对其进行前向传递,得到解码图像
一种双路码流解码器训练生成方法,其步骤包括:
1)提取各样本图片的边缘图;
2)利用贝塞尔曲线对边缘图进行矢量化,作为驱动机器视觉任务的紧凑表示;然后在矢量化后的边缘图中进行关键点提取,将提取的关键点作为辅助信息;
3)对所述紧凑表示和所述辅助信息分别进行熵编码无损压缩,获得两路码流;
4)对两路码流进行初步解码,获得边缘图以及辅助信息;
5)将解码得到的边缘图以及辅助信息输入生成神经网络中,进行网络的前向计算;
6)步骤5)得到的计算结果与对应原始图片进行损失函数计算,并将计算的损失反向传播到神经网络进行网络权值更新;
7)重复步骤2)~6)直到神经网络的损失收敛,得到针对人眼视觉重建图像任务的双路码流解码器。
一种紧凑表示码流解码器训练生成方法,其步骤包括:
1)提取各样本图片的边缘图,并对边缘图进行矢量化作为驱动机器视觉任务的紧凑表示;
2)对所述紧凑表示进行熵编码无损压缩,获得一路码流;
3)对码流进行初步解码,获得边缘图;
4)将解码得到的边缘图输入生成神经网络中,进行网络的前向计算;
5)根据步骤4)得到的计算结果与对应原始图片进行损失函数计算,并将计算的损失反向传播到神经网络进行网络权值更新;
6)重复步骤2)~5)直到神经网络的损失收敛,得到针对机器视觉重建图像任务的紧凑表示码流解码器。
一种可扩展人机协同图像编码***,其特征在于,包括编码器、双路码流解码器和紧凑表示码流解码器;其中,
编码器,用于提取图片的边缘图;然后利用贝塞尔曲线对边缘图进行矢量化,作为驱动机器视觉任务的紧凑表示;然后在矢量化后的边缘图中进行关键点提取,将提取的关键点作为辅助信息;然后对所述紧凑表示和所述辅助信息分别进行熵编码无损压缩,获得两路码流;
双路码流解码器,用于对两路码流进行解码得到边缘图以及辅助信息,然后对解码得到的边缘图以及辅助信息进行前向传递,得到用于人眼视觉重建图像任务的解码图像;
紧凑表示码流解码器,用于对边缘图对应的码流进行解码得到边缘图,然后对解码得到的边缘图进行前向传递,得到用于机器视觉重建图像任务的解码图像。
本发明使用贝塞尔曲线提取图像边缘图并矢量化作为驱动机器视觉任务的紧凑表示,并且根据矢量化的边缘图中各直线以及曲线的位置、参数等信息,得到关键点坐标,在原图像上提取关键点,进行编码生成对应两路码流,如附图2所示。
接下来描述本发明方法的主要步骤。
步骤1:收集一批图片,进行边缘图的提取,收集的图片则被视作网络输出的目标被保存。
步骤2:利用贝塞尔曲线对边缘图进行矢量化。在矢量化后的边缘图中采样关键点作为辅助信息(边缘图在经过矢量化之后,被表示为直线和曲线;根据直线和曲线的位置,参数等信息,可计算出关键点的坐标,该坐标被用于在原采集得到的图像中提取关键点)。关键点的提取分为两种模式:直线模式和贝塞尔曲线模式。若矢量化后的线为直线段,则使用直线模式,反之使用贝塞尔曲线模式。直线模式下,若该直线段与水平线夹角大于45°,则过线段中点在水平线上左右等距采样两个颜色值记下;若小于等于45°,则过线段中点在竖直线上上下等距采样两个颜色值记下。贝塞尔曲线模式下,将平行于贝塞尔曲线起点终点连线的线与该贝塞尔曲线的切点记下,在贝塞尔曲线模式下,一段边缘使用贝塞尔曲线进行描述,如说明书附图2(c)中所示,贝塞尔曲线的起点为Ps,终点为Pt,连接Ps和Pt得到直线PsPt,做该直线PsPt和曲线的切线,取切点。若切线与水平线夹角大于45°,则过切点在水平线上采样曲线内的一个颜色值记下;若小于等于45°,则过切点在竖直线上采样曲线内的一个颜色值记下。
步骤3:对作为紧凑表示的矢量化的边缘图以及关键点辅助信息进行熵编码无损压缩,获得两路码流。
步骤4:对两路码流进行初步解码,获得边缘图以及关键点辅助信息。
步骤5:对于双路码流的解码器,将边缘图以及对应关键点辅助信息作为输入送入对应生成神经网络(可以为Pixel2Pixel网络)中,进行网络的前向计算;对于针对视觉驱动的紧凑表示码流的解码器,将边缘图作为输入送入对应生成神经网络中,进行网络的前向计算。
步骤6:步骤5得到计算结果,与原始图像进行损失函数计算。
步骤7:将计算的损失反向传播到两个网络神经网络各层,以更新权值,在下次迭代中使得结果更接近目标效果。
步骤8:重复步骤2-步骤7直到两个神经网络的损失收敛。由此得到了针对双路码流的解码器网络以及针对视觉驱动的紧凑表示码流的解码器网络。
与现有技术相比,本发明的积极效果为:
本发明为一种可扩展的图像有损压缩方案,不仅保证了人眼视觉质量,也保证了机器视觉任务的性能。与传统的图像有损压缩方法中仅输出单一码流不同,本发明中的压缩方案生成两部分码流:视觉驱动的紧凑表示码流以及辅助信息码流。具体而言,本发明使用贝塞尔曲线表示图像的边缘信息作为基础码流,在此基础上提取图像中的关键点作为补充码流,使用以上两种码流表征图像,从而对图像进行高效压缩。此外,本发明采用生成神经网络模型构建解码器,通过输入基础码流或者共同输入基础和补充个码流,分别生成出针对机器视觉的图像以及针对人眼视觉的图像,两者的重建质量都达到了优异效果。
以下数据展示了本方法对比现有的JPEG图像压缩方法的性能改进。本测试衡量在极低码率下,在人脸关键点检测任务上,不同的方法的准确度(错误率),以及由被试打分的人眼主观质量:
可见,在更低码率下,本发明能够达到更好的性能。
附图说明
图1为可扩展的人机协同图像编码器的框架。
图2为矢量化的图像边缘图关键点辅助信息提取方法;
(a)矢量化边缘图,(b)直线(>450),(c)直线(﹤450),(d)贝塞尔曲线。
具体实施方式
为了对本发明的技术方法进一步阐述,下面结合说明书附图和具体实例,对本发明的可扩展的人机协同图像编码器进行进一步的详细说明。
本实例将重点详细阐述该技术方法中编码器编码流程的和解码器生成网络的训练过程。假设目前我们已经构建了所需的解码器生成网络,并且有N张训练图像{I1,I2,…,IN}作为训练数据。
一、训练过程:
步骤1:将{I1,I2,…,IN}中的每一张图像边缘图经过矢量化后的图记为{E1,E2,…,EN},对应关键点辅助信息记为{C1,C2,…,CN}。
步骤2:根据附图1所示,将{E1,E2,…,EN}和{C1,C2,…,CN}送入生成网络中进行前向传递。对于针对机器视觉任务的解码器生成网络,输入仅为{E1,E2,…,EN}。
步骤4:获得误差值后,对网络进行误差值的反向传播,以训练网络更新模型权值。
步骤5:重复步骤1-步骤4直到神经网络收敛。
二、编解码过程:
步骤1:提取图像的I的边缘图,并将该边缘图通过贝塞尔曲线矢量化后的图存下,记为E。
步骤2:根据矢量化后的边缘图提取关键点辅助信息。通过遍历其所有线段,根据其线段模式采样关键点。将提取出的关键点辅助信息记为C。
步骤3:按照可扩展矢量图形(Scalable Vectore Graphic,SVG)格式对E进行编码,再与C进行熵编码,得到两路码流,分别记为BE和BC。
步骤4:根据需求选择解码器对不同等级码流解码。对于机器视觉任务,仅需要解码器解码BE,得到矢量化后的边缘图E。将其输入进对应网络进行前向传递,得到解码图像对于人眼视觉任务,需要解码BE和BC,得到E和C,并送入对应生成网络进行前向传递,得到解码图像
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种可扩展人机协同图像编码方法,其步骤包括:
1)提取各样本图片的边缘图;
2)利用贝塞尔曲线对边缘图进行矢量化,作为驱动机器视觉任务的紧凑表示;然后在矢量化后的边缘图中进行关键点提取,将提取的关键点作为辅助信息;
3)对所述紧凑表示和所述辅助信息分别进行熵编码无损压缩,获得两路码流;
4)对两路码流进行初步解码,获得边缘图以及辅助信息;
5)对于需生成针对人眼视觉的重建图像任务,则将解码得到的边缘图以及辅助信息输入生成神经网络中,进行网络的前向计算;对于需生成针对机器视觉的重建图像任务,则将解码得到的边缘图输入生成神经网络中,进行网络的前向计算;
6)根据步骤5)得到的计算结果与对应原始图片进行损失函数计算,并将计算的损失反向传播到神经网络进行网络权值更新;
7)重复步骤2)~6)直到神经网络的损失收敛,得到针对人眼视觉重建图像任务的双路码流解码器或针对机器视觉重建图像任务的紧凑表示码流解码器;
8)对于一待处理图像I,提取图像I的边缘图,并将该边缘图通过贝塞尔曲线矢量化后的图存下,记为E;根据矢量化后的边缘图提取关键点辅助信息,将提取出的关键点辅助信息记为C;按照可扩展矢量图形格式对E进行编码,再与C进行熵编码,得到两路码流,分别记为BE和BC;
9)根据任务需求选择双路码流解码器或紧凑表示码流解码器对收到的码流解码,重建图像。
2.如权利要求1所述的方法,其特征在于,提取所述关键点的方法为:若所述边缘图矢量化后的线为直线段,则使用直线模式提取关键点,否则使用贝塞尔曲线模式提取关键点。
3.如权利要求2所述的方法,其特征在于,使用所述直线模式提取关键点的方法为:若直线段与水平线夹角大于设定角度,则过线段中点在水平线上左右等距采样两个颜色值;若小于或等于设定角度,则过线段中点在竖直线上上下等距采样两个颜色值;使用所述贝塞尔曲线模式提取关键点的方法为:将平行于贝塞尔曲线起点与终点连线的线与贝塞尔曲线的切点记下,若切线与水平线夹角大于设定角度,则过切点在水平线上采样曲线内的一个颜色值;若小于或等于设定角度,则过切点在竖直线上采样曲线内的一个颜色值。
4.如权利要求3所述的方法,其特征在于,所述设定角度为45°。
6.一种双路码流解码器训练生成方法,其步骤包括:
1)提取各样本图片的边缘图;
2)利用贝塞尔曲线对边缘图进行矢量化,作为驱动机器视觉任务的紧凑表示;然后在矢量化后的边缘图中进行关键点提取,将提取的关键点作为辅助信息;
3)对所述紧凑表示和所述辅助信息分别进行熵编码无损压缩,获得两路码流;
4)对两路码流进行初步解码,获得边缘图以及辅助信息;
5)将解码得到的边缘图以及辅助信息输入生成神经网络中,进行网络的前向计算;
6)根据步骤5)得到的计算结果与对应原始图片进行损失函数计算,并将计算的损失反向传播到神经网络进行网络权值更新;
7)重复步骤2)~6)直到神经网络的损失收敛,得到针对人眼视觉重建图像任务的双路码流解码器。
7.一种紧凑表示码流解码器训练生成方法,其步骤包括:
1)提取各样本图片的边缘图,并对边缘图进行矢量化作为驱动机器视觉任务的紧凑表示;
2)对所述紧凑表示进行熵编码无损压缩,获得一路码流;
3)对码流进行初步解码,获得边缘图;
4)将解码得到的边缘图输入生成神经网络中,进行网络的前向计算;
5)根据步骤4)得到的计算结果与对应原始图片进行损失函数计算,并将计算的损失反向传播到神经网络进行网络权值更新;
6)重复步骤2)~5)直到神经网络的损失收敛,得到针对机器视觉重建图像任务的紧凑表示码流解码器。
8.一种可扩展人机协同图像编码***,其特征在于,包括编码器、基于权利要求6所述方法训练得到的双路码流解码器和基于权利要求7所述方法训练得到的紧凑表示码流解码器;其中,
编码器,用于提取图片的边缘图;然后利用贝塞尔曲线对边缘图进行矢量化,作为驱动机器视觉任务的紧凑表示;然后在矢量化后的边缘图中进行关键点提取,将提取的关键点作为辅助信息;然后对所述紧凑表示和所述辅助信息分别进行熵编码无损压缩,获得两路码流;
双路码流解码器,用于对两路码流进行解码得到边缘图以及辅助信息,然后对解码得到的边缘图以及辅助信息进行前向传递,得到用于人眼视觉重建图像任务的解码图像;
紧凑表示码流解码器,用于对边缘图对应的码流进行解码得到边缘图,然后对解码得到的边缘图进行前向传递,得到用于机器视觉重建图像任务的解码图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911415561.7A CN113132755B (zh) | 2019-12-31 | 2019-12-31 | 可扩展人机协同图像编码方法及***、解码器训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911415561.7A CN113132755B (zh) | 2019-12-31 | 2019-12-31 | 可扩展人机协同图像编码方法及***、解码器训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113132755A CN113132755A (zh) | 2021-07-16 |
CN113132755B true CN113132755B (zh) | 2022-04-01 |
Family
ID=76770772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911415561.7A Active CN113132755B (zh) | 2019-12-31 | 2019-12-31 | 可扩展人机协同图像编码方法及***、解码器训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113132755B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113949880B (zh) * | 2021-09-02 | 2022-10-14 | 北京大学 | 一种极低码率人机协同图像编码训练方法及编解码方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846253A (zh) * | 2017-02-14 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于反向传播神经网络的图像超分辨率重建方法 |
CN107610140A (zh) * | 2017-08-07 | 2018-01-19 | 中国科学院自动化研究所 | 基于深度融合修正网络的精细边缘检测方法、装置 |
CN108364262A (zh) * | 2018-01-11 | 2018-08-03 | 深圳大学 | 一种模糊图像的复原方法、装置、设备及存储介质 |
CN109255794A (zh) * | 2018-09-05 | 2019-01-22 | 华南理工大学 | 一种标准件深度全卷积特征边缘检测方法 |
CN109920049A (zh) * | 2019-02-26 | 2019-06-21 | 清华大学 | 边缘信息辅助精细三维人脸重建方法及*** |
WO2019141258A1 (zh) * | 2018-01-18 | 2019-07-25 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、视频解码方法、装置及*** |
US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7861207B2 (en) * | 2004-02-25 | 2010-12-28 | Mentor Graphics Corporation | Fragmentation point and simulation site adjustment for resolution enhancement techniques |
-
2019
- 2019-12-31 CN CN201911415561.7A patent/CN113132755B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846253A (zh) * | 2017-02-14 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于反向传播神经网络的图像超分辨率重建方法 |
CN107610140A (zh) * | 2017-08-07 | 2018-01-19 | 中国科学院自动化研究所 | 基于深度融合修正网络的精细边缘检测方法、装置 |
CN108364262A (zh) * | 2018-01-11 | 2018-08-03 | 深圳大学 | 一种模糊图像的复原方法、装置、设备及存储介质 |
WO2019141258A1 (zh) * | 2018-01-18 | 2019-07-25 | 杭州海康威视数字技术股份有限公司 | 一种视频编码方法、视频解码方法、装置及*** |
CN109255794A (zh) * | 2018-09-05 | 2019-01-22 | 华南理工大学 | 一种标准件深度全卷积特征边缘检测方法 |
CN109920049A (zh) * | 2019-02-26 | 2019-06-21 | 清华大学 | 边缘信息辅助精细三维人脸重建方法及*** |
US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
Non-Patent Citations (4)
Title |
---|
Real-Time Deep Image Super-Resolution via Global Context Aggregation and Local Queue Jumping;Yueyu Hu, Jiaying Liu等;《IEEE》;20171213;全文 * |
TOWARDS IMAGE UNDERSTANDING FROM DEEP COMPRESSION WITHOUT DECODING;Robert Torfason等;《ICLR 2018》;20180316;全文 * |
基于神经网络的图像视频编码;贾川民等;《电信科学》;20190520(第05期);全文 * |
边缘增强深层网络的图像超分辨率重建;谢珍珠等;《中国图象图形学报》;20180116(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113132755A (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11153566B1 (en) | Variable bit rate generative compression method based on adversarial learning | |
US11276231B2 (en) | Semantic deep face models | |
WO2022267641A1 (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
CN110290387B (zh) | 一种基于生成模型的图像压缩方法 | |
CN110415172B (zh) | 一种面向混合分辨率码流中人脸区域的超分辨率重建方法 | |
CN113132727B (zh) | 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法 | |
CN109996073B (zh) | 一种图像压缩方法、***、可读存储介质及计算机设备 | |
CN105392009B (zh) | 基于块自适应采样和超分辨率重建的低码率图像编码方法 | |
CN110870310A (zh) | 图像编码方法和装置 | |
CN111797891A (zh) | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 | |
CN113132735A (zh) | 一种基于视频帧生成的视频编码方法 | |
WO2023143101A1 (zh) | 一种面部视频编码方法、解码方法及装置 | |
CN112132158A (zh) | 一种基于自编码网络的可视化图片信息嵌入方法 | |
Akbari et al. | Learned multi-resolution variable-rate image compression with octave-based residual blocks | |
CN113132755B (zh) | 可扩展人机协同图像编码方法及***、解码器训练方法 | |
CN112288626A (zh) | 一种基于双路径深度融合的人脸幻构方法及*** | |
CN116579966A (zh) | 一种图像重建方法、装置、电子设备及存储介质 | |
CN112492313B (zh) | 一种基于生成对抗网络的图片传输*** | |
Yin et al. | Enabling translatability of generative face video coding: A unified face feature transcoding framework | |
CN117651144A (zh) | 基于深度学习的建筑物点云压缩方法及*** | |
CN115880762B (zh) | 面向人机混合视觉的可伸缩人脸图像编码方法、*** | |
WO2024032119A1 (zh) | 一种多模态信源联合编码方法 | |
CN115052147B (zh) | 基于生成模型的人体视频压缩方法、*** | |
CN114245126B (zh) | 一种纹理协同的深度特征图压缩方法 | |
CN107205151B (zh) | 基于混合失真度量准则的编解码装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |