CN107135393B - 一种光场图像的压缩方法 - Google Patents
一种光场图像的压缩方法 Download PDFInfo
- Publication number
- CN107135393B CN107135393B CN201710305196.9A CN201710305196A CN107135393B CN 107135393 B CN107135393 B CN 107135393B CN 201710305196 A CN201710305196 A CN 201710305196A CN 107135393 B CN107135393 B CN 107135393B
- Authority
- CN
- China
- Prior art keywords
- image
- image block
- reference frame
- images
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种光场图像的压缩方法,属于图像压缩的技术领域。本发明通过对非参考帧中的部分图像块进行运动估计,计算这些图像块的运动矢量,取其众数作为整幅图像的全局运动矢量,基于全局运动估计对当前待编码帧进行帧间预测编码。本发明用于光场图像压缩,能明显减小数据量,提高压缩效率。
Description
技术领域
本发明属于光场图像处理的技术领域,具体涉及一种以全局运动矢量为基础的光场图像压缩方法。
背景技术
“光场”是用来记录光线分布情况的一个模型,可以全方位地描述光线在空间与时间中的各种信息。对于传统相机成像来说,一张照片上的一个像素点只是不同方向的光线叠加之后的结果;对于光场相机来说,其采集到的图像上还包含着光辐射在传播过程中的四维位置和方向的信息,相比只记录二维的传统成像方式多出2个自由度,可以对光路进行轨迹追踪,因而在图像重建过程中,能够获得更加丰富的图像信息。光场图像在计算物体景深、医学影像以及虚拟现实等领域有着广泛的应用。
目前有两种常见的光场图像进行采集方式:微透镜相机以及相机阵列。两种方式都是将四维光场信息记录在二维的图片上,光场图像包含的信息量十分巨大,相应地,其文件大小也高于传统的图片文件,如何高效储存与传输光场图像已经是当前十分迫切的需求。
使用相机阵列拍摄出的光场子图像间存在极高的相关性,由于每幅子图像之间只有相机位置的变化,而没有图像中物体的相对移动,因此相邻图像间几乎只有相对平移的关系,利用这一相关性,对两幅图像进行基于全局运动估计的帧间预测编码,能大大提高光场图像的编码效率。
发明内容
本发明的目的在于,提供一种能提升光场图像压缩效率的图像压缩方法,即基于全局运动估计的光场子图像编码方法。
本发明采用的技术方案为:一种光场图像的压缩方法,包括下列步骤:
步骤1:输入待压缩的光场图像子阵列;
步骤2:对光场子图像进行图像组划分,将同一行或同一列的所有图像作为一个图像组;
步骤3:分别对各组图像进行编码压缩:将每一行最左或每一列最上的图像作为参考帧,基于参考帧计算其相邻帧的全局运动矢量以及预测图像,对全局运动矢量以及相邻帧与预测图像的差值进行编码;
步骤4:对于每一组待编码的子图像,将该组最近完成编码的图像作为参考帧,基于参考帧计算其相邻帧的全局运动矢量以及预测图像,对全局运动矢量以及相邻帧与预测图像的差值进行编码;
步骤5:重复步骤4,直到所有子图像组的每一幅子图像都完成了全局运动矢量以及图像差值的编码,整个光场图像压缩过程结束。
在步骤3和4中,全局运动矢量的具体计算方法为:设每个光场子图像的大小是L*W个像素,对当前帧的中心区域中的n*n个大小为k*k像素的图像块进行运动估计,得到这n*n个图像块的运动矢量,以其众数作为当前帧的全局运动矢量;
所述参数k的计算方法为k=max[16,ωlog2S],其中ω为预设尺度因子,S=min[L,W];
所述参数n的计算方法为n=max[4,log2(S/k)],其中S=min[L,W];
所述中心区域是指,当前图像的中心像素点最邻近的n*n个子图像区域。
在步骤3和4中,图像块的运动矢量的具体计算方法为:
首先判断分组方式:
若是按行分组,将当前待测图像块与参考帧对应位置的图像块在从左到右的水平搜索范围内进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的水平相对位移即为水平运动矢量dx;之后再将当前待测图像块与参考帧对应位置的图像块在从上到下的垂直搜索范围内进行进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的垂直相对位移即为垂直运动矢量dy,则[dx,dy]即为当前图像块的运动矢量;
若是按列分组,将当前待测图像块与参考帧对应位置的图像块在从上到下的垂直搜索范围内进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的垂直相对位移即为垂直运动矢量dy;之后再将当前待测图像块与参考帧对应位置的图像块在从左到右的水平搜索范围内进行进行最小绝对差值和计算,找出最小绝对差值和最小的图像块,两图像块间的水平相对位移即为水平运动矢量dx,则[dx,dy]即为当前图像块的运动矢量。
综上所述,由于采用了上述技术方案,本发明的有益效果为:本发明首先根据光场图像的行列数目,决定更加有效的分组方式;使用参考帧图像对当前待编码图像进行全局运动估计,相对于分块运动估计的做法,大大减少了计算量,提高了计算速度;在进行全局运动估计的过程中,通过分析图像的大小和复杂度,自动选取合理的分块方式与块数量,在保证准确性的前提下减小了运算量。最后通过全局运动补偿提高参考帧图像与当前待编码帧图像的相关性,实现高效的光场子图像压缩过程。
附图说明
图1为子图像按行分组示意图;
图2为n=4为例的中心区域的含义;
图3为对图像块进行运动估计的过程。
具体实施方式:
为使本发明的目的与技术方案更加清楚,下面结合实施方式与示意图,对本发明作进一步详细描述。
基于本发明的方法,对输入的光场子图像阵列进行如下处理:
步骤1、确定光场子图像分组方式。设光场子图像阵列的数目为M*N,即M行N列,若M<N,则将每一行子图像作为一个图像组;若N<M,则将每一列子图像作为一个图像组。
步骤2、确定要检测的图像块大小k*k。其中k=max[16,ωlog2S],其中ω为预设尺度因子,设每个光场子图像的大小是L*W个像素,S=min[L,W];
步骤3、确定需要进行运动估计的图像块数量num=n*n,其中n=max[4,log2(S/k)],其中S=min[L,W];
步骤4、将每一行最左(若将每一行子图像作为一个图像组)或每一列最上(若将每一行列图像作为一个图像组)的图像作为参考帧,对其相邻帧(下一帧)进行全局运动估计。
步骤5、全局运动估计的方法是:对于当前编码帧的中心区域中的n*n个大小为k*k像素的图像块进行运动估计,得到n*n个图像块运动矢量[dx(i),dy(i)];所述中心区域是指,当前图像的中心像素点最邻近的n*n个子图像区域。取数组dx(i)中元素的众数为dx,取数组dy(i)中元素的众数为dy,则矢量[dx,dy]为整幅子图像的全局运动矢量。
步骤6、对图像块进行运动估计的方法是:首先判断分组方式,若是按行分组,对于当前编码帧的每一个图像块curblock(i),在参考帧的对应位置图像块的向左k像素到向右k像素进行全搜索算法的图像块匹配,为减小计算量,使用最小绝对差值和(SAD)算法,公式为:
SAD(mv)=∑|f2(x,mv)-f1(x)|
步骤7、找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i),记录图像块curblock(i)与horblock(i)间的水平位移矢量dx(i);之后在参考帧的horblock(i)图像块向上k像素到向下k像素进行全搜索算法的图像块匹配,找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i),记录图像块horblock(i)与verblock(i)间的垂直位移矢量dy(i);则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量。
步骤8、若是按列分组,对于当前编码帧的每一个图像块curblock(i),在参考帧的对应位置图像块的向上k像素到向下k像素进行全搜索算法的图像块匹配,使用最小绝对差值和(SAD)算法,找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i),记录图像块curblock(i)与verblock(i)间的水平位移矢量dy(i);之后在参考帧的verblock(i)图像块向左k像素到向右k像素进行全搜索算法的图像块匹配,找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i),记录图像块verblock(i)与horblock(i)间的水平位移矢量dx(i);则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量。
步骤9、求得当前帧的全局运动矢量[dx,dy]后,将参考帧平移[dx,dy]后作为预测图像,将当前帧与预测图像做差,将得到的差值D与全局运动矢量[dx,dy]进行编码。
步骤10、将最近完成编码的图像作为参考帧,将其下一帧图像作为待编码的当前帧,重复步骤5~9,对当前帧进行压缩编码。
步骤11、当每一组子图像中的每一幅子图像都进行过编码之后,整个光场图像阵列的压缩编码结束。
Claims (1)
1.一种光场图像的压缩方法,其特征在于,包括以下步骤:
步骤1:输入待压缩的光场图像子阵列;
步骤2:对光场子图像进行图像组划分,将同一行或同一列的所有图像作为一个图像组;
步骤3:分别对各组图像进行编码压缩:将每一行最左或每一列最上的图像作为参考帧,基于参考帧计算其相邻帧的全局运动矢量以及预测图像,对全局运动矢量以及相邻帧与预测图像的差值进行编码;
步骤4:对于每一组待编码的子图像,将该组最近完成编码的图像作为参考帧,基于参考帧计算其相邻帧的全局运动矢量以及预测图像,对全局运动矢量以及相邻帧与预测图像的差值进行编码;
步骤5:重复步骤4,直到所有子图像组的每一幅子图像都完成了全局运动矢量以及图像差值的编码,整个光场图像压缩过程结束;
其中,在步骤3和4中,全局运动矢量的具体计算方法为:
对当前帧的中心区域中的n*n个大小为2^k*2^k像素的图像块进行运动估计,得到这n*n个图像块的运动矢量,以其众数作为当前帧的全局运动矢量;
所述参数k的计算方法为k=max[16,ωlog2 S],其中ω为预设尺度因子,S=min[L,W];
所述参数n的计算方法为n=max[4,log2(S/k)],其中S=min[L,W];
所述中心区域是指,当前图像的中心像素点最邻近的n*n个子图像区域;
图像块的运动矢量的具体计算方法为:
找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i),记录图像块curblock(i)与horblock(i)间的水平位移矢量dx(i);之后在参考帧的horblock(i)图像块向上k像素到向下k像素进行全搜索算法的图像块匹配,找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i),记录图像块horblock(i)与verblock(i)间的垂直位移矢量dy(i);则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量;
若是按列分组,对于当前编码帧的每一个图像块curblock(i),在参考帧的对应位置图像块的向上k像素到向下k像素进行全搜索算法的图像块匹配,使用最小绝对差值和(SAD)算法,找到参考帧在垂直方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块verblock(i),记录图像块curblock(i)与verblock(i)间的水平位移矢量dy(i);之后在参考帧的verblock(i)图像块向左k像素到向右k像素进行全搜索算法的图像块匹配,找到参考帧在水平方向搜索范围内与图像块curblock(i)的SAD最小的对应图像块horblock(i),记录图像块verblock(i)与horblock(i)间的水平位移矢量dx(i);则[dx(i),dy(i)]即为当前图像块curblock(i)的运动矢量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710305196.9A CN107135393B (zh) | 2017-05-03 | 2017-05-03 | 一种光场图像的压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710305196.9A CN107135393B (zh) | 2017-05-03 | 2017-05-03 | 一种光场图像的压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107135393A CN107135393A (zh) | 2017-09-05 |
CN107135393B true CN107135393B (zh) | 2020-11-06 |
Family
ID=59715227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710305196.9A Expired - Fee Related CN107135393B (zh) | 2017-05-03 | 2017-05-03 | 一种光场图像的压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107135393B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111757125B (zh) * | 2019-03-29 | 2024-02-27 | 曜科智能科技(上海)有限公司 | 基于光场多视角视频压缩方法及其装置、设备和介质 |
CN109996067B (zh) * | 2019-04-04 | 2021-02-02 | 清华大学深圳研究生院 | 一种基于深度的全光图像自适应卷积编码方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101309424A (zh) * | 2008-07-04 | 2008-11-19 | 四川虹微技术有限公司 | 一种快速运动估计的方法 |
CN101588437A (zh) * | 2008-04-29 | 2009-11-25 | 奥多比公司 | 用于对光场图像进行基于块的压缩的方法和设备 |
CN104469372A (zh) * | 2014-11-06 | 2015-03-25 | 中国科学院计算技术研究所 | 用于压缩微透镜阵列采集的光场图像的方法和*** |
CN106375766A (zh) * | 2016-09-08 | 2017-02-01 | 电子科技大学 | 一种光场图像压缩方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9264691B2 (en) * | 2012-09-28 | 2016-02-16 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for backward 3D-view synthesis prediction using neighboring blocks |
-
2017
- 2017-05-03 CN CN201710305196.9A patent/CN107135393B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101588437A (zh) * | 2008-04-29 | 2009-11-25 | 奥多比公司 | 用于对光场图像进行基于块的压缩的方法和设备 |
CN101309424A (zh) * | 2008-07-04 | 2008-11-19 | 四川虹微技术有限公司 | 一种快速运动估计的方法 |
CN104469372A (zh) * | 2014-11-06 | 2015-03-25 | 中国科学院计算技术研究所 | 用于压缩微透镜阵列采集的光场图像的方法和*** |
CN106375766A (zh) * | 2016-09-08 | 2017-02-01 | 电子科技大学 | 一种光场图像压缩方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107135393A (zh) | 2017-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10652577B2 (en) | Method and apparatus for encoding and decoding light field based image, and corresponding computer program product | |
Ding et al. | Spatio-temporal recurrent networks for event-based optical flow estimation | |
WO2017120981A1 (en) | Compression method and apparatus for panoramic stereo video system | |
CN107027025B (zh) | 一种基于宏像素块自适应预测的光场图像压缩方法 | |
US20140219559A1 (en) | Apparatus and Method for Segmenting an Image | |
US10785502B2 (en) | Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product | |
JPH07262381A (ja) | ブロック・マッチングによるイメージ・モーション推定方法 | |
US8867826B2 (en) | Disparity estimation for misaligned stereo image pairs | |
CN111598775B (zh) | 基于lstm网络的光场视频时域超分辨重建方法 | |
CN107135393B (zh) | 一种光场图像的压缩方法 | |
CN113538243A (zh) | 基于多视差注意力模块组合的超分辨图像重建方法 | |
CN106791869B (zh) | 基于光场子孔径图像相对位置关系的快速运动搜索方法 | |
CN106791876B (zh) | 一种基于3d-hevc的深度图快速帧内预测方法 | |
CN101895749A (zh) | 一种快速视差估计和运动估计方法 | |
CN109660811B (zh) | 一种快速的hevc帧间编码方法 | |
CN114651270A (zh) | 通过时间可变形卷积进行深度环路滤波 | |
Jia et al. | Neighbor correspondence matching for flow-based video frame synthesis | |
CN111416983B (zh) | 基于成像相关的多焦距光场视频帧内预测方法和装置 | |
CN106961605B (zh) | 一种基于宏像素边界匹配的光场图像压缩方法 | |
CN105263026A (zh) | 基于概率统计与图像梯度信息的全局矢量获取方法 | |
CN111385585B (zh) | 一种基于机器学习的3d-hevc深度图编码单元划分方法 | |
CN109547798B (zh) | 一种快速的hevc帧间模式选择方法 | |
CN109996067B (zh) | 一种基于深度的全光图像自适应卷积编码方法 | |
CN108495111B (zh) | 一种基于成像几何特征的立体元图像阵列编码方法 | |
CN107483936B (zh) | 一种基于宏像素的光场视频帧间预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201106 Termination date: 20210503 |