CN100544444C - 用于全景图像的运动估计和补偿的方法和设备 - Google Patents
用于全景图像的运动估计和补偿的方法和设备 Download PDFInfo
- Publication number
- CN100544444C CN100544444C CNB2005800271873A CN200580027187A CN100544444C CN 100544444 C CN100544444 C CN 100544444C CN B2005800271873 A CNB2005800271873 A CN B2005800271873A CN 200580027187 A CN200580027187 A CN 200580027187A CN 100544444 C CN100544444 C CN 100544444C
- Authority
- CN
- China
- Prior art keywords
- data unit
- picture
- motion vector
- reference picture
- reference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
一种基于全景图像的右边界和左边界之间的空间关系非常高,对具有360°全方位示图的全景图像执行运动估计和补偿的方法和设备。因此,通过对全景图像的运动的有效和精确的估计和补偿,可改善图像质量。尤其是可改善在全景图像的右边界和左边界的图像质量。
Description
技术领域
本发明总体构思涉及全景图像的运动估计和补偿,更具体地讲,涉及一种用于估计包含360°全方位图像信息的全景图像的运动的方法和设备,以及一种用于补偿全景图像的运动的方法和设备。
背景技术
全方位视频摄像机***能够从单个视点获得360°全方位示图。全方位视频摄像机***包括一个摄像机或者多个摄像机,其中,诸如双曲面反射镜的专用反射镜或者诸如鱼眼透镜的专用透镜被安装到所述摄像机。
三维(3D)真实广播(3D realistic broadcasting)可应用于全方位视频编码。作为3D真实广播业务的示例,观看者的终端接收关于从不同视点(诸如棒球比赛中的投手、捕手、击球手和一垒一侧的观众的视点)观看的场景的所有图像信息,并且观看者可选择期望的视点来从期望的视点观看多个场景中的一个。
全方位视频摄像机***捕捉的图像具有与3D柱形环境相应的特性,从而所述图像被变换为二维(2D)平面图像。在这种情况下,2D平面图像是具有360°全方位示图的全景图像,并且对2D全景图像执行全方位视频编码。
在作为一种图像编码技术的运动估计技术中,通过使用预定的估计函数从先前帧检测与当前帧中的数据单元最相似的数据单元来计算运动矢量,所述运动矢量表现数据单元之间的位置差,通常16×16宏块用作数据块,但是宏块的大小不限于此,例如,数据单元可以是16×8、8×16或8×8宏块。
现在将更详细地描述以16×16宏块为单位执行的传统的运动估计技术。首先,使用与当前帧的当前宏块相应的位置相邻的先前帧的多个先前宏块来预测当前帧的当前宏块的运动矢量。图1示出了用于估计当前帧的当前宏块X的运动矢量的先前帧的多个先前宏块A、B、C和D。在对当前宏块X编码之前对先前宏块A至D编码。
然而,有时某些与当前宏块X相邻的先前宏块不可用于根据当前帧中的当前宏块X的位置来估计当前宏块X的运动矢量。图2A示出了估计当前宏块X的运动矢量所需的先前宏块B、C和D不存在的情况。在这种情况下,当前宏块X的运动矢量被设置为O。
图2B示出了先前宏块A和D不存在的情况。在这种情况下,先前宏块A和D的运动矢量被设置为O,当前宏块X的运动矢量被设置为先前宏块A至D的运动矢量的平均值。
图2C示出了先前宏块C不存在的情况。在这种情况下,先前宏块C的运动矢量被设置为O,当前宏块X的运动矢量被设置为先前宏块A至D的运动矢量的平均值。
在预测当前宏块X的运动矢量之后,使用预定的估计函数来计算由预测的运动矢量指示的参考帧中的每个参考宏块与当前宏块X之间的相似性。接下来,在预定的搜索范围之内从参考帧检测与当前宏块X最相似的参考宏块。通常,绝对差和(SAD)函数、绝对变换差和(SATD)函数或均方差和(SSD)函数用作所述预定的估计函数。
在预定的搜索范围内检测最相似的参考宏块期间,参考宏块的部分或全部像素可以位于预定的搜索范围之外。在这种情况下,如图3所示,需要将最相似的参考宏块像素的左右边界上的像素的值分别填充到左右边界的外部,以执行运动估计和补偿。这种运动估计和补偿被称为无限制运动矢量(UMV)模式下的运动估计和补偿。
图4A示出了具有360°全方位示图的柱形图像。图4B示出了沿图4A的柱形图像的X线得到的具有360°全方位示图的全景图像。参照图4B,图4A中示出的人形对象的左侧A和右侧B被分别置于全景图像的右边界和左边界。也就是说,具有360°全方位示图的全景图像的右边界和左边界之间的空间关系非常高。
因此,在不考虑全景图像的特性的情况下对具有全方位示图的全景图像执行传统的运动估计和补偿是无效的。因此,需要有效地估计和补偿具有全方位示图的全景图像的运动的方法。
发明公开
技术问题
本发明总体构思提供了一种有效地和精确地估计包含全方位图像信息的全景图像的运动的方法和设备。
本发明总体构思还提供了一种有效地和精确地补偿包含全方位图像信息的全景图像的运动的方法和设备。
有益效果
根据本发明总体构思,基于全景图像的右边界和左边界之间的空间关系非常高,对具有360°全方位示图的全景图像执行运动估计和补偿,从而提高了运动估计和补偿的有效性和精确性。因此,可改善图像质量,即在全景图像的右边界和左边界的图像质量。
附图说明
图1是示出可用于传统的当前宏块的运动矢量的估计的多个先前宏块的示图;
图2A至图2C是示出用于估计当前宏块的运动矢量的先前宏块不存在的情况的示图;
图3是示出填充参考图像的传统方法的示图;
图4A是示出具有360°全方位示图的柱形图像的示图;
图4B是示出与图4A的柱形图像相应的二维(2D)图像的示图;
图5是示出根据本发明总体构思的实施例的对全景图像的运动矢量编码的编码单元的方框图;
图6A和图6B是示出根据本发明总体构思的实施例的估计全景图像的运动的方法的流程图;
图7A是示出根据本发明总体构思的实施例的选择用于估计当前宏块的运动矢量的先前宏块的示图;
图7B是示出根据本发明总体构思的另一实施例的选择用于估计当前宏块的运动矢量的先前宏块的示图;
图8A是示出参考宏块部分地与参考图像重叠的情况的示图;
图8B是示出参考宏块位于参考图像外部的情况的示图;
图9是示出根据本发明总体构思的实施例的填充参考图像的方法的示图;
图10是示出当前宏块的运动矢量的示图;
图11是示出根据本发明总体构思的实施例的对全景图像的运动矢量解码的解码单元的方框图;和
图12是示出根据本发明总体构思的实施例的补偿全景图像的运动的方法的流程图。
最佳方式
可通过提供一种估计包含360°全方位示图信息的当前全景图像的运动的方法来实现本发明总体构思的上述和/或其他方面,所述方法包括:通过使用与当前数据单元相邻的多个先前的参考数据单元的运动矢量来估计全景图像的当前数据单元的运动矢量;当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时,将预定范围内的图像从参考图像的另一边界填充到所述左边界和右边界之一的外部;从填充的参考图像获得所述多个参考数据单元之一的全部像素值;和通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性。
还可通过提供一种估计包含360°全方位示图信息的当前全景图像的运动的方法来实现本发明总体构思的上述和/或其他方面,所述方法包括:通过使用与当前数据单元相邻的多个先前的参考数据单元的运动矢量来估计全景图像的当前数据单元的运动矢量;当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时,从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得所述参考图像的多个参考数据单元之一的全部像素值;和通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性。
还可通过提供一种估计包含360°全方位示图信息的全景图像的运动的设备来实现本发明总体构思的上述和/或其他方面,所述设备包括:存储器,存储将被用于全景图像的运动估计的参考图像以及与全景图像的当前数据单元相邻的多个先前的参考数据单元的运动矢量;和运动估计单元,通过使用多个先前的参考数据单元的运动矢量来估计当前数据单元的运动矢量,当由估计的运动矢量指示的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,将预定范围内的参考图像从参考图像的另一边界填充到所述左边界和右边界之一的外部,从填充的参考图像获得参考数据单元的全部像素值,并通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性。
还可通过提供一种估计包含360°全方位示图信息的全景图像的运动的设备来实现本发明总体构思的上述和/或其他方面,所述设备包括:存储器,存储将被用于全景图像的运动估计的参考图像以及与全景图像的当前数据单元相邻的参考图像的多个先前的参考数据单元的运动矢量;和运动估计单元,通过使用多个先前的参考数据单元的运动矢量来估计当前数据单元的运动矢量,当由估计的运动矢量指示的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,假设参考图像是柱形图像,从通过连接参考图像的左边界和右边界获得的柱形图像获得参考数据单元的全部像素值,并通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性。
还可通过提供一种补偿包含360°全方位示图信息的全景图像的运动的方法来实现本发明总体构思的上述和/或其他方面,所述方法包括:接收全景图像的当前数据单元的运动矢量;当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,将预定范围内的参考图像从参考图像的另一边界填充到所述参考图像的左边界和右边界之一的外部;从填充的参考图像获得参考数据单元的全部像素值;和通过使用所述参考数据单元的像素值再现当前数据单元。
还可通过提供一种补偿包含360°全方位示图信息的全景图像的运动的方法来实现本发明总体构思的上述和/或其他方面,所述方法包括:接收全景图像的当前数据单元的运动矢量;当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得参考数据单元的全部像素值;和通过使用所述参考数据单元的像素值再现当前数据单元。
还可通过提供一种补偿包含360°全方位示图信息的全景图像的运动的设备来实现本发明总体构思的上述和/或其他方面,所述设备包括:存储器,存储将被用于全景图像的运动估计的参考图像;运动补偿单元,接收全景图像的当前数据单元的运动矢量,当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,将预定范围内的参考图像从参考图像的另一边界填充到所述参考图像的左边界和右边界之一的外部,从填充的参考图像获得参考数据单元的全部像素值,并通过使用所述参考数据单元的像素值再现当前数据单元。
还可通过提供一种补偿包含360°全方位示图信息的全景图像的运动的设备来实现本发明总体构思的上述和/或其他方面,所述设备包括:存储器,存储将被用于全景图像的运动估计的参考图像;运动补偿单元,接收全景图像的当前数据单元的运动矢量,当由当前数据单元的运动矢量指示的参考图像的参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得参考数据单元的全部像素值,并通过使用所述参考数据单元的像素值再现当前数据单元。
还可通过提供一种估计包含360°全方位示图信息的全景图像的运动矢量的设备来实现本发明总体构思的上述和/或其他方面,所述设备包括:存储器,存储具有第一边界和第二边界的参考图像以及在参考图像之内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元;运动估计单元,从存储器接收当前图像的当前数据单元和参考图像的参考数据单元,并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时,通过使用第一参考数据单元和第二参考数据单元中不包括在搜索区域中的另一个来估计当前数据单元的运动矢量。
还可通过提供一种产生包含360°全方位示图信息的全景图像的设备来实现本发明总体构思的上述和/或其他方面,所述设备包括:解码单元,对具有与当前图像和参考图像相应的数据的比特流解码,并产生当前图像的当前数据单元的运动矢量,所述运动矢量对应于参考图像的搜索区域,所述搜索区域包括位于参考图像的第一边界的第一参考数据单元;全景图像运动补偿单元,根据所述运动矢量,通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块;和输出单元,根据参考宏块和与解码的比特流相应的数据产生当前图像。
还可通过提供一种具有用于估计包含360°全方位示图信息的全景图像的运动矢量的编码器和解码器的设备来实现本发明总体构思的上述和/或其他方面。所述编码器包括:存储器,存储具有第一边界和第二边界的参考图像以及在参考图像内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元;运动估计单元,从存储器接收当前图像的当前数据单元和参考图像的参考数据单元,并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时,通过使用第一参考数据单元和第二参考数据单元中不包括在所述搜索区域中的另一个来估计当前数据单元的运动矢量;全景图像运动补偿单元,根据所述运动矢量和参考图像产生参考宏块;和编码单元,根据当前图像和所述参考宏块产生比特流。所述解码器包括:解码单元,对具有与当前图像和参考图像相应的数据的比特流解码,并产生当前图像的当前数据单元的运动矢量,所述运动矢量对应于参考图像的搜索区域,所述搜索区域包括位于参考图像的第一边界的第一参考数据单元;第二全景图像运动补偿单元,根据所述运动矢量,通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块;和输出单元,根据所述参考宏块和与解码的比特流相应的数据产生当前图像。
还可通过提供一种估计包含360°全方位示图信息的全景图像的运动矢量的方法来实现本发明总体构思的上述和/或其他方面,所述方法包括:存储具有第一边界和第二边界的参考图像以及在参考图像内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元;和从存储器接收当前图像的当前数据单元和参考图像的参考数据单元,并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时,通过使用第一参考数据单元和第二参考数据单元中不包括在搜索区域中的另一个来估计当前数据单元的运动矢量。
还可通过提供一种产生包含360°全方位示图信息的全景图像的方法来实现本发明总体构思的上述和/或其他方面,所述方法包括:对具有与当前图像和参考图像相应的数据的比特流解码,并产生当前图像的当前数据单元的运动矢量,所述运动矢量对应于参考图像的搜索区域,所述搜索区域包括位于参考图像的第一边界的第一参考数据单元;根据所述运动矢量,通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块;和根据所述参考宏块和与解码的比特流相应的数据产生当前图像。
还可通过提供一种估计包含360°全方位示图信息的全景图像的运动矢量的方法来实现本发明总体构思的上述和/或其他方面,所述方法包括:存储具有第一边界和第二边界的参考图像以及在参考图像内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元;从存储器接收当前图像的当前数据单元和参考图像的参考数据单元,并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时,通过使用第一参考数据单元和第二参考数据单元中不包括在所述搜索区域中的另一个来估计当前数据单元的运动矢量;根据所述运动矢量和参考图像产生参考宏块;根据当前图像和所述参考宏块产生比特流;对具有与当前图像和参考图像相应的数据的比特流解码,并产生当前图像的当前数据单元的运动矢量,所述运动矢量对应于参考图像的搜索区域,所述搜索区域包括位于参考图像的第一边界的第一参考数据单元;根据所述运动矢量,通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块;和根据所述参考宏块和与解码的比特流相应的数据产生当前图像。
本发明的方式
现在将对本发明总体构思的实施例进行详细描述,其示例在附图中示出,其中,相同的标号始终表示相同的部件。以下参照附图描述实施例以解释本发明总体构思。
图5是示出根据本发明总体构思的实施例的对全景图像的运动矢量编码的编码单元的方框图。参照图5,所述编码单元包括:变换单元110、量化单元115、逆量化单元120、逆变换单元125、加法单元130、修剪单元140、帧存储器150、全景图像运动估计单元160、全景图像运动补偿单元170、减法单元180和可变长度编码器(VLC)190。
变换单元110接收输入的全景图像,并通过预定的变换来变换接收的全景图像,以输出变换系数。输入的全景图像是沿图4A的所示的柱形图像的X线得到的如图4B所示的具有360°全方位示图的全景图像。变换单元110执行的预定的变换可以是以8×8块为单位的离散余弦变换(DCT)。
量化单元115对从变换单元110接收的变换系数进行量化。在量化的变换系数通过逆量化单元120被逆量化并通过逆变换单元125被逆变换之后,输入的全景图像被再现。再现的全景图像通过修剪单元140被规范化并被存储在帧存储器150中。存储在帧存储器150中的全景图像在新输入的全景图像的估计和补偿中被用作参考全景图像。加法单元130可具有预定值,接收再现的全景图像,通过使用所述预定值来修改再现的全景图像,并将再现的全景图像和修改的全景图像之一作为再现的全景图像输出到修剪单元140和全景图像运动补偿单元170。根据所述预定值,修改的全景图像可以与再现的全景图像相同。
全景图像运动估计单元160使用存储在帧存储器150中的参考全景图像来执行运动估计。具体地讲,全景图像运动估计单元160接收关于当前全景图像的信息,通过使用存储在帧存储器150中的参考全景图对当前全景图像执行运动估计获得当前全景图像的运动矢量,并将运动矢量输出到VLC190。以被称为数据单元的预定的块为单位来执行运动估计和补偿。在本实施例中,数据单元可以是16×16宏块。
全景图像运动补偿单元170执行运动补偿。详细地讲,全景图像运动补偿单元170从全景图像运动估计单元160接收当前全景图像的当前宏块的运动矢量并接收帧存储器150中的参考全景图像,并且使用当前全景图像的当前宏块的运动矢量和帧存储器150中的参考全景图像将与当前宏块相应的参考宏块输出到减法单元180。全景图像运动补偿单元170可使用再现的全景图像和运动矢量来产生参考宏块。减法单元180将当前宏块和参考宏块之间的残差信号输出到变换单元110。所述残差信号通过变换单元110被变换,通过量化单元115被量化,通过VLC 190被可变长度编码。全景图像运动估计单元160产生的当前宏块的运动矢量被直接输入到VLC 190并通过VLC 190被可变长度编码。
现在将参照图6A和图6B更详细地描述全景图像运动估计单元160的操作。图6A和图6B是示出根据本发明总体构思的实施例的估计全景图像的运动的方法的流程图。参照图5、图6A和图6B,全景图像运动估计单元160使用与当前数据单元相邻的多个先前数据单元的运动矢量来估计当前数据单元的运动矢量(S310)。如图1所示,数据单元X是当前数据单元,数据单元A、B、C和D是估计当前数据单元X的运动矢量所需的先前数据单元。在本实施例中,数据单元可以是16×16宏块。当前数据单元X被包括在当前帧中,并且先前数据单元A、B、C和D被包括在先前帧中。
详细地讲,全景图像运动估计单元160检测存储在内部存储器(未示出)中的先前宏块A、B、C和D的运动矢量。当所有的先前宏块A至D都存在时,通过使用检测到的运动矢量,根据预定的或传统的运动估计来估计当前宏块X的运动矢量。
然而,先前宏块A至D中的至少一个可能不存在。图7A示出了在全景图像中不存在先前宏块A和D的情况,从而它们的运动矢量不可用于当前宏块X的运动估计。图7B示出了在全景图像中不存在先前宏块C的情况,从而它的运动矢量不可用于当前宏块X的运动估计。
如上所述,具有360°全方位示图的全景图像的右边界和左边界之间的空间关系非常高。也就是说,全景图像的右边界和左边界之间的差距基本为0。根据本发明总体构思的本实施例,当用于估计当前宏块X的运动矢量所需的先前宏块A、C和D中的一个或多个不存在时,通过使用全景图像的上述特性来确定运动估计所需的先前宏块的运动矢量。例如,参照图7A,在全景图像右侧并在先前宏块D所位于的Y轴上的先前宏块D′基本上与先前宏块D相同。因此,先前宏块D′的运动矢量被认为与先前宏块D的运动矢量相同,并可用于估计当前宏块X的运动矢量。相反,当在全景图像右侧并在先前宏块A所位于的Y轴上的先前宏块的运动矢量在当前宏块X的运动估计之后被预测时,没有运动矢量可用于先前宏块A。因此,估计当前宏块X的运动矢量所需的先前宏块A的运动矢量被设置为0。
参照图7B,在全景图像左侧并在先前宏块C所位于的Y轴上的先前宏块C′基本上与先前宏块C相同。因此,先前宏块C′的运动矢量被认为与先前宏块C的运动矢量相同,从而可用于估计当前宏块X的运动矢量。
参照图6A和图6B,在操作S310中估计当前宏块X(或当前数据单元)的运动矢量之后,在操作S315中,全景图像运动估计单元160确定由估计的运动矢量指示的参考宏块是否存在于参考图像(或参考全景图像)中。所述参考图像存储在帧存储器150中。
如果由当前宏块X的运动矢量指示的参考宏块的全部像素都存在于参考图像中,则参考宏块的像素从帧存储器150被取出(S330),并且通过使用预定的估计函数确定当前宏块X与参考宏块之间的相似性(S335)。
然而,当由当前宏块X的运动矢量指示的参考宏块的部分或全部像素位于参考图像的右边界和左边界之一的外部时,存在于参考图像的预定范围内的图像从另一边界被填充到所述右边界和左边界之一的外部(S320)。
图8A示出参考宏块位于参考图像的边界的情况。图8B示出参考宏块位于参考图像外部的情况。
参照图3,在将参考图像左边界的像素值填充到左边界的外部并且将参考图像的右边界的像素值填充到右边界的外部之后,执行传统的运动估计和补偿。相反,本发明总体构思的实施例是基于具有360°全方位示图的全景图像的右边界和左边界之间的空间关系非常高的情况。参照图9,参考图像400的左边界区域450的外部区域480被填充有参考图像400的右边界区域470的像素值。右边界区域470的外部区域460被填充有左边界区域450的像素值。
接下来,在操作S320中填充参考图像之后,全景图像运动估计单元160从帧存储器150中的填充的参考图像取出参考宏块的全部像素(S325)。其后,使用预定的估计函数来估计当前宏块X与参考宏块之间的相似性(S335)。通常,绝对差和(SAD)函数、绝对变换差和(SATD)函数或均方差和(SSD)函数被用作所述预定的估计函数。
可选地,当参考图像是通过连接参考图像的右边界和左边界获得的柱形图像时,可不用填充参考图像而从柱形图像获得参考数据单元的全部像素值。具体地讲,参考图像是如图4B所示的二维(2D)平面图像,而柱形图像是通过连接2D平面图像的右边界和左边界获得的如图4A所示的柱形图像。也就是说,当参考图像是柱形图像时,可从该柱形图像获得参考数据单元的全部像素值。
接下来,全景图像运动估计单元160改变预定的搜索区域中的参考宏块的位置,并确定改变的参考宏块与当前宏块X之间的相似性(S340和S345)。在估计当前宏块X与预定的搜索区域中的多个参考宏块中的每一个之间的相似性之后,全景图像运动估计单元160从所述多个参考宏块中确定与当前宏块X最相似的参考宏块,并产生确定的参考宏块的运动矢量(S350)。
图10是示出当前宏块510的运动矢量的示图。在图10中,标号530表示与当前宏块510最相似并存在于填充的参考图像中的宏块,标号540表示对应于宏块530并且存在于非填充的图像500中的宏块。当宏块530是与当前宏块510最相似的宏块时,标号550表示当前宏块510的运动矢量。当参考宏块540是与当前宏块510最相似的宏块时,标号560表示当前宏块510的运动矢量。也就是说,当前宏块510的运动矢量可以是运动矢量550和560中的一个。然而,没有落入预定的搜索范围之内的宏块的运动矢量不可能被发送到解码器(未示出)。因此,参考宏块530的运动矢量550可能被确定为当前宏块510的运动矢量。
现在将描述根据本发明总体构思的实施例的补偿全景图像的运动的方法和设备。
图11是示出根据本发明总体构思的实施例的对全景图像的运动矢量解码的解码单元的方框图。参照图11,所述解码器包括:可变长度解码器(VLD)710、逆量化单元720、逆变换单元730、加法单元740、全景图像运动补偿单元750、修剪单元760和帧存储器770。
VLD710使用可变长度编码/解码方法对输入的比特流解码。从VLD710输出的运动矢量以及宏块和参考宏块之间的残差信号被分别输入到全景图像运动补偿单元750和逆量化单元720。
帧存储器770存储通过将输入的比特流顺序地输入到逆量化单元720、逆变换单元730和修剪单元760获得的参考全景图像。存储在帧存储器770中的参考全景图像用于补偿新输入的全景图像(当前全景图像)的运动。
全景图像运动补偿单元750使用存储在帧存储器770中的参考全景图像来执行运动补偿。详细地讲,全景图像运动补偿单元750从如图5所示的编码器接收全景图像的当前宏块的运动矢量,读取帧存储器770中与当前宏块相应的先前帧的参考宏块,并将读取的参考宏块输出到加法单元740。然后,加法单元740接收通过逆量化单元720逆量化并通过逆变换单元730逆变换的当前宏块和参考宏块之间的残差。
加法单元740使用当前宏块和参考宏块之间的残差信号以及从全景图像运动补偿单元750输入的参考宏块来再现当前宏块。修剪单元760将从加法单元740输出的再现的当前宏块规范化。
现在将更详细地描述全景图像运动补偿单元750的操作。图12是示出根据本发明总体构思的实施例的补偿全景图像的运动的方法的流程图。
参照图11和图12,全景图像运动补偿单元750从VLD 710接收将对其执行运动估计的当前数据单元的运动矢量(S910)。在本实施例中,数据单元可以是16×16宏块。
接下来,全景图像运动补偿单元750确定由当前宏块的运动矢量指示的参考宏块是否位于参考图像中(S920)。所述参考图像被存储在帧存储器770中。
当由当前宏块的运动矢量指示的参考宏块的像素位于参考图像中,则从帧存储器770读取参考宏块的全部像素值(S950),并再现当前宏块(S960)。加法单元740使用从逆变换单元730输出的当前宏块和参考宏块之间的残差信号以及从全景图像运动补偿单元750输出的参考宏块来再现当前宏块。
然而,如图8A或图8B所示,当由当前宏块的运动矢量指示的参考宏块的部分或全部像素位于参考图像的左边界和右边界之一的外部时,预定范围内的图像从参考图像的另一边界被填充到所述左边界和右边界之一的外部(S930)。根据本发明,如图9所示,基于具有360°全方位示图的全景图像的右边界和左边界之间的空间关系非常高,来填充参考图像外部的区域。
接下来,在操作S930中填充参考图像之后,全景图像运动补偿单元750从来自帧存储器770的填充的参考图像读取参考宏块的全部像素值(S940)。
可选地,参考图像是通过连接参考图像的左边界和右边界获得的柱形图像时,可不用填充参考图像而从柱形图像获得参考数据单元的全部像素值。具体地讲,参考图像是如图4B所示的2D平面图像,而柱形图像是通过连接2D平面图像的左边界和右边界获得的如图4A所示的柱形图像。也就是说,如果参考图像是柱形图像,则可从该柱形图像获得参考数据单元的全部像素值。
最后,加法单元740使用当前宏块和参考宏块之间的残差信号以及从全景图像运动补偿单元750输入的参考宏块来再现当前宏块(S960)。
本发明总体构思可被实现为计算机可读介质中的计算机可读代码。这里,所述计算机可读记录介质可以是任何能够存储由计算机***读取的数据的记录设备,例如,只读存储器(ROM)、随机存取存储器(RAM)、压缩盘(CD)-ROM、磁带、软盘、光学数据存储装置等。此外,所述计算机可读介质可以是例如经由互联网发送数据的载波。所述计算机可读介质也可分布于通过网络互相连接的计算机***上,并且本发明可作为分布式***中的计算机可读代码被存储和实现。
如上所述,根据本发明总体构思,基于全景图像的右边界和左边界之间的空间关系非常高,对具有360°全方位示图的全景图像执行运动估计和补偿,从而提高了运动估计和补偿的有效性和精确性。因此,可改善图像质量,尤其是在全景图像的右边界和左边界的图像质量。
尽管已经显示和描述了本发明总体构思的一些实施例,但是本领域技术人员应该理解,在不脱离本发明总体构思的原则和精神的情况下,可以对这些实施例进行各种改变,本发明总体构思的范围由权利要求及其等同物限定。
Claims (24)
1、一种估计包含360°全方位示图信息的全景图像的运动的方法,所述方法包括:
通过使用与当前数据单元相邻的多个先前的参考数据单元的运动矢量来估计全景图像的当前数据单元的运动矢量;
当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时,将预定范围内的参考图像从参考图像的另一边界填充到所述左边界和右边界之一的外部;
从填充的参考图像获得所述多个参考数据单元之一的全部像素值;
通过使用预定的估计函数确定当前数据单元和所述参考数据单元之间的相似性;
确定预定的搜索范围内的所述多个参考数据单元中与当前数据单元最相似的一个参考数据单元;和
确定表现确定的参考数据单元的运动矢量。
2、如权利要求1所述的方法,其中,当所述多个先前的参考数据单元中的一个或多个位于全景图像的左边界和右边界之一的外部时,估计当前数据单元的运动矢量的步骤包括:
当参考图像是柱形图像时,从通过连接参考图像的左边界和右边界获得的柱形图像确定多个先前的参考数据单元。
3、如权利要求1所述的方法,其中,所述多个先前的参考数据单元包括:
第一数据单元,布置为与当前数据单元的左侧相应的位置相邻;
第二数据单元,布置为与当前数据单元的上侧相应的位置相邻;
第三数据单元,布置为与所述第二数据单元的右侧相应的位置相邻;和
第四数据单元,布置为与所述第一数据单元和第二数据单元相邻。
4、一种估计包含360°全方位示图信息的全景图像的运动的方法,所述方法包括:
通过使用与当前数据单元相邻的多个先前的参考数据单元的运动矢量来估计全景图像的当前数据单元的运动矢量;
当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时,从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得参考图像的所述多个参考数据单元之一的全部像素值;
通过使用预定的估计函数确定当前数据单元和所述参考数据单元之间的相似性;
确定预定的搜索范围内的所述多个参考数据单元中与当前数据单元最相似的一个参考数据单元;和
确定表现所确定的参考数据单元的运动矢量。
5、如权利要求4所述的方法,其中,所述多个先前的参考数据单元包括:
第一数据单元,布置为与当前数据单元的左侧相应的位置相邻;
第二数据单元,布置为与当前数据单元的上侧相应的位置相邻;
第三数据单元,布置为与所述第二数据单元的右侧相应的位置相邻;和
第四数据单元,布置为与所述第一数据单元和第二数据单元相邻。
6、一种估计包含360°全方位示图信息的全景图像的运动的设备,所述设备包括:
存储器,存储将被用于全景图像的运动估计的参考图像以及与全景图像的当前数据单元相邻的多个先前的参考数据单元的运动矢量;和
运动估计单元,通过使用多个先前的参考数据单元的运动矢量来估计当前数据单元的运动矢量,当由估计的运动矢量指示的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,将预定范围内的参考图像从参考图像的另一边界填充到所述左边界和右边界之一的外部,从填充的参考图像获得参考数据单元的全部像素值,通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性,确定预定的搜索范围内的所述多个参考数据单元中与当前数据单元最相似的一个参考数据单元,并确定表现所确定的参考数据单元的运动矢量。
7、如权利要求6所述的设备,其中,当所述多个先前的参考数据单元中的一个位于全景图像的左边界和右边界之一的外部时,运动估计单元从当全景图像是柱形图像时通过连接全景图像的左边界和右边界获得的柱形图像确定所述多个先前的参考数据单元。
8、如权利要求6所述的设备,其中,所述多个先前的参考数据单元包括:
第一数据单元,布置为与当前数据单元的左侧相应的位置相邻;
第二数据单元,布置为与当前数据单元的上侧相应的位置相邻;
第三数据单元,布置为与所述第二数据单元的右侧相应的位置相邻;和
第四数据单元,布置为与所述第一数据单元和第二数据单元相邻。
9、一种估计包含360°全方位示图信息的全景图像的运动的设备,所述设备包括:
存储器,存储将被用于全景图像的运动估计的参考图像以及与全景图像的当前数据单元相邻的多个先前的参考数据单元的运动矢量;和
运动估计单元,通过使用多个先前的参考数据单元的运动矢量来估计当前数据单元的运动矢量,当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时,从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得所述多个参考数据单元之一的全部像素值,通过使用预定的估计函数确定当前数据单元和所述参考数据单元之间的相似性,确定预定的搜索范围内的所述多个参考数据单元中与当前数据单元最相似的一个参考数据单元,并确定表现所确定的参考数据单元的运动矢量。
10、如权利要求9所述的设备,其中,所述多个先前的参考数据单元包括:
第一数据单元,布置为与当前数据单元的左侧相应的位置相邻;
第二数据单元,布置为与当前数据单元的上侧相应的位置相邻;
第三数据单元,布置为与所述第二数据单元的右侧相应的位置相邻;和
第四数据单元,布置为与所述第一数据单元和第二数据单元相邻。
11、一种补偿包含360°全方位示图信息的全景图像的运动的方法,所述方法包括:
接收全景图像的当前数据单元的运动矢量;
当由当前数据单元的运动矢量指示的全景参考图像的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,将预定范围内的图像从参考图像的另一边界填充到所述参考图像的左边界和右边界之一的外部;
从填充的参考图像获得参考数据单元的全部像素值;和
通过使用参考数据单元的像素值再现当前数据单元。
12、一种补偿包含360°全方位示图信息的全景图像的运动的方法,所述方法包括:
接收全景图像的当前数据单元的运动矢量;
当由当前数据单元的运动矢量指示的参考图像的参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时,从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得多个参考数据单元中的一个的全部像素值;和
通过使用所述多个参考数据单元中的一个的像素值再现当前数据单元。
13、一种补偿包含360°全方位示图信息的全景图像的运动的设备,所述设备包括:
存储器,存储将被用于全景图像的运动估计的参考图像;
运动补偿单元,接收全景图像的当前数据单元的运动矢量,当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时,将预定范围内的参考图像从参考图像的另一边界填充到所述参考图像的左边界和右边界之一的外部,从填充的参考图像获得所述多个参考数据单元之一的全部像素值,并通过使用所述参考数据单元的像素值再现当前数据单元。
14、一种补偿包含360°全方位示图信息的全景图像的运动的设备,所述设备包括:
存储器,存储将被用于当前全景图像的运动估计的参考图像;
运动补偿单元,接收全景图像的当前数据单元的运动矢量,当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时,从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得所述多个参考数据单元之一的全部像素值,并通过使用所述参考数据单元的像素值再现当前数据单元。
15、一种估计包含360°全方位示图信息的全景图像的运动矢量的设备,所述设备包括:
存储器,存储具有第一边界和第二边界的参考图像以及在参考图像之内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元;
运动估计单元,从存储器接收当前图像的当前数据单元和参考图像的参考数据单元,并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时,通过使用第一参考数据单元和第二参考数据单元中不包括在搜索区域中的另一个来估计当前数据单元的运动矢量。
16、如权利要求15所述的设备,其中,参考图像包括当连接第一边界和第二边界形成的柱形图像,第一参考数据单元和第二参考数据单元分别包括第一宏块和第二宏块,所述第一宏块和第二宏块具有在柱形图像中彼此相邻布置的空间关系。
17、如权利要求15所述的设备,其中,参考图像和当前图像包括全景图像,当第一参考数据单元和第二参考数据单元中的一个位于当前数据单元的运动矢量的搜索区域之内时,所述搜索区域包括第一参考数据单元和第二参考数据单元中位于所述搜索区域外部的另一个。
18、如权利要求15所述的设备,还包括:
全景图像运动补偿单元,根据运动矢量和参考图像产生参考宏块;
编码单元,根据所述参考宏块和当前图像产生与参考图像相应的信号;
第二单元,根据与量化的变换系数相应的编码的信号产生运动矢量,并根据所述编码的信号产生残差信号;
第二全景图像运动补偿单元,根据运动矢量产生参考宏块;
第三单元,根据所述参考宏块和残差信号产生当前图像。
19、一种产生包含360°全方位示图信息的全景图像的设备,所述设备包括:
解码单元,对具有与当前图像和参考图像相应的数据的比特流解码,并产生当前图像的当前数据单元的运动矢量,所述运动矢量对应于参考图像的搜索区域,所述搜索区域包括位于参考图像的第一边界的第一参考数据单元;
全景图像运动补偿单元,根据所述运动矢量,通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块;和
输出单元,根据参考宏块和与解码的比特流相应的数据产生当前图像。
20、一种估计包含360°全方位示图信息的全景图像的运动矢量的设备,所述设备包括:编码器和解码器,
所述编码器包括:
存储器,存储具有第一边界和第二边界的参考图像以及在参考图像
内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元,
运动估计单元,从存储器接收当前图像的当前数据单元和参考图像的参考数据单元,并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时,通过使用不包括在所述搜索区域中的第一参考数据单元和第二参考数据单元中的另一个来估计当前数据单元的运动矢量,
全景图像运动补偿单元,根据所述运动矢量和参考图像产生参考宏块,和
编码单元,根据当前图像和所述参考宏块产生比特流;和
所述解码器包括:
解码单元,对具有与当前图像和参考图像相应的数据的比特流解码,并产生当前图像的当前数据单元的运动矢量,所述运动矢量对应于参考图像的搜索区域,所述搜索区域包括位于参考图像的第一边界的第一参考数据单元,
第二全景图像运动补偿单元,根据所述运动矢量,通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块,和
输出单元,根据所述参考宏块和与解码的比特流相应的数据产生当前图像。
21、一种估计包含360°全方位示图信息的全景图像的运动矢量的方法,所述方法包括:
存储具有第一边界和第二边界的参考图像以及在参考图像内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元;和
从存储器接收当前图像的当前数据单元和参考图像的参考数据单元,并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时,通过使用第一参考数据单元和第二参考数据单元中不包括在搜索区域中的另一个来估计当前数据单元的运动矢量。
22、如权利要求21所述的方法,还包括:
根据运动矢量和参考图像产生参考宏块;和
根据参考宏块和当前图像产生参考图像。
23、一种产生包含360°全方位示图信息的全景图像的方法,所述方法包括:
对具有与当前图像和参考图像相应的数据的比特流解码,并产生当前图像的当前数据单元的运动矢量,所述运动矢量对应于参考图像的搜索区域,所述搜索区域包括位于参考图像的第一边界的第一参考数据单元;
根据所述运动矢量,通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块;和
根据所述参考宏块和与解码的比特流相应的数据产生当前图像。
24、一种估计包含360°全方位示图信息的全景图像的运动矢量的方法,所述方法包括:
存储具有第一边界和第二边界的参考图像以及在参考图像之内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元;
从存储器接收当前图像的当前数据单元和参考图像的参考数据单元,并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时,通过使用第一参考数据单元和第二参考数据单元中不包括在所述搜索区域中的另一个来估计当前数据单元的运动矢量;
根据所述运动矢量和参考图像产生参考宏块;
根据当前图像和所述参考宏块产生比特流;
对具有与当前图像和参考图像相应的数据的比特流解码,并产生当前图像的当前数据单元的运动矢量,所述运动矢量对应于参考图像的搜索区域,所述搜索区域包括位于参考图像的第一边界的第一参考数据单元;
根据所述运动矢量,通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块;和
根据所述参考宏块和与解码的比特流相应的数据产生当前图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US60113704P | 2004-08-13 | 2004-08-13 | |
US60/601,137 | 2004-08-13 | ||
KR1020040081353 | 2004-10-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101002479A CN101002479A (zh) | 2007-07-18 |
CN100544444C true CN100544444C (zh) | 2009-09-23 |
Family
ID=37124059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005800271873A Active CN100544444C (zh) | 2004-08-13 | 2005-08-12 | 用于全景图像的运动估计和补偿的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20060034374A1 (zh) |
JP (1) | JP4842945B2 (zh) |
KR (1) | KR100677142B1 (zh) |
CN (1) | CN100544444C (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110024408A (zh) * | 2016-10-04 | 2019-07-16 | 金起佰 | 图像数据编码/解码方法和装置 |
CN110024407A (zh) * | 2016-10-04 | 2019-07-16 | 金起佰 | 图像数据编码/解码方法和装置 |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100688383B1 (ko) * | 2004-08-13 | 2007-03-02 | 경희대학교 산학협력단 | 파노라마 영상의 움직임 추정 및 보상 |
CN100455266C (zh) * | 2005-03-29 | 2009-01-28 | 深圳迈瑞生物医疗电子股份有限公司 | 宽景成像处理方法 |
KR100724134B1 (ko) * | 2006-01-09 | 2007-06-04 | 삼성전자주식회사 | 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치 |
KR20080035891A (ko) * | 2006-10-20 | 2008-04-24 | 포스데이타 주식회사 | 움직임의 스마트 서치를 지원하는 영상 재생 장치 및 방법 |
JP2009077363A (ja) * | 2007-08-24 | 2009-04-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
KR101396365B1 (ko) * | 2007-08-28 | 2014-05-30 | 삼성전자주식회사 | 영상의 시공간적 움직임 추정/보상 방법 및 장치 |
JP5418127B2 (ja) * | 2009-10-09 | 2014-02-19 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
CN103025229A (zh) * | 2010-04-29 | 2013-04-03 | 麻省理工学院 | 适用于光学相干断层扫描技术的移动修正和图像增强的方法和装置 |
KR101663321B1 (ko) | 2010-07-30 | 2016-10-17 | 삼성전자주식회사 | 파노라마 사진 촬영 방법 |
WO2015102329A1 (en) * | 2014-01-01 | 2015-07-09 | Lg Electronics Inc. | Method and apparatus for processing video signal for reducing visibility of blocking artifacts |
CN103747264B (zh) * | 2014-01-03 | 2017-10-17 | 华为技术有限公司 | 预测运动矢量的方法、编码设备和解码设备 |
US9918082B2 (en) * | 2014-10-20 | 2018-03-13 | Google Llc | Continuous prediction domain |
US9918094B2 (en) | 2014-10-20 | 2018-03-13 | Google Llc | Compressing and representing multi-view video |
EP3210379B1 (en) * | 2014-10-20 | 2021-02-17 | Google LLC | Continuous prediction domain |
US9917877B2 (en) | 2014-10-20 | 2018-03-13 | Google Llc | Streaming the visible parts of a spherical video |
US10104361B2 (en) * | 2014-11-14 | 2018-10-16 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
US10609379B1 (en) * | 2015-09-01 | 2020-03-31 | Amazon Technologies, Inc. | Video compression across continuous frame edges |
EP3354029A4 (en) * | 2015-09-23 | 2019-08-21 | Nokia Technologies Oy | METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR ENCODING 360-DEGREE PANORAMIC VIDEO |
CN105554506B (zh) * | 2016-01-19 | 2018-05-29 | 北京大学深圳研究生院 | 基于多方式边界填充的全景视频编码、解码方法和装置 |
WO2017124305A1 (zh) * | 2016-01-19 | 2017-07-27 | 北京大学深圳研究生院 | 基于多方式边界填充的全景视频编码、解码方法和装置 |
US20170214937A1 (en) * | 2016-01-22 | 2017-07-27 | Mediatek Inc. | Apparatus of Inter Prediction for Spherical Images and Cubic Images |
US20170230668A1 (en) * | 2016-02-05 | 2017-08-10 | Mediatek Inc. | Method and Apparatus of Mode Information Reference for 360-Degree VR Video |
US10334224B2 (en) * | 2016-02-19 | 2019-06-25 | Alcacruz Inc. | Systems and method for GPU based virtual reality video streaming server |
GB2548358A (en) * | 2016-03-15 | 2017-09-20 | Nokia Technologies Oy | A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video |
FI20165256L (fi) * | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
CN105915892A (zh) * | 2016-05-06 | 2016-08-31 | 乐视控股(北京)有限公司 | 全景视频质量判断方法及*** |
US20170353737A1 (en) * | 2016-06-07 | 2017-12-07 | Mediatek Inc. | Method and Apparatus of Boundary Padding for VR Video Processing |
KR20180000279A (ko) | 2016-06-21 | 2018-01-02 | 주식회사 픽스트리 | 부호화 장치 및 방법, 복호화 장치 및 방법 |
WO2017222301A1 (ko) * | 2016-06-21 | 2017-12-28 | 주식회사 픽스트리 | 부호화 장치 및 방법, 복호화 장치 및 방법 |
US20180054613A1 (en) * | 2016-08-22 | 2018-02-22 | Mediatek Inc. | Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus |
CN109076215A (zh) * | 2016-08-23 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于提高对弯曲视图视频进行编码/解码的效率的***和方法 |
GB2553315A (en) | 2016-09-01 | 2018-03-07 | Nokia Technologies Oy | Determining inter-view prediction areas |
EP3301914A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for encoding and decoding a large field of view video |
KR20230010060A (ko) * | 2016-10-04 | 2023-01-17 | 주식회사 비원영상기술연구소 | 영상 데이터 부호화/복호화 방법 및 장치 |
CN114245124B (zh) | 2016-10-04 | 2023-04-07 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法、介质和发送比特流的方法 |
US12035049B2 (en) | 2016-10-06 | 2024-07-09 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
US10404960B2 (en) | 2016-10-10 | 2019-09-03 | Samsung Electronics Co., Ltd. | System and method to prevent boundary artifacts |
GB2555788A (en) * | 2016-11-08 | 2018-05-16 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
KR20180057789A (ko) | 2016-11-22 | 2018-05-31 | 광운대학교 산학협력단 | 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치 |
KR102424421B1 (ko) * | 2017-01-02 | 2022-07-22 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
US10506196B2 (en) * | 2017-04-01 | 2019-12-10 | Intel Corporation | 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics |
US10506255B2 (en) * | 2017-04-01 | 2019-12-10 | Intel Corporation | MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video |
US10839515B2 (en) | 2017-04-28 | 2020-11-17 | Massachusetts Institute Of Technology | Systems and methods for generating and displaying OCT angiography data using variable interscan time analysis |
US11668556B2 (en) | 2017-05-05 | 2023-06-06 | Massachusetts Institute Of Technology | Systems and methods for generating and displaying OCT blood flow speeds by merging mutiple integrated spatial samplings |
JP7224280B2 (ja) * | 2017-07-17 | 2023-02-17 | ビー1、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド | 画像データ符号化/復号化方法及び装置 |
US10614609B2 (en) * | 2017-07-19 | 2020-04-07 | Mediatek Inc. | Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images |
US10666863B2 (en) * | 2018-05-25 | 2020-05-26 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using overlapping partitioned sections |
US10764494B2 (en) | 2018-05-25 | 2020-09-01 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using composite pictures |
US20220385888A1 (en) * | 2019-09-20 | 2022-12-01 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device, and recording medium storing bitstream |
US20220400287A1 (en) * | 2019-11-15 | 2022-12-15 | Hfi Innovation Inc. | Method and Apparatus for Signaling Horizontal Wraparound Motion Compensation in VR360 Video Coding |
WO2021100863A1 (en) * | 2019-11-22 | 2021-05-27 | Sharp Kabushiki Kaisha | Systems and methods for signaling tiles and slices in video coding |
JP2023524000A (ja) * | 2020-05-19 | 2023-06-08 | グーグル エルエルシー | 品質正規化ビデオコード変換のための動的パラメータ選択 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0878963A1 (en) * | 1992-10-09 | 1998-11-18 | Sony Corporation | Producing and recording images |
JPH06351001A (ja) * | 1993-06-08 | 1994-12-22 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法および動き補償予測方法並びにその装置 |
JPH089377A (ja) * | 1994-06-15 | 1996-01-12 | Nippon Telegr & Teleph Corp <Ntt> | 画像信号符号化装置および画像信号復号装置 |
JP2894962B2 (ja) * | 1994-12-14 | 1999-05-24 | 沖電気工業株式会社 | 動きベクトル検出装置 |
TW366648B (en) * | 1996-10-24 | 1999-08-11 | Matsushita Electric Ind Co Ltd | Method of supplementing pixel signal coding device, and pixel signal decoding device |
US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
JPH11122618A (ja) * | 1997-10-15 | 1999-04-30 | Mega Chips Corp | 画像符号化装置 |
US6356297B1 (en) * | 1998-01-15 | 2002-03-12 | International Business Machines Corporation | Method and apparatus for displaying panoramas with streaming video |
JP4258879B2 (ja) * | 1999-03-08 | 2009-04-30 | パナソニック株式会社 | 画像符号化方法とその装置、画像復号化方法とその装置、コンピュータに画像符号化方法および画像復号化方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2001298744A (ja) | 2000-04-13 | 2001-10-26 | Meidensha Corp | 動画像符号化処理方法 |
JP2001359101A (ja) | 2000-06-09 | 2001-12-26 | Toshiba Corp | フラッシュバック処理方法とこの方法を用いたデジタル映像信号処理装置及びデジタル放送受信装置 |
KR100865034B1 (ko) * | 2002-07-18 | 2008-10-23 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
US7440500B2 (en) * | 2003-07-15 | 2008-10-21 | Lsi Logic Corporation | Supporting motion vectors outside picture boundaries in motion estimation process |
-
2004
- 2004-10-12 KR KR1020040081353A patent/KR100677142B1/ko active IP Right Grant
-
2005
- 2005-08-11 US US11/201,153 patent/US20060034374A1/en not_active Abandoned
- 2005-08-12 CN CNB2005800271873A patent/CN100544444C/zh active Active
- 2005-08-12 JP JP2007525548A patent/JP4842945B2/ja active Active
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110024408A (zh) * | 2016-10-04 | 2019-07-16 | 金起佰 | 图像数据编码/解码方法和装置 |
CN110024407A (zh) * | 2016-10-04 | 2019-07-16 | 金起佰 | 图像数据编码/解码方法和装置 |
CN110024407B (zh) * | 2016-10-04 | 2021-10-15 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和装置 |
US11165958B2 (en) | 2016-10-04 | 2021-11-02 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11202005B2 (en) | 2016-10-04 | 2021-12-14 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
CN113873262A (zh) * | 2016-10-04 | 2021-12-31 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和装置 |
CN110024408B (zh) * | 2016-10-04 | 2022-06-24 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和装置 |
US11412137B2 (en) | 2016-10-04 | 2022-08-09 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
US11431902B2 (en) | 2016-10-04 | 2022-08-30 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11438506B2 (en) | 2016-10-04 | 2022-09-06 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11470251B2 (en) | 2016-10-04 | 2022-10-11 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11528414B2 (en) | 2016-10-04 | 2022-12-13 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11533429B2 (en) | 2016-10-04 | 2022-12-20 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
US11539883B2 (en) | 2016-10-04 | 2022-12-27 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
US11539881B2 (en) | 2016-10-04 | 2022-12-27 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
US11539882B2 (en) | 2016-10-04 | 2022-12-27 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11546512B2 (en) | 2016-10-04 | 2023-01-03 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11546513B2 (en) | 2016-10-04 | 2023-01-03 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
US11546511B2 (en) | 2016-10-04 | 2023-01-03 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11553130B2 (en) | 2016-10-04 | 2023-01-10 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11553131B2 (en) | 2016-10-04 | 2023-01-10 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US11606499B2 (en) | 2016-10-04 | 2023-03-14 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
US11706531B2 (en) | 2016-10-04 | 2023-07-18 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
US11831818B2 (en) | 2016-10-04 | 2023-11-28 | B1 Institute Of Image Technology, Inc. | Method and apparatus for reconstructing 360-degree image according to projection format |
US12015854B2 (en) | 2016-10-04 | 2024-06-18 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR100677142B1 (ko) | 2007-02-02 |
KR20060015225A (ko) | 2006-02-16 |
US20060034374A1 (en) | 2006-02-16 |
JP4842945B2 (ja) | 2011-12-21 |
CN101002479A (zh) | 2007-07-18 |
JP2008510358A (ja) | 2008-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100544444C (zh) | 用于全景图像的运动估计和补偿的方法和设备 | |
US7623682B2 (en) | Method and device for motion estimation and compensation for panorama image | |
CN101010960B (zh) | 针对全景图像进行运动估计和补偿的方法和设备 | |
JP5234586B2 (ja) | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
KR101103723B1 (ko) | 영상 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체 | |
CN101243692B (zh) | 对多视角视频进行编码的方法和设备 | |
JP7279154B2 (ja) | アフィン動きモデルに基づく動きベクトル予測方法および装置 | |
KR20180049028A (ko) | 광 필드 기반 이미지를 인코딩 및 디코딩하기 위한 방법과 디바이스, 및 대응하는 컴퓨터 프로그램 제품 | |
KR101360279B1 (ko) | 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치 | |
CN112740663B (zh) | 图像预测方法、装置以及相应的编码器和解码器 | |
CN102362499A (zh) | 图像编码装置及图像编码方法 | |
KR20170059902A (ko) | 다시점 비디오의 부호화/복호화 방법 및 장치 | |
JP2006100871A (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 | |
JP4898415B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
WO2011074189A1 (ja) | 画像符号化方法及び画像符号化装置 | |
KR101407719B1 (ko) | 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체 | |
WO2006016783A1 (en) | Method and device for motion estimation and compensation for panorama image | |
US20190356912A1 (en) | Information processing apparatus, information processing method and computer-readable recording medium having stored program therein | |
JP6942504B2 (ja) | 符号化装置、撮像装置、符号化方法、及びプログラム | |
Liu et al. | Motion blur compensation in HEVC using fixed-length adaptive filter | |
KR100928272B1 (ko) | 동영상 부호화를 위한 움직임 추정 방법 및 장치 | |
CN117337565A (zh) | 基于多个dimd模式的帧内预测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20151014 Address after: Gyeonggi Do, South Korea Patentee after: Industry Academic Cooperation Address before: Gyeonggi Do, South Korea Patentee before: Industry Academic Cooperation Patentee before: Samsung Electronics Co., Ltd. |