CN116248875A - 球面投影运动估计/补偿和模式决策 - Google Patents

球面投影运动估计/补偿和模式决策 Download PDF

Info

Publication number
CN116248875A
CN116248875A CN202310282812.9A CN202310282812A CN116248875A CN 116248875 A CN116248875 A CN 116248875A CN 202310282812 A CN202310282812 A CN 202310282812A CN 116248875 A CN116248875 A CN 116248875A
Authority
CN
China
Prior art keywords
spherical
spherical domain
domain
decoding
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310282812.9A
Other languages
English (en)
Inventor
J·H·金
周小松
张大忠
袁航
翟杰夫
C·Y·钟
H-J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116248875A publication Critical patent/CN116248875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开的实施例涉及球面投影运动估计/补偿和模式决策。公开了基于由要编码的输入画面和作为预测候选项的基准画面的球面域投影所作的预测来预测性地对视频数据进行编码的技术。可生成输入画面和候选基准画面的球面投影。然后，可对要编码的像素块的球面域表示与基准画面的球面域表示之间的匹配执行搜索。在匹配时，可确定像素块的球面域表示与球面域表示中的基准画面的匹配部分之间的偏移。可以将球面域偏移变换为输入画面的源域表示中的运动矢量，并且可参考基准画面的匹配部分的源域表示来预测性地对像素块进行编码。

Description

球面投影运动估计/补偿和模式决策
本申请是申请日为2017年9月14日、于2019年6月21日进入中国国家阶段、中国国家申请号为201780079476.0、发明名称为“球面投影运动估计/补偿和模式决策”的发明专利申请的分案申请。
技术领域
本公开涉及360°视频的编码以实现带宽压缩，具体地讲，涉及使用被设计成处理二维视频数据的压缩算法处理360°视频的技术。
背景技术
术语“360°视频”是指同时记录在相机的多个方向上(有时在所有方向上)的视图的视频记录。可使用全向相机或相机集合来捕获360°视频，该相机或相机集合从不同但重叠的视场捕获图像数据并且其输出被拼接在一起。可以向360°视频的观看者赋予在回放期间对查看方向的控制，这样允许观看者在视频的视场内导航。
尽管360°视频从三维空间捕获图像信息，但视频数据本身通常由二维格式的图像数据表示。图像数据由布置在两个维度中预先确定的空间位置(例如，x,y位置)处的像素阵列表示。并且，尽管在视场内不同深度处的对象将表示在尺寸不仅对应于对象的物理尺寸而且还与其和相机的距离相对应的图像数据中，但表示对象的像素数据不会按深度改变像素位置。
三维空间的二维表示可导致视场中不同位置的图像数据失真。例如，三维空间中的直线可能在二维图像数据中不会表现为直线。此外，当不同对象在360°图像的视场之内移动时，它们的尺寸和形状可能变得失真。这些变化对操作此类图像数据的处理***构成挑战。
例如，失真可能在视频编码中引起问题。视频编码器通常通过利用图像数据中的空间和时间冗余来减小图像信号的带宽。然而，由于可能在帧到帧之间产生的失真，对三维图像的二维表示进行操作的视频编码器并不总是检测到此类冗余。当此类视频编码器未能检测到内容中的冗余时，它们常常生成带宽效率不像其能够实现的那样高的图像数据的编码表示。
因此，本发明人认为本领域需要更好地识别三维图像内容的二维表示(诸如360°视频)中的冗余的视频编码***。
附图说明
图1示出了用于交换360°视频的***。
图2是根据本公开的一个实施方案的编码***的功能框图。
图3示出了在本公开的一个实施方案中可针对球面投影执行的示例性变换。
图4示出了在本公开的另一个实施方案中可针对球面投影执行的示例性变换。
图5示出了根据本公开的一个实施方案的编码方法。
图6示出了可由本公开的一个实施方案执行的示例性球面投影。
图7是根据本公开的一个实施方案的编码***的功能框图。
图8是根据本公开的一个实施方案的解码***的功能框图。
图9示出了根据本公开的一个实施方案的编码方法。
图10示出了可由本公开的另一个实施方案执行的示例性球面投影。
图11示出了可由本公开的另一个实施方案执行的示例性球面投影。
图12是根据本公开的另一个实施方案的解码***的功能框图。
图13是根据本公开的另一个实施方案的解码***的功能框图。
具体实施方式
本公开的实施方案提供了基于由要编码的输入画面和作为预测候选者的基准画面的球面域投影所作的预测来预测性地对视频数据进行编码的技术。可生成输入画面和候选基准画面的球面投影。然后，可对要编码的像素块的球面域表示与基准画面的球面域表示之间的匹配进行搜索。在匹配时，可确定像素块的球面域表示与球面域表示中的基准画面的匹配部分之间的偏移。可以将球面域偏移变换为输入画面的源域表示中的运动矢量，并且可参考基准画面的匹配部分的源域表示来预测性地对像素块进行编码。
图1示出了可采用本公开的实施方案的***100。***100可以包括经由网络130互连的至少两个终端110-120。第一终端110可具有捕获360°视频的相机***112。终端110还可包括编码***和传输***(未示出)，以将360°视频的编码表示传输到第二终端120，在该第二终端处可消费编码表示。例如，第二终端120可在本地显示器上显示360°视频，它可执行视频编辑程序以修改360°视频，或可将360°整合到应用(例如，虚拟现实程序)中，可存在于头戴式显示器(例如，虚拟现实应用)中，或者可存储360°视频以供之后使用。
图1示出了适合从第一终端110向第二终端120单向传输360°视频的部件。在一些应用中，可能适合提供视频数据的双向交换，在这种情况下，第二终端120可包括其自身的相机***、视频编码器和发射器(未示出)，并且第一终端100可包括其自身的接收器和显示器(也未示出)。如果希望双向交换360°视频，则可复制下文论述的技术以生成一对独立的360°视频单向交换。在其他应用中，允许在一个方向(例如，从第一终端110到第二终端120)传输360°视频并且在反向方向上传输“平坦”视频(例如，来自受限视场的视频)。
在图1中，第二终端120被示为计算机显示器，但本公开的原理不受此限制。本公开的实施方案可应用于膝上型计算机、平板电脑、智能电话、服务器、媒体播放器、虚拟现实头戴式显示器、增强现实显示器、全息图显示器和/或专用视频会议设备。网络130代表在终端110-120之间输送经编码的视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络130可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非下文作出解释，否则网络130的架构和拓扑结构对本公开的操作是无关紧要的。
图2是根据本公开的一个实施方案的编码***200的功能框图。***200可包括相机***210、图像处理***220、视频编码器230、视频解码器240、基准画面存储库250、预测器260和一对球面变换单元270、280。相机***210可生成将局部环境表示为所谓“360°图像”的图像数据，该图像数据包含围绕相机***210在所有方向上延伸的视场的图像数据。图像处理***220可根据需要转换来自相机***210的图像数据以适应视频编码器230的要求。视频编码器230通常可通过利用图像数据中的空间和/或时间冗余来生成其输入图像数据的编码表示。视频编码器230可输出输入数据的编码表示，该编码表示在传输和/或存储时比输入数据消耗更少的带宽。
视频解码器240可反转由视频编码器230执行的编码操作，以从经编码的视频数据获得重建画面。通常，视频编码器230所应用的编码过程是有损过程，这导致重建画面在与原始画面比较时具有各种误差。视频解码器240可重建被指定为“基准画面”的选定编码画面的画面，并将经解码的基准画面存储在基准画面存储库250中。在不存在传输误差的情况下，解码的基准画面将复制解码器(图2中未示出)所获得的经解码的基准画面。
预测器260可在编码新输入画面时为其选择预测基准。对于被编码输入画面的每个部分(为了方便起见称为“像素块”)，预测器260可选择编码模式并识别基准画面中可充当被编码像素块的预测基准搜索的一部分。编码模式可为帧内编码模式，在这种情况下，可从被编码画面的先前编码(和解码)部分绘制预测基准。另选地，编码模式可以是帧间编码模式，在这种情况下，可从另一先前编码和解码的画面绘制预测基准。在一个实施方案中，预测器260可搜索对已被变换为球面投影表示的输入画面和基准画面进行操作的被编码画面的预测基准。球面变换单元270、280可将输入画面和基准画面变换为球面投影表示。
当标识出适当的预测基准时，预测器260可在视频编码器230接受的表示中向视频编码器230提供预测数据。通常，存储在基准画面存储库中的一个或多个基准画面将为视频编码器所接受的格式。
如所指出的，由视频编码器230输出的编码视频数据在传输和/或存储时应消耗小于输入数据的带宽。编码***200可将编码视频数据输出到输出设备290，诸如发射器(未示出)，该发射器可跨通信网络130(图1)或存储设备(也未示出)诸如电子存储介质、磁性存储介质和/或光学存储介质传输编码视频数据。
图3示出了在第一实施方案中可由图2的球面变换单元270、280执行的示例性变换。在此实施方案中，相机***110(图2)可执行360°捕获操作310并输出具有M×N个像素的尺寸的等长矩形画面320。等长矩形画面320可代表被沿着将圆柱形视场划分成数据的二维阵列的切片312分割的360°视场。在等长矩形画面320中，切片312任一侧的像素代表相邻图像内容，即使它们出现在等长矩形画面320的不同边缘上。
球面变换单元270可根据诸如以下的变换，将等长矩形画面320之内的位置(x,y)处的像素数据变换为沿球面投影330的位置
Figure BDA0004138588740000054
θ＝x+θ0和(方程1)
Figure BDA0004138588740000051
θ和
Figure BDA0004138588740000052
分别代表球面投影330中某个位置的经度和纬度，θ0、/>
Figure BDA0004138588740000053
代表球面投影330的原点，并且x和y代表等长矩形画面320中源数据的水平坐标和垂直坐标。
当应用该变换时，球面变换单元270可变换沿等长矩形画面320的预先确定的行的每个像素位置，以在球面投影330中的赤道纬度处具有唯一的位置。在此类区域中，球面投影330中的每个位置可被分配以来自等长矩形画面320的对应位置的像素值。在其他位置处，特别是朝向球面投影330的极，球面投影单元270可将若干源位置从等长矩形画面320映射到球面投影330中的公共位置。在此类情况下，球面投影单元270可以从等长矩形画面320中的对应像素值的混合(例如，通过对等长矩形画面320的对应位置处的像素值求平均值)来导出针对球面投影330中的位置的像素值。
图4示出了在另一个实施方案中可由图2的球面变换单元270、280执行的示例性变换。在此实施方案中，相机***110(图2)可执行360°捕获操作410并输出具有M×N个像素的尺寸的画面420，其中根据立方体地图布置图像内容。图像捕获410可在预先确定的数量的方向(通常为六个)中的每个中捕获图像数据，这些方向根据立方体地图布局被拼接在一起。在图4示出的实施例中，可根据相应视图之间的图像内容的“接缝”捕获并在立方体地图画面420之内布置对应于左视图411、前视图412、右视图413、后视图414、顶视图415和底视图416的六个子图像。因此，如图4所示，与来自顶部图像、左图像、右图像和底部图像中的每一者的像素相邻的来自前图像的像素表示分别与相邻子图像的内容相邻的图像内容。类似地，来自彼此相邻的右图像和后图像的像素表示相邻图像内容。此外，来自后图像的终端边缘422的内容与来自左图像的相对终端边缘424的内容相邻。立方体地图画面420也可具有不属于任何图像的区域426.1-426.4。
球面变换单元270可根据从立方体地图中每个子图像导出的变换将立方体地图画面420之内位置(x,y)处的像素数据变换为沿球面投影330的位置
Figure BDA0004138588740000061
图4示出了叠加于要产生的球面投影430上的图像捕获410的六个面411-416。图像捕获的每个子图像对应于球面投影430的表面的预先确定的角区域。因此，正面412的图像数据可被投影到球面投影的表面上的预先确定的部分，左、右、后、顶部和底部子图像的图像数据可以被投影到球面投影的表面的对应部分上。
在具有正方形子图像的立方体地图中(即，子图像411-416的高度和宽度相等)，每个子图像投影到投影表面的90°×90°区域。因此，基于形式为
Figure BDA0004138588740000071
和θ＝gk(x,y)的正弦投影将子图像的每个位置x,y映射到球面投影430上的θ,/>
Figure BDA0004138588740000072
位置，其中x,y代表顶部、底部、前、右、左、右距立方体面k的中心的位移，θ,/>
Figure BDA0004138588740000073
代表球面中的角度偏差。
当应用该变换时，立方体地图画面420中的一些像素位置可映射到球面投影430中的唯一位置。在此类区域中，球面投影430中的每个位置可被分配以来自立方体地图画面420的对应位置的像素值。在其他位置处，特别是朝向相应子图像的边缘，球面投影单元270可将图像数据从立方体地图画面420中的若干源位置映射到球面投影430中的公共位置。在此类情况下，球面投影单元270可以从立方体地图画面420中的对应像素值的混合(例如，通过对立方体地图画面420的对应位置处的像素值加权平均)来导出针对球面投影430中的位置的像素值。
本公开的技术可应用于其他类型的图像捕获技术。例如，可采用基于截棱锥、四面体、八面体、十二面体和二十面体的图像捕获技术。从其获得的图像可通过类似技术映射到球面投影。
返回图2，预测器260可使用通过球面投影获得的图像数据来执行预测搜索。因此，球面变换单元270可将由成像***捕获的图像数据变换为球面投影，并且第二球面变换单元280可将候选基准画面变换为其他球面投影。预测器260可搜索要由球面域内的视频编码器230使用的预测基准数据。一旦标识出适当的预测匹配，预测器260就可以视频编码器230接受的格式从基准画面存储库250提供预测数据(即，无需将其变换为球面投影)。
图5示出了根据本公开的一个实施方案的编码方法500。方法500可对逐个像素块操作，从而对要编码的新输入画面进行编码。方法500可通过将输入像素块的数据变换为球面表示(框510)来开始。方法500还可将候选基准画面变换为球面表示(框520)。然后，方法500可从变换像素块数据与变换基准画面数据之间的比较来执行预测搜索(框530)。当找到适当的预测基准时，方法500可使用匹配的基准画面数据(为方便起见称为“基准块”)作为预测的基础，对输入像素块进行差分编码(框540)。通常，该差分编码包括由来自输入像素块数据的预测块数据的逐个像素减法(框542)以及对由此获得的像素残差的变换、量化和熵编码(框544)来计算像素残差。就这一点而言，方法500可遵循由主流编码规范定义的编码协议，诸如ITU H.265(也称为“HEVC”)、H.264(也称为“AVC”)或先前的编码规范。这些规范定义了用于定义像素块，定义预测基准的搜索窗口以及用于参考基准块执行对像素块的差分编码的协议。方法500还可将运动矢量的球面域表示变换为编码器域表示，该编码器域表示由视频编码规范使用(框546)。方法500可输出编码像素残差、运动矢量和与预测相关联的其他元数据(通常为编码模式指示符和基准画面ID)(框548)。
可执行预测搜索(框530)以最大化带宽节省并最小化信息损失。方法500可执行操作以估计何时找到合适的预测基准。在一个实施方案中，对于每个输入像素块而言，该方法500可围绕相对于所变换输入像素块的多个候选旋转来旋转基准帧的球面投影(框532)。在进行每个候选旋转时，该方法可估计在使用候选旋转时会获得的预测残差(框534)。可通过球面投影输入像素块与旋转的候选基准帧与输入像素块的位置对齐的部分之间逐个像素的比较来执行这些计算。通常，当比较生成具有高量值和高方差的像素残差时，与生成具有较低量值和较低方差的像素残差的其他候选像素块的比较相比，将导致编码效率降低。方法500还可估计在使用候选基准块时会出现的编码失真(框536)。可通过基于预测要应用于输入像素块的量化参数水平来估计像素残差的损失，再次在球面投影域中操作，来执行这些计算。一旦获得考虑中的所有候选基准块的估计，方法500即可选择使总编码成本最小化的基准像素块(框538)。
例如，当基准帧旋转角度α,β,γ时，参考与输入像素块的位置对齐的候选“基准块”BLKα,β,γ的输入像素块的编码成本J可被给出为：
J＝Bits(BLKα,β,γ)+k*DIST(BLKα,β,γ)，其中(方程3)
Bits(BLKα,β,γ)表示估计参考基准块BLKα,β,γ对输入像素块进行编码所需的位数，并且DIST(BLKα,β,γ)表示参考基准块BLKα,β,γ对输入像素块进行编码会获得的失真，k可以是操作者所选择的标量以平衡这些因素的贡献。如所解释的，可以执行方法500以选择使值J最小化的基准像素块。
图6象征性示出了根据图5的实施方案，输入帧610的球面保护与基准帧620的球面投影之间的预测操作。如所论述的，输入帧的二维表示可被解析为待编码的多个像素块。这些像素块可在输入帧610的球面投影中具有对应的投影，如图6所示。块的尺寸和形状可根据它们在球面投影中的位置而变化。例如，在二维表示中，朝向图像的顶部边缘和底部边缘定位的像素块可投影成输入帧610的球面投影中三角形的形状，并且将朝向球面投影的极区定位。沿着二维表示中部的行定位的像素块可投影成大致呈矩形的形状，并且将朝向球面投影的赤道区域定位。来自二维表示的映射到赤道区域与极区之间的中间位置的像素块可具有大致呈梯形的形状。可根据图5的方法500来考虑像素块到球面投影的所有此类表示，即使它们的形状在像素块之间有所变化。
图6还示出了基准帧620的球面投影的示例性旋转。此处，基准帧620的球面投影的轴线622被示出为从其初始位置旋转角度α,β,γ。在对输入帧的像素块614、616进行编码时，图5的方法500可在输入帧的球面投影中的像素与基准帧620的球面投影中的共处一地的基准块(分别示为块624、626)中的像素之间进行逐个像素的比较。在此，再次地，基准块在基准画面620的球面投影中的不同位置处在尺寸和形状上可变化。
在为输入像素块选择预测基准时，可将对应于所选择的预测基准的旋转角度α,β,γ转换成基准画面的二维空间中的运动矢量。该运动矢量可作为输入像素块的编码视频数据的一部分被传输。
用于许多编码协议诸如HEVC和AVC的运动矢量被限于描述在输入帧和基准帧的二维域中的空间位移(例如，在x和y方向上)。可能发生的是，给定预测搜索的旋转角度α,β,γ映射至二维域中的空间位置，该空间位置既在x和y方向上移位，又相对于源像素块旋转。在一个实施方案中，如果期望将本公开的原理用于此类视频编码器，可使用由从球面域向二维域转换运动矢量获得的x和y位移唯一标识的预测基准来对输入像素块进行编码。换句话讲，如果球面域中的旋转角度α,β,γ变换为Δx、Δy和λ形式的运动矢量(其中λ表示像素块在二维空间中的旋转)，视频编码器可以使用由Δx,Δy形式的运动矢量选择的预测基准来执行预测，其中忽略了λ。然而，在可以例如以Δx,Δy,λ格式或α,β,γ格式完整表示用于预测的运动矢量的情况下，预计可实现更好的性能；在下文中论述这些另选的实施方案。
许多编码应用在比基准画面的单个像素小的粒度下执行运动估计。例如，在HEVC和H.264协议中，视频编码器在四分之一像素和/或半像素增量下执行运动估计。在一个实施方案中，视频编码器可执行空间内插以开发足以在这些较小粒度下执行运动估计的图像数据。例如，视频编码器可执行内插以找到以更精细旋转角度与源像素匹配的基准像素。这样，球面投影的旋转数据可包含足够的信息以执行诸如此类粒度的预测搜索。
前述过程也可应用于帧内编码。当要对输入像素块进行编码时，可参考像素块所在的相同帧的先前编码的图像数据对其进行编码。因此，参考图6，在对像素块616进行编码之前，若干其他像素块(包括块614)的编码数据将被编码并传输到解码器。编码器和解码器都将具有那些像素块的解码数据，这些解码数据可用作像素块616的预测源。根据一个实施方案，视频编码器可通过按α、β、γ的各种排列旋转编码图像数据以基于帧内编码来识别预测基准，从而搜索当前帧的先前编码和解码的图像数据之内的适当预测数据。另外，2D中的帧内预测方向可反映在610的球体中，因为块616被改变为楔形形状。例如，2D帧中预测的竖直方向可在610中用内插进行相应地映射。视频编码器可根据方程3的技术来估计候选预测基准的编码成本J。
图7是根据本公开的一个实施方案的编码***700的功能框图。***700可包括像素块编码器710、像素块解码器720、回路滤波器***730、基准画面存储库740、一对球面变换单元750、760、预测器770、控制器780和语法单元790。像素块编码器和解码器710、720和预测器770可迭代地在画面的各个像素块上操作。预测器770可预测在新呈现的输入像素块的编码期间使用的数据。像素块编码器710可通过预测编码技术对新像素块进行编码，并将编码像素块数据呈现给语法单元790。像素块解码器720可解码经编码像素块数据，由此产生解码像素块数据。回路滤波器730可以对从由像素块解码器720获得的经解码像素块组合的经解码画面执行各种滤波操作。经滤波画面可以被存储在基准画面存储库740中，其中其可以被用作稍后接收的像素块的预测的源。语法单元790可组合来自符合管理编码协议的编码像素块数据的数据流。
像素块编码器710可包括减法器712、变换单元714、量化器716和熵编码器718。像素块编码器710可以在减法器712处接受输入数据的像素块。减法器712可接收来自预测器770的预测像素块，并由此生成表示输入像素块与预测像素块之间的差值的像素残差阵列。变换单元714可以对从减法器712输出的样本数据应用变换，以将数据从像素域转换到变换系数域。量化器716可对由变换单元714输出的变换系数执行量化。量化器716可为均匀或非均匀量化器。熵编码器718可通过例如通过可变长度码字对输出进行编码来减小系数量化器的输出带宽。
变换单元714可以在控制器780所确定的多种变换模式中操作。例如，变换单元714可以应用离散余弦变换(DCT)、离散正弦变换(DST)、Walsh-Hadamard变换、Haar变换、Daubechies小波变换等。在一个实施方案中，控制器780可以选择变换单元715要应用的编码模式M，可以相应地配置变换单元715，并且可以显式地或隐式地在编码视频数据中发信号通知编码模式M。
量化器716可以根据控制器780所提供的量化参数QP来操作。在一个实施方案中，量化参数QP可以作为多值量化参数被应用于变换系数，多值量化参数例如在变换域像素块内的不同系数位置上可以改变。因此，量化参数QP可以被提供成量化参数阵列。
像素块解码器720可以反转像素块编码器710的编码操作。例如，像素块解码器720可以包括去量化器722、逆变换单元724和加法器726。像素块解码器720可从量化器716的输出获取其输入数据。尽管允许，像素块解码器720不必执行熵编码数据的熵解码，因为熵编码是无损事件。去量化器722可反转像素块编码器710的量化器716的操作。去量化器722可执行如解码信号QP所指定的均匀或非均匀去量化。类似地，逆变换单元724可以反转变换单元714的操作。去量化器722和逆变换单元724可以使用与像素块编码器710中其对应部件相同的量化参数QP和变换模式M。量化操作可能将在各个方面截断数据，并且因此，在与被呈现给像素块编码器710中的量化器716的数据相比时，去量化器722所恢复的数据可能将具有编码误差。
加法器726可以反转减法器712所执行的操作。它可以接收与减法器712在生成残差信号中所使用相同的来自预测器770的预测像素块。加法器726可以将预测像素块添加到逆变换单元724所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器730可对所恢复的像素块数据执行各种滤波操作。例如，回路滤波器730可以包括解块滤波器732和样本自适应偏移(“SAO”)滤波器733。解块滤波器732可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器可例如基于边缘方向/形状和/或像素/颜色分量水平，根据SAO“类型”将偏移添加到像素值。回路滤波器730可根据由控制器780选择的参数来操作。
基准画面存储库740可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。使不同类型的预测数据可供预测器770使用以用于不同预测模式。例如，对于输入像素块，帧内预测从输入像素块所位于的相同画面的经解码数据获取预测基准。因此，基准画面存储库740可以存储在编码时每个画面的经解码像素块数据。对于相同的输入像素块，帧间预测可以从被指定为基准画面的先前编码和解码的画面获取预测基准。因此，基准画面存储库740可以存储这些经解码的基准画面。
球面变换单元750、760可执行图像数据到球面投影表示的变换。第一球面变换单元750可对来自基准画面存储库的候选预测基准数据执行其变换，而无论用于帧内预测还是帧间预测。在将输入视频数据呈现到像素块编码器710时，第二球面变换单元760可对输入视频数据执行其变换。球面变换单元750、760可分别将它们变换的数据输出到预测器770。
如所论述的，预测器770可以将预测数据提供给像素块编码器710以在生成残差中使用。预测器770可以包括帧间预测器772、帧内预测器773和模式决策单元774。帧间预测器772可以接收表示要编码的新像素块的球面投影像素块数据，并且可以对于来自一个或多个基准画面的像素块数据从存储库740搜索基准画面数据的球面投影，以用于对输入像素块进行编码。帧间预测器772可以支持多种预测模式，诸如P模式编码和B模式编码。帧间预测器772可以选择帧间预测模式以及提供与被编码的输入像素块最接近匹配的候选预测基准数据的标识。帧间预测器772可以生成预测基准元数据，诸如运动矢量，以标识哪些基准画面的哪个(哪些)部分被选择作为输入像素块的预测源。
帧内预测器773可以支持帧内(I)模式编码。帧内预测器773可以从来自与被编码像素块相同的画面的球面投影像素块数据中进行搜索，这提供与球面投影输入像素块的最接近匹配。帧内预测器773也可以生成预测基准指示符以标识画面的哪个部分被选择作为输入像素块的预测源。
模式决策单元774可以选择要应用于输入像素块的最终编码模式。通常，如上所述，在给定目标比特率的情况下，模式决策单元774选择在解码视频时将实现最低失真的预测模式。当编码模式被选择为满足编码***700所遵循的其他策略，诸如满足特定信道行为、或支持随机接入或数据刷新策略时，可能出现例外。在模式决策选择最终编码模式时，模式决策单元774可以将来自存储库740的非球面投影的基准块输出给像素块编码器和解码器710、720，并且可以向控制器780提供所选择的预测模式的标识以及对应于所选择模式的预测基准指示符。
控制器780可以控制编码***700的整个操作。控制器780可以基于输入像素块的分析以及还有外部约束(诸如编码比特率目标和其他操作参数)来选择像素块编码器710和预测器770的操作参数。与本论述相关，在选择量化参数QP、均匀或非均匀量化器的使用、和/或变换模式M时，可以将那些参数提供给语法单元790，该语法单元可以将表示那些参数的数据包括在***700所输出的经编码视频数据的数据流中。
在操作期间，控制器780可以在图像数据的不同粒度，要么以每个像素块为基础要么在更大粒度(例如，每画面、每切片、每个最大编码单元(“LCU”)或另一区域)，来修改量化器716和变换单元715的操作参数。在一个实施方案中，量化参数可以在经编码的画面内以每像素为基础进行修改。
另外，如所论述的，控制器780可以控制回路滤波器730和预测单元770的操作。对于预测单元770，此类控制可包括模式选择(λ，待测模式，搜索窗口，失真策略等)，并且对于回路滤波器730，包括选择滤波器参数，重新排序参数，加权预测等。
图8是根据本公开的一个实施方案的解码***800的功能框图。解码***800可包括语法单元810、像素块解码器820、回路滤波器830、基准画面存储库840、预测器850和控制器860。语法单元810可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器860，而表示编码残差的数据(图2的像素块编码器210输出的数据)可被提供给像素块解码器820。像素块解码器820可反转由像素块编码器提供的编码操作(图2)。回路滤波器830可过滤重建的像素块数据。重建的像素块数据可组合成用于显示的画面并且从解码***800输出作为输出视频。画面也可以被存储在预测缓冲器840中以用于在预测操作中使用。预测器850可以向像素块解码器820提供预测数据，预测数据由经编码的视频数据流中接收的编码数据确定。
像素块解码器820可包括熵解码器822、去量化器824、逆变换单元826和加法器828。熵解码器822可执行熵解码以反转由熵编码器718执行的过程(图8)。去量化器824可反转像素块编码器710的量化器716的操作(图7)。类似地，逆变换单元826可以反转变换单元714的操作(图7)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式M。由于量化可能要截断数据，因此去量化器824所恢复的数据在与被呈现给像素块编码器210中其对应量化器716的输入数据(图2)进行比较时可能将具有编码误差。
加法器828可反转减法器712所执行的操作(图7)。它可以接收来自预测器850的预测像素块，该预测像素块由经编码的视频数据流中的预测基准所确定。加法器828可以将预测像素块添加到逆变换单元826所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器830可以对重建的像素块数据执行各种滤波操作。如图所示，回路滤波器830可以包括解块滤波器832和SAO滤波器834。解块滤波器832可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器834可以根据SAO类型，例如基于边缘方向/形状和/或像素电平对像素值添加偏移。也可以按类似的方式使用其他类型的回路滤波器。解块滤波器832和SAO滤波器834的操作理想地将模拟编码***700中其对应部分的操作(图7)。因此，在不存在传输误差或其他异常的情况下，从解码***800的回路滤波器830获得的经解码画面将与从编码***700的回路滤波器730获得的经解码画面(图7)相同；这样，编码***700和解码***800应在它们各自的基准画面存储库740、840中存储同一组基准画面。
基准画面存储库840可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。基准画面存储库840可以存储在被编码时每个画面的经解码的像素块数据以供在帧内预测中使用。基准画面存储库840也可以存储经解码的基准画面。
如所论述的，预测器850可向像素块解码器820提供预测数据。预测器850可以提供由经编码的视频数据流中所提供的预测基准指示符确定的所预测的像素块数据。
控制器860可以控制编码***800的整个操作。控制器860可以基于在经编码的视频数据流中接收的参数来设定像素块解码器820和预测器850的操作参数。与本论述相关，这些操作参数可以包括去量化器824的量化参数QP和逆变换单元815的变换模式M。如所论述的，所接收的参数可以按照图像数据的各种粒度被设定，例如，以每像素块为基础、以每画面为基础、以每切片为基础、以每LCU为基础、或者基于为输入图像定义的其他类型的区域。
在一个实施方案中，编码器在编码期间使用球面变换来选择预测基准不需要解码器使用此类变换。在图2和图7所示的实施方案中，编码器200、700可参考球面投影输入数据和基准数据执行预测搜索，但差分视频编码230、710本身可使用非球面投影数据来执行。通过这种方式，可将本公开的实施方案与不执行球面投影的解码器合作使用。
图9示出了根据本公开的一个实施方案的编码方法900。方法900可对逐个像素块操作，从而对要编码的新输入画面进行编码。方法900可通过将输入像素块的数据变换为球面表示(框910)来开始。方法900还可将候选基准画面数据变换为球面表示(框920)。然后，方法900可从变换像素块数据与变换基准画面数据之间的比较来执行预测搜索(框930)。当找到适当的预测基准时，方法900可使用匹配的基准块作为预测的基础，对输入像素块进行差分编码(框940)。通常，该差分编码包括由来自输入像素块数据的预测块数据的逐个像素减法(框942)以及对由此获得的像素残差的变换、量化和熵编码(框944)来计算像素残差。方法900可用α,β,γ格式表示运动矢量数据(框946)，其中α、β和γ分别表示球面投影基准画面从其初始轴线的旋转(图6)。方法900可输出运动矢量以及编码的残差和预测的其他元数据(通常为编码模式指示符、基准画面ID)(框948)。
在另一个实施方案中，方法900可相对于为基准画面估计的全局旋转值而差异地表示α,β,γ格式。在此类实施方案中，方法900可估计基准画面与输入画面之间的全局旋转差(框940)。例如，方法900可执行输入画面610(图6)的球面投影与基准画面620的球面投影之间的总体比较。该方法可生成第一旋转参数，称为“全局旋转”，其反映输入画面610与基准画面620之间检测到的旋转。可将全局旋转编码为第一矢量α,β,γ。在各个球面投影像素块614、616的编码期间，基准画面可被进一步旋转，以试图找到比仅使用全局旋转值选择基准块时获得的编码成本更低的编码成本J的旋转。如果标识出此类旋转，则可相对于格式为Δa、Δβ和Δγ的全局旋转矢量α,β,γ而对像素块614、616的运动矢量进行差分编码。在一个实施方案中，全局矢量可包括在语法元素中的编码视频数据中，语法元素以高于编码像素块数据的级别出现，例如在画面标题或切片标头中。并且，当参考多个基准画面对单个输入画面进行编码时，此类标头可包括用于标识基准画面(例如，通过画面ID)的字段和应用于它们中的每一个的全局旋转矢量α,β,γ。
图9的编码方法900可由视频编码器，诸如图7所示的视频编码器来执行。然而，在该实施方案中，当预测器770向控制器780输出球面域运动矢量时，控制器不需要将运动矢量转换为编码器域表示。控制器780可执行对输入画面与基准画面(未示出输入)之间的旋转差的估计，并且可如上所述推导适当的运动矢量表示。控制器780还可向通道输出其估计的旋转差。
类似地，解码可由视频解码器，诸如图8所示的视频解码器执行。然而，在该实施方案中，控制器860可执行转换操作以将运动矢量从其差分表示(ΔMV)转换为绝对表示(MV)，并且进一步将运动矢量的绝对表示从球面域表示转换为编码器域表示。然后，预测器850可从基准画面存储库840检索适当的基准块并将它们提供给像素块解码器820。
在另一个实施方案中，球面投影可将可变半径分配给来自输入画面或基准画面的图像内容的部分。此类可变半径可适应导致图像内容在输入画面与基准画面之间调整大小的对象运动或相机移动。例如，当对象朝向或远离相机移动时，相机视场之内的对象尺寸可相应地增大或减小。类似地，当相机移动时，一些对象变得靠近相机，在这种情况下，使得它们的尺寸增大，并且其他物体变得远离相机，在这种情况下它们的尺寸减小。在任一种情况下，视频编码器可通过球面投影之间的不同半径来补偿此类变化。
图10示出了示例性使用情况，其中待编码的输入画面1010被变换为具有半径R的球体上的球面投影1012。输入画面1010可使用基准画面1020作为预测基准而被预测性地编码，该预测基准具有其自身的球面投影1022。为方便起见，图10仅示出了用于输入画面和基准画面的球面投影的一部分。在图10中，基准画面的球面投影也被示出为具有半径R。在一个实施方案中，视频编码器可根据在其中的对象间检测到的相对尺寸差异来改变输入画面和基准画面的球面投影1012、1022的半径，以便检测它们之间的相关性。当发现相关性时，视频编码器可导出球面投影1012、1022中的半径的相对比率(示出为RI/RP)，其反映两个投影1012、1022中的图像内容的元素之间的大小调整。通过这种方式，可改变画面中的一个(在这里，为基准画面1020)的球面投影(示出为投影1024)以适应交替的半径RP。然后，可将调整大小比率RI/RP连同从先前实施方案导出的运动矢量的其他分量映射到基准画面，这会标识基准画面中可以被调整大小并用作预测输入画面1010中像素块1014的依据的基准块1026。
可以对被编码的每个像素块或在其他编码粒度重新执行球面投影之间的半径变化。因此，如果需要，视频编码器可逐个画面地、逐个图块地或逐个切片地改变基准画面球面投影的半径。
在另一个实施方案中，球面投影可分配被分配给来自输入画面和/或基准画面的图像内容的球面投影的原点的可变空间位置。此类可变原点可适应导致图像内容在输入画面与基准画面之间调整大小的对象运动或相机移动。如所论述的，当相机移动时，一些对象变得靠近相机，在这种情况下，它们的尺寸增大，并且其他物体变得远离相机，在这种情况下它们的尺寸减小。在这种情况下，视频编码器可通过向球面投影的原点分配不同的位置来补偿此类变化。
图11示出了示例性使用情况，其中待编码的输入画面1110被变换为具有半径R的球体上的球面投影1112。输入画面1110可使用基准画面1120作为预测基准而被预测性地编码，该预测基准具有其自身的球面投影1122。为方便起见，图11仅示出了用于输入画面和基准画面的球面投影的一部分。在图11中，基准画面的球面投影也被示出为具有半径R。在一个实施方案中，视频编码器可根据在其中的对象间检测到的相对尺寸差异来改变输入画面和基准画面的球面投影1112、1122的半径R的原点位置，以便检测它们之间的相关性。当发现相关性时，视频编码器可导出球面投影1112、1122之间的相对偏移量，其被示为Δx,Δy,Δz，反映了两个投影1112、1122之间的移位。然后，可将原点偏移Δx,Δy,Δz连同从先前实施方案导出的运动矢量的其他分量映射到基准画面，这会标识基准画面中可以被调整大小并用作预测输入画面1110中像素块1114的依据的基准块1124。
可以对被编码的每个像素块或在其他编码粒度重新执行球面投影之间的原点偏移Δx,Δy,Δz的变化。因此，如果需要，视频编码器可逐个画面地、逐个图块地或逐个切片地改变基准画面球面投影的原点偏移。
在另一个实施方案中，可组合图9、图10和图11的技术以为视频编码器和解码器提供多种自由度，以识别输入画面和基准画面的球面投影之间的差异。因此，视频编码器可提供运动矢量，运动矢量反映例如相对于全局旋转矢量的偏移(其可由角矢量α,β,γ表示)、径向比率RI/RP和/或原点偏移Δx,Δy,Δz来表示。
图12是根据本公开的另一个实施方案的解码***1200的功能框图。在图12的实施方案中，解码***1200可在球面投影的域中操作，如图3-图4、图6和图10-图11中象征性所示，直到要从解码***1200输出解码图像数据。解码图像数据可在要从解码***1200输出时被转换到二维域。
解码***1200可包括语法单元1210、像素块解码器1220、回路滤波器1230、基准画面存储库1240、预测器1250、控制器1260、逆球面变换单元1270和逆球面变换单元1280。语法单元1210可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器1260，而表示编码残差的数据(图2的像素块编码器210输出的数据)可被提供给像素块解码器1220。像素块解码器1220可反转由像素块编码器提供的编码操作(图2)。回路滤波器1230可过滤重建的像素块数据。重建的像素块数据可组合成用于显示的画面并且从解码***1200输出作为输出视频。画面也可以被存储在预测缓冲器1240中以用于在预测操作中使用。预测器1250可以向像素块解码器1220提供预测数据，预测数据由经编码的视频数据流中接收的编码数据确定。球面变换单元1270可将数据从基准画面存储库1240变换到球面域，并且将变换后的数据提供给预测器1250。逆球面变换单元1280可将预测数据从球面域变换回到像素块编码器1220的域，并可将变换后的数据提供给其中的加法器1228。
像素块解码器1220可包括熵解码器1222、去量化器1224、逆变换单元1226和加法器12212。熵解码器1222可执行熵解码以反转由熵编码器7112执行的过程(图12)。去量化器1224可反转像素块编码器710的量化器716的操作(图7)。类似地，逆变换单元1226可以反转变换单元714的操作(图7)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式M。由于量化可能要截断数据，因此去量化器1224所恢复的数据在与被呈现给像素块编码器210中其对应量化器716的输入数据(图2)进行比较时可能将具有编码误差。
加法器1228可反转减法器712所执行的操作(图7)。它可以接收来自预测器1250的预测像素块，该预测像素块由经编码的视频数据流中的预测基准所确定。加法器1228可以将预测像素块添加到逆变换单元1226所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器1230可以对重建的像素块数据执行各种滤波操作。如图所示，回路滤波器1230可以包括解块滤波器1232和SAO滤波器1234。解块滤波器1232可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器1234可以根据SAO类型，例如基于边缘方向/形状和/或像素电平对像素值添加偏移。也可以按类似的方式使用其他类型的回路滤波器。解块滤波器1232和SAO滤波器1234的操作理想地将模拟编码***700中其对应部分的操作(图7)。因此，在不存在传输误差或其他异常的情况下，从解码***1200的回路滤波器1230获得的经解码画面将与从编码***700的回路滤波器730获得的经解码画面(图7)相同；这样，编码***700和解码***1200应在它们各自的基准画面存储库740、1240中存储同一组基准画面。
基准画面存储库1240可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。基准画面存储库1240可以存储在被编码时每个画面的经解码的像素块数据以供在帧内预测中使用。基准画面存储库1240也可以存储经解码的基准画面。
如所论述的，预测器1250可向像素块解码器1220提供预测数据。预测器1250可以提供由经编码的视频数据流中所提供的预测基准指示符确定的所预测的像素块数据。
控制器1260可以控制编码***1200的整个操作。控制器1260可以基于在经编码的视频数据流中接收的参数来设定像素块解码器1220和预测器1250的操作参数。与本论述相关，这些操作参数可以包括去量化器1224的量化参数QP和逆变换单元1215的变换模式M。如所论述的，所接收的参数可以按照图像数据的各种粒度被设定，例如，以每像素块为基础、以每画面为基础、以每切片为基础、以每LCU为基础、或者基于为输入图像定义的其他类型的区域。
在图12的实施方案中，像素块解码器1220、回路滤波器1230和基准画面存储库1240可对二维域中的图像数据进行操作。不过，预测器1250可根据上文参考图6、图10和/或图11所述的技术对标识基准块的运动矢量进行操作，这样可通过旋转矢量(α,β,γ)、投影半径的比率(Ri/Rp)和/或球面投影的原点之间的偏移(Δx,Δy,Δz)来识别基准像素块。作为响应，预测器1250可从基准画面存储库1240检索基准画面，并且球面变换1270可将检索到的画面变换到球面域。预测器1250可根据所接收的运动矢量(例如，通过根据旋转矢量(α,β,γ)旋转基准画面的球面投影，通过根据投影半径的比率(Ri/Rp)调整基准画面的球面投影大小，和/或通过根据原点偏移(Δx,Δy,Δz)移位基准画面的球面投影的原点)将基准画面的球面投影与输入像素块对齐。在这种处理之后，与正被解码的编码像素块的位置对齐的基准画面的一部分可作为基准块被输出到加法器1228。
逆球面逆变换单元1280可将基准块的数据变换到二维域。逆变换单元可反转相对于上文段落29至段落36所述的操作。变换的基准块可作为预测块输出到像素块解码器1220的加法器1228。
图13是根据本公开的另一个实施方案的解码***1300的功能框图。在图13的实施方案中，解码***1300可在球面投影的域中操作，如图3-图4、图6和图10-图11中象征性所示，直到要从解码***1300输出解码图像数据。解码图像数据可在要从解码***1300输出时被转换到二维域。
解码***1300可包括语法单元1310、像素块解码器1320、回路滤波器1330、基准画面存储库1340、预测器1350、控制器1360和逆球面变换单元1370。语法单元1310可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器1360，而表示编码残差的数据(图2的像素块编码器210输出的数据)可被提供给像素块解码器1320。像素块解码器1320可反转由像素块编码器提供的编码操作(图2)。回路滤波器1330可过滤重建的像素块数据。重建的像素块数据可组合成用于显示的画面并且从解码***1300输出作为输出视频。画面也可以被存储在预测缓冲器1340中以用于在预测操作中使用。预测器1350可以向像素块解码器1320提供预测数据，预测数据由经编码的视频数据流中接收的编码数据确定。
像素块解码器1320可包括熵解码器1322、去量化器1324、逆变换单元1326和加法器13213。熵解码器1322可执行熵解码以反转由熵编码器7113执行的过程(图13)。去量化器1324可反转像素块编码器710的量化器716的操作(图7)。类似地，逆变换单元1326可以反转变换单元714的操作(图7)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式M。由于量化可能要截断数据，因此去量化器1324所恢复的数据在与被呈现给像素块编码器210中其对应量化器716的输入数据(图2)进行比较时可能将具有编码误差。
加法器1328可反转减法器713所执行的操作(图7)。它可以接收来自预测器1350的预测像素块，该预测像素块由经编码的视频数据流中的预测基准所确定。加法器1328可以将预测像素块添加到逆变换单元1326所输出的重建残差值，并且可以输出重建的像素块数据。
回路滤波器1330可以对重建的像素块数据执行各种滤波操作。如图所示，回路滤波器1330可以包括解块滤波器1332和SAO滤波器1334。解块滤波器1332可以对重建的像素块之间接缝处的数据进行滤波，以减少由于编码而产生的像素块之间的不连续。SAO滤波器1334可以根据SAO类型，例如基于边缘方向/形状和/或像素电平对像素值添加偏移。也可以按类似的方式使用其他类型的回路滤波器。解块滤波器1332和SAO滤波器1334的操作理想地将模拟编码***700中其对应部分的操作(图7)。因此，在不存在传输误差或其他异常的情况下，从解码***1300的回路滤波器1330获得的经解码画面将与从编码***700的回路滤波器730获得的经解码画面(图7)相同；这样，编码***700和解码***1300应在它们各自的基准画面存储库740、1340中存储同一组基准画面。
基准画面存储库1340可以存储经滤波的像素数据以供在其他像素块的后续预测中使用。基准画面存储库1340可以存储在被编码时每个画面的经解码的像素块数据以供在帧内预测中使用。基准画面存储库1340也可以存储经解码的基准画面。
如所论述的，预测器1350可向像素块解码器1320提供预测数据。预测器1350可以提供由经编码的视频数据流中所提供的预测基准指示符确定的所预测的像素块数据。
控制器1360可以控制编码***1300的整个操作。控制器1360可以基于在经编码的视频数据流中接收的参数来设定像素块解码器1320和预测器1350的操作参数。与本论述相关，这些操作参数可以包括去量化器1324的量化参数QP和逆变换单元1315的变换模式M。如所论述的，所接收的参数可以按照图像数据的各种粒度被设定，例如，以每像素块为基础、以每画面为基础、以每切片为基础、以每LCU为基础、或者基于为输入图像定义的其他类型的区域。
如图所示，像素块解码器1320、回路滤波器1330、基准画面存储库1340、预测器1350和控制器1360可对球面投影域中的图像数据进行操作。因此，解码***1300可对大小和形状不同的编码像素块进行解码，如图6所示。预测器1350可根据上文参考图6、图10和/或图11所述的技术对标识基准块的运动矢量进行操作，这样可通过旋转矢量(α,β,γ)、投影半径的比率(Ri/Rp)和/或球面投影的原点之间的偏移(Δx,Δy,Δz)来识别基准像素块。作为响应，预测器1350可从基准画面存储库检索基准像素块并根据所接收的运动矢量(例如，通过根据旋转矢量(α,β,γ)旋转基准画面的球面投影，通过根据投影半径的比率(Ri/Rp)调整基准画面的球面投影大小，和/或通过根据原点偏移(Δx,Δy,Δz)移位基准画面的球面投影的原点)将它们与输入像素块对齐。在这种处理之后，与正被解码的编码像素块的位置对齐的基准画面的一部分可作为基准块被输出到加法器1328。
逆球面变换单元1370可将从回路滤波器1330输出的重建图像变换到输出域。通常，输出域将是二维域，这使得重建的图像适合显示在显示设备上或供消耗此类数据的应用程序使用。逆变换单元可反转相对于上文所述的操作。在一个实施方案中，当将重建的图像输出到处理球面域中的图形数据的应用时，可省略逆球面变换1370。
前述实施方案描述了对从相机***获得的360°视频进行操作的视频编码和解码过程，但本公开的原理不受此限制。本文所述的技术可应用于360°视频，而与生成此类视频所用的技术无关。例如，360°视频可用于诸如视频游戏和三维渲染应用的计算机应用中。因此，根据需要，360°视频可代表计算机生成的虚拟世界模型或表示人类编写的内容的计算机渲染视频数据。本公开的原理还可应用于增强现实***，其中相机生成的图像数据和计算机生成的图形数据被合并成经编码的360°视频画面。就这一点而言，360°视频的来源对于本论述是无关紧要的。
在一个实施方案中，视频编码器和解码器可交换信令以识别球面投影的参数。在一个此类实施方案中，此类信令可根据以下语法进行。
视频编码器和解码器可交换投影格式字段，该字段标识由编码器域中的视频编码器使用的投影格式的类型。例如，投影格式字段可包含可采用以下值的投影格式id值：
Figure BDA0004138588740000261
表1
例如，可在诸如H.265的编码协议的序列参数集中提供投影格式字段。
视频编码器和解码器可交换其他信令，诸如use_rotation_estimation字段和rotation_estimation_mode字段。use_rotation_estimate可指示例如是否执行如框840(图8)所述的旋转估计。rotation_estimation_mode字段可标识旋转估计的参数，诸如：
Figure BDA0004138588740000262
表2
可在编码协议之内以不同水平的编码粒度发信号通知use_rotation_estimation和rotation_estimation_mode字段。例如，可以在编码期间在像素块水平下发信号通知use_rotation_estimation字段，而可以在例如序列参数集或画面参数集中在更高水平的粒度下发信号通知rotation_estimation_mode字段。也可发生相反的情况；在编码期间可以在序列参数集水平下发信号通知use_rotation_estimation字段，而可以在例如像素块水平在更低水平的粒度下发信号通知rotation_estimation_mode字段。此外，可以根据需要，从画面到画面或从像素块到像素块地预测性地对use_rotation_estimation字段和rotation_estimation_mode字段进行编码。此外，可执行参数数据的上下文自适应二进制算术编码(CABAC)。
类似地，视频编码器和解码器可交换可能发信号通知所执行的全局旋转估计的类型的其他信令，诸如global_rotation_estimation_mode字段。global_rotation_estimation_mode字段可标识全局旋转估计的参数，诸如：
Figure BDA0004138588740000271
可以方便地在序列参数集、画面参数集或切片分段标头中发信号通知global_rotation_estimation_mode字段。
前述论述已在视频编码器和解码器的上下文中描述了本公开各实施方案的操作。这些部件常常作为电子设备来提供。视频解码器和/或控制器可以被嵌入在集成电路中，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器。另选地，它们可以被嵌入到在相机设备、个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序通常存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中，在那里它们被读取到处理器并且被执行。解码器常常被封装在消费电子设备中，诸如智能电话、平板电脑、游戏***、DVD播放器、便携式媒体播放器等；并且，它们也可以被封装在消费软件应用中，诸如视频游戏、媒体播放器、媒体编辑器等。并且，当然，这些部件可被提供作为根据需要在专用硬件部件和经编程的通用处理器上分配功能的混合***。
已经出于例示和描述的目的呈现了前面的描述。它们并非是穷举性的并且并非将本公开的实施方案限制到所公开的精确形式。鉴于上面的教导内容，修改和变型是可能的，或者可从实践与本公开一致的实施方案获取修改和变型。除非本文另有描述，可采用任何组合来实施任何方法。

Claims (20)

1.一种视频解码方法，包括：
在平坦域中从经编码的视频序列对基准帧进行解码；
从所述经编码的视频序列对针对当前帧的像素块的球面域运动矢量进行解码；
将所述基准帧从所述平坦域变换为球面域；
从在所述球面域中的所述基准帧和所述球面域运动矢量生成所述像素块的球面域预测；
将所述球面域预测变换为所述像素块的平坦域预测；以及
基于所述像素块的所述平坦域预测，在所述平坦域中生成经解码的当前帧。
2.根据权利要求1所述的视频解码方法，其中所述球面域运动矢量指定在三维中所述基准帧的旋转。
3.根据权利要求1所述的视频解码方法，还包括：
从所述经编码的视频序列对针对所述基准帧的全局旋转值进行解码；
从所述经编码的视频序列对针对所述像素块的差分运动矢量进行解码；
基于所述全局旋转值和所述差分运动矢量确定针对所述像素块的所述球面域运动矢量。
4.根据权利要求1所述的视频解码方法，其中所述球面域运动矢量包括相对半径比率，所述相对半径比率指定在所述当前帧的球面域投影中被使用的当前帧半径与在所述基准帧的球面投影中被使用的基准帧半径的比率，
并且所述球面域预测是基于所述相对半径比率。
5.根据权利要求1所述的视频解码方法，还包括：
从所述经编码的视频序列对针对所述基准帧的基准空间原点进行解码；
从所述经编码的视频序列对针对所述当前帧的当前空间原点进行解码；
并且其中所述球面域预测是基于所述基准空间原点和所述当前空间原点。
6.一种视频解码***，包括：
处理器；以及
存储器，所述存储器存储有指令，所述指令在由所述处理器执行时使得：
在平坦域中从经编码的视频序列对基准帧进行解码；从所述经编码的视频序列对针对当前帧的像素块的球面域运动矢量进行解码；
将所述基准帧从所述平坦域变换为球面域；
从在所述球面域中的所述基准帧和所述球面域运动矢量生成所述像素块的球面域预测；
将所述球面域预测变换为所述像素块的平坦域预测；以及
基于所述像素块的所述平坦域预测，在所述平坦域中生成经解码的当前帧。
7.根据权利要求6所述的视频解码***，其中所述球面域运动矢量指定在三维中所述基准帧的旋转。
8.根据权利要求6所述的视频解码***，其中所述指令还使得：
从所述经编码的视频序列对针对所述基准帧的全局旋转值进行解码；
从所述经编码的视频序列对针对所述像素块的差分运动矢量进行解码；
基于所述全局旋转值和所述差分运动矢量确定针对所述像素块的所述球面域运动矢量。
9.根据权利要求6所述的视频解码***，其中所述球面域运动矢量包括相对半径比率，所述相对半径比率指定在所述当前帧的球面域投影中被使用的当前帧半径与在所述基准帧的球面投影中被使用的基准帧半径的比率，
并且所述球面域预测是基于所述相对半径比率。
10.根据权利要求6所述的视频解码***，其中所述指令还使得：
从所述经编码的视频序列对针对所述基准帧的基准空间原点进行解码；
从所述经编码的视频序列对针对所述当前帧的当前空间原点进行解码；
并且其中所述球面域预测是基于所述基准空间原点和所述当前空间原点。
11.一种视频解码方法，包括：
在球面域中从经编码的视频序列对基准帧进行解码；
从所述经编码的视频序列对针对当前帧的像素块的球面域运动矢量进行解码；
从在所述球面域中的所述基准帧和所述球面域运动矢量生成所述像素块的球面域预测；
基于所述像素块的所述球面域预测，在所述球面域中生成经解码的当前帧；
将在球面域中的所述经解码的当前帧变换到平坦域；以及
输出在所述平坦域中的所述经解码的当前帧。
12.根据权利要求11所述的视频解码方法，其中所述球面域运动矢量指定在三维中所述基准帧的旋转。
13.根据权利要求11所述的视频解码方法，还包括：
从所述经编码的视频序列对针对所述基准帧的全局旋转值进行解码；
从所述经编码的视频序列对针对所述像素块的差分运动矢量进行解码；
基于所述全局旋转值和所述差分运动矢量确定针对所述像素块的所述球面域运动矢量。
14.根据权利要求11所述的视频解码方法，其中所述球面域运动矢量包括相对半径比率，所述相对半径比率指定在所述当前帧的球面域投影中被使用的当前帧半径与在所述基准帧的球面投影中被使用的基准帧半径的比率，
并且所述球面域预测是基于所述相对半径比率。
15.根据权利要求11所述的视频解码方法，还包括：
从所述经编码的视频序列对针对所述基准帧的基准空间原点进行解码；
从所述经编码的视频序列对针对所述当前帧的当前空间原点进行解码；
并且其中所述球面域预测是基于所述基准空间原点和所述当前空间原点。
16.一种非暂态计算机可读介质，存储有程序指令，所述程序指令在由处理设备执行时使得所述设备：
在球面域中从经编码的视频序列对基准帧进行解码；
从所述经编码的视频序列对针对当前帧的像素块的球面域运动矢量进行解码；
从在所述球面域中的所述基准帧和所述球面域运动矢量生成所述像素块的球面域预测；
基于所述像素块的所述球面域预测，在所述球面域中生成经解码的当前帧；
将在球面域中的所述经解码的当前帧变换到平坦域；以及
输出在所述平坦域中的所述经解码的当前帧。
17.根据权利要求16所述的计算机可读介质，其中所述球面域运动矢量指定在三维中所述基准帧的旋转。
18.根据权利要求16所述的计算机可读介质，还包括：
从所述经编码的视频序列对针对所述基准帧的全局旋转值进行解码；
从所述经编码的视频序列对针对所述像素块的差分运动矢量进行解码；
基于所述全局旋转值和所述差分运动矢量确定针对所述像素块的所述球面域运动矢量。
19.根据权利要求16所述的计算机可读介质，其中所述球面域运动矢量包括相对半径比率，所述相对半径比率指定在所述当前帧的球面域投影中被使用的当前帧半径与在所述基准帧的球面投影中被使用的基准帧半径的比率，
并且所述球面域预测是基于所述相对半径比率。
20.根据权利要求16所述的计算机可读介质，还包括：
从所述经编码的视频序列对针对所述基准帧的基准空间原点进行解码；
从所述经编码的视频序列对针对所述当前帧的当前空间原点进行解码；
并且其中所述球面域预测是基于所述基准空间原点和所述当前空间原点。
CN202310282812.9A 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策 Pending CN116248875A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/390,202 2016-12-23
US15/390,202 US10999602B2 (en) 2016-12-23 2016-12-23 Sphere projected motion estimation/compensation and mode decision
CN201780079476.0A CN110115037B (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策
PCT/US2017/051542 WO2018118159A1 (en) 2016-12-23 2017-09-14 Sphere projected motion estimation/compensation and mode decision

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780079476.0A Division CN110115037B (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策

Publications (1)

Publication Number Publication Date
CN116248875A true CN116248875A (zh) 2023-06-09

Family

ID=59982492

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310282812.9A Pending CN116248875A (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策
CN201780079476.0A Active CN110115037B (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780079476.0A Active CN110115037B (zh) 2016-12-23 2017-09-14 球面投影运动估计/补偿和模式决策

Country Status (3)

Country Link
US (2) US10999602B2 (zh)
CN (2) CN116248875A (zh)
WO (1) WO2018118159A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
JP2019057903A (ja) * 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US11259046B2 (en) * 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US20180242016A1 (en) * 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10904508B2 (en) * 2017-03-15 2021-01-26 Avago Technologies International Sales Pte. Limited 360 degree video with combined projection format
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
EP3610647B1 (en) * 2017-04-26 2021-12-08 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a panoramic video signal
US10467775B1 (en) * 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
WO2018206551A1 (en) * 2017-05-09 2018-11-15 Koninklijke Kpn N.V. Coding spherical video data
CN109246410B (zh) * 2017-05-31 2021-04-02 江苏慧光电子科技有限公司 全息影像的成像方法和数据生成方法及装置
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US10523913B2 (en) 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10728551B2 (en) * 2017-11-09 2020-07-28 Gopro, Inc. Methods and apparatus for block-based layout for non-rectangular regions between non-contiguous imaging regions
CN110771165A (zh) * 2018-08-01 2020-02-07 深圳市大疆创新科技有限公司 图像处理方法和设备
EP3667617A1 (en) * 2018-12-14 2020-06-17 Koninklijke Philips N.V. Imaging system and imaging method
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
CN111050168B (zh) * 2019-12-27 2021-07-13 浙江大华技术股份有限公司 仿射预测方法及其相关装置
KR20220143844A (ko) * 2020-02-19 2022-10-25 인터디지털 브이씨 홀딩스 인코포레이티드 이미지 콘텐츠를 처리하기 위한 방법 및 디바이스
US11924467B2 (en) * 2021-11-16 2024-03-05 Google Llc Mapping-aware coding tools for 360 degree videos

Family Cites Families (505)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2191917A (en) 1986-06-16 1987-12-23 Ibm A multiple window display system
US5448687A (en) 1988-09-13 1995-09-05 Computer Design, Inc. Computer-assisted design system for flattening a three-dimensional surface and for wrapping a flat shape to a three-dimensional surface
DE69115762T2 (de) 1990-06-19 1996-06-13 Fujitsu Ltd Verfahren und Einrichtung zur Anzeigesteuerung von Mehrfenstern
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5313306A (en) 1991-05-13 1994-05-17 Telerobotics International, Inc. Omniview motionless camera endoscopy system
US5359363A (en) 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5262777A (en) 1991-11-16 1993-11-16 Sri International Device for generating multidimensional input signals to a computer
US5787207A (en) 1991-12-30 1998-07-28 Golin; Stuart J. Method and apparatus for minimizing blockiness in reconstructed images
US5684937A (en) 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US5537155A (en) 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
US6011897A (en) 1994-08-31 2000-01-04 Sony Corporation Still picture system for high speed reproduction
US5715016A (en) 1995-04-05 1998-02-03 Graphic Communication Laboratories Motion estimation method and apparatus for calculating a motion vector
US5689800A (en) 1995-06-23 1997-11-18 Intel Corporation Video feedback for reducing data rate or increasing quality in a video processing system
US6031540A (en) 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
JP3994445B2 (ja) 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
JP2798035B2 (ja) 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US5903270A (en) 1997-04-15 1999-05-11 Modacad, Inc. Method and apparatus for mapping a two-dimensional texture onto a three-dimensional surface
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
JPH10327415A (ja) 1997-05-22 1998-12-08 Mitsubishi Electric Corp 動きベクトル検出装置
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
JPH11119303A (ja) 1997-10-20 1999-04-30 Fujitsu Ltd 監視システム及び監視方法
KR100269125B1 (ko) 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6144890A (en) 1997-10-31 2000-11-07 Lear Corporation Computerized method and system for designing an upholstered part
JPH11308574A (ja) 1998-04-22 1999-11-05 Sony Corp 走査線数変換装置及び方法
US6535643B1 (en) 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
US6204854B1 (en) 1998-12-04 2001-03-20 France Telecom Method and system for encoding rotations and normals in 3D generated scenes
US6850565B2 (en) 1998-12-18 2005-02-01 Intel Corporation Real time bit rate control system
US6222883B1 (en) 1999-01-28 2001-04-24 International Business Machines Corporation Video encoding motion estimation employing partitioned and reassembled search window
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US6690374B2 (en) 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6769131B1 (en) 1999-11-18 2004-07-27 Canon Kabushiki Kaisha Image processing apparatus and method, image distribution system and storage medium
FR2802002B1 (fr) 1999-12-02 2002-03-01 Ge Medical Syst Sa Procede de recalage automatique d'images tridimensionnelles
JP2001189902A (ja) 1999-12-28 2001-07-10 Nec Corp ヘッドマウンテッドディスプレイ制御方法及びヘッドマウンテッドディスプレイ装置
US7259760B1 (en) 2000-02-16 2007-08-21 Be Here Corporation Polygonal curvature mapping to increase texture efficiency
US6559853B1 (en) 2000-02-16 2003-05-06 Enroute, Inc. Environment map creation using texture projections with polygonal curved surfaces
GB2363019B (en) 2000-04-07 2004-02-25 Discreet Logic Inc Processing image data
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US7149549B1 (en) 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7095905B1 (en) 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US20020080878A1 (en) 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement
US7742073B1 (en) 2000-11-01 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device
US7327787B1 (en) 2000-11-20 2008-02-05 Intel Corporation Method and apparatus for motion estimation
US6952286B2 (en) 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US7003061B2 (en) 2000-12-21 2006-02-21 Adobe Systems Incorporated Image extraction from complex scenes in digital video
US8253754B2 (en) 2001-01-16 2012-08-28 Microsoft Corporation Sampling-efficient mapping of images
GB0101371D0 (en) 2001-01-19 2001-03-07 Virtual Mirrors Ltd Production and visualisation of garments
WO2002080521A2 (en) 2001-03-30 2002-10-10 Digeo, Inc. System and method for a software steerable web camera with multiple image subset capture
US6756990B2 (en) 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
WO2002093495A1 (en) 2001-05-11 2002-11-21 Koninklijke Philips Electronics N.V. Method, system and computer program for producing a medical report
JP4584575B2 (ja) 2001-07-06 2010-11-24 クゥアルコム・インコーポレイテッド ３ｄ画像に表示される３ｄサーフェイスとインタラクトする画像処理方法
WO2003019471A2 (en) 2001-08-25 2003-03-06 Eyesee360,Inc. Method and apparatus for encoding photogrraphic images
WO2003027766A2 (en) 2001-09-27 2003-04-03 Eyesee360, Inc. System and method for panoramic imaging
US7039113B2 (en) 2001-10-16 2006-05-02 Koninklijke Philips Electronics N.V. Selective decoding of enhanced video stream
US7161599B2 (en) 2001-10-18 2007-01-09 Microsoft Corporation Multiple-level graphics processing system and method
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US20030099294A1 (en) 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
JP4082021B2 (ja) 2001-11-29 2008-04-30 コニカミノルタホールディングス株式会社 テクスチャ画像生成プログラム、テクスチャ画像データ及びデータ処理装置
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
US20040022322A1 (en) 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
US7023921B2 (en) 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
US6925123B2 (en) 2002-08-06 2005-08-02 Motorola, Inc. Method and apparatus for performing high quality fast predictive motion search
US20040032906A1 (en) 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
US20040056900A1 (en) 2002-09-23 2004-03-25 Blume Leo R System and method for window priority rendering
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7385995B2 (en) 2003-01-13 2008-06-10 Brooktree Broadband Holding, Inc. System and method for dynamic bandwidth allocation on PONs
US8027473B2 (en) 2003-01-13 2011-09-27 Conexant Systems, Inc. System and method for improved data protection in PONs
US7702015B2 (en) 2003-03-20 2010-04-20 Ge Security, Inc. Systems and methods for multi-resolution image processing
US8065614B2 (en) 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
RU2225035C1 (ru) 2003-04-21 2004-02-27 Общество с ограниченной ответственностью "Р.Т.С.-Сервис" Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства
TW594594B (en) 2003-05-16 2004-06-21 Ind Tech Res Inst A multilevel texture processing method for mapping multiple images onto 3D models
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7212206B2 (en) 2003-08-20 2007-05-01 Sony Computer Entertainment Inc. Method and apparatus for self shadowing and self interreflection light capture
US7719978B2 (en) 2003-09-12 2010-05-18 Newsouth Innovations Pty Limited Method for transmitting data over lossy packet-based communication networks
US7433535B2 (en) 2003-09-30 2008-10-07 Hewlett-Packard Development Company, L.P. Enhancing text-like edges in digital images
US20050069682A1 (en) 2003-09-30 2005-03-31 Tan Tseng Custom 3-D Milled Object with Vacuum-Molded 2-D Printout Created from a 3-D Camera
KR100657261B1 (ko) 2003-12-10 2006-12-14 삼성전자주식회사 적응적 움직임 보상 보간 방법 및 장치
US20050204113A1 (en) 2004-03-09 2005-09-15 International Business Machines Corp. Method, system and storage medium for dynamically selecting a page management policy for a memory controller
US7400679B2 (en) 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7496141B2 (en) 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050286777A1 (en) 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
US8442311B1 (en) 2005-06-30 2013-05-14 Teradici Corporation Apparatus and method for encoding an image generated in part by graphical commands
US7929800B2 (en) 2007-02-06 2011-04-19 Meadow William D Methods and apparatus for generating a continuum of image data
US8194093B2 (en) 2004-09-15 2012-06-05 Onlive, Inc. Apparatus and method for capturing the expression of a performer
US20060055706A1 (en) 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US7660245B1 (en) 2004-09-16 2010-02-09 Qualcomm Incorporated FEC architecture for streaming services including symbol-based operations and packet tagging
JP2008515264A (ja) 2004-09-24 2008-05-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーバラップする画像を供給するためにカメラを有して複合画像を生成するシステム、オーバラップする画像を供給するためにカメラを使用して複合画像を生成する方法
JP2008516475A (ja) 2004-10-05 2008-05-15 ヴェクターマックス コーポレーション マルチメディアデータを放送する方法及びシステム
JP2008520052A (ja) 2004-11-12 2008-06-12 モク３， インコーポレイテッド シーン間遷移のための方法
US7620261B2 (en) 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US7432936B2 (en) 2004-12-02 2008-10-07 Avid Technology, Inc. Texture data anti-aliasing method and apparatus
US7792385B2 (en) 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
US8576924B2 (en) 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
JP4708819B2 (ja) 2005-03-14 2011-06-22 キヤノン株式会社 画像処理装置、方法、コンピュータプログラム及び記憶媒体
US20060282855A1 (en) 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US8045615B2 (en) 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
CN1322758C (zh) * 2005-06-09 2007-06-20 上海交通大学 基于对象的纹理快速运动估值的方法
WO2007002146A2 (en) 2005-06-22 2007-01-04 The Research Foundation Of State University Of New York System and method for computer aided polyp detection
US20070024705A1 (en) 2005-08-01 2007-02-01 Richter Roger K Systems and methods for video stream selection
US20070064120A1 (en) 2005-09-16 2007-03-22 Richard Didow Chroma-key event photography
US9258519B2 (en) 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
EP1952638B1 (en) 2005-10-12 2020-05-13 InterDigital VC Holdings, Inc. Region of interest h.264 scalable video coding
US7956929B2 (en) 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7415356B1 (en) 2006-02-03 2008-08-19 Zillow, Inc. Techniques for accurately synchronizing portions of an aerial image with composited visual information
US8442318B2 (en) 2006-02-13 2013-05-14 Snell Limited Method and apparatus for modifying a moving image sequence
US8279928B2 (en) 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
US8223842B2 (en) 2006-05-24 2012-07-17 Panasonic Corporation Dynamic image decoding device
WO2008007304A2 (en) 2006-07-12 2008-01-17 Nokia Corporation Signaling of region-of-interest scalability information in media files
US8446509B2 (en) 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
US7693349B2 (en) 2006-08-15 2010-04-06 General Electric Company Systems and methods for interactive image registration
US7643662B2 (en) 2006-08-15 2010-01-05 General Electric Company System and method for flattened anatomy for interactive segmentation and measurement
WO2008039371A2 (en) 2006-09-22 2008-04-03 Objectvideo, Inc. Video background replacement system
JP4931055B2 (ja) 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
WO2008092104A2 (en) 2007-01-25 2008-07-31 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
JP4682990B2 (ja) 2007-02-06 2011-05-11 日本ビクター株式会社 カメラ画像圧縮処理装置及び圧縮処理方法
KR100866230B1 (ko) 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
KR101328950B1 (ko) 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
AU2007202789B9 (en) 2007-06-15 2011-08-18 Canon Kabushiki Kaisha High-fidelity motion summarisation method
WO2009001793A1 (ja) 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP2009042811A (ja) 2007-08-06 2009-02-26 Univ Of Tokyo ３次元形状展開装置、３次元形状展開方法、および３次元形状展開用プログラム
KR102139535B1 (ko) 2007-10-16 2020-07-30 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
KR100914846B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
US8170367B2 (en) 2008-01-28 2012-05-01 Vistaprint Technologies Limited Representing flat designs to be printed on curves of a 3-dimensional product
EP2243290A4 (en) 2008-01-29 2011-06-22 Enforcement Video Llc OMNIDIRECTIONAL CAMERA FOR USE AT THE POLICE AUTOPE EVENT RECORD
US8269765B2 (en) 2008-02-28 2012-09-18 Autodesk, Inc. System and method for removing seam artifacts
US9305389B2 (en) 2008-02-28 2016-04-05 Autodesk, Inc. Reducing seam artifacts when applying a texture to a three-dimensional (3D) model
US8217956B1 (en) 2008-02-29 2012-07-10 Adobe Systems Incorporated Method and apparatus for rendering spherical panoramas
US20090262838A1 (en) 2008-04-21 2009-10-22 Qualcomm Incorporated Method and apparatus for encoding transmission data blocks for enhanced switching performance
KR20090129926A (ko) 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR101595344B1 (ko) 2008-08-01 2016-02-18 엘지전자 주식회사 디스플레이 모듈 및 이를 구비한 휴대 단말기
US8804821B2 (en) 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
US20100079605A1 (en) 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
US9596485B2 (en) 2008-10-27 2017-03-14 Sk Telecom Co., Ltd. Motion picture encoding/decoding apparatus, adaptive deblocking filtering apparatus and filtering method for same, and recording medium
KR101315456B1 (ko) 2008-11-05 2013-10-04 삼성전자주식회사 화상형성장치와 연결된 호스트장치, 이를 포함하는 화상형성시스템 및 화상형성장치의 배경화면 변경방법
US9215467B2 (en) 2008-11-17 2015-12-15 Checkvideo Llc Analytics-modulated coding of surveillance video
US8295360B1 (en) 2008-12-23 2012-10-23 Elemental Technologies, Inc. Method of efficiently implementing a MPEG-4 AVC deblocking filter on an array of parallel processors
US20100316129A1 (en) 2009-03-27 2010-12-16 Vixs Systems, Inc. Scaled motion search section with downscaling filter and method for use therewith
US8364561B2 (en) 2009-05-26 2013-01-29 Embodee Corp. Garment digitization system and method
US20130124156A1 (en) 2009-05-26 2013-05-16 Embodee Corp Footwear digitization system and method
KR20110001990A (ko) 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
US20100329362A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Video encoding and decoding apparatus and method using adaptive in-loop filter
KR100988872B1 (ko) 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
US9300969B2 (en) 2009-09-09 2016-03-29 Apple Inc. Video storage
JP5357685B2 (ja) 2009-09-28 2013-12-04 株式会社ソニー・コンピュータエンタテインメント ３次元オブジェクト処理装置、３次元オブジェクト処理方法、プログラム、及び情報記憶媒体
US20110128350A1 (en) 2009-11-30 2011-06-02 Motorola, Inc. Method and apparatus for choosing a desired field of view from a wide-angle image or video
US20110142306A1 (en) 2009-12-16 2011-06-16 Vivek Nair Method and system for generating a medical image
CN101771878B (zh) * 2010-01-14 2011-05-25 广西大学 面向全景视频编码的自适应选择全局运动估计方法
US9762795B2 (en) 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
CN102763136B (zh) 2010-02-11 2015-04-01 诺基亚公司 用于提供多线程视频解码的方法和设备
BR112012023319A2 (pt) 2010-03-16 2016-05-24 Thomson Licensing métodos e aparelhos para seleção do previsor do vetor de movimento adaptável implícito para codificação e decodificação de vídeo
US20110235706A1 (en) 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
US8660174B2 (en) 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8730267B2 (en) 2010-06-21 2014-05-20 Celsia, Llc Viewpoint change on a display device based on movement of the device
WO2012010220A2 (en) 2010-07-19 2012-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filling disocclusions in a virtual view
WO2012015889A1 (en) 2010-07-27 2012-02-02 Telcordia Technologies, Inc. Interactive projection and playback of relevant media segments onto facets of three-dimensional shapes
US20130170726A1 (en) 2010-09-24 2013-07-04 The Research Foundation Of State University Of New York Registration of scanned objects obtained from different orientations
US8913666B2 (en) 2010-10-01 2014-12-16 Qualcomm Incorporated Entropy coding coefficients using a joint context model
WO2012044709A1 (en) 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary padding in flexible partitioning
RU2010144450A (ru) 2010-10-29 2012-05-10 ЭлЭсАй Корпорейшн (US) Оценка движения для видео транскодера
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
JP5631229B2 (ja) 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US8780972B2 (en) 2011-02-25 2014-07-15 Blackberry Limited Methods and devices for data compression using offset-based adaptive reconstruction levels
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
CN102971770B (zh) 2011-03-31 2016-02-10 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法
US9071484B1 (en) 2011-04-05 2015-06-30 Elemental Technologies, Inc. Feedback optimized video coding parameters
US9360991B2 (en) 2011-04-11 2016-06-07 Microsoft Technology Licensing, Llc Three-dimensional icons for organizing, invoking, and using applications
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US9247266B2 (en) 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US9288500B2 (en) 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US20120309321A1 (en) 2011-05-31 2012-12-06 Broadcom Corporation Synchronized calibration for wireless communication devices
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US8964008B2 (en) 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US8484391B2 (en) 2011-06-20 2013-07-09 Intel Corporation Configurable buffer allocation for multi-format video processing
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US10484693B2 (en) 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
US9674521B2 (en) 2011-06-28 2017-06-06 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
US20130003858A1 (en) 2011-06-30 2013-01-03 Vivienne Sze Simplified Context Selection For Entropy Coding of Transform Coefficient Syntax Elements
JP2014525176A (ja) 2011-07-12 2014-09-25 インテル コーポレイション 輝度に基づく色度イントラ予測
US11245912B2 (en) 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
US8890863B1 (en) 2011-08-12 2014-11-18 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery
US8682091B2 (en) 2011-08-18 2014-03-25 International Business Machines Corporation Real-time image compression
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US20130051467A1 (en) 2011-08-31 2013-02-28 Apple Inc. Hybrid inter/intra prediction in video coding systems
WO2013034649A1 (en) 2011-09-09 2013-03-14 Panasonic Corporation Low complex deblocking filter decisions
US8988446B2 (en) 2011-10-07 2015-03-24 Zynga Inc. 2D animation from a 3D mesh
US8913656B2 (en) 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
WO2013057877A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US8504941B2 (en) 2011-10-31 2013-08-06 Utc Fire & Security Corporation Digital image magnification user interface
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US20130128986A1 (en) 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
US9723223B1 (en) 2011-12-02 2017-08-01 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with directional audio
US9516225B2 (en) 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
US9838687B1 (en) 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
WO2013102293A1 (en) 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9729870B2 (en) 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
BR112013027865B1 (pt) 2012-02-03 2023-03-21 Hfi Innovation Inc Método e aparelho de processamento de filtro em loop para pixels de fronteira através de uma fronteira de bloco
US9423994B2 (en) 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
US11164394B2 (en) 2012-02-24 2021-11-02 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
JP6222576B2 (ja) 2012-03-21 2017-11-01 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US20130251028A1 (en) 2012-03-22 2013-09-26 The Hong Kong University Of Science And Technology Video encoding and decoding with channel prediction and error correction capability
JPWO2013150838A1 (ja) 2012-04-05 2015-12-17 ソニー株式会社 画像処理装置及び画像処理方法
US9591312B2 (en) 2012-04-17 2017-03-07 Texas Instruments Incorporated Memory bandwidth reduction for motion compensation in video coding
US10721487B2 (en) 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9467653B2 (en) 2012-06-29 2016-10-11 Avaya Inc. System and method for aggressive downstream bandwidth conservation based on user inactivity
CN108933943B (zh) 2012-07-02 2020-12-25 太阳专利托管公司 图像编码方法及图像编码装置
US9264710B2 (en) 2012-07-06 2016-02-16 Texas Instruments Incorporated Method and system for video picture intra-prediction estimation
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
US9898829B2 (en) 2012-09-18 2018-02-20 Hanwha Techwin Co., Ltd. Monitoring apparatus and system using 3D information of images and monitoring method using the same
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
UA111797C2 (uk) 2012-09-27 2016-06-10 Долбі Лабораторіс Лайсензін Корпорейшн Обробка міжрівневого еталонного зображення для масштабованості стандартів кодування
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US20140368669A1 (en) 2012-10-04 2014-12-18 Google Inc. Gpu-accelerated background replacement
CN104704827B (zh) 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
US9253503B2 (en) 2012-12-18 2016-02-02 Xerox Corporation Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9639635B2 (en) 2013-01-02 2017-05-02 Embodee Corp Footwear digitization system and method
US20150358633A1 (en) 2013-01-17 2015-12-10 Samsung Electronics Co., Ltd. Method for encoding video for decoder setting and device therefor, and method for decoding video on basis of decoder setting and device therefor
US20140218356A1 (en) 2013-02-06 2014-08-07 Joshua D.I. Distler Method and apparatus for scaling images
CN104020935A (zh) 2013-02-28 2014-09-03 国际商业机器公司 用于控制显示屏上的显示对象的方法和装置
US9398302B2 (en) 2013-03-08 2016-07-19 Mediatek Inc. Image encoding method and apparatus with rate control by selecting target bit budget from pre-defined candidate bit budgets and related image decoding method and apparatus
JP6205000B2 (ja) 2013-03-11 2017-09-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 階層符号化を用いたマルチフォーマットハイダイナミックレンジビデオの配信
JP2014176034A (ja) 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US9013536B2 (en) 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US10205962B2 (en) 2013-03-15 2019-02-12 Raymond Zenkich System and method for non-uniform video coding
US9854252B2 (en) 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
AU2013206597A1 (en) 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement
CN105284114A (zh) 2013-07-07 2016-01-27 韦勒斯标准与技术协会公司 视频信号处理方法及装置
US9055186B2 (en) 2013-07-23 2015-06-09 Personify, Inc Systems and methods for integrating user personas with content during video conferencing
JP6091371B2 (ja) 2013-07-29 2017-03-08 ローランドディー．ジー．株式会社 スライスデータ作成装置、スライスデータ作成方法、プログラムおよびコンピューター読み取り可能な記録媒体
KR101657039B1 (ko) 2013-08-28 2016-09-12 가부시키가이샤 리코 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템
US20150089348A1 (en) 2013-09-23 2015-03-26 Yahoo! Inc. System and method for web page background image delivery
US9819941B2 (en) 2013-10-10 2017-11-14 Qualcomm Incorporated Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding
CA2931529C (en) 2013-11-27 2022-08-23 Children's National Medical Center 3d corrected imaging
CN104683801B (zh) 2013-11-29 2018-06-05 华为技术有限公司 图像压缩方法和装置
US10015527B1 (en) 2013-12-16 2018-07-03 Amazon Technologies, Inc. Panoramic video distribution and viewing
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
EP3092806A4 (en) 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150215631A1 (en) 2014-01-23 2015-07-30 Broadcom Corporation Parallel Coding with Overlapped Tiles
KR102149448B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
JP2015170994A (ja) 2014-03-07 2015-09-28 ソニー株式会社 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法
US10250895B2 (en) 2014-03-14 2019-04-02 Sharp Kabushiki Kaisha DPB capacity limits
GB2524249B (en) 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US9756354B2 (en) 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
US20150279075A1 (en) 2014-03-27 2015-10-01 Knockout Concepts, Llc Recording animation of rigid objects using a single 3d scanner
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
US9986154B2 (en) 2014-05-21 2018-05-29 Here Global B.V. Developing a panoramic image
US10104397B2 (en) 2014-05-28 2018-10-16 Mediatek Inc. Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method
CN106416239B (zh) 2014-05-29 2019-04-09 奈克斯特Vr股份有限公司 用于交付内容和/或回放内容的方法和装置
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US9596899B2 (en) 2014-06-09 2017-03-21 GroupeSTAHL Apparatuses and methods of interacting with 2D design documents and 3D models and generating production textures for wrapping artwork around portions of 3D objects
US10154286B2 (en) 2014-06-19 2018-12-11 Vid Scale, Inc. Systems and methods for model parameter optimization in three dimensional based color mapping
US9930341B2 (en) 2014-06-20 2018-03-27 Qualcomm Incorporated Block vector coding for intra block copying
WO2015197818A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN104156947B (zh) 2014-07-23 2018-03-16 小米科技有限责任公司 图像分割方法、装置及设备
CN105814880A (zh) 2014-07-28 2016-07-27 联发科技股份有限公司 具有自适应全景图像处理器的便携式设备
JP6642432B2 (ja) 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
CN106716985B (zh) 2014-09-08 2019-07-30 富士胶片株式会社 摄像控制装置、摄像控制方法、及相机***
GB2520822B (en) 2014-10-10 2016-01-13 Aveva Solutions Ltd Image rendering of laser scan data
US9917877B2 (en) 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
KR102309281B1 (ko) 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
US10104361B2 (en) 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US10237559B2 (en) 2014-11-20 2019-03-19 Getgo, Inc. Layer-based video decoding
EP3029937B1 (en) 2014-12-03 2016-11-16 Axis AB Method and encoder for video encoding of a sequence of frames
US9866815B2 (en) 2015-01-05 2018-01-09 Qualcomm Incorporated 3D object segmentation
CN104539962B (zh) 2015-01-20 2017-12-01 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
US10070130B2 (en) 2015-01-30 2018-09-04 Qualcomm Incorporated Flexible partitioning of prediction units
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
CN116962659A (zh) 2015-02-17 2023-10-27 纳维曼德资本有限责任公司 图像捕获和内容流送以及提供图像内容、编码视频的方法
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US20180048890A1 (en) 2015-03-02 2018-02-15 Lg Electronics Inc. Method and device for encoding and decoding video signal by using improved prediction filter
WO2016140082A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
US10412413B2 (en) 2015-03-05 2019-09-10 Sony Corporation Image processing device and image processing method
WO2016140083A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
JP5920507B1 (ja) 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US9232189B2 (en) 2015-03-18 2016-01-05 Avatar Merger Sub Ii, Llc. Background modification in video conferencing
US9754413B1 (en) 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
JP6501904B2 (ja) * 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
US9866752B2 (en) 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
GB2538998A (en) 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
CN115002458A (zh) 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备
WO2016195460A1 (ko) 2015-06-05 2016-12-08 한양대학교 산학협력단 화면 내 예측에 대한 부호화/복호화 방법 및 장치
KR20180006411A (ko) 2015-06-07 2018-01-17 엘지전자 주식회사 디블록킹 필터링을 수행하는 방법 및 장치
US10448015B2 (en) 2015-06-16 2019-10-15 Lg Electronics Inc. Method and device for performing adaptive filtering according to block boundary
CN107683605B (zh) 2015-06-24 2021-12-03 索尼公司 编码装置、解码装置和传输控制方法
JP6677098B2 (ja) 2015-07-01 2020-04-08 株式会社リコー 全天球動画の撮影システム、及びプログラム
CN107836116B (zh) 2015-07-08 2021-08-06 交互数字麦迪逊专利控股公司 用于使用交叉平面滤波的增强色度编码的方法和装置
US10713805B2 (en) 2015-07-31 2020-07-14 Versitech Limited Depth discontinuity-based method for efficient intra coding for depth videos
US20170038942A1 (en) 2015-08-07 2017-02-09 Vrideo Playback initialization tool for panoramic videos
US9277122B1 (en) 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US20170054907A1 (en) 2015-08-21 2017-02-23 Yoshito NISHIHARA Safety equipment, image communication system, method for controlling light emission, and non-transitory recording medium
US9967577B2 (en) 2015-08-31 2018-05-08 Microsoft Technology Licensing, Llc Acceleration interface for video decoding
CN108141600A (zh) 2015-09-01 2018-06-08 瑞典爱立信有限公司 变换块的空间改进
US10491711B2 (en) 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
US9781350B2 (en) 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
US20170104927A1 (en) 2015-10-07 2017-04-13 Little Star Media, Inc. Systems, methods and software programs for 360 degree video distribution platforms
US20170026659A1 (en) 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US10152825B2 (en) 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
GB2543766B (en) 2015-10-26 2018-02-14 Advanced Risc Mach Ltd Graphics processing systems
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US9948893B2 (en) 2015-11-18 2018-04-17 Avaya Inc. Background replacement based on attribute of remote user or endpoint
WO2017086747A1 (ko) 2015-11-20 2017-05-26 한국전자통신연구원 기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치
CN108293110B (zh) 2015-11-23 2022-07-05 韩国电子通信研究院 多视点视频编码/解码方法
US10977764B2 (en) * 2015-12-29 2021-04-13 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US20170200315A1 (en) 2016-01-07 2017-07-13 Brendan Lockhart Live stereoscopic panoramic virtual reality streaming system
US10282814B2 (en) 2016-01-07 2019-05-07 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
WO2017127816A1 (en) 2016-01-22 2017-07-27 Ziyu Wen Omnidirectional video encoding and streaming
US20170214937A1 (en) 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
JP6665558B2 (ja) 2016-01-29 2020-03-13 株式会社リコー 画像管理システム、画像管理方法、画像通信システム及びプログラム
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US20170230668A1 (en) 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
US10728546B2 (en) 2016-02-05 2020-07-28 Apple Inc. Sample adaptive offset systems and methods
US10509954B2 (en) 2016-02-10 2019-12-17 Intel Corporation Method and system of image segmentation refinement for image processing
US10147224B2 (en) 2016-02-16 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for generating omni media texture mapping metadata
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10484621B2 (en) 2016-02-29 2019-11-19 Gopro, Inc. Systems and methods for compressing video content
US20170272758A1 (en) 2016-03-16 2017-09-21 Mediatek Inc. Video encoding method and apparatus using independent partition coding and associated video decoding method and apparatus
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
FI20165256A (fi) 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
WO2017168949A1 (ja) 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、撮像装置、画像再生装置、および方法とプログラム
US9990775B2 (en) 2016-03-31 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content
US10275928B2 (en) 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US10645362B2 (en) 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
US9940697B2 (en) 2016-04-15 2018-04-10 Gopro, Inc. Systems and methods for combined pipeline processing of panoramic images
US20170302714A1 (en) 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
US10685542B2 (en) 2016-04-26 2020-06-16 Sensormatic Electronics, LLC System and method for monitoring a premises based on parsed codec data
KR20170124811A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR20170124814A (ko) 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
WO2017190288A1 (en) 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
US10249019B2 (en) 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
US10602191B2 (en) 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
JP6977720B2 (ja) 2016-05-13 2021-12-08 ソニーグループ株式会社 生成装置および生成方法、並びに、再生装置および再生方法
GB2550372B (en) 2016-05-17 2022-01-19 Nctech Ltd Imaging system having multiple imaging sensors and an associated method of operation
US10848668B2 (en) 2016-05-19 2020-11-24 Avago Technologies International Sales Pte. Limited 360 degree video recording and playback with object tracking
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10681326B2 (en) 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
US10582201B2 (en) 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10979691B2 (en) 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
US10565463B2 (en) 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
CN105959702B (zh) * 2016-05-30 2019-03-22 北京奇艺世纪科技有限公司 一种球面视频编码方法和装置
US20170353737A1 (en) 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
CN105915907B (zh) * 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及***
US11025933B2 (en) 2016-06-09 2021-06-01 Apple Inc. Dynamic video configurations
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
WO2017217411A1 (ja) 2016-06-17 2017-12-21 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
JP6780315B2 (ja) 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
US10277914B2 (en) 2016-06-23 2019-04-30 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
US10297086B2 (en) 2016-07-04 2019-05-21 Liquid Cinema Inc. System and method for processing digital video
US10460501B2 (en) 2016-07-04 2019-10-29 Liquid Cinema Inc., Canada System and method for processing digital video
WO2018009746A1 (en) 2016-07-08 2018-01-11 Vid Scale, Inc. 360-degree video coding using geometry projection
US10375371B2 (en) 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
US20180020238A1 (en) 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
US20180018807A1 (en) 2016-07-15 2018-01-18 Aspeed Technology Inc. Method and apparatus for generating panoramic image with texture mapping
US10148939B2 (en) 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US10339688B2 (en) 2016-07-28 2019-07-02 Cyberlink Corp. Systems and methods for rendering effects in 360 video
CN106162139B (zh) * 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
US10055882B2 (en) 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
KR102567002B1 (ko) 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US11240495B2 (en) 2016-08-21 2022-02-01 Lg Electronics Inc. Image coding/decoding method and apparatus therefor
US20180054613A1 (en) 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
KR102264028B1 (ko) 2016-08-25 2021-06-11 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
CN109691094B (zh) 2016-08-25 2021-10-22 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
KR20180028782A (ko) 2016-09-09 2018-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
US20180075576A1 (en) 2016-09-09 2018-03-15 Mediatek Inc. Packing projected omnidirectional videos
KR20180029315A (ko) 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
KR102545195B1 (ko) 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
KR102560029B1 (ko) 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10313686B2 (en) 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US20180091812A1 (en) 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
CN107888928B (zh) * 2016-09-30 2020-02-14 华为技术有限公司 运动补偿预测方法和设备
CN117354515A (zh) 2016-10-04 2024-01-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
CN113873261B (zh) 2016-10-04 2022-12-27 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
US20180098090A1 (en) 2016-10-04 2018-04-05 Mediatek Inc. Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
EP3800891A1 (en) 2016-10-04 2021-04-07 Ki Baek Kim Image data encoding/decoding method and apparatus
CN116915984A (zh) 2016-10-04 2023-10-20 Lx 半导体科技有限公司 图像编码/解码方法和发送方法
US20190238888A1 (en) 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10652284B2 (en) 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
US20180109810A1 (en) 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US20180130264A1 (en) 2016-11-04 2018-05-10 Arnoovo Inc. Virtual reality editor
KR20180051288A (ko) 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN108111851B (zh) 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
KR20180060236A (ko) 2016-11-28 2018-06-07 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US11503286B2 (en) 2016-11-28 2022-11-15 Electronics And Telecommunications Research Institute Method and device for filtering
US10244200B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
US20180167634A1 (en) 2016-12-09 2018-06-14 Nokia Technologies Oy Method and an apparatus and a computer program product for video encoding and decoding
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
US9996945B1 (en) 2016-12-12 2018-06-12 Fyusion, Inc. Live augmented reality guides
US10620441B2 (en) 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US10242714B2 (en) 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
US20180176468A1 (en) 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
KR20180071012A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
JP2018107500A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US20180184101A1 (en) 2016-12-23 2018-06-28 Apple Inc. Coding Mode Selection For Predictive Video Coder/Decoder Systems In Low-Latency Communication Environments
US10277897B1 (en) 2017-01-03 2019-04-30 Google Llc Signaling in-loop restoration filters for video coding
US20180192074A1 (en) 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
JP6756269B2 (ja) 2017-01-05 2020-09-16 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
US10536721B2 (en) 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10313664B2 (en) 2017-01-11 2019-06-04 Qualcomm Incorporated Adjusting field of view of truncated square pyramid projection for 360-degree video
US10104288B2 (en) 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US20180242016A1 (en) 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
WO2018156243A1 (en) 2017-02-22 2018-08-30 Twitter, Inc. Transcoding video
US20180240276A1 (en) 2017-02-23 2018-08-23 Vid Scale, Inc. Methods and apparatus for personalized virtual reality media interface design
CN108470379B (zh) 2017-02-23 2021-12-07 株式会社理光 三维图像融合方法和装置
CN108513119A (zh) 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11172208B2 (en) 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming
CN108537721B (zh) 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
KR101808327B1 (ko) 2017-03-08 2017-12-13 광운대학교 산학협력단 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
US10681271B2 (en) 2017-03-15 2020-06-09 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
US10643301B2 (en) 2017-03-20 2020-05-05 Qualcomm Incorporated Adaptive perturbed cube map projection
WO2018174617A1 (ko) 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
CN117395394A (zh) 2017-03-22 2024-01-12 韩国电子通信研究院 使用参考块的预测方法和装置
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US10839480B2 (en) 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US11532128B2 (en) 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
WO2018178507A1 (en) 2017-03-27 2018-10-04 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
TWI832814B (zh) 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
KR20200005539A (ko) 2017-04-11 2020-01-15 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10567768B2 (en) 2017-04-14 2020-02-18 Apple Inc. Techniques for calculation of quantization matrices in video coding
WO2018194273A1 (en) 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method
WO2018199701A1 (en) 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
KR102628508B1 (ko) 2017-05-04 2024-01-24 한국전자통신연구원 영상 처리 장치 및 방법
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
JP6919334B2 (ja) 2017-05-26 2021-08-18 株式会社リコー 画像処理装置、画像処理方法、プログラム
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10873763B2 (en) 2017-06-02 2020-12-22 Apple Inc. Video compression techniques for high dynamic range data
US10200687B2 (en) 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US10199074B2 (en) 2017-06-02 2019-02-05 Apple Inc. Techniques for selecting frames for decode in media player
US10212456B2 (en) 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video
US10321109B1 (en) 2017-06-13 2019-06-11 Vulcan Inc. Large volume video data transfer over limited capacity bus
US10778993B2 (en) 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
EP3422724B1 (en) 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US10764582B2 (en) 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
US10523913B2 (en) 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
CN116320399A (zh) 2017-07-03 2023-06-23 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
US10484682B2 (en) 2017-07-03 2019-11-19 Qualcomm Incorporated Reference picture derivation and motion compensation for 360-degree video coding
WO2019009448A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
JP6721631B2 (ja) 2017-07-07 2020-07-15 ノキア テクノロジーズ オーユー ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
US10701263B2 (en) 2017-07-18 2020-06-30 Ricoh Company, Ltd. Browsing system, image distribution apparatus, and image distribution method
US20190045212A1 (en) 2017-08-07 2019-02-07 The Regents Of The University Of California METHOD AND APPARATUS FOR PREDICTIVE CODING OF 360º VIDEO
CN108520232B (zh) 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
EP3451670A1 (en) 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
US10623744B2 (en) 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
US10102611B1 (en) 2017-10-16 2018-10-16 Xplorit Llc Interconnected 360 video virtual travel
JP7031228B2 (ja) 2017-10-26 2022-03-08 株式会社リコー プログラム、画像表示方法、画像表示システム、情報処理装置
US10574997B2 (en) 2017-10-27 2020-02-25 Apple Inc. Noise level control in video coding
US10334222B2 (en) 2017-11-20 2019-06-25 Adobe Inc. Focus-based video loop switching
US10652578B2 (en) 2018-02-05 2020-05-12 Apple Inc. Processing of multi-directional images in spatially-ordered video coding applications
US11212438B2 (en) 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
US10771781B2 (en) 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
KR20190107944A (ko) 2018-03-13 2019-09-23 삼성전자주식회사 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10986371B2 (en) 2018-03-22 2021-04-20 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
US10573060B1 (en) 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US20190387251A1 (en) 2018-06-19 2019-12-19 Mediatek Inc. Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
KR102154407B1 (ko) 2018-11-15 2020-09-09 한국전자기술연구원 타일 기반 스트리밍을 위한 모션 제한 av1 영상 부호화 방법 및 장치
US20200213570A1 (en) 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout

Also Published As

Publication number Publication date
US20210321133A1 (en) 2021-10-14
US11818394B2 (en) 2023-11-14
CN110115037B (zh) 2023-03-28
US20180184121A1 (en) 2018-06-28
CN110115037A (zh) 2019-08-09
US10999602B2 (en) 2021-05-04
WO2018118159A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN110115037B (zh) 球面投影运动估计/补偿和模式决策
CN110313181B (zh) 用于多视图视频的视频编码技术
US10992919B2 (en) Packed image format for multi-directional video
CN110268716B (zh) 由球面投影处理等量矩形对象数据以补偿畸变
US11831917B1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US20190005709A1 (en) Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) Adaptive resolution and projection format in multi-direction video
US10652578B2 (en) Processing of multi-directional images in spatially-ordered video coding applications
US20230051412A1 (en) Motion vector prediction for video coding
US11218725B2 (en) Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination