CN110383842B - 一种视频处理方法和装置 - Google Patents

一种视频处理方法和装置 Download PDF

Info

Publication number
CN110383842B
CN110383842B CN201880015955.0A CN201880015955A CN110383842B CN 110383842 B CN110383842 B CN 110383842B CN 201880015955 A CN201880015955 A CN 201880015955A CN 110383842 B CN110383842 B CN 110383842B
Authority
CN
China
Prior art keywords
projection
projection surface
edge
layout
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880015955.0A
Other languages
English (en)
Other versions
CN110383842A (zh
Inventor
李亚璇
李佳盈
林鸿志
林建良
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110383842A publication Critical patent/CN110383842A/zh
Application granted granted Critical
Publication of CN110383842B publication Critical patent/CN110383842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Projection Apparatus (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种视频处理方法，包括：接收对应于球体的全向内容；从该球体的该全向内容中获得多个投影面；以及透过生成至少一个填充区域并将该多个投影面和该至少一个填充区域堆栈到360度虚拟实境投影布局中，创建基于投影的图框。堆栈在该360度虚拟实境投影布局中的该多个投影面包括第一投影面和第二投影面，其中如果该第一投影面的一个边连接于该第二投影面的一个边，则在该第一投影面的该一个边与该第二投影面的一个边之间存在图像内容不连续边缘。堆栈在该360度虚拟实境投影布局中的该至少一个填充区域包括第一填充区域，其中该第一填充区域连接于该第一投影面的一个边和该第二投影面的一个边，以用于在该360度虚拟实境投影布局中将该第一投影面的一个边与该第二投影面的一个边隔离。

Description

一种视频处理方法和装置
相关引用
本发明主张在2017年03月13日提出的第62/470,425号的美国临时专利申请的优先权，该申请案以引用的方式并入本文。
技术领域
本发明涉及处理全向图像/视频内容，且更具体而言，涉及生成和编码包括堆栈(packed)在360度虚拟实境(360-degree virtual reality，360VR)投影布局中的至少一个填充区域和至少一个投影面的基于投影的图框的方法及装置。
背景技术
具有头戴式显示(head-mounted display，HMD)的VR与不同的应用相关。向用户显示较宽区域的观看内容的能力可以用于提供身临其境的视觉体验。必须在所有方向撷取现实世界环境，以得到对应于球体的全向图像/视频内容。随着摄像机设备和HMD的发展，由于呈现这种360度图像/视频内容所需的高比特率，所以VR内容的传送可能很快变成瓶颈。当全向视频的分辨率是4k或者更高时，数据压缩/编码对降低比特率是至关重要的。
通常，对应于球体的全向图像/视频内容被转换成图像序列，每个图像是具有由排列在360VR投影布局中的一个或多个投影面所表示的360度图像/视频内容的基于投影的图框，随后，基于投影的图框的序列被编码成比特流以用于传输。如果所采用的360VR投影布局设计不合理，则基于投影的图框可能不紧凑和/或具有由投影面的堆栈引起的很多图像内容不连续边缘(image content continuity edge)。另外，压缩之后的基于投影的图框的边界(boundary)和/或图像内容不连续边缘的图像质量可能较差。
发明内容
所要求保护的本发明的目的之一在于，提供一种生成和编码包括堆栈在360度虚拟实境投影布局中的至少一个填充区域和至少一个投影面的基于投影的图框。用360度虚拟实境投影布局的适当的填充设计，基于投影的图框可以在压缩后具有更好的图像质量。
根据本发明的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收对应于球体的全向内容；从球体的全向内容中获得多个投影面，其中球体的全向内容透过360度虚拟实境投影被映像到多个投影面；以及转换电路透过生成至少一个填充区域并将多个投影面和至少一个填充区域堆栈到360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在360度虚拟实境投影布局中的多个投影面包括第一投影面和第二投影面，其中如果第一投影面的一个边连接于第二投影面的一个边，则在第一投影面的一个边与第二投影面的一个边之间存在图像内容不连续边缘；堆栈在360度虚拟实境投影布局中的至少一个填充区域包括第一填充区域，其中第一填充区域连接于第一投影面的一个边和第二投影面的一个边，以用于在360度虚拟实境投影布局中将第一投影面的一个边与第二投影面的一个边隔离。
根据本发明的第二方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收对应于球体的全向内容；从球体的全向内容中获得至少一个投影面，其中球体的全向内容透过360度虚拟实境投影被映像到至少一个投影面；以及转换电路透过生成至少一个填充区域并将至少一个投影面和至少一个填充区域堆栈在360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在360度虚拟实境投影布局中的至少一个投影面包括第一投影面；堆栈在360度虚拟实境投影布局中的至少一个填充区域包括第一填充区域；第一填充区域连接于第一投影面，并形成360度虚拟实境投影布局的一个边界的至少部分。
根据本发明的第三方面，公开了一种示例性视频处理装置。该示例性视频处理装置包括转换电路和视频编码器。转换电路用于：接收对应于球体的全向内容；从球体的全向内容中获得多个投影面，其中球体的全向内容透过360度虚拟实境投影被映像到多个投影面；以及转换电路透过生成至少一个填充区域并将多个投影面和至少一个填充区域堆栈到360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在360度虚拟实境投影布局中的多个投影面包括第一投影面和第二投影面，其中如果第一投影面的一个边连接于第二投影面的一个边，则在第一投影面的一个边与第二投影面的一个边之间存在图像内容不连续边缘；堆栈在360度虚拟实境投影布局中的至少一个填充区域包括第一填充区域，其中第一填充区域连接于第一投影面的一个边和第二投影面的一个边，以用于在360度虚拟实境投影布局中将第一投影面的一个边与第二投影面的一个边隔离。视频编码器用于编码具有堆栈在360度虚拟实境投影布局中的多个投影面和至少一个填充区域的基于投影的图框，以生成比特流的一部分。
根据本发明的第四方面，公开了一种示例性视频处理装置。该示例性视频处理装置包括转换电路和视频编码器。转换电路用于：接收对应于球体的全向内容；从球体的全向内容中获得至少一个投影面，其中球体的全向内容透过360度虚拟实境投影被映像到至少一个投影面；以及透过生成至少一个填充区域并将至少一个投影面和至少一个填充区域堆栈在360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在360度虚拟实境投影布局中的至少一个投影面包括第一投影面；堆栈在360度虚拟实境投影布局中的至少一个填充区域包括第一填充区域；第一填充区域连接于第一投影面，并形成360度虚拟实境投影布局的一个边界的至少部分。视频编码器用于编码具有堆栈在360度虚拟实境投影布局中的至少一个投影面和至少一个填充区域的基于投影的图框，以生成比特流的一部分。
在阅读以下对各图及图式中所例示的优选实施例的详细说明之后，本发明的这些及其它目标无疑将对所属技术领域的技术人员显而易见。
附图说明
图1是示出根据本发明实施例的360度虚拟实境***的示意图。
图2是示出根据未旋转八面体从球体的八面体投影而获得的八面体投影格式的三角形投影面的示意图。
图3是示出根据本发明实施例的第一紧凑八面体投影布局的示意图。
图4是示出根据已旋转八面体从球体的八面体投影而获得的八面体投影格式的三角形投影面的示意图。
图5是示出根据本发明实施例的第二紧凑八面体投影布局的示意图。
图6是示出根据本发明实施例的具有填充的第一紧凑八面体投影布局的示意图。
图7是示出根据本发明实施例的具有填充的第二紧凑八面体投影布局的示意图。
图8是示出由图1中所示的填充电路所执行的插值的示例。
图9是示出由图1中所示的填充电路所执行的几何填充的示例。
图10是根据本发明实施例的具有填充的紧凑正六面体映射投影布局的示意图。
图11是示出根据本发明实施例的具有填充的第三紧凑八面体投影布局的示意图。
图12是示出根据本发明实施例的具有填充的第一ERP/EAP布局的示意图。
图13是示出根据本发明实施例的具有填充的第二ERP/EAP布局的示意图。
图14是示出根据本发明实施例的具有填充的第三ERP/EAP布局的示意图。
图15是示出根据本发明实施例的具有填充的八面体投影布局的示意图。
图16是示出根据本发明实施例的具有填充的正六面体映射(cubemap)投影布局的示意图。
图17是示出根据本发明实施例的具有填充的第四紧凑八面体投影布局的示意图。
图18是示出根据本发明实施例的具有填充的紧凑正六面体映射投影布局的示意图。
具体实施方式
本说明书及专利申请范围通篇中所用的某些用语指代特定组件。如所属技术领域的技术人员可以理解的是，电子设备制造商可利用不同名称来指代同一个组件。本文并非以名称来区分部件，而是以功能来区分部件。在以下说明书及专利申请范围中，用语“包括”是开放式的限定符语，因此其应被解释为意指“包括但不限于…”。另外，用语“耦合”旨在意指间接电连接或直接电连接。因此，当一个装置耦合到另一装置时，则这种连接可以是直接电连接或透过其他装置及连接部而实现的间接电连接。
图1是示出根据本发明实施例的360度虚拟实境***的示意图。360VR***100包括两个视频处理装置(例如源电子设备102和目标电子设备104)。源电子设备102包括视频捕获设备112、转换电路114和视频编码器116。例如，视频捕获设备112可以是摄像机的集合，其用于提供对应于球体的全向图像/视频内容(例如，覆盖整个周围环境的多个图像)S_IN。转换电路114耦接于视频捕获设备112与视频编码器116之间。转换电路114根据全向图像/视频内容S_IN，生成具有360VR投影布局L_VR的基于投影的图框IMG。例如，基于投影的图框IMG可以是包括在从转换电路114生成的基于投影的图框序列中的一个图框。视频编码器116是编码电路，其用于编码/压缩基于投影的图框IMG，以生成比特流BS的一部分。另外，视频编码器116透过传输装置103将比特流BS输出到目标电子设备104。例如，基于投影的图框序列可以被编码到比特流BS中，并且传输装置103可以是有线/无线通信链路或者存储介质。
目标电子设备104可以是头戴式显示(head-mounted display，HMD)设备。如图1所示，目标电子设备104包括解码电路122、图像渲染电路124和显示屏幕126。解码电路122从传输装置103(例如，有线/无线通信链路或者存储介质)接收比特流BS，并执行视频解码器功能以解码接收到的比特流BS的一部分，以生成已解码图框IMG’。例如，解码电路122透过解码接收到的比特流BS，生成已解码图框序列，其中已解码图框IMG’是包括在已解码图框序列中的一个图框。在本实施例中，待由在编码器侧的视频编码器116编码的基于投影的图框IMG具有360VR投影格式与投影布局。因此，在解码器侧处，比特流BS由解码电路122解码之后，已解码图框IMG’具有相同的360VR投影格式和相同的投影布局。图像渲染电路124耦接于解码电路122和显示屏幕126之间。图像渲染电路124根据已解码图框IMG’在显示屏幕126上渲染并显示输出图像数据。例如，与由已解码图框IMG’所承载的360度图像/视频内容的一部分相关的视端口区域可以透过图像渲染电路124在显示屏幕126上进行显示。
如上所述，转换电路114根据360VR投影布局L_VR和全向图像/视频内容S_IN，生成基于投影的图框IMG。如果360VR投影布局L_VR是没有填充的紧凑投影布局，则投影面的堆栈可能导致相邻投影面之间的图像内容不连续边缘。
图2是示出根据未旋转八面体从球体的八面体投影而获得的八面体投影格式的三角形投影面的示意图。球体202的全向图像/视频内容被映像到未旋转八面体204的八个三角形投影面(由参考数字“1”,“2”,“3”,“4”,“5”,“6”,“7”和“8”标记)。如图2所示，三角形投影面“1”-三角形投影面“8”被排列在八面体投影布局206中。三角形投影面“1”-三角形投影面“8”中的每个的形状是等边三角形。对于三角形投影面“K”(K＝1-8)，该面有三个边(side)，其被标记为SK1、SK2和SK3。球体202由顶部半球体(例如，北半球)和底部半球体(例如，南半球)组成。由于基于未旋转八面体204的八面体投影，所以三角形投影面“1”、三角形投影面“2”、三角形投影面“3”和三角形投影面“4”均从顶部半球体推导出，三角形投影面“5”、三角形投影面“6”、三角形投影面“7”和三角形投影面“8”均从底部半球体推导出，并且，如图2中的虚线所示，球体202的赤道208沿着三角形投影面“1”-三角形投影面“8”的边S13、边S23、边S33、边S43、边S53、边S63、边S73和边S83进行映射。
待编码的基于投影的图框IMG被要求是矩形。如果八面体投影布局206直接用于创建基于投影的图框IMG，那么由于基于投影的图框IMG中所填充的很多空区域(dummy area)(例如，黑色区域、灰色区域或者白色区域)，基于投影的图框IMG就不能具有紧凑图框布局。因此，需要可以避免使用空区域(例如，黑色区域、灰色区域或者白色区域)的紧凑八面体投影布局。
请结合参考图2和图3。图3是示出根据本发明实施例的第一紧凑八面体投影布局的示意图。如图3中的虚线所示，球体202的赤道208沿着三角形投影面“1”-三角形投影面“8”的边进行映射。紧凑八面体投影布局310是采用三角形投影面旋转和三角形投影面分割来从八面体投影布局206推导出的。如图3的中间部分所示，八面体投影布局206中的三角形投影面“1”被顺时针旋转60°，八面体投影布局206中的三角形投影面“3”被逆时针旋转60°，八面体投影布局206中的三角形投影面“5”被逆时针旋转60°，八面体投影布局206中的三角形投影面“7”被顺时针旋转60°。因此，三角形投影面“2”的边S21连接于三角形投影面“1”的边S12，三角形投影面“2”的边S22连接于三角形投影面“3”的边S31，三角形投影面“6”的边S62连接于三角形投影面“5”的边S51，三角形投影面“6”的边S61连接于三角形投影面“7”的边S72。
如图3的中间部分所示，图像内容连续边界存在于三角形投影面“2”的边S21与三角形投影面“1”的边S12之间(即在三角形投影面“1”和三角形投影面“2”中内容是连续表示的)，图像内容连续边界存在于三角形投影面“2”的边S22与三角形投影面“3”的边S31之间(即在三角形投影面“2”和三角形投影面“3”中内容是连续表示的)，图像内容连续边界存在于三角形投影面“2”的边S23与三角形投影面“6”的边S63之间(即在三角形投影面“2”和三角形投影面“6”中内容是连续表示的)，图像内容连续边界存在于三角形投影面“6”的边S62与三角形投影面“5”的边S51之间(即在三角形投影面“5”和三角形投影面“6”中内容是连续表示的)，以及图像内容连续边界存在于三角形投影面“6”的边S61与三角形投影面“7”的边S72之间(即在三角形投影面“6”和三角形投影面“7”中内容是连续表示的)。
另外，八面体投影布局206中的三角形投影面“8”被分割成两个直角三角形状部分(right-triangle-shaped part)，即302和304，并且，八面体投影布局206中的三角形投影面“4”被分割成两个直角三角形状部分，即306和308。如图3的底部部分所示，三角形投影面“8”的直角三角形状部分304和三角形投影面“4”的直角三角形状部分308分别连接到三角形投影面“7”和三角形投影面“3”；以及三角形投影面“8”的直角三角形状部分302和三角形投影面“4”的直角三角形状部分306分别被重新定位且连接到三角形投影面“5”和三角形投影面“1”。
三角形投影面“8”的直角三角形状部分302具有三个边，即S811、S812和S83_1，其中边S811是三角形投影面“8”的边S81，边S83_1是三角形投影面“8”的边S83的第一部分。三角形投影面“8”的直角三角形状部分304具有三个边，即S821、S822和S83_2，其中边S821是三角形投影面“8”的边S82，边S83_2是三角形投影面“8”的边S83的第二部分。
三角形投影面“4”的直角三角形状部分306具有三个边，即S421、S422和S43_1，其中边S421是三角形投影面“4”的边S42，边S43_1是三角形投影面“4”的边S43的第一部分。三角形投影面“4”的直角三角形状部分308具有三个边，即S411、S412和S43_2，其中边S411是三角形投影面“4”的边S41，边S43_2是三角形投影面“4”的边S43的第二部分。
根据紧凑八面体投影布局310，三角形投影面“8”的直角三角形状部分304的边S821连接于三角形投影面“7”的边S73，三角形投影面“8”的直角三角形状部分304的边S83_2连接于三角形投影面“4”的直角三角形状部分308的边S43_2，三角形投影面“4”的直角三角形状部分308的边S411连接于三角形投影面“3”的边S33，三角形投影面“8”的直角三角形状部分302的边S811连接于三角形投影面“5”的边S53，三角形投影面“8”的直角三角形状部分302的边S83_1连接于三角形投影面“4”的直角三角形状部分306的边S43_1，三角形投影面“4”的直角三角形状部分306的边S421连接于三角形投影面“1”的边S13。
图像内容连续边界存在于三角形投影面“8”的直角三角形状部分304的边S83_2与三角形投影面“4”的直角三角形状部分308的边S43_2之间。图像内容连续边界存在于三角形投影面“8”的直角三角形状部分302的边S83_1与三角形投影面“4”的直角三角形状部分306的边S43_1之间。也就是说，在三角形投影面“4”和三角形投影面“8”中内容是连续表示的。此外，图像内容不连续边缘存在于三角形投影面“8”的直角三角形状部分304的边S821与三角形投影面“7”的边S73之间，图像内容不连续边缘存在于三角形投影面“4”的直角三角形状部分308的边S411与三角形投影面“3”的边S33之间，图像内容不连续边缘存在于三角形投影面“8”的直角三角形状部分302的边S811与三角形投影面“5”的边S53之间，图像内容不连续边缘存在于三角形投影面“4”的直角三角形状部分306的边S421与三角形投影面“1”的边S13之间。
如图3的底部部分所示，由紧凑八面体投影布局310设置的360VR投影布局L_VR是没有任何空区域(例如黑色区域或白色区域)的矩形。另外，360度图像/视频内容的一部分在三角形投影面“1”、三角形投影面“2”、三角形投影面“3”、三角形投影面“5”、三角形投影面“6”、三角形投影面“7”中是连续表示的，而没有图像内容不连续。然而，不可避免地，一些图像内容不连续边缘仍然存在于紧凑八面体投影布局310中。因此，如果360VR投影布局L_VR由紧凑八面体投影布局310来设置，则压缩之后的图像内容不连续边缘附近的图像质量可能比较差。
当图2中所示的三角形投影面“1”-三角形投影面“8”被重新排列且堆栈在紧凑八面体投影布局310中时，一些三角形投影面必须被分割且重新定位，从而导致基于投影的图框IMG中的赤道208的图像内容不连续。通常，球体202的顶部区域和底部区域通常分别表示“天空”和“大地”，周围环境中的移动物体大部分位于球体202的赤道208处。如果表示在基于投影的图框IMG中的赤道208具有图像不连续，则编码效率和图像质量会显著下降。如果球体202的赤道208沿着三角形投影面的中间或者除了三角形投影面的边之外的任何位置进行映像，则编码效率和图像质量可以被提高。
图4是示出根据已旋转八面体从球体的八面体投影而获得的八面体投影格式的三角形投影面的示意图。球体202的全向图像/视频内容被映像到已旋转八面体404的八个三角形投影面(由参考编号“1”,“2”,“3”,“4”,“5”,“6”,“7”和“8”标记)上。图4中所示的已旋转八面体404可以透过将90度旋转应用到八面体204上来获得。如图4所示，三角形投影面“1”-三角形投影面“8”被堆栈在八面体投影布局406中。三角形投影面“1”-三角形投影面“8”中的每个的形状是等边三角形。对于三角形投影面“K”(K＝1-8)，该面有三个边(side)，其被标记为SK1、SK2和SK3。球体202由左半球体和右半球体组成。三角形投影面“1”、三角形投影面“2”、三角形投影面“3”和三角形投影面“4”均从右半球体推导出，三角形投影面“5”、三角形投影面“6”、三角形投影面“7”和三角形投影面“8”均从左半球体推导出。由于已旋转八面体404上的八面体投影，球体202的赤道208不沿着每个三角形投影面的任何边进行映射。在本实施例中，如图4中的虚线所示，球体202的赤道208沿着三角形投影面“2”、三角形投影面“4”、三角形投影面“6”和三角形投影面“8”的中间进行映射。如上所述，待编码的基于投影的图框IMG被要求是矩形。因此，紧凑八面体投影布局应该由基于投影的图框IMG来使用。
请结合参考图4和图5。图5是示出根据本发明实施例的第二紧凑八面体投影布局的示意图。如图5中的虚线所示，球体202的赤道208沿着三角形投影面“2”、三角形投影面“4”、三角形投影面“6”和三角形投影面“8”的中间进行映射。紧凑八面体投影布局510是从具有三角形投影面旋转和三角形投影面分割的八面体投影布局406中推导出的。如图5的中间部分所示，八面体投影布局406中的三角形投影面“7”被顺时针旋转60°，八面体投影布局406中的三角形投影面“5”被逆时针旋转60°，八面体投影布局406中的三角形投影面“3”被逆时针旋转60°，八面体投影布局406中的三角形投影面“1”被顺时针旋转60°。因此，三角形投影面“7”的边S72连接于三角形投影面“6”的边S61，三角形投影面“5”的边S51连接于三角形投影面“6”的边S62，三角形投影面“3”的边S31连接于三角形投影面“2”的边S22，三角形投影面“1”的边S12连接于三角形投影面“2”的边S21。
如图5的中间部分所示，图像内容连续边界存在于三角形投影面“7”的边S72与三角形投影面“6”的边S61之间(即在三角形投影面“6”和三角形投影面“7”中内容是连续表示的)，图像内容连续边界存在于三角形投影面“5”的边S51与三角形投影面“6”的边S62之间(即在三角形投影面“5”和三角形投影面“6”中内容是连续表示的)，图像内容连续边界存在于三角形投影面“3”的边S31与三角形投影面“2”的边S22之间(即在三角形投影面“3”和三角形投影面“2”中内容是连续表示的)，图像内容连续边界存在于三角形投影面“1”的边S12与三角形投影面“2”的边S21之间(即在三角形投影面“1”和三角形投影面“2”中内容是连续表示的)，以及图像内容连续边界存在于三角形投影面“2”的边S23与三角形投影面“6”的边S63之间(即在三角形投影面“2”和三角形投影面“6”中内容是连续表示的)。
另外，八面体投影布局406中的三角形投影面“4”被分割成两个直角三角形状部分，即502和504，并且，八面体投影布局406中的三角形投影面“8”被分割成两个直角三角形状部分，即506和508。如图5的右侧部分所示，三角形投影面“4”的直角三角形状部分504和三角形投影面“8”的直角三角形状部分508分别连接到三角形投影面“1”和三角形投影面“5”；以及三角形投影面“4”的直角三角形状部分502和三角形投影面“8”的直角三角形状部分506分别被重新定位且连接到三角形投影面“3”和三角形投影面“7”。
三角形投影面“4”的直角三角形状部分502具有三个边，即S411、S412和S43_1，其中边S411是三角形投影面“4”的边S41，边S43_1是三角形投影面“4”的边S43的第一部分。三角形投影面“4”的直角三角形状部分504具有三个边，即S421,S422和S43_2，其中边S421是三角形投影面“4”的边S42，边S43_2是三角形投影面“4”的边S43的第二部分。
三角形投影面“8”的直角三角形状部分506具有三个边，即S821、S822和S83_1，其中边S821是三角形投影面“8”的边S82，边S83_1是三角形投影面“8”的边S83的第一部分。三角形投影面“8”的直角三角形状部分508具有三个边，即S811、S812和S83_2，其中边S811是三角形投影面“8”的边S81，边S83_2是三角形投影面“8”的边S83的第二部分。
根据紧凑八面体投影布局510，三角形投影面“4”的直角三角形状部分504的边S421连接于三角形投影面“1”的边S13，三角形投影面“1”的直角三角形状部分504的边S43_2连接于三角形投影面“8”的直角三角形状部分508的边S83_2，三角形投影面“8”的直角三角形状部分508的边S811连接于三角形投影面“5”的边S53，三角形投影面“4”的直角三角形状部分502的边S411连接于三角形投影面“3”的边S33，三角形投影面“4”的直角三角形状部分502的边S43_1连接于三角形投影面“8”的直角三角形状部分506的边S83_1，三角形投影面“8”的直角三角形状部分506的边S821连接于三角形投影面“7”的边S73。
图像内容连续边界(image content continuity boundary)存在于三角形投影面“4”的直角三角形状部分504的边S43_2与三角形投影面“8”的直角三角形状部分508的边S83_2之间。图像内容连续边界存在于三角形投影面“4”的直角三角形状部分502的边S43_1与三角形投影面“8”的直角三角形状部分506的边S83_1之间。也就是说，在三角形投影面“4”和三角形投影面“8”中内容是连续表示的。此外，图像内容不连续边缘存在于三角形投影面“4”的直角三角形状部分504的边S421与三角形投影面“1”的边S13之间，图像内容不连续边缘存在于三角形投影面“8”的直角三角形状部分508的边S811与三角形投影面“5”的边S53之间，图像内容不连续边缘存在于三角形投影面“4”的直角三角形状部分502的边S411与三角形投影面“3”的边S33之间，图像内容不连续边缘存在于三角形投影面“8”的直角三角形状部分506的边S821与三角形投影面“7”的边S73之间。
在图5的右侧部分中，由紧凑八面体投影布局510的形状所排列的360VR投影布局L_VR是没有任何空区域(例如黑色区域，灰色区域或白色区域)的矩形。另外，360度图像/视频内容的一部分在三角形投影面“1”、三角形投影面“2”、三角形投影面“3”、三角形投影面“5”、三角形投影面“6”、三角形投影面“7”中是连续表示的，而没有图像内容不连续。此外，由基于投影图像IMG(其使用紧凑八面体投影布局510)中的三角形投影面“2”、三角形投影面“4”、三角形投影面“6”和三角形投影面“8”所表示的赤道208没有由三角形投影面分割而引起的图像内容不连续。然而，不可避免地，一些图像内容不连续边缘仍然存在于紧凑八面体投影布局510中。因此，如果360VR投影布局L_VR由紧凑八面体投影布局510来设置，则压缩之后的图像内容不连续边缘附近的图像质量可能比较差。
为了解决上述图像质量下降问题，本发明提供了一种具有填充的新型的360VR投影布局设计，其能提高压缩之后位于投影面的边缘处的图像质量。例如360VR投影布局L_VR可以由具有填充的紧凑正六面体映射布局或者具有填充的紧凑八面体布局来设置。具体地，转换电路114从视频捕获设备112接收球体202的全向图像/视频内容，并从球体202的全向图像/视频内容中获得多个投影面，其中球体202的全向图像/视频内容透过所选择的360VR投影(例如，正六面体映像投影或者八面体投影)被映射到投影面上。如图1所示，转换电路114具有填充电路115，其被配置为生成至少一个填充区域。转换电路114透过将投影面和至少一个填充区域堆栈在360VR投影布局L_VR(例如，具体填充的紧凑正六面体映像布局或者具体填充的紧凑八面体布局)中，创建基于投影的图框IMG。
例如，360VR投影布局L_VR中所堆栈的投影面包括第一投影面和第二投影面，其中如果第一投影面的第一边连接于第二投影面的第一边，则第一投影面的第一边与第二投影面的第一边之间存在图像内容不连续边缘。360VR投影布局L_VR中所堆栈的至少一个填充区域包括第一填充区域，其中第一填充区域连接于第一投影面的第一边和第二投影面的第一边，以用于在360VR投影布局L_VR中将第一投影面的第一边与第二投影面的第一边隔离。第一填充区域被故意地***以提供压缩程序的更多信息。这样，压缩后的第一投影面的第一边和第二投影面的第一边的图像质量可以被提高。
图6是示出根据本发明实施例的具有填充的第一紧凑八面体投影布局的示意图。转换电路114所采用的360VR投影布局L_VR可以由图6中所示的紧凑八面体投影布局310’来设置。紧凑八面体布局310’可以是从图3中所示的紧凑八面体投影布局310中推导出的。关于图3中所示的紧凑八面体投影布局310，图像内容不连续边缘存在于三角形投影面“8”的直角三角形状部分304的边S821与三角形投影面“7”的边S73之间，图像内容不连续边缘存在于三角形投影面“4”的直角三角形状部分308的边S411与三角形投影面“3”的边S33之间，图像内容不连续边缘存在于三角形投影面“8”的直角三角形状部分302的边S811与三角形投影面“5”的边S53之间，图像内容不连续边缘存在于三角形投影面“4”的直角三角形状部分306的边S421与三角形投影面“1”的边S13之间。如图6所示，第一填充区域PR_1被***以连接于三角形投影面“4”的直角三角形状部分306的边S421(其也是投影面“4”的边S42)和投影面“1”的边S13，第二填充区域PR_2被***以连接于三角形投影面“4”的直角三角形状部分308的边S411(其也是投影面“4”的边S41)和投影面“3”的边S33，第三填充区域PR_3被***以连接于三角形投影面“8”的直角三角形状部分302的边S811(其也是投影面“8”的边S81)和投影面“5”的边S53，以及第四填充区域PR_4被***以连接于三角形投影面“8”的直角三角形状部分304的边S821(其也是投影面“8”的边S82)和投影面“7”的边S73。假设每个填充区域的宽度为D，且图3中所示的紧凑八面体投影布局310具有宽度W和高度H，则图6中所示的紧凑八面体投影布局310’具有宽度W+2D和高度H。例如每个填充区域的宽度D可以是16个像素。
图7是示出根据本发明实施例的具有填充的第二紧凑八面体投影布局的示意图。转换电路114所采用的360VR投影布局L_VR可以由图7中所示的紧凑八面体投影布局510’来设置。紧凑八面体布局510’可以是从图5中所示的紧凑八面体投影布局510中推导出的。关于图5中所示的紧凑八面体投影布局510，图像内容不连续边缘存在于三角形投影面“8”的直角三角形状部分506的边S821与三角形投影面“7”的边S73之间，图像内容不连续边缘存在于三角形投影面“4”的直角三角形状部分502的边S411与三角形投影面“3”的边S33之间，图像内容不连续边缘存在于三角形投影面“8”的直角三角形状部分508的边S811与三角形投影面“5”的边S53之间，图像内容不连续边缘存在于三角形投影面“4”的直角三角形状部分504的边S421与三角形投影面“1”的边S13之间。如图7所示，第一填充区域PR_1被***以连接于三角形投影面“4”的直角三角形状部分504的边S421(其也是投影面“4”的边S42)和投影面“1”的边S13，第二填充区域PR_2被***以连接于三角形投影面“4”的直角三角形状部分502的边S411(其也是投影面“4”的边S41)和投影面“3”的边S33，第三填充区域PR_3被***以连接于三角形投影面“8”的直角三角形状部分508的边S811(其也是投影面“8”的边S81)和投影面“5”的边S53，以及第四填充区域PR_4被***以连接于三角形投影面“8”的直角三角形状部分506的边S821(其也是投影面“8”的边S82)和投影面“7”的边S73。假设每个填充区域的高度为D，且图5中所示的紧凑八面体投影布局510具有宽度W和高度H，则图7中所示的紧凑八面体投影布局510’具有宽度W和高度H+2D。例如每个填充区域的高度D可以是16个像素。
在一个示例性填充实施方式中，填充电路115透过基于包括在与填充区域连接的相邻投影面中的像素的像素值的插值，设置包括在填充区域中的像素的像素值。关于图6中所示的紧凑八面体投影布局310’和图7中所示的紧凑八面体投影布局510’中的每个，包括在第一填充区域PR_1中的像素的像素值是透过基于包括在相邻投影面“1”和“4”中的像素的像素值的插值来获得的，包括在第二填充区域PR_2中的像素的像素值是透过基于包括在相邻投影面“3”和“4”中的像素的像素值的插值来获得的，包括在第三填充区域PR_3中的像素的像素值是透过基于包括在相邻投影面“5”和“8”中的像素的像素值的插值来获得的，以及包括在第四填充区域PR_4中的像素的像素值是透过基于包括在相邻投影面“7”和“8”中的像素的像素值的插值来获得的。
所采用的插值可以是最近邻插值(nearest neighbor interpolation)、线性插值、双线性插值或者其他合适的插值算法。所采用的插值使用的样本点可以从单个方向或不同方向来获得。图8是示出由图1中所示的填充电路115所执行的插值的示例。填充区域PR被要求以被***到从选择的球体的360VR投影来获得的相邻投影面A1与相邻投影面A2之间，其中如果投影面A1连接于投影面A2，则图像内容不连续边缘存在于相邻投影面A1与相邻投影面A2之间。如图8的子示意图(A)所示，对垂直方向上从相邻投影面A1和相邻投影面A2中获得的样本点(即像素)P1和样本点P2执行插值。因此，插值样本点(即插值像素)S是根据样本点P1和样本点P2的样本值、样本点P1与插值样本点S之间的距离以及样本点P2与插值样本点S之间的距离来确定的。
如图8的子示意图(B)所示，对水平方向上从相邻投影面A1和相邻投影面A2中获得的样本点(即像素)Q1和样本点Q2执行插值。因此，插值样本点(即插值像素)S是根据样本点Q1和样本点Q2的样本值、样本点Q1与插值样本点S之间的距离以及样本点Q2与插值样本点S之间的距离来确定的。
如图8的子示意图(C)所示，对垂直方向上从相邻投影面A1和相邻投影面A2中获得的样本点(即像素)P1和样本点P2以及水平方向上从相邻投影面A1和相邻投影面A2中获得的样本点(即像素)Q1和样本点Q2执行插值。因此，插值样本点(即插值像素)S是根据样本点P1、样本点P2、样本点Q1和样本点Q2的样本值、样本点P1与插值样本点S之间的距离、样本点P2与插值样本点S之间的距离、样本点Q1与插值样本点S之间的距离以及样本点Q2与插值样本点S之间的距离来确定的。
在另一个示例性填充实施方式中，填充电路115将第一几何填充应用到相邻投影面之一以确定包括在填充区域中的像素的第一像素值，将第二几何填充应用到其他相邻投影面以确定包括在填充区域中的像素的第二像素值，并透过将从第一几何填充中推导的第一像素值和从第二几何填充中推导的第二像素值进行混合来设置包括在填充区域中的像素的像素值。图9是示出由图1中所示的填充电路115所执行的几何填充的示例。填充区域PR被要求以被***到从选择的球体的360VR投影来获得的相邻投影面A1与相邻投影面A2之间，其中如果投影面A1连接于投影面A2，则图像内容不连续边缘存在于相邻投影面A1与相邻投影面A2之间。应用到投影面A1的第一几何填充确定几何映像区域A1_GP，其中几何映像区域A1_GP是透过将球体(例如图2/图4中所示的球体202)上的区域的内容映像到填充区域PR来获得的，其中球体上的区域相邻于从投影面A1中获得的区域。因此，投影面A1和几何映像区域A1_GP之间存在图像内容连续边界(即在投影面A1和几何映像区域A1_GP中内容是连续表示的)。
应用到投影面A2的第二几何填充确定另一几何映像区域A2_GP，其中几何映像区域A2_GP是透过将球体(例如图2/图4中所示的球体202)上的区域的内容映像到填充区域PR来获得的，其中球体上的该区域相邻于从投影面A2中获得的区域。因此，投影面A2和几何映像区域A2_GP之间存在图像内容连续边界(即在投影面A2和几何映像区域A2_GP中内容是连续表示的)。
在获得与同一填充区域PR相关的几何映像区域A1_GP和几何映像区域A2_GP之后，填充电路115混合几何映像区域A1_GP和几何映像区域A2_GP以确定包括在填充区域PR中的像素的像素值。也就是说，PR＝f(A1_GP,A2_GP)，其中f()是混合函数。例如，混合函数f()可以是平均函数。关于填充区域PR中的每个像素，填充区域PR中的像素的像素值由几何映像区域A1_GP中的像素的第一像素值和几何映像区域A2_GP中的像素的第二像素值的平均值来设置。
在又一示例性填充实施方式中，填充电路115透过复制包括在从选择的球体的360VR投影中所获得的相邻投影面中的像素的像值素来设置包括在填充区域中的像素的像素值。例如位于投影面A1的边处的边界像素被复制以创建沿着投影面A1的边延伸的填充像素，并且位于投影面A2的边处的边界像素被复制以创建沿着投影面A2的边延伸的填充像素。换句话说，填充区域PR的第一部分包括填充像素，每个填充像素是投影面A1的一个边界像素的复制，并且填充区域PR的第二部分包括填充像素，每个填充像素是投影面A2的一个边界像素的复制。
在***在第一投影面和第二投影面之间的一个填充区域的说明下，其中在第一投影面的第一边连接于第二投影面的第一边时，第一投影面的第一边与第二投影面的第一边之间存在图像内容不连续边缘，可以提高压缩后的第一投影面的第一边的图像质量和压缩后的第二投影面的第一边的图像质量。包括在由解码电路122生成的已解码图框IMG’中的投影面可以具有更好的图像质量。如上所述，图像渲染电路214根据已解码图框IMG’在显示屏幕126上渲染并显示输出图像数据。由于已解码图框IMG’中的填充区域是额外添加的，且可能是不可显示的，所以在解码电路122生成已解码图框IMG’之后，已解码图框IMG’中的填充区域可以被图像渲染电路124丢弃/忽略。
如图6和图7所示，填充被添加到紧凑八面体投影布局，以为了图像内容不连续边缘处的压缩的图像质量提高。然而，这些仅用于示意的目的，并不用于限制本发明。实际上，填充可以被添加到其他360VR投影布局，以为了图像内容不连续边缘处的压缩的图像质量提高。这些可选的具有填充的投影设计均落入本发明的范围之内。
图10是根据本发明实施例的具有填充的紧凑正六面体映射投影布局的示意图。球体的全向图像/视频内容透过正六面体映像投影被映像到六个正方形投影面，其中正方形投影面包括由“L”标记的左投影面、由“FR”标记的前投影面、由“R”标记的右投影面、由“T”标记的顶投影面、由“BK”标记的后投影面和由“B”标记的底投影面。在没有填充的紧凑正六面体映射投影布局中，如果左投影面“L”的底边连接于底投影面“B”的顶边，则左投影面“L”与底投影面“B”之间存在图像内容不连续边缘。在没有填充的紧凑正六面体映射投影布局中，如果前投影面FR的底边连接于后投影面BK的顶边，则前投影面FR与后投影面BK之间存在图像内容不连续边缘。在没有填充的紧凑正六面体映射投影布局中，如果右投影面R的底边连接于顶投影面T的顶边，则右投影面R与顶投影面T之间存在图像内容不连续边缘。根据图10中所示的紧凑正六面体映射投影布局1002，第一填充区域PR_1被***到左投影面L与顶投影面T之间，第二填充区域PR_2被***到前投影面FR和后投影面BK之间，第三填充区域PR_3被***到右投影面R和底投影面B之间。填充区域PR_1-填充区域PR_3可以透过使用上述插值方式、几何填充方式和复制方式中的一个来生成。
例如，由提出的填充技术所使用的复制方式可以展开投影面的边界像素。因此，***在第一投影面和第二投影面之间的填充区域的第一部分包括填充像素，其中每个填充像素是第一投影面的一个边界像素的复制，***在第一投影面和第二投影面之间的填充区域的第二部分包括填充像素，其中每个填充像素是第二投影面的一个边界像素的复制。
又例如，由提出的填充技术所使用的复制方式可以透过复制包括在第一投影面和第二投影面中但不连接于***在第一投影面和第二投影面之间的填充区域的像素的像素值，设置包括在填充区域中的像素的像素值。在由提出的填充技术所使用的复制方式获得投影面中的部分区域的复制的情况中，***在第一投影面和第二投影面之间的填充区域的第一部分是第一投影面的部分区域的复制，并且***在第一投影面和第二投影面之间的填充区域的第二部分是第二投影面的部分区域的复制，其中第一投影面的部分区域和第二投影面的部分区域均不连接于***在第一投影面与第二投影面之间的填充区域。
又例如，由提出的填充技术所使用的复制方式可以透过复制包括在不同于第一投影面和第二投影面的至少一个投影面中的像素的像素值，设置包括在***在第一投影面与第二投影面之间的填充区域中的像素的像素值。以图10中所示的紧凑正六面体映射投影布局1002为例，***在左投影面L与底投影面B之间的第一填充区域PR_1可以透过复制不是左投影面L和底投影面B中任何的至少一个投影面(例如FR、BK、R和/或T)中的像素(例如部分区域的像素)来设置，***在前投影面FR与后投影面BK之间的第二填充区域PR_2可以透过复制不是前投影面FR和后投影面BK中任何的至少一个投影面(例如L、B、R和/或T)中的像素(例如部分区域的像素)来设置，和/或***在右投影面R与顶投影面T之间的第三填充区域PR_3可以透过复制不是右投影面R和顶投影面T中任何的至少一个投影面(例如L、B、FR和/或BK)中的像素(例如部分区域的像素)来设置。
图11是示出根据本发明实施例的具有填充的第三紧凑八面体投影布局的示意图。球体的全向图像/视频内容透过八面体投影被映像到八个三角形投影面(由参考编号“1”,“2”,“3”,“4”,“5”,“6”,“7”和“8”标记)。三角形投影面“8”被分割成两个直角三角形状部分。在没有填充的紧凑八面体投影布局中，如果三角形投影面“8”的一个直角三角形状部分的一个边连接于三角形投影面“1”的一个边，则图像内容不连续边缘存在于三角形投影面“8”和三角形投影面“1”之间。在没有填充的紧凑八面体投影布局中，如果三角形投影面“1”的另一个边连接于三角形投影面“5”的一个边，则图像内容不连续边缘存在于三角形投影面“1”和三角形投影面“5”之间。在没有填充的紧凑八面体投影布局中，如果三角形投影面“5”的另一个边连接于三角形投影面“2”的一个边，则图像内容不连续边缘存在于三角形投影面“5”和三角形投影面“2”之间。在没有填充的紧凑八面体投影布局中，如果三角形投影面“2”的另一个边连接于三角形投影面“6”的一个边，则图像内容不连续边缘存在于三角形投影面“2”和三角形投影面“6”之间。在没有填充的紧凑八面体投影布局中，如果三角形投影面“6”的另一个边连接于三角形投影面“3”的一个边，则图像内容不连续边缘存在于三角形投影面“6”和三角形投影面“3”之间。在没有填充的紧凑八面体投影布局中，如果三角形投影面“3”的另一个边连接于三角形投影面“7”的一个边，则图像内容不连续边缘存在于三角形投影面“3”和三角形投影面“7”之间。在没有填充的紧凑八面体投影布局中，如果三角形投影面“7”的另一个边连接于三角形投影面“4”的一个边，则图像内容不连续边缘存在于三角形投影面“7”和三角形投影面“4”之间。在没有填充的紧凑八面体投影布局中，如果三角形投影面“8”的另一直角三角形状部分的一边连接于三角形投影面“4”的另一个边，则图像内容不连续边缘存在于三角形投影面“8”和三角形投影面“4”之间。
根据图11中所示的紧凑八面体投影布局1102，第一填充区域PR_1被***在三角形投影面“1”和三角形投影面“8”的一个直角三角形状部分之间，第二填充区域PR_2被***在三角形投影面“1”和三角形投影面“5”之间，第三填充区域PR_3被***在三角形投影面“5”和三角形投影面“2”之间，第四填充区域PR_4被***在三角形投影面“2”和三角形投影面“6”之间，第五填充区域PR_5被***在三角形投影面“6”和三角形投影面“3”之间，第六填充区域PR_6被***在三角形投影面“3”和三角形投影面“7”之间，第七填充区域PR_7被***在三角形投影面“7”和三角形投影面“4”之间，以及第八填充区域PR_8被***在三角形投影面“4”和三角形投影面“8”的另一直角三角形状部分之间。填充区域PR_1-填充区域PR_8中的每个可以是透过使用上述的插值方式、几何填充方式和复制方式中的一个来生成的。
除了压缩后的图像内容不连续边缘的图像质量之外，压缩后的布局边界的图像质量可以透过所提出的填充技术来提高。例如，当球体的全向图像/视频内容透过等距柱状投影(equirectangular projection，ERP)或等面积投影(equal-area projection，EAP)被映射时，仅单个投影面被生成且排列在ERP/EAP布局中。如果视端口(viewport)的视角(viewing angle)是180度，位于ERP/EAP布局的左边界处的已解码部分区域被选择且组合以形成待显示的视端口区域。由于典型的ERP/EAP布局的位于左边界处的块和位于右边界处的块被单独编码，所以视端口区域沿着位于ERP/EAP布局的左边界处的已解码部分区域和位于ERP/EAP布局的右边界处的已解码部分区域进行组合而得到的边缘可能具有伪影。为了解决这个问题，本发明还提出了将填充区域添加到布局边界以提供压缩流程的更多信息。
图12是示出根据本发明实施例的具有填充的第一ERP/EAP布局的示意图。具有顶边S_T、底边S_B、左边S_L和右边S_R的单个的投影面A被排列在没有填充的ERP/EAP布局1202中。顶边S_T、底边S_B、左边S_L和右边S_R是ERP/EAP布局1202的四个边界。此外，ERP/EAP布局1202中的投影面A具有第一部分区域P_L和第二部分区域P_R，其中第一部分区域P_L包括位于左边S_L处的边界像素，第二部分区域P_R包括位于右边S_R处的边界像素。转换电路114所采用的360VR投影布局L_VR可以由图12中所示的ERP/EAP布局1202’来设置。ERP/EAP布局1202’可从ERP/EAP布局1202中推导。投影面A透过球体的等距柱状投影/等面积投影来获得。投影面A、第一填充区域PR_L和第二填充区域PR_R被堆栈在ERP/EAP布局1202’中，如图12所示，第一填充区域PR_L连接于投影面A的左边S_L，并形成ERP/EAP布局1202’的左边界，以及第二填充区域PR_R连接于投影面A的右边S_R，并形成ERP/EAP布局1202’的右边界。例如，第一填充区域PR_L的宽度可以是8个像素，第二填充区域PR_R的宽度可以是8个像素。由于投影面A的左边S_L和右边S_R是相对边，所以第一填充区域PR_L不连接于投影面A的右边S_R，且第二填充区域PR_R不连接于投影面A的左边S_L。
在本实施例中，第一填充区域PR_L是投影面A的第二部分区域P_R的复制，第二填充区域PR_R是投影面A的第一部分区域P_L的复制。因此，第一填充区域PR_L的像素包括位于投影面A的右边S_R处的边界像素，但不包括位于投影面A的左边S_L处的边界像素；以及第二填充区域PR_R的像素包括位于投影面A的左边S_L处的边界像素，但不包括位于投影面A的右边S_R处的边界像素。由于等距柱状投影/等面积投影的内在特性，第一填充区域PR_L与堆栈在ERP/EAP布局1202’的投影面A之间存在图像内容连续边界(即在投影面A和第一填充区域PR_L中内容是连续表示的)，并且第二填充区域PR_R与堆栈在ERP/EAP布局1202’的投影面A之间存在图像内容连续边界(即在投影面A和第二填充区域PR_R中是内容连续表示的)。
除了被添加到透过等距柱状投影/等面积投影而获得的投影面的左边和右边的填充区域之外，填充区域可以被添加到投影面的顶边和底边以提供压缩流程的更多信息。
图13是示出根据本发明实施例的具有填充的第二ERP/EAP布局的示意图。具有顶边S_T、底边S_B、左边S_L和右边S_R的单个的投影面A被排列在没有填充的ERP/EAP布局1302中。顶边S_T、底边S_B、左边S_L和右边S_R是ERP/EAP布局1302的四个边界。此外，ERP/EAP布局1302中的投影面A具有多个图像区域(由参考数字“1”,“2”,“3”,“4”,“5”,“6”,“7”和“8”标记)。图像区域“1”-图像区域“3”形成一个部分区域，并包括位于顶边S_T处的边界像素。图像区域“3”-图像区域“5”形成一个部分区域，并包括位于右边S_R处的边界像素。图像区域“5”-图像区域“7”形成一个部分区域，并包括位于底边S_B处的边界像素。图像区域“1”、图像区域“8”和图像区域“7”形成一个部分区域，并包括位于左边S_L处的边界像素。
转换电路114所采用的360VR投影布局L_VR可以由图13中所示的ERP/EAP布局1302’来设置。ERP/EAP布局1302’可以是从ERP/EAP布局1302中推导的。投影面A透过球体的等距柱状投影/等面积投影来获得。如图13所示，连接于投影面A的左边S_L的第一填充区域是透过复制投影面A的图像区域“3”-图像区域“5”来生成的，连接于投影面A的右边S_R的第二填充区域是透过复制投影面A的图像区域“1”、图像区域“8”和图像区域“7”来生成的，连接于投影面A的顶边S_T的第三填充区域是透过复制投影面A的图像区域“1”-图像区域“3”以获得已复制部分区域并翻转已复制部分区域来生成的，连接于投影面A的底边S_B的第四填充区域是透过复制投影面A的图像区域“5”-图像区域“7”以获得已复制部分区域并翻转已复制部分区域来生成的。
为了使得ERP/EAP布局1302’变成矩形，左上角填充区域透过复制图像区域“3”以获得已复制填充区域并翻转已复制填充区域来生成，右上角填充区域透过复制图像区域“1”以获得已复制填充区域并翻转已复制填充区域来生成，左下角填充区域透过复制图像区域“5”以获得已复制填充区域并翻转已复制填充区域来生成，以及右下角填充区域透过复制图像区域“7”以获得已复制填充区域并翻转已复制填充区域来生成。
由于等距柱状投影/等面积投影的内在特性，左上角填充区域与第一填充区域之间存在图像内容连续边界，左上角填充区域与第三填充区域之间存在图像内容连续边界，右上角填充区域与第二填充区域之间存在图像内容连续边界，右上角填充区域与第三填充区域之间存在图像内容连续边界，左下角填充区域与第一填充区域之间存在图像内容连续边界，左下角填充区域与第四填充区域之间存在图像内容连续边界，右下角填充区域与第二填充区域之间存在图像内容连续边界，以及右下角填充区域与第四填充区域之间存在图像内容连续边界。
如图13所示，连接于投影面A的左边S_L的第一填充区域形成ERP/EAP布局1302’的左边界的一部分，连接于投影面A的右边S_R的第二填充区域形成ERP/EAP布局1302’的右边界的一部分，连接于投影面A的顶边S_T的第三填充区域形成ERP/EAP布局1302’的顶边界的一部分，以及连接于投影面A的底边S_B的第四填充区域形成ERP/EAP布局1302’的底边界的一部分。由于等距柱状投影/等面积投影的内在特性，第一填充区域与堆栈在ERP/EAP布局1302’中的投影面A之间存在图像内容连续边界(即在第一填充区域和投影面A中内容是连续表示的)，第二填充区域与堆栈在ERP/EAP布局1302’中的投影面A之间存在图像内容连续边界(即在第二填充区域和投影面A中内容是连续表示的)，第三填充区域与堆栈在ERP/EAP布局1302’中的投影面A之间存在图像内容连续边界(即在第三填充区域和投影面A中内容是连续表示的)，以及第四填充区域与堆栈在ERP/EAP布局1302’中的投影面A之间存在图像内容连续边界(即在第四填充区域和投影面A中内容是连续表示的)。
图14是示出根据本发明实施例的具有填充的第三ERP/EAP布局的示意图。具有顶边S_T、底边S_B、左边S_L和右边S_R的单个的投影面A被排列在没有填充的ERP/EAP布局1402中。顶边S_T、底边S_B、左边S_L和右边S_R是ERP/EAP布局1402的四个边界。此外，ERP/EAP布局1402中的投影面A具有多个图像区域(由参考数字“1”,“2”,“3”,“4”,“5”,“6”,“7”和“8”标记)。图像区域“1”-图像区域“3”形成一个部分区域，并包括位于顶边S_T处的边界像素。图像区域“3”-图像区域“5”形成一个部分区域，并包括位于右边S_R处的边界像素。图像区域“5”-图像区域“7”形成一个部分区域，并包括位于底边S_B处的边界像素。图像区域“7”-图像区域“8”和图像区域“1”形成一个部分区域，并包括位于左边S_L处的边界像素。
转换电路114所采用的360VR投影布局L_VR可以由图14中所示的ERP/EAP布局1402’来设置。ERP/EAP布局1402’可以是从ERP/EAP布局1402中推导的。投影面A透过球体的等距柱状投影/等面积投影来获得。如图14所示，连接于投影面A的左边S_L的第一填充区域是透过复制投影面A的图像区域“3”-图像区域“5”来生成的，连接于投影面A的右边S_R的第二填充区域是透过复制投影面A的图像区域“1”、图像区域“8”和图像区域“7”来生成的，连接于投影面A的顶边S_T的第三填充区域是透过复制投影面A的图像区域“1”-图像区域“3”以获得已复制部分区域并旋转已复制部分区域180°来生成的，连接于投影面A的底边S_B的第四填充区域是透过复制投影面A的图像区域“5”-图像区域“7”以获得已复制部分区域并旋转已复制部分区域180°来生成的。
为了使得ERP/EAP布局1402’变成矩形，左上角填充区域透过复制图像区域“1”以获得已复制填充区域并旋转已复制填充区域180°来生成，右上角填充区域透过复制图像区域“3”以获得已复制填充区域并旋转已复制填充区域180°来生成，左下角填充区域透过复制图像区域“7”以获得已复制填充区域并旋转已复制填充区域180°来生成，以及右下角填充区域透过复制图像区域“5”以获得已复制填充区域并旋转已复制填充区域180°来生成。
由于等距柱状投影/等面积投影的内在特性，左上角填充区域与第一填充区域之间存在图像内容连续边界，左上角填充区域与第三填充区域之间存在图像内容连续边界，右上角填充区域与第二填充区域之间存在图像内容连续边界，右上角填充区域与第三填充区域之间存在图像内容连续边界，左下角填充区域与第一填充区域之间存在图像内容连续边界，左下角填充区域与第四填充区域之间存在图像内容连续边界，右下角填充区域与第二填充区域之间存在图像内容连续边界，以及右下角填充区域与第四填充区域之间存在图像内容连续边界。
如图14所示，连接于投影面A的左边S_L的第一填充区域形成ERP/EAP布局1402’的左边界的一部分，连接于投影面A的右边S_R的第二填充区域形成ERP/EAP布局1402’的右边界的一部分，连接于投影面A的顶边S_T的第三填充区域形成ERP/EAP布局1402’的顶边界的一部分，以及连接于投影面A的底边S_B的第四填充区域形成ERP/EAP布局1402’的底边界的一部分。由于等距柱状投影/等面积投影的内在特性，第一填充区域与堆栈在ERP/EAP布局1402’中的投影面A之间存在图像内容连续边界(即在第一填充区域和投影面A中内容是连续表示的)，第二填充区域与堆栈在ERP/EAP布局1402’中的投影面A之间存在图像内容连续边界(即在第二填充区域和投影面A中内容是连续表示的)，第三填充区域与堆栈在ERP/EAP布局1402’中的投影面A之间存在图像内容连续边界(即在第三填充区域和投影面A中内容是连续表示的)，以及第四填充区域与堆栈在ERP/EAP布局1402’中的投影面A之间存在图像内容连续边界(即在第四填充区域和投影面A中内容是连续表示的)。
如图12-图14所示，填充被添加到ERP/EAP布局，以为了位于布局边界处的压缩的图像质量提高。然而，这些仅用于示意目的，并不用于限制本发明。实际上，填充可以被添加到其他360VR投影布局，以为了位于布局边界处的压缩的图像质量提高。这些可选的具有填充的投影设计均落入本发明的范围内。
图15是示出根据本发明实施例的具有填充的八面体投影布局的示意图。图16是示出根据本发明实施例的具有填充的正六面体映射投影布局的示意图。图17是示出根据本发明实施例的具有填充的第四紧凑八面体投影布局的示意图。图18是示出根据本发明实施例的具有填充的紧凑正六面体映射投影布局的示意图。堆栈在投影布局1502/1602/1702/1802中的填充区域可以由上述几何填充方式来生成，几何填充方式将几何填充应用到投影面以确定包括在连接于投影面的填充区域中的像素的像素值，或者可以透过上述复制方式来生成，复制方式透过复制投影面的边界像素的像素值，或者透过复制包括在投影面中但不连接于填充区域的像素的像素值，或者透过复制不包括在投影面中的像素的像素值来设置包括在连接于投影面的填充区域中的像素的像素值。
应注意的是，上述布局示例仅用于示意目的，并不用于限制并发明。在本发明的其他实施例中，具有填充的360VR投影布局可以透过将填充区域添加到其他投影格式的布局来获得，例如，等角四棱锥投影布局、四面体投影布局、基于四角石英(tetragon quartz-based)投影布局、二十面体投影布局或者基于六角石英投影布局。
在添加到投影布局的边界的填充区域的说明下，压缩后的边界的图像质量可以被提高。如上所述，图像渲染电路124根据已解码图框IMG’在显示屏幕126上渲染并显示输出图像数据。由于已解码图框IMG’中的填充区域是额外添加的，且可以是不可显示的，所以在解码电路122生成已解码图框IMG’之后，已解码图框IMG’中的填充区域可以被图像渲染电路124丢弃或忽略。
所属技术领域的技术人员易知，可在保持本发明的教示内容的同时对设备及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求书的范围的限制。

Claims (21)

1.一种视频处理方法，包括：
接收对应于球体的全向内容；
从该球体的该全向内容中获得多个投影面，其中该球体的该全向内容透过360度虚拟实境投影被映射到该多个投影面；以及
转换电路透过生成至少一个填充区域并将该多个投影面和该至少一个填充区域堆栈到360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在该360度虚拟实境投影布局中的该多个投影面包括第一投影面和第二投影面，其中如果该第一投影面的一个边连接于该第二投影面的一个边，则在该第一投影面的该一个边与该第二投影面的该一个边之间存在图像内容不连续边缘；堆栈在该360度虚拟实境投影布局中的该至少一个填充区域包括第一填充区域，其中该第一填充区域连接于该第一投影面的该一个边和该第二投影面的该一个边，以用于在该360度虚拟实境投影布局中将该第一投影面的该一个边与该第二投影面的该一个边隔离。
2.如权利要求1所述的视频处理方法，其特征在于，生成该至少一个填充区域包括：
透过基于包括在该第一投影面和该第二投影面中的多个像素的多个像素值的插值，设置包括在该第一填充区域中的多个像素的多个像素值。
3.如权利要求1所述的视频处理方法，其特征在于，生成该至少一个填充区域包括：
将第一几何填充应用到该第一投影面，以确定包括在该第一填充区域中的多个像素的多个第一像素值；
将第二几何填充应用到该第二投影面，以确定包括在该第一填充区域中的该多个像素的多个第二像素值；以及
透过混合从该第一几何填充推导的该多个第一像素值与从该第二几何填充推导的该多个第二像素值，设置包括在该第一填充区域中的该多个像素的多个像素值。
4.如权利要求1所述的视频处理方法，其特征在于，生成该至少一个填充区域包括：
透过复制包括在该第一投影面和该第二投影面中的多个像素的多个像素值，设置包括在该第一填充区域中的多个像素的多个像素值。
5.如权利要求1所述的视频处理方法，其特征在于，堆栈在该360度虚拟实境投影布局中的该多个投影面还包括不同于该第一投影面和该第二投影面的至少一个投影面，以及
生成该至少一个填充区域包括：
透过复制包括在该至少一个投影面中的多个像素的多个像素值，设置包括在该第一填充区域中的多个像素的多个像素值。
6.如权利要求1所述的视频处理方法，其特征在于，还包括：
编码具有堆栈在该360度虚拟实境投影布局中的该多个投影面和该至少一个填充区域的该基于投影的图框，以生成比特流的一部分。
7.如权利要求1所述的视频处理方法，其特征在于，该360度虚拟实境投影是八面体投影，该360度虚拟实境投影布局是八面体投影布局，该多个投影面是多个三角形投影面，以及该球体的赤道不沿着该多个三角形投影面中的每个的任何边进行映射。
8.如权利要求7所述的视频处理方法，其特征在于，堆栈在该360度虚拟实境投影布局中的该多个投影面还包括第三投影面、第四投影面、第五投影面和第六投影面，其中：
如果该第一投影面的另一个边连接于该第三投影面的一个边，则该第一投影面的该另一个边与该第三投影面的该一个边之间存在图像内容不连续边缘，
如果该第四投影面的一个边连接于该第五投影面的一个边，则在该第四投影面的该一个边与该第五投影面的该一个边之间存在图像内容不连续边缘，以及
如果该第四投影面的另一个边连接于该第六投影面的一个边，则该第四投影面的该另一个边与该第六投影面的该一个边之间存在图像内容不连续边缘；
堆栈在该360度虚拟实境投影布局中的该至少一个填充区域还包括第二填充区域、第三填充区域和第四填充区域，其中：
该第二填充区域连接于该第一投影面的该另一个边和该第三投影面的该一个边，以用于在该360度虚拟实境投影布局中将该第一投影面的该另一个边与该第三投影面的该一个边隔离，
该第三填充区域连接于该第四投影面的该一个边和该第五投影面的该一个边，以用于在该360度虚拟实境投影布局中将该第四投影面的该一个边与该第五投影面的该一个边隔离，以及
该第四填充区域连接于该第四投影面的该另一个边和该第六投影面的该一个边，以用于在该360度虚拟实境投影布局中将该第四投影面的该另一个边与该第六投影面的该一个边隔离。
9.如权利要求8所述的视频处理方法，其特征在于，该360度虚拟实境投影布局的形状是矩形；
堆栈在该360度虚拟实境投影布局中的该多个投影面还包括第七投影面和第八投影面；
该第一投影面被分割成第一直角三角形状部分和第二直角三角形状部分，该第一直角三角形状部分具有第一边和第二边，该第一边作为该第一投影面的该一个边和该第二边作为该第一投影面的又一个边的第一部分，该第二直角三角形状部分具有第一边和第二边，该第一边作为该第一投影面的该另一个边和该第二边作为该第一投影面的该又一个边的第二部分；
该第四投影面被分割成第三直角三角形状部分和第四直角三角形状部分，该第三直角三角形状部分具有第一边和第二边，该第一边作为该第四投影面的该一个边和该第二边作为该第四投影面的又一个边的第一部分，该第四直角三角形状部分具有第一边和第二边，该第一边作为该第四投影面的该另一个边和该第二边作为该第四投影面的该又一个边的第二部分；
该第一填充区域连接于该第一直角三角形状部分的该第一边和该第二投影面的该一个边；
该第二投影面的另一个边连接于该第七投影面的一个边，其中该第二投影面的该另一个边与该第七投影面的该一个边之间存在图像内容连续边界；
该第七投影面的另一个边连接于该第三投影面的另一个边，其中第七投影面的该另一个边与该第三投影面的该另一个边之间存在图像内容连续边界；
该第二填充区域连接于该第二直角三角形状部分的该第一边和该第三投影面的该一个边；
该第三填充区域连接于该第三直角三角形状部分的该第一边和该第五投影面的该一个边；
该第五投影面的另一个边连接于该第八投影面的一个边，其中该第五投影面的该另一个边与该第八投影面的该一个边之间存在图像内容连续边界；
该第八投影面的另一个边连接于该第六投影面的另一个边，其中该第八投影面的该另一个边与该第六投影面的该另一个边之间存在图像内容连续边界；以及
该第四填充区域连接于该第四直角三角形状部分的该第一边和该第六投影面的该一个边。
10.如权利要求9所述的视频处理方法，其特征在于，该球体的赤道被映射到该第一投影面、第四投影面、第七投影面和第八投影面。
11.一种视频处理方法，包括：
接收对应于球体的全向内容；
从该球体的该全向内容中获得至少一个投影面，其中该球体的该全向内容透过360度虚拟实境投影被映像到该至少一个投影面；以及
转换电路透过生成至少一个填充区域并将该至少一个投影面和该至少一个填充区域堆栈在360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在该360度虚拟实境投影布局中的该至少一个投影面包括第一投影面；堆栈在该360度虚拟实境投影布局中的该至少一个填充区域包括第一填充区域；该第一填充区域连接于该第一投影面，并形成该360度虚拟实境投影布局的一个边界的至少部分。
12.如权利要求11所述的视频处理方法，其特征在于，生成该至少一个填充区域包括：
将几何填充应用到该第一投影面，以确定包括在该第一填充区域中的多个像素的多个像素值。
13.如权利要求11所述的视频处理方法，其特征在于，生成该至少一个填充区域包括：
透过复制包括在该第一投影面中的多个特定像素的多个像素值，设置包括在该第一填充区域中的多个像素的多个像素值。
14.如权利要求13所述的视频处理方法，其特征在于，该第一填充区域连接于该第一投影面的一个边，该多个特定像素包括位于该第一投影面的该一个边处的多个边界像素。
15.如权利要求14所述的视频处理方法，其特征在于，
该360度虚拟实境投影是等距柱状投影和等面积投影中的一个，第一投影面包括一部分区域，该部分区域包括位于该第一投影面的该一个边处的该多个边界像素，该第一填充区域是透过复制该部分区域以获得已复制部分区域并翻转该已复制部分区域而生成的，以及堆栈在该360度虚拟实境投影布局中的该第一填充区域与该第一投影面之间存在图像内容连续边界。
16.如权利要求14所述的视频处理方法，其特征在于，该360度虚拟实境投影是等距柱状投影和等面积投影中的一个，第一投影面包括一部分区域，该部分区域包括位于该第一投影面的该一个边处的该多个边界像素，该第一填充区域是透过复制该部分区域以获得已复制部分区域并旋转该已复制部分区域而生成的，以及堆栈在该360度虚拟实境投影布局中的该第一填充区域与该第一投影面之间存在图像内容连续边界。
17.如权利要求13所述的视频处理方法，其特征在于，该第一填充区域连接于该第一投影面的一个边，该多个特定像素不包括位于该第一投影面的该一个边处的多个边界像素。
18.如权利要求17所述的视频处理方法，其特征在于，该360度虚拟实境投影是等距柱状投影和等面积投影中的一个，第一投影面包括一部分区域，该第一填充区域不连接于该第一投影面的另一个边，该第一投影面的该一个边和该第一投影面的该另一个边是该第一投影面的相对边，该第一投影面包括一部分区域，该部分区域包括位于该第一投影面的该另一个边处的多个边界像素，该第一填充区域是透过复制该部分区域而生成的，以及堆栈在该360度虚拟实境投影布局中的该第一填充区域与该第一投影面之间存在图像内容连续边界。
19.如权利要求11所述的视频处理方法，其特征在于，还包括：
编码具有堆栈在该360度虚拟实境投影布局中的该至少一个投影面和该至少一个填充区域的该基于投影的图框，以生成比特流的一部分。
20.一种视频处理装置，包括：
转换电路，用于：
接收对应于球体的全向内容；
从该球体的该全向内容中获得多个投影面，其中该球体的该全向内容透过360度虚拟实境投影被映像到该多个投影面；以及
透过生成至少一个填充区域并将该多个投影面和该至少一个填充区域堆栈到360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在该360度虚拟实境投影布局中的该多个投影面包括第一投影面和第二投影面，其中如果该第一投影面的一个边连接于该第二投影面的一个边，则在该第一投影面的该一个边与该第二投影面的一个边之间存在图像内容不连续边缘；堆栈在该360度虚拟实境投影布局中的该至少一个填充区域包括第一填充区域，其中该第一填充区域连接于该第一投影面的该一个边和该第二投影面的该一个边，以用于在该360度虚拟实境投影布局中将该第一投影面的该一个边与该第二投影面的该一个边隔离；以及
视频编码器，用于编码具有堆栈在该360度虚拟实境投影布局中的该多个投影面和该至少一个填充区域的该基于投影的图框，以生成比特流的一部分。
21.一种视频处理装置，包括：
转换电路，用于：
接收对应于球体的全向内容；
从该球体的该全向内容中获得至少一个投影面，其中该球体的该全向内容透过360度虚拟实境投影被映像到该至少一个投影面；以及
透过生成至少一个填充区域并将该至少一个投影面和该至少一个填充区域堆栈在360度虚拟实境投影布局中，创建基于投影的图框，其中堆栈在该360度虚拟实境投影布局中的该至少一个投影面包括第一投影面；堆栈在该360度虚拟实境投影布局中的该至少一个填充区域包括第一填充区域；该第一填充区域连接于该第一投影面，并形成该360度虚拟实境投影布局的一个边界的至少部分；以及
视频编码器，用于编码具有堆栈在该360度虚拟实境投影布局中的该至少一个投影面和该至少一个填充区域的该基于投影的图框，以生成比特流的一部分。
CN201880015955.0A 2017-03-13 2018-03-13 一种视频处理方法和装置 Active CN110383842B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762470425P 2017-03-13 2017-03-13
US62/470,425 2017-03-13
US15/917,844 2018-03-12
US15/917,844 US11057643B2 (en) 2017-03-13 2018-03-12 Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
PCT/CN2018/078785 WO2018166430A1 (en) 2017-03-13 2018-03-13 Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout

Publications (2)

Publication Number Publication Date
CN110383842A CN110383842A (zh) 2019-10-25
CN110383842B true CN110383842B (zh) 2022-02-11

Family

ID=63445237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015955.0A Active CN110383842B (zh) 2017-03-13 2018-03-13 一种视频处理方法和装置

Country Status (6)

Country Link
US (1) US11057643B2 (zh)
CN (1) CN110383842B (zh)
DE (1) DE112018000177T8 (zh)
GB (1) GB2575175B (zh)
TW (1) TWI673995B (zh)
WO (1) WO2018166430A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018064965A1 (en) 2016-10-07 2018-04-12 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
US10462484B2 (en) 2016-10-07 2019-10-29 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US20180288436A1 (en) * 2017-04-03 2018-10-04 Gopro, Inc. Methods and apparatus for providing in-loop padding techniques for rotated sphere projections
US10356386B2 (en) 2017-04-05 2019-07-16 Mediatek Inc. Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
DE112018002432T5 (de) 2017-08-18 2020-01-23 Mediatek Inc. Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
US20190182462A1 (en) * 2017-12-08 2019-06-13 Gopro, Inc. Methods and apparatus for projection conversion decoding for applications eco-systems
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
CN113228658B (zh) * 2018-12-14 2023-10-17 中兴通讯股份有限公司 沉浸式视频比特流处理
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067227A (ja) 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
JP3306397B2 (ja) 1999-11-25 2002-07-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、画像生成方法および記憶媒体
US7079137B2 (en) 2002-11-15 2006-07-18 Warner Bros. Entertainment Inc. Method for digitally rendering an object using measured BRDF data
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
KR100732958B1 (ko) 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
JP4680104B2 (ja) 2006-03-22 2011-05-11 日本電信電話株式会社 パノラマ画像作成方法
CN100542298C (zh) 2007-09-29 2009-09-16 中国科学院计算技术研究所 一种柱面全景视频编码的块尺寸计算方法和传输方法
US8638327B2 (en) 2007-11-14 2014-01-28 Microsoft Corporation Tiled projections for planar processing of round earth data
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9245372B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
KR20140100656A (ko) 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
CN104219584B (zh) 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和***
US10412413B2 (en) 2015-03-05 2019-09-10 Sony Corporation Image processing device and image processing method
WO2016140082A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
EP3088018A1 (de) * 2015-04-30 2016-11-02 ECP Entwicklungsgesellschaft mbH Rotor für eine fluidpumpe sowie verfahren und giessform für seine herstellung
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
JP6501904B2 (ja) 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
US9858706B2 (en) 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
CN108293110B (zh) 2015-11-23 2022-07-05 韩国电子通信研究院 多视点视频编码/解码方法
CN205545713U (zh) 2016-01-26 2016-08-31 天津市商久盛源科技股份有限公司 基于全息金字塔的3d全息投影装置
US10225546B2 (en) 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
GB2548358A (en) 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
US10319071B2 (en) 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US9721393B1 (en) 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
CN205721064U (zh) 2016-05-04 2016-11-23 北京红辣椒信息科技有限公司 旋转屏幕的3d投影装置
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105898254B (zh) 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、***
CN105915907B (zh) 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及***
KR102506480B1 (ko) * 2016-06-14 2023-03-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
WO2018009746A1 (en) 2016-07-08 2018-01-11 Vid Scale, Inc. 360-degree video coding using geometry projection
CN106162139B (zh) 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106358033B (zh) 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
WO2018064965A1 (en) 2016-10-07 2018-04-12 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
CN106686381A (zh) 2016-12-05 2017-05-17 乐视控股（北京）有限公司 一种视频解码方法、装置和电子设备
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
CN106846245B (zh) 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10979663B2 (en) 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US10621767B2 (en) 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
US20190005709A1 (en) 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
CN107622474B (zh) 2017-09-26 2021-03-30 北京大学深圳研究生院 基于主视点的全景视频映射方法
WO2019117569A1 (en) 2017-12-14 2019-06-20 Samsung Electronics Co., Ltd. Method and apparatus for managing immersive data

Also Published As

Publication number Publication date
CN110383842A (zh) 2019-10-25
DE112018000177T5 (de) 2019-09-19
US11057643B2 (en) 2021-07-06
WO2018166430A1 (en) 2018-09-20
GB2575175A (en) 2020-01-01
TWI673995B (zh) 2019-10-01
GB201908248D0 (en) 2019-07-24
DE112018000177T8 (de) 2020-02-20
US20180262775A1 (en) 2018-09-13
TW201840180A (zh) 2018-11-01
GB2575175B (en) 2022-04-13

Similar Documents

Publication Publication Date Title
CN110383842B (zh) 一种视频处理方法和装置
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
TWI702567B (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
US10593012B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
US10825229B2 (en) Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
US20190325553A1 (en) Method and apparatus for decoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US11948268B2 (en) Immersive video bitstream processing
TWI782342B (zh) 一種視訊解碼方法
CN109845270B (zh) 一种视频处理方法和装置
WO2021136372A1 (en) Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling
US10652516B2 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by base projection face and lateral projection faces packed in pyramid projection layout
CN109716776B (zh) 用于生成且编码全向内容视频的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant