CN110115026A - 在电子装置中在矩形投影上产生360度内容的方法和*** - Google Patents
在电子装置中在矩形投影上产生360度内容的方法和*** Download PDFInfo
- Publication number
- CN110115026A CN110115026A CN201780078637.4A CN201780078637A CN110115026A CN 110115026 A CN110115026 A CN 110115026A CN 201780078637 A CN201780078637 A CN 201780078637A CN 110115026 A CN110115026 A CN 110115026A
- Authority
- CN
- China
- Prior art keywords
- degree
- contents
- segment
- triangle
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000012634 fragment Substances 0.000 claims description 26
- 238000007634 remodeling Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000005538 encapsulation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000005429 filling process Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本文的实施例相应地公开了一种用于在电子装置中在矩形投影上产生360度内容的方法。所述方法包括：生成具有多个顶点和形状相同的多个三角形的二十面体投影。所述多个三角形中的每个三角形表示所述360度内容的片段。此外，所述方法包括：通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧。所述多个三角形被重新排列为在矩形图像帧中表现所述360度内容的最大连续性。此外，所述方法包括将矩形图像帧存储在电子装置中。
Description
技术领域
本公开涉及一种内容处理***，更具体地讲，涉及一种用于在电子装置中在矩形投影上产生360度内容(例如，360度图像内容、360度视频内容、360度多媒体内容等)的方法和***。本申请基于并要求于2016年12月19日提交的申请号为201641043297的印度申请的优先权，该申请的公开在此通过引用合并于此。
背景技术
基于虚拟现实(VR)的娱乐/游戏是一种受欢迎程度呈指数级增长的消费者应用。通常，VR视频/游戏以高分辨率(即，4K)播放并且VR视频/游戏在电子装置(例如，智能电话、VR观看器等)上被处理。因此，电子装置的网络带宽和处理能力/电池寿命是在实现VR管线(VR pipeline)时面临的两个主要问题。由与电子装置相关联的相机捕获的360度视频采用具有高度冗余的等矩形投影(ERP)格式，其中，该高度冗余导致极高比特率(～40Mbp s)和文件大小(10分钟～4GB)。在编码之前使用不同的投影方法来表现360度视频。二十面体投影(ISP)是用于表现360度视频的投影格式之一。
已知的用于表现360度视频内容的各种投影格式包括等矩形格式、二十面体格式、八面体格式和立方体映射格式。提出了许多用于在电子装置中在矩形投影上产生360度视频的传统设计，然而，传统方法在文件的大文件大小、不连续处、压缩效率、编码比特流质量、可靠性、成本、复杂度、使用的硬件组件、大小等方面具有优点和缺点。
因此，希望解决上述缺点或其他缺点或至少提供有用的替代方案。
技术问题
本文的实施例的主要目的是提供一种用于在电子装置中在矩形投影上产生360度内容的方法和***。
本文的实施例的另一个目的是生成包括多个顶点和形状相同的多个三角形的二十面体投影。
本文的实施例的另一个目的是识别并合并360度内容的处于二十面体投影的顶部极点的多个连续片段。
本文的实施例的另一个目的是识别并合并360度内容的处于二十面体投影的底部极点的多个连续片段。
本文的实施例的另一个目的是将所述顶部极点的片段和所述底部极点的片段排列在赤道之间，使得所述顶部极点的片段和所述底部极点的片段的排列保持360度内容的片段的连续性。
本文的实施例的另一个目的是以使得360度内容的片段中的不连续处与编码单元的边界重合的方式来排列所述顶部极点的片段和所述底部极点的片段。
本文的实施例的另一个目的是通过重新排列多个三角形来形成显示360度内容的矩形图像帧。
本文的实施例的另一个目的是基于重新排列的所述多个三角形来在矩形图像帧中呈现360度内容的片段集合的连续显示。
本文的实施例的另一个目的是当至少两个三角形在二十面体投影上不相邻但在2D矩形图像帧上彼此相邻放置时，引入边沿以减少360度内容中的不连续处。
本文的实施例的另一个目的是在矩形图像帧中提供360度内容的片段集合的连续显示以降低360度内容的比特率。
本文的实施例的另一个目的是应用滤波器以减小重新排列的多个三角形之间的不连续处的影响。
本文的实施例的另一个目的是应用填充模型以减小重新排列的多个三角形之间的不连续处的影响。
解决方案
因此，本文的实施例公开了一种用于在电子装置中在矩形投影上产生360度内容的方法。所述方法包括：生成包括多个顶点和形状相同的多个三角形的二十面体投影。所述多个三角形中的每个三角形表示所述360度内容的片段。此外，该方法包括：通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧。所述多个三角形被重新排列为在所述矩形图像帧中表现所述360度内容的最大连续性。此外，该方法包括将所述矩形图像帧存储在电子装置中。
因此，本文的实施例公开了一种用于在矩形投影上产生360度内容的电子装置。所述电子装置包括耦接到存储器和处理器的360度内容控制器。所述360度内容控制器被配置为生成包括多个顶点和形状相同的多个三角形的二十面体投影，其中，所述多个三角形中的每个三角形表示所述360度内容的片段。360度内容控制器被配置为通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧。所述多个三角形被重新排列为在所述矩形图像帧中表现所述360度内容的最大连续性。360度内容控制器被配置为将所述矩形图像帧存储在电子装置中。
附图说明
本方法在附图中被示出，其中，贯穿附图，相同的参考标记在各附图中指示对应部分。从以下参考附图的描述中将更好地理解本文的实施例，其中：
图1是根据本文公开的实施例的用于在矩形投影上产生360度内容的电子装置的框图；
图2是根据本文公开的实施例的电子装置的360度内容控制器的框图；
图3是示出根据本文公开的实施例的用于在电子装置中在矩形投影上产生360度内容的方法的流程图；
图4是示出根据本文公开的实施例的在电子装置中在矩形投影上产生360度内容时通过重新排列三角形来形成显示360度内容的矩形图像帧的方法的流程图；
图5a至5d是根据本文公开的实施例的从非帧封装的ISP来解释ISP帧封装的示例图示；
图6a是根据现有技术的以二十面体投影格式显示360度内容的示例图示；
图6b是根据本文公开的实施例的以二十面体投影格式显示360度内容的示例图示；
图7是基于当前和现有方法显示360度内容的示例图示；
图8a至8j是根据本文公开的实施例在矩形投影上显示360度内容的示例图示；
图9是在现有方法和所提出的方法之间比较二十面体投影格式中的倾斜边缘的示例图示；
图10是根据本文公开的实施例的解释输入图像和重建图像中的横跨不连续处的渗出效果(bleeding effect)的示例图示；并且
图11是根据本文公开的实施例的解释紧凑ISP布局的示例图示。
最佳实施方式
因此，本文的实施例公开了一种用于在电子装置中在矩形投影上产生360度内容的方法。该方法包括：生成包括多个顶点和形状相同的多个三角形的二十面体投影。所述多个三角形中的每个三角形表示360度内容的片段。此外，该方法包括：通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧。所述多个三角形被重新排列为在所述矩形图像帧中表现所述360度内容的最大连续性。此外，该方法包括将所述矩形图像帧存储在电子装置中。
在一个实施例中，所述二十面体投影是通过将所述360度内容的点映射到所述二十面体投影的表面来生成的。
在一个实施例中，所述二十面体投影包括12个顶点和20个面，其中，每个面是形状相同的三角形并且表示所述二十面体投影的一面。
在一个实施例中，通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧的步骤包括：识别并合并所述360度内容的处于所述二十面体投影的顶部极点的多个连续片段；识别并合并所述360度内容的处于所述二十面体投影的底部极点的多个连续片段；将所述二十面体投影的中间片段从中心划分为两个相等的片段；并且将所述顶部极点的片段和所述底部极点的片段排列在赤道之间，使得所述顶部极点的片段和所述底部极点的片段的排列保持所述360度内容的片段2D表示的连续性。
在一个实施例中，所述二十面体投影被垂直划分为所述两个片段。
在一个实施例中，所述顶部极点的片段和所述底部极点的片段以使得360度内容的片段中的大部分不连续处与编码单元的边界重合的方式被排列。
在一个实施例中，360度内容的片段的不连续处是水平不连续处、垂直不连续处和有角度不连续处中的至少一个。
在一个实施例中，当至少两个三角形在所述二十面体投影上不相邻但在所述矩形图像帧上彼此相邻放置时，引入边沿以便解决所述360度内容中的不连续处。
在一个实施例中，所述360度内容的片段集合在所述矩形图像帧中的连续显示降低了所述360度内容的比特率。
因此，本文的实施例公开了一种用于在矩形投影上产生360度内容的电子装置。所述电子装置包括耦接到存储器和处理器的360度内容控制器。所述360度内容控制器被配置为生成包括多个顶点和形状相同的多个三角形的二十面体投影，其中，所述多个三角形中的每个三角形表示所述360度内容的片段。所述360度内容控制器被配置为通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧。所述多个三角形被重新排列为在所述矩形图像帧中表现所述360度内容的最大连续性。所述360度内容控制器被配置为将所述矩形图像帧存储在电子装置中。
当结合以下描述和附图进行考虑时，将更好地领会和理解本文的实施例的这些和其他方面。然而，应该理解，以下描述虽然指示优选实施例及其许多具体细节，但是是以说明而非限制的方式给出的。在不脱本文的实施例的精神的情况下，可以在本文的实施例的范围内进行许多改变和修改，并且本文的实施例包括所有这些修改。
具体实施方式
参照在附图中示出并在以下描述中详述的非限制性实施例，本文的实施例及其各种特征和有利细节被更全面地解释。省略对众所周知的组件和处理技术的描述，以免不必要地模糊本文的实施例。此外，本文描述的各种实施例不必是相互排斥的，因为一些实施例可以与一个或更多个其他实施例组合以形成新的实施例。除非另有说明，否则本文所用的术语“或”是指非排他性的。本文使用的示例仅旨在便于理解可以实施本文的实施例的方式，并且进一步使本领域技术人员能够实施本文的实施例。因此，这些示例不应被解释为限制本文的实施例的范围。
作为本领域中的传统，可按照执行所描述的一个或更多个功能的块来描述和说明实施例。这些块(这里可称为单元或模块等)在物理上由模拟电路或数字电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)实现，并且可以可选地由固件和软件驱动。例如，所述电路可在一个或更多个半导体芯片中被实现，或者在诸如印刷电路板等的基板支撑件上被实现。构成块的电路可由专用硬件实现，或者由处理器(例如，一个或更多个编程微处理器和相关电路)实现，或者由用于执行块的一些功能的专用硬件和用于执行块的其他功能的处理器的组合来实现。在不脱离本发明的范围的情况下，实施例的每个块可以在物理上分成两个或更多个交互且离散的块。同样地，在不脱离本发明的范围的情况下，可以将实施例的块物理地组合成更复杂的块。
附图用于帮助容易地理解各种技术特征，并且应当理解，本文呈现的实施例不受附图限制。因此，除了在附图中具体陈述的那些之外，本公开应该被解释为扩展到任意修改形式、等同形式和替代形式。尽管这里可以使用术语第一、第二等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语通常仅用于将一个元素与另一个元素区分开。
术语重新排列(rearranging)和重塑(reshaping)在专利文档中可互换使用。
因此，本文的实施例实现了一种用于在电子装置中在矩形投影上产生360度内容的方法。该方法包括：生成具有多个顶点和形状相同的多个三角形的二十面体投影。所述多个三角形中的每个三角形表示所述360度内容的片段。此外，该方法包括：通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧。所述多个三角形被重新排列为在所述矩形图像帧(例如，2D矩形图像帧等)中表现所述360度内容的最大连续性。此外，该方法包括将所述矩形图像帧存储在电子装置中。
与传统***和方法不同，所提出的方法可用于在电子装置中在矩形投影上产生360度内容的同时实现比特率降低、文件大小减小、更好的图像质量和增强的编码效率。由于所提出的重新排列的特征(即，二十面体投影的顶部极点的片段和底部极点的片段被排列在二十面体投影的赤道之间，使得顶部极点的片段和底部极点的片段的排列保持360度内容的片段的连续性)，可以实现比特率降低。此外，与现有方法相比，编码比特流的比特率显著降低。编码比特流的文件大小减小。编码比特流的图像质量得到改善。
二十面体投影的顶部极点的片段和底部极点的片段被排列在二十面体投影的赤道之间，使得顶部极点的片段和底部极点的片段的排列保持360度内容的片段的连续性。与现有的重塑解决方案相比，这导致提供较小的编码文件大小，从而导致较低的存储和带宽要求。所提出的方法提供了更少的有角度不连续处(angular discontinuities)和更好的水平不连续处，这在编码处理期间中提供益处。
所提出的方法可以用于将非紧凑ISP重塑为紧凑的矩形ISP，从而与先前的重新排列方法相比保证更少的不连续处。这导致360度视频内容的压缩/编码效率提高。
该方法可以在渲染360度内容期间以相反的方式实现。该方法可用于帮助增强运动估计过程以便改善压缩性能。
所提出的方法在JVET-E1003标准中被接受。
在所提出的方法中，重塑的二十面体投影作为虚拟现实(VR)和视频应用的输入被提供。
现在参照附图，更具体地，参照图1至11，示出了优选实施例。
图1是根据本文公开的实施例的用于在矩形投影上产生360度内容的电子装置100的框图。电子装置100可以是例如但不限于智能电话、个人数字助理(PDA)、平板计算机、笔记本计算机、VR***、服务器等。360度内容可以是例如但不限于360度图像内容、360度视频内容、360度多媒体内容等。
在一个实施例中，电子装置100包括360度内容控制器110、显示器120、存储器130和处理器140。360度内容控制器110被配置为生成具有多个顶点和形状相同的多个三角形的二十面体投影。所述多个三角形中的每个三角形表现360度内容。
在一个实施例中，二十面体投影是通过将360度内容的点映射到二十面体投影的表面来生成的。
在一个实施例中，二十面体投影包括至少12个顶点和至少20个面，其中，每个面是形状相同的三角形并且表示二十面体投影的一面。
在生成具有多个顶点和形状相同的多个三角形的二十面体投影之后，360度内容控制器110被配置为通过对所述多个三角形进行重塑(即，重新排列所述多个三角形)来形成显示360度内容的矩形图像帧。
在一个实施例中，360度内容控制器110被配置为识别并合并360度内容的处于二十面体投影的顶部极点的多个连续片段。此外，360度内容控制器110被配置为识别并合并360度内容的处于二十面体投影的底部极点的多个连续片段。此外，360度内容控制器110被配置为将二十面体投影的中间片段从中心划分为两个片段。此外，360度内容控制器110被配置为将顶部极点的片段和底部极点的片段排列在赤道之间，使得顶部极点的片段和底部极点的片段的排列保持360度内容的片段的连续性。此外，顶部极点的片段和底部极点的片段以使得360度内容的片段中的不连续处与编码单元的边界重合的方式被排列布置。
在一个实施例中，360度内容的剩余片段中的不连续处是水平不连续处、垂直不连续处和有角度不连续处中的至少一个。
在一个实施例中，当至少两个三角形在二十面体投影上不相邻但在矩形图像帧上彼此相邻放置时，引入边沿以便解决360度内容中的不连续处。
在一个实施例中，滤波器(未示出)被应用以在三角形面之间包括边沿，以减小重塑的三角形中的不连续处的影响。
在一个实施例中，填充模型被应用以在三角形面之间包括边沿，以减小重塑的三角形中的不连续处的影响。
在一个实施例中，360度内容控制器110可被用于通过在重塑的三角形之间应用基于滤波器的填充来减小重塑的三角形中的不连续处的影响。基于滤波器的填充对应于任意填充过程(例如，双线性填充过程、加权平均填充过程等)。
在一个实施例中，360度内容的片段集合在矩形图像帧中的连续显示降低了360度内容的比特率。
在一个实施例中，当至少两个三角形相邻地面向彼此时，检测出顶部极点和底部极点的连续片段。
在一个实施例中，重塑的三角形在矩形图像帧中呈现360度内容的片段集合的连续显示。
此外，存储器130将矩形图像帧存储在电子装置100中。存储器130存储矩形图像帧以在显示屏幕(未示出)上显示360度内容。存储器130还存储将由处理器140执行的指令。存储器130可以包括非易失性存储元件。这种非易失性存储元件的示例可包括磁性硬盘、光盘、软盘、闪存、或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。另外，在一些示例中，存储器130可被认为是非暂时性存储介质。术语“非暂时性”可指示存储介质不以载波或传播信号来实现。然而，术语“非暂时性”不应解释为存储器130是不可移动的。在一些示例中，存储器130可被配置为存储比存储器更大量的信息。在某些示例中，非暂时性存储介质可(例如，在随机存取存储器(RAM)或高速缓存中)存储可随时间变化的数据。
处理器140被配置为执行存储在存储器130中的指令并执行各种处理。显示器120被配置为在矩形投影上显示360度内容。通信器(未示出)被配置为在内部硬件组件之间进行内部通信以及经由一个或更多个网络与外部装置进行通信。通信器被配置用于与360度内容控制器110进行通信。
此外，处理器140对矩形图像帧进行编码以进行流传输，并对矩形图像帧进行解码。此外，处理器140利用解码的重塑矩形图像帧作为VR应用和视频应用的输入。
尽管图1示出了电子装置100的各种硬件组件，但是应该理解，其他实施例不限于此。在其他实施例中，电子装置100可包括更少或更多数量的组件。此外，组件的标签或名称仅用于说明目的，并不限制本发明的范围。可将一个或更多个组件组合在一起以执行相同或基本相似的功能，以在电子装置100中在矩形投影上产生360度内容。
图2是根据本文公开的实施例的电子装置100的360度内容控制器110的框图。在一个实施例中，360度内容控制器110包括二十面体投影控制器112、三角形形状控制器114和滤波器116。三角形形状控制器114包括连续片段检测器114a和极点合并器114b。
在一个实施例中，二十面体投影控制器112被配置为生成包括多个顶点和形状相同的多个三角形的二十面体投影。在生成具有多个顶点和形状相同的多个三角形的二十面体投影之后，三角形形状控制器114被配置为通过重塑所述多个三角形来形成显示360度内容的矩形图像帧。
在一个实施例中，连续片段检测器114a被配置为识别并合并360度内容的处于二十面体投影的顶部极点的多个连续片段。此外，连续片段检测器114a被配置为识别并合并360度内容的处于二十面体投影的底部极点的多个连续片段。此外，极点合并器114b被配置为将二十面体投影的中间片段从中心划分为两个片段。此外，极点合并器114b被配置为将顶部极点的片段和底部极点的片段排列在赤道之间，使得顶部极点的片段和底部极点的片段的排列保持360度内容的片段的连续性。
在一个实施例中，极点合并器114b被配置为以使得360度内容的片段中的不连续处与编码单元的边界重合的方式来排列顶部极点的片段和底部极点的片段。
在一个实施例中，应用滤波器116以减小重塑的三角形中的不连续处的影响。滤波器116可以是低通滤波器。
尽管图2示出了360度内容控制器110的各种硬件组件，但是应该理解，其他实施例不限于此。在其他实施例中，360度内容控制器110可包括更少或更多数量的组件。此外，组件的标签或名称仅用于说明目的，并不限制本发明的范围。可将一个或更多个组件组合在一起以执行相同或基本相似的功能，以在电子装置100中在矩形投影上产生360度内容。
图3是示出根据本文公开的实施例的用于在电子装置100中在矩形投影上产生360度内容的方法的流程图300。
在302，该方法包括：生成包括多个顶点和形状相同的多个三角形的二十面体投影。所述多个三角形中的每个三角形表现360度内容。在一个实施例中，该方法允许360度内容控制器110生成包括多个顶点和形状相同的多个三角形的二十面体投影。
在304，该方法包括通过重塑所述多个三角形来形成显示360度内容的矩形图像帧。重塑的多个三角形在矩形图像帧中呈现360度内容的片段集合的连续显示。在一个实施例中，该方法允许360度内容控制器110通过重塑所述多个三角形来形成显示360度内容的矩形图像帧。
在306，该方法包括将矩形图像帧存储在电子装置100中。在一个实施例中，该方法允许存储器130将矩形图像帧存储在电子装置100中。
流程图300中的各种动作、行为、块、步骤等可以以所呈现的顺序、以不同的顺序或被同时执行。此外，在一些实施例中，在不脱离本发明的范围的情况下，一些动作、行为、块、步骤等可被省略、添加、修改、跳过等等。
图4是示出根据本文公开的实施例的用于在电子装置100中在矩形投影上产生360度内容的同时通过重塑三角形来形成显示360度内容的矩形图像帧的方法的流程图304。
在304a，该方法包括识别并合并360度内容的处于二十面体投影的顶部极点的多个连续片段。在一个实施例中，该方法允许连续片段检测器114a识别并合并360度内容的处于二十面体投影的顶部极点的多个连续片段。
在304b，该方法包括识别并合并360度内容的处于二十面体投影的底部极点的多个连续片段。在一个实施例中，该方法允许连续片段检测器114a识别并合并360度内容的处于二十面体投影的底部极点的多个连续片段。
在304c，该方法包括将二十面体投影的中间片段从中心划分为两个片段。在一个实施例中，该方法允许极点合并器114b将二十面体投影的中间片段从中心划分为两个片段。
在304d，该方法包括将顶部极点的片段和底部极点的片段排列在赤道之间，使得顶部极点的片段和底部极点的片段的排列保持360度内容的片段的连续性。在一个实施例中，该方法允许极点合并器114b将顶部极点的片段和底部极点的片段排列在赤道之间，使得顶部极点的片段和底部极点的片段的排列保持360度内容的片段的连续性。
流程图304中的各种动作、行为、块、步骤等可以以所呈现的顺序、以不同的顺序或被同时执行。此外，在一些实施例中，在不脱离本发明的范围的情况下，一些动作、行为、块、步骤等可被省略、添加、修改、跳过等等。
图5a至5d是根据本文公开的实施例的从非帧封装的ISP解释ISP帧封装的示例图示。
图5a示出非紧凑ISP。三角形标记为0到19(即，总共20个三角形)。参照图5b，顶部极点为浅灰色，赤道为中灰色，底部极点为深灰色。在顶部极点中，三角形0被反转并且放置在三角形8旁边。三角形6被旋转60度并放置在三角形8旁边，以使三角形8和三角形6连续。此外，三角形4被旋转120度并且放置在三角形4旁边。此外，三角形2被旋转180度并且放置在三角形4旁边。此外，底部极点遵循类似的旋转和放置。
对于赤道，如图5b所示，首先将相邻的三角形放置在一起，然后将它们划分为相等的两半，三角形3号和13号被对半划分，并且三角形3的剩余半部分保持处于靠近三角形17的一端。如图5c所示，三角形3的左半部分保持在布局的顶部，并且三角形3的右半部分朝向布局的底部放置。
此外，如图5d所示，三角形4和6被对半划分，并且三角形4和6的半部分被放置在三角形14和12旁边。这在没有间隙且在具有极少不连续处的情况下完成了将图5a中的布局帧封装为图5d中的矩形布局。
图6a是根据现有技术的以ISP投影格式显示360度内容的示例图示。如图6a所示，在非紧凑ISP格式中存在许多不连续处。在传统的视频编码过程中，将视频帧视为2D平面。现有方法中描述的ISP格式利用20个三角形将全向视频投影到2D平面上。另外，在现有方法中使用帧封装过程来移除未使用的部分以避免未使用的部分被视为编码器的有效输入。所描绘的紧凑ISP布局包含许多不连续边缘。
图6b是根据本文公开的实施例的以ISP投影格式显示360度内容的示例图示。如图6b所示，在非紧凑ISP格式中没有不连续处。这导致压缩效率和编码比特流的质量得到提高。与图6a不同，如图6b所示的所提出的方法可用于实现面边缘之间的最大连续性，从而得到更高的压缩效率。所提出的三角形重新排列方法在图6b中被示出。所提出的方法可用于将三角形之间的不连续处从10个减少到8个，其中四个是水平的。因此，水平不连续处对压缩效率的影响最小。
图7是基于当前和现有方法显示360度内容的示例图示。图7的标号“a”描绘了ERP。图7的标号“b”描绘现有的重塑ISP，图7的标号“c”描绘所提出的重塑ISP。
图8a至8j是根据本文公开的实施例的360度内容被显示在矩形投影上的示例图示。
如图8a所示，电子装置100接收ERP图像。在接收到ERP图像之后，如图8b所示，电子装置100将ERP图像转换为360ISP格式。如图8c所示，电子装置100识别并合并360度内容的处于360ISP格式的顶部极点的多个连续片段。如图8d和图8e所示，电子装置100识别并合并360度内容的处于360ISP格式的底部极点的多个连续片段。如图8f所示，相邻三角形被放置在一起，并且电子装置100将360度内容的处于360ISP格式的底部极点和顶部极点的多个连续片段进行对准。
此外，电子装置100将三角形的特定片段划分为相等的半个三角形。如图8g和图8h所示，所述第一部分的半个三角形保持在360度内容的顶部极点上，所述第二部分的半个三角形朝向360度内容的底部极点被放置。此外，如图8i和图8j所示，电子装置100将顶部极点的片段和底部极点的片段排列在赤道之间，使得顶部极点的片段和底部极点的片段的排列保持360度内容的片段的连续性。
图9是在现有方法和所提出的方法之间比较二十面体投影格式中的倾斜边缘的示例图示。360度内容的顶部极点和底部极点内的连续性在图9的标号“b”中如箭头所示。由于360度内容的顶部极点和底部极点内的连续性，编码单元的边界与三角形边缘重合，因此与图9的标号“a”中的现有的重塑的ISP相比，具有更少的有角度不连续处。
在所提出的方法中，电子装置100可用于使360度内容中的不连续处的数量最少。此外，顶部极点的片段和底部极点的片段以使得360度内容的片段中的不连续处与编码单元的边界重合的方式被排列。这导致更高的压缩效率。
图10是根据本文公开的实施例的解释输入图像和重建图像中的横跨不连续处的渗出效应的示例图示。如图10所示，已经观察到三角形之间的不连续处导致重建图像上的渗出效应。特别是在高QP值时，这种效应被明显地观察到。为了防止这种视觉伪影，推荐在不连续边缘之间引入填充。
在图10的标号“a”中示出输入图像中的横跨不连续处的渗出效应，并且在图10的标号“b”中示出重建图像中的横跨不连续处的渗出效应。
图11是根据本文公开的实施例的解释紧凑ISP布局的示例图示。
在一个示例中，ISP投影格式具有12个顶点和20个面。每个面是与二十面体的面形状相同的三角形。
如图11所示，对于紧凑ISP(CISP)，所有20个三角形面都被压缩到矩形帧。在压缩矩形帧时，一些三角形被垂直分成两部分，一些三角形被垂直翻转或水平翻转。
在一个实施例中，按照2个三角形之间的边界水平的4个样本边沿被引入，以便确保针对非4：4：4格式的每个亮度样本总是使用适当的色度样本，并且保持所得到的帧大小为8的倍数。这些额外的样本在CISP中不会用于球体(或视口)投影，因此它们只是使用来自三角形面或来自球体上的相应位置的最近的样点进行填充的。
如果两个三角形面在二十面体和矩形编码投影上都彼此相邻，则不存在不连续处。但是如果两个三角形面在二十面体上不相邻而在矩形帧上彼此相邻放置，则引入边沿以便解决不连续处，简化编码并减少在编码期间可能出现在三角形边界上的伪像。来自边沿的再有额外样本在CISP中不会用于球体(或视口)投影，因此它们只是使用来自相邻面的相对边缘的最近可用样本的双线性组合进行填充的(或者，如果只有一个邻近的边可用，则它们只是复制的)。解决不连续处的边沿的大小是水平方向上的64个样本和相应的垂直方向上的32个样本。
如图11的标号“C”，CISP具有表现二十面体的不同部分的多边形的三个连续集合。它们的三角形索引是：
集合A：2；4-1；6-2；8；13-2；9；15；1；17；3-2。
集合B：3-1；19；5；11；7；13-1；18；10；12；14；16。
集合C：6-1；4-2。
在以下面之间存在垂直不连续处：19和2；18和0；16和1；13-1和6-1。在以下面之间存在水平不连续处：1和18；0和16；14和4-2；12和6-1
针对三角形面的集合的位移在表1中被总结。表1示出CISP中的针对面集合的位移。
[表1]
| 移位 | A组 | B组 | C组 |
| 垂直移位 | V_a | V_b | V_c |
| 水平移位 | H_a | H_b | H_c |
图11的标号“B”指定每个边界上的填充过程：
顶行中的H_b个像素和底行中的H_c个像素；使用复制填充方法，
用双线性滤波器来填充V_a个像素，
用双线性滤波器来填充H_b个像素，
用双线性滤波器来填充V_c个像素。
此外，CISP矩形帧的尺寸基于矩形面的宽度(W)和高度(H)以及水平(p_h)和垂直(p_v)填充尺寸被如下计算：
W_CISP＝5·(W/2+4)+2·p_h
H_CISP＝4·H+p_v
其中，对于W计算，存在倍数5，这是因为CISP在每个水平线中具有5个三角形边界。对于H计算，存在倍数4，这是因为CISP在每个垂直线中具有4个三角形边界。
特定实施例的前述描述将充分地揭示本文的实施例的总体性质，使得其他人可通过应用当前知识，在不脱离总体构思的情况下容易地修改和/或改编这样的特定实施例的各种应用，并且因此，这样的改编和修改应该并且意图在所公开的实施例的等同物的含义和范围内进行理解。将理解，本文采用的措辞或术语是出于描述的目的而非限制。因此，尽管已经根据优选实施例描述了本文的实施例，但是本领域技术人员将认识到，可以在本文所述的实施例的精神和范围内通过修改来实施本文的实施例。
Claims (22)
1.一种在电子装置中在矩形投影上产生360度内容的方法，包括：
生成包括多个顶点和形状相同的多个三角形的二十面体投影，其中，所述多个三角形中的每个三角形表示所述360度内容的片段；
通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧，其中，所述多个三角形被重新排列为在所述矩形图像帧中表现所述360度内容的最大连续性；并且
将所述矩形图像帧存储在所述电子装置中。
2.如权利要求1所述的方法，其中，所述二十面体投影是通过将所述360度内容的点映射到所述二十面体投影的表面来生成的。
3.如权利要求1所述的方法，其中，所述二十面体投影包括至少12个顶点和至少20个三角形面，其中，每个三角形面形状相同并且表示所述二十面体投影的一面。
4.如权利要求1所述的方法，其中，通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧的步骤包括：
识别并合并所述360度内容的处于所述二十面体投影的顶部极点的多个连续片段；
识别并合并所述360度内容的处于所述二十面体投影的底部极点的多个连续片段；
将所述二十面体投影的赤道从中心划分为两个相等的片段；并且
将所述顶部极点的片段和所述底部极点的片段排列在所述赤道之间，使得所述顶部极点的片段和所述底部极点的片段的排列保持所述360度内容的片段的连续性。
5.如权利要求4所述的方法，其中，所述二十面体投影被垂直划分为两个片段。
6.如权利要求4所述的方法，其中，所述顶部极点的片段和所述底部极点的片段以使得360度内容的片段中的不连续处与编码单元的边界重合的方式被排列。
7.如权利要求1所述的方法，其中，360度内容的剩余片段中的不连续处是水平不连续处、垂直不连续处和有角度不连续处中的至少一个。
8.如权利要求6所述的方法，其中，当至少两个三角形在所述二十面体投影上不相邻但在所述矩形图像帧上彼此相邻放置时，引入边沿以便减小所述360度内容中的不连续处的影响。
9.如权利要求6所述的方法，其中，滤波器和填充模型中的至少一个被应用以减小重塑的多个三角形中的不连续处的影响。
10.如权利要求1所述的方法，其中，所述360度内容的片段集合在所述矩形图像帧中的连续显示降低了所述360度内容的比特率。
11.如权利要求11所述的方法，其中，当至少两个三角形相邻地面向彼此时，所述顶部极点和所述底部极点的连续片段被检测出。
12.一种用于在矩形投影上产生360度内容的电子装置，包括：
存储器；
处理器；以及
被耦接到存储器和处理器的360度内容控制器，被配置为进行以下操作：
生成包括多个顶点和形状相同的多个三角形的二十面体投影，其中，所述多个三角形中的每个三角形表示所述360度内容；
通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧，其中，所述多个三角形被重新排列为在所述矩形图像帧中表现所述360度内容的最大连续性；并且
将所述矩形图像帧存储在所述电子装置中。
13.如权利要求12所述的电子装置，其中，所述二十面体投影是通过将所述360度内容的点映射到所述二十面体投影的表面来生成的。
14.如权利要求12所述的电子装置，其中，所述二十面体投影包括至少12个顶点和至少20个面，其中，每个面是形状相同的三角形并且表示所述二十面体投影的一面。
15.如权利要求12所述的电子装置，其中，通过重新排列所述多个三角形来形成显示所述360度内容的矩形图像帧的操作包括：
识别并合并所述360度内容的处于所述二十面体投影的顶部极点的多个连续片段；
识别并合并所述360度内容的处于所述二十面体投影的底部极点的多个连续片段；
将所述二十面体投影的赤道从中心划分为两个片段；并且
将所述顶部极点的片段和所述底部极点的片段排列在赤道之间，使得所述顶部极点的片段和所述底部极点的片段的排列保持所述360度内容的片段的连续性。
16.如权利要求15所述的电子装置，其中，所述二十面体投影被垂直划分为所述两个片段。
17.如权利要求15所述的电子装置，其中，所述顶部极点的片段和所述底部极点的片段以使得所述360度内容的片段中的不连续处与编码单元的边界重合的方式被排列。
18.如权利要求12所述的电子装置，其中，所述360度内容的剩余片段中的不连续处是水平不连续处、垂直不连续处和有角度不连续处中的至少一个。
19.如权利要求17所述的电子装置，其中，当至少两个三角形在所述二十面体投影上不相邻但在所述矩形图像帧上彼此相邻放置时，引入边沿以便解决所述360度内容中的不连续处。
20.如权利要求17所述的电子装置，其中，滤波器和填充模型中的至少一个被应用以减小重塑的多个三角形中的不连续处的影响。
21.如权利要求12所述的电子装置，其中，所述360度内容的片段集合在所述矩形图像帧中的连续显示降低了所述360度内容的比特率。
22.如权利要求12所述的电子装置，其中，当至少两个三角形相邻地面向彼此时，所述顶部极点和所述底部极点的连续片段被检测出。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN201641043297 | 2016-12-19 | ||
| IN201641043297 | 2017-12-18 | ||
| PCT/KR2017/015004 WO2018117587A1 (en) | 2016-12-19 | 2017-12-19 | Method and system for producing 360 degree content on rectangular projection in electronic device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110115026A true CN110115026A (zh) | 2019-08-09 |
| CN110115026B CN110115026B (zh) | 2021-07-13 |
Family
ID=62639177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780078637.4A Active CN110115026B (zh) | 2016-12-19 | 2017-12-19 | 在电子装置中在矩形投影上产生360度内容的方法和*** |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110115026B (zh) |
| WO (1) | WO2018117587A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022006504A1 (en) * | 2020-07-03 | 2022-01-06 | Pfetch, Inc. | Remote attendance and participation systems and methods |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060034523A1 (en) * | 2004-08-13 | 2006-02-16 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding an icosahedron panorama image |
| CN101399621A (zh) * | 2007-09-24 | 2009-04-01 | 中兴通讯股份有限公司 | 空间射频性能测试方法及*** |
| CN101688978A (zh) * | 2007-05-09 | 2010-03-31 | 费利克斯·R·拉雷塔 | 视觉图像显示装置以及使用该装置形成期望图像的方法 |
| CN102239506A (zh) * | 2008-10-02 | 2011-11-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
| US20120151885A1 (en) * | 2010-12-16 | 2012-06-21 | Sanyo Electric Co., Ltd. | Air filter device and electronic device |
| CN103116904A (zh) * | 2012-10-23 | 2013-05-22 | 北京航空航天大学深圳研究院 | 一种三维模型的二维特征提取***与提取方法 |
| US8602790B1 (en) * | 2010-06-04 | 2013-12-10 | Museum of Mathematics | Demonstration tools for geometric properties |
| CN103514393A (zh) * | 2012-06-20 | 2014-01-15 | 上海市上海中学 | 一种三维验证码的实现方法 |
| CN103677270A (zh) * | 2013-12-13 | 2014-03-26 | 电子科技大学 | 一种基于眼动跟踪的人机交互方法 |
| US20140132598A1 (en) * | 2007-01-04 | 2014-05-15 | Hajime Narukawa | Method of mapping image information from one face onto another continous face of different geometry |
| WO2014176682A1 (en) * | 2013-05-01 | 2014-11-06 | Lumo Play, Inc. | Content generation for interactive video projection systems |
| JP2014208972A (ja) * | 2014-07-01 | 2014-11-06 | 和彦 志村 | 脱着式ドーム型構造体 |
| CN104217459A (zh) * | 2014-09-04 | 2014-12-17 | 天津大学 | 一种球面特征提取方法 |
| CN105043403A (zh) * | 2015-08-13 | 2015-11-11 | 武汉光庭信息技术有限公司 | 高精度地图路线规划***及方法 |
| CN105243137A (zh) * | 2015-09-30 | 2016-01-13 | 华南理工大学 | 一种基于草图的三维模型检索视点选择方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9918082B2 (en) * | 2014-10-20 | 2018-03-13 | Google Llc | Continuous prediction domain |
-
2017
- 2017-12-19 CN CN201780078637.4A patent/CN110115026B/zh active Active
- 2017-12-19 WO PCT/KR2017/015004 patent/WO2018117587A1/en active Application Filing
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060034523A1 (en) * | 2004-08-13 | 2006-02-16 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding an icosahedron panorama image |
| US20140132598A1 (en) * | 2007-01-04 | 2014-05-15 | Hajime Narukawa | Method of mapping image information from one face onto another continous face of different geometry |
| CN101688978A (zh) * | 2007-05-09 | 2010-03-31 | 费利克斯·R·拉雷塔 | 视觉图像显示装置以及使用该装置形成期望图像的方法 |
| CN101399621A (zh) * | 2007-09-24 | 2009-04-01 | 中兴通讯股份有限公司 | 空间射频性能测试方法及*** |
| CN102239506A (zh) * | 2008-10-02 | 2011-11-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
| US8602790B1 (en) * | 2010-06-04 | 2013-12-10 | Museum of Mathematics | Demonstration tools for geometric properties |
| US20120151885A1 (en) * | 2010-12-16 | 2012-06-21 | Sanyo Electric Co., Ltd. | Air filter device and electronic device |
| CN103514393A (zh) * | 2012-06-20 | 2014-01-15 | 上海市上海中学 | 一种三维验证码的实现方法 |
| CN103116904A (zh) * | 2012-10-23 | 2013-05-22 | 北京航空航天大学深圳研究院 | 一种三维模型的二维特征提取***与提取方法 |
| WO2014176682A1 (en) * | 2013-05-01 | 2014-11-06 | Lumo Play, Inc. | Content generation for interactive video projection systems |
| CN103677270A (zh) * | 2013-12-13 | 2014-03-26 | 电子科技大学 | 一种基于眼动跟踪的人机交互方法 |
| JP2014208972A (ja) * | 2014-07-01 | 2014-11-06 | 和彦 志村 | 脱着式ドーム型構造体 |
| CN104217459A (zh) * | 2014-09-04 | 2014-12-17 | 天津大学 | 一种球面特征提取方法 |
| CN105043403A (zh) * | 2015-08-13 | 2015-11-11 | 武汉光庭信息技术有限公司 | 高精度地图路线规划***及方法 |
| CN105243137A (zh) * | 2015-09-30 | 2016-01-13 | 华南理工大学 | 一种基于草图的三维模型检索视点选择方法 |
Non-Patent Citations (2)
| Title |
|---|
| VLADYSLAV ZAKHARCHENKO等: "《AhG8: Icosahedral projection for 360-degree video content》", 《JOINT VIDEO EXPLORATION TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 4TH MEETING: CHENGDU,CN》 * |
| 童晓冲等: "《基于二十面体剖分格网的球面实体表达与Voronoi图生成》", 《武汉大学学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018117587A1 (en) | 2018-06-28 |
| CN110115026B (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110169076B (zh) | 用于编码/解码视频数据的方法与装置 | |
| CN107454468B (zh) | 对沉浸式视频进行格式化的方法、装置和流 | |
| US10356386B2 (en) | Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping | |
| US20200296397A1 (en) | Methods and apparatus for signaling spatial relationships for point cloud multimedia data tracks | |
| US7656403B2 (en) | Image processing and display | |
| US20170094262A1 (en) | Method, system and apparatus for generation and playback of virtual reality multimedia | |
| US20190191170A1 (en) | System and method for improving efficiency in encoding/decoding a curved view video | |
| CN110463196A (zh) | 用于传输立体视频内容的方法和装置 | |
| CN104272740A (zh) | 颜色缓冲和深度缓冲压缩 | |
| GB2457646A (en) | Data decompression of textures including large colour discontinuities | |
| CN114641802A (zh) | 用于对体积视频进行编码、传输和解码的方法和装置 | |
| TW201921919A (zh) | 影像處理裝置及檔案生成裝置 | |
| WO2022023002A1 (en) | Methods and apparatus for encoding and decoding a 3d mesh as a volumetric content | |
| CN113906761A (zh) | 利用修补补片对3d场景进行编码和渲染的方法和装置 | |
| TWI681662B (zh) | 用於減少基於投影的圖框中的偽影的方法和裝置 | |
| KR20220109433A (ko) | 다중 뷰포인트 3DoF+ 콘텐츠의 인코딩 및 디코딩을 위한 방법 및 장치 | |
| EP2956911A1 (en) | Method and device for establishing the frontier between objects of a scene in a depth map | |
| CN110115026A (zh) | 在电子装置中在矩形投影上产生360度内容的方法和*** | |
| KR20230130756A (ko) | 셰이딩 아틀라스를 사용한 분할 렌더링에서의 에러 은닉 | |
| US20150326873A1 (en) | Image frames multiplexing method and system | |
| CN104919812B (zh) | 处理视频的设备和方法 | |
| CN114945946A (zh) | 具有辅助性分块的体积视频 | |
| CN115443654A (zh) | 用于对体积视频进行编码和解码的方法和装置 | |
| WO2020012071A1 (en) | A method, an apparatus and a computer program product for volumetric video coding | |
| CN113228658A (zh) | 沉浸式视频比特流处理 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |