CN110495181A - 用于发送关于三维图像的数据的方法 - Google Patents

用于发送关于三维图像的数据的方法 Download PDF

Info

Publication number
CN110495181A
CN110495181A CN201880022470.4A CN201880022470A CN110495181A CN 110495181 A CN110495181 A CN 110495181A CN 201880022470 A CN201880022470 A CN 201880022470A CN 110495181 A CN110495181 A CN 110495181A
Authority
CN
China
Prior art keywords
region
image
track
omni
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880022470.4A
Other languages
English (en)
Inventor
E.叶普
禹志焕
崔秉斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170175049A external-priority patent/KR102331041B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/001286 external-priority patent/WO2018182161A1/ko
Publication of CN110495181A publication Critical patent/CN110495181A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种用于由服务器发送关于全向图像的数据的方法。该方法包括步骤：从终端接收关于终端的视口的信息；基于关于视口的信息和与全向图像相关联的多个轨道的相应质量，选择所述多个轨道中的至少一个轨道；以及向终端发送关于选择的至少一个轨道的数据。

Description

用于发送关于三维图像的数据的方法
技术领域
本公开涉及一种用于发送三维(3D)图像的数据的方法和设备。
背景技术
随着虚拟现实(VR)和增强现实(AR)技术的发展，用于处理和发送3D图像(或全向(omnidirectional)图像)以在能够提供VR或AR的设备上显示的技术也正在改进。
为了向穿戴VR设备的用户提供全向图像，包括全向图像的数据的3D图像的数据可能具有非常大的大小。因此，发送3D图像的数据可能由于数据大小而增加发送***的负荷。具体地，3D图像的数据的大小可能是实时提供3D图像中的重大限制。
发明内容
技术问题
为了减少与3D图像有关的数据业务量，服务器可以生成包括不同的3D图像信息的多个轨道(tracks)，并且可以仅将从多个轨道中选择的至少一个轨道的数据发送到终端(例如，VR设备)。在这种情况下，需要一种用于构建多个轨道的方法和一种用于从多个轨道中选择要发送的至少一个轨道的方法，以便改进发送和处理3D图像的数据的效率。
此外，为了减少与3D图像有关的数据业务量，3D图像的所有区域的数据可以被配置为具有不同的质量，而不是具有均一的质量。因此，需要一种用于从3D图像的数据配置和利用质量信息的有效方法。
因此，本公开的一个方面是提供一种用于构建与3D图像相关联的多个轨道并从多个轨道中选择要发送的至少一个轨道的方法和设备。
本公开的另一方面是提供一种用于从3D图像的数据配置和利用质量信息的方法和设备。
本公开的方面不限于上述技术方面，并且本领域技术人员从以下描述中将清楚地理解未提及的其他方面。
技术方案
根据本公开的实施例，一种用于由服务器发送全向图像的数据的方法包括：从终端接收关于终端的视口的信息；基于关于视口的信息和与全向图像相关联的多个轨道中的每个轨道的质量，选择所述多个轨道中的至少一个轨道；以及向终端发送选择的至少一个轨道的数据。
根据本公开的另一实施例，一种用于发送全向图像的数据的服务器包括通信接口；和配置为连接到通信接口的处理器，其中所述处理器被配置为：从终端接收关于终端的视口的信息；基于关于视口的信息和与全向图像相关联的多个轨道中的每个轨道的质量，选择所述多个轨道中的至少一个轨道；以及向终端发送选择的至少一个轨道的数据。
在详细描述和附图中包括其他实施例的细节。
有益效果
本公开的实施例至少具有以下效果。
可以提供一种用于构建与3D图像相关联的多个轨道并从多个轨道中选择要发送的至少一个轨道的方法和设备。
还可以提供一种用于从3D图像的数据配置和利用质量信息的方法和设备。
本公开的效果不受上面提供的内容的限制，并且说明书中包括各种其他效果。
附图说明
图1示出了根据本公开的实施例的用于发送3D图像的数据的发送器的***；
图2示出了根据本公开的实施例的将3D图像投影为2D图像并打包(pack)投影的2D图像的示例；
图3示出了根据本公开的实施例的用于接收3D图像的数据的接收器的***；
图4是示出了根据本公开的实施例的服务器和终端的操作的流程图；
图5示出了根据本公开的实施例的多个轨道；
图6示出了根据本公开的另一实施例的多个轨道；
图7示出了根据本公开的又一实施例的多个轨道；
图8示出了由图7的多个轨道表示的2D图像；
图9示出了根据本公开的实施例的包括具有不同质量的区域的2D图像；以及
图10是示出了根据本公开的实施例的发送器的框图。
具体实施方式
通过参考下面结合附图详细描述的本公开的实施例，本公开的优点和特征以及实现本公开的优点和特征的方法将是清楚的。然而，本公开不限于下面阐述的实施例，而是可以以各种不同的形式实现。提供以下实施例仅是为了完全公开本公开并且使本领域技术人员知晓本公开的范围，并且本公开仅由所附权利要求的范围限定。
将理解，尽管这里可以使用术语“第一”、“第二”等来描述各种元件或组件，但是这些元件或组件不应受这些术语的限制。这些术语仅用于将一个元件或组件与另一元件或组件区分开。因此，在不脱离本公开的范围的情况下，下面讨论的第一元件或组件可以被称为第二元件或组件。
图1示出了根据本公开的实施例的用于发送3D图像的数据的发送器的***。
图1示出了根据本公开的实施例的发送器的***。发送器可以是提供与3D图像相关联的数据或服务的服务器。这里，3D图像可以指动态图像和静态图像两者。发送器可以生成或接收3D图像(110)。发送器可以通过拼接(stitch)由多个相机在不同方向上捕获的图像来生成3D图像。发送器可以从外部接收已经产生的3D图像的数据。3D图像可以以球体、立方体、圆柱体或八面体的任何形状渲染。然而，提供3D图像的所示形状是出于说明性目的，并且可以生成或接收在本技术领域中可用的各种形状的3D图像。
发送器可以将3D图像投影为2D图像(120)。为了将3D图像投影为2D图像，可以使用等距柱状投影(ERP)、八面体投影(OHP)、圆柱体投影、立方体投影和本技术领域中可用的各种投影方法中的任何一种。
发送器可以打包投影的2D图像(130)。打包可以指示通过修改和/或重新布置投影的2D图像中包括的多个区域中的至少一些来生成新的2D图像(即，打包的2D图像)。这里，修改区域可以指示对区域进行尺寸调整、变换、旋转和/或重新采样(例如，根据区域中的位置的上采样、下采样或差分采样)。这些打包方法可以称为按区域打包(region-wisepacking)。
在下文中，将参考图2详细描述投影120和打包130。图2示出了根据本公开的实施例的将3D图像投影为2D图像并打包投影的2D图像的示例。在图2中，说明性3D图像210可以具有球形形状。可以通过说明性ERP方法投影3D图像210，从而生成投影的2D图像220。投影的2D图像220可以被划分为多个区域221、222、223和224。用于划分投影的2D图像220的方法可以取决于实施例而变化。
可以从投影的2D图像220生成打包的2D图像230。可以通过修改或重新布置投影的2D图像220的多个区域221、222、223和224来生成打包的2D图像230。打包的2D图像230的多个区域231、232、233和234可以分别顺序地对应于投影的2D图像220的多个区域221、222、223和224。出于说明的目的提供图2中所示的打包的2D图像230的多个区域231、232、233和234的修改和重新布置，并且可以取决于实施例采可以用各种修改和重新布置。
为了指示区块(tile)区域(即，投影的2D图像的多个区域)，可以使用TileRegionGroupEntry。表1中示出了TileRegionGroupEntry的语法。
[表1]
如下描述了上述语法的参数的语义。
groupID-是通过该样本组条目描述的区块区域组的唯一标识符。区块区域组条目中的groupID的值需要大于0。值0被保留用于特殊用途。当存在类型“nalm”的SampleToGroupBox和与“trif”相同类型的grouping_type_parameter时，存在类型“trif”的SampleGroupDescriptionBox，以下内容适用。
-区块区域组条目中的groupID的值需要与NALUMapEntry(NALU映射条目)的条目中的一个条目的groupID相同。
-通过NALUMapEntry映射到groupID 0的网络抽象层(NAL)单元指示需要NAL单元以解码与NAL单元相同的被编码图片中的任何区块区域。
(尽管可能存在具有相同的horizontal_offset、vertical_offset、region_width和region_height值的多个区块区域组条目，但是多个区块区域组条目可以具有不同的组ID值以便描述各种依赖性(dependencies)。)
tile_region_flag-tile_region_flag等于1指定由图片中的NAL单元覆盖的并且与区块区域组条目相关联的区域是区块区域，并且在区块区域组条目中经由后续字段提供关于区块区域的附加信息。值0指定由图片中的NAL单元覆盖的并且与区块区域组条目相关联的区域不是区块区域，并且在区块区域组条目中不提供关于该区域的附加信息。当在一个或多个轨道中返回多层比特流时，以下限制适用于比特流的两个随机层，即layerA(层A)和layerB(层B)。当对应于layerA的NAL单元的tile_region_flag与作为等于1的groupID的gIdA相关联并且对应于layerB的NAL单元的tile_region_flag与作为等于1的groupID的gIdB相关联时，gIdA和gIdB需要不同。
independent_idc-指定与区块区域组条目相关联的每个区块区域与同一层中的同一图片或参考图片内的其他区块区域之间的编码依赖性。层间依赖性由dependencyTileGroupID的列表指示(当has_dependency_list等于1时)。该字段具有以下值。
-当independent_idc等于0时，通过dependencyTileGroupID的列表(当has_dependency_list等于1时)或未知项(unknown)(当has_dependency_list等于0时)描述该区块区域与同一层中的同一图片或参考图片内的其他区块区域之间的编码依赖性。
-当independent_idc等于1时，在该区块区域与同一层中的随机参考图片内具有不同组ID的区块区域之间不存在时间依赖性，但是在该区块区域与同一层中的参考图片内具有相同组ID的区块区域之间存在编码依赖性。
-当independent_idc等于2时，在该区块区域与同一层中的参考图片内的随机区块区域之间不存在编码依赖性。
-值3被保留。
full_picture-当设置该字段时，该区块区域组条目指示完整图片。region_width和region_height需要分别设置为整个图片的宽度和高度，并且independent_idc需要设置为1或2。
filtering_disabled-当设置该字段时，关于与该区块区域组条目相关联的每个区块区域，环路(in-loop)滤波操作不需要访问与该区块区域邻近的像素。也就是说，在不解码邻近的区块的情况下区块区域的比特精确(bit-exact)重建是可能的。
has_dependency_list-当设置为1时，该字段指示如果dependency_tile_count超过0，则存在dependency_tile_count和dependencyTileGroupID列表。当该字段设置为0时，既没有dependency_tile_count也没有dependencyTileGroupID。
horizontal_offset和vertical_offset-分别指示由与该区块区域组条目相关联的每个区块区域中的区块覆盖的矩形区域的左上像素相对于亮度(luma)样本中的默认区域的左上像素的水平偏移和垂直偏移。关于高效视频编码(HEVC)和L-HEVC区块轨道，在TileRegionGroupEntry内使用的默认区域是与该区块区域组条目相关联的区块区域中的区块所属的图片。
omni_fov-当设置时，该字段指示对应于(在球形表面上的)全向视频的特定视场(FOV)的与该区块区域组条目相关联的每个区块区域。在这种情况下，如全向媒体应用格式(OMAF)中所定义，指定了center_pitch、center_yaw、hor_range和ver_range。
center_pitch[i]和center_yaw[i]-指定在由投影取向框(指示3D图像的取向)指定的坐标系上以0.01度为单位由第i区域表示的球形区域的中心点。center_yaw的范围是-18000到17999，并且center_pitch的范围是-9000到9000。
hor_range和ver_range-分别指示以0.01度为单位的第i区域的水平范围和垂直范围。hor_range和ver_range指定通过第i区域的中心点的范围。hor_range的范围是1到36000，并且ver_range的范围是1到18000。center_pitch+ver_range/2不允许超过9000。center_pitch-ver_range/2不允许小于-9000。
当OMAF中的投影格式是等距柱状投影时，由第i矩形区域表示的球形区域是由两个偏航圆(yaw circle)和两个俯仰圆(pitch circle)指定的区域。
region_width和region_height-分别指示由与该区块区域组条目相关联的每个区块区域中的区块覆盖的矩形区域的宽度和高度。
dependency_tile_count-指示与该区块区域组条目相关联的每个区块区域所依赖的区块区域的数量。
dependencyTileGroupID-指示该区块组所依赖的区块区域(由TileRegionGroupEntry定义)的组ID。该区块组所依赖的区块区域可以从同一层或参考层获得。
由表2中的句法表示的RectRegionPacking(i)指定将投影的帧的源矩形区域打包为打包的帧的目标矩形区域的方法。可以指示水平镜像和90度、180度或270度旋转，并且可以从区域的宽度和高度推断出垂直和水平重新采样。
[表2]
如下描述了上述语法的参数的语义。
proj_reg_width[i]-指示以像素为单位投影的帧的第i区域的宽度。proj_reg_width[i]大于0。
proj_reg_height[i]-指示以像素为单位投影的帧的第i区域的高度。proj_reg_height[i]大于0。
proj_reg_top[i]和proj_reg_left[i]-分别指示投影的2D帧的第i最上侧样本行和第i最左侧样本列。这些值的范围分别从0(其指示投影的帧的左上角)到proj_frame_height和proj_frame_width。
proj_reg_width[i]和proj_reg_left[i]被限制，使得proj_reg_width[i]+proj_reg_left[i]小于proj_frame_width。
proj_reg_height[i]和proj_reg_top[i]被限制，使得proj_reg_height[i]+proj_reg_top[i]小于proj_frame_height。
当投影的帧是立体的时，需要设置proj_reg_width[i]、proj_reg_height[i]、proj_reg_top[i]和proj_reg_left[i]，使得在投影的帧中这些值识别的区域存在于投影的帧的单个构成帧(constituent frame)内。
fov_flag[i]-fov_flag[i]等于1指定关于区域指示FOV相关参数。
center_pitch[i]和center_yaw[i]-指定在由投影取向框(指示3D图像的取向)指定的坐标系上以0.01度为单位由第i区域表示的球形区域的中心点。center_yaw的范围是-18000到17999，并且center_pitch的范围是-9000到9000。
hor_range和ver_range-分别指示以0.01度为单位的第i区域的水平范围和垂直范围。hor_range和ver_range指定通过第i区域的中心点的范围。hor_range的范围是1到36000，并且ver_range的范围是1到18000。center_pitch+ver_range/2不允许超过9000。center_pitch-ver_range/2不允许小于-9000。
当投影格式是等距柱状投影时，由第i矩形区域表示的球形区域由两个偏航圆和两个俯仰圆指定。
transform_type[i]-指定应用于要映射到打包的帧的投影的帧的第i区域的旋转或镜像。当transform_type[i]指定旋转和镜像两者时，在镜像后应用旋转。以下值可以用于transform_type[i]，并且其他值被保留。
0：无变换
1：水平镜像
2：180度旋转(逆时针)
3：水平镜像然后180度旋转(逆时针)
4：水平镜像然后900度旋转(逆时针)
5：90度旋转(逆时针)
6：水平镜像然后270度旋转(逆时针)
7：270度旋转(逆时针)
packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]-分别指定打包的帧的宽度、高度、最上侧样本行和最左侧样本列。由packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]指定的矩形不与由packed_reg_width[j]、packed_reg_height[j]、packed_reg_top[j]和packed_reg_left[j]指定的矩形重叠。j是范围从0到i-1的整数。
quality_ranking[i]-指定区域相对于360内容(即，整个投影的帧)中的其他区域的质量排名(即，质量等级)。质量排名指示递送和渲染的优先级。较低值表示较高质量的内容。quality_ranking[i]具有范围为1到100的值。quality_ranking等于1指示未定义排名。
由表3中的语法表示的RegionWisePackingBox指示投影的帧是按区域打包的，并且需要在渲染之前解包。
[表3]
如下描述了上述语法的参数的语义。
num_regions-指定打包的区域的数量。值0被保留。
proj_frame_width和proj_frame_height-分别指定投影的帧的宽度和高度。
packing_type-指定按区域打包的类型。packing_type等于0指示矩形按区域打包。packing_type等于1指示球形表面按区域打包。
quality_ranking[i]-指定区域相对于360内容(即，整个投影的帧)中的其他区域的质量排名(即，质量等级)。质量排名指示发送和渲染的优先级。较低值表示较高质量的内容。quality_ranking[i]具有范围为1到100的值。quality_ranking等于0指示未定义排名。
fov_flag、center_pitch[i]、center_yaw[i]、hor_range[i]、ver_range[i]-与上面RectRegionPacking中描述的相同。
SphereRegionPacking-指示当使用球形表面按区域打包时球形3D图像的区域与打包的2D图像的区域之间的关系。SphereRegionPacking可以通过表4中的语法描述。
[表4]
如下描述了SphereRegionPacking的参数的语义。
center_pitch[i]和center_yaw[i]-指定在由投影取向框(指示3D图像的取向)指定的坐标系上以0.01度为单位由第i区域表示的球形区域的中心点。center_yaw的范围是-18000到17999，并且center_pitch的范围是-9000到9000。
hor_range和ver_range-分别指示以0.01度为单位的第i区域的水平范围和垂直范围。hor_range和ver_range指定通过第i区域的中心点的范围。hor_range的范围是1到36000，并且ver_range的范围是1到18000。center_pitch+ver_range/2不允许超过9000。center_pitch-ver_range/2不允许小于-9000。
transform_type[i]、packed_reg_width[i]、packed_reg_height[i]、packed_reg_top[i]和packed_reg_left[i]-与上面RectRegionPacking中描述的相同。
当投影格式是等距柱状投影时，由第i矩形区域表示的球形区域由两个偏航圆和两个俯仰圆指定。
在一些实施例中，当使用SphereRegionPacking而不是RectRegionPacking时，发送器可以直接从3D图像生成打包的2D图像。接收器可以直接从打包的2D图像生成3D图像。
关于针对矩形按区域打包的样本位置的变换，输入以下值。
-打包的区域中的样本位置(x,y)，表达为样本单位
-投影的帧中的区域的宽度和高度，表达为样本单位(projRegWidth,projRegHeight)
-打包的帧中的区域的宽度和高度，表达为样本单位(packedRegWidth,packedRegHeight)
-变换类型(transformType)
关于针对矩形按区域打包的样本位置的变换，输出以下值。
-投影的区域中的样本位置(i,j)，表达为样本单位
以下语法可以用于针对矩形按区域打包的样本位置的变换。
[表5]
关于在打包的帧内属于packing_type[n]等于0(即，对其应用矩形按区域打包)的第n区域的每个亮度样本位置(xPackedFrame,yPackedFrame)，可以如下导出对应于投影的帧的样本位置(xProjFrame,yProjFrame)。
-x被设置为等于xPackedFrame-packed_reg_left[n]。
-y被设置为等于yPackedFrame-packed_reg_top[n]。
-以x、y、packed_reg_width[n]、packed_reg_height[n]、proj_reg_width[n]、proj_reg_height[n]和transform_type[n]作为输入应用用于针对矩形按区域打包的样本位置的变换的以上语法。输出被分配给样本位置(i,j)。
-xProjFrame被设置为等于proj_reg_left[n]+i。
-当xProjFrame等于或大于proj_frame_width时，xProjFrame被设置为等于xProjFrame-proj_frame_width。
-yProjFrame被设置为等于proj_reg_top[n]+j。
当使用色度格式和色度位置类型LocType时，下面可以在表6中指定CenterLeftOffsetC、CenterTopOffsetC、horRatioC和verRatioC值。
[表6]
色度格式 LocType CenterLeftOffsetC CenterTopOffsetC horRatioC verRatioC
4:2:0 0 0.125 0.25 2 2
4:2:0 1 0.25 0.25 2 2
4:2:0 2 0.125 0.125 2 2
4:2:0 3 0.25 0.125 2 2
4:2:0 4 0.125 0.375 2 2
4:2:0 5 0.25 0.375 2 2
4:2:2 - 0.125 0.5 2 1
4:4:4 - 0.5 0.5 1 1
关于在打包的帧内属于packing_type[n]等于0(即，对其应用矩形按区域打包)的第n区域的每个色度样本位置(xPackedFrameC,yPackedFrameC)，可以如下导出对应于投影的帧的样本位置(xProjFrameC,yProjFrameC)。
-xC被设置为等于xPackedFrameC-packed_reg_left[n]/horRatioC。
-yC被设置为等于yPackedFrameC-packed_reg_top[n]/verRatioC。
-packedRegWidthC被设置为等于packed_reg_width[n]/horRatioC。
-packedRegHeightC被设置为等于packed_reg_height[n]/verRatioC。
-projRegWidthC被设置为等于proj_reg_width[n]/horRatioC。
-projRegHeightC被设置为等于proj_reg_height[n]/verRatioC。
-以xC、yC、packedRegWidthC、packedRegHeightC、projRegWidthC、projRegHeightC和transform_type[n]作为输入应用用于针对矩形按区域打包的样本位置的变换的以上语法。输出被分配给样本位置(i,j)。
-xProjFrameC被设置为等于proj_reg_left[n]/horRatioC+i。
-当xProjFrameC等于或大于proj_frame_width/horRatioC时，xProjFrameC被设置为等于xProjFrameC-(proj_frame_width/horRatioC)。
-yProjFrameC被设置为等于proj_reg_top[n]/verRatioC+j。
返回参考图1，发送器可以对打包的2D图像进行编码(240)。打包的2D图像可以被划分为多个区域。可以对打包的2D图像的多个区域单独地执行编码。在一些实施例中，可以仅对打包的2D图像的多个区域中的要发送的一个或多个区域执行编码。在一些实施例中，可以对打包的2D图像的多个区域中的两个或更多个区域的组图像执行编码。在一些实施例中，可以对整个打包的2D图像执行编码。可以使用用于2D图像的常规已知的编码方法来执行编码。
发送器可以封装编码的数据(150)。封装可以指将编码的数据分区并处理编码的数据以通过诸如向分区的数据添加报头的处理来符合给定的传输协议的过程。发送器可以发送封装的数据。发送器可以发送与封装的数据相关联的附加数据以及与数据一起或与数据分开地发送播放该数据所需的数据(例如，元数据)。
发送器的数据发送可以根据MPEG媒体传输(MMT)或HTTP上的动态自适应流送(DASH)来执行，但是不限于此。
尽管未示出，除了图像的数据之外，发送器还可以将音频数据发送到接收器。
根据一些实施例，发送器可以生成与3D图像对应的多个轨道，并且可以将多个轨道中的一些或全部的数据发送到接收器。多个轨道可以具有不同区域的数据或者可以具有不同的质量等级。
在下文中，将参考图3描述接收器。图3示出根据本公开的实施例的用于接收3D图像的数据的接收器的***。接收器可以是VR设备或AR设备。此外，接收器可以指能够接收和播放3D图像的数据的任何类型的设备。
接收器可以接收从发送器发送的3D图像的数据。接收器可以解封装接收的数据(310)。可以通过解封装310来获得通过图1中的编码140生成的编码的数据。
接收器可以解码解封装的(310)数据(320)。可以通过解码320重建打包的2D图像。
接收器可以解包解码的数据(即，打包的2D图像)(330)。可以通过解包来重建通过图1中的投影120生成的2D图像。解包可以指在图1中的打包(130)中被修改和/或重新布置的投影的2D图像的多个区域的逆变换。为此，接收器需要知道用于打包(130)的方法。用于打包(130)的方法可以在接收器和发送器之间预先确定。根据一些实施例，发送器可以通过诸如元数据的单独的消息将关于用于打包(130)的方法的信息发送到接收器。根据一些实施例，通过封装(150)生成的发送数据可以例如在报头中包括关于用于打包(130)的方法的信息。
接收器可以将解包的2D图像投影为3D图像(340)。接收器可以使用用于在图1中投影(120)为2D图像的投影的逆投影，以便将2D图像投影为3D图像，而不必限于此。接收器可以将解包的2D图像投影为3D图像，从而生成3D图像。
接收器可以通过显示设备显示3D图像的至少一部分(350)。例如，接收器可以从3D图像中仅提取和渲染与当前视场(FOV)对应的数据。
图4是示出根据本公开的实施例的服务器和终端的操作的流程图。在图4中，服务器410可以对应于图1的发送器，并且终端420可以对应于图3的接收器。
在操作430中，终端420可以将关于终端的视口信息发送到服务器410。关于终端的视口信息可以是指定要由终端显示的区域(即，视口)的信息。在一些实施例中，视口信息可以是指定3D图像中的与视口对应的区域的信息。在一些实施例中，视口信息可以是指定从3D图像投影的2D图像中的与视口对应的区域的信息。
在操作440中，服务器410可以向终端420发送基于视口信息从多个轨道中选择的至少一个轨道的数据。服务器410可以生成并具有与单个3D图像相关联的多个轨道。在一些实施例中，多个轨道可以包括3D图像的不同区域的数据。在一些实施例中，多个轨道可以包括关于3D图像(例如，整个3D图像)中的相同区域的信息，并且多个轨道可以分别具有不同的质量。在一些实施例中，可以从单个3D图像生成多个轨道。在一些实施例中，可以从由多个相机中的每个相机捕获的图像生成多个轨道中的每个轨道以形成单个3D图像。在下文中，将参考图5至图8详细描述操作440。
图5示出了根据本公开的实施例的多个轨道。多个轨道510、520、530和540可以具有不同的质量。具体地，多个轨道510、520、530和540中的每一个的特定区域可以具有与其余区域不同的质量等级。具有与其余区域不同的质量等级的特定区域的位置可以在多个轨道510、520、530和540中的每一个中变化。在图5的实施例中，第一轨道510中的第一区域515、第二轨道520中的第二区域525、第三轨道530中的第三区域535和第四轨道540中的第四区域545是具有与每个轨道中的其余区域不同的质量等级的特定区域。第一至第四区域515、525、535和545中的每一个的质量等级可以高于每个轨道中的其余区域的质量等级。第一至第四区域515、525、535和545可以具有相同的质量等级，但不限于此。
在图5的实施例中，当服务器410具有第一至第四轨道510、520、530和540时，服务器410可以基于接收的视口信息选择要发送的至少一个轨道。具体地，服务器410可以选择如下至少一个轨道，该至少一个轨道包括具有与从终端420接收的视口信息所指示的区域相关联的高质量等级的区域。例如，当视口信息所指示的区域与第一区域515相同或包括在第一区域515中时，服务器410可以选择第一轨道510；当视口信息所指示的区域包括在第二区域525中时，服务器410可以选择第二轨道520。在另一示例中，服务器410可以选择下述轨道作为要发送的轨道：该轨道包括在第一至第四区域515、525、535和545中的与视口信息所指示的区域重叠最多的区域。在一些实施例中，服务器410可以选择要发送的多个轨道。例如，当视口信息所指示的区域包括在第一区域515和第二区域525两者中时，服务器可以选择第一轨道510和第二轨道520。在另一示例中，当视口信息所指示的区域包括在第二区域525中时，服务器410可以不仅选择第二轨道520而且还选择作为高质量区域的、分别包括邻近第二区域52的第一区域515和第三区域535的第一轨道510和第三轨道530，作为要发送的轨道。
图5的实施例中示出的第一至第四轨道510、520、530和540是投影的2D图像，并且第一至第四区域510、520、530和540可以分别显示在投影的2D图像中。当在2D图像中存在具有不同质量等级的至少一个区域时，表7中示出的语法可以用于指示2D图像中的区域的质量等级。
[表7]
如下描述了上述语法的参数的语义。
num_regions-指定关于提供质量排名(即，质量等级)信息的区域的数量。
quality_ranking-指定区域的质量排名。quality_ranking等于0指示未定义quality_ranking。当区域A具有比区域B更低的quality_ranking值并且quality_ranking值不是0时，区域A具有比区域B更高的质量。当区域A与区域B部分或完全重叠时，区域A的quality_ranking需要与区域B的quality_ranking相同。
view_idc-view_idc等于0指示内容是单视场的。view_idc等于1指示区域位于立体内容的左视图中。view_idc等于2指示区域位于立体内容的右视图中。view_idc等于2指示区域位于左视图和右视图两者中。
remaining_area_flag-remaining_area_flag等于0指定由left_offset、top_offset、region_width和region_height定义区域。remaining_area_flag等于1指定区域未被框中定义的任何其他区域覆盖。
left_offset、top_offset、region_width和region_height-是用于表示区域的大小和位置的整数值。left_offset和top_offset分别指示打包的帧中的区域的左上角处的亮度样本中的水平坐标和垂直坐标。region_width和region_height分别指示打包的帧中的亮度样本中的区域的宽度和高度。left_offset+region_width需要小于VisualSampleEntry的宽度(即，帧的宽度)。top_offset+region_height需要小于VisualSampleEntry的高度(即，帧的高度)。
由该语法表示的图像(帧或轨道)中的区域和关于每个区域的质量等级的信息可以用于服务器410以识别图像中的区域和每个区域的质量等级，或者可以作为元数据从服务器410发送到终端420。
在一些实施例中，一个图像(轨道或帧)可以包括具有不同质量等级的区域。例如，参考图9，其示出了包括具有单独设置的质量等级的区域的2D图像，2D图像900可以包括第一区域910、包围第一区域910的第二区域920、排除第一区域910和第二区域920的第三区域930。可以为第一区域910、第二区域920和第三区域930单独设置质量等级。在这种情况下，用于指示2D图像中的区域的质量等级的上述语法也可以用于指示关于2D图像900的区域的质量信息。第三区域930可以是具有等于1的remaining_area_flag的属性的其余区域。
图6示出了根据本公开的另一实施例的多个轨道。如图5那样，图6中的第一至第四轨道610、620、630和640可以包括具有与每个轨道的其余区域不同的质量等级的特定区域。第一至第四区域615、625、635和645中的每一个可以是具有与每个轨道中的其余区域不同的质量等级的特定区域。在图6的实施例中，用于选择要发送的至少一个轨道的方法与图5中描述的方法基本相同。
在图6的实施例中，第一至第四区域615、625、635和645可以显示在3D图像而不是投影的2D图像中。在表8中示出用于指示3D图像的区域的质量等级的说明性语法。
[表8]
如下描述了上述语法的参数的语义。
region_definition_type-region_definition_type等于0指示区域在球形3D图像中由四个大圆指定。region_definition_type等于1指示区域由两个偏航圆和两个俯仰圆指定。
num_regions-指定关于提供质量排名(即，质量等级)信息的区域的数量。
quality_ranking-指定区域的质量排名。quality_ranking等于0指示未定义quality_ranking。当区域A具有比区域B更低的quality_ranking值并且quality_ranking值不是0时，区域A具有比区域B更高的质量。当区域A与区域B部分或完全重叠时，区域A的quality_ranking需要与区域B的quality_ranking相同。
view_idc-view_idc等于0指示内容是单视场的。view_idc等于1指示区域位于立体内容的左视图中。view_idc等于2指示区域位于立体内容的右视图中。view_idc等于2指示区域位于左视图和右视图两者中。
remaining_area_flag-remaining_area_flag等于0指定由RegionOnSphereSturct(1)定义区域。remaining_area_flag等于1指定区域未被框中定义的任何其他区域覆盖。
RegionOnSphereStruct(1)-指示球形上的区域关于球面坐标系的位置和大小。区域的类型由region_definition_type定义，center_yaw、center_pitch、hor_range和ver_range用于指定球形上的区域。
在表9中示出RegionOnSphereStruct的语法。
[表9]
如下描述了RegionOnSphereStruct的参数的语义。
center_yaw和center_pitch-指定在全局坐标系上以0.01度为单位由该样本指定的区域的中心点。center_yaw的范围是-18000到17999，并且center_pitch的范围是-9000到9000。
hor_range和ver_range-分别指示以0.01度为单位由该样本指定的区域的水平范围和垂直范围。hor_range和ver_range指定通过第i区域的中心点的范围。hor_range的范围是1到36000，并且ver_range的范围是1到18000。center_pitch+ver_range/2不允许超过9000。center_pitch-ver_range/2不允许小于-9000。
tile_entry_count-指定与由该样本指定的区域对应的区块组的数量。
tile_region_groupID-识别由该样本指定的区域中的区块区域，其覆盖由center_yaw、center_pitch、hor_range和ver_range定义的区域的全部或部分。
详细解释region_definition_type，region_definition_type等于0指示区域在3D图像中由四个大圆指定。这里，大圆是指具有可以在球形表面上定义的最大直径的圆。在这种情况下，可以通过区域的中心的坐标、横滚(roll)值、相对于球形中心的区域的水平角度范围、以及区域的垂直角度范围来指定区域。
region_definition_type等于1指示区域由两个偏航圆和两个俯仰圆指定。偏航圆是指以球形中心为原点在x-y-z坐标系中穿过球形的z轴的圆，并且俯仰圆是指与球形的xy平面平行的圆。在这种情况下，区域可以通过区域的中心的坐标、相对于球形中心的区域的水平角度范围、以及区域的垂直角度范围来指定。
如图9那样，当3D图像包括具有单独设置的质量信息的多个区域时，也可以使用用于指示3D图像的区域的质量等级的说明性语法。
图7示出根据本公开的又一实施例的多个轨道。图8示出由图7的多个轨道表示的2D图像。在图7的实施例中，第一至第四轨道710、720、730和740可以分别包括整个2D或3D图像的不同区域的数据。图8的投影的2D图像800示出由第一至第四轨道710、720、730和740表示的整个图像。第一至第四轨道710、720、730和740可以具有不同的质量等级。服务器410可以从第一至第四轨道710、720、730和740中选择包括与视口对应的区域的轨道，以便基于从终端420接收的视口信息选择要发送的轨道。根据一些实施例，第一至第四轨道710、720、730和740可以彼此重叠。例如，当对应于视口的区域存在于多个轨道中的全部轨道中时，服务器410可以从多个轨道中选择具有最高质量的轨道作为要发送的轨道。
可以采用CoverageInformationBox来使用关于球形表面上的区域的信息，所述球形上的区域由与ProjectedOmnidirectionalVideoBox(指示包括在轨道中的样本是对应于投影的帧还是打包的帧)容器相关联的投影的帧表示。不存在CoverageInformationBox指示投影的帧是完整球形的表示。例如，在图7和图8的实施例中可以存在CoverageInformationBox。在存在ProjectionOrientationBox的情况下，在应用ProjectionOrientationBox后，应用此框中的字段。在表10中示出CoverageInformationBox的语法。
[表10]
如下描述了CoverageInformationBox的参数的语义。
RegionOnSphereStruct(1)-与上面在SphereRegionQualityRankingBox中描述的相同。
coverage_quality-指定相对于可以合并以形成360内容(即，整个投影的帧)的不同轨道中的其他覆盖区域的质量的、与ProjectedOmnidirectionalVideoBox容器相关联的覆盖区域的质量。coverage_quality指示递送和渲染的优先级，并且更高的质量具有更高的优先级。更低的值表示更高质量的内容。coverage_quality具有范围从1到100的值。coverage_quality等于0指示未定义排名(即，无质量等级)。
在下文中，将参考图10描述发送器的结构。图10是示出根据本公开的实施例的发送器的框图。
发送器1000可以包括存储器1030、通信接口1020和处理器1010。发送器1000可以被配置为执行上面在实施例中描述的发送器(即，服务器)的操作。处理器1010可以电连接到存储器1030和通信接口1020以使得能够与之通信。发送器1000可以通过通信接口1020发送和接收包括图像数据和元数据的数据。存储器1030可以存储用于发送器1000的操作的多条信息。用于控制处理器1010的命令或代码可以存储在存储器1030中。此外，处理器1010的操作所需的临时或持久数据可以存储在存储器1030中。处理器1010可以指一个处理器，并且根据一些实施例，可以指功能上分开的多个处理器的集合。处理器1010可以被配置为控制发送器1000的操作。上述发送器1000的操作可以基本上由处理器1010处理和运行。尽管通过通信接口1020执行发送和接收数据的操作并且由存储器1030执行存储数据和命令的操作，但是通信接口1020和存储器1030的操作可以由处理器1010控制，因此发送和接收数据的操作以及存储命令的操作也可以被认为是由处理器1010执行。
类似于发送器1000，接收器(例如，终端或VR设备)还可以包括存储器、通信接口和处理器。接收器的存储器、通信接口和处理器的描述类似于发送器1000的元件的描述。接收器还可以包括显示接收的全向图像的显示设备。
提供本文描述的语法仅用于说明目的。不一定需要包含在特定语法中的所有参数来构建由语法形成的数据(即，元数据)。本领域普通技术人员将容易理解，可以仅使用所描述的参数中的一些来构建数据。经由所示语法构建的数据可以在服务器内使用，并且还可以被发送到终端并可以由终端使用以处理全向图像的数据。
虽然已经参考附图描述了本公开的实施例，但是本领域技术人员将理解，在不脱离本公开的技术精神和本质特征的情况下，可以改变和修改本公开。因此，应理解，上述实施例仅是示例性的而不是限制性的。

Claims (12)

1.一种用于由服务器发送全向图像的数据的方法，所述方法包括：
从终端接收关于终端的视口的信息；
基于关于视口的信息和与全向图像相关联的多个轨道中的每个轨道的质量，选择所述多个轨道中的至少一个轨道；以及
向终端发送选择的至少一个轨道的数据。
2.根据权利要求1所述的方法，其中，所述多个轨道中的每个轨道包括具有比其余区域的质量更高的质量的第一区域，
第一区域的位置在所述多个轨道中的每个轨道中是不同的，以及
选择的至少一个轨道包括与视口重叠的第一区域。
3.根据权利要求2所述的方法，其中，第一区域在所述多个轨道中具有相同的质量排名，并且其余区域在所述多个轨道中具有相同的质量排名。
4.根据权利要求1的方法，其中：
所述多个轨道中的每个轨道与全向图像的不同区域相关联；
由所述多个轨道中的相应第一轨道表示的区域彼此重叠；以及
如果视口存在于第一轨道的重叠区域中，则所述选择包括从第一轨道中选择具有最高质量排名的轨道。
5.根据权利要求1所述的方法，还包括：
向终端发送全向图像的元数据，
其中，所述元数据包括关于帧的至少一个区域中的每一个的质量排名和除所述帧的所述至少一个区域之外的其余区域的质量排名的信息。
6.根据权利要求5所述的方法，其中，在球形的全向图像上或在从全向图像投影的2D图像上识别所述至少一个区域。
7.根据权利要求1所述的方法，还包括：
生成从全向图像投影的2D图像；以及
通过修改投影的2D图像的多个区域的至少一部分来生成打包的2D图像，
其中，与打包的2D图像的第一样本位置对应的投影的2D图像的第二样本位置是通过以下方式来识别的：识别从多个区域中的包括第一样本位置的第一区域修改的打包的2D图像与取决于第一区域的修改类型的第一图像之间的垂直比率和水平比率，并且使用第一样本位置、垂直比率和水平比率根据修改类型采用不同的等式。
8.根据权利要求1所述的方法，还包括：
生成从全向图像投影的2D图像；
通过按区域打包投影的2D图像的多个区域来生成打包的2D图像；以及
向终端发送全向图像的元数据，
其中，所述元数据包括与打包的2D图像的多个区域中的每个区域对应的全向图像的区域的中心的坐标、垂直范围和水平范围。
9.根据权利要求8所述的方法，其中，所述元数据包括打包的2D图像的多个区域中的每个区域的质量排名。
10.根据权利要求8所述的方法，其中，所述元数据还包括指示全向图像的特定区域的质量排名的信息。
11.一种用于发送全向图像的数据的服务器，所述服务器包括：
通信接口；以及
处理器，被配置为连接到通信接口，
其中，处理器被配置为：
从终端接收关于终端的视口的信息；
基于关于视口的信息和与全向图像相关联的多个轨道中的每个轨道的质量，选择所述多个轨道中的至少一个轨道；以及
向终端发送选择的至少一个轨道的数据。
12.根据权利要求11所述的服务器，其中，所述处理器还被配置为根据权利要求2至10之一的方法进行操作。
CN201880022470.4A 2017-03-28 2018-01-30 用于发送关于三维图像的数据的方法 Pending CN110495181A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR20170039641 2017-03-28
KR10-2017-0039641 2017-03-28
US201762481274P 2017-04-04 2017-04-04
US62/481,274 2017-04-04
US201762529867P 2017-07-07 2017-07-07
US62/529,867 2017-07-07
KR10-2017-0175049 2017-12-19
KR1020170175049A KR102331041B1 (ko) 2017-03-28 2017-12-19 3차원 이미지에 관한 데이터를 전송하기 위한 방법
PCT/KR2018/001286 WO2018182161A1 (ko) 2017-03-28 2018-01-30 3차원 이미지에 관한 데이터를 전송하기 위한 방법

Publications (1)

Publication Number Publication Date
CN110495181A true CN110495181A (zh) 2019-11-22

Family

ID=68545763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022470.4A Pending CN110495181A (zh) 2017-03-28 2018-01-30 用于发送关于三维图像的数据的方法

Country Status (3)

Country Link
US (1) US10791316B2 (zh)
EP (1) EP3606084A4 (zh)
CN (1) CN110495181A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111917459A (zh) * 2020-08-10 2020-11-10 清华大学 一种多轨道器中继通信方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018049221A1 (en) 2016-09-09 2018-03-15 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
CN110574381B (zh) * 2017-04-25 2023-06-20 夏普株式会社 解析全向视频质量信息语法元素的方法及设备
US10893256B2 (en) * 2017-06-26 2021-01-12 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
CN112690004B (zh) * 2018-09-14 2023-01-13 华为技术有限公司 一种视频译码中的基于分块的寻址方法，译码器以及视频译码设备
KR20220010907A (ko) 2020-07-20 2022-01-27 삼성전자주식회사 3d(ar) 미디어 랜덤 액세스를 위한 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1698379A (zh) * 2003-01-20 2005-11-16 索尼株式会社 使用全景图像的监视装置与监视方法
CN101743569A (zh) * 2007-05-25 2010-06-16 谷歌公司 渲染、查看和注释全景图像及其应用

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070022215A1 (en) 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR101777348B1 (ko) 2010-02-23 2017-09-11 삼성전자주식회사 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
CN104782121A (zh) 2012-12-18 2015-07-15 英特尔公司 多区域视频会议编码
US20150071547A1 (en) * 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
US20160150212A1 (en) 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR102523997B1 (ko) 2016-02-12 2023-04-21 삼성전자주식회사 360도 영상 처리 방법 및 장치
US11069025B2 (en) 2016-02-17 2021-07-20 Samsung Electronics Co., Ltd. Method for transmitting and receiving metadata of omnidirectional image
JP6657475B2 (ja) * 2016-08-25 2020-03-04 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1698379A (zh) * 2003-01-20 2005-11-16 索尼株式会社 使用全景图像的监视装置与监视方法
CN101743569A (zh) * 2007-05-25 2010-06-16 谷歌公司 渲染、查看和注释全景图像及其应用

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BYEONGDOO CHOI: "Text of ISO/IEC CD 23000-20 Omnidirectional Media Application Format", 《117.MPEG MEETING,16-1-2017-20-1-2017,GENEVA,(MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11),NO.N16636,30 JANUARY 2017 (2017-01-30),XP030023307》 *
MISKA M HANNUKSELA ET AL: "Virtual reality video metadata in ISO base media file format", 《116.MPEG MEETING;NO.M38945,XP030067293》 *
MISKA M HANNUKSELA: "OMAF ROI-VE:Quality ranking indication", 《117.MPEG MEETING,16-1-2017-10-1-2107,GENEVA,(MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11),N0.M39901,18 JANUARY 2017(2017-01-18),XP030068246》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111917459A (zh) * 2020-08-10 2020-11-10 清华大学 一种多轨道器中继通信方法

Also Published As

Publication number Publication date
EP3606084A1 (en) 2020-02-05
EP3606084A4 (en) 2020-02-05
US10791316B2 (en) 2020-09-29
US20200107007A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
CN110495181A (zh) 用于发送关于三维图像的数据的方法
CN109478313B (zh) 处理三维图像的方法和设备
CN111656762B (zh) 编码表示三维对象的点云的方法和装置
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
KR102133848B1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN109076255B (zh) 发送、接收360度视频的方法及设备
US20190387212A1 (en) 360 video processing method and apparatus therefor
US20190373245A1 (en) 360 video transmission method, 360 video reception method, 360 video transmission device, and 360 video reception device
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
TWI670973B (zh) 在iso基本媒體檔案格式推導虛擬實境投影、填充、感興趣區域及視埠相關軌跡並支援視埠滾動訊號之方法及裝置
US20200112710A1 (en) Method and device for transmitting and receiving 360-degree video on basis of quality
KR102221301B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
CN112534825B (zh) 封装方法、生成图像的方法、计算装置和可读存储介质
CN109691094A (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
US20190364261A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video and apparatus for receiving 360-degree video
CN110463196A (zh) 用于传输立体视频内容的方法和装置
US20190199921A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
CN110637463B (zh) 360度视频处理方法
KR102331041B1 (ko) 3차원 이미지에 관한 데이터를 전송하기 위한 방법
US10827160B2 (en) Method for transmitting data relating to three-dimensional image
CN110073657B (zh) 用于传输与三维图像相关的数据的方法
CN115567756A (zh) 基于视角的vr视频***和处理方法
CN113497928A (zh) 一种沉浸媒体的数据处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122

RJ01 Rejection of invention patent application after publication