CN112150603B - 基于三维点云的初始视角控制和呈现方法及*** - Google Patents

基于三维点云的初始视角控制和呈现方法及*** Download PDF

Info

Publication number
CN112150603B
CN112150603B CN201910590125.7A CN201910590125A CN112150603B CN 112150603 B CN112150603 B CN 112150603B CN 201910590125 A CN201910590125 A CN 201910590125A CN 112150603 B CN112150603 B CN 112150603B
Authority
CN
China
Prior art keywords
information
initial viewpoint
viewpoint
initial
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910590125.7A
Other languages
English (en)
Other versions
CN112150603A (zh
Inventor
徐异凌
高粼遥
李哲
朱文婕
管云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202310480675.XA priority Critical patent/CN117635815A/zh
Priority to EP20831860.0A priority patent/EP3992917A4/en
Priority to KR1020217042738A priority patent/KR20220013410A/ko
Priority to PCT/CN2020/098517 priority patent/WO2020259682A1/zh
Priority to US17/595,808 priority patent/US11836882B2/en
Priority to JP2021570458A priority patent/JP7317401B2/ja
Publication of CN112150603A publication Critical patent/CN112150603A/zh
Application granted granted Critical
Publication of CN112150603B publication Critical patent/CN112150603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Generation (AREA)

Abstract

本发明提供了一种基于三维点云的初始视角控制和呈现方法及***，包括：读取并解析三维媒体流；确定初始视点、初始视点的法向量方向、初始视点的正方向向量；反馈用户位置对于初始视点的相对位移；确定内容制作方指定的缩放尺度，或确定根据用户位置与初始视点的相对位移计算的深度值设定的缩放尺度。本发明提供的基于三维点云的初始视角及呈现方法，支持用户在初始消费三维媒体内容时观看到内容制作方指定的初始角度即感兴趣区域，同时支持三维媒体内容的缩放，即尺度变换。此外，在实时交互的场景下，用户观看到的视野范围能够根据用户与初始视点的相对位置进行调整，依据用户交互行为充分提高视觉媒体消费自由度，提供身临其境的用户体验。

Description

基于三维点云的初始视角控制和呈现方法及***
技术领域
本发明涉及3D媒体数据封装与消费过程的设计领域，具体地，涉及一种基于三维点云的初始视角控制和呈现方法及***。
背景技术
随着信息技术的快速发展，基于文字、图片、传统视频的消费模式趋于成熟，提供更高逼真度、更强交互性、更多元化的视觉通信逐渐成为发展热点。视觉通信通过精确渲染的三维点云、六自由度全方位体验、虚实结合实时交互等技术手段，为用户提供不受时间、地域、现实条件限制的、身临其境的真实体验的同时，更给新应用带来无限空间。
视觉媒体数据生成、传输、处理和呈现等方面与传统媒体数据存在较大的不同，视觉媒体数据更加复杂多元。为满足用户的呈现需求，相应的数据描述方法也受到了广泛的关注。得益于三维扫描技术和***日趋成熟，三维点云数据在学术界和工业界引起了广泛的关注。
三维点云是空间中一系列点的几何，记录了被扫描物体表面各点的一组的三维坐标信息和多种属性信息，如纹理、材质、法向量、反射强度等。三维点云数据是真实物体的几何描述，是一种新的三维模型数据格式，作为视觉通信场景下表达信息的主要载体，不仅可以有效的表示视觉媒体服务中的静态实物和场景，还可以实时渲染精确的立体模型，真实地描述动态实物或场景信息。因此，三维点云数据可以为用户带来虚实结合、实时交互的沉浸式消费体验。
目前对于如何存储、传输三维点云数据已有一定的研究，但现有三维点云封装信息只考虑了点云数据整体呈现效果，并未考虑不同场景下用户的呈现需求，如用户对于三维点云媒体的初始呈现需求。当用户打开点云媒体文件时，更希望直接消费感兴趣的区域，而不是某些奇怪的角度或不感兴趣区域。因此，为满足用户不同场景下的初始呈现需求，需要对三维点云媒体数据的封装信息进行扩展，对三维点云呈现时的初始视角信息进行定义，使用户在初始消费三维媒体内容时观看到内容制作方指定的初始观看角度即用户感兴趣区域，以满足用户对于三维视觉媒体的初始呈现需求。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于三维点云的初始视角控制和呈现方法及***。
根据本发明提供的一种基于三维点云的初始视角控制和呈现方法，包括：
读取并解析三维媒体流；
确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
反馈用户位置对于初始视点的相对位移；
确定内容制作方指定的缩放尺度，或确定根据用户位置与初始视点的相对位移计算的深度值设定的缩放尺度；
根据用户位置视点内的视野和深度，确定当前用户位置的观看视野范围；
呈现三维媒体流中观看视野范围的部分媒体内容或全部媒体内容。
优选地，还包括：
变更后视点位置和变更后视点的法向量方向。
优选地，所述初始视点的正方向向量为与呈现设备规定的正方向平行的方向向量，初始视点的正方向向量包括：以初始视点为坐标原点建立坐标系，确定初始视点以外的正方向向量终点的x坐标信息、y坐标信息、z坐标信息。
优选地，所述深度值为用户位置相对初始视点的距离。
优选地，所述视点内视野为用户起始位置点为圆心，到初始视点的距离为半径的一个圆形视野。
优选地，所述三维媒体流是经过三维媒体数据封装形成，在所述三维媒体数据中添加指示信息，所述指示信息包括：
信息一：初始视点位置信息；
信息二：初始视点法向量相对初始视点的位置信息；
信息三：初始视点的正方向向量信息；
以及至少一个以下信息：
信息四：三维媒体的缩放尺度信息；
信息五：变更后视点的位置信息，变更后视点的法向量相对变更后视点的位置信息；
信息六：实时相对位移：用户实时位置相对初始视点的位置信息；
信息七：根据用户实时位置调整对应的观看区域范围。
优选地，所述初始视点的法向量方向包括：以初始视点为坐标原点建立坐标系，确定初始视点以外的法向量终点的x坐标信息、y坐标信息、z坐标信息。
优选地，所述用户位置与初始视点的相对位移包括：以初始视点为坐标原点建立坐标系，用户观看位置的x坐标信息、y坐标信息、z坐标信息。
优选地，所述缩放尺度为三维媒体内容呈现的缩放系数。
优选地，所述变更后视点位置包括：变更后视点的x坐标信息、y坐标信息、z坐标信息。
优选地，所述变更后视点的法向量方向包括：以变更后视点为坐标原点建立坐标系，确定变更后视点以外的法向量终点的x坐标信息、y坐标信息、z坐标信息。
根据本发明提供的一种基于三维点云的初始视角控制和呈现***，包括：
解析模块：用于读取并解析三维媒体流；
初始视角确定模块：用于确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
位移反馈模块：用于反馈用户实时位置对于初始视点的相对位移；
缩放尺度确定模块：用于确定内容制作方指定的缩放尺度，或确定根据用户位置与初始视点的相对位移计算的深度值设定的缩放尺度；
观看视野范围确定模块：用于根据用户位置视点内的视野和深度，确定当前用户位置的观看视野范围；
三维媒体呈现模块：用于呈现三维媒体流中观看视野范围的部分媒体内容或全部媒体内容。
优选地，还包括：
视点变更模块：用于确定变更后视点的位置和变更后视点的法向量方向。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的基于三维点云的初始视角及呈现方法，支持用户在初始消费三维媒体内容时观看到内容制作方指定的初始角度即感兴趣区域，同时支持三维媒体内容的缩放，即尺度变换。此外，在实时交互的场景下，用户观看到的视野范围能够根据用户与初始视点的相对位置进行调整，依据用户交互行为充分提高视觉媒体消费自由度，提供身临其境的用户体验。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例中一种基于三维点云的初始视角控制和呈现方法流程示意图；
图2为本发明实施例中一种基于三维点云的初始视角控制和呈现***功能框示意图；
图3-1和图3-2为本发明实施例中用户实时观看位置与当前用户位置观看视野范围关系的一个具体应用实例示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，根据本发明提供的一种基于三维点云的初始视角控制和呈现方法，包括：
解析步骤：读取并解析三维媒体流；
初始视角确定步骤：确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
位移反馈步骤：根据用户实时观看位置反馈用户位置对于初始视点的相对位移；
缩放尺度确定步骤：根据内容制作方指定的缩放尺度，或根据用户位置与初始视点的相对位移确定当前深度值，根据深度值设定缩放尺度；
视点变更步骤：确定变更后视点位置及变更后视点的法向量方向；
观看视野范围确定步骤：根据用户位置对于初始视点的相对位移确定当前深度值，根据用户位置视点内视野和深度的关系确定当前用户位置的观看视野范围；
三维媒体呈现步骤：呈现三维媒体流中与观看视野范围相应的内容或全部媒体内容。
根据本发明提供的一种基于三维点云的初始视角控制及呈现***，包括：
解析模块：用于读取并解析三维媒体流；
初始视角确定模块：用于确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
位移反馈模块：用于反馈用户实时观看位置对于初始视点的相对位移；
缩放尺度确定模块：用于确定三维媒体内容制作方指定的缩放尺度，或根据用户位置与初始视点的相对位移确定当前深度值，根据深度值确定缩放尺度；
视点变更模块：用于确定变更后视点位置及变更后视点的法向量方向；
观看视野范围确定模块：用于根据用户位置视点内视野和深度的关系确定当前用户位置的观看视野范围；
三维媒体呈现模块：用于呈现三维媒体流中与观看视野范围相应的内容或全部媒体内容。
本发明的目的是提供一种基于三维点云的初始视角控制及呈现方法，能够指示用户在消费三维点云媒体内容时的初始观看方向，并支持尺度变换。同时，指示用户在消费三维点云媒体内容时的交互行为，以获取符合用户需求以及不同应用场景的三维点云媒体内容。
下面结合附图和具体实例对本发明中的技术方案做更加详细的说明。
以三维点云数字文化遗产展示为例。文化遗产数字化即利用激光扫描技术获取文化遗产的三维点云数据并最终实现文化遗产的三维重建，对文物进行存档，以永久、完整地展示文化遗产内涵。针对不同的文物类型，如大型文物建筑、小型文物、大型遗址场景等，用户的消费需求也不尽相同。
实施例1：
针对小型文物的三维点云模型，媒体内容制作方可以指定用户打开媒体内容文件时呈现的初始方向、缩放尺度及是否旋转展示，即指定初始视点的位置信息、初始视点的法向量信息、初始视点的正方向向量信息、缩放系数，以及根据用户需求指定物体旋转的变更的初始视点位置信息、变更后视点的法向量信息，以便全方位、多尺度观察文物。
实施例2：
如图3-1和图3-2所示，针对大型遗址场景的三维点云模型，如虚拟现实博物馆，用户可以在展区内与周围的三维点云场景以及附近的三维点云物体相互作用，所看到的展览区域会与用户移动的位置成一定关系变化，模拟现实中用户“靠近”及“远离”观看对象的效果，即支持用户实际观看区域随交互行为(记作“实时相对位移”)的适应性调整。例如，用户可以通过靠近展品的行为观察场景中更细节的部分，以获得沉浸式的用户体验。
在这种场景下，除支持三维点云媒体内容呈现时的初始方向、缩放尺度、是否旋转展示信息外，用户还可以沉浸式的消费三维点云媒体内容。如支持用户在场景内随意走动，此时客户端会通过定位用户实时位置信息，直接将用户实时相对位移反馈给服务器，服务器可以根据反馈的用户实时位置信息得到当前用户观看位置相对初始视点的相对距离即深度值，并根据解析的深度值、缩放系数确定当前位置用户能够观看的区域范围，然后将当前用户观看位置相应的观看视野范围呈现给用户，以满足用户在场景内走动时能够实现“靠近”及“远离”观看对象效果的需求。
为实现上述目的，需在三维点云媒体数据的封装信息中增加新的指示信息，所述指示信息包括：
信息一：初始视点位置信息；
信息二：初始视点法向量相对初始视点的位置信息；
信息三：初始视点的正方向向量信息；
以及至少一个以下信息：
信息四：三维媒体的缩放尺度信息；
信息五：变更后视点的位置信息，变更后视点的法向量相对变更后视点的位置信息；
信息六：实时相对位移：用户实时位置相对初始视点的位置信息；
信息七：根据用户实时位置调整对应的观看区域范围。
对三维媒体内容的初始视角及呈现进行信息标识，标识信息指示了初始视点位置信息、初始视点的法向量信息、初始视点的正方向向量信息、缩放尺度信息、变更后视点位置信息、变更后视点的法向量信息、用户实时观看位置信息及当前用户观看位置对应的观看视野范围。
针对以上问题，可以根据需要合理地添加如下字段：
viewpoint_x：指示初始视点位置的x坐标信息；
viewpoint_y：指示初始视点位置的y坐标信息；
viewpoint_z：指示初始视点位置的z坐标信息；
normal_x：指示初始视点的法向量相对初始视点的x坐标信息；
normal_y：指示初始视点的法向量相对初始视点的y坐标信息；
normal_z：指示初始视点的法向量相对初始视点的z坐标信息；
scale_factor：定义为一个缩放系数；
positive_direction_vector_x：指示初始视点的正方向向量相对初始视点的x坐标信息；
positive_direction_vector_y：指示初始视点的正方向向量相对初始视点的x坐标信息；
positive_direction_vector_z：指示初始视点的正方向向量相对初始视点的x坐标信息；
rotation_included_flag：指示媒体播放过程中是否支持旋转，即初始视角是否改变；rotation_included_flag为0表示媒体播放过程中不支持旋转，即初始视角不改变；否则，初始视角改变，变更后视点位置信息由viewpoint_rx、viewpoint_ry、viewpoint_rz表示，变更后视点的法向量信息由normal_rx、normal_ry、normal_rz表示。
viewpoint_rx：指示变更后视点位置的x坐标信息；
viewpoint_ry：指示变更后视点位置的y坐标信息；
viewpoint_rz：指示变更后视点位置的z坐标信息；
normal_rx：指示变更后视点的法向量相对变更后视点的x坐标信息；
normal_ry：指示变更后视点的法向量相对变更后视点的y坐标信息；
normal_rz：指示变更后视点的法向量相对变更后视点的z坐标信息；
real_time_interaction_flag：指示媒体播放过程中是否支持用户位置的实时交互；real_time_interaction_flag为0表示不支持媒体播放过程中用户位置的实时交互；否则，支持媒体播放过程中用户位置的实时交互，用户实时位置信息由vposition_x、vposition_y、vposition_z表示。
vposition_x：指示用户实时位置相对初始视点的x坐标信息；
vposition_y：指示用户实时位置相对初始视点的y坐标信息；
vposition_z：指示用户实时位置相对初始视点的z坐标信息；
move_depth：指示用户实时位置相对初始视点的相对距离，记为观看深度，可以根据反馈用户实时位置坐标信息vposition_x、vposition_y、vposition_z得出。
viewing_range_field：指示用户在实时位置上能够观看的区域范围，可以根据观看深度、缩放系数确定；
以下实施例中为了描述方便，引用上述的一组指示信息描述，但在其他实施例中，也可以或也可能是其他信息。
基于以上信息，以InitialViewingOrientationSample为例，下面给出一种对这些信息的组织结构。
Figure BDA0002115844650000081
/>
Figure BDA0002115844650000091
上述各字段的含义已在上文中做出说明。
需要注意的是，本发明中只是以上述字段为例对可伸缩扩展特性进行说明，并不局限于以上字段及其大小。
本实施例中以InitialViewingOrientationSample为例，阐明所提出的解决方案，但是这些方案同样可以用于其他文件封装协议里。
基于上述表述，以下给出具体应用实例：
以三维点云数字文化遗产展示为例。文化遗产数字化即利用激光扫描技术获取文化遗产的三维点云数据并最终实现文化遗产的三维重建，对文物进行存档，以永久、完整地展示文化遗产内涵。针对不同的文物类型，如大型文物建筑、小型文物、大型遗址场景等，用户的消费需求也不尽相同。
具体地，针对小型文物的三维点云模型，媒体内容制作方可以指定用户打开媒体内容文件时呈现的初始方向、缩放尺度及是否旋转展示，即指定初始视点的位置viewpoint_x、viewpoint_y、viewpoint_z信息，初始视点的法向量normal_x、normal_y、normal_z信息，初始视点的正方向向量信息positive_direction_vector_x、positive_direction_vector_y、positive_direction_vector_z，缩放系数scale_fator，以及根据是否支持旋转的需求指定物体旋转的变更的初始视点位置viewpoint_rx、viewpoint_ry、viewpoint_rz信息，变更后视点的法向量normal_rx、normal_ry、normal_rz信息，以便全方位、多尺度观察文物。
具体地，如图3-1和图3-2所示，针对大型遗址场景的三维点云模型，如虚拟现实博物馆，用户可以在展区内与周围的三维点云场景以及附近的三维点云物体相互作用，所看到的展览区域会与用户移动的位置成一定关系变化，模拟现实中用户“靠近”及“远离”观看对象的效果，即支持用户实际观看区域随交互行为(记作“实时相对位移”)的适应性调整。例如，用户可以通过靠近展品的行为观察场景中更细节的部分，以获得沉浸式的用户体验。在这种场景下，除支持三维点云媒体内容呈现时的初始方向、缩放尺度、是否旋转展示信息，即初始视点的位置viewpoint_x、viewpoint_y、viewpoint_z信息，初始视点的法向量normal_x、normal_y、normal_z信息，初始视点的正方向向量信息positive_direction_vector_x、positive_direction_vector_y、positive_direction_vector_z，缩放系数scale_fator，以及根据是否支持旋转的需求指定物体旋转的变更的初始视点位置viewpoint_rx、viewpoint_ry、viewpoint_rz信息，变更后视点的法向量normal_rx、normal_ry、normal_rz信息外，用户还可以沉浸式的消费三维点云媒体内容。如支持用户在场景内随意走动，此时客户端会通过定位用户实时位置vposition_x、vposition_y、vposition_z信息，直接将用户实时相对位移反馈给服务器，服务器可以根据反馈的用户实时位置vposition_x、vposition_y、vposition_z信息得到当前用户观看位置相对初始视点的相对距离即深度值move_depth，并根据解析的深度值、缩放系数确定当前位置用户能够观看的区域范围viewing_range_field，然后将当前用户观看位置相应的观看视野范围呈现给用户，以满足用户在场景内走动时能够实现“靠近”及“远离”观看对象效果的需求。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (12)

1.一种基于三维点云的初始视角控制和呈现方法，其特征在于，包括：
读取并解析三维媒体流；
确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
反馈用户实时位置对于初始视点的相对位移；
确定内容制作方指定的缩放尺度，或确定根据用户实时位置与初始视点的相对位移计算的深度设定的缩放尺度；
根据用户实时位置视点内的视野、深度和所述缩放尺度，确定当前用户位置的观看视野范围；其中，所述深度为用户实时位置相对初始视点的距离；
呈现三维媒体流中观看视野范围的部分媒体内容或全部媒体内容；
其中，所述三维媒体流是经过三维媒体数据封装形成，在所述三维媒体数据中添加指示信息，所述指示信息包括：
信息一：初始视点位置信息；
信息二：初始视点法向量相对初始视点的位置信息；
信息三：初始视点的正方向向量信息。
2.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，还包括：
变更后的初始视点位置和变更后的初始视点的法向量方向。
3.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述初始视点的正方向向量为与呈现设备规定的正方向平行的方向向量，初始视点的正方向向量包括：以初始视点为坐标原点建立坐标系，确定初始视点以外的正方向向量终点的x坐标信息、y坐标信息、z坐标信息。
4.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述用户实时位置视点内视野为用户实时位置点为圆心，到初始视点的距离为半径的一个圆形视野。
5.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述指示信息还包括至少一个以下信息：
信息四：三维媒体的缩放尺度信息；
信息五：变更后的初始视点的位置信息，变更后的初始视点的法向量相对变更后初始视点位置的信息；
信息六：实时相对位移：用户实时位置相对初始视点的位置信息；
信息七：根据用户实时位置调整对应的观看区域范围。
6.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述初始视点的法向量方向包括：以初始视点为坐标原点建立坐标系，确定初始视点以外的法向量终点的x坐标信息、y坐标信息、z坐标信息。
7.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述用户实时位置与初始视点的相对位移包括：以初始视点为坐标原点建立坐标系，用户实时位置的x坐标信息、y坐标信息、z坐标信息。
8.根据权利要求1所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，所述缩放尺度为三维媒体内容呈现的缩放系数。
9.根据权利要求1或权利要求2所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，变更后的所述初始视点位置包括：变更后视点的x坐标信息、y坐标信息、z坐标信息。
10.根据权利要求1或权利要求2所述的一种基于三维点云的初始视角控制和呈现方法，其特征在于，变更后所述初始视点的法向量方向包括：以变更后视点为坐标原点建立坐标系，确定变更后视点以外的法向量终点的x坐标信息、y坐标信息、z坐标信息。
11.一种基于三维点云的初始视角控制和呈现***，其特征在于，包括：
解析模块：用于读取并解析三维媒体流；
其中，所述三维媒体流是经过三维媒体数据封装形成，在所述三维媒体数据中添加指示信息，所述指示信息包括：
信息一：初始视点位置信息；
信息二：初始视点法向量相对初始视点的位置信息；
信息三：初始视点的正方向向量信息；
初始视角确定模块：用于确定初始视点、初始视点的法向量方向、初始视点的正方向向量；
位移反馈模块：用于反馈用户实时位置对于初始视点的相对位移；
缩放尺度确定模块：用于确定内容制作方指定的缩放尺度，或确定根据用户实时位置与初始视点的相对位移计算的深度值设定的缩放尺度；
观看视野范围确定模块：用于根据用户实时位置视点内的视野、深度和所述缩放尺度，确定当前用户位置的观看视野范围；其中，所述深度为用户实时位置相对初始视点的距离；
三维媒体呈现模块：用于呈现三维媒体流中观看视野范围的部分媒体内容或全部媒体内容。
12.根据权利要求11所述的一种基于三维点云的初始视角控制和呈现***，其特征在于，还包括：
视点变更模块：用于确定变更后的初始视点的位置和变更后的初始视点的法向量方向。
CN201910590125.7A 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及*** Active CN112150603B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202310480675.XA CN117635815A (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及***
EP20831860.0A EP3992917A4 (en) 2019-06-28 2020-06-28 CONTROL OF THE INITIAL VIEWING ANGLE BASED ON A THREE-DIMENSIONAL POINT CLOUD AND REPRESENTATION METHOD AND SYSTEM
KR1020217042738A KR20220013410A (ko) 2019-06-28 2020-06-28 3차원 포인트 클라우드를 기반한 초기 시야각 제어 및 프레젠테이션 방법 및 시스템
PCT/CN2020/098517 WO2020259682A1 (zh) 2019-06-28 2020-06-28 基于三维点云的初始视角控制和呈现方法及***
US17/595,808 US11836882B2 (en) 2019-06-28 2020-06-28 Three-dimensional point cloud-based initial viewing angle control and presentation method and system
JP2021570458A JP7317401B2 (ja) 2019-06-28 2020-06-28 三次元点群に基づく初期視野角の制御と提示の方法及びシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019105762540 2019-06-28
CN201910576254 2019-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310480675.XA Division CN117635815A (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及***

Publications (2)

Publication Number Publication Date
CN112150603A CN112150603A (zh) 2020-12-29
CN112150603B true CN112150603B (zh) 2023-03-28

Family

ID=73891739

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910590125.7A Active CN112150603B (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及***
CN202310480675.XA Pending CN117635815A (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310480675.XA Pending CN117635815A (zh) 2019-06-28 2019-07-02 基于三维点云的初始视角控制和呈现方法及***

Country Status (6)

Country Link
US (1) US11836882B2 (zh)
EP (1) EP3992917A4 (zh)
JP (1) JP7317401B2 (zh)
KR (1) KR20220013410A (zh)
CN (2) CN112150603B (zh)
WO (1) WO2020259682A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021122983A1 (en) * 2019-12-20 2021-06-24 Interdigital Vc Holdings France A method and apparatus for coding and decoding volumetric video with view-driven specularity
CN112764651B (zh) * 2021-02-01 2022-03-08 飞燕航空遥感技术有限公司 一种浏览器端三维点云剖面绘制方法和绘制***
CN113284251B (zh) * 2021-06-11 2022-06-03 清华大学深圳国际研究生院 一种自适应视角的级联网络三维重建方法及***
CN115439634B (zh) * 2022-09-30 2024-02-23 如你所视(北京)科技有限公司 点云数据的交互呈现方法和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447788A (zh) * 2016-09-26 2017-02-22 北京疯景科技有限公司 观看视角的指示方法及装置
CN106981098A (zh) * 2016-01-12 2017-07-25 西门子医疗有限公司 虚拟场景组分的视角表示
CN107945231A (zh) * 2017-11-21 2018-04-20 江西服装学院 一种三维视频播放方法及装置
CN108074278A (zh) * 2016-11-17 2018-05-25 百度在线网络技术（北京）有限公司 视频呈现方法、装置和设备
CN108320334A (zh) * 2018-01-30 2018-07-24 公安部物证鉴定中心 基于点云的三维场景漫游***的建立方法
CN109272527A (zh) * 2018-09-03 2019-01-25 中国人民解放军国防科技大学 一种三维场景中随机运动目标的跟踪控制方法及装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5837848B2 (ja) * 2012-03-02 2015-12-24 株式会社日立製作所 画像処理装置、画像処理システム、画像処理方法
US20140038708A1 (en) * 2012-07-31 2014-02-06 Cbs Interactive Inc. Virtual viewpoint management system
DE102013204597A1 (de) * 2013-03-15 2014-09-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag
WO2015008538A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および情報処理方法
US9361665B2 (en) * 2013-11-27 2016-06-07 Google Inc. Methods and systems for viewing a three-dimensional (3D) virtual object
CN104768018B (zh) 2015-02-04 2016-09-21 浙江工商大学 一种基于深度图的快速视点预测方法
JP6250592B2 (ja) 2015-06-02 2017-12-20 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム
JP2017036998A (ja) * 2015-08-10 2017-02-16 株式会社東芝 色情報決定装置および画像生成装置
CN105704468B (zh) * 2015-08-31 2017-07-18 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
US10652459B2 (en) * 2016-03-07 2020-05-12 Ricoh Company, Ltd. Information processing system, information processing method, and non-transitory computer-readable storage medium
GB2550589B (en) * 2016-05-23 2019-12-04 Canon Kk Method, device, and computer program for improving streaming of virtual reality media content
KR102208132B1 (ko) * 2016-05-26 2021-01-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10547879B2 (en) * 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
US20180020238A1 (en) * 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information
JP7127539B2 (ja) * 2016-08-05 2022-08-30 ソニーグループ株式会社 画像処理装置および画像処理方法
US10970916B2 (en) * 2016-10-19 2021-04-06 Sony Corporation Image processing apparatus and image processing method
EP3337154A1 (en) 2016-12-14 2018-06-20 Thomson Licensing Method and device for determining points of interest in an immersive content
CN107659851B (zh) * 2017-03-28 2019-09-17 腾讯科技（北京）有限公司 全景图像的展示控制方法及装置
CN107330122A (zh) 2017-07-18 2017-11-07 歌尔科技有限公司 一种基于虚拟现实的景区游览方法、客户端装置和***
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
US10803665B1 (en) * 2017-09-26 2020-10-13 Amazon Technologies, Inc. Data aggregation for augmented reality applications
KR102390208B1 (ko) * 2017-10-17 2022-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
US11689705B2 (en) * 2018-01-17 2023-06-27 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN110944222B (zh) 2018-09-21 2021-02-12 上海交通大学 沉浸媒体内容随用户移动变化的方法及***
US11722718B2 (en) * 2019-01-24 2023-08-08 Interdigital Vc Holdings, Inc. System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom
CN109977466B (zh) * 2019-02-20 2021-02-02 深圳大学 一种三维扫描视点规划方法、装置及计算机可读存储介质
KR20230152815A (ko) * 2019-03-21 2023-11-03 엘지전자 주식회사 포인트 클라우드 데이터 부호화 장치, 포인트 클라우드 데이터 부호화 방법, 포인트 클라우드 데이터 복호화 장치 및 포인트 클라우드 데이터 복호화 방법
CN110335295B (zh) * 2019-06-06 2021-05-11 浙江大学 一种基于tof相机的植物点云采集配准与优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981098A (zh) * 2016-01-12 2017-07-25 西门子医疗有限公司 虚拟场景组分的视角表示
CN106447788A (zh) * 2016-09-26 2017-02-22 北京疯景科技有限公司 观看视角的指示方法及装置
CN108074278A (zh) * 2016-11-17 2018-05-25 百度在线网络技术（北京）有限公司 视频呈现方法、装置和设备
CN107945231A (zh) * 2017-11-21 2018-04-20 江西服装学院 一种三维视频播放方法及装置
CN108320334A (zh) * 2018-01-30 2018-07-24 公安部物证鉴定中心 基于点云的三维场景漫游***的建立方法
CN109272527A (zh) * 2018-09-03 2019-01-25 中国人民解放军国防科技大学 一种三维场景中随机运动目标的跟踪控制方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
海量三维地形数据的实时可视化研究;陶志鹏等;《科技创新与应用》;20131028(第30期);全文 *

Also Published As

Publication number Publication date
JP7317401B2 (ja) 2023-07-31
KR20220013410A (ko) 2022-02-04
CN112150603A (zh) 2020-12-29
US20220148280A1 (en) 2022-05-12
WO2020259682A1 (zh) 2020-12-30
EP3992917A1 (en) 2022-05-04
JP2022534269A (ja) 2022-07-28
CN117635815A (zh) 2024-03-01
US11836882B2 (en) 2023-12-05
EP3992917A4 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
CN112150603B (zh) 基于三维点云的初始视角控制和呈现方法及***
Langlotz et al. Sketching up the world: in situ authoring for mobile augmented reality
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
US20180276882A1 (en) Systems and methods for augmented reality art creation
US9519999B1 (en) Methods and systems for providing a preloader animation for image viewers
KR20220035380A (ko) 증강 현실 장면들을 위한 시스템 및 방법
CN106527857A (zh) 一种基于虚拟现实的全景视频交互方法
CN108269305A (zh) 一种二维、三维数据联动展示方法和***
US20150161823A1 (en) Methods and Systems for Viewing Dynamic High-Resolution 3D Imagery over a Network
CN108133454B (zh) 空间几何模型图像切换方法、装置、***及交互设备
CN103020340A (zh) 基于web的3D家居设计***
WO2012166188A1 (en) Asynchronous handling of a user interface manipulation
US9588651B1 (en) Multiple virtual environments
CN113709093B (zh) 一种三维点云的封装方法、装置及介质
CN110084797B (zh) 平面检测方法、装置、电子设备和存储介质
CN114531553B (zh) 生成特效视频的方法、装置、电子设备及存储介质
CN109582122A (zh) 增强现实信息提供方法、装置及电子设备
CN109741431B (zh) 一种二三维一体化电子地图框架
CN110944222B (zh) 沉浸媒体内容随用户移动变化的方法及***
CN108958609A (zh) 三维全景封面图的生成方法、装置、存储介质和终端设备
CN110120087A (zh) 三维虚拟沙盘的标签标注方法、装置及终端设备
CN104751506A (zh) 一种实现三维图形图像的集群渲染方法和设备
CN110119199B (zh) 实时渲染影像的追踪***、方法及非暂态电脑可读取媒体
CN114913277A (zh) 一种物体立体交互展示方法、装置、设备及介质
CN110662099B (zh) 用于显示弹幕的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant