CN108712641A - 用于基于多面体提供vr图像的电子设备及其图像提供方法 - Google Patents

用于基于多面体提供vr图像的电子设备及其图像提供方法 Download PDF

Info

Publication number
CN108712641A
CN108712641A CN201810116468.5A CN201810116468A CN108712641A CN 108712641 A CN108712641 A CN 108712641A CN 201810116468 A CN201810116468 A CN 201810116468A CN 108712641 A CN108712641 A CN 108712641A
Authority
CN
China
Prior art keywords
electronic equipment
image
information
image data
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810116468.5A
Other languages
English (en)
Inventor
林镇镐
I·S·柳
郑日会
崔炳包
金润柱
安秉玄
梁栽银
廉东铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108712641A publication Critical patent/CN108712641A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了一种电子设备。该电子设备包括：通信模块，包括通信电路；存储器，被配置为存储对使用第一渲染方案基于配置有第一数量的表面的第一多面体生成的第一图像数据加以指示的第一信息以及对使用第二渲染方案基于配置有第二数量的表面的第二多面体生成的第二图像数据加以指示的第二信息；以及处理器。处理器被配置为验证电子设备的状态信息，至少基于状态信息来选择第一信息和第二信息之一，经由通信模块将与所选择的信息相对应的请求发送给外部电子设备，响应于该请求从外部电子设备接收第一图像数据和第二图像数据之中的与所选择的信息相对应的图像数据，并控制所接收的图像数据的回放。

Description

用于基于多面体提供VR图像的电子设备及其图像提供方法
相关申请的交叉引用
本申请基于并要求于2017年2月6日向韩国知识产权局提交的、所指派的序列号为10-2017-0016440的韩国专利申请的优先权，其公开内容以全文引用的方式并入本文中。
技术领域
本公开大体上涉及一种用于基于多面体提供全向图像(或虚拟现实(VR)图像)的电子设备以及一种用于提供图像的方法。
背景技术
虚拟现实(VR)可以指通过使用利用电子设备的人工技术构造的与现实相似的任何特定环境或情况，但不是真实的现实。用户通过经由VR和交互使用感官进行感受而具有与现实相似的感官体验。
应当捕获全向图像以实现VR。可以通过在诸如智能电话或平板个人计算机(PC)的显示设备上回放全向图像来实现VR技术。可以使用可穿戴设备(例如，头戴式显示器(HMD))来实现VR。
用于实现VR的全向图像可以从捕获全向图像的电子设备发送给另一电子设备。
全向图像可以是在捕获点周围捕获全向主体的图像，并且可以具有比通过仅捕获指定范围而生成的图像更高的容量。因此，如果电子设备实时接收和回放全向图像，则根据电子设备处理图像的状态和电子设备连接到网络的状态，可能不能流畅地执行全向图像的流传输。
可以将三维(3D)全向图像映射到要发送的二维(2D)平面以将全向图像发送给另一电子设备。因此，根据映射到2D平面的方式，全向图像的容量可能改变。
发明内容
本公开的示例性方面至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的示例性方面在于提供一种电子设备及其图像提供方法，用于根据电子设备处理图像的状态和电子设备连接到网络的状态来改变将全向图像布置在二维(2D)平面上并流畅地发送全向图像的方法。
根据本公开的示例性方面，提供了一种电子设备。该电子设备可以包括：通信模块，包括通信电路；存储器，被配置为存储对使用第一渲染方案基于配置有第一数量的表面的第一多面体生成的第一图像数据加以指示的第一信息以及对使用第二渲染方案基于配置有第二数量的表面的第二多面体生成的第二图像数据加以指示的第二信息；以及处理器。所述处理器可以被配置为：验证电子设备的状态信息，至少基于状态信息来选择第一信息和第二信息之一，经由通信模块将与所选择的信息相对应的请求发送给外部电子设备，响应于该请求从外部电子设备接收第一图像数据和第二图像数据之中的与所选择的信息相对应的图像数据，并控制所接收的图像数据的回放。
根据本公开的另一示例性方面，提供了一种图像提供方法。该方法可以包括：验证电子设备的状态信息；至少基于电子设备的状态信息来选择以下项之一：对使用第一渲染方案基于配置有第一数量的表面的第一多面体生成的第一图像数据加以指示的第一信息、以及对使用第二渲染方案基于配置有第二数量的表面的第二多面体生成的第二图像数据加以指示的第二信息；经由电子设备的通信模块将与所选择的信息相对应的请求发送给外部电子设备；响应于该请求从外部电子设备接收第一图像数据和第二图像数据之中的与所选择的信息相对应的图像数据；以及控制所接收的图像数据的回放。
根据本公开的另一示例性方面，提供了一种存储介质。该存储介质可以包括当由处理器执行时使得电子设备执行以下操作的指令：验证电子设备的状态信息；至少基于状态信息来选择以下项之一：对使用第一渲染方案基于配置有第一数量的表面的第一多面体生成的第一图像数据加以指示的第一信息、以及对使用第二渲染方案基于配置有第二数量的表面的第二多面体生成的第二图像数据加以指示的第二信息；经由电子设备的通信模块将与所选择的信息相对应的请求发送给外部电子设备；响应于该请求从外部电子设备接收第一图像数据和第二图像数据之中的与所选择的信息相对应的图像数据；以及控制所接收的图像数据的回放。
一种用于处理图像的电子设备及其控制方法可以通过基于关于电子设备处理图像的电子设备的状态和电子设备连接到网络的电子设备的状态的信息来选择全向图像将被映射到的多面体并将全向图像映射到所选择的多面体以生成图像，来有效地发送全向图像。
此外，该电子设备及其控制方法可以通过根据基于用户的视线确定的视场(FOV)来减小映射到多面体的多个表面的图像并将减小的图像布置在2D平面上以生成图像，来有效地发送全向图像。
另外，可以提供通过本公开直接或间接确定的多种效果。
通过结合附图公开了本公开的各种示例实施例的以下详细描述，本领域技术人员将更清楚本公开的其他方面、优点和显著特征。
附图说明
从以下结合附图的详细描述中，本公开的各种示例实施例的以上和其他方面、特征和随之产生的优点将更加清楚明白和容易理解，其中，类似的附图标记表示类似的元件，并且其中：
图1是示出了根据本公开各种示例实施例的网络环境中的电子设备的示例配置的框图；
图2是示出了根据本公开各种示例实施例的电子设备的示例配置的框图；
图3是示出了根据本公开各种示例实施例的示例程序模块的框图；
图4是示出了根据本公开各种示例实施例的示例图像处理***的示图；
图5是示出了根据本公开各种示例实施例的用于对图像处理***的图像进行处理的示例方法的序列图；
图6是示出了根据本公开示例实施例的第一电子设备的示例配置的框图；
图7A、图7B和图7C是示出了根据本公开示例实施例的用于通过在第一电子设备处将全向图像映射到二维(2D)平面来生成等矩形投影(ERP)图像的示例方法的示图；
图8A、图8B和图8C是示出了根据本公开实施例的用于在第一电子设备处将ERP图像映射到多面体的示例方法的示图；
图9A、图9B、图9C和图9D是示出了根据本公开示例实施例的第一电子设备将映射到多面体的图像布置在2D平面上的示例的示图；
图10是示出了根据本公开示例实施例的第二电子设备的示例配置的框图；
图11A和图11B是示出了根据本公开示例实施例的用于在第一电子设备处根据ERP图像生成多面体投影(PHP)图像并将生成的PHP图像发送给第二电子设备的示例方法的示图；
图12A、图12B、图12C、图12D和图12E是示出了根据本公开示例实施例的用于在第一电子设备处将根据细节级别(LOD)减小的图像布置在2D平面上的示例方法的示图；
图13是示出了根据本公开示例实施例的在第一电子设备处通过多信道发送根据LOD生成的图像的示例的示图；
图14是示出了根据本公开示例实施例的图像处理***的示例图像处理方法的框图；
图15是示出了根据本公开示例实施例的图像处理***的示例图像处理方法的框图；以及
图16是示出了根据本公开示例实施例的第二电子设备的用于图像处理的示例控制方法的流程图。
应注意，在整个附图中，相似的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
在下文中，可以参考附图来描述本公开的各种示例实施例。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文中所述的各种实施例进行各种修改、等同和/或替换。关于附图的描述，相似的元件可以用相似的附图标记来标记。除非另有指定，否则单数形式的术语可以包括复数形式。在本公开中，表述“A或B”、“A或/和B中的至少一个”或者“A或/和B中的一个或多个”等可以包括相关联的列出项中的一个或多个的任意以及所有组合。诸如“第一”、“第二”等术语可以用于：在不管顺序和/或优先级的情况下指代各种元素，并且将相关元素与其他元素区分开，但是不限制元素。当一个元件(例如，第一元件)被称为“(操作或通信地)耦接到”或“连接到”另一个元件(例如，第二元件)时，该元件可以直接耦接或连接到该另一元件，或者可以存在中间元件(例如，第三元件)。
根据情况，本公开中使用的表述“(被)配置为...”可以在硬件或软件方面用作例如表述“适合于...”、“具有...的能力”、“适于...”、“被制造为...”、“能够...”或“被设计为...”。表述“(被)配置为...的设备”可以表示该设备“能够”与另一设备或其他组件一起操作的情形。例如，“被配置为(或被设置为)执行A、B和C的处理器”可以指代(例如而不限于)用于执行对应操作的专用处理器(例如，嵌入式处理器)、通过执行存储设备中所存储的一个或多个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)等。
根据本公开各种实施例的电子设备可以包括以下至少一项：例如，智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、医疗设备、相机或可穿戴设备等，但不限于此。根据各种实施例，可穿戴设备可以包括以下至少一种：饰品型(例如，手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴式设备(HMD))、衣料或服饰集成型(例如，电子服饰)、身体附着型(例如，皮肤贴或纹身)或生物可植入型(例如，可植入电路)等，但不限于此。根据各种实施例，电子设备可以包括以下至少一项：例如，电视(TV)、数字多功能盘(DVD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、媒体盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、摄像机、电子相框等，但不限于此。
根据另一实施例，电子设备可以包括以下至少一项：各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖监测设备、心率测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算断层扫描(CT)、扫描仪和超声设备)、导航设备、全球导航卫星***(GNSS)、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车辆信息娱乐设备、船用电子设备(例如，导航***和陀螺仪罗盘)、航空电子设备、安保设备、车头单元、工业或家用机器人、无人机、自动柜员机(ATM)、商店的销售点(POS)或物联网(例如，灯泡、各种传感器、洒水设备、火警、恒温器、街灯、烤面包机、运动器材、热水箱、加热器、锅炉等)等，但不限于此。根据实施例，电子设备可以包括以下至少一项：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量仪器(例如，水表、电表、气表或测波计等)等，但不限于此。根据各种实施例，电子设备可以是柔性电子设备，或者两个或更多个上述设备的组合。此外，根据本公开实施例的电子设备可以不限于上述电子设备。在本公开中，术语“用户”可以指代使用电子设备的人，或者可以指代使用电子设备的设备(例如，人工智能电子设备)。
图1是示出了根据本公开各种示例实施例的网络环境中的示例电子设备的示图。
参考图1，根据各种实施例，描述了网络环境100中的电子设备101。电子设备101可以包括总线110、处理器(例如，包括处理电路)120、存储器130、输入/输出接口(例如，包括输入/输出电路)150、显示器160和通信接口(例如，包括通信电路)170。根据实施例，电子设备101可以不包括上述元件中的至少一个，或者还可以包括其他元件。
总线110可以将上述元件110至170互连，并且可以包括用于在上述元件之间传送通信(例如，控制消息和/或数据)的电路。
处理器120可以包括各种处理电路，例如但不限于以下项中的一个或多个：专用处理器、中央处理单元(CPU)、应用处理器(AP)、通信处理器(CP)等。例如，处理器120可以执行与电子设备101的至少其他元件的控制和/或通信相关联的算术运算或数据处理。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个(至少一些)其他元件相关联的指令或数据。根据实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可以被称为“操作***(OS)”。例如，内核141可以控制或管理用于执行其他程序(例如，中间件143、API 145和应用程序147)的操作或功能的***资源(例如，总线110、处理器120、存储器130等)。此外，内核141可以提供允许中间件143、API 145或应用程序147访问电子设备101的分立元件以便控制或管理***资源的接口。
中间件143可以执行例如中介角色，使得API 145或应用程序147与内核141进行通信以交换数据。此外，中间件143可以根据优先级处理从应用程序147接收到的一个或多个任务请求。例如，中间件143可以向应用程序147中的至少一个指派使得可以使用电子设备101的***资源(例如，总线110、处理器120、存储器130等)的优先级，并且可以处理一个或多个任务请求。API 145可以是应用程序147通过其来控制由内核141或中间件143提供的功能的接口，并且可以包括例如用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，指令)。
输入/输出接口150可以包括各种输入/输出电路，并且可以向电子设备101的其他元件发送从用户或另一外部设备输入的指令或数据，或者可以向用户或另一外部设备输出从电子设备101的其他元件接收的指令或数据。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电***(MEMS)显示器或电子纸显示器等，但不限于此。显示器160可以向用户显示例如各种内容(例如，文本、图像、视频、图标、符号等)。显示器160可以包括触摸屏，并且可以接收例如使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。
通信接口170可以在电子设备101与外部设备(例如，第一电子设备102、第二电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线通信或有线通信与网络162相连，用以与外部设备(例如，第二电子设备104或服务器106)通信。通信接口170可以与外部设备(例如但不限于第一电子设备102)建立短距离无线通信连接164。
例如，无线通信可以包括使用以下至少一项的蜂窝通信：长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信***(UMTS)、无线宽带(WiBro)、全球移动通信***(GSM)等。无线通信可以包括以下至少一项：无线保真(Wi-Fi)、光保真(LiFi)、蓝牙、蓝牙低能量(BLE)、Zigbee、近场通信(NFC)、磁条传输(MST)、射频(RF)、体域网等。根据实施例，无线通信可以包括GNSS。GNSS可以是以下项之一：例如，全球定位***(GPS)、全球导航卫星***(Glonass)、北斗导航卫星***(下文中称为“北斗”)或欧洲基于全球卫星的导航***(下文中称为“伽利略”)。在下文中，在本公开中，“GPS”和“GNSS”可以互换使用。有线通信可以包括以下至少一项：例如，通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准-232(RS-232)、电力线通信、普通老式电话服务(POTS)等。网络162可以包括电信网络中的至少一项，例如，计算机网络(例如，LAN或WAN)、互联网或电话网络。
第一外部电子设备102和第二外部电子设备104中的每一个可以是在类型上与电子设备101不同或相同的设备。根据各种实施例，可以由另一电子设备或多个电子设备(例如，第一电子设备102、第二电子设备104或服务器106)来执行电子设备101要执行的操作的全部或一部分。根据实施例，在电子设备101自动执行或响应于请求来执行任何功能或服务的情况下，电子设备101可以备选地或附加地向其他电子设备(例如，电子设备102或104或服务器106)请求与电子设备101相关联的功能的至少一部分，而不是内在地执行所述功能或服务。其他电子设备(例如，电子设备102或104或服务器106)可以执行所请求的功能或附加功能，并可以向电子设备101发送执行结果。电子设备101可以使用接收到的结果来提供所请求的功能或服务，或者可以附加地对接收到的结果进行处理以提供所请求的功能或服务。为此，可以使用例如云计算、分布式计算或客户端-服务器计算。
图2是示出了根据本公开各种示例实施例的示例电子设备的框图。
参考图2，电子设备201可以包括图1所示的电子设备101的全部或一部分。电子设备201可以包括一个或多个处理器(例如，应用处理器(AP))(例如，包括处理电路)210、通信模块(例如，包括通信电路)220、订户标识模块224、存储器230、传感器模块240、输入设备(例如，包括输入电路)250、显示器260、接口(例如，包括接口电路)270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
例如，处理器210可以包括各种处理电路并且利用片上***(SoC)来实现。根据实施例，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2所示的元件的至少一部分(例如，蜂窝模块221)。处理器210可以将从至少一个其他元件(例如，非易失性存储器)接收的指令和数据加载到易失性存储器中，并且对所加载的指令或数据进行处理。处理器210可以将所得数据存储在非易失性存储器中。
通信模块220可以被配置为与图1的通信接口170相同或相似。通信模块220可以包括各种通信电路，例如但不限于以下项中的一个或多个：蜂窝模块221、Wi-Fi模块223、蓝牙(BT)模块225、GNSS模块227、近场通信(NFC)模块228和射频(RF)模块229等。蜂窝模块221可以通过通信网络提供例如语音通信、视频通信、字符服务、互联网服务等。根据实施例，蜂窝模块221可以通过使用订户标识模块(例如，SIM卡)224来执行在通信网络中对电子设备201的区分和认证。根据实施例，蜂窝模块221可以至少执行处理器210提供的功能的一部分。
根据实施例，蜂窝模块221可以包括通信处理器(CP)。根据实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNNS模块227或NFC模块228中的至少一部分(例如，两个或更多个)可以被包括在一个集成电路(IC)或IC封装内。例如，RF模块229可以发送和接收通信信号(例如，RF信号)。例如，RF模块229可以包括收发机、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNNS模块227或NFC模块228中的至少一个可以通过单独的RF模块来发送和接收RF信号。
订户标识模块224可以包括例如包含订户标识模块的卡和/或嵌入式SIM，并且可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识(IMSI))。
存储器230(例如，存储器130)可以包括内部存储器232和/或外部存储器234。例如，内部存储器232可以包括以下至少一项：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存、硬盘驱动器或固态驱动器(SSD)。外部存储器234可以包括闪存驱动器，例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(微型-SD)、迷你型安全数字(迷你型-SD)、极限数字(xD)、多媒体卡(MMC)、存储棒等。外部存储器234可以通过各种接口与电子设备201操作地连接和/或物理地连接。
传感器模块240可以测量例如物理量或者可以检测电子设备201的操作状态。传感器模块240可以将测量到的或检测到的信息转换为电信号。例如，传感器模块240可以包括以下至少一项：手势传感器240A、陀螺仪传感器240B、气压(例如，大气压)传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红、绿、蓝(RGB)传感器)、生物特征(例如，生物)传感器240I、温度/湿度传感器240J、照度(例如，照明)传感器240K和/或UV传感器240M。尽管未示出，但是附加地或通常地，传感器模块240还可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器、和/或指纹传感器。传感器模块240还可以包括用于控制其中包括的至少一个或多个传感器的控制电路。根据实施例，电子设备201还可以包括作为处理器210的一部分或独立于处理器210且被配置为控制传感器模块240的处理器。所述处理器可以在处理器210保持睡眠状态的同时控制传感器模块240。
输入设备250可以包括各种输入电路，例如(但不限于)触摸面板252、(数字)笔传感器254、按键256或超声输入设备258中的一个或多个。例如，触摸面板252可以使用电容型、电阻型、红外型和超声型检测方法中的至少一种方法。此外，触摸面板252还可以包括控制电路。触摸面板252还可以包括用于向用户提供触觉反应的触觉层。(数字)笔传感器254可以是例如触摸面板的一部分或可以包括用于识别的附加片。按键256可以包括例如物理按钮、光学键或键区。超声输入设备258可以通过麦克风(例如，麦克风288)来检测(或感测)从输入设备生成的超声信号，并可以检查与所检测到的超声信号相对应的数据。
显示器260(例如，显示器160)可以包括面板262、全息设备264、投影仪266和/或用于控制面板262、全息设备264或投影仪266的控制电路。面板262可以例如被实现为柔性的、透明的或可穿戴的。面板262和触摸面板252可以集成在单个模块中。根据实施例，面板262可以包括测量用户的触摸压力强度的压力传感器(或力传感器)。压力传感器可以与触摸面板252集成地实现，或者可以实现为独立于触摸面板252的至少一个传感器。全息设备264可以使用光的干涉现象在空间中显示立体图像。投影仪266可以将光投射到屏幕上以显示图像。例如，屏幕可被布置在电子设备201的内部或外部。
接口270可以包括各种接口电路，例如而不限于以下项中的一个或多个：高清多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或D-超小型(D-sub)278。接口270可以包括在例如图1中示出的通信接口170中。附加地或通常地，接口270可以包括例如移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可以双向转换声音和电信号。音频模块280的至少一部分可以包括在例如图1所示的输入/输出接口150中。音频模块280可以处理例如通过扬声器282、听筒284、耳机286或麦克风288输入或输出的声音信息。
例如，相机模块291可以拍摄静止图像或视频。根据实施例，相机模块291可以包括至少一个或多个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙气灯)。
电源管理模块295可以管理例如电子设备201的电力。根据实施例，电源管理集成电路(PMIC)、充电器IC、或电池量表或油量表可以包括在电源管理模块295中。PMIC可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法或电磁方法，并且还可以包括附加电路，例如，线圈环路、共振电路、整流器等。例如，电池量表可以测量电池296的剩余容量以及在对电池充电时其电压、电流或温度。例如，电池296可以包括可再充电电池和/或太阳能电池。
指示器297可以显示电子设备201或其一部分(例如，处理器210)的特定状态，例如引导状态、消息状态、充电状态等。电机298可以将电信号转换为机械振动，并且可以产生以下效果：振动、触觉等。
电子设备201可以包括用于支持移动TV的处理设备(例如，GPU)。用于支持移动TV的处理设备可以根据数字多媒体广播(DMB)、数字视频广播(DVB)、MediaFLOTM等标准来对媒体数据进行处理。根据本公开各种实施例的电子设备的上述元件中的每一个元件可以被配置有一个或多个组件，且元件的名称可以根据电子设备的类型而改变。在各种实施例中，可以省略电子设备(例如，电子设备201)的一些元件，或者可以添加其他附加元件。此外，可以将电子设备的某些元件彼此组合，以便形成一个实体，使得可以以与组合之前相同的方式执行这些元件的功能。
图3是示出了根据本公开各种示例实施例的示例程序模块的框图。
参考图3，程序模块310(例如，程序140)可以包括用于控制与电子设备(例如，电子设备101)相关联的资源的操作***(OS)和/或在0S上驱动的各种应用(例如，应用程序147)。0S可以是例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。程序模块310可以包括内核320(例如，内核141)、中间件330(例如，中间件143)、应用编程接口(API)360(例如，API 145)和/或应用370(例如，应用程序147)。程序模块310的至少一部分可以被预加载在电子设备上，或者可以从外部电子设备(例如，第一电子设备102、第二电子设备104、服务器106等)下载。
内核320(例如，内核141)可以包括例如***资源管理器321和/或设备驱动器323。***资源管理器321可以控制、分配或获取***资源。根据实施例，***资源管理器321可以包括进程管理单元、存储器管理单元、文件***管理单元等。设备驱动器323可以包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键区驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。中间件330可以提供例如应用370通常所需的功能或者可以通过API 360向应用370提供多种功能，以便允许应用370能够高效地使用电子设备的有限***资源。
根据实施例，中间件330可以包括以下至少一项：运行时间库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和/或安全管理器352。
运行时间库335可以包括例如由编译器使用的库模块，以便在执行应用370的同时通过使用编程语言来添加新的功能。运行时间库335可以执行关于算术功能的输入/输出管理、存储器管理或容量。应用管理器341可以管理例如应用370的至少一个应用的生命周期。窗口管理器342可以管理在屏幕中使用的图形用户界面(GUI)资源。多媒体管理器343可以识别用于播放多种媒体文件所需的格式，并且可以通过使用适用于该格式的编解码器来对媒体文件执行编码或解码。资源管理器344可以管理应用370的资源，例如存储空间或源代码。电源管理器345可以管理电池容量、温度或电源，并且可以通过使用对应信息来确定或提供用于电子设备的操作的电源信息。根据实施例，电源管理器345可以与基本输入/输出***(BIOS)一起操作。数据库管理器346可以生成、搜索或修改要在应用370中使用的数据库。包管理器347可以安装或更新以包文件的形式分发的应用。
连接管理器348可管理例如无线连接。通知管理器349可以向用户提供事件(例如，到达消息、约定或接近通知)。例如，位置管理器350可以管理关于电子设备的位置信息。图形管理器351可以管理向用户提供的图形效果，或管理与图形效果相关的用户界面。安全管理器352可以提供例如***安全或用户认证。
根据实施例，中间件330可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器或组合上述元件的各种功能的中间件模块。根据实施例，中间件330可以提供针对每个OS类型而被专门化的模块，以便提供差异化的功能。此外，中间件330可以动态地移除已有元件的一部分，或者可以向已有元件添加新的元件。API 360可以是例如编程功能的集合，并且可以设置有根据OS而变化的配置。例如，在OS是安卓或iOS的情况下，可以针对每个平台提供一个API集合。在OS是tizen的情况下，可以针对每个平台提供两个或更多个API集合。
应用370可以包括例如如下应用：诸如主页371、拨号器372、SMS/MMS 373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383和/或钟表/时钟384。附加地或备选地，尽管未示出，但是应用370可以包括各种应用，其中包括例如但不限于卫生保健(例如，测量运动量、血糖等)或提供环境信息(例如，气压、湿度、温度等的信息)。根据实施例，应用370可以包括用于支持电子设备和外部电子设备之间的信息交换的信息交换应用。例如，信息交换应用可以包括用于向外部电子设备发送特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。例如，通知中继应用可以包括将从其他应用产生的通知信息发送给外部电子设备的功能，或可以从外部电子设备接收例如通知信息并向用户提供通知信息。设备管理应用可以安装、删除或更新例如与电子设备通信的外部电子设备的功能(例如，外部电子设备自身(或一部分组件)的接通/关闭或显示器的亮度(或分辨率)的调整)以及在外部电子设备中运行的应用。根据实施例，应用370可以包括根据外部电子设备的属性指派的应用(例如，移动医疗设备的卫生保健应用)。根据实施例，应用370可以包括从外部电子设备接收的应用。程序模块310的至少一部分可以通过软件、固件、硬件(例如，处理器210)或其中两个或更多个的组合(例如，执行)来实现，并且可以包括用于执行一个或多个功能的模块、程序、例程、指令集、进程等。
在本公开中使用的术语“模块”可以包括例如包含硬件、软件、固件和/或其任何组合的单元，并且可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件，或者可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械地或电子地实现，并且可以包括例如但不限于用于执行已知的或将来开发的一些操作的专用处理器、CPU、专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一种。
根据各种实施例的装置的至少一部分(例如，其模块或其功能)或方法的至少一部分(例如，操作)可以例如通过以程序模块形式存储在计算机可读存储介质(例如，存储器130)中的指令来实现。指令在由处理器(例如，处理器120)执行时，可以使处理器执行与该指令相对应的功能。计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光介质(例如，致密盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光介质(例如，光磁软盘)和内部存储器。此外，程序指令不仅可以包括诸如由编译器生成的事物的机器代码，而且还可以包括使用解释器在计算机上可执行的高级语言代码。根据各种实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略上述元件的一部分，或者还可以包括其他元件。由根据各种实施例的模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或者按照探索性的方式执行，或者一些操作可以按不同顺序执行或可以被省略。备选地，可以添加其他操作。
图4是示出了根据本公开各种示例实施例的示例图像处理***的示图。
参考图4，图像处理***400可以包括相机设备410、第一电子设备420(例如，图1的服务器106)和第二电子设备430(例如，图1的电子设备101或图2的电子设备201)。图像处理***400可以发送和接收全向捕获的图像(或视频图像)，并且可以将该图像提供给用户。
相机设备410可以包括各种图像捕获电路并且全向地捕获图像(或图像数据)。例如，相机设备410可以包括多个镜头(或多个相机模块)。相机设备410可以通过多个镜头以指定的角度划分全方向，并且可以捕获图像。镜头可以是能够具有特定角度(例如，180度)或更大角度的视角的鱼眼镜头。通过鱼眼镜头捕获的图像可以是鱼眼图像。又例如，相机设备410可以包括一个或多个镜头(或一个或多个相机模块，例如，能够同时捕获正面和背面的相机模块)。相机设备410可以自动地或手动地移动以全向地捕获图像。因此，相机设备410可以生成全向图像。
例如而非限制地，第一电子设备420可以包括发送所存储的图像的服务器。例如，第一电子设备420可以处理并存储从相机设备410接收的全向图像，并且可以将存储的图像发送给第二电子设备430。
根据实施例，第一电子设备420可以将全向图像映射到2D平面。例如，第一电子设备420可以使用等矩形投影(ERP)方案将全向图像映射到2D平面。此外，第一电子设备420可以使用多面体投影(PHP)方案将使用ERP方案映射到2D平面的图像(或ERP图像)再次映射到2D平面。第一电子设备420可以将例如ERP图像映射到多面体，并且可以将ERP图像所映射到的多面体的多个表面布置在2D平面上。
根据实施例，第一电子设备420可以将基于多面体生成的图像(或PHP图像)发送给第二电子设备430。例如，第一电子设备420可以将PHP图像发送给第二电子设备430。根据实施例，第一电子设备420可以将元数据与PHP图像一起发送给第二电子设备430。元数据可以包括用于将PHP图像映射到3D空间的信息。
根据实施例，第一电子设备420可以将基于第二电子设备430的状态而选择的图像发送给第二电子设备430。例如，第一电子设备420可以将与从第二电子设备430接收到的请求相对应的PHP图像发送给第二电子设备430。例如，第二电子设备430可以基于第二电子设备430的状态(例如，第二电子设备430处理图像的状态或第二电子设备430连接到网络的状态)来选择对基于多面体生成的图像加以指示的信息，并且可以将与所选择的信息相对应的请求发送给第一电子设备420。第一电子设备420可以向第二电子设备420发送与所述请求相对应的PHP图像。作为另一示例，第一电子设备420可以直接验证第一电子设备420通过网络与第二电子设备430连接的状态，并且可以根据验证的状态向第二电子设备430发送PHP图像。电子设备420可以验证例如为了与第二电子设备430的通信而建立的信道的状态信息。
根据另一实施例，相机设备410和第一电子设备420可以被实现为一个电子设备。例如，第一电子设备420可以包括相机模块，并且可以通过经由相机模块生成全向图像并对生成的全向图像进行处理来生成ERP图像和PHP图像。
第二电子设备430可以渲染从第一电子设备420接收的图像。例如，第二电子设备430可以从第一电子设备420接收PHP图像，并且可以将PHP图像映射到3D空间以渲染PHP图像。PHP图像可以被映射到例如基于PHP图像生成的多面体。根据实施例，第二电子设备430可以回放所接收的图像。例如，第二电子设备430可以渲染所接收的图像并且可以回放所渲染的图像。第二电子设备430可以在其显示器上显示例如渲染的图像(或3D图像)。根据实施例，第二电子设备430可以包括诸如虚拟现实(VR)设备(例如，头戴式显示器(HMD))、移动电话、个人计算机(PC)、电视(TV)或平板PC等可以处理图像的电子设备，但不限于此。
根据实施例，第二电子设备430可以验证其状态信息，并且可以基于状态信息来选择要接收的图像。例如，第二电子设备430可以根据验证的状态信息来选择对基于多面体生成的图像加以指示的信息。对基于多面体生成的图像加以指示的信息可以是例如对使用渲染方案基于选择的多面体生成的图像加以指示的信息。第二电子设备430可以通过向第一电子设备420发送与所选择的信息相对应的请求来选择要接收的PHP图像。
根据另一实施例，相机设备410可以捕获全向图像(例如，鱼眼图像)并且可以将图像发送给第二电子设备430。发送给第二电子设备430的图像可以是例如全向图像。根据实施例，第二电子设备430可以通过将全向图像映射到2D平面来生成ERP图像。第二电子设备430可以向第一电子设备420发送所生成的ERP图像。根据实施例，第一电子设备420可以通过将ERP图像映射到2D平面来生成PHP图像。第一电子设备420可以向第二电子设备430发送PHP图像。根据实施例，第二电子设备430可以使用与所接收的PHP图像相对应的渲染方案来渲染PHP图像，并且可以在其显示器上显示所渲染的图像。
图像处理***400的第一电子设备420可以将考虑第二电子设备430的状态信息而生成的图像发送给第二电子设备430，使得流畅地执行全向图像的流传输。
以下将参考图5至图13更详细地给出对提供图像的第一电子设备420(例如，图1的服务器106)和提供对图像的请求的第二电子设备430(例如，图1的电子设备101或图2的电子设备201)的描述。
图5是示出了根据本公开各种示例实施例的用于对图像处理***的图像进行处理的示例方法的序列图。
根据实施例，在操作510中，第二电子设备430可以验证其状态信息，并且可以根据验证的状态信息来选择对基于多面体生成的图像加以指示的信息。例如，第二电子设备430可以基于验证的状态信息来选择全向图像将被映射到的多面体的类型，以选择对基于多面体生成的图像加以指示的信息。
根据实施例，在操作520中，第二电子设备430可以向第一电子设备420发送与所选择的信息相对应的请求。该请求可以包括例如关于包括在所选择的信息中的PHP图像的信息。
根据实施例，在操作530中，第一电子设备420可以接收该请求并且可以获得与接收到的请求相对应的图像。例如，第一电子设备420可以生成与接收到的请求相对应的图像。第一电子设备420可以生成例如与接收到的请求相对应的PHP图像。又例如，第一电子设备420可以预先以多种方式生成图像，并且可以将图像存储在其存储器中，从而在接收到该请求时选择与该请求相对应的图像。第一电子设备420可以例如在存储在存储器中的图像之中选择与接收到的请求相对应的PHP图像。根据实施例，第一电子设备420可以获得与所获得的图像相对应的元数据。第一电子设备420可以与PHP图像一起获得所获得的PHP图像的元数据。
根据实施例，在操作540中，第一电子设备420可以向第二电子设备430发送所获得的图像。第一电子设备420可以将与所获得的图像相对应的元数据和所获得的图像一起发送给第二电子设备430。
根据实施例，在操作550中，第二电子设备430可以从第一电子设备420接收图像并且可以渲染接收到的图像。第二电子设备430可以从第一电子设备420接收元数据，并且可以使用接收到的元数据在3D空间上渲染接收到的图像。例如，第二电子设备430可以将PHP图像映射到多面体以渲染PHP图像。
图6是示出了根据本公开示例实施例的第一电子设备的示例配置的框图。
参考图6，第一电子设备420可以包括通信模块(例如，包括通信电路)421、存储器423和处理器(例如，包括处理电路)425。
通信模块421(或通信电路)可以与图4的第二电子设备430连接，并且可以包括各种通信电路以与第二电子设备430发送和接收数据。例如，通信模块421可以从第二电子设备430接收与选择的图像相对应的请求。又例如，通信模块421可以将与该请求相对应的图像和与该图像相对应的元数据发送给第二电子设备430。
存储器423可以存储全向图像。例如，存储器423可以存储由第一电子设备420捕获的全向图像或从外部电子设备接收的全向图像。
根据实施例，存储器423可以存储通过将全向图像映射到2D平面所获得的2D图像。例如，存储器423可以存储其中全向图像位于2D平面上的ERP图像。又例如，存储器423可以存储通过将ERP图像布置在多面体上所生成的PHP图像。
处理器425可以包括各种处理电路并且控制第一电子设备420的整体操作。例如，处理器425可以控制通信模块421或存储器423，并且可以处理全向图像以生成2D图像。
根据实施例，处理器425可以将全向图像映射到2D平面以生成2D图像。例如，处理器425可以在ERP方案中将全向图像映射到2D平面以生成ERP图像。又例如，处理器425可以在PHP方案中将ERP图像映射到多面体以生成PHP图像。
根据实施例，处理器425可以从第二电子设备430接收与基于多面体生成的图像相对应的请求，并且可以获得图像。例如，如果接收到用于接收PHP图像的请求，则处理器425可以生成与该请求相对应的PHP图像。又例如，如果接收到用于接收PHP图像的请求，则处理器425可以在存储在存储器423中的图像之中选择与接收到的请求相对应的PHP图像。根据实施例，处理器425可以获得与所生成的PHP图像相对应的元数据。元数据可以包括用于将PHP图像映射到3D空间的信息。例如，元数据可以包括关于全向图像被映射到的多面体的信息(或类型信息)以及关于多面体的多个表面所处的状态的信息。关于多面体的多个表面所处的状态的信息可以包括关于所述多个表面所位于的平面的信息(或子类型信息)和关于所述多个表面中的每一个在所述平面上所位于的位置的信息(或几何信息)。根据实施例，处理器425可以将PHP图像和元数据发送给第二电子设备430。
根据实施例，第一电子设备420可以包括至少一个处理器425。例如，电子设备420可以包括可以执行至少一个功能的多个处理器425。处理器425可以被实现为例如片上***(SoC)，其包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、存储器等。根据实施例，第一电子设备420可以包括可以执行所描述的功能的至少一个元件。例如，第一电子设备420可以包括用于在多面体上布置全向图像的转码器和用于对图像进行编码的编码器。
根据实施例，如果第一电子设备420是图像捕获设备，则其还可以包括用于捕获全向图像的相机模块。例如，第一电子设备420可以包括用于捕获全向图像的一个或多个镜头(或相机模块)。
下面将参考图7A至图9D更详细地描述在第一电子设备420处生成ERP图像和PHP图像的过程。
图7A、图7B和图7C是示出了根据本公开示例实施例的用于通过在第一电子设备处将全向图像映射到2D平面来生成ERP图像的示例方法的示图。
参考图7A至图7C，图4的第一电子设备420可以将全向图像710映射到2D平面以生成ERP图像720。第一电子设备420可以使用ERP方案将全向图像710映射到2D平面。ERP方案可以是用于将笛卡尔坐标转换成球坐标的圆柱等距投影。
参考图7A，第一电子设备420可以在3D球面上表示全向图像710。第一电子设备420可以使用下面的等式1至等式3将全向图像710的任何像素P的笛卡尔坐标(x，y，z)转换成球坐标(x，y，z)。
【等式1】
【等式2】
【等式3】
参考图7B，第一电子设备420可以使用笛卡尔坐标的r、φ和θ的范围(r≥0，-π/2≤θ≤π/2，)将全向图像710映射到2D平面。全向图像710的任何像素P可以被转换成ERP图像720的P(φ，θ)。全向图像710的任何像素P可以被转换成ERP图像720的多个像素。随着全向图像710的任何像素更靠近两极(例如，北极和南极)，ERP图像720的对应像素的数量可以增加得更多。因此，如果第一电子设备420将全向图像710映射到2D平面以生成ERP图像720，则随着任何像素更靠近两极，EPR图像720可以进一步包括冗余信息。
参考图7C，在由第一电子设备420生成的ERP图像720中可能发生较大失真。例如，ERP图像720中与球的两极相对应的上部和下部可能发生较大失真。因此，第一电子设备420可以将ERP图像720映射到多面体以生成PHP图像。
图8A、图8B和图8C是示出了根据本公开示例实施例的用于在第一电子设备处将ERP图像映射到多面体的示例方法的示图。
参考图8A，图4的第一电子设备420可以将全向图像映射到多面体。
根据实施例，第一电子设备420可以将图像映射到球面810的坐标。例如，第一电子设备420可以将ERP图像映射到球面810的坐标。第一电子设备420可以反向应用用于将全向图像映射到2D平面的方法以将ERP图像映射到球坐标。
根据实施例，第一电子设备420可以将映射到球坐标的图像映射到多面体。第一电子设备420可以使用从球面810的中心到存在于球面810上的第一像素P1的向量P将第一像素P1映射到多面体820的第二像素P2。第二像素P2可以存在于到第一像素P1的向量P上，并且可以是到第一像素P1的向量P与多面体的表面之间的交点。例如，第一电子设备420可以使用映射方法将映射到球坐标的ERP图像映射到八面体820的表面。
根据实施例，如果第一电子设备420将映射到球坐标的图像映射到存在于球面810中的多面体，则球面810的多个像素可以映射到多面体的相同像素。例如，球面810的一些像素在映射到多面体时可以被省略。因此，如果将映射到球坐标的图像映射到多面体，则第一电子设备420可以减小数据的大小。
参考图8B至图8C，第一电子设备420可以将图像映射到多个多面体(例如，柏拉图立体)。例如，第一电子设备420可以将图像映射到配置有三角形的多面体(例如，图8B的(a)中所示的四面体或者图8B的(b)中所示的二十面体)。作为另一示例，第一电子设备420可以将图像映射到配置有其他图形(例如，四边形或五边形)的多面体(例如，图8C的(c)中所示的六面体或者图8C的(d)中所示的十面体)。
根据实施例，由于第一电子设备420将图像映射到多个多面体中的表面数量较小的多面体，所以省略的像素的数量可以增加。例如，如果第一电子设备420将图像映射到图8B的(a)中所示的四面体，则球面810的像素中省略的像素的数量可能相对较大。另一方面，如果第一电子设备420将图像映射到图8B的(b)中所示的二十面体，则球面810的像素中省略的像素的数量可能相对较小。因此，第一电子设备420可以改变图像被映射到的多面体以改变所生成的PHP图像的容量。
图9A、图9B、图9C和图9D是示出了根据本公开示例实施例的第一电子设备将映射到多面体的图像布置在2D平面上的示例的示图。
参考图9A，图4的第一电子设备420可以将图像被映射到的多面体的多个表面布置在2D平面上。例如，第一电子设备420可以将2D图像被映射到的八面体910的多个表面布置在2D平面上。八面体910可以包括图像被映射到的第一表面至第八表面。第一表面至第八表面可以被分类为例如关于X-Y平面的上半表面(例如，第一表面至第四表面)和下半表面(例如，第五表面至第八表面)。第一电子设备420可以以各种方法将第一表面至第八表面布置在2D平面上。因此，第一电子设备420可以生成各种类型的PHP图像(或八面体投影(OHP)图像)。
参考图9B，第一电子设备420可以将八面体910的上半表面从左到右布置在PHP图像的上侧，并且可以将八面体910的下半表面从左到右布置在PHP图像的下侧。第一电子设备420可以将第一表面至第四表面中的每一个的一侧布置成与第五表面至第八表面中的每一个的一侧接触。因此，第一电子设备420可以包括8个等边三角形或者4个菱形，并且可以生成PHP图像920，其竖直长度和水平长度是a和b。
根据实施例，由第一电子设备420生成的PHP图像920可以包括八面体910的表面不位于其中的无数据区域N/D。无数据区域N/D可能无法包括图像信息。例如，由第一电子设备420生成的PHP图像920可以包括比ERP图像更少的图像信息。因此，如果对PHP图像920进行编码，则第一电子设备420可以获得比ERP图像更高的压缩效率。
根据另一实施例，第一电子设备420可以布置八面体910的多个表面以最小化和/或减小图像不位于其中的区域。例如，第一电子设备420可以通过减小无数据区域N/D来减小PHP图像的容量。如果图像不位于无数据区域N/D中，则无数据区域N/D可以包括任何像素值(例如，黑色或色度键色的像素值)。因此，当无数据区域N/D被最小化时，生成的PHP图像的容量可以减小。
参考图9C，第一电子设备420可以交替地布置八面体910的上半表面和下半表面。第一电子设备420可以将八面体910的第八表面划分成第8R表面和第8L表面，并且可以将第8R表面和第8L表面布置在2D平面上。因此，由第一电子设备420生成的PHP图像930可能无法包括无数据区域，并且可在水平长度b上与图9B的PHP图像920相同，但是可以减小至竖直长度a’，例如，竖直长度a的1/2。
参考图9D，第一电子设备420可以将八面体910的上半表面布置在PHP图像的上侧和下侧，并且可以将八面体910的下半表面布置为与上半表面交替。第一电子设备420可以将八面体910的第六表面划分成第6R表面和第6L表面，并且可以将八面体的第八表面划分成第8R表面和第8L表面，从而将第6R表面、第6L表面、第8R表面和第8L表面布置在2D平面上。因此，由第一电子设备420生成的PHP图像940可能无法包括无数据区域，并且可以在竖直长度a上与图9B的PHP图像920相同，但是可以减小至水平长度b’，例如水平长度b的1/2。
第一电子设备420可以使用减小无数据区域的各种布置方法将多面体的多个表面布置在2D平面上，而不限制上述布置方法。
根据实施例，由第一电子设备420以各种布置方法生成的PHP图像可以包括多个图像区域。多个图像区域可以分别对应于例如图像被映射到的多面体的多个表面。因此，PHP图像可以包括与根据特定方案布置的多面体的多个表面相对应的多个图像区域。
图10是示出了根据本公开示例实施例的第二电子设备的示例配置的框图。
参考图10，第二电子设备430(例如，图1的电子设备101或图2的电子设备201)可以包括通信模块(例如，包括通信电路)431(例如，图1的通信接口170或图2的通信模块220)、存储器433(例如，图1的存储器130或图2的存储器230)、感测模块(例如，包括感测电路和/或传感器)435(例如，图2的传感器模块240)、显示器437(例如，图1的显示器160或图2的显示模块260)和处理器(例如，包括处理电路)439(例如，图1的处理器120或图2的处理器210)。
通信模块431可以包括各种通信电路并与图4的第一电子设备420连接，并且可以与第一电子设备420发送和接收数据。例如，通信模块431可以将与所选择的图像相对应的请求发送给第一电子设备420。又例如，通信模块431可以从第一电子设备420接收与该请求相对应的图像和与该图像相对应的元数据。又例如，通信模块431可以将关于视场(FOV)的信息发送给第一电子设备420。
存储器433可以存储从第一电子设备420接收的图像。例如，存储器433可以存储通过将其中全向图像被映射到2D平面的ERP图像布置在多面体上而生成的PHP图像。
根据实施例，存储器433可以存储对使用渲染方案基于多面体生成的图像加以指示的信息。存储器433可以存储对使用渲染方案基于多个多面体(例如，四面体、六面体、八面体、十面体或二十面体)中的每一个生成的图像加以指示的多个信息。例如，存储器433可以存储对使用第一渲染方案基于配置有第一数量的表面的第一多面体生成的第一图像(或图像数据)加以指示的第一信息以及对使用第二渲染方案基于配置有第二数量的表面的第二多面体生成的第二图像加以指示的第二信息。第一数量的表面可以不同于第二数量的表面。例如，所述多个信息可以包括关于全向图像可以被映射到的多面体的信息(例如，多面体的表面的数量)。
感测模块435可以包括各种感测电路/传感器并感测用户的视线。例如，感测模块435可以包括红外(IR)传感器。IR传感器可以感测用户的虹膜和瞳孔以感测用户的视线。又例如，感测模块435可以包括运动传感器。运动传感器可以感测用户的头部的运动以感测用户的视线。
显示器437可以显示渲染的图像。例如，显示器437可以在渲染的图像中显示与由处理器435确定的FOV相对应的图像。
处理器439可以包括各种处理电路并且控制第二电子设备430的整体操作。例如，处理器439可以控制通信模块431、存储器433或感测模块435，以生成全向图像，并且可以将生成的图像显示在显示器437上。
根据实施例，处理器439可以验证第二电子设备430的状态信息。例如，处理器439可以验证处理图像的资源的状态信息。处理器439可以验证CPU(或GPU)的数据吞吐量(例如，能够由CPU处理的数据量或当前由CPU处理的数据量)、CPU的解码能力或者CPU的渲染能力。又例如，处理器439可以验证关于第二电子设备430通过通信模块431连接到网络的状态的信息。处理器439可以验证例如为了与第一电子设备420的通信而建立的信道的状态信息。
根据实施例，处理器439可以基于状态信息来选择对基于多面体生成的图像加以指示的信息。例如，处理器439可以基于状态信息来选择全向图像将被映射到的多面体的类型，以选择对基于多面体生成的图像加以指示的信息。对基于多面体生成的图像加以指示的信息可以是例如对使用渲染方案基于选择的多面体生成的图像加以指示的信息。根据实施例，处理器439可以向第一电子设备420发送与所选择的信息相对应的请求。该请求可以包括例如关于与所选择的信息相对应的多面体的信息。
根据实施例，处理器439可以从第一电子设备420接收与该请求相对应的图像。例如，处理器439可以接收PHP图像，在该PHP图像中全向图像被映射到与该请求相对应的多面体。根据实施例，处理器439可以接收与所接收的PHP图像相对应的元数据。元数据可以包括例如在3D空间上布置PHP图像所需的信息。
根据实施例，处理器439可以在3D空间上渲染所接收的图像。例如，处理器439可以将所接收的图像映射到多面体以渲染所接收的图像。处理器439可以使用元数据来验证例如全向图像被映射到的多面体以及多面体的多个表面所处的状态。处理器439可以基于所述状态将接收到的图像指定(或划分)为多个区域。处理器439可以将指定的多个区域映射到验证的多面体的相应表面。
根据实施例，处理器439可以渲染位于多面体上的图像。处理器439可以在显示器437上显示渲染的图像的至少一部分。
根据实施例，处理器439可以基于通过感测模块435感测到的用户的视线来确定FOV。根据实施例，处理器439可以在显示器437上在渲染的图像中显示与确定的FOV相对应的图像。
根据实施例，处理器439可以将关于所确定的FOV的信息发送给第一电子设备420。第一电子设备420可以发送例如与用于接收图像的请求和FOV相对应的图像。用于接收图像的请求可以是例如与对根据第二电子设备430的状态基于多边形生成的图像加以指示的信息相对应的请求。
图11A和图11B是示出了根据本公开示例实施例的用于在第一电子设备处根据ERP图像生成PHP图像并将生成的PHP图像发送给第二电子设备的示例方法的示图。
参考图11A，第一电子设备420(例如，图1的服务器106)和第二电子设备430(例如，图1的电子设备101、电子设备102或电子设备104)可以连接到网络(例如，图1的网络162或无线通信164)。第一电子设备420和第二电子设备430可以通过网络发送和接收数据。
根据实施例，第二电子设备430可以验证其状态信息。例如，第二电子设备430可以验证处理图像(例如，ERP图像)的资源(例如，图10的存储器433或处理器439)的状态信息。又例如，第二电子设备430可以验证关于第二电子设备430连接到网络的状态的信息。
根据实施例，根据验证的状态信息，第二电子设备430可以选择对基于多面体生成的图像加以指示的信息。例如，第二电子设备430可以基于处理图像的资源的状态来选择多面体的类型。例如，如果处理器439对相对大量的数据或者指定参考量或更多的数据进行处理，则第二电子设备430可以从第一电子设备420接收小容量的图像。备选地，如果处理器439对大量数据进行处理，则第二电子设备430可以选择包括少许表面的多面体。又例如，如果处理器439对相对少量的数据或小于指定参考量的数据进行处理，则第二电子设备430可以从第一电子设备420接收大容量的图像。备选地，如果处理器439对少量数据进行处理，则第二电子设备430可以选择包括大量表面的多面体。又例如，第二电子设备430可以基于第二电子设备430连接到网络的状态来选择多面体的类型。例如，如果通过信道发送和接收数据的状态不好(例如，如果无线电信号接收灵敏度小于或等于指定值，或者如果从网络提供的数据传输速率小于或等于指定值)，则第二电子设备430可以选择包括少量表面的多面体。又例如，如果通过信道发送和接收数据的状态良好，则第二电子设备430可以选择包括大量表面的多面体。
根据实施例，第二电子设备430可以向第一电子设备420发送与所选择的信息相对应的请求。例如，该请求可以包括关于与所选择的信息相对应的多面体的信息。
根据实施例，第一电子设备420可以接收该请求并且可以生成与该请求相对应的图像。例如，第一电子设备420可以将全向图像映射到与该请求相对应的多面体以生成PHP图像。根据实施例，第一电子设备420可以生成与所生成的PHP图像相对应的元数据。元数据可以包括用于将PHP图像映射到3D空间的信息。根据实施例，第一电子设备420可以将生成的PHP图像和生成的元数据发送给第二电子设备430。
根据实施例，第二电子设备430可以接收生成的图像和生成的元数据。根据实施例，第二电子设备430可以使用元数据将图像映射到3D空间以渲染图像。例如，第二电子设备430可以将PHP图像映射到与元数据相对应的多面体以渲染PHP图像。根据实施例，第二电子设备430可以渲染映射到多面体的图像并且可以在图10的显示器437上显示渲染的图像。
因此，第二电子设备430可以通过基于第二电子设备430的状态信息改变图像被映射到的多面体并从第一电子设备420接收图像来流畅地提供全向图像(或视频图像)的流传输。
参考图11B，第一电子设备420可以生成所有可选多面体的图像(例如，PHP图像)，并且可以将生成的图像存储在图4的存储器423中。例如，第一电子设备420可以在从第二电子设备430接收到PHP图像的请求之前将ERP图像映射到所有类型的可选多面体以生成多个PHP图像(例如，四面体投影(THP)图像、六面体投影(HHP)图像、OHP图像、十面体投影(DHP)图像和二十面体投影(IHP)图像)，并且可以将生成的多个图像存储在存储器423中。
根据实施例，当从第二电子设备430接收到与选择的图像相对应的请求时，第一电子设备420可以选择存储在存储器423中的与该请求相对应的PHP图像，并且可以将选择的PHP图像发送给第二电子设备430。
因此，当接收到请求时，第一电子设备420可以比生成与请求相对应的PHP图像并将生成的PHP图像发送给第二电子设备430更快地发送PHP图像。
根据参考图4至图11B描述的各种实施例，第二电子设备430可以通过基于第二电子设备430的状态信息选择指示图像的信息，发送与所选择的信息相对应的请求，并从第一电子设备430接收与请求相对应的图像，来有效地接收全向图像。
图12A、图12B、图12C、图12D和图12E是示出了根据本公开示例实施例的用于在第一电子设备处将根据细节级别(LOD)减小的图像布置在2D平面上的示例方法的示图。
参考图12A至图12E，图4的第一电子设备420可以使用从第二电子设备430接收的视场(FOV)将图像发送给图4的第二电子设备430。
参考图12A，第一电子设备420可以根据指定的LOD来改变映射到多面体的多个表面的图像。
根据实施例，根据指定的LOD，第一电子设备420可以改变映射到图12A的(a)中所示的多面体1210的多个表面的图像的大小。例如，第一电子设备420可以将图12A的(b)中所示的映射在多面体1210的一个表面上的图像1211的大小确定为LOD 0，并且可以顺序地减小图12A的(c)中所示的具有LOD 1的图像1211’的大小或者图12A的(d)中所示的具有LOD 2的图像1211”的大小。图12A的(c)中所示的具有LOD 1的图像与具有LOD 0的图像1211相比可以具有例如1/4的大小。图12A的(d)中所示的具有LOD 2的图像1211”与具有LOD 1的图像1211’相比可以具有1/4的大小。
参考图12B，第一电子设备420可以确定映射到多面体的多个表面的图像的LOD。
根据实施例，第一电子设备420可以基于FOV来确定映射到多面体的多个表面的图像的级别(或LOD)。第二电子设备430可以将基于用户的视线(或焦点)确定的FOV发送给第一电子设备420。第一电子设备420可以根据所接收的FOV来确定映射到多面体1210的图像的级别。例如，第一电子设备420可以将映射到与FOV相对应的表面的图像的级别确定为LOD0，并且可以将映射到其他表面的图像的级别确定为LOD 1。例如，如图所示，如果与FOV相对应的区域被包括在第一表面和第五表面中，则第一电子设备410可以将第一表面和第五表面的图像的级别确定为LOD 0，并且可以将映射到其他表面的图像的级别确定为LOD 1。又例如，第一电子设备420可以将与FOV相对应的表面的级别确定为LOD 0，并且可以将与FOV相对应的表面的***表面的级别确定为LOD 1，从而将与***表面相邻的另一表面的级别确定为LOD 2。如上所述，第一电子设备420可以执行图像处理，使得LOD级别随着远离与FOV相对应的表面而增大。
根据实施例，第一电子设备420可以基于第一电子设备420的状态信息来确定映射到多面体1210的多个表面的图像的级别。第一电子设备420可以验证第一电子设备420连接到网络的连接状态(例如，建立的信道的状态)。第一电子设备420可以根据验证的连接状态来确定映射到多面体1210的图像的级别。例如，如果通过信道发送和接收数据的状态不顺畅，则第一电子设备420可以将位于除了与FOV相对应的表面之外的另一表面上的图像的级别降低到LOD 1。又例如，如果通过信道发送和接收数据的状态顺畅，则第一电子设备420可能无法减小位于除了与FOV相对应的表面之外的另一表面上的图像。如上所述，第一电子设备420可以根据与第二电子设备430的网络状态来改变具有LOD 0的图像1211的数量(例如，由于网络状态良好而增加具有LOD 0的图像1211的数量)。
参考图12C，第一电子设备420可以根据所确定的LOD来改变映射到多面体1210的多个表面的图像，并且可以将改变后的图像映射到2D平面。例如，除了与FOV相对应的第一表面和第五表面的图像(具有LOD 0的图像1211)之外，第一电子设备420可以减小表面(例如，第二表面、第三表面、第四表面、第六表面、第七表面和第八表面)的图像(例如，具有LOD1的图像1211’)。第一电子设备420可以将第一表面到第四表面的图像从左到右布置在PHP图像的上侧，并且可以将第五表面到第八表面的图像从左到右布置在PHP图像的下侧。因此，第一电子设备420可以生成PHP图像1220，其竖直长度和水平长度是a和b’。
根据实施例，由第一电子设备420生成的PHP图像1220的水平长度b’可以比图9B的PHP图像920短。PHP图像1220可以以比图9B的PHP图像920更高的速率包括无数据区域N/D。因此，PHP图像1220可以包括少量的图像信息。当对PHP图像1220进行编码时，可以获得高压缩效率。
根据另一实施例，第一电子设备420可以布置减小的图像以最小化和/或减小图像不位于其中的区域。第一电子设备420可以通过移除例如无数据区域N/D来减小图像容量。
参考图12D，第一电子设备420可以生成PHP图像1230，使得八面体的减小的图像和未减小的图像交替地定位。因此，与图12C的PHP图像1220相比，由第一电子设备420生成的PHP图像1230可以在无数据区域N/D方面减少并且可以减小至竖直长度a’和水平长度b”。
参考图12E，第一电子设备420可以划分减小的图像，并且可以交替地布置划分的图像以与其他图像交替，以生成PHP图像1240。因此，由第一电子设备420生成的PHP图像1240可以在竖直长度a’方面与图12D的PHP图像1220相同，但是可以减小至水平长度b”’。
因此，第一电子设备420可以通过基于第一电子设备420的状态信息使用从第二电子设备430接收的FOV减小映射到多面体的图像并将减小的图像布置在2D平面上来有效地发送全向图像，以生成图像。
根据实施例，第二电子设备430可以渲染从第一电子设备420接收的图像中的包括与FOV相对应的区域在内的区域。第二电子设备430可以避免(或不)渲染从第一电子设备420接收的图像中的不与FOV相对应的区域。例如，第二电子设备430可以将接收的图像中的包括与FOV相对应的区域在内的区域映射到多面体。第二电子设备430可以将接收到的PHP图像的多个区域中的包括与FOV相对应的区域在内的区域映射到多面体。第二电子设备430可能无法将接收到的PHP图像的多个图像区域中的不与FOV相对应的区域映射到多面体。多个区域可以分别对应于基于PHP图像生成的多面体的多个表面。
图13是示出了根据本公开示例实施例的在第一电子设备处通过多信道发送根据LOD生成的图像的示例的示图。
参考图13，图4的第一电子设备420可以与图4的第二电子设备430建立多信道，并且可以通过建立的多信道将图像发送给第二电子设备430。
根据实施例，第一电子设备420可以与第二电子设备430建立多信道。第一电子设备420可以通过多信道向第二电子设备430发送每个图像。
根据实施例，第一电子设备420可以通过多信道发送映射到多面体的每个图像。例如，第一电子设备420可以通过多信道发送分别与映射到多面体的多个表面的图像相对应的PHP图像的多个图像区域。例如，第一电子设备420可以通过多信道向第二电子设备430发送分别与八面体的多个表面(例如，第一表面至第八表面)相对应的PHP图像的多个区域。
根据实施例，第一电子设备420可以通过多信道发送根据LOD改变的图像。例如，第一电子设备420可以将映射到多面体的图像中的根据LOD减小的图像(例如，根据LOD 1的图像)与未减小的图像(例如，根据LOD 0的图像)分离，并且可以通过多信道发送分离的图像。例如，第一电子设备420可以通过第一信道发送与映射到八面体的多个表面中的第一表面和第五表面的图像(或具有LOD 0的图像)相对应的图像区域。第一电子设备420可以通过第二信道至第四信道中的每一个发送与映射到第二表面至第四表面以及第六表面至第八表面的图像中的每一个(或者具有LOD 1的图像)相对应的图像区域。
根据实施例，第一电子设备420可以验证其状态信息，并且可以通过多信道发送根据LOD减小的每个图像。例如，第一电子设备420可以验证建立的多信道的状态信息。第一电子设备420可以通过验证的多信道中的第一电子设备420连接到网络的连接状态良好的信道来发送与具有LOD 0的图像相对应的图像区域，并且可以通过验证的多信道中的发送和接收状态不好的信道来发送与根据LOD 1的图像相对应的图像区域。
图14是示出了根据本公开示例实施例的图像处理***的示例图像处理方法的框图。
参考图14，在图像处理***1400中，第一电子设备1420(例如，图1的服务器106或图4的第一电子设备420)可以对由相机设备(例如，包括相机/图像捕获电路)1410(例如，图4的相机设备410)收集的全向图像进行处理，并且可以经由第二电子设备1430(例如，图1的电子设备101、图2的电子设备201或图4的第二电子设备430)向用户提供全向图像。例如，第一电子设备1420可以包括相机模块，并且可以执行相机设备1410的操作。
根据实施例，相机设备1410可以全向捕获图像以生成全向图像(例如，鱼眼图像)。相机设备1410可以使用全向图像来生成ERP图像。根据实施例，相机设备1410可以将全向图像和ERP图像中的至少一个发送给第一电子设备1420。
根据实施例，第一电子设备1420的多面体映射模块(例如，包括处理电路和/或程序元件)1421可以将从相机设备1410接收的图像映射到多面体，并且可以将映射到多面体的图像布置在2D平面上以生成PHP图像。第一电子设备1420可以从第二电子设备1430接收请求，并且可以将接收的图像布置在与该请求相对应的多面体上以生成PHP图像。根据实施例，第一电子设备1420的编码器(例如，包括编码电路和/或程序元件)1423可以对所生成的PHP图像进行编码。例如，第一电子设备1420可以以指定的编码方案(例如，联合图像编码专家组(JPEG)、运动画面专家组(MPEG)等)对所生成的PHP图像进行编码。
根据实施例，第一电子设备1420可以生成与所生成的PHP图像相对应的元数据。元数据可以包括例如用于将PHP图像映射到3D空间的信息。根据实施例，第一电子设备1420可以将编码的PHP图像和元数据发送给第二电子设备1430。
根据实施例，第二电子设备1430的解码器(例如，包括解码电路和/或程序元件)1431可以接收并解码来自第一电子设备1420的编码图像。根据实施例，第二电子设备1430的多面体映射模块(例如，包括处理电路和/或程序元件)1433可以将解码的图像映射到多面体。例如，第二电子设备1430的多面体映射模块1433可以使用所接收的元数据将解码的PHP图像映射到与元数据相对应的多面体。根据实施例，第二电子设备1430的图形处理单元(GPU)1435可以渲染映射到多面体的图像。
根据实施例，第二电子设备1430的显示器1437可以显示渲染的图像。例如，第二电子设备1430的显示器1437可以在渲染的图像中显示与FOV相对应的区域。
图15是示出了根据本公开示例实施例的图像处理***的示例图像处理方法的框图。
参考图15，在图像处理***1500中，如果由相机设备(例如，包括相机/图像捕获电路)1510(例如，图4的相机设备410)收集的全向图像被存储在第一电子设备1520(例如，图1的服务器106或图4的第一电子设备420)中，则第二电子设备1530(例如，图1的电子设备101、图2的电子设备201或图4的第二电子设备430)可以根据状态信息以指定的形式接收并输出存储在第一电子设备1520中的全向图像。例如，图像处理***1500可以类似于图14的图像处理***1400。在下文中，将对与图14的图像处理***1400的区别进行描述。
根据实施例，第一电子设备1520的多面体映射模块(例如，包括处理电路和/或程序元件)1521可以从相机设备1510接收图像，可以将接收到的图像映射到多面体，并且可以将映射到多面体的图像布置在2D平面上以生成PHP图像。第一电子设备可以生成所有可选多面体的PHP图像，并且可以将生成的PHP图像存储在存储器1525中。根据实施例，第一电子设备1520的编码器(例如，包括编码电路和/或程序元件)1523可以从第二电子设备1530接收请求并且可以对与该请求相对应的PHP图像进行编码。根据实施例，第一电子设备1520可以生成与PHP图像相对应的元数据。第一电子设备1520可以向第二电子设备1530发送经编码的图像和元数据。
根据实施例，第二电子设备1530的解码器(例如，包括解码电路和/或程序元件)1531可以从第一电子设备1520接收经编码的图像，并且可以对接收到的经编码的图像进行解码。根据实施例，第二电子设备1530的多面体映射模块(例如，包括处理电路和/或程序元件)1533和GPU 1535可以渲染解码的图像，并且可以在显示器1537上显示渲染的图像。
图16是示出了根据本公开示例实施例的第二电子设备的用于图像处理的示例控制方法的流程图。
图16中所示的操作可以包括由图4的图像处理***400处理的操作。因此，尽管在下面省略了内容，但是关于图像处理***400描述的内容可以参考图1至图15应用于图16中所示的操作。
根据实施例，在操作1610中，图10的第二电子设备430(例如，图1的电子设备101或图2的电子设备201)可以验证第二电子设备430的状态信息。例如，第二电子设备430的处理器439可以包括第二电子设备430的处理图像的资源的状态信息和关于第二电子设备430连接到网络的状态的信息。第二电子设备430的处理器439可以验证例如CPU(或GPU)的数据吞吐量(例如，能够由CPU处理的数据量或当前由CPU处理的数据量)、CPU的解码能力或者CPU的渲染能力。
根据实施例，在操作1620中，根据验证的状态信息，第二电子设备430可以选择对使用渲染方案基于多面体生成的图像加以指示的信息。例如，第二电子设备430的处理器439可以基于验证的状态信息来选择全向图像将被映射到的多面体的类型，以选择关于基于多面体生成的图像的信息。所选择的信息可以包括例如关于全向图像可以被映射到的多面体的信息。
根据实施例，在操作1630中，第二电子设备430可以向第一电子设备420发送与所选择的信息相对应的请求。例如，第二电子设备430的处理器439可以将对所选择的信息的请求发送给第一电子设备420。该请求可以包括例如关于包括在所选择的信息中的PHP图像的信息。
根据实施例，在操作1640中，第二电子设备430可以从第一电子设备420接收与该请求相对应的PHP图像，作为对接收的请求的响应。例如，第一电子设备420的处理器425可以从第二电子设备430接收该请求，并且可以将映射到与该请求相对应的多面体的PHP图像发送给第二电子设备430。第二电子设备430的处理器439可以从第一电子设备420接收PHP图像。
根据实施例，在操作1650中，第二电子设备430可以控制所接收的图像的回放。例如，第二电子设备430的处理器439可以将所接收的PHP图像映射到与PHP图像相对应的多面体以渲染从第一电子设备420接收的图像，并且可以在图10的显示器437上显示渲染的图像。
根据各种实施例，当根据设置或用户输入从第一电子设备420接收并输出第一多面体图像时，第二电子设备430可以根据处理图像的源的状态信息和网络的状态信息来接收并输出第二多面体图像(例如，与第一多面体相比具有相对较大数量的表面的多面体图像或者与第一多面体相比具有相对较少数量的表面的多面体图像)。例如，当从第一电子设备420接收并输出八面体图像时，如果处理图像的资源的状态信息和网络的状态信息中的至少一个比先前状态更差(例如，如果第二电子设备430的CPU或GPU的计算量增加到指定的参考值或更多，如果网络的数据传输速率比先前状态更下降等)，则第二电子设备430可以自动请求第一电子设备420发送四面体图像以接收四面体图像，并且可以输出所接收的四面体图像。备选地，当从第一电子设备420接收并输出八面体图像时，如果资源的状态信息和网络的状态信息中的至少一个比先前状态更好(例如，如果第二电子设备430的CPU或GPU的计算量减小到小于指定的参考值，如果网络的数据传输速率比先前状态更增加等)，则第二电子设备430可以自动请求第一电子设备420发送十面体或二十面体图像以接收十面体或二十面体图像，并且可以输出所接收的十面体或二十面体图像。
在本公开中使用的术语“模块”可以指代例如包括硬件、软件和固件的一个或多个组合在内的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或者可以是其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。可以用机械方式或电子方式来实现“模块”。例如，“模块”可以包括例如但不限于用于执行已知的或将来开发的一些操作等的专用处理器、CPU、专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一种。
根据各种实施例的装置(例如，模块或其功能)或方法(例如，操作)的至少一部分可以例如由以程序模块形式存储在计算机可读存储介质中的指令来实现。指令在由处理器(例如，处理器120)执行时，可以使一个或多个处理器执行与该指令相对应的功能。例如，计算机可读存储介质可以是存储器130。
计算机可读记录介质可以包括例如但不限于硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，压缩盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光介质(例如，软光盘)以及硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)或闪存)。此外，程序指令不仅可以包括诸如由编译器生成的事物的机器代码，而且还可以包括使用解释器在计算机上可执行的高级语言代码。以上硬件单元可以被配置为经由用于执行本公开的各种实施例的操作的一个或多个软件模块来操作，反之亦然。
根据各种实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略上述元件的一部分，或者还可以包括附加的其他元件。由根据各种实施例的模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或者按照探索性方法来执行。此外，一些操作可以以不同顺序执行，或者可以被省略。备选地，可以添加其他操作。
尽管参考本公开各示例实施例示出并描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
通信模块，包括通信电路；
存储器，被配置为存储对使用第一渲染方案基于配置有第一数量的表面的第一多面体生成的第一图像数据加以指示的第一信息以及对使用第二渲染方案基于配置有第二数量的表面的第二多面体生成的第二图像数据加以指示的第二信息；以及
处理器，
其中，所述处理器被配置为：
验证所述电子设备的状态信息；
至少基于所述状态信息来选择所述第一信息和所述第二信息之一；
经由所述通信模块将与所选择的信息相对应的请求发送给外部电子设备；
响应于所述请求，从所述外部电子设备接收所述第一图像数据和所述第二图像数据之中的与所选择的信息相对应的图像数据；以及
控制所接收的图像数据的回放。
2.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
验证所述电子设备的状态信息，包括所述电子设备的至少一个资源的状态信息。
3.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
验证所述电子设备的状态信息，包括通过所述通信模块建立的信道的状态信息。
4.根据权利要求1所述的电子设备，还包括：
显示器，
其中，所述处理器被配置为：
在所述显示器上显示所述图像数据，作为控制所述回放的至少一部分。
5.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
验证与所接收的图像数据相对应的多面体，并验证所述多面体的多个表面所处的状态；以及
基于所述状态将所接收的图像指派给多个区域并通过将所述多个区域分别映射到所述多面体的所述多个表面来回放所接收的图像数据，并且渲染所接收的图像数据。
6.根据权利要求5所述的电子设备，还包括：
传感器，被配置为感测用户的视线，
其中，所述处理器被配置为：
基于所述视线来确定视场FOV；以及
渲染所述多个区域中包括与所述FOV相对应的区域在内的区域，并且不渲染所述多个区域中不与所述FOV相对应的区域。
7.根据权利要求5所述的电子设备，其中，所述处理器被配置为：
经由所述通信模块建立第一通信信道和第二通信信道；
通过所述第一通信信道从所述外部电子设备接收所述多个区域中的第一区域；以及
通过所述第二通信信道从所述外部电子设备接收所述多个区域中的第二区域。
8.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
从所述外部电子设备接收包括用于将所接收的图像数据映射到多面体的信息在内的元数据；以及
使用所述元数据将所接收的图像数据映射到所述多面体。
9.根据权利要求8所述的电子设备，其中，所述元数据包括关于与所接收的图像数据相对应的多面体的信息和关于所述多面体的多个表面所处的状态的信息。
10.根据权利要求1所述的电子设备，还包括：
传感器，被配置为感测用户的视线，
其中，所述处理器被配置为：
基于所述视线来确定FOV；
经由所述通信模块将关于所述FOV的信息发送给所述外部电子设备；以及
接收与所述请求和所述FOV相对应的图像数据。
11.一种图像提供方法，所述方法包括：
验证电子设备的状态信息；
至少基于所述状态信息来选择以下项之一：对使用第一渲染方案基于配置有第一数量的表面的第一多面体生成的第一图像数据加以指示的第一信息、以及对使用第二渲染方案基于配置有第二数量的表面的第二多面体生成的第二图像数据加以指示的第二信息；
经由所述电子设备的通信模块将与所选择的信息相对应的请求发送给外部电子设备；
响应于所述请求，从所述外部电子设备接收所述第一图像数据和所述第二图像数据之中的与所选择的信息相对应的图像数据；以及
控制所接收的图像数据的回放。
12.根据权利要求11所述的方法，其中，验证电子设备的状态信息包括：
验证所述电子设备的状态信息，包括所述电子设备的至少一个资源的状态信息。
13.根据权利要求11所述的方法，其中，验证所述电子设备的状态信息包括：
验证所述电子设备的状态信息，包括通过所述通信模块建立的信道的状态信息。
14.根据权利要求11所述的方法，其中，控制所接收的图像数据的回放包括：
在所述电子设备的显示器上显示所述图像数据，作为控制所述回放的至少一部分。
15.根据权利要求11所述的方法，其中，控制所接收的图像数据的回放包括：
验证与所接收的图像数据相对应的多面体，并验证所述多面体的多个表面所处的状态；以及
基于所述状态将所接收的图像指派给多个区域；以及
通过将所述多个区域分别映射到所述多面体的所述多个表面来回放所接收的图像数据，并且渲染所接收的图像数据。
CN201810116468.5A 2017-02-06 2018-02-05 用于基于多面体提供vr图像的电子设备及其图像提供方法 Pending CN108712641A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170016440A KR20180091381A (ko) 2017-02-06 2017-02-06 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
KR10-2017-0016440 2017-02-06

Publications (1)

Publication Number Publication Date
CN108712641A true CN108712641A (zh) 2018-10-26

Family

ID=61163568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810116468.5A Pending CN108712641A (zh) 2017-02-06 2018-02-05 用于基于多面体提供vr图像的电子设备及其图像提供方法

Country Status (4)

Country Link
US (1) US10650596B2 (zh)
EP (1) EP3358531B1 (zh)
KR (1) KR20180091381A (zh)
CN (1) CN108712641A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620805A (zh) * 2018-12-29 2019-12-27 北京时光荏苒科技有限公司 用于生成信息的方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018064967A1 (en) 2016-10-07 2018-04-12 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US10643370B2 (en) 2016-10-07 2020-05-05 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
US10380715B2 (en) * 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
KR102442089B1 (ko) 2017-12-20 2022-09-13 삼성전자주식회사 이미지의 관심 영역의 위치에 따라 이미지를 다면체에 매핑하는 장치 및 그 영상 처리 방법
KR101975186B1 (ko) * 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법
GB2585645B (en) * 2019-07-08 2024-04-17 Toshiba Kk Computer vision method and system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1930587A (zh) * 2004-03-15 2007-03-14 皇家飞利浦电子股份有限公司 图像可视化
CN101917391A (zh) * 2009-12-17 2010-12-15 新奥特（北京）视频技术有限公司 一种网络视频的播放方法及一种网络视频播放***
CN102377875A (zh) * 2010-08-18 2012-03-14 Lg电子株式会社 移动终端及其图像显示方法
CN103077552A (zh) * 2012-12-27 2013-05-01 浙江大学 一种基于多视点视频的三维展示方法
CN104679509A (zh) * 2015-02-06 2015-06-03 腾讯科技（深圳）有限公司 一种渲染图形的方法和装置
CN105049862A (zh) * 2014-04-25 2015-11-11 统一有限责任两合公司 用于传输编码媒体数据的方法和设备
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
WO2016118897A1 (en) * 2015-01-22 2016-07-28 Kubicam Inc. Video transmission based on independently encoded background updates
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106204704A (zh) * 2016-06-29 2016-12-07 乐视控股（北京）有限公司 虚拟现实中三维场景的渲染方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912670A (en) * 1996-08-05 1999-06-15 International Business Machines Corporation Method and apparatus for overlaying a bit map image on an environment map
US8638332B2 (en) * 2009-08-28 2014-01-28 International Business Machines Corporation Teleport preview provisioning in virtual environments
WO2015009068A1 (ko) 2013-07-16 2015-01-22 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US20170136738A1 (en) 2014-07-14 2017-05-18 Nippon Steel & Sumitomo Metal Corporation Sandwich metal sheet
KR101682627B1 (ko) 2014-09-05 2016-12-05 삼성에스디에스 주식회사 영상 스트림 제공 방법 및 시스템과 중계 장치
US20160277772A1 (en) * 2014-09-30 2016-09-22 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
US20160112713A1 (en) 2014-10-20 2016-04-21 Google Inc. Mapping spherical image to 2d representations
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1930587A (zh) * 2004-03-15 2007-03-14 皇家飞利浦电子股份有限公司 图像可视化
CN101917391A (zh) * 2009-12-17 2010-12-15 新奥特（北京）视频技术有限公司 一种网络视频的播放方法及一种网络视频播放***
CN102377875A (zh) * 2010-08-18 2012-03-14 Lg电子株式会社 移动终端及其图像显示方法
CN103077552A (zh) * 2012-12-27 2013-05-01 浙江大学 一种基于多视点视频的三维展示方法
CN105049862A (zh) * 2014-04-25 2015-11-11 统一有限责任两合公司 用于传输编码媒体数据的方法和设备
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
WO2016118897A1 (en) * 2015-01-22 2016-07-28 Kubicam Inc. Video transmission based on independently encoded background updates
CN104679509A (zh) * 2015-02-06 2015-06-03 腾讯科技（深圳）有限公司 一种渲染图形的方法和装置
CN106204704A (zh) * 2016-06-29 2016-12-07 乐视控股（北京）有限公司 虚拟现实中三维场景的渲染方法和装置
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620805A (zh) * 2018-12-29 2019-12-27 北京时光荏苒科技有限公司 用于生成信息的方法和装置

Also Published As

Publication number Publication date
EP3358531A1 (en) 2018-08-08
KR20180091381A (ko) 2018-08-16
US10650596B2 (en) 2020-05-12
US20180225876A1 (en) 2018-08-09
EP3358531B1 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
CN108712641A (zh) 用于基于多面体提供vr图像的电子设备及其图像提供方法
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
CN108388390A (zh) 控制指纹传感器的设备和方法
CN107257954A (zh) 用于提供屏幕镜像服务的设备和方法
KR102676278B1 (ko) 전자 장치 및 전자 장치에서 360도 영상 디스플레이 방법
KR20170019823A (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
US10916049B2 (en) Device and method for rendering image
CN108429906A (zh) 电子设备和用于在电子设备中发送和接收图像数据的方法
KR102332782B1 (ko) 시각 특성을 고려한 영상 데이터 압축
KR20170097884A (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
KR20180098079A (ko) 비전 기반의 사물 인식 장치 및 그 제어 방법
CN108427533A (zh) 电子设备及用于确定电子设备的环境的方法
CN108761513A (zh) 定位方法、电子设备和存储介质
KR20180013005A (ko) 전자 장치 및 전자 장치 제어 방법
CN108702489A (zh) 包括多个相机的电子设备及其操作方法
CN108401167A (zh) 用于视频回放的电子设备和服务器
KR20180082273A (ko) 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체
CN107682619A (zh) 用于处理图像的方法和支持该方法的电子设备
KR20180091380A (ko) 전자 장치 및 그의 동작 방법
KR102324379B1 (ko) 휘트니스 상품 거래 플랫폼을 운용하는 서버 및 그 동작 방법
CN107077309A (zh) 显示控制方法及其电子设备
CN107872666A (zh) 图像流传输方法和支持该方法的电子设备
CN108427529A (zh) 电子设备及其操作方法
KR20180083144A (ko) 마커를 검출하기 위한 방법 및 그 전자 장치
US10818075B2 (en) Content output method and electronic device for supporting same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181026

WD01 Invention patent application deemed withdrawn after publication