CN108462818A - 电子设备及用于在该电子设备中显示360度图像的方法 - Google Patents

电子设备及用于在该电子设备中显示360度图像的方法 Download PDF

Info

Publication number
CN108462818A
CN108462818A CN201810150842.3A CN201810150842A CN108462818A CN 108462818 A CN108462818 A CN 108462818A CN 201810150842 A CN201810150842 A CN 201810150842A CN 108462818 A CN108462818 A CN 108462818A
Authority
CN
China
Prior art keywords
indicator
degree
image
electronic equipment
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810150842.3A
Other languages
English (en)
Other versions
CN108462818B (zh
Inventor
李健镐
朴慧荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170022505A external-priority patent/KR102676278B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108462818A publication Critical patent/CN108462818A/zh
Application granted granted Critical
Publication of CN108462818B publication Critical patent/CN108462818B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/9305—Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种电子设备及用于在该电子设备中显示360度图像的方法。该设备包括：显示器；以及至少一个处理器，该至少一个处理器可操作地连接到显示器。该至少一个处理器被配置为获取360度图像数据和与360度图像数据相对应的元数据，并且通过使用元数据在显示器上显示包括第一指示器和第二指示器的对象。第一指示器指示沿着360度图像数据的第一区域的三维(3D)模型空间中的水平方向的视角角度或捕捉x方向，并且第二指示器指示沿着3D模型空间中的垂直方向的视角角度或捕捉y方向。

Description

电子设备及用于在该电子设备中显示360度图像的方法
技术领域
本公开涉及电子设备及用于在电子设备中显示图像的方法。
背景技术
随着相机和图像处理技术的发展，已经开发并使用了能够捕捉360度图像并再现所捕捉的360度图像的许多设备。
360度图像可以是由多个相机捕捉的360度多视角(view)图像以及在所有方向上捕捉的全向图像。所捕捉的全向图像可以通过映射到3D模型(例如，球体、立方体或圆柱体)的表面上被转换为三维(3D)图像，并且可以在支持显示的电子设备中再现该3D图像。例如，可以在能够显示3D图像的电子设备(诸如头戴式显示器(HMD)设备或智能电话)中再现3D图像。当电子设备通过渲染与3D图像中的特定视角相对应的场景来显示该场景时，使得用户可以查看与3D图像的特定视角相对应的该场景。
不同的相机可以被用于360度图像的不同视角。在用于显示360度图像的方法中，根据相关技术不提供关于用于360度图像的每个视角的相机的信息。因此，用户不会知道360度图像的每个视角已经使用了多个相机中的哪个。例如，根据相关技术的360度图像显示方法不提供指示在所述多个相机中已捕捉特定视角的当前显示的图像的相机的信息。因此，用户不可以在360度图像中查看由从所述多个相机中选择的特定相机捕捉的图像，这对于用户而言是不方便的。
根据相关技术的360度图像显示方法不提供指示水平方向(例如，左右方向)和垂直方向(例如，上下方向)中的与整个360度图像的当前显示的图像相对应的视角的方向的信息。为了显示与360度图像的预定视角相对应的图像，用户可能不便于必须通过输入设备来施加诸如上、下、左或右的多个方向输入。
在根据相关技术的360度图像显示方法中，应当通过输入设备来放大或缩小与特定视角相对应的图像。此外，在放大或缩小之后，在没有指示所显示的与特定视角相对应的图像是否已被放大或缩小的信息的情况下仅显示经放大或缩小的图像，这对于用户而言是不方便的。
以上信息仅作为背景信息被呈现来帮助理解本公开。至于上述中的任一个对于本公开是否可以适用作为现有技术，尚未作出确定，并且未作出断言。
发明内容
本公开的各方面将至少解决以上提及的问题和/或缺点并且至少提供在下面所描述的优点。因此，本公开的一个方面提供了一种用于提供指示在多个相机中的已捕捉了当前视角图像的相机的信息的电子设备，以及一种用于在所述电子设备中显示360度图像的方法。
本公开的另一方面提供了一种用于提供指示水平方向和垂直方向中的与360度图像的当前视角图像相对应的视角的方向的信息的电子设备，以及一种用于在所述电子设备中显示360度图像的方法。
本公开的另一方面提供了一种用于使能用于放大或缩小当前视角图像的输入并且同时提供指示所述当前视角图像处于放大状态还是缩小状态的信息的电子设备，以及一种用于在所述电子设备中显示360度图像的方法。
根据本公开的一个方面，提供了一种电子设备。所述电子设备包括：显示器；以及至少一个处理器，所述至少一个处理器可操作地连接到所述显示器。所述至少一个处理器被配置为获取360度图像数据和与所述360度图像数据相对应的元数据，并且使用所述元数据在所述显示器上显示包括第一指示器和第二指示器的对象。所述第一指示器指示沿着所述360度图像数据的第一区域的三维(3D)模型空间中的水平方向的视角角度或捕捉x方向，并且所述第二指示器指示沿着所述3D模型空间中的垂直方向的视角角度或捕捉y方向。
根据本公开的另一方面，提供了一种用于在电子设备中显示360度图像的方法。所述方法包括：获取360度图像数据和与所述360度图像数据相对应的元数据；以及使用所述元数据在显示器上显示包括第一指示器和第二指示器的对象。所述第一指示器指示沿着所述360度图像数据的第一区域的三维(3D)模型空间中的水平方向的视角角度或捕捉x方向，并且所述第二指示器指示沿着所述3D模型空间中的垂直方向的视角角度或捕捉y方向。
根据本公开的另一方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质被配置为存储包括用于在电子设备中显示360度图像的指令的一个或更多个计算机程序。当所述一个或更多个程序由至少一个处理器执行时，使得所述至少一个处理器获取360度图像数据和与所述360度图像数据相对应的元数据，并且使用所述元数据在显示器上显示包括第一指示器和第二指示器的对象。所述第一指示器指示沿着所述360度图像数据的第一区域的三维(3D)模型空间中的水平方向的视角角度或捕捉x方向，并且所述第二指示器指示沿着所述3D模型空间中的垂直方向的视角角度或捕捉y方向。
根据下面具体实施方式结合附图，本公开的其他方面、优点和突出特征对于本领域的技术人员而言将变得显而易见，下面的具体实施方式公开了本公开的各个实施例。
附图说明
根据下面描述结合附图，本公开的某些实施例的以上及其他方面、特征和优点将更显而易见，其中：
图1是根据本公开的各个实施例的包括电子设备的网络环境的框图；
图2是根据本公开的各个实施例的电子设备的框图；
图3是根据本公开的各个实施例的编程模块的框图；
图4是例示了根据本公开的各个实施例的捕捉设备和电子设备的视图；
图5是根据本公开的各个实施例的捕捉设备的框图；
图6A、图6B和图6C是根据本公开的各个实施例的360度图像帧的概念视图；
图7是根据本公开的各个实施例的电子设备的框图；
图8是根据本公开的各个实施例的地图视图(map view)的概念视图；
图9A、图9B和图9C是例示了根据本公开的各个实施例的地图视图的配置的视图；
图10是例示了根据本公开的各个实施例的用于在电子设备中显示360度图像和地图视图的操作的流程图；
图11是例示了根据本公开的各个实施例的当在地图视图中选择水平方向和垂直方向中的至少一个时执行的操作的流程图；
图12A和图12B是例示了根据本公开的各个实施例的当在地图视图中选择水平方向和垂直方向中的至少一个时显示360度图像和地图视图的屏幕的视图；
图13是例示了根据本公开的各个实施例的用于当在地图视图中选择虚拟相机时显示360度图像和地图视图的操作的流程图；
图14是例示了根据本公开的各个实施例的当在地图视图中选择虚拟相机时显示360度图像和地图视图的屏幕的视图；
图15是例示了根据本公开的各个实施例的用于根据地图视图中的放大请求或缩小请求来显示360度图像和地图视图的操作的流程图；
图16是例示了根据本公开的各个实施例的根据地图视图中的放大请求或缩小请求来显示360度图像和地图视图的屏幕的视图；以及
图17、图18和图19是例示了根据本公开的各个实施例的在地图视图中显示虚拟相机的视图；
在所有附图中，相同的附图标记将被理解为指代相同的部分、组件和结构。
具体实施方式
参照附图进行的如下描述用于协助全面理解由权利要求及其等同形式所限定的本公开的各种示例实施例。它包括各种具体细节以协助该理解，但是这些将仅仅被认为是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文所描述的各种示例实施例作出各种改变和修改。另外，为了清楚和简明，可以省略对众所周知的功能和构造的描述。
在以下描述和权利要求中使用的术语和单词不限于书面含义，而是仅仅由本发明人用来使得能够清楚且一致地理解本公开。因此，对于本领域的技术人员而言应当显而易见的是，本公开的各个实施例的以下描述是仅被提供用于例示目的，而不是为了限制由所附权利要求及其等同形式所限定的本公开的目的。
应当理解的是，除非上下文另外清楚地规定，否则单数形式“一”、“一个”和“该”包括复数指代。因此，例如，参照“组件表面”包括参照此类表面中的一个或更多个。
然而，如本文所使用的实施例和术语不旨在将本公开中描述的技术限制于特定实施例，并且应当理解的是，本公开涵盖对实施例的各种修改、等同形式和/或替代方案。关于附图的描述，类似的附图标记表示相同的组件。在本公开中，术语“A或B”或“A和/或B中的至少一个”可以涵盖枚举项的所有可能的组合。如本公开中所使用的术语“第一”或“第二”可以修饰组件的名称，而不管顺序或重要性。这些表述用于区分一个组件和另一组件，而不限制组件。当说到一个组件(例如，第一组件)被(可操作地或通信地)耦连到另一组件(例如，第二组件)或“连接到”另一组件(例如，第二组件)时，应当理解的是，该一个组件被直接地或通过任何其他组件(例如，第三组件)连接到另一组件。
如本文所使用的术语“被配置为”可以使用例如在硬件或软件方面的术语“适于”、“具有…的能力”、“被设计为”、“被适配为”、“被制成”或“能够”代替。术语“被配置为”可以指设备能够与另一设备或部件一起。例如，“被配置为执行A、B和C的处理器”可以指用于执行相应操作的专用处理器(例如，嵌入式处理器)或用于执行操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
根据本公开的各个实施例，电子设备可以是例如如下设备中的至少一种：智能电话、平板个人电脑(PC)、移动电话、可视电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、医疗设备、相机或可穿戴设备。可穿戴设备可以是以下类型中的至少一种：附件型(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜、头戴式设备(HMD))、织物或服装型(例如，电子服装)、附着型(例如，护皮垫(skin pad)或纹身)或可植入电路。根据一些实施例，电子设备可以是以下各项中的至少一种：电视(TV)、数字通用盘(DVD)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒(例如，Samsung HomeSyncTM、AppleTVTM或Google TVTM等)、游戏机(例如，XboxTM、PlayStationTM等)、电子词典、电子钥匙、摄像机或电子相框。
根据其他实施例，电子设备可以是以下设备中的至少一种：医疗设备(例如，诸如血糖计、心率计、血压计或体温计、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备、超声设备等的便携式医疗计)、导航设备、全球导航卫星***(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船用电子设备(例如，船用导航设备、陀螺罗盘等)、航空电子设备、安全设备、车辆音响主机、工业或消费机器人、无人机、金融机构中的自动柜员机(ATM)、商店中的销售点(POS)设备或物联网(IoT)设备(例如，灯泡、各种传感器、喷水灭火设备、火灾警报器、恒温器、街灯、烤面包机、运动器械、热水箱、加热器、锅炉等)。根据一些实施例，电子设备可以是以下各项中的至少一种：家具、建筑物/结构或交通工具的一部分、电子板、电子签名接收设备、投影仪和各种测量设备(例如，水、电、煤气或电磁波测量设备)。根据各个实施例，电子设备可以是柔性的或上述设备中的两个或更多个的组合。根据本公开的实施例，电子设备不限于上述设备。在本公开中，术语“用户”可以指使用电子设备的人或设备(例如，人工智能电子设备)。
图1是根据本公开的各个实施例的包括电子设备的网络环境的框图。
参照图1，描述了根据各个实施例的网络环境100中的电子设备101。电子设备101可以包括总线110、处理器120(例如，至少一个处理器)、存储器130、输入/输出(I/O)接口150、显示器160和通信接口170(例如，收发器)。在一些实施例中，可以在电子设备101中省略这些组件中的至少一个或可以向电子设备101添加组件。总线110可以包括互连上述组件120、130、150、160和170并且允许在上述组件之间进行通信(例如，控制消息和/或数据)的电路。处理器120可以包括CPU、AP或通信处理器(CP)中的一个或更多个。处理器120可以例如执行与电子设备101的至少一个其他组件的控制和/或通信有关的计算或数据处理。处理器120可以被称作控制器。
存储器130可以包括易失性存储器和/或非易失性存储器。存储器130可以例如存储与电子设备101的至少一个其他组件有关的指令或数据。根据实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或应用)147。内核141、中间件143和API 145的至少一部分可以被称作操作***(OS)。内核141可以控制或管理用于执行在其他程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能的***资源(例如，总线110、处理器120或存储器130)。另外，内核141可以提供用于允许中间件143、API 145或应用程序147访问电子设备101的单独的组件并控制或管理***资源的接口。
中间件143可以作为媒介，内核141可以通过其与例如API 145或应用程序147进行通信以发送和接收数据。另外，中间件143可以根据其优先级等级来处理从应用程序147接收的一个或更多个任务请求。例如，中间件143可以将用于使用电子设备101的***资源(总线110、处理器120或存储器130)的优先级等级分配给应用程序147中的至少一个，并且根据优先级等级来处理一个或更多个任务请求。API 145是应用147用来控制内核141或中间件143提供的功能的接口。例如，API 145可以包括用于文件控制、窗口控制、视频处理或文本控制的至少一个接口或功能(例如，命令)。I/O接口150可以例如将从用户或外部设备接收的命令或数据提供给电子设备101的其他组件，或将从电子设备101的其他组件接收的命令或数据输出给用户或外部设备。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电***(MEMS)显示器或电子纸显示器。显示器160可以向用户显示例如各种类型的内容(例如，文本、图像、视频、图标和/或符号)。显示器160可以包括触摸屏并且通过电子笔或用户的身体部位接收例如触摸输入、手势输入、接近输入或悬停输入。通信接口170可以例如在电子设备101与外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线通信或有线通信连接到网络162，并且通过网络162与外部设备(例如，第二外部电子设备104或服务器106)进行通信。
无线通信可以包括符合例如以下各项中的至少一种的蜂窝通信：长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信***(UMTS)、无线宽带(WiBro)或全球移动通信***(GSM)。根据实施例，无线通信可以包括例如以下各项中的至少一种：无线保真(Wi-Fi)、蓝牙(BT)、低功耗BT(BLE)、Zigbee、近场通信(NFC)、磁安全传输(MST)、射频(RF)或体域网(BAN)，如图1中的附图标记164所指示的。根据实施例，无线通信可以包括GNSS。GNSS可以是例如全球定位***(GPS)、全球导航卫星***(Glonass)、北斗导航卫星***(在下文中，被称为“Beidou”)或Galileo欧洲全球卫星导航***。在本公开中，术语“GPS”和“GNSS”彼此可互换地使用。可以根据例如以下各项中的至少一种进行有线通信：通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信或普通老式电话服务(POTS)。网络162可以是电信网络，例如计算机网络(例如，局域网(LAN)或广域网(WAN))、因特网或电话网络中的至少一种。
第一外部电子设备102和第二外部电子设备104中的每个可以是与电子设备101相同的类型或不同的类型。根据各个实施例，在电子设备101中执行的操作的全部或一部分可以被在一个或更多个其他电子设备(例如，电子设备102和104)或服务器106中执行。根据实施例，如果电子设备101要自动地或应请求执行功能或服务，则电子设备101可以向另一设备(例如，电子设备102或104或服务器106)请求与该功能或该服务有关的至少一部分功能，而不是自主地或附加地执行该功能或该服务。另一电子设备(例如，电子设备102或104或服务器106)可以执行所请求的功能或其他功能并且将功能执行的结果提供给电子设备101。电子设备101可以基于所接收的结果或通过附加地处理所接收的结果来提供所请求的功能。为了此目的，例如，可以使用云计算、分布式计算或客户端-服务器计算。
图2是根据本公开的各个实施例的电子设备的框图。
电子设备201可以包括例如图1中例示的电子设备101的全体或部分。电子设备201可以包括至少一个处理器(例如，AP)210、通信模块220、用户识别模块(SIM)224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。处理器210可以例如通过执行OS或应用程序来控制连接到处理器210的多个硬件或软件组件，并且可以执行各种类型的数据的处理或计算。处理器210可以例如作为片上***(SoC)被实现。根据实施例，处理器210可以进一步包括图形处理单元(GPU)和/或图像信号处理器(ISP)。处理器210可以包括图2中例示的组件的至少一部分(例如，蜂窝模块221)。处理器210可以加载从其他组件中的至少一个(例如，非易失性存储器)接收的命令或数据，处理所加载的命令或数据，并且将结果数据存储在非易失性存储器中。
通信模块220可以具有与通信接口170的配置相同或类似的配置。通信模块220可以包括例如蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227、NFC模块228和RF模块229。蜂窝模块221可以例如通过通信网络来提供诸如语音呼叫、视频呼叫、文本服务或因特网服务的服务。根据实施例，蜂窝模块221可以使用SIM(例如，SIM卡)224来对通信网络内的电子设备201进行识别和认证。根据实施例，蜂窝模块221可以执行处理器210的功能的至少一部分。根据实施例，蜂窝模块221可以包括CP。根据实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227或NFC模块228的至少一部分(例如，两个或更多个)可以被包括在单个集成芯片(IC)或IC封装中。RF模块229可以发送和接收例如通信信号(例如，RF信号)。RF模块229可以包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227或NFC模块228中的至少一个可以经由单独的RF模块发送和接收RF信号。SIM 224可以包括例如包括SIM和/或嵌入式SIM的卡。SIM224可以包括唯一标识符(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户身份(IMSI))。
存储器230(例如，存储器130)可以包括例如内部存储器232或外部存储器234。内部存储器232可以是例如以下存储器中的至少一种：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步DRAM(SDRAM))和非易失性存储器(例如，一次可编程只读存储器(ROM)(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪速ROM、闪速存储器、硬盘驱动器或固态驱动器(SSD))。外部存储器234可以包括诸如紧凑型闪存(CF)驱动器、安全数字(SD)、微型安全数字(微型SD)、迷你安全数字(迷你SD)、极限数字(xD)、多媒体卡(MMC)或记忆棒的闪存驱动器。外部存储器234可以经由各种接口可操作地或物理地耦连到电子设备201。
传感器模块240可以例如测量物理量或检测电子设备201的运行状态，并且将所测量或检测到的信息转换成电信号。传感器模块240可以包括例如以下传感器中的至少一种：手势传感器240A、陀螺仪传感器240B、气压传感器240C、磁传感器240D、加速计传感器240E、握持传感器240F、接近传感器240G、颜色传感器(例如，红绿蓝(RGB)传感器)240H、生物传感器240I、温度/湿度传感器240J、照度传感器240K或紫外(UV)传感器240M。另外地或可替代地，传感器模块240可以包括例如电鼻子(E-nose)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240可以进一步包括用于控制包括在其中的一个或更多个传感器的控制电路。根据一些实施例，电子设备201可以进一步包括被配置为控制作为处理器210的一部分或与处理器210分离的传感器模块240的处理器。因此，当处理器210处于休眠状态时，控制电路可以控制传感器模块240。
输入设备250可以包括例如触摸面板252、(数字)笔传感器254、键256或超声输入设备258。触摸面板252可以在例如以下方案中的至少一种中操作：电容式方案、电阻式方案、红外(IR)方案和超声方案。触摸面板252可以进一步包括控制电路。触摸面板252可以进一步包括触觉层以由此向用户提供触觉反馈。(数字)笔传感器254可以包括例如作为触摸面板的一部分或与触摸面板分离地配置的检测板。键256可以包括例如物理按钮、光学键或小键盘。超声输入设备258可以使用麦克风(例如，麦克风288)来感测由输入工具生成的超声信号，并且识别与所感测到的超声信号相对应的数据。
显示器260(例如，显示器160)可以包括面板262、全息图设备264、投影仪266和/或用于控制它们的控制电路。面板262可以被配置为例如是柔性的、透明的或可穿戴的。面板262和触摸面板252可以被实现作为一个或更多个模块。根据实施例，面板262可以包括用于测量用户触摸的压力的强度的压力传感器(或力传感器)。压力传感器可以与触摸面板252集成在一起，或被配置作为与触摸面板252分离的一个或更多个传感器。全息图设备264可以利用光波的干涉来在空白空间中提供三维(3D)图像。投影仪266可以通过将光投影在屏幕上来显示图像。屏幕可以被例如定位在电子设备201内部或外部。接口270可以包括例如HDMI 272、USB 274、光学接口276或D超小型接口(D-sub)278。接口270可以被例如包括在图1中例示的通信接口170中。另外地或可替代地，接口270可以包括例如移动高晰度链接(MHL)接口、SD/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。
音频模块280可以例如将声音转换为电信号，并且反之亦然。音频模块280的组件的至少一部分可以被包括在例如图1中例示的I/O接口150中。音频模块280可以处理输入到例如扬声器282、接收器284、耳机286或麦克风288中或从扬声器282、接收器284、耳机286或麦克风288输出的声音信息。相机模块291可以捕捉例如静止图像和视频。根据实施例，相机模块291可以包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯)。电源管理模块295可以管理例如电子设备201的电力。根据实施例，电源管理模块295可以包括电源管理集成电路(PMIC)、充电器IC或电池量表或油量计。PMIC可以采用有线和/或无线充电。无线充电可以例如以磁共振方案、磁感应方案或电磁波方案来执行，并且可以进一步包括用于无线充电的附加电路，例如线圈回路、谐振电路或整流器。电池量表可以测量例如电池296的电荷电平、充电时的电压、电流或温度。电池296可以包括例如可充电电池和/或太阳能电池。指示器297可以指示电子设备201或电子设备201的一部分(例如，处理器210)的特定状态，例如，启动状态、消息状态或充电状态。电子设备201可以包括例如用于处理符合例如数字多媒体广播(DMB)、数字视频广播(DVB)或MediaFLOTM的媒体数据的移动TV支持设备(例如，GPU)。电子设备的上述组件中的每个均可以包括一个或更多个部件并且组件的名称可以根据电子设备的类型而变化。根据各个实施例，可以从电子设备(例如，电子设备201)中省略某个组件，或可以向电子设备(例如，电子设备201)添加某个组件。或可以通过组合电子设备的组件的一部分来配置一个实体，以由此执行组件在组合之前的相同功能。
图3是根据本公开的各个实施例的编程模块的框图。根据实施例，编程模块310(例如，程序140)可以包括控制与电子设备(例如，电子设备101)有关的资源的OS和/或在该OS上执行的各种应用(例如，应用程序147)。例如，OS可以是AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。
参照图3，编程模块310可以包括内核320(例如，内核141)、中间件330(例如，中间件143)、应用编程接口(API)360(例如，API 145)和/或应用370(例如，应用程序147)。编程模块310的至少一部分可以被预先加载在电子设备上或从外部电子设备(例如，电子设备102或104或服务器106)下载。
内核320可以包括例如***资源管理器321和/或设备驱动323。***资源管理器321可以控制、分配或解除分配***资源。根据实施例，***资源管理器321可以包括进程管理器、存储器管理器或文件***管理器。设备驱动器323可以包括例如显示驱动、相机驱动、BT驱动、共享存储器驱动、USB驱动、小键盘驱动、Wi-Fi驱动、音频驱动或进程间通信(IPC)驱动。中间件330例如可以提供应用370共同所需的功能或通过API 360向应用370提供各种功能，使得应用370可以使用电子设备内可用的有限的***资源。根据实施例，中间件330可以包括以下各项中的至少一种：运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352。
运行时库335可以包括例如编译器使用来在执行应用370期间用编程语言添加新功能的库模块。运行时库335可以执行输入/输出(I/O)管理、存储器管理或算术函数处理。应用管理器341可以管理例如应用370的生命周期。窗口管理器342可以管理用于屏幕的图形用户界面(GUI)资源。多媒体管理器343可以确定重放媒体文件所需的格式并且可以使用用于编码或解码适于媒体文件的格式的数字数据流或信号(CODEC)的设备或计算机程序来对媒体文件进行编码或解码。资源管理器344可以管理源代码或存储器空间。电源管理器345可以例如使用相应的信息来管理电池容量、温度或电源并且提供电子设备的操作所需的电力信息。根据实施例，电源管理器345可以与基本I/O***(BIOS)交互。数据库管理器346可以例如生成、搜索或修改要用于应用370的数据库。包管理器347可以管理作为包文件被分发的应用的安装或更新。
连接管理器348可以管理例如无线连接。通知管理器349可以给用户提供诸如消息到达、日程，接近通知等的事件。位置管理器350可以例如管理关于电子设备的位置信息。图形管理器351可以例如管理要提供给用户或相关用户界面的图形效果。安全管理器352可以例如提供***安全或用户认证。在实施例中，中间件330可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器或用于组合上述组件的功能的中间件模块。根据实施例，中间件330可以为每种OS类型提供定制模块。中间件330可以动态地删除现有组件的一部分或添加新的组件。API 360例如是API编程功能集，其可以根据OS被不同地配置。例如，在Android或iOS的情况下，可以每个平台提供一个API集，然而在Tizen的情况下，可以每个平台提供两个或更多个API集。
应用370可以包括本位键371、拨号器372、短消息服务/多媒体消息服务(SMS/MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、表/时钟384、医疗保健(例如，运动量或葡萄糖水平的测量结果)，或用于提供环境信息(例如，关于气压、湿度或温度的信息)的应用。根据实施例，应用370可以包括能够支持电子设备与外部电子设备之间的信息交换的信息交换应用。该信息交换应用可以包括例如用于向外部电子设备发送特定信息的通知中继应用或用于管理外部电子设备的设备管理应用。例如，通知中继应用可以向外部电子设备发送从另一应用生成的通知信息，或从外部电子设备接收通知信息并将所接收的通知信息发送给用户。设备管理应用可以例如安装、删除或更新与电子设备进行通信的外部电子设备的功能(例如，开启/关闭外部电子设备(或其组件的一部分)或控制显示器的亮度(或分辨率))、或安装、删除或更新在外部电子设备中执行的应用的功能。根据实施例，应用370可以包括根据外部电子设备的特性而指定的应用(例如，移动医疗设备的医疗保健应用)。根据实施例，应用370可以包括从外部电子设备接收的应用。编程模块310的至少一部分可以用软件、固件、硬件(例如，处理器210)或它们中的至少两个的组合加以实现(例如，实施)，并且可以包括模块、程序、例行程序、指令集或用于执行一个或更多个功能的过程。
图4是例示了根据本公开的各个实施例的捕捉设备和电子设备的视图。
参照图4，捕捉设备400可以捕捉360度全向图像，并且电子设备401可以显示该360度全向图像。
捕捉设备400可以相对于固定视角以360度全向地捕捉图像。在本文中，360度图像(在下文中，也被称为“全向图像”)是包括由摄影者(或捕捉设备)在以摄影者(或捕捉设备)的点旋转期间所捕捉的所有视图以及由摄影者(或捕捉设备)在该摄影者降低或抬起他的或她的云台(head)时捕捉的视图的图像。为了捕捉全向图像，捕捉设备400可以包括一个或更多个透镜或一个或更多个相机。
根据一个实施例，捕捉设备400可以包括鱼眼透镜。鱼眼透镜可以具有180度或更大视角角度。也就是说，如果鱼眼透镜指向天空，则鱼眼透镜可以在一个图像中捕捉从天空中的星座到地平线的区域。捕捉设备400可以包括多个鱼眼透镜并且使用所述多个鱼眼透镜来捕捉全向图像。根据另一实施例，捕捉设备400可以包括各自具有特定视角的多个相机并且使用多个相机来捕捉全向图像。在这种情况下，可以将多个相机设置在捕捉设备400中以便覆盖相对于一个中心点的所有方向。根据另一实施例，捕捉设备400可以包括一个或更多个相机并且通过自动地和/或手动地进行运动(在俯仰、偏航、滚动等的方向上)来在所有方向上捕捉图像。根据另一实施例，捕捉设备400可以包括各自具有与用户的左眼和右眼相符的预定视角角度的多个相机。在这种情况下，捕捉设备400可以捕捉包括多个全向图像的立体图像。根据各个实施例，捕捉设备400可以不限于上述的示例。
捕捉设备400可以将捕捉的图像和相关元数据彼此相关联地进行记录。根据各个实施例，元数据可以包括关于包括在捕捉设备400中的相机(或透镜)的信息、关于相机的捕捉方向的信息、关于相机的捕捉范围的信息、关于与由每个相机捕捉的图像相对应的全向图像的区域的信息、关于捕捉图像的位置的信息等。根据各个实施例，可以通过使由传感器感测到的位置信息、运动信息和方向信息中的至少一种与至少一条相机特性信息相关联来生成元数据。相机特性信息可以包括相机校准参数和捕捉状态信息。根据各个实施例，捕捉设备400可以包括至少一个传感器，例如GPS传感器、Wi-Fi指纹传感器、陀螺仪传感器、加速计传感器、地磁传感器和高度传感器中的至少一种。捕捉设备400可以还包括其他传感器。
根据实施例，捕捉设备400可以通过使捕捉的图像和相关元数据彼此相关联来记录它们，并且元数据可以包括由传感器在图像捕捉期间感测到的，被映射到关于图像的每个帧的识别信息(与之相关联)的感测信息。根据实施例，捕捉设备400可以记录在捕捉图像的每个帧期间获取的与帧相关联的感测信息。根据各个实施例，与图像相关联的感测信息可以包括以下信息中的至少一种：关于捕捉设备400的位置的信息、关于捕捉设备400的至少一个相机的捕捉方向的信息以及关于捕捉设备400的运动(或移动)的信息。
捕捉设备400可以将捕捉的全向图像映射到3D模型(例如，球体、立方体或圆柱体)的表面上，对所映射的360度图像进行编码，并且将经编码的图像存储在存储器或将经编码的图像发送到电子设备401。
根据实施例，当捕捉设备400将全向图像映射到3D模型空间时，关于与捕捉设备400中包括的一个或更多个相机(或透镜)相对应的一个或更多个虚拟相机(或虚拟透镜)的特性的信息可以与所映射的360度图像相关联地存储。根据各个实施例，关于虚拟相机的特性的信息可以包括关于虚拟相机的位置、捕捉方向、视角角度和捕捉范围的信息等。根据各个实施例，360度图像的一部分可以是与虚拟相机的视场(FOV)相对应地捕捉的图像。
作为图像再现设备的电子设备401可以是能够渲染图像的设备。电子设备401可以是处理图像的各种电子设备中的任一种，诸如像HMD一样的虚拟现实(VR)设备、智能电话、PC、TV和平板PC。电子设备401可以对存储在存储器中的360度图像进行解码，或可以从捕捉设备400接收映射到3D模型空间的360度图像并且对所接收的360度图像进行解码。对于电子设备401从捕捉设备400接收比特流的情况，电子设备401可以被设置有通信模块(诸如Wi-Fi模块、BT模块或Zigbee模块)，并且与捕捉设备400进行通信。
电子设备401可以将经解码的360度图像转换为二维(2D)平面图像，渲染经转换的2D平面图像，并且显示经渲染的帧。电子设备401可以是能够执行3D应用的设备，诸如智能电话。电子设备401可以存储3D应用(或VR应用)和3D图形库。3D应用可以是能够向用户提供与真实世界类似的屏幕的应用。在实施例中，VR可以指代可以查看用户(原点或相机)周围的环境的虚拟空间。例如，VR可以是渲染在屏幕上的表示360度的虚拟空间，诸如360度视频、360度图像内容或3D图形建模空间。电子设备401可以是诸如HMD的可穿戴设备。当用户穿戴电子设备401时，用户可以查看显示在电子设备401的显示器上的图像或从捕捉设备400接收到的图像。
根据实施例，捕捉设备400和电子设备401可以被集成到一个电子设备中。
图5是例示了根据本公开的各个实施例的捕捉设备400的配置的框图。
参照图5，捕捉设备400可以包括相机510、转码器520、编码器530、存储器535和传感器540。
相机510可以捕捉全向图像。例如，假设相机510被设置有各自具有180度或更大的视角角度的一对鱼眼透镜，相机510可以使用该对鱼眼透镜来捕捉全向图像。相机510可以将由该对鱼眼透镜捕捉的两个图像发送到转码器520。在另一示例中，如果存在多个相机510，则相机510可以沿不同方向上捕捉空间。在这种情况下，多个相机510可以将沿不同方向捕捉的多个图像发送到转码器520。
转码器520可以将全向图像映射到3D图像。例如，转码器520可以将由鱼眼透镜捕捉的两个图像映射到360度图像或将由多个相机捕捉的多个图像映射到360度图像。根据实施例，为了将全向图像映射到360度图像，转码器520可以将全向图像映射到虚拟3D模型的外表面或内表面。根据实施例，转码器520可以将全向图像映射到2D图像。与将360度图像映射到2D图像同步地，转码器520可以生成与所映射的360度图像与所映射的2D图像之间的坐标关系有关的元数据。
编码器530可以对从转码器520接收的360度图像进行编码。例如，编码器530可以遵照编解码标准(诸如H.264、MPEG-4或高效视频编码(HEVC))来对360度图像进行编码。在本文中，编码器530可以将360度图像的经编码的图像数据以视频或静止图像的形式存储在存储器535中。进一步地，编码器530可以将经编码的图像数据作为流数据或文件发送到电子设备401。
传感器540可以感测位置信息、运动信息和方向信息中的至少一个并提供感测信息。例如，传感器540可以包括GPS传感器、Wi-Fi指纹传感器、陀螺仪传感器、加速计传感器、地磁传感器和高度传感器中的至少一个。传感器540可以进一步包括其他传感器。根据各个实施例，如果存在多个相机，则可以包括与各个相机相关联的多个传感器。与各个相机相关联的传感器中的每个可以感测关于与该传感器相关联的相机的位置信息、运动信息和方向信息中的至少一个。
可以使用感测信息和相机特性信息中的至少一个来生成元数据。相机特性信息可以包括相机校准参数和捕捉状态信息。感测信息可以包括位置信息、运动信息和方向信息中的至少一个。根据各个实施例，元数据可以包括关于捕捉设备400中包括的相机(或透镜)的位置和数量的信息、关于相机的捕捉方向的信息、关于相机的捕捉范围的信息、关于与由每个相机捕捉的图像相对应的全向图像的区域的信息以及关于在其上已经捕捉到图像的位置的信息。
与图像相关联的感测信息被存储在存储器535中。可以存储与图像相关联的感测信息，以便可以为每个帧存储在图像的每个帧的捕捉期间获取的感测信息。进一步地，与图像相关联的感测信息可以连同关于图像的每个帧的识别信息一起被包括在关于图像的元数据中。
元数据可以连同经编码的图像数据一起被存储在存储器535中，或连同经编码的图像数据一起作为流数据或文件被发送。根据各个实施例，元数据可以作为单独的文档(例如，全向媒体应用格式(OMAF)文档)被生成并且与经编码的图像数据相关联地被存储或在请求图像数据时与经编码的图像数据相关联地被发送。例如，元数据可以与经编码的图像数据相关联，并且因此可以与经编码的图像数据一起被自动地调用。在请求经编码的图像数据时，元数据可以与经编码的图像数据一起或分离地来发送，或元数据可以被发送到特定设备或模块，而不管对经编码的图像数据的请求。
图6A、图6B和图6C是根据本公开的各个实施例的360度图像的概念视图。
参照图6A，如果存在两个相机510，则360度图像600可以是通过将由第一相机捕捉的第一图像610和由第二相机捕捉的第二图像612映射到3D模型601(例如，球体形式的3D模型)的表面上而获得的图像。
参照图6B，如果存在三个相机510，则360度图像600可以是通过将由第一相机捕捉的第一图像621、由第二相机捕捉的第二图像622和由第三相机捕捉的第三图像623映射到3D模型601(例如，球体形式的3D模型)的表面上而获得的图像。
参照图6C，如果存在四个相机510，则360度图像600可以是通过将由第一相机捕捉的第一图像631、由第二相机捕捉的第二图像632、由第三相机捕捉的第三图像633和由第四相机捕捉的第四图像634映射到3D模型601(例如，球体形式的3D模型)的表面上而获得的图像。
根据各个实施例，3D模型601还可以被成形为除球体外的立方体、圆柱体等中的任一种。
根据各个实施例，当第一图像631至第四图像634被映射到3D模型601上时，第一图像631至第四图像634可以被部分地重叠在被映射到3D模型601上的图像中。根据实施例，可以通过转码器520来消除重叠区域。
根据各个实施例，电子设备可以包括显示器和可操作地连接到显示器的处理器。处理器可以被配置为获取360度图像数据和与360度图像数据相对应的元数据，并且使用元数据在显示器上显示包括第一指示器和第二指示器的对象，第一指示器指示沿着针对360度图像数据的第一区域的3D模型空间中的水平方向的捕捉方向x(例如，x方向)(或被称为3D模型空间中的水平捕捉方向，或3D模型空间的x轴平面上的捕捉方向)或视角角度，并且第二指示器指示沿着3D模型空间中的垂直方向的捕捉方向y(例如，y方向)(或被称为3D模型空间中的垂直捕捉方向，或3D模型空间的y轴平面上的捕捉方向)或视角角度。
根据实施例，处理器可以被配置为生成进一步包括提供与用于获取360度图像数据的至少一个相机相关的信息的第三指示器的对象。
根据实施例，处理器可以被配置成生成进一步包括指示第一区域已经被放大还是缩小的第四指示器的对象。
根据实施例，在通过对象上的第一指示器接收到改变水平方向的输入时，处理器可以被配置为根据该输入在显示器上显示与经改变的水平方向相对应的第二区域的图像。
根据实施例，在通过对象上的第二指示器接收到改变垂直方向的输入时，处理器可以被配置为根据该输入在显示器上显示与经改变的垂直方向相对应的第三区域的图像。
根据实施例，在通过对象上的第三指示器选择了与至少一个相机相关的信息中包括的虚拟相机时，处理器可以被配置为在显示器上显示基于所选择的虚拟相机的第四区域的图像。
根据实施例，在通过对象上的第四指示器接收到对第一区域进行放大的命令或进行缩小的命令时，处理器可以被配置为在显示器上显示基于放大命令或缩小命令而被放大或缩小的第一区域的图像。
根据实施例，关于该至少一个相机的信息可以包括指示该至少一个相机的数目和位置的信息。
根据实施例，该至少一个相机的数目可以通过数字来指示。
图7是根据本公开的各个实施例的电子设备的框图。
参照图7，电子设备701可以包括通信单元710(例如，收发器)、存储器720、处理器730(例如，至少一个处理器)、显示器740和输入单元750(例如，输入设备)。
通信单元710可以接收360度图像数据。存储器720可以存储360度图像数据。
处理器730可以对电子设备701提供整体控制。处理器730可以包括解码器732和渲染器734。
解码器732可以对接收或存储的360度数据进行解码。解码器732可以遵照与用于编码360度图像数据相同的编解码标准(例如，H.264、MPEG-4或HEVC)对360度图像数据进行解码。
渲染器734可以以预定单位的视频帧接收经解码的360度图像数据，并且基于所接收的视频帧执行渲染。根据实施例，渲染器734可以附加地将元数据用于渲染。元数据可以连同360度图像数据一起被接收，或可以连同360度图像数据一起被存储。根据实施例，如果360度图像数据是以JPEG编码的，则元数据可以被包括在联合图像专家组(JPEG)的exif字段中。如果360度图像数据在发送器中以MPEG-4进行压缩，则元数据可以被包括在MPEG-4的moov字段中。在另一实施例中，元数据可以被包括在视频帧的结尾处。
处理器730可以从通信单元710或存储器720获取360度图像数据和与该360度图像数据相对应的元数据。处理器730可以使用解码器732来将360度图像数据解码为360度视频帧，并且输出经解码的360度视频帧的预定区域(在下文中，被称为“第一区域”)。处理器730可以使用元数据来获取与用于获取360度图像数据的至少一个相机有关的信息，并且将与至少一个相机有关的信息映射到3D模型空间。根据实施例，处理器730可以使用元数据来确定针对第一区域的3D模型空间中的水平方向和垂直方向，并且生成表示相机的位置以及针对第一区域的3D模型空间中的水平方向和垂直方向的对象。根据各个实施例，对象可以是将3D模型空间中的水平轴和垂直轴以及相机的位置和数量图式化的地图视图。通过举例，将在对象是地图视图的上下文中给出以下描述。然而，明显的是，对象可以采取除上述的地图视图外的任何其他形式。
处理器730可以通过渲染器734来渲染第一区域和所生成的地图视图。
显示器740可以显示第一区域的渲染图像和经渲染的地图视图。
输入单元750可以作为触摸屏被包括在显示器740中。输入单元750可以通过电子笔或用户的身体部位来接收例如触摸输入、手势输入、接近输入或悬停输入。输入单元750可作为触摸屏被包括在显示器740中。根据各个实施例，输入单元750可以接收在被显示在显示器740上的地图视图上生成的触摸输入、手势输入、接近输入或悬停输入，并且将所接收的输入提供给处理器730。
处理器730可以根据在地图视图上生成的触摸输入、手势输入、接近输入或悬停输入来确定用于选择水平方向和垂直方向中的至少一个的输入是否已被施加到地图视图，相机选择输入是否已被施加到地图视图，或是否已经在地图视图上发出了放大或缩小请求。
根据实施例，在地图视图中接收到用于选择水平方向和垂直方向中的一个的输入时，处理器730可以控制从解码器732输出360度图像数据的与所选择的方向相对应的第二区域的图像。根据实施例，在地图视图中接收到用于选择虚拟相机的输入时，处理器730可以控制从解码器732控输出360度图像数据的与所选择的相机相对应的第三区域的图像。在地图视图中接收到用于请求放大或缩小的输入时，处理器730可以放大或缩小显示的图像并且控制地图视图上的放大或缩小的指示。
图8是例示了根据本公开的各个实施例的地图视图的概念视图。
参照图8，电子设备(例如，图4中例示的电子设备401或图7中例示的电子设备701)可以使用元数据来确定要被显示在显示器740上的360度图像帧80的第一区域85的3D空间中的水平方向(例如，X轴角度x)和垂直方向(例如，Y轴角度y)。根据实施例，X轴角度和Y轴角度可以是-180度至+180度并且可以落入360度范围。电子设备701可以使用元数据来在3D空间中确定用于第一区域85的相机的信息(例如，关于用于获取第一区域85的图像的相机的信息)。电子设备701可以生成示出相机的位置和数量以及第一区域85的3D模型空间中的水平方向和垂直方向的地图视图。电子设备701可以渲染第一区域85和地图视图，并且在显示器740上显示第一区域85的渲染图像850和渲染的地图视图800。
根据各个实施例，地图视图800可以包括指示3D模型空间中的垂直方向的第二指示器810、指示3D模型空间中的水平方向的第一指示器820、提供关于3D模型空间中的至少一个相机的信息的第三指示器830以及指示图像的放大或缩小状态的第四指示器840。
图9A、图9B和图9C是例示了根据本公开的各个实施例的地图视图的配置的视图。
参照图9A、图9B和图9C，第二指示器810是指示沿着要被显示在显示器740上的360度图像帧80的第一区域的3D空间中的垂直方向的视角角度或捕捉方向y的指示器。例如，如果Y轴角度是y，则第二指示器810可以指示与y相对应的点或包括与y相对应的点的区域。
第一指示器820是指示沿着第一区域的水平方向的视角角度或捕捉方向x的指示器。例如，如果X轴角度是x，则第一指示器820可以指示与x相对应的点或包括与x相对应的点的区域。根据各个实施例，每当X轴角度和Y轴角度改变时，由第一指示器820和第二指示器810指示的点或区域的位置或该点或区域由第一指示器820和第二指示器810显示的方式可以被改变。根据实施例，每当X轴角度和Y轴角度改变时，由第一指示器820和第二指示器810指示的点或区域的颜色可以被改变。
根据各个实施例，X轴参考角度和Y轴参考角度可以是-180度至+180度并且可以落在360度范围内。
第三指示器830是指示用于获取360度图像帧的至少一个相机的数量和位置的指示器。例如，如果两个相机用于捕捉360度图像帧，则第三指示器830可以表示两个相机并且指示两个相机的位置。
第四指示器840是指示第一区域被放大还是缩小显示的指示器。如果第一区域被放大显示，则第四指示器840被扩大显示，而如果第一区域被缩小显示，则第四指示器840被收缩显示。
参照图9A，第二指示器810可以被配置为指示与Y轴角度y 91相对应的点811，并且第一指示器820可以被配置为指示包括与X轴角度x 93相对应的点的区域821。根据各个实施例，如果y是60度并且x是40度，则第二指示器810可以指示与60度相对应的点811，并且第一指示器820可以指示与20度至60度的范围(包括40度)相对应的区域821。
参照图9B，第二指示器810可以被配置为指示与Y轴角度y 91相对应的点811，并且第一指示器820可以被配置为指示与X轴角度x 93相对应的点821-1。根据各个实施例，如果y是60度并且x是40度，则第二指示器810可以指示与60度相对应的点811，并且第一指示器820可以指示与40度相对应的点821-1。
参照图9C，第二指示器810可以被配置为指示包括与Y轴角度y 91相对应的点的区域811-1，并且第一指示器820可以被配置为指示包括与X轴角度x 93相对应的点的区域821。根据各个实施例，如果y是60度并且x是40度，则第二指示器810可以指示与40度至100度的范围(包括60度)相对应的区域811-1，并且第一指示器820可以指示与20度至60度的范围(包括40度)相对应的区域821。根据各个实施例，第二指示器810-1可以是滚动条类型，并且可以被配置为根据滚动条上的滚动框的移动来改变包括与y 91相对应的点的区域811-1。
在地图视图800被显示在显示器740上的情况下，如果用户选择第一指示器810至第四指示器840中的每个，则可以执行特定输入。根据用户选择和输入，可以将第一区域的图像850切换到另一区域的图像。
根据各个实施例，一种用于在电子设备中显示360度图像的方法可以包括：获取360度图像数据和与360度图像数据相对应的元数据，以及使用元数据在显示器上显示包括第一指示器和第二指示器的对象，第一指示器指示沿着360度图像数据的第一区域的3D模型空间中的水平方向的视角角度或捕捉方向x(或被称为3D模型空间中的水平捕捉方向，或3D模型空间的x轴平面上的捕捉方向)，并且第二指示器指示沿着3D模型空间中的垂直方向的视角角度或捕捉方向y(或被称为3D模型空间中的垂直捕捉方向，或3D模型空间的y轴平面上的捕捉方向)。
根据实施例，对象可以进一步包括使用元数据来提供关于用于获取360度图像数据的至少一个相机的信息的第三指示器。
根据实施例，对象可以进一步包括指示第一区域已被放大还是缩小的第四指示器。
根据实施例，在通过对象上的第一指示器接收到用于改变水平方向的输入时，可以根据该输入在显示器上显示与经改变的水平方向相对应的第二区域的图像。
根据实施例，在通过对象上的第二指示器接收到用于改变垂直方向的输入时，可以根据该输入在显示器上显示与经改变的垂直方向相对应的第三区域的图像。
根据实施例，在通过对象上的第三指示器选择了在关于至少一个相机的信息中包括的虚拟相机时，可以在显示器上显示基于所选择的虚拟相机的第四区域的图像。
根据实施例，在通过对象上的第四指示器接收到对第一区域进行放大的命令或缩小的命令时，可以根据放大命令或缩小命令在显示器上放大或缩小显示第一区域的图像。
根据实施例，关于至少一个相机的信息可以包括指示该至少一个相机的数量和位置的信息。
根据实施例，该至少一个相机的数量可以通过数字来指示。
图10是例示了根据本公开的各个实施例的用于在电子设备中显示360度图像和地图视图的操作的流程图。
根据实施例的电子设备可以包括图1中例示的电子设备101、图2中例示的电子设备201、图4中例示的电子设备401或图7中例示的电子设备701的一部分或整体。
参照图10，在操作1002中，根据该实施例的电子设备可以获取360度图像数据和与该360度图像数据相对应的元数据。根据各个实施例，电子设备可以通过通信单元(例如，通信接口170、通信模块220或通信单元710)来接收360度图像数据和与该360度图像数据的相对应的元数据，或获取被存储在存储器(例如，存储器130、230或720)中的360度图像数据和与该360度图像数据相对应的元数据。
在操作1004中，电子设备可以使用元数据来在显示器上显示第一指示器和第二指示器，其中第一指示器指示沿着360度图像数据的第一区域的3D模型空间中的水平方向的视角角度或捕捉方向x，第二指示器指示沿着3D模型空间中的垂直方向的视角角度或捕捉方向y。
根据实施例，电子设备的处理器(例如，处理器120、210或730)可以通过解码器(例如，图7中例示的解码器730)对360度图像数据进行解码。解码器可以遵照与用于编码360度图像相同的编解码标准(H.264、MPEG-4或HEVC)来对360度图像进行解码，并且输出经解码的360度图像帧的预定区域(在下文中，被称为“第一区域”)。根据实施例，电子设备的处理器可以使用元数据来确定第一区域的3D模型空间中的水平方向视角角度(或捕捉方向x)和垂直方向视角角度(或捕捉方向y)，并且在显示器(例如，显示器160、260或740)上显示包括指示水平方向视角角度(或捕捉方向x)的第一指示器和指示垂直方向视角角度(或捕捉方向y)的第二指示器的对象。
根据实施例，对象可以进一步包括使用元数据来提供关于用于获取360度图像数据的一个或更多个相机的信息(例如，3D模型空间中的相机的数量和位置)的第三指示器。根据实施例，对象可以进一步包括指示第一区域已被放大还是缩小的第四指示器。
图11是例示了根据本公开的各个实施例的当在地图视图上选择水平方向和垂直方向中的至少一个时执行的操作的流程图。
参照图11，在操作1110中，电子设备可以确定是否已经接收到用于选择地图视图上的水平方向和垂直方向中的至少一个的输入。根据各个实施例，用户可以通过第二指示器来选择地图视图上的预期的水平方向并且通过第一指示器来选择地图视图上的预期的垂直方向。
在接收到用于选择水平方向和垂直方向中的至少一个的输入时，在操作1120中，电子设备可以根据所选择的3D模型空间中的至少一个方向来渲染第一区域。根据各个实施例，在通过第一指示器接收到用于改变地图视图上的水平方向的输入时，电子设备可以根据经改变的水平方向来渲染区域。进一步，在通过第二指示器接收到用于改变地图视图上的垂直方向的输入时，电子设备可以根据经改变的垂直方向来渲染区域。
在操作1130中，电子设备可以显示所渲染的第一区域并且在地图视图上显示所选择的至少一个方向。
图12A和图12B是例示了根据本公开的各个实施例的当在地图视图中选择水平方向和垂直方向中的至少一个时，显示360度图像和地图视图的屏幕的视图。
参照图12A，电子设备可以显示第一区域的图像1201和与第一区域的图像1201相对应的第一地图视图1200。第一地图视图1200可以包括第一区域的图像1201的垂直轴方向1211(在指示器1210上)和水平轴方向1221、用于捕捉第一区域的图像1201的相机的数量和位置1240以及指示第一区域的图像1201处于放大状态还是缩小状态的区域1230。
如果在第一地图视图1201被显示的情况下，用户施加用于改变水平轴方向的输入，则电子设备可以显示根据经改变的水平轴方向相对于水平轴向右移位的第二区域的图像1202，以及与第二区域的图像1202相对应的第二地图视图1200’。可以将经改变的水平轴方向1222显示在第二地图视图1200’上。
参照图12B，如果在第一地图视图1201被显示的情况下，用户施加用于改变垂直轴方向的输入，则电子设备可以显示根据经改变的垂直轴方向相对于垂直轴向上移位的第三区域的图像1203以及与第三区域的图像1203相对应的第三地图视图1200”。可以将经改变的垂直轴方向1212显示在第三地图视图1200”上。
图13是例示了根据本公开的各个实施例的用于当从地图视图中选择虚拟相机时，显示360度图像和地图视图的操作的流程图。
参照图13，在操作1310中，电子设备可以确定是否已经接收到用于在地图视图上选择虚拟相机的输入。根据各个实施例，用户可以借助于地图视图上的第三指示器来选择预期的虚拟相机。
在接收到用于选择虚拟相机的输入时，电子设备可以在3D模型空间中根据所选择的相机渲染第一区域。根据各个实施例，在通过地图视图上的第三指示器接收到相机选择输入时，在操作1320中，电子设备可以将与所选择的相机的捕捉方向相对应的区域渲染为第一区域。
在操作1330中，电子设备可以显示所渲染的第一区域，并且在地图视图上显示所选择的虚拟相机。
图14是例示了根据本公开的各个实施例的当在地图视图中选择虚拟相机时，显示360度图像和地图视图的屏幕的视图。
参照图14，电子设备可以显示第一区域的图像1401和与第一区域的图像1401相对应的第一地图视图1400。第一地图视图1400可以示出用于捕捉第一区域的图像1401的相机的数量和位置1440。
在第一地图视图1400被显示的情况下从用户接收到相机选择输入时，电子设备可以显示由所选的相机捕捉的第二区域的图像1402以及与第二区域的图像1402相对应的第二地图视图1400’。第二地图视图1400’可以指示所选的相机。
图15是例示了根据本公开的各个实施例的用于根据在地图视图中进行放大或缩小的请求来显示360度图像和地图视图的操作的流程图。
参照图15，在操作1510中，电子设备可以确定是否已经接收到用于在地图视图上请求放大或缩小的输入。根据各个实施例，用户可以借助于地图视图上的第四指示器来应用放大请求输入或缩小请求输入。
在接收到放大请求输入或缩小请求输入时，在操作1520中，电子设备可以放大或缩小当前显示的图像，并且指示该图像在地图视图上是放大图像还是缩小图像。
图16是例示了根据本公开的各个实施例的根据在地图视图中进行放大或缩小的请求来显示360度图像和地图视图的屏幕的视图。
参照图16，电子设备可以显示第一区域的图像1601和与第一区域的图像1601相对应的第一地图视图1600。第一地图视图1600可以显示指示第一区域的图像1601的放大或缩小状态的第四指示器1630。
图17、图18和图19是例示了根据本公开的各个实施例的在地图视图中显示虚拟相机的视图。
参照图17、图18和图19，电子设备可以显示指示两个相机(1740、1741或1840)或三个相机(1750、1751或1850)或一个相机(1940)的第三指示器。
虽然已经在上面描述了相机的位置和数量，但是举例来说，明显的是，可以以任何其他方式表示相机的位置和数量。
如从上述描述显而易见的，根据本公开的各个实施例，因为指示了多个相机中的哪一个已捕捉了整个360度图像的特定视角的当前显示的图像，所以用户可以从多个相机中选择特定相机，并且因此在360度图像中查看由所选择的相机捕捉的图像。
进一步，根据本公开的各个实施例，提供了指示在水平方向(例如，左右方向)和垂直方向(例如，上下方向)中与整个360度图像的当前显示的图像相对应的视角的方向的信息，并且允许用户为要显示的预期视角的图像选择水平方向和垂直方向。因此，用户可以方便地选择用户想要看到的视图。
进一步，根据本公开的各个实施例，在整个360度图像的视角的当前显示的图像已被放大或缩小的情况下，提供了指示当前显示的图像的放大状态或缩小状态的信息。因此，用户可以方便地查看360度图像。
电子设备的上述组件中的每个均可以包括一个或更多个部分，并且该组件的名称可以随着电子设备的类型而变化。根据各个实施例，电子设备可以被配置为包括本公开中描述的组件中的至少一个，并且可以从电子设备中省略某个组件，或可以向电子设备添加某个组件。进一步，可以通过组合电子设备的组件的一部分来配置一个实体，以由此执行组件在组合之前的相同功能。
如本文所使用的术语“模块”可以指包括两个或更多个硬件、软件和固件中的一个或组合的单元。术语“模块”可以与诸如例如单元、逻辑、逻辑块、组件或电路的术语交换地使用。“模块”可以是集成部件或其一部分的最小单元。“模块”可以是用于执行一个或更多个功能的最小单元或其一部分。“模块”可以被机械地或电子地实现。例如，“模块”可以包括执行某些操作的已知或待开发的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑器件中的至少一种。
根据本公开的各个实施例的设备(例如，模块或其功能)或方法(例如，操作)的至少一部分可以被实现为以编程模块的形式存储在计算机可读存储介质(例如，存储器130)中的命令。当命令由处理器(例如，处理器120)来执行时，该处理器可以执行与命令相对应的功能。计算机可读介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，紧凑盘ROM(CD-ROM))、DVD、磁光介质(例如，软光盘)、硬件设备(例如，ROM、RAM或闪速存储器))等。程序指令可以包括由编译器产生的机器语言代码或可以由计算机使用解释器来执行的高级语言代码。
根据本公开的各个实施例的模块或编程模块可以包括上述组件中的一个或更多个，可以省略其一部分，或可以包括其他组件。由根据本公开的模块、编程模块或其他组件执行的操作可以以串行、并行、重复或启发式方式被处理。另外，可以以不同的顺序执行或省略一些操作，或可以添加其他操作。
根据本公开的各个实施例，存储介质可以存储程序，并且程序可以执行操作。操作可以包括：获取360度图像数据和与360度图像数据相对应的元数据；以及使用元数据在显示器上显示包括第一指示器和第二指示器的对象，第一指示器指示沿着360度图像数据的第一区域的三维(3D)模型空间中的水平方向的视角角度或捕捉方向x，并且第二指示器指示沿着3D模型空间中的垂直方向的视角角度或捕捉方向y。
虽然已经参照本公开的各个实施例示出并描述了本公开，但是本领域的技术人员将理解的是，在不脱离由所附权利要求及其等同形式限定的本公开的精神和范围的情况下，可以在其中作出形式和细节上的各种改变。

Claims (15)

1.一种电子设备，所述电子设备包括：
显示器；以及
至少一个处理器，所述至少一个处理器可操作地连接到所述显示器，
其中，所述至少一个处理器被配置为：
获取360度图像数据和与所述360度图像数据相对应的元数据，并且
使用所述元数据在所述显示器上显示包括第一指示器和第二指示器的对象，
其中，所述第一指示器指示沿着所述360度图像数据的第一区域的三维(3D)模型空间中的水平方向的视角角度或捕捉x方向，以及
其中，所述第二指示器指示沿着所述3D模型空间中的垂直方向的视角角度或捕捉y方向。
2.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为生成进一步包括第三指示器的所述对象，所述第三指示器提供关于用于获取所述360度图像数据的至少一个相机的信息。
3.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为生成进一步包括第四指示器的所述对象，所述第四指示器指示所述第一区域已被放大还是缩小。
4.根据权利要求1所述的电子设备，
其中，在通过所述对象上的所述第一指示器接收到用于改变所述水平方向的输入时，所述至少一个处理器被进一步配置为根据所述输入在所述显示器上显示与经改变的水平方向相对应的第二区域的图像，以及
其中，在通过所述对象上的所述第二指示器接收到用于改变所述垂直方向的输入时，所述至少一个处理器被进一步配置为根据所述输入在所述显示器上显示与经改变的垂直方向相对应的第三区域的图像。
5.根据权利要求2所述的电子设备，其中，在通过所述对象上的所述第三指示器选择了在关于所述至少一个相机的所述信息中包括的虚拟相机时，所述至少一个处理器被进一步配置为在所述显示器上显示基于所选择的虚拟相机的第四区域的图像。
6.根据权利要求3所述的电子设备，其中，在通过所述对象上的所述第四指示器接收到对所述第一区域进行放大的命令或缩小的命令时，所述至少一个处理器被进一步配置为根据所述放大命令或所述缩小命令在所述显示器上显示放大或缩小的所述第一区域的所述图像。
7.根据权利要求2所述的电子设备，
其中，关于所述至少一个相机的所述信息包括指示所述至少一个相机的数量和位置的信息，以及
其中，所述至少一个相机的数量通过数字来指示。
8.一种用于在电子设备中显示360度图像的方法，所述方法包括：
获取360度图像数据和与所述360度图像数据相对应的元数据；以及
使用所述元数据在显示器上显示包括第一指示器和第二指示器的对象，
其中，所述第一指示器指示沿着所述360度图像数据的第一区域的三维(3D)模型空间中的水平方向的视角角度或捕捉x方向，以及
其中，所述第二指示器指示沿着所述3D模型空间中的垂直方向的视角角度或捕捉y方向。
9.根据权利要求8所述的方法，其中，所述对象进一步包括提供关于用于获取所述360度图像数据的至少一个相机的信息的第三指示器。
10.根据权利要求8所述的方法，其中，所述对象进一步包括指示所述第一区域已被放大还是缩小的第四指示器。
11.根据权利要求8所述的方法，进一步包括：
在通过所述对象上的所述第一指示器接收到用于改变所述水平方向的输入时，根据所述输入在所述显示器上显示与经改变的水平方向相对应的第二区域的图像。
12.根据权利要求8所述的方法，进一步包括：
在通过所述对象上的所述第二指示器接收到用于改变所述垂直方向的输入时，根据所述输入在所述显示器上显示与经改变的垂直方向相对应的第三区域的图像，以及
在通过所述对象上的所述第三指示器选择了在关于所述至少一个相机的所述信息中包括的虚拟相机时，在所述显示器上显示基于所选择的虚拟相机的第四区域的图像。
13.根据权利要求10所述的方法，进一步包括：
在通过所述对象上的所述第四指示器接收到对所述第一区域进行放大的命令或缩小的命令时，根据所述放大命令或所述缩小命令在所述显示器上显示放大或缩小的所述第一区域的所述图像。
14.根据权利要求9所述的方法，
其中，关于所述至少一个相机的所述信息包括指示所述至少一个相机的数量和位置的信息，以及
其中，所述至少一个相机的数量通过数字来指示。
15.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质被配置为存储包括用于在电子设备中显示360度图像的指令的一个或更多个计算机程序，所述一个或更多个计算机程序由至少一个处理器执行时，使所述至少一个处理器进行控制以：
获取360度图像数据和与所述360度图像数据相对应的元数据；以及
使用所述元数据在显示器上显示包括第一指示器和第二指示器的对象，
其中，所述第一指示器指示沿着所述360度图像数据的第一区域的三维(3D)模型空间中的水平方向的视角角度或捕捉x方向，以及
其中，所述第二指示器指示沿着所述3D模型空间中的垂直方向的视角角度或捕捉y方向。
CN201810150842.3A 2017-02-20 2018-02-13 电子设备及用于在该电子设备中显示360度图像的方法 Expired - Fee Related CN108462818B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0022505 2017-02-20
KR1020170022505A KR102676278B1 (ko) 2017-02-20 전자 장치 및 전자 장치에서 360도 영상 디스플레이 방법

Publications (2)

Publication Number Publication Date
CN108462818A true CN108462818A (zh) 2018-08-28
CN108462818B CN108462818B (zh) 2021-05-14

Family

ID=61598846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810150842.3A Expired - Fee Related CN108462818B (zh) 2017-02-20 2018-02-13 电子设备及用于在该电子设备中显示360度图像的方法

Country Status (3)

Country Link
US (1) US10848669B2 (zh)
EP (1) EP3364646A1 (zh)
CN (1) CN108462818B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US11782570B2 (en) * 2017-02-23 2023-10-10 Jue-Hsuan Hsiao Integration platform of internet of things and virtual device
WO2019018674A1 (en) * 2017-07-19 2019-01-24 Practecol, Llc DOMESTIC SURVEILLANCE
US10587856B1 (en) * 2017-08-24 2020-03-10 Gopro, Inc. Spherical visual content transitions
US20190129602A1 (en) * 2017-10-27 2019-05-02 Greg Siwak Systems and methods for imaging grounding
JP7277187B2 (ja) 2019-03-13 2023-05-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
KR20200129584A (ko) 2019-05-09 2020-11-18 삼성전자주식회사 복수의 카메라들을 이용한 촬영 제어 방법 및 폴더블 장치
KR20220140706A (ko) * 2020-02-17 2022-10-18 인텔 코포레이션 컨볼루션 신경망(cnn) 기반 필터를 사용한 360도 비디오의 향상

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187305A1 (en) * 2002-07-01 2006-08-24 Trivedi Mohan M Digital processing of video images
US20120206565A1 (en) * 2011-02-10 2012-08-16 Jason Villmer Omni-directional camera and related viewing software
US20120307052A1 (en) * 2011-06-03 2012-12-06 Honeywell International Inc. System and method for thumbnail-based camera control
CN104272726A (zh) * 2012-05-08 2015-01-07 松下电器产业株式会社 显示影像形成装置及显示影像形成方法
US20150304724A1 (en) * 2013-11-05 2015-10-22 LiveStageº, Inc. Multi vantage point player
CN105306859A (zh) * 2014-07-24 2016-02-03 信泰光学(深圳)有限公司 信息处理装置和信息处理方法
US20160098138A1 (en) * 2014-10-07 2016-04-07 Lg Electronics Inc. Mobile terminal

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029180A (ja) 2010-07-27 2012-02-09 Nippon Seiki Co Ltd 周辺画像表示装置及びその表示方法
KR101181967B1 (ko) 2010-12-29 2012-09-11 심광호 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187305A1 (en) * 2002-07-01 2006-08-24 Trivedi Mohan M Digital processing of video images
US20120206565A1 (en) * 2011-02-10 2012-08-16 Jason Villmer Omni-directional camera and related viewing software
US20120307052A1 (en) * 2011-06-03 2012-12-06 Honeywell International Inc. System and method for thumbnail-based camera control
CN104272726A (zh) * 2012-05-08 2015-01-07 松下电器产业株式会社 显示影像形成装置及显示影像形成方法
US20150304724A1 (en) * 2013-11-05 2015-10-22 LiveStageº, Inc. Multi vantage point player
CN105306859A (zh) * 2014-07-24 2016-02-03 信泰光学(深圳)有限公司 信息处理装置和信息处理方法
US20160098138A1 (en) * 2014-10-07 2016-04-07 Lg Electronics Inc. Mobile terminal

Also Published As

Publication number Publication date
US20180241943A1 (en) 2018-08-23
US10848669B2 (en) 2020-11-24
EP3364646A1 (en) 2018-08-22
KR20180096170A (ko) 2018-08-29
CN108462818B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
KR102444085B1 (ko) 휴대용 통신 장치 및 휴대용 통신 장치의 영상 표시 방법
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
CN108279832A (zh) 图像采集方法和电子装置
CN108462818A (zh) 电子设备及用于在该电子设备中显示360度图像的方法
EP3343399B1 (en) Device and method for processing metadata
WO2021013230A1 (zh) 机器人的控制方法、机器人、终端、服务器及控制***
CN108388390A (zh) 控制指纹传感器的设备和方法
CN107800930A (zh) 图像合成方法和支持该方法的电子设备
CN109644229A (zh) 用于控制相机的方法及其电子设备
KR20180081918A (ko) 전자 장치 및 전자 장치의 영상 촬영 방법
CN108076405A (zh) 电子设备及其操作方法
CN107257954A (zh) 用于提供屏幕镜像服务的设备和方法
KR20170136920A (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
CN108429906A (zh) 电子设备和用于在电子设备中发送和接收图像数据的方法
KR20170097884A (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
CN108712641A (zh) 用于基于多面体提供vr图像的电子设备及其图像提供方法
CN108427533A (zh) 电子设备及用于确定电子设备的环境的方法
CN107613283A (zh) 视频中的基于对象或区域的聚焦控制
KR20160114434A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
CN108761513A (zh) 定位方法、电子设备和存储介质
KR102379898B1 (ko) 포커스에 대한 그래픽 인디케이터를 제공하는 전자 장치와 이의 동작 방법
KR20180043098A (ko) 영상을 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR20180050143A (ko) 눈을 촬영하여 정보를 획득하는 방법 및 장치
KR20160134428A (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
KR102656557B1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210514

CF01 Termination of patent right due to non-payment of annual fee