CN109804408A - 一致的球面照片和视频朝向校正 - Google Patents

一致的球面照片和视频朝向校正 Download PDF

Info

Publication number
CN109804408A
CN109804408A CN201780061250.8A CN201780061250A CN109804408A CN 109804408 A CN109804408 A CN 109804408A CN 201780061250 A CN201780061250 A CN 201780061250A CN 109804408 A CN109804408 A CN 109804408A
Authority
CN
China
Prior art keywords
spherical surface
surface frame
frame
electronic equipment
orientation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780061250.8A
Other languages
English (en)
Other versions
CN109804408B (zh
Inventor
托马斯·弗林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109804408A publication Critical patent/CN109804408A/zh
Application granted granted Critical
Publication of CN109804408B publication Critical patent/CN109804408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于一致的球面照片和视频朝向校正的电子设备、方法和计算机可读介质。该电子设备包括存储器以及至少一个处理器。该至少一个处理器有效连接到存储器。该至少一个处理器被配置为捕捉与球面帧相对应的朝向信息。该至少一个处理器还被配置为使用朝向信息对球面帧进行重新定向。该至少一个处理器还被配置为存储经重新定向的球面帧。

Description

一致的球面照片和视频朝向校正
技术领域
本公开大体上涉及球面摄影和摄像。更具体地，本公开涉及用于一致的球面照片和视频朝向校正的方法和装置。
背景技术
虚拟现实需要球面图像或视频，以便用户能够观看到整个周围环境。目前，从单个观察点(vantage point)拍摄大量图像并将其拼合在一起以创建球面帧。
发明内容
[技术问题]
本公开提供了一种用于一致的球面照片和视频朝向的方法和装置。
在第一实施例中，提供了一种用于一致的球面照片和视频朝向的电子设备。该电子设备包括存储器以及至少一个处理器。该至少一个处理器有效连接到存储器。该至少一个处理器被配置为与球面帧相对应的朝向信息。该至少一个处理器还被配置为使用朝向信息对球面帧进行重新定向。该至少一个处理器还被配置为存储经重新定向的球面帧。
在第二实施例中，提供了一种用于一致的球面照片和视频朝向的方法。该方法包括：捕捉与球面帧相对应的朝向信息。该方法还包括：使用朝向信息对球面帧进行重新定向。该方法还包括：存储经重新定向的球面帧。
在第三实施例中，提供了一种用于一致的球面照片和视频朝向的体现计算机程序的非暂时性介质。程序代码在由至少一个处理器执行时使电子设备捕捉与球面帧相对应的朝向信息。该程序代码在由至少一个处理器执行时还使电子设备使用朝向信息对球面帧进行重新定向。该程序代码在由至少一个处理器执行时还使电子设备存储经重新定向的球面帧。
根据下面的附图、描述和权利要求，其他技术特征对本领域技术人员而言可以是容易理解的。
在进行下面的详细描述之前，阐述贯穿本专利文件所使用的某些词语和短语的定义可能是有利的。术语“耦接”及其派生词指代两个或更多个元素之间的任何直接或间接的通信，不管这些元素是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词包括直接通信和间接通信这二者。术语“包含”和“包括”及其派生词意味着在没有限制的情况下的包含。术语“或”是包含性的，意味着和/或。短语“与...相关联”及其派生词意味着包括、被包括在内、与...互连、包含、被包含在内、连接到或与...连接、耦接到或与...耦接、可与...通信、与...协作、交织、并置、接近...、绑定到...或与...绑定、具有、具有...的属性、具有到...的关系或与...的关系等。术语“控制器”意味着控制至少一个操作的任何设备、***或其部分。可以用硬件或硬件和软件和/或固件的组合来实现这样的控制器。与任何特定控制器相关联的功能可以是集中式或分布式的，不管本地还是远程。当与项目列表一起使用时的短语“...中的至少一项”意味着可以使用列出的项目中的一个或多个项目的不同组合，并且可能仅需要列表中的一个项目。例如，“A、B和C中的至少一项”包括下面组合中的任何组合：A、B、C、A和B、A和C、B和C、以及A和B和C。
此外，以下描述的各种功能可以由一个或多个计算机程序来实现或支持，每个计算机程序是根据计算机可读程序代码来形成的并被体现在计算机可读介质中。术语“应用”和“程序”指代一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，其包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、高密度盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质排除了传输短暂的电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括其中可以永久存储数据的介质以及其中可以存储数据并随后重写的介质，例如可重写光盘或可擦除存储器设备。
贯穿本专利文献提供了对其他某些词语和短语的定义。本领域普通技术人员应该理解：在许多情况下(如果不是大多数情况)，这样的定义适用于这样定义的词语和短语的先前以及将来的使用。
附图说明
为了更完整理解本公开及其优点，现结合附图来参考以下描述，在附图中：
图1示出了根据本公开各种实施例的示例通信***；
图2示出了根据本公开各种实施例的示例电子设备；
图3a、图3b和图3c示出了根据本公开各种实施例的用于拼合球面帧以在电子设备中使用的示例过程；
图4a和图4b示出了根据本公开各种实施例的示例迷失方向的等距圆柱(equirectangular)地图和经重新定向的等距圆柱地图；
图5示出了根据本公开各种实施例的使用一个或多个传感器进行一致的球面照片和视频朝向校正的示例过程；
图6示出了根据本公开各种实施例的使用应用进行一致的球面照片和视频朝向校正的示例过程；
图7a、图7b、图7c、图7d和图7e示出了根据本公开各种实施例的使用一个或多个传感器的一致的球面照片和视频朝向校正的图形描绘；以及
图8a、图8b、图8c、图8d、图8e和图8f示出了根据本公开各种实施例的使用应用的一致的球面照片和视频朝向校正的图形描绘。
具体实施方式
以下讨论的图1至图8f和本专利文档中用于描述该公开的原理的各种实施例仅仅是说明性的，而决不应以任何方式被解释为限制本公开的范围。本领域的技术人员应理解：本公开的原理可以在任何合适地布置的无线通信***中实现。
图1示出了其中可以实现本公开的各种实施例的示例通信***100。图1中所示出的通信***100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用通信***100的其他实施例。
如图1所示，***100包括网络102，网络102便于***100中各组件之间的通信。例如，网络102可以在网络地址之间传送网际协议(IP)分组、帧中继帧或其他信息。网络102可以包括一个或多个局域网(LAN)、城域网(MAN)、广域网(WAN)、全球网络的全部或一部分(例如互联网)、或一个或多个位置处的任何一个或多其他通信***。
网络102便于各种服务器103和104与各种电子设备106至116之间的通信。每个服务器104包括可以为一个或多个电子设备提供计算服务的任何合适的计算或处理设备。例如，每个服务器104可以包括一个或多个处理器、存储指令和数据的一个或多个存储器、以及便于在网络102上进行通信的一个或多个网络接口。
每个电子设备106至116表示通过网络102与至少一个服务器或其他计算设备交互的任何合适的计算或通信设备。在该示例中，电子设备106至116包括诸如以下各项的电子设备，例如台式计算机106、移动电话或智能电话108、个人数字助理(PDA)110、膝上型计算机112、平板计算机114、头戴式装置116、可穿戴设备、智能手表等。然而，可以在通信***100中使用任何其他或附加的电子设备。
在该示例中，一些电子设备108至116间接地与网络102通信。例如，电子设备108至110和116经由一个或多个基站120(例如，蜂窝基站或eNodeB)进行通信。此外，电子设备112至114经由一个或多个无线接入点(AP)118(例如，IEEE802.11无线AP、蓝牙、和WiFi直连)进行通信。注意，这些仅用于说明，并且每个电子设备可以直接与网络102通信或经由任何合适的中间设备或网络间接与网络102通信。
如在下面更详细描述的，当电子设备116正在处理来自图像或视频的球面帧时，电子设备116对球面帧执行一致的球面照片或视频朝向校正。
尽管图1示出了通信***100的一个示例，但是可以对图1进行各种改变。例如，***100可以包括任何数量的、具有任何合适布置的各种组件。通常，计算和通信***具有各种各样的配置，且图1不将本公开的范围限制于任何特定配置。虽然图1示出了其中可以使用本专利文档中公开的各种特征的一个操作环境，但是这些特征可以用于任何其他合适的***中。
图2示出了根据本公开各种实施例的通信***中的示例电子设备116。电子设备116可以表示图1中的电子设备106至116中的一个或多个电子设备。
如图2所示，电子设备116包括天线205、射频(RF)收发器210、发送(TX)处理电路215、麦克风220和接收(RX)处理电路225。电子设备116还包括扬声器230、处理器240、输入/输出(I/O)接口(IF)245、输入设备250、显示器255和存储器260。存储器260包括操作***(OS)程序261和一个或多个应用262。
RF收发器210从天线205接收由***中的另一组件发送的输入RF信号。RF收发器210对输入RF信号进行降频转换以生成中频(IF)或基带信号。向RX处理电路325发送IF或基带信号，RX处理电路225通过对基带或IF信号进行滤波、解码和/或数字化来生成经处理的基带信号。RX处理电路225向扬声器230(例如针对语音数据)或处理器240(例如针对web浏览数据)发送经处理的基带信号用于进一步处理。
TX处理电路215接收来自麦克风220的模拟或数字语音数据或来自处理器240的其他输出基带数据(例如web数据、电子邮件或交互式视频游戏数据)。TX处理电路215对输出基带数据进行编码、复用和/或数字化，以生成经处理的基带或IF信号。RF收发器210从TX处理电路215接收经处理的输出基带或IF信号，并将该基带或IF信号升频转换为经由天线205发送的RF信号。
处理器240可以包括一个或多个处理器，并执行存储器260中存储的OS程序261，以便控制电子设备200的总体操作。例如，根据众所周知的原理，处理器240可以通过RF收发器210、RX处理电路225和TX处理电路215来控制对前向信道信号的接收和对反向信道信号的发送。在一些实施例中，处理器240包括至少一个微处理器或微控制器。
处理器240还能够执行存储器260中驻存的其他进程和程序。处理器240可以根据执行进程的要求将数据移入或移出存储器260。在一些实施例中，处理器240被配置为基于OS程序261或响应于从外部设备或操作者接收的信号来执行应用262。处理器240可以基于图片自身的细节(例如，地平线或诸如烟、气泡等的其他已知要素)来执行用于确定朝向的朝向应用263。处理器可以存储与多个帧或球面图像或视频相对应的朝向信息264。朝向信息264可以包括来自不同传感器265的读数，或可以通过I/O接口245或收发器210来接收朝向信息264。朝向信息264用于对球面图像或视频进行正确定向。
处理器240还耦接到I/O接口245，I/O接口245向电子设备200提供连接到其他设备的能力，例如膝上型计算机、手持计算机和其他附件，例如VR头戴式装置。I/O接口245是这些附件和处理器240之间的通信路径。处理器240可以识别通过I/O接口245附接的附件，例如，连接到USB端口的VR头戴式装置。
处理器240还耦接到输入设备250和输入设备255。电子设备200的操作者可以使用输入设备250(例如，键区、触摸屏、按钮等)向电子设备200中输入输入数据。显示器255可以是液晶显示器、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)或能够渲染诸如来自网站之类的文本和/或至少有限图形的其他显示器。
存储器260还耦接至处理器240。存储器260的一部分可以包括随机存取存储器(RAM)，并且存储器260的另一部分可以包括闪速存储器或其他只读存储器(ROM)。
电子设备116还包括一个或多个传感器265，传感器265可以计量物理量或检测电子设备116的激活状态，并将所计量或检测到的信息转换为电信号。例如，传感器265可以包括用于触摸输入的一个或多个按钮(例如，在头戴式装置或电子设备116上)、相机、手势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁性传感器或磁力计、加速度传感器或加速度计、握持传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度/湿度传感器、照度传感器、紫外(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声传感器、虹膜传感器、指纹传感器等。传感器265还可以包括用于控制其中包括的至少一个传感器的控制电路。电子设备116可以用作头戴式设备(HMD)。这些传感器265中的任何传感器可以位于电子设备116内、可以位于被配置为保持电子设备116的头戴式装置内、或在头戴式装置和电子设备116这二者中，例如，在电子设备116包括头戴式装置的实施例中。
如在下面更详细描述的，当电子设备116正在处理来自图像或视频的球面帧时，电子设备116对球面帧执行一致的球面照片或视频朝向校正。
尽管图2示出了通信***中的电子设备的示例，但是可以对图2进行各种改变。例如，可以将图2中的各种组件可以组合、进一步细分或省略，并且可以根据特定需要来添加附加组件。作为特定示例，处理器240可以被划分为多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。此外，虽然图2示出了被配置为移动电话或智能电话的电子设备200，但是电子设备可以被配置为操作为其他类型的移动或固定设备。另外，由于使用计算和通信网络，因此电子设备可以具有各种各样的配置，并且图2不将本公开限制于任何特定电子设备。
图3a至图3c示出了根据本公开的用于拼合球面帧以在电子设备中使用的示例过程。例如，图3中所绘出的过程可以由图2中的电子设备116来执行。该过程也可以由图1中的电子设备106至116来实现。
在图3a中，电子设备116接收多个帧305，用作单个图像或单个视频帧。电子设备116可以使用相机传感器265或多个相机传感器265来捕捉多个帧305。当电子设备使用它自己的相机传感器265来捕捉多个帧305时，电子设备还从其他传感器捕捉数据，例如一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、或可以用于确定设备或所捕捉的帧的朝向的任何其他类型的传感器。
电子设备116还可以通过I/O接口245或通过收发器210来接收多个帧305。多个帧305与所接收的对应朝向信息264被存储在存储器260中。在设备中朝向信息264与多个帧中的每个帧一起被捕捉。
在电子设备116包括多个相机传感器265的情况下，还捕捉相机镜头到朝向传感器的朝向的朝向。可以基于具有多个相机传感器的电子设备来记录每个帧的相对朝向，该多个相机传感器位于电子设备116的不同部分上，用于捕捉电子设备116的每一侧。
在某些实施例中，在多个帧中指示主帧310。主帧310可以是面向前方的帧。主帧310还可以用于确定球面帧302的朝向。主帧310可以是拍摄的第一帧或包含应该以焦点为中心的主体。
在图3b中，将帧拼合在一起以创建等距圆柱地图301。在使用球面对象的大多数平面表示的情况下，从中心到顶部和底部越远，帧的准确度越低。帧的大多数重要细节位于远离球面图像302的北极和南极，所以在创建球面帧302的过程中减少的任何细节都是无关紧要的。
在某些实施例中，电子设备116可能包括比进行合适的朝向读数所需的传感器更少的传感器。在这些情况下，处理器240可以使用可用传感器和软件的组合，例如朝向应用263。
在某些实施例中，电子设备116接收不具有任何对应的朝向信息的多个帧305。在某些实施例中，外部设备可以不具有用于确定朝向的任何硬件。电子设备116仅基于朝向应用263或其他软件解决方案对球面帧302进行定向。
朝向应用263可以确定跨球面帧302的地平线并对各部分进行调整，以使地平线变直和水平。在地平线难以确定或不完整的实施例中，可以代之以识别并使用不同的地标。例如，在人口稠密的区域(例如纽约市)，地平线可能被每个方向的建筑物所阻挡。电子设备可以检测建筑物中的不同特征，如地基或不同的窗户处理等，以确定朝向。
在地平线不可见的室内实施例中，朝向应用263可以使用对象位置或其他相关特征来确定向下方向的重力。在水下实施例中，朝向应用263可以使用气泡或其他对象的方向来确定向上方向的浮力。用来确定朝向的软件的其他可能实施例可以包括气体、云、降水、活水等。
尽管图3a至图3c分别示出了根据电子设备的功能模式来拼合球面帧以在电子设备中使用的过程的示例，但可以对图3进行各种改变。例如，虽然以一系列步骤示出，但各种步骤可以重叠、并行发生、以不同顺序发生或多次发生。此外，图3中选择的功能模式仅用于说明，并且可以在生成等距圆柱地图或球面帧时实现比示出的帧数更多或更少的帧。
图4a和图4b示出了根据本公开的各种实施例的示例迷失方向的等距圆柱地图400和经重新定向的等距圆柱地图405。例如，图4中所绘出的过程可以由图2中的电子设备116执行；该过程也可以由图1中的客户端设备106至116来实现。
在捕捉期间，沿相机传感器265的朝向来记录球面照片和视频。当观看若干照片或视频时，人可能变得迷失方向并经历不适，因为每个照片或视频创建了迷失方向的等距圆柱地图400。对照片和视频进行定向会将迷失方向的等距圆柱地图400校正为经重新定向的等距圆柱地图405。与球面帧相比，经重新定向的等角形地图405具有向下方向的重力。经重新定向的等距圆柱地图405将地平线对准为水平并垂直居中。
尽管图4a和图4b分别示出了示例迷失方向的等距圆柱地图和经重新定向的等距圆柱地图，但可以对图4进行各种改变。
图5示出了使用一个或多个传感器265进行一致的球面照片和视频朝向校正的示例过程500，且图7a至图7e示出了根据本公开各种实施例的使用一个或多个传感器265的一致的球面照片和视频朝向校正的图形描绘。例如，图5中所绘出的过程可以由图2中的电子设备116来执行；该过程也可以由图1中的电子设备106至116来实现。
在操作505中，电子设备116生成球面帧705。球面帧705可以由多个帧305拼合在一起或者根据等距圆柱地图700来生成。在某些实施例中，可以从第二电子设备接收等距圆柱地图700、多个帧305或球面帧705。
在操作510中，电子设备116从一个或多个传感器265捕捉朝向信息264。一个或多个传感器265可以包括加速度计、陀螺仪、磁力计或电子设备116上可以用来确定每个图像的朝向的任何其他硬件。所捕捉的朝向信息264被捕捉并与对应的帧305一起存储。朝向信息264还可以包括图像或视频的指定焦点。可以基于由用户选择的主相机传感器或通过确定焦点的任何其他方法来确定焦点。
在操作515中，电子设备116使用朝向信息264对球面帧705进行重新定向。例如，在操作515中，对球面帧710应用朝向信息264以进行调整，以使重力沿向下方向对准。当朝向信息264包括焦点时，还旋转球面帧710以使焦点成为当用户开始观看球面图像或视频时立即观看到的部分。
在某些实施例中，使用电子设备116的当前朝向来确定球面图像或视频的初始视角。电子设备可以将当前朝向信息与所存储的朝向信息进行比较，以对准用户的当前视角。
在操作520中，电子设备116存储经重新定向的球面帧715。球面帧715被存储在电子设备116的存储器260中。也可以将经重新定向的球面帧715存储为经重新定向的等距圆柱地图720。
虽然图5示出了使用一个或多个传感器进行一致的球面照片和视频朝向校正的示例过程500，但可以对图5进行各种改变。例如，虽然以一系列步骤示出，但在某些实施例中各个步骤可以重叠、并行发生、以不同顺序发生、多次发生、或者不执行。
图6示出了使用应用进行一致的球面照片和视频朝向校正的示例过程，且图8a至图8f示出了根据本公开的使用应用的一致的球面照片和视频朝向校正的图形描绘。例如，图6和图8a至图8f中所绘出的过程可以由图2中的电子设备116来执行；该过程也可以由图1中的电子设备106至116来实现。
在操作605中，电子设备116生成球面帧810。球面帧810可以由多个帧305拼合在一起或者根据等距圆柱地图800来生成。在某些实施例中，可以从第二电子设备接收等距圆柱地图800、多个帧305或球面帧810。从来自单个观察点的每个方向捕捉多个帧305。
在操作610中，电子设备116从朝向应用263捕捉朝向信息264。朝向应用263定位地平线或其他区别特征以确定每个图像的朝向。一旦定位了地平线，就可以调整球面图像，使得地平线水平并垂直居中。所捕捉的朝向信息264被捕捉并与对应的帧305一起存储。朝向信息264还可以包括球面图像或视频的指定焦点。可以基于由用户选择的主相机传感器或通过确定焦点的任何其他方法来确定焦点。
在操作615中，电子设备116使用朝向信息264对球面帧810进行重新定向。将朝向信息264应用于球面帧710以进行调整，以使重力沿向下方向对准。当朝向信息264包括焦点时，还旋转球面帧815以使焦点成为当用户开始观看球面图像或视频时立即观看到的部分。
在某些实施例中，使用电子设备116的当前朝向来确定球面图像或视频的初始视角。电子设备可以将当前朝向信息与所存储的朝向信息进行比较，以对准用户的当前视角。
在操作620中，电子设备116存储经重新定向的球面帧820。球面帧820被存储在电子设备116的存储器260中。也可以将经重新定向的球面帧820存储为经重新定向的等距圆柱地图825。
尽管图6示出了分别使用应用进行一致的球面照片和视频朝向校正的示例过程，但可以对图6进行各种改变。例如，虽然以一系列步骤示出，但在某些实施例中各个步骤可以重叠、并行发生、以不同顺序发生、多次发生、或者不执行。
本申请中的描述不应被解读为暗示任何特定的元素、步骤或功能是必须包括在权利要求范围中的基本要素。专利主题的范围仅由权利要求限定。此外，权利要求不旨在援引35 U.S.C.§112(f)，除非确切的词语“用于...的装置”后面是分词。

Claims (15)

1.一种电子设备，包括：
存储器；以及
至少一个处理器，耦接到所述存储器，所述至少一个处理器被配置为：
捕捉与球面帧相对应的朝向信息；
使用所述朝向信息对所述球面帧进行重新定向；以及
存储经重新定向的球面帧。
2.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
通过定位所述球面帧中的地平线来确定所述朝向信息；以及
通过调整所述球面帧中的地平线以使所述地平线水平并垂直居中对所述球面帧进行重新定向。
3.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为：
从一个或多个传感器接收指示相对于所述球面帧的重力方向的至少一个输入；以及
基于所确定的重力方向对所述球面帧进行重新定向。
4.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：
沿来自单个观察点的每个方向来捕捉多个帧；以及
将所述多个帧拼合在一起以生成所述球面帧。
5.根据权利要求4所述的电子设备，所述至少一个处理器被配置为：
将所述多个帧中的第一帧指定为前向；以及
将所述球面帧定向为沿所述前向的初始视图。
6.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：使用至少一个传感器和对在所述球面帧中发现的区别特征的分析的组合对所述球面帧进行重新定向。
7.根据权利要求1所述的电子设备，还包括一个或多个传感器，所述一个或多个传感器被配置为捕捉所述朝向信息，
其中，所述一个或多个传感器包括加速度计、陀螺仪和磁力计中的至少一项。
8.一种用于一致的球面帧朝向校正的方法，包括：
捕捉与球面帧相对应的朝向信息；
使用所述朝向信息对所述球面帧进行重新定向；以及
存储经重新定向的球面帧。
9.根据权利要求8所述的方法，还包括：
通过定位所述球面帧中的地平线来确定所述朝向信息；以及
通过调整所述球面帧中的地平线以使所述地平线水平并垂直居中对所述球面帧进行重新定向。
10.根据权利要求8所述的方法，还包括：
从一个或多个传感器接收指示相对于所述球面帧的重力方向的至少一个输入；
其中，重新定向所述球面帧包括：基于所确定的重力方向对所述球面帧进行重新定向。
11.根据权利要求8所述的方法，还包括：
沿来自单个观察点的每个方向来捕捉多个帧；以及
将所述多个帧拼合在一起以生成所述球面帧。
12.根据权利要求11所述的方法，还包括：
将所述多个帧中的第一帧指定为前向；以及
将所述球面帧定向为沿所述前向的初始视图，将所述多个帧中的第一帧指定为用于对所述球面帧进行重新定向的前向。
13.根据权利要求8所述的方法，其中，对所述球面帧进行重新定向包括：使用至少一个传感器和软件的组合对所述球面帧进行定向。
14.根据权利要求8所述的方法，还包括：
从一个或多个传感器捕捉所述朝向信息，其中，所述一个或多个传感器包括加速度计、陀螺仪和磁力计中的至少一项。
15.一种体现计算机程序的非暂时性计算机可读介质，所述计算机程序包括程序代码，所述程序代码在由至少一个处理器执行时使所述至少一个处理器：
捕捉与球面帧相对应的朝向信息；
使用所述朝向信息对所述球面帧进行重新定向；以及
存储经重新定向的球面帧。
CN201780061250.8A 2016-10-03 2017-09-28 一致的球面照片和视频朝向校正 Active CN109804408B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/284,477 US10002406B2 (en) 2016-10-03 2016-10-03 Consistent spherical photo and video orientation correction
US15/284,477 2016-10-03
PCT/KR2017/010871 WO2018066902A1 (en) 2016-10-03 2017-09-28 Consistent spherical photo and video orientation correction

Publications (2)

Publication Number Publication Date
CN109804408A true CN109804408A (zh) 2019-05-24
CN109804408B CN109804408B (zh) 2023-08-29

Family

ID=61758244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780061250.8A Active CN109804408B (zh) 2016-10-03 2017-09-28 一致的球面照片和视频朝向校正

Country Status (4)

Country Link
US (1) US10002406B2 (zh)
EP (1) EP3520071B1 (zh)
CN (1) CN109804408B (zh)
WO (1) WO2018066902A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US11115576B2 (en) * 2019-03-29 2021-09-07 Qualcomm Incorporated Sensor module with a collar configured to be attached to a camera module for a user device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW401687B (en) * 1998-03-31 2000-08-11 Intel Corp Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
CN103795924A (zh) * 2014-02-07 2014-05-14 宇龙计算机通信科技(深圳)有限公司 全景拍照装置及方法
US20150350543A1 (en) * 2009-05-02 2015-12-03 Steven J. Hollinger Throwable cameras and network for operating the same
US20160119541A1 (en) * 2014-10-24 2016-04-28 Bounce Imaging, Inc. Imaging systems and methods
CN105979123A (zh) * 2015-03-10 2016-09-28 株式会社理光 图像处理***、图像处理方法
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US6731284B1 (en) 1992-12-14 2004-05-04 Ford Oxaal Method of and apparatus for performing perspective transformation of visible stimuli
US8743219B1 (en) 2010-07-13 2014-06-03 Marvell International Ltd. Image rotation correction and restoration using gyroscope and accelerometer
US20120092348A1 (en) 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US20140049601A1 (en) * 2011-05-05 2014-02-20 Panono Gmbh Camera system for capturing images and methods thereof
GB201113824D0 (en) 2011-08-11 2011-09-28 Univ Swansea Fish eye video correction
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW401687B (en) * 1998-03-31 2000-08-11 Intel Corp Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
US20150350543A1 (en) * 2009-05-02 2015-12-03 Steven J. Hollinger Throwable cameras and network for operating the same
CN103795924A (zh) * 2014-02-07 2014-05-14 宇龙计算机通信科技(深圳)有限公司 全景拍照装置及方法
CN105980962A (zh) * 2014-02-17 2016-09-28 索尼公司 信息处理设备、信息处理方法和程序
US20160119541A1 (en) * 2014-10-24 2016-04-28 Bounce Imaging, Inc. Imaging systems and methods
CN105979123A (zh) * 2015-03-10 2016-09-28 株式会社理光 图像处理***、图像处理方法

Also Published As

Publication number Publication date
WO2018066902A1 (en) 2018-04-12
EP3520071C0 (en) 2023-12-06
EP3520071A4 (en) 2019-10-02
CN109804408B (zh) 2023-08-29
EP3520071A1 (en) 2019-08-07
US10002406B2 (en) 2018-06-19
EP3520071B1 (en) 2023-12-06
US20180096448A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
KR102520225B1 (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
US9927877B2 (en) Data manipulation on electronic device and remote terminal
CN110633018B (zh) 控制大屏设备显示的方法、移动终端及第一***
KR20240023091A (ko) 디바이스를 이용한 화면 처리 방법 및 장치
US8862186B2 (en) Lapel microphone micro-display system incorporating mobile information access system
US10215557B2 (en) Distance image acquisition apparatus and distance image acquisition method
CN109246360B (zh) 一种提示方法及移动终端
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
KR102471447B1 (ko) 미러형 디스플레이 장치 및 그 제어방법
US9529428B1 (en) Using head movement to adjust focus on content of a display
US20160278664A1 (en) Facilitating dynamic and seamless breath testing using user-controlled personal computing devices
US20170177833A1 (en) Smart placement of devices for implicit triggering of feedbacks relating to users' physical activities
CN110062171B (zh) 一种拍摄方法及终端
CN109845275A (zh) 用于视场虚拟现实流传输的会话控制支持的方法和装置
KR20170004825A (ko) 가상 현실에서 컨텍스트에 기반한 어플리케이션 그룹화를 위한 방법 및 장치
CN109804408A (zh) 一致的球面照片和视频朝向校正
KR20160060385A (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
CN107734269B (zh) 一种图像处理方法及移动终端
KR102544779B1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
CN110377914B (zh) 字符识别方法、装置及存储介质
KR20160092442A (ko) 와치 타입의 이동 단말기
CN109272549B (zh) 一种红外热点的位置确定方法及终端设备
EP3152895B1 (en) Lifelog camera and method of controlling in association with an intrapersonal area network
KR102166719B1 (ko) 전자장치 및 전자장치를 이용한 정보교환 방법
KR102317624B1 (ko) 전자 장치 및 그의 이미지 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant