CN106303405A - 通过无线通信频道提供即时图像的方法及*** - Google Patents
通过无线通信频道提供即时图像的方法及*** Download PDFInfo
- Publication number
- CN106303405A CN106303405A CN201510413188.7A CN201510413188A CN106303405A CN 106303405 A CN106303405 A CN 106303405A CN 201510413188 A CN201510413188 A CN 201510413188A CN 106303405 A CN106303405 A CN 106303405A
- Authority
- CN
- China
- Prior art keywords
- wireless communication
- communication channel
- degree
- panoramic video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 2
- 241001124569 Lycaenidae Species 0.000 claims 5
- 238000004364 calculation method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 4
- 239000004926 polymethyl methacrylate Substances 0.000 description 4
- 230000032258 transport Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- SMZOUWXMTYCWNB-UHFFFAOYSA-N 2-(2-methoxy-5-methylphenyl)ethanamine Chemical compound COC1=CC=C(C)C=C1CCN SMZOUWXMTYCWNB-UHFFFAOYSA-N 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N 2-Propenoic acid Natural products OC(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229920001169 thermoplastic Polymers 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000003916 calcium stearoyl-2-lactylate Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229920006352 transparent thermoplastic Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明公布了一种通过无线通信频道提供即时图像的方法及***，包括采集真实世界环境的360度全景图像，该图像可以是与立体投影一致的360全景；可以通过没有显示器的单次全景视频采集装置执行该采集；可对360度弧形框架进行分析，以确定一对一映射到目标投影上。该目标投影可以是圆柱形或者等矩形投影，立体投影可以在不需要在装置内执行数字拼接操作的情况下即时映射到目标投影上，映射造成的目标投影中的扭曲可以被校正；目标投影可即时通过无线方式传送至与通讯连接的计算机设备的显示器上。
Description
技术领域
本发明涉及实时流的场，更具体地涉及通过结合有全景视频采集装置的无线通信频道提供即时图像的方法及***。
背景技术
在全景照相机中提供高质量的光学器件是具有挑战性的。目前，业界已经采取不同的方法来解决这个问题。其中，一种方法是移动透镜并随着透镜的移动拍摄一组图像，随着时间的推移该组图像覆盖一个视场，来自移动透镜的图像被合并以形成全景场景；另一种方法是形成多个不同照相机的透镜的阵列，并将通过该透镜阵列所拍摄的图像合并成单一的图像，在这种方法中，每个透镜采集全景景色的一部分，这每一部分通过计算合成在一起以形成全景图像；还有一种方法是利用超广角镜头（例如，鱼眼透镜）以采集比正常视场宽的场景；还有一种方法是利用全景光学装置单次（利用单个镜头的离散时间点）产生360度水平视场。后一种方法有时被称作“单次”全景装置，其利用单个镜头在一个时间点采集全景场景。根据使用情况的不同，这些方法中的每一种都具有优缺点。
在使用全景光学元件的单次解决方案中，根据情况已经采取了多种方法。经常地，这些元件允许采集环境的单一360度图像，通过这种技术所采集的图像经常与投影（例如，球体，鱼眼）一致，其扭曲环境中的物体的透视图，形状，和尺寸以及环境本身。通常，利用数字信号处理（DSP）技术进行软件修正以减小歪曲并增加图像保真度。但是，软件修正时，修正可被限制并且经常花费时间，导致图像采集和图像显示之间的等待时间较长。
发明内容
本发明的一个方面可包括一种用于通过结合有全景视频采集装置的无线通信频道提供即时图像的方法，可360度全景可捕获真实世界环境的图像，该图像可以是与立体投影一致的360全景，可以通过没有显示器的单次全景视频采集装置执行该捕获，可对360度弧形框架（arc
frame）进行分析，以确定一对一映射到目标投影上。该目标投影可以是圆柱形或者等矩形投影，立体投影可以在不需要在装置内执行数字拼接操作的情况下即时映射到目标投影上，映射造成的目标投影中的扭曲可以被校正，目标投影可即时通过无线方式传送至与通讯连接的计算机设备的显示器上。
本发明的一个方面可包括一种用于通过结合有全景视频采集装置的无线通信频道提供即时图像的***。全景视频采集装置内的转换引擎可配置为将视频馈送的每一帧转换成目标投影类型，致使生成用于该视频馈送的每个相应的帧的转换帧，视频馈送的每一帧可与立体投影一致。目标投影类型可以是圆柱形投影或者等矩形投影；该转换可以即时发生。该全景视频采集装置可缺失显示器；该全景视频采集装置可以将转换帧无线地传送至通讯连接的计算机设备，数据存储可配置为存留视频馈送，映射，以及转换帧。
本发明的一个方面可包括用于通过无线通信频道提供即时图像的全景视频采集装置。该全景视频采集装置可配置为捕获真实世界环境的连续的立体图像，该图像的场可包括负15度至正45度的垂直范围和至少270度的水平范围。该全景视频采集装置可缺失显示器；该全景视频采集装置可包括，能够将图像无线传送至通讯连接的计算机设备的无线传送器，光学透镜组，二次曲面反射器，图像传感器，悬挂的外壳，以及可配置为即时地将真实世界环境的立体图像转换成真实世界环境的连续的等矩形图像的处理器。
附图说明
图1所示为根据本发明实施例所公开的用于通过结合有全景视频采集装置的无限通信频道提供即时图像的相关的实时转换示意图。
图2所示为根据本发明实施例所公开的用于通过结合有全景视频采集装置的无线通信频道提供即时图像的方法的流程图。
图3所示为根据本发明实施例所公开的通过结合有全景视频采集装置的无线通信频道提供即时图像的***的示意图。
图4A所示为根据本发明实施例所公开的用于通过结合有全景视频采集装置的无线通信频道提供即时图像的全景光学装置的示意图。
图4B所示为根据本发明实施例所公开的用于通过结合有全景视频捕获装置的无线通信频道提供即时图像的装置的图像堆栈的示意图。
附图标记说明：100,110-方案，112-真实世界环境，114-360°视场，116-全景视频采集装置，117-即时图像，118-360°透视图，120-计算机设备，122-界面，124-无线通道，150-即时变换，152-立体投影，154-映射，158-圆柱形投影，156-校正；
200-通过结合有全景视频采集装置的无线通信频道提供即时图像的方法，205-识别单次全景视频采集装置，210-建立与该装置有关的观看对话，215-通过该装置采集真实世界环境的360度图像，225-对投影进行分析以确定圆柱形投影的映射，230-在该装置内即时地以及使用最少的资源执行映射转换，235-可选择地建立圆柱形投影，240-在圆柱形投影上可选择地执行扭曲校正操作，245-建立透视图，250-将该透视图通过无线方式即时传送至计算机设备，255-计算机设备呈现该透视图，260-对话终止，265-结束；
310-全景视频采集装置，312-硬件，320-处理器，322-总线，324-易失的存储器，326-非易失的存储器，328-无线收发器，340-图像传感器，342-光学堆栈，314-软件/固件，330-转换引擎，332-立体投影，334-圆柱形投影，336-映射，370-即时馈送，360-计算机设备，362-界面，380-资源阈值，382-延迟阈值；
432-悬挂的外壳，410-间隔圈，430-反射镜，420-二次曲面反射器，422-孔径，440-光学元件，450-图像传感器，455-连接器，472-孔径光阑，474-元件A，476-元件B，478-元件C，480-元件D，482-元件E，484-元件F，486-滤波器，488-视场致平器，490-传感器。
具体实施方式
本发明是一种用于通过结合有全景视频采集装置的无线通信频道提供即时图像的解决方案。在该方案中，全景视频采集装置可以捕获真实世界环境的即时图像；该装置可以捕获真实世界环境的立体投影，该立体投影可在不进行拼接操作的情况下即时或接近即时地变换成圆柱形投影；该装置可缺失显示器并可将该圆柱形投影（例如，即时图像/馈送）传送至无线通讯连接的计算机设备，该计算机设备可在显示器的界面内呈现该圆柱形投影。
所属技术领域的技术人员知道，本发明可以实现为***、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“***”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合，可以以一种或多种程序设计语言或其组合来编写用于执行本发明各个方面的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计
语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网 (WAN)连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
下面将参照本发明实施例的方法、装置（***）和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。
这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令的制造品。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
图1是表示根据这里所公开的发明布局实施例的方案100和用于通过结合有全景视频采集装置的无限通信频道提供即时图像的相关的实时转换。在方案100中，一旦捕获到360度视场114，就可立即执行实时转换150，从而提供环境112的360度透视图。
如本发明所用，全景视频采集装置116可以是能够通过一个或多个无线通道124提供环境112的即时图像117的硬件/软件装置。全景视频采集装置116可以包括，但不限于，一个或多个透镜元件，透镜组，孔径，二次曲面反射器等；全景视频采集装置116可捕获符合立体投影，曲线投影等的360°视场。
如本发明所用，如从极点看去（例如，极地全景），立体投影152可以是球体在平坦表面上的投影（例如，来自360°视图的光线照到图像传感器）。例如，环境112的360°视图可作为圆形全景投影到显示器上，圆形全景的中心缺失图像信息（例如，被涂黑）。等矩形投影（例如，等间距的圆柱形投影）可以是能够将子午线绘制成用于恒定间距的垂直直线的恒定间距的垂直直线的投影，或者将纬度圈绘制成用于恒定的平行间隔的恒定间距的水平直线的投影。
如本发明所用，术语即时，接近即时，和/或几乎即时（NRT），在电信学和计算机技术中，可指代在事件的发生和所处理的数据的使用之间，通过自动数字处理或网络传播所引入的时间延迟。例如，捕获360°视场114和在计算机设备120上显示之间的延迟。应该理解的是，即时或接近即时图像117显示表示时间或状况如它存在于当前时间减去处理时间处，接近现场事件的时间。
应该理解的是，实施例150可在方案110的环境中执行。如本发明所用，全景视频采集装置116可以是在水平面具有360度视场或者具有基本上覆盖该360度视场的视场的照相机。全景视频采集装置116可以是具有基本上等于或者大于180°的视场和/或大于2:1的纵横比的全景照相机。在一个例子中，全景视频采集装置116可以是能够捕获全景视场的单次照相机。例如，全景视频采集装置116可以是能够捕获270°水平和90°垂直区域的360°照相机；全景视频采集装置116可包括静止相机模式，摄像机模式等等。在一个例子中，全景视频采集装置116可接近真实世界环境112，例如，该装置16可以是附加在SKYCAM照相机***上的全向照相机。
在一个实施例中，全景视频采集装置116可包括地址编码性能（比如，位置和/或运动追踪能力）。在该实施例中，全景视频采集装置116可利用本地或非本地设备（例如：第三方设备，临近设备）来执行地址编码。例如，全景视频采集装置116可具有全球定位***（GPS）以能够对具有基于图像创建位置的元数据的图像进行标记。在一个例子中，可以利用可替换图像文件格式（Exif）数据来保留位置数据，标准等；就是，即时图像117可包括表示图像/视频特性的地址编码元数据，这些特性包括，但不限于，纬度、长度、高度、方位、距离、精度数据、地点名称，诸如此类。
如本发明所用，无线通道124可以是一个或多个与无线传输和/或无限网络相关的频率和/或速度，无线网络包括，但不限于，蜂窝网络，无线计算机网络等等。在一个例子中，无线通道124可以直接使用WiFi，蓝牙等。应该理解的是，无线通道124可包括多个通道。
在方案110中，可利用全景视频采集装置116以捕获真实世界环境的360度视场114。全景视频采集装置116可经由一个或多个无线通道124通讯连接至计算机设备120；真实世界环境112的即时图像可作为360°透视图118呈现在真实世界环境112内。就是说，计算机设备120可以观看与通过全景视频采集装置116捕获的一样的真实世界环境的现场馈送。例如，即时图像117可经由无线通道124传送至计算机设备120。
在一个实施例中，全景视频采集装置116可捕获立体投影152几何图形内的环境。例如，立体投影152可呈现真实世界环境112的图像，该图像看起来像平坦的圆形图像（比如，圆环形图像）。
在一个实施例中，全景视频采集装置116可执行一个或多个即时转换150，其改变立体投影152以符合圆柱形投影158的几何形状。
在即时转换150中，可对立体投影152进行分析以产生可被利用以改变立体投影152的几何形状的映射154。应该理解的是，因为没有需用于执行即时转换150的拼接操作，所以即时转换150可即时或接近即时发生。在一个实施例中，映射154可允许立体投影152转换成圆柱形投影158；在一个例子中，可自动调节圆柱形投影158中因为利用映射154的转换所带来的畸变，在该例子中，可执行校正156以消除扭曲，数字假象等；在一个实施例中，可从校正156中生成真实世界环境112的360°透视图118。应该理解的是，校正156可以是在即时转换150中可选择的操作。
如本发明所用，圆柱形全景可具有达到360度的水平视场。在垂直方向上可具有180度的物理限制，和大约120度的应用限制，所有垂直的直线都可被保存；对于水平直线而言，在圆柱形全景中，仅有地平线本身是直线。在全景中，所有其他的直线（包括地平线上或下的水平直线）可被投影至曲线。
应该理解的是，即时转换150不限于这里所呈现的几何图形，可包括传统和/或非传统的几何图形（例如，曲线的，垂直投影，等矩形投影），就是说，本发明使得任何的投影类型的转换都是即时的或接近即时的。应该理解的是，即时转换150和/或即时图像117的传送可包括加密，压缩等。
这里所呈现的附图仅用于解释的目的，在任何方面都不应该解释为对本发明的限制。应该理解的是，本公开可以支持高动态范围（HDR）的成像；应该理解的是，本公开可利用特征检测，校准，融合等以生成即时图像117，其中，即时图像117可与任意的传统的和/或专有格式一致，这些格式包括，但不限于，联合图象专家组（JPEG），标签图像文件格式（TIFF），运动图象专家组（MPEG），多媒体文件格式（AVI），可移植的网络图象文件格式（PNG），诸如此类。
图2是表示根据这里所公开的发明布局实施例的用于通过结合有全景视频采集装置的无线通信频道提供即时图像的方法200的流程图。
在步骤205中，识别单次全景视频采集装置。在步骤210中，建立与该装置有关的观看对话；在步骤215中，通过该装置采集真实世界环境的360度图像；在步骤220中，在采集过程中建立立体投影；在步骤225中，对该投影进行分析以确定圆柱形投影的映射；在步骤230中，在该装置内即时地以及使用最少的资源执行映射转换；在步骤235中，可选择地建立圆柱形投影；在步骤240中，在圆柱形投影上可选择地执行扭曲校正操作；在步骤245中，建立透视图；在步骤250中，将该透视图通过无线方式即时传送至计算机设备；在步骤255中，计算机设备呈现该透视图；在步骤260中，如果对话终止，该方法可继续至步骤265，否则返回步骤215；在步骤265中，该方法结束。
图3是表示根据这里所公开的发明布局实施例的通过结合有全景视频采集装置的无线通信频道提供即时图像的***300的示意图。在***300中，全景视频采集装置310可无线连接至计算机设备360，全景视频采集装置310可将即时馈送370传送至计算机设备360，其可以呈现在界面362中。应该理解的是，全景视频采集装置310可以没有显示器；应该理解的是即时馈送370可被捕获并呈现在资源阈值380和/或延迟阈值382中。例如，全景视频采集装置310在总延迟小于100毫秒（例如，50毫秒用于处理，50毫秒用于传送）之内可捕获和传送即时馈送370。
应该理解的是，可利用资源阈值380以确保即时馈送370运送和/或展示的低延迟。例如，可利用资源阈值380以确保每一帧在40毫秒之内被处理，而利用可用的CPU周期的至少75%。应该理解的是资源阈值380是可选择的限制。
全景视频采集装置310可包括硬件312和软件/固件314。全景视频采集装置310可经由一个或多个无线网络通讯地连接；全景视频采集装置310可利用最小的计算机资源即时或者接近即时地经由映射336将立体投影332转换成圆柱形投影334，圆柱形投影334可作为连续的即时馈送370呈现在计算机设备360内。
硬件312可包括，但不限于处理器320，总线322，易失的存储器324，非易失的存储器326，无线收发器328，图像传感器340，光学堆栈342等。在一个实施例中，处理器320可包括一个或多个用于改善映射转换操作的硬件加速器；在一个例子中，存储器324，326可包括用于使得即时映射和/或馈送370运送低延迟的内存缓冲器。软件/固件314可包括，但不限于，转换引擎330，设置（例如，未示出），诸如此类。在一个例子中，光学堆栈342可包括多个用于捕获环境的360°图像的透镜元件（例如，图4B）。
转换引擎330可以是能够即时或接近即时地将立体投影转变成圆柱形投影334的硬件/软件元件。转换引擎330可包括，但不限于，一个或多个转换算法，平滑算法，视频/图像校正算法等。例如，矩形或者未加权的滑动-平均平滑操作可被应用以改善视频的可视性。在一个例子中，转换引擎330可以是即时操作***（例如，QNX）的组件；在一个实施例中，转换引擎330可利用一个或多个阈值380，382以确保即时转换和/或馈送运送；映射336可以是一个或多个用于将立体投影332转变成圆柱形投影334的数据设置；映射336可包括，但不限于，帧识别器，源元素，目标元素等。例如，可利用映射336基于立体投影332内的位置重新组织像素（例如，帧内的位置）。在一个例子中，映射336可符合高尔立体投影和/或布莱恩立体投影操作。
即时馈送370可符合一个或多个标准清晰度和/或高清规格，即时馈送370可包括，但不限于，1080p-1920×1080p：每帧2073600个像素（～2.07兆像素），1080i-1920×1080i：每个场1036800个像素（～1.04兆像素）或者每帧2073600个像素（～2.07兆像素），720p -1280×720p：每帧921600个像素 (～0.92兆像素) 。在一个例子中，即时馈送370可符合超高清规格（例如，UHD），例如，即时馈送370可符合在每秒30帧处具有3840×2160像素分辨率。在一个例子中，即时馈送370包括可被利用以最小化与即时馈送370传送和/或解码相关的延迟的压缩，例如，即时馈送370可利用高效视频编码或者VP9压缩标准。
在一个实施例中，全景视频采集装置310可利用传统的和/或专有的数据包传递在有损通道算法上补偿无线网络内发生的丢包；在另一个实施例中，全景视频采集装置310可补偿因为距离改变，网络负载等造成的带宽变化。
在一个实施例中，转换引擎330可将投影生成卸载至计算机设备360以确保即时传送。在该实施例中，立体投影332可被分解，一个帧（例如，帧_A_立体）分解成两个或多个部分（例如，部分_A_立体，部分_B_立体），这些部分可被转换成圆柱形投影334的类型（例如，部分_A_圆柱，部分_B_圆柱）。在该实施例中，每个转换的部分可传送至计算机设备360，计算机设备360可执行必要的拼接以呈现作为无缝帧（例如，帧_A_圆柱）的圆柱形投影334。
这里所示出的附图仅仅是为了示意的目的，在任何方面都不应该解释为对本发明的限制。应该理解的是，本公开可以利用传统的和/或专有通信协议，其包括，但不限于，RTP控制协议（RTCP），超文本传输协议（HTTP）等。
参考图4A，示出全景光学装置并根据本公开的实施例进行描述。全景光学装置包括悬挂的外壳432，二次全面反射器420，反射镜430，以及间隔圈410，光线从其中穿过。其中，所述二次曲面反射器420包括位于它的顶端的孔或孔径422。
在一个实施例中，包含在全景光学装置的底部的一组元件包括光学元件440和电连接至连接器455的图像传感器450。光学元件440引导从反射镜430反射出的光以击中图像传感器450，光学元件还可过滤不需要的光波长，校正否则会造成不同颜色聚焦在不同平面和位置处的色差，和/或确保光学图像基本上位于平坦的焦平面上，尽管存在二次曲面反射器420带来的失真。
悬挂的外壳432可被利用以限制和/或减小环境光进入孔径422所发生的二次反射。在一个实施例中，悬挂的外壳432的材料可包括聚甲基丙烯酸甲酯（PMMA,或者丙烯酸），热塑性聚合物等。
二次曲面反射器420是反射的圆锥表面，其可以是抛物线，双曲线，或者半球形表面，或者椭圆形表面。更具体地，这里所使用的二次曲面反射器420是从宽底部到顶端逐渐变细的非退化实二次曲面，其中孔径422定位在顶端。
图像传感器450是将光学图像转变成电信号的元件。各种图像传感器技术可用于图像传感器450，这些图像传感器技术包括，但不限于，半导体电荷耦合装置（CCD），互补金属氧化物半导体（CMOS）中的有源像素传感器，以及N-型金属氧化物半导体（NMOS，有源MOS）技术。
在一个实施例中，光学元件440的正性元件可以由聚甲基丙烯酸甲酯（PMMA,或者丙烯酸），其他透明热塑性塑料，或者其他合适的物质构成。光学元件440的负性元件可以由聚碳酸酯，其他热塑性塑料聚合物，或者其他合适的物质构成。
图4B示出根据本公开的实施例的位于孔径光阑472和图像传感器490之间的光学元件。在图4B中，孔径光阑472限制穿过光学元件的光束，元件A 474捕获穿过孔径光阑的光线并减少光线扩散。在一个实施例中，可以由元件B 476和元件C 478形成双胶合透镜；元件D 480和元件E 482产生会聚光束并校正色差，否则色差会造成不同颜色聚焦在不同的平面和位置；元件F
484加强光的会聚；平面滤波器486可用于阻止红外，紫色和紫外辐射。在一些实施例中，过滤的波长可使图像模糊并产生演色性误差，视场致平器488校正二次曲面反射器420内的虚像中的极端场曲率，视场致平器488使得发送至传感器490的图像位于焦平面上。 在所有实施例中，并不是所有的元件472-488是必需的，并且在本公开的不同的设想的实施例中还可以包括更多的元件（未示出）。
图1-4中的流程图和框图表示***的结构，功能和可能的实现方式的操作，与本发明的各个实施例对应的方法和计算机程序产品。在这方面，流程图或框图中的每个框可表示模块，部分，代码部分，其包括一个或多个用于实现指定的逻辑功能的可执行的指令。还应该注意的是，在一些可选择的实现方式中，框中所标注的功能可以不按照途中标记的顺序发生。例如，实际上，取决于所所涉及的功能。对话中所示的两个框，实质上被同时执行，或者有时也可以相反的顺序执行。还应该注意的是，框图和/或流程说明的每个框，以及框图和/或流程说明的框的组合，可通过特殊目的的基于硬件的***或者特殊目的硬件和计算机指令的组合来实现，该基于硬件的***执行指定功能或行为。
此外，在前面的具体实施方式中，可以看出，在各个实施例中，为了精简本发明，将各种特征组合在一起。本发明的这种方法不被解释为反映所声称的实施例需要的特征比在每个权利要求中明确叙述的特征要多的意图；而且，如权利要求所反映的，发明的主题在于比单个公开的实施例的所有特征要少。因此，据此将权利要求引入具体实施例中作为原始公开的一部分，并且即使在本应用的起诉过程中从权利要求中删除，也能保持如此，每个权利要求自身作为独立要求的主题。此外，没有示出的主题不应该被认为是必然存在的，并且在一些例子中，有必要通过使用负面的限制来定义权利要求，这里仅仅通过不示出在这样的负面限制中否认的主题来获得支持。
Claims (20)
1.一种通过无线通信频道提供即时图像的方法，其特征在于，该方法包括：
采集真实世界环境的360度全景图像，其中所述图像是360度全景，其中该采集通过单次全景视频采集装置执行；
分析360度弧形框架以确定一对一映射至目标投影，其中所述目标投影是圆柱形投影或等矩形投影中的至少一个；
在所述全景视频采集装置内在所述360度全景或者所述目标投影上，即时将所述360度全景映射至所述目标投影；
校正由所述映射导致的所述目标投影中的扭曲；以及
将所述目标投影即时地无线传送至无线连接的计算机设备的显示器上。
2.根据权利要求1所述的通过无线通信频道提供即时图像的方法，其特征在于，所述360度全景的几何图形符合立体投影。
3.根据权利要求1所述的通过无线通信频道提供即时图像的方法，其特征在于，所述全景视频采集装置没有显示器。
4.根据权利要求1所述的通过无线通信频道提供即时图像的方法，其特征在于，该方法还包括：
应用平滑功能以平均所述目标投影的像素密度。
5.根据权利要求1所述的通过无线通信频道提供即时图像的方法，其特征在于，该方法还包括：
确定所述360度全景的从所述投影的中心开始在边界线处结束的径向线；以及
将所述360全景进行转换，使得所述径向线变成垂直边界线。
6.根据权利要求1所述的通过无线通信频道提供即时图像的方法，其特征在于，所述映射和呈现是在延迟阈值内执行的，其中所述延迟阈值小于100毫秒。
7.根据权利要求1所述的通过无线通信频道提供即时图像的方法，其特征在于，该方法还包括：
将所述360度全景分割成至少两部分；
将所述至少两部分的每一个转换成目标投影类型；
将所述至少两部分的每一个传送至所述计算机设备；
响应接收所述至少两部分，所述计算机设备对所述至少两部分进行拼接已形成单一的帧。
8.一种通过无线通信频道提供即时图像的***，其特征在于，该***包括：
配置在全景视频采集装置内的转换引擎，所述转换引擎将视频馈送的每一帧转换成目标投影类型，致使为所述视频馈送的每个相应的帧生成转换帧，其中所述视频馈送的每一帧符合360度全景，其中所述目标投影类型是圆柱形投影或等矩形投影的至少一个，所述转换即时发生，所述全景视频采集装置将转换帧无线地传送至通讯连接的计算机设备；
配置为存留所述视频，映射，以及所述转换帧的至少一个的数据存储。
9.根据权利要求8所述的通过无线通信频道提供即时图像的***，其特征在于，所述全景视频采集装置没有显示器。
10.根据权利要求8所述的通过无线通信频道提供即时图像的***，其特征在于，所述转换是在资源阈值内执行的，所述资源阈值小于处理时间的40毫秒。
11.根据权利要求8所述的通过无线通信频道提供即时图像的***，其特征在于，该***还包括：
对所述转换进行相应，应用平滑功能以平均所述目标投影的像素密度。
12.根据权利要求8所述的通过无线通信频道提供即时图像的***，其特征在于，该***还包括：
确定所述360度全景的从所述投影的中心开始在边界线处结束的径向线；以及
将所述360全景进行转换，使得所述径向线变成垂直边界线。
13.根据权利要求8所述的通过无线通信频道提供即时图像的***，其特征在于，所述转换帧经由即时传送协议传送至临近或远距离计算机设备。
14.根据权利要求8所述的通过无线通信频道提供即时图像的***，其特征在于，该***还包括：
将所述360度全景分割成至少两部分；
将所述至少两部分的每一个转换成目标投影类型；
将所述至少两部分的每一个传送至所述计算机设备；
响应接收所述至少两部分，所述计算机设备对所述至少两部分进行拼接已形成单一的帧。
15.根据权利要求8所述的通过无线通信频道提供即时图像的***，其特征在于，该***还包括：
在所述传送之前，利用高效视频编码或者VP9编码将一组转换帧进行压缩。
16.一种全景视频采集装置，其特征在于，该全景视频采集装置包括：配置为采集真实世界环境的连续的360度全景图像的采集装置，其中所述图像的场包括负15度至正45度的垂直范围和至少270度的水平范围，其中所述视频采集装置没有显示器；
所述全景视频采集装置包括：
能够将图像无线传送至通讯连接的计算机设备的无线传送器；
光学透镜组；
二次曲面反射器；
图像传感器；
悬挂的外壳；以及
可配置为即时地将真实世界环境的立体图像转换成真实世界环境的连续的等矩形图像的处理器。
17.根据权利要求16所述的全景视频采集装置，其特征在于，所述处理器配置为利用高效视频编码或者VP9编码将连续的等矩形图像的至少一个帧进行压缩。
18.根据权利要求17所述的全景视频采集装置，其特征在于，连续的等矩形图像经由即时传送协议传送至临近或远距离计算机设备。
19.根据权利要求16所述的全景视频采集装置，其特征在于，所述处理器配置为应用平滑功能以平均所述目标投影的像素密度。
20.根据权利要求16所述的全景视频采集装置，其特征在于，所述转换是在延迟阈值内执行的，所述延迟阈值小于100毫秒。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/339,083 US9883101B1 (en) | 2014-07-23 | 2014-07-23 | Providing a real-time via a wireless communication channel associated with a panoramic video capture device |
| US14/339,083 | 2014-07-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106303405A true CN106303405A (zh) | 2017-01-04 |
Family
ID=54476270
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510413188.7A Pending CN106303405A (zh) | 2014-07-23 | 2015-07-14 | 通过无线通信频道提供即时图像的方法及*** |
| CN201520508812.7U Expired - Fee Related CN204761606U (zh) | 2014-07-23 | 2015-07-14 | 通过无线通信频道提供即时图像的***及全景视频采集装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201520508812.7U Expired - Fee Related CN204761606U (zh) | 2014-07-23 | 2015-07-14 | 通过无线通信频道提供即时图像的***及全景视频采集装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9883101B1 (zh) |
| CN (2) | CN106303405A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019063963A1 (en) * | 2017-09-26 | 2019-04-04 | Sony Interactive Entertainment Inc. | VISIOCASQUE SYSTEM |
| CN110463205A (zh) * | 2017-03-22 | 2019-11-15 | 高通股份有限公司 | 用于360度视频的有效压缩的球极投影 |
| CN110494915A (zh) * | 2017-04-04 | 2019-11-22 | 佳能株式会社 | 电子装置及其控制方法 |
| CN113038157A (zh) * | 2021-03-04 | 2021-06-25 | 武汉斌果科技有限公司 | 一种基于自主定位与导航的5g全景直播机器人*** |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6597259B2 (ja) * | 2015-12-10 | 2019-10-30 | 株式会社リコー | プログラム、情報処理装置、画像表示方法、画像処理システム |
| CN105739074A (zh) * | 2016-03-29 | 2016-07-06 | 宁波舜宇光电信息有限公司 | 光学成像装置及其聚光器 |
| WO2017097263A1 (zh) * | 2015-12-11 | 2017-06-15 | 宁波舜宇光电信息有限公司 | 光学成像装置及其聚光器和应用 |
| EP3223524A1 (en) * | 2016-03-22 | 2017-09-27 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
| CN107622468A (zh) * | 2016-07-11 | 2018-01-23 | 完美幻境(北京)科技有限公司 | 一种全景视频存储格式、全景视频的存储方法及装置 |
| KR20180028782A (ko) | 2016-09-09 | 2018-03-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| GB2554686A (en) * | 2016-10-04 | 2018-04-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| US10244215B2 (en) * | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | Re-projecting flat projections of pictures of panoramic video for rendering by application |
| EP3523777A4 (en) * | 2016-12-06 | 2019-11-13 | SZ DJI Technology Co., Ltd. | SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE |
| WO2018169176A1 (ko) * | 2017-03-17 | 2018-09-20 | 엘지전자 주식회사 | 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치 |
| US10521468B2 (en) * | 2017-06-13 | 2019-12-31 | Adobe Inc. | Animated seek preview for panoramic videos |
| US11297298B2 (en) | 2018-02-27 | 2022-04-05 | Lg Electronics Inc. | Method for transmitting and receiving 360-degree video including camera lens information, and device therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079151A (zh) * | 2006-10-13 | 2007-11-28 | 浙江师范大学 | 一种基于序列静态图像的360°环视全景生成方法 |
| CN103179333A (zh) * | 2011-12-26 | 2013-06-26 | 长沙科尊信息技术有限公司 | 一种360度全景摄像机的图像环视浏览方法与设备 |
| WO2013102940A1 (en) * | 2012-01-03 | 2013-07-11 | Pan-Vision S.R.L. | Panoramic bifocal objective lens |
| CN103873758A (zh) * | 2012-12-17 | 2014-06-18 | 北京三星通信技术研究有限公司 | 全景图实时生成的方法、装置及设备 |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6002430A (en) * | 1994-01-31 | 1999-12-14 | Interactive Pictures Corporation | Method and apparatus for simultaneous capture of a spherical image |
| US5384588A (en) * | 1991-05-13 | 1995-01-24 | Telerobotics International, Inc. | System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters |
| US5185667A (en) * | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
| US7382399B1 (en) * | 1991-05-13 | 2008-06-03 | Sony Coporation | Omniview motionless camera orientation system |
| US6243099B1 (en) * | 1996-11-14 | 2001-06-05 | Ford Oxaal | Method for interactive viewing full-surround image data and apparatus therefor |
| US5627675A (en) * | 1995-05-13 | 1997-05-06 | Boeing North American Inc. | Optics assembly for observing a panoramic scene |
| US6459451B2 (en) * | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
| US6331869B1 (en) * | 1998-08-07 | 2001-12-18 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US6333826B1 (en) * | 1997-04-16 | 2001-12-25 | Jeffrey R. Charles | Omniramic optical system having central coverage means which is associated with a camera, projector, or similar article |
| US6449103B1 (en) * | 1997-04-16 | 2002-09-10 | Jeffrey R. Charles | Solid catadioptric omnidirectional optical system having central coverage means which is associated with a camera, projector, medical instrument, or similar article |
| US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US6356297B1 (en) * | 1998-01-15 | 2002-03-12 | International Business Machines Corporation | Method and apparatus for displaying panoramas with streaming video |
| US7271803B2 (en) * | 1999-01-08 | 2007-09-18 | Ricoh Company, Ltd. | Method and system for simulating stereographic vision |
| JP3025255B1 (ja) * | 1999-02-19 | 2000-03-27 | 有限会社フィット | 画像デ―タ変換装置 |
| JP3841621B2 (ja) * | 2000-07-13 | 2006-11-01 | シャープ株式会社 | 全方位視覚センサー |
| US8253754B2 (en) * | 2001-01-16 | 2012-08-28 | Microsoft Corporation | Sampling-efficient mapping of images |
| US7123777B2 (en) * | 2001-09-27 | 2006-10-17 | Eyesee360, Inc. | System and method for panoramic imaging |
| IL146802A0 (en) * | 2001-11-28 | 2003-01-12 | Wave Group Ltd | A self-contained panoramic or spherical imaging device |
| US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
| JP4416666B2 (ja) * | 2002-11-15 | 2010-02-17 | ラックス インテグラル ビジョン ホールディング エス．エー． | パノラマ監視装置 |
| US7567274B2 (en) * | 2002-12-09 | 2009-07-28 | Frank Edughom Ekpar | Method and apparatus for creating interactive virtual tours |
| US7019918B2 (en) * | 2003-06-12 | 2006-03-28 | Be Here Corporation | Panoramic imaging system |
| JP2005176301A (ja) * | 2003-11-11 | 2005-06-30 | Canon Inc | 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム |
| DE102004017730B4 (de) * | 2004-04-10 | 2006-05-24 | Christian-Albrechts-Universität Zu Kiel | Verfahren zur Rotationskompensation sphärischer Bilder |
| KR100624051B1 (ko) * | 2005-07-11 | 2006-09-15 | 주식회사 나노포토닉스 | Ｃｍｏｓ 이미지 센서 및 그를 포함하는 전방위 영상시스템 |
| WO2007055336A1 (ja) * | 2005-11-11 | 2007-05-18 | Sony Corporation | 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 |
| US8723951B2 (en) * | 2005-11-23 | 2014-05-13 | Grandeye, Ltd. | Interactive wide-angle video server |
| JP2007318597A (ja) * | 2006-05-29 | 2007-12-06 | Opt Kk | 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム |
| US20080049099A1 (en) * | 2006-08-25 | 2008-02-28 | Imay Software Co., Ltd. | Entire-view video image process system and method thereof |
| WO2008066742A1 (en) * | 2006-11-22 | 2008-06-05 | Geng Z Jason | Wide field-of-view reflector and method of designing and making same |
| US8670001B2 (en) * | 2006-11-30 | 2014-03-11 | The Mathworks, Inc. | System and method for converting a fish-eye image into a rectilinear image |
| US8988466B2 (en) * | 2006-12-13 | 2015-03-24 | Adobe Systems Incorporated | Panoramic image straightening |
| US7768545B2 (en) * | 2007-03-06 | 2010-08-03 | Otto Gregory Glatt | Panoramic image management system and method |
| US20120229596A1 (en) * | 2007-03-16 | 2012-09-13 | Michael Kenneth Rose | Panoramic Imaging and Display System With Intelligent Driver's Viewer |
| WO2008123675A1 (en) * | 2007-04-06 | 2008-10-16 | Korea Expressway Corporation | Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and it, and unwrapping method for the same |
| JP4629131B2 (ja) * | 2008-09-03 | 2011-02-09 | 大日本印刷株式会社 | 画像変換装置 |
| US9762795B2 (en) * | 2013-09-04 | 2017-09-12 | Gyeongil Kweon | Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens |
| JP2011205573A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 制御装置、カメラシステム及びプログラム |
| WO2011121741A1 (ja) * | 2010-03-30 | 2011-10-06 | 富士通株式会社 | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム |
| US8605048B2 (en) * | 2010-11-05 | 2013-12-10 | Bluespace Corporation | Method and apparatus for controlling multimedia contents in realtime fashion |
| US20120154518A1 (en) * | 2010-12-17 | 2012-06-21 | Microsoft Corporation | System for capturing panoramic stereoscopic video |
| JP5742210B2 (ja) * | 2010-12-22 | 2015-07-01 | ソニー株式会社 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
| CA2763649A1 (fr) * | 2012-01-06 | 2013-07-06 | 9237-7167 Quebec Inc. | Camera panoramique |
| KR20140030668A (ko) * | 2012-09-03 | 2014-03-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US9094540B2 (en) * | 2012-12-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Displacing image on imager in multi-lens cameras |
| CN103942754B (zh) * | 2013-01-18 | 2017-07-04 | 深圳市腾讯计算机***有限公司 | 全景图像补全方法及装置 |
| US8798451B1 (en) * | 2013-06-15 | 2014-08-05 | Gyeongil Kweon | Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof |
| US9674433B1 (en) * | 2014-07-24 | 2017-06-06 | Hoyos Vsn Corp. | Image center calibration for a quadric panoramic optical device |
| CN105335748B (zh) * | 2014-08-07 | 2018-10-12 | 株式会社理光 | 图像特征提取方法和*** |
| US9810887B1 (en) * | 2014-09-05 | 2017-11-07 | Hoyos Integrity Corporation | Overhang enclosure of a panoramic optical device to eliminate double reflection |
| US9723206B1 (en) * | 2015-03-11 | 2017-08-01 | Vsn Technologies, Inc. | Enabling a true surround view of a 360 panorama via a dynamic cylindrical projection of the panorama |
-
2014
- 2014-07-23 US US14/339,083 patent/US9883101B1/en not_active Expired - Fee Related
-
2015
- 2015-07-14 CN CN201510413188.7A patent/CN106303405A/zh active Pending
- 2015-07-14 CN CN201520508812.7U patent/CN204761606U/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079151A (zh) * | 2006-10-13 | 2007-11-28 | 浙江师范大学 | 一种基于序列静态图像的360°环视全景生成方法 |
| CN103179333A (zh) * | 2011-12-26 | 2013-06-26 | 长沙科尊信息技术有限公司 | 一种360度全景摄像机的图像环视浏览方法与设备 |
| WO2013102940A1 (en) * | 2012-01-03 | 2013-07-11 | Pan-Vision S.R.L. | Panoramic bifocal objective lens |
| CN103873758A (zh) * | 2012-12-17 | 2014-06-18 | 北京三星通信技术研究有限公司 | 全景图实时生成的方法、装置及设备 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110463205A (zh) * | 2017-03-22 | 2019-11-15 | 高通股份有限公司 | 用于360度视频的有效压缩的球极投影 |
| CN110463205B (zh) * | 2017-03-22 | 2023-05-09 | 高通股份有限公司 | 用于360度视频的有效压缩的球极投影 |
| CN110494915A (zh) * | 2017-04-04 | 2019-11-22 | 佳能株式会社 | 电子装置及其控制方法 |
| US11100903B2 (en) | 2017-04-04 | 2021-08-24 | Canon Kabushiki Kaisha | Electronic device and control method for controlling a display range on a display |
| CN110494915B (zh) * | 2017-04-04 | 2022-02-18 | 佳能株式会社 | 电子装置及其控制方法和计算机可读介质 |
| WO2019063963A1 (en) * | 2017-09-26 | 2019-04-04 | Sony Interactive Entertainment Inc. | VISIOCASQUE SYSTEM |
| US11190756B2 (en) | 2017-09-26 | 2021-11-30 | Sony Interactive Entertainment Inc. | Head-mountable display system |
| CN113038157A (zh) * | 2021-03-04 | 2021-06-25 | 武汉斌果科技有限公司 | 一种基于自主定位与导航的5g全景直播机器人*** |
Also Published As
| Publication number | Publication date |
|---|---|
| US9883101B1 (en) | 2018-01-30 |
| CN204761606U (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN204761606U (zh) | 通过无线通信频道提供即时图像的***及全景视频采集装置 | |
| CN111279673B (zh) | 具有电子卷帘快门校正的图像拼接的***和方法 | |
| US10977764B2 (en) | Viewport independent image coding and rendering | |
| US10958834B2 (en) | Method to capture, store, distribute, share, stream and display panoramic image or video | |
| CN107925751B (zh) | 用于多视点降噪和高动态范围的***和方法 | |
| US20240129636A1 (en) | Apparatus and methods for image encoding using spatially weighted encoding quality parameters | |
| US8872887B2 (en) | Object detection and rendering for wide field of view (WFOV) image acquisition systems | |
| CN110730296B (zh) | 图像处理装置、图像处理方法及计算机可读介质 | |
| US10200624B2 (en) | Three-dimensional, 360-degree virtual reality exposure control | |
| EP3136707A1 (en) | Image shooting terminal and image shooting method | |
| CN113382168A (zh) | 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法 | |
| CN108933920B (zh) | 一种视频画面的输出、查看方法及装置 | |
| US11270413B2 (en) | Playback apparatus and method, and generation apparatus and method | |
| CN107610045B (zh) | 鱼眼图片拼接中的亮度补偿方法、装置、设备及存储介质 | |
| US11137582B2 (en) | Omnidirectional catadioptric lens with odd aspheric contour or multi-lens | |
| CN205647708U (zh) | 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的*** | |
| US20220215518A1 (en) | Photographing method, apparatus and system, and computer readable storage medium | |
| CN114257733A (zh) | 具有视点偏移的全向图像的图像处理的方法和*** | |
| EP3229070B1 (en) | Three-dimensional, 360-degree virtual reality camera exposure control | |
| CN110876050B (zh) | 基于3d摄像机的数据处理装置及方法 | |
| KR200378726Y1 (ko) | 전방위 파노라마 촬영장치 | |
| JP2015133548A (ja) | 画像変換装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170104 |