CN106993126A - 一种将镜头图像展开为全景图像的方法及装置 - Google Patents

一种将镜头图像展开为全景图像的方法及装置 Download PDF

Info

Publication number
CN106993126A
CN106993126A CN201610309937.6A CN201610309937A CN106993126A CN 106993126 A CN106993126 A CN 106993126A CN 201610309937 A CN201610309937 A CN 201610309937A CN 106993126 A CN106993126 A CN 106993126A
Authority
CN
China
Prior art keywords
lens image
grid model
panoramic picture
new
new grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610309937.6A
Other languages
English (en)
Other versions
CN106993126B (zh
Inventor
王士博
沈靖程
王超
熊磊
邱汉文
谭海富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pi Technology Changzhou Co ltd
Original Assignee
Shenzhen Pi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pi Software Technology Co Ltd filed Critical Shenzhen Pi Software Technology Co Ltd
Priority to CN201610309937.6A priority Critical patent/CN106993126B/zh
Priority to KR1020187035978A priority patent/KR102206899B1/ko
Priority to EP17795347.8A priority patent/EP3457681A4/en
Priority to US16/309,806 priority patent/US10798300B2/en
Priority to PCT/CN2017/079093 priority patent/WO2017193729A1/zh
Publication of CN106993126A publication Critical patent/CN106993126A/zh
Application granted granted Critical
Publication of CN106993126B publication Critical patent/CN106993126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种将镜头图像展开为全景图像的方法及装置，包括：步骤A，准备一个原始网格模型，计算新贴图坐标值，对原始网格模型的原始贴图坐标值和计算得到的新贴图坐标值进行坐标值变换，生成新网格模型；步骤B，准备一张待展开的镜头图像,将待展开的镜头图像赋予到步骤A中的新网格模型中,通过GPU对新网格模型进行渲染，获取全景图像。本发明通过将待展开的镜头图像赋予到预先计算和更改好新贴图坐标值的新网格模型中，并通过GPU来对新网格模型进行渲染，可实现快速地将镜头图像展开为全景图像，使全景设备的成本、能耗大大降低，体积大大减小，同时，通过这种方法我们还可以实现高清、实时全景视频的制作。

Description

一种将镜头图像展开为全景图像的方法及装置
技术领域
本发明属于图像处理技术领域，特别是涉及一种将镜头图像展开为全景图像的方法及装置。
背景技术
随着VR技术(虚拟现实技术)的快速发展，人们对VR内容(虚拟现实内容)的需求也愈加强烈，全景图像以及全景视频是VR内容的重要组成部分之一，目前的全景图像一般是由一个大角度鱼眼镜头相机拍摄，或是由几个广角或鱼眼相机拍摄并将拍摄后的图像拼接而成，由于广角和鱼眼相机拍摄的图像都会带有畸变，所以需要通过算法将广角或鱼眼相机拍摄的图像展开为全景图像。目前的全景图像展开算法大多运行在CPU(中央处理器)，少数全景图像展开算法运行在GPU(Graphic Processing Unit，图形处理器，以下简称GPU)，由于全景图像展开算法计算量很大，展开一帧图像需要的时间很长，一般都采用成本、能耗比较高，体积比较大的高性能CPU，然而CPU却很难做到高清的或是实时的图像展开,不能实现全景直播。
发明内容
为解决上述技术问题，本发明提供了一种将镜头图像展开为全景图像的方法和装置，以实现快速地将镜头图像展开为全景图像，降低全景设备的成本、能耗和减小全景设备的体积。
第一方面，本发明实施例提供的一种将镜头图像展开为全景图像的方法，包括下述步骤：
步骤A，准备一个原始网格模型，计算新贴图坐标值，对所述原始网格模型的原始贴图坐标值和通过计算得到的所述新贴图坐标值进行坐标值变换，生成新网格模型并保存；
步骤B，准备一张待展开的镜头图像,将所述待展开的镜头图像赋予到所述步骤A中的新网格模型中,并通过GPU对所述新网格模型进行渲染，获取全景图像并保存。
进一步地，所述步骤A包括下述步骤：
步骤A1，准备一个原始网格模型；
步骤A2，准备一张用于参考的展开为全景的镜头图像；
步骤A3，将所述步骤A2中的用于参考的展开为全景的镜头图像赋予到所述步骤A1中的原始网格模型中；
步骤A4，根据所述步骤A3中用于参考的展开为全景的镜头图像在拍摄时镜头的朝向参数、视场角、畸变参数、图像偏心参数和位移参数计算所述用于参考的展开为全景的镜头图像所在的原始网格模型中的每个顶点的新贴图坐标值，并将所述原始网格模型中每个顶点的原始贴图坐标值都变更为其所对应的新贴图坐标值，生成新网格模型；
步骤A5,取出所述步骤A3中的用于参考的展开为全景的镜头图像，并保存所述步骤A4中的新网格模型。
进一步地，所述步骤Ｂ包括下述步骤：
步骤Ｂ1，准备一张待展开的镜头图像；
步骤B2，将所述步骤B1中的待展开的镜头图像赋予到所述步骤A5的新网格模型中；
步骤B3，通过GPU对所述步骤B2中的新网格模型进行渲染，得到与所述待展开的镜头图像对应的全景图像；
步骤B4，对所述步骤B3中的全景图像进行存储。
更进一步地，所述原始网格模型的形状可以为矩形、球体、360°环景、圆环、半球或其他平面几何图形或曲面立体几何图形。
再进一步地，所述镜头图像可以为鱼眼镜头图像、广角镜头图像或其他形式的镜头图像。
第二方面，本发明实施例提供的一种将镜头图像展开为全景图像的装置，包括：
新网格模型生成模块，用于存放原始网格模型和计算新贴图坐标值，对所述原始网格模型的原始贴图坐标值和通过计算得到的所述新贴图坐标值进行坐标值变换，生成新网格模型并保存；
全景图像获取模块，用于存放待展开的镜头图像，将所述待展开的镜头图像赋予到所述新网格模型生成模块中的新网格模型中,并通过GPU对所述新网格模型进行渲染，获取全景图像并保存，其与所述新网格模型生成模块相连接。
进一步地，所述新网格模型生成模块包括：
原始网格模型存放单元，用于存放原始网格模型；
用于参考的展开为全景的镜头图像存放单元，用于存放用于参考的展开为全景的镜头图像，其与所述原始网格模型存放单元相连接；
镜头图像第一赋予单元，用于将所述用于参考的展开为全景的镜头图像存放单元中的用于参考的展开为全景的镜头图像赋予到所述原始网格模型存放单元中的原始网格模型中，其与所述用于参考的展开为全景的镜头图像存放单元相连接；
网格模型贴图坐标处理单元，用于根据所述镜头图像第一赋予单元中用于参考的展开为全景的镜头图像在拍摄时镜头的朝向参数、视场角、畸变参数、图像偏心参数和位移参数计算所述用于参考的展开为全景的镜头图像所在的原始网格模型中的每个顶点的新贴图坐标值，并将所述原始网格模型中每个顶点的原始贴图坐标值都变更为其所对应的新贴图坐标值，生成新网格模型,其与所述镜头图像第一赋予单元相连接；
新网格模型存放单元，用于取出所述镜头图像第一赋予单元中的用于参考的展开为全景的镜头图像并保存所述网格模型贴图坐标处理单元中生成的新网格模型，其与所述网格模型贴图坐标处理单元相连接。
进一步地，所述全景图像获取模块包括：
待展开的镜头图像存放单元，用于存放待展开的镜头图像，其与所述新网格模型存放单元相连接；
镜头图像第二赋予单元，用于将所述待展开的镜头图像存放单元中的待展开的镜头图像赋予到所述新网格模型存放单元中的新网格模型内，其与所述待展开的镜头图像存放单元相连接；
新网格模型渲染单元，用于通过GPU对所述镜头图像第二赋予单元中的新网格模型进行渲染，得到与所述待展开的镜头图像对应的全景图像，其与所述镜头图像第二赋予单元相连接；
全景图像存放单元，用于将所述新网格模型渲染单元中的所述全景图像进行存储，其与所述新网格模型渲染单元相连接。
更进一步地，所述原始网格模型的形状可以为矩形、球体、360°环景、圆环、半球或其他平面几何图形或曲面立体几何图形。
再进一步地，所述镜头图像可以为鱼眼镜头图像、广角镜头图像或其他形式的镜头图像。
本发明通过将待展开的镜头图像作为材质贴图赋予到预先计算和更改好新贴图坐标值的新网格模型中，并通过GPU来对新网格模型进行渲染，可实现快速地将镜头图像展开为全景图像，使全景设备的成本、能耗大大降低，体积大大减小，同时，通过这种方法我们还可以实现高清、实时全景视频的制作。
附图说明
图1为本发明实施例提供的一种将镜头图像展开为全景图像的方法的流程示意图；
图2为图1中生成新网格模型的方法的流程示意图；
图3为图1中获取全景图像的方法的流程示意图；
图4为本发明实施例提供的一个矩形原始网格模型；
图5为本发明实施例提供的一张用于参考的展开为全景的鱼眼图像；
图6为本发明实施例提供的由鱼眼镜头相机拍摄的一张待展开的鱼眼图像；
图7为本发明实施例提供的新的矩形网格模型通过渲染后得到的全景图像；
图8为本发明实施例提供的一种将镜头图像展开为全景图像的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1是本发明实施例提供的一种将镜头图像展开为全景图像的方法的流程示意图，如图1所示，将镜头图像展开为全景图像的方法包括以下步骤：
步骤S20，准备一个原始网格模型，计算新贴图坐标值，对所述原始网格模型的原始贴图坐标值和通过计算得到的所述新贴图坐标值进行坐标值变换，生成新网格模型并保存；
步骤S21，准备一张待展开的镜头图像,将所述待展开的镜头图像赋予到所述步骤S20中的新网格模型中,并通过GPU对所述新网格模型进行渲染，获取全景图像并保存。
请参阅图2，图2为图1中生成新网格模型的方法的流程示意图，如图2所示，生成新网格模型的方法包括下述步骤：
步骤S201，准备一个原始网格模型；
步骤S202，准备一张用于参考的展开为全景的镜头图像；
步骤S203，将所述步骤S202中的用于参考的展开为全景的镜头图像赋予到所述步骤S201中的原始网格模型中；
步骤S204，根据所述步骤S203中用于参考的展开为全景的镜头图像在拍摄时镜头的朝向参数、视场角、畸变参数、图像偏心参数和位移参数计算所述用于参考的展开为全景的镜头图像所在的原始网格模型中的每个顶点的新贴图坐标值，并将所述原始网格模型中每个顶点的原始贴图坐标值都变更为其所对应的新贴图坐标值，生成新网格模型；
步骤S205，取出所述步骤S203中的用于参考的展开为全景的镜头图像，并保存所述步骤S204中的新网格模型。
请参阅图3，图3为图1中获取全景图像的方法的流程示意图，如图3所示，
获取全景图像的方法包括下述步骤：
步骤S211，准备一张待展开的镜头图像；
步骤S212，将所述步骤S211中的待展开的镜头图像赋予到所述步骤S205的新网格模型中；
步骤S213，通过GPU对所述步骤S212中的新网格模型进行渲染，得到与所述待展开的镜头图像对应的全景图像；
步骤S214，对所述步骤S213中的全景图像进行存储。
以一个矩形原始网格模型和鱼眼镜头相机拍摄的一张鱼眼图像为例：
首先在3dsMax或其他建模工具中制作一个长宽比为2:1的矩形原始网格模型，该矩形原始网格模型由多个正方形网格构成，所以矩形原始网格模型的长宽分段的比也是2:1，正常情况下，模型中的网格越密集，展开的全景图像质量越高，效果越好，如图4所示为一个长由50个正方形网格，宽由25个正方形网格构成的矩形原始网格模型；
如图5所示为一张用于参考的展开为全景的鱼眼图像；
将图5所示的用于参考的展开为全景的鱼眼图像作为贴图赋予到图4所示的矩形原始网格模型中，该矩形原始网格模型中的每个网格都是由四个顶点所组成的，每个网格的顶点内含有网格的位置坐标(X，Y，Z)和原始贴图坐标(U，V)，我们需要根据该用于参考的展开为全景的鱼眼图像的朝向参数、视场角、畸变参数、图像偏心参数和位移参数等来计算该矩形原始网格模型中的每个顶点的新贴图坐标值，由于新贴图坐标值决定了该顶点使用鱼眼图像的哪些像素来贴到由该顶点组成的网格上，所以将该矩形原始网格模型中的每个顶点的原始贴图坐标值都更改为其所对应的新贴图坐标值，以位置坐标为(15,9)的顶点为例，该顶点的原始贴图坐标值为(0，0)，通过计算，可以得出该点对应的新贴图坐标值为(0.1，0.3)，于是我们把该顶点的原始贴图坐标值(0，0)更改为新贴图坐标值（0.1，0.3），并将上述矩形原始网格模型中的每个顶点的新贴图坐标值都按照这种方法设置好，生成新的矩形网格模型并保存；
如图6所示为由鱼眼镜头相机拍摄的一张待展开的鱼眼图像，将该待展开的鱼眼图像赋予到新的矩形网格模型中；
通过GPU对新的矩形网格模型进行渲染，得到与该鱼眼图像对应的全景图像并保存，如图7所示为新的矩形网格模型通过渲染后得到的全景图像。
本发明实施例中，计算和更改好新贴图坐标值的新网格模型可以保存，下次可以直接使用。
请参阅图8，图8是本发明实施例提供的一种将镜头图像展开为全景图像的装置的结构示意图，如图8所示，将镜头图像展开为全景图像的装置包括：
新网格模型生成模块30，用于存放原始网格模型和计算新贴图坐标值，对所述原始网格模型的原始贴图坐标值和通过计算得到的所述新贴图坐标值进行坐标值变换，生成新网格模型并保存；
全景图像获取模块31，用于存放待展开的镜头图像，将所述待展开的镜头图像赋予到所述新网格模型生成模块30中的新网格模型中,并通过GPU对所述新网格模型进行渲染，获取全景图像并保存，其与所述新网格模型生成模块30相连接。
本发明实施例中，新网格模型生成模块30包括：
原始网格模型存放单元301，用于存放原始网格模型；
用于参考的展开为全景的镜头图像存放单元302，用于存放用于参考的展开为全景的镜头图像，其与原始网格模型存放单元301相连接；
镜头图像第一赋予单元303，用于将所述用于参考的展开为全景的镜头图像存放单元302中的用于参考的展开为全景的镜头图像赋予到所述原始网格模型存放单元301中的原始网格模型中，其与所述用于参考的展开为全景的镜头图像存放单元302相连接；
网格模型贴图坐标处理单元304，用于根据所述镜头图像第一赋予单元303中用于参考的展开为全景的镜头图像在拍摄时镜头的朝向参数、视场角、畸变参数、图像偏心参数和位移参数计算所述用于参考的展开为全景的镜头图像所在的原始网格模型中的每个顶点的新贴图坐标值，并将所述原始网格模型中每个顶点的原始贴图坐标值都变更为其所对应的新贴图坐标值，生成新网格模型,其与所述镜头图像第一赋予单元303相连接；
新网格模型存放单元305，用于取出所述镜头图像第一赋予单元303中的用于参考的展开为全景的镜头图像并保存所述网格模型贴图坐标处理单元304中生成的新网格模型，其与所述网格模型贴图坐标处理单元304相连接。
全景图像获取模块31包括：
待展开的镜头图像存放单元311,用于存放待展开的镜头图像，其与所述新网格模型存放单元305相连接；
镜头图像第二赋予单元312，用于将所述待展开的镜头图像存放单元311中的待展开的镜头图像赋予到所述新网格模型存放单元305中的新网格模型内，其与所述待展开的镜头图像存放单元311相连接；
新网格模型渲染单元313，用于通过GPU对所述镜头图像第二赋予单元312中的新网格模型进行渲染，得到与所述待展开的镜头图像对应的全景图像，其与所述镜头图像第二赋予单元312相连接；
全景图像存放单元314，用于将所述新网格模型渲染单元313中的所述全景图像进行存储，其与所述新网格模型渲染单元313相连接。
本发明实施例中，原始网格模型和其对应的新网格模型的形状可以为矩形、球体、360°环景、圆环、半球或其他平面几何图形或曲面立体几何图形；镜头图像可以为鱼眼镜头图像、广角镜头图像或其他形式的镜头图像。
本发明通过将待展开的镜头图像作为材质贴图赋予到预先计算和更改好新贴图坐标值的新网格模型中，并通过GPU来对新网格模型进行渲染，可实现快速地将镜头图像展开为全景图像，使全景设备的成本、能耗大大降低，体积大大减小，同时，通过这种方法我们还可以实现高清、实时全景视频的制作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种将镜头图像展开为全景图像的方法，其特征在于，包括下述步骤：
步骤A，准备一个原始网格模型，计算新贴图坐标值，对所述原始网格模型的原始贴图坐标值和通过计算得到的所述新贴图坐标值进行坐标值变换，生成新网格模型并保存；
步骤B，准备一张待展开的镜头图像,将所述待展开的镜头图像赋予到所述步骤A中的新网格模型中,并通过GPU对所述新网格模型进行渲染，获取全景图像并保存。
2.根据权利要求1所述的将镜头图像展开为全景图像的方法，其特征在于，所述步骤A包括下述步骤：
步骤A1，准备一个原始网格模型；
步骤A2，准备一张用于参考的展开为全景的镜头图像；
步骤A3，将所述步骤A2中的用于参考的展开为全景的镜头图像赋予到所述步骤A1中的原始网格模型中；
步骤A4，根据所述步骤A3中用于参考的展开为全景的镜头图像在拍摄时镜头的朝向参数、视场角、畸变参数、图像偏心参数和位移参数计算所述用于参考的展开为全景的镜头图像所在的原始网格模型中的每个顶点的新贴图坐标值，并将所述原始网格模型中每个顶点的原始贴图坐标值都变更为其所对应的新贴图坐标值，生成新网格模型；
步骤A5，取出所述步骤A3中的用于参考的展开为全景的镜头图像，并保存所述步骤A4中的新网格模型。
3.根据权利要求2所述的将镜头图像展开为全景图像的方法，其特征在于，所述步骤Ｂ包括下述步骤：
步骤B1，准备一张待展开的镜头图像；
步骤B2，将所述步骤B1中的待展开的镜头图像赋予到所述步骤A5的新网格模型中；
步骤B3，通过GPU对所述步骤B2中的新网格模型进行渲染，得到与所述待展开的镜头图像对应的全景图像；
步骤B4，对所述步骤B3中的全景图像进行存储。
4.根据权利要求1-2任一权利要求所述的将镜头图像展开为全景图像的方法，其特征在于，所述原始网格模型的形状可以为矩形、球体、360°环景、圆环、半球或其他平面几何图形或曲面立体几何图形。
5.根据权利要求1-4任一权利要求所述的将镜头图像展开为全景图像的方法，其特征在于，所述镜头图像可以为鱼眼镜头图像、广角镜头图像或其他形式的镜头图像。
6.一种将镜头图像展开为全景图像的装置，其特征在于，包括：
新网格模型生成模块，用于存放原始网格模型和计算新贴图坐标值，对所述原始网格模型的原始贴图坐标值和通过计算得到的所述新贴图坐标值进行坐标值变换，生成新网格模型并保存；
全景图像获取模块，用于存放待展开的镜头图像，将所述待展开的镜头图像赋予到所述新网格模型生成模块中的新网格模型中,并通过GPU对所述新网格模型进行渲染，获取全景图像并保存，其与所述新网格模型生成模块相连接。
7.根据权利要求6所述的将镜头图像展开为全景图像的装置，其特征在于，所述新网格模型生成模块包括：
原始网格模型存放单元，用于存放原始网格模型；
用于参考的展开为全景的镜头图像存放单元，用于存放用于参考的展开为全景的镜头图像，其与所述原始网格模型存放单元相连接；
镜头图像第一赋予单元，用于将所述用于参考的展开为全景的镜头图像存放单元中的用于参考的展开为全景的镜头图像赋予到所述原始网格模型存放单元中的原始网格模型中，其与所述用于参考的展开为全景的镜头图像存放单元相连接；
网格模型贴图坐标处理单元，用于根据所述镜头图像第一赋予单元中用于参考的展开为全景的镜头图像在拍摄时镜头的朝向参数、视场角、畸变参数、图像偏心参数和位移参数计算所述用于参考的展开为全景的镜头图像所在的原始网格模型中的每个顶点的新贴图坐标值，并将所述原始网格模型中每个顶点的原始贴图坐标值都变更为其所对应的新贴图坐标值，生成新网格模型,其与所述镜头图像第一赋予单元相连接；
新网格模型存放单元，用于取出所述镜头图像第一赋予单元中的用于参考的展开为全景的镜头图像并保存所述网格模型贴图坐标处理单元中生成的新网格模型，其与所述网格模型贴图坐标处理单元相连接。
8.根据权利要求6所述的将镜头图像展开为全景图像的装置，其特征在于，所述全景图像获取模块包括：
待展开的镜头图像存放单元，用于存放待展开的镜头图像，其与所述新网格模型存放单元相连接；
镜头图像第二赋予单元，用于将所述待展开的镜头图像存放单元中的待展开的镜头图像赋予到所述新网格模型存放单元中的新网格模型内，其与所述待展开的镜头图像存放单元相连接；
新网格模型渲染单元，用于通过GPU对所述镜头图像第二赋予单元中的新网格模型进行渲染，得到与所述待展开的镜头图像对应的全景图像，其与所述镜头图像第二赋予单元相连接；
全景图像存放单元，用于将所述新网格模型渲染单元中的所述全景图像进行存储，其与所述新网格模型渲染单元相连接。
9.根据权利要求6-7任一权利要求所述的将镜头图像展开为全景图像的装置，其特征在于，所述原始网格模型的形状可以为矩形、球体、360°环景、圆环、半球或其他平面几何图形或曲面立体几何图形。
10.根据权利要求6-9任一权利要求所述的将镜头图像展开为全景图像的装置，其特征在于，所述镜头图像可以为鱼眼镜头图像、广角镜头图像或其他形式的镜头图像。
CN201610309937.6A 2016-05-11 2016-05-11 一种将镜头图像展开为全景图像的方法及装置 Active CN106993126B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610309937.6A CN106993126B (zh) 2016-05-11 2016-05-11 一种将镜头图像展开为全景图像的方法及装置
KR1020187035978A KR102206899B1 (ko) 2016-05-11 2017-03-31 렌즈 이미지를 파노라마 이미지로 전개하는 방법 및 장치
EP17795347.8A EP3457681A4 (en) 2016-05-11 2017-03-31 METHOD AND DEVICE FOR DEVELOPING A LENS PICTURE INTO A PANORAMIC PICTURE
US16/309,806 US10798300B2 (en) 2016-05-11 2017-03-31 Method and device for unfolding lens image into panoramic image
PCT/CN2017/079093 WO2017193729A1 (zh) 2016-05-11 2017-03-31 一种将镜头图像展开为全景图像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610309937.6A CN106993126B (zh) 2016-05-11 2016-05-11 一种将镜头图像展开为全景图像的方法及装置

Publications (2)

Publication Number Publication Date
CN106993126A true CN106993126A (zh) 2017-07-28
CN106993126B CN106993126B (zh) 2023-04-07

Family

ID=59414053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610309937.6A Active CN106993126B (zh) 2016-05-11 2016-05-11 一种将镜头图像展开为全景图像的方法及装置

Country Status (5)

Country Link
US (1) US10798300B2 (zh)
EP (1) EP3457681A4 (zh)
KR (1) KR102206899B1 (zh)
CN (1) CN106993126B (zh)
WO (1) WO2017193729A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254792A (zh) * 2016-07-29 2016-12-21 暴风集团股份有限公司 基于Stage3D播放全景数据的方法及***
CN108965718A (zh) * 2018-08-03 2018-12-07 北京微播视界科技有限公司 图像生成方法和装置
CN110728619A (zh) * 2018-07-17 2020-01-24 中科创达软件股份有限公司 一种全景图像拼接渲染方法及装置
CN110838163A (zh) * 2018-08-15 2020-02-25 浙江宇视科技有限公司 贴图处理方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967173B (zh) * 2019-12-12 2023-05-26 杭州海康威视数字技术股份有限公司 一种图像生成方法、装置及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060023105A1 (en) * 2003-07-03 2006-02-02 Kostrzewski Andrew A Panoramic video system with real-time distortion-free imaging
CN101072288A (zh) * 2007-06-15 2007-11-14 林进灯 取得鱼眼影像校正关系与鱼眼校正的方法
CN101777193A (zh) * 2010-02-03 2010-07-14 中国人民解放军国防科学技术大学 基于双向映***确插值的折反射全向图柱面全景展开方法
JP2011217057A (ja) * 2010-03-31 2011-10-27 Asahi Kasei Corp レンズ歪み除去装置、方法およびプログラム
CN102780834A (zh) * 2011-05-11 2012-11-14 张茂军 环眼镜头图像半柱面全景展开方法
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法
CN103839227A (zh) * 2012-11-23 2014-06-04 富士通株式会社 鱼眼图像校正方法和装置
US20140218354A1 (en) * 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
US20140285676A1 (en) * 2011-07-25 2014-09-25 Universidade De Coimbra Method and apparatus for automatic camera calibration using one or more images of a checkerboard pattern
US20160065946A1 (en) * 2014-09-03 2016-03-03 Nextvr Inc. Methods and apparatus for capturing, streaming and/or playing back content

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203254A (ja) * 2000-08-30 2002-07-19 Usc Corp 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
GB2455498A (en) * 2007-11-30 2009-06-17 Dooworks Fz Co Method and system for processing of images
CN104240236B (zh) 2014-08-26 2017-10-24 中山大学 一种鱼眼镜头标定后鱼眼图像校正的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060023105A1 (en) * 2003-07-03 2006-02-02 Kostrzewski Andrew A Panoramic video system with real-time distortion-free imaging
CN101072288A (zh) * 2007-06-15 2007-11-14 林进灯 取得鱼眼影像校正关系与鱼眼校正的方法
CN101777193A (zh) * 2010-02-03 2010-07-14 中国人民解放军国防科学技术大学 基于双向映***确插值的折反射全向图柱面全景展开方法
JP2011217057A (ja) * 2010-03-31 2011-10-27 Asahi Kasei Corp レンズ歪み除去装置、方法およびプログラム
CN102780834A (zh) * 2011-05-11 2012-11-14 张茂军 环眼镜头图像半柱面全景展开方法
US20140285676A1 (en) * 2011-07-25 2014-09-25 Universidade De Coimbra Method and apparatus for automatic camera calibration using one or more images of a checkerboard pattern
CN103839227A (zh) * 2012-11-23 2014-06-04 富士通株式会社 鱼眼图像校正方法和装置
US20140218354A1 (en) * 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法
US20160065946A1 (en) * 2014-09-03 2016-03-03 Nextvr Inc. Methods and apparatus for capturing, streaming and/or playing back content

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254792A (zh) * 2016-07-29 2016-12-21 暴风集团股份有限公司 基于Stage3D播放全景数据的方法及***
CN106254792B (zh) * 2016-07-29 2019-03-12 暴风集团股份有限公司 基于Stage3D播放全景数据的方法及***
CN110728619A (zh) * 2018-07-17 2020-01-24 中科创达软件股份有限公司 一种全景图像拼接渲染方法及装置
CN110728619B (zh) * 2018-07-17 2024-03-22 中科创达软件股份有限公司 一种全景图像拼接渲染方法及装置
CN108965718A (zh) * 2018-08-03 2018-12-07 北京微播视界科技有限公司 图像生成方法和装置
CN108965718B (zh) * 2018-08-03 2021-03-23 北京微播视界科技有限公司 图像生成方法和装置
CN110838163A (zh) * 2018-08-15 2020-02-25 浙江宇视科技有限公司 贴图处理方法及装置
CN110838163B (zh) * 2018-08-15 2024-02-02 浙江宇视科技有限公司 贴图处理方法及装置

Also Published As

Publication number Publication date
US10798300B2 (en) 2020-10-06
EP3457681A1 (en) 2019-03-20
KR102206899B1 (ko) 2021-01-22
US20190349524A1 (en) 2019-11-14
EP3457681A4 (en) 2019-12-25
KR20190008306A (ko) 2019-01-23
CN106993126B (zh) 2023-04-07
WO2017193729A1 (zh) 2017-11-16

Similar Documents

Publication Publication Date Title
CN106993126A (zh) 一种将镜头图像展开为全景图像的方法及装置
Kato et al. Neural 3d mesh renderer
CN111243071A (zh) 实时三维人体重建的纹理渲染方法、***、芯片、设备和介质
US9652880B2 (en) 2D animation from a 3D mesh
JP6199313B2 (ja) モーションセンサーデータに基づく３ｄモデルを計算するように構成されたモバイルデバイス
CN103942754B (zh) 全景图像补全方法及装置
JP6636163B2 (ja) 画像表示方法、成形そり幕を生成する方法、および頭部装着ディスプレイデバイス
JP2019057248A (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP2015508197A5 (zh)
JP2010123007A (ja) 画像処理装置
CN105913488B (zh) 一种基于三维映射表的三维点云快速重建方法
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN111951368A (zh) 一种点云、体素和多视图融合的深度学习方法
CN107146197A (zh) 一种缩略图生成方法及装置
WO2020192706A1 (zh) 物体三维模型重建方法及装置
CN106055331B (zh) 模型边界生成方法和装置
JP2010121945A (ja) ３次元形状生成装置
Zhao et al. Joint SVBRDF Recovery and Synthesis From a Single Image using an Unsupervised Generative Adversarial Network.
KR101575284B1 (ko) 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법
CN108510434B (zh) 通过球幕相机进行三维建模的方法
CN110111249B (zh) 一种隧道内壁拼图影像的获取和生成方法及***
CN105204727B (zh) 一种图片呈现方法及装置
Matsuyama Exploitation of 3D video technologies
Zhou et al. Live4D: A Real-time Capture System for Streamable Volumetric Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Building 4D, Gongyanhui Science and Technology Industrial Park, No. 160, Xihu West Road, Wujin National High and New Technology Industrial Development Zone, Changzhou City, Jiangsu Province, 213166

Patentee after: Pi Technology (Changzhou) Co.,Ltd.

Address before: R2-B609, High tech Industrial Park, No. 20 Gaoxin South Seventh Road, Nanshan District, Shenzhen City, Guangdong Province, 518057

Patentee before: SHENZHEN PISOFTTECH TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address