CN108886562A - 图像处理***、图像处理方法及程序 - Google Patents
图像处理***、图像处理方法及程序 Download PDFInfo
- Publication number
- CN108886562A CN108886562A CN201680083721.0A CN201680083721A CN108886562A CN 108886562 A CN108886562 A CN 108886562A CN 201680083721 A CN201680083721 A CN 201680083721A CN 108886562 A CN108886562 A CN 108886562A
- Authority
- CN
- China
- Prior art keywords
- image
- capture
- change data
- conversion
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 66
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000008859 change Effects 0.000 claims abstract description 80
- 238000006243 chemical reaction Methods 0.000 claims abstract description 74
- 230000010365 information processing Effects 0.000 claims abstract description 35
- 238000010586 diagram Methods 0.000 claims description 10
- 241000251468 Actinopterygii Species 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 101150013335 img1 gene Proteins 0.000 description 7
- 101150071665 img2 gene Proteins 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009987 spinning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
提供了一种图像处理***，所述图像处理***包括被配置为生成多个捕获图像的图像捕获装置，以及被连接到图像捕获装置的至少一个信息处理装置。所述信息处理装置输入来自图像捕获装置的多个捕获图像中的第一捕获图像和第二捕获图像，获取用于转换第一捕获图像的第一转换数据以及用于转换第二捕获图像的第二转换数据，并且通过对基于第一转换数据转换第一捕获图像及基于第二转换数据转换第二捕获图像而生成的转换图像进行拼接，来生成输出图像。
Description
技术领域
本发明涉及图像处理***、图像处理方法及程序。
背景技术
用于拼接(stitching)多个图像以生成一个图像的方法是已知的。
例如，已知一种图像处理装置，其首先检测多个图像的拼接位置，并基于检测结果来校正转换数据。然后，图像处理装置通过对坐标进行旋转来转换校正后的转换数据，以生成用于图像合成的转换数据。以这种方式，即使在使用具有大失真的透镜光学***时，图像处理装置也实现了以高精度拼接多个捕获图像的方法(例如，参见专利文献1)。
发明内容
本发明要解决的问题
然而，使用传统方法提高拼接多个图像的精度是相当有限的。
本发明的一个方面涉及提高拼接多个图像的精度。
解决问题的手段
根据本发明的一个实施例，提供了一种图像处理***，所述图像处理***包括被配置为生成多个捕获图像的图像捕获装置，以及被连接到图像捕获装置的至少一个信息处理装置。所述信息处理装置包括：输入单元，被配置为输入来自所述多个捕获图像中的至少第一捕获图像和第二捕获图像；获取单元，被配置为获取用于转换所述第一捕获图像的第一转换数据以及用于转换所述第二捕获图像的第二转换数据；以及生成单元，被配置为对通过基于所述第一转换数据转换所述第一捕获图像及基于所述第二转换数据转换所述第二捕获图像而生成的转换图像进行拼接来生成输出图像。
本发明的效果
根据本发明的一个方面，可以以更高的精度拼接多个图像。
附图说明
图1是根据本发明一个实施例的图像捕获装置的第一外部视图；
图2是根据本发明一个实施例的图像捕获装置的第二外部视图；
图3是示出根据本发明一个实施例的图像捕获装置的示例硬件配置的框图；
图4是示出根据本发明一个实施例的鱼眼镜头的第一图；
图5是示出根据本发明一个实施例的鱼眼镜头的第二图；
图6是示出根据本发明一个实施例的重叠区域的第一图；
图7是示出根据本发明一个实施例的重叠区域的第二图；
图8是示出根据本发明一个实施例的重叠区域的第三图；
图9是示出根据本发明一个实施例的重叠区域的第四图；
图10是示出根据本发明的一个实施例的图像处理***的信息处理装置的示例软件配置的框图；
图11是示出根据本发明一个实施例的信息处理装置的示例硬件配置的框图；
图12是示出由根据本发明一个实施例的图像处理***的信息处理装置实现的示例整体处理的流程图；
图13是示出根据本发明一个实施例的示例输出图像的图；
图14是示出根据本发明一个实施例的示例捕获图像的图；
图15是示出根据本发明一个实施例的使用转换数据的示例转换处理的图；
图16是示出根据本发明一个实施例的示例旋转转换处理的图；
图17是示出由根据本发明一个实施例的信息处理装置实现的示例拼接处理的流程图；
图18是示出由根据本发明一个实施例的信息处理装置实现的示例拼接位置检测处理的流程图；
图19是示出根据本发明一个实施例的拼接位置检测处理中的图案匹配的第一图；
图20是示出根据本发明一个实施例的拼接位置检测处理中的图案匹配的第二图；
图21是示出根据本发明一个实施例的生成输出图像的示例处理的图；和
图22是示出根据本发明一个实施例的图像处理***的示例功能配置的功能框图。
具体实施方式
在下文中，将描述本发明的实施例。首先，将描述根据本发明实施例的图像处理***中包括的图像捕获装置。
<全方位相机示例>
图1和2是根据本发明实施例的示例图像捕获装置的外部视图。例如，图像捕获装置可以是如图1和图2中所示的全方位相机1。下面，将描述全方位相机1用作图像捕获装置的示例情况。注意，全方位相机1是从图像捕获位置捕获覆盖宽范围(例如360°范围)的图像的装置。
具体而言，图1是示例图像捕获装置的外部视图。如图1所示，全方位相机1包括镜头1H1、镜头1H2、第一图像捕获元件1H3、第二图像捕获元件1H4和开关1H5。注意，全方位相机1可以包括三个或更多的光学***，每个光学***包括例如图像捕获元件和透镜。在下文中，将描述全方位相机1包括两个图像捕获元件和两个透镜的示例。
例如，透镜1H1和透镜1H2均可以是所谓的鱼眼透镜或具有大于或等于180°的视角的广角透镜。
第一图像捕获元件1H3和第二图像捕获元件1H4将通过透镜1H1和透镜1H2入射到其上的光转换成电信号以生成捕获图像。也就是说，例如，第一图像捕获元件1H3和第二图像捕获元件1H4可以是CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器。在下文中，由全方位相机1基于由第一图像捕获元件1H3所捕获的图像而输出的捕获图像被称为“第一捕获图像”。另一方面，全方位相机1基于由第二图像捕获元件1H4所捕获的图像而输出的捕获图像被称为“第二捕获图像”。注意，例如，第一捕获图像和第二捕获图像可以是在被第一和第二图像捕获元件1H3和1H4捕获之后经过诸如图像校正之类的图像处理的图像。
开关1H5是用于使用户能够执行构成用于使全方位相机1开始各种处理的触发的操作的装置。注意，下面将详细描述使用开关1H5的方式。
图2是示出根据本发明实施例的重叠区域2的示例的图。如图2中所示，例如，重叠区域2可以对应于由第一图像捕获元件1H3和第二图像捕获元件1H4两者捕获的区域。换句话说，位于重叠区域2中的对象将被捕获在第一捕获图像和第二捕获图像两者中。
当按下开关1H5时，全方位相机1使第一图像捕获元件1H3和第二图像捕获元件1H4执行曝光和捕获图像。
注意，在下面描述的示例整体***配置中，全方位相机1包括网络I/F(接口)等，并且全方位相机1连接到诸如PC(个人电脑)之类的信息处理装置。也就是说，根据本发明实施例的图像处理***包括全方位相机1和信息处理装置。例如，在图像处理***中，可以将由全方位相机1生成的多个捕获图像发送到信息处理装置，并且信息处理装置可以对从全方位相机1发送的捕获图像执行图像处理。例如，全方位相机1可以具有如下所述的硬件配置。
<全方位像机硬件配置示例>
图3是示出根据本发明实施例的图像捕获装置的示例硬件配置的框图。例如，除了图1和图2中所示的硬件元件之外，全方位相机1可以包括控制器1H10、SDRAM(同步动态随机存取存储器)1H6和存储器1H7。
控制器1H10包括SRAM(静态随机存取存储器)1H11、ROM(只读存储器)1H12和图像处理电路1H13。控制器1H10还包括SDRAM I/F(接口)1H14、存储器I/F 1H15和CPU(中央处理单元)1H16。第一图像捕获元件1H3和第二图像捕获元件1H4连接到图像处理电路1H13。此外，SDRAM 1H6连接到SDRAM I/F 1H14。此外，存储器1H7连接到存储I/F 1H15。此外，开关1H5连接到CPU 1H16。
SRAM 1H11和ROM 1H12是存储设备。例如，SRAM 1H11存储包括由CPU 1H16使用的程序和中间数据的各种数据。
图像处理电路1H13输入捕获图像并对输入图像执行诸如白平衡之类的图像校正处理。例如，图像处理电路1H13可以由ASIC(专用集成电路)或PLD(可编程逻辑器件)实现。
SDRAM I/F 1H14是用于向/从SDRAM 1H6输入/输出数据的接口。SDRAM 1H6是存储各种数据的存储设备。例如，SDRAM I/F 1H14输入和输出各种数据，诸如由CPU 1H16和图像处理电路1H13使用的图像数据。
存储I/F 1H15是用于向/从存储器1H7输入/输出数据的接口。存储器1H7是存储各种数据的存储设备。例如，存储I/F 1H15可以将表示由图像处理电路1H13处理的图像的数据存储在存储器1H7中。
CPU 1H16是计算设备和控制设备，其执行用于实现全方位相机1的处理和控制硬件的计算。注意，例如，全方位相机1可以具有包括被配置为实现其处理的全部或一部分的内部或外部计算设备的硬件配置。
此外，例如，全方位相机1的镜头(即图1所示的镜头1H1和镜头1H2)也可以具有如下所述的配置。
图4和图5是示出根据本发明实施例的示例鱼眼镜头的图。具体而言，图4是指示根据本发明实施例的鱼眼镜头配置中的入射角和图像高度之间的示例关系的透镜1H1和1H2的截面图。图5是指示根据本实施例的鱼眼镜头配置中的入射角与图像高度之间的示例关系的平面图。注意，在图5中，黑色区域表示光没有入射的示例区域。在下文中，将通过参考透镜1H1作为示例来描述透镜1H1和1H2是鱼眼透镜的示例情况。
透镜1H1可以用于从全方位相机1的图像捕获位置对覆盖了半球范围的图像进行捕获。下面假设入射角α表示入射在透镜1H1上的光的入射角，图像高度h表示从图像中心到入射光在入射角α处形成图像的位置的距离，并且投影函数f(α)表示表达了入射角α和图像高度h之间的关系的函数。投影函数f(α)取决于透镜1H1的特性和规格而随着透镜变化。例如，如果透镜1H1是等距投影透镜，则投影函数f(α)将是表达了图像高度h和入射角α之间的比例关系的函数。在下文中，将描述透镜1H1是等距投影透镜的情况作为示例。
<重叠区域示例>
图6至图9是示出了根据本发明实施例的重叠区域的图。注意在图6至图9中，将描述其中第一图像3和第二图像4对应于由第一和第二图像捕获元件1H3和1H4捕获的图像的情况作为示例。此外，如图5中所示，在图6至图9中示出的黑色区域表示没有光入射的示例区域。此外，第一图像3和第二图像4均包括表示重叠区域2(图2)的像素。例如，如图6至图9所示，重叠区域2可以在大于或等于90°的入射角处被捕获。具体地，例如，在第一图像3中，重叠区域2可以对应于如图6中所示的第一范围31。类似地，在第二图像4中，重叠区域2可以对应于如图7所示的第二范围41。如上所述，例如，重叠区域2可以对应于每个图像中与90°的入射角α相对应的像素外侧处的捕获范围。
在下文中，假设第一图像3包括表示重叠区域2的第一像素。例如，第一像素可以是第一范围31中的像素。类似地，假设第二图像4包括表示重叠区域2的第二像素。例如，第二像素可以是第二范围41中的像素。例如，当拼接上述图像时，第一像素和第二像素可用于计算拼接位置。注意，用于计算图像的拼接位置的范围不一定必须是第一范围31和第二范围41的整个范围。具体地，例如，可以使用以下范围来计算图像的拼接位置。
图8和图9是示出了根据本发明实施例的用于在捕获图像上实现各种处理的示例重叠区域的图。如图8和图9所示，用于计算图像的拼接位置的范围可以是第一范围31和第二范围41的一部分。例如，第一使用范围32是第一范围31的一部分，并且第一使用范围32是可以在诸如计算用于拼接图像的拼接位置之类的处理中使用的第一范围31的一部分的示例。类似地，第二使用范围42是第二范围41的一部分，并且第二使用范围42是可以在诸如计算用于拼接图像的拼接位置之类的处理中使用的第二范围41的一部分的示例。此外，随着图像高度h的增加，上述图像中的每一个都倾向于表现出更大的失真、像差等；即，位于图像的外部范围处的像素倾向于表现出更大的失真、像差等。
在这方面，第一使用范围32和第二使用范围42优选地限于其中图像高度h在较低范围内的第一范围31和第二范围41的部分。也就是说，信息处理装置等可以使用具有较小失真、像差等的第一使用范围32和第二使用范围42来以更高的精度计算用于拼接图像的拼接位置。
在下文中，将描述经由网络、线缆等连接到与图像捕获装置的示例相对应的全方位相机1的信息处理装置。例如，根据本发明实施例的图像处理***10可以包括具有以下软件配置的图像捕获装置和信息处理装置。
<软件配置示例>
图10是示出根据本发明实施例的图像处理***中包括的信息处理装置的示例软件配置的框图。在下文中，将描述PC 50作为具有如图10所示的软件配置的信息处理装置的示例。具体地，PC 50可以包括例如由OS(操作***)进行配置的内核单元KN。此外，PC 50可以包括由预先安装在PC 50中的图像处理应用软件进行配置的应用单元AP。此外，PC 50可以包括由预先安装在PC 50中的所谓的查看器应用软件进行配置的图像输出单元VE。
例如，内核单元KN可以例如由USB(通用串行总线)驱动器来实现。也就是说，在图像处理***10中，内核单元KN经由诸如USB之类的接口将全方位相机1和PC 50彼此连接，以使得能够向/从PC 50和全方位相机1输入/输出数据。此外，内核单元KN将从全方位相机1输入的数据发送到应用单元AP。
应用单元AP对从全方位相机1输入到内核单元KN的捕获图像执行图像处理，并且生成要由图像输出单元VE显示给用户UR的输出图像。注意，下面将详细描述对捕获图像执行的图像处理。
图像输出单元VE将由应用单元AP生成的输出图像显示给用户UR。此外，图像输出单元VE可以经由GUI(图形用户界面)等输入用户UR的操作。例如，图像输出单元VE可以提示用户UR输入与诸如图像拼接之类的图像处理有关的设置值。此外，图像输出单元VE可以将输入的设置值发送到应用单元AP。以这种方式，可以输入由应用单元AP用于图像处理的设置值。注意，下面将详细描述与图像处理等有关的设置值。此外，用于输入设置值的GUI不限于由图像输出单元VE显示。也就是说，例如，GUI可以由一些其他软件显示。
<信息处理装置硬件配置示例>
图11是示出根据本发明实施例的信息处理装置的示例硬件配置的框图。例如，PC50可以是具有如下所述的硬件配置的计算机。
在图11中，PC 50包括CPU(中央处理单元)50H1、ROM(只读存储器)50H2和RAM(随机存取存储器)50H3。此外，PC 50包括外部I/F(接口)50H4、通信设备50H6、输入设备50H7、输出设备50H8和存储设备50H9。
CPU 50H1是计算设备和控制设备，其执行用于执行处理和控制PC 50的硬件的计算和数据处理。
ROM 50H2是存储诸如固件之类的程序的存储设备。
RAM 50H3是用作执行计算等的工作区的存储设备。
外部I/F 50H4是用于向/从诸如与其连接的USB存储器之类的记录介质50H5输入/输出文件等的接口。例如，外部I/F 50H4可以是连接器、线缆、驱动器等。
通信设备50H6是经由网络等与诸如打印机PR1之类的外部装置进行通信的设备。例如，通信设备50H6可以是连接器、线缆、驱动器等。
输入设备50H7是用于输入用户的操作和来自连接到PC 50的外部装置的数据的接口。例如，输入设备50H7可以是键盘、鼠标或其组合。此外，输入装置50H7可以包括用于将诸如键盘或图像捕获装置之类的外部装置连接到PC 50的连接器、驱动器等。
输出设备50H8是用于向用户显示信息并将数据输出到连接到PC 50的外部装置的接口。例如，输出设备50H8可以是显示器等。此外，输出设备50H8可以包括例如用于将显示器连接到PC 50的连接器、驱动器等。
存储设备50H9存储输入数据、程序等。存储设备50H9可以包括主存储设备、辅助存储设备等。
注意，信息处理装置的硬件配置不限于所示的配置。例如，硬件配置还可以包括计算设备、控制设备、存储设备等作为附加的内部或外部组件。此外，例如，信息处理装置可以由多个装置而不是单个装置进行配置。
<整体处理示例>
图12是示出根据本发明实施例的图像处理***的信息处理装置实现的示例整体处理的流程图。例如，在图像处理***中，PC可以相对于从全方位相机1输入的捕获图像执行以下处理操作。
在步骤S101中，PC获取转换数据。注意，PC获取每个图像捕获元件的转换数据。也就是说，例如，在如图1所示的全方位相机1被连接到PC的情况下，PC获取两个图像捕获元件1H3和1H4中的每一个的转换数据。在下面的描述中，如图1所示的第一图像捕获元件1H3的转换数据被称为“第一转换数据”。类似地，如图2所示的第二图像捕获元件1H4的转换数据被称为“第二转换数据”。也就是说，在本示例中，PC从全方位相机1获取第一转换数据和第二转换数据。
此外，因为第一转换数据和第二转换数据相对于每个全方位相机而不同，所以当不同的全方位相机连接到PC时，PC从新连接的全方位相机获取第一转换数据和第二转换数据。
在下文中，通过基于第一转换数据的转换生成的图像，即，通过转换第一捕获图像而生成的图像被称为“第一转换图像”。另一方面，通过基于第二转换数据的转换生成的图像，即，通过转换第二捕获图像而生成的图像被称为“第二转换图像”。
注意，转换数据可以与诸如全方位相机之类的特定图像捕获装置相关联地存储。也就是说，PC可以获取并存储每个图像捕获装置的第一转换数据和第二转换数据。例如，转换数据可以包括能够唯一地标识每个全方位相机的标识数据，例如ID(标识)或标识号。当全方位相机连接到PC时，PC可以获取所连接的全方位相机的标识号，并将所获取的连接的全方位相机的标识号与存储在PC中的先前获取的转换数据中包括的标识数据(标识号)进行比较。
如果与标识号相关联的转换数据与连接的全方位相机的标识号相同，则将转换数据存储在PC中，PC可以使用由相关标识数据所标识的转换数据。换句话说，基于包括在转换数据中的标识数据，PC可以使用每个图像捕获装置的适当的转换数据。
例如，转换数据可以是LUT(查找表)格式的数据，如下面的表1所示。
[表1]
如上表1所示，转换数据是将转换前的坐标与转换后的坐标相关联的数据。此外，每个全方位相机的转换数据也不同。全方位相机的参数因设备而异。因此，受参数影响的转换数据对于每个全方位相机也不同。具体地，转换数据可以是所谓的网格文件等。也就是说，例如，转换数据可以是用于OpenGL(注册商标)中的纹理映射的数据。此外，当基于转换数据转换捕获图像时，捕获图像被布置为输出图像的一部分，并且经历诸如失真校正之类的图像处理。注意，下面将参考步骤S103详细描述使用转换数据的图像处理。
返回参考图12，在步骤S102中，PC输入多个捕获图像。即，在步骤S102中，从连接到PC的全方位相机输入多个捕获图像。具体地，在图1的全方位相机1被连接的示例情况下，PC输入两个捕获图像。也就是说，在图1的全方位相机1被连接的示例情况下，PC输入第一捕获图像和第二捕获图像。
在步骤S103中，PC拼接输入的捕获图像的转换图像并生成输出图像。首先，在步骤S103中，PC基于转换数据转换输入的捕获图像以生成转换后的图像。具体地，例如，PC可以执行以下转换处理。
图13和图14是示出根据本发明实施例的输出图像和捕获图像的示例的图。例如，在图12的步骤S103中，PC可以以如图13所示的格式生成并输出输出图像IMGOUT。即，例如，输出图像IMGOUT可以是等距矩形图像。另一方面，例如，在图12的步骤S102中，PC可以以如图14所示的格式输入多个捕获图像。从图13和图14可以理解，捕获图像和输出图像的每个像素由指示相对于预定轴的角度(下文中称为“垂直角”)和垂直于垂直角的角度(下文中称为“水平角θ”)的坐标值来定义。在下文中，假设水平角θ在0°至360°的范围内。然而，注意，水平角θ也可以在例如-180°至180°的范围内。此外，假设垂直角在0°至180°的范围内。然而，注意，垂直角也可以在例如-90°至90°的范围内。当如上表1中所示基于转换数据来转换每个捕获图像的每个像素时，转换图像被生成，并且当生成的转换图像被拼接时，输出图像被生成。具体地，例如，可以执行如下所述的转换处理。
图15是示出根据本发明实施例的使用转换数据的示例转换处理的图。具体地，输出图像IMGOUT的示例在图15的(A)中示出。另一方面，捕获图像的示例在图15的(B)中示出。首先，PC基于如上表1所示的转换数据转换捕获图像。如图15所示，基于上表1中所示的转换数据，捕获图像的每个像素被PC映射到输出图像IMGOUT上的相应坐标上。也就是说，如上表1中所示的转换数据是用于将由平面坐标系(x，y)定义的捕获图像的像素投影到球面坐标系的对应像素位置上的数据。注意，转换数据还可以反映基于镜头规格等的投影关系，如上面参考图4和图5所述。也就是说，通过基于转换数据执行图像转换，可以校正图像失真、像差等。注意，根据本发明实施例的转换处理还可以包括例如如下所述的执行旋转转换。
图16是示出根据本发明实施例的示例旋转转换处理的图。在下文中，将描述基于如图16的(A)和(B)所示的捕获图像输出图16的(C)中所示的输出图像IMGOUT的示例。如在所示示例中，根据第一图像捕获元件1H3(图1)和第二图像捕获元件1H4(图1)的朝向，一个捕获图像可以相对于另一个捕获图像被反转(上下翻转)。也就是说，例如，捕获图像的向上和向下方向可以被反转。在这种情况下，捕获的图像可以处于所谓的“上下翻转”状态，其中在一个捕获图像中捕获的对象相对于在另一个捕获图像中捕获的对象被反转(上下翻转)。在这种情况下，PC可以执行旋转转换以校正捕获图像的“上下翻转”朝向。具体地，在本示例中，PC可以进一步执行旋转转换以反转图16的(B)中所示的捕获图像，来生成在图16的(C)中所示的输出图像IMGOUT。
然后，PC可以基于转换数据对转换图像进行拼接以生成输出图像并输出所生成的输出图像。注意，例如，拼接处理可以包括如下所述的处理操作。
图17是示出根据本发明实施例的信息处理装置实现的示例拼接处理的流程图。注意，例如，图17的处理可以对应于图12中的步骤S103的处理。
在步骤S201中，PC检测拼接位置。例如，可以通过对表示在图2中所示的重叠区域2中捕获的对象的像素进行检测，来确定每个转换的捕获图像的拼接位置。具体地，例如，可以通过以下处理操作来实现拼接位置的检测。
图18是示出由根据本发明实施例的信息处理装置实现的示例拼接位置检测处理的流程图。例如，图18的拼接位置检测处理可以在图17的步骤S201中执行，以检测第一转换图像和第二转换图像被拼接的拼接位置。在所示示例中，针对包括在第一转换图像的重叠区域2(图2)中的每个像素重复步骤S301和S302。注意，在本示例中，假设包括在重叠区域2中的像素 具有由从“0°”到“360°”范围内的球面坐标系定义的水平角θ(图13)。此外，假设包括在重叠区域2中的像素具有由球面坐标系定义的垂直角(图13)，该垂直角在到的范围内。注意，和分别表示基于透镜的总视角预先定义的重叠区域2的开始角度和结束角度。即，和是用于执行如下所述的重叠区域2中包括的像素的图案匹配的预设值。
在步骤S301中，PC在图案匹配中设置要搜索的图像(下文中称为“图案图像”)。例如，可以设置如下所述的图案图像。
图19和图20是示出在根据本发明实施例的拼接位置检测处理中实现的图案匹配的示例的图。在下文中，将描述设置如图19所示的图案图像300的示例。具体地，例如，可以将如图19所示的具有作为中心像素的由星形标记(☆)指示的像素的11×11像素图像从第一转换图像的重叠区域2(图2)中切出，并将其设置为图案图像300。在球面坐标系中，水平角θ的两端(即“0°”和“360°”)相互连接，因此，假设一端的像素连接到另一端的像素。
返回参考图18，在步骤S302中，PC检测拼接位置。例如，可以基于在步骤S301中设置的图案图像以下面的方式检测拼接位置。
图20示出了通过第二转换图像的重叠区域2中的图案匹配来检测拼接位置的示例方法。例如，拼接位置可以通过移位来指示，如图21所示。具体地，首先，PC可以在水平角θ方向和垂直角方向(图20中的水平和垂直方向)上移动在第二转换图像的重叠区域2内的图19中的图案图像300。然后，PC可以计算模板匹配中使用的相似度，例如，测量图案图像300和第二转换图像的像素之间的相似度，并计算可以获得高相似度的位置与图案图像300的当前位置(图20中的“原样位置”)之间的距离。例如，可以使用SAD(绝对差之和)方法或SSD(平方差之和)方法来计算相似度。或者，可以使用例如POC(仅相位相关)方法或ZNCC(零正态归一化互相关)方法来计算相似度。移位指示以上述方式计算的距离。即，在图20中，当位于“原样位置”的图案图像300移动由移位指示的距离时，图案图像300可以匹配由第二转换图像的重叠区域2指示的图像。以这种方式，PC可以将由计算出的偏移指示的位置检测为本示例中的拼接位置。
返回参考图17，在步骤S202中，PC通过对转换图像进行拼接来生成输出图像。例如，如下所述，PC可以通过拼接第一转换图像和第二转换图像来生成输出图像。
图21是图示根据本发明实施例的生成输出图像的示例处理的图。在下文中，将描述如图21中所示的PC转换并拼接第一捕获图像IMG1和第二捕获图像IMG2以生成输出图像IMGOUT的示例。
在图21中，第一捕获图像IMG1和第二捕获图像IMG2分别基于相应的转换数据被转换为第一转换图像IMGC1和第二转换图像IMGC2，并且第一转换图像IMGC1和第二转换图像IMGC2被布置以构成输出图像IMGOUT的一部分。
如图21中所示，为了表示与由仅存在于第一捕获图像IMG1或第二捕获图像IMG2中的像素表示的区域相对应的输出图像IMGOUT中指示的图像，包括在第一捕获图像IMG1或第二捕获图像IMG2中的像素被使用。另一方面，为了表示与由存在于第一捕获图像IMG1和第二捕获图像IMG2二者中的像素表示的区域(即，重叠区域2)相对应的输出图像IMGOUT中指示的图像，第一捕获图像IMG1和第二捕获图像IMG2的像素可以被混合或以其他方式被处理和使用。注意，例如，像素可以在被用作输出图像IMGOUT的像素时被校正。
当通过如上所述计算移位来检测拼接位置时，例如，PC布置第一转换图像IMGC1和第二转换图像IMGC2，使得第一转换图像IMGC1和第二转换图像IMGC2在重叠区域2中的像素在所检测的拼接位置处被拼接。注意，例如，可以通过用户操作来调整拼接位置。
在具有如图10所示的配置的图像处理***10中，因为PC 50包括转换数据，所以在对捕获图像进行转换之后，PC 50可以在生成输出图像时调整转换图像的拼接位置。因为具有多个光学***的图像捕获装置(例如全方位相机1)具有不同的光学***，所以在捕获图像中经常存在视差。结果，例如，拼接位置可以根据在每个捕获图像中捕获的成像对象的距离而变化。具体地，例如，在一个捕获图像中捕获的对象的距离处于无限远距离且另一个捕获图像中对象的距离处于近距离的情况，与在捕获图像的两者中的捕获距离均处于无限远距离的情况之间，拼接位置通常不同。因此，在优选实施例中，拼接位置被布置成可调节的。
为了调整拼接位置，例如，首先，用户可以观看输出的输出图像IMGOUT，并输入转换图像中的一个要移动的移动量。在下文中，将描述如图21所示的移动第二转换图像IMGC2的位置以调整拼接位置的示例。注意，也可以通过移动第一转换图像IMGC1的位置来进行调整。
例如，在图21所示的示例中，移动量可以包括指示用于在垂直角方向上移动第二转换图像IMGC2的位置的移动量的值(下文中称为“第一移动量P1”)，和指示用于在水平角θ方向上移动第二转换图像IMGC2的位置的移动量的值(下文中称为“第二移动量P2”)。PC输入第一移动量P1和第二移动量P2中的至少一个。例如，当PC的图像输出单元VE(图10)显示用于输入移动量的诸如滚动条之类的GUI并且用户UR经由所显示的GUI输入操作时，PC可以输入移动量。反过来，PC可以将第二转换图像IMGC2布置在由输入的移动量所指示的位置处。以这种方式，即使在存在视差等的情况下，PC也可以精确地拼接图像。
在优选实施例中，至少第二移动量P2被输入以调整拼接位置。这是因为由于视差等的存在，更可能发生水平角θ方向上的移位和偏差。也就是说，PC优选地基于第二移动量P2的输入来调整转换图像之间的重叠量。以这种方式，当第二移动量P2被输入到PC并且执行水平角θ方向上的调整时，即使在存在视差等的情况下，PC也可以以更高的精度拼接图像。
<功能配置示例>
图22是示出根据本发明实施例的图像处理***10的示例功能配置的功能框图。例如，图像处理***10可以包括作为图像捕获装置的示例的全方位相机1，以及作为信息处理装置的示例的PC 50。在所示的示例中，PC 50包括输入单元10F1、获取单元10F2和生成单元10F3。
输入单元10F1从全方位相机1输入包括至少第一捕获图像和第二捕获图像的捕获图像。输入单元10F1可以由通信设备50H6(图11)和/或输入设备50H7(例如，图11)实现。
获取单元10F2获取用于转换第一捕获图像的第一转换数据和用于转换第二捕获图像的第二转换数据。例如，获取单元10F2可以由通信设备50H6(图11)和/或输入设备50H7(图11)实现。
生成单元10F3通过对基于第一转换数据转换第一捕获图像及基于第二转换数据转换第二捕获图像而生成的转换图像进行拼接来生成输出图像。例如，生成单元10F3可以由CPU 50H1(图11)实现。
在图像处理***10中，PC 50的获取单元10F2预先从全方位相机1获取第一转换数据和第二转换数据。因此，PC 50可以使用预先获取的转换数据来转换由输入单元10F1输入的第一捕获图像和第二捕获图像。反过来，PC 50的生成单元10F3可以通过对转换图像进行拼接来生成输出图像。注意，转换数据是反映每个图像捕获装置的参数等的数据。这样，转换数据对于每个图像捕获装置而不同。因此，通过配置如图22所示的PC 50，从而使得PC可以获取每个图像捕获装置的转换数据，以便根据每个图像捕获装置的参数等执行转换，PC50可以适当地转换每个捕获图像并以更高的精度拼接多个转换图像来生成输出图像。反过来，图像处理***10可以将生成的输出图像输出到用户UR。
注意，根据本发明的实施例可以通过包括固件的程序来实现。也就是说，根据本发明的实施例可以通过用于使信息处理装置或具有一个或多个信息处理装置的图像处理***执行图像处理方法的程序来实现。此外，程序可以经由记录介质、网络等安装在信息处理装置等中。记录介质可以是计算机可读记录介质，例如光盘。此外，计算机可读记录介质可以是诸如USB(通用串行总线)存储器之类的便携式记录介质或诸如闪存之类的半导体存储器。
尽管以上参考某些说明性实施例对本发明进行了描述，但是本发明不限于上述实施例。即，可以在本发明的范围内进行各种修改和改变。
本申请基于2016年3月22日提交的日本专利申请No.2016-057354并要求其优先权日的权益，其全部内容通过引用并入本文。
附图标记说明
1 全方位相机
10 图像处理***
50 PC
IMG1 第一捕获图像
IMG2 第二捕获图像
IMGC1 第一转换图像
IMGC2 第二转换图像
IMGOUT 输出图像
现有技术文件
专利文件
专利文献1：日本专利No.5842886
Claims (10)
1.一种图像处理***，包括：
图像捕获装置，被配置为生成多个捕获图像；以及
至少一个信息处理装置，被连接到所述图像捕获装置；
其中所述信息处理装置包括：
输入单元，被配置为输入来自所述多个捕获图像中的至少第一捕获图像和第二捕获图像；
获取单元，被配置为获取用于转换所述第一捕获图像的第一转换数据以及用于转换所述第二捕获图像的第二转换数据；以及
生成单元，被配置为对通过基于所述第一转换数据转换所述第一捕获图像及基于所述第二转换数据转换所述第二捕获图像而生成的转换图像进行拼接，来生成输出图像。
2.根据权利要求1所述的图像处理***，其中，所述获取单元获取用于多个图像捕获装置中的每个图像捕获装置的第一转换数据和第二转换数据。
3.根据权利要求1所述的图像处理***，其中，
第一转换数据和第二转换数据包括能够标识所述图像捕获装置的标识数据；并且
使用包括与所述图像捕获装置相对应的标识数据的所述第一转换数据和第二转换数据来转换第一捕获图像和第二捕获图像。
4.根据权利要求1所述的图像处理***，其中，调整所述转换图像要被拼接的拼接位置。
5.根据权利要求1所述的图像处理***，其中，
输入用于移动至少一个转换图像的移动量，并且基于输入的移动量来调整所述转换图像要被拼接的拼接位置。
6.根据权利要求5所述的图像处理***，其中，基于用于移动至少一个转换图像的所述输入的移动量来调整所述转换图像之间的重叠量。
7.根据权利要求1所述的图像处理***，其中，所述图像捕获装置包括鱼眼镜头或广角镜头。
8.根据权利要求1所述的图像处理***，其中，
第一转换数据和第二转换数据包括用于在所述输出图像的一部分中布置第一捕获图像和第二捕获图像，并且对所述第一捕获图像和第二捕获图像实现失真校正的数据。
9.一种由图像处理***实现的图像处理方法，所述图像处理***包括被配置为生成多个捕获图像的图像捕获装置，以及连接到所述图像捕获装置的至少一个信息处理装置，所述图像处理方法包括：
输入步骤，所述信息处理装置输入来自所述图像捕获装置的多个捕获图像中的第一捕获图像和第二捕获图像；
获取步骤，所述信息处理装置获取用于转换所述第一捕获图像的第一转换数据以及用于转换所述第二捕获图像的第二转换数据；以及
生成步骤，所述信息处理装置通过对基于所述第一转换数据转换所述第一捕获图像及基于所述第二转换数据转换所述第二捕获图像而生成的转换图像进行拼接，来生成输出图像。
10.一种由计算机执行的程序，所述计算机包括被配置为生成多个捕获图像的图像捕获装置，以及连接到所述图像捕获装置的至少一个信息处理装置，所述程序在被执行时使所述计算机实现图像处理方法，包括：
输入步骤，所述计算机输入来自所述图像捕获装置的多个捕获图像中的第一捕获图像和第二捕获图像；
获取步骤，所述计算机获取用于转换所述第一捕获图像的第一转换数据以及用于转换所述第二捕获图像的第二转换数据；以及
生成步骤，所述计算机通过对基于所述第一转换数据转换所述第一捕获图像及基于所述第二转换数据转换所述第二捕获图像而生成的转换图像进行拼接，来生成输出图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016-057354 | 2016-03-22 | ||
| JP2016057354 | 2016-03-22 | ||
| PCT/JP2016/088958 WO2017163527A1 (ja) | 2016-03-22 | 2016-12-27 | 画像処理システム、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108886562A true CN108886562A (zh) | 2018-11-23 |
| CN108886562B CN108886562B (zh) | 2021-07-13 |
Family
ID=59901044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680083721.0A Active CN108886562B (zh) | 2016-03-22 | 2016-12-27 | 图像处理***、图像处理方法及计算机可读存储介质 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10750087B2 (zh) |
| EP (1) | EP3435652A1 (zh) |
| JP (1) | JP6687103B2 (zh) |
| KR (1) | KR20180113601A (zh) |
| CN (1) | CN108886562B (zh) |
| WO (1) | WO2017163527A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180051288A (ko) * | 2016-11-08 | 2018-05-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US10966017B2 (en) | 2019-01-04 | 2021-03-30 | Gopro, Inc. | Microphone pattern based on selected image of dual lens image capture device |
| JP2022184139A (ja) * | 2021-05-31 | 2022-12-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1985266A (zh) * | 2004-07-26 | 2007-06-20 | 奥普提克斯晶硅有限公司 | 全景视觉***和方法 |
| CN102222337A (zh) * | 2011-06-14 | 2011-10-19 | 重庆大学 | 用于图像拼接的鱼眼图像校正方法 |
| CN102436649A (zh) * | 2010-08-31 | 2012-05-02 | 佳能株式会社 | 图像处理装置和方法 |
| US8391640B1 (en) * | 2008-08-29 | 2013-03-05 | Adobe Systems Incorporated | Method and apparatus for aligning and unwarping distorted images |
| CN103530626A (zh) * | 2012-07-03 | 2014-01-22 | 财团法人车辆研究测试中心 | 自动校正鸟瞰影像方法 |
| US20140071227A1 (en) * | 2012-09-11 | 2014-03-13 | Hirokazu Takenaka | Image processor, image processing method and program, and imaging system |
| US20160028950A1 (en) * | 2014-07-23 | 2016-01-28 | Disney Enterprises, Inc. | Panoramic Video from Unstructured Camera Arrays with Globally Consistent Parallax Removal |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5842886B2 (ja) | 1976-12-14 | 1983-09-22 | 松下電器産業株式会社 | 定電圧装置 |
| US6717608B1 (en) * | 1999-12-31 | 2004-04-06 | Stmicroelectronics, Inc. | Motion estimation for panoramic digital camera |
| US7006706B2 (en) * | 2002-04-12 | 2006-02-28 | Hewlett-Packard Development Company, L.P. | Imaging apparatuses, mosaic image compositing methods, video stitching methods and edgemap generation methods |
| JP2008048022A (ja) * | 2006-08-11 | 2008-02-28 | Canon Inc | 監視システム及び方法、並びにプログラム及び記憶媒体 |
| JP5526984B2 (ja) * | 2010-04-28 | 2014-06-18 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置 |
| JP6123274B2 (ja) | 2012-03-08 | 2017-05-10 | 株式会社リコー | 撮像装置 |
| JP2013214947A (ja) | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
| JP5904849B2 (ja) * | 2012-04-10 | 2016-04-20 | キヤノン株式会社 | 情報処理装置、制御方法、プログラム、及び撮像システム |
| JP6079031B2 (ja) | 2012-08-01 | 2017-02-15 | 株式会社リコー | 撮像装置 |
| JP6065474B2 (ja) | 2012-09-11 | 2017-01-25 | 株式会社リコー | 撮像制御装置、撮像制御方法およびプログラム |
| JP5971207B2 (ja) | 2012-09-18 | 2016-08-17 | 株式会社リコー | 画像調整装置、画像調整方法およびプログラム |
| JP2014112302A (ja) | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
| JP6044328B2 (ja) | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
| JP5796611B2 (ja) * | 2013-08-28 | 2015-10-21 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび撮像システム |
| CA2922081C (en) | 2013-08-28 | 2016-12-06 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and imaging system |
| US9892493B2 (en) * | 2014-04-21 | 2018-02-13 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
| TWI558208B (zh) * | 2015-07-14 | 2016-11-11 | 旺玖科技股份有限公司 | 影像處理方法、影像處理裝置及顯示系統 |
| KR20170025058A (ko) * | 2015-08-27 | 2017-03-08 | 삼성전자주식회사 | 영상 처리 장치 및 이를 포함하는 전자 시스템 |
| US20170126985A1 (en) * | 2015-10-30 | 2017-05-04 | Gopro, Inc. | Enumeration of Cameras in an Array |
| US10116880B2 (en) * | 2016-02-05 | 2018-10-30 | Sintai Optical (Shenzhen) Co., Ltd. | Image stitching method and image processing apparatus |
| US10194089B2 (en) * | 2016-02-08 | 2019-01-29 | Qualcomm Incorporated | Systems and methods for implementing seamless zoom function using multiple cameras |
-
2016
- 2016-12-27 CN CN201680083721.0A patent/CN108886562B/zh active Active
- 2016-12-27 KR KR1020187027055A patent/KR20180113601A/ko active IP Right Grant
- 2016-12-27 WO PCT/JP2016/088958 patent/WO2017163527A1/ja active Application Filing
- 2016-12-27 EP EP16895550.8A patent/EP3435652A1/en not_active Withdrawn
- 2016-12-27 JP JP2018506784A patent/JP6687103B2/ja active Active
-
2018
- 2018-09-19 US US16/135,397 patent/US10750087B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1985266A (zh) * | 2004-07-26 | 2007-06-20 | 奥普提克斯晶硅有限公司 | 全景视觉***和方法 |
| US8391640B1 (en) * | 2008-08-29 | 2013-03-05 | Adobe Systems Incorporated | Method and apparatus for aligning and unwarping distorted images |
| CN102436649A (zh) * | 2010-08-31 | 2012-05-02 | 佳能株式会社 | 图像处理装置和方法 |
| CN102222337A (zh) * | 2011-06-14 | 2011-10-19 | 重庆大学 | 用于图像拼接的鱼眼图像校正方法 |
| CN103530626A (zh) * | 2012-07-03 | 2014-01-22 | 财团法人车辆研究测试中心 | 自动校正鸟瞰影像方法 |
| US20140071227A1 (en) * | 2012-09-11 | 2014-03-13 | Hirokazu Takenaka | Image processor, image processing method and program, and imaging system |
| US20160028950A1 (en) * | 2014-07-23 | 2016-01-28 | Disney Enterprises, Inc. | Panoramic Video from Unstructured Camera Arrays with Globally Consistent Parallax Removal |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3435652A4 (en) | 2019-01-30 |
| JP6687103B2 (ja) | 2020-04-22 |
| WO2017163527A1 (ja) | 2017-09-28 |
| KR20180113601A (ko) | 2018-10-16 |
| CN108886562B (zh) | 2021-07-13 |
| US20190020818A1 (en) | 2019-01-17 |
| EP3435652A1 (en) | 2019-01-30 |
| US10750087B2 (en) | 2020-08-18 |
| JPWO2017163527A1 (ja) | 2018-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200288059A1 (en) | Image processor, image processing method and program, and imaging system | |
| US10009540B2 (en) | Image processing device, image capturing device, and image processing method for setting a combination parameter for combining a plurality of image data | |
| US10230907B2 (en) | Thermal imaging device and normative photographing method for thermal image | |
| EP3331231A1 (en) | Image processing apparatus, image processing method, and imaging system | |
| WO2015180659A1 (zh) | 图像处理方法和图像处理装置 | |
| US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
| US11184559B2 (en) | Image processing device, image processing method, and imaging device | |
| EP2635019B1 (en) | Image processing device, image processing method, and program | |
| CN108886562A (zh) | 图像处理***、图像处理方法及程序 | |
| US8937676B2 (en) | Video processing apparatus, imaging apparatus, video processing method, and storage medium | |
| US10701286B2 (en) | Image processing device, image processing system, and non-transitory storage medium | |
| JP6497030B2 (ja) | 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体 | |
| JP6257260B2 (ja) | 撮像装置及びその制御方法 | |
| US20180376130A1 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
| CN111521127B (zh) | 测量方法、测量装置以及记录介质 | |
| WO2021149509A1 (ja) | 撮像装置、撮像方法、及び、プログラム | |
| JP7321772B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US11880991B2 (en) | Imaging apparatus including depth information at first or second spatial resolution at different regions in the image | |
| JP6624880B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2015197429A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| CN117915058A (zh) | 图像透视方法、装置、存储介质、电子设备和xr设备 | |
| JP2018078461A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |