CN103002210B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN103002210B
CN103002210B CN201210325717.4A CN201210325717A CN103002210B CN 103002210 B CN103002210 B CN 103002210B CN 201210325717 A CN201210325717 A CN 201210325717A CN 103002210 B CN103002210 B CN 103002210B
Authority
CN
China
Prior art keywords
image
energy
pixel
transmissivity
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210325717.4A
Other languages
English (en)
Other versions
CN103002210A (zh
Inventor
松本康佑
宫本直知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN103002210A publication Critical patent/CN103002210A/zh
Application granted granted Critical
Publication of CN103002210B publication Critical patent/CN103002210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

摄像装置具备：能量计算部，其基于一个图像和成为该一个图像的合成对象的其它图像，来分别计算与所述一个图像内的各关注像素对应的能量；能量最小路径搜索部，其搜索分别计算出的关注像素的能量成为最小的所述一个图像中的路径；范围搜索部在所述一个图像内搜索具有与搜索到的路径中的该一个图像内的各关注像素的值相似的值的像素范围；α混合宽度决定部，其基于搜索到的像素范围，决定以所述路径为起点的所述一个图像和所述其它图像的混合宽度；透射率设定部，其基于所决定的混合宽度来设定合成时的所述一个图像以及所述其他的图像之间的透射率；合成部，其基于所述混合宽度、和所设定的透射率，来合成所述一个图像和所述其它图像。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及图像处理装置以及图像处理方法。
背景技术
作为现有技术，在特开平11-282100号公报中，记载了通过按照使连续拍摄的多个图像的相同的特征点一致的方式来实施合成该多个图像的数据，由此生成全景图像等的宽范围的图像的数据的技术。
但是，一般地，在多个图像彼此间，难以使阴影带来的影响、快门按钮的按下时机、摄像元件的曝光的时机等的摄像条件完全一致。因此，在合成多个图像的数据来生成1张宽范围的图像的数据的情况下，合成后的图像的数据受到多个图像各自的摄像条件的差异引起的曝光值的差的影响。
另外，还有一边二维地移动摄像装置一边拍摄多个图像，合成这些多个图像的数据来生成宽范围的图像的数据的情况。这种情况下，即使应用上述专利文献1的合成技术，生成的宽范围的图像的数据也会由于多个图像彼此间的各自的曝光值不同，而无法正确地进行特征点的位置对准，产生在图像的相连的部分出现亮度不均匀的情况。因此，若显示合成后的宽范围的图像，会有让鉴赏者觉得不谐调的担心。
发明内容
本发明鉴于这样的情况而提出，目的在于降低合成的宽范围的图像的相连部分的不谐调。
为了达成上述目的，本发明的一个形态的图像处理装置，特征在于，具备：能量计算单元，其基于一个图像和成为该一个图像的合成对象的其它图像，分别计算与所述一个图像内的各关注像素对应的能量；能量最小路径搜索单元，其搜索所述能量计算单元所分别计算出的关注像素的能量成为最小的所述一个图像中的路径；范围搜索单元，其在所述一个图像内，搜索具有与所述能量最小路径搜索单元搜索到的路径上的所述一个图像的各关注像素的值相似的值的像素范围；混合宽度决定单元，其基于所述范围搜索单元搜索到的像素范围，来决定以所述路径为起点的所述一个图像和所述其它图像的混合宽度；透射率设定单元，其基于所述混合宽度决定单元所决定的混合宽度，来设定合成时的所述一个图像和所述其它图像之间的透射率；合成单元，其基于所述混合宽度、和由所述透射率设定单元设定的透射率，来合成所述一个图像和所述其它图像。
附图说明
图1是表示本发明的一个实施方式所涉及的摄像装置的硬件构成的框图。
图2是表示宽幅图像(wide image)的数据的生成手法的一例的示意图。
图3是表示摄像装置的宽幅图像合成处理的概略的示意图。
图4是表示宽幅图像合成处理中的垂直方向合成处理的概略的示意图。
图5是表示图1的摄像装置的功能的构成中的用于执行宽幅图像合成处理的功能性构成的功能框图。
图6是表示能量分布图生成部中的能量分布图的生成手法的一例的示意图。
图7是表示能量最小路径搜索部中的搜索能量最小路径的手法的一例的示意图。
图8是表示对具有与范围搜索部的能量最小路径中的一个图像的数据内的各关注像素的值相似的值的像素范围进行搜索的手法的一例的示意图。
图9是表示用于决定α混合宽度决定部中的混合宽度的手法的一例的示意图。
图10是表示用于生成α混合分布图生成部中的α混合分布图的手法的一例的示意图。
图11是说明摄像装置所执行的宽幅图像合成处理的流程的流程图。
图12是说明摄像装置所执行的垂直方向合成处理的流程的流程图。
具体实施方式
下面，关于本发明的实施方式，作为图像处理装置的一例，使用附图对摄像装置1进行说明。
图1是表示本发明的一个实施方式所涉及的摄像装置1的硬件构成的框图。
摄像装置1例如由数码照相机构成。
摄像装置1具备：CPU(Central Processing Unit，中央处理单元)11、ROM(Read Only Memory，只读存储器)12、RAM(Random Access Memory，随机存取存储器)13、图像处理部14、总线15、输入输出接口16、摄像部17、加速度传感器18、输入部19、输出部20、存储部21、通信部22、以及驱动器23。
CPU11按照记录在ROM 12中的程序或从存储部21加载到RAM 13中的程序来执行各种处理。
在RAM13中，还适当存储有在CPU11执行各种处理上所需要的数据等。
图像处理部14由DP S(Digital Signal Processor，数字信号处理器)、VRAM(Video Random Access Memory，视频随机存取存储器)等构成，与CPU11联动来对图像的数据实施各种图像处理。
CPU11、ROM12、RAM 13以及图像处理部14介由总线15而相互连接。在该总线15还连接有输入输出接口16。在输入输出接口16连接有摄像部17、加速度传感器18、输入部19、输出部20、存储部21、通信部22以及驱动器23。
摄像部17虽未图示，但具备光学镜头部和图像传感器。
光学镜头部为了拍摄被摄体，由会聚光的透镜例如聚焦透镜或变焦透镜等构成。
聚焦透镜是用于使被摄体像成像于图像传感器的受光面的透镜。变焦透镜是使焦距在一定的范围内变化的透镜。
光学镜头部还根据需要而设有调整焦点、曝光、白平衡等的设定参数的周边电路。
图像传感器由光电变换元件、AFE(Analog Front End，模拟前端)等构成。
光电变换元件例如由CMO S(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)型的光电变换元件等构成。从光学镜头部将被摄体像入射到光电变换元件。由此，光电变换元件对被摄体像进行光电变换(拍摄)并使图像信号积蓄一定时间，将积蓄的图像信号作为模拟信号而依次提供给AFE。
AFE对该模拟的图像信号执行A/D(Analog/Digital，模拟/数字)变换处理等的各种信号处理。通过各种信号处理，生成数字信号，并将其作为摄像部17的输出信号而输出。
在此，将通过1次的摄像动作而从摄像部17输出的输出信号在下面称作“帧图像的数据”。即，由于所谓连拍动作是多次的摄像动作的反复，因此，通过连拍动作将多个帧图像的数据从摄像部17输出。
在本实施方式中，作为帧图像，采用纵横比(aspect ratio)为4∶3的通常图像。
加速度传感器18构成为能检测摄像装置1的速度和加速度。
输入部19由各种按钮构成，用于按照用户的指示操作来输入各种信息。
输出部20由显示器、扬声器等构成，输出图像、声音。在本实施方式的输出部20设有纵横比(aspect ratio)为4∶3的显示器，以使得能显示通常图像的画面整体。
存储部21由硬盘或DRAM(Dynamic Random AccessMemory，动态随机存取存储器)等构成，用来存储各种图像的数据。
通信部22介由包含因特网在内的网络而控制与其它的装置(未图示)之间进行的通信。
在驱动器23中适当地安装有由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。由驱动器23从可移动介质31中读取的程序根据需要而安装在存储部21上。另外，可移动介质31还能与存储部21相同地，存储存储部21中所存储的通信的数据等的各种数据。
具有这样的构成的摄像装置1能执行宽幅图像合成处理。
在本实施方式中，所谓“宽幅图像合成处理”是指，使摄像部17进行连拍动作，通过对作为结果而获得的多张帧图像的数据进行合成来生成多张的全景图像的数据，通过对这些生成的多张全景图像的数据进行合成来生成宽幅图像的一系列的处理。
在此，为了使宽幅图像合成处理的理解变得容易，说明宽幅图像合成处理的概要。在宽幅图像合成处理的概要的说明中，首先参照图2来说明摄像装置1中的宽幅图像的数据的生成手法的概略，接下来，参照图3来说明摄像装置1中的宽幅图像合成处理的概略，参照图4来说明宽幅图像合成处理中的垂直方向合成处理的概略。
图2是表示宽幅图像的数据生成手法的一例的示意图。
在图2中图示了用户拍摄建筑物作为宽幅图像的情况的示例。在本实施方式中，将从左侧向右侧或从右侧向左侧的方向称作“水平方向”，将从上侧向下侧或从下侧向上侧的方向称作“垂直方向”。另外，在本实施方式中，对通过在水平方向上合成多张的帧图像的数据而生成的图像称作“全景图像”，将通过在垂直方向上合成多张全景图像的数据而生成的宽范围的图像称作“宽幅图像”。
在本实施方式中，作为摄像装置1的动作模式，存在拍摄通常图像的模式(下面称作“通常模式”)、和拍摄宽幅图像的模式(下面称作“宽幅模式”)。
由此，用户通过对输入部19进行规定的操作，来将摄像装置1的动作模式切换为宽幅模式。
接下来，用户以保持摄像装置1的状态，进行将输入部19的未图示的快门开关按下到下限的操作(下面称作“全按下操作”)。由此，开始宽幅图像合成处理。摄像装置1开始摄像部17的连拍动作。
接下来，在维持快门开关的全按下操作的状态下，首先，在图2中上侧，使摄像装置1从左侧向右侧的方向移动，接下来，在图2中下侧，在使摄像装置1移动后，使摄像装置1从右侧向左侧的方向移动。
摄像装置1在移动中，基于加速度传感器18的检测结果来检测移动量，每当该移动量到达规定量，就使摄像部17拍摄被摄体，并存储所得到的结果的帧图像的数据，如此反复进行。
具体地，在本例中，摄像装置1在从摄像的开始位置(开始全按下操作的位置)起的水平方向的移动量到达了规定量时，进行第1次的拍摄，存储第1帧图像的数据。
进而，摄像装置1在从第1次的摄像位置起的移动量到达了规定量时，进行第2次的拍摄，存储第2帧图像的数据。
进而，摄像装置1在从第2次的摄像位置起的移动量到达了规定量时，进行第3次的拍摄，存储第3帧图像的数据。
之后，摄像装置1在检测到规定量以上的垂直方向的移动后，存储水平方向的移动的总量(从开始全按下操作的位置起的累计移动量)。
然后，接下来，摄像装置1在从检测到规定量以上的垂直方向的移动的位置起的水平方向的移动量到达规定量时，进行第4次拍摄，存储第4帧图像的数据。
进而，摄像装置1在从第4次的摄像位置起的移动量到达了规定量时，进行第5次的拍摄，存储第5帧图像的数据。
进而，摄像装置1在从第5次的摄像位置起的移动量到达了规定量时，进行第6次的拍摄，存储第6帧图像的数据。
之后，摄像装置1检测到与检测规定量以上的垂直方向的移动的之前的移动量相同量的移动后，结束摄像部17的连拍动作。
于是，摄像装置1对所存储的第1到第6帧图像的数据进行宽幅图像合成处理，生成宽幅图像的数据。
图3是表示摄像装置1的宽幅图像合成处理的概略的示意图。
摄像装置1通过全景图像数据生成处理，按拍摄顺序对所存储的第1到第3帧图像的数据进行合成，从而生成上侧全景图像的数据。
另外，摄像装置1通过全景图像数据生成处理，按拍摄顺序对所存储的第4到第6的帧图像的数据进行合成，从而生成下侧全景图像的数据。
然后，摄像装置1通过垂直方向合成处理，将上侧全景图像的数据和下侧全景图像的数据进行合成，生成宽幅图像的数据。
图4是表示宽幅图像合成处理中的垂直方向合成处理的概略的示意图。
在垂直方向合成处理中，摄像装置1根据上侧全景图像的数据和下侧全景图像的数据来生成能量分布图。在本实施方式中，“能量分布图”如下那样地生成。即，对上侧全景图像的数据，计算上侧全景图像内的特定的像素(关注像素)和其它的像素的相似度、以及下侧全景图像内的与该关注像素对应的位置的像素(对应像素)和其它的像素的相似度。然后，基于这些相似度，对每一个像素计算能量。计算出的每个像素的能量是表示二维平面上的分布的“能量分布图”，在后述的α混合分布图的生成中使用。另外，在本实施方式中，像素越相似，“能量”成为越小的值，像素越不相似，“能量”成为越大的值。
在此，“关注像素”是指，应作为处理对象而关注的像素，按照所谓的光栅顺序来依次设定用以构成处理对象的全景图像(例如本实施方式中为上侧全景图像)的各像素。
接下来，摄像装置1对能量分布图进行分析，生成α混合分布图。在本实施方式中，“α混合分布图”是对合成上侧全景图像的数据和下侧全景图像的数据时的用于设定下侧全景图像相对于上侧全景图像的透射率的图，是与帧图像分辨率相同、由具有透射率作为像素值的各像素所构成的图像(每个像素的透射率的二维平面上的分布)。
例如，在下面说明在上侧全景图像的数据上重叠下侧全景图像的数据的情况下的α混合分布图的功能。
另外，在下面的说明中，为了说明的方便，以0～100的数值来说明透射率。
“透射率为0”是指，在进行合成时，表示相对于上侧全景图像的数据，直接应用下侧全景图像的数据。
“透射率为100”是指，在进行合成时，表示相对于上侧全景图像的数据，完全不应用下侧全景图像的数据。
若透射率为0和100之间的值，则表示在进行合成时，与该值相应地来混合上侧全景图像的数据和下侧全景图像的数据。所谓“与该值相应”，例如在是接近于0的值的情况下，使下侧全景图像的数据的要素多于上侧全景图像的数据的要素地进行混合。另外，在是接近于100的值的情况下，使上侧全景图像的数据的要素多于下侧全景图像的数据的要素地进行混合。
在图4的α混合分布图中，黑色部分B的透射率为0，阴影部分G的透射率为0和100之间的值，白色部分W的透射率为100。
摄像装置1使用该α混合分布图来合成上侧全景图像的数据和下侧全景图像的数据，生成宽幅图像的数据。
由此，宽幅图像的数据成为如下数据：在黑色部分B直接应用下侧全景图像的数据，在阴影部分G应用将上侧全景图像的数据和下侧全景图像的数据混合而得到的数据，在白色部分W直接应用上侧全景图像的数据。
接下来，参照图5来说明用于执行这样的宽幅图像合成处理的摄像装置1的构成。
图5是表示图1的摄像装置1的功能性构成中的用于执行宽幅图像合成处理的功能性构成的功能块的图。
在摄像装置1执行宽幅图像合成处理的情况下，在CPU11中，摄像控制部(合成控制部)40发挥作用，在该摄像控制部40的控制下，在图像处理部14中，全景图像数据生成部50、取得部51、能量计算部52、能量分布图生成部53、能量最小路径搜索部54、范围搜索部55、α混合宽度决定部56、α混合分布图生成部57、透射率设定部58、合成部59发挥作用。
摄像控制部40控制摄像部17的拍摄的时机。
具体地，在宽幅模式的状态下，若用户保持着摄像装置1的状态下进行全按下操作，则开始宽幅图像合成处理。即，摄像控制部40开始摄像部17的连拍动作。
之后，用户以维持输入部19的快门开关的全按下操作的状态，使摄像装置1在水平方向的例如从被摄体的左侧到右侧移动。接下来，用户以维持快门开关的全按下操作的状态，使摄像装置1在垂直方向的例如从被摄体的上侧向下侧移动。接下来，用户以维持快门开关的全按下操作的状态，使摄像装置1在水平方向的例如从被摄体的右侧向左侧移动。
摄像控制部40基于加速度传感器18的检测结果，在维持全按下操作的期间，每当摄像装置1的水平方向的移动量到达一定量，就使摄像部17进行拍摄，将作为其结果得到的帧图像的数据暂时存储在存储部21的帧缓存器中，如此反复进行。
另外，摄像控制部40检测到摄像装置1的规定量以上的垂直方向的移动时，存储水平方向的总移动量(从开始全按下操作的位置起的累计移动量)。
之后，摄像控制部40在摄像装置1的垂直方向的移动后，当水平方向的总移动量到达所存储的总移动量(检测出垂直方向的移动之前的移动量的总量)，则使摄像部17的连拍动作结束。
全景图像数据生成部50通过按照拍摄顺序对由摄像部17拍摄并暂时存储在帧缓存器中的帧图像的数据进行合成，由此生成全景图像的数据。
详细地，全景图像数据生成部50在快门开关的全按下操作后，取得直到检测出摄像装置1的垂直方向的移动为止的期间中所拍摄的多个帧图像的数据。全景图像数据生成部50对这些帧图像的数据进行合成，生成1张的全景图像的数据(例如图3所示的上侧全景图像的数据)。
另外，全景图像数据生成部50在检测到摄像装置1的垂直方向的移动后，取得直到摄像部17的连拍动作结束为止的期间所拍摄的多个帧图像的数据。全景图像数据生成部50在水平方向上合成这些帧图像的数据，生成1张的全景图像的数据(例如，图3所示的下侧全景图像的数据)。
以下说明的图像处理部14中的取得部51、能量计算部52、能量分布图生成部53、能量最小路径搜索部54、范围搜索部55、α混合宽度决定部56、α混合分布图生成部57、透射率设定部58以及合成部59是摄像装置1用于执行在垂直方向上合成全景图像数据生成部50所生成的多个全景图像的数据的处理的功能性构成。
取得部51取得全景图像数据生成部50生成的多个全景图像的数据。
能量计算部52基于取得部51所取得的多个全景图像的数据中的一个图像的数据与成为该一个图像的合成对象的其它图像的数据，分别计算出与一个图像的数据内的关注像素对应的能量。
具体地，能量计算部52针对取得部51所取得的多个全景图像的数据中的成为合成对象的2个图像数据(例如图3所示的上侧全景图像的数据以及下侧全景图像的数据)中的一方的图像数据(例如上侧全景图像的数据)，基于一方的图像(例如上侧全景图像)内的关注像素和其它的像素的相似度、以及另一方的图像(例如下侧全景图像)内的其它的像素与关注像素的相似度，来对每个像素求取能量。
能量分布图生成部53生成由能量计算部52计算出的每个关注像素的能量在二维平面上的分布，作为能量分布图。
图6是表示能量分布图生成部53的能量分布图的生成手法的一例的示意图。
图6A表示上侧全景图像的数据的一部分。
图6B表示下侧全景图像的数据的一部分。
图6C表示将图6A所示的上侧全景图像的数据和图6B所示的下侧全景图像的数据之间的关注像素与其周边像素的相似度表示为能量的能量分布图的一部分。
另外，图6以及后述的图7～图10分别表示在X(水平方向)以及Y(垂直方向)上排列的多个格子。每个格子表示1个像素。
如图6C所示，能量分布图生成部53在图6C中从左侧向右侧依次计算各像素的能量，生成能量分布图。
对能量分布图生成部53在能量分布图的生成中计算各像素的能量的手法的一例进行说明。
能量分布图生成部53如以下那样生成图6C所示的能量E。
能量分布图生成部53基于图6A所示的上侧全景图像的关注像素(坐标(x，y))、和与该关注像素在周边上相邻的像素(坐标(x+n，y+m))之间的相似度，计算相似度能量Eo。
例如，周边像素也可以如图6所示那样仅使用周边的一部分的像素。
另外，能量分布图生成部53基于图6B所述的下侧全景图像的数据中的配置在与上侧全景图像的关注像素的配置位置对应的位置的对应关注像素(坐标(x，y))、和在水平方向上与该对应关注像素相邻的像素(坐标(x+n，y+m))之间的相似度，求取对应相似度能量Ec。
例如，周边像素也可以如图6所示那样仅使用周边的一部分的像素。
进而，能量分布图生成部53计算在图6C中的能量分布图中已经计算出能量的像素中的本次要计算能量E的像素的前一列与该像素相邻的像素(相邻像素)、和该相邻像素的上下的像素的能量当中的最小的能量Emin。另外，在本实施方式中，能量分布图生成部53并不限于计算前一列的3个像素中的最小的能量Emin。例如，还能按照下侧全景图像的数据和上侧全景图像的数据的特性，计算前一列的5个像素中的最小的能量Emin。
能量分布图生成部53基于计算出的相似度能量Eo、对应相似度能量Ec以及能量Emin，来计算能量E。
在此，在本实施例中，以上侧全景图像的关注像素为基准来计算Eo、Ec、Emin，从而求取能量E，但也可以以下侧全景图像的关注像素为基准来计算Eo、Ec、Emin，从而求取能量E。
返回图5，能量最小路径搜索部54在能量分布图生成部53所生成的能量分布图的水平方向上，搜索能量成为最小的能量最小路径。
图7是表示能量最小路径搜索部54中的搜索能量最小路径的手法的一例的示意图。
在图7中示出能量分布图生成部53所生成的能量分布图。
能量最小路径搜索部54对能量计算部52分别计算出的关注像素的数据的能量成为最小的路径进行搜索。详细而言，能量最小路径搜索部54在X方向(水平方向)上，朝向由能量分布图生成部53生成能量分布图的方向相反的方向来搜索能量最小路径。即，在能量分布图中，从能量分布图生成部53最后计算出能量的列起，朝向最初计算出能量的列来搜索能量最小路径。
具体而言，能量最小路径搜索部54在能量分布图生成部53最后计算出能量的列中搜索能量为最小的像素。接下来，能量最小路径搜索部54对与搜索到的像素相邻的像素、和该相邻的像素的上下的像素的能量中的最小的能量的像素进行搜索。能量最小路径搜索部54通过直到能量分布图生成部53最初计算出能量的列为止进行同样的搜索，来搜索能量最小路径R。
另外，能量最小路径R的搜索并不限于上述的方法，例如也可以通过图分割(graph cut)技术来进行。关于图分割技术，例如由于在“Interactive Digital Photomontage”A.Agarwala etal.ACM SIGGRAPH，2004中进行了公开，因此在本实施例中不再详细说明。
返回图5，范围搜索部55对具有与能量最小路径搜索部54搜索到的能量最小路径中的一个图像的数据内的各关注像素的值相似的值的像素范围进行搜索。另外，范围搜索部55在与能量分布图生成部53生成的能量分布图的规定方向进行正交的方向上来搜索能量成为最小的路径。
图8是表示范围搜索部55的对具有与能量最小路径中的一个图像的数据内的各关注像素的值相似的值的像素范围进行搜索的手法的一例的示意图。
在图8中，示出能量分布图生成部53所生成的能量分布图、和在该能量分布图中由能量最小路径搜索部54搜索到的能量最小路径R。
范围搜索部55朝向能量分布图的Y方向(垂直方向)来搜索与能量最小路径R中的各像素的能量之间的能量的差分为规定的平坦程度以内的像素。范围搜索部55对能量最小路径R中的每个像素分别搜索规定的平坦程度以内的像素，由此搜索出规定的平坦程度以内的范围R′。在本实施方式中，“规定的平坦程度”例如被称作与能量最小路径R中的各像素的能量之间的能量的差分为规定值以内。另外，“能量的差分”例如除了能利用像素中的亮度值的差的绝对值以外，还能用色相值或色差值的差异。
即，范围搜索部55搜索具有与能量最小路径R中的各像素的值(亮度值、色相值、色差值等)相似(收敛在规定值以内)的值的像素的宽度作为范围R′。
另外，范围搜索部55还能进行加权地搜索规定的平坦程度以内的范围。“加权”例如能通过将与能量最小路径R中的各像素的能量的大小相应的值、或与距能量最小路径R的距离相应的值和实际的能量的差分相乘、或相加来进行。
返回图5，α混合宽度决定部56基于范围搜索部55搜索到的像素的范围，来决定以能量最小路径R为起点的混合宽度。详细而言，α混合宽度决定部56在能量分布图的规定方向上，搜索与能量最小路径搜索部54搜索到的路径之间能量的差分为规定的平坦程度以内的范围，作为具有相似的值的像素范围，然后决定混合宽度。
图9是表示α混合宽度决定部56中的决定混合宽度的手法的一例的示意图。
在图9中，示出了能量分布图生成部53所生成的能量分布图、和在该能量分布图中由能量最小路径搜索部54搜索到的能量最小路径R、和由范围搜索部55搜索到的规定的平坦程度以内的范围R′。
α混合宽度决定部56计算以能量最小路径R为一端且成为α混合宽度的另一端的α混合宽度终点路径R″。
具体而言，α混合宽度决定部56将在合成多个全景图像的数据的方向、即Y方向(垂直方向)上与成为能量最小路径R的起点的像素相邻的像素作为α混合宽度终点路径R″的始点。α混合宽度决定部56从该成为起点的像素的周边的像素起，向与能量最小路径R相同的方向，搜索用于形成α混合宽度终点路径R″的像素。α混合宽度决定部56用相同的手法，在与能量最小路径R相同的方向上，从搜索到的像素的周边的像素起依次搜索用于形成α混合宽度终点路径R″的像素。α混合宽度决定部56例如基于能量分布图的规定的列中的与能量最小路径R为规定的平坦程度以内的范围R′的像素的能量的大小来搜索用于形成α混合宽度终点路径R″的像素。
另外，α混合宽度决定部56也可以进行加权地决定混合宽度。“加权”例如将与能量最小路径R中的各像素的能量的大小相应的值、或与距能量最小路径R的距离相应的值，和与能量分布图的规定的列中的能量最小路径R为规定的平坦程度以内的范围R′的像素的能量的差分相乘、或相加来进行。
另外，“加权”能通过将与摄像装置1中的拍摄条件相应的值和与能量分布图的规定的列中的能量最小路径R为规定的平坦程度以内的范围R′的像素的能量相乘、或相加来进行。在此“拍摄条件”例如是拍摄时是否使用闪光灯等。
返回图5，α混合分布图生成部57基于由α混合宽度决定部56决定的混合宽度，生成用于设定下侧全景图像相对于上侧全景图像的透射率的α混合分布图。
图10是表示α混合分布图生成部57中的用于生成α混合分布图的手法的一例的示意图。
在图10中，在使用α混合分布图生成部57所生成的α混合分布图中示出了说明中使用的能量最小路径搜索部54搜索到的能量最小路径R、和α混合宽度决定部56计算出的α混合宽度终点路径R″。
α混合分布图生成部57在像素的各列中，从形成能量最小路径R的像素起，朝向Y方向(垂直方向)，直到形成α混合宽度终点路径R″为止之间，生成透射率变化的α混合分布图。
具体而言，α混合分布图生成部57对每个像素的列，在形成能量最小路径R的像素和形成α混合宽度终点路径R″的像素之间，生成透射率从0到100变化的α混合分布图。即，透射率的变化的程度因形成能量最小路径R的像素和形成α混合宽度终点路径R″的像素之间距离不同而不同。
返回图5，透射率设定部58设定与由α混合分布图生成部57生成的分布图对应的透射率。即，透射率设定部58基于由α混合宽度决定部56决定的α混合宽度，设定下侧全景图像相对于上侧全景图像的透射率。
合成部59使用α混合分布图生成部57所生成的α混合分布图，即基于由α混合宽度决定部56决定的α混合宽度和由透射率设定部58设定的透射率，在垂直方向上合成上侧全景图像和下侧全景图像的各数据，生成宽幅图像的数据(参照图4)。
接下来，使用图11来说明具有这样的图5的功能构成的图1的摄像装置执行的处理中的宽幅图像合成处理的流程。
图11是说明摄像装置1所执行的宽幅图像合成处理的流程的流程图。
在本实施方式中，宽幅图像合成处理在摄像装置1的动作模式切换为宽幅模式后，以用户对输入部19的未图示的快门开关进行了全按下操作来进行摄像的指示为契机而开始。
在步骤S1，全景图像数据生成部50通过按照摄像顺序合成由摄像部17拍摄、并暂时存储在帧缓存器中的帧图像的数据来生成全景图像的数据。
在步骤S2中，合成控制部40判定是否满足规定的条件，在判定为满足规定的条件的情况下，将处理移转到步骤S3，在判定为不满足规定的条件的情况下，使处理返回步骤S1。在本实施方式中，“规定的条件”是指，将摄像装置1在水平方向上移动，之后，在垂直方向上移动，进而再在水平方向上移动，由此生成2张全景图像的数据。
在步骤S3中，图像处理部14中的取得部51、能量计算部52、能量分布图生成部53、能量最小路径搜索部54、范围搜索部55、α混合宽度决定部56、α混合分布图生成部57、透射率设定部58以及合成部59联动来执行垂直方向合成处理。更详细在后面叙述，但在垂直方向合成处理中，取得部51、能量计算部52、能量分布图生成部53、能量最小路径搜索部54、范围搜索部55、α混合宽度决定部56、α混合分布图生成部57、透射率设定部58以及合成部59对在步骤S1中由全景图像数据生成部50生成的全景图像的数据进行合成，生成宽幅图像的数据。
在步骤S4中，合成控制部40将在步骤S3中生成的宽幅图像的数据存储在可移动介质31中。
接下来，参照图12，来说明图11所示的宽幅图像合成处理中的垂直方向合成处理。
图12是说明摄像装置1所执行的垂直方向合成处理的流程的流程图。
在步骤S31中，取得部51取得在步骤S1中由全景图像数据生成部50生成的多个全景图像的数据(例如图3所示的上侧全景图像的数据以及下侧全景图像的数据)。
在步骤S32中，能量计算部52基于在步骤S31中取得部51取得的多个全景图像中的上侧全景图像的数据和下侧全景图像的数据，分别计算与上侧全景图像的数据内的关注像素对应的能量。然后，能量分布图生成部53生成由能量计算部52计算出的每个关注像素的能量在二维平面上的分布，作为能量分布图(参照图6)。
在步骤S33中，能量最小路径搜索部54搜索在步骤S32中由能量计算部52分别计算出的关注像素的数据的能量成为最小的路径。详细而言，能量最小路径搜索部54在步骤S32中由能量分布图生成部53生成的能量分布图的水平方向上，搜索能量成为最小的能量最小路径R(参照图7)。
在步骤S34中，范围搜索部55搜索具有与步骤S33中由能量最小路径搜索部54搜索到的能量最小路径中的上侧全景图像的数据内的各关注像素的值相似的值的像素范围。具体地，范围搜索部55在能量分布图的垂直方向(进行合成多个全景图像的数据的方向)上，搜索与步骤S33中由能量最小路径搜索部54搜索到的能量最小路径R之间的能量的差分为规定的平坦程度以内的范围R′(参照图8)。
在步骤S35中，α混合宽度决定部56基于步骤S34中由范围搜索部55搜索到的像素范围，决定以能量最小路径为起点的混合宽度。详细而言，α混合宽度决定部56基于步骤S34中由范围搜索部55搜索到的规定的平坦程度以内的范围R′，来决定以在步骤S33中由能量最小路径搜索部54搜索到的能量最小路径R为起点的混合宽度(参照图9)。在图9中，R″为R和R′的大致中间位置，这种情况下，α混合宽度决定部56将R和R″之间的像素决定为混合宽度。
在步骤S36中，α混合分布图生成部57基于在步骤S 35中由α混合宽度决定部56决定的混合宽度，生成用于设定下侧全景图像相对于上侧全景图像的透射率的α混合分布图(参照图10)。透射率设定部58设定与α混合分布图生成部57所生成的α混合分布图对应的透射率。
在此，作为透射率的设定的方法，设定下侧全景图像相对于上侧全景图像的透射率，但本实施方式并不限于此。
即，也可以设定上侧全景图像相对于下侧全景图像的透射率。
在步骤S 37中，合成部59使用步骤S36中由α混合分布图生成部57生成的α混合分布图，即基于步骤S35中由α混合宽度决定部56决定的α混合宽度和步骤36中由透射率设定部58设定的透射率，在垂直方向上合成上侧全景图像和下侧全景图像的各数据，生成宽幅图像的数据(参照图4)。
如以上说明那样，本实施方式的摄像装置1在图像处理部14中具备：能量计算部52、能量分布图生成部53、能量最小路径搜索部54、范围搜索部55、α混合宽度决定部56、α混合分布图生成部57、透射率设定部58以及合成部59。
摄像装置1是在规定方向上合成多个图像的数据来生成宽幅图像的图像处理装置。
能量计算部52基于多个图像的数据中的一个图像和成为该一个图像的合成对象的其它图像，分别计算与一个图像内的关注像素对应的能量。
能量最小路径搜索部54搜索能量计算部52所分别计算出的关注像素的能量成为最小的能量最小路径R。
范围搜索部55搜索具有与能量最小路径搜索部54搜索到的能量最小路径R中的一个图像内的各关注像素的值相似的值的像素范围。
α混合宽度决定部56基于范围搜索部55搜索到的像素范围，决定以能量最小路径为起点的混合宽度。
透射率设定部58基于由α混合宽度决定部56决定的混合宽度，设定一个图像相对于其它图像的透射率。
合成部59基于混合宽度、和由透射率设定部58设定的透射率，来合成一个图像和其它图像。
由此，能基于作为合成对象的其它图像，根据与一个图像内的关注像素对应的能量来搜索成为多个图像的数据相连部分的能量最小路径。然后，能设定该以能量最小路径为起点的混合宽度中的另一方图像相对于一方图像的透射率，来合成多个图像的数据。
因此，能降低合成后的宽范围的图像的相连的部分的不谐调。
能量分布图生成部53生成由能量计算部52计算出的每个关注像素的能量在二维平面上的分布，作为能量分布图。
范围搜索部55在与能量分布图生成部53生成的能量分布图的规定方向正交的方向上，搜索能量成为最小的路径。
由此，能从能量分布图中，搜索成为多个图像的数据的相连部分的能量最小路径。然后，设定以该能量最小路径为起点的混合宽度中的另一方的图像相对于一方图像的透射率，进而合成多个图像的数据。
因此，能降低合成后的宽范围的图像的相连部分的不谐调。
α混合宽度决定部56在能量分布图的规定的方向上，搜索与能量最小路径搜索部54搜索到的能量最小路径R之间的能量的差分为规定的平坦度以内的范围，作为具有相似的值的像素范围。
由此，能将与能量最小路径之间的能量的差分为规定的平坦程度以内的范围决定为混合宽度。
因此，通过将规定的平坦程度的范围决定为混合宽度，能进一步降低合成后的宽范围的图像的相连的部分的不谐调。
α混合分布图生成部57生成透射率设定部58为了设定透射率的α混合分布图。
透射率设定部58设定与α混合分布图生成部57所生成的α混合分布图对应的透射率。
由此，设定与α混合分布图对应的透射率，合成多个图像的数据。
因此，能降低合成后的宽范围的图像的相连部分的不谐调。
α混合分布图生成部57以能量最小路径R为起点，朝向多个图像的数据的合成方向，生成透射率进行变化的混合分布图。
因此，通过使混合分布图的混合宽度中的透射率进行变化，能进一步降低合成后的宽范围的图像的相连部分的不谐调。
另外，摄像装置1由于在垂直方向上合成多个图像数据的至少一部分来生成宽幅图像的数据，因此，在垂直方向合成多个图像的数据的情况下，能降低合成后的宽范围的图像的相连部分的不谐调。
另外，本发明并不限于上述的实施方式，在能达成本发明的目的的范围内的变形、改良等也包含在本发明中。
例如，在上述的实施方式中，使摄像装置1在水平方向上移动，之后，使其在垂直方向上移动，进而再使其在水平方向上移动，由此生成2张全景图像的数据，但并不限于此。例如，也可以使摄像装置1在水平方向上移动，再使其在垂直方向上移动，然后再在水平方向上移动，之后，再一次使其在垂直方向上移动，然后再在水平方向上移动，由此生成3张的全景图像的数据。同样地，也可以通过使摄像装置1夹着n次(n为整数)的垂直移动来进行n+1次的向水平方向的移动，来生成n+1张的全景图像的数据。
另外，在上述的实施方式中，将能量计算部52、能量分布图生成部53、能量最小路径搜索部54、范围搜索部55、α混合宽度决定部56、α混合分布图生成部57、透射率设定部58以及合成部59作为摄像装置1执行在垂直方向上合成全景图像的数据生成部50所生成的多个全景图像的数据的处理的功能性构成来进行说明，但并不限于此。例如，也可以将能量计算部52、能量分布图生成部53、能量最小路径搜索部54、范围搜索部55、α混合宽度决定部56、α混合分布图生成部57、透射率设定部58以及合成部59作为用于执行在水平方向上合成多个图像的数据的处理的功能性构成。
这种情况下，能量计算部52朝向垂直方向而一次计算各像素的能量，能量分布图生成部53通过能量计算部52所计算出的能量来生成能量分布图。
能量最小路径搜索部54在垂直方向上，朝向能量分布图生成部53生成能量分布图的方向的相反方向来搜索能量最小路径。
范围搜索部55在能量分布图的水平方向(合成多个全景图像的数据的方向)上，搜索与能量最小路径搜索部54搜索到的能量最小路径之间的能量的差分为规定的平坦程度以内的范围。
α混合宽度决定部56在与能量最小路径相同的方向上(垂直方向)，搜索用于形成α混合宽度终点路径的像素，决定混合宽度。
α混合分布图生成部57基于由α混合宽度决定部56决定的混合宽度，例如生成用于设定左侧的图像相对于右侧的图像的透射率的α混合分布图。
透射率设定部58通过由α混合分布图生成部57生成的α混合分布图来设定透射率。
合成部59基于α混合宽度、和由透射率设定部58设定的透射率，在水平方向上合成右侧的图像和左侧的图像，生成宽幅图像的数据。
另外，在上述的实施方式中，应用本发明的摄像装置1以数码照相机为例进行了说明，但并不限于此。
例如，本发明一般能应用在具有显示控制功能的电子设备。具体地，例如本发明能应用在笔记本型的个人计算机、打印机、电视接收机、视频摄像机、便携式导航装置、便携式电话机、掌上游戏机等中。
上述的一系列的处理能通过硬件来执行，也能通过软件来执行。
换言之，图5的功能性构成只不过是例示，并没有特别限定。即，只要具备能将上述的一系列的处理作为整体来执行的功能的摄像装置1即可，为了实现该功能而使用怎样的功能块则并不特别限定于图5。例如，也可以使在CPU11中发挥作用的功能块在图像处理装置14中发挥作用，反之，也可以使在图像处理部14中发挥作用的功能块在CPU11中发挥作用。
另外，既可以以硬件单体来构成1个功能块，也可以以软件单体来构成，还能以软硬件组合来构成。
通过软件来执行一系列的处理的情况下，将构成该软件的程序从网络或记录介质安装到计算机等的网络中。
计算机也可以是嵌入到专用的硬件中的计算机。另外，计算机也可以是通过安装各种程序来执行各种功能的计算机，例如泛用的个人计算机。
包含这样的程序的记录介质不仅能通过为了将程序提供给用户而与装置主体分开来进行分发的图1所示的可移动介质31构成，还能由以装入装置主体的状态来向用户提供程序的记录介质等构成。可移动介质31例如由磁盘(包含软盘)、光盘、或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-read OnlyMemory，只读光盘)、DVD(digital Versatile Disk，多功能盘)等构成。光磁盘由MD(Mini-Disk，迷你光磁盘)等构成。另外，以预先装入装置主体的状态来向用户提高程序的记录介质例如由记录有程序的图1的ROM12或包含在图1的存储部21中的硬盘等构成。
另外，在本说明书中，记述在记录介质中记录程序的步骤当然包含沿着其顺序在时间序列上进行的处理，但也不一定非要时间序列地进行处理，也可以包含并行或个别地执行的处理。
以上，说明的本发明的几个实施方式，但这些实施方式只不过是例示，本发明的技术的范围并不受到限定。本发明还能采用其它的各种的实施方式，进而，能在不脱离本发明的要旨的范围内进行省略、置换等各种变更。这些实施方式或变形也包含在本说明书所记载的发明的范围和要旨中，并包含在权利要求的范围所记载的发明和与其等同的范围内。

Claims (8)

1.一种图像处理装置，其特征在于，具备：
能量计算单元，其基于成为合成对象的2个图像之中一个图像内的关注像素与该关注像素以外的其它像素的相似度、以及其它图像内的关注像素与该关注像素以外的其它像素的相似度，分别计算能量；
能量最小路径搜索单元，其基于所述能量计算单元所分别计算出的关注像素的能量来搜索所述一个图像内的各列中的能量最小的像素所构成的所述一个图像中的路径；
范围搜索单元，其在所述一个图像内，搜索具有与所述能量最小路径搜索单元搜索到的路径上的所述一个图像内的各关注像素的值相似的值的像素范围；
混合宽度决定单元，其基于所述范围搜索单元搜索到的像素范围，来决定以所述路径为起点的所述一个图像和所述其它图像的混合宽度；
透射率设定单元，其基于所述混合宽度决定单元所决定的混合宽度，来设定合成时的所述一个图像和所述其它图像之间的透射率；
合成单元，其基于所述混合宽度、和由所述透射率设定单元设定的透射率，来合成所述一个图像和所述其它图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具备能量分布图生成单元，
所述能量分布图生成单元生成所述能量计算单元所计算出的每个关注像素的能量在二维平面上的分布，作为能量分布图，
所述范围搜索单元在与所述能量分布图生成单元生成能量分布图的所述规定方向正交的方向上，搜索所述能量成为最小的路径。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述混合宽度决定单元在所述能量分布图的所述规定方向上，搜索与所述能量最小路径搜索单元搜索到的路径中的关注像素之间的能量的差分为规定的平坦程度的像素范围，作为具有所述相似的值的像素范围。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具备分布图生成单元，
所述分布图生成单元生成用于所述透射率设定单元设定透射率的分布图，
所述透射率设定单元设定与所述分布图生成单元生成的分布图对应的透射率。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述分布图生成单元以所述能量最小路径搜索单元搜索到的路径为起点，朝向所述规定方向，生成所述透射率进行变化的分布图。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述规定方向是垂直方向，
所述合成单元在垂直方向上合成所述一个图像和所述其它图像。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具备：
摄像单元；和
生成单元，其根据所述摄像单元所拍摄到的图像，生成第1全景图像和第2全景图像，
所述一个图像是所述第1全景图像，所述其它图像是所述第2全景图像。
8.一种图像处理方法，由图像处理装置执行，其特征在于，具备：
能量计算步骤，基于成为合成对象的2个图像之中一个图像内的关注像素与该关注像素以外的其它像素的相似度、以及其它图像内的关注像素与该关注像素以外的其它像素的相似度，分别计算能量；
能量最小路径搜索步骤，基于所述能量计算步骤中所分别计算出的关注像素的能量来搜索所述一个图像内的各列中的能量最小的像素所构成的所述一个图像中的路径；
范围搜索步骤，在该一个图像内，搜索具有与所述能量最小路径搜索步骤中搜索到的路径中的所述一个图像内的各关注像素的值相似的值的像素范围；
混合宽度决定步骤，基于所述范围搜索步骤中搜索到的像素范围，来决定以所述路径为起点的所述一个图像和所述其它图像的混合宽度；
透射率设定步骤，基于所述混合宽度决定步骤中决定的混合宽度，来设定合成时的所述一个图像和所述其它图像之间的透射率；和
合成步骤，基于所述混合宽度、和所述透射率设定步骤中设定的透射率，来合成所述一个图像和所述其它图像。
CN201210325717.4A 2011-09-08 2012-09-05 图像处理装置以及图像处理方法 Active CN103002210B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011196368A JP5754312B2 (ja) 2011-09-08 2011-09-08 画像処理装置及び画像処理方法、並びにプログラム
JP2011-196368 2011-09-08

Publications (2)

Publication Number Publication Date
CN103002210A CN103002210A (zh) 2013-03-27
CN103002210B true CN103002210B (zh) 2015-09-09

Family

ID=47829508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210325717.4A Active CN103002210B (zh) 2011-09-08 2012-09-05 图像处理装置以及图像处理方法

Country Status (4)

Country Link
US (1) US20130063555A1 (zh)
JP (1) JP5754312B2 (zh)
KR (1) KR101396743B1 (zh)
CN (1) CN103002210B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
CN103533239B (zh) * 2013-09-30 2017-05-17 宇龙计算机通信科技(深圳)有限公司 全景拍摄的方法和***
JP6537231B2 (ja) 2014-08-11 2019-07-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9563953B2 (en) * 2014-08-28 2017-02-07 Qualcomm Incorporated Systems and methods for determining a seam
US10792566B1 (en) 2015-09-30 2020-10-06 Electronic Arts Inc. System for streaming content within a game application environment
JP6392739B2 (ja) * 2015-12-03 2018-09-19 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN105681719A (zh) * 2016-02-17 2016-06-15 北京金迈捷科技有限公司 一种利用时域数据融合技术获取图像和视频的方法
JP2017212698A (ja) * 2016-05-27 2017-11-30 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
US10726611B1 (en) * 2016-08-24 2020-07-28 Electronic Arts Inc. Dynamic texture mapping using megatextures
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10096133B1 (en) 2017-03-31 2018-10-09 Electronic Arts Inc. Blendshape compression system
US10878540B1 (en) 2017-08-15 2020-12-29 Electronic Arts Inc. Contrast ratio detection and rendering system
US10535174B1 (en) 2017-09-14 2020-01-14 Electronic Arts Inc. Particle-based inverse kinematic rendering system
US10860838B1 (en) 2018-01-16 2020-12-08 Electronic Arts Inc. Universal facial expression translation and character rendering system
US10902618B2 (en) 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
US11972353B2 (en) 2020-01-22 2024-04-30 Electronic Arts Inc. Character controllers using motion variational autoencoders (MVAEs)
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
US11830121B1 (en) 2021-01-26 2023-11-28 Electronic Arts Inc. Neural animation layering for synthesizing martial arts movements
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation
US11670030B2 (en) 2021-07-01 2023-06-06 Electronic Arts Inc. Enhanced animation generation based on video with local phase
US11562523B1 (en) 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases
KR102552326B1 (ko) * 2023-01-16 2023-07-06 (주)글로벌시스템스 감시 지역에 대한 복층 파노라마 영상 생성 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006515128A (ja) * 2003-01-24 2006-05-18 マイコイ・コーポレーション 立体パノラマ画像取り込み装置
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000306079A (ja) * 1999-04-23 2000-11-02 Oki Data Corp 画像処理装置
EP1225547A3 (en) * 2001-01-10 2003-11-19 Monolith Co., Ltd. Image-effect method and image interpolation method
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
JP2005175620A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像処理方法及び装置
KR100724134B1 (ko) 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
CA2671894C (en) 2006-12-13 2013-07-16 Dolby Laboratories Licensing Corporation Methods and apparatus for stitching digital images
GB0625455D0 (en) * 2006-12-20 2007-01-31 Mitsubishi Electric Inf Tech Graph-based multiple panorama extraction from unordered image sets
JP4947060B2 (ja) * 2007-01-18 2012-06-06 富士通株式会社 画像合成装置、画像合成方法、プログラム
US8351713B2 (en) * 2007-02-20 2013-01-08 Microsoft Corporation Drag-and-drop pasting for seamless image composition
US7747107B2 (en) * 2007-03-06 2010-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for retargeting images
KR100968378B1 (ko) 2009-03-05 2010-07-09 주식회사 코아로직 파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록 매체
JP2011176749A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
WO2011142767A1 (en) * 2010-05-14 2011-11-17 Hewlett-Packard Development Company, L.P. System and method for multi-viewpoint video capture
US8428390B2 (en) * 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
KR101040532B1 (ko) 2011-01-31 2011-06-16 삼성탈레스 주식회사 적외선 파노라믹 영상을 전송하기 위한 대조비 개선 장치 및 방법
JP2013011856A (ja) * 2011-06-01 2013-01-17 Canon Inc 撮像システムおよびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006515128A (ja) * 2003-01-24 2006-05-18 マイコイ・コーポレーション 立体パノラマ画像取り込み装置
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置

Also Published As

Publication number Publication date
CN103002210A (zh) 2013-03-27
JP2013058931A (ja) 2013-03-28
JP5754312B2 (ja) 2015-07-29
KR101396743B1 (ko) 2014-05-16
US20130063555A1 (en) 2013-03-14
KR20130028022A (ko) 2013-03-18

Similar Documents

Publication Publication Date Title
CN103002210B (zh) 图像处理装置以及图像处理方法
JP4720859B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN102739955B (zh) 能生成动态范围宽的全景图像的数据的摄像装置
US20120105657A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
JP2012242821A (ja) 表示画像生成方法
JPWO2011162227A1 (ja) 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
CN105407266A (zh) 摄像装置及其控制方法
CN103888684A (zh) 图像处理装置以及图像处理方法
CN103475809A (zh) 摄像装置、合成图像生成方法
US20130177287A1 (en) Reproduction apparatus, image capturing apparatus, and program
JP5267279B2 (ja) 画像合成装置及びプログラム
JP2011066827A (ja) 画像処理装置、画像処理方法及びプログラム
JP5402166B2 (ja) 画像合成装置及びプログラム
JP2009044329A (ja) プログラム、画像処理方法および画像処理装置
JP2017212550A (ja) 画像再生装置及びその制御方法、プログラム、記憶媒体
JP7134601B2 (ja) 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法
JP5548023B2 (ja) 撮像装置および撮像方法
JP2010233001A (ja) 画像合成装置、画像再生装置及びプログラム
JP5406619B2 (ja) 動画像再生装置及び撮像装置並びにそれらの制御方法、プログラム
JP5476900B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP5424827B2 (ja) 画像処理装置
CN114175616A (zh) 图像处理设备、图像处理方法和程序
JP2021002803A (ja) 画像処理装置、その制御方法、プログラム
JP6564295B2 (ja) 合成画像作成装置
US20230260150A1 (en) Image capture apparatus and control method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant