CN110248114B - 生成高动态范围全景图的摄像装置、摄像方法及存储介质 - Google Patents

生成高动态范围全景图的摄像装置、摄像方法及存储介质 Download PDF

Info

Publication number
CN110248114B
CN110248114B CN201910089599.3A CN201910089599A CN110248114B CN 110248114 B CN110248114 B CN 110248114B CN 201910089599 A CN201910089599 A CN 201910089599A CN 110248114 B CN110248114 B CN 110248114B
Authority
CN
China
Prior art keywords
images
image
synthesis
different
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910089599.3A
Other languages
English (en)
Other versions
CN110248114A (zh
Inventor
正村卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110248114A publication Critical patent/CN110248114A/zh
Application granted granted Critical
Publication of CN110248114B publication Critical patent/CN110248114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明公开一种用于生成具有高动态范围全景图的摄像装置、摄像方法及存储介质。摄像装置设置曝光状态，以使得图像传感器拍摄多个图像中相邻两个或更多个图像时的曝光状态彼此不同。对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的多个第一合成图像。利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像。多个图像中的一个用于不同的第一合成图像的合成中，并且，用于第一合成的图像的组合在相邻第一合成图像中是不同的。

Description

生成高动态范围全景图的摄像装置、摄像方法及存储介质
技术领域
本发明涉及一种配置为合成多个图像以生成全景图像的摄像装置，尤其涉及一种用于生成具有高动态范围的全景图像的摄像装置。
背景技术
已知有这样的方法：通过在平移数字照相机等摄像装置的同时拍摄多个图像、然后连接所拍摄的图像来生成全景图像。日本专利申请特开2013-175827号公报讨论了这样一种全景图像拍摄的技术：拍摄不同曝光状态的图像，针对各个曝光状态生成相同曝光状态的多个全景图像，并且合成不同曝光状态的全景图像以生成高动态范围全景图像(以下称为“HDR全景图像”)。然而，日本专利申请特开2013-175827号公报中讨论的技术需要摄像装置中存储器的容量大，以针对各个相同曝光状态保持多个全景图像。
日本专利申请特开2012-80432号公报讨论了在平移摄像装置的同时合成图像的技术。日本专利申请特开2012-80432号公报讨论了通过在三种不同曝光状态下拍摄六张图像以将其合成从而生成HDR全景图像的技术。为简单起见，假设为以下情况：将日本专利申请特开2012-80432号公报中讨论的技术应用于在两种不同曝光状态下，即“适度(correct)”和“不足(under)”，在一维方向上拍摄四张图像的情况。换句话说，顺次拍摄“适度”、“不足”、“适度”、“不足”的曝光状态下的四个图像，并分别合并“适度”曝光的两个图像和“不足”曝光的两个图像以生成单独的HDR图像。最后，将这两个HDR图像全景合并以生成HRD全景图像。在日本专利申请特开2012-80432号公报中讨论的技术中，无需同时存储多个大尺寸全景图像。因此，该技术中使用的存储器容量可能会低于日本专利申请特开2013-175827号公报中讨论的技术中的存储器容量。
然而，在日本专利申请特开2012-80432号公报讨论的技术中，在平移的同时执行HDR全景合成，直至最终生成HDR全景图像为止。因此，与通常的全景合成相比，平移速度受限。
例如，在通常全景摄像中，在拍摄四个图像的情况下，生成全景图像最终使用的图像数量也是四个。另一方面，如上文所述，在日本专利申请特开2012-80432号公报中所讨论的方法中，生成HDR全景图像最终使用的图像数量为两个。因此，在日本专利申请特开2012-80432号公报中描述的合成的情况下，当利用同一个视角的所选区域来合成全景图像时，除非限制平移速度，否则合成全景图像所要使用的HDR图像可能不会包括足够的重叠部分，从而不能生成HDR全景图像。
发明内容
本发明提供这样一种方法：在进行平移操作的同时而合成HDR全景图像的情况下，降低对平移速度的限制。
根据本发明的一方面，摄像装置设置曝光状态，以使得图像传感器拍摄多个图像中相邻两个或更多个图像时的曝光状态彼此不同。对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的多个第一合成图像。利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像。多个图像中的一个用于不同的第一合成图像的合成中，并且，用于第一合成的图像的组合在相邻第一合成图像中是不同的。
根据本发明的另一方面，摄像装置包括：摄像单元，合成单元以及设置单元。摄像单元配置为在平移操作的同时拍摄图像。合成单元配置为合成在平移操作的同时摄像单元所拍摄的多个图像以生成合成图像。设置单元配置为设置摄像时的曝光值，其中，设置单元设置曝光值，使得在拍摄多个图像中的两个或更多个相邻图像时，改变曝光值。合成单元对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的第一合成图像。，合成单元对多个图像执行第一合成。合成单元生成多个第一合成图像。合成单元利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像。合成单元进行用于执行第一合成时的位置对准的计算，并将计算结果用于执行第二合成时的位置对准中。
根据本发明的又一方面，摄像装置包括：摄像单元，合成单元以及设置单元。摄像单元配置为在平移操作的同时拍摄图像，合成单元配置为合成在平移操作的同时摄像单元所拍摄的多个图像以生成合成图像。设置单元配置为设置摄像时的曝光值。设置单元设置曝光值，使得在拍摄多个图像中的两个相邻图像时，改变曝光值。合成单元对多个图像中的两个图像及另外两个图像执行第一合成，以生成动态范围比所述两个图像的动态范围更宽的第一合成图像。合成单元利用多个第一合成图像执行第二合成，以生成视角比第一合成图像的视角更宽的第二图像，并对所述第二图像及与所述第二图像相邻的两个图像执行第一合成。
根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1是示意性示出根据本发明的示例性实施例从后侧看时数字照相机的结构的透视图。
图2是示出根据本发明的示例性实施例的数字照相机的硬件结构的框图。
图3是示出生成全景高动态范围(HDR)图像而未同时记录多个大容量全景图像的示例的图。
图4是示出根据本发明的示例性实施例的操作的流程图。
图5是示出根据本发明的示例性实施例的操作的流程图。
具体实施方式
以下将参照附图详细描述本发明的示例性实施例。
图1是示意性示出根据本发明的示例性实施例从后侧看时数字照相机的结构的透视图。
在数字照相机100的背面，设置有显示单元101和操作单元102。显示单元101显示图像和各种类型的信息。操作单元102包括被配置为接受各种用户操作的各种开关和按钮。在数字照相机100的后侧，设置有用于改变例如摄像模式的模式选择开关104和可旋转控制器轮103。在数字照相机100的顶部，设置有用于提供摄像指令的快门按钮121、用于打开/关闭数字照相机100的电源的电源开关122以及配置为将闪光灯照射到被摄体的电子闪光灯141。
数字照相机100可经由有线或无线通信连接到外部装置，并能够将例如图像数据(静止图像数据、运动图像数据)输出到外部装置。电子照相机100的下侧包括能够利用盖131打开和关闭的记录介质槽(未示出)。诸如存储卡等记录介质130能够***记录介质槽或从记录介质槽中移除。
存储在记录介质槽中的记录介质130能够与数字照相机100的***控制单元210通信(参见图2)。记录介质130不限于能***记录介质槽并从中移除的存储卡等。光盘或诸如硬盘灯磁盘也同样适用。可选择地，记录介质130可以内置于数字照相机100的主体中。
图2是示出电子照相机100的硬件结构的框图。数字照相机100包括挡板201、摄像透镜202、快门203及摄像单元204。挡板201覆盖摄像光学***以防止摄像光学***被污染和损坏。摄像透镜202包括包含有变焦透镜和聚焦透镜的透镜，并构成摄像光学***。快门203包括光圈功能，并针对摄像单元204调整曝光量。摄像单元204是被配置为将光学图像转换成电信号(模拟信号)的摄像元件，其包括诸如具有拜耳阵列结构的CCD传感器或CMOS传感器等的图像传感器，在拜耳阵列结构中，红/绿/蓝(RGB)像素规则排列。快门203可以是机械快门，或是配置为基于对摄像元件的重置定时的控制而控制累积时间的电子快门。
可选择地，摄像单元204可以配置为具有如下结构：即针对一个像素配设多个光电转换部分以获取立体图像，从而更迅速地执行下文所述的自动焦点检测(AF)处理。
数字照相机100进一步包括模拟-数字(A/D)转换器205、图像处理单元206、存储器控制单元207、数字-模拟(D/A)转换器208、存储器209以及***控制单元210。摄像单元204将模拟信号输出到A/D转换器205，且A/D转换器205将所获得的模拟信号转换成由数字信号构成的图像数据，并将图像数据输出到图像处理单元206或存储器控制单元207。
图像处理单元206执行多个图像处理操作。图像处理操作可以包括对从A/D转换器205获得的图像数据或从存储器控制单元207获得的数据执行例如像素插值和遮光校正等校正处理、白平衡处理、伽玛校正处理、颜色转换处理以及亮度调整处理。通过例如数字增益调整处理来实现亮度调整处理。此外，图像处理单元206通过选择用于执行变焦处理的图像区域来实现电子变焦功能。此外，图像处理单元206利用所拍摄图像的图像数据来执行预定计算处理，且***控制单元210基于所获得的计算处理结果执行曝光控制和距离测量控制。例如，***控制单元210执行通过镜头(TTL)自动对焦(AF)处理、自动曝光(AE)处理及电子闪光灯预照射(EF)处理。图像处理单元206利用所拍摄图像的图像数据执行预定计算处理，***控制单元210利用获得的计算处理结果执行TTL自动白平衡(AWB)处理。
图像处理单元206包括被配置为合成多个图像以形成全景图像并检查全景图像的合成结果的图像合成处理电路。例如，如果合成图像的数量不满足预定数量，或者如果合成图像的长度不满足基准值，则图像合成处理电路确定该合成不成功。此外，图像处理单元206包括被配置为执行用于合成全景图像的模糊量计算、对准、圆柱坐标转换和失真校正的几何转换电路。
或者，可以通过由***控制单元210执行的软件处理来代替包括图像处理单元206的配置，来实现图像合成处理的功能。***控制单元210可以包括至少一个处理器和至少一个存储器。存储器可以被配置为存储指令和程序。处理器可以被配置为与存储器通信以及执行指令以进行以下描述的操作(图4和图5所示的流程)。
从A/D转换器205输出的图像数据经由图像处理单元206和存储器控制单元207或经由存储器控制单元207写入存储器209中。存储器209还用作图像显示的存储器(视频存储器)，以存储要在显示单元101上显示的图像数据。存储器209具有足够的存储容量来存储预定数量的静止图像、全景图像(广角图像)和全景图像合成结果。存储器209还可以用作工作区域，***控制单元210将从非易失性存储器211读取的诸如计算机程序或其他数据等加载在该工作区域上。
存储在存储器209中的用于图像显示的数据(数字数据)被发送到D/A转换器208。D/A转换器208将接收到的数字数据转换为模拟信号，并将转换的模拟信号提供给显示单元101，从而图像显示在显示单元101上。显示单元101是诸如液晶显示器或有机电致发光显示器(有机EL显示器)等的显示装置，并基于来自D/A转换器208的模拟信号显示图像。通过***控制单元210打开/关闭显示单元101上的图像显示，并通过关闭图像显示来降低电力消耗。源自摄像单元204的数字信号通过A/D转换器205累积在存储器209中。数字信号由D/A转换器208转换成模拟信号。此外，通过将模拟信号顺次显示在显示单元101上，可以实现用于显示直通图像的电子取景器功能。
数字照相机100包括非易失性存储器211、***计时器212、***存储器213、检测单元215和电子闪光灯控制单元217。非易失性存储器211是电可擦除且可存储的存储器(例如，电可擦除可编程只读存储器(EEPROM))，并存储例如由***控制单元210执行的计算机程序和用于操作的常数。此外，非易失性存储器211包括用于存储***信息的存储区域和用于存储用户设置信息的存储区域。***控制单元210在数字照相机100启动时读取并恢复存储在非易失性存储器211中的诸如设置等各种信息。
***控制单元210包括中央处理单元(CPU)，并执行存储在非易失性存储器211中的各种程序代码，以控制数字照相机100的整个操作。由***控制单元210从非易失性存储器211读取的诸如计算机程序、用于操作的常数和变量等信息被加载到***存储器213中。随机存取存储器用于***存储器213。此外，***控制单元210通过控制例如存储器209、D/A转换器208及显示单元101执行显示控制。***计时器212测量在各种控制中使用的时间和由内置时钟指示的时间。电子闪光灯控制单元217基于被摄体的亮度来控制电子闪光灯141的光发射。检测单元215包括陀螺仪和传感器，以获取例如关于数字照相机100的角速度信息和姿势信息。角速度信息包括关于数字照相机100拍摄全景图像时的角速度和角加速度的信息。此外，姿势信息包括关于数字照相机100相对于水平方向的倾斜的信息。
图2中的显示单元101、操作单元102、控制器轮103、快门按钮121、模式选择开关104、电源开关122和电子闪光灯141与上文参照图1描述的相同。
操作单元102的各种操作构件用于例如选择显示在显示单元101上的各种功能图标。当选择预定功能图标时，根据每个场景为每个操作构件分配不同的功能。因此，操作单元102的操作构件用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像前进按钮、跳转按钮、景深预览按钮、属性改变按钮和显示设置(DISP)按钮。例如，如果按下菜单按钮，则在显示单元101上显示用于设定各种设置的菜单画面。用户可以利用显示在显示单元101上的菜单画面和四个方向(向上、向下、向右、向左)按钮或设置(SET)按钮直观地执行设置操作。
控制器轮103是可旋转操作构件，并且与四向按钮一起用于例如指定选择项目。如果操作控制器轮103，则产生与操作量(例如旋转角度和旋转次数)对应的电脉冲信号。***控制单元210分析电脉冲信号，并控制数字照相机100的每个构件。
快门按钮121包括第一开关SW1和第二开关SW2。如果半按快门按钮121，则第一开关SW1接通。通过该操作，指令信号被发送到***控制单元210以进行摄像准备。如果***控制单元210接收到指示第一开关SW1接通的信号，则***控制单元210开始诸如AF处理、AE处理、AWB处理和EF处理等的操作。如果快门按钮121被完全按下(完成操作)，则第二开关SW2接通，从而用于摄像开始的指令信号被发送到***控制单元210。如果***控制单元210接收到指示第二开关SW2接通的信号的情况下，***控制单元210执行从从摄像单元204读取信号到将图像数据写入记录介质130这一系列摄像操作。
模式选择开关104是用于在诸如静止图像拍摄模式、运动图像拍摄模式和再现模式等各种模式之间改变数字照相机100的操作模式的开关。静止图像拍摄模式包括自动摄像模式，并且还包括全景图像拍摄模式和高动态范围(HDR)全景图像拍摄模式，在全景图像拍摄模式中通过全景图像拍摄来合成全景图像。
数字照相机100包括电源单元214和电源控制单元218。电源单元214是例如一次电池(例如，碱性电池和锂电池)、二次电池(例如，镍镉(NiCd)电池、镍氢(NiMH)电池和锂离子(Li)电池)或交流(AC)适配器。电源单元214向电源控制单元218供电。电源控制单元218检测例如电池是否安装在电源单元214上、电池类型、剩余电池量。电源控制单元218基于检测结果和来自***控制单元210的指令，向包括记录介质130的每个构件提供必要时间段的必要电压。
数字照相机100包括记录介质接口(记录介质I/F)216，其被配置为当记录介质130***记录介质槽(未示出)中时能够在记录介质130和***控制单元210之间进行通信。由于上文已经参照图1描述了记录介质130的细节，因此省略其描述。
由于全景图像覆盖广角视角，因此一个全景图像可包括动态范围显著不同的被摄体。在这种情况下，HDR合成技术通常应用于全景图像。此外，全景图像可以具有比具有HDR的单个合成图像的视角(或多个视角)更宽的视角。
图3示出了生成传统全景HDR图像的示例。在图3所示的示例中，在执行平移操作的同时生成全景HDR图像，并且，如果一旦HDR合成完成就擦除原始图像，那么就减少所需的记录容量。虽然在图3中仅使用两种曝光状态(“不足”和“适度”)下的图像以简化下面的描述，但该技术也适用于三种或更多种曝光状态下的图像的情况。
首先，假设数字照相机100在执行平移操作的同时拍摄被摄体区域300的六个图像301，302，303，304，305和306。在图像301至306中，图像301、303和305处于“适度”的曝光状态，而图像302、304和306处于“不足”的曝光状态。接下来，图像处理单元206组合各个图像301、302、303、304、305和306以生成HDR图像311至313。本质上，图像处理单元206对所拍摄的图像中具有不同曝光状态的图像301，302，303，304，305和306执行第一合成。第一合成生成多个第一合成图像，例如HDR图像311至313，其具有比不同曝光状态的图像301，302，303，304，305和306的动态范围更宽的动态范围。最后，图像处理单元206顺次合成HDR图像311至313以生成全景图像。该合成可以称为第二合成。图像处理单元206使用诸如HDR图像311至313的第一合成图像来执行第二合成，以生成全景图像。全景图像可以称为第二图像。它可以具有比第一合成图像(例如，HDR图像311至313)的视角更宽的视角。首先，图像处理单元206合成HDR图像311和312以生成全景图像321。接下来，图像处理单元206将生成的全景图像321与HDR图像313合成以生成全景图像322。在实际合成中，图像失真等被考虑在内。因此，在许多情况下，并非使用整个拍摄图像，而是选择拍摄图像的中心附近的预定宽度的一部分并将其用于合成。应当注意，在第一合成中利用所拍摄的图像之一生成第一合成图像。另外，在第一合成中使用的图像(例如，图像301，302，303，304，305和306)的组合在相邻的第一合成图像中是不同的。
在图3所示的合成方法中，在生成HDR图像311的时刻，从记录介质130中擦除图像301和302。类似地，在生成HDR图像312的时刻，从记录介质130中擦除图像303和304。在生成HDR图像313的时刻，从记录介质130中擦除图像305和306。如上所述，在执行合成的同时擦除了不必要的图像，从而减少了所需的存储容量。
然而，在图3所示的合成方法中，HDR图像311和312需要包括重叠区域，以没有空图像间隙地合成HDR全景图像。类似地，HDR图像312和313需要包括重叠区域。摄像期间的平移速度受限以获取重叠区域，因此如果用户以高速执行平移，则HDR全景图像的合成可能失败。
在本示例性实施例中，为了提高图3所示的合成方法的能力，在执行平移的同时生成全景图像，并且可以降低对平移速度的限制。此外，在本示例性实施例中，在HDR图像合成时生成的对准信息可以用于合成全景图像。因此，当本示例性实施例应用于相同数量的待合成的HDR图像时，可以减小***负荷。
图4是示出根据本示例性实施例的操作的流程图。图5是示出根据本示例性实施例的生成全景HDR图像的操作的图。下面参照图4和图5描述本示例性实施例中的具体实现方法。为了简化描述，在下面的描述中仅使用“适度”和“不足”这两种曝光状态。然而，如上所述，曝光状态不限于这两种曝光状态，可以应用更多的曝光状态。
在步骤S401中，***控制单元210确定是否按下了开关SW1。如果按下开关SW1(步骤S401中的“是”)，则处理进入步骤S402。
在步骤S402中，***控制单元210进行全景图像拍摄的设置。具体地，基于用户预先指定的设置和关于摄像单元204接收光的摄像范围的测光结果来计算“适度”曝光值和曝光偏移量。在本示例性实施例的情况下，由于仅存在“适度”和“不足”这两种曝光状态，因此***控制单元210根据“适度”曝光值和曝光偏移量计算对应于“不足”的曝光值。
在步骤S403中，***控制单元210确定是否按下了开关SW2。如果按下开关SW2，则处理进入步骤S404。从这时起，用户从其期望拍摄图像的范围的端部中的一端开始平移操作。在这种情况下，***控制单元210可以在显示单元101上显示提示用户执行平移操作的消息，例如“请开始摆动”或“请开始平移操作”。
在步骤S404中，***控制单元210将曝光状态设置为“适度”。
在步骤S405中，摄像单元204在“适度”曝光状态下拍摄图像。
在步骤S406中，图像处理单元206对摄像单元204在步骤S405中拍摄的图像进行显影处理，以生成用于HDR合成的图像。显影处理包括白平衡处理和伽玛校正处理。
在步骤S407中，***控制单元210将曝光状态设置为“不足”。
在步骤S408中，摄像单元204拍摄处于“不足”曝光状态的图像。处于“不足”曝光状态的该图像可以与在步骤S405中拍摄的图像相邻。可以与步骤S407和S408中的处理并行地执行步骤S406中的处理。实质上，步骤S404，S405，S407和S408的整体操作是设置曝光状态以使曝光状态彼此不同，同时图像传感器拍摄多个图像中的两个或更多个相邻图像。
在步骤S409中，图像处理单元206对摄像单元204在步骤S408中拍摄的图像进行显影处理。在该显影处理中可以使用与步骤S406中的方法类似的方法。
在随后的操作中，图像处理单元206和/或***控制单元210在执行第一合成(例如，HDR图像的生成)和第二合成(例如，生成全景图像)时进行对准处理。该对准处理可以通过表示连续图像之间的位移或运动的运动矢量的检测来完成。在步骤S410中，***控制单元210基于在步骤S406和S409中生成的用于HDR合成的图像来检测用于对准的运动矢量。对于运动矢量检测，可以使用诸如投影变换等公知方法。由于在步骤S406和S409中生成的图像之间的曝光值不同，因此运动矢量检测可能失败。因此，在曝光值之间的差值大于或等于预定值的情况下，步骤S406(或步骤S409)中生成的图像可以降低增益，或者可以从步骤S409(或步骤S406)中生成的图像中生成增益增加的图像使得曝光值之间的差值变得小于预定值。此后，***控制单元210使用增益降低图像或增益增加图像来检测运动矢量。***控制单元210存储由***控制单元210检测的运动矢量。
在步骤S411中，基于步骤S410中的运动矢量检测的结果，图像处理单元206组合在步骤S406和S409中生成的用于HDR合成的图像，并生成单个HDR图像。具体地，图像处理单元206利用在步骤S410中检测的运动矢量，通过例如几何变换处理、变焦处理和剪裁处理来生成HDR合成图像。
在步骤S412中，***控制单元210再次将曝光状态设置为“适度”。
在步骤S413中，摄像单元204在“适度”曝光状态下拍摄图像。在进行平移操作的同时执行上述一系列处理。因此，在步骤S405中拍摄的“适度”曝光状态下的图像具有与在步骤S412中拍摄的图像不同的视角。
在步骤S414中，图像处理单元206对在步骤S413中拍摄的图像执行显影处理。显影处理的方法类似于步骤S406中的方法。
在步骤S415中，***控制单元210检测运动矢量。具体地，***控制单元210从步骤S414中生成的用于HDR合成的图像和紧挨着步骤S414中生成的图像之前(就时间而言)生成的用于HDR合成的图像(即，与步骤S414中生成的用于HDR合成的图像相邻(在图像平面方面)的用于HDR合成的图像)中检测运动矢量。***控制单元210存储检测到的运动矢量。
在步骤S416中，图像处理单元206针对在步骤S415中已经执行了运动矢量检测的两个用于HDR合成的图像执行合成。
在步骤S417中，***控制单元210针对在步骤S416中生成的HDR图像的全景图像以及紧挨在步骤S416中生成的HDR图像之前(就时间而言)生成的HDR图像合成全景图像。具体地，针对在步骤S411中生成的HDR图像和在步骤S416中生成的HDR图像，或者针对在步骤S416中生成的HDR图像和在前一个循环(就时间而言)在步骤S416中生成的HDR图像，***控制单元210合成全景图像。此时，基于从用于HDR合成的图像中检测到的已存储运动矢量，来执行用于合成全景图像的必要对准。实质上，***控制单元210在执行第一合成时执行用于对准处理(例如，运动矢量的计算)的计算，并且在执行第二合成时使用对准处理中的计算结果。下面将描述该对准。
在步骤S418中，***控制单元210再次将曝光状态设置为“不足”。
在步骤S419中，摄像单元204拍摄处于“不足”曝光状态的图像。在进行平移操作的同时执行上述一系列处理。因此，在步骤S408中拍摄的“不足”曝光状态下的图像具有与在步骤S418中拍摄的图像不同的视角。
在步骤S420中，图像处理单元206对摄像单元204在步骤S419中拍摄的图像进行显影处理。可以在显影处理中使用与步骤S406中的方法类似的方法。
在步骤S421中，***控制单元210基于在步骤S414和S420中生成的用于HDR合成的图像来检测运动矢量。***控制单元210存储由此检测的运动矢量。
在步骤S422中，图像处理单元206对在步骤S421中已经执行了运动矢量检测的两个用于HDR合成的图像执行合成。
在步骤S423中，***控制单元210对在步骤S417中生成的全景图像和在步骤S422中生成的HDR图像的全景图像执行合成。此时，基于从用于HDR合成的图像检测的已存储运动矢量来执行用于合成全景图像的必要对准。
在步骤S424中，***控制单元210确定是否终止全景图像拍摄。尽管图4示出了基于是否拍摄了预定的最大数量的图像来确定是否终止全景图像拍摄，但是该实施例不限于该方法。例如，数字照相机100的摇摄角度或响应于开关SW2的按下而取消可以被用于确定。在图4所示的流程图中，如果达到预定的最大图像数量(步骤S424中的“是”)，则处理进入步骤S425，并且***控制单元210将在步骤S423中合成的全景图像存储到记录介质中。另一方面，如果未达到预定的最大图像数量(步骤S424中的“否”)，则处理返回到步骤S412。
参考图5描述对应于图4中的流程图的图像拍摄操作。用户在平移数字照相机100的同时拍摄被摄体区域500的全景图像。图像501到506是通过全景图像拍摄获得的图像。在图像501至506中，图像501、503和505在“适度”曝光状态下被拍摄，而图像502、504和506在“不足”曝光状态下被拍摄。与平移操作并行地，图像处理单元206生成HDR图像511至515。在HDR图像511至515中，图像处理单元206使用图像501和502生成HDR图像511。类似地，图像处理单元图206使用图像502和503生成HDR图像512，并使用图像503和504生成HDR图像513。类似地，生成HDR图像514和515。接下来，一旦生成HDR图像，***控制单元210就合成全景图像。***控制单元210使用HDR图像511和512顺次生成全景图像521。接下来，一旦生成HDR图像513，***控制单元210就合成HDR图像513和全景图像521以生成全景图像522。类似地，***控制单元210基于全景图像522和HDR图像514生成全景图像523，并基于全景图像523和HDR图像515生成全景图像524。在此阶段，合成全景图像通常需要用于对准的处理和用于对准的运动矢量检测。在本示例性实施例中，由于在生成HDR图像511至515时使用运动矢量，因此不必重新检测运动矢量。原因如下所述。
第一HDR图像是用于HDR合成的第二图像与用于HDR合成的第一图像重叠的区域。第二HDR图像是用于HDR合成的第三图像与用于HDR合成的第二图像重叠的区域。第三HDR图像是用于HDR合成的第四图像与用于HDR合成的第三图像重叠的区域。因此，第一和第二HDR图像之间的运动矢量等于用于HDR合成的第二和第三图像之间的运动矢量，并且第二和第三HDR图像之间的运动矢量等于用于HDR合成的第三和第四HDR图像之间的运动矢量。换句话说，第一和第三HDR图像之间的运动矢量是用于HDR合成的第二和第三图像之间的运动矢量与用于HDR合成的第三和第四图像之间的运动矢量的合成运动矢量。因此，第N个HDR图像与第一HDR图像之间的运动矢量等于从用于HDR合成的第二和第三图像之间的运动矢量到用于HDR合成的第N个和第N+1个图像之间的运动矢量的运动矢量的合成运动矢量。如上所述，在本示例性实施例中，可以通过读取用于HDR合成的图像之间的运动矢量来实现HDR图像对准，而无需检测HDR图像之间的运动矢量。
在图5所示的示例中，由于全景图像524被视为最终输出，因此***控制单元210将全景图像524存储在记录介质130中。
如上所述，由于在本示例性实施例中描述的合成HDR全景图像的方法中，关于HDR合成时的运动矢量的信息也用于生成全景图像所需的对齐，因此不必再次获得用于对准的运动矢量。此外，在进行图3和图5中所示的两种合成HDR全景图像的方法之间的比较时，在图5所示的方法中，使用一个图像来组成不同的HDR图像，并且比图3所示的方法生成更多的HDR图像。因此，如果在合成全景图像中使用的视角是恒定的，那么图像之间的重叠部分更大。通常，在全景图像的合成中，图像之间的重叠部分越大，诸如对准等处理的精度越高。因此合成图像具有更高的质量。具体地，在以恒定的平移速度拍摄HDR全景图像的情况下，本示例性实施例中的方法产生具有更高质量的HDR全景图像。
此外，图5中示出的方法使得能够比图3中示出的方法更快地进行平移。具体地，尽管拍摄了相同数量的图像，但图5的方法中生成的HDR图像的数量大于图3中的方法中生成的HDR图像的数量。尽管图3中的HDR图像311、312和313分别对应于图5中的HDR图像511、513和515，但是图5中的HDR图像512和514在图3中没有对应图像。在图3中的方法中，HDR图像311和312需要包括重叠部分以便生成全景图像321。如上所述，图像拍摄期间的平移速度受到重叠部分的限制。另一方面，在如图5所示的本示例性实施例的合成方法中，由于存在HDR图像512，因此HDR图像511和512仅需要至少是重叠部分用以生成全景图像521。对应于图3中的HDR图像312的HDR图像513和HDR图像511不一定必须包括重叠部分。
注意，在处理期间用于HDR合成的图像之间的运动矢量的检测失败的情况下，不仅不能使用用于HDR合成的图像执行生成HDR图像而且还不能执行用于后续HDR图像的对准处理。
例如，在未成功检测到图5中用于HDR合成的图像502和503之间的运动矢量、并且成功检测到用于HDR合成的图像503和504之间的运动矢量的情况下，不能生成HDR图像512。
在这种情况下，***控制单元210检测用于HDR合成的图像502和504之间的运动矢量。如果成功检测到用于HDR合成的图像502和504之间的运动矢量，则可以使用检测到的运动矢量来执行HDR图像511和513的对准处理。
此外，在图5中用于HDR合成的图像502和503之间的运动矢量未被成功检测到、并且用于HDR合成的图像503和504之间的运动矢量也未被成功检测到的情况下，不能生成HDR图像512和513。
在这种情况下，***控制单元210检测用于HDR合成的图像502和505之间的运动矢量。如上所述，为了获得不同曝光值的图像之间的运动矢量，优选的是调整图像中至少一个图像的增益，使得图像具有相同的亮度。如果成功检测到用于HDR合成的图像502和505之间的运动矢量，则可以使用检测到的运动矢量来执行HDR图像511和514的对准处理。
或者，为了增加运动矢量检测的精度，可以检测具有相同曝光状态的用于HDR合成的图像502和506之间的运动矢量。然而，在这种情况下，HDR图像515将与图像511合成。因此，平移速度越快，HDR图像511和515之间的重叠区域越小。此外，可能没有重叠区域。
以上作为示例性实施例中的示例描述了两个曝光状态，“适度”和“不足”，但曝光状态不限于上文所述。例如，可以采用诸如“适度”，“不足”和“过度”等三种曝光状态。在这种情况下，在步骤S411等中使用用于HDR合成的三个图像来构成HDR图像。此外，可以在周期性地切换三个或更多个曝光状态的同时拍摄图像。
根据本示例性实施例，可以在执行平移的同时从拍摄的图像中生成HDR全景图像，因此减少了***上的处理负荷。
(其他实施例)
此外，虽然在上述示例性实施例中，已经基于个人数字照相机进行了描述，但是本示例性实施例也可以应用于例如移动设备、智能手机或连接到服务器的个人数字照相机的网络照相机等，只要它配备全景图像拍摄和合成功能即可。
此外，还可以通过经由网络或记录介质向***或装置提供用于实现上述示例性实施例的一个或多个功能的程序、并且使***或装置的计算机中的一个或多个处理器读出和执行程序的处理来实现本发明。此外，本发明还可以通过实现一个或多个功能的电路(例如，专用集成电路(ASIC))来实现。
以上在示例性实施例中描述了用于个人用途的数字照相机，任何具有全景图像拍摄和合成功能的设备，例如移动设备、智能手机或连接到服务器的网络相机，也是适用的。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (11)

1.一种摄像装置，包括：
图像传感器，被配置为拍摄多个图像；
至少一个存储器，被配置为存储指令；以及
至少一个处理器，被配置为与至少一个存储器通信，并被配置为执行以下指令：
设置曝光状态，以使图像传感器拍摄多个图像中的两个或更多个相邻图像时曝光状态彼此不同；
对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的多个第一合成图像；以及
利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像，
其中，多个图像中的一个图像用于不同的第一合成图像的合成中，并且，用于第一合成的图像的组合在相邻第一合成图像中是不同的，以及
所述至少一个处理器还执行以下指令：
在执行第一合成和第二合成时执行对准处理，以及，
进行用于在执行第一合成时的对准处理的计算，并且将计算结果用于执行第二合成时的对准处理中。
2.根据权利要求1所述的摄像装置，其中，至少一个处理器执行进一步的指令，以对多个第一合成图像顺次执行第二合成以生成第二图像。
3.根据权利要求1所述的摄像装置，其中，至少一个处理器执行进一步的指令，以设置曝光装置，使得在图像传感器拍摄多个图像的同时周期性改变曝光状态。
4.根据权利要求3所述的摄像装置，其中，至少一个处理器执行进一步的指令，以对不同曝光状态的图像执行第一合成，所述不同曝光状态的数量对应于一个周期的图像的数量。
5.根据权利要求4所述的摄像装置，其中，一个周期的图像的数量是两个或三个。
6.一种摄像装置，包括：
图像传感器，被配置为拍摄多个图像；
至少一个存储器，被配置为存储指令；以及
至少一个处理器，被配置为与至少一个存储器通信，并被配置为执行以下指令：
设置曝光状态，以使图像传感器拍摄多个图像中的两个或更多个相邻图像时曝光状态彼此不同；
对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的第一合成图像，对多个图像执行第一合成，生成多个第一合成图像，并利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像；以及
进行用于执行第一合成时的对准处理的计算，并且将计算结果用于执行第二合成时的对准处理中。
7.根据权利要求6所述的摄像装置，其中，至少一个处理器执行进一步的指令，以在执行第一合成时检测运动矢量，并在第二合成中使用运动矢量。
8.一种用于控制摄像装置的方法，摄像装置包括：图像传感器，被配置为拍摄多个图像；至少一个存储器，被配置为存储指令；以及至少一个处理器，被配置为与至少一个存储器通信，所述方法包括：
设置曝光状态，以使图像传感器拍摄多个图像中的两个或更多个相邻图像时曝光状态彼此不同；
对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的多个第一合成图像；以及
利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像，
其中，多个图像中的一个图像用于不同的第一合成图像的合成中，并且，用于第一合成的图像的组合在相邻第一合成图像中是不同的，以及
在执行第一合成和第二合成时执行对准处理，以及
进行用于在执行第一合成时的对准处理的计算，并且将计算结果用于执行第二合成时的对准处理中。
9.一种用于控制摄像装置的方法，摄像装置包括：图像传感器，被配置为拍摄多个图像；至少一个存储器，被配置为存储指令；以及至少一个处理器，被配置为与至少一个存储器通信，所述方法包括：
设置曝光状态，以使图像传感器拍摄多个图像中的两个或更多个相邻图像时曝光状态彼此不同；
对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的第一合成图像，对多个图像执行第一合成，生成多个第一合成图像，并利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像；以及
进行用于执行第一合成时的对准处理的计算，并且将计算结果用于执行第二合成时的对准处理中。
10.一种用于存储使计算机执行控制摄像装置的方法的指令的非暂时性计算机可读存储介质，摄像装置包括：图像传感器，被配置为拍摄多个图像；至少一个存储器，被配置为存储指令；以及至少一个处理器，被配置为与至少一个存储器通信，所述方法包括：
设置曝光状态，以使图像传感器拍摄多个图像中的两个或更多个相邻图像时曝光状态彼此不同；
对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的多个第一合成图像；以及
利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像，
其中，多个图像中的一个图像用于不同的第一合成图像的合成中，并且，用于第一合成的图像的组合在相邻第一合成图像中是不同的，以及
在执行第一合成和第二合成时执行对准处理，以及
进行用于在执行第一合成时的对准处理的计算，并且将计算结果用于执行第二合成时的对准处理中。
11.一种用于存储使计算机执行控制摄像装置的方法的指令的非暂时性计算机可读存储介质，摄像装置包括：图像传感器，被配置为拍摄多个图像；至少一个存储器，被配置为存储指令；以及至少一个处理器，被配置为与至少一个存储器通信，所述方法包括：
设置曝光状态，以使图像传感器拍摄多个图像中的两个或更多个相邻图像时曝光状态彼此不同；
对多个图像中曝光状态不同的图像执行第一合成，以生成动态范围比曝光状态不同的图像的动态范围更宽的第一合成图像，对多个图像执行第一合成，生成多个第一合成图像，并利用多个第一合成图像执行第二合成，以生成视角比多个第一合成图像的视角更宽的第二图像；以及
进行用于执行第一合成时的对准处理的计算，并且将计算结果用于执行第二合成时的对准处理中。
CN201910089599.3A 2018-03-07 2019-01-30 生成高动态范围全景图的摄像装置、摄像方法及存储介质 Active CN110248114B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018041196A JP6833746B2 (ja) 2018-03-07 2018-03-07 撮像装置、撮像方法、プログラムおよび記録媒体
JP2018-041196 2018-03-07

Publications (2)

Publication Number Publication Date
CN110248114A CN110248114A (zh) 2019-09-17
CN110248114B true CN110248114B (zh) 2021-06-22

Family

ID=67843588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910089599.3A Active CN110248114B (zh) 2018-03-07 2019-01-30 生成高动态范围全景图的摄像装置、摄像方法及存储介质

Country Status (3)

Country Link
US (1) US10887515B2 (zh)
JP (1) JP6833746B2 (zh)
CN (1) CN110248114B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
JP7137544B2 (ja) * 2019-09-26 2022-09-14 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
CN111147753B (zh) * 2019-12-31 2022-01-28 维沃移动通信有限公司 照片处理的方法、电子设备及介质
CN111738925B (zh) * 2020-08-04 2020-12-08 四川智盛芯源科技有限公司 一种阵列相机中田字形全景图像拼接方法
US11606498B1 (en) 2020-09-22 2023-03-14 Apple Inc. Exposure of panoramas
JP2022052532A (ja) * 2020-09-23 2022-04-04 キヤノン株式会社 画像処理装置、撮像装置、撮像制御装置及びそれらの制御方法、プログラム
CN113891012B (zh) * 2021-09-17 2024-05-28 天津极豪科技有限公司 一种图像处理方法、装置、设备以及存储介质
CN114979505A (zh) * 2022-05-27 2022-08-30 众趣（北京）科技有限公司 一种旋转拍摄全景的方法及装置
CN115330602B (zh) * 2022-08-31 2023-07-07 北京墨境天合数字图像科技有限公司 一种光照环境参考图制作方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257531A (zh) * 2008-12-19 2011-11-23 高通股份有限公司 高动态范围图像组合
CN102739955A (zh) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 能生成动态范围宽的全景图像的数据的摄像装置
CN103141079A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像生成装置及图像生成方法
CN105164724A (zh) * 2013-04-30 2015-12-16 三星电子株式会社 在便携终端中生成图像数据的装置和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5370056B2 (ja) * 2008-11-04 2013-12-18 オムロン株式会社 画像処理装置
EP2603834B1 (en) * 2010-09-20 2020-12-09 Nokia Technologies Oy Method for forming images
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6025342B2 (ja) 2012-02-23 2016-11-16 キヤノン株式会社 撮像装置及びその制御方法
JP6630176B2 (ja) * 2016-02-09 2020-01-15 キヤノン株式会社 画像処理装置およびその方法
US10482574B2 (en) * 2016-07-06 2019-11-19 Gopro, Inc. Systems and methods for multi-resolution image stitching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257531A (zh) * 2008-12-19 2011-11-23 高通股份有限公司 高动态范围图像组合
CN103141079A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像生成装置及图像生成方法
CN102739955A (zh) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 能生成动态范围宽的全景图像的数据的摄像装置
CN105164724A (zh) * 2013-04-30 2015-12-16 三星电子株式会社 在便携终端中生成图像数据的装置和方法

Also Published As

Publication number Publication date
US20190281216A1 (en) 2019-09-12
JP6833746B2 (ja) 2021-02-24
JP2019161272A (ja) 2019-09-19
CN110248114A (zh) 2019-09-17
US10887515B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
CN110248114B (zh) 生成高动态范围全景图的摄像装置、摄像方法及存储介质
JP7023662B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP6604831B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US20220360708A1 (en) Image pickup apparatus, image pickup method, and non-transitory computer-readable storage medium
US11245846B2 (en) Image capturing control apparatus and control method therefor
JP2018190092A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
CN110505394B (zh) 图像处理装置、图像处理方法、摄像装置及存储介质
US20190222754A1 (en) Imaging apparatus, imaging method, and storage medium
JP6590894B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7086774B2 (ja) 撮像装置、撮像方法およびプログラム
JP7051586B2 (ja) 撮像装置、撮像方法およびプログラム
JP6869841B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
US20190026863A1 (en) Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and recording apparatus
JP2019186831A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2014090322A (ja) 撮像装置及びその制御方法。
JP2018207178A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP6929133B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN116261050A (zh) 图像处理设备、图像处理方法、摄像设备和存储介质
JP2017055268A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2023104368A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2021125735A (ja) 撮像制御装置、撮像制御装置の制御方法、プログラム及び記憶媒体
JP2021027446A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2021016128A (ja) 撮像装置、撮像方法およびプログラム
JP2019068243A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP2018014585A (ja) 画像処理装置とその制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant