CN104956669B - 图像处理装置、摄像装置和图像处理方法 - Google Patents

图像处理装置、摄像装置和图像处理方法 Download PDF

Info

Publication number
CN104956669B
CN104956669B CN201380071521.XA CN201380071521A CN104956669B CN 104956669 B CN104956669 B CN 104956669B CN 201380071521 A CN201380071521 A CN 201380071521A CN 104956669 B CN104956669 B CN 104956669B
Authority
CN
China
Prior art keywords
wave band
image
colour filter
frame number
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380071521.XA
Other languages
English (en)
Other versions
CN104956669A (zh
Inventor
菊地直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104956669A publication Critical patent/CN104956669A/zh
Application granted granted Critical
Publication of CN104956669B publication Critical patent/CN104956669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供图像处理装置等，与被摄体的颜色特性无关，能够在维持帧率的前提下生成包含较多高频成分的分辨率较高的插值图像。图像处理装置包括：图像取得部(101)，其取得使用具有多个波段的滤色器的摄像元件进行摄像而得到的多帧摄像数据；位置对齐处理部(102)，其进行多帧摄像数据的位置对齐处理，生成统合摄像数据；参照波段选择部(105)，其在过去帧的输出图像中从多个波段中选择参照波段；参照图像生成部(103)，其对统合摄像数据中的与参照波段对应的滤色器的图像数据进行插值处理；以及插值图像生成部(104)，其根据参照图像对统合摄像数据中的与不同于参照波段的波段对应的滤色器的图像数据进行插值处理。

Description

图像处理装置、摄像装置和图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置和图像处理方法等。
背景技术
为了拍摄全彩色图像，公知有将R(Red)G(Green)B(Blue)这3个波段的滤色器设置在摄像元件前表面的摄像装置。在具有单板摄像元件的摄像装置中，为了生成包含较多高频成分的分辨率高的插值图像，参照能够高精度地取得高频成分的波段的信息来生成插值图像的手法是有效的。
这里，能够取得高频成分的波段需要满足以下2个条件：第1，以取样密度较高的方式配置，第2，与被摄体的颜色特性之间具有较强的相关性。因此，在专利文献1中，提出了针对生成插值图像时参照的波段、根据被摄体的颜色特性来切换插值方法的手法。
并且，以被摄体的忠实的颜色再现为目的，多波段摄像受到关注。作为多波段摄像装置，存在进行多张摄像或使用多台照相机的装置。例如，在专利文献2中，提出了使用将4个波段以上(包含该值)的滤色器设置在摄像元件中得到的单板的多波段摄像元件的手法。
现有技术文献
专利文献
专利文献1：日本特开2009-94577号公报
专利文献2：日本特开2003-87806号公报
发明内容
发明要解决的课题
在所述专利文献1所示的手法中，无法提高用作参照波段的波段的取样密度，即使使用3个波段的拜尔排列中取样密度比G低的R或B作为参照波段，也无法再现使用G作为参照波段那样的高频成分。
进而，在所述专利文献2所示的、各波段的取样密度比3波段摄像元件低的多波段摄像元件中，在与被摄体的颜色特性之间具有较强的相关性而被选择为参照波段的波段是取样密度较低的波段的情况下，更难再现高频成分。多波段摄像元件的波段数越多，则该问题越显著。
并且，在拍摄多张图像来提高外观的像素密度的手法中，虽然与被摄体的颜色特性无关而能够生成包含较多高频成分的分辨率较高的图像，但是，存在处理复杂、存储器增大、帧率降低这样的问题。
根据本发明的若干个方式，能够提供如下的图像处理装置、摄像装置和图像处理方法等：与被摄体的颜色特性无关，能够在维持帧率的前提下生成包含较多高频成分的分辨率较高的插值图像。
用于解决课题的手段
本发明的一个方式涉及一种图像处理装置，该图像处理装置包括：图像取得部，其取得使用摄像元件拍摄到的摄像时刻相互不同的多帧摄像数据，其中，该摄像元件具有将多个波段的滤色器配置成阵列状得到的滤色器阵列；位置对齐处理部，其进行所取得的所述多帧摄像数据的位置对齐处理，生成统合摄像数据；参照波段选择部，其在生成输出图像的基准帧之前的时刻的帧即过去帧的输出图像中，从所述多个波段中选择参照图像生成用的参照波段；参照图像生成部，其对所述统合摄像数据中的与所述参照波段对应的滤色器的图像数据进行插值处理，从而生成参照图像；以及插值图像生成部，其根据所述参照图像，对所述统合摄像数据中的与不同于所述参照波段的波段对应的滤色器的图像数据进行插值处理，从而生成插值图像。
在本发明的一个方式中，在生成输出图像的基准帧之前的时刻的帧即过去帧的输出图像中，从多个波段中选择参照图像生成用的参照波段。然后，进行所取得的多帧摄像数据的位置对齐处理，生成统合摄像数据。进而，对统合摄像数据中的与参照波段对应的滤色器的图像数据进行插值处理，从而生成参照图像。然后，根据参照图像对统合摄像数据中的与不同于参照波段的波段对应的滤色器的图像数据进行插值处理，从而生成插值图像。
由此，即使是取样密度较低的波段，也能够在维持帧率的前提下用作取样密度较高的信息，与被摄体的颜色特性无关而能够生成包含较多高频成分的分辨率较高的图像。
并且，在本发明的一个方式中，也可以是，所述图像处理装置包括使用帧数决定部，该使用帧数决定部根据由所述参照波段选择部选择出的所述参照波段的种类，决定所述参照图像生成部中使用的参照图像生成用帧数。
由此，能够根据参照波段的种类，仅读出生成参照图像所需要的数量的帧等。
并且，在本发明的一个方式中，也可以是，所述图像取得部取得使用如下的所述摄像元件拍摄到的所述多帧摄像数据，该摄像元件具有包括第1滤色器和取样密度比所述第1滤色器低的第2滤色器的所述滤色器阵列，在所述参照波段是与所述第1滤色器对应的波段的情况下，所述使用帧数决定部将所述参照图像生成用帧数决定为第1帧数，在所述参照波段是与所述第2滤色器对应的波段的情况下，所述使用帧数决定部将所述参照图像生成用帧数决定为比所述第1帧数多的第2帧数。
由此，能够根据参照波段的取样密度，决定参照图像生成用帧数等。
并且，在本发明的一个方式中，也可以是，所述第1滤色器是在所述滤色器阵列中配置在奇数行的奇数列及偶数行的偶数列，或者配置在奇数行的偶数列及偶数行的奇数列的滤色器，所述第2滤色器是在所述滤色器阵列中配置在与所述第1滤色器不同的位置的滤色器。
由此，例如，在配置成棋盘格状的波段是参照波段的情况下，仅1帧的数据就能够生成高精度的参照图像，在未配置成棋盘格状的波段是参照波段的情况下，通过使用多帧数据，也能够生成高精度的参照图像等。
并且，在本发明的一个方式中，也可以是，所述图像处理装置包括使用帧数决定部，该使用帧数决定部根据由所述参照波段选择部选择出的所述参照波段的种类，决定所述插值图像生成部中使用的插值图像生成用帧数。
由此，能够根据参照波段的种类，仅读出生成插值图像所需要的数量的帧等。
并且，在本发明的一个方式中，也可以是，所述图像取得部取得使用如下的所述摄像元件拍摄到的所述多帧摄像数据，该摄像元件具有包括第1滤色器和取样密度比所述第1滤色器低的第2滤色器的所述滤色器阵列，在所述参照波段是与所述第1滤色器对应的波段的情况下，所述使用帧数决定部将所述插值图像生成用帧数决定为第3帧数，在所述参照波段是与所述第2滤色器对应的波段的情况下，所述使用帧数决定部将所述插值图像生成用帧数决定为比所述第3帧数少的第4帧数。
由此，能够根据参照波段的取样密度，决定插值图像生成用帧数等。
并且，在本发明的一个方式中，也可以是，所述图像处理装置还包括判定摄像数据的帧间的相关性的帧相关性判定部，所述使用帧数决定部根据所述帧相关性判定部的判定结果决定使用帧数。
由此，例如在场景大幅变化、帧间不存在相关性的情况下，也能够抑制由于位置对齐处理的精度降低而导致的伪像的产生等。
并且，在本发明的一个方式中，也可以是，所述参照波段选择部在所述过去帧的所述输出图像中，选择所述多个波段中的与被摄体的颜色特性之间具有最强相关性的波段作为所述参照波段。
由此，能够根据被摄体的颜色特性来进行插值图像的生成处理等。
并且，在本发明的一个方式中，也可以是，所述参照波段选择部通过进行所述过去帧的所述输出图像的高频成分和亮度中的至少一方的评价，选择所述参照波段。
由此，能够高精度地判别参照波段等。
并且，在本发明的一个方式中，也可以是，所述参照波段选择部按照将图像分割成多个区域而得到的每个部分区域来选择所述参照波段。
由此，例如通过按照每个部分区域而使用不同的参照波段，在一个场景内存在多种颜色特性偏差的被摄体的情况下，也能够生成包含较多高频成分的分辨率较高的插值图像等。
并且，在本发明的一个方式中，也可以是，所述图像取得部取得使用具有如下的所述滤色器阵列的所述摄像元件拍摄到的所述多帧摄像数据，该滤色器阵列包括配置在奇数行的奇数列及偶数行的偶数列，或者配置在奇数行的偶数列及偶数行的奇数列的第1滤色器、以及配置在与所述第1滤色器不同的位置且取样密度比所述第1滤色器低的第2滤色器，在所述参照波段选择部未选择所述参照波段的情况下，所述参照图像生成部通过对所述第1滤色器的图像数据进行所述插值处理，生成所述参照图像。
由此，例如，使用取样密度最高的波段作为参照波段，与使用其他波段作为参照波段的情况相比，能够生成高精度的插值图像等。
并且，在本发明的一个方式中，也可以是，所述图像取得部取得使用如下的所述摄像元件拍摄到的所述多帧摄像数据，其中，该摄像元件具有配置了分光感光度特性不同的大于等于4个波段的滤色器的所述滤色器阵列。
由此，在使用多波段摄像元件生成插值图像的情况下，与被摄体的颜色特性无关而能够生成包含较多高频成分的分辨率较高的图像等。
并且，在本发明的另一个方式中，涉及一种包括所述图像处理装置的摄像装置。
并且，在本发明的另一个方式中，涉及一种图像处理方法，该图像处理方法包括以下步骤：取得使用摄像元件拍摄到的摄像时刻相互不同的多帧摄像数据，其中，该摄像元件具有将多个波段的滤色器配置成阵列状的滤色器阵列；进行所取得的所述多帧摄像数据的位置对齐处理，生成统合摄像数据；在生成输出图像的基准帧之前的时刻的帧即过去帧的输出图像中，从所述多个波段中选择参照图像生成用的参照波段；对所述统合摄像数据中的与所述参照波段对应的滤色器的图像数据进行插值处理，从而生成参照图像；根据所述参照图像对所述统合摄像数据中的与不同于所述参照波段的波段对应的滤色器的图像数据进行插值处理，从而生成插值图像。
附图说明
图1是插值处理的说明图。
图2(A)～图2(H)是多张摄像技术的说明图。
图3是第1实施方式的图像处理装置的***结构例。
图4是第1实施方式的摄像装置的***结构例。
图5是第1实施方式的摄像装置的详细***结构例。
图6是滤色器阵列的例子。
图7是说明第1实施方式的处理流程的流程图。
图8是以时间序列顺序说明第1实施方式的处理流程的流程图。
图9是使用1帧的参照图像生成处理的说明图。
图10是使用2帧的参照图像生成处理的说明图。
图11是分光感光度特性的说明图。
图12是3个波段的滤色器阵列的说明图。
图13是第1实施方式的图像处理装置的另一个***结构例。
图14是说明第1实施方式的另一个处理流程的流程图。
图15是第2实施方式的图像处理装置的***结构例。
图16是说明第2实施方式的处理流程的流程图。
图17是说明第2实施方式的另一个处理流程的流程图。
具体实施方式
下面，对第1实施方式和第2实施方式进行说明。首先，对各实施方式的背景的概要进行统一说明。接着，按照每个实施方式对***结构例、处理的详细情况和变形例进行说明。最后，对第1实施方式和第2实施方式的手法进行统一说明。另外，以下说明的各实施方式并非不当地限定权利要求书所记载的本发明的内容。并且，各实施方式中说明的全部结构不一定是本发明的必须结构要件。
1.概要
为了拍摄全彩色图像，公知有将R(Red)G(Green)B(Blue)这3个波段的滤色器设置在摄像元件前表面的摄像装置。在具有单板摄像元件的摄像装置中，为了生成包含较多高频成分的分辨率高的插值图像，如图1所示，参照能够高精度地取得高频成分的波段的信息来生成插值图像的手法是有效的。
具体而言，在图1所示的手法中，从使用与C1～C3这3个波段对应的滤色器进行摄像而得到的摄像图像PIM中选择C1作为参照波段，对摄像图像PIM进行C1的插值处理，生成参照图像RIM。然后，根据所生成的参照图像RIM，分别对C2和C3进行插值处理，生成C2的插值图像IIM1和C3的插值图像IIM2。
这里，能够取得高频成分的波段需要满足以下2个条件：第1，以取样密度较高的方式配置，第2，与被摄体的颜色特性之间具有较强的相关性。
因此，在所述专利文献1中，提出了针对生成插值图像时参照的波段、根据被摄体的颜色特性来切换插值方法的手法。
但是，在所述专利文献1所示的手法中，无法提高用作参照波段的波段的取样密度。因此，例如在取样密度较高的波段与被摄体的颜色特性之间的相关性较低的情况等下，当使用了与被摄体的颜色特性之间的相关性较高、但是取样密度较低的波段作为参照波段时，很难再现高频成分。具体而言，即使使用RGB的3个波段的拜尔排列中取样密度比G低的R或B作为参照波段，也无法期待使用G作为参照波段的程度的高频成分的再现。
另一方面，以被摄体的忠实的颜色再现为目的，多波段摄像受到关注。作为多波段摄像装置，存在进行多张摄像或使用多台照相机的装置。例如，在所述专利文献2中，提出了使用将4个波段以上(包含该值)的滤色器设置在摄像元件中得到的单板的多波段摄像元件的手法。在该手法中，通过使用例如后述图6所示的多波段摄像元件，由此，通过进行一张图像的摄像就能够取得多波段图像，具有装置小型化、帧率保持等优点。为了在使用这种多波段摄像元件时也能够生成包含较多高频成分的分辨率较高的插值图像，使用能够高精度地取得高频成分的波段的信息作为参照图像来生成插值图像的手法是有效的。
但是，在各波段的取样密度比3波段摄像元件低的图6所示的多波段摄像元件中，在与被摄体的颜色特性之间具有较强相关性而被选择为参照波段的波段是取样密度较低的波段的情况下，更难再现高频成分。多波段摄像元件的波段数越多，则该问题越显著。
并且，在拍摄多张图像来提高外观的像素密度的手法中，虽然与被摄体的颜色特性无关而能够生成包含较多高频成分的分辨率较高的图像，但是，存在处理复杂、存储器增大、帧率降低这样的问题。例如，使用图6所示的多波段摄像元件，为了不进行插值处理就能够在全部像素位置得到全部波段的信息，如图2(A)～图2(H)所示，需要进行8张图像的摄像。这样，为了不进行插值处理而提高外观的像素密度，与进行插值处理的情况相比，需要进行更多张数的摄像。
在以下说明的第1实施方式和第2实施方式的图像处理装置等中，鉴于上述问题点，使用具有3个波段以上(包含该值)的不同分光感光度特性的单板摄像元件，与被摄体的颜色特性无关，能够在维持帧率的前提下生成包含较多高频成分的分辨率较高的插值图像。
2.第1实施方式
在第1实施方式中，对以下例子进行说明：从前帧的输出图像中选择用作参照图像的波段(参照波段)，并在插值图像生成中使用2帧的RAW数据。
2.1***结构例
接着，图3示出本实施方式的图像处理装置的结构例。图像处理装置包括图像取得部101、位置对齐处理部102、参照图像生成部103、插值图像生成部104、参照波段选择部105。
接着，对各部的连接进行说明。图像取得部101与位置对齐处理部102连接。位置对齐处理部102与参照图像生成部103连接。参照图像生成部103与插值图像生成部104连接。插值图像生成部104与参照波段选择部105连接。参照波段选择部105与参照图像生成部103连接。
接着，对各部进行的处理进行说明。
首先，图像取得部101取得使用摄像元件120进行摄像而得到的摄像时刻相互不同的多帧摄像数据，其中，该摄像元件120具有将多个波段的滤色器配置成阵列状得到的滤色器阵列。另外，摄像元件120在后面叙述。
接着，位置对齐处理部102进行所取得的多帧摄像数据的位置对齐处理，生成统合摄像数据。
然后，参照图像生成部103通过对统合摄像数据中的与参照波段对应的滤色器的图像数据进行插值处理，生成参照图像。
进而，插值图像生成部104根据参照图像对统合摄像数据中的与不同于参照波段的波段对应的滤色器的图像数据进行插值处理，从而生成插值图像。
然后，参照波段选择部105在生成输出图像的基准帧之前的时刻的帧即过去帧的输出图像中，从多个波段中选择参照图像生成用的参照波段。
另外，图像取得部101、位置对齐处理部102、参照图像生成部103、插值图像生成部104、参照波段选择部105的功能能够通过各种处理器(CPU等)、ASIC(门阵列等)等硬件、程序等来实现。
并且，图4示出具有图3的图像处理装置的***结构的本实施方式的摄像装置的结构例。摄像装置包括实现所述图像处理装置的数字处理电路100以及摄像元件120。
进而，图5例示摄像装置的详细的整体像。图5的摄像装置具有：摄像镜头***202，其由各种镜头(摄像镜头)构成；镜头驱动机构203，其用于进行摄像镜头***202的伸缩驱动和摄像镜头***202内的变焦镜头和对焦镜头的驱动；镜头驱动器204，其用于控制镜头驱动机构203；曝光控制机构205，其用于控制摄像镜头***202的光圈和快门；曝光控制驱动器206，其用于控制曝光控制机构205；用于对被摄体像进行光电转换的摄像元件120，其内置有具有3种以上(包含该值)的不同分光感光度特性的滤色器；摄像元件驱动器207，其用于驱动摄像元件120；预处理电路208，其包括模拟放大器和A/D转换器等；数字处理电路100，其用于进行记录图像生成用的颜色信号处理、压缩解压缩处理、其他各种数字处理；卡接口210，其是与作为外部记录介质的存储卡209连接的接口；LCD图像显示***211；操作开关***212，其由释放开关、设定按钮等各种开关构成；操作显示***213，其用于显示操作状态和模式状态等；非易失性存储器214，其用于设定各种设定信息等；以及***控制器215，其用于对各部进行总括控制。
具体而言，在图5的摄像装置中，在存储器106中保持从摄像元件120得到的多帧RAW数据，在位置对齐处理部102中，进行多帧RAW数据的位置对齐处理。
然后，在参照图像生成部103中，针对由位置对齐处理部102生成的多帧数据，进行由参照波段选择部105选择出的与被摄体的颜色特性之间具有最强相关性的波段(参照波段)的插值处理，生成参照图像。在未得到参照波段选择部105的结果的最初帧的情况下，使用预先存储在参照图像生成部103中的波段作为参照波段。
进而，在插值图像生成部104中，针对由位置对齐处理部102生成的多帧数据，使用由参照图像生成部103生成的参照图像，进行参照图像生成部103中未使用的波段的插值处理，生成插值图像。
然后，在参照波段选择部105中，使用由插值图像生成部104生成的插值图像，判别与被摄体的颜色特性之间具有最强相关性的波段，将下一帧的参照波段的信息送到参照图像生成部103。
并且，在图5的摄像装置中，***控制器215总括地进行全部控制。具体而言，首先，对基于镜头驱动器204、曝光控制驱动器206和摄像元件驱动器207的摄像元件120的驱动进行控制，进行曝光(电荷蓄积)和信号的读出。然后，经由预处理电路208对读出的曝光和信号进行A/D转换后，将其取入数字处理电路100，在数字处理电路100内的信号处理部216中实施各种信号处理，经由卡接口210记录在存储卡209中。
并且，作为构成摄像元件120的各像素上配置的具有3个波段以上(包含该值)的不同分光感光度特性的滤色器阵列的例子，图6示出具有5个波段的分光感光度特性的滤色器阵列(以下为CFA)。这里，C1像素的取样密度比其他波段的像素高，与3波段拜尔排列中的G像素同样配置成棋盘格状。
另外，图像处理装置和包括该图像处理装置的摄像装置不限于图3、图4和图5的结构，能够进行省略它们的一部分结构要素或追加其他结构要素等的各种变形实施。并且，本实施方式的图像处理装置或摄像装置的一部分或全部功能可以通过以通信方式与图像处理装置或摄像装置连接的服务器来实现。
2.2处理的详细情况
接着，使用图7的流程图对本实施方式的处理流程进行说明。
首先，设定从摄像元件120蓄积到存储器106中的RAW数据的读出帧(S401)，判定是否在存储器106中保持了多帧RAW数据(S402)。另外，RAW数据是指图像处理前的摄像图像的数据。
接着，在仅存在1帧的RAW数据的情况下，读入1帧的RAW数据，进入下一个步骤(S403)。
另一方面，在保持了多帧RAW数据的情况下，读入多帧RAW数据(S404)，进行位置对齐处理后，进入下一个步骤(S405)。
然后，在步骤S403或步骤S405之后，选择用作参照波段的波段(S406)。在通过后述步骤S409得到了参照波段判别结果的情况下，根据判别结果来选择参照波段。在未得到步骤S409的参照波段判别结果的第1帧的情况下，作为CFA中取样密度最高的波段，选择预先存储在参照图像生成部103中的C1波段作为参照波段。
接着，针对通过步骤S403或步骤S404得到的RAW数据进行步骤S406中选择出的参照波段的插值处理，生成参照图像(S407)。
然后，针对通过步骤S403或步骤S404得到的RAW数据，使用步骤S407中得到的参照图像，进行未选择为参照波段的波段的插值处理，生成插值图像(S408)。
进而，从所生成的插值图像中判别与被摄体的颜色特性之间具有最强相关性的波段，设为下一帧的参照波段判别结果(S409)。
接着，使用图8的流程图，沿着时间序列示出图7的处理流程。
关于第1帧，在存储器106中仅保持1帧的RAW数据，并且还未得到参照波段判别结果，因此，与第2帧以后的处理不同。在第2帧以后，使用多帧RAW数据，进而，设定从前帧的插值图像中判别为与被摄体的颜色特性之间具有最强相关性的波段的波段作为参照波段。
接着，对各步骤的处理的具体内容进行详细说明。首先，对步骤S405的位置对齐处理进行说明。
在2张图像的位置对齐处理中，计算图像间的位置偏移量(运动矢量)，以抵消该位置偏移量的方式使各像素位移，并对作为基准的图像的各像素进行位置对齐。
在本实施方式中，作为求出位置偏移量的手法，使用块匹配处理。在块匹配处理中，在基准帧图像中分割为一定大小的块(例如8像素×8行)，以该块单位计算与前帧图像的一定范围的像素之间的差，探索该差的绝对值的和(SAD：Sum absolute difference)最小的块。在匹配的基准块区域I和作为对象的块区域I’中，当设像素位置为p∈I和q∈I’、像素电平为Lp、Lq时，SAD由下述式(1)定义，评价为值越小、则相关性越高。另外，p、q是具有二维值的量，I和I’是二维区域。并且，p∈I表示坐标p包含在区域I中，q∈I’表示坐标q包含在区域I’中。
【数式1】
然后，根据通过块匹配处理而得到的位置偏移量，对前帧图像的位置偏移进行校正。
在本实施方式中，说明了通过块匹配来计算位置偏移量并进行位置对齐处理的例子，但是，当然不限于该手法。也可以利用相位限定相关法、SIFT等特征点匹配。并且，评价值也不限于SAD，也可以使用由下述式(2)表示的平方误差(SSD)、归一化互相关NCC等其他指标值，还可以进行子像素精度的处理。
【数式2】
接着，对步骤S407的参照图像的生成处理进行说明。
在本实施方式中，在参照图像的生成处理中使用高斯插值(GI)。GI是作为希望估计像素值的像素位置周边的局部信息的加权平均来估计像素值的方法，针对像素位置xp的估计像素值SGI(xp)由下述式(3)表示。
【数式3】
这里，Nxp表示像素位置xp的周边像素的像素位置集合，xi表示像素位置集合Nxp内的任意的像素位置，S(xi)表示像素位置xi的像素值，M(xi)表示像素位置xi的二进制掩模，k(xi-xp)表示基于与像素位置xp之间的距离的权重，ωGI(xp)表示归一化系数即权重的和。另外，在像素值存在的场所，二进制掩模M(xi)为1，除此以外，二进制掩模M(xi)为0。
例如，图6示出存储器106中保持的RAW数据为1帧、并且选择C1波段作为参照波段而生成参照图像的例子。如图6的摄像图像PIM9那样，从RAW数据取得的C1波段的信息配置成棋盘格状，通过对该数据进行上述插值处理，生成在全部像素位置具有C1波段的信息的参照图像RIM9。
另一方面，图10示出存储器106中保持的RAW数据为2帧、并且使用C4波段作为参照波段的例子。图10的图像PIM10是对参照图像生成用的2帧的摄像图像进行位置对齐处理的结果而得到的图像。而且，在图10的图像PIM10内明确示出用作参照波段的C4波段。在图6中，C4像素仅在像素位置(4，1)、(2，3)、(4，5)这3个部位得到信息，但是，通过与在不同摄像时刻使摄像位置偏移的第2帧的摄像图像进行位置对齐处理，C4像素的取样密度变高(粗框包围的像素表示增加的像素)。通过使用2帧的RAW数据而增加的C4像素位于哪个像素位置是根据步骤S405的位置对齐处理的结果而不同的。该情况下，与图9同样，通过插值处理，生成在全部像素位置具有C4波段的信息的参照图像RIM10。
接着，对步骤S408的插值图像的生成处理进行说明。
在本实施方式中，作为使用参照图像的插值处理，使用引导滤波器(GuidedFilter、引导图像滤波器)，对插值处理前的图像进行插值处理，生成输出图像。在引导滤波器中，考虑利用参照图像的线性转换来表示输出图像。而且，如下述式(4)所示，通过最小二乘法来计算系数ak和bk，以使希望估计像素值的像素位置周边的局部区域k的成本函数E(ak、bk)最小化。
【数式4】
这里，i表示像素的编号，k表示局部区域的编号，Ii表示参照图像中的像素i的像素值，pi表示插值处理前的图像中的像素i的像素值(信号成分)，ωk表示插值处理前的图像的局部区域k内具有信号成分的像素的像素数，ε表示给定的平滑化参数，Mi表示像素i中的二进制掩模。针对插值处理前的图像中具有信号成分的像素，Mi为1，针对不具有信号成分的像素，Mi为0。并且，ak、bk是应该计算以在下式(5)中使用的系数参数，在计算开始时使用适当的初始值。
然后，当计算出针对全部局部区域的系数ak和bk后，针对作为插值对象的不具有信号成分的像素，通过式(5)计算输出像素值qi。
【数式5】
另外，在式(5)中，|ω|是局部区域内的全部像素数(局部区域数)。
在本实施方式中，使用步骤S407中得到的插值图像作为参照图像，一个波段一个波段地使用与参照图像不同的波段作为插值对象的图像。通过进行使用参照图像的插值处理，能够生成保持了参照图像的高频成分的插值图像。
另外，在上述说明中，说明了参照图像全部是步骤S407中得到的图像的情况，但是，也可以利用分光感光度特性的相关性，依次切换用作参照图像的图像并进行插值处理。例如，在使用具有图11所示的分光感光度特性的CFA的情况下，首先，在选择C5波段作为参照波段的情况下，也可以将C5波段作为参照图像而生成C4波段的插值图像，接着，将C4波段的插值图像作为参照图像而生成C1波段的插值图像。这样，使用分光感光度特性相邻的波段的图像作为参照图像来进行插值处理。通过该处理，在针对与参照波段之间的相关性较弱的波段的插值处理中，也能够生成保持了高频成分的插值图像。
接着，对步骤S409的参照波段判别处理进行说明。
在参照波段的判别中，按照步骤S408中得到的插值图像的各波段的图像进行高频成分的检测，将包含最多高频成分的波段判定为与被摄体的颜色特性之间的相关性最强的波段。
并且，在高频成分的检测中使用高通滤波器。这里，高通滤波器是拉普拉斯滤波器，求出拉普拉斯运算的绝对值的总和作为评价值。按照每个波段进行该处理，选择评价值最高的波段。
这样，通过从插值图像中选择参照波段，从而与从RAW数据中进行选择的情况相比，能够高精度地进行高频成分的检测。
在本实施方式中，作为参照波段的判别方法，使用检测高频成分的方法，但是不限于此。例如，作为简易的处理，也可以按照插值图像的各波段的图像，使用亮度值的总和、平均值等评价值进行判别。由于假设了与被摄体的颜色特性之间具有较强相关性的波段的图像的亮度值较高，所以，基于亮度值的判断也是有效的。在通过亮度值进行判断的情况下，与从RAW数据中进行选择的情况相比，通过从插值图像中进行选择，能够高精度地选择参照波段。
通过这些处理，与被摄体的颜色特性无关，能够生成包含较多高频成分的分辨率较高的插值图像。在本实施方式中，即使是CFA中取样密度较低的波段，通过使用多帧RAW数据，也能够用作取样密度较高的数据。其结果，能够使用保持了高频成分的参照图像进行插值处理，能够生成高精度的插值图像。进而，通过从插值图像进行参照波段的判别处理，能够高精度地选择与被摄体的颜色特性之间的相关性较高的波段。
并且，在本实施方式中，作为具有3个波段以上(包含该值)的不同分光感光度特性的CFA的例子，使用图6所示的具体5个波段的分光感光度特性的CFA进行了说明，但是，使用图12所示的3个波段的拜尔排列也能够进行同样的处理。
进而，在本实施方式中，针对图像整体使用一个波段作为参照波段，但是，也可以将图像分割为多个部分区域，按照每个部分区域选择不同波段作为参照波段，进行上述处理。通过按照每个部分区域而使用不同的参照波段，在一个场景内存在多种颜色特性偏差的被摄体的情况下，也能够生成包含较多高频成分的分辨率较高的插值图像。在本实施方式中，为了从前帧的插值结果的图像进行参照波段的判别，与在RAW数据的状态下选择参照波段的情况相比，部分区域内的各波段的取样密度变高，能够更加准确地进行每个部分区域的参照波段的判别。摄像元件120的波段数越增加，则该效果越显著。
并且，在上述中，说明了要使用的帧数为2帧的情况，但是，当然也可以使用3帧以上(包含该值)进行上述处理。
2.3变形例
在本变形例中，对以下例子进行说明：在多帧的位置对齐处理的结果判定为帧间不存在相关性的情况下，切换插值图像生成处理的内容以使得仅使用1帧。
在本变形例中，以第1实施方式的结构为基础，数字处理电路100内的处理不同。具体而言，如图13所示，新追加帧相关性判定部108。另外，帧相关性判定部108的功能能够通过各种处理器(CPU等)、ASIC(门阵列等)等硬件、程序等来实现。
接着，图14的流程图示出本变形例的插值图像的生成处理的流程。另外，针对与图7所示的第1实施方式相同的步骤，省略说明。
在步骤S1102中判定为在存储器106中保持了多帧RAW数据的情况下，读入多帧RAW数据(S1104)，进行位置对齐处理后(S1105)，判定多个帧间是否存在相关性(S1106)。
在该判定中，如果步骤S1105的位置对齐处理时的位置偏移量为规定阈值θ1以上(包含该值)或评价值(SAD)为规定阈值θ2以上(包含该值)，则判定为帧间不存在相关性。
在判定为帧间不存在相关性的情况下，删除读入对象的帧以外的帧的信息(S1107)，在保持了1帧的RAW数据的状态下，进入下一个步骤。
另一方面，在判定为帧间存在相关性的情况下，不进行帧的删除处理(S1107)，进行参照波段选择处理(S1108)。
通过这些处理，在场景大幅变化、帧间不存在相关性的情况下，也能够抑制由于位置对齐处理的精度降低而导致的伪像的产生。
3.第2实施方式
3.1***结构例
在本实施方式中，对根据参照波段选择部的判别结果来切换要使用的帧数的例子进行说明。
在本实施方式中，以图3所示的第1实施方式的结构为基础，数字处理电路100内的处理不同。具体而言，如图15所示，新追加使用帧数决定部107。另外，使用帧数决定部107的功能能够通过各种处理器(CPU等)、ASIC(门阵列等)等硬件、程序等来实现。
3.2处理的详细情况
接着，使用图16的流程图对本实施方式的插值图像的生成处理的流程进行说明。另外，针对与图7所示的第1实施方式相同的步骤，省略说明。
在选择参照波段时，在未得到步骤S1310的参照波段判别处理的结果的情况下、或步骤S1310的参照波段判别处理的结果为C1波段的情况下(S1303)，读入1帧的RAW数据，进入下一个步骤(S1304)。在参照波段为C1波段的情况下，在1帧的RAW数据中，取样密度也较高，所以，即使不使用多帧RAW数据，也能够生成包含较多高频成分的分辨率较高的插值图像。
另一方面，在参照波段与C1波段不同的情况下，与第1实施方式同样，判定是否在存储器中保持了多帧RAW数据(S1305)，读入与判定结果对应的帧的RAW数据(S1306)，进入下一个步骤。在参照波段为C1波段以外的情况下，在1帧的RAW数据中，取样密度较低，很难高精度地再现高频成分，所以，使用多帧RAW数据。
通过这些处理，能够根据从前帧的插值图像判别出的参照波段的种类，进行仅读入插值图像生成所需要的帧数的RAW数据的处理。在一般的被摄体中，能够使用C1波段利用1帧生成参照图像，所以，能够实现位置对齐处理的简化、存储器的节约。
3.3变形例
在本变形例中，对独立设定参照图像生成部103中使用的帧数和插值图像生成部104中使用的帧数的例子进行说明。
在本变形例中，采取与图15所示的第2实施方式相同的***结构，但是，数字处理电路100内的处理不同。具体而言，使用帧数决定部107和插值图像生成部104中的处理不同。
接着，使用图17的流程图对本变形例的插值图像的生成处理的流程进行说明。另外，针对与图7所示的第1实施方式相同的步骤，省略说明。
首先，判定是否在存储器106中保持了多帧RAW数据(S1403)，在判定为在存储器106中保持了多帧RAW数据的情况下，接着，判定参照波段是否是C1波段(S1405)。
然后，在参照波段为C1波段的情况下，判定是否为了生成参照图像而使用多帧数据(S1406)。这里，读入使用帧数决定部107中预先设定的信息。在参照波段为C1波段的情况下，与第2实施方式同样，即使仅以1帧的数据而生成参照图像，也能够生成高精度的图像。但是，通过使用多个帧，能够生成更高精度的参照图像，所以，在C1波段为参照波段的情况下，使用多帧数据是有效果的。
在步骤S1406中判定为在参照图像的生成处理中仅使用1帧的数据的情况下，接着，进行是否在插值图像的生成处理中使用多帧数据的判定处理(S1407)。在步骤S1407的判定处理中，根据过去帧中为了生成插值图像而使用的帧数和过去帧的位置对齐处理的结果来进行判定。
例如，在过去帧中，如果为了生成插值图像而使用1帧，则在关注帧中也仅使用1帧。该情况下，读入1帧的输入数据(S1404)，进行步骤S1416～S1418的处理。并且，在过去帧中，在为了生成插值图像而使用多帧的情况下，根据过去帧的位置对齐处理时的信息判定帧间是否存在相关性，在帧间不存在相关性的情况下，在关注帧中使用1帧(S1404)。
另一方面，在帧间存在相关性的情况下，为了生成插值图像，在关注帧中也使用多个帧。然后，在步骤S1407中判定为为了生成插值图像而使用多帧数据的情况下，读入多帧RAW数据(S1408)，进行位置对齐处理(S1409)，进行步骤S1416～S1418的处理。
接着，在步骤S1405中参照波段为C1波段以外的情况下、或者参照波段为C1波段但在步骤S1406中在参照图像的生成处理中使用多帧数据的情况下，读入多帧RAW数据(S1410)，进行位置对齐处理(S1411)。
然后，判定所读入的多帧RAW数据是否存在相关性(S1412)，在存在相关性的情况下，直接进入下一个步骤，在不存在相关性的情况下，在删除不存在相关性的帧后(S1413)，进入下一个步骤。
进而，在步骤S1412中判定为多个帧存在相关性的情况下，将参照图像生成处理中使用的帧数设定为多个帧，在步骤S1412中判定为多个帧不存在相关性的情况下，将参照图像的生成处理中使用的帧数设定为1帧(S1414)。
接着，在步骤S1412中判定为多个帧存在相关性的情况下，读入使用帧数决定部107中预先存储的信息，将插值图像的生成处理中使用的帧数设定为1帧或多个帧中的某一方(S1415)。使用多个帧时，能够生成更高精度的图像，但是，考虑处理时间和存储器等，也可以设定为使用1帧。另一方面，在步骤S1412中判定为多个帧不存在相关性的情况下，将插值图像的生成处理中使用的帧数设定为1帧。然后，进行步骤S1416～S1418的处理。
如上所述，在参照波段为C1波段的情况下，即使参照图像的生成处理和插值图像的生成处理中使用的数据仅为1帧的数据，也能够生成高精度的图像。但是，在插值图像的生成处理中能够使用多帧数据的情况下，能够生成更高精度的图像。进而，在参照图像的生成中能够使用多帧的C1波段的情况下，例如即使插值图像的生成中使用的数据仅为1帧的数据，也能够生成高精度的图像，如果在插值图像的生成中也使用多帧数据，则能够生成更高精度的图像。
另一方面，在是参照波段为C1波段以外的波段的情况下，通过在参照图像的生成处理中使用多帧数据，能够生成高精度的图像。但是，在多个帧间不存在相关性的情况下，通过仅使用1帧来进行插值图像的生成处理，能够避免由于位置对齐处理的失败而导致的画质降低。并且，在参照图像的生成处理中能够使用多帧的情况下，通过在插值图像的生成处理中也使用多帧数据，能够生成高精度的图像。另一方面，在插值图像的生成处理中仅使用1帧的数据的情况下，与仅利用1帧的数据进行参照图像的生成和插值图像的生成的情况相比，也能够生成高精度的图像。进而，能够在生成了参照图像后删除过去的帧的数据，能够节约存储器。
通过这些处理，根据从前帧的插值图像判别出的参照波段的种类和要使用的帧数，能够生成高精度的插值图像。
4.本实施方式的手法
对以上的本实施方式的手法进行说明。
本实施方式的图像处理装置包括：图像取得部101，其取得使用摄像元件120进行摄像而得到的摄像时刻相互不同的多帧摄像数据，该摄像元件120具有将多个波段的滤色器配置成阵列状得到的滤色器阵列；位置对齐处理部102，其进行所取得的多帧摄像数据的位置对齐处理，生成统合摄像数据；参照波段选择部105，其在生成输出图像的基准帧之前的时刻的帧即过去帧的输出图像中，从多个波段中选择参照图像生成用的参照波段；参照图像生成部103，其通过对统合摄像数据中的与参照波段对应的滤色器的图像数据进行插值处理，生成参照图像；以及插值图像生成部104，其通过根据参照图像对统合摄像数据中的与不同于参照波段的波段对应的滤色器的图像数据进行插值处理，生成插值图像。
在本实施方式中，在生成输出图像的基准帧之前的时刻的帧即过去帧的输出图像中，从多个波段中选择参照图像生成用的参照波段。这点与所述专利文献1所公开的手法不同。
这里，参照波段是指，与摄像元件120所具有的滤色器阵列中配置的滤色器对应的多个波段中的、为了生成参照图像而使用的波段。
然后，进行所取得的多帧摄像数据的位置对齐处理，生成统合摄像数据。
这里，统合摄像数据是指进行多帧摄像数据的位置对齐处理的结果所生成的图像数据。例如，所述图10的图像PIM10是进行2帧的摄像数据的位置对齐处理的结果所取得的统合摄像数据。
进而，通过对统合摄像数据中的与参照波段对应的滤色器的图像数据进行插值处理，生成参照图像。
这里，在所述图10的例子中，参照波段为C4波段，所以，统合摄像数据中的与参照波段对应的滤色器的图像数据是指例如图像PIM10中的C4波段的像素值。即，在图10的例子中，在求出图像PIM10内明确示出的C4波段的像素值的像素以外的像素(白色空栏的像素)中，处于C4波段的像素值缺失的状态，所以，针对该缺失的像素进行C4波段的像素值的插值处理，生成图10的图像RIM10这样的参照图像。
并且，参照图像是指仅针对全部像素求出参照波段的像素值的图像。例如，在图1中，图像RIM为参照图像，在图9中，图像RIM9为参照图像，在图10中，图像RIM10为参照图像。
然后，根据参照图像对统合摄像数据中的与不同于参照波段的波段对应的滤色器的图像数据进行插值处理，从而生成插值图像。
这里，插值图像是指，仅针对全部像素求出与滤色器阵列中配置的滤色器对应的多个波段中的参照波段以外的一个波段的像素值的图像。例如，在图1中，图像IIM1为C2波段的插值图像，图像IIM3为C3波段的插值图像。
由此，通过使用多帧的信息进行插值处理，即使是取样密度较低的波段，也能够在维持帧率的前提下用作取样密度较高的信息，与被摄体的颜色特性无关，能够生成包含较多高频成分的分辨率较高的图像。
并且，也可以包括使用帧数决定部107，该使用帧数决定部107根据由参照波段选择部105选择出的参照波段的种类，决定参照图像生成部103中使用的参照图像生成用帧数。
由此，能够根据参照波段的种类，仅读出生成参照图像所需要的数量的帧等。例如，在使用图6的滤色器阵列的情况下，在一般的被摄体中，使用取样密度最高的C1波段作为参照波段。其结果，能够利用1帧生成参照图像，所以，能够实现位置对齐处理的简化、存储器的节约。
具体而言，在决定参照图像生成用帧数时，在取样密度比其他波段高的波段为参照波段的情况下，与取样密度较低的波段为参照波段的情况相比，也可以减少参照图像的生成时使用的帧数。
即，图像取得部101也可以取得使用如下的摄像元件120进行摄像而得到的多帧摄像数据，该摄像元件120具有包括第1滤色器和取样密度比第1滤色器低的第2滤色器的滤色器阵列。然后，在参照波段是与第1滤色器对应的波段的情况下，使用帧数决定部107可以将参照图像生成用帧数决定为第1帧数，在参照波段是与第2滤色器对应的波段的情况下，使用帧数决定部107可以将参照图像生成用帧数决定为比第1帧数多的第2帧数。
例如，在使用图6的滤色器阵列的情况下，第1滤色器为C1波段，第2滤色器为C2波段～C5波段中的任意一个波段。
由此，能够根据参照波段的取样密度，决定参照图像生成用帧数等。
并且，第1滤色器可以是在滤色器阵列中配置在奇数行的奇数列及偶数行的偶数列、或奇数行的偶数列及偶数行的奇数列的滤色器。而且，第2滤色器可以是在滤色器阵列中配置在与第1滤色器不同的位置的滤色器。
即，该情况下，第1滤色器如图6的C1波段的像素那样配置成棋盘格状，第2滤色器如C2～C5波段的像素那样配置在C1波段的像素以外的位置。
由此，例如，在配置成棋盘格状的波段是参照波段的情况下，仅1帧的数据就能够生成高精度的参照图像，在未配置成棋盘格状的波段是参照波段的情况下，通过使用多帧数据，也能够生成高精度的参照图像等。
并且，也可以包括使用帧数决定部107，该使用帧数决定部107根据由参照波段选择部105选择出的参照波段的种类，决定插值图像生成部104中使用的插值图像生成用帧数。
由此，能够根据参照波段的种类，仅读出生成插值图像所需要的数量的帧等。
如上所述，由于插值图像是与参照波段以外的波段对应的图像，所以，在参照波段为取样密度较高的波段的情况下，插值图像成为与取样密度较低的波段对应的图像。因此，在决定插值图像生成用帧数时，在取样密度比其他波段高的波段为参照波段的情况下，与取样密度较低的波段为参照波段的情况相比，与生成参照图像时相反，优选增多插值图像的生成时使用的帧数。
即，图像取得部101也可以取得使用如下的摄像元件120进行摄像而得到的多帧摄像数据，该摄像元件120具有包括第1滤色器和取样密度比第1滤色器低的第2滤色器的滤色器阵列。而且，在参照波段是与第1滤色器对应的波段的情况下，使用帧数决定部107可以将插值图像生成用帧数决定为第3帧数，在参照波段是与第2滤色器对应的波段的情况下，使用帧数决定部107可以将插值图像生成用帧数决定为比第3帧数少的第4帧数。
另外，第3帧数可以是与所述第1帧数相同的数量，第4帧数可以是与所述第2帧数相同的数量。
由此，能够根据参照波段的取样密度，决定插值图像生成用帧数等。
如上所述，例如在配置成棋盘格状的波段为参照波段的情况下，能够从1帧的数据生成参照图像，能够从多帧数据生成插值图像，能够生成高精度的插值图像。
另一方面，例如在未配置成棋盘格状的波段是参照波段的情况下，能够从多帧数据生成参照图像，能够从1帧的数据生成插值图像，与仅利用1帧的数据进行参照图像生成/插值图像生成双方的情况相比，能够生成高精度的插值图像。
并且，也可以还包括判定摄像数据的帧间的相关性的帧相关性判定部108。而且，使用帧数决定部107可以根据帧相关性判定部108的判定结果决定使用帧数。
由此，例如在场景大幅变化、帧间不存在相关性的情况下，也能够抑制由于位置对齐处理的精度降低而导致的伪像的产生等。
并且，参照波段选择部105可以在过去帧的输出图像中，选择多个波段中的与被摄体的颜色特性之间具有最强相关性的波段作为参照波段。
由此，能够根据被摄体的颜色特性来进行插值图像的生成处理等。
并且，参照波段需要使用保持高频成分的波段。
因此，参照波段选择部105可以通过进行过去帧的输出图像的高频成分和亮度中的至少一方的评价，选择参照波段。
由此，能够高精度地判别参照波段等。并且，如上所述，通过过去帧的输出图像来进行评价，由此，与利用RAW数据进行评价的情况相比，能够更高精度地进行高频成分的检测。
并且，参照波段选择部105可以按照将图像分割成多个区域而得到的部分区域来选择参照波段。
由此，例如通过按照每个部分区域而使用不同的参照波段，在一个场景内存在多种颜色特性偏差的被摄体的情况下，也能够生成包含较多高频成分的分辨率较高的插值图像等。
并且，图像取得部101可以取得使用如下的摄像元件120进行摄像而得到的多帧摄像数据，该摄像元件120具有包括配置在奇数行的奇数列及偶数行的偶数列或奇数行的偶数列及偶数行的奇数列的第1滤色器、以及配置在与第1滤色器不同的位置且取样密度比第1滤色器低的第2滤色器的滤色器阵列。而且，在参照波段选择部105未选择参照波段的情况下，参照图像生成部103可以通过对第1滤色器的图像数据进行插值处理，生成参照图像。
由此，例如，在未从过去帧的输出图像得到参照波段的信息的情况下，通过使用取样密度最高的波段作为参照波段，与使用其他波段作为参照波段的情况相比，能够生成高精度的插值图像等。
并且，图像取得部101取得使用摄像元件120进行摄像而得到的多帧摄像数据，该摄像元件120具有配置了分光感光度特性不同的4个波段以上(包含该值)的滤色器的滤色器阵列。
由此，在使用多波段摄像元件生成插值图像的情况下，与被摄体的颜色特性无关，能够生成包含较多高频成分的分辨率较高的图像等。
如上所述详细说明了本实施方式，但是，本领域技术人员能够容易地理解到可以进行实质上不脱离本发明的新颖事项和效果的多种变形。因此，这种变形例全部包含在本发明的范围中。例如，在说明书或附图中，至少一次与更加广义或同义的不同用语一起记载的用语能够在说明书或附图的任意部位置换为该不同的用语。并且，图像处理装置和摄像装置的结构、动作也不限于第1实施方式或第2实施方式中说明的结构、动作，能够进行各种变形实施。
标号说明
100：数字处理电路；101：图像取得部；102：位置对齐处理部；103：参照图像生成部；104：插值图像生成部；105：参照波段选择部；106：存储器；107：使用帧数决定部；108：帧相关性判定部；120：摄像元件；202：摄像镜头***；203：镜头驱动机构；204：镜头驱动器；205：曝光控制机构；206：曝光控制驱动器；207：摄像元件驱动器；208：预处理电路；209：存储卡；210：卡接口；211：图像显示***(LCD)；212：操作开关***；213：操作显示***；214：非易失性存储器(EEPROM)；215：***控制器；216：信号处理部。

Claims (16)

1.一种图像处理装置，其特征在于，该图像处理装置包括：
图像取得部，其取得使用摄像元件拍摄到的摄像时刻相互不同的多帧摄像数据，其中，该摄像元件具有将多个波段的滤色器配置成阵列状得到的滤色器阵列；
位置对齐处理部，其进行所取得的所述多帧摄像数据的位置对齐处理，生成统合摄像数据；
参照波段选择部，其在生成插值图像的基准帧之前的时刻的帧即过去帧的插值图像中，从所述多个波段中选择参照图像生成用的参照波段；
参照图像生成部，其对所述统合摄像数据中的与所述参照波段对应的滤色器的图像数据进行插值处理，从而生成参照图像；以及
插值图像生成部，其根据所述参照图像，对所述统合摄像数据中的与不同于所述参照波段的波段对应的滤色器的图像数据进行插值处理，从而生成所述插值图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置包括使用帧数决定部，该使用帧数决定部根据由所述参照波段选择部选择出的所述参照波段的种类，决定所述参照图像生成部中使用的参照图像生成用帧数。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述图像取得部取得使用如下的所述摄像元件拍摄到的所述多帧摄像数据，其中，该摄像元件具有包括第1滤色器和取样密度比所述第1滤色器低的第2滤色器的所述滤色器阵列，
在所述参照波段是与所述第1滤色器对应的波段的情况下，所述使用帧数决定部将所述参照图像生成用帧数决定为第1帧数，
在所述参照波段是与所述第2滤色器对应的波段的情况下，所述使用帧数决定部将所述参照图像生成用帧数决定为比所述第1帧数多的第2帧数。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述第1滤色器是在所述滤色器阵列中配置在奇数行的奇数列及偶数行的偶数列，或者配置在奇数行的偶数列及偶数行的奇数列的滤色器，
所述第2滤色器是在所述滤色器阵列中配置在与所述第1滤色器不同的位置的滤色器。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置包括使用帧数决定部，该使用帧数决定部根据由所述参照波段选择部选择出的所述参照波段的种类，决定所述插值图像生成部中使用的插值图像生成用帧数。
6.根据权利要求2～4中的任意一项所述的图像处理装置，其特征在于，
所述使用帧数决定部还根据由所述参照波段选择部选择出的所述参照波段的种类，来决定所述插值图像生成部中使用的插值图像生成用帧数。
7.根据权利要求5所述的图像处理装置，其特征在于，
所述图像取得部取得使用如下的所述摄像元件拍摄到的所述多帧摄像数据，其中，该摄像元件具有包括第1滤色器和取样密度比所述第1滤色器低的第2滤色器的所述滤色器阵列，
在所述参照波段是与所述第1滤色器对应的波段的情况下，所述使用帧数决定部将所述插值图像生成用帧数决定为第3帧数，
在所述参照波段是与所述第2滤色器对应的波段的情况下，所述使用帧数决定部将所述插值图像生成用帧数决定为比所述第3帧数少的第4帧数。
8.根据权利要求6所述的图像处理装置，其特征在于，
所述图像取得部取得使用如下的所述摄像元件拍摄到的所述多帧摄像数据，其中，该摄像元件具有包括第1滤色器和取样密度比所述第1滤色器低的第2滤色器的所述滤色器阵列，
在所述参照波段是与所述第1滤色器对应的波段的情况下，所述使用帧数决定部将所述插值图像生成用帧数决定为第3帧数，
在所述参照波段是与所述第2滤色器对应的波段的情况下，所述使用帧数决定部将所述插值图像生成用帧数决定为比所述第3帧数少的第4帧数。
9.根据权利要求2～4中的任意一项所述的图像处理装置，其特征在于，
所述图像处理装置还包括判定摄像数据的帧间的相关性的帧相关性判定部，
所述使用帧数决定部根据所述帧相关性判定部的判定结果决定使用帧数。
10.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，
所述参照波段选择部在所述过去帧的所述插值图像中，选择所述多个波段中的与被摄体的颜色特性之间具有最强相关性的波段作为所述参照波段。
11.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，
所述参照波段选择部通过进行所述过去帧的所述插值图像的高频成分和亮度中的至少一方的评价，选择所述参照波段。
12.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，
所述参照波段选择部按照将图像分割成多个区域而得到的每个部分区域来选择所述参照波段。
13.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，
所述图像取得部取得使用具有如下的所述滤色器阵列的所述摄像元件拍摄到的所述多帧摄像数据，其中，该滤色器阵列包括配置在奇数行的奇数列及偶数行的偶数列，或者配置在奇数行的偶数列及偶数行的奇数列的第1滤色器、以及配置在与所述第1滤色器不同的位置且取样密度比所述第1滤色器低的第2滤色器，
在所述参照波段选择部未选择所述参照波段的情况下，所述参照图像生成部通过对所述第1滤色器的图像数据进行所述插值处理，生成所述参照图像。
14.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，
所述图像取得部取得使用如下的所述摄像元件拍摄到的所述多帧摄像数据，其中，该摄像元件具有配置了分光感光度特性不同的大于等于4个波段的滤色器的所述滤色器阵列。
15.一种摄像装置，其特征在于，该摄像装置包括权利要求1～4中的任意一项所述的图像处理装置。
16.一种图像处理方法，其特征在于，该图像处理方法包括以下步骤：
取得使用摄像元件拍摄到的摄像时刻相互不同的多帧摄像数据，其中，该摄像元件具有将多个波段的滤色器配置成阵列状得到的滤色器阵列；
进行所取得的所述多帧摄像数据的位置对齐处理，生成统合摄像数据；
在生成插值图像的基准帧之前的时刻的帧即过去帧的插值图像中，从所述多个波段中选择参照图像生成用的参照波段；
对所述统合摄像数据中的与所述参照波段对应的滤色器的图像数据进行插值处理，从而生成参照图像；
根据所述参照图像对所述统合摄像数据中的与不同于所述参照波段的波段对应的滤色器的图像数据进行插值处理，从而生成所述插值图像。
CN201380071521.XA 2013-01-28 2013-12-20 图像处理装置、摄像装置和图像处理方法 Active CN104956669B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013012817A JP5738904B2 (ja) 2013-01-28 2013-01-28 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2013-012817 2013-01-28
PCT/JP2013/084189 WO2014115453A1 (ja) 2013-01-28 2013-12-20 画像処理装置、撮像装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104956669A CN104956669A (zh) 2015-09-30
CN104956669B true CN104956669B (zh) 2017-03-08

Family

ID=51227253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380071521.XA Active CN104956669B (zh) 2013-01-28 2013-12-20 图像处理装置、摄像装置和图像处理方法

Country Status (4)

Country Link
US (1) US9237321B2 (zh)
JP (1) JP5738904B2 (zh)
CN (1) CN104956669B (zh)
WO (1) WO2014115453A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016063316A1 (ja) * 2014-10-23 2016-04-28 国立大学法人東京工業大学 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
JP6751155B2 (ja) * 2016-11-24 2020-09-02 富士フイルム株式会社 画像処理装置、撮像装置、及び画像処理方法
CN111093459A (zh) * 2017-10-04 2020-05-01 奥林巴斯株式会社 内窥镜装置、图像处理方法以及程序
CN108665423B (zh) * 2017-12-26 2022-04-29 西安电子科技大学 基于引导滤波和高通滤波的红外图像非均匀性校正方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028374A (ja) * 2008-07-17 2010-02-04 Toshiba Design & Manufacturing Service Corp 画像処理装置および画像信号の補間処理方法、画像処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087806A (ja) 2001-09-12 2003-03-20 Fuji Photo Film Co Ltd マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体
US7515747B2 (en) * 2003-01-31 2009-04-07 The Circle For The Promotion Of Science And Engineering Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image
JP3960965B2 (ja) * 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
US7920172B2 (en) * 2005-03-07 2011-04-05 Dxo Labs Method of controlling an action, such as a sharpness modification, using a colour digital image
EP1837826A1 (en) * 2006-03-20 2007-09-26 Matsushita Electric Industrial Co., Ltd. Image acquisition considering super-resolution post-interpolation
JP4940086B2 (ja) 2007-10-03 2012-05-30 キヤノン株式会社 色処理装置およびその方法
JP5045421B2 (ja) * 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
JP5513978B2 (ja) * 2010-05-14 2014-06-04 パナソニック株式会社 撮像装置、集積回路および画像処理方法
CN102783155A (zh) 2010-07-12 2012-11-14 松下电器产业株式会社 图像生成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010028374A (ja) * 2008-07-17 2010-02-04 Toshiba Design & Manufacturing Service Corp 画像処理装置および画像信号の補間処理方法、画像処理プログラム

Also Published As

Publication number Publication date
JP2014146872A (ja) 2014-08-14
US9237321B2 (en) 2016-01-12
US20150070533A1 (en) 2015-03-12
JP5738904B2 (ja) 2015-06-24
WO2014115453A1 (ja) 2014-07-31
CN104956669A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN102378015B (zh) 使用亮度和色度传感器的图像捕获
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN102450020B (zh) 四通道滤色器阵列内插
CN111353948B (zh) 一种图像降噪方法、装置及设备
CN102461175B (zh) 用于四通道彩色滤光片阵列的内插
CN101779472B (zh) 生成图像数据的装置、方法
US7286168B2 (en) Image processing apparatus and method for adding blur to an image
TWI699117B (zh) 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體
EP2268043B1 (en) Image processing device, imaging device, method, and program
CN101743755B (zh) 图像处理装置、图像处理方法
CN107959778A (zh) 基于双摄像头的成像方法和装置
CN107924572A (zh) 使用阵列相机执行高速视频捕获和深度估计的***和方法
KR20180109918A (ko) 다중 카메라들을 사용하여 심리스 줌 기능을 구현하기 위한 시스템들 및 방법들
US10949700B2 (en) Depth based image searching
US20040008269A1 (en) System and method for providing multi-sensor super-resolution
CN103327220B (zh) 低照度Bayer图像上以绿色通道为导向的去噪方法
CN104956669B (zh) 图像处理装置、摄像装置和图像处理方法
CN108712608A (zh) 终端设备拍摄方法和装置
CN101753812A (zh) 成像装置和成像方法
CN101755448A (zh) 校正曝光期间的成像设备运动
US10366478B2 (en) Method and device for obtaining a HDR image by graph signal processing
CN104025577B (zh) 图像处理装置、方法以及摄像装置
CN108053438A (zh) 景深获取方法、装置及设备
US20150268392A1 (en) Filter-array-equipped microlens and solid-state imaging device
JPWO2012153532A1 (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant