JPWO2015083502A1 - Image processing apparatus, method, and program - Google Patents
Image processing apparatus, method, and program Download PDFInfo
- Publication number
- JPWO2015083502A1 JPWO2015083502A1 JP2015551441A JP2015551441A JPWO2015083502A1 JP WO2015083502 A1 JPWO2015083502 A1 JP WO2015083502A1 JP 2015551441 A JP2015551441 A JP 2015551441A JP 2015551441 A JP2015551441 A JP 2015551441A JP WO2015083502 A1 JPWO2015083502 A1 JP WO2015083502A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- data
- pixel
- luminance component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 369
- 238000000034 method Methods 0.000 title claims abstract description 212
- 230000008569 process Effects 0.000 claims abstract description 110
- 239000003086 colorant Substances 0.000 claims abstract description 44
- 238000001914 filtration Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims description 72
- 230000003287 optical effect Effects 0.000 claims description 53
- 230000002093 peripheral effect Effects 0.000 claims description 23
- 238000003491 array Methods 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 claims 13
- 230000002596 correlated effect Effects 0.000 claims 1
- 235000019557 luminance Nutrition 0.000 description 197
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 13
- 230000006866 deterioration Effects 0.000 description 10
- DHGBAFGZLVRESL-UHFFFAOYSA-N 14-methylpentadecyl 16-methylheptadecanoate Chemical compound CC(C)CCCCCCCCCCCCCCC(=O)OCCCCCCCCCCCCCC(C)C DHGBAFGZLVRESL-UHFFFAOYSA-N 0.000 description 5
- 101000588145 Homo sapiens Microtubule-associated tumor suppressor 1 Proteins 0.000 description 5
- 101000588157 Homo sapiens Microtubule-associated tumor suppressor candidate 2 Proteins 0.000 description 5
- 102100031549 Microtubule-associated tumor suppressor candidate 2 Human genes 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本発明の画像処理装置、該方法および該プログラムでは、デモザイク処理で生成した複数の画像データから高解像画像データが生成される。前記デモザイク処理では、原画像データの単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える画像フィルタで原画像データをフィルタリングすることで輝度成分画像データが生成され、原画像データから輝度成分画像データを減算することで色度成分画像データが生成され、色度成分画像データにおいて、複数色ごとに、欠落画素の色度成分データを、単位配列に含まれる同色の個数および輝度成分画像データに基づいた補間方法で補間することで複数色ごとの各色別色度成分画像データが生成され、各色別色度成分画像データそれぞれに輝度成分画像データをそれぞれ加算することで前記画像データが生成される。In the image processing apparatus, the method, and the program of the present invention, high resolution image data is generated from a plurality of image data generated by demosaic processing. In the demosaicing process, luminance component image data is generated by filtering the original image data with an image filter having a filter coefficient for conversion into data having the same color composition ratio as the color composition ratio of the unit arrangement of the original image data, The chromaticity component image data is generated by subtracting the luminance component image data from the image data. In the chromaticity component image data, the chromaticity component data of the missing pixels is included in the unit array for each of the plurality of colors. And each chromaticity component image data for each color is generated by interpolating with an interpolation method based on the luminance component image data, and the luminance component image data is added to each chromaticity component image data for each color to add Image data is generated.
Description
本発明は、画像を処理する画像処理技術に関し、特に、相対的に低解像度な複数の画像から相対的に高解像度な１つの画像を生成する画像処理技術に関する。 The present invention relates to an image processing technique for processing an image, and more particularly to an image processing technique for generating a relatively high-resolution image from a plurality of relatively low-resolution images.
近年、各種デジタル技術の進展に伴い、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の固体撮像素子を用いることによってデジタル画像が比較的容易に得られるようになり、このデジタル画像が様々に利用されている。例えば、複数のデジタル画像から所定の被写体までの距離を計測する画像処理技術や、解像度を変換する画像処理技術等がある。 In recent years, with the progress of various digital technologies, for example, a digital image can be obtained relatively easily by using a solid-state imaging device such as a CCD (Charge Coupled Device) type image sensor or a CMOS (Complementary Metal Oxide Semiconductor) type image sensor. This digital image is used in various ways. For example, there are an image processing technique for measuring distances from a plurality of digital images to a predetermined subject, an image processing technique for converting resolution, and the like.
このような解像度を変換する技術の一つに、相対的に低解像度な複数の画像から、相対的に高解像度な１つの画像を合成する高解像度画像生成技術があり、例えば特許文献１や非特許文献１に開示されている。この特許文献１に開示された高解像度カラー画像生成方法は、イメージセンサと色フィルタ配列を用いる画像撮像装置によって撮像された１枚または一連の複数枚の入力画像に基づいて高解像度カラー画像を生成するものである。また、前記非特許文献１に開示された高解像度画像生成技術は、いわゆるベイヤー配列を用いたイメージセンサで撮像した画像データから高周波成分を残すフィルタ処理で輝度成分を作り、複数の画像から高解像度な１つの画像を生成するものである。
One of such resolution conversion techniques is a high-resolution image generation technique for synthesizing one relatively high-resolution image from a plurality of relatively low-resolution images. It is disclosed in
ところで、上述の特許文献１および非特許文献１に開示された技術で、相対的に低解像度な複数の画像から相対的に高解像度な１つの画像を生成すると、この生成した高解像度な画像において、本来、滑らかな直線や曲線がギザギザな線になってしまうことがある。例えば、図２４Ａに示すように、直線的な境界線で段階状に濃度の異なる被写体が、後述の図６の個眼４、５に撮像された場合、図２４Ｂおよび図２４Ｃに示すように、撮像素子（イメージセンサ）の各光電変換素子（各画素）は、その受光面の全面積で受光した光量に応じたレベル（大きさ）の電気信号、すなわち、その受光面内で濃度が異なることがあっても平均濃度の情報を表す電気信号を出力する一方、撮像素子（イメージセンサ）上で同じ位置（ｍ行ｎ列の位置同士）であっても、個眼間の基線長に応じてずれて被写体を撮像することになる。なお、図２４Ｂおよび図２４Ｃは、ベイヤー配列のイメージセンサにおけるＲ（赤色）の画素（Ｒ成分の濃度データを生成する画素）について示し、それら左側の図は、Ｒ光を光電変換するＲの光電変換素子（Ｒの画素、実線の矩形）と被写体との関係、すなわち、Ｒの画素に映り込む被写体を示し、それら右側の図は、その映り込んだ被写体を光電変換することによってＲの画素から出力される電気信号のレベルを濃淡で示す。実際には９眼の画像を用いるが、説明の都合上、仮に個眼４、５の画像から、より高解像度な画像を生成するものとすると、図２４Ｄに示すように、高解像度な画像における同じライン上の画素であっても、異なるカメラで撮像した電気信号で画素値が生成される。例えば、画素Ｐｘ１は、左カメラで撮像した電気信号で画素値が生成される一方、画素Ｐｘ１と同じライン上の画素Ｐｘ２は、右カメラで撮像した電気信号で画素値が生成される。これら電気信号は、上述したように、平均濃度の情報を表し、それらレベルが異なると、生成した高解像度な画像では、濃度の違いとなって図２４Ｄに示すように、本来、滑らかな直線や曲線がギザギザな線になってしまう。前記非特許文献１に開示された技術では、ベイヤー配列の画像データから高周波成分を残す画像フィルタでフィルタリングすることによって輝度成分画像データを生成するため、高解像度化に適しているが、前記画像フィルタのサイズが大きいため、遠い画素も影響するため、前記ギザギザな線が顕著に表れてしまう。
By the way, when one relatively high-resolution image is generated from a plurality of relatively low-resolution images using the techniques disclosed in
本発明は、上述の事情に鑑みて為された発明であり、その目的は、相対的に低解像度な複数の画像から相対的に高解像度な１つの画像を生成する場合に生じる前記ギザギザな線をより低減できる画像処理装置、画像処理方法および画像処理プログラムを提供することである。 The present invention has been made in view of the above-mentioned circumstances, and the object thereof is the jagged line generated when a relatively high-resolution image is generated from a plurality of relatively low-resolution images. Is to provide an image processing apparatus, an image processing method, and an image processing program.
本発明にかかる画像処理装置、画像処理方法および画像処理プログラムでは、デモザイク処理で生成した複数の画像データから高解像画像データが生成される。前記デモザイク処理では、原画像データの単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える画像フィルタで原画像データをフィルタリングすることで輝度成分画像データが生成され、原画像データから輝度成分画像データを減算することで色度成分画像データが生成され、色度成分画像データにおいて、複数色ごとに、欠落画素の色度成分データを、単位配列に含まれる同色の個数および輝度成分画像データに基づいた補間方法で補間することで複数色ごとの各色別色度成分画像データが生成され、各色別色度成分画像データそれぞれに輝度成分画像データをそれぞれ加算することで前記画像データが生成される。このため、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムは、相対的に低解像度な複数の画像から相対的に高解像度な１つの画像を生成する場合に生じる前記ギザギザな線をより低減できる。 In the image processing apparatus, the image processing method, and the image processing program according to the present invention, high resolution image data is generated from a plurality of image data generated by demosaic processing. In the demosaicing process, luminance component image data is generated by filtering the original image data with an image filter having a filter coefficient for conversion into data having the same color composition ratio as the color composition ratio of the unit arrangement of the original image data, The chromaticity component image data is generated by subtracting the luminance component image data from the image data. In the chromaticity component image data, the chromaticity component data of the missing pixels is included in the unit array for each of the plurality of colors. And each chromaticity component image data for each color is generated by interpolating with an interpolation method based on the luminance component image data, and the luminance component image data is added to each chromaticity component image data for each color to add Image data is generated. For this reason, the image processing apparatus, the image processing method, and the image processing program according to the present invention generate the jagged lines generated when generating a relatively high-resolution image from a plurality of relatively low-resolution images. It can be reduced more.
上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。 The above and other objects, features and advantages of the present invention will become apparent from the following detailed description and the accompanying drawings.
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。 Hereinafter, an embodiment according to the present invention will be described with reference to the drawings. In addition, the structure which attached | subjected the same code | symbol in each figure shows that it is the same structure, The description is abbreviate | omitted suitably. In this specification, when referring generically, it shows with the reference symbol which abbreviate | omitted the suffix, and when referring to an individual structure, it shows with the reference symbol which attached the suffix.
実施形態における画像処理装置は、所与の原画像データに対し所定の画像処理を実施する装置であり、前記所定の画像処理には、少なくともデモザイク処理および高解像度画像生成処理が含まれる。一般に、撮像装置（カメラ）は、イメージセンサから出力される画像信号に対し、ホワイトバランス処理、フィルタ処理、階調変換処理および色空間変換処理等のいわゆる通常の画像処理を施し、最終的な画像信号を生成する。前記原画像データは、このような通常の画像処理を施す前の、イメージセンサから出力された生の画像信号であり、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備えるものである。このような原画像データは、例えばローデータ（Ｒａｗ Ｄａｔａ、生データ）である。前記デモザイク処理は、原画像データをデモザイク（ｄｅｍｏｓａｉｃ）することによって各色成分データを各画素ごとに持つ画像データを生成する処理である。前記高解像度画像生成処理は、複数の画像（画像データ）から前記画像よりも解像度の高い高解像度な画像を生成する処理である。 The image processing apparatus according to the embodiment is an apparatus that performs predetermined image processing on given original image data, and the predetermined image processing includes at least demosaic processing and high-resolution image generation processing. In general, an imaging device (camera) performs so-called normal image processing such as white balance processing, filter processing, gradation conversion processing, and color space conversion processing on an image signal output from an image sensor, thereby obtaining a final image. Generate a signal. The original image data is a raw image signal output from an image sensor before performing such normal image processing, and is a plurality of data corresponding to each of a plurality of pixels arranged in a two-dimensional array. A plurality of unit arrays in which a plurality of density data of a plurality of colors different from each other are arranged in a predetermined pattern, and the plurality of data arranged in a two-dimensional array are provided. Such original image data is, for example, raw data (raw data). The demosaicing process is a process of generating image data having each color component data for each pixel by demosaicing the original image data. The high resolution image generation process is a process of generating a high resolution image having a higher resolution than the image from a plurality of images (image data).
図１は、実施形態における画像処理装置の構成を示すブロック図である。図１Ａは、全体構成を示し、図１Ｂは、デモザイク処理部の構成を示す。図２は、実施形態の画像処理装置における、カメラである場合の画像取得部の構成を示す図である。図３は、第１実施形態の画像処理装置における、アレイカメラである場合の画像取得部の構成を示す斜視図である。図４は、前記カメラまたは前記アレイカメラにおける色フィルタの単位色フィルタ配列を示す図である。図４Ａおよび図４Ｂは、単位色フィルタ配列の第１および第２態様を示す。 FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to the embodiment. 1A shows the overall configuration, and FIG. 1B shows the configuration of the demosaic processing unit. FIG. 2 is a diagram illustrating a configuration of an image acquisition unit in the case of a camera in the image processing apparatus according to the embodiment. FIG. 3 is a perspective view illustrating a configuration of an image acquisition unit in the case of an array camera in the image processing apparatus according to the first embodiment. FIG. 4 is a diagram illustrating unit color filter arrays of color filters in the camera or the array camera. 4A and 4B show first and second aspects of the unit color filter array.
この実施形態における画像処理装置Ｄは、例えば、図１Ａに示すように、制御処理部１と、記憶部２と、画像取得部３と、入力部４と、出力部５とを備える。
For example, as illustrated in FIG. 1A, the image processing apparatus D in this embodiment includes a
画像取得部３は、制御処理部１に接続され、原画像データを外部から当該画像処理装置Ｄに取り込むための装置である。画像取得部３は、この取得した画像データを制御処理部１へ出力する。画像取得部３は、例えば、原画像データを記録した記録媒体から前記原画像データを読み込むドライブ装置３ａや、物体（被写体）の光学像を撮像して原画像データを生成するカメラ３ｂ等である。
The
ドライブ装置３ａは、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲおよびＤＶＤ−Ｒ等の記録媒体とデータを読み書きする装置であり、例えば、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、ＣＤ−ＲドライブおよびＤＶＤ−Ｒドライブ等である。また例えば、ドライブ装置３ａは、ＳＤメモリカード（ＳＤのロゴは登録商標）およびＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の固体記憶素子からデータを読み書きする装置であり、例えばＳＤドライブおよびＵＳＢインターフェース等である。
The
カメラ３ｂは、図２に示すように、被写体の光学像を所定の結像面に結像する撮像光学系３１と、撮像光学系３１の像側に配置される色フィルタ部３２と、前記所定の結像面の位置に受光面が位置するように配置され、前記撮像光学系３１によって結像された被写体の光学像を色フィルタ部３２を介して撮像して原画像データを出力する撮像部３３とを備える。カメラ３ｂは、単眼の１個のカメラ３ｂａであって良く、また、複眼（３眼以上）のアレイカメラ３ｂｂであって良い。
As shown in FIG. 2, the
単眼のカメラ３ｂａは、被写体を撮像して１個の原画像データを生成する装置であり、例えば、単眼（１個）の撮像光学系３１ａと、撮像光学系３１ａの像側に配置される色フィルタ部３２と、撮像光学系３１ａによって結像された被写体の光学像を色フィルタ部３２を介して１個の有効撮像領域で撮像して１個の原画像データを出力する撮像部３３ａとを備える。撮像光学系３１ａは、その光軸に沿って１または複数の光学レンズを備えて構成される。撮像部３３ａは、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、色フィルタ部３２を介して受光した光の光量に応じて変換した電気信号を原画像データにおける各画素のデータとして出力する。このような撮像部３３ａは、例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等の固体撮像素子を備えて構成される。
The monocular camera 3ba is a device that images a subject and generates one original image data. For example, a monocular (one) imaging
３眼以上の複眼のアレイカメラ３ｂｂは、被写体を撮像して複数（３個以上）の原画像データを生成する装置であり、例えば、図３に示すように、３個以上の複数の撮像光学系３１ｂと、前記複数の撮像光学系３１ｂに対応し、各撮像光学系３１の各像側にそれぞれ配置される複数の色フィルタ部３２（図３には不図示）と、前記複数の撮像光学系３１ｂに対応し、前記複数の撮像光学系３１ｂそれぞれによって結像された被写体の光学像を各色フィルタ部３２を介してそれぞれ撮像して複数の原画像データを出力する複数の撮像部３３ｂとを備える。なお、図３では色フィルタ部３２が省略されている。複数の撮像光学系３１ｂは、それぞれ、当該撮像光学系３１ｂに対応する撮像部３３ｂの受光面に被写体の光学像を結像する光学素子である。１個の撮像光学系３１ｂは、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の撮像光学系３１ｂは、図３に示す例では、各光軸が互いに略平行となるように配列される。したがって、複数の撮像光学系３１ｂおよび複数の色フィルタ部３２を介して被写体の光学像をそれぞれ撮像する複数の撮像部３３ｂは、同じ被写体を写した略視差だけずれた原画像データを生成することになる。図３に示す例では、複数の撮像光学系３１ｂは、複数の撮像部３３ｂに対応して線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図３に示す例では、複数の撮像光学系３１ｂは、撮像部３３ｂの配列態様および個数に合わせて３行３列に２次元マトリクス状に配列された９個の撮像光学系３１ｂ−１１〜３１ｂ−３３である。複数の撮像部３３ｂは、それぞれ、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、前記色フィルタ部３２を介して受光した光の光量に応じて変換した電気信号を原画像データにおける各画素のデータとして出力する。複数の撮像部３３ｂは、複数の撮像光学系３１ｂに対応し、各撮像面が互いに同一平面となるように配列される。図３に示す例では、複数の撮像部３３ｂは、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図３に示す例では、複数の撮像部３３ｂは、３行３列に２次元マトリクス状に配列された９個の撮像部３３ｂ−１１〜３３ｂ−３３が示されている。これら複数の撮像部３３ｂは、同一の基板上に２次元マトリクス状に配列された複数の前記固体撮像素子を備えて構成されて良いが、図３に示す例では、１個の前記固体撮像素子を備えて構成され、この１個の前記固体撮像素子における有効画素領域が、各撮像部３３ｂに対応するように、２次元マトリクス状に配列された複数の領域に分割され、これら各領域が各撮像部３３ｂとして利用される。
The three or more compound eye array camera 3bb is a device that captures a subject and generates a plurality (three or more) of original image data. For example, as shown in FIG. A plurality of color filter sections 32 (not shown in FIG. 3) corresponding to the
単眼のカメラ３ｂａにおける色フィルタ部３２および複眼のアレイカメラ３ｂｂにおける複数の色フィルタ部３２それぞれは、互いに異なる複数の色フィルタを所定のパターンで配列した単位色フィルタ配列３２１を、複数、さらに２次元アレイ状に配列した光学フィルタ素子である。色フィルタ部３２の各色フィルタは、それぞれ、入射した光のうち所定の波長範囲（透過波長帯域）の光を透過し、撮像部３３の各光電変換素子に対応するように配置される。すなわち、単眼のカメラ３ｂａの色フィルタ部３２における各色フィルタは、撮像部３３ａにおける複数の光電変換素子（複数の画素）それぞれに対応するように配置される。複眼のアレイカメラ３ｂｂにおける複数の色フィルタ部３２は、それぞれ、複数の撮像部３３ｂに対応するように配置され、各色フィルタ部３２および撮像部３３ｂそれぞれにおいて、色フィルタ部３２における各色フィルタは、撮像部３３ｂにおける複数の光電変換素子（複数の画素）それぞれに対応するように配置される。
Each of the
前記単位色フィルタ配列３２１は、例えば画像の使用用途等に応じて種々の態様を採用できる。特に、本実施形態における画像処理装置Ｄは、単位色フィルタ配列３２１中に複数の同色の色フィルタを含む場合に、効果的であり、前記単位色フィルタ配列３２１は、例えば、図４ＡおよびＢに示す第１および第２態様の単位色フィルタ配列３２１ａ、３２１ｂ等である。
The unit color filter array 321 can adopt various modes depending on, for example, the usage of the image. In particular, the image processing apparatus D in this embodiment is effective when the unit color filter array 321 includes a plurality of color filters of the same color. Unit
図４Ａに示す第１態様の単位色フィルタ配列３２１ａは、赤色を透過する赤色フィルタ（Ｒ）、緑色を透過する第１緑色フィルタ（Ｇ）、緑色を透過する第２緑色フィルタ（Ｇ）、および、青色を透過する青色フィルタ（Ｂ）を２行２列で２次元マトリックス状に配置した配列であり、いわゆるベイヤー配列である。すなわち、１行１列に赤色フィルタが配置され、１行２列および２行１列それぞれ第１および第２緑色フィルタが配置され、そして、２行２列に青色フィルタが配置される。このような複数の単位色フィルタ配列３２１ａをさらに２次元アレイ状に配列した色フィルタ部３２ａが図２に示す色フィルタ部３２として用いられてよい。この色フィルタ部３２ａは、いわゆる原色フィルタである。
The unit
この図４Ａに示す第１態様の単位色フィルタ配列３２１ａは、２行２列の大きさであるが、これに限定されるものではなく、単位色フィルタ配列３２１は、任意の大きさであってよい。例えば、図４Ｂに示す第２態様の単位色フィルタ配列３２１ｂは、赤色を透過する第１および第２赤色フィルタ（Ｒ）、緑色を透過する第１ないし第５緑色フィルタ（Ｇ）、ならびに、青色を透過する第１および第２青色フィルタ（Ｂ）を３行３列で２次元マトリックス状に配置した配列である。すなわち、１行１列および３行３列それぞれに第１および第２赤色フィルタが配置され、１行２列、２行１列、２行２列、２行３列および３行２列それぞれに第１ないし第５緑色フィルタが配列され、１行３列および３行１列それぞれに青色フィルタが配置される。このような複数の単位色フィルタ配列３２１ｂをさらに２次元アレイ状に配列した色フィルタ部３２ｂが図２に示す色フィルタ部３２として用いられてよい。
The unit
上記構成の単眼のカメラ３ｂａでは、被写体からの光束は、撮像光学系３１ａに入射され、色フィルタ部３２を介して撮像部３３ａの受光面に物体の光学像を形成する。撮像部３３ａの各光電変換素子は、それぞれ、色フィルタ部３２の各色フィルタを介して受光した光をその光量に応じた電気信号に光電変換し、各画素のデータとして出力する。色フィルタ部３２は、図４に示す単位色フィルタ配列３２１で構成されているので、撮像部３３ａは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備える原画像データを出力することになる。
In the monocular camera 3ba having the above configuration, the light beam from the subject enters the imaging
上記構成の複眼のカメラ３ｂｂでは、被写体からの光束は、複数の撮像光学系３１ｂにそれぞれ入射され、各色フィルタ部３２を介して各撮像部３３ｂの各受光面に物体の光学像をそれぞれ形成する。各撮像部３３ｂの各光電変換素子は、それぞれ、各色フィルタ部３２の各色フィルタを介して受光した光をその光量に応じた電気信号に光電変換し、各画素のデータとして出力する。色フィルタ部３２は、図４に示す単位色フィルタ配列３２１で構成されているので、各撮像部３３ｂは、それぞれ、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備える原画像データを出力することになる。したがって、複数の撮像部３３ｂは、複数の原画像データを出力する。図３に示す例では、９個の撮像部３３ｂ−１１〜３３ｂ−３３を備える固体撮像素子は、９個の原画像データを出力することになる。
In the compound-eye camera 3bb having the above-described configuration, the light flux from the subject is incident on each of the plurality of imaging
上記第１態様の色フィルタ部３２ａが用いられる場合では、単位色フィルタ配列３２１ａの色組成比は、Ｒ：Ｂ：Ｇ＝１：１：２であり、このため、この色フィルタ部３２ａを用いることによって生成された原画像データの色組成比も、Ｒ：Ｂ：Ｇ＝１：１：２である。上記第２態様の色フィルタ部３２ｂが用いられる場合では、単位色フィルタ配列３２１ｂの色組成比は、Ｒ：Ｂ：Ｇ＝２：２：５であり、このため、この色フィルタ部３２ｂを用いることによって生成された原画像データの色組成比も、Ｒ：Ｂ：Ｇ＝２：２：５である。
When the
図１Ａに戻って、入力部４は、制御処理部１に接続され、例えば、画像処理の開始を指示するコマンド等の各種コマンド、および、例えば画像処理対象の画像における識別子（ファイルネーム）の入力や画像処理の際に用いられる画像フィルタの選択入力等の画像処理を実行する上で必要な各種データを画像処理装置Ｄに入力する機器であり、例えば、キーボードやマウス等である。出力部５は、制御処理部１に接続され、入力部４から入力されたコマンドやデータ、および、画像処理装置Ｄによって画像処理された画像処理の結果の画像を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。
Returning to FIG. 1A, the
なお、入力部４および出力部５からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部４は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部５は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として画像処理装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い画像処理装置Ｄが提供される。
A touch panel may be configured from the
記憶部２は、制御処理部１に接続され、画像処理を実行する上で必要な各種プログラムや各種データを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性記憶素子、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。記憶部２は、例えばハードディスク等の大容量記憶装置を備えても良い。そして、記憶部２は、原画像データを記憶し、この原画像データに対し制御処理部１によって後述の画像処理を行うための作業領域として用いられる。
The
制御処理部１は、所定の画像処理プログラムに基づき後述の画像処理を実行するべく、画像処理装置Ｄａの各部を当該各部の機能に応じてそれぞれ制御するものである。制御処理部１ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成され、所定の画像処理プログラムを実行することによって、機能的に、制御部１１、デモザイク処理部１２、対応点探索処理部１３、位置ズレ量演算部１４および超解像処理部１５が構成される。
The
制御部１１は、所定の画像処理を実行するために、画像処理装置Ｄの各部を当該各部の機能に応じてそれぞれ制御するものである。
The
デモザイク処理部１２は、原画像データをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するものである。このようなデモザイク処理部１２は、本実施形態では、図１Ｂに示すように、輝度成分生成処理部１２１と、色度成分生成処理部１２２と、色度成分補間処理部１２３と、画像生成処理部１２４とを備える。
The
輝度成分生成処理部１２１は、原画像データを所定の画像フィルタでフィルタリングすることによって輝度成分画像データを生成するものである。前記所定の画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、原画像データにおける単位配列３２１の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えて構成される。そして、前記画像フィルタは、１つであって良いが、本実施形態では、複数の画像フィルタが用いられ、輝度成分生成処理部１２１は、原画像データを前記複数の画像フィルタそれぞれでフィルタリングすることによって複数の素輝度成分画像データを生成し、前記複数の素輝度成分画像データを予め設定された所定の合成比で合成することで前記輝度成分生成画像データを生成する。これら複数の画像フィルタは、サイズが互いに異なるとともに、前記フィルタリングによって高周波成分を除去する除去率が互いに異なる画像フィルタを含む。一例では、輝度成分生成処理部１２１は、原画像データを第１および第２画像フィルタそれぞれでフィルタリングすることによって第１および第２素輝度成分画像データを生成し、これら第１および第２素輝度成分画像データを予め適宜に設定された所定の合成比で合成することで前記輝度成分生成画像データを生成する。この第１画像フィルタは、第２画像フィルタのサイズよりも大きなサイズであり、前記フィルタリングによって高周波成分を除去する除去率が第２画像フィルタよりも小さい。このような画像フィルタについては、後に、詳述する。
The luminance component
色度成分生成処理部１２２は、前記原画像データから、輝度成分生成処理部１２１で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成するものである。
The chromaticity component
色度成分補間処理部１２３は、色度成分生成処理部１２２で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数、および、輝度成分生成処理部１２１で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成するものである。好ましくは、本実施形態では、色度成分補間処理部１２３は、前記単位配列に含まれる同色の個数が１つである色の色度成分データを補間する場合には、バイリニア補間法を前記補間方法として用いるものである。また、好ましくは、本実施形態では、色度成分補間処理部１２３は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合には、輝度成分生成処理部１２１で生成された輝度成分画像データに基づいた補間方法を前記補間方法として用いるものである。より具体的には、輝度成分生成処理部１２１で生成された輝度成分画像データに基づいた補間方法は、前記色度成分データが欠落する画素を注目画素とし、前記色度成分データ上における前記注目画素の第１画素位置に対応する前記輝度成分画像データ上における第２画素位置の第１輝度成分データと、前記第２画素位置の周辺に位置する周辺画素位置の第２輝度成分データとの相関の有無に応じて選択される補間方法である。好ましくは、輝度成分生成処理部１２１で生成された輝度成分画像データに基づいた補間方法は、前記相関の有る場合には、第１画素位置の周辺に位置する周辺画素位置の色度成分データを前記相関の程度に応じた重みで重みを付けて平均する重み付け補間法であり、前記相関の無い場合には、バイリニア補間法である。
In the chromaticity component image data generated by the chromaticity component
画像生成処理部１２４は、色度成分補間処理部１２３で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、輝度成分生成処理部１２１で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成するものである。
The image
図１Ａに戻って、対応点探索処理部１３は、複数の原画像データに基づく複数の画像の間で対応点探索を実施するものである。
Returning to FIG. 1A, the corresponding point
位置ズレ量演算部１４は、対応点探索処理部１３で探索された対応点間の距離である位置ズレ量を求めるものである。位置ズレ量は、ピクセル単位（画素単位、画素ピッチの整数倍）で求められてもよいが、本実施形態では、サブピクセル単位で求められる。
The positional deviation
超解像処理部１５は、複数の原画像データからデモザイク処理部１２によって生成された複数の画像データ、および、位置ズレ量演算部１４で求めた位置ズレ量に基づいて、前記複数の画像データに対応する複数の画像における解像度より高い高解像度な画像の高解像画像データを生成するものである。
The
このような画像処理装置Ｄは、例えばノート型やディスクトップ型等のパーソナルコンピュータや、また例えば携帯電話機等の携帯機器やカメラ等のコンピュータを搭載した機器等によって構成可能である。 Such an image processing apparatus D can be configured by, for example, a personal computer such as a notebook computer or a desktop computer, a portable device such as a mobile phone, or a device equipped with a computer such as a camera.
次に、実施形態における画像処理装置の動作について説明する。図５は、実施形態における画像処理装置の動作を示すフローチャートである。図６は、アレイカメラによって撮像された各原画像データ間（各画像間）における相互位置関係を説明するための図である。図７は、実施形態の画像処理装置におけるデモザイク処理を示すフローチャートである。図８は、前記デモザイク処理における輝度成分生成処理を説明するための図である。図８Ａは、原画像データＩＳの画像（原画像）ＰＩＳの一例を示し、図８Ｂは、図８Ａに示す原画像データＩＳを第１態様の画像フィルタＦＬａでフィルタリングした素輝度成分画像データＢＩＳｐ−１の画像（素輝度成分画像）ＰＢＩＳｐ−１および前記第１態様の画像フィルタＦＬａを示し、図８Ｃは、図８Ａに示す原画像データＩＳを第２態様の画像フィルタＦＬｂでフィルタリングした素輝度成分画像データＢＩＳｐ−２の画像（素輝度成分画像）ＰＢＩＳｐ−２および前記第２態様の画像フィルタＦＬｂを示し、そして、図８Ｄは、図８Ｂに示す素輝度成分画像と図８Ｃに示す素輝度成分画像とを１：４の割合で合成することによって求めた輝度成分画像データＢＩＳの画像（輝度成分画像）ＰＢＩＳを示す。図９は、前記輝度成分生成処理におけるフィルタ処理を説明するための図である。図９Ａは、原画像データＩＳの各データ（原画像ＰＩＳの各画素）と画像フィルタＦＬとの関係を示し、図９Ｂは、画像フィルタＦＬ（この例では第２態様の画像フィルタＦＬｂ）を示し、図９Ｃは、フィルタリング後の素輝度成分画像データＢＩＳｐを示し、図９Ｄは、原画像ＰＩＳの一例を示し、そして、図９Ｅは、図９Ｄに示す原画像ＰＩＳの原画像データＩＳを第２態様の画像フィルタＦＬｂでフィルタリングした素輝度成分画像ＰＢＩＳｐの一例を示す。図１０は、前記輝度成分生成処理に用いられる画像フィルタの他の構成を示す図である。図９Ａは、第３態様の画像フィルタＦＬｃを示し、図９Ｂは、第４態様の画像フィルタＦＬｄを示し、図９Ｃは、第５態様の画像フィルタＦＬｅを示す。図１１は、前記デモザイク処理における色度成分生成処理を説明するための図である。図１１Ａは、単位配列がベイヤー配列である場合の原画像データＩＳを示し、図１１Ｂは、図１１Ａに示す原画像データＩＳに対応する輝度成分画像データＢＩＳを示し、図１１Ｃは、図１１Ａに示す原画像データＩＳに対応するＧ、Ｒ、Ｂの各色の色度成分画像データＣＩＳ（ＣＩＳ−Ｇ、ＣＩＳ−Ｒ、ＣＩＳ−Ｂ）（補間前の色別色度成分画像データ）を示す。図１２は、前記デモザイク処理における色度成分補間処理を説明するための図である。図１２Ａは、注目画素Ｘとその周辺画素Ａ〜Ｄの位置関係を示し、図１２Ｂは、重みと補間演算とを示す。図１３は、前記デモザイク処理における画像生成処理を説明するための図である。図１３Ａは、Ｇ成分の場合を示し、図１３Ｂは、Ｒ成分の場合を示し、図１３Ｃは、Ｂ成分の場合を示す。図１４は、実施形態の画像処理装置における対応点探索処理を説明するための図である。図１４Ａは、対応点探索の対象である第１および第２画像を重ねて表示した図であり、図１４Ｂおよび図１４Ｃは、相対的に粗い精度での対応点探索を示し、図１４Ｄは、相対的に細かい精度での対応点探索を示す。図１５は、実施形態の画像処理装置におけるサブピクセル単位での位置ズレ量演算処理を説明するための図である。図１５Ａは、対応点探索結果の一例であるＮＣＣ値を示し、図１５Ｂは、図１５Ａに示すＮＣＣ値からサブピクセル単位で求められた対応点を示す。図１６は、実施形態の画像処理装置における第１態様の超解像処理を示すフローチャートである。図１７は、実施形態の画像処理装置における超解像処理の劣化情報を説明するための図である。図１８は、残差処理と超解像処理との関係を説明するための図である。図１８Ａは、ベイヤー配列を示し、図１８Ｂおよび図１８Ｃは、２個の入力画像の補間関係を示す。図１８は、残差処理における劣化情報に応じた出力候補画像の変換を説明するための図である。図１８Ａは、出力候補画像Ｘｎを示し、図１８Ｂは、劣化情報に応じて入力画像相当の解像度に変換した出力候補画像Ｘｎを示し、図１８Ｃは、図１８Ａから図１８Ｂへの変換ＤｋＨｋＦｋを説明するための図である。図１９は、残差処理における符号関数の演算を説明するための図である。図１９Ａは、劣化情報に応じて入力画像相当の解像度に変換した出力候補画像Ｘｎを示し、図１９Ｂは、入力画像Ｙｋを示し、図１９Ｃは、差異ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）を示す。図２０は、残差処理における符号関数の演算結果に影響した出力候補画像の画素を求める処理を説明するための図である。図２０Ａは、差異ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）を示し、図２０Ｂは、超解像画像のサイズでの差異の画像Ｆｋ ＴＨｋ ＴＤｋ Ｔｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）を示し、図２０Ｃは、図２０Ａから図２０Ｂへの変換Ｆｋ ＴＨｋ ＴＤｋ Ｔを説明するための図である。図２１は、各入力画像に対する残差処理を示すフローチャートである。図２２は、実施例の画像処理結果と比較例の画像処理結果とを説明するための図である。Next, the operation of the image processing apparatus in the embodiment will be described. FIG. 5 is a flowchart illustrating the operation of the image processing apparatus according to the embodiment. FIG. 6 is a diagram for explaining the mutual positional relationship between original image data (between images) captured by the array camera. FIG. 7 is a flowchart illustrating demosaic processing in the image processing apparatus according to the embodiment. FIG. 8 is a diagram for explaining a luminance component generation process in the demosaic process. 8A shows an example of an image (original image) PIS of the original image data IS, and FIG. 8B shows elementary luminance component image data BISp− obtained by filtering the original image data IS shown in FIG. 8A with the image filter FLa of the first mode. FIG. 8C shows the first image (primary luminance component image) PBISp-1 and the image filter FLa of the first aspect, and FIG. 8C shows the elementary luminance component obtained by filtering the original image data IS shown in FIG. 8A with the image filter FLb of the second aspect. FIG. 8D shows an image (primary luminance component image) PBISp-2 of the image data BISp-2 and the image filter FLb of the second aspect, and FIG. 8D shows an elementary luminance component image shown in FIG. 8B and an elementary luminance component shown in FIG. 8C. An image (luminance component image) PBIS of luminance component image data BIS obtained by combining the image and the image at a ratio of 1: 4 is shown. FIG. 9 is a diagram for explaining filter processing in the luminance component generation processing. FIG. 9A shows the relationship between each data of the original image data IS (each pixel of the original image PIS) and the image filter FL, and FIG. 9B shows the image filter FL (the image filter FLb of the second mode in this example). 9C shows the filtered elementary luminance component image data BISp, FIG. 9D shows an example of the original image PIS, and FIG. 9E shows the second original image data IS of the original image PIS shown in FIG. 9D. An example of the elementary luminance component image PBISp filtered by the image filter FLb of the aspect is shown. FIG. 10 is a diagram showing another configuration of the image filter used for the luminance component generation processing. 9A shows the image filter FLc of the third aspect, FIG. 9B shows the image filter FLd of the fourth aspect, and FIG. 9C shows the image filter FLe of the fifth aspect. FIG. 11 is a diagram for explaining chromaticity component generation processing in the demosaic processing. 11A shows the original image data IS when the unit array is a Bayer array, FIG. 11B shows the luminance component image data BIS corresponding to the original image data IS shown in FIG. 11A, and FIG. The chromaticity component image data CIS (CIS-G, CIS-R, CIS-B) for each color of G, R, and B corresponding to the original image data IS shown (color-specific chromaticity component image data before interpolation) is shown. FIG. 12 is a diagram for explaining chromaticity component interpolation processing in the demosaic processing. 12A shows the positional relationship between the pixel of interest X and its peripheral pixels A to D, and FIG. 12B shows the weights and the interpolation calculation. FIG. 13 is a diagram for explaining an image generation process in the demosaic process. 13A shows the case of the G component, FIG. 13B shows the case of the R component, and FIG. 13C shows the case of the B component. FIG. 14 is a diagram for explaining corresponding point search processing in the image processing apparatus according to the embodiment. FIG. 14A is a diagram in which the first and second images that are the target of the corresponding point search are displayed in an overlapping manner. FIGS. 14B and 14C show the corresponding point search with relatively coarse accuracy, and FIG. Corresponding point search with relatively fine accuracy is shown. FIG. 15 is a diagram for explaining the positional deviation amount calculation processing in units of subpixels in the image processing apparatus according to the embodiment. FIG. 15A shows an NCC value that is an example of a corresponding point search result, and FIG. 15B shows a corresponding point obtained in units of subpixels from the NCC value shown in FIG. 15A. FIG. 16 is a flowchart illustrating the super-resolution processing of the first aspect in the image processing apparatus of the embodiment. FIG. 17 is a diagram for describing deterioration information of super-resolution processing in the image processing apparatus according to the embodiment. FIG. 18 is a diagram for explaining the relationship between the residual processing and the super-resolution processing. FIG. 18A shows a Bayer array, and FIGS. 18B and 18C show an interpolation relationship between two input images. FIG. 18 is a diagram for explaining conversion of an output candidate image according to deterioration information in the residual processing. 18A shows the output candidate image Xn , FIG. 18B shows the output candidate image Xn converted to the resolution equivalent to the input image according to the degradation information, and FIG. 18C shows the conversion D from FIG. 18A to FIG. 18B. it is a diagram for explaining a k H k F k. FIG. 19 is a diagram for explaining the calculation of the sign function in the residual process. 19A shows an output candidate image Xn converted to a resolution equivalent to the input image in accordance with the deterioration information, FIG. 19B shows the input image Yk , and FIG. 19C shows the difference sign (D k H k F k X n- Yk ). FIG. 20 is a diagram for explaining processing for obtaining pixels of an output candidate image that has influenced the calculation result of the sign function in the residual processing. Figure 20A is a difference sign indicates (D k H k F k X n -Y k), FIG. 20B, image differences in the size of the super-resolution image F k T H k T D k T sign (D k H k F k X n -Y k ) indicates, FIG 20C is a diagram for explaining conversion F k T H k T D k T to Figure 20B from Figure 20A. FIG. 21 is a flowchart showing residual processing for each input image. FIG. 22 is a diagram for explaining the image processing result of the example and the image processing result of the comparative example.
画像処理装置Ｄは、例えば、ユーザの操作によって入力部４から起動コマンドを受け付けると、画像処理プログラムを実行する。この画像処理プログラムの実行によって、制御処理部１に制御部１１、デモザイク処理部１２、対応点探索処理部１３、位置ズレ量演算部１４および超解像処理部１５が機能的に構成される。
For example, when the image processing apparatus D receives an activation command from the
そして、図５において、まず、処理Ｓ１では、画像取得部３によって複数の原画像それぞれに対応する複数の原画像データが当該画像処理装置Ｄに入力され、記憶部２に記憶される。本実施形態では、一例として、９個の第１ないし第９原画像データＩＳが入力され、記憶部２に記憶される。これら第１ないし第９原画像データＩＳは、例えば３行３列に２次元アレイ状に配列された９眼を持つアレイカメラ３ｂｂで同一の被写体を撮像することによって生成されたデータである。したがって、これら第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３は、互いの位置関係として図６に示すように３行３列に２次元アレイ状に配列される。１行１列に位置する原画像データが第１原画像データＩＳ−１１であり、２次元アレイ状配列の各位置に位置する各原画像データＩＳが順次にそれぞれ番号付けられ、３行３列に位置する原画像データが第９原画像データＩＳ−３３である。そして、中央位置の２行２列に位置にする原画像データＩＳは、第５原画像データＩＳ−２２であり、後述の対応点探索で基準画像とされる。これら第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３は、それぞれ、適宜な色フィルタ部３２を用いて生成された任意の画像数のデータであって良いが、ここでは、一例として、ベイヤー配列の色フィルタ部３２ａを用いて生成された５００×５００画素のデータである。
In FIG. 5, first, in process S <b> 1, a plurality of original image data corresponding to each of a plurality of original images is input to the image processing device D by the
次に、処理Ｓ２では、デモザイク処理部１２によって第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれがデモザイクされる。すなわち、デモザイク処理部１２は、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれをデモザイクすることによって第１ないし第９画像データＩＤ−１１〜ＩＤ−３３それぞれを生成し、これら生成した第１ないし第９画像データＩＤ−１１〜ＩＤ−３３を記憶部２に記憶する。この原画像データＩＳをデモザイクするデモザイク処理は、より具体的には、例えば、本実施形態では、図７に示すように、まず、デモザイク処理部１２の輝度成分生成処理部１２１によって原画像データＩＳに基づいて輝度成分画像データＢＩＳが生成され（Ｓ２０１）、次に、デモザイク処理部１２の色度成分生成処理部１２２によって原画像データＩＳおよび輝度成分画像データＢＩＳに基づいて色度成分画像データＣＩＳが生成され（Ｓ２０２）、次に、デモザイク処理部１２の色度成分補間処理部１２３によって輝度成分画像データＢＩＳおよび色度成分画像データＣＩＳに基づいて補間処理されて色別色度成分画像データＩＣＩＳが生成され（Ｓ２０３）、そして、デモザイク処理部１２の画像生成処理部１２４によって輝度成分画像データＢＩＳおよび色別色度成分画像データＩＣＩＳに基づいて画像データＩＤが生成される（Ｓ２０４）。これら処理Ｓ２０１〜Ｓ２０４の各処理は、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれに対し、実行される。より詳しくは、これら各処理Ｓ２０１〜Ｓ２０４は、次のように処理される。
Next, in process S2, each of the first to ninth original image data IS-11 to IS-33 is demosaiced by the
輝度成分を生成する輝度成分生成処理Ｓ２０１では、輝度成分生成処理部１２１は、原画像データＩＳを所定の画像フィルタＦＬでフィルタリングすることによって輝度成分画像データＢＩＳを生成する。この輝度成分生成処理Ｓ２０１では、１個の画像フィルタＦＬが用いられ、輝度成分生成処理部１２１は、原画像データＩＳをこの１個の画像フィルタＦＬでフィルタリングすることによって輝度成分画像データＢＩＳを生成しても良いが、本実施形態では、複数の画像フィルタＦＬｎが用いられ、輝度成分生成処理部１２１は、原画像データＩＳをこれら複数の画像フィルタＦＬｎそれぞれでフィルタリングすることによって複数の素輝度成分画像データＢＩＳｐを生成し、これら複数の素輝度成分画像データＢＩＳｐを所定の合成比で合成することによって１個の輝度成分画像データＢＩＳを生成する。図８に示す例では、図８Ｂおよび図８Ｃに示す２個の第１および第２態様の画像フィルタＦＬａ、ＦＬｂが用いられ、輝度成分生成処理部１２１は、原画像データＩＳ（図８Ａ）を第１態様の画像フィルタＦＬａでフィルタリングすることによって第１素輝度成分画像データＢＩＳｐ−１を生成し（図８Ｂ）、原画像データＩＳを第２態様の画像フィルタＦＬｂでフィルタリングすることによって第２素輝度成分画像データＢＩＳｐ−２を生成し（図８Ｃ）、そして、これら第１および第２素輝度成分画像データＢＩＳｐ−１、ＢＩＳｐ−２を１：４の合成比で合成することによって１個の輝度成分画像データＢＩＳを生成する（図８Ｄ）。
In the luminance component generation processing S201 for generating the luminance component, the luminance component
これら第１および第２態様の画像フィルタＦＬａ、ＦＬｂは、それぞれ、フィルタリングの対象データに対応する画素（対象画素）の周辺に位置する画素（周辺画素）に対応するデータ（周辺データ）に基づいて、前記対象データを、原画像データＩＳにおける単位配列（単位色フィルタ配列３２１）の色組成比と同じ色組成比を持つデータに変換するように、そのフィルタ係数の各値がそれぞれ調整されて設定されている。そして、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）に残す高周波成分の度合い等を考慮することによって、画像フィルタＦＬにおけるフィルタ係数の各値が調整されることが好ましく、また、フィルタリングする対象画素に影響を与える、当該対象画素の周辺に位置する画素範囲等を考慮することによって、画像フィルタＦＬの大きさ（サイズ）が調整されることが好ましい。 The image filters FLa and FLb of the first and second modes are each based on data (peripheral data) corresponding to pixels (peripheral pixels) located around the pixel (target pixel) corresponding to the filtering target data. The respective values of the filter coefficients are adjusted and set so that the target data is converted into data having the same color composition ratio as the unit composition (unit color filter array 321) in the original image data IS. Has been. Then, it is preferable that each value of the filter coefficient in the image filter FL is adjusted by considering the degree of the high frequency component remaining in the luminance component image data BIS (elementary luminance component image data BISp) and the object to be filtered It is preferable that the size (size) of the image filter FL is adjusted by considering a pixel range or the like located around the target pixel that affects the pixel.
より具体的には、第１態様の画像フィルタＦＬａは、原画像データＩＳの単位配列がベイヤー配列である場合に用いられる１１行１１列のフィルタであり、前記周辺データに基づいて前記対象データを、ベイヤー配列における単位配列の色組成比（Ｒ：Ｂ：Ｇ＝１：１：２）と同じ色組成比を持つデータに変換するようにそのフィルタ係数の各値がそれぞれ調整されて設定されている。そして、この第１態様の画像フィルタＦＬａは、その中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、図８Ｂに示すように、中心の６行６列に位置するフィルタ係数は、１０４／１２８であり、５行６列、６行５列、６行７列および７行６列それぞれに位置する各フィルタ係数は、７／１２８であり、１行５列、１行７列、３行３列、３行４列、３行６列、３行８列、３行９列、４行３列、４行９列、５行１列、５行５列、５行７列、５行１１列、７行１列、７行５列、７行７列、７行１１列、８行３列、８行９列、９行３列、９行４列、９行６列、９行８列、９行９列、１１行５列および１１行７列それぞれに位置する各フィルタ係数は、１／１２８であり、４行６列、６行４列、６行８列および８行６列それぞれに位置する各フィルタ係数は、−９／１２８であり、４行５列、４行７列、５行４列、５行８列、７行４列、７行８列、８行５列および８行７列それぞれに位置する各フィルタ係数は、３／１２８であり、４行４列、４行８列、８行４列および８行８列それぞれに位置する各フィルタ係数は、−５／１２８であり、３行５列、３行７列、５行３列、５行９列、７行３列、７行９列、９行５列および９行７列それぞれに位置する各フィルタ係数は、２／１２８であり、２行４列、２行８列、４行２列、４行１０列、８行２列、８行１０列、１０行４列および１０行８列それぞれに位置する各フィルタ係数は、−１／１２８であり、２行６列、６行２列、６行１０列および１０行６列それぞれに位置する各フィルタ係数は、−２／１２８であり、そして、残余の各位置に位置する各フィルタ係数は、０／１２８である。なお、図８Ｂでは、行列表示の各位置にフィルタ係数の値の分子が記載され、分母は、行列表示外の右下に纏めて記載されている。図８Ｃおよび図１０も同様の記載形式で記載されている。このようなフィルタ係数を持つ第１態様の画像フィルタＦＬａは、前記フィルタリングによって高周波成分を除去する除去率が比較的小さいために、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）に比較的多くの高周波成分が残り、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）には、比較的鮮鋭度が保持される。そして、このような第１態様の画像フィルタＦＬａは、１１×１１というフィルタサイズを持つので、フィルタリングする対象画素に影響を与える画素範囲が比較的広く、前記対象画素から比較的遠くに位置する画素まで前記対象画素に影響を与え、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）には、比較的多くの誤差が含まれる。このため、ギザギザな線が比較的出易い。
More specifically, the image filter FLa of the first aspect is an 11 × 11 filter used when the unit array of the original image data IS is a Bayer array, and the target data is obtained based on the peripheral data. Each value of the filter coefficient is adjusted and set so as to be converted into data having the same color composition ratio as the color composition ratio (R: B: G = 1: 1: 2) of the unit array in the Bayer array. Yes. The image filter FLa according to the first aspect is a filter having a filter coefficient that is symmetric with respect to the center position. That is, as shown in FIG. 8B, the filter coefficient located at the
第２態様の画像フィルタＦＬｂは、原画像データＩＳの単位配列がベイヤー配列である場合に用いられる３行３列のフィルタであり、前記周辺データに基づいて前記対象データを、ベイヤー配列における単位配列の色組成比（Ｒ：Ｂ：Ｇ＝１：１：２）と同じ色組成比を持つデータに変換するようにそのフィルタ係数の各値がそれぞれ調整されて設定されている。そして、この第２態様の画像フィルタＦＬｂは、その中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、図８Ｃに示すように、中心の２行２列に位置するフィルタ係数は、４／１６であり、１行２列、２行１列、２行３列および３行２列それぞれに位置する各フィルタ係数は、２／１６であり、そして、１行１列、１行３列、３行１列および３行３列それぞれに位置する各フィルタ係数は、１／１６である。このようなフィルタ係数を持つ第２態様の画像フィルタＦＬｂは、ガウシアンフィルタでもある。このような第２態様の画像フィルタＦＬｂは、第１態様の画像フィルタＦＬａと比較して、逆に、前記フィルタリングによって高周波成分を除去する除去率が比較的大きいために、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）に高周波成分が比較的少なくなり、そして、フィルタリングする対象画素に影響を与える画素範囲が比較的狭く、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）に含まれる誤差は、比較的少なく、ギザギザな線が比較的出難い。このため、上述したように、１個の画像フィルタＦＬを用いて輝度成分画像データＢＩＳを生成する場合には、このような第２態様の画像フィルタＦＬｂが利用される。
The image filter FLb of the second aspect is a 3-by-3 filter used when the unit array of the original image data IS is a Bayer array, and the target data is converted into a unit array in the Bayer array based on the peripheral data. Each value of the filter coefficient is adjusted and set so as to be converted into data having the same color composition ratio (R: B: G = 1: 1: 2). The image filter FLb of the second aspect is a filter having a filter coefficient that is symmetric with respect to the center position. That is, as shown in FIG. 8C, the filter coefficient located at the
また、画像フィルタＦＬの各フィルタ係数は、画像フィルタＦＬ全域に単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が全ての配列位置で同じ値になるように、設定されてよい。 In addition, each filter coefficient of the image filter FL is set so that the sum of the filter coefficients at the same arrangement position of the unit arrangement becomes the same value at all arrangement positions when the unit arrangement is overlapped over the entire area of the image filter FL. May be.
フィルタリングは、原画像データＩＳにおける最初の１行１列に位置する画素に対応するデータから最終の５００行５００列に位置する画素に対応するデータまで順次に実行される。 The filtering is sequentially executed from data corresponding to the pixel located in the first row and first column in the original image data IS to data corresponding to the pixel located in the last 500 rows and 500 columns.
例えば、図９Ａ上段に示す２行２列に位置するＧ画素に対し図８Ｃおよび図９Ｂに示す第２態様の画像フィルタＦＬｂでフィルタリングすると、２行２列に位置するＧ画素に対応する輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）のデータは、（１行１列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬｂのフィルタ値；４／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＋（４／１６）×１＝８／１６＝１／２となる。したがって、画像フィルタＦＬｂの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、色フィルタ部３２ａにおける単位色フィルタ配列３２１ａの色組成比、すなわち、原画像データＩＳにおける単位配列の色組成比と同じである。
For example, when the G pixel located in 2 rows and 2 columns shown in the upper part of FIG. 9A is filtered by the image filter FLb of the second mode shown in FIGS. 8C and 9B, the luminance component corresponding to the G pixels located in 2 rows and 2 columns The data of the image data BIS (elementary luminance component image data BISp) is (filter value of the image filter FLb located in 1 row and 1 column; 1/16) × (data value of G pixel at the position corresponding to the position) + (Filter value of the image filter FLb located in the first row and the second column; 2/16) × (data value of the R pixel at the position corresponding to the position) + (the filter of the image filter FLb located in the first row and the third column) Value; 1/16) × (data value of G pixel at position corresponding to that position) + (filter value of image filter FLb located in 2 rows and 1 column; 2/16) × (position corresponding to that position) B pixel de Value) + (filter value of image filter FLb located in 2 rows and 2 columns; 4/16) × (value of G pixel data at a position corresponding to that position) + (image located in 2 rows and 3 columns) Filter value of filter FLb; 2/16) × (value of data of B pixel at position corresponding to that position) + (filter value of image filter FLb located in 3 rows and 1 column; 1/16) × (position Data value of G pixel at position corresponding to) + (filter value of image filter FLb located at 3 rows × 2 columns; 2/16) × (value of data of R pixel at position corresponding to that position) + ( The filter value of the image filter FLb located in 3 rows and 3 columns; 1/16) × (data value of G pixel at the position corresponding to the position). Therefore, the value of the filter coefficient corresponding to the R pixel is a total, (2/16) × 2 = 4/16 = 1/4, and the value of the filter coefficient corresponding to the B pixel is the total, (2/16) X2 = 4/16 = 1/4, and the value of the filter coefficient corresponding to the G pixel is (1/16) * 4 + (4/16) * 1 = 8/16 = 1/2 in total. Become. Therefore, the color composition ratio of the image filter FLb is R: B: G = 1/4: 1/4: 1/2 = 1: 1: 2, and the color composition ratio of the unit
図９Ａ下段に示す３行２列に位置するＲ画素に対し前記画像フィルタＦＬｂでフィルタリングすると、３行２列に位置するＲ画素に対応する輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）のデータは、（１行１列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬｂのフィルタ値；４／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＢ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（４／１６）×１＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（２／１６）×４＝８／１６＝１／２となる。したがって、画像フィルタＦＬｂの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。 When the R pixel located at 3 rows and 2 columns shown in the lower part of FIG. 9A is filtered by the image filter FLb, the luminance component image data BIS (elementary luminance component image data BISp) corresponding to the R pixels located at 3 rows and 2 columns is converted. The data is (filter value of image filter FLb located in 1 row and 1 column; 1/16) × (value of data of B pixel at position corresponding to that position) + (image filter FLb located in 1 row and 2 columns) Filter value; 2/16) × (value of G pixel data at the position corresponding to that position) + (filter value of image filter FLb located at 1 row × 3 columns; 1/16) × (corresponding to the position) Data value of the B pixel at the position) + (filter value of the image filter FLb located in 2 rows and 1 column; 2/16) × (data value of the G pixel at the position corresponding to the position) + (2 rows) Image frames located in two rows Filter value of filter FLb; 4/16) × (value of data of R pixel at position corresponding to that position) + (filter value of image filter FLb located at 2 rows × 3 columns; 2/16) × (position) Data value of the G pixel at the position corresponding to) + (filter value of the image filter FLb located at 3 rows and 1 column; 1/16) × (data value of the B pixel at the position corresponding to the position) + ( Filter value of image filter FLb located in 3 rows and 2 columns; 2/16) × (value of G pixel data at a position corresponding to that position) + (filter values of image filter FLb located in 3 rows and 3 columns; 1/16) × (data value of the B pixel at the position corresponding to the position). Therefore, the value of the filter coefficient corresponding to the R pixel is a total, (4/16) × 1 = 4/16 = 1/4, and the value of the filter coefficient corresponding to the B pixel is the total, (1/16) × 4 = 4/16 = 1/4, and the value of the filter coefficient corresponding to the G pixel is (2/16) × 4 = 8/16 = 1/2 in total. Accordingly, the color composition ratio of the image filter FLb is R: B: G = 1/4: 1/4: 1/2 = 1: 1: 2, and the color of the unit array in the original image data IS as described above. It is the same as the composition ratio.
２行３列に位置するＢ画素に対し前記画像フィルタＦＬｂでフィルタリングすると、２行３列に位置するＢ画素に対応する輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）のデータは、（１行１列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬｂのフィルタ値；４／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＲ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（４／１６）×１＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（２／１６）×４＝８／１６＝１／２となる。したがって、画像フィルタＦＬｂの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。 When the B pixel located in 2 rows and 3 columns is filtered by the image filter FLb, the luminance component image data BIS (elemental luminance component image data BISp) corresponding to the B pixels located in 2 rows and 3 columns is (1 Filter value of image filter FLb located in row 1 column; 1/16) × (data value of R pixel at position corresponding to that position) + (filter value of image filter FLb located in 1 row 2 column; 2 / 16) × (data value of G pixel at position corresponding to that position) + (filter value of image filter FLb located in 1 row × 3 columns; 1/16) × (R pixel at position corresponding to that position) Data value) + (filter value of the image filter FLb located in 2 rows and 1 column; 2/16) × (data value of G pixel at the position corresponding to that position) + (positioned in 2 rows and 2 columns) Image filter FLb 4/16) × (value of data of B pixel at the position corresponding to the position) + (filter value of the image filter FLb positioned at 2 rows × 3 columns; 2/16) × (corresponding to the position Data value of G pixel at position) + (Filter value of image filter FLb located at 3 rows and 1 column; 1/16) × (Data value of R pixel at position corresponding to that position) + (3 rows 2 Filter value of the image filter FLb located in the column; 2/16) × (data value of the G pixel at the position corresponding to the position) + (filter value of the image filter FLb located in the third row and the third column; 1/16 ) × (data value of R pixel at the position corresponding to the position). Therefore, the value of the filter coefficient corresponding to the R pixel is a total, (1/16) × 4 = 4/16 = 1/4, and the value of the filter coefficient corresponding to the B pixel is the total, (4/16) X1 = 4/16 = 1/4, and the value of the filter coefficient corresponding to the G pixel is (2/16) * 4 = 8/16 = 1/2 in total. Accordingly, the color composition ratio of the image filter FLb is R: B: G = 1/4: 1/4: 1/2 = 1: 1: 2, and the color of the unit array in the original image data IS as described above. It is the same as the composition ratio.
そして、３行３列に位置するＧ画素に対し前記画像フィルタＦＬｂでフィルタリングすると、３行３列に位置するＧ画素に対応する輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）のデータは、（１行１列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（１行２列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（１行３列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行１列に位置する画像フィルタＦＬａのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（２行２列に位置する画像フィルタＦＬｂのフィルタ値；４／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（２行３列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＲ画素のデータの値）＋（３行１列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）＋（３行２列に位置する画像フィルタＦＬｂのフィルタ値；２／１６）×（その位置に対応する位置のＢ画素のデータの値）＋（３行３列に位置する画像フィルタＦＬｂのフィルタ値；１／１６）×（その位置に対応する位置のＧ画素のデータの値）となる。したがって、Ｒ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、Ｂ画素に対応するフィルタ係数の値は、総計、（２／１６）×２＝４／１６＝１／４となり、そして、Ｇ画素に対応するフィルタ係数の値は、総計、（１／１６）×４＋（４／１６）×１＝８／１６＝１／２となる。したがって、画像フィルタＦＬｂの色組成比は、Ｒ：Ｂ：Ｇ＝１／４：１／４：１／２＝１：１：２となり、上述と同様に、原画像データＩＳにおける単位配列の色組成比と同じである。 When the G pixel located at 3 rows and 3 columns is filtered by the image filter FLb, the luminance component image data BIS (elemental luminance component image data BISp) corresponding to the G pixels located at 3 rows and 3 columns is: (Filter value of image filter FLb located in 1 row and 1 column; 1/16) × (value of G pixel data at a position corresponding to that position) + (filter value of image filter FLb located in 1 row and 2 columns) 2/16) × (value of the data of the B pixel at the position corresponding to the position) + (filter value of the image filter FLb located in the first row and the third column; 1/16) × (the position corresponding to the position) G pixel data value) + (filter value of the image filter FLa located in 2 rows and 1 column; 2/16) × (data value of R pixel at the position corresponding to that location) + (2 rows and 2 columns Image filter F located b filter value; 4/16) × (data value of G pixel at position corresponding to that position) + (filter value of image filter FLb located at 2 rows × 3 columns; 2/16) × (at that position) Data value of R pixel at corresponding position) + (Filter value of image filter FLb located at 3 rows and 1 column; 1/16) × (Data value of G pixel at position corresponding to that position) + (3 Filter value of image filter FLb located in row 2 column; 2/16) × (value of data of B pixel at position corresponding to that position) + (filter value of image filter FLb located in row 3 column 3; 1 / 16) × (data value of G pixel at the position corresponding to the position). Therefore, the value of the filter coefficient corresponding to the R pixel is a total, (2/16) × 2 = 4/16 = 1/4, and the value of the filter coefficient corresponding to the B pixel is the total, (2/16) X2 = 4/16 = 1/4, and the value of the filter coefficient corresponding to the G pixel is (1/16) * 4 + (4/16) * 1 = 8/16 = 1/2 in total. Become. Accordingly, the color composition ratio of the image filter FLb is R: B: G = 1/4: 1/4: 1/2 = 1: 1: 2, and the color of the unit array in the original image data IS as described above. It is the same as the composition ratio.
画像フィルタＦＬは、原画像データＩＳにおける単位配列の色組成比と同じ色組成比のフィルタ係数を備えるから、原画像データＩＳに画像フィルタＦＬを作用させた場合において、原画像データＩＳのＲ画素に対応するフィルタ係数の総計と、原画像データＩＳのＢ画素に対応するフィルタ係数の総計と、原画像データＩＳのＧ画素に対応するフィルタ係数の総計は、原画像データＩＳにおける単位配列の色組成比と同じになる。 Since the image filter FL has filter coefficients having the same color composition ratio as that of the unit array in the original image data IS, when the image filter FL is applied to the original image data IS, the R pixel of the original image data IS. The total of the filter coefficients corresponding to the B pixels of the original image data IS, and the total of the filter coefficients corresponding to the G pixels of the original image data IS are the colors of the unit array in the original image data IS. It becomes the same as the composition ratio.
このように原画像データＩＳの単位配列におけるいずれの画素のデータも画像フィルタＦＬによって同じ色組成比でフィルタリングされる。したがって、原画像データＩＳにおける全ての画素のデータが画像フィルタＦＬによって同じ色組成比でフィルタリングされることになる。この結果、輝度成分画像データＢＩＳ（素輝度成分画像データＢＩＳｐ）における全ての画素のデータは、図９Ｃに示すように、（Ｇ／２＋Ｒ／４＋Ｂ／４）で合成された同じ色成分を持つデータとして扱うことが可能となる。 In this way, the data of any pixel in the unit array of the original image data IS is filtered with the same color composition ratio by the image filter FL. Accordingly, all pixel data in the original image data IS are filtered with the same color composition ratio by the image filter FL. As a result, the data of all the pixels in the luminance component image data BIS (elementary luminance component image data BISp) is data having the same color component synthesized by (G / 2 + R / 4 + B / 4) as shown in FIG. 9C. Can be handled as
このような輝度成分生成処理の一具体例を挙げると、図９Ｄに示す原画像ＰＩＳは、画像フィルタＦＬｂのフィルタリングによって、図９Ｅに示す１チャンネル（単色）のモノクロ画像の輝度成分画像ＰＢＩＳ（素輝度成分画像データＰＢＩＳｐ）となる。 As a specific example of such luminance component generation processing, the original image PIS shown in FIG. 9D is obtained by filtering the luminance component image PBIS (elementary color) of one channel (monochrome) shown in FIG. Luminance component image data PBISp).
そして、複数（本実施形態では２個）の素輝度成分画像データＢＩＳｐの合成では、輝度成分画像データＢＩＳの各データ（各画素値）は、当該データの位置（当該画素の位置）に対応する位置の各素輝度成分画像データＢＩＳｐの各データ値を所定の合成比で合成することによって求められる。例えば、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ（各画素値）ＤＶＢＩＳ，ｍｎは、各素輝度成分画像データＢＩＳｐにおけるｍ行ｎ列の各データ値を前記所定の合成比で合成することによって求められる。前記所定の合成比は、予め、複数のサンプルの原画像に対し合成比を変えながら実際に合成し、合成後の画像を見比べることによって適宜な比に設定され、例えば、本実施形態では、１：４である。したがって、第１態様の画像フィルタＦＬａを原画像ＩＳに作用することによって得られた素輝度成分画像データＢＩＳｐ−１におけるｍ行ｎ列のデータ値をＤＶＢＩＳｐ−１，ｍｎとし、第２態様の画像フィルタＦＬｂを原画像ＩＳに作用することによって得られた素輝度成分画像データＢＩＳｐ−２におけるｍ行ｎ列のデータ値をＤＶＢＩＳｐ−２，ｍｎとした場合、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータは、（４×ＤＶＢＩＳｐ−１，ｍｎ＋１×ＤＶＢＩＳｐ−２，ｍｎ）／（１＋４）となる。第１態様の画像フィルタＦＬａは、上述したように、鮮鋭度が比較的保持される一方ギザギザな線が比較的出易い素輝度成分画像データＢＩＳｐ−１を生成するため、この第１態様の画像フィルタＦＬａによる素輝度成分画像データＢＩＳｐ−１と、この画像フィルタＦＬａと逆の特性を持つ第２態様の画像フィルタＦＬｂによる素輝度成分画像データＢＩＳｐ−２とを組み合わせ、これらを所定の合成比で合成して輝度成分画像データＢＩＳを生成することで、鮮鋭度を保持しつつギザギザな線の少ない輝度成分画像データＢＩＳが生成できる。In the synthesis of a plurality (two in this embodiment) of the elementary luminance component image data BISp, each data (each pixel value) of the luminance component image data BIS corresponds to the position of the data (the position of the pixel). It is obtained by synthesizing each data value of each elementary luminance component image data BISp at a position with a predetermined synthesis ratio. For example, m rows and n columns of data (each pixel value) DV BIS, mn in the luminance component image data BIS synthesize each data value of m rows and n columns in each elementary luminance component image data BISp with the predetermined synthesis ratio. Is required. The predetermined synthesis ratio is set in advance to an appropriate ratio by actually synthesizing the original images of a plurality of samples while changing the synthesis ratio, and comparing the images after synthesis. : 4. Therefore, the data value of m rows and n columns in the elementary luminance component image data BISp-1 obtained by applying the image filter FLa of the first mode to the original image IS is DV BISp-1, mn , When the data value of m rows and n columns in the elementary luminance component image data BISp-2 obtained by applying the image filter FLb to the original image IS is DV BISp-2, mn , m rows in the luminance component image data BIS. The data of n columns is (4 × DV BISp−1, mn + 1 × DV BISp−2, mn ) / (1 + 4). As described above, the image filter FLa of the first aspect generates the elementary luminance component image data BISp-1 in which the sharpness is relatively maintained while the jagged line is relatively easily generated. The elementary luminance component image data BISp-1 obtained by the filter FLa and the elementary luminance component image data BISp-2 obtained by the image filter FLb of the second mode having characteristics opposite to those of the image filter FLa are combined, and these are combined at a predetermined composition ratio. By synthesizing and generating the luminance component image data BIS, the luminance component image data BIS with few jagged lines can be generated while maintaining sharpness.
なお、前記画像フィルタＦＬは、上述の第１および第２態様の画像フィルタＦＬａ、ＦＬｂに限定されるものではなく、種々の態様を採用でき、例えば、ベイヤー配列を単位色フィルタ配列とした色フィルタ部３２ａによって得られる原画像データＩＳに対し、図１０Ａないし図１０Ｃに示す第３ないし第５態様の画像フィルタＦＬｃ〜ＦＬｅ等である。これら第３ないし第５態様の画像フィルタＦＬｃ〜ＦＬｅも、それぞれ、前記周辺データに基づいて前記対象データを、原画像データＩＳにおける単位配列（色フィルタ部３２ａの単位色フィルタ配列３２１ａ）の色組成比（Ｒ：Ｂ：Ｇ＝１：１：２）と同じ色組成比を持つデータに変換するように、そのフィルタ係数の各値がそれぞれ調整されて設定されている。
The image filter FL is not limited to the image filters FLa and FLb of the first and second modes described above, and various modes can be adopted. For example, a color filter having a Bayer array as a unit color filter array The original image data IS obtained by the
より具体的には、第３態様の画像フィルタＦＬｃは、５行５列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、図１０Ａに示すように、中心の３行３列に位置するフィルタ係数は、３６／２５６であり、２行３列、３行２列、３行４列および４行３列それぞれに位置する各フィルタ係数は、２４／２５６であり、２行２列、２行４列、４行２列および４行４列それぞれに位置する各フィルタ係数は、１６／２５６であり、１行３列、３行１列、３行５列および５行３列それぞれに位置する各フィルタ係数は、６／２５６であり、１行２列、１行４列、２行１列、２行５列、４行１列、４行５列、５行２列および５行４列それぞれに位置する各フィルタ係数は、４／２５６であり、そして、１行１列、１行５列、５行１列および５行５列それぞれに位置する各フィルタ係数は、１／２５６である。
More specifically, the image filter FLc of the third aspect is a filter having a filter coefficient that is symmetric with respect to the center position of 5 rows and 5 columns. That is, as shown in FIG. 10A, the filter coefficient located at the
第４態様の画像フィルタＦＬｄは、７行７列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、図１０Ｂに示すように、中心の４行４列に位置するフィルタ係数は、４００／４０９６であり、３行４列、４行３列、４行５列および５行４列それぞれに位置する各フィルタ係数は、３００／４０９６であり、３行３列、３行５列、５行３列および５行５列それぞれに位置する各フィルタ係数は、２２５／４０９６であり、２行４列、４行２列、４行６列および６行４列それぞれに位置する各フィルタ係数は、２００／４０９６であり、２行３列、２行５列、３行２列、３行６列、５行２列、５行５列、６行３列および６行５列それぞれに位置する各フィルタ係数は、９０／４０９６であり、２行２列、２行６列、６行２列および６行６列それぞれに位置する各フィルタ係数は、３６／４０９６であり、１行４列、４行１列、４行７列および７行４列それぞれに位置する各フィルタ係数は、２０／４０９６であり、１行３列、１行５列、３行１列、３行７列、５行１列、５行７列、７行３列および７行５列それぞれに位置する各フィルタ係数は、１５／２５６であり、１行２列、１行６列、２行１列、２行７列、６行１列、６行７列、７行２列および７行６列それぞれに位置する各フィルタ係数は、６／２５６であり、そして、１行１列、１行７列、７行１列および７行７列それぞれに位置する各フィルタ係数は、１／４０９６である。
The image filter FLd of the fourth aspect is a filter having a filter coefficient that is symmetric with respect to the center position of 7 rows and 7 columns. That is, as shown in FIG. 10B, the filter coefficient located at the
第５態様の画像フィルタＦＬｅは、５行５列の中心位置に対し対称なフィルタ係数を持つフィルタである。すなわち、図１０Ｃに示すように、中心の３行３列に位置するフィルタ係数は、１６／１４４であり、２行３列、３行２列、３行４列および４行３列それぞれに位置する各フィルタ係数は、１２／１４４であり、２行２列、２行４列、４行２列および４行４列それぞれに位置する各フィルタ係数は、９／１４４であり、１行３列、３行１列、３行５列および５行３列それぞれに位置する各フィルタ係数は、４／１４４であり、１行２列、１行４列、２行１列、２行５列、４行１列、４行５列、５行２列および５行４列それぞれに位置する各フィルタ係数は、３／１４４であり、そして、１行１列、１行５列、５行１列および５行５列それぞれに位置する各フィルタ係数は、１／１４４である。
The image filter FLe according to the fifth aspect is a filter having a filter coefficient that is symmetric with respect to the center position of 5 rows and 5 columns. That is, as shown in FIG. 10C, the filter coefficient located at the
上述では、繰り返しパターンの単位として単位色フィルタ配列３２１ａを用いた色フィルタ部３２ａによって得られる原画像データＩＳに対する様々な第１ないし第５態様の画像フィルタＦＬａ〜ＦＬｅについて説明したが、他の態様の単位色フィルタ配列３２１を用いた色フィルタ部３２によって得られる原画像データに対しても、同様に、画像フィルタＦＬを設定できる。例えば、図４Ｂに示す第２態様の単位色フィルタ配列３２１ｂを用いた色フィルタ部３２ｂによって得られる原画像データＩＳに対し、図１０Ｄに示す第６態様の画像フィルタＦＬｆが使用できる。この第６態様の画像フィルタＦＬｆは、前記周辺データに基づいて前記対象データを、単位色フィルタ配列３２１ｂの色組成比（Ｒ：Ｂ：Ｇ＝２：２：５）、すなわち、原画像データＩＳにおける単位配列の色組成比と同じ色組成比を持つデータに変換するように、そのフィルタ係数の各値がそれぞれ調整されて設定されている。より具体的には、図１０Ｄに示すように、各位置に位置する各フィルタ係数それぞれが全て１／９であるフィルタである。この第６態様の画像フィルタＦＬｆは、３行３列の中心位置に対し対称なフィルタ係数を持つフィルタでもある。
In the above description, the various first to fifth image filters FLa to FLe for the original image data IS obtained by the
図７に戻って、色度成分を生成する色度成分生成処理Ｓ２０２では、色度成分生成処理部１２２は、図１１に示すように、原画像データＩＳ（図１１Ａ）から、上述のように輝度成分生成処理部１２１で生成された輝度成分画像データＢＩＳ（図１１Ｂ）を、各画素ごとに、減算することによって、色度成分画像データＣＩＳ（図１１Ｃ）を生成する。すなわち、色度成分画像データＣＩＳにおけるｍ行ｎ列のデータ（各画素値）ＤＶＣＩＳ，ｍｎは、原画像データＩＳにおけるｍ行ｎ列のデータ値ＤＶＩＳ，ｍｎから、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ値ＤＶＢＩＳ，ｍｎを減算することによって求められる（ＤＶＣＩＳ，ｍｎ＝ＤＶＩＳ，ｍｎ−ＤＶＢＩＳ，ｍｎ）。なお、図１１Ｃでは、色度成分画像データＣＩＳが色別に図示されており、図１１Ｃの上段には、Ｇ色度成分のＧ色度成分画像データＣＩＳ−Ｇが示され、図１１Ｃの中段には、Ｒ色度成分のＲ色度成分画像データＣＩＳ−Ｒが示され、そして、図１１Ｃの下段には、Ｂ色度成分のＢ色度成分画像データＣＩＳ−Ｂが示されている。また、色別に図示した図１１Ｃにおいて、データ値（画素値）が欠落している画素には、そのデータ値として「０」が設定されている。Returning to FIG. 7, in the chromaticity component generation processing S202 for generating chromaticity components, the chromaticity component
図７に戻って、各画素で欠落している色度成分を補間する色度成分補間処理Ｓ２０３では、色度成分補間処理部１２３は、色度成分生成処理部１２２で生成された色度成分画像データＣＩＳにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および輝度成分生成処理部１２１で生成された輝度成分画像データＢＩＳに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データＩＣＩＳを生成する。
Returning to FIG. 7, in chromaticity component interpolation processing S <b> 203 that interpolates missing chromaticity components in each pixel, the chromaticity component
本実施形態では、色度成分補間処理部１２３は、前記単位配列に含まれる同色の個数が１つである色の色度成分データを補間する場合には、バイリニア補間法を前記補間方法として用い、色度成分補間処理部１２３は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合には、輝度成分生成処理部１２１で生成された輝度成分画像データに基づいた補間方法を前記補間方法として用いる。
In this embodiment, the chromaticity component
したがって、ベイヤー配列の単位色フィルタ配列３２１ａを持つ色フィルタ部３２ａで生成された原画像データＩＳの場合、前記単位配列には、Ｒ（赤色）の濃度データは、１つであり、Ｒ色度成分のＲ色度成分画像データＣＩＳ−Ｒは、図１１Ｃに示すように、４画素に１画素の割合でしかデータ値（画素値）が無い。このため、Ｒ色度成分のデータが欠落している画素のデータ値がバイリニア補間されても前記ギザギザな線は、生じ難い。そして、Ｂ（緑色）の濃度データも、上述のＲの濃度データの場合と同様である。よって、本実施形態では、色度成分補間処理部１２３は、処理Ｓ２０２で色度成分生成処理部１２２によって生成された色度成分画像データＣＩＳのＲ色度成分画像データＣＩＳ−Ｒにおける、Ｒ色度成分のデータが欠落している画素のデータ値をバイリニア補間法で補間することで、Ｒ（赤色）のＲ色別色度成分画像データＩＣＩＳ−Ｒを生成し、同様に、処理Ｓ２０２で色度成分生成処理部１２２によって生成された色度成分画像データＣＩＳのＢ色度成分画像データＣＩＳ−Ｂにおける、Ｂ色度成分のデータが欠落している画素のデータ値をバイリニア補間法で補間することで、Ｂ（青色）のＢ色別色度成分画像データＩＣＩＳ−Ｂを生成する。このバイリニア補間は、１行１列、１行３列、３行１列および３行３列の各位置にフィルタ係数１／４を持ち、１行２列、２行１列、２行３列および３行２列の各位置にフィルタ係数２／４を持ち、そして、２行２列の位置にフィルタ係数４／４を持つ画像フィルタ（ＲＢバイリニア用画像フィルタ）を用いてフィルタリングすることで実行できる。したがって、より具体的には、色度成分補間処理部１２３は、前記Ｒ色度成分画像データＣＩＳ−Ｒを前記ＲＢバイリニア用画像フィルタでフィルタリングすることによって前記Ｒ色別色度成分画像データＩＣＩＳ−Ｒを生成し、同様に、前記Ｂ色度成分画像データＣＩＳ−Ｂを前記ＲＢバイリニア用画像フィルタでフィルタリングすることによって前記Ｂ色別色度成分画像データＩＣＩＳ−Ｂを生成する。
Therefore, in the case of the original image data IS generated by the
一方、ベイヤー配列の単位色フィルタ配列３２１ａを持つ色フィルタ部３２ａで生成された原画像データＩＳの場合、前記単位配列には、Ｇ（緑色）の濃度データは、２つであり、Ｇ色度成分のＧ色度成分画像データＣＩＳ−Ｇは、Ｇ色度成分のデータが欠落している画素のデータ値を仮にバイリニア補間すると、前記ギザギザな線は、生じてしまう。このため、本実施形態では、補間方法は、Ｇ色度成分のデータが欠落する画素を注目画素とし、Ｇ色度成分画像データＣＩＳ−Ｇ上における前記注目画素の第１画素位置に対応する輝度成分画像データＢＩＳ上における第２画素位置の第１輝度成分データと、前記第２画素位置の周辺に位置する周辺画素位置の第２輝度成分データとの相関の有無に応じて、選択される。より具体的には、前記相関の有る場合には、前記第１画素位置の周辺に位置する周辺画素位置のＧ色度成分データを前記相関の程度に応じた重みで重みを付けて平均する重み付け補間法が前記補間方法として用いられ、前記相関の無い場合には、バイリニア補間法が前記補間方法として用いられる。例えば、図１２Ａに示すように、Ｇ色成分のデータが欠落する画素を注目画素Ｘとし、この注目画素Ｘに対し列方向にそれぞれ隣接する画素を周辺画素Ａ、Ｄとし、この注目画素Ｘに対し行方向にそれぞれ隣接する画素を周辺画素Ｂ、Ｃとし、輝度成分画像データＢＩＳにおける注目画素Ｘの輝度成分データをＢＤｘとし、輝度成分画像データＢＩＳにおける各周辺画素Ａ、Ｂ、Ｃ、Ｄの輝度成分データをＢＤａ、ＢＤｂ、ＢＤｃ、ＢＤｄとし、Ｇ色度成分画像データＣＩＳ−Ｇにおける各周辺画素Ａ、Ｂ、Ｃ、ＤのＧ色度成分データをＣＤＧａ、ＣＤＧｂ、ＣＤＧｃ、ＣＤＧｄとし、重みを求める重み関数Ｗ（ｄ）を図１２Ｂ示すように注目画素Ｘの輝度成分データＢＤｘと周辺画素Ｋ（Ｋ＝Ａ、Ｂ、Ｃ、Ｄ）の輝度成分データＢＤｋとの差ｄ（輝度差ｄ＝｜ＢＤｘ−ＢＤｋ｜）に応じて線形に変化し、そして、前記輝度差ｄが大きくなるに従って重みＷ（ｄ）が小さくなる場合、前記相関Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）は、次式Ｉによって求められる。なお、この重み関数Ｗ（ｄ）は、ｄ＝０でＷ（０）＝１．０であり、Ｗ（Ｔｈ）でＷ（Ｔｈ）＝０である。前記Ｔｈは、重みを与える範囲を規定する値であり、例えば１０等である。
Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）＝Ｗｔ（｜ＢＤｘ−ＢＤａ｜）＋Ｗｔ（｜ＢＤｘ−ＢＤｂ｜）＋Ｗｔ（｜ＢＤｘ−ＢＤｃ｜）＋Ｗｔ（｜ＢＤｘ−ＢＤｄ｜） （式Ｉ）On the other hand, in the case of the original image data IS generated by the
Wt (X; A, B, C, D) = Wt (| BDx−BDa |) + Wt (| BDx−BDb |) + Wt (| BDx−BDc |) + Wt (| BDx−BDd |) (Formula I)
このような式Ｉによって求められた前記相関Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）が正である場合（Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）＞０）には、前記相関が有ると判断され、注目画素Ｘ(欠落画素)のデータ値ＣＤＧｘは、次式ＩＩによって求められる。
ＣＤＧｘ＝（Ｗｔｘａ×ＣＤＧａ＋Ｗｔｘｂ×ＣＤＧｂ＋Ｗｔｘｃ×ＣＤＧｃ＋Ｗｔｘｄ×ＣＤＧｄ）／（Ｗｔｘａ＋Ｗｔｘｂ＋Ｗｔｘｃ＋Ｗｔｘｄ） （式ＩＩ）
なお、式ＩＩにおいて、Ｗｔ（｜ＢＤｘ−ＢＤａ｜）＝Ｗｔｘａ、Ｗｔ（｜ＢＤｘ−ＢＤｂ｜）＝Ｗｔｘｂ、Ｗｔ（｜ＢＤｘ−ＢＤｃ｜）＝Ｗｔｘｃ、Ｗｔ（｜ＢＤｘ−ＢＤｄ｜）＝Ｗｔｘｄとした。When the correlation Wt (X; A, B, C, D) obtained by the formula I is positive (Wt (X; A, B, C, D)> 0), the correlation is The data value CDGx of the target pixel X (missing pixel) is determined by the following formula II.
CDGx = (Wtxa × CDGa + Wtxb × CDGb + Wtxc × CDGc + Wtxd × CDGd) / (Wtxa + Wtxb + Wtxc + Wtxd) (Formula II)
In Formula II, Wt (| BDx−BDa |) = Wtxa, Wt (| BDx−BDb |) = Wtxb, Wt (| BDx−BDc |) = Wtxc, Wt (| BDx−BDd |) = Wtxd did.
また、前記式Ｉによって求められた前記相関Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）が０である場合（Ｗｔ（Ｘ；Ａ、Ｂ、Ｃ、Ｄ）＝０）には、前記相関が無いと判断され、注目画素Ｘ(欠落画素)のデータ値ＣＤＧｘは、周辺画素Ａ、Ｂ、Ｃ、ＤのＧ色度成分データＣＤＧａ、ＣＤＧｂ、ＣＤＧｃ、ＣＤＧｄを均等な重み、例えば、１／４で補間する。すなわち、バイリニア補間法が用いられ、注目画素Ｘ(欠落画素)のデータ値ＣＤＧｘは、次式ＩＩＩによって求められる。この前記相関が無い場合では、実質的にＧ成分にある高周波の折り返し歪み（モアレ）が残ることになり、この成分を用いることで超解像できる。このように実施形態における画像処理装置Ｄは、超解像可能にデモザイク処理を実行できる。
ＣＤＧｘ＝（ＣＤＧａ＋ＣＤＧｂ＋ＣＤＧｃ＋ＣＤＧｄ）／４ （式ＩＩＩ）Further, when the correlation Wt (X; A, B, C, D) obtained by the formula I is 0 (Wt (X; A, B, C, D) = 0), the correlation is The data value CDGx of the target pixel X (missing pixel) is determined to be absent, and the G chromaticity component data CDGa, CDGb, CDGc, CDGd of the peripheral pixels A, B, C, and D are evenly weighted, for example, 1/4. Interpolate with. That is, the bilinear interpolation method is used, and the data value CDGx of the target pixel X (missing pixel) is obtained by the following formula III. When there is no correlation, high-frequency aliasing distortion (moire) substantially in the G component remains, and super-resolution can be achieved by using this component. As described above, the image processing apparatus D according to the embodiment can execute the demosaic process so as to be super-resolution.
CDGx = (CDGa + CDGb + CDGc + CDGd) / 4 (formula III)
図７に戻って、画像データを生成する画像生成処理Ｓ２０４では、画像生成処理部１２４は、図１３に示すように、色度成分補間処理部１２３で生成された複数色ごとの各色別色度成分画像データＩＣＩＳそれぞれに、輝度成分生成処理部１２１で生成された輝度成分画像データＢＩＳを、各画素ごとに、それぞれ加算することによって、画像データＩＤを生成する。より具体的には、Ｇ成分の画像データＩＤ−Ｇにおけるｍ行ｎ列のデータ（各画素値）ＤＶＩＤ−Ｇ，ｍｎは、図１３Ａに示すように、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ値ＤＶＢＩＳ，ｍｎにＧ色別色度成分画像データＩＣＩＳ−Ｇにおけるｍ行ｎ列のデータ値ＤＶＩＣＩＳ−Ｇ，ｍｎを加算することによって求められる（ＤＶＩＤ−Ｇ，ｍｎ＝ＤＶＢＩＳ，ｍｎ＋ＤＶＩＣＩＳ−Ｇ，ｍｎ）。同様に、Ｒ成分の画像データＩＤ−Ｒにおけるｍ行ｎ列のデータ（各画素値）ＤＶＩＤ−Ｒ，ｍｎは、図１３Ｂに示すように、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ値ＤＶＢＩＳ，ｍｎにＲ色別色度成分画像データＩＣＩＳ−Ｒにおけるｍ行ｎ列のデータ値ＤＶＩＣＩＳ−Ｒ，ｍｎを加算することによって求められる（ＤＶＩＤ−Ｒ，ｍｎ＝ＤＶＢＩＳ，ｍｎ＋ＤＶＩＣＩＳ−Ｒ，ｍｎ）。同様に、Ｂ成分の画像データＩＤ−Ｂにおけるｍ行ｎ列のデータ（各画素値）ＤＶＩＤ−Ｂ，ｍｎは、図１３Ｃに示すように、輝度成分画像データＢＩＳにおけるｍ行ｎ列のデータ値ＤＶＢＩＳ，ｍｎにＢ色別色度成分画像データＩＣＩＳ−Ｂにおけるｍ行ｎ列のデータ値ＤＶＩＣＩＳ−Ｂ，ｍｎを加算することによって求められる（ＤＶＩＤ−Ｂ，ｍｎ＝ＤＶＢＩＳ，ｍｎ＋ＤＶＩＣＩＳ−Ｂ，ｍｎ）。これによって各画素ごとに、Ｇ成分ＤＶＩＤ−Ｒ，ｍｎ、Ｒ成分ＤＶＩＤ−Ｒ，ｍｎおよびＢ成分ＤＶＩＤ−Ｂ，ｍｎの各色成分を持つ画像データＩＤが生成される。Returning to FIG. 7, in the image generation processing S <b> 204 for generating image data, the image
図５に戻って、このようなデモザイク処理Ｓ２に続いて、処理Ｓ３では、対応点探索処理部１３によって対応点探索が実行される。この対応点探索では、例えば、２行２列の中央に位置する第５原画像データＩＳ−２２に対応する第５画像Ｐ（ＰＩＤ、ＰＢＩＳ）が基準画像とされ、この第５画像Ｐの周辺に位置する第１ないし第４および第６ないし第９原画像データＩＳ−１１〜ＩＳ−２１、ＩＳ−２３〜ＩＳ−３３に対応するに第１ないし第４および第６ないし第９画像Ｐ（ＰＩＤ、ＰＢＩＳ）それぞれが参照画像とされ、各参照画像ごとに基準画像に対する各対応点がそれぞれ探索される。この対応点探索では、デモザイク処理した画像データＩＤにおけるＧ成分が用いられてよく、あるいは、輝度成分生成処理部１２１によって生成された輝度成分画像データＢＩＳが用いられてよい。このため、前記画像Ｐは、画像データＩＤの画像ＰＩＤまたは輝度成分画像データＢＩＳの輝度成分画像ＰＢＩＳである。また、この対応点探索では、本実施形態では、ピクセル単位で対応点が探索され（第１対応点探索処理）、続いて、サブピクセル単位で対応点が探索される（第２対応点探索処理）。そして、前記第１対応点探索では、処理時間を短縮しつつより高精度に対応点を探索する観点から、まず、複数の画素おきに、例えば、８画素おきに対応点が探索され（粗対応点探索処理）、続いて、前記粗対応点探索処理で探索された位置の周辺で１画素おきに対応点が探索される（精対応点探索処理）。この各対応点探索処理には、公知の常套手段が利用され、対応点探索処理は、例えば特開２００９−１４４４５号公報等に開示されている。
Returning to FIG. 5, subsequent to the demosaic process S <b> 2, in the process S <b> 3, a corresponding point search is performed by the corresponding point
一例として、第１画像Ｐ−１１と第５画像Ｐ−２２との対応点探索について以下により具体的に説明する。第１画像Ｐ−１１と第５画像Ｐ−２２との位置ズレを視覚的に捉えるため、参考までに、第１画像Ｐ−１１と第５画像Ｐ−２２とを重ねて表示すると、図１４Ａに示す画像となる。このような第１画像Ｐ−１１と第５画像Ｐ−２２とにおいて、まず、第１対応点探索処理の粗対応点探索処理では、基準画像の第５画像Ｐ−２２上で、対応点を探索したい所定の画素位置を中心に所定の大きさを持つウィンドウＷｂが設定される。同様に、参照画像の第１画像Ｐ−１１上にも同じ大きさを持つウィンドウＷｒａが、当該対応点探索されるこれら画像間のズレ方向に複数画素おきに複数設定される。例えば、第５画像Ｐ−２２の（ｘ、ｙ）＝（１００、１５０）に位置する画素に対応する参照画像の第１画像Ｐ−１１における画素位置を探索するものとすると、図１４Ｂに示すように、基準画像の第５画像Ｐ−２２上で、画素位置（１００、１５０）を中心にウィンドウＷｂが設定され、図１４Ｃに示すように、参照画像の第１画像Ｐ−１１上に、第１画像Ｐ−１１と第５画像Ｐ−２２との間におけるズレ方向である２次元アレイ状配列の対角方向に複数画素おきに、例えばＸＹ方向共に４画素おきに、８個のウィンドウＷｒａ１〜Ｗｒａ８が設定される。なお、図１４Ｃには、５個のウィンドウＷｒａ１〜Ｗｒａ５が示されている。そして、基準画像の第５画像Ｐ−２２上におけるウィンドウＷｂ（テンプレート）に対する、参照画像の第１画像Ｐ−１１上における各ウィンドウＷｒａ１〜Ｗｒａ８の一致度（相関度）が所定の手法で求められ（テンプレートマッチング）、最も一致度の高いウィンドウＷｒａにおける中心位置の画素が対応点として求められる。前記所定の手法には、公知の常套手段、例えば、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）法、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法（絶対誤差法）およびＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法（二乗誤差法）等が用いられる。例えば、前記ＮＣＣ法では、次式１で一致度ＲＮＣＣの値が求められる。As an example, the corresponding point search between the first image P-11 and the fifth image P-22 will be described more specifically below. In order to visually grasp the positional deviation between the first image P-11 and the fifth image P-22, when the first image P-11 and the fifth image P-22 are displayed for reference, FIG. The image shown in In such first image P-11 and fifth image P-22, first, in the rough corresponding point search process of the first corresponding point search process, the corresponding point is set on the fifth image P-22 of the reference image. A window Wb having a predetermined size around a predetermined pixel position to be searched is set. Similarly, a plurality of windows Wra having the same size are set on the first image P-11 of the reference image at intervals of a plurality of pixels in the shift direction between the images searched for the corresponding points. For example, assuming that the pixel position in the first image P-11 of the reference image corresponding to the pixel located at (x, y) = (100, 150) in the fifth image P-22 is searched for, as shown in FIG. 14B. Thus, on the fifth image P-22 of the standard image, a window Wb is set around the pixel position (100, 150), and as shown in FIG. 14C, on the first image P-11 of the reference image, Eight windows Wra1 at intervals of a plurality of pixels in the diagonal direction of the two-dimensional array arrangement, which is a shift direction between the first image P-11 and the fifth image P-22, for example, every four pixels in the XY direction. ~ Wra8 is set. In FIG. 14C, five windows Wra1 to Wra5 are shown. Then, the degree of coincidence (degree of correlation) of each of the windows Wra1 to Wra8 on the first image P-11 of the reference image with respect to the window Wb (template) on the fifth image P-22 of the standard image is obtained by a predetermined method. (Template matching), the pixel at the center position in the window Wra having the highest degree of matching is obtained as the corresponding point. Examples of the predetermined method include known conventional means, such as NCC (Normalized Cross Correlation) method, SAD (Sum of Absolute Difference) method (absolute error method), and SSD (Sum of Squared Difference) method (square error method). Is used. For example, in the NCC method, the value of the matching degree R NCC is obtained by the following
ここで、Ｉ（ｉ，ｊ）は、基準画像のウィンドウＷｂにおける位置（ｉ，ｊ）の画素値（画像データＩＤまたは輝度成分画像データＢＩＳにおける画素のデータ値）であり、Ｔ（ｉ，ｊ）は、参照画像のウィンドウＷｒにおける位置（ｉ，ｊ）の画素値（画像データＩＤまたは輝度成分画像データＢＩＳにおける画素のデータ値）であり、Ｎは、ウィンドウＷｂ、ＷｒにおけるＸ方向（横方向）の長さ（画素単位）であり、そして、Ｍは、ウィンドウＷｂ、ＷｒにおけるＹ方向（縦方向）の長さ（画素単位）である。 Here, I (i, j) is a pixel value (a pixel data value in the image data ID or luminance component image data BIS) at the position (i, j) in the window Wb of the reference image, and T (i, j). ) Is a pixel value (data value of a pixel in the image data ID or luminance component image data BIS) at the position (i, j) in the window Wr of the reference image, and N is an X direction (lateral direction) in the windows Wb and Wr. ) (Pixel unit), and M is the length (pixel unit) in the Y direction (vertical direction) of the windows Wb and Wr.
これによって上述の例では、参照画像の第１画像Ｐ−１１における画素位置（１００、１５０）に対し（−４、−４）、（０、０）、（４、４）、（８、８）、（１２、１２）、（１６、１６）、（２０、２０）、（２４、２４）だけずれた８画素、すなわち、（９６、１４６）、（１００、１５０）、（１０４、１５４）、（１０８、１５８）、（１１２、１６２）、（１１６、１６６）、（１２０、１７０）、（１２４、１７４）の８画素に対しテンプレートマッチングが実行され、最も一致度の高い画素が探索される。 Accordingly, in the above-described example, (−4, −4), (0, 0), (4, 4), (8, 8) with respect to the pixel position (100, 150) in the first image P-11 of the reference image. ), (12, 12), (16, 16), (20, 20), (24, 24) shifted by 8 pixels, ie, (96, 146), (100, 150), (104, 154) , (108, 158), (112, 162), (116, 166), (120, 170), (124, 174) are subjected to template matching, and the pixel with the highest matching degree is searched. The
続いて、第１対応点探索処理の精対応点探索処理では、図１４Ｄに示すように、前記粗対応点探索処理の結果、最も一致度の高いウィンドウＷｒａの中心画素に対する周辺を１画素の精度で平面的に対応点探索処理が実行される。対応点探索の範囲は、所定の範囲、例えば、前記粗対応点探索処理で複数画素おき（上述の例ではＸＹ方向共に４画素おき）に探索したが、この複数画素に応じた範囲（例えば±４画素の範囲）である。より具体的には、前記粗対応点探索処理の結果、最も一致度の高いウィンドウＷｒの中心画素に対する周辺±４画素それぞれを中心に８１個のウィンドウＷｒｂ１〜Ｗｒｂ８１が設定され、これら８１個のウィンドウＷｒｂ１〜Ｗｒｂ８１それぞれについてテンプレートマッチングが実行され、最も一致度の高いウィンドウＷｒｂにおける中心位置の画素が対応点として求められる。 Subsequently, in the fine corresponding point search process of the first corresponding point search process, as shown in FIG. 14D, as a result of the rough corresponding point search process, the periphery of the center pixel of the window Wra having the highest degree of coincidence is determined with one pixel accuracy. The corresponding point search process is executed in a plane. The corresponding point search range is a predetermined range, for example, every second pixel is searched in the rough corresponding point search process (in the above example, every four pixels in the XY direction). Range of 4 pixels). More specifically, as a result of the rough corresponding point search process, 81 windows Wrb1 to Wrb81 are set around each of ± 4 pixels around the center pixel of the window Wr having the highest degree of coincidence. Template matching is executed for each of Wrb1 to Wrb81, and the pixel at the center position in the window Wrb having the highest degree of matching is obtained as the corresponding point.
続いて、第２対応点探索処理では、図１５Ａに示すように、前記精対応点探索処理の結果、最も一致度の高いウィンドウＷｒｂの中心画素およびこの中心画素の周辺８画素それぞれの９個の一致度に、図１５Ｂに示すように、最も近似する２次曲面が求められ（２次曲面フィッティング）、この求められた２次曲面の頂点を与える座標値がサブピクセル単位の対応点として求められる（図１５Ｂでは２次曲面の一断面を図示している）。このようなサブピクセル単位で対応点を求める手法は、例えば、「田中、矢口、古川、奥富、「位置ずれ量を考慮した画素選択に基づくロバスト超解像処理」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ９２−Ｄ、Ｎｏ．５、ｐｐ６５０−６６０、２００９．、２００９年５月」等に開示されている。なお、上述では、最も近似する２次曲面を求めることによってサブピクセル単位の対応点が求められたが、Ｘ方向およびＹ方向それぞれで最も近似する２次曲線がそれぞれ求められ、これら求められた各２次曲線のピークを与える各座標値がサブピクセル単位の対応点として求められてもよい。 Subsequently, in the second corresponding point search process, as shown in FIG. 15A, as a result of the fine corresponding point search process, the center pixel of the window Wrb having the highest degree of coincidence and the nine pixels around the center pixel are each nine. As shown in FIG. 15B, the degree of coincidence is obtained as the most approximate quadric surface (quadratic surface fitting), and the coordinate value giving the vertex of the obtained quadric surface is obtained as a corresponding point in subpixel units. (FIG. 15B shows a section of a quadric surface). The method for obtaining the corresponding points in units of sub-pixels is, for example, “Tanaka, Yaguchi, Furukawa, Okutomi,“ Robust super-resolution processing based on pixel selection considering misalignment ”, IEICE Transactions, Vol. J92-D, No. 5, pp650-660, 2009. , May 2009 ". In the above description, corresponding points in units of subpixels are obtained by obtaining the most approximate quadric surface, but quadratic curves that are most approximate in the X direction and the Y direction are obtained, respectively. Each coordinate value giving the peak of the quadratic curve may be obtained as a corresponding point in subpixel units.
図５に戻って、次に、処理Ｓ４では、処理Ｓ３で求められた各対応点間について、位置ズレ量演算部１４によって各対応点間の位置ズレ量が求められる。例えば、単位長を１画素の大きさ（サイズ）とすれば、対応点間の座標差が位置ズレ量となる。すなわち、基準画像における画素の座標値と参照画像における、前記基準画像の画素に対応する画素の座標値との差が位置ズレ量となる。また例えば、単位長をｍ単位とすれば、対応点間の座標差に画素ピッチを乗じた値が位置ズレ量となる。前記画素ピッチは、画素の中心位置とこれに隣接する画素の中心位置との間の長さである。
Returning to FIG. 5, next, in process S <b> 4, the position shift amount between the corresponding points is determined by the position shift
次に、処理Ｓ５では、超解像処理部１５によって複数の画像から、これら複数の画像の解像度よりも高い解像度を持つ１個の画像（超解像画像）が求められる。この超解像処理には、公知の常套手段が利用され、超解像処理は、例えば、「「Ｆａｓｔ ａｎｄ Ｒｏｂｕｓｔ Ｍｕｌｔｉｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ」、ＩＥＥＥ ＴＲＡＮＮＳＡＣＴＩＯＮ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ，Ｖｏｌ．１３，Ｎｏ．１０，Ｏｃｔｏｂｅｒ ２００４，ｐｐ１３２７−１３４４」等に開示されている。この文献に開示された再構成型超解像処理について、図１６ないし図２１を用いて以下に概説する。
Next, in process S5, the
この超解像処理では、原画像データＩＳを上述のようにデモザイク（ｄｅｍｏｓａｉｃ）した画像データＩＤが用いられ、図１６に示す超解像処理は、色成分ごとに実行される。すなわち、画像データＩＤは、デモザイクによって、画素ごとに、Ｒ成分、Ｂ成分およびＧ成分の各値を持ち、図１６に示す超解像処理は、Ｒ成分の各画素値で構成される画像（Ｒプレーン）、Ｂ成分の各画素値で構成される画像（Ｂプレーン）、および、Ｇ成分の各画素値で構成される画像（Ｇプレーン）それぞれに対して実行され、超解像化されたＲプレーン、ＢプレーンおよびＧプレーンを重ねることで、フルカラーの１個の超解像画像が生成される。以下、一例として、Ｇプレーンの場合について概説するが、ＲプレーンおよびＢプレーンの場合も同様である。 In this super-resolution processing, the image data ID obtained by demosaicing the original image data IS as described above is used, and the super-resolution processing shown in FIG. 16 is executed for each color component. That is, the image data ID has values of R component, B component, and G component for each pixel by demosaic, and the super-resolution processing shown in FIG. R-plane), an image composed of B component pixel values (B plane), and an image composed of G component pixel values (G plane). By superimposing the R plane, the B plane, and the G plane, one full-color super-resolution image is generated. Hereinafter, the case of the G plane will be outlined as an example, but the same applies to the case of the R plane and the B plane.
図１６において、処理Ｓ１１では、超解像処理部１５に複数の画像ＰＩＤおよびその劣化情報が記憶部２から読み込まれる。例えば、本実施形態では、図７でデモザイク済みの第１ないし第９画像データＩＤ−１１〜ＩＤ−３３およびその劣化情報が記憶部２から超解像処理部１５に読み込まれる。劣化情報は、図１７に示すように、超解像処理後の理想的な超解像画像から見て、この前記超解像画像と画像データＩＤに対応する画像ＰＩＤ（以下、この超解像処理の説明において、「入力画像」と呼称する。）との間における対応関係を表す情報である。前記超解像画像の各画素値（この例ではＧ成分の画素値）を持つ１次元ベクトルをＸとし、画像データＩＤに対応する入力画像の各画素値（この例ではＧ成分の画素値）を持つ１次元ベクトルをＹｋとし、後述する初期画像の出力候補画像Ｘ０を生成した元の入力画像Ｙｋと他の各入力画像Ｙｋそれぞれとの位置ズレ量を行列Ｆｋとし、後述する出力候補画像Ｘｎのサイズを入力画像Ｙｋのサイズに合わせるためのダウンサンプリング量をＤｋとし、そして、入力画像のボケ量（本実施形態では、撮像光学系３１のＰＳＦ（Ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ、点拡がり関数、点像分布関数）情報）をＨｋとすると、前記劣化情報は、ＤｋＨｋＦｋであり、Ｙｋ＝ＤｋＨｋＦｋＸ（Ｘ＝Ｆｋ ＴＨｋ ＴＤｋ ＴＹｋ）の関係が成り立つ。なお、ｋは、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３それぞれに対応する各入力画像ＰＩＤ−１１〜ＰＩＤ−３３を指し、１〜９の整数値である。また、上付きの添え字Ｔは、転置行列であることを示す。この劣化情報は、後述の処理Ｓ１４における残差の演算に用いられる。In FIG. 16, in step S <b> 11, the
次に、処理Ｓ１２では、超解像処理部１５によって入力画像Ｙｋから、初期画像としての出力候補画像Ｘｎ（ここでは初期画像なのでＮ＝０）が作成される。この初期画像の出力候補画像Ｘ０は、超解像画像Ｘを生成するために後述するように処理Ｓ１２〜処理Ｓ１５の各処理を繰り返し実行する繰り返し処理における最初の出力候補画像Ｘｎである。この出力候補画像Ｘ０は、生成すべき超解像画像Ｘと同じ解像度（同じサイズ）を持つ画像であり、例えば、第１ないし第９原画像データＩＳ−１１〜ＩＳ−３３に対応する複数の第１ないし第９入力画像Ｙｋのうちの１つから例えばバイリニア等の補間処理によって不足画素を補うことで生成される。本実施形態では、上述の処理Ｓ１ないし処理Ｓ４によって、第５原画像データＩＳ−２２に対応する第５画像Ｐ−２２に対し、周辺の第１ないし第４および第６ないし第９原画像データＩＳ−１１〜ＩＳ−２１、ＩＳ−２３〜ＩＳ−３３それぞれに対応する各画像Ｐ−１１〜Ｐ−２１、Ｐ−２３〜Ｐ−３３の位置ズレ量を求めているので、第５原画像データＩＳ−２２に対応する第５画像データＩＤ−２２から初期画像の出力候補画像Ｘ０が作成され、前記位置ズレ量Ｆｋは、上述の処理Ｓ１ないし処理Ｓ４によって求められた各位置ズレ量となる。入力画像Ｙｋは、５００×５００のサイズであり、超解像画像Ｘが１５００×１５００のサイズであるとすると、この出力候補画像Ｘ０の生成において、入力画像Ｙｋは、Ｘ方向（横方向）およびＹ方向（縦方向）共に３倍に拡大されることになる。入力画像Ｙｋにおける互いに隣接する画素間には、入力画像Ｙｋが３倍に拡大されると、Ｘ方向およびＹ方向それぞれにおいて、画素値の無い２個の画素が新たにそれぞれ生じることになり（２次元アレイでは画素値の無い８個の画素が新たに生じる）、これら画素値の無い画素の画素値が前記補間処理によって生成される。Next, in process S12, the
次に、処理Ｓ１３では、超解像処理部１５によって、入力画像Ｙｋにノイズがあってもロバストに収束できるように、正則化項としていわゆるＢＴＶ量（Ｂｉｌａｔｅｒａｌ Ｔｏｔａｌ Ｖａｌｕｅ）が求められる。このＢＴＶ量は、後述の式２における右辺第３項である。Next, in process S13, a so-called BTV amount (bilateral total value) is obtained as a regularization term so that the
次に、処理Ｓ１４では、超解像処理部１５によって、第１ないし第９画像データＩＤ−１１〜ＩＤ−３３に対応する第１ないし第９入力画像Ｙｋそれぞれについて、これら各入力画像Ｙｋの劣化情報に応じて入力画像Ｙｋの解像度（大きさ）と同じ解像度（大きさ）に変換した出力候補画像Ｘｎとの差である残差がそれぞれ求められる。この残差は、後述の式２における右辺第２項である。Next, in process S14, each of the input images Y k for the first to ninth input images Y k corresponding to the first to ninth image data ID-11 to ID-33 by the
この残差を求める処理である残差処理Ｓ１４について、図１８ないし図２１を参照しつつ、より具体的に説明すると、まず、図１８Ａおよび図１８Ｂに示すように、当該入力画像Ｙｋの劣化情報が出力候補画像Ｘｎに乗じられ、当該入力画像Ｙｋの劣化情報に応じて前記画像の解像度（大きさ）と同じ解像度（大きさ）に変換した出力候補画像（ＤｋＨｋＦｋＸｎ）が生成される（図２１の処理Ｓ２２−１〜Ｓ２２−９ないし処理Ｓ２４−１〜Ｓ２４−９）。なお、ｎは、本実施形態では、前記繰り返し処理の回数が、通常収束すると判断できる例えば２００回の定数値に設定されているため、０〜１９９の整数値である。したがって、出力候補画像Ｘ１９９は、この処理Ｓ５の超解像処理で出力される超解像画像Ｘとなる（Ｘ＝Ｘ１９９）。この残差処理について、より詳しくは、まず、ＰＳＦ情報をフィルタ係数に持つ画像フィルタで出力候補画像Ｘｎがフィルタリングされ（図２１の処理Ｓ２２−１〜Ｓ２２−９）、これによって出力候補画像Ｘｎのボケ画像が生成され、前記入力画像Ｙｋの解像度と同じ解像度となるように、出力候補画像Ｘｎの元の第５画像データＩＤ−２２に対応する第５入力画像Ｙ５と当該入力画像Ｙｋとの位置ズレ量Ｆｋを考慮してダウンサンプリングが行われる（図２１の処理Ｓ２３−１〜Ｓ２３−９、処理Ｓ２４−１〜Ｓ２４−９）。例えば、図１８Ｃに示すように、第５入力画像Ｙ５と当該入力画像Ｙｋとの位置ズレ量ＦｋがＸ方向（横方向）に１／３画素であって、Ｘ方向（横方向）およびＹ方向（縦方向）共に１／３にダウンサンプリングする場合（１５００×１５００→５００×５００）には、ダウンサンプリング前の画像でＸ方向に１画素（＝１／３画素×３倍）だけずらした位置に位置する３×３の９画素における各画素値の平均値が、ダウンサンプリングした画素値とされる。次に、図１９に示すように、ダウンサンプリング後の出力候補画像（ＤｋＨｋＦｋＸｎ）（図１９Ａ）から、入力画像Ｙｋ（図１９Ｂ）が減算され、この減算結果（ＤｋＨｋＦｋＸｎ−Ｙｋ）が符号関数ｓｉｇｎ（α）で演算される（図１９Ｃ、図２１の処理Ｓ２５−１〜Ｓ２５−９））。この符号関数ｓｉｇｎ（α）は、αが０である場合には０を出力し、αが正である場合には１を出力し、そして、αが負である場合には−１を出力する演算子である。したがって、符号関数ｓｉｇｎ（α）の演算によって、前記減算結果（ＤｋＨｋＦｋＸｎ−Ｙｋ）が０である場合には、０が出力され、前記減算結果（ＤｋＨｋＦｋＸｎ−Ｙｋ）が正である場合には、１が出力され、そして、前記減算結果（ＤｋＨｋＦｋＸｎ−Ｙｋ）が負である場合には、−１が出力される。次に、図２０Ａおよび図２０Ｂに示すように、符号関数ｓｉｇｎ（α）で演算された前記減算結果（ＤｋＨｋＦｋＸｎ−Ｙｋ）（差異）に影響した超解像画像Ｘｎの画素が調べられる（図２１の処理Ｓ２６−１〜Ｓ２６−９ないし処理Ｓ２８−１〜Ｓ２８−９）。上述の処理が上述の行列ＤｋＨｋＦｋで定義された場合、この処理は、転置行列を用いた行列Ｆｋ ＴＨｋ ＴＤｋ Ｔで定義される。すなわち、この処理は、出力候補画像Ｘｎの元の第５画像データＩＤ−２２に対応する第５入力画像Ｙ５と当該入力画像Ｙｋとの位置ズレ量Ｆｋを考慮したアップサンプリングを行った後に（Ｆｋ ＴＤｋ Ｔ、図２１の処理Ｓ２６−１〜Ｓ２６−９）、ボケの影響を元に戻す処理（Ｈｋ Ｔ）となる（Ｆｋ ＴＨｋ ＴＤｋ Ｔｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）、図２１の処理Ｓ２７−１〜Ｓ２７−９、処理Ｓ２８−１〜Ｓ２８−９）。例えば、図２０Ｃに示すように、上述の例で、第５入力画像Ｙ５と当該入力画像Ｙｋとの位置ズレ量ＦｋがＸ方向（横方向）に１／３画素であって、Ｘ方向（横方向）およびＹ方向（縦方向）共に３倍にアップサンプリングする場合（５００×５００→１５００×１５００）には、アップサンプリング後の画像でＸ方向に１画素（＝１／３画素×３倍）だけずらした位置に位置する３×３の９画素それぞれに、差異ｓｉｇｎ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が、アップサンプリングの前後における各画素の面積比（この図１６Ｃの例では１／９）で分配される。これによって１個の入力画像Ｙｋに対する差異の画像が生成される。この例では入力画像Ｙｋは、９個あるので、この処理が、図２１に示すように、第１ないし第９入力画像Ｙｋそれぞれに対し実行され、９個の差異の画像が生成される。そして、これら９個の差異の総計が前記残差とされる。The residual process S14, which is a process for obtaining the residual, will be described in more detail with reference to FIGS. 18 to 21. First, as shown in FIGS. 18A and 18B, degradation of the input image Yk is performed. information is multiplied by the output candidate image X n, the input image Y k output candidate image (D converted to the same resolution (size) and resolution (size) of the image in accordance with the deterioration information of k H k F k Xn ) is generated (processing S22-1 to S22-9 to processing S24-1 to S24-9 in FIG. 21). In the present embodiment, n is an integer value of 0 to 199 because the number of repetitions is set to, for example, a constant value of 200 that can be normally determined to converge. Therefore, the output candidate image X 199 becomes the super-resolution image X output by the super-resolution processing of this processing S5 (X = X 199 ). In more detail, the output candidate image Xn is first filtered with an image filter having PSF information as a filter coefficient (processes S22-1 to S22-9 in FIG. 21). n of the blurred image is generated, so as to have the same resolution as the resolution of the input image Y k, fifth input image Y 5 and the input corresponding to the fifth image data ID-22 of the original output candidate image X n considering position shift amount F k of the image Y k downsampling is performed (the process of FIG. 21 S23-1~S23-9, processing S24-1~S24-9). For example, as shown in FIG. 18C, the positional shift amount F k between the fifth input image Y 5 and the input image Y k is 1/3 pixel in the X direction (horizontal direction), and the X direction (horizontal direction). In the case of downsampling to 1/3 in both the Y direction (vertical direction) (1500 × 1500 → 500 × 500), only one pixel in the X direction (= 1/3 pixel × 3 times) in the image before downsampling The average value of the pixel values of the 9 pixels of 3 × 3 located at the shifted position is the downsampled pixel value. Next, as shown in FIG. 19, the input image Y k (FIG. 19B) is subtracted from the output candidate image (D k H k F k X n ) (FIG. 19A) after downsampling, and this subtraction result (D k H k F k X n -Y k) is calculated by the sign function sign (α) (Fig. 19C, the process of FIG. 21 S25-1~S25-9)). The sign function sign (α) outputs 0 when α is 0,
図１６に戻って、次に、処理Ｓ１５では、超解像処理部１５によって、式２に示すように、上述の処理Ｓ１３および処理Ｓ１４それぞれで求めたＢＴＶ量および残差を、出力候補画像Ｘｎから減算することによって、次の出力候補画像Ｘｎ＋１が生成される。そして、この出力候補画像Ｘｎ＋１が処理Ｓ１２の出力候補画像Ｘｎとされ、処理がＳ１２に戻される。Returning to FIG. 16, next, in process S15, the
なお、λは、ＢＴＶ量の影響度を調整するパラメータであり、βは、残差およびλ×ＢＴＶ量の影響度を調整するパラメータであり、これらλ、βは、適宜に設定される。 Note that λ is a parameter for adjusting the degree of influence of the BTV amount, β is a parameter for adjusting the degree of influence of the residual and λ × BTV amount, and these λ and β are appropriately set.
そして、このような処理Ｓ１２ないし処理１５の各処理が、出力候補画像Ｘｎが通常収束すると考えられる所定回数、例えば、上述したように２００回繰り返される。処理Ｓ１２ないし処理Ｓ１５の各処理を２００回繰り返すと、処理Ｓ５の超解像処理が終了し、出力候補画像Ｘ１９９が超解像画像Ｘとされる。Then, each of the processes S12 to S15 is repeated a predetermined number of times that the output candidate image Xn is normally converged, for example, 200 times as described above. When each of the processes S12 to S15 is repeated 200 times, the super-resolution process of process S5 is completed, and the output candidate image X 199 is set as the super-resolution image X.
図５に戻って、このように処理Ｓ５の超解像処理が終了すると、処理Ｓ６において、この超解像画像Ｘが、記憶部２に記憶され、そして、出力部５に出力され、表示される。
Returning to FIG. 5, when the super-resolution process of the process S5 is completed in this way, in the process S6, the super-resolution image X is stored in the
このように本実施形態における画像処理装置Ｄならびにこれに実装された画像処理方法および画像処理プログラムは、相対的に低解像度な複数の画像から相対的に高解像度な１つの画像を生成する場合に生じる前記ギザギザな線をより低減できる。すなわち、前記ギザギザな線の発生は、図２４を用いて上述した発生過程から分かるように、例えば、Ｒ成分の濃度データが個眼ごとに離散的に得られ、横方向には一定濃度であるという被写体本来の情報が得られないためである。しかしながら、本実施形態における画像処理装置Ｄ等では、画像ＦＬフィルタによって単位配列の色組成比と同じ色組成比を持つデータに原画像データＩＳを変換するように輝度成分生成処理部１２１によってフィルタリングするので、このフィルタリングで生成された輝度成分画像データＢＩＳにおける全ての画素のデータは、同じ色成分を持つデータとして扱うことができるようになり、全ての画素で適切に比較できる。そして、本実施形態における画像処理装置Ｄ等では、デモザイク処理の補間には前記単位配列に含まれる同色の個数および輝度成分生成処理部１２１で生成された輝度成分画像データＢＩＳに基づいた補間方法が用いられるので、前記画素間の相互関係を考慮した適切な補間方法の選択が可能となり、この結果、本実施形態における画像処理装置Ｄ等は、前記ギザギザな線をより低減できる。
As described above, the image processing apparatus D and the image processing method and the image processing program installed in the image processing apparatus D according to the present embodiment generate a relatively high-resolution image from a plurality of relatively low-resolution images. The generated jagged lines can be further reduced. That is, the generation of the jagged line is, for example, as shown in the generation process described above with reference to FIG. 24, in which density data of the R component is obtained discretely for each eye, and is constant in the horizontal direction. This is because the original information of the subject cannot be obtained. However, in the image processing apparatus D and the like in the present embodiment, the luminance component
単位配列に含まれる同色の個数が１つである色の色度成分データをバイリニア補間法で補間しても前記ギザギザな線を生じないので、本実施形態における画像処理装置Ｄ等は、比較的情報処理の容易なバイリニア補間法をこのような場合に用いることで、前記ギザギザな線をより低減しつつ、簡易に補間処理できる。 Even if the chromaticity component data of the same color included in the unit array is interpolated by the bilinear interpolation method, the jagged line is not generated. Therefore, the image processing apparatus D or the like in this embodiment is relatively By using a bilinear interpolation method that facilitates information processing in such a case, it is possible to easily perform interpolation processing while further reducing the jagged lines.
単位配列に含まれる同色の個数が複数である色の色度成分データをバイリニア補間法で補間すると前記ギザギザな線を生じてしまうが、本実施形態における画像処理装置Ｄ等は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを前記輝度成分画像データに基づいた補間方法で補間するので、前記ギザギザな線をより適切に低減できる。そして、前記補間方法は、前記相関の有無に応じて選択されるので、より適切な補間方法を選択できる。上述では、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合でも、周辺画素と相関関係に無ければ、高解像化に用いる高周波のモアレ成分である可能性が高い。このため、前記補間方法としてバイリニア補間法が選択され、バイリニア補間法でギザギザを残し、これを高解像化で解像力を上げるために用いることができる。一方、周辺画素と相関が有れば、前記補間方法として、その相関に応じた重み付け補間法が選択され、ギザギザを低減できる。したがって、本実施形態における画像処理装置Ｄ等は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合に、前記ギザギザな線をより適切に低減できる。 When the chromaticity component data of the same color included in the unit array is interpolated by the bilinear interpolation method, the jagged line is generated. However, the image processing apparatus D or the like in this embodiment has the unit array. Since the chromaticity component data of a plurality of colors that are included are interpolated by an interpolation method based on the luminance component image data, the jagged lines can be reduced more appropriately. Since the interpolation method is selected according to the presence or absence of the correlation, a more appropriate interpolation method can be selected. In the above description, even when interpolating chromaticity component data of a plurality of the same colors included in the unit array, if there is no correlation with surrounding pixels, it is possible to be a high-frequency moire component used for high resolution. High nature. For this reason, the bilinear interpolation method is selected as the interpolation method, and the jaggedness is left by the bilinear interpolation method, which can be used to increase the resolution with high resolution. On the other hand, if there is a correlation with surrounding pixels, a weighted interpolation method corresponding to the correlation is selected as the interpolation method, and jaggedness can be reduced. Therefore, the image processing apparatus D or the like in the present embodiment can more appropriately reduce the jagged lines when interpolating chromaticity component data of a color having a plurality of the same colors included in the unit array.
本実施形態における画像処理装置Ｄ等は、フィルタ係数の各値が中心位置に対し対称に配置されているので、全ての画素のデータを同等な色成分を持つデータとして扱うことができるから、前記ギザギザな線をより低減できる。 In the image processing apparatus D and the like in the present embodiment, since each value of the filter coefficient is arranged symmetrically with respect to the center position, the data of all pixels can be handled as data having an equivalent color component. Jagged lines can be further reduced.
本実施形態における画像処理装置Ｄ等は、画像フィルタサイズおよび高周波成分の除去率の異なる画像フィルタＦＬａ、ＦＬｂを用いて輝度成分画像データＢＩＳを生成するので、画像の鮮鋭度を保持しつつ、前記ギザギザな線の少ない輝度成分画像データＢＩＳを生成できる。 The image processing apparatus D and the like in the present embodiment generates the luminance component image data BIS using the image filters FLa and FLb having different image filter sizes and high-frequency component removal rates, so that the image sharpness is maintained while maintaining the image sharpness. Luminance component image data BIS with less jagged lines can be generated.
本実施形態における画像処理装置Ｄ等は、３眼以上のアレイカメラ３ｂｂを用いるので、複数の原画像データＩＳを同時に得ることができる。このため、同一の被写体を同時刻で写した複数の画像間で高解像度な画像を生成することになるので、本実施形態における画像処理装置Ｄ等は、前記ギザギザな線をより低減できる。 Since the image processing apparatus D and the like in the present embodiment uses an array camera 3bb having three or more eyes, a plurality of original image data IS can be obtained simultaneously. For this reason, since a high-resolution image is generated between a plurality of images obtained by copying the same subject at the same time, the image processing apparatus D and the like in this embodiment can further reduce the jagged lines.
次に、本実施形態における画像処理装置Ｄの効果について、一実施例と一比較例とを対比しながら以下に説明する。図２２は、実施例の画像処理結果と比較例の画像処理結果とを説明するための図である。図２２Ａは、単位配列がベイヤー配列である原画像データＩＳに基づいて生成した画像データＩＤの画像ＰＩＤを示す。この一実施例および一比較例では、被写体としていわゆる楔チャートを例えば上述の９眼のアレイカメラ３ｂｂで撮像することによって９個の第１ないし第５原画像データＩＳ−１１〜ＩＳ−３３が生成された。図２２Ａは、その中央に位置する第５原画像データＩＳ−２２に基づいて生成した画像データＩＤの画像ＰＩＤ（超解像前）である。図２２Ｂは、輝度成分生成処理部１２１によって図２２Ａに対応する原画像データＩＳに基づいて第１および第２態様の画像フィルタＦＬａ、ＦＬｂを用いて生成した輝度成分画像データＢＩＳの輝度成分画像ＰＢＩＳを示し、図２２Ｃは、色度成分補間処理部１２３によって図２２Ａに対応する原画像データＩＳから生成したＧ色別色度成分画像データＩＣＩＳのＧ色別色度成分画像ＰＩＣＩＳを示し、図２２Ｄは、図２２Ａに関する前記複数の原画像データＩＳに基づいて超解像処理で生成した超解像画像ＰＨＩＤａｂを示し、図２２Ｅは、輝度成分画像生成処理で第２態様の画像フィルタＦＬｂのみを用いて輝度成分画像データＢＩＳを生成した場合における超解像画像ＰＨＩＤｂを示し、そして、図２２Ｆは、比較例として、補間処理において、輝度成分画像データを用いることなく、いわゆるバイリニア補間法で補間することによって生成したＧ色別色度成分画像データＩＣＩＳｒ−ＧのＧ色別色度成分画像ＰＩＣＩＳｒ−Ｇを示す。
Next, the effect of the image processing apparatus D in the present embodiment will be described below while comparing an example and a comparative example. FIG. 22 is a diagram for explaining the image processing result of the example and the image processing result of the comparative example. FIG. 22A shows an image PID of the image data ID generated based on the original image data IS whose unit array is a Bayer array. In the embodiment and the comparative example, nine first to fifth original image data IS-11 to IS-33 are generated by imaging a so-called wedge chart as a subject with, for example, the nine-lens array camera 3bb. It was done. FIG. 22A is an image PID (before super-resolution) of the image data ID generated based on the fifth original image data IS-22 located in the center. 22B shows a luminance component image PBIS of the luminance component image data BIS generated by the luminance component
画像には、一方向（横方向）に延び、前記一方向に略直交する他方向（縦方向）に比較的密集して互いに並置されている複数の線が写されている。これら複数の線に対し、識別可能に計数できる本数は、図２２Ａでは、４７３ＴＶ本である。なお、９眼の各画像での平均値は、４８３ＴＶ本である。このような画像の原画像データＩＳに対し、本実施形態の画像処理装置Ｄによって処理すると、デモザイク処理の輝度成分生成処理後には、図２２Ｂに示す全体的にボケた輝度成分画像ＰＢＩＳとなり、色度成分補間処理後には、図２２Ｃに示すＧ色別色度成分画像ＩＣＩＳ−Ｇとなる。この図２２Ｃに示すＧ色別色度成分画像ＩＣＩＳ−Ｇは、バイリニア補間の補間で生成した図２２Ｆに示す比較例のＧ色別色度成分画像ＰＩＣＩＳｒ−Ｇに較べ、破線の○で示す部分は、変化が無く、高周波の折り返し歪み（モアレ）が残っており、破線の○以外（例えば紙面左側）が滑らかになっていることが分かる。このため、超解像処理後には、図２２Ｄに示す超解像画像ＰＨＩＤａｂが得られ、識別可能に計数できる本数は、図２２Ｄでは、６１５ＴＶ本であり、ギザギザを抑えつつ元の個眼の画像より飛躍的に解像度が向上している。また、輝度成分画像データＢＩＳを第２態様の画像フィルタＦＬｂのみを用いて生成しても、識別可能に計数できる本数は、図２２Ｅでは、６１３ＴＶ本であり、ギザギザを抑えつつ元の個眼の画像より飛躍的に解像度が向上している。 In the image, a plurality of lines extending in one direction (horizontal direction) and relatively densely arranged in the other direction (vertical direction) substantially orthogonal to the one direction are juxtaposed. In FIG. 22A, the number of lines that can be discriminated with respect to the plurality of lines is 473 TV lines. Note that the average value for each image of 9 eyes is 483 TV lines. When the original image data IS of such an image is processed by the image processing apparatus D of the present embodiment, after the luminance component generation processing of the demosaic processing, the overall luminance component image PBIS shown in FIG. After the degree component interpolation processing, the G color-specific chromaticity component image ICIS-G shown in FIG. The G-color-specific chromaticity component image ICIS-G shown in FIG. 22C is a portion indicated by a broken circle as compared with the G-color-specific chromaticity component image PICISr-G shown in FIG. 22F generated by bilinear interpolation. It can be seen that there is no change, high-frequency aliasing distortion (moire) remains, and the areas other than the broken line ○ (for example, the left side of the drawing) are smooth. For this reason, after the super-resolution processing, the super-resolution image PHIDab shown in FIG. 22D is obtained, and the number that can be discriminated is 615 TV in FIG. 22D, and the original single-eye image while suppressing the jaggedness. The resolution has improved dramatically. In addition, even if the luminance component image data BIS is generated using only the image filter FLb of the second mode, the number that can be discriminated is 613 TV lines in FIG. The resolution is dramatically improved over the image.
なお、上述では、前記論文に開示された超解像処理について概説したが、超解像処理は、この手法に限定されるものではなく、位置ズレ量を用いて相対的に低解像度な複数の画像から相対的に高解像度な１個の超解像画像を生成する再構成型超解像処理を用いることができる。例えば、図２３に示す再構成型超解像処理を用いることができる。図２３は、実施形態の画像処理装置における第２態様の超解像処理を示すフローチャートである。 In the above description, the super-resolution processing disclosed in the paper has been outlined. However, the super-resolution processing is not limited to this method, and a plurality of relatively low resolutions using a positional shift amount are used. A reconfigurable super-resolution process that generates one super-resolution image having a relatively high resolution from the image can be used. For example, the reconfiguration super-resolution processing shown in FIG. 23 can be used. FIG. 23 is a flowchart illustrating the super-resolution processing of the second aspect in the image processing apparatus of the embodiment.
この超解像処理は、式３によって示される処理であり、式３の右辺第２項は、残差（Ｆｋ ＴＨｋ ＴＤｋ Ｔ（ＤｋＨｋＦｋＸｎ−Ｙｋ）であり、式３の右辺第３項は、正則化項Ｃである。この正則化項Ｃでは、例えば４近傍ラプラシアンの画像フィルタが用いられる。この４近傍ラプラシアンの画像フィルタは、例えば、１行１列、１行３列、３行１列および３行３列の各位置のフィルタ係数が０であり、１行２列、２行１列、２行３列および３行２列の各位置のフィルタ係数が１であり、そして、２行２列の位置のフィルタ係数が−４である。The super-resolution process is a process to be represented by the
なお、λは、正則化項の影響度を調整するパラメータであり、βは、残差およびλ×正則化項の影響度を調整するパラメータであり、これらλ、βは、適宜に設定される。 Note that λ is a parameter for adjusting the degree of influence of the regularization term, β is a parameter for adjusting the degree of influence of the residual and λ × regularization term, and these λ and β are appropriately set. .
この図２３に示す再構成型超解像処理では、図１６に示す上述の超解像処理と略同様に処理でされ、まず、処理Ｓ３１では、超解像処理部１５に複数の画像およびその劣化情報が記憶部２から読み込まれる。次に、処理Ｓ３２では、初期画像の出力候補画像Ｘ０が生成される。次に、処理Ｓ３３では、４近傍ラプラシアンの画像フィルタで正則化項が求められる。次に、処理Ｓ３４では、残差（Ｆｋ ＴＨｋ ＴＤｋ Ｔ（ＤｋＨｋＦｋＸｎ−Ｙｋ）が求められる。次に、処理Ｓ３５では、式３に示すように、上述の処理Ｓ３３および処理Ｓ３４それぞれで求めた正則化項および残差を、出力候補画像Ｘｎから減算することによって、次の出力候補画像Ｘｎ＋１が生成される。そして、この出力候補画像Ｘｎ＋１が処理Ｓ３２の出力候補画像Ｘｎとされ、処理がＳ３２に戻される。そして、このような処理Ｓ３２ないし処理３５の各処理が、出力候補画像Ｘｎが通常収束すると考えられる所定回数、例えば、４０回繰り返される。処理Ｓ３２ないし処理Ｓ３５の各処理を４０回繰り返すと、処理Ｓ５の超解像処理が終了し、出力候補画像Ｘ３９が超解像画像Ｘとされる。The reconstruction-type super-resolution process shown in FIG. 23 is performed in substantially the same manner as the above-described super-resolution process shown in FIG. 16. First, in process S31, a plurality of images and their images are displayed in the
また、上述では、原画像データＩＳは、９眼のアレイカメラ３ｂｂによって取得された９個のデータＩＳ−１１〜ＩＳ−３３であるが、少なくとも１個のカメラ３ｂａで異なる９つの時刻で撮像された９個のデータであっても良い。このような画像処理装置Ｄは、異なる時刻で撮像された複数の原画像データを得ることができる。 In the above description, the original image data IS is nine pieces of data IS-11 to IS-33 acquired by the nine-lens array camera 3bb. The original image data IS is picked up at nine different times by at least one camera 3ba. Nine data may be sufficient. Such an image processing apparatus D can obtain a plurality of original image data captured at different times.
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。 The present specification discloses various aspects of the technology as described above, and the main technologies are summarized below.
一態様にかかる画像処理装置は、原画像データをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するデモザイク処理部と、複数の原画像データから前記デモザイク処理部によって生成された複数の画像データに基づいて、前記複数の画像データに対応する複数の画像における解像度より高い高解像度な画像の高解像画像データを生成する高解像処理部とを備える。前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備える。前記デモザイク処理部は、前記原画像データを画像フィルタでフィルタリングすることによって輝度成分画像データを生成する輝度成分生成処理部と、前記原画像データから、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成する色度成分生成処理部と、前記色度成分生成処理部で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成する色度成分補間処理部と、前記色度成分補間処理部で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成する画像生成処理部とを備える。前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。 An image processing apparatus according to an aspect includes a demosaic processing unit that generates at least one color of image data having each color component data for each pixel by demosaicing original image data, and the demosaic processing unit from a plurality of original image data And a high-resolution processing unit that generates high-resolution image data of a high-resolution image higher than the resolution of a plurality of images corresponding to the plurality of image data based on the plurality of image data generated by. The original image data is a plurality of data corresponding to each of a plurality of pixels arranged in a two-dimensional array, and a plurality of unit arrays in which a plurality of density data of a plurality of different colors are arranged in a predetermined pattern, Furthermore, the plurality of data arranged in a two-dimensional array is provided. The demosaic processing unit includes a luminance component generation processing unit that generates luminance component image data by filtering the original image data with an image filter, and a luminance component generated by the luminance component generation processing unit from the original image data In the chromaticity component generation processing unit that generates chromaticity component image data by subtracting image data for each pixel, and in the chromaticity component image data generated by the chromaticity component generation processing unit, By interpolating the chromaticity component data of the missing pixels for each color by an interpolation method based on the number of the same color included in the unit array and the luminance component image data generated by the luminance component generation processing unit, A chromaticity component interpolation processing unit that generates chromaticity component image data for each color for each of a plurality of colors, and for each of the plurality of colors generated by the chromaticity component interpolation processing unit. An image generation processing unit that generates the image data by adding the luminance component image data generated by the luminance component generation processing unit to each pixel for each color chromaticity component image data. . The image filter is data having the same color composition ratio as the color composition ratio of the unit array based on data corresponding to pixels located around a pixel corresponding to target data that is data to be filtered. Filter coefficients to be converted into
前記ギザギザな線の発生は、上述した発生過程から分かるように、例えば、Ｒ成分の濃度データが個眼ごとに離散的に得られ、横方向には一定濃度であるという被写体本来の情報が得られないためである。しかしながら、上記画像処理装置では、前記画像フィルタによって単位配列の色組成比と同じ色組成比を持つデータに原画像データを変換するように前記輝度成分生成処理部によってフィルタリングするので、このフィルタリングで生成された輝度成分画像データにおける全ての画素のデータは、同じ色成分を持つデータとして扱うことができるようになり、全ての画素で適切に比較できる。そして、上記画像処理装置では、デモザイク処理の補間には前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法が用いられるので、前記画素間の相互関係を考慮した適切な補間方法の選択が可能となり、この結果、上記画像処理装置は、前記ギザギザな線をより低減できる。 As can be seen from the generation process described above, for example, the generation of the jagged lines is obtained by discretely obtaining R component density data for each eye and obtaining original information on the subject that the density is constant in the horizontal direction. It is because it is not possible. However, in the image processing apparatus, since the original image data is filtered by the image filter so as to convert the original image data into data having the same color composition ratio as that of the unit array, it is generated by this filtering. Data of all pixels in the luminance component image data thus obtained can be handled as data having the same color component, and can be appropriately compared with all pixels. In the image processing apparatus, the interpolation method based on the number of the same color included in the unit array and the luminance component image data generated by the luminance component generation processing unit is used for the interpolation of the demosaic process. Thus, it is possible to select an appropriate interpolation method in consideration of the interrelation between them, and as a result, the image processing apparatus can further reduce the jagged lines.
他の一態様では、上述の画像処理装置において、前記色度成分補間処理部は、前記単位配列に含まれる同色の個数が１つである色の色度成分データを補間する場合には、バイリニア補間法を前記補間方法として用いる。 In another aspect, in the above-described image processing device, the chromaticity component interpolation processing unit bilinearly interpolates chromaticity component data of a color having the same number of colors included in the unit array. An interpolation method is used as the interpolation method.
単位配列に含まれる同色の個数が１つである色の色度成分データをバイリニア補間法で補間しても前記ギザギザな線を生じないので、このような画像処理装置は、比較的情報処理の容易なバイリニア補間法を前記場合に用いることで、前記ギザギザな線をより低減しつつ、簡易に補間処理できる。 Even if the chromaticity component data of the same color included in the unit array is interpolated by the bilinear interpolation method, the jagged line is not generated. By using an easy bilinear interpolation method in the above case, it is possible to easily perform interpolation processing while further reducing the jagged lines.
他の一態様では、これら上述の画像処理装置において、前記色度成分補間処理部は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合には、前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法を前記補間方法として用いる。 In another aspect, in the above-described image processing devices, when the chromaticity component interpolation processing unit interpolates chromaticity component data of a color having a plurality of the same colors included in the unit array, An interpolation method based on the luminance component image data generated by the luminance component generation processing unit is used as the interpolation method.
単位配列に含まれる同色の個数が複数である色の色度成分データをバイリニア補間法で補間すると前記ギザギザな線を生じてしまうが、このような画像処理装置は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを前記輝度成分画像データに基づいた補間方法で補間するので、前記ギザギザな線をより適切に低減できる。 Interpolation of chromaticity component data of a plurality of colors of the same color included in the unit array by the bilinear interpolation method generates the jagged lines. Since the chromaticity component data of a plurality of colors is interpolated by an interpolation method based on the luminance component image data, the jagged lines can be reduced more appropriately.
他の一態様では、上述の画像処理装置において、前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法は、前記色度成分データが欠落する画素を注目画素とし、前記色度成分データ上における前記注目画素の第１画素位置に対応する前記輝度成分画像データ上における第２画素位置の第１輝度成分データと、前記第２画素位置の周辺に位置する周辺画素位置の第２輝度成分データとの相関の有無に応じて選択される補間方法である。 In another aspect, in the above-described image processing device, the interpolation method based on the luminance component image data generated by the luminance component generation processing unit uses a pixel lacking the chromaticity component data as a target pixel, and the color First luminance component data at the second pixel position on the luminance component image data corresponding to the first pixel position of the target pixel on the degree component data, and the first of the peripheral pixel positions positioned around the second pixel position. This is an interpolation method selected in accordance with the presence or absence of correlation with the two luminance component data.
このような画像処理装置は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合に、前記相関の有無に応じて補間方法を選択するので、より適切な補間方法を選択できる。 Such an image processing apparatus selects an interpolation method according to the presence or absence of the correlation when interpolating chromaticity component data of a plurality of colors of the same color included in the unit array. Interpolation method can be selected.
また、他の一態様では、上述の画像処理装置において、前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法は、前記相関の有る場合には、前記第１画素位置の周辺に位置する周辺画素位置の色度成分データを前記相関の程度に応じた重みで重みを付けて平均する重み付け補間法であり、前記相関の無い場合には、バイリニア補間法である。 According to another aspect, in the above-described image processing apparatus, the interpolation method based on the luminance component image data generated by the luminance component generation processing unit is the first pixel position when there is a correlation. This is a weighted interpolation method in which chromaticity component data at peripheral pixel positions located in the periphery is weighted with a weight corresponding to the degree of correlation and averaged, and when there is no correlation, a bilinear interpolation method is used.
前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合でも、周辺画素と相関関係に無ければ、高解像化に用いる高周波のモアレ成分である可能性が高い。このため、前記補間方法としてバイリニア補間法が選択され、バイリニア補間法でギザギザを残し、これを高解像化で解像力を上げるために用いることができる。一方、周辺画素と相関が有れば、前記補間方法として、その相関に応じた重み付け補間法が選択され、ギザギザを低減できる。したがって、このような画像処理装置は、前記単位配列に含まれる同色の個数が複数である色の色度成分データを補間する場合に、前記ギザギザな線をより適切に低減できる。 Even when interpolating chromaticity component data of a plurality of colors of the same color included in the unit array, if there is no correlation with surrounding pixels, there is a high possibility that it is a high-frequency moire component used for high resolution. . For this reason, the bilinear interpolation method is selected as the interpolation method, and the jaggedness is left by the bilinear interpolation method, which can be used to increase the resolution with high resolution. On the other hand, if there is a correlation with surrounding pixels, a weighted interpolation method corresponding to the correlation is selected as the interpolation method, and jaggedness can be reduced. Therefore, such an image processing apparatus can more appropriately reduce the jagged lines when interpolating chromaticity component data of a plurality of colors having the same color included in the unit array.
他の一態様では、これら上述の画像処理装置において、前記画像フィルタの各フィルタ係数は、中心位置に対し対称である。また、他の一態様では、これら上述の画像処理装置において、前記画像フィルタの各フィルタ係数は、前記画像フィルタ全域に前記単位配列を重ねた場合に、前記単位配列の同じ配列位置におけるフィルタ係数の和が全ての配列位置で同じ値になるように、設定されている。 In another aspect, in each of the above-described image processing apparatuses, each filter coefficient of the image filter is symmetric with respect to a center position. Further, in another aspect, in each of the above-described image processing devices, each filter coefficient of the image filter is a filter coefficient at the same arrangement position of the unit array when the unit array is overlapped over the entire image filter. The sum is set to be the same value at all array positions.
このような画像処理装置は、全ての画素のデータをより同等な色成分を持つデータとして扱うことができるから、前記ギザギザな線を低減できる。 Such an image processing apparatus can handle the data of all the pixels as data having more equivalent color components, and therefore can reduce the jagged lines.
他の一態様では、これら上述の画像処理装置において、前記輝度成分生成処理部は、前記原画像データを複数の画像フィルタそれぞれでフィルタリングすることによって複数の素輝度成分画像データを生成し、前記複数の素輝度成分画像データを所定の合成比で合成することで前記輝度成分画像データを生成し、前記複数の画像フィルタは、サイズが互いに異なるとともに、前記フィルタリングによって高周波成分を除去する除去率が互いに異なる画像フィルタを含む。 In another aspect, in the above-described image processing devices, the luminance component generation processing unit generates a plurality of elementary luminance component image data by filtering the original image data with a plurality of image filters, respectively. The luminance component image data is generated at a predetermined composition ratio to generate the luminance component image data, and the plurality of image filters have different sizes and have a removal rate for removing high frequency components by the filtering. Includes different image filters.
このような画像処理装置は、前記サイズおよび前記除去率の異なる画像フィルタを用いて前記輝度成分画像データを生成するので、画像の鮮鋭度を保持しつつ、前記ギザギザな線の少ない輝度成分画像データを生成できる。 Since such an image processing device generates the luminance component image data using image filters having different sizes and removal rates, the luminance component image data with less jagged lines while maintaining image sharpness. Can be generated.
他の一態様では、これら上述の画像処理装置において、前記複数の原画像データは、３個以上の複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された被写体の光学像をそれぞれ撮像する複数の撮像部とを備える３眼以上のアレイカメラで撮像されたデータである。 In another aspect, in the above-described image processing devices, the plurality of original image data correspond to a plurality of three or more imaging optical systems and the plurality of imaging optical systems, and each of the plurality of imaging optical systems. Is an image captured by an array camera having three or more eyes, each of which includes a plurality of imaging units that respectively capture optical images of the subject imaged by the above.
このような画像処理装置は、３眼以上のアレイカメラを用いるので、複数の原画像データを同時に得ることができる。このため、同一の被写体を同時刻で写した複数の画像間で高解像度な画像を生成することになるので、このような画像処理装置は、前記ギザギザな線をより低減できる。 Since such an image processing apparatus uses an array camera with three or more eyes, a plurality of original image data can be obtained simultaneously. For this reason, since a high-resolution image is generated between a plurality of images obtained by copying the same subject at the same time, such an image processing apparatus can further reduce the jagged lines.
他の一態様では、これら上述の画像処理装置において、前記複数の原画像データは、撮像光学系と、前記撮像光学系によって結像された被写体の光学像を撮像する撮像部とを備える少なくとも１個のカメラで異なる時刻で撮像されたデータである。 In another aspect, in the above-described image processing devices, the plurality of original image data includes at least one of an imaging optical system and an imaging unit that captures an optical image of a subject imaged by the imaging optical system. Data captured at different times by a single camera.
このような画像処理装置は、異なる時刻で撮像された複数の原画像データを得ることができる。 Such an image processing apparatus can obtain a plurality of original image data captured at different times.
そして、本発明の他の一態様にかかる画像処理方法は、原画像データをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するデモザイク処理工程と、複数の原画像データから前記デモザイク処理工程によって生成された複数の画像データに基づいて、前記複数の画像データに対応する複数の画像における解像度より高い高解像度な画像の高解像画像データを生成する高解像処理工程とを備える。前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備える。前記デモザイク処理工程は、前記原画像データを画像フィルタでフィルタリングすることによって輝度成分画像データを生成する輝度成分生成処理工程と、前記原画像データから、前記輝度成分生成処理工程で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成する色度成分生成処理工程と、前記色度成分生成処理工程で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および前記輝度成分生成処理工程で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成する色度成分補間処理工程と、前記色度成分補間処理工程で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、前記輝度成分生成処理工程で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成する画像生成処理工程とを備える。前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。 An image processing method according to another aspect of the present invention includes a demosaicing process that generates at least one color of image data having each color component data for each pixel by demosaicing the original image data, and a plurality of original images. High resolution that generates high-resolution image data of a high-resolution image higher than the resolution of a plurality of images corresponding to the plurality of image data based on the plurality of image data generated by the demosaic processing step from the image data A processing step. The original image data is a plurality of data corresponding to each of a plurality of pixels arranged in a two-dimensional array, and a plurality of unit arrays in which a plurality of density data of a plurality of different colors are arranged in a predetermined pattern, Furthermore, the plurality of data arranged in a two-dimensional array is provided. The demosaic processing step includes a luminance component generation processing step for generating luminance component image data by filtering the original image data with an image filter, and a luminance component generated in the luminance component generation processing step from the original image data. In the chromaticity component generation processing step of generating chromaticity component image data by subtracting image data for each pixel, and in the chromaticity component image data generated in the chromaticity component generation processing step, the plurality of By interpolating the chromaticity component data of the missing pixels for each color by an interpolation method based on the number of the same color included in the unit array and the luminance component image data generated in the luminance component generation processing step, The chromaticity component interpolation processing step for generating chromaticity component image data for each color for each of a plurality of colors and the chromaticity component interpolation processing step Image generation for generating the image data by adding the luminance component image data generated in the luminance component generation processing step for each pixel to the chromaticity component image data for each color for each color A processing step. The image filter is data having the same color composition ratio as the color composition ratio of the unit array based on data corresponding to pixels located around a pixel corresponding to target data that is data to be filtered. Filter coefficients to be converted into
そして、他の一態様にかかる画像処理プログラムは、コンピュータに、原画像データをデモザイクすることによって各色成分データを各画素ごとに持つ画像データの少なくとも１色を生成するデモザイク処理部と、複数の原画像データから前記デモザイク処理部によって生成された複数の画像データに基づいて、前記複数の画像データに対応する複数の画像における解像度より高い高解像度な画像の高解像画像データを生成する高解像処理部とを実現させるための画像処理プログラムである。前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備える。前記デモザイク処理部は、前記原画像データを画像フィルタでフィルタリングすることによって輝度成分画像データを生成する輝度成分生成処理部と、前記原画像データから、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成する色度成分生成処理部と、前記色度成分生成処理部で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成する色度成分補間処理部と、前記色度成分補間処理部で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成する画像生成処理部とを備える。前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備える。 An image processing program according to another aspect includes a demosaic processing unit that generates at least one color of image data having each color component data for each pixel by demosaicing the original image data on a computer, and a plurality of original images. High resolution that generates high-resolution image data of a high-resolution image higher than the resolution of a plurality of images corresponding to the plurality of image data based on the plurality of image data generated by the demosaic processing unit from the image data An image processing program for realizing a processing unit. The original image data is a plurality of data corresponding to each of a plurality of pixels arranged in a two-dimensional array, and a plurality of unit arrays in which a plurality of density data of a plurality of different colors are arranged in a predetermined pattern, Furthermore, the plurality of data arranged in a two-dimensional array is provided. The demosaic processing unit includes a luminance component generation processing unit that generates luminance component image data by filtering the original image data with an image filter, and a luminance component generated by the luminance component generation processing unit from the original image data In the chromaticity component generation processing unit that generates chromaticity component image data by subtracting image data for each pixel, and in the chromaticity component image data generated by the chromaticity component generation processing unit, By interpolating the chromaticity component data of the missing pixels for each color by an interpolation method based on the number of the same color included in the unit array and the luminance component image data generated by the luminance component generation processing unit, A chromaticity component interpolation processing unit that generates chromaticity component image data for each color for each of a plurality of colors, and for each of the plurality of colors generated by the chromaticity component interpolation processing unit. An image generation processing unit that generates the image data by adding the luminance component image data generated by the luminance component generation processing unit to each pixel for each color chromaticity component image data. . The image filter is data having the same color composition ratio as the color composition ratio of the unit array based on data corresponding to pixels located around a pixel corresponding to target data that is data to be filtered. Filter coefficients to be converted into
このような画像処理方法および画像処理プログラムでは、デモザイク処理の補間には前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法が用いられるので、前記画素間の相互関係を考慮した適切な補間方法の選択が可能となり、この結果、上記像処理方法および画像処理プログラムは、前記ギザギザな線をより低減できる。 In such an image processing method and image processing program, an interpolation method based on the number of the same color included in the unit array and the luminance component image data generated by the luminance component generation processing unit is used for the interpolation of the demosaic processing. Therefore, it is possible to select an appropriate interpolation method in consideration of the mutual relationship between the pixels. As a result, the image processing method and the image processing program can further reduce the jagged lines.
この出願は、２０１３年１２月２日に出願された日本国特許出願特願２０１３−２４９６０８を基礎とするものであり、その内容は、本願に含まれるものである。 This application is based on Japanese Patent Application No. 2013-249608 filed on Dec. 2, 2013, the contents of which are included in the present application.
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。 In order to express the present invention, the present invention has been properly and fully described through the embodiments with reference to the drawings. However, those skilled in the art can easily change and / or improve the above-described embodiments. It should be recognized that this is possible. Therefore, unless the modifications or improvements implemented by those skilled in the art are at a level that departs from the scope of the claims recited in the claims, the modifications or improvements are not covered by the claims. To be construed as inclusive.
本発明によれば、画像を処理する画像処理技術、画像処理方法および画像処理プログラムを提供できる。
According to the present invention, it is possible to provide an image processing technique, an image processing method, and an image processing program for processing an image.
Claims (12)
複数の原画像データから前記デモザイク処理部によって生成された複数の画像データに基づいて、前記複数の画像データに対応する複数の画像における解像度より高い高解像度な画像の高解像画像データを生成する高解像処理部とを備え、
前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、
前記デモザイク処理部は、
前記原画像データを画像フィルタでフィルタリングすることによって輝度成分画像データを生成する輝度成分生成処理部と、
前記原画像データから、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成する色度成分生成処理部と、
前記色度成分生成処理部で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成する色度成分補間処理部と、
前記色度成分補間処理部で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成する画像生成処理部とを備え、
前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えること
を特徴とする画像処理装置。A demosaic processing unit that generates at least one color of image data having each color component data for each pixel by demosaicing the original image data;
Based on a plurality of image data generated by the demosaic processing unit from a plurality of original image data, high resolution image data of a higher resolution image than a resolution of a plurality of images corresponding to the plurality of image data is generated. A high resolution processing unit,
The original image data is a plurality of data corresponding to each of a plurality of pixels arranged in a two-dimensional array, and a plurality of unit arrays in which a plurality of density data of a plurality of different colors are arranged in a predetermined pattern, The data further comprises a plurality of data arranged in a two-dimensional array,
The demosaic processing unit
A luminance component generation processing unit that generates luminance component image data by filtering the original image data with an image filter;
A chromaticity component generation processing unit that generates chromaticity component image data by subtracting the luminance component image data generated by the luminance component generation processing unit from the original image data for each pixel;
In the chromaticity component image data generated by the chromaticity component generation processing unit, for each of the plurality of colors, the chromaticity component data of the missing pixel is set to the number of the same color included in the unit array and the luminance component generation processing unit. A chromaticity component interpolation processing unit that generates chromaticity component image data for each color for each of the plurality of colors by performing interpolation using an interpolation method based on the luminance component image data generated in
The luminance component image data generated by the luminance component generation processing unit is added to each pixel for each of the chromaticity component image data for each color generated by the chromaticity component interpolation processing unit for each pixel. An image generation processing unit for generating the image data,
The image filter is data having the same color composition ratio as the color composition ratio of the unit array based on data corresponding to pixels located around a pixel corresponding to target data that is data to be filtered. An image processing apparatus comprising a filter coefficient for conversion into
を特徴とする請求項１に記載の画像処理装置。The chromaticity component interpolation processing unit uses a bilinear interpolation method as the interpolation method when interpolating chromaticity component data of a color having the same number of colors included in the unit array. The image processing apparatus according to claim 1.
を特徴とする請求項１または請求項２に記載の画像処理装置。The chromaticity component interpolation processing unit, when interpolating chromaticity component data of a color having a plurality of the same color included in the unit array, adds to the luminance component image data generated by the luminance component generation processing unit. The image processing apparatus according to claim 1, wherein an interpolation method based on the interpolation method is used as the interpolation method.
を特徴とする請求項３に記載の画像処理装置。The interpolation method based on the luminance component image data generated by the luminance component generation processing unit uses a pixel lacking the chromaticity component data as a target pixel, and a first pixel position of the target pixel on the chromaticity component data Is selected according to the presence or absence of correlation between the first luminance component data at the second pixel position on the luminance component image data corresponding to and the second luminance component data at the peripheral pixel position located around the second pixel position. The image processing apparatus according to claim 3, wherein the image processing apparatus is an interpolation method.
を特徴とする請求項４に記載の画像処理装置。In the interpolation method based on the luminance component image data generated by the luminance component generation processing unit, when there is a correlation, the chromaticity component data at the peripheral pixel position located around the first pixel position is correlated with the correlation. The image processing apparatus according to claim 4, wherein a weighting interpolation method that weights and averages with a weight according to a degree of the bilinear interpolation method when there is no correlation.
を特徴とする請求項１ないし請求項５のいずれか１項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein each filter coefficient of the image filter is symmetric with respect to a center position.
を特徴とする請求項１ないし請求項５のいずれか１項に記載の画像処理装置。Each filter coefficient of the image filter is set so that the sum of the filter coefficients at the same array position of the unit array becomes the same value at all array positions when the unit array is overlapped over the entire image filter. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記複数の画像フィルタは、サイズが互いに異なるとともに、前記フィルタリングによって高周波成分を除去する除去率が互いに異なる画像フィルタを含むこと
を特徴とする請求項１ないし請求項７のいずれか１項に記載の画像処理装置。The luminance component generation processing unit generates a plurality of elementary luminance component image data by filtering the original image data with a plurality of image filters, and synthesizes the plurality of elementary luminance component image data at a predetermined synthesis ratio. To generate the luminance component generation image data,
8. The image filter according to claim 1, wherein the plurality of image filters include image filters having different sizes and different removal rates for removing high-frequency components by the filtering. Image processing device.
を特徴とする請求項１ないし請求項８のいずれか１項に記載の画像処理装置。The plurality of original image data corresponds to the plurality of image pickup optical systems of three or more and the plurality of image pickup optical systems, and each of the plurality of image pickup optical systems picks up an optical image of a subject formed by each of the plurality of image pickup optical systems. The image processing apparatus according to any one of claims 1 to 8, wherein the image processing apparatus is data captured by an array camera having three or more eyes.
を特徴とする請求項１ないし請求項８のいずれか１項に記載の画像処理装置。The plurality of original image data is data captured at different times by at least one camera including an imaging optical system and an imaging unit that captures an optical image of a subject formed by the imaging optical system. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
複数の原画像データから前記デモザイク処理工程によって生成された複数の画像データに基づいて、前記複数の画像データに対応する複数の画像における解像度より高い高解像度な画像の高解像画像データを生成する高解像処理工程とを備え、
前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、
前記デモザイク処理工程は、
前記原画像データを画像フィルタでフィルタリングすることによって輝度成分画像データを生成する輝度成分生成処理工程と、
前記原画像データから、前記輝度成分生成処理工程で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成する色度成分生成処理工程と、
前記色度成分生成処理工程で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および前記輝度成分生成処理工程で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成する色度成分補間処理工程と、
前記色度成分補間処理工程で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、前記輝度成分生成処理工程で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成する画像生成処理工程とを備え、
前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えること
を特徴とする画像処理方法。Demosaicing process for generating at least one color of image data having each color component data for each pixel by demosaicing the original image data;
Based on a plurality of image data generated by the demosaic processing step from a plurality of original image data, high resolution image data of a high resolution image higher than the resolution of a plurality of images corresponding to the plurality of image data is generated. A high-resolution processing step,
The original image data is a plurality of data corresponding to each of a plurality of pixels arranged in a two-dimensional array, and a plurality of unit arrays in which a plurality of density data of a plurality of different colors are arranged in a predetermined pattern, The data further comprises a plurality of data arranged in a two-dimensional array,
The demosaicing process includes
A luminance component generation processing step of generating luminance component image data by filtering the original image data with an image filter;
A chromaticity component generation processing step of generating chromaticity component image data by subtracting the luminance component image data generated in the luminance component generation processing step from the original image data for each pixel;
In the chromaticity component image data generated in the chromaticity component generation processing step, for each of the plurality of colors, the chromaticity component data of the missing pixel, the number of the same color included in the unit array, and the luminance component generation processing step A chromaticity component interpolation processing step of generating chromaticity component image data for each color for each of the plurality of colors by interpolating with an interpolation method based on the luminance component image data generated in
The luminance component image data generated in the luminance component generation processing step is added to each pixel for each of the plurality of colors generated in the chromaticity component interpolation processing step for each pixel. And an image generation processing step for generating the image data.
The image filter is data having the same color composition ratio as the color composition ratio of the unit array based on data corresponding to pixels located around a pixel corresponding to target data that is data to be filtered. An image processing method comprising: a filter coefficient to be converted into
前記原画像データは、２次元アレイ状に配列された複数の画素それぞれに対応する複数のデータであって、互いに異なる複数色の複数の濃度データを所定のパターンで配列した単位配列を、複数、さらに２次元アレイ状に配列した前記複数のデータを備え、
前記デモザイク処理部は、
前記原画像データを画像フィルタでフィルタリングすることによって輝度成分画像データを生成する輝度成分生成処理部と、
前記原画像データから、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、減算することによって、色度成分画像データを生成する色度成分生成処理部と、
前記色度成分生成処理部で生成された色度成分画像データにおいて、前記複数色ごとに、欠落する画素の色度成分データを、前記単位配列に含まれる同色の個数および前記輝度成分生成処理部で生成された輝度成分画像データに基づいた補間方法で補間することによって、前記複数色ごとの各色別色度成分画像データを生成する色度成分補間処理部と、
前記色度成分補間処理部で生成された前記複数色ごとの各色別色度成分画像データそれぞれに、前記輝度成分生成処理部で生成された輝度成分画像データを、各画素ごとに、それぞれ加算することによって、前記画像データを生成する画像生成処理部とを備え、
前記画像フィルタは、フィルタリングするデータである対象データに対応する画素の周辺に位置する画素に対応するデータに基づいて、前記対象データを、前記単位配列の色組成比と同じ色組成比を持つデータに変換するフィルタ係数を備えること
を特徴とする画像処理プログラム。A demosaic processing unit that generates at least one color of image data having each color component data for each pixel by demosaicing the original image data on a computer, and a plurality of demosaic processing units generated from the plurality of original image data by the demosaic processing unit An image processing program for realizing, based on image data, a high-resolution processing unit that generates high-resolution image data of a high-resolution image higher than the resolution of a plurality of images corresponding to the plurality of image data. And
The original image data is a plurality of data corresponding to each of a plurality of pixels arranged in a two-dimensional array, and a plurality of unit arrays in which a plurality of density data of a plurality of different colors are arranged in a predetermined pattern, The data further comprises a plurality of data arranged in a two-dimensional array,
The demosaic processing unit
A luminance component generation processing unit that generates luminance component image data by filtering the original image data with an image filter;
A chromaticity component generation processing unit that generates chromaticity component image data by subtracting the luminance component image data generated by the luminance component generation processing unit from the original image data for each pixel;
In the chromaticity component image data generated by the chromaticity component generation processing unit, for each of the plurality of colors, the chromaticity component data of the missing pixel is set to the number of the same color included in the unit array and the luminance component generation processing unit. A chromaticity component interpolation processing unit that generates chromaticity component image data for each color for each of the plurality of colors by performing interpolation using an interpolation method based on the luminance component image data generated in
The luminance component image data generated by the luminance component generation processing unit is added to each pixel for each of the chromaticity component image data for each color generated by the chromaticity component interpolation processing unit for each pixel. An image generation processing unit for generating the image data,
The image filter is data having the same color composition ratio as the color composition ratio of the unit array based on data corresponding to pixels located around a pixel corresponding to target data that is data to be filtered. An image processing program comprising a filter coefficient to be converted into
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013249608 | 2013-12-02 | ||
| JP2013249608 | 2013-12-02 | ||
| PCT/JP2014/079771 WO2015083502A1 (en) | 2013-12-02 | 2014-11-10 | Image processing device, method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2015083502A1 true JPWO2015083502A1 (en) | 2017-03-16 |
Family
ID=53273273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015551441A Pending JPWO2015083502A1 (en) | 2013-12-02 | 2014-11-10 | Image processing apparatus, method, and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2015083502A1 (en) |
| WO (1) | WO2015083502A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3044449B1 (en) * | 2015-12-01 | 2017-11-24 | E2V Semiconductors | METHOD FOR PROCESSING SIGNALS FROM A COLOR IMAGE TAKING ARRAY, AND CORRESPONDING SENSOR |
| EP3462724A1 (en) * | 2017-09-29 | 2019-04-03 | Thomson Licensing | Reduced optical crosstalk plenoptic imaging device, corresponding method, computer program product, computer-readable carrier medium and apparatus |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064193A (en) * | 2007-09-05 | 2009-03-26 | Toshiba Corp | Resolution converter and method |
| JP2012191465A (en) * | 2011-03-11 | 2012-10-04 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP2012208553A (en) * | 2011-03-29 | 2012-10-25 | Sony Corp | Image processing device, image processing method, and program |
| WO2013008517A1 (en) * | 2011-07-08 | 2013-01-17 | オリンパス株式会社 | Image pickup apparatus and image generating method |
-
2014
- 2014-11-10 WO PCT/JP2014/079771 patent/WO2015083502A1/en active Application Filing
- 2014-11-10 JP JP2015551441A patent/JPWO2015083502A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015083502A1 (en) | 2015-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5451782B2 (en) | Image processing apparatus and image processing method | |
| US9509978B2 (en) | Image processing method, image processing apparatus, image-capturing apparatus, and image processing program | |
| JP5128207B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| KR101356286B1 (en) | Image processing device, image processing method, program, and imaging device | |
| US9338364B2 (en) | Imaging device and image generation method | |
| JP5984493B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and program | |
| CN111510691B (en) | Color interpolation method and device, equipment and storage medium | |
| US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
| WO2011148760A1 (en) | Image processing device, image capturing device, program and image processing method | |
| WO2006048962A1 (en) | Pixel signal processor and pixel signal processing method | |
| KR20180118790A (en) | Image processing apparatus, image processing method, recording medium, program and image capturing apparatus | |
| JP5709131B2 (en) | Image processing system | |
| JP2010034964A (en) | Image composition apparatus, image composition method and image composition program | |
| JP2013017142A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP4649171B2 (en) | Magnification Chromatic Aberration Correction Device, Magnification Chromatic Aberration Correction Method, and Magnification Chromatic Aberration Correction Program | |
| JP2013055623A (en) | Image processing apparatus, image processing method, information recording medium, and program | |
| JP2014042176A (en) | Image processing device and method, program and solid image pickup device | |
| WO2015083502A1 (en) | Image processing device, method and program | |
| JP6274744B2 (en) | Image processing apparatus and image processing method | |
| WO2015083499A1 (en) | Image processing device, method and program | |
| JP5036524B2 (en) | Image processing apparatus, image processing method, program, and imaging apparatus | |
| JP7183015B2 (en) | Image processing device, image processing method, and program | |
| JP3711402B2 (en) | Imaging apparatus and color imaging signal processing method | |
| JP2012142676A (en) | Imaging device and image generation method | |
| JP2013055622A (en) | Image processing apparatus, image processing method, information recording medium, and program |