JP2015122576A - 画素補間処理装置、撮像装置、プログラムおよび集積回路 - Google Patents
画素補間処理装置、撮像装置、プログラムおよび集積回路 Download PDFInfo
- Publication number
- JP2015122576A JP2015122576A JP2013264371A JP2013264371A JP2015122576A JP 2015122576 A JP2015122576 A JP 2015122576A JP 2013264371 A JP2013264371 A JP 2013264371A JP 2013264371 A JP2013264371 A JP 2013264371A JP 2015122576 A JP2015122576 A JP 2015122576A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- color component
- correlation
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 178
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 230000002093 peripheral effect Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 116
- 238000004364 calculation method Methods 0.000 claims description 111
- 238000003672 processing method Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 abstract description 16
- 230000000875 corresponding effect Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 30
- 239000011159 matrix material Substances 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 4
- 101100219231 Vaccinia virus (strain Copenhagen) C22L gene Proteins 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【解決手段】撮像装置1000では、4色配列カラーフィルタを有する単板式の撮像素子を有する撮像部C1で取得された画像信号に対して、注目画素の周辺領域の画素データを用いて、直角に交わる2方向の複数組の相関値を求め、この相関値に基づいて、相関方向が決定される。撮像装置1000では、相関が高い方向(相関方向)と直交する方向(相関方向の法線方向)における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い(類似する)ことを利用し、注目画素について、第1色〜第4色成分画素値を取得するので、カラーフィルタの4つの色(第1色〜第4色)がどのような色であるかが不明であっても、適切に画素補間処理を実行することができる。
【選択図】図1
Description
(1)注目画素の相関方向に隣接する画素と同色の色成分値を算出する場合、
相関方向において、注目画素を挟んで隣接する2つの画素の画素値と、注目画素を含む相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した相関方向の変化率と、に基づいて、注目画素の相関方向に隣接する画素と同色の色成分値を算出する。
(2)注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、注目画素を法線方向に挟んで隣接する2つの画素の画素値と、に基づいて、注目画素の法線方向に隣接する画素と同色の色成分値を算出する。
(3)注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第1算出対象色の色成分値を算出する場合、
(3A)注目画素の法線方向に隣接する一方の画素である第1隣接画素を含み、相関方向に配置されている複数の画素である第1画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第1算出対象色と同色の画素を第1画素群の中から選択し、選択した当該画素から、第1隣接画素の第1算出対象色の色成分値を算出し、
(3B)注目画素の法線方向に隣接する他方の画素である第2隣接画素を含み、相関方向に配置されている複数の画素である第2画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第1算出対象色と同色の画素を第2画素群の中から選択し、選択した当該画素から、第2隣接画素の第1算出対象色の色成分値を算出し、
(3C)法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、算出された第1隣接画素の第1算出対象色の色成分値と、算出された第2隣接画素の第1算出対象色の色成分値と、に基づいて、注目画素の第1算出対象色の色成分値を算出する。
第1行が画素P00〜P04の5つの画素からなり、
第2行が画素P10〜P14の5つの画素からなり、
第3行が画素P20〜P24の5つの画素からなり、
第4行が画素P30〜P34の5つの画素からなり、
第5行が画素P40〜P44の5つの画素からなる画素領域である。
(1)注目画素の相関方向に隣接する画素と同色の色成分値D2outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
D2out=(P21+P23)/2−(P20−2×P22+P24)×gain0
gain0:調整用係数。
に相当する処理により、色成分値D2outを算出する。
(2)注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値D3outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
q0=(P11+P31)/2−(P01−2×P21+P41)×gain1
q1=(P13+P33)/2−(P03−2×P23+P43)×gain2
d0a=P11―q0
d0b=P13―q1
d0=(d0a+d0b)/2
d1a=P31―q0
d1b=P33―q1
d1=(d1a+d1b)/2
D3out=(P12+P32)/2−(d0+d1)×gain3
gain1、gain2、gain3:調整用係数
に相当する処理により、色成分値D3outを算出する。
(3)注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第1算出対象色の色成分値D4outを算出する場合、
q0=(P11+P31)/2−(P01−2×P21+P41)×gain1
q1=(P13+P33)/2−(P03−2×P23+P43)×gain2
d0a=P11―q0
d0b=P13―q1
d0=(d0a+d0b)/2
d1a=P31―q0
d1b=P33―q1
d1=(d1a+d1b)/2
r0=(P11+P13)/2−(P10−2×P12+P14)×gain4
r1=(P31+P33)/2−(P30−2×P32+P34)×gain5
D4out=(r0+r1)/2−(d0+d1)×gain6
gain1、gain2、gain3:調整用係数
gain4、gain5、gain6:調整用係数
に相当する処理により、色成分値D4outを算出する。
(1)注目画素の相関方向に隣接する画素と同色の色成分値D3outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
t0=(P12+P32)/2
t1=(P02−2×P22+P42)×gain10
D3out=t0−t1
gain10:調整用係数
に相当する処理により、色成分値D3outを算出する。
(2)注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値D2outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
q0=(P11+P13)/2−(P10−2×P12+P14)×gain11
q1=(P31+P33)/2−(P30−2×P32+P34)×gain12
d0a=P11―q0
d0b=P31―q1
d0=(d0a+d0b)/2
d1a=P13―q0
d1b=P33―q1
d1=(d1a+d1b)/2
D2out=(P21+P23)/2−(d0+d1)×gain13
gain11、gain12、gain13:調整用係数
に相当する処理により、色成分値D2outを算出する。
(3)注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第1算出対象色の色成分値D4outを算出する場合、
q0=(P11+P13)/2−(P10−2×P12+P14)×gain11
q1=(P31+P33)/2−(P30−2×P32+P34)×gain12
d0a=P11―q0
d0b=P31―q1
d0=(d0a+d0b)/2
d1a=P13―q0
d1b=P33―q1
d1=(d1a+d1b)/2
r0=(P11+P31)/2−(P01−2×P21+P41)×gain14
r1=(P13+P33)/2−(P03−2×P23+P43)×gain15
D4out=(r0+r1)/2−(d0+d1)×gain16
gain11、gain12、gain14、gain15:調整用係数
に相当する処理により、色成分値D4outを算出する。
(1)注目画素の相関方向に隣接する画素と同色の色成分値D4outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
D4out=(P11+P33)/2−(P00−2×P22+P44)×gain40
gain40:調整用係数
に相当する処理により、色成分値D4outを算出する。
(2)注目画素の垂直方向に隣接する画素と同色の色成分値D3outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
s0=(P02+P24)/2
s=P22
s1=(P20+P42)/2
q0=(3×P12+P34)/4
q1=(P10+3×P32)/4
D3out=(q0+q1)/2−(s0−2×s+s1)×gain41
gain41:調整用係数
に相当する処理により、色成分値D3outを算出する。
(3)注目画素の水平方向に隣接する画素と同色の色成分値D2outを算出する場合、
s0=(P02+P24)/2
s=P22
s1=(P20+P42)/2
q0=(P01+3×P23)/4
q1=(3×P21+P43)/4
D2out=(q0+q1)/2−(s0−2×s+s1)×gain42
gain42:調整用係数
に相当する処理により、色成分値D2outを算出する。
(1)注目画素の相関方向に隣接する画素と同色の色成分値D4outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
D4out=(P13+P31)/2−(P04−2×P22+P40)×gain50
gain50:調整用係数
に相当する処理により、色成分値D4outを算出する。
(2)注目画素の垂直方向に隣接する画素と同色の色成分値D3outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
s0=(P02+P20)/2
s=P22
s1=(P24+P42)/2
q0=(3×P12+P30)/4
q1=(P14+3×P32)/4
D3out=(q0+q1)/2−(s0−2×s+s1)×gain51
gain51:調整用係数
に相当する処理により、色成分値D3outを算出する。
(3)注目画素の水平方向に隣接する画素と同色の色成分値D2outを算出する場合、
s0=(P02+P20)/2
s=P22
s1=(P24+P42)/2
q0=(P03+3×P21)/4
q1=(3×P23+P41)/4
D2out=(q0+q1)/2−(s0−2×s+s1)×gain52
gain52:調整用係数
に相当する処理により、色成分値D2outを算出する。
(1)注目画素の相関方向に隣接する画素と同色の色成分値を算出する場合、
相関方向において、注目画素を挟んで隣接する2つの画素の画素値と、注目画素を含む相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した相関方向の変化率と、に基づいて、注目画素の相関方向に隣接する画素と同色の色成分値を算出する。
(2)注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、注目画素を法線方向に挟んで隣接する2つの画素の画素値と、に基づいて、注目画素の法線方向に隣接する画素と同色の色成分値を算出する。
(3)注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第1算出対象色の色成分値を算出する場合、
(3A)注目画素の法線方向に隣接する一方の画素である第1隣接画素を含み、相関方向に配置されている複数の画素である第1画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第1算出対象色と同色の画素を第1画素群の中から選択し、選択した当該画素から、第1隣接画素の第1算出対象色の色成分値を算出し、
(3B)注目画素の法線方向に隣接する他方の画素である第2隣接画素を含み、相関方向に配置されている複数の画素である第2画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第1算出対象色と同色の画素を第2画素群の中から選択し、選択した当該画素から、第2隣接画素の第1算出対象色の色成分値を算出し、
(3C)法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、算出された第1隣接画素の第1算出対象色の色成分値と、算出された第2隣接画素の第1算出対象色の色成分値と、に基づいて、注目画素の第1算出対象色の色成分値を算出する。
(1)注目画素の相関方向に隣接する画素と同色の色成分値を算出する場合、
相関方向において、注目画素を挟んで隣接する2つの画素の画素値と、注目画素を含む相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した相関方向の変化率と、に基づいて、注目画素の相関方向に隣接する画素と同色の色成分値を算出する。
(2)注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、注目画素を法線方向に挟んで隣接する2つの画素の画素値と、に基づいて、注目画素の法線方向に隣接する画素と同色の色成分値を算出する。
(3)注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第1算出対象色の色成分値を算出する場合、
(3A)注目画素の法線方向に隣接する一方の画素である第1隣接画素を含み、相関方向に配置されている複数の画素である第1画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第1算出対象色と同色の画素を第1画素群の中から選択し、選択した当該画素から、第1隣接画素の第1算出対象色の色成分値を算出し、
(3B)注目画素の法線方向に隣接する他方の画素である第2隣接画素を含み、相関方向に配置されている複数の画素である第2画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第1算出対象色と同色の画素を第2画素群の中から選択し、選択した当該画素から、第2隣接画素の第1算出対象色の色成分値を算出し、
(3C)法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、算出された第1隣接画素の第1算出対象色の色成分値と、算出された第2隣接画素の第1算出対象色の色成分値と、に基づいて、注目画素の第1算出対象色の色成分値を算出する。
第1実施形態について、図面を参照しながら、以下、説明する。
図1は、第1実施形態に係る撮像装置1000の概略構成図である。
(1)第1列において、第1色フィルタ、第2色フィルタ、第1色フィルタ、第2色フィルタ・・・、と第1色成分用フィルタと第2色成分用フィルタとが交互に配置されており、
(2)第2列において、第3色フィルタ、第4色フィルタ、第3色フィルタ、第4色フィルタ・・・、と第3色成分用フィルタと第4色成分用フィルタとが交互に配置されている。
(A1)垂直方向相関値Cv
(A2)水平方向相関値Ch
(A3)第1斜め方向相関値Cd1
(A4)第2斜め方向相関値Cd2
相関値算出部1は、画像D_raw上の画素ごとに取得した上記4つの相関値を相関方向決定部2に出力する。なお、上記4つの相関値を総称して、「Cx」と表記する。
以上のように構成された撮像装置1000の動作について、以下、説明する。
ここで、4色配列色フィルタの画素の表記方法について説明する。まず、5×5のマトリクス領域の画素を図2の左上領域AR1のように表す。図2の左上領域AR1における記号Pは、画素がいずれの色成分用画素であるかを考慮しない表記である(図2に示す領域AR2〜AR4についても同様)。
次に、相関値算出処理について説明する。
(A1)垂直方向相関値Cv
(A2)水平方向相関値Ch
(A3)第1斜め方向相関値Cd1
(A4)第2斜め方向相関値Cd2
上記(A1)〜(A4)の相関値の算出処理について、以下、説明する。
まず、垂直方向相関値Cvの算出処理について、図3を用いて、説明する。
+abs(P11−P31)+abs(P13−P33)
+abs(P12−P32)×2
+(abs(P01−P21)+abs(P21−P41)+abs(P03―P23)+abs(P23―P43))/2
Cv=sum/8
なお、上記数式では、abs(P12−P32)に係数「2」が、(abs(P01−P21)+abs(P21−P41)+abs(P03―P23)+abs(P23―P43))に係数「1/2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、水平方向相関値Chの算出処理について、図4を用いて、説明する。
+abs(P11−P13)+abs(P31−P33)
+(abs(P10−P12)+abs(P12−P14)+abs(P30―P32)+abs(P32―P34))/2
+abs(P21−P23)×2
Ch=sum/8
なお、上記数式では、abs(P21−P23)に係数「2」が、(abs(P10−P12)+abs(P12−P14)+abs(P30―P32)+abs(P32―P34))に係数「1/2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、第1斜め方向相関値Cd1の算出処理について、図5を用いて、説明する。
+abs(P11−P33)×2
+abs(P12−P34)+abs(P10−P32)
+abs(P01―P23)+abs(P21―P43)
Cd1=sum/8
なお、上記数式では、abs(P11−P33)に係数「2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
次に、第2斜め方向相関値Cd2の算出処理について、図6を用いて、説明する。
+abs(P13−P31)×2
+abs(P12−P30)+abs(P14−P32)
+abs(P03―P21)+abs(P23―P41)
Cd2=sum/8
なお、上記数式では、abs(P13−P31)に係数「2」が乗算されている。これは、中心画素からの距離(画像上での距離)に応じて重み付けを行うためである。なお、乗算する係数(重み付け係数)は、上記に限定されることはなく、他の値であってもよい。
相関方向決定部2は、相関値算出部1により取得された相関値Cv,Ch,Cd1,Cd2に基づいて、画素ごとに、図7の関係図または図8の関係図を用いて、相関方向を決定する。
(1)相関方向決定部2は、画素ごとに、4つの相関値Cv,Ch,Cd1,Cd2を比較し、相関値Cvまたは相関値Chが最小値をとる場合、つまり、
Cv=min(Cv,Ch,Cd1,Cd2)、または、
Ch=min(Cv,Ch,Cd1,Cd2)、
である場合、図7の関係図を用いて、相関方向を決定する。
(2)相関方向決定部2は、画素ごとに、4つの相関値Cv,Ch,Cd1,Cd2を比較し、相関値Cd1または相関値Cd2が最小値をとる場合、つまり、
Cd1=min(Cv,Ch,Cd1,Cd2)、または、
Cd2=min(Cv,Ch,Cd1,Cd2)、
である場合、図8の関係図を用いて、相関方向を決定する。
補間部3では、相関方向決定部2により画素ごとに決定された相関方向Co_Dirに基づいて、信号処理部C2から出力される画像D_rawに対して、画素ごとに、画素補間処理が実行される。この具体的な処理について、以下、説明する。
相関方向決定部2により注目画素についての相関方向が「水平方向」であると判定された場合、補間部3は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第1色成分の画素値をD1outとし、第2色成分の画素値をD2outとし、第3色成分の画素値をD3outとし、第4色成分の画素値をD4outとする。
補間部3は、注目画素の画素値P22を、第1色成分の画素値D1outとする。すなわち、補間部3は、
D1out=P22
とする。
第2色成分の画素値D2outを取得するために、補間部3は、以下の処理を行う。第2色成分の画素値D2outの取得処理(算出処理)を、図9を用いて、説明する。
t1=(P20−2×P22+P24)×gain0
D2out=t0−t1
ここで、上記処理の意味について、説明する。
Y22L=(Y20+6×Y22+Y24)/8
である。したがって、Y22の高周波成分Y22Hは、
Y22H=Y22−Y22L
=−(Y20−2×Y22+Y24)/8
である。
C22L=(C21+2×C22+C23)/4
である。したがって、C22の高周波成分C22Hは、
C22H=C22―C22L
=C22/2―(C21+C23)/4
である。
Y22H≒C22H
より、
C22/2―(C21+C23)/4≒−(Y20−2×Y22+Y24)/8
となる。これをC22について解くと、
C22=(C21+C23)/2−(Y20−2×Y22+Y24)/4
となる。
t0=(P21+P23)/2
t1=(P20−2×P22+P24)×gain0
D2out=t0−t1
により、第2色成分の画素値D2outを取得することができる。
第3色成分の画素値D3outを取得するために、補間部3は、以下の処理を行う。第3色成分の画素値D3outの取得処理(算出処理)を、図10、図11を用いて、説明する。
なお、(P01−2×P21+P41)は、ラプラシアン成分であり、gain1は、ラプラシアン成分調整用のゲインである。
なお、(P03−2×P23+P43)は、ラプラシアン成分であり、gain2は、ラプラシアン成分調整用のゲインである。
d0a=P11―q0
q0:P21の第4色成分値
として取得する。
d0b=P13―q1
q1:P23の第4色成分値
として取得する。
d0=(d0a+d0b)/2
として取得する。
d0=(d0a+d0b)/2
により、値d0a、d0bの平均値を取得することで、画素P12、P22間の第4色成分値の差の推定値d0を適切に推定することができる。
d1a=P31―q0
q0:P21の第4色成分値
として取得する。
d1b=P33―q1
q1:P23の第4色成分値
として取得する。
d1=(d1a+d1b)/2
として取得する。
d1=(d1a+d1b)/2
により、値d1a、d1bの平均値を取得することで、画素P32、P22間の第4色成分値の差の推定値d1を適切に推定することができる。
D3out=(P12+P32)/2−(d0+d1)×gain3
gain3:調整用ゲイン
により、第3色成分の画素値D3outを取得する。
第4色成分の画素値D4outを取得するために、補間部3は、以下の処理を行う。第4色成分の画素値D4outの取得処理(算出処理)を、図12を用いて、説明する。
なお、(P10−2×P12+P14)は、ラプラシアン成分であり、gain4は、ラプラシアン成分調整用のゲインである。
なお、(P30−2×P32+P34)は、ラプラシアン成分であり、gain5は、ラプラシアン成分調整用のゲインである。
D4out=(r0+r1)/2−(d0+d1)×gain6
gain6:調整用ゲイン
により、第4色成分の画素値D4outを取得する。
相関方向決定部2により注目画素についての相関方向が「垂直方向」であると判定された場合、補間部3は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第1色成分の画素値をD1outとし、第2色成分の画素値をD2outとし、第3色成分の画素値をD3outとし、第4色成分の画素値をD4outとする。
補間部3は、注目画素の画素値P22を、第1色成分の画素値D1outとする。すなわち、補間部3は、
D1out=P22
とする。
第3色成分の画素値D3outを取得するために、補間部3は、以下の処理を行う。第2色成分の画素値D2outの取得処理(算出処理)を、図13を用いて、説明する。
t1=(P02−2×P22+P42)×gain10
D3out=t0−t1
gain10:調整用ゲイン
なお、gain10を「1/4」とすると、t1は、ラプラシアン成分となるが、補間部3において、gain10の値を調整し、ラプラシアン成分を調整することで、D3outの高周波成分量を調整することができる。例えば、撮像部C1の光学特性(例えば、撮像部C1に設けられる光学フィルタ等の特性)等に応じて、gain10を調整することで(ラプラシアン成分を調整することで)、より品質の良い画素補間処理を行うことができる。
第2色成分の画素値D2outを取得するために、補間部3は、以下の処理を行う。第2色成分の画素値D2outの取得処理(算出処理)を、図14、図15を用いて、説明する。
なお、(P10−2×P12+P14)は、ラプラシアン成分であり、gain11は、ラプラシアン成分調整用のゲインである。
なお、(P30−2×P32+P34)は、ラプラシアン成分であり、gain12は、ラプラシアン成分調整用のゲインである。
d0a=P11―q0
q0:P12の第4色成分値
として取得する。
d0b=P31―q1
q1:P32の第4色成分値
として取得する。
d0=(d0a+d0b)/2
として取得する。
d0=(d0a+d0b)/2
により、値d0a、d0bの平均値を取得することで、画素P21、P22間の第4色成分値の差の推定値d0を適切に推定することができる。
d1a=P13―q0
q0:P12の第4色成分値
として取得する。
d1b=P33―q1
q1:P32の第4色成分値
として取得する。
d1=(d1a+d1b)/2
として取得する。
d1=(d1a+d1b)/2
により、値d1a、d1bの平均値を取得することで、画素P23、P22間の第4色成分値の差の推定値d0を適切に推定することができる。
D2out=(P21+P23)/2−(d0+d1)×gain13
gain13:調整用ゲイン
により、第2色成分の画素値D2outを取得する。
第4色成分の画素値D4outを取得するために、補間部3は、以下の処理を行う。第4色成分の画素値D4outの取得処理(算出処理)を、図16を用いて、説明する。
なお、(P01−2×P21+P41)は、ラプラシアン成分であり、gain14は、ラプラシアン成分調整用のゲインである。
なお、(P03−2×P23+P43)は、ラプラシアン成分であり、gain15は、ラプラシアン成分調整用のゲインである。
D4out=(r0+r1)/2−(d0+d1)×gain16
gain16:調整用ゲイン
により、第4色成分の画素値D4outを取得する。
相関方向決定部2により、相関方向が「第1斜め方向」であると判定された場合、補間部3は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
補間部3は、注目画素の画素値P22を、第1色成分の画素値D1outとする。すなわち、補間部3は、
D1out=P22
とする。
第4色成分の画素値D4outを取得するために、補間部3は、以下の処理を行う。第4色成分の画素値D4outの取得処理(算出処理)を、図17を用いて、説明する。
なお、(P00−2×P22+P44)は、ラプラシアン成分であり、gain40は、ラプラシアン成分調整用のゲインである。
補間部3は、以下の処理により、P22の第3色成分値D3outを取得する。
s=P22
s1=(P20+P42)/2
また、補間部3は、図18に示すように、P13とP22との中点の第3色成分q0と、P22とP31との中点の第3色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(P10+3×P32)/4
そして、補間部3は、以下の数式に相当する処理により、P22の第3色成分値D3outを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain41は、ラプラシアン成分調整用のゲインである。
補間部3は、図19に示すように、P13の第1色成分値s0と、P22の第1色成分値sと、P31の第1色成分値s1とを、以下の数式に相当する処理により算出する。
s=P22
s1=(P20+P42)/2
また、補間部3は、図19に示すように、P13とP22との中点の第2色成分q0と、P22とP31との中点の第2色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(3×P21+P43)/4
そして、補間部3は、以下の数式に相当する処理により、P22の第2色成分値D2outを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain42は、ラプラシアン成分調整用のゲインである。
相関方向決定部2により、注目画素についての相関方向が「第2斜め方向」であると判定された場合、補間部3は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
補間部3は、注目画素の画素値P22を、第1色成分の画素値D1outとする。
D1out=P22
とする。
第4色成分の画素値D4outを取得するために、補間部3は、以下の処理を行う。第4色成分の画素値D4outの取得処理(算出処理)を、図20を用いて、説明する。
なお、(P04−2×P22+P40)は、ラプラシアン成分であり、gain50は、ラプラシアン成分調整用のゲインである。
補間部3は、以下の処理により、P22の第3色成分値D3outを取得する。
s=P22
s1=(P24+P42)/2
また、補間部3は、図21に示すように、P11とP22との中点の第3色成分q0と、P22とP33との中点の第3色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(P14+3×P32)/4
そして、補間部3は、以下の数式に相当する処理により、P22の第3色成分値D3outを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain51は、ラプラシアン成分調整用のゲインである。
補間部3は、図22に示すように、P11の第1色成分値s0と、P22の第1色成分値sと、P33の第1色成分値s1とを、以下の数式に相当する処理により算出する。
s=P22
s1=(P24+P42)/2
また、補間部3は、図34に示すように、P11とP22との中点の第2色成分q0と、P22とP33との中点の第2色成分q1とを、以下の数式に相当する処理(内分処理)により算出する。
q1=(3×P23+P41)/4
そして、補間部3は、以下の数式に相当する処理により、P22の第2色成分値D2outを取得する。
なお、(s0−2×s+s1)は、ラプラシアン成分であり、gain52は、ラプラシアン成分調整用のゲインである。
相関方向決定部2により注目画素について「いずれの方向にも相関がない」と判定された場合、補間部3は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第1色成分の画素値をD1outとし、第2色成分の画素値をD2outとし、第3色成分の画素値をD3outとし、第4色成分の画素値をD4outとする。
D2out=medium(P21,P23,(P01+P03+P21+P23)/4,(P21+P23+P41+P43)/4)
D3out=medium(P12,P32,(P10+P30+P12+P32)/4,(P12+P32+P14+P34)/4)
D4out=medium(P11,P13,P31,P33)
なお、medium()は、メディアン値を取得する関数である。medium()は、要素数が偶数の場合、中央の2つの値の平均値をとるものとする。
相関方向決定部2により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、補間部3は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。
D2out=(P21+P23)/2
D3out=(P12+P32)/2
D4out=(P11+P13+P31+P33)/4
なお、注目画素が第1色成分画素以外の場合も、上記と同様の方法により処理することで、カラー画像領域用の平均値補間処理を実行することができる。
上記実施形態では、画素補間処理を実数演算により実行する場合を想定して説明している部分があるが、整数演算により、画素補間処理を実行するようにしてもよい。また、画素補間処理において、所定のビット数を使用した場合の制約や、所定のダイナミックレンジ内で処理を実行するために、適宜、ゲイン調整やクリップ処理を実行するようにしてもよい。
C1 撮像部
C2 信号処理部
100 画素補間処理部(画素補間処理装置)
1 相関値算出部
2 相関方向決定部
3 補間部
Claims (9)
- 奇数行において、行の先頭を第1色成分用フィルタとし、第1色成分用フィルタと第2色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第3色成分用フィルタとし、第3色成分用フィルタと第4色成分用フィルタとが交互に配置されている4色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理装置であって、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関値を取得する相関値算出部と、
前記相関値算出部により取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定部と、
前記相関方向決定部により決定された相関方向に基づいて、前記注目画素に対して、画素補間処理を実行する補間部と、
を備え、
前記補間部は、前記相関値に基づいて、相関の高い方向があると判定される場合において、
(1)前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出する場合、
前記相関方向において、前記注目画素を挟んで隣接する2つの画素の画素値と、前記注目画素を含む前記相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した前記相関方向の変化率と、に基づいて、前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出し、
(2)前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記注目画素を前記法線方向に挟んで隣接する2つの画素の画素値と、に基づいて、前記注目画素の前記法線方向に隣接する画素と同色の色成分値を算出し、
(3)前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である第1算出対象色の色成分値を算出する場合、
(3A)前記注目画素の前記法線方向に隣接する一方の画素である第1隣接画素を含み、前記相関方向に配置されている複数の画素である第1画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第1算出対象色と同色の画素を前記第1画素群の中から選択し、選択した当該画素から、前記第1隣接画素の前記第1算出対象色の色成分値を算出し、
(3B)前記注目画素の前記法線方向に隣接する他方の画素である第2隣接画素を含み、前記相関方向に配置されている複数の画素である第2画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第1算出対象色と同色の画素を前記第2画素群の中から選択し、選択した当該画素から、前記第2隣接画素の前記第1算出対象色の色成分値を算出し、
(3C)前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、算出された前記第1隣接画素の前記第1算出対象色の色成分値と、算出された前記第2隣接画素の前記第1算出対象色の色成分値と、に基づいて、前記注目画素の前記第1算出対象色の色成分値を算出する、
画素補間処理装置。 - 前記注目画素の前記周辺領域は、
前記注目画素である画素P22を中心として、5画素×5画素からなる画素領域であって、
第1行が画素P00〜P04の5つの画素からなり、
第2行が画素P10〜P14の5つの画素からなり、
第3行が画素P20〜P24の5つの画素からなり、
第4行が画素P30〜P34の5つの画素からなり、
第5行が画素P40〜P44の5つの画素からなる前記画素領域である、
請求項1に記載の画素補間処理装置。 - 前記補間部は、
相関方向が水平方向である場合において、
(1)前記注目画素の前記相関方向に隣接する画素と同色の色成分値D2outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
D2out=(P21+P23)/2−(P20−2×P22+P24)×gain0
gain0:調整用係数
に相当する処理により、前記色成分値D2outを算出し、
(2)前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値D3outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
q0=(P11+P31)/2−(P01−2×P21+P41)×gain1
q1=(P13+P33)/2−(P03−2×P23+P43)×gain2
d0a=P11―q0
d0b=P13―q1
d0=(d0a+d0b)/2
d1a=P31―q0
d1b=P33―q1
d1=(d1a+d1b)/2
D3out=(P12+P32)/2−(d0+d1)×gain3
gain1、gain2、gain3:調整用係数
に相当する処理により、前記色成分値D3outを算出し、
(3)前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である前記第1算出対象色の色成分値D4outを算出する場合、
q0=(P11+P31)/2−(P01−2×P21+P41)×gain1
q1=(P13+P33)/2−(P03−2×P23+P43)×gain2
d0a=P11―q0
d0b=P13―q1
d0=(d0a+d0b)/2
d1a=P31―q0
d1b=P33―q1
d1=(d1a+d1b)/2
r0=(P11+P13)/2−(P10−2×P12+P14)×gain4
r1=(P31+P33)/2−(P30−2×P32+P34)×gain5
D4out=(r0+r1)/2−(d0+d1)×gain6
gain1、gain2、gain3:調整用係数
gain4、gain5、gain6:調整用係数
に相当する処理により、前記色成分値D4outを算出する、
請求項2に記載の画素補間処理装置。 - 前記補間部は、
相関方向が垂直方向である場合において、
(1)前記注目画素の前記相関方向に隣接する画素と同色の色成分値D3outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
t0=(P12+P32)/2
t1=(P02−2×P22+P42)×gain10
D3out=t0−t1
gain10:調整用係数
に相当する処理により、前記色成分値D3outを算出し、
(2)前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値D2outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
q0=(P11+P13)/2−(P10−2×P12+P14)×gain11
q1=(P31+P33)/2−(P30−2×P32+P34)×gain12
d0a=P11―q0
d0b=P31―q1
d0=(d0a+d0b)/2
d1a=P13―q0
d1b=P33―q1
d1=(d1a+d1b)/2
D2out=(P21+P23)/2−(d0+d1)×gain13
gain11、gain12、gain13:調整用係数
に相当する処理により、前記色成分値D2outを算出し、
(3)前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である前記第1算出対象色の色成分値D4outを算出する場合、
q0=(P11+P13)/2−(P10−2×P12+P14)×gain11
q1=(P31+P33)/2−(P30−2×P32+P34)×gain12
d0a=P11―q0
d0b=P31―q1
d0=(d0a+d0b)/2
d1a=P13―q0
d1b=P33―q1
d1=(d1a+d1b)/2
r0=(P11+P31)/2−(P01−2×P21+P41)×gain14
r1=(P13+P33)/2−(P03−2×P23+P43)×gain15
D4out=(r0+r1)/2−(d0+d1)×gain16
gain11、gain12、gain14、gain15:調整用係数
に相当する処理により、前記色成分値D4outを算出する、
請求項2に記載の画素補間処理装置。 - 前記補間部は、
相関方向が左上斜め方向である第1斜め方向である場合において、
(1)前記注目画素の前記相関方向に隣接する画素と同色の色成分値D4outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
D4out=(P11+P33)/2−(P00−2×P22+P44)×gain40
gain40:調整用係数
に相当する処理により、前記色成分値D4outを算出し、
(2)前記注目画素の垂直方向に隣接する画素と同色の色成分値D3outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
s0=(P02+P24)/2
s=P22
s1=(P20+P42)/2
q0=(3×P12+P34)/4
q1=(P10+3×P32)/4
D3out=(q0+q1)/2−(s0−2×s+s1)×gain41
gain41:調整用係数
に相当する処理により、前記色成分値D3outを算出し、
(3)前記注目画素の水平方向に隣接する画素と同色の色成分値D2outを算出する場合、
s0=(P02+P24)/2
s=P22
s1=(P20+P42)/2
q0=(P01+3×P23)/4
q1=(3×P21+P43)/4
D2out=(q0+q1)/2−(s0−2×s+s1)×gain42
gain42:調整用係数
に相当する処理により、前記色成分値D2outを算出する、
請求項2に記載の画素補間処理装置。 - 前記補間部は、
相関方向が右上斜め方向である第2斜め方向である場合において、
(1)前記注目画素の前記相関方向に隣接する画素と同色の色成分値D4outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
D4out=(P13+P31)/2−(P04−2×P22+P40)×gain50
gain50:調整用係数
に相当する処理により、前記色成分値D4outを算出し、
(2)前記注目画素の垂直方向に隣接する画素と同色の色成分値D3outを算出する場合、画素Pxyの画素値を「Pxy」と表記すると、
s0=(P02+P20)/2
s=P22
s1=(P24+P42)/2
q0=(3×P12+P30)/4
q1=(P14+3×P32)/4
D3out=(q0+q1)/2−(s0−2×s+s1)×gain51
gain51:調整用係数
に相当する処理により、前記色成分値D3outを算出し、
(3)前記注目画素の水平方向に隣接する画素と同色の色成分値D2outを算出する場合、
s0=(P02+P20)/2
s=P22
s1=(P24+P42)/2
q0=(P03+3×P21)/4
q1=(3×P23+P41)/4
D2out=(q0+q1)/2−(s0−2×s+s1)×gain52
gain52:調整用係数
に相当する処理により、前記色成分値D2outを算出する、
請求項2に記載の画素補間処理装置。 - 奇数行において、行の先頭を第1色成分用フィルタとし、第1色成分用フィルタと第2色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第3色成分用フィルタとし、第3色成分用フィルタと第4色成分用フィルタとが交互に配置されている4色配列フィルタを有し、被写体光から画像信号を取得する撮像部と、
前記画像信号に対して、画素補間処理を行う、請求項1から6のいずれかに記載の画素補間処理装置と、
を備える撮像装置。 - 奇数行において、行の先頭を第1色成分用フィルタとし、第1色成分用フィルタと第2色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第3色成分用フィルタとし、第3色成分用フィルタと第4色成分用フィルタとが交互に配置されている4色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理方法をコンピュータで実行させるためのプログラムであって、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関値を取得する相関値算出ステップと、
前記相関値算出ステップにより取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定ステップと、
前記相関方向決定ステップにより決定された相関方向に基づいて、前記注目画素に対して、画素補間処理を実行する補間ステップと、
を備え、
前記補間ステップは、前記相関値に基づいて、相関の高い方向があると判定される場合において、
(1)前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出する場合、
前記相関方向において、前記注目画素を挟んで隣接する2つの画素の画素値と、前記注目画素を含む前記相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した前記相関方向の変化率と、に基づいて、前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出し、
(2)前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記注目画素を前記法線方向に挟んで隣接する2つの画素の画素値と、に基づいて、前記注目画素の前記法線方向に隣接する画素と同色の色成分値を算出し、
(3)前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である第1算出対象色の色成分値を算出する場合、
(3A)前記注目画素の前記法線方向に隣接する一方の画素である第1隣接画素を含み、前記相関方向に配置されている複数の画素である第1画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第1算出対象色と同色の画素を前記第1画素群の中から選択し、選択した当該画素から、前記第1隣接画素の前記第1算出対象色の色成分値を算出し、
(3B)前記注目画素の前記法線方向に隣接する他方の画素である第2隣接画素を含み、前記相関方向に配置されている複数の画素である第2画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第1算出対象色と同色の画素を前記第2画素群の中から選択し、選択した当該画素から、前記第2隣接画素の前記第1算出対象色の色成分値を算出し、
(3C)前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、算出された前記第1隣接画素の前記第1算出対象色の色成分値と、算出された前記第2隣接画素の前記第1算出対象色の色成分値と、に基づいて、前記注目画素の前記第1算出対象色の色成分値を算出する、
画素補間処理方法をコンピュータで実行させるためのプログラム。 - 奇数行において、行の先頭を第1色成分用フィルタとし、第1色成分用フィルタと第2色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第3色成分用フィルタとし、第3色成分用フィルタと第4色成分用フィルタとが交互に配置されている4色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、
注目画素の周辺領域の画素データを用いて、前記画像上において直交する2方向の複数組の相関値を取得する相関値算出部と、
前記相関値算出部により取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定部と、
前記相関方向決定部により決定された相関方向に基づいて、前記注目画素に対して、画素補間処理を実行する補間部と、
を備え、
前記補間部は、前記相関値に基づいて、相関の高い方向があると判定される場合において、
(1)前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出する場合、
前記相関方向において、前記注目画素を挟んで隣接する2つの画素の画素値と、前記注目画素を含む前記相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した前記相関方向の変化率と、に基づいて、前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出し、
(2)前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記注目画素を前記法線方向に挟んで隣接する2つの画素の画素値と、に基づいて、前記注目画素の前記法線方向に隣接する画素と同色の色成分値を算出し、
(3)前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である第1算出対象色の色成分値を算出する場合、
(3A)前記注目画素の前記法線方向に隣接する一方の画素である第1隣接画素を含み、前記相関方向に配置されている複数の画素である第1画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第1算出対象色と同色の画素を前記第1画素群の中から選択し、選択した当該画素から、前記第1隣接画素の前記第1算出対象色の色成分値を算出し、
(3B)前記注目画素の前記法線方向に隣接する他方の画素である第2隣接画素を含み、前記相関方向に配置されている複数の画素である第2画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第1算出対象色と同色の画素を前記第2画素群の中から選択し、選択した当該画素から、前記第2隣接画素の前記第1算出対象色の色成分値を算出し、
(3C)前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、算出された前記第1隣接画素の前記第1算出対象色の色成分値と、算出された前記第2隣接画素の前記第1算出対象色の色成分値と、に基づいて、前記注目画素の前記第1算出対象色の色成分値を算出する、
集積回路。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013264371A JP6276580B2 (ja) | 2013-12-20 | 2013-12-20 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
PCT/JP2014/081473 WO2015093253A1 (ja) | 2013-12-20 | 2014-11-27 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
US15/171,953 US9679358B2 (en) | 2013-12-20 | 2016-06-02 | Pixel interpolation processing apparatus, imaging apparatus, interpolation processing method, and integrated circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013264371A JP6276580B2 (ja) | 2013-12-20 | 2013-12-20 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015122576A true JP2015122576A (ja) | 2015-07-02 |
JP2015122576A5 JP2015122576A5 (ja) | 2017-01-12 |
JP6276580B2 JP6276580B2 (ja) | 2018-02-07 |
Family
ID=53402606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013264371A Expired - Fee Related JP6276580B2 (ja) | 2013-12-20 | 2013-12-20 | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9679358B2 (ja) |
JP (1) | JP6276580B2 (ja) |
WO (1) | WO2015093253A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6598507B2 (ja) * | 2015-05-11 | 2019-10-30 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理方法 |
CN108769635B (zh) * | 2018-05-30 | 2020-01-21 | Oppo(重庆)智能科技有限公司 | 拍摄装置、电子设备及图像获取方法 |
CN109658333A (zh) * | 2018-11-14 | 2019-04-19 | 深圳市华星光电半导体显示技术有限公司 | 图像放大插值的方法、图像放大插值装置以及显示装置 |
JP2023010159A (ja) * | 2021-07-09 | 2023-01-20 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
CN113781350B (zh) * | 2021-09-16 | 2023-11-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290607A (ja) * | 2008-05-29 | 2009-12-10 | Hoya Corp | 撮像装置 |
JP2010103736A (ja) * | 2008-10-23 | 2010-05-06 | Mega Chips Corp | 画像拡大方法 |
JP2011055038A (ja) * | 2009-08-31 | 2011-03-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012191465A (ja) * | 2011-03-11 | 2012-10-04 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002064831A (ja) * | 2000-08-15 | 2002-02-28 | Sanyo Electric Co Ltd | 単板式カラーカメラの色分離回路 |
JP4358055B2 (ja) * | 2004-07-21 | 2009-11-04 | 株式会社東芝 | 補間画素生成回路 |
JP4333997B2 (ja) * | 2004-08-24 | 2009-09-16 | シャープ株式会社 | 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体 |
JP4428195B2 (ja) * | 2004-10-22 | 2010-03-10 | 株式会社日立製作所 | 撮像装置、補完信号生成方法及びプログラム |
JP5049460B2 (ja) * | 2004-11-09 | 2012-10-17 | イーストマン コダック カンパニー | カラー撮像画像データの補間方法およびプログラム |
JP4840740B2 (ja) | 2004-12-01 | 2011-12-21 | 株式会社メガチップス | 画素補間方法および画像判定方法 |
US7551214B2 (en) * | 2005-12-01 | 2009-06-23 | Megachips Lsi Solutions Inc. | Pixel interpolation method |
JP5017597B2 (ja) * | 2007-11-27 | 2012-09-05 | 株式会社メガチップス | 画素補間方法 |
JP5068158B2 (ja) * | 2007-12-28 | 2012-11-07 | イーストマン コダック カンパニー | 撮像装置 |
JP5701374B2 (ja) * | 2011-02-21 | 2015-04-15 | 三菱電機株式会社 | 画像拡大装置及び方法 |
EP2683167B1 (en) * | 2011-02-28 | 2018-05-02 | Fujifilm Corporation | Color imaging device |
JP6012375B2 (ja) * | 2012-09-28 | 2016-10-25 | 株式会社メガチップス | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
JP5981824B2 (ja) * | 2012-09-28 | 2016-08-31 | 株式会社メガチップス | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
JP5877931B2 (ja) * | 2013-05-23 | 2016-03-08 | 富士フイルム株式会社 | 画素補間装置およびその動作制御方法 |
JP6276569B2 (ja) * | 2013-12-02 | 2018-02-07 | 株式会社メガチップス | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
-
2013
- 2013-12-20 JP JP2013264371A patent/JP6276580B2/ja not_active Expired - Fee Related
-
2014
- 2014-11-27 WO PCT/JP2014/081473 patent/WO2015093253A1/ja active Application Filing
-
2016
- 2016-06-02 US US15/171,953 patent/US9679358B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290607A (ja) * | 2008-05-29 | 2009-12-10 | Hoya Corp | 撮像装置 |
JP2010103736A (ja) * | 2008-10-23 | 2010-05-06 | Mega Chips Corp | 画像拡大方法 |
JP2011055038A (ja) * | 2009-08-31 | 2011-03-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012191465A (ja) * | 2011-03-11 | 2012-10-04 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6276580B2 (ja) | 2018-02-07 |
US9679358B2 (en) | 2017-06-13 |
US20160284055A1 (en) | 2016-09-29 |
WO2015093253A1 (ja) | 2015-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9225948B2 (en) | Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium | |
US7551214B2 (en) | Pixel interpolation method | |
JP5872408B2 (ja) | カラー撮像装置及び画像処理方法 | |
JP5872407B2 (ja) | カラー撮像装置及び画像処理方法 | |
JP6276580B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP6239358B2 (ja) | 画素補間装置、撮像装置、プログラムおよび集積回路 | |
JP2005159957A (ja) | 色補間方法 | |
JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6276569B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP4717371B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2014200009A (ja) | 画像処理装置および方法、並びにプログラム | |
JP3905708B2 (ja) | 画像補間装置 | |
JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
JP5981824B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
JP6276581B2 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
WO2014156732A1 (ja) | 画像処理装置および方法、並びにプログラム | |
KR20190036253A (ko) | 그라디언트 기반 rgbw cfa 디모자킹 장치 및 방법 | |
JP5106221B2 (ja) | 撮像装置 | |
JP4006913B2 (ja) | 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 | |
JP4334151B2 (ja) | 画像補間装置 | |
JP4334152B2 (ja) | 画像補間装置 | |
JP6559020B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4666786B2 (ja) | 画像補間装置 | |
JP4495355B2 (ja) | 画像補間装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6276580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |