JP5269954B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5269954B2 JP5269954B2 JP2011136996A JP2011136996A JP5269954B2 JP 5269954 B2 JP5269954 B2 JP 5269954B2 JP 2011136996 A JP2011136996 A JP 2011136996A JP 2011136996 A JP2011136996 A JP 2011136996A JP 5269954 B2 JP5269954 B2 JP 5269954B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- unit
- image
- addition
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
まず、本実施形態の概要について説明する。本実施形態では、図5等で後述するように、重畳シフトされた加算単位を設定し、その加算単位に含まれる画素値を重み付け加算することにより低解像動画を取得する。そして、図11(A)〜図14で後述するように、その低解像動画から、撮像素子の解像度に相当する高解像静止画や高解像動画を復元する。
次に、本実施形態について詳細に説明する。まず図1に、上記の混色除去処理とホワイトバランス調整処理を行う本実施形態の撮像装置の構成例を示す。
次に、本実施形態が行う重畳シフト加算について詳細に説明する。まず図3に、画素アレイ部130の画素配列の例を示す。図3において、xは画素配列の列番号を表し、yは画素配列の行番号を表す(x、yはゼロ以上の整数)。例えば、列番号は水平走査方向の座標であり、行番号は垂直走査方向の座標である。
GP=P1+(1/2)*P2+(1/2)*P3+(1/4)*P4 (1)
GP=P1+(1/r)*P2+(1/r)*P3+(1/r2)*P4 (2)
次に、本実施形態が行うホワイトバランス調整処理について詳細に説明する。図7に、ホワイトバランス調整処理のフローチャートを示す。
画素(m、nは自然数であり、m×n≧2)を1ブロックとし、1ブロックにk=m×n色のカラーフィルターを有してもよい。この場合、行列Aは一般に下式(9)によって表される。
次に、上述した混色除去フィルターαの詳細な導出例について説明する。また、そのαをコンボリューションすることにより、色温度検出可能な画像X’が復元されることについて説明する。
次に、重畳シフト加算により取得した加算画素値から高解像画像を復元する処理について詳細に説明する。なお以下では、加算画素値{a00、a10、a11、a01}を例に説明するが、他の加算画素値についても同様である。また、加算単位が2×2画素である場合を例に説明するが、これに限定されず、例えば3×3画素であってもよい。
a00=v00+(1/2)v01+(1/2)v10+(1/4)v11,
a10=v10+(1/2)v11+(1/2)v20+(1/4)v21 (25)
b00=v00+(1/r)v01=v00+(1/2)v01,
b10=v10+(1/r)v11=v10+(1/2)v11,
b20=v20+(1/r)v21=v20+(1/2)v21 (26)
a00=b00+(1/2)b10,
a10=b10+(1/2)b20 (27)
δi0=a10−2a00
=(1/2)b20−2b00 (28)
b00=(未知数),
b10=2(a00−b00),
b20=4b00+2δi0=4b00+2(a10−2a00) (29)
axy=bxy+(1/2)b(x+1)y (30)
b00=v00+(1/2)v01,
b01=v01+(1/2)v02 (32)
103 ホワイトバランス調整部、104 高解像度画像生成部、
105 現像処理部、106 制御部、107 メモリー、
108 表示処理部、109 モニター表示部、110 アクセス制御部、
111 記録媒体、120 混色除去処理部、121 色温度検出部、
122 色温度調整部、130 画素アレイ部、131 読み出し制御部、
A 行列、B 青色、Cf〜Cf+3 加算画素値、Ey 評価関数、
GP00,GP01,GP10,GP11 加算単位、Gr,Gb 緑色、
P1〜P4 画素、R 赤色、W 行列、X,X’ 画像、
a00〜a11 加算画素値、b00 未知数、b00〜b21 中間画素値、
b10 中間画素値、gR,gGr,gGb,gB ホワイトバランス調整ゲイン、
v00〜v22 推定画素値、α 混色除去フィルター、δi0 差分値、
ω1〜ω4 ホワイトバランス調整フィルター
Claims (7)
- 撮像素子に複数色の画素が配列される場合に、前記複数色の画素を有する加算単位を前記撮像素子の複数の画素毎に設定し、前記加算単位に含まれる画素値を重み付け加算して低解像画像を取得する読み出し制御部と、
取得された前記低解像画像に対して、前記複数色の画素が重み付け加算されたことによる混色を除去する処理を行う混色除去処理部と、
混色が除去された前記低解像画像に基づいて色温度を検出する色温度検出部と、
検出された前記色温度に基づいて、前記低解像画像の色温度を調整する色温度調整部と、
色温度調整された前記低解像画像に基づいて、前記撮像素子の画素数に相当する解像度の高解像画像を推定する推定演算部と、
を含み、
前記読み出し制御部は、
重畳しながらシフトされた前記加算単位を設定することにより、前記複数色の各色と重み付け係数との対応が異なる複数の低解像画像を取得し、
前記混色除去処理部は、
前記複数の低解像画像に対して前記混色を除去する処理を行い、前記各色に対応する画素値を求めることを特徴とする撮像装置。 - 請求項1において、
前記混色除去処理部は、
前記各色と重み付け係数の対応を規定する係数行列の逆行列に基づいて、前記混色を除去する混色除去フィルターを構成し、構成した前記混色除去フィルターにより前記混色を除去する処理を行うことを特徴とする撮像装置。 - 請求項2において、
前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、
前記読み出し制御部は、
前記各色と第1〜第4の重み付け係数とが第1〜第4の組み合わせで対応する第1〜第4の低解像画像を、前記複数の低解像画像として取得し、
前記第1〜第4の低解像画像の画素値は、
前記重畳シフトにおける前記加算単位の設定位置に応じて1つの画像に再配列され、
前記混色除去処理部は、
前記第1〜第4の組み合わせを第1〜第4行に配列した行列を前記係数行列とし、前記係数行列の逆行列の成分を前記再配列に応じて配列することにより前記混色除去フィルターを構成し、構成した前記混色除去フィルターと前記再配列された画像とのコンボリューション演算を行うことを特徴とする撮像装置。 - 請求項1乃至3のいずれかにおいて、
前記色温度調整部は、
前記検出された前記色温度に基づいて前記各色の調整ゲインを求め、各色と重み付け係数との対応を規定する係数行列と、前記調整ゲインとに基づいて、調整フィルターを構成し、構成した前記調整フィルターにより前記色温度の調整を行うことを特徴とする撮像装置。 - 請求項4において、
前記撮像素子の前記複数色の画素が、ベイヤー配列である場合に、
前記読み出し制御部は、
前記各色と第1〜第4の重み付け係数とが第1〜第4の組み合わせで対応する第1〜第4の低解像画像を、前記複数の低解像画像として取得し、
前記第1〜第4の低解像画像の画素値は、
前記重畳シフトにおける前記加算単位の設定位置に応じて1つの画像に再配列され、
前記色温度調整部は、
前記第1〜第4の組み合わせを第1〜第4行に配列した行列を前記係数行列とし、前記係数行列と、前記各色の調整ゲインを対角に配列した行列と、前記係数行列の逆行列との積の成分を、前記再配列に応じて配列することにより前記調整フィルターを構成し、構成した前記調整フィルターと前記再配列された画像とのコンボリューション演算を行うことを特徴とする撮像装置。 - 請求項1乃至5のいずれかにおいて、
第1のポジションに設定された第1の加算単位と、前記第1のポジションがシフトされた第2のポジションに設定された第2の加算単位とが、重畳する場合に、
前記推定演算部は、
前記第1の加算単位の画素値が重み付け加算された第1の加算画素値と、前記第2の加算単位の画素値が重み付け加算された第2の加算画素値との差分値を求め、
前記第1の加算単位から重畳領域を除いた第1の領域の加算画素値である第1の中間画素値と、前記第2の加算単位から前記重畳領域を除いた第2の領域の加算画素値である第2の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第1、第2の中間画素値を推定し、推定した前記第1の中間画素値を用いて前記加算単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。 - 請求項6において、
前記推定演算部は、
前記第1、第2の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第1、第2の加算画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記第1、第2の加算画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011136996A JP5269954B2 (ja) | 2011-06-21 | 2011-06-21 | 撮像装置 |
PCT/JP2012/063589 WO2012176580A1 (ja) | 2011-06-21 | 2012-05-28 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011136996A JP5269954B2 (ja) | 2011-06-21 | 2011-06-21 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013005363A JP2013005363A (ja) | 2013-01-07 |
JP5269954B2 true JP5269954B2 (ja) | 2013-08-21 |
Family
ID=47422422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011136996A Expired - Fee Related JP5269954B2 (ja) | 2011-06-21 | 2011-06-21 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5269954B2 (ja) |
WO (1) | WO2012176580A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5883991B2 (ja) * | 2013-05-13 | 2016-03-15 | 富士フイルム株式会社 | カラー画像データの混入補正装置および撮像装置ならびにそれらの動作制御方法 |
WO2023004574A1 (zh) * | 2021-07-27 | 2023-02-02 | 京东方科技集团股份有限公司 | 显示面板、显示装置及显示驱动方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10136253A (ja) * | 1996-11-01 | 1998-05-22 | Canon Inc | 撮像装置 |
JPH10155158A (ja) * | 1996-11-20 | 1998-06-09 | Sony Corp | 撮像装置及びカラー画像信号の処理方法 |
JPH1198398A (ja) * | 1997-09-19 | 1999-04-09 | Canon Inc | 撮影方法および撮像装置 |
JP3728075B2 (ja) * | 1997-10-24 | 2005-12-21 | キヤノン株式会社 | 撮像方法及び撮像装置 |
JPH11331857A (ja) * | 1998-05-13 | 1999-11-30 | Mitsubishi Electric Corp | 撮像装置 |
JP3938256B2 (ja) * | 1999-01-12 | 2007-06-27 | 株式会社日立国際電気 | テレビジョンカメラ装置 |
JP3839180B2 (ja) * | 1999-02-19 | 2006-11-01 | 三菱電機株式会社 | 撮像装置及び撮像方法 |
-
2011
- 2011-06-21 JP JP2011136996A patent/JP5269954B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-28 WO PCT/JP2012/063589 patent/WO2012176580A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2013005363A (ja) | 2013-01-07 |
WO2012176580A1 (ja) | 2012-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7667738B2 (en) | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera | |
US8885067B2 (en) | Multocular image pickup apparatus and multocular image pickup method | |
US9092883B2 (en) | Image processing device, image processing method and storage medium storing image processing program | |
JP5306563B2 (ja) | 撮像装置及び画像生成方法 | |
EP2268043B1 (en) | Image processing device, imaging device, method, and program | |
US20150281542A1 (en) | Image generation apparatus and method for generating plurality of images with different resolution and/or brightness from single image | |
US8310553B2 (en) | Image capturing device, image capturing method, and storage medium having stored therein image capturing program | |
TWI338511B (ja) | ||
US20230188690A1 (en) | Electronic device for estimating camera illuminant and method of the same | |
JP5269954B2 (ja) | 撮像装置 | |
JP2002344978A (ja) | 画像処理装置 | |
JP2013009172A (ja) | 撮像装置及び画像生成方法 | |
JP6415330B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP2007049301A (ja) | 画像処理装置及び画像処理方法 | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4334150B2 (ja) | 画像補間装置 | |
JP4339671B2 (ja) | 撮像装置 | |
JP2006262382A (ja) | 画像処理装置 | |
JP7341843B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
JP4334152B2 (ja) | 画像補間装置 | |
JP4334151B2 (ja) | 画像補間装置 | |
JP5855485B2 (ja) | 画像生成装置、画像生成方法、撮像装置、および撮像方法 | |
JP4666786B2 (ja) | 画像補間装置 | |
JP2017220821A (ja) | 画像処理装置 | |
JP2012099870A (ja) | 撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130403 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130403 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130422 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5269954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |