JP5039966B2 - 画素混合方法 - Google Patents
画素混合方法 Download PDFInfo
- Publication number
- JP5039966B2 JP5039966B2 JP2005196157A JP2005196157A JP5039966B2 JP 5039966 B2 JP5039966 B2 JP 5039966B2 JP 2005196157 A JP2005196157 A JP 2005196157A JP 2005196157 A JP2005196157 A JP 2005196157A JP 5039966 B2 JP5039966 B2 JP 5039966B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- mixing
- color
- pixels
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Description
ただし、Aは前記色変換行列を表し、また、ATは前記色変換行列Aの転置行列を表すことによって効果的に達成される。
ただし、Ma 11,Mb 12,Mc 21,Md 22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Aは、次の数式によって定義され、
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
混合後色空間からRGB色空間への変換は、次の数式に基づいて行われ、
ただし、(ATA)−1はATAの逆行列を表すことによって効果的に達成される。
ただし、Ma 11,Mb 12,Mc 21,Ma 22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Aは、次の数式によって定義され、
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
混合後色空間からRGB色空間への変換は、次の数式に基づいて行われ、
ただし、A−1はAの逆行列を表すことにより、或いは、前記好適な画素混合重みcijを決定する際に使用される前記色変換行列Aの条件数cond(A)の代わりに、次の数式で表す行列Bの条件数を用いることによって効果的に達成される。
また、本発明の上記目的は、前記画素混合演算に利用される画素数は、垂直方向n=3画素、水平方向m=3画素で、画素混合演算後の色は4種類の場合に、要するに、混合後4色方式の9画素混合において、前記画素混合演算方程式は、次の数式によって定義され、
ただし、Ma 11,Mb 12,Mc 21,Md 22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Aは、次の数式によって定義され、
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
混合後色空間からRGB色空間への変換は、次の数式に基づいて行われ、
ただし、(ATA)−1はATAの逆行列を表すことによって効果的に達成される。
ただし、Ma 11,Mb 12,Mc 21,Ma 22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、前記色変換行列Aは、次の数式によって定義され、
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
混合後色空間からRGB色空間への変換は、次の数式に基づいて行われ、
ただし、A−1はAの逆行列を表すことにより、或いは、前記好適な画素混合重みcijを決定する際に使用される前記色変換行列Aの条件数cond(A)の代わりに、次の数式で表す行列Bの条件数を用いることによって効果的に達成される。
ステップS10(画素混合重みの初期値の設定):
まず、画素混合演算に利用される画素数と、画素混合演算後の色の種類を決め、つまり、n,m及びLの値を決め、そして、n×m×L個の画素混合重みの初期値を決定する。
ステップS20(色変換行列の生成):
n×m×L個の画素混合重みの値に基づいて、画素混合演算方程式を定義し、色変換行列を生成する。
ステップS30(色変換行列の条件数の算出):
生成された色変換行列の条件数を計算する。
ステップS40(好適な画素混合重みが得られたか否かの判断):
算出された色変換行列の条件数が十分小さいか否かを判断し、十分小さいと判断された場合に、ステップS60に進む。一方、条件数が十分小さいと判断されない場合に、ステップS50に進む。
ステップS50(画素混合重みの調整):
条件数が十分小さいと判断されない場合とは、画素混合演算に好適な画素混合重みが得られていないことを意味し、よって、色変換行列の条件数を小さくするように、n×m×L個の画素混合重みの値を変更し、ステップS20に戻る。
ステップS60:(好適な画素混合重みの決定)
条件数が十分小さいと判断された場合とは、画素混合演算に好適な画素混合重みが得られたことを意味し、よって、色変換行列の条件数が十分小さいと判断された時のn×m×L個の画素混合重みの値を好適な画素混合重みにする。
実施例1<4画素混合方法(混合後4色方式)>
図2を参照しながら、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した4画素混合方法(混合後4色方式)を説明する。
実施例2<4画素混合方法(混合後3色方式)>
次に、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した4画素混合方法(混合後3色方式)を説明する。
実施例4<9画素混合方法(混合後3色方式)>
次に、ベイヤー配列を有する固体撮像素子を持つ撮像装置に本発明を適用した9画素混合方法(混合後3色方式)を説明する。
<1−1>混合後4色方式の4画素混合方法
図4に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後4色方式の4画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字(例えば、G、R、B、)は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図4において、Ma 11,Mb 12,Mc 21,Md 22は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。
<1−2>混合後3色方式(MaとMdが同色の場合)の4画素混合方法
図5に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後3色方式の4画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字(例えば、G、R、B、)は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図5において、Ma 11,Mb 12,Mc 21,Ma 22は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。
次に、ベイヤー配列を有する固体撮像素子に本発明を適用した、混合後3色方式(MaとMdが同色の場合)の9画素混合方法における好適な画素混合重みと色変換行列の具体例(全部で5つの例)を示す。
<2−1>具体例その1
図6に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後3色方式(MaとMdが同色の場合)の9画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字(例えば、G、R、B、)は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図6において、Ma 11,Mb 12,Mc 21,Ma 22は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。
<2−2>具体例その2
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後3色方式(MaとMdが同色の場合)の9画素混合方法における好適な画素混合演算方程式は、下記数37によって定義される。
<2−3>具体例その3
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後3色方式(MaとMdが同色の場合)の9画素混合方法における好適な画素混合演算方程式は、下記数40によって定義される。
<2−4>具体例その4
ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後3色方式(MaとMdが同色の場合)の9画素混合方法における好適な画素混合演算方程式は、下記数43によって定義される。
<2−5>具体例その5
図7に、ベイヤー配列を有する固体撮像素子に本発明の画素混合方法を適用した混合後3色方式(MaとMdが同色の場合)の9画素混合方法における好適な画素混合重みの一例を示し、図中の四角で示す混合前の画素内の上側の文字(例えば、G、R、B、)は混合前の画素の色を表し、その下側の数字は、その混合前の画素に対応する画素混合重みを表す。また、図7において、Ma 11,Mb 12,Mc 21,Ma 22は、画素混合後の画素の色を表し、下付の二桁の数字はその画素の位置を表す。
図8に、本発明の画素混合方法を適用した9画素混合結果と、従来の同色画素混合法による混合結果を示す。図8では、9画素混合に対しては、カラー画像の再構成にはバイキュービック補間を利用した。また、従来の同色画素混合方法には、混合後の画素位置が不等間隔となる方法と、等間隔になる方法が存在するので、それぞれとの比較を行った。
Claims (11)
- ベイヤー配列のカラーフィルタアレイ(CFA)を有し、且つ水平方向及び垂直方向に2次元状に配置された複数の画素を有する固体撮像素子を持つ撮像装置に適用され、前記固体撮像素子上の画素同士を混合する画素混合方法であって、
空間的に隣接する前記画素同士に対して、画素混合演算方程式に基づいて画素混合演算を行う画素混合演算ステップと、
混合後色空間の色の種類及び前記画素混合演算方程式に基づいて、色変換行列を生成する色変換行列生成ステップと、
生成された色変換行列に基づいて、混合後色空間から所望の色空間へ変換する所望色空間変換ステップとを有することを特徴とする画素混合方法。 - 前記画素混合演算に利用される画素数は、垂直方向n=2画素、水平方向m=2画素で、画素混合演算後の色は4種類の場合に、要するに、混合後4色方式の4画素混合において、
前記画素混合演算方程式は、次の数式によって定義され、
ただし、Ma 11,Mb 12,Mc 21,Md 22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、
前記色変換行列Aは、次の数式によって定義され、
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
混合後色空間からRGB色空間への変換は、次の数式に基づいて行われ、
ただし、(ATA)−1はATAの逆行列を表す請求項2に記載の画素混合方法。 - 前記画素混合演算に利用される画素数は、垂直方向n=2画素、水平方向m=2画素で、画素混合演算後の色は3種類の場合に、要するに、混合後3色方式の4画素混合において、
前記画素混合演算方程式は、次の数式によって定義され、
ただし、Ma 11,Mb 12,Mc 21,Ma 22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、
前記色変換行列Aは、次の数式によって定義され、
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
混合後色空間からRGB色空間への変換は、次の数式に基づいて行われ、
ただし、A−1はAの逆行列を表す請求項2に記載の画素混合方法。 - 前記画素混合演算に利用される画素数は、垂直方向n=3画素、水平方向m=3画素で、画素混合演算後の色は4種類の場合に、要するに、混合後4色方式の9画素混合において、
前記画素混合演算方程式は、次の数式によって定義され、
ただし、Ma 11,Mb 12,Mc 21,Md 22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、
前記色変換行列Aは、次の数式によって定義され、
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
混合後色空間からRGB色空間への変換は、次の数式に基づいて行われ、
ただし、(ATA)−1はATAの逆行列を表す請求項2に記載の画素混合方法。 - 前記画素混合演算に利用される画素数は、垂直方向n=3画素、水平方向m=3画素で、画素混合演算後の色は3種類の場合に、要するに、混合後3色方式の9画素混合において、
前記画素混合演算方程式は、次の数式によって定義され、
ただし、Ma 11,Mb 12,Mc 21,Ma 22は画素混合後の画素の色を表し、下付の二桁の数字は画素の位置を表し、また、cijを実数値を有する前記好適な画素混合重みを表し、
前記色変換行列Aは、次の数式によって定義され、
aijは前記好適な画素混合重みcijによって定められる実数値を有する係数で、aijと前記好適な画素混合重みcijとの間には、下記の数式で表す関係が成立し、
混合後色空間からRGB色空間への変換は、次の数式に基づいて行われ、
ただし、A−1はAの逆行列を表す請求項2に記載の画素混合方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005196157A JP5039966B2 (ja) | 2005-07-05 | 2005-07-05 | 画素混合方法 |
US11/994,566 US7932944B2 (en) | 2005-07-05 | 2006-06-01 | Pixel mixture method |
PCT/JP2006/311456 WO2007004386A1 (ja) | 2005-07-05 | 2006-06-01 | 画素混合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005196157A JP5039966B2 (ja) | 2005-07-05 | 2005-07-05 | 画素混合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007019605A JP2007019605A (ja) | 2007-01-25 |
JP5039966B2 true JP5039966B2 (ja) | 2012-10-03 |
Family
ID=37604261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005196157A Active JP5039966B2 (ja) | 2005-07-05 | 2005-07-05 | 画素混合方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7932944B2 (ja) |
JP (1) | JP5039966B2 (ja) |
WO (1) | WO2007004386A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101348365B1 (ko) * | 2006-08-02 | 2014-01-10 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 |
JP5378627B2 (ja) * | 2011-03-11 | 2013-12-25 | 富士フイルム株式会社 | 撮像装置およびその動作制御方法ならびに撮像システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3703175B2 (ja) * | 1995-07-31 | 2005-10-05 | キヤノン株式会社 | 撮像装置 |
JP3699873B2 (ja) * | 1999-10-27 | 2005-09-28 | オリンパス株式会社 | 画像処理装置 |
JP4278893B2 (ja) * | 2001-09-06 | 2009-06-17 | 富士フイルム株式会社 | 固体撮像装置 |
JP3877565B2 (ja) | 2001-10-04 | 2007-02-07 | 松下電器産業株式会社 | 撮像装置 |
JP3682482B2 (ja) * | 2002-04-24 | 2005-08-10 | コニカミノルタフォトイメージング株式会社 | 撮像装置 |
JP2004112768A (ja) * | 2002-08-29 | 2004-04-08 | Sanyo Electric Co Ltd | 撮像装置 |
JP2005109968A (ja) | 2003-09-30 | 2005-04-21 | Matsushita Electric Ind Co Ltd | カラー固体撮像装置 |
JP4695888B2 (ja) * | 2004-01-21 | 2011-06-08 | パナソニック株式会社 | 固体撮像装置及びその駆動方法 |
JP2006211610A (ja) * | 2005-01-31 | 2006-08-10 | Olympus Corp | 撮像システム |
-
2005
- 2005-07-05 JP JP2005196157A patent/JP5039966B2/ja active Active
-
2006
- 2006-06-01 WO PCT/JP2006/311456 patent/WO2007004386A1/ja active Application Filing
- 2006-06-01 US US11/994,566 patent/US7932944B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2007004386A1 (ja) | 2007-01-11 |
US20090027531A1 (en) | 2009-01-29 |
JP2007019605A (ja) | 2007-01-25 |
US7932944B2 (en) | 2011-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5007767B2 (ja) | 画像処理装置および方法 | |
TWI644568B (zh) | 攝像元件、攝像方法及攝像程式 | |
JP5106870B2 (ja) | 固体撮像素子 | |
US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
TWI422020B (zh) | 固態成像裝置 | |
JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
KR101136222B1 (ko) | 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치 | |
JP5011519B2 (ja) | 固体撮像素子の信号読み出し方法及び画像信号処理方法 | |
JP3968121B2 (ja) | 画像圧縮方法 | |
JP5109551B2 (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
WO2013046828A1 (ja) | 画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置 | |
EP2731334A1 (en) | Image pickup apparatus and image generating method | |
TW200926797A (en) | Imaging device and imaging element | |
JP2002209223A (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP2010130686A (ja) | イメージデータプロセス方法及びイメージセンサ、並びに集積回路 | |
JP4246428B2 (ja) | トーンスケール関数の生成方法 | |
JP5607265B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP5039966B2 (ja) | 画素混合方法 | |
EP1819175B1 (en) | Image processing apparatus, non-imaged color signal calculating apparatus and image processing method | |
JP2006135684A (ja) | 画像処理方法及び装置並びに撮像装置 | |
JP5624228B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP3926019B2 (ja) | 撮像装置 | |
JP2004336468A (ja) | 撮像装置及び画像処理方法 | |
JP3926023B2 (ja) | 撮像装置 | |
JP4945852B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の生成方法および装置、ならびにディジタルカメラ、携帯型ディジタル情報装置、ディジタルビデオプリンタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |