JP6842691B2 - カラー画像撮像素子、カラー画像撮像装置及びカラー画像撮像方法 - Google Patents
カラー画像撮像素子、カラー画像撮像装置及びカラー画像撮像方法 Download PDFInfo
- Publication number
- JP6842691B2 JP6842691B2 JP2017008086A JP2017008086A JP6842691B2 JP 6842691 B2 JP6842691 B2 JP 6842691B2 JP 2017008086 A JP2017008086 A JP 2017008086A JP 2017008086 A JP2017008086 A JP 2017008086A JP 6842691 B2 JP6842691 B2 JP 6842691B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- light
- component
- filter
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 description 22
- 230000000295 complement effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 239000003086 colorant Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 7
- 238000002834 transmittance Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 239000003638 chemical reducing agent Substances 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 235000005979 Citrus limon Nutrition 0.000 description 2
- 244000131522 Citrus pyriformis Species 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
Description
動画像に限らずカラー画像信号は、R(Red, 赤),G(Green, 緑),B(Blue, 青)の3原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは3原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、サブサンプリングされない4:4:4、水平方向に2分の1にサブサンプリングされた4:2:2、水平と垂直の両方で2分の1にサブンサンプリングされた4:2:0がある。各動画像カラーフォーマットは、規格で詳細に定義されており、テレビ放送などで広く使われている。
カラー画像撮像では、R,G,Bそれぞれのイメージセンサを持つ3板方式と、一枚のイメージセンサでセル(画素)ごとにR,G,Bを振り分ける単板方式がある。3板方式は、近年特殊な存在になりつつあり、スチルカメラでは存在せず、動画像でも3860×2160画素の4K画像カメラでは、ほぼすべてが単板方式になっている。
単板式カラー撮像装置では、イメージセンサから得られる画像(RAW画像)の各色は、セル(画素)が間引かれた状態になっているので、欠損画素を補間して全画素が揃った色プレーンを得る必要がある(例えば、特許文献1)。この欠損色補完処理は、デモザイキングと呼ばれている。基本的な処理としては、各色プレーンにおいて、その間引き構造に対応した2次元補間フィルタにより行う。Bayer配列の場合、GとR(B)で間引き構造が異なるので、補間フィルタは別のものとなる。この場合に、得られる解像度は間引き構造に応じたもので、2次元的にGで半分、R,Bでは4分の1となってしまう。
本発明の第1の実施形態の単板式カラー画像撮像装置について説明する。図2に本実施形態の単板式カラー画像撮像装置が備える色フィルタとその配置を示す。なお、本実施形態の特徴は色フィルタであり、撮像センサにおける他の機能(光学系、色フィルタ以外のセル構造、データ転送方法など)は、通常の単板式カラー画像撮像装置と共通である。
図2に本実施形態の色フィルタ配置を示す。図2(a)に示すPLSL配置は、ベイヤー配置のR,G,Bを、そのまま白色成分を加え、P,L,Sとしたもので、Lが1/2で,PとSがそれぞれ1/4存在する。wの値が小さく、比較的従来型に近い処理の場合は、この配置が妥当である。
カラー画像としては、最終的にR,G,B信号が必要となるが、P,L,SからR,G,Bへの変換は、輝度色差信号からRGB信号への変換などと同様に、マトリックス演算で実現できる。これはR,G,BからP,L,Sへの変換の逆変換であり、(1)式に対応するものは次式で表される。
次にRAW画像データからR,G,B画像データを得るまでの現像処理について説明する。図3に本実施形態の単板カラー画像撮像装置の機能ブロックを示す。イメージセンサ1の各受光セルの上述した淡色カラーフィルタを配置してなるカラー画像撮像素子で得られた各セルの光電変換値(RAW画像データ)は、デモザイキング2に与えられる。デモザイキング2は、一般的なR,G,Bに対する処理と同様にP,L,S等の各色プレーンの欠損画素を補間して、全画素の揃った各色プレーンを出力する。本実施形態では、補間処理は固定の線形フィルタにより行う。補間された信号を直ぐにR,G,Bに変換して出力しても良いが、成分ごとの処理を施すことで、本実施形態の効果をより高めることができる。
本実施形態を実現するためには、上述した淡色のカラーフィルタが必要になる。通常のカラーフィルタは、透明フィルム素材に染料を染み込ませるなどして作られ、透過における分光特性により、そのフィルタの色が決まる。現在のR,G,Bのカラーフィルタを、淡色(P,L,S)化するには、安易な方法としては、染料の量を減らして阻止される光の量を減らすことにより実現される。しかし、通常は抑圧される波長(色)について、完全に均一の特性でなくても、十分抑圧されていれば問題無いが、半分程度も透過させる場合は、透過率の違いが問題になる。例えばRをPにした場合、波長が近いGより波長が遠いBの方が、減衰は大きくなりやすい。この様な、フィルタ特性の理想との乖離に対する対策が必要になる。ここでは、3種類の方法を示す。
本発明の第2の実施形態の単板式カラー画像撮像装置について説明する。図5に本実施形態の色フィルタとその配置を示す。なお、本実施形態と上述した第1の実施形態との違いは色フィルタであり、他は共通である。本実施形態では、第1の実施形態で用いた原色系淡色カラーフィルタの代わりに、可視光全域の光を透過させるフィルタであって、3種類の原色成分のうち1の原色成分のみの透過率を減じた補色系淡色カラーフィルタを用いる。具体的な色は、白色からRを減じたものは明るいシアンでA(Aqua)、Gを減じたものは明るいマゼンタでV(Violet)、Bを減じたものは明るい黄色でE(Lemon)とする。補色系淡色カラーフィルタAは、第1の原色成分(R成分)をその余の原色成分(G成分,B成分)よりも少なく透過させ、補色系淡色カラーフィルタVは、第2の原色成分(G成分)をその余の原色成分(R成分,B成分)よりも少なく透過させ、補色系淡色カラーフィルタEは、第3の原色成分(B成分)をその余の原色成分(R成分,G成分)よりも少なく透過させる。なお、Lemonは、第1の実施形態でLight GreenをLとしたので、区別するために2文字目のEとする。R,G,BからA,V,Eへの変換マトリックスは、第1の実施形態で用いた原色系淡色フィルタと同様にR,G,B各成分の光の透過程度であるが、補色系淡色カラーフィルタにおいて、各原色成分の透過に対して透過が減らされる(阻止される)割合をc(color)として、次の変換マトリックスで表わされる。
本発明の第3の実施形態の単板式カラー画像撮像装置について説明する。図6は、本実施形態の単板式カラー画像撮像装置の機能ブロックを示したものである。本実施例形態は、より画質を高めるための画像信号処理を追加したもので、イメージセンサ1と淡色カラーフィルタからなるカラー画像撮像素子の構成は、第1の実施例形態や第2の実施例形態と同じである。
Claims (9)
- 単一のイメージセンサの各受光セルの上に可視光全域の光を透過させる色フィルタを配置してなる単板式のカラー画像撮像素子であって、
前記色フィルタは、
前記光に含まれる3つの原色成分のうち第1の原色成分を、その余の原色成分より多く透過させる第1の淡色フィルタと、
前記光に含まれる3つの原色成分のうち第2の原色成分を、その余の原色成分より多く透過させる第2の淡色フィルタと、
前記光に含まれる3つの原色成分のうち第3の原色成分を、その余の原色成分より多く透過させる第3の淡色フィルタと、
を含むカラー画像撮像素子。 - 単一のイメージセンサの各受光セルの上に可視光全域の光を透過させる色フィルタを配置してなる単板式のカラー画像撮像素子であって、
前記色フィルタは、
前記光に含まれる3つの原色成分のうち第1の原色成分を、その余の原色成分より少なく透過させる第1の淡色フィルタと、
前記光に含まれる3つの原色成分のうち第2の原色成分を、その余の原色成分より少なく透過させる第2の淡色フィルタと、
前記光に含まれる3つの原色成分のうち第3の原色成分を、その余の原色成分より少なく透過させる第3の淡色フィルタと、
を含み、
前記第1の淡色フィルタを含むセルと、前記第2の淡色フィルタを含むセルと、前記第3の淡色フィルタを含むセルは、前記各セルの一部に白色フィルタを含むカラー画像撮像素子。 - 請求項1または2に記載のカラー画像撮像素子を備える単板式のカラー画像撮像装置であって、
前記第1の淡色フィルタに対応する第1の淡色画像と前記第2の淡色フィルタに対応する第2の淡色画像と前記第3の淡色フィルタに対応する第3の淡色画像を取得する手段と、
3種類の前記淡色画像をマトリックス演算により白色成分と白色との色差成分に変換する手段と、
前記白色成分と前記色差成分をマトリックス演算により3種類の原色画像に変換する手段と、
を含むカラー画像撮像装置。 - 前記白色成分の鮮鋭化処理を実行する手段と、
前記白色成分のエッジに合わせて前記色差成分の急峻化処理と平坦化処理を実行する手段とを含む、
請求項3に記載のカラー画像撮像装置。 - 請求項1または2に記載のカラー画像撮像素子を備える単板式のカラー画像撮像装置であって、
前記カラー画像撮像素子の全セルに対応するRAW画像からローパスフィルタを使用して低周波数帯域に存在する白色成分を分離する手段と、
前記白色成分と前記RAW画像の残差から色差成分を取得する手段と、
前記白色成分と前記色差成分をマトリックス演算により3種類の原色画像に変換する手段と、
を含むカラー画像撮像装置。 - 前記分離する手段は、
前記白色成分に対する前記色差成分の相対量に応じて前記ローパスフィルタのカットオフ周波数を適応的に制御することを特徴とする、
請求項5に記載のカラー画像撮像装置。 - 前記色差成分の小振幅成分をカットするノイズ軽減手段を含み、該ノイズ軽減手段は、前記イメージセンサにおける光電変換された画像信号のゲインの大きさに応じてカットする小振幅の値を適応的に制御することを特徴とする、
請求項5または6に記載のカラー画像撮像装置。 - 請求項1または2に記載のカラー画像撮像素子を使用してカラー画像を撮像する方法であって、
前記第1の淡色フィルタに対応する第1の淡色画像と前記第2の淡色フィルタに対応する第2の淡色画像と前記第3の淡色フィルタに対応する第3の淡色画像を取得するステップと、
3種類の前記淡色画像をマトリックス演算により白色成分と白色との色差成分に変換するステップと、
前記白色成分と前記色差成分をマトリックス演算により3種類の原色画像に変換するステップと、
を含むカラー画像撮像方法。 - 請求項1または2に記載のカラー画像撮像素子を使用してカラー画像を撮像する方法であって、
前記カラー画像撮像素子の全セルに対応するRAW画像からローパスフィルタを使用して低周波数帯域に存在する白色成分を分離するステップと、
前記白色成分と前記RAW画像の残差から色差成分を取得するステップと、
前記白色成分と前記色差成分をマトリックス演算により3種類の原色画像に変換するステップと、
を含むカラー画像撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017008086A JP6842691B2 (ja) | 2017-01-20 | 2017-01-20 | カラー画像撮像素子、カラー画像撮像装置及びカラー画像撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017008086A JP6842691B2 (ja) | 2017-01-20 | 2017-01-20 | カラー画像撮像素子、カラー画像撮像装置及びカラー画像撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018117301A JP2018117301A (ja) | 2018-07-26 |
JP6842691B2 true JP6842691B2 (ja) | 2021-03-17 |
Family
ID=62985683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017008086A Active JP6842691B2 (ja) | 2017-01-20 | 2017-01-20 | カラー画像撮像素子、カラー画像撮像装置及びカラー画像撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6842691B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0832051B2 (ja) * | 1984-05-31 | 1996-03-27 | 日本電気株式会社 | カラー固体撮像装置 |
JP2649037B2 (ja) * | 1986-05-27 | 1997-09-03 | 松下電子工業株式会社 | 色分離フイルタ |
JPH0378388A (ja) * | 1989-08-22 | 1991-04-03 | Toshiba Corp | カラー固体撮像素子 |
JP2005184786A (ja) * | 2003-11-28 | 2005-07-07 | Victor Co Of Japan Ltd | ノイズ抑圧回路 |
JP2005354585A (ja) * | 2004-06-14 | 2005-12-22 | Olympus Corp | 画像処理装置、画像処理方法、及び画像処理プログラム |
US7855786B2 (en) * | 2006-01-09 | 2010-12-21 | Bae Systems Spectral Solutions Llc | Single camera multi-spectral imager |
JP5454156B2 (ja) * | 2010-01-14 | 2014-03-26 | 株式会社ニコン | 画像処理装置、撮像装置及び画像処理プログラム |
FR2959092B1 (fr) * | 2010-04-20 | 2013-03-08 | Centre Nat Rech Scient | Traitement numerique de compensation de signaux issus de photosites d'un capteur couleur. |
-
2017
- 2017-01-20 JP JP2017008086A patent/JP6842691B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018117301A (ja) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8199227B2 (en) | Image-signal processing apparatus for performing space-variant image-signal processing | |
JP5045421B2 (ja) | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム | |
US7973831B2 (en) | Solid-state image sensor and imaging apparatus using the same | |
EP1594321A2 (en) | Extended dynamic range in color imagers | |
US20060146064A1 (en) | Hexagonal color pixel structure with white pixels | |
US20120154596A1 (en) | Reducing noise in a color image | |
JPH0823543A (ja) | 撮像装置 | |
TWI504277B (zh) | 影像感測裝置、影像感測器的操作方法、串音修正方法以及偽色誤差修正方法 | |
US20090141149A1 (en) | Image processing apparatus and image processing method | |
US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
JP2006094112A (ja) | 撮像装置 | |
US20090009831A1 (en) | Image Processing Method, Image Capture Device, and Computer Readable Medium | |
US20140037207A1 (en) | System and a method of adaptively suppressing false-color artifacts | |
JP5454156B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP6842691B2 (ja) | カラー画像撮像素子、カラー画像撮像装置及びカラー画像撮像方法 | |
US9071803B2 (en) | Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program | |
JP5494249B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
US20060092440A1 (en) | Human visual system based design of color signal transformation in a color imaging system | |
JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
WO2018061615A1 (ja) | 撮像装置 | |
JP3410638B2 (ja) | ビデオカメラシステム | |
JP7203441B2 (ja) | 画像生成装置及び撮像装置 | |
JP3578246B2 (ja) | 固体撮像装置 | |
JP2003102021A (ja) | カラーテレビジョンカメラ | |
JP2001197508A (ja) | 電子カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6842691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |