JP5917160B2 - 撮像装置、画像処理装置、画像処理方法およびプログラム - Google Patents
撮像装置、画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP5917160B2 JP5917160B2 JP2012007003A JP2012007003A JP5917160B2 JP 5917160 B2 JP5917160 B2 JP 5917160B2 JP 2012007003 A JP2012007003 A JP 2012007003A JP 2012007003 A JP2012007003 A JP 2012007003A JP 5917160 B2 JP5917160 B2 JP 5917160B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- output
- imaging
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
また、カラーフィルタを透過して画素面に入射する光の光量が同一の場合であっても、PDに入射する光の波長によって光電変換率に差があるため、カラーフィルタの各色(RGB等)を透過する光の波長に応じて、PDに蓄積される電荷の量に差が出る。
複数の感度設定を切り替える感度設定手段と、
前記固体撮像素子から出力された出力信号を補正する補正手段と、
を備えた撮像システムにおいて、
前記感度設定手段によって設定可能である前記複数の感度ごとに、前記固体撮像素子からの出力信号を、複数の露出で取得し、
前記複数の露出で取得した出力信号から得た、色ごとの出力信号に基づいて、前記色ごとの出力信号の比を補正するための、色別の補正係数を、感度ごとに求めて記憶しておき、
前記感度設定手段によって設定された感度に応じて、前記色別の補正係数を使用して、前記固体撮像素子から出力された出力信号を補正する
ことを特徴とする。
図1は、本発明の実施形態における、撮像システムとしての撮像装置の構成例を示すブロック図である。
2は、後述の固体撮像素子の露光時間を制御するために、固体撮像素子の遮光を行う、メカニカルシャッタである。
3は、照射された光を電気信号に変換して出力する、固体撮像素子である。本発明の実施の形態における、固体撮像素子については、詳細は後述する。
4は、固体撮像素子3から出力された電気信号(アナログ信号である撮像信号)をデジタル画像信号に変換する、A/D変換器である。
5は、固体撮像素子3を動作させるために、駆動回路6に対して必要な信号を発生するタイミング信号発生回路である。
7は、固体撮像素子3から出力された撮像信号に必要な各種補正等の信号処理を行う、信号処理回路である。本実施例では、本発明に係わる信号補正を行なう補正手段として機能する。
8は、信号処理された画像データを記憶する画像メモリである。
9は、撮像装置から取り外し可能であり、画像データを記憶する、画像記録媒体である。
10は、信号処理された画像データを画像記録媒体9に記録する記録回路である。
12は、表示装置11に画像などを表示する表示回路である。
13は、撮像装置全体を制御するシステム制御部である。
14は、記憶手段としての不揮発性メモリ(ROM)である。不揮発性メモリ14には、システム制御部13で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、画像信号の各種補正に用いるデータを記憶しておく。
15は、揮発性メモリ(RAM)である。揮発性メモリ15には、不揮発性メモリ14に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部13が撮像装置を制御する際にロードして使用する。
17は、撮像装置が撮影動作を行うための、各種撮影準備動作の開始を指示するスイッチSw1である。
18は、撮像装置の撮影動作開始を指示するスイッチSw2である。
19は、撮像装置の撮影感度の設定を指示する、感度設定手段としての感度設定部である。
撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部13の動作開始時には、不揮発性メモリ14から、感度設定部19の設定に応じて、必要なプログラム、制御データ及び補正データが、揮発性メモリ15に転送され、記憶される。これらのプログラムやデータは、システム制御部13が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータが不揮発性メモリ14から揮発性メモリ15に転送され、或いは、システム制御部13が直接に不揮発性メモリ14内のデータを読み出して使用する。
図2は、図1の固体撮像素子3の一例としてのCMOSイメージセンサの等価回路図である。
時刻T2でPResがローレベルとなると、FDのリセットが解除され、FDの基準電位が決定される。
時刻T3で、行送りパルスPVがハイレベルとなり、また、PSe1がハイレベルとなり、選択MOS MSe1がオンとなってn行目の画素が選択される。
時刻T4でPTsとPTnがローレベルとなり、光信号保持容量CTsと、ノイズ信号保持容量CTnとのリセットが終了し、CTs、及びCTnの基準電位が決定される。
時刻T5でPC0Rがローレベルとなり、C0容量に基準電位VC0Rが保持される。
時刻T7でPTnがローレベルとなり、この時点でのFDの電位が、ノイズ信号(撮像信号の基準信号)としてノイズ信号保持容量CTnに保持される。
時刻T8でPTsがハイレベルとなり、FDの電位が、ノイズ信号保持容量CTsに出力される。
時刻T9でPTsがハイレベルの間に、PTxがハイレベルとなり、転送MOS M1がオンとなって、PDに蓄積されていた電荷がFDへと転送される。
時刻T10でPTxがローレベルとなり、転送MOS M1がオフされて、電荷のFDへの転送が終了する。
時刻T12でPResがハイレベルとなって、FDのリセットが開始される。
次に、単位画素あたりのPD、MTx、FD部の部分の断面構造を、図4に示す。同図において401はN型の半導体基板、402はP型のウェル、403はウェル402中に形成されたN型の半導体領域であり、ウェル402と領域403とでフォトダイオードPDが形成され、領域1103に信号電荷が蓄積される。
転送効率を高め、完全電荷転送を実現するためには、固体撮像素子の電荷転送路を、理想的に均一な構造にする必要がある。しかし、実際には、結晶の欠陥や汚染、製造時に生じる各部のサイズ及び不純物濃度等の僅かな誤差によって、転送路上にポテンシャルポケット等が発生し、これに数個レベルの電子が捕獲されて電荷の転送残りが生じ、転送効率が悪化してしまう。
また、PDは、入射する光の波長によって光電変換率に差があるため、カラーフィルタの各色(RGB等)を透過する光の波長に応じて、PDに蓄積される電荷の量に差が出る。
具体的には、撮像装置が使用されるシチュエーションに近い代表的な光源下(例えば自然光に近い分光分布を持つ白色光源下、等)で取得した画像から、感度設定部19で設定される感度ごとに、画素の色ごとにゲイン及びオフセットからなる色比補正係数を求める。この色比補正係数を、撮像装置の不揮発性メモリ(ROM)14にあらかじめ記憶させておき、感度設定部19で撮像装置に設定された感度に応じた補正係数を、信号処理回路7における画像信号の補正に用いるものとする。
黒レベル=基準レベル
とならずに、
黒レベル=基準レベル+オフセット
となってしまい、黒レベル付近の輝度の再現性が低下してしまう、すなわち、黒い部分が黒く写らず、暗部が浮いた画像となってしまう問題があるためである。したがって、本輝度成分に最も大きく寄与する色である、本実施例におけるG出力については、色比補正は行わずに、その他の色(R、B出力)についてのみ色比補正を行うこととする。
B(x)=a*G(x)+c ・・・ (1)
このときの近似式(1)を、図7(A)−7(C)に細実線で示した。
理論値のプロットの傾き、すなわち、目標とする色比B/G=dとしたとき、理論値は
B´(x)=d*G(x) ・・・ (2)
で表すことができる。
B´(x)=pB(x)+q ・・・ (3)
が成り立つようなゲインp、オフセットqを求めると、
d*G(x) =p*(a*G(x) +c)+q
d*G(x) =p*a*G(x) +p*c+q
ここで、p*c+q=0 としたとき
d=p*a より、p=d/a
q= -c*d/a
となって、目標とする色比d(=B/G)、近似式(1)の傾きaと切片cから、近似線が理論値に近づくように補正するための補正係数である、ゲインp=d/a及びオフセットq= -c*d/aの値を求めることができる。
Claims (11)
- 撮影感度を設定する感度設定手段と、
前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段と、
前記感度設定手段で設定可能な撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段と、
前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段と、を備え、
前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値であることを特徴とする撮像装置。 - 前記補正手段は、前記撮像手段から出力された撮像信号に含まれる前記所定色の出力信号を、その出力レベルに因らずに前記色比補正係数を用いて補正し、前記所定色と異なる他色の出力信号を、その出力レベルに因らずに前記色比補正係数とは別に定められた所定の補正係数を用いて補正することを特徴とする請求項1に記載の撮像装置。
- 前記補正手段は、前記撮像手段から出力された撮像信号に含まれる前記所定色の出力信号の出力レベルを判定し、当該出力レベルが所定のレベルより低い場合は、前記色比補正係数を用いる補正を行わずに、他の補正方法により補正することを特徴とする請求項1に記載の撮像装置。
- 前記他の補正方法は、前記色比補正係数とは別に定められた所定の補正係数を用いる補正であることを特徴とする請求項3に記載の撮像装置。
- 前記所定のレベルは、前記所定色の出力信号の画素に対して所定の位置関係にある周辺画素の出力信号から設定される値であり、前記他の補正方法は、前記対応する色の色比補正係数を用いて補正された所定色の出力信号のレベルに応じて異なる所定の信号のいずれかを補正された出力信号として出力する補正であることを特徴とする請求項3に記載の撮像装置。
- 前記所定の位置関係にある周辺画素は、前記所定色の出力信号の画素に隣接し、前記他の色の出力信号を出力する画素であり、前記他の補正方法において出力される異なる所定の信号は、前記対応する色の色比補正係数を用いて補正された前記所定色の出力信号および黒レベルに対応する出力信号であり、前記補正手段は、前記対応する色の色比補正係数を用いて補正された前記所定色の出力信号のレベルが前記所定のレベルを超えたときに前記黒レベルに対応する出力信号を補正信号として出力することを特徴とする請求項5に記載の撮像装置。
- 前記色比補正係数とは別に定められた補正係数は、ゲインが1でオフセットが0であることを特徴とする請求項2乃至6のいずれか一項に記載の撮像装置。
- 前記所定色と異なる他色の出力信号は、前記撮像信号の輝度成分に最も寄与する色の出力信号であることを特徴とする請求項1乃至7のいずれか一項に記載の撮像装置。
- 撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置から出力される前記撮像信号を処理する画像処理装置であり、
前記感度設定手段で設定可能な各撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段と、
前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段と、を備え、
前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって形成される値であることを特徴とする画像処理装置。 - 撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置から出力される前記撮像信号を処理する画像処理方法であり、
前記感度設定手段で設定可能な撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶手段に記憶する記憶ステップと、
前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正ステップと、を備え、
前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値であることを特徴とする画像処理方法。 - コンピュータを、
撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置の制御方法において、
前記感度設定手段で設定可能な各撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段、
前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段、として機能させ、
前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値である、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012007003A JP5917160B2 (ja) | 2012-01-17 | 2012-01-17 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012007003A JP5917160B2 (ja) | 2012-01-17 | 2012-01-17 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013150051A JP2013150051A (ja) | 2013-08-01 |
JP5917160B2 true JP5917160B2 (ja) | 2016-05-11 |
Family
ID=49047172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012007003A Active JP5917160B2 (ja) | 2012-01-17 | 2012-01-17 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5917160B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10785439B2 (en) | 2017-12-15 | 2020-09-22 | Canon Kabushiki Kaisha | Image sensor comprising detection error correction using correction coefficient based on count values from plural pixels |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6425448B2 (ja) * | 2014-07-31 | 2018-11-21 | キヤノン株式会社 | 光電変換装置、および、撮像システム |
JP6907060B2 (ja) * | 2017-07-21 | 2021-07-21 | キヤノン株式会社 | 撮像素子および撮像装置 |
JP7039262B2 (ja) * | 2017-11-20 | 2022-03-22 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2896007B2 (ja) * | 1992-02-28 | 1999-05-31 | 三洋電機株式会社 | ディジタルカメラ信号処理回路 |
JP4678824B2 (ja) * | 2004-11-30 | 2011-04-27 | キヤノン株式会社 | 撮像装置、画像処理装置、及び画像処理方法 |
JP4514138B2 (ja) * | 2005-02-21 | 2010-07-28 | 株式会社リコー | 固体撮像素子の駆動方法およびデジタルカメラ |
JP2007036353A (ja) * | 2005-07-22 | 2007-02-08 | Fujifilm Holdings Corp | 撮像装置 |
JP2007049533A (ja) * | 2005-08-11 | 2007-02-22 | Sharp Corp | 撮像装置および電子情報機器 |
JP2007274226A (ja) * | 2006-03-30 | 2007-10-18 | Sony Corp | 画像処理装置および方法、情報処理装置および方法、プログラム、並びに記録媒体 |
JP5008123B2 (ja) * | 2006-10-26 | 2012-08-22 | 株式会社日立国際電気 | テレビジョンカメラ |
-
2012
- 2012-01-17 JP JP2012007003A patent/JP5917160B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10785439B2 (en) | 2017-12-15 | 2020-09-22 | Canon Kabushiki Kaisha | Image sensor comprising detection error correction using correction coefficient based on count values from plural pixels |
US11089256B2 (en) | 2017-12-15 | 2021-08-10 | Canon Kabushiki Kaisha | Image sensor with correction of detection error |
Also Published As
Publication number | Publication date |
---|---|
JP2013150051A (ja) | 2013-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100617781B1 (ko) | 이미지 센서의 화질 개선장치 및 방법 | |
CN111432099B (zh) | 图像传感器、处理***及方法、电子设备和存储介质 | |
US9287316B2 (en) | Systems and methods for mitigating image sensor pixel value clipping | |
WO2021208593A1 (zh) | 高动态范围图像处理***及方法、电子设备和存储介质 | |
US8169518B2 (en) | Image pickup apparatus and signal processing method | |
US8456546B2 (en) | Solid-state imaging device, signal processing device and signal processing method for solid-state imaging device, and imaging apparatus | |
US7952621B2 (en) | Imaging apparatus having temperature sensor within image sensor wherin apparatus outputs an image whose quality does not degrade if temperature increases within image sensor | |
WO2021212763A1 (zh) | 高动态范围图像处理***及方法、电子设备和可读存储介质 | |
US20100309340A1 (en) | Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array | |
US20230239589A1 (en) | Solid state image sensor and electronic equipment | |
US7645978B2 (en) | Image sensing apparatus and image sensing method using image sensor having two or more different photoelectric conversion characteristics | |
US20180338096A1 (en) | Image processing appartatus | |
JPWO2006049098A1 (ja) | イメージセンサ | |
JP6346479B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2004260699A (ja) | 撮像装置、撮像方法、及びプログラム | |
US20030184673A1 (en) | Automatic exposure control for digital imaging | |
JP2008271123A (ja) | 撮像装置 | |
JP5917160B2 (ja) | 撮像装置、画像処理装置、画像処理方法およびプログラム | |
JP2016167773A (ja) | 撮像装置及び撮像装置の処理方法 | |
US20230247308A1 (en) | Image processing method, camera assembly and mobile terminal | |
US10623674B2 (en) | Image processing device, image processing method and computer readable recording medium | |
CN108432239B (zh) | 固体摄像装置、固体摄像装置的驱动方法以及电子设备 | |
JP2009177436A (ja) | 固体撮像装置、信号処理装置、および電子情報機器 | |
TW202226824A (zh) | 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器 | |
JP6564239B2 (ja) | 高ダイナミックレンジ撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20130701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160406 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5917160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |