JP2020017910A - ストリーキング補正回路、撮像装置、及び、電子機器 - Google Patents
ストリーキング補正回路、撮像装置、及び、電子機器 Download PDFInfo
- Publication number
- JP2020017910A JP2020017910A JP2018141166A JP2018141166A JP2020017910A JP 2020017910 A JP2020017910 A JP 2020017910A JP 2018141166 A JP2018141166 A JP 2018141166A JP 2018141166 A JP2018141166 A JP 2018141166A JP 2020017910 A JP2020017910 A JP 2020017910A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- pixel
- signal
- light
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】撮像画面内の特徴的なオフセットやノイズに対して効果的にノイズ抑制を行うことができるストリーキング補正回路を提供する。【解決手段】本開示のストリーキング補正回路は、受光部を含む画素が行列状に配置されて成る画素アレイ部の端部に設けられた遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成る。そして、補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成する。補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う。【選択図】 図7
Description
本開示は、ストリーキング補正回路、撮像装置、及び、電子機器に関する。
撮像装置では、種々の要因によって、撮像画像に水平方向(即ち、行列状の画素配列の行方向)にストリーキングと称される筋状のノイズが生じる場合がある。このストリーキングに起因する画質の劣化を抑制するために、撮像装置の信号処理部には、ストリーキング補正回路が設けられている。
従来、ストリーキング補正回路では、画素アレイ部の水平方向の両端部に設けられた遮光部の遮光画素の信号から黒レベルやノイズレベルを検出し、この検出したレベルに基づいて、左右平均や線形補間などによって補正値を算出し、この算出した補正値を用いて補正を行うようにしていた(例えば、特許文献1参照)。
上記の特許文献1に記載の従来技術では、遮光画素の信号から求められる補正値や、εフィルタやメディアンフィルタにより算出される値をベースとして補正値を求めようにしているため、撮像画面内のある領域に限定した補正値を算出することができない。そのため、撮像画面内の特徴的なオフセットやノイズに対して効果的にノイズ抑制を行うことができず、補正残りが発生してしまうことがある。
そこで、本開示は、撮像画面内の特徴的なオフセットやノイズに対して効果的にノイズ抑制を行うことができるストリーキング補正回路、当該ストリーキング補正回路を用いる撮像装置、及び、当該撮像装置を有する電子機器を提供することを目的とする。
上記の目的を達成するための本開示のストリーキング補正回路は、
受光部を含む画素が行列状に配置されて成る画素アレイ部の端部に設けられた遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行うことを特徴としている。
受光部を含む画素が行列状に配置されて成る画素アレイ部の端部に設けられた遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行うことを特徴としている。
上記の目的を達成するための本開示の撮像装置は、上記の構成のストリーキング補正回路を用いることを特徴としている。また、上記の目的を達成するための本開示の電子機器は、当該撮像装置を有することを特徴としている。
本開示によれば、撮像画面内の特徴的なオフセットやノイズに対して効果的にノイズ抑制を行うことができる。尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。
以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示のストリーキング補正回路、撮像装置、及び、電子機器、全般に関する説明
2.本開示の撮像装置
2−1.CMOSイメージセンサの構成例
2−2.画素の構成例
2−3.チップ構造について
2−4.ストリーキングについて
3.本開示の実施形態
3−1.実施例1(ストリーキング補正回路の基本形)
3−2.実施例2(領域別補正値算出部の具体的な構成例)
4.変形例
5.応用例
6.本開示の電子機器(カメラモジュールの例)
7.本開示がとることができる構成
1.本開示のストリーキング補正回路、撮像装置、及び、電子機器、全般に関する説明
2.本開示の撮像装置
2−1.CMOSイメージセンサの構成例
2−2.画素の構成例
2−3.チップ構造について
2−4.ストリーキングについて
3.本開示の実施形態
3−1.実施例1(ストリーキング補正回路の基本形)
3−2.実施例2(領域別補正値算出部の具体的な構成例)
4.変形例
5.応用例
6.本開示の電子機器(カメラモジュールの例)
7.本開示がとることができる構成
<本開示のストリーキング補正回路、撮像装置、及び、電子機器、全般に関する説明>
本開示のストリーキング補正回路、撮像装置、及び、電子機器にあっては、撮像画像内の特異点について、ノイズ発生源によるノイズである構成とすることができる。そして、ノイズ発生源としては、画素アレイ部に配線された電源線を例示することができる。
本開示のストリーキング補正回路、撮像装置、及び、電子機器にあっては、撮像画像内の特異点について、ノイズ発生源によるノイズである構成とすることができる。そして、ノイズ発生源としては、画素アレイ部に配線された電源線を例示することができる。
上述した好ましい構成を含む本開示のストリーキング補正回路、撮像装置、及び、電子機器にあっては、補正信号生成部について、遮光部の遮光画素のうち、輝度レベルが所定の閾値を超える欠陥画素のデータを除いた遮光画素の画素データの平均値を算出し、この算出した平均値から補正信号を生成する構成とすることができる。また、補正信号生成部について、メディアンフィルタを用いて、欠陥画素のデータを除いた遮光画素の画素データの平均値を算出する構成とすることができる。
また、上述した好ましい構成を含む本開示のストリーキング補正回路、撮像装置、及び、電子機器にあっては、複数の領域に分割するに当たって、分割する領域数及び各領域のサイズについて、任意に設定可能な構成とすることができる。
また、上述した好ましい構成を含む本開示の撮像装置にあっては、補正信号生成部について、予め取得した補正信号を書き込む不揮発性メモリを有する構成とすることができる。そして、補正信号生成部は、撮像装置の起動時に、不揮発性メモリから補正信号を読み出して、補正処理部での補正処理に供するようにする。不揮発性メモリに書き込まれる補正信号については、撮像装置の出荷前の評価測定結果から導き出される構成とすることができる。
<本開示の撮像装置>
本開示の技術が適用される撮像装置の基本的な構成について説明する。ここでは、撮像装置として、X−Yアドレス方式の撮像装置の一種であるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを例に挙げて説明する。CMOSイメージセンサは、CMOSプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。
本開示の技術が適用される撮像装置の基本的な構成について説明する。ここでは、撮像装置として、X−Yアドレス方式の撮像装置の一種であるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを例に挙げて説明する。CMOSイメージセンサは、CMOSプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。
[CMOSイメージセンサの構成例]
図1は、本開示の撮像装置の一例であるCMOSイメージセンサの基本的な構成の概略を示すブロック図である。
図1は、本開示の撮像装置の一例であるCMOSイメージセンサの基本的な構成の概略を示すブロック図である。
本例に係るCMOSイメージセンサ1は、受光素子(光電変換部)を含む画素20が行方向及び列方向に、即ち、行列状に2次元配置されて成る画素アレイ部11、及び、当該画素アレイ部11の周辺回路部を有する構成となっている。ここで、行方向とは、画素行の画素20の配列方向、即ち、画素行に沿った方向(所謂、水平方向)を言う。また、列方向とは、画素列の画素20の配列方向、即ち、画素列に沿った方向(所謂、垂直方向)を言う。画素20は、光電変換を行うことにより、受光した光量に応じた電荷量の光電荷を生成し、蓄積する。
画素アレイ部11の周辺回路部は、例えば、行選択部12、サンプル&ホールド部13、アナログ−デジタル変換部14、水平転送走査部15、並び替え部16、信号処理部17、切り出し部18、及び、出力I/F(インターフェース)部19等の各回路部によって構成されている。
画素アレイ部11において、行列状の画素配列に対し、画素行毎に画素駆動線311〜31m(以下、総称して「画素駆動線31」と記述する場合がある)が行方向に沿って配線されている。また、画素列毎に垂直信号線321〜32n(以下、総称して「垂直信号線32」と記述する場合がある)が列方向に沿って配線されている。画素駆動線31は、画素20から信号を読み出す際の駆動を行うための駆動信号を伝送する。図1では、画素駆動線31について1本の配線として図示しているが、1本に限られるものではない。画素駆動線31の一端は、行選択部12の各行に対応した出力端に接続されている。
以下に、画素アレイ部11の周辺回路部の各回路部、即ち、行選択部12、サンプル&ホールド部13、アナログ−デジタル変換部14、水平転送走査部15、並び替え部16、信号処理部17、切り出し部18、及び、出力I/F(インターフェース)部19の各機能について説明する。
行選択部12は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部11の各画素20の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部12は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の2つの走査系を有する構成となっている。
読出し走査系は、画素20から画素信号を読み出すために、画素アレイ部11の画素20を行単位で順に選択走査する。画素20から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
この掃出し走査系による掃出し走査により、読出し行の画素20の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す(リセットする)ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する(光電荷の蓄積を開始する)動作のことを言う。
サンプル&ホールド部13は、垂直信号線321〜32nの各々を通して供給される画素信号をサンプリングし、保持する(サンプルホールド)。
アナログ−デジタル変換部14は、画素アレイ部11の画素列に対応して設けられた、例えば、画素列毎に設けられた複数のアナログ−デジタル変換器の集合から成る。アナログ−デジタル変換部14は、画素列毎に垂直信号線321〜32nの各々を通して出力されるアナログの画素信号をデジタル信号に変換する列並列型のアナログ−デジタル変換部である。
水平転送走査部15は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部11の各画素20の信号の読出しに際して、画素列の走査や画素列のアドレスを制御する。この水平転送走査部15による制御の下に、アナログ−デジタル変換部14でデジタル信号に変換された画素データが画素列単位で読み出される。
並び替え部16は、水平転送走査部15を通して読み出される画素データを、画素アレイ部11の画素20の配列に対応した並びに並び替える処理を行う。
信号処理部17は、水平転送線18を通して供給されるデジタルの画素信号に対して、所定の信号処理を行い、2次元の画像データを生成する。所定の信号処理としては、ノイズ除去処理、例えばCDS(Correlated Double Sampling;相関二重サンプリング)処理などを例示することができる。CDS処理では、選択行の各画素20から出力されるリセットレベルと信号レベルとを取り込み、これらのレベル差を取ることによって1行分の画素の信号を得るとともに、画素20の固定パターンノイズを除去する処理が行われる。
信号処理部17は更に、機能部の一つとして、撮像画像に行方向(水平方向)に沿って生じるストリーキングを補正するためのストリーキング補正回路40を有している。ストリーキング補正回路40の構成及び動作の詳細については後述する。
切り出し部18は、信号処理部17を経た撮像データに対して、必要に応じて、撮像画像の特定の領域のデータを切り出す処理を行う。出力I/F部19は、切り出し部18を通過した撮像データ、又は、切り出し部18で切り出された撮像データをセンサ出力として、CMOSイメージセンサ1外へ出力する。
以上説明した行選択部12、サンプル&ホールド部13、アナログ−デジタル変換部14、水平転送走査部15、並び替え部16、信号処理部17、及び、切り出し部18の各回路部は、システム制御部10による制御の下に、上述した各機能を実行する。システム制御部10は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これら生成した信号を基に、各回路部の駆動制御を行う。
[画素の回路構成例]
図2は、画素20の回路構成の一例を示す回路図である。画素20は、受光素子(光電変換部)として、例えば、フォトダイオード21を有している。画素20は、フォトダイオード21に加えて、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25を有する画素構成となっている。
図2は、画素20の回路構成の一例を示す回路図である。画素20は、受光素子(光電変換部)として、例えば、フォトダイオード21を有している。画素20は、フォトダイオード21に加えて、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25を有する画素構成となっている。
尚、ここでは、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25の4つのトランジスタとして、例えばNチャネルのMOS型電界効果トランジスタ(Field effect transistor:FET)を用いている。但し、ここで例示した4つのトランジスタ22〜25の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
この画素20に対して、先述した画素駆動線31として、複数の画素駆動線が同一画素行の各画素20に対して共通に配線されている。これら複数の画素駆動線は、行選択部12の各画素行に対応した出力端に画素行単位で接続されている。行選択部12は、複数の画素駆動線に対して転送信号TRG、リセット信号RST、及び、選択信号SELを適宜出力する。
フォトダイオード21は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷(ここでは、光電子)に光電変換してその光電荷を蓄積する。フォトダイオード21のカソード電極は、転送トランジスタ22を介して増幅トランジスタ24のゲート電極と電気的に接続されている。ここで、増幅トランジスタ24のゲート電極が電気的に繋がった領域は、フローティングディフュージョン(浮遊拡散領域/不純物拡散領域)FDである。フローティングディフュージョンFDは、電荷を電圧に変換する電荷電圧変換部である。
転送トランジスタ22のゲート電極には、高レベル(例えば、VDDレベル)がアクティブとなる転送信号TRGが行選択部12から与えられる。転送トランジスタ22は、転送信号TRGに応答して導通状態となることで、フォトダイオード21で光電変換され、当該フォトダイオード21に蓄積された光電荷をフローティングディフュージョンFDに転送する。
リセットトランジスタ23は、高電位側電源電圧VDDのノードとフローティングディフュージョンFDとの間に接続されている。リセットトランジスタ23のゲート電極には、高レベルがアクティブとなるリセット信号RSTが行選択部12から与えられる。リセットトランジスタ23は、リセット信号RSTに応答して導通状態となり、フローティングディフュージョンFDの電荷を電圧VDDのノードに捨てることによってフローティングディフュージョンFDをリセットする。
増幅トランジスタ24は、ゲート電極がフローティングディフュージョンFDに、ドレイン電極が高電位側電源電圧VDDのノードにそれぞれ接続されている。増幅トランジスタ24は、フォトダイオード21での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。すなわち、増幅トランジスタ24は、ソース電極が選択トランジスタ25を介して垂直信号線32に接続される。そして、増幅トランジスタ24と、垂直信号線32の一端に接続される電流源Iとは、フローティングディフュージョンFDの電圧を垂直信号線32の電位に変換するソースフォロワを構成している。
選択トランジスタ25は、ドレイン電極が増幅トランジスタ24のソース電極に接続され、ソース電極が垂直信号線32に接続されている。選択トランジスタ25のゲート電極には、高レベルがアクティブとなる選択信号SELが行選択部12から与えられる。選択トランジスタ25は、選択信号SELに応答して導通状態となることで、画素20を選択状態として増幅トランジスタ24から出力される信号を垂直信号線32に伝達する。
尚、選択トランジスタ25については、高電位側電源電圧VDDのノードと増幅トランジスタ24のドレイン電極との間に接続する回路構成を採ることもできる。また、本例では、画素20の画素回路として、転送トランジスタ22、リセットトランジスタ23、増幅トランジスタ24、及び、選択トランジスタ25から成る、即ち4つのトランジスタ(Tr)から成る4Tr構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ25を省略し、増幅トランジスタ24に選択トランジスタ25の機能を持たせる3Tr構成とすることもできるし、必要に応じて、トランジスタの数を増やした5Tr以上の構成とすることもできる。
[チップ構造について]
上述したCMOSイメージセンサ1のチップ構造は、図1から明らかなように、所謂、平置構造となっている。平置構造は、画素アレイ部11の周辺回路部、即ち、システム制御部10、行選択部12、サンプル&ホールド部13、アナログ−デジタル変換部14、水平転送走査部15、並び替え部16、信号処理部17、切り出し部18、及び、出力I/F部19を、画素アレイ部11と同じ半導体基板(半導体チップ)に形成したチップ構造である。
上述したCMOSイメージセンサ1のチップ構造は、図1から明らかなように、所謂、平置構造となっている。平置構造は、画素アレイ部11の周辺回路部、即ち、システム制御部10、行選択部12、サンプル&ホールド部13、アナログ−デジタル変換部14、水平転送走査部15、並び替え部16、信号処理部17、切り出し部18、及び、出力I/F部19を、画素アレイ部11と同じ半導体基板(半導体チップ)に形成したチップ構造である。
CMOSイメージセンサ1のチップ構造としては、平置構造に限られるものではなく、所謂、積層構造とすることもできる。積層構造は、画素アレイ部11が形成された半導体基板とは異なる少なくとも1枚の半導体基板に、画素アレイ部11の周辺回路部を形成したチップ構造である。この積層構造によれば、1層目の半導体基板として画素アレイ部11を形成できるだけの大きさ(面積)のもので済むため、1層目の半導体基板のサイズ、ひいては、チップ全体のサイズを小さくできる。更に、1層目の半導体基板には画素20の作製に適したプロセスを適用でき、他の半導体基板には回路部分の作製に適したプロセスを適用できるため、CMOSイメージセンサ1の製造に当たって、プロセスの最適化を図ることができるメリットもある。
[ストリーキングについて]
ところで、CMOSイメージセンサ1では、種々の要因によって、撮像画像に筋状のノイズであるストリーキングが生じる場合がある。一例として、高輝度名被写体を撮像した場合に、水平方向(行方向)に沿ってストリーキングが生じる。そして、ストリーキングの発生によって画質が劣化(悪化)する。このストリーキングに起因する画質の劣化を抑制するために、信号処理部17にストリーキング補正回路40が設けられている。
ところで、CMOSイメージセンサ1では、種々の要因によって、撮像画像に筋状のノイズであるストリーキングが生じる場合がある。一例として、高輝度名被写体を撮像した場合に、水平方向(行方向)に沿ってストリーキングが生じる。そして、ストリーキングの発生によって画質が劣化(悪化)する。このストリーキングに起因する画質の劣化を抑制するために、信号処理部17にストリーキング補正回路40が設けられている。
ストリーキング補正回路40では、一般的に、画素アレイ部11の水平方向の両端部に設けられた遮光部の遮光画素の信号から黒レベルやノイズレベルを検出し、この検出したレベルに基づいて、左右平均や線形補間などによって補正値を算出し、この算出した補正値を用いてストリーキング補正を行うようにしている。
このストリーキング補正において、遮光画素の信号から求められる補正値や、εフィルタやメディアンフィルタにより算出される値をベースとして補正値を求めようとすると、撮像画面内のある領域に限定した補正値を算出することができない。そのため、撮像画像内の特徴的なオフセットやノイズ、即ち、撮像画像内の特異点に対して効果的にノイズ抑制を行うことができず、補正残りが発生してしまうことがある。
以下では、撮像画像内の特徴的なオフセットやノイズを、撮像画像内の特異点とする。そして、撮像画像内の特異点は、ノイズ発生源によるノイズということができる。ノイズ発生源としては、例えば、図3に示すように、画素アレイ部11内に列方向(即ち、画素列に沿った方向/垂直方向)に沿って配線された電源線30を例示することができる。画素アレイ部11内に配線された電源線30に電流が流れると、当該電流に起因して、行方向(即ち、画素行に沿った方向/水平方向)に筋状のノイズ、即ち、ストリーキングが発生する。
ノイズ発生源となり得る電源線30は、画素アレイ部11の複数の画素列を単位として一本ずつ列方向に沿って配線される。従って、画素アレイ部11内には、電源線30が列方向に沿って複数本(例えば、数本あるいは十数本)配線されることになる。そして、これらの電源線30から、各電源線30に属する複数の画素列の各画素20に対して、画素行毎に電源電圧VDDが振り分けられることになる。
ここで、電源線30に流れる電流に起因して発生するストリーキングについて、図4を用いて説明する。図4Aは、画素アレイ部11内に配線された2本の電源線30A,30Bの一部を示す図であり、図4Bは、1つの画素行に属する一部の画素回路の等価回路図である。
図4Aの左側の電源線30Aのバイアス電圧をバイアスAとし、右側の電源線30Bのバイアス電圧をバイアスBとするとき、電源線30Aと電源線30Bとの間に電位差が存在しなければ(バイアスA=バイアスB)、ストリーキングが発生することがない。
しかし、電源線30Aと電源線30Bとの間に電位差(=バイアスA−バイアスB)が存在する場合は、当該電位差が抵抗分圧されるため、図4Cに示すように、2つの電源線30A−電源線30B間で画素トランジスタのバイアス電圧が傾斜状に変化し、ストリーキングが発生する。画素トランジスタのバイアス電圧は、画素20の増幅トランジスタ24(図2参照)のゲート−ソース間電圧VGSである。接地電位GNDに揺れが有る場合の画素トランジスタのバイアス電圧の変化を図4Dに示す。そして、このバイアス差起因のストリーキングの形状は、2つの電源線30A−電源線30B間で傾斜状になると想定される。
上述したような撮像画像内の特徴的なオフセットやノイズ、即ち、撮像画像内の特異点については、遮光画素から黒レベルやノイズレベルを検出し、その値を左右平均や線形補間等による補正値を算出する補正処理(例えば、特許文献1参照)では、効果的にノイズ抑制を行うことができない。
<本開示の実施形態>
本開示の実施形態では、撮像画像内の特異点をノイズ発生源によるノイズとし、ノイズ発生源を、例えば、画素アレイ部11に配線された電源線30をノイズ発生源とする。そして、電源線30に流れる電流に起因して発生するノイズなど、撮像画面内の特徴的なオフセットやノイズに対して、効果的にノイズ抑制を行うことができるようにする。
本開示の実施形態では、撮像画像内の特異点をノイズ発生源によるノイズとし、ノイズ発生源を、例えば、画素アレイ部11に配線された電源線30をノイズ発生源とする。そして、電源線30に流れる電流に起因して発生するノイズなど、撮像画面内の特徴的なオフセットやノイズに対して、効果的にノイズ抑制を行うことができるようにする。
具体的には、図5に示すように、画素アレイ部11の例えば行方向の端部に設けられた遮光部11Aの水平遮光画素20Aの信号を基に補正信号を生成し、当該補正信号を用いて、有効画素領域の各画素20の信号に対して補正処理を行うようにする。このとき、撮像画像内の特異点の位置、例えば、ノイズ発生源である電源線30に流れる電流に起因して発生するノイズの位置を基準として、撮像画像を複数の領域に分割する。例えば、撮像画像を行方向(水平方向)において複数の領域に分割する。具体的には、1画素行(1ライン)分の画像を複数の領域に分割する。そして、分割した各領域毎に水平遮光画素20Aの信号を用いて補正信号を生成し、分割した各領域毎に生成された補正信号を用いて補正処理を行うようにする。
複数の領域に分割するに当たって、分割する領域数及び各領域のサイズを任意に設定可能である。具体的には、分割する領域数について、画サイズや補正対象の特異点に応じて可変とすることができる。また、分割した領域のサイズについて、各領域毎に可変とすることができる。
ところで、ノイズ発生源を電源線30とするとき、例えば図4Aの電源線30A−電源線30B間で、ストリーキングの原因となる電位差が常に発生するとは限らないし、電位差が発生しない場合もある。これは、撮像装置(本実施形態では、CMOSイメージセンサ1)個々の固有の特性である。すなわち、電源線30に流れる電流に起因してノイズが発生するか否かは撮像装置によって異なる。
従って、撮像画像を複数の領域に分割するに当たっては、撮像装置毎に、領域分割の基準となるノイズの位置情報、即ち、特徴点の位置情報を予め取得しておく必要がある。特徴点の位置情報については、撮像装置の出荷前の検証や評価測定等において予め取得することになる。そして、予め取得した特徴点の位置情報は、信号処理部17内のストリーキング補正回路40に与えられ、撮像画像を複数の領域に分割する際の情報として用いられる。
以下に、撮像画面内の特徴的なオフセットやノイズに対して、効果的にノイズ抑制を行うための本実施形態の具体的な実施例について説明する。
[実施例1]
実施例1は、ストリーキングの補正を行うストリーキング補正回路の基本形である。実施例1に係るストリーキング補正回路40の回路構成の一例を図6に示す。
実施例1は、ストリーキングの補正を行うストリーキング補正回路の基本形である。実施例1に係るストリーキング補正回路40の回路構成の一例を図6に示す。
図6に示すように、実施例1に係るストリーキング補正回路40は、白点除去部41、平均値算出部42、領域別補正値算出部43、及び、減算部44を有する構成となっており、図1の並び替え部16を経た撮像データを入力データとしている。
白点除去部41は、入力データの水平遮光画素20Aの輝度レベルが、任意に設定した所定の閾値を超える画素を欠陥画素(白点)と判断し、当該欠陥画素のデータを、次段の平均値算出部42での平均値算出から除外する処理を行う。平均値算出部42は、白点除去部41で欠陥画素のデータが除去された画素データに対して、例えば周知のメディアンフィルタを用いて平均値を算出する処理を行う。メディアンフィルタは、注目画素を周りの画素の濃度の中央値(メディアン)に変換する処理を行う。
領域別補正値算出部43は、撮像画像を複数の領域に分割した場合、本実施例にあっては、1ライン(1画素行)分の画像を複数の領域に分割した場合における領域別の補正信号を、平均値算出部42で算出された平均値に基づいて算出する処理を行う。減算部44は、画素アレイ部11の遮光部11Aを除く有効画素部の画素20のデータから、領域別補正値算出部43で算出された領域別の補正値を減算することによってストリーキングの補正処理を行う。
上記の構成のストリーキング補正回路40において、白点除去部41、平均値算出部42、及び、領域別補正値算出部43が、遮光部11Aの水平遮光画素20Aの信号を基に補正信号(以下、「補正値」と記述する場合がある)を生成する補正信号生成部を構成している。また、減算部44が、補正信号生成部で生成された補正値を用いて、有効画素領域の画素(有効画素)20の信号に対して補正処理を行う補正処理部を構成している。
[実施例2]
実施例2は、実施例1に係るストリーキング補正回路40における領域別補正値算出部43の具体的な構成例である。実施例2に係る領域別補正値算出部43の具体的な構成の一例を図7に示す。
実施例2は、実施例1に係るストリーキング補正回路40における領域別補正値算出部43の具体的な構成例である。実施例2に係る領域別補正値算出部43の具体的な構成の一例を図7に示す。
実施例2に係る領域別補正値算出部43は、左右平均補正部431、左右個別補正部432、線形補間補正部433、非線形補正部434、領域分割処理部435、及び、選択部436を有する構成となっている。そして、領域別補正値算出部43は、水平遮光画素20A(図5参照)の信号(輝度レベル)の平均値を利用し、左右平均補正、左右個別補正、線形補間補正、及び、非線形補正の4種類の補正処理を、選択部436によって選択することができるようになっている。
左右平均補正部431は、水平遮光画素20Aについて、画素アレイ部11の左右の遮光部11A(図5参照)を合わせて平均値を算出して補正値とする。左右個別補正部432は、有効画素領域を水平方向(行方向)で2分割して、それぞれの領域に対して左右の遮光部11Aのそれぞれの水平遮光画素20Aの平均値を補正値とする。
線形補間補正部433は、1ライン(1画素行)分の画像を複数の領域に分割したときに、左右の遮光部11Aのそれぞれの水平遮光画素20Aの平均値から、分割した各領域に対して線形的に補間して補正値を算出する。領域分割の処理は、領域分割処理部435によって実行される。領域分割処理部435は、図1のシステム制御部10から供給されるタイミング信号、及び、予め取得しておいた特徴点の位置情報に基づいて、1ライン分の画像を複数の領域に分割する。領域分割処理部435での領域の分割は、信号処理上での処理となる。領域分割処理部435は、信号処理上で領域の分割処理を行い、各領域に関する情報(例えば、アドレス)を、線形補間補正部433及び非線形補正部434に与える。
線形補間補正部433では、1ライン分の画像を複数の均等領域に分割し、補正値を線形補間する、領域均等・補正値線形補間(a)、及び、1ライン分の画像を不均等に分割し、補正値を線形補間する、領域不均等・補正値線形補間(b)の2通りの線形補間補正が実施される。
(a)領域均等・補正値線形補間の場合
1ライン分の画像を複数の均等領域に分割し、補正値を線形補間して算出する場合のイメージ図を図8に示す。領域均等・補正値線形補間の場合には、1ライン分の画像を均等サイズの複数の領域に分割する。そして、左右の遮光部11Aのそれぞれの水平遮光画素20Aの平均値(左遮光画素平均値/右遮光画素平均値)の差分を、分割した複数の領域で等分して補正値を算出して線形補間を実施する。
1ライン分の画像を複数の均等領域に分割し、補正値を線形補間して算出する場合のイメージ図を図8に示す。領域均等・補正値線形補間の場合には、1ライン分の画像を均等サイズの複数の領域に分割する。そして、左右の遮光部11Aのそれぞれの水平遮光画素20Aの平均値(左遮光画素平均値/右遮光画素平均値)の差分を、分割した複数の領域で等分して補正値を算出して線形補間を実施する。
(b)領域不均等・補正値線形補間の場合
1ライン分の画像を複数の不均等領域に分割し、補正値を線形補間して算出する場合のイメージ図を図9に示す。領域不均等・補正値線形補間の場合には、撮像画像内の特異点の位置を基準として、1ライン分の画像を任意サイズの複数の領域に分割する。そして、複数の分割領域よりも外側の領域については、左右の遮光部11Aのそれぞれの水平遮光画素20Aの平均値(左遮光画素平均値/右遮光画素平均値)を補正値とし、複数の分割領域については、左遮光画素平均値及び右遮光画素平均値の差分を等分して補正値を算出して線形補間を実施する。
1ライン分の画像を複数の不均等領域に分割し、補正値を線形補間して算出する場合のイメージ図を図9に示す。領域不均等・補正値線形補間の場合には、撮像画像内の特異点の位置を基準として、1ライン分の画像を任意サイズの複数の領域に分割する。そして、複数の分割領域よりも外側の領域については、左右の遮光部11Aのそれぞれの水平遮光画素20Aの平均値(左遮光画素平均値/右遮光画素平均値)を補正値とし、複数の分割領域については、左遮光画素平均値及び右遮光画素平均値の差分を等分して補正値を算出して線形補間を実施する。
このように、撮像画像内の特異点の位置を基準として1ライン分の画像を複数の領域に分割し、各領域毎に任意サイズを設定することで、撮像画面内の任意の特異点に合わせて補正処理を行うことができる。ここで、撮像画像内の特異点の位置を、例えばノイズ発生源である電源線30の位置とし、当該位置を基準に領域分割を行うことで、複数の電源線30間での電位差に起因して発生するストリーキングを補正することができる。
図7において、非線形補正部434は、線形補間補正部433の領域不均等・補正値線形補間(b)の場合と同様に、1ラインの画像を任意サイズの複数の領域に分割したとき、各領域毎に任意の補正値を設定する。すなわち、線形補間補正部433の領域不均等・補正値線形補間に対し、非線形補正部434では、特異点の位置を基準として、1ライン分の画像を任意サイズの複数の領域に分割し、各領域毎に補正値を非線形に設定する領域不均等・補正値非線形補間が行われる。
1ライン分の画像を複数の不均等領域に分割し、補正値を非線形補間して算出する場合のイメージ図を図10に示す。領域不均等・補正値線形補間に対し、各領域毎に任意に補正値を設定することにより、左右の遮光部11Aのそれぞれの水平遮光画素20Aの平均値(左遮光画素平均値/右遮光画素平均値)からは確認することができない撮像画像内の任意の特異点に合わせて補正を実施することができる。
各領域毎に任意に設定する補正値については、撮像装置(本実施形態では、CMOSイメージセンサ1)の出荷前の検証や評価測定等において、その評価測定結果から、撮像装置個体に最適な補正値を導き出し、予め取得しておくようにする。具体的には、図11に示すように、不揮発性メモリ4341及びメモリ制御部4342によって非線形補正部434を構成し、検証や評価測定等で予め取得した最適な補正値を、不揮発性メモリ4341に書き込んだ状態で出荷する。そして、出荷後において、センサ起動時(撮像装置の起動時)に、メモリ制御部4342による制御の下に、不揮発性メモリ4341から、撮像装置個体に最適な補正値を読み出し、補正処理に供するようにする。これにより、撮像装置個体毎のバラつきに対応した、領域不均等・補正値非線形補間による補正を行うことができる。
尚、補正値については、不揮発性メモリ4341からレジスタ設定に切り替えて、任意のモードや状態に応じて補正値を設定するようにすることもできる。また、画素信号を所定のゲイン倍して読み出す撮像装置にあっては、当該ゲインに連動させて補正値を調整するようにすることもできる。
図12に、想定段差:例1の場合の領域均等・補正値線形補間及び領域不均等・補正値線形補間の補正結果を示す。想定段差:例1は、図12の上段に示すように、撮像画像内に2つの特異点が左右対称に存在する場合の例である。この想定段差:例1に対して、領域均等・補正値線形補間による補正処理を行った場合には、撮像画像内の特異点について効果的にノイズ抑制を行うことができなく、図12の中段に示すように、補正残りが発生する。これに対し、領域不均等・補正値線形補間による補正処理を行うことで、段差に合わせた線形補間が行われ、撮像画像内の特異点について効果的にノイズ抑制を行うことができるため、図12の下段に示すように、補正残りは発生しない。
図13に、想定段差:例2の場合の領域均等・補正値線形補間及び領域不均等・補正値非線形の補正結果を示す。想定段差:例2は、図13の上段に示すように、撮像画像内の行方向(水平方向)の中央部に特異点が1つ存在し、湾曲状の段差が生じる場合の例である。この想定段差:例2に対して、領域均等・補正値線形補間による補正処理を行った場合には、撮像画像内の特異点について効果的にノイズ抑制を行うことができなく、図13の中段に示すように、補正残りが発生する。これに対し、領域不均等・補正値非線形による補正処理を行うことで、撮像画像内の特異点について効果的にノイズ抑制を行うことができるため、図13の下段に示すように、補正残りは発生しない。
<変形例>
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像装置の構成、構造は例示であり、適宜、変更することができる。
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像装置の構成、構造は例示であり、適宜、変更することができる。
例えば、上記の実施形態では、画素アレイ部11内に配線された電源線30をノイズ発生源とし、当該電源線30に流れる電流に起因して発生するノイズがストリーキングとなる場合を例示したが、これに限られるものではない。例えば、電力を多く消費する回路部分が画素アレイ部11内のある一部に存在するとき、当該回路部分がノイズ発生源となる場合もある。すなわち、電力を多く消費する回路部分が画素アレイ部11内のある一部に存在するとき、当該回路部分に電流が多く流れることによってノイズが発生し、ストリーキングとなる場合がある。
また、上記の実施形態では、撮像画像を行方向(水平方向)において複数の領域に分割する、具体的には、1画素行分の画像を複数の領域に分割するとしたが、行方向での領域分割に限られるものではない。撮像画像を列方向(垂直方向)において複数の領域に分割する、具体的には、1画素列分の画像を複数の領域に分割し、画素アレイ部11の上下両端部に設けられた遮光部の遮光画素の信号を用いて補正値を算出して補正を行うようにすることもできる。また、行方向での領域分割及び列方向での領域分割を組み合わせるようにすることもできる。
また、上記の実施形態では、補正値(補正信号)の算出に、画素アレイ部11の端部に設けられた遮光画素の信号を用いるとしたが、遮光画素を有効画素領域内に離散的に埋め込み、当該遮光画素の信号を用いるようにすることもできる。この場合、画像レベルに合わせた補正値補間を行うことができる。
<応用例>
以上説明した本実施形態に係る撮像装置1は、例えば図14に示すように、可視光、赤外光、紫外光、X線等の光をセンシングする様々な装置に使用することができる。様々な装置の具体例について以下に列挙する。
以上説明した本実施形態に係る撮像装置1は、例えば図14に示すように、可視光、赤外光、紫外光、X線等の光をセンシングする様々な装置に使用することができる。様々な装置の具体例について以下に列挙する。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用途に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の分野で用いる装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョン受像機、冷蔵庫、エアーコンディショナ等の家電の分野で用いる装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの分野で用いる装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの分野で用いる装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の分野で用いる装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの分野で用いる装置
・畑や作物の状態を監視するためのカメラ等の、農業の分野で用いる装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の分野で用いる装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョン受像機、冷蔵庫、エアーコンディショナ等の家電の分野で用いる装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの分野で用いる装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの分野で用いる装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の分野で用いる装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの分野で用いる装置
・畑や作物の状態を監視するためのカメラ等の、農業の分野で用いる装置
<本開示の電子機器>
本開示の技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。ここでは、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部にカメラモジュールを用いる複写機などの電子機器に適用する場合について説明する。
本開示の技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。ここでは、デジタルスチルカメラやビデオカメラ等の撮像装置や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部にカメラモジュールを用いる複写機などの電子機器に適用する場合について説明する。
[カメラモジュール]
図15は、本開示の電子機器の一例である、デジタルスチルカメラやビデオカメラ等のカメラモジュールの構成例を示すブロック図である。
図15は、本開示の電子機器の一例である、デジタルスチルカメラやビデオカメラ等のカメラモジュールの構成例を示すブロック図である。
図15に示すように、本例に係るカメラモジュール50は、レンズ群等を含む撮像光学系51、撮像部52、DSP回路53、フレームメモリ54、表示装置55、記録装置56、操作系57、及び、電源系58等を有している。そして、DSP回路53、フレームメモリ54、表示装置55、記録装置56、操作系57、及び、電源系58がバスライン59を介して相互に接続された構成となっている。
撮像光学系51は、被写体からの入射光(像光)を取り込んで撮像部52の撮像面上に結像する。撮像部52は、撮像光学系51によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。DSP回路53は、一般的なカメラ信号処理、例えば、ホワイトバランス処理、デモザイク処理、ガンマ補正処理などを行う。
フレームメモリ54は、DSP回路53での信号処理の過程で適宜データの格納に用いられる。表示装置55は、液晶表示装置や有機EL(electro luminescence)表示装置等のパネル型表示装置から成り、撮像部52で撮像された動画または静止画を表示する。記録装置56は、撮像部52で撮像された動画または静止画を、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)等の記録媒体に記録する。
操作系57は、ユーザによる操作の下に、本撮像装置50が持つ様々な機能について操作指令を発する。電源系58は、DSP回路53、フレームメモリ54、表示装置55、記録装置56、及び、操作系57の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
このようなカメラモジュール50は、ビデオカメラやデジタルスチルカメラ、更には、スマートフォン、携帯電話機等のモバイル機器向けカメラモジュールとして用いることができる。そして、このカメラモジュール50において、撮像部52として、先述した実施形態に係る撮像装置、例えば、撮像画面内の特徴的なオフセットやノイズに対して効果的にノイズ抑制を行うことができるストリーキング補正回路を有する撮像装置を用いることにより、高画質の撮像画像を提供することができる。
<本開示がとることができる構成>
尚、本開示は、以下のような構成をとることもできる。
尚、本開示は、以下のような構成をとることもできる。
≪A.ストリーキング補正回路≫
[A−1]受光部を含む画素が行列状に配置されて成る画素アレイ部の端部に設けられた遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
ストリーキング補正回路。
[A−2]撮像画像内の特異点は、ノイズ発生源によるノイズである、
上記[A−1]に記載のストリーキング補正回路。
[A−3]ノイズ発生源は、画素アレイ部に配線された電源線である、
上記[A−2]に記載のストリーキング補正回路。
[A−4]補正信号生成部は、遮光部の遮光画素のうち、輝度レベルが所定の閾値を超える欠陥画素のデータを除いた遮光画素の画素データの平均値を算出し、この算出した平均値から補正信号を生成する、
上記[A−1]乃至上記[A−3]のいずれかに記載のストリーキング補正回路。
[A−5]補正信号生成部は、メディアンフィルタを用いて、欠陥画素のデータを除いた遮光画素の画素データの平均値を算出する、
上記[A−4]に記載のストリーキング補正回路。
[A−6]複数の領域に分割するに当たって、分割する領域数及び各領域のサイズを任意に設定可能である、
上記[A−1]乃至上記[A−5]のいずれかに記載のストリーキング補正回路。
[A−1]受光部を含む画素が行列状に配置されて成る画素アレイ部の端部に設けられた遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
ストリーキング補正回路。
[A−2]撮像画像内の特異点は、ノイズ発生源によるノイズである、
上記[A−1]に記載のストリーキング補正回路。
[A−3]ノイズ発生源は、画素アレイ部に配線された電源線である、
上記[A−2]に記載のストリーキング補正回路。
[A−4]補正信号生成部は、遮光部の遮光画素のうち、輝度レベルが所定の閾値を超える欠陥画素のデータを除いた遮光画素の画素データの平均値を算出し、この算出した平均値から補正信号を生成する、
上記[A−1]乃至上記[A−3]のいずれかに記載のストリーキング補正回路。
[A−5]補正信号生成部は、メディアンフィルタを用いて、欠陥画素のデータを除いた遮光画素の画素データの平均値を算出する、
上記[A−4]に記載のストリーキング補正回路。
[A−6]複数の領域に分割するに当たって、分割する領域数及び各領域のサイズを任意に設定可能である、
上記[A−1]乃至上記[A−5]のいずれかに記載のストリーキング補正回路。
≪B.撮像装置≫
[B−1]受光部を含む画素が行列状に配置されて成り、端部に遮光部を有する画素アレイ部、及び、画素アレイ部の有効画素の信号に対してストリーキング補正を行うストリーキング補正回路を備え、
ストリーキング補正回路は、
遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
撮像装置。
[B−2]撮像画像内の特異点は、ノイズ発生源によるノイズである、
上記[B−1]に記載の撮像装置。
[B−3]ノイズ発生源は、画素アレイ部に配線された電源線である、
上記[B−2]に記載の撮像装置。
[B−4]補正信号生成部は、遮光部の遮光画素のうち、輝度レベルが所定の閾値を超える欠陥画素のデータを除いた遮光画素の画素データの平均値を算出し、この算出した平均値から補正信号を生成する、
上記[B−1]乃至上記[B−3]のいずれかに記載の撮像装置。
[B−5]補正信号生成部は、メディアンフィルタを用いて、欠陥画素のデータを除いた遮光画素の画素データの平均値を算出する、
上記[B−4]に記載の撮像装置。
[B−6]複数の領域に分割するに当たって、分割する領域数及び各領域のサイズを任意に設定可能である、
上記[B−1]乃至上記[B−5]のいずれかに記載の撮像装置。
[B−7]補正信号生成部は、予め取得した補正信号を書き込む不揮発性メモリを有しており、
撮像装置の起動時に、不揮発性メモリから補正信号を読み出して、補正処理部での補正処理に供する、
上記[B−1]乃至上記[B−6]のいずれかに記載の撮像装置。
[B−8]不揮発性メモリに書き込まれる補正信号は、撮像装置の出荷前の評価測定結果から導き出される、
上記[B−7]に記載の撮像装置。
[B−1]受光部を含む画素が行列状に配置されて成り、端部に遮光部を有する画素アレイ部、及び、画素アレイ部の有効画素の信号に対してストリーキング補正を行うストリーキング補正回路を備え、
ストリーキング補正回路は、
遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
撮像装置。
[B−2]撮像画像内の特異点は、ノイズ発生源によるノイズである、
上記[B−1]に記載の撮像装置。
[B−3]ノイズ発生源は、画素アレイ部に配線された電源線である、
上記[B−2]に記載の撮像装置。
[B−4]補正信号生成部は、遮光部の遮光画素のうち、輝度レベルが所定の閾値を超える欠陥画素のデータを除いた遮光画素の画素データの平均値を算出し、この算出した平均値から補正信号を生成する、
上記[B−1]乃至上記[B−3]のいずれかに記載の撮像装置。
[B−5]補正信号生成部は、メディアンフィルタを用いて、欠陥画素のデータを除いた遮光画素の画素データの平均値を算出する、
上記[B−4]に記載の撮像装置。
[B−6]複数の領域に分割するに当たって、分割する領域数及び各領域のサイズを任意に設定可能である、
上記[B−1]乃至上記[B−5]のいずれかに記載の撮像装置。
[B−7]補正信号生成部は、予め取得した補正信号を書き込む不揮発性メモリを有しており、
撮像装置の起動時に、不揮発性メモリから補正信号を読み出して、補正処理部での補正処理に供する、
上記[B−1]乃至上記[B−6]のいずれかに記載の撮像装置。
[B−8]不揮発性メモリに書き込まれる補正信号は、撮像装置の出荷前の評価測定結果から導き出される、
上記[B−7]に記載の撮像装置。
≪C.電子機器≫
[C−1]受光部を含む画素が行列状に配置されて成り、端部に遮光部を有する画素アレイ部、及び、画素アレイ部の有効画素の信号に対してストリーキング補正を行うストリーキング補正回路を備え、
ストリーキング補正回路は、
遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
撮像装置を有する電子機器。
[C−2]撮像画像内の特異点は、ノイズ発生源によるノイズである、
上記[C−1]に記載の電子機器。
[C−3]ノイズ発生源は、画素アレイ部に配線された電源線である、
上記[C−2]に記載の電子機器。
[C−4]補正信号生成部は、遮光部の遮光画素のうち、輝度レベルが所定の閾値を超える欠陥画素のデータを除いた遮光画素の画素データの平均値を算出し、この算出した平均値から補正信号を生成する、
上記[C−1]乃至上記[C−3]のいずれかに記載の電子機器。
[C−5]補正信号生成部は、メディアンフィルタを用いて、欠陥画素のデータを除いた遮光画素の画素データの平均値を算出する、
上記[C−4]に記載の電子機器。
[C−6]複数の領域に分割するに当たって、分割する領域数及び各領域のサイズを任意に設定可能である、
上記[C−1]乃至上記[C−5]のいずれかに記載の電子機器。
[C−1]受光部を含む画素が行列状に配置されて成り、端部に遮光部を有する画素アレイ部、及び、画素アレイ部の有効画素の信号に対してストリーキング補正を行うストリーキング補正回路を備え、
ストリーキング補正回路は、
遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
撮像装置を有する電子機器。
[C−2]撮像画像内の特異点は、ノイズ発生源によるノイズである、
上記[C−1]に記載の電子機器。
[C−3]ノイズ発生源は、画素アレイ部に配線された電源線である、
上記[C−2]に記載の電子機器。
[C−4]補正信号生成部は、遮光部の遮光画素のうち、輝度レベルが所定の閾値を超える欠陥画素のデータを除いた遮光画素の画素データの平均値を算出し、この算出した平均値から補正信号を生成する、
上記[C−1]乃至上記[C−3]のいずれかに記載の電子機器。
[C−5]補正信号生成部は、メディアンフィルタを用いて、欠陥画素のデータを除いた遮光画素の画素データの平均値を算出する、
上記[C−4]に記載の電子機器。
[C−6]複数の領域に分割するに当たって、分割する領域数及び各領域のサイズを任意に設定可能である、
上記[C−1]乃至上記[C−5]のいずれかに記載の電子機器。
1・・・CMOSイメージセンサ、10・・・システム制御部、11・・・画素アレイ部、11A・・・遮光部、12・・・行選択部、13・・・定電流源部、14・・・アナログ−デジタル変換部、15・・・水平転送走査部、16・・・並び替え部、17・・・信号処理部、18・・・切り出し部、19・・・出力I/F(インターフェース)部、20・・・画素、20A・・・遮光画素、21・・・フォトダイオード(光電変換部)、22・・・転送トランジスタ、23・・・リセットトランジスタ、24・・・増幅トランジスタ、25・・・選択トランジスタ、30,30A,30B・・・電源線、31(311〜31m)・・・画素駆動線、32(321〜32n)・・・垂直信号線、40・・・ストリーキング補正回路、41・・・白点除去部、42・・・平均値算出部、43・・・領域別補正値算出部、44・・・減算部
Claims (10)
- 受光部を含む画素が行列状に配置されて成る画素アレイ部の端部に設けられた遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
ストリーキング補正回路。 - 撮像画像内の特異点は、ノイズ発生源によるノイズである、
請求項1に記載のストリーキング補正回路。 - ノイズ発生源は、画素アレイ部に配線された電源線である、
請求項2に記載のストリーキング補正回路。 - 補正信号生成部は、遮光部の遮光画素のうち、輝度レベルが所定の閾値を超える欠陥画素のデータを除いた遮光画素の画素データの平均値を算出し、この算出した平均値から補正信号を生成する、
請求項1に記載のストリーキング補正回路。 - 補正信号生成部は、メディアンフィルタを用いて、欠陥画素のデータを除いた遮光画素の画素データの平均値を算出する、
請求項4に記載のストリーキング補正回路。 - 複数の領域に分割するに当たって、分割する領域数及び各領域のサイズを任意に設定可能である、
請求項1に記載のストリーキング補正回路。 - 受光部を含む画素が行列状に配置されて成り、端部に遮光部を有する画素アレイ部、及び、画素アレイ部の有効画素の信号に対してストリーキング補正を行うストリーキング補正回路を備え、
ストリーキング補正回路は、
遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
撮像装置。 - 補正信号生成部は、予め取得した補正信号を書き込む不揮発性メモリを有しており、
撮像装置の起動時に、不揮発性メモリから補正信号を読み出して、補正処理部での補正処理に供する、
請求項7に記載の撮像装置。 - 不揮発性メモリに書き込まれる補正信号は、撮像装置の出荷前の評価測定結果から導き出される、
請求項8に記載の撮像装置。 - 受光部を含む画素が行列状に配置されて成り、端部に遮光部を有する画素アレイ部、及び、画素アレイ部の有効画素の信号に対してストリーキング補正を行うストリーキング補正回路を備え、
ストリーキング補正回路は、
遮光部の遮光画素の信号を基に補正信号を生成する補正信号生成部、及び、
補正信号生成部で生成された補正信号を用いて、画素アレイ部の有効画素の信号に対して補正処理を行う補正処理部から成り、
補正信号生成部は、撮像画像内の特異点の位置を基準として、撮像画像を複数の領域に分割し、分割した各領域毎に遮光画素の信号を用いて補正信号を生成し、
補正処理部は、分割した各領域毎に生成された補正信号を用いて補正処理を行う、
撮像装置を有する電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141166A JP2020017910A (ja) | 2018-07-27 | 2018-07-27 | ストリーキング補正回路、撮像装置、及び、電子機器 |
US17/250,402 US11463638B2 (en) | 2018-07-27 | 2019-07-16 | Streaking correction circuit, imaging apparatus, and electronic equipment |
PCT/JP2019/027891 WO2020022120A1 (ja) | 2018-07-27 | 2019-07-16 | ストリーキング補正回路、撮像装置、及び、電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141166A JP2020017910A (ja) | 2018-07-27 | 2018-07-27 | ストリーキング補正回路、撮像装置、及び、電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020017910A true JP2020017910A (ja) | 2020-01-30 |
Family
ID=69181026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018141166A Pending JP2020017910A (ja) | 2018-07-27 | 2018-07-27 | ストリーキング補正回路、撮像装置、及び、電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11463638B2 (ja) |
JP (1) | JP2020017910A (ja) |
WO (1) | WO2020022120A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11466158B2 (en) | 2020-04-10 | 2022-10-11 | Rakuten Medical, Inc. | Phthalocyanine dye compounds, conjugates and methods of use thereof |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI833561B (zh) * | 2020-12-26 | 2024-02-21 | 以色列商趣眼有限公司 | 感測器、校正焦平面陣列中飽和檢測結果的方法及檢測物體深度資訊的方法 |
EP4244650A4 (en) * | 2020-12-26 | 2024-01-24 | Trieye Ltd. | SYSTEMS, METHODS, AND COMPUTER PROGRAM PRODUCTS FOR GENERATING DEPTH IMAGES BASED ON SHORT-WAVE INFRARED SENSING INFORMATION |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005130331A (ja) * | 2003-10-27 | 2005-05-19 | Victor Co Of Japan Ltd | 撮像信号補正回路 |
JP4768448B2 (ja) * | 2006-01-13 | 2011-09-07 | 富士フイルム株式会社 | 撮像装置 |
JP4329833B2 (ja) | 2007-03-20 | 2009-09-09 | ソニー株式会社 | ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置 |
JP5418810B2 (ja) | 2008-02-14 | 2014-02-19 | ソニー株式会社 | クランプ制御方法、クランプ補正装置、イメージセンサ、および、電子機器 |
JP5686267B2 (ja) * | 2008-02-14 | 2015-03-18 | ソニー株式会社 | 撮像素子 |
JP5266970B2 (ja) * | 2008-08-28 | 2013-08-21 | 富士通株式会社 | アレイセンサ及び撮像装置 |
JP2011120111A (ja) * | 2009-12-04 | 2011-06-16 | Sharp Corp | 固体撮像装置および電子情報機器 |
JP2015082732A (ja) | 2013-10-22 | 2015-04-27 | 株式会社東芝 | 固体撮像装置 |
JP2016119592A (ja) * | 2014-12-22 | 2016-06-30 | 日本放送協会 | ストリーキング補正装置およびそのプログラム、ならびに、撮像装置 |
US9832402B2 (en) * | 2015-10-29 | 2017-11-28 | Sony Semiconductor Solutions Corporation | Row and column noise correction with defective pixel processing |
JP6733229B2 (ja) * | 2016-03-15 | 2020-07-29 | 株式会社リコー | 固体撮像装置、画像読取装置および画像形成装置 |
-
2018
- 2018-07-27 JP JP2018141166A patent/JP2020017910A/ja active Pending
-
2019
- 2019-07-16 WO PCT/JP2019/027891 patent/WO2020022120A1/ja active Application Filing
- 2019-07-16 US US17/250,402 patent/US11463638B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11466158B2 (en) | 2020-04-10 | 2022-10-11 | Rakuten Medical, Inc. | Phthalocyanine dye compounds, conjugates and methods of use thereof |
Also Published As
Publication number | Publication date |
---|---|
US11463638B2 (en) | 2022-10-04 |
US20210321051A1 (en) | 2021-10-14 |
WO2020022120A1 (ja) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10194110B2 (en) | Solid-state imaging device, imaging device, and signal reading method | |
US11050955B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
US8908065B2 (en) | Solid state imaging processing systems and method for providing signal correction of pixel saturation errors | |
JP4609428B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
WO2017169216A1 (ja) | 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器 | |
US8686339B2 (en) | Solid-state imaging device, driving method thereof, and electronic device | |
US9473720B2 (en) | Solid-state image-capturing device and image-capturing device | |
JP6743011B2 (ja) | 撮像装置、駆動方法、電子機器 | |
US20150092096A1 (en) | Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus | |
US8023022B2 (en) | Solid-state imaging apparatus | |
KR101939402B1 (ko) | 고체 촬상 소자 및 구동 방법, 및 전자 기기 | |
KR20180113506A (ko) | 고체 촬상 장치, 고체 촬상 장치의 구동 방법, 및, 전자 기기 | |
US20180098005A1 (en) | Solid-state imaging device and electronic device | |
WO2020022120A1 (ja) | ストリーキング補正回路、撮像装置、及び、電子機器 | |
US20110037882A1 (en) | Solid-state imaging device, method of driving solid-state imaging device, and electronic apparatus | |
JP6779038B2 (ja) | 撮像素子及びその制御方法、撮像装置及びその制御方法 | |
JP2016167773A (ja) | 撮像装置及び撮像装置の処理方法 | |
JP6740230B2 (ja) | 固体撮像装置および電子機器 | |
JP2008017100A (ja) | 固体撮像装置 | |
JP2007143067A (ja) | 撮像装置及び撮像システム | |
JP5403019B2 (ja) | 物理量検出装置および撮像装置 | |
US20210136300A1 (en) | Solid-state imaging device and imaging system | |
JP2015181221A (ja) | 撮像装置、欠陥画素検出方法、プログラム、記憶媒体 |