JP2010520709A - 信号処理装置及び信号処理方法 - Google Patents

信号処理装置及び信号処理方法 Download PDF

Info

Publication number
JP2010520709A
JP2010520709A JP2009552713A JP2009552713A JP2010520709A JP 2010520709 A JP2010520709 A JP 2010520709A JP 2009552713 A JP2009552713 A JP 2009552713A JP 2009552713 A JP2009552713 A JP 2009552713A JP 2010520709 A JP2010520709 A JP 2010520709A
Authority
JP
Japan
Prior art keywords
black
noise
output signal
column
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009552713A
Other languages
English (en)
Other versions
JP5260559B2 (ja
Inventor
リチャードソン、ジョン
ファン、イン
ウォルナー、ジョン
シャー、ジョーイ
ブランカール、ロラン
マルケシーニ、ロベルト
ロッシ、ジュゼッペ
マオ、チェンチャン
Original Assignee
アルタセンズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルタセンズ インコーポレイテッド filed Critical アルタセンズ インコーポレイテッド
Publication of JP2010520709A publication Critical patent/JP2010520709A/ja
Application granted granted Critical
Publication of JP5260559B2 publication Critical patent/JP5260559B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

画像センサのためのブラッククランプ安定化回路は、黒レベルを、基準黒レベルとの比較に基づいて、動的且つ正確に調整するサブブロックを含む混在信号SoCブロックを使用する。黒レベル調整は、プログラマブルゲイン増幅器及び高分解能A/D変換器を含むフィードバックループにおけるアナログ信号のデジタル制御を用いる第1のレベル調整を含む。アナログ領域でブラッククランプを適用することによって、ダイナミックレンジが拡張される。次に、デジタル領域で更なる黒レベル調整を実行し、撮像システムオンチップ内で生成されるライン雑音及び列雑音を差動的に除去する。アルゴリズムは、サブブロック間で情報を提供することによって、より速やかに収束することができる。この技術により、複数の信号パスが個別に各色を扱うことができ、及び撮像データのスループットを高めることができる。

Description

著作権の表示
本特許書類の開示の一部には著作権の保護対象が含まれる。著作権者は何人も特許商標局の特許ファイル又は記録に示された形で特許書類又は特許開示をファクシミリ複製することについては異議はないが、その他の点については全著作権を保有する。
関連出願への相互参照
本発明は、TBDに出願された、米国特許出願第TBD号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」、TBDに出願された、米国特許出願第TBD号、発明の名称「ON-CHIP BLACK CLAMPING CIRCUIT FOR CMOS IMAGE SENSOR」、及びTBDに出願された、米国特許出願第TBD号、発明の名称「METHOD FOR BLACK CLAMP CORRECTION INDEPENDENT OF GAIN」に関連し、これらの開示は、引用によって本願に援用される。
本発明は、電子画像センサに関し、特に、信号処理機能が埋め込まれた高度な撮像システムオンチップ(imaging system-on-chip:iSoC)センサに関する。
画像センサは、撮像画素の連続するアレーにおいて、光の強度を蓄積することによって動作する。各画素は、露出期間に亘って画素に入射した光の強度に比例する電荷を有する。この電荷は、高品質画像を捕捉し、又は映像を生成するために、雑音をできるだけ小さくして読み出さなければならない「画素値」である。現在のCMOS画像センサは、25MHz未満のデータレートでは、CCD画像センサより時間領域雑音が小さいが、幾つかのシステム的なアーチファクト(systematic artifacts)のソースによって、特に、低照度において、画像の品質が劣化することがある。
米国特許番号第6,861,634号より、図1に示すように、CMOS画像センサによって電子的に再生された画像の読出は、画素の各行からの信号を、一組の列バッファ(column buffer)を介して、出力にルーティングすることによって行われる。通常、各列バッファ102は、画素の特定の列をサポートし、例えば、米国特許番号第5,892,540号に開示されているように、統合増幅器ブロックを用いて構成される。米国特許番号第5,892,540号からの図2の回路ブロック70では、アナログ領域において、1Vの桁のフルスケール信号に対して、列バッファオフセットを約100μVrms、すなわち、10分の1に修正するが、画質を最大化するためには、「列雑音」の更なる低減が必要である。また、各ビデオラインは、前のライン又は次のラインとは異なる時刻に読み出されるので、読出プロセスによって、「ライン雑音」が導入されることがある。更に、列バッファをサポートするためには、共通の基準電圧(図2のREF1、REF2、REF3等)が使用され、これらは、時変特性を有する生来的な雑音を生じる。画素の各行は、同時にサンプリングされるので、画素の各行は、同様の総量値で、共通の基準雑音をサンプリングする。一方、後続する行は、異なる時刻に読み出されるので、この結果、総量値が僅かに異なる共通の基準雑音をサンプリングする。この行間の変動によって、「ライン雑音」及びフレーム間「フリッカ」が生じる。これらの全ての可能な雑音メカニズムは、以下のような悪影響によって、画質を劣化させる。
1.列毎に生じ、動的に変動することがある縦縞。
2.ライン毎に生じ、動的に変動することがある横縞、すなわち、ライン雑音。なお、各ラインは、画素の横縞である。
3.基準雑音に対する画像センサの感度に起因するフレーム間の不安定性。この感度は、垂直帰線消去期間が水平帰線消去期間より著しく長いため、フレーム毎のセンサの黒レベルを実質的に不安定化させる。したがって黒レベルの振る舞いはフレームに強く依存する。
高性能画像センサにおいて、最も深刻な影響は、フレーム間の不安定性である。
米国特許番号第5,172,249号に開示されている従来の技術では、オフセット補正誤差を生じる広帯域雑音の悪影響について十分な検討を行うことなく、減算回路、例えば、差動増幅器の入力に信号及び基準レベルを供給することによって、増幅器オフセット及びFPNを減算する。他に、米国特許番号第6,037,577号では、行毎に行雑音を抑圧する手法が説明されている。しかしながら、ここでも、主要な意図は、離散的にサンプリングされた共通の基準雑音を直接的に消去することではなく、スイッチング雑音及びパラレル信号パス間の電荷再分布からオフセットを抑圧することである。
米国特許番号第6,861,634号は、更に、センサ雑音の他のソースに加えて、基準雑音を減算する技術を開示している。雑音減算は、先にデジタル領域において判定された補正値を使用して、アナログ領域において実行される。アナログ値は、電荷増幅器を含むサンプルアンドホールド回路に供給され、オフセットが減算される。好ましい実施の形態では、画素の信号レベル及び関連するリセットレベルを使用する疑似差動又は差動信号パスが開示されている。しかしながら、オフセット減算増幅器にリセットレベルを更に供給することによって信号パスに負担をかけることにより、最大ビデオレートが半減され、付随するビデオ帯域幅(concomitant video bandwidth)が倍になり、白色雑音がブーストされる。また、補正は、画素毎及び色毎に高速で行われ、この結果、複雑性及び信号処理オーバヘッドが増大する。
最近の米国特許出願公開番号第2006/0231734号には、列固定パターン雑音を判定及び修正するための完全にデジタル的な手法が開示されている。この手法は、A/D変換に提供されるアナログダイナミックレンジを拡大するのではなく、様々な補正の精度を実質的に制限する。
本発明は、優れた黒レベル安定化を共に提供する方法、回路構成及びファームウェアコードを含む。アナログ回路、デジタル回路及びアルゴリズムは、連携して、アナログ領域におけるダイナミックレンジを最大化すると同時に、画像感知画素のアレーの「読出」に固有の様々な固定パターン雑音源を抑圧する。好ましい実施の形態では、デジタル領域において、特別に最適化されたアルゴリズムを用いて、雑音抑圧を実行し、フレーム間では、カメラに12ビットしか供給されない場合であっても、ダイナミックレンジが少なくとも16ビットに亘る有用な画質を有する電子画像を生成する。
一実施の形態においては、本発明が提供する信号処理装置は、オプティカルブラック画素及び能動クリア画素を有する画素アレーからの信号出力を処理するための信号処理装置において、画素アレーから出力信号が供給され、出力信号の黒レベルを黒基準値と比較し、比較に基づいて、出力信号の黒レベルを調整するための調整信号を出力するブラッククランプブロックと、黒クランプブロックによって調整された出力信号が供給され、出力信号内の黒画素のライン雑音平均値を行毎に算出し、ライン雑音平均値と黒基準値との差分に基づいて、ライン雑音オフセットを算出し、出力信号内のクリア画素にライン雑音オフセットを適用するライン雑音補正ブロックと、出力信号内の黒画素の列雑音オフセットを算出し、出力信号内のクリア画素に列雑音オフセットを適用する列雑音補正ブロックとを備え、列雑音オフセットは、出力信号内の各黒画素を、ライン雑音補正ブロックによって算出されるライン雑音平均値と比較することによって列毎に算出される。
信号処理装置は、列雑音オフセット係数を記憶する列雑音補正メモリを更に備えていてもよく、列雑音オフセット係数は、メモリに記憶された列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新される。
本発明の他の実施の形態が提供する信号処理回路は、オプティカルブラック画素及び能動クリア画素を有する画素アレーからの出力信号を処理する信号処理回路において、入力の1つに画素アレーからの出力信号が供給される差動プログラマブルゲイン増幅器と、差動プログラマブルゲイン増幅器に接続され、差動プログラマブルゲイン増幅器からの出力信号をデジタル出力信号に変換するアナログ/デジタル変換器と、アナログ/デジタル変換器に接続され、デジタル出力信号を、黒基準値と比較し、差動プログラマブルゲイン増幅器の入力に黒レベル調整信号を供給するブラッククランプ処理ブロックと、アナログ/デジタル変換器に接続され、出力信号内の黒画素のライン雑音平均値を行毎に算出し、ライン雑音平均値と黒基準値と差分に基づいて、ライン雑音オフセットを算出するライン雑音補正処理ブロックと、デジタル出力信号内の各黒画素を、ライン雑音補正処理ブロックによって算出されたライン雑音平均値と比較することによって、デジタル出力信号内の黒画素の列雑音オフセットを列毎に算出する列雑音補正処理ブロックと、列雑音オフセットを、デジタル出力信号内のクリア画素に加算する第1の加算器と、ライン雑音オフセットを、デジタル出力信号内のクリア画素に加算する第2の加算器とを備える。
本発明の信号処理回路は、列雑音オフセット係数を記憶する列雑音補正メモリを更に備えていてもよく、列雑音オフセット係数は、メモリに記憶された列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新される。
本発明の一実施の形態が提供する信号処理方法は、オプティカルブラック画素及び能動クリア画素を有する画素アレーからの出力信号を処理する信号処理方法において、画素アレーからの出力信号を黒基準値と比較するステップを含む、黒レベル調整信号を算出するステップと、ライン雑音平均値を算出するステップと、ライン雑音平均値を黒基準値と比較するステップとを含む、ライン雑音補正値を算出するステップと、デジタル出力信号内の各黒画素をライン雑音補正処理ブロックによって算出されたライン雑音平均値と比較するステップを含む、列雑音補正値を算出するステップと、黒レベル調整信号に基づいて、出力信号の黒レベルを調整し、第2の出力信号を生成するステップと、列雑音補正値を第2の出力信号に加算し、第3の出力信号を生成するステップと、ライン雑音補正値を第3の出力信号に加算するステップとを有する。この信号処理方法は、列雑音オフセット係数をメモリに記憶し、列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新するステップを更に有していてもよい。
本発明は、同様の構造的要素に、同様の参照符号を付した添付の図面を参照する以下の詳細な説明によって明らかとなる。
米国特許番号6,861,634からの、アナログ回路を介して適用されるデジタル補正項を有する従来のCMOS APSシステムのブロック図である。 米国特許番号5,892,540に開示されている従来の列バッファの概略図である。 画像センサからの出力を処理するのための従来のアーキテクチャのブロック図である。 能動画素、黒基準又はオプティカルブラック(OB)画素、ダミー画素及びガードバンドを含むセンサアレーの代表的な実施の形態を示すブロック図である。 図3において仕切られ、図6に概要的な回路図として示すセンサアレーの構造を示すテーブルを示す図である。 典型的な撮像システムオンチップセンサ内に統合された本発明の実施の形態のブロック図である。 チップデータストリーム上の撮像システム、特に、黒基準画素の出力及びセンサの黒基準レベルを更新するための期間を示す図である。 黒画素領域及び能動クリア画素領域を含む本発明の画素アレーのブロック図である。 ブラッククランプ、ライン雑音抑圧及び列雑音抑圧のサポートを含む本発明の好ましい実施の形態の概略図である。 アナログブラッククランプ回路として、デジタル的に制御されるチャージポンプが組み込まれた本発明の実施の形態の概略図である。 アナログブラッククランプ手段として、米国特許出願第TBD号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」に開示されているプログラマブルDACが組み込まれた本発明の好ましい実施の形態の概略図である。 2つのデータチャンネルのサポートを含む本発明の実施の形態の概略図である。 ブラッククランプブロック500における包括的なブラッククランプのためのVerilogコードの実現例の最初を示す図である。 図13Aのコードの続きを示す図である。 図13Bのコードの続きを示す図である。 図13Cのコードの続きを示す図である。 図13Dのコードの続きを示す図である。 図13A〜13Eに記載されているブラッククランプブロック500のためのVerilogコードの最後を示す図である。 ライン雑音抑圧に関係するプログラミングレジスタのリストを示す図である。 LineNoiseMode=1のためのアルゴリズムのテーブルを示す図である。 LineNoiseMode=2のためのアルゴリズムのテーブルを示す図である。 LineNoiseMode=3又は0のためのアルゴリズムのテーブルを示す図である。 画素の行(ライン)に適用された列雑音補正の効果を示す図である。
以下の説明により、当業者は、本発明を実現及び実施することができる。以下では、発明者が最良と考える実施の形態について説明する。なお、当業者は、様々な変形例を想到することができる。このような全ての変形例、均等物、変更例は、本発明の思想及び範囲に包含される。
従来の画像センサは、一般的に、画像信号を出力する画素アレーと、これにより得られる画像の品質を増加させるように設計されたデジタル撮像処理ブロックとを備える。現在、包括的な3つの種類の処理アルゴリズム、すなわち、ブラッククランプ、ライン雑音補正及び列固定パターン雑音(column fixed pattern noise:FPN)補正が使用されている。これまで、これらのアルゴリズムは、個別の離散的な手法で実行され、各アルゴリズムは、他のアルゴリズムから独立して動作していた(図3を参照)。一方、本発明は、以下に説明するように、従来の技術の限界を克服し、処理ブロック(アルゴリズム)の間で情報を共有するアーキテクチャを提供する。これは、デジタルアルゴリズムのより速い収束、より高品質な画像出力、回路をより小型化できる可能性等を含む幾つかの利点を提供する。
本発明は、能動画素CMOSイメージャのための代表的な設計を含む。低雑音能動画素センサ(active pixel sensor:APS)の発明のプロトタイプの実施の形態は、例えば、可視イメージャとして可視光検出器(フォトディテクタ)の4096(列)×3072(行)の能動アレーを備える。能動アレー又は公称記録領域は、これを取り囲む周辺部分の黒基準画素によって画定される。図4は、オプティカルブラック(optical black:OB)、ガードバンド、ダミー及び任意の光学アラインメント画素周辺部分に取り囲まれた公称記録領域を示すアレープランである。
画素の行及び列は、0.18μmデザインルールを用い、中心間距離をμmで描画したとき、マイクロレンズなしで、50%までの開口率(as-drawn optical fill factor)を提供することができる。検出器の感光領域の周辺の幾つかの列及び行は、OB画素を形成するために、通常、金属及び/又は他の不透明な材料で覆われる。本発明は、様々な帰線期間、すなわち、センサから光生成データ(photo-generated data)が供給されない時間セグメントの間に、OB画素を継続的に読み出すことによって、黒レベルを更新し、安定させることができる。本発明の黒レベル安定化は、広範囲のセンサ温度及び環境に亘ってセンサ性能を最大にする3つのタイプを含む。安定化モードは、1)包括的な黒レベルクランプ、2)適切なラインベースの係数によってライン雑音を補償するためのライン毎の黒レベルの微調整及び3)列雑音を調整するための列毎の黒レベルの微調整を含む。
各行の感光検出器を色フィルタで覆い、カラーイメージャを作成することができる。例えば、奇数行は、左から、赤色フィルタで始めて、次に緑色フィルタ、そして、青色フィルタで覆い、偶数行は、青色フィルタで始めて、次に赤色フィルタ、そして、緑色フィルタで覆い、これらのパターンを繰り返して各行を埋めてもよい。また、標準のベイヤフィルタパターンを適用してもよい。したがって、能動画素センサからのビデオ信号は、以下を含む。
・能動撮像領域を取り囲むオプティカルブラック(OB)境界の少なくとも一部及び他の非撮像画素を含む非感光画素(light-insensitive pixel)の第1の期間(interval)
・電子的捕捉又は撮像のための画像センサのデータストリームのバルクを含む感光撮像画素の第2の期間
・任意であるOB画素の第3の期間
上述したように、様々な画素データを特定の時刻に読み出す必要はない。例えば、全ての黒画素は、画像センサの各ラインの黒画素及び能動画素からのデータを含む集合的なデータストリームの「前部ポーチ」の間に読み出すことができる。一方、能動画素は、多くの場合、様々なタイミング規格、例えば、本願に援用される高精細度ビデオのためのSMPTE274M又はSMPTE292規格によって定義されているように、「前部ポーチ」に続き、「後部ポーチ」に先立つ連続した期間の間に読み出される。用語「ポーチ」は、各ビデオライン、フィールド又はフレームの間の期間を指し、ここでは実際の撮像データをカメラに供給せず、これに代えて、オーバヘッド信号処理機能を実行できる。このような帰線期間は、元々、CRTディスプレイにおいて、ビームフライバックのために必要であった。関連するOB画素データは、前部ポーチの間に全てを読み出してもよく、前部ポーチと黒いポーチとの間で分けて読み出してもよく、後部ポーチの間に全体を読み出してもよい。OBデータストリームは、常に、撮像システムオンチップ(imaging System-on-Chip:iSoC)内の全ての演算及び信号処理を監督するデジタルコントローラに送信されるが、これは、複合データストリーム(composite data stream)に含ませて、カメラに供給してもよい。カメラに安定した黒基準を提供することによって、最高品質のイメージキャプチャ及び可能な更なる処理が実現する。
図5の表は、典型的な実施の形態における水平方向及び垂直方向の両方の能動画素及びサポート画素の構成を示している。水平方向においては、例えば、4096×3072画素の基礎解像度をサポートするセンサは、実際には、合計で4416×3300画素を含み、このうち、4352×3252画素が読出のためにアドレス指定可能である。電気的な絶縁及びiSoC画像処理によって画質を向上させるためには、周辺に沿って更なる行及び列が必要である。具体的には、周囲のiSoC回路に隣接する画素は、24画素幅のガードバンドを構成し、この結果、約100μm(すなわち、4μm×24画素)に亘ってバッファ領域を形成し、電子回路動作を光電子機能(photo-electronic function)から分離する。通常、シリコンの自由キャリア吸収長は、約100μmであるので、ガードバンド画素の第1の役割は、間接的な光又は迷走する光生成キャリアが基板を介して電子回路に到達することをブロックすることである。他の主要な目的は、周囲の電子回路において、iSoC動作によって引き起こされる電磁干渉を防止し、OB及びクリア画素内の信号が劣化することを防止することである。画素構成において次に設けられるのは、様々なOB画素の組であり、8画素に亘る第1のダミー領域(OBダミー1)、本発明に基づいて黒レベルを安定させる64個のOB画素、12画素からなる第2のOBダミー領域、能動画素からOBを分離する12個のクリアダミー画素、公称記録領域を適応的にシフトさせることによってセンサとカメラとの取付誤差を補償するために役立つ32個の完全な能動画素、同様に特別な信号処理演算のために使用される8個の境界処理画素、4096個の能動画素に亘る主となる領域、及び公称記録領域の反対側に設けられるサポート画素の任意の対応する組を含む。
図6に示す好ましい実施の形態では、先に図4に示し、及び図5にテーブルとして示した画素アレー11は、撮像システムオンチップ10の中心に埋め込まれている。図6では、図面を簡潔にするために、4416×3300画素を含むフルサイズのアレーではなく、1画素分の幅のみが示されている薄いOB境界を含む単純化された6×6の画素アレー11を示している。画素ブロック11は、列バッファ16を介して読み出され、iSoCスーパバイザ12の監督の下で、水平マルチプレクサ18によってシリアルアナログデータストリームに多重化される。スーパバイザ12は、適切な時刻に全てのiSoCブロックを刺激する様々なタイミング及び制御信号を生成する。列バッファ16内の各バッファは、例えば、米国特許番号第5,892,540号に開示されている方式及び方法を用いて、画素の各列からのアナログデータを調整する。
次に、OB画素データ及び光生成画素データの両方を含むシリアルアナログデータストリームは、本発明に基づく回路である安定化ブロック100に供給される。本発明は、混在信号システムオンチップ解決法(mixed-signal System-on-Chip solution)であり、すなわち、5個の内部の回路ブロックを含むアナログ回路及びデジタル回路の両方が安定化ブロック100に含まれ、信号バス900によって共通にサービングされる。本発明では、アナログ処理、デジタル化及びデジタル処理を実行した後に、信号バス900によってデジタルデータストリームを供給し、I/Oポート600を介して、最終的にセンサから出力させる。
生のアナログビデオは、水平マルチプレクサ18によって供給されるデータストリームを精密に検出することによって観察できる程小さいので、安定化ブロック100は、デジタル化ブロック200において、アナログビデオを増幅して、デジタル化する。デジタル化ブロック200は、プログラマブルゲイン増幅器(Programmable Gain Amplifier:PGA)210及び高分解能AD変換器220からなり、アナログ信号ストリームを、順次、ブラッククランプし、増幅し、少なくとも12ビット分解能にデジタル化する。PGA210は、アナログビデオを増幅することに加えて、ブラッククランプを実行するために、ブラッククランプ(BlackClamp)ブロック500からアナログ補正信号が供給される。したがって、(プログラミングレジスタによって設定される)プリセット値への汎用の黒レベルクランプは、ブラッククランプブロック500におけるデジタル信号処理によって補助されるフィードバックループを介して実行される。PGA210を使用して、増幅及びブラッククランプの両方を実行する際には、複数(通常3個又は4個)の色を、単一の信号処理チェーンによって交互に処理してもよく、又は複数のデジタル化ブロック200を使用して交互に分離してもよい。何れの場合も、デジタル化の前に、黒レベルの分散を最小化することによって、アナログダイナミックレンジが最大化される。そして、通常、ピークツーピークで数LSBより小さい列雑音は、好ましくは、オフセット差分を記憶する列補正メモリ320からの補助によって、列雑音補正ブロック300においてデジタル的に除去される。最終的に、ライン間雑音の補正は、好ましくは、差分値を記憶するライン雑音補正ブロック400において完了する。集合的な補正は、デジタル画像データのフリッカがないストリームを、I/Oポート600を介して、カメラに供給することを保証する。
本発明が使用するOB基準データは、黒基準レベルを正確に決定し、動的に調整するために、プログラミング可能な数のOB行及び/又はOB列に亘って平均化されたOB画素のストリームを含む。図7は、4つの黒画素と、これに続く、BLACKWAITTIMEと示しているプログラミング可能な期間と、4つの黒画素の第2の組とから構成されるビデオのラインのための代表的な画素ストリームの前部ポーチを示している。4つの黒画素の第1のグループに亘る期間は、AVEPIXのラベルを付し、予備のOB情報を平均化するために使用されるOB画素の数を示している。BLACKWAITTIMEは、割り込んでくるクロックサイクル内のデータに対して信号処理演算を実行するために使用される。ここに示されているのは、各OBセグメントを読み出した直後に、黒レベルをインクリメント(プッシュアップ)又はデクリメント(プッシュダウン)することによって、アクティブビデオを「プッシュアップ」又は「プッシュダウン」する能力である。プログラミング可能なBLACKWAITTIMEの間及び/又は第2のOBブロックが読み出された後に、補正を安定化(settle)できる。次にOB画素の第2の組を読み出した後に、第2の「プッシュアップ」又は「プッシュダウン」補正によって、この時点におけるセンサの黒レベルを更に調整する。このように、OB画素を読み出し、黒レベルを調整し、更なるOB画素を読み出し、そして黒レベルを再調整する処理を繰り返すことによって、初期のアクティブビデオがiSoCビデオストリームに入る実時間以前に適切な黒基準ターゲットに正確に収束するブラッククランプフィードバックループが実現される。また、繰返し処理は、遷移において、ブラッククランプループによって生じる黒基準レベルが不正になることを防止する。
クリア画素及びOB画素は、更に、図8に示すように、「クリア」画素及び「黒」画素の組に隔離される。ClearPixelsのラベルが付された領域に含まれているクリア画素は、視覚的な電子画像を形成する感光素子である。領域R1_OB、R1_OBC、R2_OB、RW_OBC及びR3_OBに含まれている黒画素は、非感光性である。領域R1_OB、R2_OB及びR3_OB内の黒画素は、ライン毎にライン雑音を除去するために使用され、領域R1_OBC及びR2_OBCの黒画素は、それぞれ、黒基準画素及び能動画素の列オフセット係数を決定するために使用される。領域R1_OB及びR2_OB内の黒画素は、ブラッククランプを実行するために領域R3_OB内の画素と組み合わせて使用される。
更に、本発明の好ましい実施の形態の回路図を図9に示す。このアーキテクチャは、複数の信号パスに拡張でき、及び何れかのブロックを除外し又はプログラミングによってイネーブル/ディスエーブルにできる。信号処理ブロック300、400が例えば、ディスエーブルにされると、I/Oポート600から出力されるセンサデータは、ブラッククランプされ、デジタル化されたデータだけから構成される。好ましい実施の形態は、ブラッククランプ、ライン雑音抑圧及び列雑音抑圧によってサポートされる1つの信号パスを示しているが、変形例として、同様に複数の信号パス及び雑音抑圧パスをサポートしてもよい。例えば、図12の概略図は、ブラッククランプ演算及びライン雑音補正を含む2つのデータパスを示している。
上述したように、好ましい実施の形態では、包括的なブラッククランプ、特定の列雑音補正及び特定のライン雑音補正を含む3つの黒レベル補正演算が実行される。したがって、信号処理フローでは、各演算毎に特定の目標値をサポートするために、3つの直流オフセット調整が実行される。第1のオフセット補正は、PGA210の入力における、プッシュアップ・プッシュダウン・ストロングプッシュ(PUSHUP PUSHDOWN STRONGPUSH)調整を介する包括的なブラッククランプであり、これは、ブラッククランプブロック500によって行われる。第2のオフセット補正は、ライン雑音補正ブロック400によって算出されるLineOffsetT1調整であり、これは、ライン雑音を取り除くために加算ブロック410に供給される。第3のオフセット補正は、列雑音補正ブロック300によって生成されるColumnNoiseOffset調整であり、これは、列雑音を取り除くために加算ブロック310に供給される。オプションとして、第4のオフセット補正であるOFFSET_T1が加算ブロック710に供給され、信号バス900上でサポートされるダイナミックレンジ内で黒レベルターゲットが調整される。包括的なブラッククランプ、ライン雑音補正及び列雑音補正演算を含む黒レベル安定化プロセスは、以下のように実行される。
1.まず、オプティカルブラック領域R1_OB内の黒行データを用いて、黒レベルを決定及び更新する。このステップは、アナログ読出パスによって生成されたあらゆるシステム的なオフセット(systematic offsets)を除去し、次に、領域R1_OBCを用いて算出される列雑音データを高精度化する。センサは、トップから開始して読み出してもよく、ボトムから開始して読み出してもよく、したがって、領域R1_OB及び領域R1_OBCは、トップにおいてもボトムにおいても利用可能である。
2.領域R2_OBを用いて、黒基準レベルの更新を続ける。オプティカルブラック領域R2_OBCを用いて、各行内の平均ライン雑音を算出する。各列の分散係数を測定する前にライン雑音を除去する。
3.メモリに格納される係数が、絶対値ではなく、ライン雑音に比例する列雑音の差分を表す差動技術(differential technique)を用いて、列雑音係数を更新する。オフセット係数は、異なるアルゴリズム重みによって、複数の行に亘って累積される。差動技術は、列雑音係数を決定するために用いられる実際のOB行に存在するライン雑音の影響が小さいため、累算より強力である。差動技術を使用することによって、また、ライン雑音平均は、各列のオフセットをより正確に判定するための基礎となる閾値を提供することができる。この結果、OB行は、ライン雑音を算出するためのR2_OBと、R2_OB期間に算出されるライン雑音がない場合に列雑音を算出するためのR2_OBCとに分けられる。
4.読出が能動画素の行に入ると、オプティカルブラック領域R3_OBを用いて、各ラインの平均雑音を算出する。
5.公称記録領域内のClearPixel領域、すなわち、能動画素を読み出す際は、R3_OBを処理することによって算出されたデータを用いて、ライン雑音を除去する。
6.センサがどのように使用されているか、及び適切にプログラミングされているかに応じて、R3_OB領域の一方又は両方を用いて黒基準を更新する。
7.R2_OB情報を用いて、ライン雑音の補正を行った後に、R2_OBCデータを用いて、列オフセット係数を更新する。
8.各領域内のオプティカルブラック画素の数は限られているので、特異な画素を特定し、以後の計算の間に無視することによって、ブラッククランプ、列雑音及びライン雑音補正の精度を向上させる。
例示的な単一のビデオチェーンの場合、上述したステップは、信号バス900からの、好ましくは、少なくとも18ビット幅のデジタルデータをタッピングし、次に、図示するように、補正を再挿入することによって実行される。メインデータフローは、信号バス900のパスを流れ、ブラッククランプブロック500は、黒レベルを安定させるために信号をタッピングする最初のiSoC信号処理ブロックである。加算ブロック510は、タッピングされたビデオストリームをバッファリングし、最新のデータをレジスタ520に供給する。コンパレータ530は、最新情報を目標値BlackRef_T1と比較し、レジスタ値strongrefのプログラミングされた設定による指示によって速やかな収束が必要とされているかに応じて、インクリメンタルなプッシュアップ、プッシュダウン、又はより強力なプッシュアップ/プッシュダウンが実行される。次に、図9においてPUSHUP PUSHDOWN STRONGPUSHのラベルが付された関連するアナログ信号を、デジタル化ブロック200のPGA210に供給することによって、黒レベルが補正される。このようにして、デジタル論理回路は、アナログの演算を制御して、後のデジタル化のためのアナログダイナミックレンジを最大にする。この結果、アナログブラッククランプ信号は、画像データストリームの黒基準レベルを安定させる。次に、ライン雑音及び列雑音を抑圧することによって更なるブラッククランプが実行される。
図10は、包括的なブラッククランプフィードバックループの第1の実施の形態のブロック図を示しており、ここでは、デジタル的に制御されるチャージポンプ230を使用して、デジタル手段によって制御されるアナログ補正信号のプッシュアップ、プッシュダウン又は強いプッシュ(ストロングプッシュ)を実行する。図11に示す好ましい実施の形態は、これに代えて、関連する米国特許出願番号TBD号、発明の名称「CROSS-COUPLED DIFFERENTIAL DAC-BASED CLAMP CIRCUIT」に開示されている公差結合されたD/A変換器(cross-coupled DAC)240を使用する。ここでは、2つのD/A変換器は、直列(in tandem)で使用され、ブラッククランプ補正項の細かい及び粗い調整を担う。粗い及び細かい補正電圧は、同じカップリングコンデンサCbcを介して、PGA210に供給される。PGA210は、プログラミング可能な帰還コンデンサCを採用しており、この値は、レジスタコントローラ64によってプログラミングされる。PGAゲインは、このようにして適切にプログラミングされ、ホワイトバランス及び測色を最適に微調整するために、各色について必要な、特定のゲインが実現される。色フィルタアレーを有する画像センサは、Rチャンネル、Gチャンネル、及びBチャンネルのために別々のゲインを必要とする。更に、最良の具体例では、ベイヤパターンセンサ(Bayer-patterned sensor)は、それぞれがG、G、R及びBの画素を処理する4つの色チャンネルのそれぞれについて、個別のゲインを用いる必要がある。この最新の能力は、赤色画素及び緑色画素を含むベイヤパターン画素の各行における赤色画素の赤色チャンネル挙動が、赤色画素及び青色画素を含む行内における赤色画素の赤色チャンネル挙動と同じでないとの認識に基づいている。したがって、赤色画素及び緑色画素を含む行の緑色画素は、区別され、G画素のラベルが付される。同様に緑色画素及び青色画素を含む行の緑色画素は、G画素とみなされる。この結果、レジスタコントローラ64は、所定の画像センサの色フィルタアレーのための予めプログラミングされたゲイン設定を有していてもよく、及び/又はカメラからの設定に基づいて、動的にゲインを調整してもよい。基準画素データ及び能動画素データを含むiSoCデータストリームPGA610の入力に供給され、PGA610のゲインは、iSoCレジスタコントローラ64によって、画素毎に又はチャンネル毎に設定される。最終的な結果として、デジタルコントローラからの出力信号が、動的に制御され、出力信号が生成される。
Figure 2010520709
ここで、Voutは、出力信号であり、Vsigは、能動画素信号であり、Vbcは、オプティカルブラック画素信号であり、Csigは、アクティブビデオのためのキャパシタンスであり、Cbcは、ブラッククランプデータストリームのためのキャパシタンスであり、Cは、ベースフィードバックキャパシタンスである。このように、本発明は、各色毎の個別のゲインに加えて、アクティブ画素及び黒画素について、個別のゲインを実現する。交差結合(cross-coupled)されたデジタル/アナログ変換器(DAC)66のためのサポートを含むゲイン制御の全体的な範囲を広げるために、更なるコンデンサを用いることができることは当業者にとって明らかである。また、G、G、R及びBチャンネルを最善に取り扱うために、4つのPGAを用いることができることは当業者にとって明らかである。この場合、例えば、G、G、R及びBチャンネルは、後に、I/Oポート600において、所望の順序で再結合される。
再び図11を参照して説明すると、iSoCデータストリームは、最高の純度の黒基準レベルを生成する精度を最大化するために、好ましくは、12のビットの最小分解能を提供するアナログ/デジタル変換器(ADC)220によってデジタル化される。そして、デジタル化されたデータは、ブラッククランプブロック500に供給され、ブラッククランプブロック500は、黒レベルデータをターゲット黒レベル72、BLACKREFと比較する。2つのレベル間の如何なる差分もDACにフィードバックされる。目標値が大きくオフセットしているか小さくオフセットしているか、又は差分が正であるか負であるかに応じて、デジタルコントローラは、DACを適切に制御し、正しいオフセットをPGAの他方のレッグに供給する。
これにより、平均黒レベル値は、ブラッククランプブロック500に埋め込まれた論理回路内でBLACKREFと比較され、ブラッククランプブロック500は、小さくシフトアップ又はシフトダウンするか、又は差分が第2の閾値STRONGREFを超えている場合、大きくシフトアップ又はシフトダウンするかを決定し、DAC240による黒レベルの補正をトリガする。
Figure 2010520709
平均黒レベルは、通常、精度を向上させ、過渡応答の***(transient disruption)を最小化し、黒レベルを完全に安定させるために、数フレームに亘って平均化される。移動平均を用いると、黒画素を形成するために用いられるシリコン面積を広げることなく、黒画素の数を有効に増加させることができる。図13A〜図13Fは、ブラッククランプブロック500を実現するためのVerilogコードによる実現例を示している。
包括的に言えば、ライン雑音補正は、以下の3つのステップによって達成される
1)ライン雑音平均(1ラインあたり)を算出する。
a.これは、ラインの始めにおいて、全ての黒画素を合計し、合計の値を、合計された黒画素の数で除算することによって求められる。
b.ある場合には、全ての黒画素を合計し(包括的ライン雑音)、ある場合には、検討中のADCに関連付けられている黒画素だけを使用する(局所的ライン雑音)。
c.これにより得られるライン雑音平均「LineAve」は、列雑音補正ブロック300において「基準」として使用される。これによって、列雑音補正ブロック300がライン雑音の摂動に強くなり、この結果、ColumnNoiseOffset信号がより速く、高品質に収束する。
2)ライン雑音平均とblack_referenceとの間の差分であるオフセット「LineNoiseOffset」を算出する。
a.「black_reference」は、ブラッククランプブロック500によって使用されるものと同じblack_referenceである。
3)ライン内の各クリア画素にオフセットを加える。
図9に戻って更に詳細に説明すると、ライン雑音補正は、ライン雑音補正ブロック400において実行される。加算ブロック420は、信号バスから複合(撮像画素+OB画素)データストリームが供給され、データを累積し、そして、累積されたデータを加算レジスタ430に保存する。データパス内の各レジスタは、1サイクルの遅延を生じる。画素値は、レジスタ430において累積され、除算器440によって平均化される(ビットシフトによる除算)。これにより得られるLineOffset値及びLineAve値は、更に、ライン雑音補正ブロック400によって使用され、ライン補正が実行され、また、出力は、マルチプレクサ830において、列雑音補正ブロック300に供給される。加算レジスタ430は、プログラミングされた数の黒基準画素が使用されるまで、累計を加算ノード420に戻す。このときまで、中間的な累計が除算器440に供給される。除算器440の出力は、減算器450によって、プログラミングされたオフセット値LineBlackRefから減算され、次に、モードマルチプレクサ460に供給される。一定の又は算出された平均が要求されているかに応じて、出力は、レジスタ470に供給される。モードレジスタ470の出力は、オフセット係数ストリームLineNoiseOffsetT1であり、これは、データストリームを適切に更新するために加算ブロック410に供給される。この結果、ライン雑音は、行毎に抑圧され、黒レベルが更に安定する。
ライン雑音補正ブロック400の動作モードは、図14に表として示し、ここに説明するように実現されるレジスタ設定によってプログラミング可能に制御される。ライン雑音は、様々なタイプのセンサセットアップ、カメラセットアップ又は撮像条件について、画像における一時的なライン毎の変化に対して補正を行うように最適化された3つのアルゴリズムを用いて交互に除去される。演算の間、各行の黒画素は、読み出され、累積され、平均され、これにより得られるライン平均(LineAve)は、プログラミングされた目標値又は基準に対するラインオフセットを決定するために使用される。このラインオフセット(LineOffset)は、行内の次の(クリア)画素から減算される。行Rについてのライン平均及びラインオフセットの一般的な形式は、以下のように表される。
Figure 2010520709
ここで、NBLKは、計数された黒画素の数である。
ライン平均及びラインオフセット演算のための3つの特定のアルゴリズムは、各LineNoiseModeについて、図15A〜図15Cのテーブルに示している。信号処理動作において走査される黒ブロックの数は、以下のようにして求められる。
Figure 2010520709
STOPADDR_DARK及びSTARTADDR_DARKは、それぞれ、アルゴリズムの処理によって用いられるOB画素の停止アドレス及び開始アドレスである。したがって、信号処理動作において使用される黒画素の実数は、NumPixelBlack*32である。
上述したように、図14のテーブルは、ライン雑音を抑圧するために用いられる3つの主なアルゴリズムの何れかをアサートするようにプログラミングされる様々なiSoCレジスタを示している。LineNoiseMode=1、LineNoiseMode=2、LineNoiseMode=3又は0を含む少なくとも3つのアルゴリズムのモードをイネーブルにすることができる。ラインオフセットの表現は、以下の通りである。
Figure 2010520709
ここで、LineBlackRefは、所望のライン雑音補正を実行するために減算器450に供給される12ビットのレジスタ値である(上述のレジスタの説明を参照)。
ラインオフセット係数を算出する処理は、OB画素を読み出し、以下のように、全ての及び各フレームの平均dc値l(r)を算出することによって開始される。
Figure 2010520709
ここで、p(r、c)は、行r、列cにおける画素値であり、Bは、ライン平均を算出するために使用されるOB画素の数である。ライン雑音補正の3つのモードは、以下のように定義される。
1.l(r)は、領域R1_OB内の全ての画素を用いて算出される。
2.l(r)は、2つの別個の量であるl(r)Top及びl(r)Bottomとして算出され、画像センサのトップ及びボトムにおける2つのR2_OB領域について、別個のライン平均を提供する。
3.l(r)は、4つの別個の量であるl(r)TopLeft、l(r)TopRight、l(r)BottomLeft及びl(r)BottomRightとして算出され、画像センサの左上、右上、左下、右下の領域における4つの別個のR2_OB領域について別個のライン平均を提供する。
モード2、3は、複数のビデオパイプラインをサポートし、画像センサがサポートできる最大フレームレートを向上させる。また、更に、OB領域を分離して、標準のCCD又はCMOS画像センサを用いて、単一のタップではなく、4、8、16又はこれより多くの出力ポートを増加的にサポートすることもできる。
列雑音補正ブロック300は、画像内の列毎の固定パターン雑音(fixed pattern noise:FPN)を補正するアルゴリズムを実行する。図16は、理想的なシナリオを示している。補正アルゴリズムは、メモリを使用して、各列に関連する、所望の基準と比較されたオフセットを、記憶する。これらのオフセットは、まず、黒行の間に較正され、メモリに書き込まれ、次に、読み出され、FPNを補正するために、画像センサのクリア画素に適用される。
より詳しくは、黒行についてのオフセットの算出は、プッシュ/プルアルゴリズムの使用を伴う。黒画素行を読み出す際、供給される黒画素は、「基準」(ライン雑音補正400ブロックによって生成される)と比較される。画素の値が基準に比べて高過ぎる場合、値を下げる必要があり、値が低過ぎる場合、値を上げる必要がある。加算又は減算される量は、プログラミング可能な「プッシュ/プル」値であり、典型的には、1、8又は16である。複数(すなわち、1フレームあたり128)の行について、加算/減算を複数回行う。値は、累積され、メモリに記憶される。すなわち、各加算/減算の動作は、実際には、メモリに関する「読出/修正/書込」動作である。一旦、メモリオフセットが読み出されると、次に、比較が行われ、メモリオフセットが修正され、次に、再びメモリに書き込まれる。この動作は、アレー内の画素のために1列毎に行われる。
一旦、黒行において適切なオフセットが算出されると、これらは、対応するクリア画素に適用される。再び、対応するオフセットがメモリから読み出され、クリア画素に加えられる。なお、メモリの値は、正及び負の何れでもよいので、結果として得られる画素値は、(図16に示すように)何れの方向に補正する必要があるかに応じて、大きくなる場合も小さくなる場合もある。
更に詳細に説明すれば、列雑音は、列雑音補正ブロック300によって除去され、図16に示す実行結果がサポートされ、ここで、アナログ領域において、100μVの精度でビデオストリームの黒レベル分散が低減され、信号バス900に沿ったエンドツーエンド信号チェーンにおいて実現されるゲインの如何にかかわらず1LSB以下にされる。補正アルゴリズムは、列補正メモリ320内のメモリのブロックを用いて、所望の目標基準に対する各列毎の雑音係数を記憶する。これらの列雑音係数は、まず、黒行が読み出されるとき、垂直帰線期間の間に判定され、次に、各メモリバンクに書き込まれ、最終的に、図9においてColumnNoiseOffsetのラベルが付されているブラッククランプ補正信号として読み出され、加算ブロック310によって、列雑音を補正するために画像のクリア領域に適用される。較正の間、列C、行Rの列雑音調整のための包括的な式は、offset(C)=offset(C)R−1±調整値であり、調整値は、動作のモードに依存する。補正の間、次の行(R+1)がスキャンされるときの列雑音が補正された画素値は、p(R+1,C)=p’(R+1,C)+offset(C)であり、ここで、p’は、FPN補正がない元の画素値である。現在の画像が黒フレームである場合、ユーザは、列雑音補正のために、上述した様々なOB行に加えて、疑似黒画像を含む全体の画素アレーを使用することを選択できる。較正のために用いられる黒基準は、ユーザによって設定された固定値であってもよく、各行内のOB画素を用いて算出されたライン平均であってもよい。ライン平均が基準として用いられる場合、メモリに記憶された値は、列雑音の実際の組をより良好に表現する。
図8のセンサアレープランを再び参照して説明すると、影付きの領域は、センサ周辺におけるOB行及びOB列を示す。列雑音補正がイネーブルにされると、すなわち、レジスタOFFSETCORR_DIS=0にされると、領域R1_OBC、R2_OBC及びClearPixelsにおいて、列雑音補正(FPNメモリコンテンツを読み出し、画素値に加える処理)が実行される。この処理は、メモリ320を読み出し、オフセット係数を対応する画素値に加える処理を含む。列雑音補正及び列雑音メモリ更新が共にイネーブルにされると、すなわち、レジスタOFFSETWRITE_DIS=0にされると、領域R2_OBCにおいて、列雑音補正及び列雑音の更新の両方(新たな列雑音係数を算出し、メモリに書き込むこと)が実行される。更に、レジスタOFFSET_CLAMPENが0に設定されると、R1_OBC及びR2_OBCの両方において、列雑音較正が実行される。レジスタOFFSETWRITE_ALLROWSが1に設定されると、領域R1_OBC、R2_OBC及びClearPixelsにおいて、FPN較正が実行される。
オフセット補正が実行される際、コンパレータは、現在の画素値p(r,c)と最新の列オフセット係数o(r−1)との合計をチェックし、この合計は、ライン平均l(r)を超えたときを判定し、補正の必要性を適切に判定する。このような必要性を判定するための論理演算は、以下の通りである。
Figure 2010520709
列オフセット補正には、2つのモードがある。第1のモードでは、l(r)は、ターゲット黒基準値blackrefのような固定された閾値であってもよい。第2のモードでは、l(r)は、ライン雑音補正の間に黒列において算出された平均として選択できる。
また、コンピュータ技術の知識を有する者には明らかであるが、本発明の一部は、本明細書の教示に基づいてプログラミングされた従来の汎用又は専用のデジタルコンピュータ又はマイクロプロセッサを用いて実現してもよい。
また、ソフトウェア技術の知識を有する者には明らかであるが、熟練したプログラマは、本明細書の教示に基づいて、適切なソフトウェアプログラムを容易に準備できる。更に、この開示に基づいて、当業者に明らかなように、本発明は、特定用途向け集積回路、又は従来の電気部品回路の適切なネットワークを相互接続することによっても実現できる。
本発明は、コンピュータを制御して本発明の処理を行わせるために使用される命令を記録した記録媒体(媒体)であるコンピュータプログラム製品を含む。記録媒体には、以下に限定するものではないが、フロッピィディスク(商標)、ミニディスク(MD、商標)、光ディスク、DVD、CD−ROM、マイクロドライブ、光磁気ディスク、ROM、RAM、EPROM、DRAM、VRAM、フラッシュメモリ(フラッシュカードを含む)、磁気又は光カード、ナノシステム(分子メモリICを含む)、RAIDデバイス、遠隔データ記憶装置/アーカイブ/ウェアハウス、或いは命令及び/又はデータを記憶する任意の種類の適当な媒体又は装置が含まれる。
本発明は、コンピュータにより読み取り可能な、任意の媒体に記憶され、汎用/専用コンピュータのハードウェア又はマイクロプロセッサを制御し、コンピュータ又はマイクロプロセッサを人であるユーザとインタラクトさせ、或いは他のメカニズムにより本発明の成果を利用する、ソフトウェアを含む。この種のソフトウェアは、限定する意味でなく、デバイスドライバ、オペレーティングシステム、及びユーザアプリケーションを含む。更に、この種のコンピュータにより読み取り可能な媒体は、上述したように、本発明を実施するソフトウェアを含む。
本発明の範囲及び思想から逸脱することなく、上述した好適な実施の形態の様々な適応例及び変形例を構成できることは、当業者にとって明らかである。したがって、添付の特許請求の範囲の範囲を逸脱することなく、本明細書に開示した形態とは異なる形態で本発明を実施できることは明らかである。

Claims (8)

  1. オプティカルブラック画素及び能動クリア画素を有する画素アレーからの信号出力を処理するための信号処理装置において、
    上記画素アレーから出力信号が供給され、該出力信号の黒レベルを黒基準値と比較し、該比較に基づいて、出力信号の黒レベルを調整するための調整信号を出力するブラッククランプブロックと、
    上記黒クランプブロックによって調整された出力信号が供給され、出力信号内の黒画素のライン雑音平均値を行毎に算出し、該ライン雑音平均値と黒基準値との差分に基づいて、ライン雑音オフセットを算出し、出力信号内のクリア画素に該ライン雑音オフセットを適用するライン雑音補正ブロックと、
    出力信号内の黒画素の列雑音オフセットを算出し、出力信号内のクリア画素に該列雑音オフセットを適用する列雑音補正ブロックとを備え、
    上記列雑音オフセットは、出力信号内の各黒画素を、上記ライン雑音補正ブロックによって算出されるライン雑音平均値と比較することによって列毎に算出されることを特徴とする信号処理装置。
  2. 列雑音オフセット係数を記憶する列雑音補正メモリを更に備える請求項1記載の信号処理装置。
  3. 上記列雑音オフセット係数は、上記メモリに記憶された列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項2記載の信号処理装置。
  4. オプティカルブラック画素及び能動クリア画素を有する画素アレーからの出力信号を処理する信号処理回路において、
    入力の1つに画素アレーからの出力信号が供給される差動プログラマブルゲイン増幅器と、
    上記差動プログラマブルゲイン増幅器に接続され、該差動プログラマブルゲイン増幅器からの出力信号をデジタル出力信号に変換するアナログ/デジタル変換器と、
    上記アナログ/デジタル変換器に接続され、上記デジタル出力信号を、黒基準値と比較し、上記差動プログラマブルゲイン増幅器の入力に黒レベル調整信号を供給するブラッククランプ処理ブロックと、
    上記アナログ/デジタル変換器に接続され、出力信号内の黒画素のライン雑音平均値を行毎に算出し、上記ライン雑音平均値と黒基準値と差分に基づいて、ライン雑音オフセットを算出するライン雑音補正処理ブロックと、
    上記デジタル出力信号内の各黒画素を、上記ライン雑音補正処理ブロックによって算出されたライン雑音平均値と比較することによって、上記デジタル出力信号内の黒画素の列雑音オフセットを列毎に算出する列雑音補正処理ブロックと、
    上記列雑音オフセットを、上記デジタル出力信号内のクリア画素に加算する第1の加算器と、
    上記ライン雑音オフセットを、上記デジタル出力信号内のクリア画素に加算する第2の加算器とを備える信号処理回路。
  5. 列雑音オフセット係数を記憶する列雑音補正メモリを更に備える請求項4記載の信号処理回路。
  6. 上記列雑音オフセット係数は、上記メモリに記憶された列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項5記載の信号処理回路。
  7. オプティカルブラック画素及び能動クリア画素を有する画素アレーからの出力信号を処理する信号処理方法において、
    上記画素アレーからの出力信号を黒基準値と比較するステップを含む、黒レベル調整信号を算出するステップと、
    ライン雑音平均値を算出するステップと、該ライン雑音平均値を上記黒基準値と比較するステップとを含む、ライン雑音補正値を算出するステップと、
    上記デジタル出力信号内の各黒画素をライン雑音補正処理ブロックによって算出されたライン雑音平均値と比較するステップを含む、列雑音補正値を算出するステップと、
    上記黒レベル調整信号に基づいて、出力信号の黒レベルを調整し、第2の出力信号を生成するステップと、
    上記列雑音補正値を上記第2の出力信号に加算し、第3の出力信号を生成するステップと、
    上記ライン雑音補正値を上記第3の出力信号に加算するステップとを有する信号処理方法。
  8. 上記列雑音オフセット係数は、メモリに記憶され、該列雑音オフセット係数が、ライン雑音に対する列雑音の差分を表すように、差動技術を用いて更新されることを特徴とする請求項7記載の信号処理方法。
JP2009552713A 2007-03-07 2008-03-05 信号処理装置及び信号処理方法 Active JP5260559B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/715,808 2007-03-07
US11/715,808 US7760258B2 (en) 2007-03-07 2007-03-07 Apparatus and method for stabilizing image sensor black level
PCT/US2008/002887 WO2008112104A1 (en) 2007-03-07 2008-03-05 Apparatus and method for stabilizing image sensor black level

Publications (2)

Publication Number Publication Date
JP2010520709A true JP2010520709A (ja) 2010-06-10
JP5260559B2 JP5260559B2 (ja) 2013-08-14

Family

ID=39741229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009552713A Active JP5260559B2 (ja) 2007-03-07 2008-03-05 信号処理装置及び信号処理方法

Country Status (4)

Country Link
US (1) US7760258B2 (ja)
EP (1) EP2118762A4 (ja)
JP (1) JP5260559B2 (ja)
WO (1) WO2008112104A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263585A (ja) * 2009-05-11 2010-11-18 Canon Inc 撮像装置及びその制御方法
JP2011029882A (ja) * 2009-07-24 2011-02-10 Sanyo Electric Co Ltd 電子カメラ
JP2011259485A (ja) * 2011-08-08 2011-12-22 Sony Corp 固体撮像装置、撮像装置、ad変換ゲイン調整方法
US8427551B2 (en) 2008-10-01 2013-04-23 Sony Corporation Solid-state imaging device, imaging apparatus, and ad conversion gain adjusting method
JP2014030149A (ja) * 2012-07-31 2014-02-13 Canon Inc イメージセンサ駆動装置および方法、放射線画像撮像装置
KR20170027107A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920185B2 (en) * 2004-06-30 2011-04-05 Micron Technology, Inc. Shielding black reference pixels in image sensors
JP4804254B2 (ja) * 2006-07-26 2011-11-02 キヤノン株式会社 光電変換装置及び撮像装置
US7929933B2 (en) * 2006-10-23 2011-04-19 Panasonic Corporation Noise suppression apparatus, FM receiving apparatus and FM receiving apparatus adjustment method
US7755679B2 (en) * 2007-03-07 2010-07-13 Altasens, Inc. Apparatus and method for reducing edge effect in an image sensor
JP5034610B2 (ja) * 2007-03-30 2012-09-26 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
KR101374301B1 (ko) * 2007-11-15 2014-03-17 삼성전자 주식회사 이미지 센서
JP5253028B2 (ja) * 2008-07-23 2013-07-31 キヤノン株式会社 撮像システムおよびその制御方法
JP5335327B2 (ja) 2008-08-29 2013-11-06 キヤノン株式会社 欠陥検出補正装置及び欠陥検出補正方法
JP4743243B2 (ja) * 2008-09-08 2011-08-10 ソニー株式会社 撮像装置、黒レベルの調整方法およびプログラム
JP5282543B2 (ja) * 2008-11-28 2013-09-04 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP5455798B2 (ja) * 2009-07-16 2014-03-26 キヤノン株式会社 画像処理装置
US8648932B2 (en) 2009-08-13 2014-02-11 Olive Medical Corporation System, apparatus and methods for providing a single use imaging device for sterile environments
US8253827B2 (en) * 2009-09-08 2012-08-28 Himax Imaging, Inc. Signal chain of an imaging system
JP5556199B2 (ja) * 2010-01-29 2014-07-23 ソニー株式会社 固体撮像素子及び撮像機器
AU2011230538B2 (en) 2010-03-25 2016-01-07 DePuy Synthes Products, Inc. System and method for providing a single use imaging device for medical applications
US8325248B2 (en) 2010-06-04 2012-12-04 Apple Inc. Dual processing of raw image data
US8319861B2 (en) 2010-06-04 2012-11-27 Apple Inc. Compensation for black level changes
US8228406B2 (en) 2010-06-04 2012-07-24 Apple Inc. Adaptive lens shading correction
JP2012015587A (ja) * 2010-06-29 2012-01-19 Toshiba Corp 固体撮像装置
US8593317B2 (en) * 2011-01-06 2013-11-26 Texas Instruments Incorporated Apparatus and system to suppress analog front end noise introduced by charge-pump
US20120209064A1 (en) * 2011-02-14 2012-08-16 Olympus Corporation Endoscope apparatus and method of setting reference image of endoscope apparatus
MX2013013128A (es) 2011-05-12 2014-07-09 Olive Medical Corp Sistema y metodo para digitalizadores paralelos de subcolumna para sensor de imagen apilado hibrido que usa interconexiones verticales.
TWI449425B (zh) * 2011-07-11 2014-08-11 Novatek Microelectronics Corp 影像感測器及其黑階校正方法
US9006630B2 (en) 2012-01-13 2015-04-14 Altasens, Inc. Quality of optically black reference pixels in CMOS iSoCs
US8633845B2 (en) 2012-03-01 2014-01-21 Altasens, Inc. Low power slope-based analog-to-digital converter
JP5954623B2 (ja) * 2012-04-20 2016-07-20 株式会社リコー 撮像装置および画像処理方法
CN111938543A (zh) 2012-07-26 2020-11-17 德普伊辛迪斯制品公司 具有最小面积单片式cmos图像传感器的相机***
CN104619237B (zh) 2012-07-26 2018-03-30 德普伊辛迪斯制品公司 光不足环境中的ycbcr脉冲调制的照明方案
AU2013295553B2 (en) * 2012-07-26 2017-10-19 DePuy Synthes Products, Inc. Continuous video in a light deficient environment
JP6254159B2 (ja) * 2012-07-26 2017-12-27 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 単色センサを使用するワイドダイナミックレンジ
JP6053447B2 (ja) * 2012-10-23 2016-12-27 オリンパス株式会社 撮像装置
AU2014233515B2 (en) 2013-03-15 2018-11-01 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
WO2014145248A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Minimize image sensor i/o and conductor counts in endoscope applications
EP2967301B1 (en) 2013-03-15 2021-11-03 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
EP2967300A4 (en) 2013-03-15 2016-11-23 Olive Medical Corp CONTROL OF THE INTEGRATED LIGHT ENERGY OF A LASER PULSE
CA2906953A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Image sensor synchronization without input clock and data transmission clock
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
JP6090696B2 (ja) * 2013-05-30 2017-03-08 パナソニックIpマネジメント株式会社 クランプ処理方法
JP2015012373A (ja) * 2013-06-27 2015-01-19 株式会社東芝 固体撮像装置
KR20150014716A (ko) * 2013-07-30 2015-02-09 삼성전자주식회사 이미지 센서 및 그 구동 방법
JP2015032842A (ja) * 2013-07-31 2015-02-16 ソニー株式会社 固体撮像素子、撮像装置、および補正方法
KR102159261B1 (ko) * 2014-01-21 2020-09-23 삼성전자 주식회사 출력신호를 보정할 수 있는 이미지 센서
CN105981091B (zh) * 2014-02-06 2021-10-22 寇平公司 用于视频dac的电压参考和电流源混合方法
WO2015143453A1 (en) 2014-03-21 2015-09-24 Olive Medical Corporation Card edge connector for an imaging sensor
CN107431080B (zh) * 2015-03-30 2020-07-07 株式会社尼康 拍摄元件及拍摄装置
WO2017086010A1 (ja) 2015-11-19 2017-05-26 オリンパス株式会社 検査装置、画像処理装置、補正値算出方法、画像処理方法、検査プログラムおよび補正プログラム
KR102351950B1 (ko) * 2017-06-30 2022-01-18 삼성전자주식회사 이미지 신호 프로세서를 포함하는 전자 장치
CN109714545B (zh) * 2018-12-05 2021-01-15 中国科学院西安光学精密机械研究所 一种高速高光谱成像仪图像处理***
FR3090258A1 (fr) * 2018-12-12 2020-06-19 Stmicroelectronics Sa Procédé et dispositif d’estimation de niveau de bruit de rangées d’obscurité de référence d’un capteur d’images
KR20200115881A (ko) * 2019-03-28 2020-10-08 삼성전자주식회사 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법
US11432706B2 (en) * 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259223A (ja) * 2002-02-26 2003-09-12 Canon Inc 撮像システム
JP2005286808A (ja) * 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd クランプ装置
JP2006020173A (ja) * 2004-07-02 2006-01-19 Fujitsu Ltd 撮像装置、撮像装置の制御方法、cmosイメージセンサ
JP2006025147A (ja) * 2004-07-07 2006-01-26 Sony Corp 固体撮像素子装置及び信号処理方法
JP2006157263A (ja) * 2004-11-26 2006-06-15 Toshiba Corp 固体撮像装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69033613T2 (de) * 1989-05-31 2001-05-03 Canon K.K., Tokio/Tokyo Fotoelektrischer Umwandler
US5659355A (en) * 1994-10-31 1997-08-19 Eastman Kodak Company CCD dark mean level correction circuit employing digital processing and analog subtraction requiring no advance knowledge of dark mean level
US5892540A (en) * 1996-06-13 1999-04-06 Rockwell International Corporation Low noise amplifier for passive pixel CMOS imager
US6037577A (en) * 1997-03-11 2000-03-14 Kabushiki Kaisha Toshiba Amplifying solid-state image pickup device and operating method of the same
US6750910B1 (en) * 1998-07-15 2004-06-15 Texas Instruments Incorporated Optical black and offset correction in CCD signal processing
EP1143706A3 (en) * 2000-03-28 2007-08-01 Fujitsu Limited Image sensor with black level control and low power consumption
EP1176808A3 (en) * 2000-07-27 2003-01-02 Canon Kabushiki Kaisha Image sensing apparatus
US6774942B1 (en) * 2000-08-17 2004-08-10 Exar Corporation Black level offset calibration system for CCD image digitizer
US6697663B1 (en) * 2000-11-09 2004-02-24 Koninklijke Philips Electronics N.V. Method and apparatus for reducing noise artifacts in a diagnostic image
WO2002098112A2 (en) * 2001-05-29 2002-12-05 Transchip, Inc. Patent application cmos imager for cellular applications and methods of using such
KR100448244B1 (ko) * 2002-03-29 2004-09-13 주식회사 하이닉스반도체 이미지센서의 화소배열부 및 그를 포함하는 이미지센서 및이미지센서의 자동 블랙 레벨 보상 방법
US6861634B2 (en) * 2002-08-13 2005-03-01 Micron Technology, Inc. CMOS active pixel sensor with a sample and hold circuit having multiple injection capacitors and a fully differential charge mode linear synthesizer with skew control
US7692703B2 (en) * 2003-04-28 2010-04-06 Olympus Corporation Image pick-up apparatus
JP4367910B2 (ja) * 2003-10-02 2009-11-18 キヤノン株式会社 固体撮像装置
JP2006020055A (ja) * 2004-07-01 2006-01-19 Konica Minolta Holdings Inc 撮像装置
US7750955B2 (en) * 2004-08-31 2010-07-06 Canon Kabushiki Kaisha Image signal processing apparatus, image signal processing method and camera using the image signal processing apparatus
US20060114343A1 (en) * 2004-12-01 2006-06-01 Zhihong Zhang Programmable reference voltage calibration design
JP2006217304A (ja) * 2005-02-04 2006-08-17 Fujitsu Ltd 縦縞ノイズ低減方式
GB2425229B (en) * 2005-04-14 2008-04-09 Micron Technology Inc Generation and storage of column offsets for a column parallel image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259223A (ja) * 2002-02-26 2003-09-12 Canon Inc 撮像システム
JP2005286808A (ja) * 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd クランプ装置
JP2006020173A (ja) * 2004-07-02 2006-01-19 Fujitsu Ltd 撮像装置、撮像装置の制御方法、cmosイメージセンサ
JP2006025147A (ja) * 2004-07-07 2006-01-26 Sony Corp 固体撮像素子装置及び信号処理方法
JP2006157263A (ja) * 2004-11-26 2006-06-15 Toshiba Corp 固体撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427551B2 (en) 2008-10-01 2013-04-23 Sony Corporation Solid-state imaging device, imaging apparatus, and ad conversion gain adjusting method
JP2010263585A (ja) * 2009-05-11 2010-11-18 Canon Inc 撮像装置及びその制御方法
JP2011029882A (ja) * 2009-07-24 2011-02-10 Sanyo Electric Co Ltd 電子カメラ
JP2011259485A (ja) * 2011-08-08 2011-12-22 Sony Corp 固体撮像装置、撮像装置、ad変換ゲイン調整方法
JP2014030149A (ja) * 2012-07-31 2014-02-13 Canon Inc イメージセンサ駆動装置および方法、放射線画像撮像装置
US9756267B2 (en) 2012-07-31 2017-09-05 Canon Kabushiki Kaisha Image sensor driving apparatus, method and radiation imaging apparatus
US10148898B2 (en) 2012-07-31 2018-12-04 Canon Kabushiki Kaisha Image sensor driving apparatus, method and radiation imaging apparatus
KR20170027107A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
KR102523136B1 (ko) 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀

Also Published As

Publication number Publication date
WO2008112104A1 (en) 2008-09-18
US7760258B2 (en) 2010-07-20
EP2118762A1 (en) 2009-11-18
JP5260559B2 (ja) 2013-08-14
US20080218615A1 (en) 2008-09-11
EP2118762A4 (en) 2011-02-09

Similar Documents

Publication Publication Date Title
JP5260559B2 (ja) 信号処理装置及び信号処理方法
JP5034610B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8427551B2 (en) Solid-state imaging device, imaging apparatus, and ad conversion gain adjusting method
JP5871531B2 (ja) 撮像装置、撮像システム
JP5586236B2 (ja) 画像センサのダイナミックレンジ拡大方法及び画像センサ
KR101450718B1 (ko) 데이터 처리 방법, 데이터 처리 장치, 고체 촬상 장치,촬상 장치, 전자기기
JP4786631B2 (ja) 固体撮像装置、撮像装置
US8218038B2 (en) Multi-phase black level calibration method and system
US9148590B2 (en) Imaging apparatus with reference signals having different rate of change first and second pixels having same color
US8736717B2 (en) Image pickup apparatus and control method therefor
US20080218609A1 (en) Cross-coupled differential Dac-based black clamp circuit
US7598480B2 (en) Apparatus and method of image processing to avoid image saturation
US9918033B2 (en) Signal processing apparatus and signal processing method, and image capturing apparatus
JP4546563B2 (ja) 半導体集積回路
US20060027733A1 (en) Apparatus and method of digital imaging on a semiconductor substrate
JP2005101985A (ja) 固体撮像装置および画像入力装置
US7333043B2 (en) Active pixel array with matching analog-to-digital converters for image processing
JP5316611B2 (ja) 固体撮像装置、撮像装置、ad変換ゲイン調整方法
JP6320435B2 (ja) 撮像装置および撮像システム
JP6370510B2 (ja) 撮像装置、撮像システム及びad変換回路の駆動方法
US11284017B2 (en) Image pickup device and storage medium
JP2016111615A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120919

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5260559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250