JP2011097541A - 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム - Google Patents
固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム Download PDFInfo
- Publication number
- JP2011097541A JP2011097541A JP2009252446A JP2009252446A JP2011097541A JP 2011097541 A JP2011097541 A JP 2011097541A JP 2009252446 A JP2009252446 A JP 2009252446A JP 2009252446 A JP2009252446 A JP 2009252446A JP 2011097541 A JP2011097541 A JP 2011097541A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- pixels
- scaling
- distance
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】解像度変換を集約して行うことが可能で、ひいては回路規模および消費電力の増大を抑止することが可能な固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラムを提供する。
【解決手段】ロジック部140は、読み出し回路の出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズ部141と、スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求め、補正対象画素の補正量を同色画素間の距離Scaled Pと異色隣接画素間の距離Pにより求め、補正量に応じた位相補正を行う補正部142と、を含む。
【選択図】図6
【解決手段】ロジック部140は、読み出し回路の出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズ部141と、スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求め、補正対象画素の補正量を同色画素間の距離Scaled Pと異色隣接画素間の距離Pにより求め、補正量に応じた位相補正を行う補正部142と、を含む。
【選択図】図6
Description
本発明は、固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラムに関するものである。
CMOS(Complimentary Metal Oxide Semiconductor)イメージセンサ(CIS)等のイメージセンサにおいては、出力データ量の削減によるフレームレートの高速化を目的に、主に縮小方向の解像度変換機能を搭載する場合がある。
解像度変換には2通りの手法があり、画素読み出しの時点、すなわちアナログの領域で行われる間引きおよび加算(平均:ビニングともいわれる)と、デジタルの領域で行われるスケーリングが挙げられる。
「間引き」はセンサの全ての画素を読み出さずに行や列を飛ばしながら間欠的に読み出す処理であり、「加算」は複数の画素の信号を同時に読み出す処理である。
なお、イメージセンサの全ての画素を読み出す以外の処理としては、「間引く」、「加算」のほかに、一部の画素からのみ読み出す「切り出し」などの処理がある。
なお、イメージセンサの全ての画素を読み出す以外の処理としては、「間引く」、「加算」のほかに、一部の画素からのみ読み出す「切り出し」などの処理がある。
図1は、ベイヤー形式における画素配列を示す図である。
図2は、2×2換算処理後の画素重心(位相)補正ついての説明図である。
図2は、2×2換算処理後の画素重心(位相)補正ついての説明図である。
イメージセンサの出力形式であるベイヤー形式においては、図1に示すように、各色要素間の位相間隔が均等であることを求められる。
ベイヤー形式は、4色R,Gr,Gb,Bの画素成分により構成されるため、上述の解像度変換を行う際には、同色画素同士での処理を行う必要がある。
すると、変換の前後で異色画素間の間隔は変わらないにもかかわらず、同色画素間の間隔は変わることから、図2に示すように、出力画素の位相(画素重心)を補正する必要がある。
ベイヤー形式は、4色R,Gr,Gb,Bの画素成分により構成されるため、上述の解像度変換を行う際には、同色画素同士での処理を行う必要がある。
すると、変換の前後で異色画素間の間隔は変わらないにもかかわらず、同色画素間の間隔は変わることから、図2に示すように、出力画素の位相(画素重心)を補正する必要がある。
画素の位相補正や色変換処理については種々の技術が提案されている(たとえば特許文献1,2参照)。
ところで、画素の位相補正は、通常1つ1つの変換処理に対して行われる。
たとえば、特許文献1に開示されている技術では、ガンマ補正後に色変換を行う。
しかし、この技術では複数の画像変換処理を行う際に、各処理に対応した色補正回路を配置する必要があり、回路規模および消費電力の増大を招くという不利益がある。
たとえば、特許文献1に開示されている技術では、ガンマ補正後に色変換を行う。
しかし、この技術では複数の画像変換処理を行う際に、各処理に対応した色補正回路を配置する必要があり、回路規模および消費電力の増大を招くという不利益がある。
また、色変換が行われる場合においても、たとえば特許文献2に開示されている技術のように、輝度を基準にした色補正を行う場合が多く、ベイヤーの4要素を前提にした技術はほとんどないのが実情である。
本発明は、解像度変換を集約して行うことが可能で、ひいては回路規模および消費電力の増大を抑止することが可能な固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラムを提供することにある。
本発明の第1の観点の固体撮像素子は、光電変換機能を有する複数の画素が行列状に配列された画素部と、読み出しモードに応じた読み出しを行うように上記画素の動作を制御する画素駆動部と、上記画素からの信号を読み出し、生データ形式の画像データとして出力する読み出し回路と、上記読み出し回路の出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行うロジック部と、を有し、上記ロジック部は、上記読み出し回路の出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズ部と、上記スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求め、補正対象画素の補正量を当該同色画素間の距離Scaled Pと上記異色隣接画素間の距離Pにより求め、当該補正量に応じた位相補正を行う補正部と、を含む。
本発明の第2の観点のカメラシステムは、固体撮像素子と、上記固体撮像素子に被写体像を結像する光学系と、を有し、上記固体撮像素子は、光電変換機能を有する複数の画素が行列状に配列された画素部と、読み出しモードに応じた読み出しを行うように上記画素の動作を制御する画素駆動部と、上記画素からの信号を読み出し、生データ形式の画像データとして出力する読み出し回路と、上記読み出し回路の出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行うロジック部と、を有し、上記ロジック部は、上記読み出し回路の出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズ部と、上記スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求め、補正対象画素の補正量を当該同色画素間の距離Scaled Pと上記異色隣接画素間の距離Pにより求め、当該補正量に応じた位相補正を行う補正部と、を含む。
本発明の第3の観点の固体撮像素子の読み出し方法は、光電変換機能を有する複数の画素が行列状に配列された画素部から読み出しモードに応じた読み出しを行うように駆動する画素駆動ステップと、上記画素からの信号を読み出し、生データ形式の画像データとして出力する読み出しステップと、上記読み出しステップの出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行うスケーリング補正ステップと、を有し、上記スケーリング補正ステップは、上記読み出しステップの出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズステップと、上記スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求めるステップと、補正対象画素の補正量を当該同色画素間の距離Scaled Pと上記異色隣接画素間の距離Pにより求めステップと、上記補正量に応じた位相補正を行う補正ステップと、を含む。
本発明の第4の観点は、光電変換機能を有する複数の画素が行列状に配列された画素部から読み出しモードに応じた読み出しを行うように駆動する画素駆動処理と、上記画素からの信号を読み出し、生データ形式の画像データとして出力する読み出し処理と、上記読み出し処理の出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行うスケーリング補正処理と、を有し、上記スケーリング補正処理は、上記読み出しステップの出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズ処理と、上記スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求める処理と、補正対象画素の補正量を当該同色画素間の距離Scaled Pと上記異色隣接画素間の距離Pにより求め処理と、上記補正量に応じた位相補正を行う補正処理と、を含む固体撮像素子の読み出し処理をコンピュータに実行させるプログラムである。
本発明によれば、解像度変換を集約して行うことが可能で、ひいては回路規模および消費電力の増大を抑止することができる。
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
1.CMOSイメージセンサ(固体撮像素子)の全体構成例
2.出力画素の位相(画素重心)補正
3.カメラシステムの構成例
なお、説明は以下の順序で行う。
1.CMOSイメージセンサ(固体撮像素子)の全体構成例
2.出力画素の位相(画素重心)補正
3.カメラシステムの構成例
<1.CMOSイメージセンサ(固体撮像素子)の全体構成例>
図3は、本発明の実施形態に係るCMOSイメージセンサ(固体撮像素子)の構成例を示す図である。
図3は、本発明の実施形態に係るCMOSイメージセンサ(固体撮像素子)の構成例を示す図である。
本CMOSイメージセンサ100は、画素アレイ部110、画素駆動部としての行選択回路(Vdec)120、読み出し回路(AFE)130、ロジック部140、および制御部150を有する。
画素アレイ部110は、複数の画素回路110AがM行×N列の2次元状(マトリクス状)に配列されている。
図4は、本実施形態に係るベイヤー形式における画素配列を示す図である。
ベイヤー形式においては、図4に示すように、各色要素間の位相間隔が均等であるように画素回路が配列される。
ベイヤー形式は、4色R,Gr,Gb,Bの画素成分により構成される。このため、縮小あるいは拡大方向の解像度変換を行う際には、同色画素同士での処理を行う必要がある。
この場合、変換の前後で異色画素間の間隔は変わらないにもかかわらず、同色画素間の間隔は変わる。出力画素の位相(画素重心)を補正する必要がある。
本実施形態においては、解像度変換を、間引きおよび加算(平均)に代表される画素読み出し(アナログ領域)と、ユニバーサルな変換率を設定できるスケーリング(デジタル領域)の2ステップにより行うシステムにおいて位相補正を次のように行う。
すなわち、本システムにおいては、位相補正を全ステップ終了後にまとめて行うことで、回路資源の有効利用ならびに消費電力の低減が図られている。
その詳細は後述する。
ベイヤー形式においては、図4に示すように、各色要素間の位相間隔が均等であるように画素回路が配列される。
ベイヤー形式は、4色R,Gr,Gb,Bの画素成分により構成される。このため、縮小あるいは拡大方向の解像度変換を行う際には、同色画素同士での処理を行う必要がある。
この場合、変換の前後で異色画素間の間隔は変わらないにもかかわらず、同色画素間の間隔は変わる。出力画素の位相(画素重心)を補正する必要がある。
本実施形態においては、解像度変換を、間引きおよび加算(平均)に代表される画素読み出し(アナログ領域)と、ユニバーサルな変換率を設定できるスケーリング(デジタル領域)の2ステップにより行うシステムにおいて位相補正を次のように行う。
すなわち、本システムにおいては、位相補正を全ステップ終了後にまとめて行うことで、回路資源の有効利用ならびに消費電力の低減が図られている。
その詳細は後述する。
図4は、本実施形態に係る4つのトランジスタで構成されるCMOSイメージセンサの画素の一例を示す図である。
この画素回路110Aは、たとえばフォトダイオード(PD)からなる光電変換素子(以下、単にPDというときもある)111を有する。
そして、画素回路110Aは、この1個の光電変換素子111に対して、転送トランジスタ112、リセットトランジスタ113、増幅トランジスタ114、および選択トランジスタ115の4つのトランジスタを能動素子として有する。
そして、画素回路110Aは、この1個の光電変換素子111に対して、転送トランジスタ112、リセットトランジスタ113、増幅トランジスタ114、および選択トランジスタ115の4つのトランジスタを能動素子として有する。
光電変換素子111は、入射光をその光量に応じた量の電荷(ここでは電子)に光電変換する。
転送トランジスタ112は、光電変換素子111と出力ノードとしてのフローティングディフュージョンFDとの間に接続され、転送制御線LTRGを通じてそのゲート(転送ゲート)に制御信号である転送信号TRGが与えられる。
これにより、転送トランジスタ112は、光電変換素子111で光電変換された電子をフローティングディフュージョンFDに転送する。
転送トランジスタ112は、光電変換素子111と出力ノードとしてのフローティングディフュージョンFDとの間に接続され、転送制御線LTRGを通じてそのゲート(転送ゲート)に制御信号である転送信号TRGが与えられる。
これにより、転送トランジスタ112は、光電変換素子111で光電変換された電子をフローティングディフュージョンFDに転送する。
リセットトランジスタ113は、電源ラインLVREFとフローティングディフュージョンFDとの間に接続され、リセット制御線LRSTを通してそのゲートに制御信号であるリセット信号RSTが与えられる。
これにより、リセットトランジスタ113は、フローティングディフュージョンFDの電位を電源ラインLVREFの電位にリセットする。
これにより、リセットトランジスタ113は、フローティングディフュージョンFDの電位を電源ラインLVREFの電位にリセットする。
フローティングディフュージョンFDには、増幅トランジスタ114のゲートが接続されている。増幅トランジスタ114は、選択トランジスタ115を介して出力信号線LSGNに接続され、画素部外の定電流源とソースフォロアを構成している。
そして、選択制御線LSELを通してアドレス信号に応じた制御信号である選択信号SELが選択トランジスタ115のゲートに与えられ、選択トランジスタ115がオンする。
選択トランジスタ115がオンすると、増幅トランジスタ114はフローティングディフュージョンFDの電位を増幅してその電位に応じた電圧を出力信号線LSGNに出力する。出力信号線LSGNを通じて、各画素から出力された電圧は、読み出し回路130に出力される。
これらの動作は、たとえば転送トランジスタ112、リセットトランジスタ113、および選択トランジスタ115の各ゲートが行単位で接続されていることから、1行分の各画素について同時に行われる。
そして、選択制御線LSELを通してアドレス信号に応じた制御信号である選択信号SELが選択トランジスタ115のゲートに与えられ、選択トランジスタ115がオンする。
選択トランジスタ115がオンすると、増幅トランジスタ114はフローティングディフュージョンFDの電位を増幅してその電位に応じた電圧を出力信号線LSGNに出力する。出力信号線LSGNを通じて、各画素から出力された電圧は、読み出し回路130に出力される。
これらの動作は、たとえば転送トランジスタ112、リセットトランジスタ113、および選択トランジスタ115の各ゲートが行単位で接続されていることから、1行分の各画素について同時に行われる。
画素アレイ部110に配線されているリセット制御線LRST、転送制御線LTRG、および選択制御線LSELが一組として画素配列の各行単位で配線されている。
LRST、LTRG、LSELの各制御線はそれぞれM本ずつ設けられている。
これらのリセット制御線LRST、転送制御線LTRG、および選択制御線LSELは、行選択回路120により駆動される。
LRST、LTRG、LSELの各制御線はそれぞれM本ずつ設けられている。
これらのリセット制御線LRST、転送制御線LTRG、および選択制御線LSELは、行選択回路120により駆動される。
行選択回路120は、画素アレイ部110の中の任意の行に配置された画素の動作を制御する。行選択回路120は、制御線LSEL、LRST、LTRGを通して画素を制御する。
行選択回路120は、制御部150の制御の下、全画素読み出し、間引き読み出し、加算読み出し等の読み出しモードに応じて、制御線LSEL、LRST、LTRGを通した画素駆動制御を行う。
また、行選択回路120は、制御部150の制御の下、シャッターモードに応じて露光方式を行単位で露光を行うローリングシャッター方式または全画素同時並列的に露光を行うグローバルシャッター方式に切り替えて、画像駆動制御を行う。
行選択回路120は、制御部150の制御の下、全画素読み出し、間引き読み出し、加算読み出し等の読み出しモードに応じて、制御線LSEL、LRST、LTRGを通した画素駆動制御を行う。
また、行選択回路120は、制御部150の制御の下、シャッターモードに応じて露光方式を行単位で露光を行うローリングシャッター方式または全画素同時並列的に露光を行うグローバルシャッター方式に切り替えて、画像駆動制御を行う。
読み出し回路130は、行選択回路120により読み出し制御された画素行のデータを出力信号線LSGNを介して受け取り、生(RAW)データとしてロジック部140に供給する。
読み出し回路130は、CDS回路やADC(アナログデジタルコンバータ)を含む。
読み出し回路130は、CDS回路やADC(アナログデジタルコンバータ)を含む。
ロジック部140は、読み出し回路130の出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行う機能を有する。
図6は、本実施形態に係る色変換(補正)システムを模式的に示す図である。
図6は、本実施形態に係る色変換(補正)システムを模式的に示す図である。
ロジック部140は、図6に示すように、リサイズ部141、補正部(ベイヤー補正部という場合もある)142、および出力部143を有する。
リサイズ部141は、読み出し回路130の出力信号に対してスケーリングファクタに応じたスケーリング処理を行う。
補正部142は、スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを、次式に従って求める機能を有する。
リサイズ部141は、読み出し回路130の出力信号に対してスケーリングファクタに応じたスケーリング処理を行う。
補正部142は、スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを、次式に従って求める機能を有する。
[数1]
Scaled P=xBNP
ここで、xは画素配列によって決まるパラメータを示す。
パラメータxは本実施形態のようにベイヤー配列の場合、2となる。
Scaled P=xBNP
ここで、xは画素配列によって決まるパラメータを示す。
パラメータxは本実施形態のようにベイヤー配列の場合、2となる。
補正部142は、補正対象画素の補正量を、同色画素間の距離Scaled Pと異色隣接画素間の距離Pにより求め、この補正量に応じた位相補正を行う。
補正部142は、補正対象画素の補正量としての補正点までの距離Dを次式に従って求める。
補正部142は、補正対象画素の補正量としての補正点までの距離Dを次式に従って求める。
[数2]
D=(Scaled P/x)−P
上述したように、本実施形態では、x=2である。
D=(Scaled P/x)−P
上述したように、本実施形態では、x=2である。
なお、本実施形態において、読み出しファクタBは、縮小方向の解像度変換の場合は、間引き、加算対象の画素数を示すビニングファクタであり、拡大方向の解像度変換の場合は、1である。
制御部150は、CMOSイメージセンサ100の全体の制御を司る。
制御部150は、読み出しモードに応じてスケーリングファクタN、読み出しファクタBを行選択回路120、ロジック部140に供給する。
制御部150は、読み出しモードに応じてスケーリングファクタN、読み出しファクタBを行選択回路120、ロジック部140に供給する。
本実施形態のCMOSイメージセンサ100は、入力画像に対する線形性を有する、または可逆性を有する処理を複数のステップに跨って行う場合、その出力の補正を必要とするような画像形式を扱うシステムを有しているとしてとらえることができる。
そして、このシステムにおいて、下記の条件を満足しているものとする。
(1) 上記の複数のステップが、解像度変換を基本にしている。
(2) そのステップが、画素間の加算/平均および間引きにより成り立っている。
このようなシステムにおいて、下記の条件を満足している。
(3) 出力の補正が、複数のステップ間で共通である。
(4) 画像の形式が、たとえばベイヤーに代表される生(Raw)データ形式である。
そして、このシステムにおいて、下記の条件を満足しているものとする。
(1) 上記の複数のステップが、解像度変換を基本にしている。
(2) そのステップが、画素間の加算/平均および間引きにより成り立っている。
このようなシステムにおいて、下記の条件を満足している。
(3) 出力の補正が、複数のステップ間で共通である。
(4) 画像の形式が、たとえばベイヤーに代表される生(Raw)データ形式である。
本実施形態のCMOSイメージセンサ100のロジック部140は、画素読み出し時に行う間引きおよびビニング処理と、解像度変換を並立させるために、出力の位相合わせをまとめて行う。
このことにより、回路資源の効率的な配置、および消費電力の削減を可能にする実装を実現している。
ここで、本実施形態に係る位相補正処理(色変換処理)について具体的に説明する。
このことにより、回路資源の効率的な配置、および消費電力の削減を可能にする実装を実現している。
ここで、本実施形態に係る位相補正処理(色変換処理)について具体的に説明する。
<2.出力画素の位相(画素重心)補正>
図7は、一般的な色変換(補正)システムを模式的に示す図である。
図7においては、理解を容易にするために、図6と同様な機能部には同一の符号を付してある。
図7は、一般的な色変換(補正)システムを模式的に示す図である。
図7においては、理解を容易にするために、図6と同様な機能部には同一の符号を付してある。
図6の本システム100A、イメージセンサにおける解像度変換を、間引きおよび加算(平均)に代表される画素読み出し(アナログ領域)と、ユニバーサルな変換率を設定できるスケーリング(デジタル領域)の2ステップにより行うシステムにおいて効力を発揮する。
まず、図7の一般的な色変換(補正)システム100Bについて説明し、その後本実施形態の色変換(補正)システム100Aについて説明する。
一般的な色変換(補正)システム100Bは、画素アレイ部110、ビニング部131、ベイヤー補正部132、リサイズ(Resize)部141、ベイヤー補正部142を有する。
このシステム100Bは、ビニング部131からベイヤー補正部132にビニングタイプ情報がベイヤー補正部132に報知される。
ここでビニング情報は、加算対象の画素数情報を含む。
ベイヤー補正部132では、第1の解像度変換ステップにおいて補正処理が行われる。
ベイヤー補正部132の出力がリサイズ部141に供給される。リサイズ部141でスケーリング処理が行われ、その処理情報がベイヤー補正部142に供給される。このとき、リサイズ部141からベイヤー補正部142にダウンスケーリングファクタ(Down Scaling Factor:DSF)情報が与えられる。
そして、ベイヤー補正部142で、いわゆるベイヤー補正(画素重心補正)が行われる。
ここでビニング情報は、加算対象の画素数情報を含む。
ベイヤー補正部132では、第1の解像度変換ステップにおいて補正処理が行われる。
ベイヤー補正部132の出力がリサイズ部141に供給される。リサイズ部141でスケーリング処理が行われ、その処理情報がベイヤー補正部142に供給される。このとき、リサイズ部141からベイヤー補正部142にダウンスケーリングファクタ(Down Scaling Factor:DSF)情報が与えられる。
そして、ベイヤー補正部142で、いわゆるベイヤー補正(画素重心補正)が行われる。
本実施形態の色変換(補正)システム100Aは、画素アレイ部110、ビニング部131、リサイズ(Resize)部141、ベイヤー補正部142を有する。
このシステム100Aは、ビニング部131からビニング処理後のデータがリサイズ部141に供給される。
そして、本システム100Aでは、ビニングタイプ情報が最終段のベイヤー補正部142に報知される。
リサイズ部141でスケーリング処理が行われ、その処理情報がベイヤー補正部142に供給される。このとき、リサイズ部141からベイヤー補正部142にダウンスケーリングファクタ(DSF)情報が与えられる。
そして、ベイヤー補正部142で、いわゆるベイヤー補正(画素重心補正)が行われる。
そして、本システム100Aでは、ビニングタイプ情報が最終段のベイヤー補正部142に報知される。
リサイズ部141でスケーリング処理が行われ、その処理情報がベイヤー補正部142に供給される。このとき、リサイズ部141からベイヤー補正部142にダウンスケーリングファクタ(DSF)情報が与えられる。
そして、ベイヤー補正部142で、いわゆるベイヤー補正(画素重心補正)が行われる。
このように、一般的な色変換(補正)システム100Bにおいては、図2に示すような位相補正をそれぞれの解像度変換ステップにおいて動作させている。
これに対して、本実施形態の色変換(補正)システム100Aは、位相補正をそれぞれの解像度変換ステップにおいて動作させずに、それを全ステップ終了後にまとめて行う。
これにより、回路資源の有効利用、並びに消費電力の削減に貢献している。
以下、本システム100Aの原理について説明する。
これに対して、本実施形態の色変換(補正)システム100Aは、位相補正をそれぞれの解像度変換ステップにおいて動作させずに、それを全ステップ終了後にまとめて行う。
これにより、回路資源の有効利用、並びに消費電力の削減に貢献している。
以下、本システム100Aの原理について説明する。
間引きおよび加算は、画素数の観点からはある一定倍率への解像度変換とみなすことができる。
図8は、一例として、2画素加算とスケーリングを同時に動作させた場合を示す図である。
図8において、スケーリングファクタ(Down Scaling Factor:DSFと定義)を16/N(Nは自然数であるが、ここでは16以上の自然数とする)とし、ビニングファクタ(加算対象の画素数)をBと定義する。
異色隣接画素間の距離をPとするとき、スケーリング後の同色画素間の距離 scaled_P は、次の式により表現される。
異色隣接画素間の距離をPとするとき、スケーリング後の同色画素間の距離 scaled_P は、次の式により表現される。
ここで、補正対象画素(図8においてはR画素)の補正量を考える。
R01について考えると、補正点までの距離Dは、次の式により与えられる。
R01について考えると、補正点までの距離Dは、次の式により与えられる。
図8より、補正後のR画素の位置に対するR01およびR03からの距離を、仮に線形補間で画素を表現する場合の重みづけで表現すると、下記の式により定義できる。
この補正点の位置は、補正後のR画素を挟むGr画素間の距離によって一意に決定される。
この画素間の距離(同色画素間隔) scaled_Pは、ビニングファクタBとスケーリングファクタNの両方に対して線形性を有する。
このことから、この2ステップの解像度変換に対する画素重心補正を、1か所にまとめる(図6に提示する手法)ことが可能であると結論付けることができる。
この画素間の距離(同色画素間隔) scaled_Pは、ビニングファクタBとスケーリングファクタNの両方に対して線形性を有する。
このことから、この2ステップの解像度変換に対する画素重心補正を、1か所にまとめる(図6に提示する手法)ことが可能であると結論付けることができる。
補正された画素の値(Rcor)は、次の式により表現される。下記の式での‘m'は1以上の自然数とする。
この式は、上述のscaled_Pの定義を代入することで、下記の式で表現できる。
ここで、BとNは相互に独立なので、線形性は維持される。
すなわち、本実施形態で提案される手法は適切であることが証明された。
すなわち、本実施形態で提案される手法は適切であることが証明された。
以上説明したように、本実施形態によれば、色変換(解像度変換処理)を1ヵ所に集約することができ、これにより、回路資源の効率的な配置が可能になる。
また、使用される回路資源を小さくできることで、消費電力を下げることが可能となる。
また、使用される回路資源を小さくできることで、消費電力を下げることが可能となる。
なお、各実施形態に係るCMOSイメージセンサは、特に限定されないが、たとえば列並列型のアナログ−デジタル変換装置(以下、ADC(Analog Digital Converter)と略す)を搭載したCMOSイメージセンサとして構成することも可能である。
このような効果を有する固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。
<3.カメラシステムの構成例>
図9は、本発明の実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。
図9は、本発明の実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。
本カメラシステム200は、図9に示すように、本実施形態に係るCMOSイメージセンサ(固体撮像素子)100が適用可能な撮像デバイス210を有する。
さらに、カメラシステム200は、この撮像デバイス210の画素領域に入射光を導く(被写体像を結像する)光学系、たとえば入射光(像光)を撮像面上に結像させるレンズ220を有する。
カメラシステム200は、撮像デバイス210を駆動する駆動回路(DRV)230と、撮像デバイス210の出力信号を処理する信号処理回路(PRC)240と、を有する。
さらに、カメラシステム200は、この撮像デバイス210の画素領域に入射光を導く(被写体像を結像する)光学系、たとえば入射光(像光)を撮像面上に結像させるレンズ220を有する。
カメラシステム200は、撮像デバイス210を駆動する駆動回路(DRV)230と、撮像デバイス210の出力信号を処理する信号処理回路(PRC)240と、を有する。
駆動回路230は、撮像デバイス210内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス210を駆動する。
また、信号処理回路240は、撮像デバイス210の出力信号に対して所定の信号処理を施す。
信号処理回路240で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路240で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
信号処理回路240で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路240で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
上述したように、デジタルスチルカメラ等の撮像装置において、撮像デバイス210として、先述したCMOSイメージセンサ(固体撮像素子)100を搭載することで、低消費電力で、高精度なカメラが実現できる。
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
100・・・固体撮像素子、110・・・画素アレイ部、110A・・・画素回路、120・・・行選択回路(画素駆動部)、130・・・読み出し回路、140・・・ロジック部、141・・・リサイズ部、142・・・補正部、150・・・制御部、200・・・カメラシステム、210・・・撮像デバイス、220・・・駆動回路、230・・・レンズ、240・・・信号処理回路。
Claims (7)
- 光電変換機能を有する複数の画素が行列状に配列された画素部と、
読み出しモードに応じた読み出しを行うように上記画素の動作を制御する画素駆動部と、
上記画素からの信号を読み出し、生データ形式の画像データとして出力する読み出し回路と、
上記読み出し回路の出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行うロジック部と、を有し、
上記ロジック部は、
上記読み出し回路の出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズ部と、
上記スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求め、補正対象画素の補正量を当該同色画素間の距離Scaled Pと上記異色隣接画素間の距離Pにより求め、当該補正量に応じた位相補正を行う補正部と、を含む
固体撮像素子。 - 上記補正部は、次式に従ってスケーリング後の同色画素間の距離Scaled Pを求める
請求項1記載の固体撮像素子。
Scaled P=xBNP
ここで、xは画素配列によって決まるパラメータを示す。 - 上記補正部は、
上記補正対象画素の補正量としての補正点までの距離Dを次式に従って求める
請求項1または2記載の固体撮像素子。
D=(Scaled P/x)−P - 上記読み出しファクタBは、
縮小方向の解像度変換の場合は、間引き、加算対象の画素数を示すビニングファクタであり、
拡大方向の解像度変換の場合は、1である
請求項1から3のいずれか一に記載の固体撮像素子。 - 固体撮像素子と、
上記固体撮像素子に被写体像を結像する光学系と、を有し、
上記固体撮像素子は、
光電変換機能を有する複数の画素が行列状に配列された画素部と、
読み出しモードに応じた読み出しを行うように上記画素の動作を制御する画素駆動部と、
上記画素からの信号を読み出し、生データ形式の画像データとして出力する読み出し回路と、
上記読み出し回路の出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行うロジック部と、を有し、
上記ロジック部は、
上記読み出し回路の出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズ部と、
上記スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求め、補正対象画素の補正量を当該同色画素間の距離Scaled Pと上記異色隣接画素間の距離Pにより求め、当該補正量に応じた位相補正を行う補正部と、を含む
カメラシステム。 - 光電変換機能を有する複数の画素が行列状に配列された画素部から読み出しモードに応じた読み出しを行うように駆動する画素駆動ステップと、
上記画素からの信号を読み出し、生データ形式の画像データとして出力する読み出しステップと、
上記読み出しステップの出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行うスケーリング補正ステップと、を有し、
上記スケーリング補正ステップは、
上記読み出しステップの出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズステップと、
上記スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求めるステップと、
補正対象画素の補正量を当該同色画素間の距離Scaled Pと上記異色隣接画素間の距離Pにより求めステップと、
上記補正量に応じた位相補正を行う補正ステップと、を含む
固体撮像素子の読み出し方法。 - 光電変換機能を有する複数の画素が行列状に配列された画素部から読み出しモードに応じた読み出しを行うように駆動する画素駆動処理と、
上記画素からの信号を読み出し、生データ形式の画像データとして出力する読み出し処理と、
上記読み出し処理の出力信号に対してスケーリングおよび解像度変換処理のための位相補正を行うスケーリング補正処理と、を有し、
上記スケーリング補正処理は、
上記読み出しステップの出力信号に対してスケーリングファクタに応じたスケーリング処理を行うリサイズ処理と、
上記スケーリングファクタN(Nは0より大きい値)、読み出しファクタB、異色隣接画素間の距離Pによりスケーリング後の同色画素間の距離Scaled Pを求める処理と、
補正対象画素の補正量を当該同色画素間の距離Scaled Pと上記異色隣接画素間の距離Pにより求め処理と、
上記補正量に応じた位相補正を行う補正処理と、を含む
固体撮像素子の読み出し処理をコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009252446A JP2011097541A (ja) | 2009-11-02 | 2009-11-02 | 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム |
US12/923,916 US8411180B2 (en) | 2009-11-02 | 2010-10-14 | Solid-state imaging device, camera system, solid-state imaging device reading method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009252446A JP2011097541A (ja) | 2009-11-02 | 2009-11-02 | 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011097541A true JP2011097541A (ja) | 2011-05-12 |
Family
ID=43925049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009252446A Pending JP2011097541A (ja) | 2009-11-02 | 2009-11-02 | 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8411180B2 (ja) |
JP (1) | JP2011097541A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9402049B2 (en) | 2013-11-14 | 2016-07-26 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5658548B2 (ja) * | 2010-12-08 | 2015-01-28 | キヤノン株式会社 | 画像信号処理装置、画像信号処理方法、およびプログラム |
US11350045B2 (en) * | 2020-03-10 | 2022-05-31 | Samsung Electronics Co., Ltd. | Image sensing apparatus and image binning method thereof |
US11394935B2 (en) * | 2020-06-15 | 2022-07-19 | Samsung Electronics Co., Ltd. | Pixel array for reducing image information loss and image sensor including the same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038694A (ja) | 2002-07-04 | 2004-02-05 | Masahiro Ueki | 電子商取引方法およびその装置 |
WO2006120606A2 (en) | 2005-05-10 | 2006-11-16 | Koninklijke Philips Electronics N.V. | Color transformation luminance correction method and device |
JP4730412B2 (ja) * | 2008-08-12 | 2011-07-20 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
-
2009
- 2009-11-02 JP JP2009252446A patent/JP2011097541A/ja active Pending
-
2010
- 2010-10-14 US US12/923,916 patent/US8411180B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9402049B2 (en) | 2013-11-14 | 2016-07-26 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
Also Published As
Publication number | Publication date |
---|---|
US20110102646A1 (en) | 2011-05-05 |
US8411180B2 (en) | 2013-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019111528A1 (ja) | 固体撮像装置、固体撮像装置の制御方法およびコンピュータプログラム | |
JP4821921B2 (ja) | 固体撮像装置および電子機器 | |
JP4691930B2 (ja) | 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール | |
JP5256874B2 (ja) | 固体撮像素子およびカメラシステム | |
US8203634B2 (en) | Physical quantity detecting device, solid-state imaging device, and imaging apparatus | |
JP5533292B2 (ja) | 固体撮像素子およびその駆動方法、カメラシステム | |
JP5526840B2 (ja) | 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム | |
JP2010093363A (ja) | 固体撮像素子およびその駆動方法、並びにカメラシステム | |
JP2012249134A (ja) | 固体撮像素子およびその駆動方法、カメラシステム | |
JP2011097540A (ja) | 固体撮像素子およびカメラシステム | |
JP2011097541A (ja) | 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム | |
JP2024079754A (ja) | 撮像素子、撮像装置、撮像方法及びプログラム | |
JP4929584B2 (ja) | 信号処理方法および信号処理装置並びに物理量分布検知のための半導体装置 | |
KR20140107212A (ko) | 고체 촬상 소자 및 그 구동 방법, 카메라 시스템 | |
JP4232714B2 (ja) | 読出アドレス制御方法、物理情報取得装置、および半導体装置 | |
US8194150B2 (en) | Moving image processing apparatus and video camera apparatus using the same | |
JP2009021889A (ja) | 固体撮像装置及びその駆動方法 | |
JP5672363B2 (ja) | 固体撮像素子およびカメラシステム | |
JP7271131B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP2009100381A (ja) | 固体撮像素子およびその駆動方法、並びにカメラシステム | |
JP2011139350A (ja) | 固体撮像装置及びその駆動方法 | |
JP5428792B2 (ja) | 固体撮像素子およびその駆動方法、カメラシステム、プログラム | |
US10194098B2 (en) | Imaging apparatus and method of controlling imaging apparatus in which corresponding lines in partially overlapping images are sequentially exposed | |
JP2012019491A (ja) | 固体撮像素子およびカメラシステム | |
JP6433276B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 |