JP2007049533A - 撮像装置および電子情報機器 - Google Patents

Abstract

【課題】 ラインメモリやＬＵＴなどを用いずに、適正な補正を行って着色がない画像を得る。
【解決手段】 Ａ／Ｄ回路部から時系列に出力されるデジタル信号に対して画素毎にオフセット値を加算する加算回路３６２と、画素毎に加算されるオフセット値を可変制御して生成するオフセット値生成制御回路３６１とを有するリニアリティ補正回路３６Ａを設けて、エリアセンサーの出力画素配列、ＡＧＣ回路のゲイン設定値、信号出力期間、ホワイトバランスデータなどに応じて、画素毎にオフセット値を可変制御して加算する。
【選択図】 図３

Description

本発明は、被写体光を撮像するＣＣＤなどのエリアセンサーからの撮像信号を信号処理する撮像装置および、これを用いて信号処理した画像データの表示やメモリへの記憶などを行う電子スチルカメラまたは電子ビデオカメラなどのデジタルカメラやカメラ付き携帯電話装置などの電子情報機器に関する。

従来、この種の従来の電子情報機器は、入射光である撮像光（被写体光）を光電変換する受光部とこの光電変換によって得られる撮像電荷（信号電荷）を電荷転送する電荷転送部（垂直電荷転送部および水平電荷転送部）を有するＣＣＤ（Charge Coupled Device：電荷結合素子）などのエリアセンサーと、このエリアセンサーを駆動するエリアセンサー駆動回路とが設けられた固体撮像装置を備えている。また、この従来の電子情報機器は、エリアセンサーからの出力に対して相関サンプリングを行うＣＤＳ回路と、このＣＤＳ回路からの出力を利得処理するＡＧＣ回路と、このＡＧＣ回路からの出力信号をアナログ・デジタル変換するＡ／Ｄ変換回路とを有するＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理回路と、このＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理回路からの出力信号に対して各種信号処理を行う信号処理回路と、上記エリアセンサー、エリアセンサー駆動回路および信号処理回路に対して制御信号を発生する駆動制御パルス発生回路と、各回路の制御を行う制御回路とを備えている。さらに、従来の電子情報機器は、信号処理回路からの映像出力により表示画面上に画像を表示する表示部を有している。

このような従来の撮像装置を用いたデジタルカメラやカメラ付き携帯電話装置などの従来の電子情報機器において、エリアセンサーのリニアリティが良くない場合、グレースケールなどの低階調や暗い部分、髪の毛などの黒色などのように色情報が無い被写体を撮像した表示画面上の画像に着色が生じたり、また、低輝度部において色相が変わるという問題があった。

この問題に対して、例えば特許文献１に開示されている従来技術では、エリアセンサー出力をデジタル変換した後に各種信号処理を行う信号処理回路や補正回路によって、基準となるリニアリティデータを保持させておき、そのデータを元にLUT（ルックアップテーブル）を用いて補正を行ったり、ＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）クランプ処理する際に一律に補正を行ったり、ガンマ処理部で色毎に異なったガンマ特性にてガンマ処理を行うことにより、リニアリティの補正などを行って着色や色相変化を回避している。

図７は、代表的な従来のデジタルカメラの撮像装置における要部構成例を示すブロック図である。

図７において、従来のデジタルカメラの撮像装置１０は、メカニカルシャッターおよびレンズ１と、被写体光を撮像可能とするエリアセンサー（固体撮像素子）２と、ＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理部３と、その出力信号に対して各種信号処理を行う信号処理回路４と、電子シャッターや垂直転送パルスによってエリアセンサー２を駆動するＶ（垂直）ドライバー５と、メカニカルシャッターおよびレンズ１、エリアセンサー２、Ｖドライバー５およびＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理部３に対して制御信号を発生する駆動制御パルス発生回路６と、外部制御信号が入力されて各回路の制御を行う制御回路７とを備えている。

上記構成により、まず、メカニカルシャッターおよびレンズ１が開状態のときに、被写体光（撮像光）がメカニカルシャッターおよびレンズ１によって集光されてエリアセンサー２に入射される。

次に、電子シャッターが開状態のときにエリアセンサー２の図示しない各受光部にて撮像光が光電変換され、この光電変換によって得られる撮像電荷がＶドライバー５からの垂直転送パルスにしたがって図示しない垂直電荷転送部を電荷転送して、エリアセンサー２から撮像信号として出力される。

さらに、エリアセンサー２から出力される撮像信号は、ＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３によって相関サンプリングやＡＧＣ（信号利得制御）、アナログ・デジタル変換などの各処理が順次行われ、さらに、次の信号処理回路４によってホワイトバランス調整やガンマ処理、マトリックス処理などの各種信号処理が行われて、映像信号として表示部側に出力される。

このとき、エリアセンサー２のリニアリティは、ＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３によってＯＢクランプ処理を行う際に一律に補正されるか、または、信号処理回路４でガンマ処理を行う際にガンマ特性により補正されるようになっている。エリアセンサー２のリニアリティがＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３でＯＢクランプ処理時に一律に補正される場合について図８を用いて説明する。

図８は、図７のＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３の要部構成例を示すブロック図である。

図８において、このＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３は、エリアセンサー（固体撮像素子）２からのＣＣＤ出力（撮像信号）に対して相関サンプリングを行うＣＤＳ回路部３１と、ＣＤＳ回路部３１からの出力信号に対して利得処理するＡＧＣ回路部３２と、ＡＧＣ回路３２からの出力信号をアナログ・デジタル変換するＡ／Ｄ回路部３３と、Ａ／Ｄ回路部３３からの出力信号をデジタル・アナログ変換するＤ／Ａ回路部３４と、Ｄ／Ａ回路部３４からの出力信号をＯＢクランプ処理してＣＤＳ回路部３１に出力するＯＢＣＬＰ回路３５とを有している。

このＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３では、まず、ＣＤＳ回路３１にてＣＣＤエリアセンサー２からの撮像信号に対して相関サンプリングが行われ、次に、ＡＧＣ回路部３２にてゲインが掛けられ、ＡＧＣ回路部３２からの出力がＡ／Ｄ回路部３３にてデジタル信号に変換されて信号処理回路４に出力される。さらに、このＡ／Ｄ回路部３３からのデジタル信号出力は、Ｄ／Ａ回路部３４にてアナログ信号に変換された後に、ＯＢＣＬＰ回路３５によるＯＢクランプ処理に用いられて、ＣＤＳ回路部３１に対してフィードバックされる。
特開平７−９５４０７号公報

しかしながら、上記従来の信号処理回路４による一定量の補正やガンマ特性によってリニアリティ補正を行う従来の方法では、エリアセンサー２のリニアリティ特性のばらつきによって、補正不足が生じることがある。

近年、固体撮像素子の高画素化やチップサイズの縮小化に伴う固体撮像素子（エリアセンサー２）のセルサイズ縮小化が急速に進んでいる。このため、１画素当たりに受光可能な光量が減り、また、取り扱い可能な電荷量が減ることにより、エリアセンサー２の出力部における電荷取り残しによる影響が大きなものとなってきている。

また、撮像装置の性能としても、エリアセンサー２の感度が低下することにより、ＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理回路３におけるＡＧＣ回路のゲインを、今まで以上に高ゲイン化する必要が生じてきている。このため、今まで以上にエリアセンサー２のリニアリティ特性が問題となることが増えてきている。

さらに、近年では、エリアセンサーの技術的進歩によって色々な撮影駆動モードが開発されており、エリアセンサーの駆動モードによってエリアセンサーの出力画素配列が変わる場合がある。そのため、同じ撮影条件であっても、エリアセンサーの駆動モードが異なることによってリニアリティ特性が変化して、適正なリニアリティ補正が行えていない場合がある。

例えば、従来のＣＣＤエリアセンサーからの出力撮像信号は、図９（ａ）に示すように、画素配列がＲ・Ｇｒ・Ｒ・Ｇｒ・・・である周期と、画素配列がＧｂ・Ｂ・Ｇｂ・Ｂ・・・である周期とがあるが、水平周期で考えた場合、出力される信号の画素配列が一定であった。このため、ＣＣＤエリアセンサーのリニアリティ補正を行う際に、一定の方法で補正を行えばよい場合が多かった。

しかしながら、近年では、様々な駆動パターンや駆動モードがあるため、上記図９（ａ）に示すようなＣＣＤエリアセンサーからの出力画素配列だけではなく、図９（ｂ）に示すような出力画素配列が用いられる場合がある。このように、駆動パターンや駆動モードによってＣＣＤエリアセンサーから出力される画素配列が異なるため、その出力画素配列に合わせてリニアリティ補正量を変化させる必要が出てきている。

さらに、上記エリアセンサー２のリニアリティ特性は、被写体撮影時の色温度によっても変化するため、エリアセンサー２のリニアリティ特性が問題となる場合には、被写体の色温度によってもリニアリティ補正量を変化させる必要がある。

さらに、例えばガンマ処理を行う場合に、ＣＤＳ部のゲインや被写体の色温度などに合わせたガンマ処理を行おうとすると、多数のガンマ補正データが保持されたガンマテーブル（ＬＵＴ）が必要となり、さらに、色毎に異なるガンマテーブルを使用してガンマ処理を行う場合にも、より多くのガンマテーブルが必要となるため、データ保持のためのメモリ容量を多く必要とされる。さらに、多くのガンマテーブルから最適なガンマテーブルを選択する必要があり、選択のために多くの選択判定処理を実施する必要がある。

本発明は、上記従来の問題を解決するもので、ラインメモリやＬＵＴなどを用いずに、適正な補正を行って着色がない画像を得ることができるための撮像装置および、これを用いたデジタルカメラやカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。

本発明の撮像装置は、入射光を各受光部毎にそれぞれ光電変換して画素毎に撮像信号を得るエリアセンサーと、該エリアセンサからの撮像信号を利得処理した後にデジタル変換する撮像信号処理回路とを有し、該撮像信号処理回路は、該エリアセンサーのリニアリティを補正するために、デジタル変換されたデジタル信号値に対して、画素毎にオフセット値を可変制御して加算するリニアリティ補正回路を有しており、そのことにより上記目的が達成される。なお、このリニアリティ補正回路は撮像信号処理回路とは別に設けられていてもよい。

また、好ましくは、本発明の撮像装置における撮像信号処理回路は、前記エリアセンサの出力に対して相関サンプリングを行うＣＤＳ回路部と、該ＣＤＳ回路部からの出力に対して利得処理を行うＡＧＣ回路部と、該ＡＧＣ回路部からの出力をデジタル変換するＡ／Ｄ変換回路部とを有する。

さらに、好ましくは、本発明の撮像装置において、オフセット値設定信号を生成する制御回路をさらに有し、前記リニアリティ補正回路は、該オフセット値設定信号に基づいて、画素毎にオフセット値を可変制御して生成するオフセット値生成制御回路と、前記デジタル信号値に画素毎に該オフセット値を加算する加算回路とを有する。なお、本発明の撮像装置において、オフセット値設定信号を生成する制御回路をさらに有し、前記リニアリティ補正回路は、画素毎にオフセット値を可変制御して生成するオフセット値生成制御回路と、前記デジタル信号値に画素毎に該オフセット値を加算する加算回路とを有していてもよい。この場合に、オフセット値生成制御回路は、前記ＡＧＣ回路のゲイン設定値に応じてオフセット値を変化させるようにしてもよい。

さらに、好ましくは、本発明の撮像装置におけるリニアリティ補正回路は、前記オフセット値設定信号に基づいて、オフセット補正の有無を制御可能とする。

さらに、好ましくは、本発明の撮像装置におけるオフセット値生成制御回路は、前記デジタル変換されたデジタル信号値の出力信号と１クロック前の出力信号との差分値に応じてオフセット値を変化させる。

さらに、好ましくは、本発明の撮像装置におけるオフセット値生成制御回路は、前記エリアセンサーから出力される撮像信号の画素の色に応じたオフセット値設定信号に基づいてオフセット値を変化させる。

さらに、好ましくは、本発明の撮像装置において、前記エリアセンサー、該エリアセンサーを駆動するエリアセンサー駆動回路および前記撮像信号処理回路に制御信号を発生する駆動制御パルス発生回路をさらに有し、該駆動制御パルス発生回路は、該エリアセンサーから出力される画素の色を判別する色判別手段を有し、前記リニアリティ補正回路は、該色判別手段から供給される色判別信号にしたがって、前記オフセット値生成制御回路にて生成された複数のオフセット値を切り替えるセレクタ部を有する。

さらに、好ましくは、本発明の撮像装置における複数のオフセット値は、画素毎に４色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）または３色（Ｒ、Ｇ、Ｂ）の各オフセット値である。

さらに、好ましくは、本発明の撮像装置におけるオフセット値生成制御回路は、前記エリアセンサーの出力画素配列に応じてオフセット値を変化させる。

さらに、好ましくは、本発明の撮像装置において、前記エリアセンサー、該エリアセンサーを駆動するエリアセンサー駆動回路および前記撮像信号処理回路に制御信号を発生する駆動制御パルス発生回路をさらに有し、前記出力画素配列は、該駆動制御パルス発生回路が制御する駆動パターンまたは駆動モードに応じて変化する。

さらに、好ましくは、本発明の撮像装置におけるオフセット値生成制御回路は、前記ＡＧＣ回路のゲイン設定値に応じてオフセット値を変化させる。

さらに、好ましくは、本発明の撮像装置におけるリニアリティ補正回路は、前記ゲイン設定値が所定の基準値以下の場合にオフセット補正を行わず、該ゲイン設定値が所定の基準値を超えた場合に該オフセット補正を行うように制御する。

さらに、好ましくは、本発明の撮像装置における所定の基準値は、輝度階調が変化する被写体に対して、該被写体の各輝度階調におけるＲ／Ｇ比の確認を行い、ほぼ同じである状態のゲイン設定値とする。

さらに、好ましくは、本発明の撮像装置におけるリニアリティ補正回路は、前記エリアセンサーからの撮像信号の出力期間を示す制御期間信号に基づいて前記オフセット値を加算する期間を制御する。

さらに、好ましくは、本発明の撮像装置において、前記エリアセンサー、該エリアセンサーを駆動するエリアセンサー駆動回路および前記撮像信号処理回路に制御信号を発生する駆動制御パルス発生回路をさらに有し、該駆動制御パルス発生回路から得た前記制御期間信号を前記リニアリティ補正回路に出力する。

さらに、好ましくは、本発明の撮像装置におけるオフセット値生成制御回路は、ホワイトバランスデータに応じたオフセット値設定信号に基づいてオフセット値を変化させる。

さらに、好ましくは、本発明の撮像装置において、前記エリアセンサー、該エリアセンサーを駆動するエリアセンサー駆動回路および前記撮像信号処理回路に制御信号を発生する駆動制御パルス発生回路と、オフセット値設定信号を生成する制御回路をさらに有し、該駆動制御パルス発生回路は、基準となるオフセット量を計算した際のホワイトバランスデータと、被写体を撮影して該制御回路が補正を行う際のホワイトバランスデータとを用いて適正なオフセット値を求め、該適正なオフセット値を該オフセット値設定信号として前記リニアリティ補正回路に出力する。

さらに、好ましくは、本発明の撮像装置において、前記基準となるオフセット量は、ゲイン設定値が最大のときに計算される。

さらに、好ましくは、本発明の撮像装置において、前記被写体を撮影して補正を行う際のホワイトバランスデータは、処理を行う前のフィールドのデータまたは駆動モードを変更する際に計算によって求められるホワイトバランスデータである。

本発明の電子情報機器は、本発明の上記撮像装置を用いて得た画像データを表示画面上に表示する表示部と、該画像データを記憶するメモリ部と、該画像データを送信するための通信部とのうち少なくともいずれかを有するものであり、そのことにより上記目的が達成される。

上記構成により、以下に、本発明の作用について説明する。

本発明にあっては、時系列に出力されるデジタル信号値に対して画素毎にオフセット値を加算する加算回路と、画素毎に加算されるオフセット値を可変制御して生成するオフセット値生成制御回路を有するリニアリティ補正回路を設けることにより、従来のようにラインメモリやＬＵＴを用いずに、エリアセンサーのリニアリティ特性をリアルタイムに補正することが可能となる。よって、適正な補正を行って着色がない画像を得ることが可能となる。

例えば、エリアセンサーから出力される画素の色を判別する判別手段を設けて、画素の色に応じてオフセット値を変化させることが可能となる。また、駆動モードまたは駆動パターンによって変化する出力画素配列に応じてオフセット値を変化させることが可能となる。さらに、ＡＧＣ回路のゲイン設定値に応じてオフセット値を変化させることが可能となる。さらに、オフセット値を変化させる期間をエリアセンサーからの信号出力期間に制御することも可能となる。さらには、基準となるオフセット値を求めたときのホワイトバランスデータと撮影時のホワイトバランスデータとを用いてオフセット値を変化させることも可能となる。

以上により、本発明によれば、エリアセンサーのリニアリティ特性が良くない場合に、画素の色、駆動パターンや駆動モードによる出力画素配列、ＡＧＣ回路のゲイン設定値、制御期間信号、被写体のホワイトバランスデータなどに応じて、画素毎に適正な値に可変制御されたオフセット値を、Ａ／Ｄ変換回路から出力されるデジタル信号に加算することにより、従来のようにラインメモリやＬＵＴ（ルックアップテーブル）を用いずにエリアセンサーのリニアリティを適正に補正することが可能となる。これにより、ＣＣＤなどのエリアセンサーを用いた電子カメラおよびビデオカメラなどの撮像装置において、エリアセンサーのリニアリティが良くない場合に、グレースケールなどの低階調や暗い部分、髪の毛等の黒色などのように色情報が無い被写体を撮像した画像に着色が生じたり、また、低輝度部において色相が変わるという問題を防いで、着色のない画像を得ることができる。

以下に、本発明の撮像装置の実施形態を、電子情報機器としてデジタルカメラに適用した場合について、図面を参照しながら詳細に説明する。なお、電子情報機器として、本発明の撮像装置を用いて信号処理した画像データの表示やメモリへの記憶などを行う電子スチルカメラまたは電子ビデオカメラなどのデジタルカメラに限らず、本発明の撮像装置を用いて信号処理した画像データの表示やメモリへの記憶の他に、データ通信を可能とするカメラ付き携帯電話装置であってもよい。

図１は、本発明の実施形態に係るデジタルカメラの撮像装置の要部構成例を示すブロック図である。なお、図１では、ＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理回路以外は図７の各構成部材とその作用効果が同じであるので同一の符号を付してその説明を省略する。

図２は、図１のＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理回路３Ａの要部構成例を示すブロック図である。なお、図２では、図７の各構成部材と同一の作用効果を奏する各構成部材には同一の符号を付している。また、図２では、ゲイン設定値のラインがリニアリティ補正回路３６に入力されているが（実施形態４に相当）、このラインはない場合（実施形態１〜３、５、６）もある。

図１および図２において、装置としてのデジタルカメラ１０Ａは、エリアセンサ２からの撮像信号を利得処理した後にデジタル変換する撮像信号処理回路としてのＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３Ａと、メカニカルシャッターおよびレンズ１、エリアセンサー２、Ｖドライバー５およびＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理部３Ａに対して制御信号を発生する駆動制御パルス発生回路６Ａと、外部制御信号が入力されて、ＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理部３Ａ、信号処理回路４および駆動制御パルス発生回路６Ａの制御を行う制御回路７Ａとを有している。

このＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３Ａは、エリアセンサー（固体撮像素子）２からのＣＣＤ出力（撮像信号）に対して相関サンプリングを行うＣＤＳ回路部３１と、ＣＤＳ回路部３１からの出力信号に対して利得処理するＡＧＣ回路部３２Ａと、このＡＧＣ回路３２Ａからの出力信号をアナログ・デジタル変換するＡ／Ｄ回路部３３と、Ａ／Ｄ回路部３３からのデジタル出力信号をデジタル・アナログ変換するＤ／Ａ回路部３４と、Ｄ／Ａ回路部３４からの出力信号をＯＢクランプ処理してＣＤＳ回路部３１に出力するＯＢＣＬＰ回路３５と、Ａ／Ｄ回路部３３からのデジタル出力信号（デジタル出力値）に対して、画素毎にオフセット値を可変制御して加算することにより、エリアセンサー（固体撮像素子）２のリニアリティを補正するリニアリティ補正回路３６とを有している。

上記構成により、このＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３Ａでは、図７に示す従来のＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３の場合と同様に、ＣＤＳ回路３１によりＣＣＤエリアセンサー２からの撮像信号に対して相関サンプリングが行われ、ＡＧＣ回路部３２Ａによりこれにゲインが掛けられ、ＡＧＣ回路部３２Ａからの出力信号がＡ／Ｄ回路部３３によりデジタル信号に変換される。さらに、Ａ／Ｄ回路部３３からのデジタル出力は、Ｄ／Ａ回路部３４により再びアナログ信号に変換され、これにＯＢＣＬＰ回路３５によりＯＢクランプ処理が施されてＣＤＳ回路３１に出力されてフィードバックされる。

本発明では、Ａ／Ｄ回路部３３の出力側にリニアリティ補正回路部３６が設けられている。このリニアリティ補正回路部３６は、ＡＧＣ回路部３２Ａからゲイン設定情報が入力され、制御回路７Ａまたは駆動制御パルス発生回路６Ａからオフセット補正値や色判別信号、および制御期間信号などの制御信号が入力されて、Ａ／Ｄ回路部３３から時系列に出力されるデジタル信号値に対して画素毎にオフセット値を可変制御して加算することにより、エリアセンサー２のリニアリティ補正を行う。

以下に、このリニアリティ補正回路３６の各構成例およびその制御例について、リニアリティ補正回路３６の実施形態１〜６を順次詳細に説明する。
（実施形態１）
本実施形態１では、Ａ／Ｄ回路部３３から時系列に出力されるデジタル信号値に画素毎にオフセット値を可変制御して加算可能とするリニアリティ補正回路３６の構成例およびその制御例について説明する。

図３は、本実施形態１のリニアリティ補正回路の要部構成例を示すブロック図である。

図３において、本実施形態１のリニアリティ補正回路３６Ａは、Ａ／Ｄ回路部３３からの出力信号およびオフセット値設定信号から、画素毎に加算されるオフセット値を可変制御して生成するオフセット値生成制御回路３６１と、このＡ／Ｄ回路部３３から時系列に出力されるデジタル信号値（出力信号）に対して、画素毎に、オフセット値生成制御回路３６１からのオフセット値を加算する加算回路３６２とを有している。

オフセット値生成制御回路３６１は、オフセット値設定信号（制御回路７Ａまたは駆動制御パルス発生回路６Ａから供給）にしたがって、画素毎に加算すべきオフセット値を設定する。このオフセット値設定信号は、ＡＤＣＬＫに同期している。このオフセット値設定信号の設定によって、オフセット補正を行うか、または行わないかを制御することも可能である。

オフセット値生成制御回路３６１は、Ａ／Ｄ回路部３３からの出力信号を入力し、１クロック前の出力信号とその入力された現在の出力信号との差分を計算することにより、その計算された差分値に応じてオフセット値を切り替える。

加算回路３６２は、オフセット値生成制御回路３６１で生成されたオフセット値を、Ａ／Ｄ回路部３３からの出力信号に加算することによって、Ａ／Ｄ回路部３３からの出力信号値に画素毎に加算されるオフセット値を可変制御して、エリアセンサー２のリニアリティを補正することができる。

（実施形態２）
本実施形態２では、エリアセンサー２から出力される画素の色に応じてオフセット値を変化可能とするリニアリティ補正回路３６の構成例およびその制御例について説明する。

エリアセンサー２のリニアリティ特性は、各画素の色に応じた信号出力キャリア差によって変化するため、画素の色に応じて、加算されるオフセット値を変化させる必要がある。

図４は、本実施形態２のリニアリティ補正回路の要部構成例を示すブロック図である。

図４において、本実施形態２のリニアリティ補正回路３６Ｂは、Ａ／Ｄ回路部３３からの出力信号およびオフセット値設定信号から、画素毎に加算されるオフセット値を複数生成するオフセット値生成制御回路３６１Ｂと、色判定信号に基づいて、その複数のオフセット値を切り替えるセレクタ部３６３と、Ａ／Ｄ回路部３３から時系列に出力されるデジタル信号値に対して、画素毎に、セレクタ部３６３からのオフセット値を加算する加算回路３６２Ｂとを有している。

オフセット値生成制御回路３６１Ｂでは、画素毎に加算されるオフセット値を４色分（Ｒ、Ｇｒ、Ｇｂ、Ｂ）生成する。

セレクタ部３６３では、色判別信号に応じて画素の色を判別し、オフセット値生成制御回路３６１Ｂで生成される複数のオフセット値のいずれかに切り替えることができる。なお、本実施形態２では、エリアセンサー２から出力される画素の色を判別する判別手段が設けられており（制御回路７Ａまたは駆動制御パルス発生回路６Ａに設けられている）、画素の色に応じた色判別信号を制御回路７Ａからセレクタ部３６３に入力する。

加算回路３６２Ｂは、セレクタ部３６３で選択されたオフセット値を、Ａ／Ｄ回路部３３からの出力信号に加算することによって、出力信号値に画素毎に加算されるオフセット値を、画素の色に応じて可変制御して、エリアセンサー２のリニアリティを補正することができる。
（実施形態３）
本実施形態３では、エリアセンサー２からの出力画素配列に応じてオフセット値を変化させることが可能なリニアリティ補正回路３６の構成例およびその制御例について説明する。

上記実施形態２で説明したように、エリアセンサー２のリニアリティ特性は、各画素の色に応じた信号出力キャリア差によって変化するが、オフセット補正値は出力画素の１クロック前の出力信号との差分に応じて設定されるため、駆動モード（または駆動パターン）によるエリアセンサー２の出力画素配列に応じて、加算されるオフセット値を変化させる必要がある。

駆動モードを変更する際には、図７を用いて説明すると、制御回路７から駆動モードを変更制御する制御信号が駆動制御パルス発生回路６に供給されて駆動モードが変更され、これに伴って、エリアセンサー２からの出力画素配列が変化する。

本実施形態３では、制御回路７から駆動制御パルス発生回路６に制御信号が供給される際に、これに合わせて、ＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理回路３Ａにもオフセット値を変更するための制御信号を供給する。この制御信号によって、図４に示すリニアリティ補正回路３６Ｂのオフセット値生成制御回路３６１Ｂにより、出力画素配列に応じてオフセット値を可変制御することができる。

このとき、駆動モードによる補正量（オフセット値）を決定するために用いられるモード切替時調整用係数α、β、γ、δ（各色Ｒ、Ｇｒ、ＧｂおよびＢにそれぞれ対応）（出力画素配列と色に応じて変化する値）は、事前に、各駆動モード時に必要とされる補正量割合から決定しておくことができる。
（実施形態４）
本実施形態４では、ＡＧＣ回路３２Ａのゲイン設定値に応じてオフセット値を変化させることを可能とするリニアリティ補正回路３６の構成例およびその制御例について説明する。

ＣＣＤエリアセンサー２のリニアリティ特性は、エリアセンサー２からの出力信号が小さい場合、即ち、ＡＧＣ回路３２Ａのゲインが高いときに問題になる。このため、ＡＧＣ回路３２Ａのゲイン設定に連動して、加算されるオフセット値を変化させる必要がある。

本実施形態４では、リニアリティ補正回路３６Ｃは、図５に示すように、ＡＧＣ回路部３２Ａからのゲイン設定値を示すゲイン制御信号を入力し、設定されているオフセット値をゲイン設定値（ゲイン比）に応じて計算することにより、ゲイン設定値（ゲイン比）に応じてオフセット値を可変制御する。

ゲイン設定値がある基準以下に下がると、オフセット補正を行わないように設定することもできる。これについて図６（ａ）を用いて説明する。

図６（ａ）は、図２のＡＧＣ回路３２Ａからのゲイン設定値に対するオフセット値の設定例を示すグラフである。
図６（ａ）において、縦軸はオフセット補正量、横軸はＡＧＣ回路３２Ａのゲイン設定を示している。ゲイン設定値がある基準となる所定のゲイン設定値を超えると、ゲイン設定値に比例してオフセット補正量が決定される。また、ゲイン設定値がある基準以下に下がると、オフセット補正を行わないようにする。

実際に用いられる計算式は、以下の実施形態６にて合わせて説明する（実施形態６のオフセット補正係数計算式（式１）のように、「設定されているオフセット値」にゲイン比を乗算する。

オフセット補正を行わない基準は、例えば以下のようにして決定することができる。グレースケールなど、輝度の階調が変化する被写体に対して、例えば６ｄＢ毎に撮影を行った際に、被写体の各輝度の階調におけるＲ／Ｇ比の確認を行い、ほぼ同じであれば補正の必要性がないため、それ以下のゲインでは補正を行わないように設定することができる。

（実施形態５）
本実施形態５では、駆動制御パルス発生回路６からＣＤＳ／ＡＧＣ／ＡＤ信号処理回路３Ａに供給される制御期間信号に応じてオフセット値を加算する期間を、エリアセンサー２からの信号出力期間に制御可能なリニアリティ補正回路３６の構成例およびその制御例について説明する。

エリアセンサー２のリニアリティ特性は、エリアセンサー２から撮像信号が出力されることによって発生するため、オフセット値を加算する制御は、受光部に入射された被写体光が光電変換されて信号出力される期間にのみ実施する必要があり、受光部に光が入射されない期間の信号にオフセット値を加算する必要はない。

本実施形態５では、図７に示す制御回路７から駆動制御パルス発生回路６に制御信号が供給されて駆動パルスなどが生成されたときに、画素出力信号の範囲（時間範囲）を示す制御期間信号を図３に示す加算回路３６２または図４に示す加算回路３６２Ｂに供給する。例えば制御期間信号が「Ｈ」レベルの期間にのみ、オフセット補正を行うようにすることにより、エリアセンサー２からの信号出力期間にのみオフセット補正を行ってリニアリティ特性を補正することができる。
（実施形態６）
本実施形態６では、ホワイトバランスデータに応じてオフセット値を変化させることが可能なリニアリティ補正回路３６の構成例およびその制御例について説明する。

エリアセンサー２のリニアリティ特性は、ＡＧＣ回路３２Ａのゲイン設定が同じ場合でも、ホワイトバランスデータ（色信号差データ）によっても、図６（ｂ）の点線に示すように変化するため、ホワイトバランスデータに応じて加算されるオフセット値を変化させる必要がある。図６（ｂ）では、同じゲイン設定値でも、実線で示すゲイン設定値とオフセット補正量との関係が、点線で示すゲイン設定値とオフセット補正量との関係に変化することを示している。

本実施形態６では、基準となるオフセット量を計算した際のホワイトバランスデータを制御回路７Ａ（または駆動制御パルス発生回路６Ａ）に保持し、保持されたデータと、被写体を撮影して補正を行う際に使用されるホワイトバランスデータとを用いて、被写体や色温度に応じた適正なオフセット値を求めて補正を行うことができる。

ここで、基準となるオフセット量を計算した際のホワイトバランスデータとしては、実施形態４においてＡＧＣ回路３２Ａのゲイン設定最大時にオフセット値設定を行った際のホワイトバランスデータを用いる。また、被写体を撮影して補正を行う際のホワイトバランスデータとしては、処理を行う前のフィールドのデータまたは駆動モードを変更する際に計算によって求められるホワイトバランスデータを用いる。

以下に、各色のオフセット補正値として、Ｒ補正値：Ｋｒ、Ｇｒ補正値：Ｋｇｒ、Ｇｂ補正値：ＫｇｂおよびＢ補正値：Ｋｂを求める計算方法について説明する。

まず、（１）基準となるオフセット量として、Ｒのオフセット補正係数ＫｏｒおよびＢのオフセット補正係数Ｋｏｂを求める。

調整条件はＩＳＯ感度最大時またはＡＧＣ回路３２Ａのゲイン設定最大時とし、被写体としてグレースケールなどの階調を有する被写体を用いる。上記条件下で、任意の２点の光量（輝度）において、Ｒ、ＧおよびＢの各色について信号処理回路入力値を求め、下記（式１）によってオフセット補正係数を求める。

オフセット補正係数計算式（式１）
Ｋｏｒ＝（Ｇ２×Ｒ１−Ｇ１×Ｒ２）／（Ｇ２−Ｇ１）×ＧＡＩＮ
Ｋｏｂ＝（Ｇ２×Ｂ１−Ｇ１×Ｂ２）／（Ｇ２−Ｇ１）×ＧＡＩＮ
ただし、上記（式１）において、
Ｒ１：光量（輝度）の小さい点の信号処理回路入力Ｒ値
Ｇ１：光量（輝度）の小さい点の信号処理回路入力Ｇ値
Ｂ１：光量（輝度）の小さい点の信号処理回路入力Ｂ値
Ｒ２：光量（輝度）の大きい点の信号処理回路入力Ｒ値
Ｇ２：光量（輝度）の大きい点の信号処理回路入力Ｇ値
Ｂ２：光量（輝度）の大きい点の信号処理回路入力Ｂ値
ＧＡＩＮ：ＡＧＣゲイン比（調整時ゲインを”１”、補正を行わない場合は”０”とする）
を示す。

次に、（２）上記オフセット補正係数を用いて、補正実行時のホワイトバランスデータに対するオフセット補正値を下記（式２）によって計算する。

補正実行時のホワイトバランスデータに対するオフセット補正値計算式（式２）
Ｋｒ＝Ｋｏｒ×［（Ｒ２／Ｇ２）／（Ｒ／Ｇ）］×α
Ｋｇｒ＝Ｋｏｒ×［（Ｒ２／Ｇ２）／（Ｒ／Ｇ）］×β
Ｋｇｂ＝Ｋｏｂ×［（Ｂ２／Ｇ２）／（Ｒ／Ｇ）］×γ
Ｋｂ＝Ｋｏｂ×［（Ｂ２／Ｇ２）／（Ｂ／Ｇ）］×δ
ただし、上記（式２）において、
Ｒ／Ｇおよび，Ｂ／Ｇは補正実行時のホワイトバランスデータ（（Ｒ／ＧおよびＢ／Ｇはホワイトバランスゲインの逆数と同意））
Ｒ１、Ｇ１、Ｂ１、Ｒ２、Ｇ２およびＢ２は上記基準となるオフセット量設定時のデータ
α、β、γ、δ：モード切替時調整用係数
を示す。

その後、（３）上記各色毎に異なるオフセット補正値を用いて、下記（式３）によってエリアセンサーのリニアリティ補正を行う。

エリアセンサーのリニアリティ補正計算式（式３）
Ｒ’＝Ｒ−Ｋｒ
Ｇｒ’＝Ｇｒ−Ｋｇｒ
Ｇｂ’＝Ｇｂ−Ｋｇｂ
Ｂ’＝Ｂ−Ｋｂ
ただし、上記（式３）において、
Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’：補正実行時の信号処理回路入力値
Ｒ、Ｇｒ、Ｇｂ、Ｂ：補正前の信号処理回路入力値
を示している。

以上により、上記実施形態１〜６によれば、エリアセンサー２のリニアリティ特性が良くない場合に、Ａ／Ｄ回路部３３から時系列に出力されるデジタル信号値に対して、画素の色、駆動パターンや駆動モードによる出力画素配列、ＡＧＣ回路３２Ａのゲイン設定値、被写体のホワイトバランスデータなどに応じて、画素毎にオフセット値を可変制御して加算することにより、従来のようにラインメモリやＬＵＴを用いずにエリアセンサー２のリニアリティ特性をリアルタイムに補正してリニアリティを補正して、着色のない画像を得ることができる。即ち、色情報の無い被写体における着色や低輝度部における色相変化を回避することができる。

なお、上記では、複数のオフセット値は、画素毎に４色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）としたが、これに限らず、３色（Ｒ、Ｇ、Ｂ）の各オフセット値としてもよい。

以上のように、本発明の好ましい実施形態１〜６を用いて本発明を例示してきたが、本発明は、この実施形態１〜６に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜６の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、被写体光を撮像するＣＣＤなどのエリアセンサーからの撮像信号を信号処理する撮像装置および、これを用いて信号処理した画像データの表示やメモリへの記憶などを行う電子スチルカメラまたは電子ビデオカメラなどのデジタルカメラやカメラ付き携帯電話装置などの電子情報機器の分野において、エリアセンサーのリニアリティ特性が良くない場合に、画素の色、駆動パターンや駆動モードによる出力画素配列、ＡＧＣ回路のゲイン設定値、被写体のホワイトバランスデータなどに応じて、画素毎に適正な値に可変制御されたオフセット値を、Ａ／Ｄ変換回路から出力されるデジタル信号に加算することにより、従来のようにラインメモリやＬＵＴを用いずにエリアセンサーのリニアリティ特性を補正することができる。したがって、撮像装置において、グレースケールなどの低階調や暗い部分、髪の毛等の黒色などのように色情報が無い被写体を撮像した画像に着色が生じたり、また、低輝度部において色相が変わるという従来の問題を防いで、着色の無い画像を得ることができる。

本発明の実施形態に係るデジタルカメラの撮像装置の要部構成例を示すブロック図である。 図１のＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理回路３Ａの要部構成例を示すブロック図である。 図２のリニアリティ補正回路の実施形態１の要部構成例を示すブロック図である。 図２のリニアリティ補正回路の実施形態２の要部構成例を示すブロック図である。 図２のリニアリティ補正回路の実施形態４の要部構成例を示すブロック図である。 （ａ）は、図２のリニアリティ補正回路の実施形態４に係る撮像装置において、ＡＧＣ回路のゲイン設定値とリニアリティ補正回路による補正量との関係を示すグラフであり、（ｂ）は、図２のリニアリティ補正回路の実施形態６に係る撮像装置において、ＡＧＣ回路のゲイン設定値とリニアリティ補正回路による補正量との関係がホワイトバランスデータにより変化することを示すグラフである。 従来のデジタルカメラの撮像装置における要部構成例を示すブロック図である。 図７のＣＤＳ／ＡＧＣ／ＡＤ信号処理回路の要部構成例を示すブロック図である。 （ａ）および（ｂ）は、エリアセンサーからの出力画素配列例を示す図である。

符号の説明

１ メカニカルシャッターおよびレンズ
２ エリアセンサー（固体撮像素子）
３Ａ ＣＤＳ／ＡＧＣ／Ａ／Ｄ信号処理回路
３１ ＣＤＳ回路部
３２Ａ ＡＧＣ回路部
３３ Ａ／Ｄ回路部
３４ Ｄ／Ａ回路部
３５ ＯＢＣＬＰ回路
３６，３６Ａ，３６Ｂ，３６Ｃ リニアリティ補正回路
３６１，３６１Ｂ，３６１Ｃ オフセット値生成制御回路
３６２，３６２Ｂ 加算回路
３６３ セレクタ部
４ 信号処理回路
５ Ｖドライバ
６Ａ 駆動制御パルス発生回路
７Ａ 制御回路
１０Ａ デジタルカメラ（撮像装置）

Claims (20)

1. 入射光を各受光部毎にそれぞれ光電変換して画素毎に撮像信号を得るエリアセンサーと、
   該エリアセンサからの撮像信号を利得処理した後にデジタル変換する撮像信号処理回路とを有し、
   該撮像信号処理回路は、該エリアセンサーのリニアリティを補正するために、デジタル変換されたデジタル信号値に対して、画素毎にオフセット値を可変制御して加算するリニアリティ補正回路を有している撮像装置。
2. 前記撮像信号処理回路は、前記エリアセンサの出力に対して相関サンプリングを行うＣＤＳ回路部と、該ＣＤＳ回路部からの出力に対して利得処理を行うＡＧＣ回路部と、該ＡＧＣ回路部からの出力をデジタル変換するＡ／Ｄ変換回路部とを有する請求項１に記載の撮像装置。
3. オフセット値設定信号を生成する制御回路をさらに有し、
   前記リニアリティ補正回路は、該オフセット値設定信号に基づいて、画素毎にオフセット値を可変制御して生成するオフセット値生成制御回路と、前記デジタル信号値に画素毎に該オフセット値を加算する加算回路とを有する請求項１に記載の撮像装置。
4. 前記リニアリティ補正回路は、前記オフセット値設定信号に基づいて、オフセット補正の有無を制御可能とする請求項３に記載の撮像装置。
5. 前記オフセット値生成制御回路は、前記デジタル変換されたデジタル信号値の出力信号と１クロック前の出力信号との差分値に応じてオフセット値を変化させる請求項３に記載の撮像装置。
6. 前記オフセット値生成制御回路は、前記エリアセンサーから出力される撮像信号の画素の色に応じたオフセット値設定信号に基づいてオフセット値を変化させる請求項３に記載の固体撮像装置。
7. 前記エリアセンサー、該エリアセンサーを駆動するエリアセンサー駆動回路および前記撮像信号処理回路に制御信号を発生する駆動制御パルス発生回路をさらに有し、
   該駆動制御パルス発生回路は、該エリアセンサーから出力される画素の色を判別する色判別手段を有し、前記リニアリティ補正回路は、該色判別手段から供給される色判別信号にしたがって、前記オフセット値生成制御回路にて生成された複数のオフセット値を切り替えるセレクタ部を有する請求項６に記載の撮像装置。
8. 前記複数のオフセット値は、画素毎に４色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）または３色（Ｒ、Ｇ、Ｂ）の各オフセット値である請求項７に記載の撮像装置。
9. 前記オフセット値生成制御回路は、前記エリアセンサーの出力画素配列に応じてオフセット値を変化させる請求項３に記載の撮像装置。
10. 前記エリアセンサー、該エリアセンサーを駆動するエリアセンサー駆動回路および前記撮像信号処理回路に制御信号を発生する駆動制御パルス発生回路をさらに有し、
    前記出力画素配列は、該駆動制御パルス発生回路が制御する駆動パターンまたは駆動モードに応じて変化する請求項９に記載の撮像装置。
11. 前記オフセット値生成制御回路は、前記ＡＧＣ回路のゲイン設定値に応じてオフセット値を変化させる請求項２に記載の撮像装置。
12. 前記リニアリティ補正回路は、前記ゲイン設定値が所定の基準値以下の場合にオフセット補正を行わず、該ゲイン設定値が所定の基準値を超えた場合に該オフセット補正を行うように制御する請求項１１に記載の撮像装置。
13. 前記所定の基準値は、輝度階調が変化する被写体に対して、該被写体の各輝度階調におけるＲ／Ｇ比の確認を行い、ほぼ同じである状態のゲイン設定値とする請求項１２に記載の撮像装置。
14. 前記リニアリティ補正回路は、前記エリアセンサーからの撮像信号の出力期間を示す制御期間信号に基づいて前記オフセット値を加算する期間を制御する請求項１または３に記載の撮像装置。
15. 前記エリアセンサー、該エリアセンサーを駆動するエリアセンサー駆動回路および前記撮像信号処理回路に制御信号を発生する駆動制御パルス発生回路をさらに有し、
    該駆動制御パルス発生回路から得た前記制御期間信号を前記リニアリティ補正回路に出力する請求項１４に記載の撮像装置。
16. 前記オフセット値生成制御回路は、ホワイトバランスデータに応じたオフセット値設定信号に基づいてオフセット値を変化させる請求項３に記載の撮像装置。
17. 前記エリアセンサー、該エリアセンサーを駆動するエリアセンサー駆動回路および前記撮像信号処理回路に制御信号を発生する駆動制御パルス発生回路と、オフセット値設定信号を生成する制御回路をさらに有し、
    該駆動制御パルス発生回路は、基準となるオフセット量を計算した際のホワイトバランスデータと、被写体を撮影して該制御回路が補正を行う際のホワイトバランスデータとを用いて適正なオフセット値を求め、該適正なオフセット値を該オフセット値設定信号として前記リニアリティ補正回路に出力する請求項１６に記載の撮像装置。
18. 前記基準となるオフセット量は、ゲイン設定値が最大のときに計算される請求項１７に記載の撮像装置。
19. 前記被写体を撮影して補正を行う際のホワイトバランスデータは、処理を行う前のフィールドのデータまたは駆動モードを変更する際に計算によって求められるホワイトバランスデータである請求項１７に記載の撮像装置。
20. 請求項１〜１９に記載の撮像装置を用いて得た画像データを表示画面上に表示する表示部と、該画像データを記憶するメモリ部と、該画像データを送信するための通信部とのうち少なくともいずれかを有する電子情報機器。

Images