JP2007028520A

JP2007028520A - デジタルカメラ

Info

Publication number: JP2007028520A
Application number: JP2005211471A
Authority: JP
Inventors: Hirokazu Kobayashi; 寛和小林; Kazuya Oda; 和也小田
Original assignee: Fujifilm Holdings Corp
Current assignee: Fujifilm Holdings Corp
Priority date: 2005-07-21
Filing date: 2005-07-21
Publication date: 2007-02-01
Anticipated expiration: 2025-07-21
Also published as: JP4542962B2; US7518644B2; US20070030373A1

Abstract

【課題】垂直転送路に起因した線状のキズの補正を軽減する。
【解決手段】イメージセンサの画素列のそれぞれに垂直転送路を設けてあり、各垂直転送路にはそれぞれ電荷検出アンプを設けてある。スルー画出力時及び動画モード時では、水平走査回路は、撮影感度ごとに決められた間引きパターンで電荷検出アンプを順次に選択して画素列を間引きした画像信号を出力する。間引きパターンは全画素列のうちの奇数列だけを選択する奇数列パターンと、偶数列だけを選択する偶数列パターンとがあり、垂直転送路に起因した線状のキズが最も少ないパターンが撮影感度に応じて選択される。
【選択図】図１

Description

本発明は、デジタルカメラに関するものである。

近年デジタルカメラが普及している。このデジタルカメラには、光学的な被写体像を電気的な信号に変換するイメージセンサが設けられている。イメージセンサとしては、主としてＣＣＤ型やＣＭＯＳ型が用いられるが、高画素化に有利なＣＣＤ型イメージセンサが多く利用される傾向にある。

ＣＣＤ型のイメージセンサには、インターライン型ＣＣＤ，フレーム転送型ＣＣＤなどがある。例えばインターライン型ＣＣＤは、フォトダイオードからなりマトリクス状に並べられた多数の画素、垂直方向に並んだ複数の画素からなる画素列ごとに設けられ、各画素で光電変換された信号電荷がトランスファゲートを介して転送され、その信号電荷を垂直方向に順次転送する垂直転送路（垂直ＣＣＤ）、各垂直転送路の端部に設けられ、各垂直転送路からの信号電荷を受けで水平転送する水平転送路（水平ＣＣＤ）、この水平転送路からの信号電荷を電圧に変換して出力する電荷検出アンプなどから構成される。

また、上記の水平転送路の代わりに、各垂直転送路の端部にそれぞれ電荷検出アンプを設け、これら電荷検出アンプの出力を水平走査回路によって読み出すイメージセンサが特許文献１によって知られている。
特開２００２−１３５６５６号公報

デジタルカメラでは、静止画撮影を行う静止画モードの他に動画を記録する動画モードや、デジタルカメラに設けられた液晶ディスプレイ等に被写体を表示するスルー画出力機能を有するものもある。これら動画モードやスルー画出力の際には、再生される被写体像の動きを滑らかに表示するため、例えば１秒間に３０フレーム（３０ｆｐｓ）程度でイメージセンサを駆動する。しかしながら、近年では、イメージセンサの高画素化が進み、１フレーム期間中に全画素の電荷を転送して信号を出力することが困難である場合には、ＣＣＤ型イメージセンサでは、そのイメージセンサ上で垂直方向に画素（ライン）の間引きを行なう垂直間引きや画素混合を行なっている。なお、間引きや画素混合を垂直方向で行なうのは、トランスファゲートの制御により容易に実現できるからである。

また、イメージセンサは、半導体の局部的な結晶欠陥などにより画質を劣化させるいわゆるキズを生じさせることが知られている。キズは、欠陥のある画素（欠陥画素）に起因して点状に現れるキズ（以下、点キズという）の他、垂直転送路に起因したキズがあり、そのキズは垂直方向に長く伸びた線状に現れる（以下、このような垂直転送路に起因したキズを線キズと称する）。線キズは、例えば垂直転送路上で信号電荷とは無関係な電荷が加えられてしまうことによる白い線状に現れるものや、一部の垂直転送路の転送効率が低いために生じる線状濃度ムラなどがある。しかしながら、これらキズの原因となる画素や垂直転送路が全くないイメージセンサを製造することは難しい。また、製造後にも、宇宙線など非常に高エネルギーの粒子が入射した場合にもキズが発生するようになる。

ところで上記のような欠陥画素は、例えば垂直間引きによって、それに起因した点キズの発生をある程度避けることはできるが、線キズについては、垂直転送路が原因となっているのでその発生を避けることができなかった。一方、イメージセンサからの出力信号に対してキズ補正を行なうことで、点キズもちろんとして線キズを補正する技術は確立されている。しかしながら、線キズの個数が多い場合には、キズ補正の処理時間が長くなったり、キズ補正のためにメモリを過大に占有したりして、フレームレート、撮影枚数等に制限を与えることが多かった。さらに、線キズは、補正されるが画像の画質を低下させやすいという問題もあった。

本発明は、上記問題を解消するためになされたもので、点キズに比べて画質を劣化させやすい、垂直転送路に起因した線状のキズの補正を少なくすることができるデジタルカメラを提供することを目的とする。

上記目的を達成するために、本発明のデジタルカメラでは、撮影感度を設定する感度設定手段と、垂直方向に伸びた線状のキズが最も少なくなるように予め決られた読み出すべき画素列を示す第１の列情報を撮影感度のそれぞれについて記憶した第１の記憶手段と、少なくとも第１の列情報に示される読み出すべき各画素列のうち前記キズとなる画素列を示す第２の列情報を撮影感度のそれぞれについて記憶した第２の記憶手段と、間引きモードの際に、前記感度設定手段によって設定された撮影感度に対応した第１の列情報に示される各画素列の電荷検出手段を順次に選択し、選択した電荷検出手段からの電圧信号を出力する水平走査手段と、間引きモードの際に、前記感度設定手段によって設定された撮影感度に対応した第２の列情報に示される各画素列の電圧信号に対して前記キズの補正を行う補正手段とを備えたものである。

請求項２記載のデジタルカメラでは、撮影感度を設定する感度設定手段と、垂直方向に伸びた線状のキズが最も少なくなるように予め決られた読み出すべき画素列を示す第１の列情報を撮影感度のそれぞれについて記憶した第１の記憶手段と、少なくとも第１の列情報に示される読み出すべき各画素列のうち前記キズとなる画素列を示す第２の列情報を撮影感度のそれぞれについて記憶した第２の記憶手段と、間引きモードの際に、前記感度設定手段によって設定された撮影感度に対応した第１の列情報に示される各画素列の電圧信号だけを取り出す間引き手段と、間引きモードの際に、前記感度設定手段によって設定された撮影感度に対応した第２の列情報に示される各画素列の電圧信号に対して前記キズの補正を行う補正手段とを備えたものである。

請求項３記載のデジタルカメラでは、間引き手段を、画素のリセットレベルと信号レベルとの差分をとることによりノイズ除去を行う相関二重サンプリング回路としたものであり、その相関二重サンプリング回路を、出力すべき画素列の画素についてのリセットレベルと信号レベルとの差分をとって出力するようにしたものである。

請求項４記載のデジタルカメラでは、イメージセンサから出力される全画素列分の電圧信号を画素ごとにデジタル変換した画像データを記憶する画像メモリを備え、補正手段を、画像メモリ上の第２の列情報に示される各画素列の画像データに対してキズの補正を行い、間引き手段を、第１の列情報に示される各画素列の画像データだけを画像メモリから取り出すようにしたものである。

請求項５記載のデジタルカメラでは、イメージセンサから出力される全画素列分の電圧信号に基づいて、前記キズとなる画素列を検出し、間引きモード時に前記キズが最も少なくなるように予め読み出すべき画素列を示す第１の列情報を撮影感度のそれぞれについて決定して第１の記憶手段に記憶し、少なくとも第１の列情報に示される読み出すべき各画素列のうち前記キズとなる画素列を示す第２の列情報を撮影感度のそれぞれについて決定して第２の記憶手段に記憶する決定手段を備えたものである。

本発明によれば、間引きモードの際に、撮影感度ごとに、垂直方向に伸びた線状のキズが最も少なくなるように読み出すべき画素列が制御され、読み出すべき各画素列のうちキズとなる画素列だけのキズの補正を行うので、間引きモードで得られる画像のキズを最小にすることができ、画質の劣化を少なくできるとともに、キズの補正する箇所が少なくてよいので、キズ補正の負荷を小さくできる。

本発明のデジタルカメラに用いたＣＣＤ型のイメージセンサの構成を図１に模式的に示す。イメージセンサ１０の受光面１１には、多数の画素１２を設けてある。画素１２は、入射する光（被写体光）を光電変換するフォトダイオードからなり、入射した光量に応じた信号電荷を蓄積する。水平方向に並ぶ複数の画素１２によってラインが構成され、垂直方向に並ぶ画素１２によって列（以下、画素列という）が構成される。

イメージセンサ１０は、画素１２が水平方向に一定の配列ピッチで配されるが、各ラインの画素１２がその前後のラインの画素１２に対して水平方向にその配列ピッチの１／２だけずらしたいわゆるハニカム配列となっている。なお、実際には、約６００万個（約２０００ライン×３０００列）の画素１２を受光面１１に並べてある。また、イメージセンサ１０としては、ハニカム配列のものでなくてもよく、正方格子状に画素が配列されたものであってもよい。

画素列のそれぞれに垂直転送路（垂直ＣＣＤ）１４を設けてあり、各垂直転送路１４の一端にはそれぞれ電荷検出アンプ１５を設けてある。電荷検出アンプ１５は、入力される信号電荷を電圧に変換して出力する。垂直駆動回路１６は、イメージセンサ１０の外部に設けたタイミングジェネレータからの垂直タイミング信号に基づいて各種垂直駆動信号を垂直転送路１４に与える。これにより、露光期間中に画素１２に蓄積された信号電荷を露光期間に完了後に画素毎に設けたトランスファゲート（図示せず）を介して垂直転送路１４に転送し、さらに１水平走査期間毎に垂直転送路１４内を順次に転送して電荷検出アンプ１５に送る。

上記の信号電荷の垂直転送の際に、画素１２から垂直転送路１４に信号電荷を転送するラインと転送タイミングとを制御することによって、任意の画素１２の信号電荷に同じ画素列の他の画素１２の信号電荷を垂直転送路上で加える、いわゆる画素混合を行うことができる。

水平走査回路１７は、タイミングジェネレータからの水平タイミング信号が入力されることにより、電荷検出アンプ１５を所定の選択パターンで順次に選択し、その選択した電荷検出アンプ１５の出力を信号出力線に画像信号として出力する水平走査を行う。水平走査回路１７が電荷検出アンプ１５を選択的に読み出すことによって画素列の間引きを行った画像信号を出力することができる。

水平走査回路１７による選択パターンは、画素列の間引き処理を行わず全ての電荷検出アンプ１５を順次に選択する全列パターンと、画素列を間引くための間引きパターンとがあり、間引きパターンは全画素列のうちの奇数列（第１列，第３列，第５列・・・・）だけを選択する奇数列パターンと、偶数列（第２列，第４列，第６列・・・・）だけを選択する偶数列パターンとがある。これら選択パターンは、タイミングジェネレータにセットするパラメータを変更することよって、水平タイミング信号の発生タイミング等を変更することで切替える。

図２にデジタルカメラ２０の正面側を、図３にデジタルカメラ２０の背面側をそれぞれ示す。デジタルカメラ２０の前面には、撮影レンズ２１，レリーズボタン２２，ストロボ発光部２３を設けてある。また、背面には、ＬＣＤ２５，操作部２６を設けてある。さらに、側面には撮影された静止画が記録されるメモリカードを装着するメモリスロット（図示省略）が設けられている。

操作部２６は、各種操作ボタンやカーソルキー等からなり、これらを操作することにより、再生モード，撮影モード，調整モードの切替え、撮影モード下での静止画モードと動画モードの切替えや撮影感度の設定を行うことができる。撮影感度としては、ＩＳＯ１００，ＩＳＯ２００，ＩＳＯ４００を設定可能としてある。

撮影モード下では被写体画像をいわゆるリアルタイムでＬＣＤ２５に表示するスルー画出力が行われ、静止画モード下でレリーズボタン２２を押圧操作すると、静止画の撮影が行われメモリカードに記録される。動画モード下でレリーズボタン２２を押圧操作すると、動画の撮影が開始され、次に押圧すると動画の撮影が停止する。動画の場合も静止画と同様にメモリカードに記録される。この例では、スルー画出力及び動画モードが、画素列の間引きを行う間引きモードとなっており、いずれの場合も画素列を１／２にする。調整モードでは、スルー画出力及び動画モードの際に、イメージセンサ１０の垂直転送部１４に起因して線キズとなる画素列（以下、欠陥画素列という）の検出を行い、間引きの際に線キズが最も少なくすることができる間引きパターンを撮影感度ごとに決定する。

上記デジタルカメラ２０の構成を図４に示す。ＣＰＵ３１は、レリーズボタン２２，操作部２６の操作に応じてデジタルカメラ２０の各部を制御する。ＣＰＵ３１には、ＲＯＭ３１ａ，ＲＡＭ３１ｂを接続してある。ＲＯＭ３１ａには、デジタルカメラ２０の撮影等のシーケンスを実行するためのプログラムが予め書き込まれており、ＣＰＵ３１は、そのプログラムにしたがって各部を制御する。ＲＡＭ３１ｂは、シーケンスを実行する際のデータを一時的に記憶するワークメモリとして用いられる。

撮影レンズ２１は、ピント調節機構（図示省略）により被写体にピントが合致するように調整される。撮影レンズ２１の背後に上記イメージセンサ１０を配してあり、それらの間にシャッタ装置３２を配してある。シャッタ装置３２は、シャッタ羽根が閉じて撮影レンズ２１からの撮影光をイメージセンサ１０に入射するのを阻止する閉じ位置と、シャッタ羽根が開いて撮影光の入射を許容する開き位置との間で移動自在としてある。シャッタ装置３２は、通常は開き位置とされており、静止画撮影時にイメージセンサ１０による露光が完了した直後にスメアの発生を防止するために閉じ位置となる。また、調整モード下でもシャッタ装置３２を閉じ位置とする。

タイミングジェネレータ３３は、垂直駆動回路１６，水平走査回路１７を駆動する各タイミング信号を出力する。これにより、イメージセンサ１０による露光から画像信号の出力までの動作を行う。スルー画出力及び動画モード時は、タイミングジェネレータ３３は、２画素混合によるライン数の間引きと、列数を１／２にする画素列の間引きとを行うように、イメージセンサ１０を駆動する。

クランプ回路３４は、オプティカルブラック期間中の画像データに基づいて画像信号の黒レベルを調整する。ＣＤＳ（相関二重サンプリング）回路３５は、クランプ回路３４からの画像信号中のリセットパルスの相関ノイズが重畳するフィードスルー部分と画素信号部分とを１画素ごとにそれぞれサンプルホールドして、それらの差分を出力することによりリセットノイズを除去した画像信号を出力する。アンプ３６は、ＣＰＵ３１によってセットされるゲインで画像信号を増幅する。ＣＰＵ３１は、操作部２６の操作で設定された撮影感度に応じたゲインをアンプ３６にセットする。Ａ／Ｄ変換器３７は、アンプ３６からの画像信号を画素ごとの画像データに変換する。なお、この例では操作部２６が撮影感度を設定する感度設定手段であるが、感度設定手段を例えば被写体輝度に応じて撮影感度を設定する構成としてもよい。

クランプ回路３４，ＣＤＳ回路３５，アンプ３６，Ａ／Ｄ変換器３７のそれぞれはタイミングジェネレータからの各種タイミング信号が入力されることにより、イメージセンサ１０の画像信号の出力動作に同期して動作する。

画像メモリ３８は、画像データを一時的に記憶する。この画像メモリ３８は、複数フレーム分の画像データを記憶可能であり、Ａ／Ｄ変換器３７からの画像データを書き込みながら他のフレームの画像データに対するアクセスを可能にしてある。

バス４０には、画像メモリ３８の他、ＣＰＵ３１，線キズ判断部４１，線キズの補正を行う線キズ補正部４２，画像処理部４３，画像表示部４４，インタフェース回路４５を接続してあり、バス４０を介して各部の相互間でデータの授受を可能にしてある。

線キズ判断部４１は、調整モード下において、前述のように線キズとなる欠陥画素列を検出するとともに、動画モード及びスルー画出力時の間引きパターンを決定する。なお、線キズを特定する際には、水平走査回路１７は、全列パターンを用いて画像信号を出力する。欠陥画素の検出では、１フレーム分の各画像データを所定の閾値と比較して、その閾値以上である画素が同じ画素列中で所定個数以上連続する場合、その画素列を欠陥画素列とする。欠陥画素列の検出は、設定可能な撮影感度のそれぞれに対して行われる。これは、低い撮影感度で線キズと判断されなかった列も、同一の閾値の下でも、撮影感度を高くするとアンプ３６のゲインが高くされて線キズと判断されることがあるからである。

線キズ判断部４１は欠陥画素列に関する情報を線キズ情報として撮影感度ごとに補正メモリ４２ａに書き込む。線キズ情報としては、受光面１１上での欠陥画素列の位置，各欠陥画素列における線キズの信号レベルがある。また、線キズ判断部４１は、検出した線キズ情報に基づいて、動画モード及びスルー画出力時の間引きパターンを線キズが最も少なくなるように各撮影感度のそれぞれについて決定し、その結果を撮影感度ごとにＣＰＵ３１を介してパターンメモリ４６に書き込む。線キズ判断部４１は、偶数列の欠陥画素列と奇数列の欠陥画素列の個数を比較したときに、後者が前者以上の場合に、偶数列を選択する偶数列パターンとし、後者が前者よりも小さい場合に、奇数数列を選択する奇数列パターンとする。なお、欠陥画素列の個数が偶数列と奇数列とで同じ場合には、偶数列パターンとしているが奇数列パターンであってもよい。

この例では、パターンメモリ４６が読み出すべき画素列を示す第１の列情報を撮影感度のそれぞれについて記憶した第１の記憶手段となっており、偶数列または奇数列の一方が第１の列情報となる。また、補正メモリ４２が読み出すべき各画素列のうち線キズとなる画素列を示す第２の列情報を撮影感度のそれぞれについて記憶した第２の記憶手段である。全画素列を用いる静止画撮影の際に全ての欠陥画素列線のキズ情報を必要とするため、この例では補正メモリ４２に全ての欠陥画素列についての線キズ情報を記憶するが、間引きモードでは、その際に読み出すべき画素列中の欠陥画素列の各線キズ情報だけを撮影感度ごとに記憶していれば十分である。

ＣＰＵ３１は、撮影モード下でスルー画出力時及び動作モード時では、パターンメモリ４６にアクセスして設定された撮影感度に応じた間引きパターンを調べ、その間引きパターンに応じたパラメータをタイミングジェネレータ３３にセットする。これにより、スルー画出力及び動作モード下では、調整モードで決定された間引きパターンで水平走査を行う。

線キズ補正部４２は、補正メモリ４２ａの内容に基づき、欠陥画素列となる画像メモリ３８上の画像データに対してキズ補正を行う。このキズ補正は、例えば欠陥画素列の各画像データをその前後の画素列の画像データに基づいて作成した画像データにそれぞれ置換えることにより行う。これにより、線キズを修正した画像を得る。

画像処理部４３は、画像データに対してオフセット補正，ホワイトバランス補正，γ変換，同時化処理，輪郭強調処理，ノイズリダクション，彩度強調処理，圧縮処理等の画像処理を行う。画像表示部４４は、ＬＣＤ２５，それを駆動するドライバ，ＶＲＡＭ等から構成してある。撮影モード下では、画像処理部４３によってホワイトバランス補正，γ変換，同時化処理，輪郭強調処理，ノイズリダクション，彩度強調処理等が施された画像データが画像表示部４４に順次に入力されることにより、被写体像がスルー画としてＬＣＤ２５に表示される。また、再生モード下では、メモリカード４７から読み出した画像データが画像表示部４４に入力されることによって撮影済みの画像がＬＣＤ２５に表示される。

インタフェース回路４５は、メモリスロットに装着されたメモリカード４７のデータの読み出しと書き込みとを行う。デジタルカメラ２０で撮影された静止画及び動画の画像データは、画像処理部４３でオフセット補正，ホワイトバランス補正，γ変換，同時化処理，輪郭強調処理，ノイズリダクション，彩度強調処理の後にデータ圧縮されてから、インタフェース回路４５を介してメモリカード４７に書き込まれる。また、再生モード下においては、インタフェース回路４５は、メモリカード４７から画像データを読み出す。読み出した画像データは、画像処理部４３で伸長されたのちに画像表示部４４に送られ、ＬＣＤ２５に表示される。

次に上記構成の作用について説明する。デジタルカメラ２０で撮影を行う場合には、最初に調整モードを選択して、撮影感度に応じた間引きパターンの決定する調整シーケンスを予め実施しておく。この調整シーケンスは、撮影ごとに毎回行う必要はなく、製造後に最初に使用する場合や、経年変化等で線キズが撮影した画像に現れる場合等に行う。

操作部２６を操作して、調整モードを選択した後、例えばレリーズボタン２２を押圧操作すると、調整シーケンスが開始される。図５に示すように、最初にシャッタ装置３２が閉じ位置とされてイメージセンサ１０が遮光状態とされる。次にＣＰＵ３１によって、撮影感度ＩＳＯ１００に相当するゲインがアンプ３６にセットされる。さらに、イメージセンサ１０による一定時間の露光と、その露光後に全列パターンで水平走査を行うためのパラメータがタイミングジェネレータ３３にセットされる。

タイミングジェネレータ３３にセットされたパラメータに基づいて、イメージセンサ１０が駆動されることにより、遮光された状態でイメージセンサ１０による露光、すなわち各画素１２での信号電荷の蓄積が行われる。露光後、各画素１２に蓄積された信号電荷は、それぞれ対応する垂直転送路１４に転送されてから垂直転送路１４上を移動して電荷検出アンプ１５に順次に入力される。この垂直転送路１４上で信号電荷が１ライン分移動される毎に、水平走査回路１７は、タイミングジェネレータ３３からの水平タイミング信号を受けて、全ての電荷検出アンプ１５を順番に選択する。これにより、受光面１１の全ての画素列の信号電荷が読み出されて画像信号として出力される。

イメージセンサ１０からの画像信号は、クランプ回路３４，ＣＤＳ回路３５を経てアンプ３６に入力され、このアンプ３６で撮影感度ＩＳＯ１００に相当するゲインで増幅される。増幅された画像信号はＡ／Ｄ変換器３７で画素１２ごとの画像データに変換されて画像メモリ３８に書き込まれる。

上記のようにして１フレーム分の画像データが画像メモリ３８に書き込まれると、線キズ判断部４１による線キズ解析が行われ、画像メモリ３８から画像データを画素列ごとに順番に読み出して欠陥画素列であるか否かが判断される。この判断の際に、画素列ごとに読み出される各画像データを順次に所定の閾値と比較する。そして、この比較において、所定の閾値以上となる画像データが所定個数以上連続している場合には、その画素列を欠陥画素列と判断する。

１フレーム分の全ての画素列についての判断が完了すると、線キズ判断部４１は、奇数列と偶数列のそれぞれについての欠陥画素列の個数を計数する。そして、偶数列の欠陥画素列の個数と奇数列の欠陥画素列の個数とのを比較し、前者が後者よりも多い場合には、撮影感度ＩＳＯ１００に対する間引きパターンを奇数列パターンとし、後者が前者以上の場合には、撮影感度ＩＳＯ１００に対する間引きパターンを偶数列パターンとし、この決定した撮影感度と間引きパターンの対応関係をパターンメモリ４６に書き込む。また、欠陥画素列の位置と信号レベルとが撮影感度ＩＳＯ１００の線キズ情報として補正メモリ４２ａに書き込まれて登録される。

上記のようにして撮影感度ＩＳＯ１００に対する間引きパターン，線キズ情報の書き込みを行った後、ＣＰＵ３１によって撮影感度を１ステップ分アップし、撮影感度ＩＳＯ２００に相当するゲインをアンプ３６にセットする。この後に、撮影感度ＩＳＯ１００の場合と同じ手順により、撮影感度ＩＳＯ２００に対応する間引きパターンを決定してパターンメモリ４６に書き込み、撮影感度ＩＳＯ２００に対する線キズ情報を補正メモリ４２ａに書き込む。続いて、撮影感度ＩＳＯ４００についても同様に、それ対する間引きパターンと各線キズ情報とを登録する。このようにして調整シーケンスが行われる。

図６に各画素列の信号レベルと欠陥画素列の一例を示す。なお、図６中の一点鎖線は、各撮影感度の閾値を示している。また、各撮影感度に対して同じ閾値を用い、撮影感度に応じて画素列の信号レベルが変化するが、図６では各撮影感度で画素列の信号レベルを同じものとなるようにして描いてある。

図６に示すように、撮影感度ＩＳＯ１００の場合では、偶数列の１個の画素列が欠陥画素列と判断される。このため、奇数列パターンが間引きパターンとしてパターンメモリ４６に書き込まれる。また、撮影感度ＩＳＯ２００の場合では、３個の奇数列が、また２個の偶数列が欠陥画素列として検出されるので、偶数列パターンが間引きパターンとしてパターンメモリ４６に書き込まれる。さらに、撮影感度ＩＳＯ4００の場合では、５個の奇数列が、また８個の偶数列が欠陥画素列として検出されるから、奇数列パターンが間引きパターンとしてパターンメモリ４６に書き込まれる。

撮影を行う場合には、操作部２６を操作して撮影モードを選択し、撮影モード下で静止画モードまたは動画モードを選択する。さらに、操作部２６を操作して、撮影感度を設定する。この撮影感度に応じたゲインがアンプ３６にセットされる。

撮影モードとなると、スルー画出力のためのパラメータがＣＰＵ３１によってタイミングジェネレータ３３にセットされる。このときにＣＰＵ３１は、例えば１／３０秒のフレームレートで１フレーム分の画像信号の出力が可能となるようにするため、図７に示すように、設定された撮影感度に対応する間引きパターンをパターンメモリ４６にアクセスして調べ、その間引きパターンとなるようにする。また、垂直方向での画素混合が行われるようにパラメータをタイミングジェネレータ３３セットする。

スルー画出力のためのパラメータがセットされると、イメージセンサ１０は、１／３０秒の１フレーム期間中に被写体輝度に応じた１フレームの露光を行う。その１フレーム期間の終了後、例えば奇数ラインの各画素１２の信号電荷を垂直転送路１４に移動し、その信号電荷を垂直転送路上で１ライン分移動してから偶数ラインの信号電荷を垂直転送路１４に移動し、垂直方向に隣接した２画素の信号電荷を加算する。

露光は１／３０秒毎に繰り返し行われ、画素混合された各信号電荷を、次の１フレームの露光中に順次に電荷検出アンプ１５に向けて転送する動作が繰り返し行われる。そして、各電荷検出アンプ１５は、垂直転送路１４から信号電荷が入力にされると、その信号電荷を電圧に変換して出力する。そして、タイミングジェネレータ３３からの水平タイミング信号によって動作する水平走査回路１７により、奇数列または偶数列のいずれか一方の電荷検出アンプ１５が順次に選択される。
する。

例えば図６に示す例で欠陥画素列が判断され、撮影感度ＩＳＯ２００が設定された場合には、偶数列パターンによって水平走査を行うようにタイミグジェネレータ３３にパラメータがセットされる。したがって、水平走査回路１７は、偶数列の画素列に対応して設けた各電荷検出アンプ１５を順次に選択する。この各電荷検出アンプ１５の選択は、画素混合後のライン毎に行われる。これにより、水平走査回路１７からは、列及びラインが受光面１１のそれの１／２に間引きされた画像信号が出力される。しかも、その画像信号は、偶数列の画素列の信号電荷より生成されたものである。

上記のように出力されるイメージセンサ１０からの画像信号は、ＣＤＳ回路３５を介してアンプ３６に入力され、このアンプ３６により撮影感度ＩＳＯ２００に対応するゲインで増幅された後に、Ａ／Ｄ変換器３７で画像データに変換されて画像メモリ３８に書き込まれる。

線キズ補正部４２は、スルー画出力となった時点で、設定されている撮影感度に対応した線キズ情報を補正メモリ４２ａにアクセスして調べ、出力される各欠陥画素列の位置を特定する。そして、上記のように画像メモリ３８に画像データ書き込まれると、特定した欠陥画素列に対応する各画像データをその周囲の画像データに基づいて作成した画像データにそれぞれ置換えることにより、キズ補正する。

上記のようにして、キズ補正の後、画像データは画像処理部に送られて、γ補正やホワイトバランス補正などの処理を行ってから、画像表示部４４に送られる。そして、フレーム分の画像データが１／３０秒毎に画像表示部４４に入力されることによって、ＬＣＤ７にはキズ補正されたスルー画が表示される。

撮影感度の設定を変更すると、その撮影感度に応じたゲインがアンプ３６にセットされるとともに、その撮影感度に対応する間引きパターンがパターンメモリ４６から読み出され、その間引きパターンとするパラメータがタイミングジェネレータ３３にセットされて、スルー画出力のための動作が同様に行われる。また、新たに設定された撮影感度に対応した線キズ情報から各欠陥画素列の位置が特定されてキズ補正される。

動画モードを選択している場合に、レリーズボタン２２を押圧すると、スルー画出力と同じ手順でＡ／Ｄ変換器３７から得られる各フレームの画像データは、レリーズボタン２２が再度押圧されて動画撮影が停止されるまで、画像メモリ３８に次々と書き込まれる。そして、画像メモリ３８に書き込まれた動画の各フレームの画像データは、画像メモリ３８上で順次に線キズ補正部４２によってキズ補正される。このキズ補正についてもスルー画出力時と同様である。

レリーズボタン２２の再度の押圧により、動画撮影が停止されると、画像処理部４３によって画像メモリ３８上の画像データに対してγ補正やホワイトバランス補正等が行われ、さらにデータ圧縮が施される。そして、このデータ圧縮された動画の画像データがインタフェース回路４５に送られ、メモリカード４７に書き込まれる。

上記のようにスルー画出力及び動画モードで、いずれの撮影感度を設定した場合であっても読み出される欠陥画素列が最小となるように奇数列または偶数列の画素列が読み出されるので、キズ補正される画素列を少なくすることができ、表示または記録される画像の画質への影響を最小限にすることができる。

静止画モードを選択している場合では、レリーズボタン２２を押圧すると、静止画撮影のためのパラメータがタイミングジェネレータ３３にセットされる。そして、このときに全列パターンとするパラメータがタイミングジェネレータ３３にセットされる。

パラメータのセットの後、被写体輝度に応じた露光時間で各画素１２の信号電荷の蓄積が行われ、露光完了後に全信号電荷が同時に垂直転送路１４に転送され、さらに垂直転送路１４上を電荷検出アンプ１５に向けて転送され、各電荷検出アンプ１５から電圧が出力される。タイミングジェネレータ３３からの水平タイミング信号により水平走査回路１７は全列の電荷検出アンプ１５を順次に選択し、この各電荷検出アンプ１５の選択がライン毎に行われる。これにより、水平走査回路１７からは、全列及び全ラインの各信号電荷より生成され画像信号が出力される。

上記のように出力される１フレーム分の画像信号は、ＣＤＳ回路３５，アンプ３６を介してＡ／Ｄ変換器３７に入力され、画像データに変換された後に画像メモリ３８に書き込まれる。画像メモリ３８に書き込まれた画像データは、画像メモリ３８上でキズ補正部４２によってキズ補正される。このときには、キズ補正部４２は補正メモリ４２ａに書き込まれている撮影感度に対応する全キズ情報を用いてキズ補正を行う。

キズ補正の完了後、画像処理部４３によって画像メモリ３８上の画像データに対してγ補正やホワイトバランス補正等が行われ、さらにデータ圧縮が施される。そして、このデータ圧縮された静止画の画像データがインタフェース回路４５に送られ、メモリカード４７に書き込まれる。

次に水平転送路を備えたイメージセンサを用いた第２実施形態について説明する。なお、以下に説明する他は最初の実施形態と同様であり、同じ部材に同一の符号を付してその説明を省略する。

図８に示すように、イメージセンサ５０は、各垂直転送路１４に水平転送路５１が接続されており、水平転送路５１には垂直転送路１４から１ライン分ずつ信号電荷が転送される。水平転送路５１の端部には、電荷検出アンプ５２が接続されている。タイミングジェネレータ５４（図９参照）からの水平タイミング信号に基づいて水平駆動回路５３が各種水平駆動信号を水平転送路５１に与えることによって、信号電荷は電荷検出アンプ５２に送られて電圧に変換されて画像信号として出力される。

図９にデジタルカメラの構成を示す。タイミングジェネレータ５４は、イメージセンサ５０を駆動するために、垂直タイミング信号、水平タイミング信号を含む各種信号を出力する。タイミングジェネレータ５４は、動画モード及びスルー画出力時は、２画素混合によるライン数の間引きを行うが、画素列の間引きは行わずにイメージセンサ５０を駆動する。このように動画モード及びスルー画出力時は画素列の間引きを行わないので、例えばイメージセンサ５０フレームレートは１５フレーム／秒で駆動される。なお、このようなイメージセンサ５０，タイミングジェネレータ５４の構成及び信号電荷の転送は、これまでのＣＣＤ型のイメージセンサ，タイミングジェネレータと同じである。

パターンメモリ５５には、調整モード下において線キズ判断部４１によって、撮影感度ごとに決定された動画モード及びスルー画出力の際の間引きパターンが書き込まれる。補正メモリ４２ａに書き込まれている線キズ情報に基づいて、キズ補正の際に、線キズ補正部４２は、パターンメモリ５５の内容を参照して、設定されている撮影感度で読み出される欠陥画素列に対してだけキズ補正を行う。また、水平間引き処理部５６は、動画モード及びスルー画出力では、パターンメモリ５５の内容を参照して、設定されている撮影感度に対応する間引きパターンに応じた画像データを画像メモリ３８から読み出すことで、画素列の間引きを行う。すなわち、間引きパターンが偶数列パターンである場合には、画素列のうち偶数列の画像データだけを読み出し、奇数列パターンである場合には、画素列のうち奇数列の画像データだけを読み出す。

水平間引き処理部５６で読み出された画像データは、画像処理部４３に送られる。なお、静止画モードでは、キズ補正後の全画素列の画像データが水平間引き処理部５６によって読み出され、画像処理部４３に送られる。動画モード及びスルー画出力時に、水平間引き処理部５６の代わりに、画像処理部４３が設定されている撮影感度に応じた間引きパターンで画像メモリ３８上の画像データの読出しを行うように構成してもよい。

これによれば、例えばスルー画出力時では、イメージセンサ５０から全画素列の画像信号の出力が行われ、この画像信号を画像データの変換した後に、設定されている撮影感度に対応した間引きパターンで読み出される画素列のうちの欠陥画素列の画像データに対してだけキズ補正を行う。そして、キズ補正後に、その間引きパターンで画像データだけを読み出す。読み出した画像データは、スルー画出力時では、画像処理部４３を介して画像表示４４に送られてＣＤ２５に表示される。また、動画モードでは、インタフェース回路４５に送ってメモリカー４７に記録する。したがって、動画モード及びスルー画出力時のキズ補正は、欠陥画素列が少ない奇数列または偶数列の画素列に対して行うようにすることができるとともに、キズ補正された箇所が少ない動画を記録、あるいはスルー画を表示できる。

第２実施形態では、画像信号（電圧信号）を画像データに変換したのちに間引きを行っているが、以下に説明する第３実施形態のように画像信号の段階で間引きを行ってもよい。

ＣＤＳ回路を用いて画素列を間引く第３実施形態を図１２に示す。なお、以下に詳細を説明する他は最初の実施形態と同じであり、同じ構成部材には同一の符号を付してその説明を省略する。

イメージセンサ５０は、垂直転送路及び水平転送路を備えたものであって、その構成及び駆動は第２実施形態と同じである。ＣＰＵ３１は、スルー画出力時及び動作モード時では、パターンメモリ４６にアクセスして設定された撮影感度に応じた間引きパターンを調べ、その間引きパターンに応じたパラメータをタイミングジェネレータ６１にセットする。これにより、スルー画出力及び動作モード下でのタイミングジェネレータ６１によるサンプルホールドを制御する。具体的には、偶数列パターンの場合には、偶数列をサンプルホールドし、奇数列パターンの場合には、奇数列をサンプルホールドした画像信号を出力するようにＣＤＳ回路３５を駆動するＳＨＰ信号（プリセットレベル用サンプルホールドパルス）と、ＳＨＤ信号（データレベル用サンプルホールドパルス）をタイミングジェネレータ６１が出力するパラメータをセットする。

図１１に示すように、各ラインの画像信号がイメージセンサ５０から出力される際には、奇数列の画素の信号成分と偶数列の画素の信号成分とが交互に出力される。タイミングジェネレータ６１は、１画素分の信号成分が出力されている期間のうちフィールドスルー成分が出力されている０レベル期間Ｔ１にＳＨＰ信号を、画素の信号電荷に応じた画素信号成分が出力されている画素信号期間Ｔ２にＳＨＤ信号をＣＤＳ回路３５に出力することで、画素信号成分とフィールドスルー成分との差を画像信号として出力させる。

全列パターンでは、図１３（ａ）に示すように、タイミングジェネレータ６１は、奇数列、偶数列を問わず各画素１２についてＳＨＰ信号とＳＨＤ信号を出力する。これにより、奇数列と偶数列の各画素１２の画像信号が出力される。また、奇数列パターンでは、図１３（ｂ）に示すように、ＣＤＳ回路３５には奇数列の画素の信号が出力されているときにＳＨＰ信号とＳＨＤ信号を出力するので、偶数列が間引きされて奇数列だけの各画素１２の画像信号が出力される。同様に、偶数列パターンでは、図１３（ｃ）に示すように、ＣＤＳ回路３５には、偶数列の画素の信号が出力されているときにＳＨＰ信号とＳＨＤ信号を出力するので、奇数列が間引きされて偶数列だけの各画素１２の画像信号が出力される。

上記各実施形態では、デジタルカメラに調整モードを設け、画素列の間引きパターンをデジタルカメラで決定しそれ自体に登録しているが、外部の検査装置等にデジタルカメラやイメージセンサを接続して線キズの解析を行い、画素列の間引きパターンをデジタルカメラに登録するようにしてもよい。線キズを検出する際に、シャッタ装置を閉じ位置としているが、遮光状態とできるのならば、必ずしもシャッタ装置を用いる必要はなく、例えば製造時であれば暗室内で調整シーケンスを行ってもよい。また、シャッタ装置を閉じる代わりに、イメージセンサに設けられたオプティカルブラック部分の画素の画像信号を用いて検出してもよい。

また、上記各実施形態では、奇数列または偶数列のいずれかの画素列を間引きしているため、奇数列パターン，偶数列パターンのいずれかを選択するようにしているが、本発明は、間引きパターンをそれらに限定するものではない。例えば、画素列数を１／３に間引きする場合では、ｎ＝０，１，２・・・として、第３ｎ＋１（１，４，７・・・）列を読み出す出力パターン，第３ｎ＋２（２，５，８・・・）列を読み出す出力パターン、第３ｎ＋３（３，６，９・・・）列を読み出す出力パターンのうちから線キズが最も少なくすることができる間引きパターンを選択するようにすることができる。同様に、画素列数を１／ｍに間引きする場合では、第３ｎ＋１列を読み出す間引きパターン，第３ｎ＋２列を読み出す間引きパターン、第３ｎ＋３列を読み出す間引きパターン・・・・、第３ｎ＋ｍ列を読み出す間引きパターンのうちから線キズが最も少なくすることができる間引きパターンを選択すればよい。

上記のようにｍ列ごとに１列を読み出すような出力パターンの他にも、例えば連続する７列のうちから３列分を読み出すように画素列を間引くような場合であっても、連続する７列のうちから読み出すべき３列分の位置を変えた各パターンから線キズが最も少なくすることができる間引きパターンを選択するようにすることもできる。

上記各実施形態では、イメージセンサが画素とは別に垂直転送路を有するものであるが、垂直転送路（垂直転送ＣＣＤ）が受光部を兼ねる例えばフルフレームＣＣＤやフレーム転送ＣＣＤ等を用いることもできる。

また、上記各実施形態では、垂直転送路に起因した線状のキズのうちの白い線状のキズの検出と補正を行う例について説明したが、垂直転送路の転送効率に起因した線状の濃度ムラの検出及び補正を行うこともできる。この場合には、イメージセンサで明るさ色が均一な例えば青バックを撮影して、所定の閾値以下となるが素列を検出する。そして、例えば所定の閾値以下となる画素列が少なくなる間引きパターンを選択するようにすればよい。なお、垂直転送路の転送効率に起因した線状の濃度ムラの場合には、濃度ムラの発生数、各濃度ムラのレベル，発生位置、濃度ムラの長さなどを総合的に評価した濃度ムラの特徴量を間引きパターンごとに比較して、間引きパターンを決定してもよい。

本発明を実施したデジタルカメラに用いたイメージセンサを示す説明図である。デジタルカメラを示す正面図である。デジタルカメラを示す背面図である。デジタルカメラの構成を示すブロック図である。調整モードの処理手順を示すフローチャートである画素列と信号レベルの一例を示すグラフである。スルー画出力及び動画モード時における処理を示すフローチャートである。水平転送路を有するイメージセンサを用いた例におけるイメージセンサを示す説明図である。図８のイメージセンサを用いた例のデジタルカメラの構成を示すブロック図である。ＣＤＳ回路により間引きを行う例のデジタルカメラの構成を示すブロック図である。ＣＤＳ回路によるサンプルホールドするタイミングを示すタイミングチャートである。

符号の説明

１０，５０イメージセンサ
１２画素
１４垂直転送路
１５，５２電荷検出アンプ
１７水平走査回路
２０デジタルカメラ
３３，５４，６１タイミングジェネレータ
３５ＣＤＳ回路
４１線キズ判断部
４２線キズ補正部
４２ａ補正メモリ
４６パターンメモリ
５１水平転送路
５６水平間引き処理部

Claims

水平方向及び垂直方向に並べられた多数の画素と、垂直方向に並んだ複数の前記画素からなる画素列のそれぞれに設けられ、対応する画素列の信号電荷を垂直方向に移動する垂直転送路と、これら垂直転送路ごとに設けられ、垂直転送路から出力される信号電荷を電圧信号に変換する複数の電荷検出手段とを有するイメージセンサを備え、画素列を間引いて出力する間引きモードを有するデジタルカメラにおいて、
撮影感度を設定する感度設定手段と、垂直方向に伸びた線状のキズが最も少なくなるように予め決られた読み出すべき画素列を示す第１の列情報を撮影感度のそれぞれについて記憶した第１の記憶手段と、少なくとも第１の列情報に示される読み出すべき各画素列のうち前記キズとなる画素列を示す第２の列情報を撮影感度のそれぞれについて記憶した第２の記憶手段と、間引きモードの際に、前記感度設定手段によって設定された撮影感度に対応した第１の列情報に示される各画素列の電荷検出手段を順次に選択し、選択した電荷検出手段からの電圧信号を出力する水平走査手段と、間引きモードの際に、前記感度設定手段によって設定された撮影感度に対応した第２の列情報に示される各画素列の電圧信号に対して前記キズの補正を行う補正手段とを備えたことを特徴とするデジタルカメラ。
水平方向及び垂直方向に並べられた多数の画素と、垂直方向に並んだ複数の前記画素からなる画素列のそれぞれに設けられ、対応する画素の信号電荷を垂直方向に移動する垂直転送路と、各垂直転送路からの信号電荷を受け、各信号電荷を水平方向に移動させる水平転送路と、水平転送路から出力される信号電荷を電圧信号に変換する電荷検出手段とを有するイメージセンサを備え、画素列を間引いて出力する間引きモードを有するデジタルカメラにおいて、
撮影感度を設定する感度設定手段と、垂直方向に伸びた線状のキズが最も少なくなるように予め決られた読み出すべき画素列を示す第１の列情報を撮影感度のそれぞれについて記憶した第１の記憶手段と、少なくとも第１の列情報に示される読み出すべき各画素列のうち前記キズとなる画素列を示す第２の列情報を撮影感度のそれぞれについて記憶した第２の記憶手段と、間引きモードの際に、前記感度設定手段によって設定された撮影感度に対応した第１の列情報に示される各画素列の電圧信号だけを取り出す間引き手段と、間引きモードの際に、前記感度設定手段によって設定された撮影感度に対応した第２の列情報に示される各画素列の電圧信号に対して前記キズの補正を行う補正手段とを備えたことを特徴とするデジタルカメラ。
前記間引き手段は、画素のリセットレベルと信号レベルとの差分をとることによりノイズ除去を行う相関二重サンプリング回路であり、相関二重サンプリング回路は、出力すべき画素列の画素についてのリセットレベルと信号レベルとの差分をとって出力することを特徴とする請求項２記載のデジタルカメラ。
前記イメージセンサから出力される全画素列分の電圧信号を画素ごとにデジタル変換した画像データを記憶する画像メモリを備え、前記補正手段は、画像メモリ上の第２の列情報に示される各画素列の画像データに対して前記キズの補正を行い、前記間引き手段は、第１の列情報に示される各画素列の画像データだけを画像メモリから取り出すことを特徴とする請求項２記載のデジタルカメラ。
前記イメージセンサから出力される全画素列分の電圧信号に基づいて、前記キズとなる画素列を検出し、間引きモード時に前記キズが最も少なくなるように予め読み出すべき画素列を示す第１の列情報を撮影感度のそれぞれについて決定して第１の記憶手段に記憶し、少なくとも第１の列情報に示される読み出すべき各画素列のうち前記キズとなる画素列を示す第２の列情報を撮影感度のそれぞれについて決定して第２の記憶手段に記憶する決定手段を備えたことを特徴とする請求項１ないし４のいずれか１項に記載のデジタルカメラ。