JP2006074440A - 撮像装置 - Google Patents

Abstract

【課題】低照度時の動画撮影における画質向上とその画像データの取り扱いの簡略化を目的とする。
【解決手段】 光電変換手段を設け所定のパターンで配列された複数の画素を備えた撮像素子と、この撮像素子を制御する制御手段と、前記撮像素子が出力する信号電荷が入力される画像処理手段とを備え、前記制御手段は、動画像の撮影時において、前記撮像素子の同一水平ラインの画素の信号電荷を所定の周期ごとに繰り返し読み出し、前記画像処理手段に出力する第１の間引き読み出しモードと、前記撮像素子の異なる水平ラインの画素の信号電荷を所定の周期ごとにそれぞれ繰り返し読み出し、前記画像処理手段に出力する第２の間引き読み出しモードとを切り替え可能としたことを特徴とする撮像装置。
【選択図】 図１

Description

本発明は、静止画像や動画像を撮像する撮像装置に関する。

近年、数百万を超える画素を持つ撮像素子がデジタルスチルカメラなどの撮像装置に多く用いられている。このような多画素撮像素子は高精細な静止画像を撮影する上では非常に有用である。一方、多画素撮像素子で動画像を撮影する場合は、処理時間の問題から間引き処理を行うのが一般的である。通常は撮像素子から信号電荷を出力する際に、垂直方向、すなわち水平ラインを一定の割合で間引いて読み出す、いわゆる間引き読み出し駆動が行われる。

多くの撮像装置は撮影された動画像をＴＶモニターに出力することも考慮されており、ＮＴＳＣ方式の場合、撮像素子の信号電荷出力周期すなわちフレームレートが１／３０秒であるのが望ましい。フレームレートが１／３０秒の場合は撮像素子の露光時間は１／３０秒で頭打ちとなり、被写体が暗い場合は露光量不足のため適正な明るさの動画像が得られないといった問題が発生する。

限られた露光時間で適正な明るさの動画像を得るための手段として、例えば、絞りを開ける（大口径の明るいレンズを使う）、信号処理回路の増幅率を上げる、といったことが考えられる。大口径の明るいレンズを使うことは、装置の大型化や高価格化の要因となり、民生向けの製品にとっては必ずしも有効な手段とは言えない。また信号処理回路の増幅率を上げることは、同時にノイズをも増長させることになり、画質劣化を招いてしまう。また別の手段として、フレームレートを２倍ずつ、あるいは連続的な値で変更する手法が示されている（特許文献１参照）。この手法によればフレームレートに応じて撮像素子の最大露光時間が長くなり、被写体が暗い場合でも適正な明るさの動画像を得ることが出来る。
特開２０００−１５６８３３号公報

特許文献１に示される手法では、撮像素子を駆動する周期（フレームレート）と表示手段（ＬＣＤやＴＶモニター）の表示画像が更新される周期（間隔）は連動しており、被写体が暗い場合にはフレームレートを遅くして露光時間を長くすることが出来るが、一方で表示画像の更新間隔もフレームレートに応じて長くなってしまい、コマ送りのような不自然な動画となってしまう。特に撮影された動画像をＴＶモニターに出力する場合はやはりそれに適したフレームレートであることが望ましい。

またフレームレートを連続的な値で変更する手法は、一定周期で画像データが送られてくることを前提としているシステム（例えばＴＶモニタ表示や、ＰＣで再生出来る動画像など）とは互換性に乏しく、画像データの取り扱いが難しくなってしまう。例えば、撮影された動画像を記録媒体に記録する場合は、動画像を構成する各静止画像をそれぞれどういうタイミング（時間間隔）で再生させなければならないかという情報を同時に記録する必要がある。

本発明はこのような事情に鑑みてなされたもので、被写体が暗い場合であっても適正な明るさの動画像を得ることが出来ると同時に、より簡便な方法での動画像表示および記録を可能とする撮像装置を提供することを目的とする。

請求項１記載の撮像装置は、光電変換手段を設け所定のパターンで配列された複数の画素を備えた撮像素子と、この撮像素子を制御する制御手段と、前記撮像素子が出力する信号電荷が入力される画像処理手段とを備え、前記制御手段は、動画の撮影時において、前記撮像素子の同一水平ラインの画素の信号電荷を所定の周期ごとに繰り返し読み出し、前記画像処理手段に出力する第１の間引き読み出しモードと、前記撮像素子の異なる水平ラインの画素の信号電荷を所定の周期ごとにそれぞれ繰り返し読み出し、前記画像処理手段に出力する第２の間引き読み出しモードとを切り替え可能としたことを特徴としている。

請求項２記載の撮像装置は、前記第２の間引き読み出しモードが選択された場合には、電荷蓄積時間を制御するための電荷掃き捨て動作を禁止することを特徴としている。

請求項３記載の撮像装置は、前記画像処理手段は、信号増幅手段を備え、前記第２の間引き読み出しモードが選択された場合には、被写体の明るさの変化に応じて信号増幅手段の増幅率を変化させることを特徴としている。

請求項４記載の撮像装置は、前記画像処理手段は、垂直方向に信号を補間演算する手段を備え、前記第２の間引き読み出しモードが選択された場合には、異なる水平ラインの画素の信号電荷を読み出すことにより発生する垂直方向のずれを補間演算により補正することを特徴としている。

本発明によれば、撮像素子の信号電荷出力周期を変更することなく撮像素子の最大露光時間を長くすることが出来るので、被写体が暗い場合であっても適正な明るさの動画像を得ることが出来ると同時に、より簡便な方法での動画像表示および記録を可能とする撮像装置を提供することが可能となる。

以下、図面を参照して本発明の実施例を説明する。

図１は、本発明の撮像装置の一実施例を示す構成ブロック図である。同図を参照して被写体撮影時の動作について説明する。本発明の撮像装置は、レンズユニット１０、撮像素子としてのＣＣＤ１１、ＣＣＤ１１からの出力信号が入力されるアナログ信号処理回路１２、ＣＣＤ１１の駆動およびアナログ信号処理回路１２で必要となるタイミングを供給するためのタイミング発生回路１３、Ａ／Ｄ変換器１４、画像メモリを含み各種信号処理を行うデジタル信号処理回路１５、デジタル信号処理回路１５で処理された画像データを記録するための記録媒体１６、デジタル信号処理回路１５で処理された画像データを表示するための表示装置１７、それぞれの回路あるいはユニットの制御を司るＣＰＵ１８とからなる。

被写体の明るさに応じて、ＣＰＵ１８はレンズユニット１０の絞りを制御することによりＣＣＤ１１に入射する被写体光量を調整し、さらにタイミング発生回路１３を介してＣＣＤ１１の電荷蓄積時間を変化させ露光量を制御する。ＣＣＤ１１は受像面に結像された被写体像をその光量に応じた量の信号電荷に変換し蓄積する。蓄積された信号電荷はタイミング発生回路１３から入力される転送パルスによって転送され、出力回路で信号電圧に変換された後、順次読み出されアナログ信号処理回路１２へ出力される。アナログ信号処理回路１２は主にＣＤＳ（相関二重サンプリング）回路とゲインコントロールアンプから成り、ノイズ除去や映像信号の増幅などを行う。アナログ信号処理回路１２の出力はＡ／Ｄ変換器１４へ入力され、デジタル信号に変換される。デジタル信号処理回路１５では目的に応じて必要な信号処理が施される。画像を記録する場合にはデジタル信号処理回路１５で必要な処理を行った後、記録媒体１６へと出力され、画像データが記録される。画像を表示する場合にはデジタル信号処理回路１５で必要な処理を行った後、表示装置１７へと信号が出力される。表示装置１７は撮像装置本体に装着された液晶モニター（ＬＣＤ）や、あるいはＴＶモニターへ出力するための信号出力端子のことである。ＣＰＵ１８はレンズユニット１０、アナログ信号処理回路１２、タイミング発生回路１３、デジタル信号処理回路１５、表示装置１７に対して必要な制御を行う。

図２は、本発明の撮像装置のＣＣＤ内部構造を示す図である。同図を参照して動画像撮影における低照度時のＣＣＤ駆動方法について説明する。図２に示すＣＣＤは、全画素（１フレーム）を３フィールドで読み出す構造となっている。すなわち、全画素の信号電荷を独立に読み出すために垂直転送路２１は６電極構成となっている。

まず静止画像を撮影する時の駆動方法を簡単に説明する。第１フィールドではＶ１電極で読み出された信号電荷が順次出力され、第２フィールドではＶ３電極で読み出された信号電荷が、さらに第３フィールドではＶ５電極で読み出された信号電荷が順次出力される。３フィールドかけて読み出された全画素の画像データは、アナログ信号処理回路１２やデジタル信号処理回路１５で必要な処理を施された後に記録媒体１６に記録される。

次に動画像撮影時の駆動方法について説明する。ここでは少なくとも１メガピクセルを超える高解像度のＣＣＤを想定しているので、処理速度も重要視される動画像撮影においては、通常はＣＣＤ全画素のデータを読み出すことはせず一定の間隔でＣＣＤの水平ラインを間引いて読み出すいわゆる間引き駆動でＣＣＤを駆動する。

図３は本発明の撮像装置の第１の間引き読み出しモードを示す説明図である。第１の間引き読み出しモードでは１／３間引き駆動を行い、１／３０秒周期（秒３０フレーム）で駆動されている。ＶＳＧ１は読み出しパルスであり、タイミング発生回路１３の内部でいわゆる転送パルスに重畳され、Ｖ１パルスとしてタイミング発生回路１３から出力される。ＶＳＧ３とＶ３、ＶＳＧ５とＶ５の関係も同様である。図３では便宜上、本来見ることの出来ない読み出しパルスとＣＣＤ出力との関係を示している。タイミング発生回路１３内部で発生する読み出しパルスはＶＳＧ１のみであり、Ｖ１電極で読み出される３ラインおきの画像データ（ＣＣＤ出力：Ａ）が１／３０秒周期でＣＣＤより出力される。この画像データを用いて動画像が生成される。この時、ＣＣＤの露光時間は最大で１／３０秒となる。

図４および図５は本発明の撮像装置の第２の間引き読み出しモードを示す説明図である。

被写体が暗く、露光時間が１／３０秒に達しても適正な明るさの動画像が得られない場合には、タイミング発生回路１３内部で発生する読み出しパルスをＶＳＧ１とＶＳＧ３に変更する。この時の読み出しパルスとＣＣＤ出力の関係を図４に示す。Ｖ１電極で電荷が読み出された後、再びその画素では電荷蓄積が始まる。１／３０秒後にはＶＳＧ１は出力されないのでさらに電荷蓄積が継続される。代わりにＶＳＧ３が出力されるので１ライン隣のＶ３電極で読み出された信号電荷が画像データとして出力される（ＣＣＤ出力：Ｂ）。それから１／３０秒後には、ＶＳＧ１が出力されるのでＶ１電極で読み出される画像データ（ＣＣＤ出力：Ａ）がＣＣＤから出力される。Ｖ１電極で読み出される画素は１／１５秒間電荷蓄積を続けたことになり、１／３０秒しか電荷蓄積出来なかった時に比べて２倍の信号電圧がＣＣＤから出力されることになる。さらに１／３０秒後にはＶＳＧ３が出力され、１／１５秒間蓄積された信号電荷がＶ３電極で読み出され画像データとして出力される（ＣＣＤ出力：Ｂ）。以降同様にＣＣＤ出力ＡとＢが交互に１／３０秒周期で出力される。以上のような駆動方法によれば、ＣＣＤの露光時間を長くすることが出来るので、より明るい動画像を得ることが出来ると同時に、ＣＣＤからの出力信号の周期は１／３０秒のまま変化しないので後段の信号処理回路で新たな制御を必要とすることもない。

被写体が非常に暗く、露光時間が１／１５秒でも適正な明るさの動画像が得られない場合には、タイミング発生回路１３内部で発生する読み出しパルスをさらにＶＳＧ１とＶＳＧ３とＶＳＧ５に変更する。この時の読み出しパルスとＣＣＤ出力の関係を図５に示す。Ｖ１電極で電荷が読み出された後、再びその画素では電荷蓄積が始まる。１／３０秒後にはＶＳＧ１は出力されないのでさらに電荷蓄積が継続される。代わりにＶＳＧ３が出力されるので１ライン隣のＶ３電極で読み出された信号電荷が画像データとして出力される（ＣＣＤ出力：Ｂ）。それから１／３０秒後には、ＶＳＧ５が出力されるのでさらに１ライン隣のＶ５電極で読み出された信号電荷が画像データとして出力される（ＣＣＤ出力：Ｃ）。この時ＶＳＧ１およびＶＳＧ３は出力されないので、Ｖ１およびＶ３で読み出される画素では電荷蓄積が継続される。さらに１／３０秒後にはＶ１電極で読み出される画像データ（ＣＣＤ出力：Ａ）がＣＣＤから出力される。Ｖ１電極で読み出される画素は１／１０秒間電荷蓄積を続けたことになり、１／３０秒しか電荷蓄積出来なかった時に比べて３倍の信号電圧がＣＣＤから出力されることになる。以降同様にＣＣＤ出力Ａ、ＢおよびＣが交互に１／３０秒周期で出力される。ＣＣＤの露光時間をさらに長くすることが出来るので、さらに明るい動画像を得ることが出来る。もちろん、信号処理回路で新たな制御を必要とすることもない。

なお、図４および図５のように第２の間引き読み出しモードでＣＣＤを駆動する場合にはＣＣＤの電荷掃き捨て動作（電子シャッター動作）を禁止することが必要である。通常、電荷掃き捨て動作はＣＣＤの全画素共通で同じタイミングで行われる。本発明のＣＣＤ駆動方式では、蓄積電荷を垂直転送路へ読み出すタイミングが水平ラインによって異なるため、電荷掃き捨て動作を行うと水平ラインごとに電荷蓄積時間に差が発生することになる。

図６は第２の間引き読み出しモードにおける回路ゲイン制御方法を示す説明図である。適正な明るさの出力画像を得るために、一般には被写体の明るさに応じて絞りや露光時間を制御することにより露光量を調節する。本発明においても、第１の間引き読み出しモードでＣＣＤを駆動する場合には電子シャッターにより電荷蓄積時間を数百マイクロ秒程度あるいはそれ以下の細かい間隔で調節することが出来る。一方、第２の間引き読み出しモードでＣＣＤを駆動する場合には前述のように電子シャッター動作を禁止するため、ＣＣＤの電荷蓄積時間が１／３０秒に達した後は１／１５秒、１／１０秒と不連続な値をとることになり、細かい露光量の調節が出来ない。

そこで本発明においては、第２の間引き読み出しモードでＣＣＤを駆動する場合には被写体の明るさの変化に応じて回路ゲインを調節する。図６に示すように、被写体の明るさがＬ１より大きい場合は、第１の間引き読み出しモードでＣＣＤを駆動する。第１の間引き読み出しモードでは、被写体の明るさの変化に応じて電子シャッターによりＣＣＤの電荷蓄積時間を調節する。これにより、被写体の明るさによらず適正な明るさの出力画像を得ることが出来る。被写体の明るさがＬ１より小さい場合は、第２の間引き読み出しモードでＣＣＤを駆動する。被写体の明るさがＬ１より小さくＬ２より大きい範囲では、図４に示したようにＣＣＤが駆動され、ＣＣＤの電荷蓄積時間は１／１５秒で固定となるため、代わりに回路ゲインを調節する。これにより、被写体の明るさによらず適正な明るさの出力画像を得ることが出来る。被写体の明るさがＬ２より小さい範囲では、図５に示したようにＣＣＤが駆動され、ＣＣＤの電荷蓄積時間は１／１０秒で固定となるため、代わりに回路ゲインを調節する。これにより、被写体の明るさによらず適正な明るさの出力画像を得ることが出来る。

図７は第２の間引き読み出しモードにおける補間演算方法を示す説明図である。第２の間引き読み出しモードでは異なる水平ラインの画素の信号電荷を読み出すので、厳密に言うと各フィールドで垂直方向にずれが発生する。

図７において、［Ｉ］は全画素読み出し時のＣＣＤ出力を１水平ラインごとに順番に並べたものである。第１の間引き読み出しモードでは［IIａ］のように・・・、３ｎ、３（ｎ＋１）、・・・の水平ラインの映像信号がＣＣＤから出力される。［III］は記録装置や表示装置などの出力系に出力する画像データを模式的に表したものである。ここでは説明を簡単にするため、間引き読み出しされたＣＣＤ出力の水平ライン数と、出力する画像データの水平ライン数が同じであるとする。第１の間引き読み出しモードでは、［IIａ］に示す３ｎ、３（ｎ＋１）番目の水平ラインの映像信号がそのまま［III］に示すＮ、Ｎ＋１番目の水平ラインの出力信号として用いられる。常に３ｎ、３（ｎ＋１）番目の水平ラインの映像信号が出力され続けるので、垂直方向のずれは発生しない。

第２の間引き読み出しモードの一例として図４に示す駆動方法でＣＣＤが駆動された場合には、［IIａ］および［IIｂ］のように・・・、３ｎ、３（ｎ＋１）、・・・の水平ラインの映像信号と、・・・、３ｎ＋１、３（ｎ＋１）＋１、・・・の水平ラインの映像信号とが交互にＣＣＤから出力される。［IIａ］に示す３ｎ、３（ｎ＋１）番目の水平ラインの映像信号と［IIｂ］に示す３ｎ＋１、３（ｎ＋１）＋１番目の水平ラインの映像信号とが、特別な処理を施すことなくそれぞれ［III］に示すＮ、Ｎ＋１番目の水平ラインの出力信号として用いられる場合、ＣＣＤの異なる水平ラインの出力を出力系では同じ水平ラインの画像データとして取り扱うので、垂直方向のちらつき（がたつき）として認識されることが考えられる。

そこで本発明では、［IIｂ］に示す３ｎ＋１、３（ｎ＋１）＋１番目の水平ラインの映像信号に、空間的な重み付けをつけて補間演算することによって垂直方向のちらつきを抑えている。具体的には図７に示すように、Ｎ＝［３（ｎ−１）＋１］×１／３＋［３ｎ＋１］×２／３、Ｎ＋１＝［３ｎ＋１］×１／３＋［３（ｎ＋１）＋１］×２／３のように補間演算を行い、Ｎ、Ｎ＋１番目の水平ラインの出力信号とする。

以上に説明したとおり、本発明によれば、撮像素子の信号電荷出力周期を変更することなく撮像素子の最大露光時間を長くすることが出来るので、被写体が暗い場合であっても適正な明るさの動画像を得ることが出来ると同時に、より簡便な方法での動画像表示および記録を可能とする撮像装置を提供することが可能となる。

なお、以上の説明は全画素（１フレーム）を３フィールドで読み出すＣＣＤを例に説明したが、読み出しに要するフィールド数を３に限定する必要はない。例えば全画素をフィールドに分割することなく順次読み出すプログレッシブＣＣＤを用いても、垂直転送路の電極構造を工夫すれば実施例に説明したような第２の間引き読み出しモードが可能となる。

また、間引き読み出しの水平ライン間隔を３ラインおきに限定する必要もない。例えば４ラインおきの間引き駆動であれば、撮像素子の最大露光時間を１／３０、１／１５、１／１０、１／７．５のように４段階で変えることも出来る。

本発明の撮像装置の一実施例を示す構成ブロック図である。 本発明の撮像装置のＣＣＤ内部構造を示す図である。 本発明の撮像装置の第１の間引き読み出しモードを示す説明図である。 本発明の撮像装置の第２の間引き読み出しモード（その１）を示す説明図である。 本発明の撮像装置の第２の間引き読み出しモード（その２）を示す説明図である。 本発明の撮像装置の第２の間引き読み出しモードにおける回路ゲイン制御方法を示す説明図である。 本発明の撮像装置の第２の間引き読み出しモードにおける補間演算方法を示す説明図である。

符号の説明

１０ レンズユニット
１１ ＣＣＤ
１２ アナログ信号処理回路
１３ タイミング発生回路
１４ Ａ／Ｄ変換器
１５ デジタル信号処理回路
１６ 記録媒体
１７ 表示装置
１８ ＣＰＵ
２０ フォトダイオード
２１ 垂直転送路
２２ 水平転送路
２３ 出力回路

Claims (4)

1. 光電変換手段を設け所定のパターンで配列された複数の画素を備えた撮像素子と、
   この撮像素子を制御する制御手段と、
   前記撮像素子が出力する信号電荷が入力される画像処理手段とを備え、
   前記制御手段は、動画像の撮影時において、
   前記撮像素子の同一水平ラインの画素の信号電荷を所定の周期ごとに繰り返し読み出し、前記画像処理手段に出力する第１の間引き読み出しモードと、
   前記撮像素子の異なる水平ラインの画素の信号電荷を所定の周期ごとにそれぞれ繰り返し読み出し、前記画像処理手段に出力する第２の間引き読み出しモードとを切り替え可能としたことを特徴とする撮像装置。
2. 前記第２の間引き読み出しモードが選択された場合には、前記撮像素子の電荷蓄積時間を制御するための電荷掃き捨て動作を禁止することを特徴とする請求項１記載の撮像装置。
3. 前記画像処理手段は、信号増幅手段を備え、
   前記第２の間引き読み出しモードが選択された場合には、被写体の明るさの変化に応じて信号増幅手段の増幅率を変化させることを特徴とする請求項１記載の撮像装置。
4. 前記画像処理手段は、垂直方向に信号を補間演算する手段を備え、
   前記第２の間引き読み出しモードが選択された場合には、異なる水平ラインの画素の信号電荷を読み出すことにより発生する垂直方向のずれを補間演算により補正することを特徴とする請求項１記載の撮像装置。

Images