JP2006279184A - 撮像装置 - Google Patents

Abstract

【課題】 特殊な機構装置を用いることなく手ぶれ補正を実施することにより、小型かつ低コストな撮像装置を提供するものである。
【解決手段】 電荷蓄積期間制御手段により電荷蓄積期間を分割したときのｎ番目の電荷蓄積期間において前記光電変換素子が光電変換した第ｎの電荷を前記トランスファーゲート部から前記垂直転送部へ読み出すとともに、続く（ｎ＋１）番目の電荷蓄積期間期間において前記光電変換素子が光電変換を行い第（ｎ＋１）の電荷を蓄積している間に前記第ｎの電荷を手ぶれ補正量制御手段で決定した手ぶれ量だけ垂直転送部内で移動させる垂直転送部内電荷移動手段を有し、第（ｎ＋１）の電荷の蓄積が終了後に該第（ｎ+１）の電荷を前記第ｎの電荷に前記垂直転送部内で加算するという動作を最終電荷蓄積期間まで繰り返すことにより手ぶれを補正する。
【選択図】 図１

Description

本発明はＣＣＤイメージセンサなどの固体撮像素子を用いた撮像装置に関するものであり、静止画における手ぶれ補正機能を有する静止画撮像装置に関する。

被写体を撮像しようとするとき、被写体が静止していても、撮影者がシャッタボタンを押す際に撮像装置を動かしてしまうことで撮像画像がぶれてしまうことは良く知られた現象であり、これは一般に「手ぶれ」と表現される。「手ぶれ」の再現頻度は被写体が撮像される環境の照度が低く、シャッタスピードが遅くなる（電荷蓄積時間が長くなる）ほど高くなる。

この「手ぶれ」による撮像画像に対し、機構的に、あるいは画像処理により補正を加え、「手ぶれ」による画像の劣化を減少させ、撮像画像の品質を向上しようとする技術が広く検討されている。例えば、角速度や角加速度を検出するセンサを用いて撮像装置の変位（角度）を検出し、この変位を打ち消す方向に、光学レンズ、や固体撮像素子自体を移動させることにより「手ぶれ」を補正する技術がある。

従来の撮像装置においては、角速度センサによる手ぶれ検出手段を設け、手ぶれ検出結果ならびに補正光学系の位置検出結果に応じて、像のぶれを低減または消滅させる方向に前記補正光学系を駆動制御する手段を設けた像ぶれ補正装置を備えていた。（例えば、特許文献１）

従来の別の撮像装置では、画像処理による手ぶれ補正処理を行っている。電荷蓄積時間を制御して複数回の連続した露光を与え、得られた複数の撮像画像を加算してひとつの画像を生成し、加算に際しては各露光において得られる画像間で相対的な動き補償を行い、画像間の被写体ずれを補正した後に行う画像処理手段を備えていた。（例えば、特許文献２）

また、同じ画像処理による手ぶれ補正処理手段を有する撮像装置であるが、手ぶれによって発生した連続するフィールド間画像の動きベクトルをもとに動き予測ならびに動き検出を行い、画像の切り出し位置を変えることで手ぶれの補正を行なっていた。（例えば、非特許文献１）

特開平７−９８４６６号公報 （第１−８頁、第１図） 特開２００１−８６３９８号公報 （第１−９頁、第１図） 日下博也、岸靖典、"高解像度純電子手振れ補正システム"、映像情報メディア学会誌、２００２年、Ｖｏｌ．５６、Ｎｏ．１０、ｐ．１６６３−１６６８

しかしながら、上記従来の撮像装置では、手ぶれによる振動を相殺するための機構部品を必要とするとともに、その装置を駆動するためのアクチュエータやモーターが必要であり、撮像装置が大型化するとともに消費電力、コストも増大するという問題がある。さらに機構部品が落下衝撃の影響を受けるために、対衝撃設計を行う必要がある。

また、従来の別の撮像装置では、複数回の連続した露光を与えることによって得られた複数の撮像画像を加算するため、これら複数の撮像画像数すべてを記憶するための別途フレームメモリが必要となる。

さらに、連続するフィールド間画像の動きベクトルをもとに手ぶれ補正を実施した場合、動画には有効であるが、１枚の画像内に発生している手ぶれについては補正できないため、静止画の手ぶれ補正には使用できない。また、画像メモリから画像を切り出すため、メモリ量も増大する。

本発明は上述したような課題を解決するためになされたもので、特殊な機構部品や余分なメモリを必要とせず、固体撮像素子内で手ぶれ補正を実施することにより、小型かつ低コストな撮像装置を提供することを目的とする。

この発明に係る撮像装置は、複数の光電変換素子、前記光電変換素子に蓄積した電荷を読み出すトランスファーゲート部、前記トランスファーゲート部により読み出された前記電荷を蓄積する垂直転送部、前記光電変換素子ごとに前記垂直転送部内に設けられた少なくとも３つの電極、および前記垂直転送部より転送された信号電荷を水平方向に転送する水平転送部とを備えた固体撮像素子と、前期固体撮像素子上にレンズを通して入射される被写体像を結像する光学系と、前記光電変換素子における電荷蓄積期間を分割することにより複数の電荷蓄積時間を設ける電荷蓄積期間制御手段と、所定時間内の手ぶれ量を検出する手ぶれ検出手段と、上記検出された手ぶれ量に基づいて分割された前期電荷蓄積期間内での手ぶれ量の換算画素数を算出する換算画素数算出手段と、前記垂直転送部の前記電極に電圧を印加し、前記垂直転送部内で所定の画素数だけ電荷を移動させる垂直転送部内電荷移動手段とを具備したものである。

本発明によれば、特殊な機構装置やメモリを必要とせずに固体撮像素子内で手ぶれ補正を実施することにより小型かつ低コストな撮像装置を提供することが可能となる。

実施の形態１．
図１は本発明における撮像装置の基本構成を示す図であり、レンズ１を通して入射した被写体像を固体撮像素子２で光電変換する。このレンズ１は焦点距離が可変なズームレンズとして機能する。レンズ駆動部１２からの制御信号によって、レンズ１は光軸上で前後へ移動し、焦点距離を連続的に変えることができる。この制御信号はＣＰＵ７から出力される。

固体撮像素子２から得られるＲ、Ｇ、Ｂの出力信号は、アナログ信号処理部３において、相関二重サンプリング処理（ＣＤＳ）ならびに自動信号増幅処理（ＡＧＣ）が施される。固体撮像素子２の水平転送パルス、垂直転送パルスならびにＣＤＳのためのサンプリングパルスは、タイミングジェネレータ８によって供給される。このタイミングジェネレータ８から出力される上記の水平転送パルス、垂直転送パルスならびにＣＤＳのためのサンプリングパルスは、ＣＰＵ７からの制御信号によってそれらの生成タイミングが規定される。

アナログ信号処理部３の出力信号は、第１のＡ／Ｄ変換部４にてデジタル信号に変換後、信号処理部５にて映像信号処理され、表示手段６において表示可能な映像信号になる。上記の信号処理部５では、ＲＧＢ信号から色差信号（ＹＣｂＣｒ）への変換、ホワイトバランス補正、γ（ガンマ）補正、色補間処理および輪郭強調補正等の画像処理が行われる。ＬＣＤなどの表示手段６は、信号処理部５から出力された映像信号を表示する。静止画を撮影する際、撮影者は表示手段６に映る動画の被写体を見ながら構図を決める。

手ぶれセンサ９は、撮影者が被写体を撮像する際に撮像装置に伝達した振動を感知する手ぶれ検出手段である。手ぶれセンサ９は角速度を検知する素子であり、得られた角速度を時間積分することで、振動による変位量および変位方向を得ることができる。この手ぶれセンサ９によって検出した角速度信号は第２のＡ／Ｄ変換部１０にてデジタル信号に変換後、ＣＰＵ７に出力される。なお、手ぶれセンサ９としては、角速度センサだけでなく、角加速度センサ、加速度センサまたは地磁気センサ等を用いることも可能であり、それぞれのセンサ信号に応じた適正な信号処理を行なうことで、角速度センサを用いた場合と同様の効果が得られる。

ＣＰＵ７は本撮像システムを総括して制御を行うとともに、各種演算を実施する手段として機能している。信号処理部５からの映像信号データに基づき、自動露光制御（ＡＥ）／自動ホワイトバランス制御（ＡＷＢ）を行うとともに、アナログ信号処理部３への信号増幅率設定、タイミングジェネレータ８で生成される固体撮像素子２の駆動用パルス信号ならびにレンズ駆動部１２の制御信号の生成を行う。積算部１１は、信号処理部５から入力される１画面分の映像信号の積算を行う。

さらにＣＰＵ７は、第２のＡ／Ｄ変換部１０にてデジタル信号に変換された角速度信号を積分し、手ぶれの角度と方向を計算し、この計算値をもとに手ぶれ量を画像のぶれの画素数に換算する換算画素数算出手段としての機能も有する。

また、後述する垂直転送部２２（図２参照）内で電荷を移動させるための垂直転送パルス波形、ならびにこの垂直転送パルスの転送時間を算出する。この算出値に基づいてタイミングジェネレータ８へ制御信号を出力し、この制御信号に基づいて、タイミングジェネレータ８は固体撮像素子２の駆動用パルス信号制御を行う。このように、ＣＰＵ７が算出する制御信号を受け取ったタイミングジェネレータ８は、後述する垂直転送部２２内で電荷を移動させる垂直転送部内電荷移動手段として機能する。

さらに、ＣＰＵ７とタイミングジェネレータ８はトランスファーゲートパルスのタイミングを制御し、撮像時の電荷蓄積期間の分割を行なう電荷蓄積時間制御手段としての働きも有している。

本実施の形態の固体撮像素子２は、例えばインターライン型のＣＣＤイメージセンサであって、線順次走査により水平方向に１ラインずつ順番にすべての画素信号を読み出す「全画素読み出し」方式に対応している。

図２は固体撮像素子の構成を示す図である。光電変換素子（Ｐｈｏｔｏ Ｄｉｏｄｅ、以下でＰＤと呼ぶ）２１における光電変換によって、光の強さに応じた電荷量が蓄積された後、トランスファーゲート（ＴＧ）パルスによって、電荷がトランスファーゲート部２６（図３参照）を介して垂直転送部２２に取り出され、φＶ１、φＶ２、φＶ３、φＶ４で示す垂直転送パルスによって水平転送部２４方向へ逐次転送を行う。水平転送部２４では１ライン分の画素が入るたびにφＨ１、φＨ２で示す水平転送パルスによって水平方向に電荷の転送を行ない、出力アンプ２３で信号電圧に変換して信号を出力する。

上記の垂直転送パルスによって、垂直転送部２２内の電荷を水平転送部２４の方向（図２の垂直転送部内の矢印の方向：以下で順方向と呼ぶ）へ転送するだけではなく、水平転送部２４から離れる方向（図２の垂直転送部内の矢印と反対方向：以下で逆方向と呼ぶ）へ転送することも可能である。また、垂直転送パルスを印加しない時は、垂直転送部２２はメモリとして働き、トランスファーゲート部２６を介して垂直転送部２２に取り出された電荷を、垂直転送部２２内で順方向にも逆方向にも移動させず、取り出された位置に保持することができる。

図３は、図２における縦方向の４画素のみを拡大した図である。２５は画素であり、ＰＤ２１、トランスファーゲート部２６ならびに垂直転送部２２から構成される。本実施の形態では４相の垂直転送パルスを用いているため、１画素あたり４個の電極が存在する。ＰＤ２１にて光電変換されて蓄積された電荷は、トランスファーゲート部２６を介して垂直転送部２２に読み出される。以下に述べるように、４相の垂直転送パルスの電圧を時系列に変化させることにより、垂直転送部２２内の電荷を所望の画素分だけ順方向にも、逆方向にも転送することができる。

まず、垂直転送部２２内の電荷を順方向に転送する具体的な手法を、垂直転送パルスの電位分布のタイミングチャートである図４および図５を用いて説明する。図４は、各電極の垂直転送パルスの電位φＶｉ（ｉ＝１、２、３、４）のタイミングチャートであり、横軸に時刻を、縦軸に４つの電極のそれぞれの電位を並べて示している。図５は、図４に示す垂直転送パルスを各電極に与えた時に、電荷移動の様子を説明する図である。図５において、横軸は垂直転送部２２の各電極位置を示し、縦軸には各電極の電子のポテンシャルエネルギーφｉ（＝−ｅφＶｉ）と電荷分布の経時変化の様子を順に並べて示してある。

次に動作を説明する。図４において、時刻ａ１では電極２（φＶ２）と電極３（φＶ３）にバイアス電圧＋Ｖが掛かり、電極１（φＶ１）と電極４（φＶ４）は無バイアスで０Ｖであるため、図５に示すように、電極２と電極３に電位井戸が形成されて電荷が蓄積される。次に時刻ａ２にて電極４にバイアス電圧＋Ｖを印加すると、電極２と電極３にあった電荷は、電極２から電極４に拡散する。次に時刻ａ３にて電極２を無バイアスにすると、電荷は電極３から電極４に収束し、結果として、時刻ａ１からａ３において、電荷は順方向（図５において右方向）へ１電極分だけ移動したことになる。

時刻ａ４では電極１にバイアス電圧＋Ｖを印加し、時刻ａ５で電極３を無バイアスにすることにより、電荷はさらに１つの電極分だけ順方向に移動する。時刻ａ６では電極２にバイアス電圧＋Ｖを印加し、時刻ａ７で電極４を無バイアスにすることにより、電荷はさらに１つの電極分だけ順方向へ移動する。時刻ａ８では電極３にバイアス電圧＋Ｖを印加し、時刻ａ９で電極１を無バイアスにすることにより時刻ａ１の状態と同じになる。すなわち、時刻ａ１から時刻ａ９において、１画素分電荷を順方向へ移動したことになる。

他方、垂直転送部内の電荷を逆方向に転送する場合に関して、図６および図７を用いて説明する。電荷を順方向に転送する場合の説明に用いた図４が図６に、図５が図７にそれぞれ対応している。また、時刻ａ１からａ９は、ｂ１からｂ９にそれぞれ対応している。

次に動作を説明する。図６において、時刻ｂ１では電極２と電極３にバイアス電圧＋Ｖが掛かり、電極１と電極４は無バイアスで０Ｖであるため、図７に示すように、電極２と電極３に電位井戸が形成されて電荷が蓄積されている。次に時刻ｂ２にて電極１にバイアス電圧＋Ｖを印加すると、電極２と電極３にあった電荷は、電極１から電極３に拡散する。次に時刻ｂ３にて電極３を無バイアスにすると、電荷は電極１から電極２に収束し、結果として、時刻ｂ１からｂ３において、電荷は逆方向（図７において左方向）へ１電極分だけ移動したことになる。

時刻ｂ４では電極４にバイアス電圧＋Ｖを印加し、時刻ｂ５で電極２を無バイアスにすることにより、電荷はさらに１つの電極分だけ逆方向に移動する。時刻ｂ６では電極３にバイアス電圧＋Ｖを印加し、時刻ｂ７で電極１を無バイアスにすることにより、電荷はさらに１つの電極分だけ逆方向へ移動する。時刻ｂ８では電極２にバイアス電圧＋Ｖを印加し、時刻ｂ９で電極４を無バイアスにすることにより時刻ｂ１の状態と同じになる。すなわち、時刻ｂ１から時刻ｂ９において、１画素分電荷を逆方向へ移動したことになる。

本実施の形態においては、上述したように、電荷の拡散ステップ後に収束ステップを行ない、これを繰り返すことで電荷の転送を実現しているが、拡散と収束のステップを同時に行なっても電荷の転送は可能である。例えば、図５の時刻ａ２の拡散と時刻ａ３の収束を同時に行なう、すなわち電極４へのバイアス電圧印加と電極２の無バイアス化を同時に行なうことによっても同様の電荷の転送は達成できる。あるいは、図５において時刻ａ３の収束と時刻ａ４の拡散を同時に行なっても、同様に電荷の転送が可能である。

さらに、本実施の形態では４相の垂直転送パルスによって電荷を転送しているが、４相に限るものではなく、３相以上であれば、同様の方法により電荷の転送は可能である。同様に水平転送パルスについても２相を用いているがこれに限るものではない。

次に本発明における「手ぶれ」の概念について説明する。図８は撮像者が被写体を撮像する際に、上下（ピッチング）方向に手ぶれをしたときの手ぶれ方向と撮像画像との関係を示した図である。ここで被写体は円形の光源であり、手ぶれをおこさずに撮像したときの撮像画像を図８（ｂ）に示す。丸い被写体形状を保持した画像が撮像される。

撮像者は、最初に地面と平行な線上で撮像装置を構え、シャッタボタンを押す。手ぶれはこのときに生じ、その方向が（＋）方向の場合、下方向に尾引きが生じ（図８（ａ））、一方（−）方向に手ぶれをおこした場合には上方向に尾引きが生じる（図８（ｃ））。

本発明は図８（ａ）、（ｃ）に再現される被写体像の尾引きを低減した高品質な撮像画像を実現することを目的としている。なお、手ぶれはほとんどの場合、撮像者がシャッタボタンを押す動作に起因した撮像装置の回転等により生じる。この回転方向はシャッタボタンの押し下げ方向とほぼ一致するため、押し下げ方向に対応する一次元的な補正により、実用上十分な補正が可能である。本発明においては、垂直転送部２２において電荷を転送する方向と上記に示した手ぶれが生じ易い方向を略平行とすることで良好な手ぶれ動作を達成している。

図９は本発明に係るフレーム同期のタイミングチャートである。（ａ）は垂直同期信号（ＶＤ）であり、（ｂ）は電子シャッタパルスである。電子シャッタパルスは水平同期信号に同期してタイミングジェネレータ８から固体撮像素子２に入力されるものであり、ＡＥ制御において電荷蓄積時間を調整するためにＰＤ２１に蓄積された電荷を固体撮像素子２内の基板上に排出する役割がある。

図９において、（ｃ）はＰＤ２１において光電変換ならびに電荷蓄積を行う期間を示している。（ｄ）はトランスファーゲートパルスであり、ＰＤ２１で蓄積した電荷を垂直転送部２２へ読み出す役割がある。（ｅ）は垂直転送部パルス、（ｆ）は水平転送パルスを示している。

シャッタボタンを押す前は、適切な露出条件である電荷蓄積期間を設けて撮像を行う。例えばＳＳ１で蓄積した電荷は、ＴＧ１０パルスによって垂直転送部２２へ読み出され、１００ｂ期間にて垂直転送部２２内で水平方向の１ラインごとに水平転送部２４への転送が行われるとともに、１０１ｂ期間にて水平転送部２４内で出力アンプ部２３へ向けて転送される。

電荷蓄積期間ＳＳ２にて電荷蓄積中にシャッタボタンが押されたとすると、ＳＳ２にて蓄積された電荷は、続く垂直ブランキング期間（３）内でＯＦＤ１を立てることにより垂直転送部２２へ転送されることなく基板上に排出される。なお、ＶＤ期間にてＡＥ制御により電子シャッタパルスが立つ場合は、その時点でＳＳ２にて蓄積された電荷が基板上に排出されるため、ＯＦＤ１は必ずしも必要ではない。

シャッタボタンを押した次のＶＤ期間（垂直同期信号ＶＤの立ち上がりから、次の垂直同期信号の立ち上がりまでの期間）は、静止画像として記録する画像用の映像信号を得るための電荷蓄積を行う期間である。本ＶＤ期間では電荷蓄積期間を複数に分割して電荷蓄積期間ごとに垂直転送部２２への電荷読み出しを行うとともに、垂直転送部２２へ電荷読み出しを行うごとに垂直転送部２２内での電荷転送を行う。

今、電荷蓄積期間の分割数を４つとして、等分に分割後の電荷蓄積期間をそれぞれＳ１、Ｓ２、Ｓ３、Ｓ４とする。この場合Ｓ１で蓄積した電荷をＴＧ１パルス、Ｓ２で蓄積した電荷をＴＧ２パルス、Ｓ３で蓄積した電荷をＴＧ３パルス、Ｓ４で蓄積した電荷をＴＧ４パルスにてそれぞれ垂直転送部２２へ読み出している。１０２ａはＴＧ１パルスにて読み出した電荷を、１０２ｂはＴＧ２パルスにて読み出した電荷を、１０２ｃはＴＧ３パルスにて読み出した電荷をそれぞれ垂直転送部２２内で順方向または逆方向へ所定の画素数分だけ転送する期間である。

１０２ａ、１０２ｂ、１０２ｃに関して、これらの期間中に垂直転送部２２内で電荷の転送に要する時間は手ぶれによる画像のぶれ量に比例し、ぶれ量が大きい場合は各電荷蓄積期間における電荷転送時間も長くなり、ぶれ量が小さいと電荷転送時間も短くなる。また、手ぶれがまったくない場合はこれらの期間中に垂直転送部２２内で電荷を転送することはなく、ＰＤ２１からトランスファーゲート部２６を経由して隣接する垂直転送部２２へ読み出された電荷はその位置に保持される。

１０３は、１０２ａ、１０２ｂ、１０２ｃにおいて垂直転送部２２内の電荷を水平転送部２４方向に転送することによって水平転送部２４に押し出された後、水平転送部２４に蓄積された余分な電荷を掃き捨てるための期間である。

図９では、垂直ブランキング期間（３）にてトランスファーゲートパルスをタイミングジェネレータ８から固体撮像素子２に入力することにより、ＳＳ２で蓄積した全電荷を垂直転送部２２に読み出した後、水平転送部２４への高速転送ならびに水平転送部２４で高速転送による掃き捨てを行うことにより、ＯＦＤ１パルスを不要とすることも可能である。また、１０１ｃの水平転送期間で電荷転送を行う際の最初の１ライン分を破棄するようにすれば、１０３の水平転送期間も不要とできる。さらに本実施の形態では電子シャッタによる電荷蓄積時間調節を行っているが、機構式のシャッタを設けることにより、シャッタが開いている間だけ電荷蓄積を行うようにすることもできる。

図１０は、本発明の第１の実施の形態における手ぶれ補正の動作に係るフローチャートである。まずズーム倍率はレンズ１の位置により決まり、この位置を予めメモリに記憶しておく（Ｓｔ０）。そして、シャッタボタンが押されたかどうかを監視し（Ｓｔ１）、シャッタボタンが押された場合、手ぶれセンサ９により手ぶれ量を検出する。本実施の形態では、手ぶれセンサ９として角速度センサを用いており、撮像者がシャッタボタンを押した際の撮像装置に発生する振動の角速度を検出する（Ｓｔ２）。次にＣＰＵ７は、ズーム倍率を決めるレンズ１の位置と角速度の積分値から、ぶれ量を画素数Ｐｎに換算し（Ｓｔ３）、画素数Ｐｎを電荷蓄積期間数４で除算することにより、電荷蓄積期間ごとに蓄積した電荷を垂直転送部２２に読み出した後の電荷移動量（α１）を画素を単位として算出する（Ｓｔ４）。上記で、レンズ１の位置と角速度の積分値からぶれ量を画素数Ｐｎに換算する方法は、レンズ１の位置と角速度の積分値を変数としたテーブルを用いても良いし、予め与えておいた計算式より算出しても良い。

例えば電荷蓄積期間数を４とした図９において、手ぶれ画素数Ｐｎ＝１６であるとき、垂直転送期間１０２ａ、１０２ｂ、１０２ｃではそれぞれＰｎ／４＝４画素分だけ電荷を転送することになる。

次に手ぶれセンサ９の出力から、固体撮像素子２の撮像面上に結像される被写体像が上方向に移動したかどうかを判定する（Ｓｔ５）。被写体像が上方向に移動していれば、ｎ＝１とし、ｎ番目の電荷蓄積期間である電荷蓄積期間Ｓｎにて蓄積した電荷を垂直転送部２２に読み出した後、（ｎ＋１）番目の電荷蓄積期間である電荷蓄積期間Ｓｎ＋１においてＰＤ２１が光電変換中（電荷蓄積中）に上方向（＝逆方向）に４画素分転送する（Ｓｔ６）。

次に電荷蓄積期間Ｓｎ＋１にて蓄積した電荷を垂直転送部２２に読み出し、上方向に４画素分移動した電荷と加算する（Ｓｔ７）。ｎ＜３であれば（Ｓｔ８で“ＮＯ”であれば）、ｎに１を加算し、Ｓｔ６からＳｔ８までの動作を最終電荷蓄積期間Ｓ４において蓄積した電荷を読み出すまで、すなわちｎ＝３となるまで実行する（Ｓｔ８で“ＹＥＳ”）。ｎ＝３となれば次の垂直同期（ＶＤ）期間に垂直転送部２２内の全電荷を水平転送部２４へ転送する（Ｓｔ１２）。

Ｓｔ９、Ｓｔ１０、Ｓｔ１１はＳｔ５にて被写体が下方向に移動したと判断した場合の動作であって、この場合電荷蓄積期間ごとに垂直転送部２２に読み出した電荷を４画素分転送する方向は下方向（＝順方向）となる。そしてｎ＝３となるまでＳｔ９からＳｔ１１までの動作を実行すると、Ｓｔ１２へ動作が移る。

撮像時に手ぶれをおこしたときの撮像画像、ならびに固体撮像素子２の撮像面上における被写体像の詳細を図１１に示す。本例では撮像者が撮像装置のシャッタボタンを押す瞬間に上方向に手ぶれをおこした場合であり、電荷蓄積期間が４、手ぶれの画素換算数が１６の場合を示している。Ｐ１は手ぶれが全くない場合の撮像画像である。Ｐ２は、図９におけるＳＳ１、ＳＳ２のごとく電荷蓄積期間を分割せず、且つ手ぶれ補正を行なわない場合の撮像画像である。

Ｐ３、Ｐ４、Ｐ５およびＰ６は手ぶれによる被写体像の尾引きが発生しているＰ２の画像を４つの電荷蓄積期間に分割して取得したそれぞれの画像であり、それぞれ電荷蓄積期間Ｓ１、Ｓ２、Ｓ３、Ｓ４において電荷蓄積を行うとともに、電荷蓄積期間ごとに全画素を読み出すと仮定した場合の撮像画像を示している。電荷蓄積期間Ｓ１、Ｓ２、Ｓ３、Ｓ４は電荷蓄積時間が同一であるため、Ｐ３、Ｐ４、Ｐ５およびＰ６の撮像画像の輝度は、いずれもＰ２の撮像画像の輝度の１／４となる。

Ｐ２で発生している１６画素分の被写体像のずれは、図１１のごとくＰ３、Ｐ４、Ｐ５、Ｐ６で４画素に等配分できるとする。Ｐ３からＰ６の電荷蓄積時間内で、手ぶれの角速度が一定と仮定して良い近似になるためである。本発明はそれぞれの撮像画像間に存在する４画素の被写体像ぶれを逐次補正しつつ、Ｐ６を最終的な撮像画像とするものである。

電荷蓄積期間を４分割したときの撮像画像Ｐ３からＰ６、ならびに固体撮像素子２の撮像面における被写体像Ｐ７からＰ１０について、便宜上手ぶれによる尾引き部分は描画していないが、実際はＰ４からＰ１０の画像すべてにＰ３と同様の手ぶれによる被写体像ぶれ部分が存在する。電荷蓄積期間数が４であれば、総手ぶれ量の１／４の手ぶれが各電荷蓄積期間の画像ごとに発生し、例えば電荷蓄積期間数が８であれば各電荷蓄積期間の画像には総手ぶれ量の１／８の手ぶれが発生することになる。

Ｐ７、Ｐ８、Ｐ９およびＰ１０はレンズを通して被写体を固体撮像素子２の撮像面上に投影したときの像を示しており、それぞれの撮像画像であるＰ３、Ｐ４、Ｐ５およびＰ６の画像とは、上下左右が反対の関係にある。図１１の例では、本実施の形態に係る発明の手ぶれ補正を実施する際、固体撮像素子２の撮像面上の被写体像は上方向に移動する。ｄ１、ｄ２、ｄ３、ｄ４にて示す「＊」印は被写体（人物の顔）上の同じ箇所における１画素を示しており、この画素をもとに垂直転送部２２内における電荷転送の詳細を図１２および図１３を用いて説明する。

図１２は、図９において電荷蓄積期間分割を行った期間の拡大図であり、それぞれの動作に対し、時系列に（Ａ）から（Ｋ）の記号を割り当てる。これら（Ａ）から（Ｋ）における垂直転送部２２内の電荷転送の様子を、図１３を用いて詳細に説明する。

図１３は、図１１における固体撮像素子２の撮像面上で被写体が上方向に移動した際の垂直転送部２２内における電荷転送による手ぶれ補正方法を示しており、本発明の中心となる動作である。図２および図３と同様に、図１３において２１はＰＤ、２２は垂直転送部であり、本図では１画素につき４つ存在する垂直転送パルスの電極数を便宜上１つにして示している。２６はトランスファーゲート部を表わしている。まず電荷蓄積期間Ｓ１において、注目画素（図１１のｄ１）に対応するＰＤ２１で光電変換を行うとともに電荷を蓄積する（状態Ａ）。

次にＴＧ１パルスにより電荷蓄積期間Ｓ１で蓄積した電荷を垂直転送部２２へ読み出す（状態Ｂ）。この電荷読み出しが終了した直後から電荷蓄積期間Ｓ２において注目画素（図１１のｄ２）の電荷蓄積を開始し、この電荷蓄積中に前記状態Ｂで垂直転送部２２に読み出した電荷を４画素分上方向に移動させる（状態Ｃ、Ｄ）。次にＴＧ２パルスにより電荷蓄積期間Ｓ２で蓄積した電荷を読み出し、垂直転送部２２内で加算する（状態Ｅ）。

状態Ｅの電荷読み出しが終了した直後から電荷蓄積期間Ｓ３において注目画素（図１１のｄ３）の電荷蓄積を開始し、この電荷蓄積中に前記状態Ｅにおいて垂直転送部２２内で加算した電荷を４画素分上方向に移動させる（状態Ｆ、Ｇ）。次にＴＧ３パルスにより電荷蓄積期間Ｓ３で蓄積した電荷を読み出し、垂直転送部２２内で加算する（状態Ｈ）。

次に状態Ｈの電荷読み出しが終了した直後から電荷蓄積期間Ｓ４において注目画素（図１１のｄ４）の電荷蓄積を開始し、この電荷蓄積中に前記状態Ｈにおいて垂直転送部２２内で加算した電荷を４画素分上方向に移動させる（状態Ｉ、Ｊ）。続いてＴＧ４パルスにより電荷蓄積期間Ｓ４で蓄積した電荷を読み出し、垂直転送部２２内で加算する（状態Ｋ）。その後全画素を水平転送部２４へ転送する（図９、図１２の１００ｃ）と同時に、水平転送部２４内で出力アンプ部２３へ向けて、信号電荷の転送を行う（図９、図１２の１０１ｃ）。状態Ｋに至るまでに被写体の画像ぶれが補正され、最終的には像ぶれの低減された高品質な画像を記録することが可能となる。

また、電荷蓄積期間ごとに垂直転送部内２２で電荷を移動する際の移動量は、画素上に構成されている色フィルタの繰り返しの１周期に対応する画素数の整数倍でなければならない。その理由について図１４を用いて説明する。図１４は本実施の形態において使用するベイヤー方式色フィルタ配列を示しており、図の如くＧが市松状に配置され、その他の部分にＲ／Ｂが線順次に配置されている。例えば図１４の３列目に注目すると、その画素の並びは上から下に向かって｛Ｒ、Ｇ、Ｒ、Ｇ、・・・、Ｇ｝のようになっており、Ｒ画素、Ｇ画素ともに１画素おきに並んでいる。

そのため、電荷蓄積期間ごとに垂直転送部２２内で電荷を移動する際の移動量が順方向または逆方向に奇数画素分である場合、例えば移動させたＲ画素にＧ画素を加算する、あるいは移動させたＧ画素にＲ画素を加算することになり、これによりＲ、Ｇ、Ｂの信号レベルのバランスが崩れることになる。そのため、電荷蓄積期間ごとに垂直転送部２２内で電荷を移動する際には、移動する画素と加算する画素を同色にすべく、電荷の移動量を偶数画素分とする必要がある。図１３では状態Ｄ、Ｇ，Ｊにおいて垂直転送部内で電荷を移動させる際に４画素分移動させており、同色画素同士を加算するようにしている。例えば、第１の電荷蓄積期間の手ぶれ換算画素数Ｐｎが５画素である場合、電荷移動量は４画素または６画素のどちらかとすることが必要である。この具体的な手法としては、電荷移動量として、（Ｐｎ＋１）／２ を超えない自然数に２を乗じたものとするのが一例である。この場合、Ｐｎ＝５の時は電荷移動量は６となる。また、Ｐｎ＝４．９の時は電荷移動量は４となる。

また、電荷蓄積期間ごとに垂直転送部２２内で電荷を移動する際、順方向すなわち水平転送部２４の方向に電荷を移動させる場合は、最下位ラインの垂直転送部２２内に電荷が蓄積されずに水平転送部２４内に排出される。しかし、垂直転送部２２内で電荷を逆方向に移動する場合は、固体撮像素子２の構造上、最上位ラインより上部に水平転送部２４がないため、図１５のごとく電荷排出溝（ドレイン）３０を設ける。これにより垂直転送部２２内で電荷を上方向に移動する際にも、最上位ラインにて電荷が溢れずに電荷排出溝３０内に排出することができる。

また、図１５のように固体撮像素子２の上部に電荷排出溝３０を設けるのではなく、撮像面上部の光電変換可能な領域を一部遮光することにより垂直転送部２２内で電荷を上方向に移動する際に最上位ラインにて電荷が溢れないようにすることも可能である。この場合の模式図を図１６に示す。斜線で示す部分が遮光領域４０である。遮光領域４０の大きさについては手ぶれ補正時に必要な電荷移動量にもよるが、（図１５において電荷排出溝３０に排出される電荷量）＝（遮光領域で光電変換したと想定した場合の蓄積電荷量）を目安として、手ぶれ補正により補正したいぶれ量に比例して大きな領域を確保する必要がある。

本実施の形態では、レンズ１が光軸方向に駆動可能なズーム機構を用いているが、単焦点レンズでも同様の効果を得ることが出来る。また、垂直転送パルスについては４相の場合を説明したが、３相でも同様の動作が可能であり、５相、6相等でももちろん同様の動作が可能である。さらに図１４に示したように本実施例ではベイヤー方式の色フィルタ配列の固体撮像素子２を用いているが、例えば図１７に示すようなベイヤー方式の色フィルタを４５度回転させたハニカム配列と称される色ファイタ配列を用いた固体撮像素子２を使用することも可能である。概ハニカム方式の撮像素子は略正八角形の光電変換部を有し、垂直転送部２２は画素列に沿って蛇行する形状をしている（図示せず）。

なお、本実施の形態では電荷蓄積期間を分割する際等分に分割しているが、これに限らず例えば４分割する際には電荷蓄積時間を１：１：１：１ではなく、４：３：２：１等任意の電荷蓄積時間を割り当ててもよい。そして、それぞれの電荷蓄積期間において補正する手ぶれ量は電荷蓄積時間に応じて分配することになる。これは、手ぶれにより生じる撮像素子２の角速度が、全電荷蓄積期間内で概ね一定であることを仮定したためである。しかし、撮像素子２のハンドリング形状やシャッタボタンの位置等により、シャッタボタンの押し始め直後は大きな角速度が生じやすく、一定時間後は小さな角速度となる場合もある。そのような場合は、予め手ぶれの時間変化の統計データを取り、それに適合するように、各電荷蓄積期間ごとの補正量を決めることも可能である。

また、電荷蓄積期間の分割数を４としたが、さらに精度の高い手ぶれ補正を行ないたい場合には、分割数を増加させれば良いし、逆に簡素な構成の装置においては、分割数を２あるいは３としても良い。

以上説明したように第１の実施の形態によれば、アクチュエータ等の複雑な機構部品を必要とせず、固体撮像素子内部の電荷移動のみで手ぶれを低減、補正する撮像装置を提供できる。また、電荷蓄積期間の分割を行なうことでぶれを補正するにもかかわらず、余分なフレームメモリ等も不要であり、携帯機器用のカメラのように構成上の制約がある場合にも良好な手ぶれ補正が可能である。

実施の形態２．
図１８は本発明の実施の形態２における手ぶれ補正動作のフローチャートを示している。実施の形態１における図１０と図１８で同じ処理に関しては共通の記号を用いており、その他の図面は実施の形態１と共通である。本実施の形態と実施の形態１とは電荷蓄積期間数の決定方法が異なり、実施の形態１では電荷蓄積期間数をあらかじめ選定した固定値を用いたが、本実施の形態では電荷蓄積期間数をＡＥ（自動露出）処理による電荷蓄積時間をもとに決定する。

図１８において、シャッタボタンが押されたと判断した場合（Ｓｔ１で“ＹＥＳ”の場合）は、ＡＥ処理により電荷蓄積時間を算出する（Ｓｔ２０）。その後、算出した電荷蓄積時間に応じて電荷蓄積期間の分割数、すなわち電荷蓄積期間数ｍ（ｓ）が決定される（Ｓｔ２１）。この電荷蓄積期間数ｍ（ｓ）については、ＡＥ処理により算出した電荷蓄積時間が短い場合は手ぶれをおこしにくいため少なく、電荷蓄積時間が長い場合は手ぶれをおこし易いため多くなるように設定する。最短の電荷蓄積期間数はｍ（ｓ）＝１とし、最長の電荷蓄積期間数をｍ（ｓ）＞１となる任意の数、例えばｍ（ｓ）＝１０と設定し、最短時と最長時の間の電荷蓄積時間についてはその時間に応じて、ｍ（ｓ）の値を １＜ｍ（ｓ）＜１０ の範囲で割り当てる。Ｓｔ２以降の処理は、実施の形態１の図１０におけるＳｔ２以降と同じである。

第２の実施の形態では、電荷蓄積期間を分割する際の分割数をＡＥ制御による電荷蓄積時間をもとに決定するため、電荷蓄積時間が長い場合には分割数を増加する制御が可能であり、高精度な手ぶれ補正装置を備えた撮像装置を提供できる。

実施の形態３．
図１９は、本発明の実施の形態３における手ぶれ補正動作のフローチャートを示している。実施の形態１における図１０と同じ処理に関しては、図１９で共通の記号を用いている。本実施の形態３と実施の形態１および２とは、電荷蓄積期間数の決定方法が異なる。本実施の形態３では、電荷蓄積期間数を手ぶれセンサ９の出力値をもとに決定している。

図１９において、シャッタボタンが押された場合、手ぶれセンサ９による角速度を検出する（Ｓｔ２）。次に、ズーム倍率を考慮して角速度の積分値を画素数（Ｐｎ）に換算（Ｓｔ３）後、このＰｎ値に応じて電荷蓄積期間数ｍ（ｄ）を決定し（Ｓｔ３０）、ぶれの換算画素数Ｐｎを電荷蓄積期間数ｍ（ｄ）で除算することにより、各電荷蓄積期間ごとに蓄積した電荷を垂直転送部に読み出した後の電荷移動量（α３）を画素単位で算出する（Ｓｔ３１）。Ｓｔ５以降の処理は実施の形態１の図１０におけるＳｔ５以降と同じである。

第３の実施の形態においては、実際の手ぶれ量に応じて電荷蓄積期間数を決定することにより、手ぶれ量が大きい場合は分割数を増加する制御が可能であり、高精度な手ぶれ補正装置を備えた撮像装置を提供できる。

実施の形態４．
図２０は、本発明の実施の形態４におけるフローチャートを示している。実施の形態１における図１０と同じ処理に関しては、図２０において共通の記号を用いている。本実施の形態４と実施の形態１から３とは、電荷蓄積期間数の決定方法が異なり、本実施の形態では電荷蓄積期間数をズーム機構を備えたレンズ１の位置によって決定している。一般に、広角よりも望遠で撮像するときに、同じ手ぶれ量でも画像のぶれは大きくなる。そのため望遠撮像時には広角撮像時よりも電荷蓄積期間数を多く設定するようにする。

本実施例で用いるレンズは焦点距離が可変であるズームレンズである。図１におけるＣＰＵ７からの制御信号をもとに、レンズ駆動部１２によってレンズ１を光軸上で移動させることにより焦点距離が変更される。すなわち光学系の焦点距離はＣＰＵ７によって管理されており、焦点距離に応じて電荷蓄積期間数を決定する。

図２０において、レンズ１の位置をＣＰＵにて算出（Ｓｔ０）後、このレンズ１の位置に応じて電荷蓄積期間数ｍ（ｆ）を決定（Ｓｔ４１）する。以降の処理については実施の形態１の図１０におけるＳｔ１以降と同一の処理を行う。

第４の実施の形態において、光学系の焦点距離、あるいはレンズ１の位置に応じて電荷蓄積期間数を決定することにより、手ぶれ量が大きくなる可能性が高い場合は分割数を増加する制御が可能であり、高精度な手ぶれ補正装置を備えた撮像装置を提供できる。

実施の形態５．
本実施の形態５は、実施の形態１から実施の形態４に共通である図１のブロック図に示した手ぶれを検出する手段が異なる。図２１は、本発明の実施の形態４におけるブロック図を示している。図２１では、図１における手ぶれセンサ９と第２のＡ／Ｄ１０の代わりに、ＣＰＵ７内に動きベクトル演算部５０を設けている。画像処理により手ぶれの方向ならびに手ぶれ量を予測するとともに、この予測値をもとに手ぶれ補正を実施する。例えば、図９における電荷蓄積期間ＳＳ１とＳＳ２で得られた２枚の画像から、動きベクトル算出部５０は動きベクトルを算出し、この動きベクトルから手ぶれ量をその方向と同時に算出する。手ぶれ検出手段以外の処理に関しては実施の形態１から実施の形態４と共通である。

第５の実施の形態において、手ぶれ検出手段として角速度センサ等の慣性センサではなく、フレーム間の動きベクトルにより検出するようにしたので、慣性センサやＡＤコンバータ等の部品およびセンサの出荷時調整が不要となり、小型で低コストな撮像装置を提供できる。

本発明の実施の形態１から４に係わる撮像装置のブロック図である。 本発明に係る固体撮像素子の構成を示す図である。 本発明に係る固体撮像素子の構成を示す拡大図である。 垂直転送部内で順方向に電荷を転送する場合の垂直転送パルスのタイミングチャートである。 垂直転送部内で順方向に電荷を転送する場合の固体撮像素子の電位分布を示す図である。 垂直転送部内で逆方向に電荷を転送する場合の垂直転送パルスのタイミングチャートである。 垂直転送部内で逆方向に電荷を転送する場合の固体撮像素子の電位分布を示す図である。 本発明に係る手ぶれ角度と撮像画像の関係を示す図である。 本発明に係るフレーム周期のタイミングチャートである。 本発明の実施の形態１に係るフローチャートである。 本発明に係る撮像画像と固体撮像素子の撮像面の被写体像の変位を示す図である。 本発明に係るフレーム周期のタイミングチャートの拡大図である。 本発明に係る垂直転送部内の電荷転送ならびに電荷加算方法を示す図である。 本発明に係る色フィルタ配列を示す図である。 本発明に係る電荷排出溝を示す図である。 本発明に係る遮光領域を示す図である。 本発明に係るハニカム配列の色フィルタ配列を示す図である。 本発明の実施の形態２に係るフローチャートである。 本発明の実施の形態３に係るフローチャートである。 本発明の実施の形態４に係るフローチャートである。 本発明の実施の形態５に係るブロック図である。

符号の説明

１ レンズ
２ 固体撮像素子
３ アナログ信号処理部
４ 第１のＡ／Ｄ変換部
５ 信号処理部
６ 表示手段
７ ＣＰＵ
８ タイミングジェネレータ
９ 手ぶれセンサ
１０ 第２のＡ／Ｄ変換部
１１ 積算部
１２ レンズ駆動部
２１ 光電変換素子（ＰＤ）
２２ 垂直転送部
２３ 出力アンプ
２４ 水平転送部
２５ 画素
２６ トランスファーゲート部
３０ 電荷排出溝
４０ 遮光領域
５０ 動きベクトル演算部

Claims (11)

1. 複数の光電変換素子、前記光電変換素子に蓄積した電荷を読み出すトランスファーゲート部、前記トランスファーゲート部により読み出された前記電荷を蓄積する垂直転送部、前記光電変換素子ごとに前記垂直転送部内に設けられた少なくとも３つの電極、および前記垂直転送部より転送された信号電荷を水平方向に転送する水平転送部とを備えた固体撮像素子と、
   前期固体撮像素子上にレンズを通して入射される被写体像を結像する光学系と、
   前記光電変換素子における電荷蓄積期間を分割することにより複数の電荷蓄積時間を設ける電荷蓄積期間制御手段と、
   所定時間内の手ぶれ量を検出する手ぶれ検出手段と、
   上記検出された手ぶれ量に基づいて分割された前期電荷蓄積期間内での手ぶれ量の換算画素数を算出する換算画素数算出手段と、
   前記垂直転送部の前記電極に電圧を印加し、前記垂直転送部内で所定の画素数だけ電荷を移動させる垂直転送部内電荷移動手段と
   を具備したことを特徴とする撮像装置。
2. 前記分割したひとつの電荷蓄積期間に蓄積された電荷を前記垂直転送部に読み出し後、前記算出手段により算出された前記電荷蓄積期間内での前記手ぶれ量の換算画素数だけ前記電荷を移動し、
   前記分割した次の電荷蓄積期間に蓄積された電荷を読み出し、前記読み出した電荷と前記移動した電荷とを垂直転送部で加算する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記手ぶれ検出手段は、角速度センサであることを特徴とする請求項１または２に記載の撮像装置。
4. 前記手ぶれ検出手段は、映像信号の所定の画素についてフレーム間の動きベクトルを演算する動きベクトル演算手段を有し、前記演算手段の演算結果をもとに手ぶれ方向ならびに手ぶれ量を予測する
   ことを特徴とする請求項１または２に記載の撮像装置。
5. 前記電荷蓄積期間制御手段における電荷蓄積時間の分割数を、電荷蓄積時間の長さに応じて変化させる
   ことを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. 前記電荷蓄積期間制御手段における電荷蓄積時間の分割数を、前記手ぶれ検出手段によって検出された手ぶれ量に応じて変化させる
   ことを特徴とする請求項１から４のいずれかに記載の撮像装置。
7. 前期光学系は、光軸方向に焦点距離が調整可能なレンズを具備し、
   前記電荷蓄積期間制御手段は前記焦点距離に応じて電荷蓄積期間の分割数を変化させる
   ことを特徴とする請求項１から４のいずれかに記載の撮像装置。
8. 前期光学系は、光軸方向に焦点距離が調整可能なレンズを具備し、
   上記算出手段は、検出された手ぶれ量と前期焦点距離に基づいて分割された前期電荷蓄積期間内での手ぶれ量の換算画素数を算出する
   ことを特徴とする請求項１から７のいずれかに記載の撮像装置。
9. 手ぶれにより撮像画像ぶれが生じ易い方向と、前記垂直転送部において前記電荷を転送する方向とが平行となるように固体撮像素子を配置した
   ことを特徴とする請求項１から８のいずれかに記載の撮像装置。
10. 前記垂直転送部に、前記水平転送部と反対方向に移動した電荷を排出するための電荷排出溝を設けた
    ことを特徴とする請求項１から９のいずれかに記載の撮像装置。
11. 前記垂直転送部の前記水平転送部と異なる端部付近に位置する前記光電変換素子を遮光するための遮光部を設けた
    ことを特徴とする請求項１から９のいずれかに記載の撮像装置。
    
    

Images