JP4176099B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4176099B2 JP4176099B2 JP2005277498A JP2005277498A JP4176099B2 JP 4176099 B2 JP4176099 B2 JP 4176099B2 JP 2005277498 A JP2005277498 A JP 2005277498A JP 2005277498 A JP2005277498 A JP 2005277498A JP 4176099 B2 JP4176099 B2 JP 4176099B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- angular displacement
- shutter button
- pressed
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
撮像装置による静止画撮像時の手ぶれを角速度センサーで検出し、被写体を結像するための光学系またはその一部を、検出されたぶれを打ち消す方向に移動させて、撮像素子上に結像する像がぶれないようにする技術が提案されている(たとえば、特許文献1参照)。
撮像素子と、
被写体の光像を前記撮像素子上に結像する光学系と、
前記撮像素子を駆動する撮像素子駆動手段とを具備し、
前記撮像素子上に結像した被写体の光像を画像として出力する撮像装置において、
撮像した画像を静止画像として取り込むためのシャッターボタンと、
撮像装置の動きの角速度及び角度変位量を検出する動き検出手段と、
前記動き検出手段によって検出された角速度を所定の時間間隔でサンプリングする角速度サンプリング手段と、
前記動き検出手段によって検出された角度変位量を所定の時間間隔でサンプリングする角度変位サンプリング手段と、
前記角速度サンプリング手段及び前記角度変位サンプリング手段の出力結果に基づき、前記シャッターボタンが押された後、前記撮像素子で撮像画像が静止画像として取り込まれる時点における撮像装置の動きに応じた像ぶれを算出し、算出された像ぶれを補正するぶれ補正手段と
を有する撮像装置を提供する。
図1はこの発明の実施の形態1の撮像装置を示す概略構成図である。図1に示される撮像装置は、光学系1と、撮像素子2と、アナログフロントエンド3と、ADC4と、デジタル信号処理部5と、表示手段6と、動き検出手段7と、角速度サンプリング手段8と、角度変位サンプリング手段9と、制御手段10と、積算手段11と、シャッターボタン12と、駆動パルス発生手段(撮像素子駆動手段)13と、光学系駆動手段(アクチュエータ駆動手段)14とを有する。
撮像素子2は光学像を光電変換してR、G、Bの映像信号(それぞれR信号、G信号、B信号)を出力する。
アナログフロントエンド(AFE)3は、撮像素子2から出力された信号のノイズ除去や信号増幅を行う。
アナログフロントエンド3の出力は、A/Dコンバータ(ADC)4によってデジタル信号に変換され、デジタル信号処理部5によってホワイトバランスやマトリクス演算など映像信号処理に必要な信号処理を行い、映像信号として出力される。
動き検出手段7はたとえば図3に示すように構成される。図3に示される角速度センサー71は撮像装置の手ぶれによる角速度を出力する。一般に手ぶれは1Hz乃至10Hz程度の振動であり、一方撮影者が意図して撮像装置を水平や垂直方向に動かすパンニングまたはチルティングは1Hz以下であり、周波数にて切り分けることができる。そのため、手ぶれに対応する周波数だけを抜き取るバンドパスフィルター(BPF)72の出力側において、手ぶれの周波数帯域だけ抜き取られた角速度ωが得られ、BPF72の出力を積算手段73によって積算することで角速度に基づいて算出された角度変位量θが得られる。なお、撮像装置の動きは相対位置を検出するのが目的であるので、角度変位量の初期値(積算の開始時の角度変位量)をゼロとする。
制御手段10は撮影時に予め入力され続けている角度変位量から撮像装置の手ぶれ周波数と変位の振幅を算出しており、その値よりシャッターボタン12からのトリガーパルスTSが供給されてから、画像が静止画像として取り込まれるまでにかかる時間遅れδt後の撮像装置の角度変位量を算出する。
u=f×θ/α …(1)
図5において、振幅検出手段81は、動き検出手段7から入力された角度変位量の最大値θmaxと最小値θminを検出し、保持し手ぶれの振動の振幅値βを算出し出力する。振幅値βは例えば下記の式(2)に示すことができる。
β=|θmax−θmin|/2 …(2)
なお、式(2)において、θmax、θminは正負の符号の着いた値であり、θmaxが正、θminが負であれば、
β=(|θmax|+|θmin|)/2
と書き換えられる。
比較器83は入力された角度変位量θnと、遅延手段82を介して入力される1サンプル間隔前の角度変位量θ(n−1)を比較し、入力された角度変位量θnがθ(n−1)に比べて大きいか小さいかを比較し、前者が後者よりも大きいときは、変化が上向きであるとの判定をし、前者が後者よりも小さければ変化が下向きであるとの判定をする。
周波数演算手段85は変化方向記憶手段84の記憶内容から手ぶれの周波数fを算出する。例えば、変化が上向きの状態から変化が下向きの状態に切り替わった時点から、次に変化が下向きの状態から上向きの状態に切り替わった時点までの時間の2倍の逆数を周波数として求める。
角度変位量算出手段89は、静止画像が撮像されると予想される時点(シャッターボタン12から入力され、トリガーパルスTSが発生した時点t0から、静止画像が撮像されるまでの時間遅れδtが経過した時点(t0+δt))の手ぶれの角度変位量を算出するものであり、信号RCが領域変化があったことを示すものではない場合には、時刻(t0+δt)における角度変位を、下記の式(3A)で求め、信号RCが領域変化があったことを示すものである場合には、時刻(t0+δt)における角度変位を、下記の式(3B)で求める。
θ(t0+δt)=γ×β×sin(k×2πf×δt+θ0) …(3A)
θ(t0+δt)=γ×β×sin(k×2πf×δt+θ0−π) …(3B)
また、γは定数である。通常、小型・軽量の撮像装置では静止画撮影前に撮像装置を保持している際に発生する手ぶれの振幅値に比べ、シャッターボタンを押した際に振れる撮像装置の移動量の方が大きくなる。そこで、シャッターボタンを押した際に振れる振幅値に、1より大きい定数γを乗ずることでシャッターボタンが押された後の振動の振幅を算出する。定数γは予め撮像装置を保持したときに手ぶれる振幅値と、シャッターボタンを押した際の手ぶれの振幅値との関係を測定しておき、測定結果に基づいて定められるものである。
係数kについては以下に説明する。
θ(t0+δt)=β×sin(2πf×δt+θ0) …(3)
で与えられる。
なお、図8(a)及び(b)は、角速度が正の値のときにシャッターボタンが押された場合を示し、図9(a)及び(b)は、角速度が負の値のときにシャッターボタンが押された場合を示す。
図5に示す各ブロックをハードウエアで構成することもできるが、ソフトウエア即ちプログラムされたコンピュータにより構成することもできる。以下、ソフトウエアで実現する場合の制御手段10の動作を図10のフローチャートを参照して説明する。
そして、入力された角度変位量を1サンプリング間隔前に入力された角度変位量と比較して、変化の方向を判定し、比較結果を変化方向記憶手段84に記憶し(S2),記憶結果に基づいて手ぶれの周波数fを、例えば上述の方法で算出する(S3)。
また、角度変位量の値が大きい値を常に更新していくことで一定時間内の最大値(θmax)と、小さい値を常に更新していくことで一定時間内の最小値(θmin)を検出し、その値から手ぶれの振幅値βを、例えば上述の方法で算出する(S4)。
次にシャッターボタン12のトリガーパルスTSが入力されたか否かを判断する(S5)。シャッターボタン12のトリガーパルスTSが入力されていないときは(ステップS5でNo)、ステップS1からS5を繰り返す。
領域が変化しなかったときは(S6でNO)、ステップS7に進み、ステップS3で算出した手ぶれの周波数fと、ステップS4で算出した手ぶれの振幅値βから一定時間δt後の角度変位量θ(t0+δt)を、例えば上記の式(3A)により算出する。
領域が変化したときは(S6でYES)、ステップS7に進み、
ステップS3で算出した手ぶれの周波数fと、ステップS4で算出した手ぶれの振幅値βから一定時間δt後の角度変位量θ(t0+δt)を、例えば上記の式(3B)により算出する。
次に、算出した角度変位量θ(t0+δt)から手ぶれ補正を行う補正量(制御量)に変換を行い、その値を出力する(S9)。
図11は本発明の実施の形態2の撮像装置を示す概略構成図である。図11に示される撮像装置は、概して図1に示される撮像装置と同じであるが、図1の光学系駆動手段14が設けられておらず、また図1の駆動パルス発生手段13の代わりに、駆動パルス発生手段35が設けられている。
図1の撮像装置では、光学系1のX軸、Y軸方向の移動により手ぶれ補正を行ったが、図11に示す撮像装置で、撮像素子2内における電荷の転送及び合成によって手ぶれを補正する。
光学系1を介して受けて光電変換を行なう複数の光電変換素子21を有する。光電変換素子21は例えばフォトダイオードで構成されている。
各垂直転送部22は、対応する光電変換素子列20の光電変換素子21にそれぞれ対応して設けられ、対応する光電変換素子21で蓄積された電荷が、読み出しゲート部24のそれぞれの読み出しゲート25を介して転送され、かつ相互間で垂直方向に電荷の転送を行う複数の転送素子23から成る。
垂直転送部22は例えばCCDで構成されている。
水平転送部27は、垂直転送部22で転送され、垂直転送部22から出力された電荷を受けて、第1の方向と直交する第2の方向、例えば水平方向に転送する。
出力増幅器28は、水平転送部27を転送され、水平転送部27から出力された電荷を増幅して出力する。
また、垂直転送パルスVDPを印加しない時は、垂直転送部22内の電荷は順方向にも逆方向にも移動されず、同じ位置に保持される。垂直転送部22の各転送素子23は、内部に保持されている電荷と、対応する光電変換素子21から読み出される電荷とを加算する機能をも有する。
図14(b)は垂直同期信号VDであり、原則として所定の周期、例えば垂直周期に1回発生する。
図14(c)の電子シャッターパルスCEは水平同期信号に同期してタイミングジェネレータ8から固体撮像素子2の基板に印加されるものであり、自動露出(AE)制御において電荷蓄積期間を調整するために光電変換素子21に蓄積された電荷を固体撮像素子2内の基板上に排出することにより電子シャッター機能を実現するものである。
なお、読み出しゲート25の電極は、垂直転送部の電極と兼用とされ、垂直転送部の電極の電位を垂直転送のための電位よりも高くすることにより読み出しを行う場合があるが、その場合には、読み出しパルスTGは、垂直転送部の電極に印加される高い電位のパルスを意味する。
図12および図13と同様に、図15(a)〜(j)において、各光電変換素子列20は複数の光電変換素子21を含み、垂直転送部22は複数の転送素子23を含む。各転送素子23は画素に対応するものであり、4つの転送電極を備えているが、図15(a)〜(h)ではこの点の図示を省略している。
Claims (8)
- 撮像素子と、
被写体の光像を前記撮像素子上に結像する光学系と、
前記撮像素子を駆動する撮像素子駆動手段とを具備し、
前記撮像素子上に結像した被写体の光像を画像として出力する撮像装置において、
撮像した画像を静止画像として取り込むためのシャッターボタンと、
撮像装置の動きの角速度及び角度変位量を検出する動き検出手段と、
前記動き検出手段によって検出された角速度を所定の時間間隔でサンプリングする角速度サンプリング手段と、
前記動き検出手段によって検出された角度変位量を所定の時間間隔でサンプリングする角度変位サンプリング手段と、
前記角速度サンプリング手段及び前記角度変位サンプリング手段の出力結果に基づき、前記シャッターボタンが押された後、前記撮像素子で撮像画像が静止画像として取り込まれる時点における撮像装置の動きに応じた像ぶれを算出し、算出された像ぶれを補正するぶれ補正手段と
を有する撮像装置。 - 前記ぶれ補正手段は、
前記シャッターボタンが押される前に前記角度変位サンプリング手段によってサンプリングされた角度変位量が、1サンプリング間隔前にサンプリングされた角度変位量よりも大きいか否かを判定する比較手段と、
前記比較手段による比較の結果を変化の方向として記憶する変化方向記憶手段と、
前記変化方向記憶手段に記憶されている変化の方向の切り替わりの時間間隔から、前記シャッターボタンが押される前の角度変位量の変化の周波数を演算する周波数演算手段と、
前記周波数演算手段によって演算された、前記シャッターボタンが押される前の撮像装置の動きの周波数に所定の係数を掛けることにより、前記シャッターボタンが押された後の撮像装置の動きの周波数を求め、このようにして求めた、前記シャッターボタンが押された後の撮像装置の動きの周波数を、前記像ぶれの算出に用いる角度変位量算出手段と
を備えることを特徴とする請求項1に記載の撮像装置。 - 前記ぶれ補正手段はさらに、
前記シャッターボタンが押される前に前記サンプリング手段によりサンプリングされた角度変位量の最大値と最小値とを検出する振幅検出手段をさらに具備し、
前記角度変位量算出手段は、前記振幅検出手段によってシャッターボタンが押される前に検出された最大値と最小値を前記シャッターボタンが押される前の前記撮像装置の動きの振幅値として求め、前記シャッターボタンが押される前の前記撮像装置の動きの振幅値に所定の係数を掛けたものを前記シャッターボタンが押された後の前記撮像装置の動きの振幅値として、前記像ぶれの算出に用いることを特徴とする請求項2に記載の撮像装置。 - 前記ぶれ補正手段は、
前記角速度サンプリング手段によってサンプリングされた角速度と、1サンプリング間隔前にサンプリングされた角速度とを比較して、角速度が、予め定められた第1の領域から第2の領域へ、又は第2の領域から第1の領域へと変化したかどうかを検出する領域変化検出手段と、
前記領域変化検出手段で、変化が検出されたか否かに応じて、異なる式で、前記静止画像が取り込まれる時点での像ぶれを算出する角度変位量算出手段と
を有することを特徴とする請求項1に記載の撮像装置。 - 前記第1の領域が、前記角速度が正の値である領域であり、
前記第2の領域が、前記角速度が負の値である領域である
ことを特徴とする請求項4に記載の撮像装置。 - 前記領域変化検出手段で前記変化が検出されなかったときは、前記角度変位量算出手段は、前記静止画像が取り込まれる時点(θ0+δt)での像ぶれθ(t0+δt)を、下記の式
θ(t0+δt)=γ×β×sin(k×2πf×δt+θ0)
により算出し、
前記領域変化検出手段で前記変化が検出されたときは、前記角度変位量算出手段は、前記静止画像が取り込まれる時点(θ0+δt)での像ぶれθ(t0+δt)を、下記の式
θ(t0+δt)=γ×β×sin(k×2πf×δt+θ0−π)
により算出する
(γは所定の係数、
βはシャッターボタンが押される前の手ぶれの振幅値、
kは所定の係数、
sinは三角関数、
fは前記シャッターボタンが押される前の手ぶれの周波数、
δtはシャッターボタンが押されてから、撮像画像の静止画像としての取込みまでの時間遅れ、
θ0は時刻t0における位相である)
ことを特徴とする請求項5に記載の撮像装置。 - 前記光学系の位置を撮像素子に対して移動させるアクチュエータと、
前記アクチュエータを駆動するアクチュエータ駆動手段と、
前記ぶれ補正手段は、前記アクチュエータ駆動手段を制御して、前記撮像装置の動きを打ち消すように前記光学系を前記撮像素子に対して移動させることを特徴とする請求項1に記載の撮像装置。 - 前記撮像素子が光電変換を行う光電変換部と、前記撮像素子の垂直方向に電荷転送を行う垂直転送部と、前記光電変換部に蓄積された電荷を前記垂直転送部に読み出す読み出しゲート部とを具備し、
前記撮像素子駆動手段が、前記光電変換部に蓄積された電荷を前記垂直転送部に読み出した後、前記電荷を前記垂直転送部によって、前記手ぶれによる像ぶれを打ち消す方向に電荷転送し、前記読み出しの後に前記光電変換部で蓄積された電荷を前記垂直転送部に読み出すことにより、先に読み出され転送された電荷と加算する処理を1回以上行うように前記撮像素子における読み出し及び転送を制御する
ことを特徴とする請求項1に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005277498A JP4176099B2 (ja) | 2005-09-26 | 2005-09-26 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005277498A JP4176099B2 (ja) | 2005-09-26 | 2005-09-26 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007088997A JP2007088997A (ja) | 2007-04-05 |
JP4176099B2 true JP4176099B2 (ja) | 2008-11-05 |
Family
ID=37975513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005277498A Expired - Fee Related JP4176099B2 (ja) | 2005-09-26 | 2005-09-26 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4176099B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101519661B1 (ko) * | 2008-12-17 | 2015-05-22 | 엘지이노텍 주식회사 | 카메라 떨림 보정 방법 |
JP5780418B2 (ja) * | 2011-05-30 | 2015-09-16 | ソニー株式会社 | 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体 |
-
2005
- 2005-09-26 JP JP2005277498A patent/JP4176099B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007088997A (ja) | 2007-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101662589B (zh) | 摄像设备及其控制方法 | |
CN100380935C (zh) | 图像处理装置和方法 | |
US7714892B2 (en) | Systems, devices and methods for digital camera image stabilization | |
US8786734B2 (en) | Image pickup apparatus | |
US20060087707A1 (en) | Image taking apparatus | |
JP2012078495A (ja) | 撮像装置、ブレ補正装置及びブレ補正方法 | |
JP2014128016A (ja) | 撮像装置及びその制御方法 | |
US20090180012A1 (en) | Image sensing apparatus and method of controlling image sensing apparatus | |
JP4176099B2 (ja) | 撮像装置 | |
JP2005236662A (ja) | 撮像方法、撮像装置及び撮像システム | |
JP2000013670A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP4118290B2 (ja) | 撮像装置 | |
JP5094656B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2004363857A (ja) | 画像歪み補正機能付き撮像装置 | |
JP2008187614A (ja) | 撮影装置 | |
JP6717354B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2004363869A (ja) | 画像歪み補正機能付き撮像装置 | |
KR100562334B1 (ko) | 씨모스 영상 센서 왜곡 보정 방법 및 장치 | |
JP2008244670A (ja) | 撮像装置 | |
JP4569342B2 (ja) | 撮像装置 | |
JP2014075644A (ja) | 撮像素子及びその駆動方法 | |
JP2012028971A (ja) | 撮像装置 | |
JP4662835B2 (ja) | 撮像装置 | |
JP4665541B2 (ja) | 撮像装置および手ブレ補正方法 | |
JP4579098B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |