JP2007243904A - 撮像装置及び画像処理装置 - Google Patents

Abstract

【課題】所定のサンプリング周期でブレ量記憶手段に記憶する画像復元のためのブレ量データの記憶容量を大幅に減少させることができると共に、ホワイトノイズの影響を受けることがなく、さらに露出時間に影響されることなくブレ量のサンプリング周期を設定することができる撮像装置、画像処理装置を提供する。
【解決手段】被写体を撮影してデジタル画像情報を得るようにした撮像装置であって、撮影動作におけるブレに基づく角速度データを所定のサンプリング周期で検出するブレ量検出手段と、該ブレ量検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段（ステップＳ５，Ｓ７）と、該多項式係数算出手段で算出した多項式の係数を記憶する係数記憶手段（ステップＳ１０）とを備えた撮像装置。
【選択図】図４

Description

本発明は、被写体を撮影してデジタル画像情報を得るようにした撮像装置及び撮像装置で撮像した画像情報を補正して復元する画像処理装置に関する。

従来の撮像装置としては、例えば撮像装置の露出時間を検出する露出時間検出手段と、上記撮像装置の露出動作中におけるブレ量を時系列的に検出するブレ量検出手段と、上記露出時間検出手段により検出された露出時間に応じて上記ブレ量の検出サンプリング周期を設定する周期設定手段と、上記サンプリングされたブレ量を記憶するブレ量記憶手段と、上記ブレ量記憶手段に記憶されたブレ量情報を記録媒体に記録する記録手段とを具備する撮像装置及び記憶媒体に記録されたブレ量情報に基づいてブレの無い画像を復元する画像復元装置が知られている（例えば、特許文献１参照）。
特許第３１５２７５０号明細書

しかしながら、上記特許文献１に記載された従来例にあっては、撮像装置のブレ量を設定されたサンプリング周期で時系列的に検出し、サンプリングされたブレ量をブレ量記憶手段に記憶するようにしているので、設定されたサンプリング周期が短くなるにつれてブレ量記憶手段に記憶するブレ量のデータ量が増大することになり、特に、露出動作の前段階の撮影動作開始時からのブレ量を検出する場合にはよりデータ量が増大し、画像データと共に記憶するブレ量データが膨大となり、大容量のメモリが必要となるという未解決の課題がある。しかも、ブレ量検出手段で検出したブレ量をそのまま記憶するので、ホワイトノイズが入ったデータを記憶することになり、画像復元時にホワイトノイズを含むブレ量を利用して逆関数を離散的に求めるため、逆関数にサンプリング時のホワイトノイズの成分が含まれてしまい復元画像が劣化するという未解決の課題がある。

また、露出時間によってブレ量のサンプリング周期を変更する必要があるので、そのためのサンプリング周期設定手段が必要となり、構成が複雑となるという未解決の課題もある。
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、所定のサンプリング周期でブレ量記憶手段に記憶する画像復元のためのブレ量データの記憶容量を大幅に減少させることができると共に、ホワイトノイズの影響を受けることがなく、さらに露出時間に影響されることなくブレ量のサンプリング周期を設定することができる撮像装置及び撮像装置で撮像した画像を補正して復元する画像処理装置を提供することを目的としている。

本発明の第１の技術手段は、被写体を撮影してデジタル画像情報を得るようにした撮像装置であって、撮影動作における角速度データを所定のサンプリング周期で検出する撮影動作検出手段と、該撮影動作検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段と、該多項式係数算出手段で算出した多項式の係数を記憶する係数記憶手段とを備えたことを特徴としている。

この第１の技術手段では、撮影動作検出手段で検出した所定のサンプリング周期の角速度データを最小二乗法、逐次最小二乗法、カルマンフィルタ等を使用して多項式に近似するので、メモリ容量を多項式の係数分のメモリ容量とすることができ、ブレ量、チルト、パーン等の撮影動作を正確に検出してブレの無い画像を復元するために必要なデータ量を大幅に削減することができる。このため、実際の露出動作の前後を含む撮影動作全体の撮影動作データを記憶させることができ、正確なブレ量測定を行うことができる。特に、最小二乗法を使用して多項式に近似することにより、撮影動作データに含まれるホワイトノイズ成分を少なくすることができ、実際の角速度データにより近いサンプルデータを得ることができる。

また、第２の技術手段は、被写体を撮影してデジタル画像情報を得るようにした撮像装置であって、撮影動作における角速度データを所定のサンプリング周期で検出する撮影動作検出手段と、該撮影動作検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段と、該多項式係数算出手段で算出した多項式の係数を記憶する係数記憶手段と、該係数記憶手段で記憶した多項式の係数に基づいて撮影動作の補正を行って補正後の画像を復元する画像復元手段とを備えたことを特徴としている。

この第２の技術手段では、上記第１の技術手段の効果に加えて、係数記憶手段で記憶した多項式の係数に基づいて撮影動作の補正を行って補正後の画像を復元する画像復元手段を備えているので、多項式の形式での撮像装置のブレ量、チルト、パーン等の撮影動作に基づいてブレ量の無い画像を復元しているので、簡単且つ低コストで、高精度のブレ画像復元を行うことができる。

さらに、本発明の第３の技術手段は、第１又は第２の技術手段において、前記撮影動作検出手段は角速度センサで構成されていることを特徴としている。
この第３の技術手段では、ブレ量、チルト、パーン等の撮影動作を角速度として正確に検出することができる。
さらにまた、本発明の第４の技術手段は、第１又は第２の技術手段において、前記角速度センサは、ジャイロセンサで構成されていることを特徴としている。

この第４の技術手段では、ジャイロセンサで角速度をブレ量、チルト、パーン等の撮影動作として検出するので、正確な角速度を検出することができる。
なおさらに、本発明の第５の技術手段は、上記第１乃至第４の技術手段の１つにおいて、前記多項式係数算出手段は、最小二乗法及び逐次最小二乗法の何れか一方を適用してサンプル時刻と角速度データとを多項式に近似し、近似した多項式の係数を算出するように構成されていることを特徴としている。
この第５の技術手段では、最小二乗法又は逐次最小二乗法を適用してサンプル時刻と角速度データとを多項式に近似しているので、角速度データに含まれるホワイトノイズ成分を少なくすることができ、実際の角速度データにより近いサンプルデータを得ることができる。

また、本発明の第６の技術手段は、被写体を撮影してデジタル画像情報を得る撮像手段と、撮影動作における角速度データを所定のサンプリング周期で検出する撮影動作検出手段と、該撮影動作検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段と、該多項式係数算出手段で算出した多項式の係数を前記撮像手段で撮像したデジタル画像情報と共に記憶する情報記憶手段とを備えた撮像装置と、該撮影装置の情報記憶手段に記憶されたデジタル画像情報及び多項式の係数に基づいて撮影動作の補正を行って補正後の画像情報を復元する画像復元手段と、該画像復元手段で復元した画像情報を出力する画像情報出力手段とを備えたことを特徴としている。

この第６の技術手段では、撮像装置で、第１の技術手段と同様に撮影動作検出手段で検出した所定のサンプリング周期の角速度データを最小二乗法、逐次最小二乗法、カルマンフィルタ等を使用して多項式に近似するので、メモリ容量を多項式の係数分のメモリ容量とすることができ、ブレ量、チルト、パーン等の撮影動作を正確に検出してブレの無い画像を復元するために必要なデータ量を大幅に削減することができる。このため、実際の露出動作の前後を含む撮影動作全体の撮影動作データを記憶させることができ、正確なブレ量測定を行うことができる。特に、最小二乗法を使用して多項式に近似することにより、撮影動作データに含まれるホワイトノイズ成分を少なくすることができ、実際の角速度データにより近いサンプルデータを得ることができる。そして、画像処理装置の画像復元手段でブレ量、移動軌跡等の撮影動作の補正を行って撮影動作の影響を受けない画像情報を復元して画像情報出力手段に出力することにより、印刷、表示等を行うことができる。

さらに、本発明の第７の技術手段は、被写体を撮影してデジタル画像情報を得る撮像手段と、撮影動作における角速度データを所定のサンプリング周期で検出する撮影動作検出手段と、該撮影動作検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段と、該多項式係数算出手段で算出した多項式の係数を前記撮像手段で撮像したデジタル画像情報と共に記憶する情報記憶手段とを備えた撮像装置の前記情報記憶手段に記憶されたデジタル画像情報及び多項式の係数に基づいて撮影動作の補正を行って補正後の画像情報を復元する画像復元手段と、該画像復元手段で復元した画像情報を出力する画像情報出力手段とを備えたことを特徴としている。

この第７の技術手段では、第６の技術手段と同様に、撮像装置の情報記憶手段に記憶されたデジタル画像情報及び多項式の係数に基づいて画像復元手段で画像復元を行う撮影動作の影響を受けない画像情報を復元し、復元した画像情報を画像情報出力手段で、印刷、表示等を行うことができる。
さらにまた、本発明の第８の技術手段は、第６又は第７の技術手段において、前記撮影動作検出手段は角速度センサで構成されていることを特徴としている。

この第８の技術手段では、ブレ量、チルト、パーン等の撮影動作を角速度として正確に検出することができる。
なおさらに、本発明の第９の技術手段は、第８の技術手段において、前記角速度センサは、ジャイロセンサで構成されていることを特徴としている。
この第９の技術手段では、ジャイロセンサで角速度をブレ量、チルト、パーン等の撮影動作として検出するので、正確な角速度を検出することができる。

また、本発明の第１０の技術手段は、第６〜第９の技術手段の何れか１つにおいて、前記多項式係数算出手段は、最小二乗法及び逐次最小二乗法の何れか一方を適用してサンプル時刻と前記角速度データとを多項式に近似し、近似した多項式の係数を算出するように構成されていることを特徴としている。
この第１０の技術手段では、最小二乗法又は逐次最小二乗法を適用してサンプル時刻と角速度データとを多項式に近似しているので、角速度データに含まれるホワイトノイズ成分を少なくすることができ、実際の角速度データにより近いサンプルデータを得ることができる。

さらに、本発明の第１１の技術手段は、第６〜第１０の技術手段の何れか１つにおいて、前記情報記憶手段は、デジタル画像情報をＪＰＥＧ方式による画像圧縮を行って画像ファイルに格納し、該画像ファイルのヘッダに前記多項式係数算出手段で算出した多項式の係数を付加して記憶するように構成されていることを特徴としている。
この第１１の技術手段では、デジタル画像情報をＪＰＥＧ方式で画像圧縮を行って画像ファイルを構成し、この画像ファイルのヘッダに多項式の係数を付加して記憶するので、画像ファイル内に多項式の係数も一緒に格納することができ、画像情報と多項式係数との対応付けを容易に行うことができる。

さらにまた、本発明の第１２の技術手段は、第６〜第１１の技術手段の何れか１つにおいて、前記情報記憶手段は、メモリカードで構成されていることを特徴としている。
この第１２の技術手段では、メモリカードに多項式係数を付加した画像ファイルを格納するので、撮像装置と画像処理装置との間でのデータ授受を容易に行うことができる。

なおさらに、本発明の第１３の技術手段は、第６〜第１２の技術手段の何れか１つにおいて、前記画像情報出力手段は、印刷装置及び画像表示装置の何れかで構成されていることを特徴としている。
この第１３の技術手段では、プリンタで構成される印刷装置やプロジェクタ、テレビで構成される画像表示装置で、撮影動作の影響を受けることない画像を復元することができる。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の一実施形態を示す概略構成図であり、図中、ＤＣは被写体像をデジタル静止画像情報として撮影する撮像装置としてのデジタルスチルカメラである。
このデジタルスチルカメラＤＣは、カメラレンズ１によって被写体像がその後段に配設された固体撮像素子２に結像される。この固体撮像素子２は、固体撮像素子駆動回路４からの駆動信号によって光電変換を行い、その光電変換出力がカメラ系信号処理部３に供給され、このカメラ系信号処理部３で、サンプリング処理、ＡＧＣ処理を行った後にＡ／Ｄ変換処理によってデジタルデータに変換してからガンマ補正処理、エンコード処理等が行われて画像メモリ５に入力される。ここで、ズームレンズ１及び固体撮像素子２で撮像手段が構成されている。

画像メモリ５から読出された画像データが液晶ディスプレイ、有機ＥＬディスプレイ等で構成される表示器１５に供給されると共に、記録系信号処理部６に出力され、この記録系信号処理部６でＪＰＥＧ変換等を行ってＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ等で構成される係数記憶手段としての不揮発性メモリＮＭに記憶される。
一方、手振れ補正を行うために、デジタルスチルカメラＤＣの筐体に垂直方向及び水平方向のコリオリ力が発生したときにこれを検出するブレ量検出手段としての例えばジャイロセンサ（ジャイロスコープ）で構成される垂直方向及び水平方向角速度センサ８及び９が設けられ、これら垂直方向及び水平方向角速度センサ８及び９から出力される検出信号が帯域制限フィルタ１０及び１１に供給されて帯域制限された後、増幅器１２及び１３で増幅されてからＡ／Ｄ変換器１４によって所定サンプリング周期でデジタル信号に変換されてバッファメモリ１６に一時格納される。そして、バッファメモリ１６に格納された垂直方向及び水平方向の角速度データがデジタルスチルカメラＤＣの制御を統括するマイクロコンピュータ７に読出される。

そして、マイクロコンピュータ７では、シャッタ開閉センサ１７からのシャッタ開閉信号ＳＳが入力されたときに、このシャッタ開閉信号がシャッタ開状態となっている間及びその前後の所定時間のバッファメモリ１６に格納されている垂直方向及び水平方向の角速度データを読込み、読込んだ角速度データを多項式近似処理して多項式の係数を算出し、算出した係数を記録系信号処理部６が画像メモリ５から画像データを読込むタイミングで記録系信号処理部６に出力して、この記録系信号処理部６で画像データと共に信号処理してメモリカード等の不揮発性メモリＮＭに記憶する。

また、マイクロコンピュータ７では、不揮発性メモリＮＭに記憶されている画像データ及び多項式の係数を読出し、多項式の係数に基づいてブレ量の無い画像データを復元する画像復元処理を行ってブレ量の無い画像データを表示器１５に表示する。
ここで、ブレ量を含んだブレ量データからブレの無い画像を復元する理論的背景は、以下のようになる。

すなわち、被写体ｆ（ｘ，ｙ）が時間−Ｔ／２からＴ／２の間にｘ方向にα(t)、ｙ方向にβ(t)運動すると過程した場合に得られるブレ画像ｇ（ｘ，ｙ）は下記（１）式で表すことができる。

この（１）式の両辺をフーリエ変換すると、

となり、この（２）式は下記（３）式に変形することができる。

この（３）式は最終的には下記（４）式に変形することができる。

ここで、

である。

また、Ｈ（ｕ，ｖ）は、下記（６）式で表すことができる。

上記（５）式でｐとｑとが分かっていれば、上記（６）式からＨ（ｕ，ｖ）が求まるため、ブレ量を含む画像のフーリエ変換を求めた後、

とすれば、元画像のフーリエ変換が求まる。

以上は、Δｔ時間の間に被写体がｘ方向にｐピクセル、ｙ方向にｑピクセル移動した場合に、ブレ画像ｇ（ｘ，ｙ）が得られた場合の被写体画像ｆ（ｘ，ｙ）を求める方法である。

さらに、複数のΔｔ時間に（ｐ１，ｑ１）、（ｐ２，ｑ２）……（ｐＮ，ｑＮ）移動した場合に得られたブレ画像から被写体の画像を求める場合は、以下の通りに計算する。

この場合の被写体の移動量のグラフは図２（ａ）及び（ｂ）に示すようになる。
ここで、（８）式の両辺をフーリエ変換することにより、下記（９）式が得られる。

ここで、Ｈ_i（ｕ，ｖ）は下記（１０）式で表すことができる。

したがって、ブレ量を含むブレ画像ｇ（ｘ，ｙ）とｘ方向のブレ量ｐｉ、ｙ方向のブレ量ｑｉが求まれば被写体の画像ｆ（ｘ，ｙ）を求めることができる。
なお、ブレ量ｐｉ，ｑｉは、各々ｘ方向及びｙ方向の角速度センサの測定値より求めることができる。

ところで、本実施形態では、デジタルスチルカメラのカメラレンズ１の光軸方位の変動状況を検出する角速度センサ２成分（角速度センサ８，９）は、図３に示すように、固体撮像素子２の平面内の直交ベクトル成分に対応するものである。これら２つの角速度成分は、図３に示すように、θｘ及びθｙの変数で表される。
この角度成分に補正係数λｘ及びλｙを乗算することにより、画像のｘ軸方向或いはｙ軸方向のブレ量（ピクセル）を求めることができる。

ここで、画像のＸ方向のブレ量はθｙ×λｘ、画像のｙ方向のブレ量はθｘ×λｙとなる。この場合の角速度センサ８，９より求めたブレ量の変化の様子は前述した図２に示した通りである。
角速度センサ８及び９の各角速度データをサンプリング間隔Δｔ（例えば４０〜４００Ｈｚの範囲の任意の周波数）でサンプリングし、それをバッファメモリ１６に時系列的に格納しておく、シャッタ開閉センサ１７を変動抜でシャッタが閉じられた後での数サンプルのデータを使用して、角速度の変化を時間の多項式関数として求める。その際、画像データは画像メモリ５に蓄積する。

そして、バッファメモリ１６に蓄積された各角速度データをマイクロコンピュータ７で図４に示す多項式近似処理を実行することにより、係数ａ₀〜ａ_Mを算出し、算出した係数ａ₀〜ａ_Mを画像メモリ５に記憶した画像データと共に不揮発性メモリNMに記憶する。
この多項式近似処理は、図４に示すように、先ず、シャッタ開閉センサ１７で検出したシャッタ開閉信号ＳＳを読込み、次いでステップＳ２に移行して、読込んだシャッタ開閉信号ＳＳが例えばシャッタ開状態を表すオン状態からシャッタ閉状態を表すオフ状態に変化したか否かを判定し、シャッタ開閉信号ＳＳがオン状態又はオフ状態であるときにはシャッタ開閉信号ＳＳがオン状態からオフ状態となるまで待機し、シャッタ開閉信号ＳＳがオン状態からオフ状態となったときには、ステップＳ３に移行する。

このステップＳ３では、シャッタ開閉信号ＳＳがオフ状態となってから所定時間が経過したか否かを判定し、所定時間が経過していないときにはこれが経過するまで待機し、所定時間が経過したときにはステップＳ４に移行して、バッファメモリ１６に記憶されている垂直方向及び水平方向の角速度データθｘ及びθｙの時系列データからシャッタ開閉信号ＳＳがオン状態となる前の数又は数十サンプルデータ、シャッタ開閉信号ＳＳがオン状態となっている間のサンプルデータ及びシャッタ開閉信号ＳＳかオフ状態となってからの数又は数十サンプルデータを撮影動作時の角速度データとして連続的に読出してからステップＳ５に移行する。

このステップＳ５では、読込んだ角速度データθｘ₁〜θｘ_m及びθｙ₁〜θｙ_mについて最小二乗法を適用して角速度の変化と時間との多項式関数として求める係数算出処理を行う。

この最小二乗法では、角速度センサ８の角速度データと測定時間との測定の組を（ｘ_i，ｙ_i）とした場合、
ｆ（ａ，ｘ） ａ＝（ａ₀，ａ₁，……，ａ_m） ………（１１）
と近似できるものと仮定する。

ある測定点（ｘ_i，ｙ_i）と近似多項式との誤差をε_iとすれば、
ε_i＝ｙ_i−ｆ（ａ，ｘ） …………（１２）
と表すことができる。

評価関数をＪとすると、この評価関数Ｊは、

となる。

この評価関数Ｊを最小にするようにａを求めるのが最小二乗法である。そのために（１３）式の両辺をａ_kで偏微分し、これを０とおけば、

となる。

また、前記（１１）式からｆ（ａ，ｘ）は
ｆ（ａ，ｘ）＝ａ₀＋ａ₁ｘ＋ａ₂ｘ²＋……＋ａ_mｘ^m …………（１５）
で表されるので、

となる。

したがって、（１４）式は、

と表される。これを計算して整理すると、ｍ＝９としたとき下記（１８）式の通りとなる。

この式（１８）を解いて、ａ_i(N)(ｉ＝０，……，９)を求めることにより、ｙ＝ｆ（ａ，ｘ） ａ＝（ａ₀，ａ₁，……，ａ₉）を求めることができる。
次いで、ステップＳ６に移行して、上記のようにして算出した１０個の係数ａ₀(N)〜ａ₉(N)をバッファメモリ１６に格納し、次いでステップＳ７に移行して、角速度センサ９についても上記と同様の係数算出処理を行って１０個の係数ｂ₀(N)〜ｂ₉(N)を算出し、次いでステップＳ８に移行して、算出した係数ｂ₀(N)〜ｂ₉(N)をバッファメモリ１６に格納してからステップＳ９に移行する。

このステップＳ９では、記録系信号処理部６から画像メモリ５の画像データを読込むタイミング信号が入力されたか否かを判定し、タイミング信号が入力されていないときにはこれが入力されるまで待機し、タイミング信号が入力されたときにはステップＳ１０に移行して、バッファメモリ１６に格納されている角速度センサ８及び９の係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を記録系信号処理部６に出力して、この記録系信号処理部６で画像データに角速度センサ８及び９の係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を付加して不揮発性メモリＮＭに記憶してから多項式近似処理を終了する。

また、マイクロコンピュータ７では、不揮発性メモリＮＭに格納されている画像データから復元したい所望の画像データを選択すると共に、画像復元スイッチ１８のスイッチ信号をオン状態として画像復元要求が入力されると、図５に示す画像復元処理を実行する。
この画像復元処理では、先ず、ステップＳ２１で、画像データに付加されている角速度センサ８及び９の近似多項式の係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を分離し、次いでステップＳ２２に移行して、係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)に基づいてｘ方向の運動量α(t)及びｙ方向の運動量β(t)を算出する。

α(t)＝θｙ(t)・λｘ＝ａ₀＋ａ₁ｘ＋ａ₂ｘ²＋……＋ａ₉ｘ⁹ …………（１９）

β(t)＝θｘ(t)・λｙ＝ｂ₀＋ｂ₁ｘ＋ｂ₂ｘ²＋……＋ｂ₉ｘ⁹ …………（２０）

ここで、上記（１９）式及び（２０）式は、前述の方法で得られた角速度センサ８，９の多項式を

とすれば、各方向の角度の変化分は

で表されるので、前記（８）式のα(t)及びβ(t)は前記（１９）式及び（２０）式で表すことができる。

次いで、ステップＳ２３に移行して、算出した運動量α(t)及びβ(t)に基づいて下記（２３）式の演算を行って、Ｈ（ｕ，ｖ）を算出する。

次いで、ステップＳ２４に移行して、不揮発性メモリＮＭに記憶されているブレ量を含むブレ画像ｇ（ｘ，ｙ）をフーリエ変換してＧ（ｕ，ｖ）を求め、次いでステップＳ２５に移行して、下記（２４）式の演算を行ってＦ（ｕ，ｖ）を算出する。

Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） …………（２４）

次いで、ステップＳ２６に移行して、算出したＦ（ｕ，ｖ）を逆フーリエ変換することにより、ブレ補正後の画像ｆ（ｘ，ｙ）を復元することができる。
次いで、ステップＳ２７に移行して、復元した画像ｆ（ｘ，ｙ）を表示器１５に出力することにより、ブレの無い画像を復元することができる。
ここで、図４の多項式近似処理で、ステップＳ４の処理及び角速度センサ８，９がブレ量検出手段に対応し、ステップＳ５及びＳ７の処理が多項式係数算出手段に対応し、ステップＳ１０の処理及び不揮発性メモリＮＭが係数記憶手段に対応している。また、図５の画像復元処理が画像復元手段に対応している。

次に、上記第１の実施形態の動作を説明する。
先ず、デジタルスチルカメラ１のカメラレンズ１を被写体に向けて図示しないレリーズボタンを押圧することにより、露出計で測光された露出に基づいてシャッタ速度が算出され、算出されたシャッタ速度でシャッタが作動されることにより、カメラレンズ１を通った画像が固体撮像素子２上に投影される。
この固体撮像素子２上に投影された画像情報が固体撮像素子駆動回路４からの駆動信号によって順次読出され、カメラ系信号処理部３で所定の信号処理が行われて画像データとして画像メモリ５に記憶される。この画像メモリ５に記憶された画像データは表示器１５に供給されて表示される。この表示器１５に表示された画像データはブレ量を含んだ画像データであり、表示された画像データからブレ量の程度を判断することができる。

このとき、シャッタが作動されることにより、マイクロコンピュータ７で図４に示す多項式近似処理が実行される。この多項式近似処理では、シャッタ開閉センサ１７からシャッタが開いてから閉じるときにオン状態からオフ状態に反転するシャッタ開閉信号ＳＳがマイクロコンピュータ７に入力されると、この時点から所定時間即ちＡ／Ｄ変換器１４で角速度数センサ８及び９の角速度データを予め設定した数サンプル分の角速度データがバッファメモリ１６に格納される時間が経過した時点で、バッファメモリ１６からシャッタが開状態となる前の数サンプル分とシャッタが開状態を継続している間のサンプル分とシャッタが閉じてからの数サンプル分とを合計した連続的な角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_Nを読出す。

そして、読出した角速度データθｘ₀〜θｘ_N及びθｙ₁〜θｙ_Nに基づいて近似した多項式の係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を算出し、これらをバッファメモリ１６に一時記憶し、その後記録系信号処理部６が画像メモリ５に記憶された画像データを読込むタイミングで係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を記録系信号処理部６に供給することにより、画像データに係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)が付加され、これらについてＪＰＥＧ変換等を行って不揮発性メモリＮＭに記憶される。

このように不揮発性メモリＮＭに画像データが記憶され、表示器１５にブレ量を含むブレ画像データを表示している状態で、画像復元スイッチ１８をオン状態とすると、マイクロコンピュータ７で図５に示す画像復元処理が実行される。
このため、不揮発性メモリＮＭに記憶されている画像データに付加されている多項式の係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を分離し、これら係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)前記（１９）式及び（２０）式の演算を行ってｘ方向の運動量α(t) 及びｙ方向の運動量β(t) を算出する（ステップＳ２２）。

次いで、算出した運動量α(t) 及びβ(t) に基づいて前記（２１）式の演算を行ってＨ（ｕ，ｖ）を算出し（ステップＳ２３）、次いで不揮発性メモリＮＭに記憶されているブレ量を含むブレ画像ｇ（ｘ，ｙ）をフーリエ変換してＧ（ｕ，ｖ）を求め、次いで前記（２２）式の演算を行ってＦ（ｕ，ｖ）を算出し（ステップＳ２５）、算出したＦ（ｕ，ｖ）を逆フーリエ変換することにより、ブレ補正後のブレの無い画像ｆ（ｕ，ｖ）を復元することができ、この画像ｆ（ｕ，ｖ）を表示器１５に出力することにより、ブレの無い画像を復元することができる。

このように、上記第１の実施形態によると、シッャタを開状態としている間のサンプルデータとその前後の数サンプル分の連続した角速度データθｘ₁′〜θｘ_N′及びθｙ₁′〜θｙ_N′について角速度の変化と時間との多項式関数の係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を算出し、算出した係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を画像データに付加してＪＰＥＧ変換等の信号処理を行って不揮発性メモリＮＭに記憶するので、画像を復元するために必要とするデータとして係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)のみで済み、記憶容量を大幅に縮小することができる。

しかも、ブレの無い画像データを復元する際には、係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)に基づいてｘ方向の運動量α(t) 及びｙ方向の運動量β(t) を算出し、これらに基づいてＨ（ｕ，ｖ）を算出すると共に、不揮発性メモリＮＭに記憶されているブレ量を含むブレ画像データｇ（ｕ，ｖ）をフーリエ変換してＧ（ｕ，ｖ）を求めれば、前記（２２）式によってＦ（ｕ，ｖ）を求めることができ、このＦ（ｕ，ｖ）を逆フーリエ変換することにより、ブレ補正後のブレ量の無い画像ｆ（ｘ，ｙ）を求めることができ、ブレ量の無い画像データを正確に復元することができる。

また、最小自乗法を適用して係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を算出するので、ホワイトノイズが少なく実際の角速度データにより近いサンプルデータを得ることができる。
さらに、撮影開始前に数サンプル、撮影終了後に数サンプルの角速度データを取得し、そのデータを使用して近似多項式を作成することにより、撮影開始前後、撮影終了前後の角速度データを正確に推定することができる。このように多項式近似を行うため、その際に、サンプリング時間情報とシャッタタイミング時間情報があれば、シャッタタイミングとジャイロのサンプリングのタイミングとを同期させる必要はなく、しかもブレの逆関数を多項式の連続関数として表現できるため、逆関数の計算が簡単になると共に、角速度センサ８，９のサンプルレートによらず正確な逆関数を求めることができる。

次に、本発明の第２の実施形態を図６について説明する。
この第２の実施形態では、マイクロコンピュータ７で実行する多項式近似処理が図６に示すように、前述した第１の実施形態における図４の処理において、ステップＳ５の係数算出処理が逐次最小二乗法を適用して角速度データθｘ₁〜θｘ_Nに基づいて係数ａ₀(N)〜ａ₉(N)を算出するステップＳ１５に変更され、同様にステップＳ７の係数算出処理が逐次最小二乗法を適用して角速度データθｙ₁〜θｙ_Nに基づいて係数ｂ₀(N)〜ｂ₉(N)を算出するステップＳ１７に変更されていることを除いては図４と同様の処理を行い図４との対応処理には同一ステップ番号を付し、その詳細説明はこれを省略する。

すなわち、ステップＳ１５の係数算出処理は、前述した最小二乗法による前記（１８）式において、

とすれば、

として、前記（８）式は以下のように表すことができる

この（２９）式より、
Ａ(N)＝Ｆ^-1(N)Ｆ(N-1)Ａ(N-1)＋ｙ_NＦ^-1(N)Ｘ(N) ……（３０）

となる。（２９）式及び（３０）式を用いることにより、逐次的に多項式の係数を求めることができる。これが逐次最小二乗法である。

つまり、Ｎ番目の時点での推定係数は、１回前のＮ−１番目の時点での推定係数とＮ番目のデータに基づく修正だけから成り立つことを意味しており、上記（２８）式により、逐次敵に近似多項式の係数を求めることができる。この際、予め初期値Ｆ(0)及びＡ(0)を与えておく必要がある。
このように逐次最小二乗法を適用する場合には、前述した第１の実施形態のように最小二乗法により多項式を求める場合に、（ｘ_i，ｙ_i）のＮ個の組における全てのデータを一旦バッファメモリ１６に蓄えてから前記（１８）式の連立方程式を解くため、例えばＮ＝５０００の場合、一時的に５０００組を記憶するメモリ容量が必要となるが、逐次最小二乗法を適用した場合、ｍ＝９であれば、ｍ×３＝２７個のメモリ容量のみで済むので、結果的にメモリ容量をより減少させることが可能となる。

なお、上記第１及び第２の実施形態においては、不揮発性メモリＮＭを適用して、この不揮発性メモリＮＭにブレ量を含む画像データに係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を付加したデータをＪＰＥＧ変換して記憶する場合について説明したが、これに限定されるものではなく、画像情報をＪＰＥＧ変換して画像圧縮し、そのＪＰＥＧファイルのＥｘｉｆ ＩＦＤ内のユーザコメントタグに多項式の係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を記録するようにしてもよく、さらにはハードディスクやＲＡＭを画像ＲＡＭを使用して画像データに係数ａ₀(N)〜ａ₉(N)及びｂ₀(N)〜ｂ₉(N)を付加したデータを直接格納したり、ＪＰＥＧ変換を行ってから格納したりするようにしても良い。
また、上記第１及び第２の実施形態においては、マイクロコンピュータ７で多項式近似処理及び画像復元処理を行う場合について説明したが、これら多項式近似処理及び画像復元処理を個別のマイクロコンピュータで行うようにしてもよい。

さらに、上記第１及び第２の実施形態においては、角速度データからブレ量を算出する場合について説明したが、これに限定されるものではなく、角速度データから撮像装置のチルト、パーン等の撮影動作を検出して、撮像装置の移動軌跡を多項式で近似し、移動軌跡情報を多項式の係数の形式で不揮発性メモリＮＭに記憶させることにより、少ないメモリ容量で撮像装置の移動軌跡を記憶することができる。この移動軌跡とブレ量とに基づいて正確なブレ補正を行うことができると共に、チルト、パーン時の画像補正も行うことができる。
さらに、上記第１及び第２の実施形態においては、デジタルスチルカメラＤＣに本発明を適用した場合について説明したが、これに限定されるものではなく、ブレが生じる画像データを撮影するカメラ付き携帯電話機やカメラ機能を有する携帯機器にも本発明を適用することができる。

次に、本発明の第３の実施形態を図７〜図９について説明する。
この第３の実施形態では、上述したデジタルカメラＤＣの不揮発性メモリＮＭがメモリカード３０で構成され、このメモリカード３０に画像情報をＪＰＥＧ変換して記憶すると共に、そのＪＰＥＧ画像ファイルのＥｘｉｆ ＩＦＤ内の階層化されたユーザタグに図８に示す撮影動作データを格納した撮影動作記憶テーブルを記憶する。
ここで、ＪＰＥＧの画像ファイルの構成は、図７（ａ）に示すように、データ構成の最上位層には、ＪＰＥＧ圧縮方式を用いた画像データ交換用のフォーマットファイルであるＪＦＩＦ（ＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）ファイルの開始を表すセグメントであるＳＯＩ（Ｓｔａｒｔ ｏｆ ｉｍａｇｅ ｓｅｇｍｅｎｔ）２１が配置されている。

このＳＯＩ２１の下層には、ヘッダとしての後述するＡＰＰ１（Ａｐｐｌｉｃａｔｉｏｎ ｌａｙｅｒ １）２２が配置され、このＡＰＰ１２２の下層には、画像データを量子化するための量子化因子を定義した量子化テーブルセグメントであるＤＱＴ（Ｄｅｆｉｎｅ ｑｕａｎｔｉｚａｔｉｏｎ ｔａｂｌｅ ｓｅｇｍｅｎｔ）２３が配置されている。
このＤＱＴ２３の下層には、ハフマン符号化法における可変長コードと固定長コードとの対応を定義したセグメントであるＤＨＴ（Ｄｅｆｉｎｅ Ｈｕｆｆｍａｎ ｔａｂｌｅ ｓｅｇｍｅｎｔ）２４が配置されている。

このＤＨＴ２４の下層には、ハフマン符号化法で符号化されたデータであることを表すセグメントであるＳＯＦ（Ｓｔａｒｔ ｏｆ ｆｒａｍｅ ｔｙｐｅ ｓｅｇｍｅｎｔ）２５が配置されている。
このＳＯＦ２５の下層には、ハフマン符号化されたイメージデータと、そのヘッダファイルの大半を占めるセグメントであるＳＯＳ（Ｓｔａｒｔ ｏｆ ｓｃａｎ ｓｅｇｍｅｎｔ）２６が配置されている。

このＳＯＳ２６の下層には、ＪＰＥＧ規格におけるエントロピー符号化データに対応するデータ、即ち画像データであるＣｏｍｐｒｅｓｓｅｄ Ｄａｔａ２７が配置されている。
このＣｏｍｐｒｅｓｓｅｄ Ｄａｔａ２７の下層には、ＪＦＩＦファイルの終わりを表すセグメントであるＥＯＩ（Ｅｎｄ ｏｆ ｉｍａｇｅ ｓｅｇｍｅｎｔ）が配置されている。

そして、ＡＰＰ１２２の構成は、最上位層にアプリケーションレイヤの始まりを示すマーカであるＡＰＰ１ Ｍａｒｋｅｒ３１が配置され、このＡＰＰ１ Ｍａｒｋｅｒ３１の下層にはマーカに続くフィールドのバイト数を表すデータであるＡＰＰ１ Ｌｅｎｇｔｈ３２が配置されている。
また、ＡＰＰ１ Ｌｅｎｇｔｈ３２の下層には、デジタルスチルカメラ用画像ファイルフォーマット規格であるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）識別子３３が配置され、このＥｘｉｆ識別子３３の下層には画像ファイル形式の１つであり、データに情報タグをつけ情報の格納場所を集めたＩＦＤ（Ｉｍａｇｅ Ｆｉｌｅ Ｄｉｒｅｃｔｏｒｙ）と、実際のデータとから構成されるＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）Ｈｅａｄｅｒ３４が配置されている。

さらに、ＴＩＦＦ Ｈｅａｄｅｒ３４の下層には、圧縮されている主画像に関する付属情報が記録される０ｔｈ ＩＦＤ３５が配置され、この０ｔｈ ＩＦＤ３５の下層には圧縮されている主画像を記録するＥｘｉｆ ＩＦＤ３６が配置されている。
さらにまた、Ｅｘｉｆ ＩＦＤ３６の下層には、サムネイル画像に関する付属情報が記憶される１ｓｔ ＩＦＤ３７が配置され、この１ｓｔ ＩＦＤ３７の下層にはサムネイル画像を記録するｔｈｕｍｂｎａｉｌ Ｄａｔａ３８が配置されている。

そして、Ｅｘｉｆ ＩＦＤ３６の構成は、図７（ｂ）に示すように、最上位層にＴａｇ Ｅｎｔｒｙ４１が配置されており、その下層にはＥｘｉｆ Ｖｅｒｓｉｏｎ４２、Ｔａｇ２４３というようにタグ情報が階層化されている。タグ情報の階層化の中にはＭａｋｅｒ Ｎｏｔｅ Ｔａｇ４４が配置されている。このＭａｋｅｒ Ｎｏｔｅ Ｔａｇ４４には、Ｍａｋｅｒ Ｎｏｔｅ Ｖａｌｕｅ Ｄａｔａ４５の位置を表すポインタとしてのＣｏｕｎｔ：Ｓ／Ｖａｌｕｅ：ｏｆｆｓｅｔが記憶されている。

Ｍａｋｅｒ Ｎｏｔｅ Ｖａｌｕｅ Ｄａｔａ４５は、メーカ毎の固有のデータであり、Ｅｘｉｆ Ｖａｌｕｅ Ｄａｔａ４６内に位置しており、このＭａｋｅｒ Ｎｏｔｅ Ｖａｌｕｅ Ｄａｔａ４５内に形成された階層化されたユーザタグ情報に図８に示す撮影動作データを格納した撮影動作記憶テーブルが格納されている。
撮影動作記憶テーブルは、図８に示すように、Ｘ軸について、センサ種類＝ジャイロ、シャッタ開時間＝ｔｏ（ｓｅｃ）、センササンプリング時間＝Ｔ（ｓｅｃ）、シャッタ閉時間＝ｔｃ（ｓｅｃ）、多項式の次数＝Ｎ、多項式の０次係数ａ₀、多項式の１次係数ａ₁……多項式のＫ次係数＝ａ_K、……多項式のＮ次係数ａ_Nで構成され、同様にＹ軸についてセンサ種類＝ジャイロ、シャッタ開時間＝ｔｏ（ｓｅｃ）、センササンプリング時間＝Ｔ（ｓｅｃ）、シャッタ閉時間＝ｔｃ（ｓｅｃ）、多項式の次数＝Ｍ、多項式の０次係数ｂ₀、多項式の１次係数ｂ₁……多項式のＫ次係数＝ｂ_K、……多項式のＮ次係数ｂ_Nで構成されている。

そして、第３の実施形態では、図９に示すように、画像処理装置としての例えばスタンドアロン型のプリンタ３１を有する。このプリンタ３１は、第１のＲＡＭ３２、ＲＯＭ３３、第２のＲＡＭ３４、プリンタヘッド３５及びＣＰＵ組込ＡＳＩＣ３６等を備えている。第１のＲＡＭ３２には、各種の記憶媒体やデジタルカメラから直接読込まれたデータ（画像データ等）が格納される。ＲＯＭ３３には、後述するＣＰＵ４１が処理を実行するために必要な制御プログラムが格納されている。本実施形態においては、ＲＯＭ３３には画像形成プログラムが格納されている。第２のＲＡＭ３４は、ＣＰＵ４１が処理を実行する際のワーキングメモリとして利用される。例えば、第2のＲＡＭ３４は、デジタルカメラから受信した画像データ(印刷イメージデータ等)を一時格納しておくためのバッファとして利用される。

プリンタヘッド３５は、主走行方向（紙送り方向と垂直な方向）に往復移動するキャリッジ（図示せず）の下端に設けられており、印刷用紙の搬送路に対向した面に各色用のノズルを多数個有している。このプリンタヘッド３５は、後述するヘッド制御回路４２の制御に基づいて主操作方向に往復移動しながら、各色のインク滴を夫々の色に対応したノズルから吐出することで、給紙された印刷用紙に画像を形成する。

ＣＰＵ組込みＡＳＩＣ３６は、ＣＰＵ４１、ヘッド制御回路４２、画像処理回路４３、メモリインタフェース回路（メモリＩ／Ｆ）４４、ＵＳＢホスト回路４５及びカードインタフェース回路（カードＩ／Ｆ）４６を備えており、それらは内部バス４７を介して相互に接続されている。この内部バス４７には、上述した第１の実施形態ＲＡＭ３２、ＲＯＭ３３及びコントロールパネル３７も接続されている。

ＣＰＵ４１は、ＲＯＭ３３に格納されているプログラムを読出し、そのプログラムに従った処理を実行することにより、プリンタ３１を統括的に制御する。例えば、ＣＰＵ４１は、後述する画像処理回路４３での画像形成処理、色変換処理、ハーフトーン処理及びマイクロウィーブ処理や、ヘッド制御回路４２でのキャリッジのモータの駆動制御を司る。 画像処理回路４３は第１のＲＡＭ３２に格納された画像データに対して、後述する撮影時の角速度データに基づいてブレ補正を行ってブレの無い画像情報を復元する画像復元処理を行い、画像復元処理を行った画像情報を第２のＲＡＭ３４に格納する。

ヘッド制御回路４２は、プリンタヘッド３５を往復移動させるキャリッジのモータの駆動を制御するとともに、画像処理回路４３で生成された各色の印刷データに基づいてインク滴の吐出の有無や、吐出するインク滴の量等を制御する。ＵＳＢホスト回路４５は、ケーブル５１を介してＵＳＢデバイスとなる外部記憶装置、デジタルカメラ等と接続され、ＣＰＵ４１の制御に基づいて、デジタルカメラ等とＵＳＢの規格に従った双方向のデータ通信を行う。
カードＩ／Ｆ４６は、スロット５２に、記録媒体としてのカードメモリ３０が装着されたときのインタフェース回路として機能し、記憶媒体に格納されたＪＰＥＧ画像ファイルをＣＰＵ４１の制御に基づいてプリンタ３１内部で処理可能なデータに変換する。
そして、ＣＰＵ４１は、図１０に示す画像印刷処理を実行する。

この画像印刷処理は、先ず、ステップＳ３１で、スロット５２に装着されたメモリカード３０に格納されているＪＰＥＧ画像ファイルから所望のＪＰＥＧ画像ファイルを読出し、次いでステップＳ３２に移行して、読出したＪＰＥＧ画像ファイルに角速度の多項式の係数ａ₀〜ａ_N及びｂ₀〜ｂ_Mが含まれているか否かを判定し、角速度の多項式の係数ａ₀〜ａ_N及びｂ₀〜ｂ_Mが含まれていないときにはステップＳ３３に移行して、ＪＰＥＧ画像ファイルに格納されている圧縮画像データを解凍するデコード処理を行ってＲＧＢの多階調データを生成し、次いでステップＳ３４に移行して、デコード処理後のＲＧＢの多階調データを画像処理回路４３を介して第２のＲＡＭ３４に格納し、次いでステップＳ３５に移行して第２のＲＡＭ３４に格納されているＲＧＢの多階調データを画像処理回路４３及びヘッド制御回路４２を介してプリンタヘッド３５へ送って画像データを印刷する印刷処理を行ってから前記ステップＳ３１に戻る。

一方、ステップＳ３２の判定結果が、ＪＰＥＧ画像ファイルに角速度の多項式の係数ａ₀〜ａ_N及びｂ₀〜ｂ_Mが含まれている場合には、ステップＳ３６に移行して、ＪＰＥＧ画像ファイルに格納されている圧縮画像データを解凍するデコード処理を行ってＲＧＢの多階調データを生成し、次いでステップＳ３７に移行して、デコード処理後のＲＧＢの多階調データを第１のＲＡＭ３４に格納し、次いでステップＳ３８に移行して、前述した第１の実施形態におけるマイクロコンピュータ７で実行する図５の画像復元処理におけるステップＳ２１〜ステップＳ２６と同様の画像復元処理を行って、ブレのない画像ｆ（ｘ，ｙ）を復元し、次いでステップＳ３９に移行して、復元した画像ｆ（ｘ，ｙ）を画像処理回路４３、メモリＩ／Ｆ４４を介して第２のＲＡＭ３４に格納する。

次いで、ステップＳ４０に移行して、第２のＲＡＭ３４に格納された復元画像ｆ（ｘ，ｙ）をメモリＩ／Ｆ４４及び画像処理回路４３を介し、さらにヘッド制御回路４２を介してプリンタヘッド３４に供給して、インクヘッドから印刷用紙に向けてインク滴を吐出させて、印刷用紙に画像情報を描画する。
このように、上記第３の実施形態によると、第１の実施形態におけるデジタルカメラＤＣで、メモリカード３０に画像情報をＪＰＥＧファイルとして格納すると共に、撮像した画像情報の前後の角速度データを例えば９次の多項式に近似させて、この多項式の係数ａ₀〜ａ₉及びｂ₀〜ｂ₉を算出し、算出した多項式の係数ａ₀〜ａ₉及びｂ₀〜ｂ₉ＪＰＥＧ画像ファイルのＡＰＰ１におけるＥｘｉｆ ＩＦＤの付属情報として格納する。

そして、撮影終了後に、デジタルカメラＤＣからＪＰＥＧ画像ファイルを格納したメモリカード３０を抜き出し、このメモリカード３０をプリンタ３１のスロット５２に装着する。
これにより、ＣＰＵ４１で、メモリカード３０に格納されているＪＰＥＧ画像ファイルを読込み、読込んだＪＰＥＧ画像ファイルから所望のＪＰＥＧ画像ファイルを選択すると、この選択したＪＰＥＧ画像ファイルには角速度データの多項式係数ａ₀〜ａ₉及びｂ₀〜ｂ₉が格納されているので、図１０のステップＳ３２からすステップＳ３７〜Ｓ４０に移行して画像復元処理を行う。この画像復元処理で、多項式の係数ａ₀〜ａ₉及びｂ₀〜ｂ₉に基づいてブレの無い画像復元を行って、復元画像を第２のＲＡＭ３３に格納し、格納した復元画像をプリンタヘッド３５へ送ることにより、ブレの無い復元画像を印刷することができる。

この第３の実施形態においても、画像情報の撮像時に検出した角速度データを多項式の係数で表現して記憶手段に記憶するので、メモリ容量を大幅に削減することができると共に、角速度データの伝送効率を向上させることができる。ＪＰＥＧ画像ファイル等に角速度データを埋め込む場合でも容易に埋め込むことができる。しかも、手振れ補正の場合には、多項式の次数は１０次以下の場合が殆どであり、少なくとも１０個のメモリ領域を用意すればよく、ＪＰＥＧ画像ファイルに容易に付加することができる。また、多項式の係数を付加した画像ファイルをメモリカード３０に格納することにより、デジタルカメラＤＣと画像処理装置としてのプリンタ３１との間のデータ授受を容易に行うことができる。

なお、上記第３の実施形態においては、デジタルカメラＤＣとプリンタ３１との間の画像情報の伝達をメモリカード３０を用いて行う場合について説明したが、これに限定されるものではなく、例えば図９に示すように、プリンタ３１のＵＳＢホスト回路４５にデジタルカメラＤＣをＵＳＢコード５１を介して接続することにより、デジタルカメラＤＣの不揮発性メモリＮＭに記憶された画像データと多項式係数ａ₀〜ａ_N及びｂ₀〜ｂ_Mとを直接プリンタ３１の第１のＲＡＭ３２に読込むようにしてもよい。

また、上記第３の実施形態においては、画像復元処理として第１の実施形態と同様の画像復元処理を行う場合について説明したが、これに限定されるものではなく、例えば特許第３１５２７５０号明細書に記載されている画像復元方法等の他の画像復元方法を適用することもできる。
さらに、上記第３の実施形態においては、本発明をプリンタに適用した場合について説明したが、これに限定されるものではなく、画像情報を再生するプロジェクタやテレビ等の表示装置に本発明を適用して手振れ補正した画像情報を復元して表示することができる。

さらに、上記各実施形態においては、手振れ補正を行う場合について説明したが、これに限定されるものではなく、デジタルカメラで連続的な動きで風景等を撮影して、パノラマ写真等の合成写真を作成する場合のデジタルカメラのパーン動作及びチルト動作を連続的な角速度データとして検出し、前述した手振れ補正と同様に検出した角速度データを多項式近似して、多項式の各次数の係数を記憶手段に記憶することにより、記憶手段に記憶された多項式の各次数の係数に基づいてデジタルカメラのパーン動作及びチルト動作によるカメラの移動軌跡を復元することができ、これに基づいて撮影した複数の画像情報を正確に合成した合成写真を形成することができる。

本発明の第１の実施形態を示す概略構成図である。 画像データのサンプル時間とブレ量との関係を示す特性線図である。 デジタルスチルカメラに生じる角速度の説明に供する模式図である。 マイクロコンピュータで実行する多項式近似処理手順の一例を示すフローチャートである。 マイクロコンピュータで実行する画像復元処理手順の一例を示すフローチャートである。 本発明の第２の実施形態におけるマイクロコンピュータで実行する多項式近似処理手順の一例を示すフローチャートである。 本発明の第３の実施形態におけるＪＰＥＧ画像ファイル構成を示す説明図である。 第３の実施形態に適用し得るデータテーブルの一例を示す説明図である。 第３の実施形態に適用し得るプリンタを示すブロック図である。 図９のＣＰＵで実行する画像印刷処理手順の一例を示すフローチャートである。

符号の説明

ＤＣ…デジタルスチルカメラ、１…カメラレンズ、２…固体撮像素子、３…カメラ系信号処理部、５…画像メモリ、６…記録系信号処理部、７…マイクロコンピュータ、８，９…角速度センサ、１４…Ａ／Ｄ変換器、１５…表示器、１６…バッファメモリ、１７…シャッタ開閉センサ、１８…画像復元スイッチ、３０…メモリカード、３１…プリンタ、３２…第１のＲＡＭ、３３…ＲＯＭ、３４…第２のＲＡＭ、３５…プリンタヘッド、３６…ＣＰＵ組込みＡＳＩＣ、４１…ＣＰＵ、４２…ヘッド制御回路、４３…画像処理回路、４６…カードインタフェース回路、５２…スロット

Claims (13)

1. 被写体を撮影してデジタル画像情報を得るようにした撮像装置であって、撮影動作における角速度データを所定のサンプリング周期で検出する撮影動作検出手段と、該撮影動作検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段と、該多項式係数算出手段で算出した多項式の係数を記憶する係数記憶手段とを備えたことを特徴とする撮像装置。
2. 被写体を撮影してデジタル画像情報を得るようにした撮像装置であって、撮影動作における角速度データを所定のサンプリング周期で検出する撮影動作検出手段と、該撮影動作検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段と、該多項式係数算出手段で算出した多項式の係数を記憶する係数記憶手段と、該係数記憶手段で記憶した多項式の係数に基づいて撮影動作の補正を行って補正後の画像を復元する画像復元手段とを備えたことを特徴とする撮像装置。
3. 前記撮影動作検出手段は角速度センサで構成されていることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記角速度センサは、ジャイロセンサで構成されていることを特徴とする請求項３に記載の撮像装置。
5. 前記多項式係数算出手段は、最小二乗法及び逐次最小二乗法の何れか一方を適用してサンプル時刻と前記角速度データとを多項式に近似し、近似した多項式の係数を算出するように構成されていることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 被写体を撮影してデジタル画像情報を得る撮像手段と、撮影動作における角速度データを所定のサンプリング周期で検出する撮影動作検出手段と、該撮影動作検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段と、該多項式係数算出手段で算出した多項式の係数を前記撮像手段で撮像したデジタル画像情報と共に記憶する情報記憶手段とを備えた撮像装置と、該撮影装置の情報記憶手段に記憶されたデジタル画像情報及び多項式の係数に基づいて撮影動作の補正を行って補正後の画像情報を復元する画像復元手段と、該画像復元手段で復元した画像情報を出力する画像情報出力手段とを備えたことを特徴とする画像処理装置。
7. 被写体を撮影してデジタル画像情報を得る撮像手段と、撮影動作における角速度データを所定のサンプリング周期で検出する撮影動作検出手段と、該撮影動作検出手段で検出したサンプリング周期毎の角速度データを多項式に近似して近似した多項式の係数を算出する多項式係数算出手段と、該多項式係数算出手段で算出した多項式の係数を前記撮像手段で撮像したデジタル画像情報と共に記憶する情報記憶手段とを備えた撮像装置の前記情報記憶手段に記憶されたデジタル画像情報及び多項式の係数に基づいて撮影動作の補正を行って補正後の画像情報を復元する画像復元手段と、該画像復元手段で復元した画像情報を出力する画像情報出力手段とを備えたことを特徴とする画像処理装置。
8. 前記撮影動作検出手段は角速度センサで構成されていることを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記角速度センサは、ジャイロセンサで構成されていることを特徴とする請求項８に記載の画像処理装置。
10. 前記多項式係数算出手段は、最小二乗法及び逐次最小二乗法の何れか一方を適用してサンプル時刻と前記角速度データとを多項式に近似し、近似した多項式の係数を算出するように構成されていることを特徴とする請求項６乃至９の何れか１項に記載の画像処理装置。
11. 前記情報記憶手段は、デジタル画像情報をＪＰＥＧ方式による画像圧縮を行って画像ファイルに格納し、該画像ファイルのヘッダに前記多項式係数算出手段で算出した多項式の係数を付加して記憶するように構成されていることを特徴とする請求項６乃至１０の何れか１項に記載の画像処理装置。
12. 前記情報記憶手段は、メモリカードで構成されていることを特徴とする請求項６乃至１１の何れか１項に記載の画像処理装置。
13. 前記画像情報出力手段は、印刷装置及び画像表示装置の何れかで構成されていることを特徴とする請求項６乃至１２の何れか１項に記載の画像処理装置。

Images