JP4846394B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、携帯電話端末やデジタルカメラなどに搭載され、手ぶれによる画像の歪みを補正する撮像装置及び撮像方法に関する。

従来、デジタルカメラの撮像素子としてＣＣＤ(Charge Coupled Device）が多く適用されていた。しかし、近年、ＣＣＤに比べて消費電力が低く、コストも安価なＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像素子がＣＣＤに代わって普及しつつある。また、ＣＭＯＳセンサは消費電力が低いことから雑音が少なく、通信への影響が低いことから携帯電話端末に多く用いられるようになってきている（例えば、特許文献１参照）。

ところで、近年、携帯電話端末に備えられるカメラについても高機能化が進んでおり、デジタルカメラに具備されるような手ぶれ補正などの機能を有するものが適用されるようになっている。
特開２００２−３０３９０９号公報

しかしながら、ＣＭＯＳセンサの撮像素子は、ＣＣＤのように電子シャッタが起動されると全画面の画素に蓄積される電荷が一度に転送される全画面同時撮影方式ではなく、画素ごとに露光制御が行われ、画素ごとに走査、すなわちスキャンすることで画素に蓄積される電荷を順に出力される方式が採用されている。そのため、ＣＭＯＳセンサでは、出力される電荷に基づいて出力する信号の出力タイミングに時間差が生じることになり、走査の途中で、手ぶれが発生した場合、走査方向に画像がずれてしまうという問題がある。図１０は、手ぶれによる画像のずれを示した図であり、携帯電話端末では、縦方向に手ぶれが発生するため、図１０（ａ）に示す静止状態での画像が、手ぶれが発生することで手ぶれ量が大きい場合には、図１０（ｂ）に示す状態となり、手ぶれ量が小さい場合、図１０（ｃ）に示す状態となる。

本発明は、上記問題を解決するためになされたもので、その目的は、手ぶれによる画像歪みを補正する撮像装置及び撮像方法を提供することにある。

上記した課題を解決するために、以下の手段を採用した。
本発明に係る撮像装置は、筐体と、前記筐体に備えられる撮像素子を用いて、前記撮像素子の各画素の走査を開始して前記撮像素子に映る被写体の画像を撮像する撮像手段を具備する撮像装置において、前記筐体の振動を検出する振動検出手段と、前記撮像手段が撮像を開始した場合に前記振動検出手段が検出する振動に基づいて同一の振動方向にて振動の速度が遅くなる箇所を検出し、検出した箇所にて前記画像の中心の画素が撮像されるように前記走査の開始時点を補正する補正手段と、前記画像を表示する画面と、前記画像を記憶する記憶手段と、前記記憶手段が記憶する前記画像を読み出して予め定められる一定間隔で前記画面に表示する画像処理手段と、を具備することを特徴とする。

前記画像は、前記補正手段により補正される前に撮像された画像と、前記補正手段により補正された後に撮像された画像であることを特徴とする。

本発明に係る撮像装置は、筐体と、前記筐体に備えられる撮像素子を用いて、前記撮像素子の各画素の走査を開始して前記撮像素子に映る被写体の画像を撮像する撮像手段を具備する撮像装置において、前記筐体の振動を検出する振動検出手段と、前記撮像手段が撮像を開始した場合に前記振動検出手段が検出する振動に基づいて同一の振動方向にて振動の速度が遅くなる箇所を検出し、検出した箇所にて前記画像の中心の画素が撮像されるように前記走査の開始時点を補正する補正手段と、前記補正手段により同一の振動方向において補正されて撮像された複数の画像を重ね合わせて合成し、合成した画像を撮像画像として出力する画像処理手段と、を具備することを特徴とする。

前記振動検出手段は、前記撮像手段による前記撮像素子の画素の走査の方向の振動を検出することを特徴とする。

前記撮像素子は、ＣＭＯＳセンサであることを特徴とする。

本発明に係る撮像装置は、筐体に備えられる撮像素子を用いて、前記撮像素子の各画素の走査を開始して前記撮像素子に映る被写体の画像を出力する撮像方法であって、前記筐体の振動を検出し、検出した振動に基づいて同一の振動方向にて振動の速度が遅くなる箇所を検出するステップと、検出した箇所にて前記画像の中心の画素が撮像されるように前記走査の開始時点を補正するステップと、同一の振動方向において補正されて撮像された複数枚の画像を重ね合わせて合成するステップと、を含むことを特徴とする。

この発明によれば、撮影装置は、筐体の振動を検出し、検出した振動に基づいて同一の振動方向にて振動の速度が遅くなる箇所を検出し、検出した箇所にて画像の中心の画素が撮像されるように前記走査の開始時点を補正する構成とした。これにより、各画素の走査を開始して被写体の画像を出力するＣＭＯＳセンサを用いた場合に、手ぶれによる画像歪みを抑制することが可能となる。

以下、本発明の実施形態を図面を参照して説明する。
図１は、本実施形態による撮像装置１を備えた携帯電話端末１００を示す概略ブロック図である。携帯電話端末１００において、通信部２２は、基地局装置との間で電話通信やデータ通信を行う。操作部２０は、キーボードやボタン等を具備しており、ユーザのキーボード操作やボタンの押下を検出し、検出した情報を他の機能部に入力する。画面２１は、液晶画面等が適用され、撮影前のプレビュー映像や、撮影後の静止した画像などを表示する。

撮像装置１は、携帯電話端末１００に内蔵されるカメラであり、被写体の撮影を行う。撮像装置１において、撮像部１１は、内部に撮像素子としてＣＭＯＳセンサを具備しており、レンズ１０を通じて被写体を撮像する。また、撮像部１１は、操作部２０からの開始指示の入力があると起動し、内部のＣＭＯＳセンサから出力される信号を受信し、受信した信号を画像データに変換し、変換した画像データをバッファメモリ１２に記録する。また、バッファメモリ１２は、例えば、揮発性のＲＡＭ(Random Access Memory)が適用され、１フレーム分以上の記憶容量を有している。また、バッファメモリ１２は、撮像部１１が起動されている間、撮像部１１により記録される画像データを新しいデータから順に記憶し、記憶容量を超える古いデータについては削除する。

画像処理部１３は、操作部２０からの開始指示の入力があると起動し、バッファメモリ１２に記録される画像データをバッファメモリ１２から予め定められる一定間隔で読み出して画面２１に表示する。また、画像処理部１３は、操作部２０から撮影指示が入力されると、バッファメモリ１２から複数個の画像データを読み出し、読み出した複数個の画像データを合成し、合成した画像データを撮影画像データとして携帯電話端末１００内の画像ファイル保存用の記憶領域に記録する。

振動検出部１５は、例えば、加速度センサ等が適用され、ＣＭＯＳセンサの走査方向、すなわちスキャン方向の振動を検出、すなわち振動を示す加速度を検出する。

補正部１４は、振動検出部１５が検出する加速度に基づいて、その振動の大きさである振動量と発生の相対時刻を算出し、算出した振動量と相対時刻から手ぶれの振動の方向を算出する。また、補正部１４は、算出した振動の方向及び振動量に基づいて、それ以降に発生が予測される振動波を算出し、当該振動波にて同一の振動方向で速度が遅くなる箇所を検出し、検出した箇所を撮像部１１により撮像される画像の中心を同期させる同期対象箇所とする。具体的には、既に得られた振動の方向及び振動量に基づいて、それ以降に発生する振動の波の山側、あるいは谷側のいずれか一方の箇所を検出する。また、補正部１４は、撮像部１１から出力される画素ごとの走査のタイミングの情報と、検出した同期対象箇所の情報とに基づいて、撮像部１１が撮像する画像の中心が同期対象箇所と一致するように、撮像部１１におけるＣＭＯＳセンサの走査開始のタイミングを補正する。

次に、図２を参照しつつ、ＣＭＯＳセンサにおける画素の走査処理について説明する。図２は、携帯電話端末１００の振動方向と、撮像部１１に備えられるＣＭＯＳセンサの撮像面の画素の配置、及びＣＭＯＳセンサにおける走査方向の関係を示した図である。図２に示すように、ＣＭＯＳセンサの撮像面には、５×５の２５個の画素が存在しているものとする。（実際には多数の画素によって構成される）また、ＣＭＯＳセンサの走査方向が、携帯電話端末１００の画面２１の縦方向に対応し、携帯電話端末１００は、縦方向に手ぶれによる振動が発生するものとしている。

ＣＭＯＳセンサは、ＶＳＹＮＣ（垂直同期信号）が発生している間に、ＨＳＹＮＣ（水平同期信号）が、図２の画素ラインＡから画素ラインＥの方向に５回発生し、さらに、ＨＳＹＮＣが発生している間、各画素の電荷を出力するためのＰＣＬＫ（画素クロック）が画素ラインＡ〜画素ラインＥの各画素１〜５に対応して５回発生する。これらの同期信号により行われる走査処理により、ＣＭＯＳセンサの撮像面の各画素の電荷は、画素Ａ１、Ａ２、Ａ３、Ａ４、Ａ５の順に出力され、次に、画素Ｂ１、Ｂ２、…、Ｂ５の順に出力される。そして、画素Ｅ５まで出力が行われた後、ＶＳＹＮＣの発生に応じて再び画素Ａ１から出力が行われることになる。すなわち、当該ＣＭＯＳセンサにおいて、ＶＳＹＮＣが画面２１に表示される画像１フレームごとの撮像周期となり、補正部１４は、手ぶれにより発生する振動において同一の振動方向で速度が遅くなる箇所が、ＣＭＯＳセンサの撮像面の中心、すなわち画素Ｃ３の３つめの画素に一致するようにＶＳＹＮＣの開始タイミングを補正することになる。

（第１実施形態）
次に、図３から図４を参照して、本発明の第１実施形態に係る補正部１４によるＶＳＹＮＣの開始タイミングを補正する補正処理について説明する。なお、図３においてＶはＶＳＹＮＣを示し、Ｈは、ＨＳＹＮＣを示し、ＰはＰＣＬＫを示し、Ｉｍは画素の露光時間を示している。また、図３の工程Ｓａ３の画素ラインＡ、Ｂ、Ｃ、Ｄ、Ｅは、補正前の画素ラインを示し、画素ラインＡ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’は補正後の画素ラインを示す。

図３は、第１実施形態に係る補正部１４による補正処理の原理を説明するための図である。図３において、携帯電話端末１００の縦方向に手ぶれによる振動が発生し、その振動の変化が振動波Ｗで示されるとする。

（工程Ｓａ１）
操作部２０から開始指示が入力された撮像部１１は、ＣＭＯＳセンサに対して一定の撮像周期でＶＳＹＮＣを発生させ、図２に示したようにＶＳＹＮＣに従って、ＨＳＹＮＣ及びＰＣＬＫを発生させる。補正部１４は、振動検出部１５が検出した振動に基づいて、振動の変化を示す振動波Ｗを算出し、さらに、振動波Ｗの振動の速度が遅くなる谷側の部分と山側の部分との一方である谷側の部分、すなわち図３の縦破線に該当する同期対象箇所Ｇ１を検出する。補正部１４には、撮像部１１からＶＳＹＮＣとＨＳＹＮＣとＰＣＬＫからなる同期信号のタイミングの情報が入力されており、補正部１４は、当該同期信号のタイミングの情報から、同期対象箇所Ｇ１に対応している画素が、画素Ｄ３であることを検出する。

（工程Ｓａ２）
補正部１４は、同期対象箇所Ｇ１に該当する画素が画素Ｄ３であることを検出すると、既に算出した振動波Ｗの傾き等に基づいて次に発生する波を予測するための演算を行い、次の谷側の部分である同期対象箇所Ｇ２を算出する。そして、補正部１４は、画素Ｄ３の走査のタイミングを、算出した同期対象箇所Ｇ２の発生タイミングに一致させるため、次に発生するＶＳＹＮＣ（ＩＩ）の開始タイミングがＶＳＹＮＣ（ＩＩ’）で示されるタイミングとなるよう補正を行う。

（工程Ｓａ３）
補正部１４は、更に、ＣＭＯＳセンサの撮像面の中心の画素Ｃ３の走査タイミングを同期対象箇所Ｇ２の発生タイミングに一致させるため、ＶＳＹＮＣ（ＩＩ’）の開始タイミングがＶＳＹＮＣ（ＩＩ’’）で示されるタイミングとなるよう補正し、補正したＶＳＹＮＣ開始タイミングの情報を撮像部１１に入力する。撮像部１１は、ＣＭＯＳセンサに入力されたＶＳＹＮＣ開始タイミングの情報に基づいてＶＳＹＮＣ（ＩＩ’’）を発生させる。

携帯電話端末１００の移動過程と対比すると、ＶＳＹＮＣ（ＩＩ’’）に補正することで、振動波Ｗの谷側方向に携帯電話端末１００が移動を開始する途中であって、補正前よりも遅いタイミングで、ＶＳＹＮＣ（ＩＩ’’）のタイミングで走査が開始されることになる。つまり、レンズ１０の位置が、補正前の位置より一画素分下の位置で撮像が開始されることになり、補正前のＶＳＹＮＣ（ＩＩ’）において画素Ｄ３に映っていた被写体の部分は、補正後のＶＳＹＮＣ（ＩＩ’’）では中心の画素Ｃ’３に映ることになる。

ＶＳＹＮＣ（ＩＩ’’）の発生により、補正前の画素Ａ１のＶＳＹＮＣ（ＩＩ）における露光時間Ｉｍ（ＩＩ−Ａ１）と、補正後のＶＳＹＮＣ（ＩＩ’’）における露光時間（ＩＩ’’−Ａ’１）は重複することになる。そのため、画素Ａ１では、露光時間Ｉｍ（ＩＩ−Ａ１）の間において露光時間（ＩＩ’’−Ａ’１）と重複しない時間までに蓄積された電荷は廃棄されることになる。なお、各画素においても同様に重複した露光時間の電荷の廃棄が行われる。

上記の補正処理により、ＣＭＯＳセンサの撮像面の中心の画素Ｃ’３については、振動波Ｗにおいて振動速度の遅くなる谷側の箇所にて走査処理が行われることになる。一般的に、被写体の中心の歪みを少なくすることで、表示される画像は全体的に歪みの少ない画像となることが知られており、画像処理部１３により画面２１に出力される画像は、被写体の中心において振動による歪みが少ない視認性の高い画像にすることができる。

次に、図４及び図５を参照して、撮像装置１により行われる撮像処理について説明する。図４は、振動検出部１５が検出する振動に基づいて、補正部１４が検出した振動の変化である振動波Ｗ１を示した図である。補正部１４は、時間β１の間に、振動検出部１５が検出した振動に基づいて振動波Ｗ１を算出するとともに、振動波Ｗ１にて振動速度が遅くなる谷側と山側の一方である谷側の箇所、すなわち図４のα１の箇所を検出する。そして、補正部１４は、検出したα１の箇所に基づいて、次に、撮像部１１がＣＭＯＳセンサに発生させるＶＳＹＮＣの開始タイミングγ１を算出する。

図５は、図４の振動Ｗ１が発生した場合に、撮像部１１によりバッファメモリ１２に記録される画像データにより構成される撮像画像と、画像処理部１３によりバッファメモリ１２から読み出されて画面２１に出力される出力画像と、ＶＳＹＮＣ及び画素の露光時間の関係を示した図である。図５において、画素Ｂは、図３における画素Ａ１に対応し、画素Ｍは画素Ｃ３に対応し、画素Ｅは、画素Ｅ５に対応する。

図５において、補正前のＶＳＹＮＣ：Ｔａ１の２周期目、すなわちＶＳＹＮＣ（２）において、上述した図３の補正処理の原理に従って補正部１４により算出されたＶＳＹＮＣ開始タイミングγ１の情報が撮像部１１に入力され、撮像部１１にて露光制御が切り替えられる。撮像部１１は、入力されたＶＳＹＮＣ開始タイミングγ１の情報に基づいて、補正後のＶＳＹＮＣ：Ｔａ２をＣＭＯＳセンサに発生させる。当該ＶＳＹＮＣ：Ｔａ２に基づくＣＭＯＳセンサの走査処理により、中心の画素の露光時間Ｔａ２Ｍの１周期分の半分が経過した時点（図５、露光時間Ｔａ２ＭのＩＩＩ−Ｍの露光時間の中央の○の箇所）が、振動波Ｗ１における振動速度が遅くなる同期対象箇所、すなわち図４における同期対象箇所δ１に一致することになる。なお、実際のＶＳＹＮＣは、撮像部１１において、補正前のＶＳＹＮＣ：Ｔａ１の２周期目までと、補正後のＶＳＹＮＣ：Ｔａ２の３周期以降とが合成され、ＶＳＹＮＣ：Ｔａｖで示されるタイミングとなる。

このとき、撮像部１１の各画素の露光時間は、補正前のＶＳＹＮＣ：Ｔａ１と補正後のＶＳＹＮＣ：Ｔａ２の時間的な関係から重なることになる。具体的には、最初の画素Ｂの露光時間の中で補正前のＶＳＹＮＣの３周期目（ＶＳＹＮＣ（３））に対応する露光時間Ｔａ１Ｂ（３−Ｂ）と、補正後のＶＳＹＮＣの３周期目（ＶＳＹＮＣ（ＩＩＩ））に対応する露光時間Ｔａ２Ｂ（ＩＩＩ−Ｂ）は重なるため、露光時間Ｔａ１Ｂ（３−Ｂ）において露光時間Ｔａ２Ｂ（ＩＩＩ−Ｂ）と重ならない部分、すなわち露光時間（３−Ｂ）の斜線の部分の電荷は、露光が充分な電荷ではないため廃棄することになる。なお、中心の画素Ｍの露光時間Ｔａ１ＭとＴａ２Ｍ及び、最後の画素Ｅの露光時間Ｔａ１Ｅと、Ｔａ２Ｅにおいても同様に重なる部分、すなわち図５に示す斜線の部分の電荷を廃棄することになる。

補正部１４により補正が行われた後も、撮像部１１は、バッファメモリ１２に撮像画像をＣＭＯＳセンサにおける走査の速度に従って記録し、画像処理部１３は、予め定められる一定間隔でバッファメモリ１２から画像データを読み出して画面２１に出力する。このとき、ＶＳＹＮＣ：Ｔａ１が補正されてＶＳＹＮＣ：Ｔａｖのようなタイミングになったとしても、画像処理部１３は、バッファメモリ１２に記憶される画像データを一定間隔のタイミングＴｂＢで表示するため、ＶＳＹＮＣ：Ｔａｖのタイミングとは独立して画像データを出力することができる。これにより、画面２１への表示の途中で画像が抜けてしまうことや、表示のタイミングが合わずに画像が停止してしまうといったことを防ぐことが可能となる。

（第２実施形態）
次に、図６から図９を参照して、本発明の第２実施形態に係る補正部１４によるＶＳＹＮＣの開始タイミングを補正する補正処理について説明する。第１実施形態では、手ぶれにより発生する振動の速度が遅くなる箇所、すなわち同期対象箇所がＣＭＯＳセンサの中心画素より下の領域に該当していた場合の補正について説明したが、第２実施形態では、同期対象箇所が、ＣＭＯＳセンサの中心画素より上の領域に該当していた場合の補正について説明する。

図６は、第２実施形態に係る補正部１４による補正処理の原理を説明するための図である。図６においても、携帯電話端末１００の縦方向に手ぶれによる振動が発生し、その振動の変化が振動波Ｗで示されるとする。なお、図６においてＶはＶＳＹＮＣを示し、Ｈは、ＨＳＹＮＣを示し、ＰはＰＣＬＫを示し、Ｉｍは画素の露光時間を示している。また、図６の工程Ｓｂ３の画素ラインＡ、Ｂ、Ｃ、Ｄ、Ｅは、補正前の画素ラインを示し、画素ラインＡ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’は補正後の画素ラインを示す。

（工程Ｓｂ１）
第１実施形態と同様に、補正部１４は、振動検出部１５が検出した振動に基づいて、振動の変化を示す振動波Ｗを算出し、さらに、振動波Ｗの振動の速度が遅くなる谷側と山側との一方である谷側の部分、すなわち図６の縦破線に該当する同期対象箇所Ｇ１を検出する。補正部１４には、撮像部１１からＶＳＹＮＣとＨＳＹＮＣとＰＣＬＫからなる同期信号のタイミングの情報が入力されており、補正部１４は、当該同期信号のタイミングの情報から、同期対象箇所Ｇ１に対応している画素が、画素Ｂ３であることを検出する。

（工程Ｓｂ２）
補正部１４は、同期対象箇所Ｇ１に該当する画素が画素Ｂ３であることを検出すると、既に算出した振動波Ｗの傾き等に基づいて次に発生する波を予測するための演算を行い、次の同期対象箇所Ｇ２を算出する。そして、補正部１４は、画素Ｂ３の走査のタイミングを算出した同期対象箇所Ｇ２の発生タイミングに一致させるため、次にＣＭＯＳセンサに発生させるＶＳＹＮＣ（ＩＩ）の開始タイミングがＶＳＹＮＣ（ＩＩ’）で示されるタイミングとなるように補正を行う。

（工程Ｓｂ３）
補正部１４は、更に、ＣＭＯＳセンサの撮像面の中心の画素Ｃ３の走査タイミングを同期対象箇所Ｇ２に一致させるために、ＶＳＹＮＣ（ＩＩ’）の開始タイミングがＶＳＹＮＣ（ＩＩ’’）で示されるタイミングとなるよう補正し、補正したＶＳＹＮＣ開始タイミングの情報を撮像部１１に入力する。撮像部１１は、入力されたＶＳＹＮＣ開始タイミングの情報に基づいてＶＳＹＮＣ（ＩＩ’’）をＣＭＯＳセンサに発生させる。

携帯電話端末１００の具体的な動きとしては、ＶＳＹＮＣ（ＩＩ’’）に補正することで、振動波Ｗの谷側方向に携帯電話端末１００が移動を開始する途中であって、補正前よりも早いタイミングで、ＶＳＹＮＣ（ＩＩ’’）のタイミングで走査が開始されることになる。つまり、レンズ１０の位置が、補正前の位置より一画素分上の位置で撮像が開始されることになり、補正前のＶＳＹＮＣ（ＩＩ’）において画素Ｂ３に映っていた被写体の部分は、補正後のＶＳＹＮＣ（ＩＩ’’）では中心の画素Ｃ’３に映ることになる。

また、ＶＳＹＮＣ（ＩＩ’’）の発生により、補正前の画素Ａ１のＶＳＹＮＣ（ＩＩ）における露光時間Ｉｍ（ＩＩ−Ａ１）と、補正後のＶＳＹＮＣ（ＩＩ’’）における露光時間（ＩＩ’’−Ａ’１）は重複することになる。そのため、撮像部１１は、画素Ａ１に対する露光時間Ｉｍ（ＩＩ−Ａ１）の間において露光時間（ＩＩ’’−Ａ’１）と重複しない時間までに蓄積された電荷を廃棄することになる。なお、各画素においても同様に重複した露光時間の電荷の廃棄が行われる。

これにより、ＣＭＯＳセンサの中心の画素Ｃ’３については、振動波Ｗにおいて振動速度の遅くなる谷側の箇所にて走査処理が行われることになる。

次に、図７は、図６で示した補正処理の原理と同様に、同期対象箇所がＣＭＯＳセンサの中心画素より上の領域に該当している場合を示した図である。図７に示す手ぶれによる振動波Ｗ’は、図６の振動波Ｗに比べて、振動の周期が短くなっている。すなわち、図７は、図６に示す場合よりも、手ぶれによる振動速度が速くなっている。そのため、同期対象箇所Ｇ２’が、図６の同期対象箇所Ｇ２よりも早い時点で発生することになる。

図７の場合、補正部１４は、最後の補正処理の工程である工程Ｓｃ３において、補正前のＶＳＹＮＣ（ＩＩ）が発生するタイミングよりも早いタイミングにてＶＳＹＮＣ（ＩＩ’’）を発生することになる。ＶＳＹＮＣ（ＩＩ’）の発生により、補正前の画素Ａ１の最初の周期のＶＳＹＮＣ（Ｉ）における露光時間Ｉｍ（Ｉ−Ａ１）と、補正後のＶＳＹＮＣ（ＩＩ’’）の２周期目の露光時間（ＩＩ’’−Ａ’１）において、図７の斜線で示す部分が重なることになる。このとき、画素Ａ１のＶＳＹＮＣＩＩ’’−Ａ’１については、充分な露光時間が確保できないため、撮像部１１は、露光時間（ＩＩ’’−Ａ’１）に対応する電荷を廃棄し、バッファメモリ１２に記憶されている露光時間（Ｉ−Ａ１）に対応する画像のデータを露光時間（ＩＩ’’−Ａ’１）に対応する画像データとしてバッファメモリ１２に再記録する。

上記の構成により、画像処理部１３によりバッファメモリ１２から読み出されて画面２１に表示される画像は、不連続な画像となるが、周期前の画像であるため、利用者にとって視認において違和感のない画像を表示することが可能となる。

次に、図８及び図９を参照して、撮像装置１による撮像処理について説明する。
図８は、振動検出部１５が検出する振動に基づいて、補正部１４が算出した振動の変化である振動波Ｗ２を示した図である。補正部１４は、時間β２の間に、振動検出部１５が検出した振動に基づいて振動波Ｗ２を算出するとともに、振動波Ｗ２にて振動速度が遅くなる谷側と山側との一方である谷側の箇所、すなわち図８のα２の箇所を検出する。そして、補正部１４は、検出したα２の箇所に基づいて、次に撮像部１１にてＣＭＯＳセンサに発生させるＶＳＹＮＣの開始タイミングγ２を算出する。

図９は、図８の振動波Ｗ２が発生した場合に、撮像部１１により撮像されてバッファメモリ１２に記録される画像データより構成される撮像画像と、画像処理部１３によりバッファメモリ１２から読み出されて画面２１に出力される出力画像と、ＶＳＹＮＣ及び画素の露光時間の関係を示した図である。図９において、画素Ｂは、図３における画素Ａ１に対応し、画素Ｍは画素Ｃ３に対応し、画素Ｅ５に対応する。

図９において、補正前のＶＳＹＮＣ：Ｔｂ１の２周期目、ＶＳＹＮＣ（２）において、上述した図６の補正処理の原理に従って補正部１４により算出されたＶＳＹＮＣ開始タイミングγ２の情報が撮像部１１に入力され、撮像部１１にて露光制御が切り替えられる。撮像部１１は、入力されたＶＳＹＮＣ開始タイミングγ２の情報に基づいて、補正後のＶＳＹＮＣ：Ｔｂ２をＣＭＯＳセンサに発生させる。当該ＶＳＹＮＣ：Ｔｂ２に基づくＣＭＯＳセンサの走査により、中心の画素の露光時間Ｔｂ２Ｍの１周期分の半分が経過した時点が、振動Ｗ１における振動速度が遅くなる同期対象箇所、すなわち図８における同期対象箇所δ２に一致することになる。なお、実際のＶＳＹＮＣは、撮像部１１において、補正前のＶＳＹＮＣ：Ｔｂ１と、補正後のＶＳＹＮＣ：Ｔｂ２とが合成され、ＶＳＹＮＣ：Ｔｂｖで示されるタイミングとなる。

補正部１４の補正により、補正前のＶＳＹＮＣ：Ｔｂ１の２周期目の画素Ｂに対する露光時間Ｔｂ１Ｂ（２−Ｂ）と、ＶＳＹＮＣ：Ｔｂ２の３周期目の画素Ｂに対する露光時間Ｔｂ２Ｂ（ＩＩＩ−Ｂ）とにおいて、図９の斜線で示す部分が重なることから、ＶＳＹＮＣ：Ｔｂ２の３周期目の画素Ｂに対する露光時間は不足する。そのため、撮像部１１は、露光時間（ＩＩＩ−Ｂ）にて蓄積された電荷を廃棄し、露光時間（２−Ｂ）にて蓄積された電荷により得られた画像を３周期目の画像とするため、バッファメモリ１２に記録されている露光時間（２−Ｂ）に対応する画像を、３周期目の画像としてバッファメモリ１２に再記録する。撮像装置１１は、中心の画素Ｍ、及び最後の画素Ｅについても同様に、補正前の２周期目の露光時間（Ｔｂ１Ｍ及びＴｂ１Ｅ）と補正後の３周期目の露光時間（Ｔｂ２Ｍ及びＴｂ２Ｅ）に重複が発生するため、最初の画素Ｂと同様に１周期前の画像を３周期目の画像とする。

ＶＳＹＮＣＴｂ２の４周期目（ＩＶ）以降は、充分な露光時間（ＩＶ−Ｂ、ＩＶ−Ｍ、ＩＶ−Ｅ）が確保されているため、撮像部１１は、ＶＳＹＮＣ：Ｔｂ２に従って、ＣＭＯＳセンサを走査することで、中心の画素の露光時間Ｔｂ２Ｍの１周期分の半分が経過した時点（図９、Ｔｂ２Ｍの、ＩＶ−Ｍの露光時間の中央の○の箇所）が、振動Ｗ２における振動速度が遅くなる同期対象箇所、すなわち図８における同期対象箇所δ２に一致することになる。

補正部１４により補正が行われた後も、撮像部１１は、バッファメモリ１２に撮像画像をＣＭＯＳセンサにおける走査の速度に従って記録し、画像処理部１３は、予め定められる一定間隔でバッファメモリ１２から画像を読み出して画面２１に出力する。このとき、ＶＳＹＮＣ：Ｔｂ１が補正されてＶＳＹＮＣ：Ｔｂｖのようなタイミングになったとしても、画像処理部１３は、バッファメモリ１２に記憶される撮像画像を一定間隔のタイミングＴｂＢで表示するため、ＶＳＹＮＣ：Ｔｂｖのタイミングとは無関係に画像を出力することができる。これにより、画面２１への表示の途中で画像が抜けてしまうことや、表示のタイミングが合わずに画像が停止してしまうといったことを防ぐことが可能となる。

また、上記の第１及び第２の実施形態において、画像処理部１３は、操作部２０から撮影指示が入力されると、バッファメモリ１２から複数個の画像データを読み出し、読み出した複数個の画像データを合成し、合成した画像データを撮影画像データとして携帯電話端末１００内の画像ファイル保存用の記憶領域に記録する。従来では、合成して撮像画像データを生成する際に、画像データのフレームの位置をずらして補正することにより画像の歪みを軽減しており、本実施形態でも、フレームの位置をずらして、合成することにより、撮影画像データが得られることになるが、本実施形態では、１つの画像データの中での歪みが軽減された複数の画像データを合成させるので、合成により得られる撮像画像データの歪みをより軽減できる。

なお、上記の実施形態では、振動による振動波の谷側のみを振動速度の遅い同期対象箇所としていたが、本発明は、これに限られず、振動波の山側のみを振動速度の遅い同期対象箇所として補正するようにしてもよい。即ち、手振れの振動方向が変化する箇所が振動速度が一番遅い箇所であるため、この箇所が画像における中央の画素に対応するように走査開始タイミングを調整することにより、画像の歪みが軽減される。そして、この基準となる振動速度が遅くなる箇所を振動波の谷側又は山側の何れか（同一の振動方向にて振動の速度が遅くなる箇所）とすることにより、複数の画像を合成する際に、同じ谷側（又は山側）で撮像された画像同士を合成するので、画像フレームのずらし量を抑えることができる。

本実施形態に係る携帯電話端末の内部構成を示すブロック図である。 同実施形態に係るＣＭＯＳセンサの走査処理を説明するための図である。 第１実施形態に係る補正処理の原理を説明するための図である。 第１実施形態に係る撮像処理の具体例における手ぶれ振動による振動波を示した図である。 第１実施形態に係る撮像処理の流れを示したタイミングチャートである。 第２実施形態に係る補正処理の原理を説明するための図（その１）である。 第２実施形態に係る補正処理の原理を説明するための図（その２）である。 第２実施形態に係る撮像処理の具体例における手ぶれ振動による振動波を示した図である。 第２実施形態に係る撮像処理の流れを示したタイミングチャートである。 手ぶれ発生時のＣＭＯＳセンサによる画像の歪みの例を示した図である。

符号の説明

１ 撮像装置
１０ レンズ
１１ 撮像部
１２ バッファメモリ
１３ 画像処理部
１４ 補正部
１５ 振動検出部
２２ 通信部
２０ 操作部
２１ 画面
１００ 携帯電話端末

Claims (6)

1. 筐体と、前記筐体に備えられる撮像素子を用いて、前記撮像素子の各画素の走査を開始して前記撮像素子に映る被写体の画像を撮像する撮像手段を具備する撮像装置において、
   前記筐体の振動を検出する振動検出手段と、
   前記撮像手段が撮像を開始した場合に前記振動検出手段が検出する振動に基づいて同一の振動方向にて振動の速度が遅くなる箇所を検出し、検出した箇所にて前記画像の中心の画素が撮像されるように前記走査の開始時点を補正する補正手段と、
   前記画像を表示する画面と、
   前記画像を記憶する記憶手段と、
   前記記憶手段が記憶する前記画像を読み出して予め定められる一定間隔で前記画面に表示する画像処理手段と、
   を具備することを特徴とする撮像装置。
2. 前記画像は、前記補正手段により補正される前に撮像された画像と、前記補正手段により補正された後に撮像された画像であることを特徴とする請求項１に記載の撮像装置。
3. 筐体と、前記筐体に備えられる撮像素子を用いて、前記撮像素子の各画素の走査を開始して前記撮像素子に映る被写体の画像を撮像する撮像手段を具備する撮像装置において、
   前記筐体の振動を検出する振動検出手段と、
   前記撮像手段が撮像を開始した場合に前記振動検出手段が検出する振動に基づいて同一の振動方向にて振動の速度が遅くなる箇所を検出し、検出した箇所にて前記画像の中心の画素が撮像されるように前記走査の開始時点を補正する補正手段と、
   前記補正手段により同一の振動方向において補正されて撮像された複数の画像を重ね合わせて合成し、合成した画像を撮像画像として出力する画像処理手段と、
   を具備することを特徴とする撮像装置。
4. 前記振動検出手段は、前記撮像手段による前記撮像素子の画素の走査の方向の振動を検出することを特徴とする請求項１から３に記載の撮像装置。
5. 前記撮像素子は、ＣＭＯＳセンサであることを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
6. 筐体に備えられる撮像素子を用いて、前記撮像素子の各画素の走査を開始して前記撮像素子に映る被写体の画像を出力する撮像方法であって、
   前記筐体の振動を検出し、検出した振動に基づいて同一の振動方向にて振動の速度が遅くなる箇所を検出するステップと、
   検出した箇所にて前記画像の中心の画素が撮像されるように前記走査の開始時点を補正するステップと、
   同一の振動方向において補正されて撮像された複数枚の画像を重ね合わせて合成するステップと、
   を含むことを特徴とする撮像方法。

Images