JP5683858B2 - 撮像装置 - Google Patents

Description

本発明は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどに代表されるＸＹアドレス方式の撮像素子を備える撮像装置に関する。

近年、ＣＭＯＳイメージセンサなどに代表されるＸＹアドレス方式の撮像素子を備える撮像装置が広く用いられている。ＸＹアドレス方式の撮像素子は、任意の画素を指定して露光及び読出を実行し得るものである。しかしながら、その反面で露光及び読出を順次行う必要があり、全ての画素について同時に露光を行うことは困難である。そのため、ＸＹアドレス方式の撮像素子では、フォーカルプレーン歪み（以下、単に「歪み」とも表現する）と呼ばれる画素毎の露光及び読出のタイミングのずれに起因する歪みが発生し得るため、問題となる。

このフォーカルプレーン歪みについて、図面を参照して具体的に説明する。図２８は、フォーカルプレーン歪みについて説明する図であり、図２９は、図２８に示す画像を撮像する際の露光タイミング及び読出タイミングを示すタイミングチャートである。図２８及び図２９は、１枚の画像を撮像する際に垂直方向（図２８及び図２９中の上下方向）の上方の画素行から下方の画素行に向かって順に露光及び信号出力を行う撮像素子について示したものである。

図２８の左側の図は、各画素行１１１〜１１６の露光時における撮像領域（画角）１０１〜１０６を示したものであり、右側の図は、撮像により生成される画像１２０について示したものである。なお、図２８は、被写体Ｔ１，Ｔ２が静止しており、かつ画像１２０の撮像中（最上部の画素行１１１の露光開始から、最下部の画素行１１６の露光終了までの間）に撮像装置が左方向に等速でパンする場合に生じる歪みについて示している。

図２９の縦軸は画像の画素行の垂直方向の位置を示し、横軸は時間を示す。それぞれの画素行の露光期間を太線で示し、露光期間の終了時に当該画素行の画素信号が読み出されるものとする。なお、図２９は動画の撮像（即ち、フレームを連続的に撮像）を行う場合について示しており、あるフレームの最上部の画素行１１１の画素信号の読み出し時から、次フレームの最上部の画素行１１１の画素信号の読み出し時までを、１フレーム期間としている。

図２８及び図２９に示すように、撮像装置に動きが生じると、各画素行１１１〜１１６の露光タイミングが異なるため、それぞれのタイミングにおける撮像領域１０１〜１０６中の被写体Ｔ１，Ｔ２の位置はそれぞれ異なるものとなる。特に、本例のように撮像装置が一方向にパンする場合、露光タイミングが遅くなるほど撮像領域１０１〜１０６中の被写体Ｔ１，Ｔ２の位置が、パンの方向（本例では左方向）とは逆方向（本例では右方向）の位置になる。そのため、撮像により得られる画像１２０は、露光タイミングが遅い下方の画素ほどパンとは逆方向に歪むものとなる。

フォーカルプレーン歪みは、撮像装置をパンやチルトさせたときなど、撮像装置に意図的かつ大きい動きを与えた場合にのみ問題になるとは限られない。例えば、撮像装置に手ぶれなどによる偶発的かつ小さい動きが生じる場合であっても、ズーム倍率が大きいと撮像領域が大きく動いてしまうため、当該歪みが大きくなり問題となり得る。また、撮像装置に動きが生じる場合に限られず、被写体が動く場合にもフォーカルプレーン歪みは発生する。なお、被写体が動く場合、露光タイミングが遅い画素ほど被写体の動きと同じ方向に沿って歪んだ画像が得られる。

以上のようなフォーカルプレーン歪みは、露光タイミングの同時化を図る（即ち、図２９の各画素行の露光タイミングを揃える）ことにより解消することができる。例えば、メカシャッタを備えたり、インターライン型の構成にするなどしてグローバルシャッタ方式で撮像可能としたりすることにより、露光タイミングの同時化を図ることができる。また、出力された信号に対するサンプリングを高速化することにより各画素行の読出タイミングの間隔の短縮化を実現することで、各画素行の露光タイミングの時間差を小さくする（即ち、図２９の各画素行の露光タイミングのずれを小さくする）ことも可能である。

しかしながら、メカシャッタなどの付加的な構成を備えることとすると、撮像装置の構成の大型化や複雑化を招来するとともに、コストが高くなる。また、構成を変更してグローバルシャッタ方式で撮像する場合、ノイズが大きくＳ／Ｎ（Signal-to-Noise ratio）が悪化するなどの他の問題が発生する。一方、サンプリングを高速化すると、撮像装置の処理の高度化や構成の複雑化を招来するとともに、コストが高くなる。

そこで、例えば特許文献１及び２では、画像処理によって歪みを補正する撮像装置が提案されている。具体的には、撮像して得られた複数の画像を比較し、補正対象の画像に生じた動きを推定するとともに、当該推定された動きによる歪みに対して逆方向となる歪みを処理対象の画像に与えることで補正を行う。このように構成すると、上記のような特殊な構成を採用することなく、簡易的な構成によって歪みを低減することが可能となる。

特開２００６−０５４７８８号公報 特開２００７−２０８５８０号公報

特許文献１及び２で提案される撮像装置では、動きを検出する対象の画像に大きな動きが含まれることがある。このような場合、当該動きを推定して歪みを補正しようとしても、動きの誤検出や画像の誤補正が発生しやすくなり、精度良く歪みを補正することが困難となるため、問題となる。

そこで、本発明は、精度良く歪み補正を行うことを可能とする撮像装置を提供することを目的とする。

上記目的を達成するために、本発明における撮像装置は、配列された任意の画素を指定して露光及び読出を実行可能な撮像素子を備える撮像装置において、前記撮像素子に備えられる画素の露光及び読出を制御する走査制御部と、出力画像を生成する信号処理部と、を備え、前記走査制御部が、前記撮像素子の所定の方向に並ぶ画素に対して不連続的に露光及び読出を行うことで、低解像度画像を生成し、前記信号処理部が、前記低解像度画像に基づいて出力画像を生成することを特徴とする。

また、上記構成の撮像装置において、前記走査制御部が、属する画素の位置が異なる複数の画素群を順次切り替えて画素の露光及び読出を行うことで、複数の前記低解像度画像を順次生成し、前記信号処理部が、当該複数の前記低解像度画像に基づいて１つの前記出力画像を生成することとしても構わない。

このように構成すると、画素位置が異なる低解像度画像を用いて出力画像が生成されることとなる。そのため、低解像度画像を用いて生成される出力画像の解像度が劣化することを抑制することが可能となる。

また、上記構成の撮像装置において、前記撮像素子が、水平方向及び垂直方向に対して整列する画素を備え、前記画素群が、前記垂直方向及び前記水平方向に対してそれぞれ２以上隣接する画素を含むこととしても構わない。

このように構成すると、撮像素子がベイヤ配列であれば、この画素及び隣接する画素にはＲＧＢのそれぞれの画素値が含まれることとなる。そのため、例えば輝度値などの新たな画素値を算出する場合にこの画素及び隣接する画素の画素値を利用することで、精度良く算出することが可能となる。

また、上記構成の撮像装置において、前記撮像素子が、水平方向及び垂直方向に対して整列する画素を備え、前記画素群が、前記垂直方向に対して不連続的に隣接するとともに前記水平方向に連続的に隣接する画素を含み、前記走査制御部が、前記水平方向に整列する画素毎に露光及び読出を制御することとしても構わない。

また、上記構成の撮像装置において、ズーム倍率が可変となるレンズ部をさらに備え、前記走査制御部が、前記レンズ部の前記ズーム倍率に応じて前記低解像度画像を生成するために露光及び読出を行う画素の位置を決定することとしても構わない。

このように構成すると、ズーム倍率の大小、即ち、発生し得る歪みの大小に応じて、露光及び読出を行う画素の位置を異ならせることが可能となる。特に、ズーム倍率が大きく、大きい歪みが発生すると予想される場合に、歪み補正の効果が高くなるような位置関係（例えば、隣接しない画素の間隔が大きい）となる画素の露光及び読出が行われることとしても構わない。

また、上記構成の撮像装置において、複数の前記低解像度画像を一時記憶するメモリと、前記メモリから前記信号処理部への前記低解像度画像の読出を制御するメモリ制御部と、をさらに備え、前記メモリ制御部が、前記メモリに一時記憶されている複数の前記低解像度画像を構成する画素信号の読出の順序を、当該画素信号が得られた前記撮像素子の画素の配列に対応させることとしても構わない。

このように構成すると、メモリから信号処理部に画素信号を読み出すだけで、元の撮像素子の配列通りに画素信号を読み出すことが可能となる。そのため、信号処理部が読み出された画素信号の位置をそれぞれ補正するだけで、解像度が高く歪みが補正された出力画像を生成することが可能となる。なお、メモリから読み出す際に読出位置を変えるなどして、信号処理部に画素信号が入力された時に既に一定の補正が行われていることとしても構わない。

また、上記構成の撮像装置において、複数の前記低解像度画像を比較して、当該複数の前記低解像度画像間の動きを検出する動き検出部をさらに備え、前記信号処理部が、前記動き検出部によって検出された動きが小さくなるように当該複数の前記低解像度画像の相対的な位置関係を補正して合成することにより、前記出力画像を生成することとしても構わない。

このように構成すると、複数の低解像度画像間に生じる歪みを打ち消して合成を行うことが可能となる。そのため、低解像度を組み合わせて成る出力画像に生じる歪みをさらに精度良く補正することが可能となる。

また、本発明の撮像装置は、配列された任意の画素を指定して露光及び読出を実行可能な撮像素子を備える撮像装置において、前記撮像素子に備えられる画素の露光及び読出を制御する走査制御部と、出力画像を生成する信号処理部と、ズーム倍率が可変となるレンズ部と、を備え、前記ズーム倍率が所定の大きさ以上であるとき、前記走査制御部が、前記撮像素子の所定の方向に並ぶ画素に対して不連続的に露光及び読出を行うことで低解像度画像を生成し、前記信号処理部が、前記低解像度画像に基づいて前記出力画像を生成し、前記ズーム倍率が所定の大きさ未満のとき、前記走査制御部が、前記撮像素子の所定の方向に並ぶ画素に対して連続的に露光及び読出を行うことで通常画像を生成し、前記信号処理部が、前記通常画像に基づいて前記出力画像を生成することを特徴とする。

このように構成すると、ズーム倍率が所定の大きさ未満となって小さい歪みしか発生し得ないと予想される場合に、連続的に並ぶ画素に対して露光及び読出を行って得られる通常画像に基づいて出力画像が生成されることとなる。そのため、誤った歪み補正によって出力画像がかえって歪むこととなったり、出力画像の解像度が劣化したりすることを抑制することが可能となる。

本発明の構成とすると、所定の方向に配列された画素に対して不連続的に露光及び読出を行うことで、連続的に露光及び読出を行って得られる画像よりも歪みを低減した低解像度画像を得ることが可能となる。そのため、この低解像画像を用いることにより、精度良く歪みを低減した出力画像を生成することが可能となる。

は、本発明の実施形態における撮像装置の全体構成について示すブロック図である。 は、第１実施例の歪み補正を実行し得る撮像装置の要部構成について示すブロック図である。 は、画素の配列と歪み低減露光読出パターンの一例とを示す画素部の図である。 は、図３に示す歪み低減露光読出パターンを用いて露光及び読出を行う場合の露光タイミング及び読出タイミングを示すタイミングチャートである。 は、撮像領域の一例を示す図である。 は、歪み低減露光読出パターンを用いた露光及び読出を行うことにより得られる低解像度画像を示す図である。 は、通常の露光読出パターンを用いた露光及び読出を行うことにより得られる通常画像を示す図である。 は、歪み低減露光読出パターンを用いた露光及び読出を行うことにより得られる低解像度画像を示す図である。 は、第２実施例の歪み補正を実行し得る撮像装置の要部構成について示すブロック図である。 は、合成画像の一例を示す図である。 は、合成画像の画素行の位置を補正する処理の一例について説明する図である は、図１０に示す合成画像の画素行の位置を補正して得られる補正後合成画像の一例を示す図である。 は、テンプレートマッチングを用いた補正方法の具体例を示す図である。 は、テンプレートマッチングを用いた補正方法の具体例を示す図である。 は、図１３で得られた補正後の対象画素行をさらにサブピクセル単位で補正する補正方法を示すものである。 は、図１４で得られた補正後の対象画素行をさらにサブピクセル単位で補正する補正方法を示すものである。 は、画素の配列と歪み低減露光読出パターンの第１別例とを示す画素部の図である。 は、図１７に示す歪み低減露光読出パターンを用いて露光及び読出を行った場合の露光タイミング及び読出タイミングを示すタイミングチャートである。 は、第１別例の歪み低減露光読出パターンを用いた露光及び読出を行うことにより得られる低解像度画像を示す図である。 は、第１別例の歪み低減露光読出パターンを用いた露光及び読出を行うことにより得られる低解像度画像を示す図である。 は、第１別例の歪み低減露光読出パターンを用いて得られた低解像度画像を合成して得られる合成画像の一例を示した図である。 は、図２１に示す合成画像の画素行の位置を補正して得られる補正後合成画像の一例を示す図である。 は、画素の配列と歪み低減露光読出パターンの第２別例とを示す画素部の図である。 は、図２３に示す歪み低減露光読出パターンを用いて露光及び読出を行った場合の露光タイミング及び読出タイミングを示すタイミングチャートである。 は、第２別例の歪み低減露光読出パターンを用いた露光及び読出を行うことにより得られる低解像度画像を示す図である。 は、第２別例の歪み低減露光読出パターンを用いた露光及び読出を行うことにより得られる低解像度画像を示す図である。 は、第２別例の歪み低減露光読出パターンを用いて得られた低解像度画像を合成して得られる補正後合成画像の一例を示す図である。 は、フォーカルプレーン歪みについて説明する図である。 は、図２８に示す画像を撮像する際の露光タイミング及び読出タイミングを示すタイミングチャートである。 は、通常の露光読出パターンから歪み低減露光読出パターンへ切り替えられる場合に出力されるフレーム列を示す図である。 は、歪み低減露光読出パターンから通常の露光読出パターンへ切り替えられる場合に出力されるフレーム列を示す図である。 は、歪み低減露光読出パターンによる合成フレームを用いて無効フレームを置き替える方法の一例を説明する図である。 は、低解像度画像間の動きベクトルを算出する方法の一例を説明する図である。

＜＜撮像装置＞＞
まず、本実施形態に係る撮像装置の全体構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の全体構成について示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＭＯＳイメージセンサなどのＸＹアドレス方式の固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部５と、入力される音を電気信号に変換する集音部６と、集音部６から出力されるアナログ信号である音響信号をデジタル信号に変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号に対してノイズ除去などの各種音響処理を施して出力する音響処理部８と、画像処理部５から出力される画像信号と音響処理部８から出力される音響信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部５から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号されて得られる音響信号をスピーカなどの再生装置（不図示）で再生するためにアナログ信号に変換する音響信号出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス２０と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス１９，２０を省略する。

なお、動画と静止画の画像信号を作成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ作成可能な構成であっても構わない。この場合、集音部６やＡＤＣ７、音響処理部８、音響信号出力回路部１４などを備えない構成としても構わない。

また、外部メモリ１０は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の全体動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。

そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部５に入力される。画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部５が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部５に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

動画の画像信号を作成する場合、集音部６において集音を行う。集音部６で集音されて電気信号に変換される音響信号は、音響処理部８に入力される。音響処理部８は、入力される音響信号をデジタル信号に変換するとともにノイズ除去や音響信号の強度制御などの各種音声処理を施す。そして、画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

一方、静止画の画像信号を作成する場合、画像処理部５から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。そして、画像信号出力回路部１３が、伸長処理部１２から出力される画像信号を表示装置で表示可能な形式に変換して出力し、音響信号処理回路部１４が、伸長処理部１２から出力される音響信号をスピーカで再生可能な形式に変換して出力する。なお、外部メモリ１０に記録された静止画の圧縮符号化信号も同様に処理される。即ち、伸長処理部１２が圧縮符号化信号を伸長及び復号して画像信号を生成し、画像信号出力回路部１３が当該画像信号を表示装置で再生可能な形式に変換して出力する。

なお、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部５から出力される画像信号を圧縮せずに画像信号出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像信号出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。

＜＜歪み補正＞＞
次に、本実施形態の撮像装置１が実行し得る歪み補正について図面を参照して説明する。なお、本実施形態の撮像装置１が実行し得る歪み補正は、主にイメージセンサ２及び画像処理部５により行われる。そのため、以下に示す各実施例の歪み補正の説明では、イメージセンサ２及び画像処理部５の構成及び動作について具体例を挙げ、特に詳細に説明する。また、以下では説明の具体化のために、画像信号を画像としても表現する。

＜第１実施例＞
図２は、第１実施例の歪み補正を実行し得る撮像装置の要部構成について示すブロック図である。図２に示すように、イメージセンサ２は、複数の画素が配列されて成る画素部２４と、露光及び読出を行う画素の画素部２４中の垂直方向の位置を指定する垂直走査部２２と、露光及び読出を行う画素の画素部２４中の水平方向（垂直方向と直交する方向）の位置を指定する水平走査部２３と、垂直走査部２２及び水平走査部２３とを制御する走査制御部２１と、画素部２４から順次読み出される画素信号を画像の信号としてイメージセンサ２から出力する出力部２５と、を備える。また、画像処理部５は、入力される画像を処理して出力画像を生成し出力する信号処理部５１を備える。

垂直走査部２２及び水平走査部２３は、画素部２４中の任意の画素を指定して露光及び読出を行うことができるものであり、露光及び読出を行う画素の順序やタイミング（以下、露光読出パターンとする）の制御は、走査制御部２１が行う。走査制御部２１は、図２８や図２９に示した通常の露光読出パターンと、歪みを低減するための特殊な露光読出パターン（以下、歪み低減露光読出パターンとする）と、を切り替えて露光及び読出の制御を行うことができるものである。露光読出パターンの切り替えは、例えばＣＰＵ１５などによって行われる。なお、歪み低減露光読出パターンの詳細については、後述する。

画素部２４から読み出される画素信号は出力部２５に入力され、出力部２５から当該画素信号（画素値）を備えた画像として出力される。出力部２５から出力される画像は、上述のようにＡＦＥ４に入力されてデジタルの信号に変換され、画像処理部５に入力される。画像処理部５は、入力される画像を一時的にメモリ１６に保持させるとともに、信号処理部５１に必要に応じて読み出して上述のような各種処理を施して出力画像を生成し、出力する。このとき、画像処理部５に入力される画像が歪み低減露光読出パターンを用いた露光及び読出により得られた画像であれば、信号処理部５１はこれに対応した処理を行う。

このように、本実施例の歪み補正は、イメージセンサ２が、歪み低減露光読出パターンを用いた露光及び読出を行うことにより所定の画像を生成するとともに、信号処理部５１が、当該所定の画像に対して所定の処理を行うことにより、歪みが低減された出力画像を生成するものである。

次に、歪み低減露光読出パターンの一例について、図面を参照して説明する。図３は、画素の配列と歪み低減露光読出パターンの一例とを示す画素部の図である。また、図４は、図３に示す歪み低減露光読出パターンを用いて露光及び読出を行う場合の露光タイミング及び読出タイミングを示すタイミングチャートであり、通常の露光読出パターンについて示した図２９に相当するものである。

図３に示す画素部２４は、水平方向（図中の左右方向）にＧ及びＢが交互に並ぶ画素行と水平方向にＧ及びＲが並ぶ画素行とが垂直方向（図中の上下方向）に対して交互に並び、かつ、垂直方向にＧ及びＲが交互に並ぶ画素列とＧ及びＢが交互に並ぶ画素列とが水平方向に対して交互に並ぶ配列（いわゆるベイヤ配列）である。例えば、それぞれの画素の位置を（水平方向，垂直方向）＝（Ｘ，Ｙ）で表現し右方ほどＸが大きく下方ほどＹが大きくなるものとして表現する場合、画素Ｇが（２ｎ，２ｍ）及び（２ｎ＋１，２ｍ＋１）、画素Ｒが（２ｎ，２ｍ＋１）、画素Ｂが（２ｎ＋１，２ｍ）となることとしても構わない（ｎ及びｍは整数）。なお、以下では説明の具体化のために、左上の画素がＧでありその位置を（０，０）にするとともに、ｎ及びｍを０以上の整数とする。

図２８及び図２９に示したように、通常の露光読出パターンは、画素部２４の垂直方向に並ぶ画素行に対して、一方向（上方から下方）かつ連続的に（隣接する画素行に対して順に）露光及び読出を行う。これに対して本実施例の歪み低減露光読出パターンは、画素部２４の垂直方向に並ぶ画素行に対して、一方向（上方から下方）に露光及び読出を行う点においては通常の露光読出パターンと同様であるが、不連続的に露光及び読出を行う点で相違する。以下、本実施例の歪み低減露光読出パターンの具体例について説明する。

本実施例の歪み低減露光読出パターンは、図３に示す画素部２４の各画素を所定の「画素群」に分類し、当該画素群毎で順に露光及び読出を行うものである。なお、図３及び図４に示す歪み低減露光読出パターンの例は、各画素行をその垂直方向の位置に基づいて、４つの画素群Ａ〜Ｄに分類するものである。具体的には、垂直方向の４行毎に同じ画素群Ａ〜Ｄに分類するものである。

さらに具体的には、（ｘ，４ｖ）の画素が画素群Ａに含まれ、（ｘ，４ｖ＋１）の画素が画素群Ｂに含まれ、（ｘ，４ｖ＋２）の画素が画素群Ｃに含まれ、（ｘ，４ｖ＋３）の画素が画素群Ｄに含まれるように、それぞれ分類する（ただし、ｘ及びｖは０以上の整数）。なお、図３では一例として画素部２４の画素行の数を４の倍数として各画素群Ａ〜Ｄに含まれる画素数を等しいものとしているが、これに限られるものではなく任意の数とすることができる。

そして、画素群Ａ、画素群Ｂ、画素群Ｃ、画素群Ｄの順に露光及び読出を行い、画素群Ａ〜Ｄのそれぞれの画素信号によって構成される画像（以下、低解像度画像とする。詳細は後述）を得る。各画素群Ａ〜Ｄの露光及び読出は、通常の露光読出パターンと同様であり、上方の画素行から下方の画素行にかけて行う。したがって、図３の画素部２４であれば、Ａ−０、Ａ−１、…、Ａ−ｓ、Ｂ−０、Ｂ−１、…、Ｂ−ｓ、Ｃ−０、Ｃ−１、…、Ｃ−ｓ、Ｄ−０、Ｄ−１、…、Ｄ−ｓの画素行の順に、露光及び読出を行う（ｓは自然数）。

以上のようにして、通常の露光読出パターンと同様に画素部２４の略全体の画素の露光及び読出を行う。したがって、本例の歪み低減露光読出パターンは、通常の露光読出パターンの露光及び読出を行う画素（特に画素行）の順番を入れ替えたものと解釈することもできる。

また、本例の歪み低減露光読出パターンと通常の露光読出パターンとは、上記のように露光及び読出を行う画素行の順番は異なるものの、画素行毎の露光タイミング及び読出タイミング自体は略等しいものとなる。そのため、図２９及び図４に示すように、それぞれの１フレーム期間は略等しいものとなる。

次に、画素群Ａ〜Ｄのそれぞれから得られるそれぞれの低解像度画像の具体例について、図面を参照して説明する。図５は、撮像領域の一例を示す図であり、図６及び図８は、歪み低減露光読出パターンを用いた露光及び読出を行うことにより得られる低解像度画像を示す図である。また、図７は、通常の露光読出パターンを用いた露光及び読出を行うことにより得られる通常画像を示す図であり、図６及び図８と比較され得るものである。なお、図５に示す撮像領域Ｓは、撮像を開始する直前のものである。また、撮像領域Ｓに含まれる被写体Ｔは、垂直方向に対して平行な辺と水平方向に対して平行な辺とを有する長方形である。

図６（ａ）〜（ｄ）に示す各低解像度画像ＬＡ〜ＬＤ及び図７に示す通常画像Ｎは、図５に示す撮像領域Ｓの状態で撮像を開始するとともに、撮像中に撮像装置１が右方にパンした場合に得られるものである。また、図６（ａ）に示す低解像度画像ＬＡは、画素群Ａの露光及び読出により得られる画像である。同様に、図６（ｂ）に示す低解像度画像ＬＢは、画素群Ｂの露光及び読出により得られる画像であり、図６（ｃ）に示す低解像度画像ＬＣは、画素群Ｃの露光及び読出により得られる画像であり、図６（ｄ）に示す低解像度画像ＬＤは、画素群Ｄの露光及び読出により得られる画像である。

図６（ａ）〜（ｄ）に示す低解像度画像ＬＡ〜ＬＤのそれぞれと、図７に示す通常画像Ｎとを比較すると、水平方向の解像度（画素数）は等しいものとなる。一方、垂直方向の解像度は、低解像度画像ＬＡ〜ＬＤが画素部２４の画素行を４行毎に露光及び読出して得られる画像であるため、画素部２４の画素行を逐次連続的に露光及び読出して得られる画像である通常画像Ｎの略１／４となる。

上述のように、通常の露光読出パターンと本例の歪み低減露光読出パターンとでは、画素行毎の露光タイミング及び読出タイミング自体は略等しくなる。そのため、低解像度画像ＬＡ〜ＬＤと、通常画像Ｎとに生じる歪みの大きさは略等しいものとなる。具体的に例えば、低解像度画像ＬＡ〜ＬＤ及び通常画像Ｎにおいて、本来垂直方向に対して平行である被写体Ｔの辺の傾き（即ち、歪み）が、それぞれの画像中の被写体Ｔにおいて略等しいものとなる。

ここで、低解像度画像ＬＡ〜ＬＤの各画素行は、画素部２４の不連続的な位置（４行毎）の画素行を露光及び読出して得られたものであるため、実質的な歪みの大きさは、図８（ａ）〜（ｄ）に示すような各画素行を画素部２４の本来の位置（図３参照）に置いた低解像度画像ＬＡ１〜ＬＤ１で表されるものとなる。なお、図８（ａ）〜（ｄ）に示す低解像度画像ＬＡ１〜ＬＤ１のそれぞれは、図６（ａ）〜（ｄ）に示した低解像度画像ＬＡ〜ＬＤのそれぞれに対応するものである。

低解像度画像ＬＡ１〜ＬＤ１と低解像度画像ＬＡ〜ＬＤとをそれぞれ比較すると、画素行の間隔は４倍であり上記の被写体Ｔの辺の傾き（即ち、歪み）は１／４である。したがって、低解像度画像ＬＡ〜ＬＤの実質的な歪みは、通常画像Ｎの１／４に低減されることになる。

信号処理部５１は、以上のようにして生成される歪みが低減された低解像度画像ＬＡ〜ＬＤの少なくとも一つ用いて（例えば、低解像度画像ＬＡ〜ＬＤを適宜合成して）、出力画像を生成する。したがって、通常画像Ｎよりも歪みを低減した出力画像を生成することが可能となる。

さらに、画素信号を取得した画素の画素部２４中の位置が異なる低解像度画像ＬＡ〜ＬＤを複数用いて出力画像を生成することとすると、低解像度画像ＬＡ〜ＬＤを用いることによって出力画像の解像度が劣化することを抑制することも可能となる。

また、本実施例の歪み補正では、露光タイミングや読出タイミングが通常の露光読出パターンと略等しいものとなる。したがって、ＡＦＥ４などの後段の構成に大幅な変更を要することなく、本実施例の歪み補正を実行することが可能となる。

なお、Ａ〜Ｄの４つの画素群に分けて４つの低解像度画像ＬＡ〜ＬＤを生成する場合について例示したが、分割する画素群の数は４に限られず、ｋとしても構わない（ｋは２以上の整数）。この場合、画素部２４の垂直方向のｋ画素行毎に、同じ画素群に分類することとしても構わない。このようにして得られる低解像度画像は、歪みを１／ｋに低減することが可能となる。

また、画素部２４の画素行の垂直方向に対して不連続的に露光及び読出を行うこととすれば、低解像度画像の歪みを低減することが可能となるため、不規則的に露光及び読出を行うこととしても構わない。ただし、上述の例のように不連続的な画素行について規則的（例えば、ｋ画素行毎）に露光及び読出を行うこととすると、低減される歪みが垂直方向で均一化されるため好ましい。

また、不連続的に露光及び読出を行う限り低解像度画像の歪みの低減効果を得ることができるため、水平方向に対して不連続的に露光及び読出を行って得られる低解像度画像を用いたとしても、歪み補正の効果を得ることができる。

＜第２実施例＞
次に、歪み補正の第２実施例について説明する。第２実施例も第１実施例と同様に、低解像度画像を用いて歪みを低減した画像を生成するものである。ただし、第２実施例は、低解像度画像を用いた出力画像の生成方法の具体例を示すものであり、低解像度画像の生成方法については第１実施例と同様である。そのため、低解像度画像の生成方法については第１実施例と同様であるものとして、その詳細な説明については省略する。

本実施例を実行し得る撮像装置の要部の構成について、図面を参照して説明する。図９は、第２実施例の歪み補正を実行し得る撮像装置の要部構成について示すブロック図である。なお、第１実施例について示す図２と同様となる部分には同じ符号を付し、その詳細な説明については省略する。

図９に示すように、イメージセンサ２の構成は第１実施例と同様である。そのため、イメージセンサ２が歪み低減露光読出パターンを用いて露光及び読出を行う場合、低解像度画像がＡＦＥ４から画像処理部５に順次入力される。なお、以下では説明の具体化のために、第１実施例に示した歪み低減露光読出パターン（図３及び図４参照）を用いて得られる低解像度画像ＬＡ〜ＬＤ（図６参照）を用いて出力画像を生成する場合について説明する。

画像処理部５は、信号処理部５１と、メモリ１６から信号処理部５１への低解像度画像の信号読出を制御するメモリ制御部５２と、低解像度画像の画像間の動きを検出する動き検出部５３と、をさらに備える。

メモリ制御部５２は、メモリ１６に保持された低解像度画像ＬＡ〜ＬＤを画素行毎に順に読出すことで、複数の低解像度画像ＬＡ〜ＬＤの画素行を垂直方向に対して不連続的に並べて組み合わせた合成画像を生成する。この合成画像の画素行の並びの不連続性は、露光及び読出時の不連続性と同じものである。即ち、低解像度画像ＬＡ〜ＬＤを構成するそれぞれの画素行を、画素部２４の本来の位置（図３参照）通りに整列するように組み合わせることで、合成画像が生成される。

上記のようにして得られる合成画像の一例を図１０に示す。図１０に示す合成画像ＬＧは、図６に示す低解像度画像ＬＡ〜ＬＤのそれぞれの画素行を組み合わせたものであり、図８に示す低解像度画像ＬＡ１〜ＬＤ１を重ね合わせた画像である。合成画像ＬＧは、複数の低解像度画像ＬＡ〜ＬＤを画素行毎に組み合わせて成るものであるため、低解像度画像ＬＡ〜ＬＤから大幅に解像度を改善させることが可能となる。しかしながら、個々の低解像度画像ＬＡ〜ＬＤでは歪みが低減されているが、低解像度画像ＬＡ〜ＬＤ間では歪みが低減されていないため、合成画像ＬＧでは隣接する画素行間の歪みが大きいものとなっている。

そこで、本実施例では、動き検出部５３によって異なる低解像度画像ＬＡ〜ＬＤから得られる画素行間の動きを検出し、検出した動きに基づいて信号処理部５１が画素行の水平方向の位置を補正する（特に、検出した動きを打ち消す方向に画素行の位置を補正する）処理を行うことで、合成画像ＬＧの歪みを低減する。

この合成画像の画素行の位置を補正する処理について、図面を参照して説明する。図１１は、合成画像の画素行の位置を補正する処理の一例について説明する図であり、図１２は図１０に示す合成画像の画素行の位置を補正して得られる補正後合成画像の一例を示す図である。

図１１は、合成画像ＬＧの垂直方向に隣接する８行の画素行を示したものであり、上方から順にＰＡ１、ＰＢ１、ＰＣ１、ＰＤ１、ＰＡ２、ＰＢ２、ＰＣ２、ＰＤ２である。ＰＡ１，ＰＡ２は低解像度画像ＬＡ（画素群Ａ）から得られたものであり、ＰＢ１，ＰＢ２は低解像度画像ＬＢ（画素群Ｂ）から得られたものであり、ＰＣ１，ＰＣ２は低解像度画像ＬＣ（画素群Ｃ）から得られたものであり、ＰＤ１，ＰＤ２は低解像度画像ＬＤ（画素群Ｄ）から得られたものである。本例では、低解像度画像ＬＡ（画素群Ａ）から得られた画素行ＰＡ１，ＰＡ２をそれぞれ基準（以下、基準画素行とする）として固定し、低解像度画像ＬＢ〜ＬＤ（画素群Ｂ〜Ｄ）から得られた画素行ＰＢ１〜ＰＤ１，ＰＢ２〜ＰＤ２（以下、対象画素行とする）を、基準画素行に基づいて補正することとする。

このとき、例えばそれぞれの対象画素行ＰＢ１〜ＰＤ１，ＰＢ２〜ＰＤ２を補正する際に、それぞれの直近上方の画素行（ＰＢ１〜ＰＤ１であればＰＡ１、ＰＢ２〜ＰＤ２であればＰＡ２）を基準とする。なお、例えば直近下方（ＰＢ１〜ＰＤ１であればＰＡ２）を基準としても構わないし、上下の基準画素行の平均（ＰＢ１〜ＰＤ１であればＰＡ１及びＰＡ２の平均値）を基準としても構わない。さらに、基準画素行は低解像度画像ＬＡから得られる画素行ＰＡ１，ＰＡ２に限られず、他の低解像度画像ＬＢ〜ＬＤから得られる画素行（ＰＢ１及びＰＢ２、ＰＣ１及びＰＣ２またはＰＤ１及びＰＤ２）を基準画素行としても構わない。

上記の補正を全ての対象画素行に対して行うことで、図１２に示すような補正後合成画像ＬＧａを得ることができる。ところで、上記の補正を行うと、補正後合成画像ＬＧａの水平方向の端部が不揃いとなる問題が生じ得る。この問題に対しては、例えば、予め大型の低解像度画像ＬＡ〜ＬＤを撮像し、得られる補正後合成画像から所定の大きさの画像を切り出すことで、端部が揃った画像を得ることが可能である。信号処理部５１はこれらの処理を行い、得られる画像を出力画像として出力する。

また、対象画素行の基準画素行に基づく補正方法の一例としてテンプレートマッチングを利用する方法を挙げ、以下説明する。テンプレートマッチングとは、基準画像の一部をテンプレートとし、当該テンプレートと類似する部分を対象画像内から検出する方法である。

テンプレート内の画素と、対象画像内のテンプレートと同じ大きさの領域（以下、対象領域とする）内の画素と、を比較することで、対象画像内からテンプレートと類似する（相関が大きい）部分を検出する。この比較の際に、画素値（例えば輝度値）の差分の２乗和（ＳＳＤ：Sum of Squared Difference、）であるＲ_ＳＳＤ（下記式（１ａ））や、画素値の差分の絶対値和（ＳＡＤ：Sum of Absolute Difference）であるＲ_ＳＡＤ（下記式（１ｂ））を利用することができる。なお、下記式（１ａ）及び（１ｂ）では、基準画像内のテンプレートの中心位置を（０，０）としている。また、位置（ｐ，ｑ）におけるＳＳＤ，ＳＡＤの値をＲ_ＳＳＤ（ｐ，ｑ），Ｒ_ＳＡＤ（ｐ，ｑ）、基準画像のテンプレート内の画素値をＬ（ｉ，ｊ）、位置（ｐ，ｑ）を中心とした対象領域内の画素値をＩ（ｐ＋ｉ，ｑ＋ｊ）、テンプレートの水平方向の大きさ（画素数）を２Ｍ＋１、垂直方向の大きさ（画素数）を２Ｎ＋１とする。

上記式（１ａ）や（１ｂ）に基づいて、Ｒ_ＳＳＤ（ｐ，ｑ）やＲ_ＳＡＤ（ｐ，ｑ）が最小となる対象画像中の画素の位置（ｐ_ｍ，ｑ_ｍ）を算出する。この位置（ｐ_ｍ，ｑ_ｍ）の画素は、テンプレートの中心（０，０）の画素と相関が最も大きいものであり、対応する画素となる。そのため、位置（０，０）と位置（ｐ_ｍ、ｑ_ｍ）との距離及び相対的な位置関係から、基準画像及び対象画像間の動きベクトル（動きの大きさ及び方向）を算出することができる。

図１１に示す例では、基準画素行ＰＡ１，ＰＡ２と対象画素行ＰＢ１〜ＰＤ１，ＰＢ２〜ＰＤ２との水平方向における動きの大きさ及び向きを算出する必要があるが、上記式（１ａ）や（１ｂ）を利用することで当該動きを算出することができる。なお、本例では基準画素行と対象画素行とを比較して水平方向の（一次元の）動きを算出するのみでも動きを検出することができるため、上記式（１ａ）及び（１ｂ）を簡略化して適用することも可能である。

以下、動きの算出方法及び補正方法について、具体例を挙げるとともに図面を参照して説明する。なお、以下ではＳＳＤを用いて一次元のテンプレートマッチングを行う場合について具体的に説明する。

図１３及び図１４は、テンプレートマッチングを用いた補正方法の具体例を示す図である。本例では、基準画素行に設定するテンプレート及び対象画素行中の比較領域の水平方向の大きさ（画素数）を５、垂直方向の大きさ（画素数）を１とする。ここでは上記のように水平方向の位置についてのみ考えることとして水平方向の任意の位置をｐで表すとともに、位置ｐの基準画素行の画素値をＬ（ｐ）、位置ｐの対象画素行の画素値をＩ（ｐ）、位置ｐのＳＳＤ値をＲ（ｐ）、位置ｐの補正後の対象画素行の画素値をＪ（ｐ）とする。また、基準画素行中のテンプレートの中心位置を０、右方向の位置を正、左方向の位置を負とする。

位置ｐにおけるＳＳＤ値Ｒ（ｐ）は、下記式（２）に示すようにして算出される。具体的に例えば、図１３に示すＲ（−２）を算出する場合、テンプレートの画素値Ｌ（−２）〜Ｌ（２）と、比較領域の画素値Ｉ（−４）〜Ｉ（０）と、を対応する画素毎にそれぞれ比較及び合算して算出する。同様に、図１４に示すＲ（２）を算出する場合、テンプレートの画素値Ｌ（−２）〜Ｌ（２）と、比較領域の画素値Ｉ（０）〜Ｉ（４）と、を対応する画素毎にそれぞれ比較及び合算して算出する。

図１３に示す例ではＳＳＤ値Ｒ（−２）が最小値となり、図１４に示す例ではＲ（２）が最小値となる。即ち、図１３では対象画素行の位置（−２）の画素がテンプレートの中心に対応する画素となり、図１３では対象画素行の位置（２）の画素がテンプレートの中心に対応する画素となる。上述のように、ＳＳＤ値Ｒ（ｐ）が最小値となる位置ｐ_ｍが、基準画素行及び対象画素行間の動きを示すものとなる。

本例ではこのｐ_ｍを動き値αとする。動き値αは、その絶対値で基準画素行及び対象画素行間の動きの大きさを示し、正負の符号によって動きの向きを示す。したがって、上述のように歪みを補正するためには、動き値αを打ち消すように対象画素行を移動させる補正を行えばよい。そこで、下記式（３）に示すように対象画素行の画素値を動き値αの大きさだけ水平方向に移動させる補正を行い、補正後の対象画素行の画素値Ｊ（ｐ）を得る。

以上のように補正を行うことにより、合成画像ＬＧ（図１０参照）の画素行間の歪みを低減した補正後合成画像ＬＧａ（図１２参照）を生成することが可能となる。したがって、低解像度ＬＡ〜ＬＤ間の歪みを抑制した補正後合成画像ＬＧａを生成することが可能となる。

また、図１３及び図１４に示す例は画素単位で補正を行うものであるが、ＳＳＤやＳＡＤの値を利用すると、さらに詳細な１画素内（サブピクセル）での補正（以下、追加補正とする）を行うことができる。この追加補正を行う場合の具体例を図１５及び図１６に示す。図１５は、図１３で得られた補正後の対象画素行をさらにサブピクセル単位で追加補正する補正方法を示すものであり、図１６は、図１４で得られた補正後の対象画素行をさらにサブピクセル単位で追加補正する補正方法を示すものである。

図１５及び図１６に示す追加補正を行う場合、ＳＳＤ値Ｒ（ｐ）についても動き値αを用いた補正後のＳＳＤ値Ｄ（ｐ）として、補正後の対象画素行の画素値Ｊ（ｐ）と対応させる（下記式（４）参照）。なお、下記式（４）の補正方法は上記式（３）の補正方法と同様のものである。

図１５及び図１６に示すように、上記式（３）の補正によりテンプレートの中心に対応する対象画素行の位置ｐ_ｍの画素が、位置０に移動する。しかしながら、この移動は画素単位の移動であり、サブピクセル単位でみるとテンプレートの中心に対応する対象画素行の画素の位置ｐ_ｎが、位置０からずれている場合がある。このずれは、下記式（５）に示すようにＳＳＤ値Ｄ（ｐ）をさらに比較することで算出することができる。ここでは、画素単位での移動が行われた後であることから−１＜ｐ_ｎ＜１となることがわかっているため、ＳＳＤ値Ｄ（−１），Ｄ（０），Ｄ（１）を用いて算出を行う。なお、下記式（５）中のサブ動き値βはｐ_ｎと等しく、サブピクセル単位での基準画素行及び対象画素行間の動きを示すものである。即ち、動き値αと同質の値である。

動き値αと同様に、上記式（５）によって算出されたサブ動き値βを打ち消すように対象画素行を移動させることができれば、サブピクセル単位での追加補正を行うことができる。しかしながら、上記式（３）に示すような画素の移動による補正は画素単位でしか行うことができず、この場合には適用することができない。そのため、例えば下記式（６ａ）〜（６ｃ）に示すように線形補間によって追加補正後の対象画素行の画素値Ｋ（ｐ）を算出する。

図１５に示すようにサブ動き値βが正である場合、対象画素行が全体的に正の方向（右方向）にずれたものとなる。そのため、上記式（６ａ）に示すように追加補正後の対象画素行の画素値Ｋ（ｐ）を算出する際に、補正後の対象画素行の画素値Ｊ（ｐ）及びＪ（ｐ−１）を用いる。同様に、図１６に示すようにサブ動き値βが負である場合、対象画素行が全体的に負の方向（左方向）にずれたものとなる。そのため、上記式（６ｃ）に示すように追加補正後の対象画素行の画素値Ｋ（ｐ）を算出する際に、補正後の対象画素行の画素値Ｊ（ｐ）及びＪ（ｐ＋１）を用いる。なお、動き値βが０であれば、上記式（６ｂ）に示すように追加補正の前後で画素値が同じものとなる。

以上のように追加補正を行うこととすると、補正後合成画像ＬＧａの画素行間の歪みをさらに低減することが可能となる。

なお、上述のＳＳＤやＳＡＤの値は、同種の画素値を用いて算出することとすると好適であり、そのためにＳＳＤやＳＡＤの値を算出しようとする画素の当該種類の画素値を予め算出することとしても構わない。例えば、算出対象画素の周囲の画素が有するＲＧＢの画素値をそれぞれ用いて（補間により算出対象画素のＲＧＢ値を算出して）、算出対象画素の輝度値を算出することとしても構わない。また例えば、同様に周囲の画素が有するＧの画素値を用いて（補間して）、算出対象画素のＧの画素値を算出することとしても構わない。

また、低解像度画像ＬＡ〜ＬＤ間の動きは、撮像装置などに搭載される動きを検出するセンサ（例えば、ジャイロセンサなど）等を用いて露光期間中の動きを検出することで求めることも可能である。ただし、撮像装置１の小型化や簡素化などの観点から、上述のように画像を利用して算出することとすると好ましい。

また、補正後合成画像ＬＧａを生成するために低解像度画像ＬＡ〜ＬＤのそれぞれの画素行をメモリ１６から信号処理部５１に読み出す前に、動き検出部５３が予め低解像度画像ＬＡ〜ＬＤ間の動きを算出してメモリ制御部５２に伝えることとしても構わない。このように構成すると、メモリ１６から画素行を読み出す際に、読み出し位置を画素単位で調整することで上記の画素単位の補正（図１２参照）を行うことが可能となる。

また、歪み低減露光読出パターンが、水平方向に対して不連続的に露光及び読出を行うものであっても、本実施例の出力画像の生成方法を適用することが可能である。この場合、合成に用いる各低解像度画像において水平方向に対して空いている画素の画素値を補間などによって算出した上で上述の比較を行い、動き値α，βを算出して合成すべき画素の位置や画素値を算出しても構わない。

＜歪み低減露光読出パターンの別例＞
上述の第１及び第２実施例では、図３及び図４に示すように垂直方向に対して不連続的となるように画素の露光及び読出を行うこととしたが、適用可能な歪み低減露光読出パターンはこの例に限られるものではない。以下、歪み低減露光読出パターンの別例について図面を参照して説明する。

（第１別例）
まず、歪み低減露光読出パターンの第１別例について図面を参照して説明する。図１７は、画素の配列と歪み低減露光読出パターンの第１別例とを示す画素部の図であり、第１実施例について示した図３に相当するものである。また、図１８は、図１７に示す歪み低減露光読出パターンを用いて露光及び読出を行った場合の露光タイミング及び読出タイミングを示すタイミングチャートであり、第１実施例について示した図４に相当するものである。

本別例においても、画素部２４が図３と同様のベイヤ配列であることとする。さらに、本例の歪み低減露光読出パターンも、第１実施例と同様に４つの画素群Ａ１０〜Ｄ１０に分類するとともに不連続的に露光及び読出を行うものであるが、画素群Ａ１０〜Ｄ１０の分類方法が第１実施例とは異なる。

具体的には、（ｘ，８ｖ）及び（ｘ，８ｖ＋１）の画素が画素群Ａ１０に含まれ、（ｘ，８ｖ＋２）及び（ｘ，８ｖ＋３）の画素が画素群Ｂ１０に含まれ、（ｘ，８ｖ＋４）及び（ｘ，８ｖ＋５）の画素が画素群Ｃ１０に含まれ、（ｘ，８ｖ＋６）及び（ｘ，８ｖ＋７）の画素が画素群Ｄ１０に含まれるように、それぞれ分類する（ただし、ｘ及びｖは０以上の整数）。なお、図１７では一例として画素部２４の画素行の数を８の倍数として各画素群に含まれる画素数を等しいものとしているが、これに限られるものではなく任意の数とすることができる。

そして、画素群Ａ１０、画素群Ｂ１０、画素群Ｃ１０、画素群Ｄ１０の順に露光及び読出を行い、画素群Ａ１０〜Ｄ１０のそれぞれの画素信号によって構成される低解像度画像を得る。各画素群Ａ１０〜Ｄ１０の露光及び読出は、通常の露光読出パターンと同様であり、上方の画素行から下方の画素行にかけて行う。したがって、図１７の画素部２４であれば、Ａ１０−０ａ、Ａ１０−０ｂ、…、Ａ１０−ｓａ、Ａ１０−ｓｂ、Ｂ１０−０ａ、Ｂ１０−０ｂ、…、Ｂ１０−ｓａ、Ｂ１０−ｓｂ、Ｃ１０−０ａ、Ｃ１０−０ｂ、…、Ｃ１０−ｓａ、Ｃ１０−ｓｂ、Ｄ１０−０ａ、Ｄ１０−０ｂ、…、Ｄ１０−ｓａ、Ｄ１０−ｓｂの画素行の順に、露光及び読出を行う（ｓは自然数）。

以上のようにして、通常の露光読出パターンや第１実施例で示した歪み低減露光読出パターンと同様に、画素部２４の略全体の画素の露光及び読出を行う。したがって、本別例の歪み低減露光読出パターンも、第１実施例で示した歪み低減露光読出パターンと同様に通常の露光読出パターンの露光及び読出を行う画素（特に画素行）の順番を入れ替えたものと解釈することができる。

また、本別例の歪み低減露光読出パターンと、通常の露光読出パターンや第１実施例で示した歪み低減露光読出パターンとは、上記のように露光及び読出を行う画素行の順番は異なるものの、画素行毎の露光タイミング及び読出タイミング自体は略等しいものとなる。そのため、図２９、図４及び図１８に示すように、それぞれの１フレーム期間は略等しいものとなる。

次に、画素群Ａ１０〜Ｄ１０のそれぞれから得られるそれぞれの低解像度画像の具体例について、図面を参照して説明する。図１９及び図２０は、第１別例の歪み低減露光読出パターンを用いた露光及び読出により得られる低解像度画像を示す図であり、第１実施例について示した図６及び図８と比較され得るものである。特に、図１９及び図２０は、図６及び図８と同様に、図５に示す撮像領域Ｓの状態で撮像を開始するとともに、撮像中に撮像装置１が右方にパンした場合に得られる低解像度画像ＬＡ１０〜ＬＤ１０，ＬＡ１１〜ＬＤ１１について示したものである。

図１９（ａ）に示す低解像度画像ＬＡ１０は、画素群Ａ１０の露光及び読出により得られる画像である。同様に、図１９（ｂ）に示す低解像度画像ＬＢ１０は、画素群Ｂ１０の露光及び読出により得られる画像であり、図１９（ｃ）に示す低解像度画像ＬＣ１０は、画素群Ｃ１０の露光及び読出により得られる画像であり、図１９（ｄ）に示す低解像度画像ＬＤ１０は、画素群Ｄ１０の露光及び読出により得られる画像である。

また、図２０（ａ）〜（ｄ）に示す低解像度画像ＬＡ１１〜ＬＤ１１は、図１９（ａ）〜（ｄ）の低解像度画像ＬＡ１０〜ＬＤ１０の各画素行を画素部２４の本来の位置（図１７参照）に置いたものであり、第１実施例について示した図８（ａ）〜（ｄ）と同様に実質的な歪みの大きさを示すものである。なお、図２０（ａ）〜（ｄ）に示す低解像度画像ＬＡ１１〜ＬＤ１１のそれぞれは、図１９（ａ）〜（ｄ）に示した低解像度画像ＬＡ１０〜ＬＤ１０のそれぞれに対応するものである。

図２０（ａ）〜（ｄ）に示す第１別例の低解像度画像ＬＡ１１〜ＬＤ１１は、２行ずつ隣接している画素行が６行の間隔を空けて並ぶ。そのため第１実施例と同様に、低解像度画像ＬＡ１１〜ＬＤ１１の画素行の間隔は、低解像度画像ＬＡ１０〜ＬＤ１０の４倍となる。したがって、低解像度画像ＬＡ１０〜ＬＤ１０の実質的な歪みは、通常画像Ｎの１／４に低減されていることになる。

そのため、第１実施例と同様に低解像度画像ＬＡ１０〜ＬＤ１０の少なくとも一つ用いて出力画像を生成することで、通常画像Ｎよりも歪みを低減した出力画像を生成することが可能となる。また、取得した画素信号の画素部２４中の位置が異なる低解像度画像ＬＡ１０〜ＬＤ１０を複数用いて出力画像を生成することで、解像度の劣化を抑制することが可能となる。さらに、露光タイミングや読出タイミングが通常の露光読出パターンと略等しいものとなるため、ＡＦＥ４などの後段の構成に大幅な変更を不要とすることが可能となる。

さらに、本別例では２行の隣接する画素行に対して連続的に露光及び読出を行う。また、図１７に示すように、ベイヤ配列では当該隣接する画素行にＲＧＢの画素が含まれる。そのため、低解像度画像ＬＡ１０〜ＬＤ１０やこれらを組み合わせた画像において、当該隣接する画素行の画素値に基づいて輝度値などの新たな画素値を生成する場合に、精度よく画素値を算出することが可能となる。

ところで、第２実施例に示した低解像度画像の合成方法を本別例の歪み低減露光読出パターンを用いて得られた低解像度画像ＬＡ１０〜ＬＤ１０に適用して、出力画像を生成することも可能である。第２実施例に示す出力画像の生成方法を適用する場合について、図面を参照して説明する。

図２１は、第１別例の歪み低減露光読出パターンを用いて得られた低解像度画像を合成して得られる合成画像の一例を示した図であり、第２実施例について示した図１０に相当するものである。図２２は、図２１に示す合成画像の画素行の位置を補正して得られる補正後合成画像の一例を示す図であり、第２実施例について示した図１２に相当するものである。

図２１に示す合成画像ＬＧ１０は、図１９に示す低解像度画像ＬＡ１０〜ＬＤ１０のそれぞれの画素行を組み合わせたものであり、図２０に示す低解像度画像ＬＡ１１〜ＬＤ１１を重ね合わせた画像である。合成画像ＬＧ１０は、上述のように隣接する２行の画素行が連続的に露光及び読出されたものとなる。そのため、例えば図２２の補正後合成画像ＬＧａ１０に示すように、当該隣接する２行毎に補正を行うこととしても構わない。またこのとき、動き値α，βを算出する際に行数を２とした２次元のテンプレート（上記式（１ａ）または（１ｂ））を用いても構わない。なお、第２実施例で示したように、１行毎に画素行を補正することとしても構わない。

このように構成すると、第２実施例と同様に合成画像ＬＧ１０（図２１参照）の画素行間の歪みを低減した補正後合成画像ＬＧａ１０（図２２参照）を生成することが可能となる。また、上述のように低解像度画像ＬＡ１０〜ＬＤ１０の輝度値などを精度よく算出することが可能となる。したがって、これらの画素値を用いることで動き値α，βを精度よく算出することが可能となる。

なお、Ａ１０〜Ｄ１０の４つの画素群に分けて４つの低解像度画像ＬＡ１０〜ＬＤ１０を生成する場合について例示したが、分割する画素群の数は４に限られず、ｋとしても構わない（ｋは２以上の整数）。さらに、隣接する２行の画素行について連続して露光及び読出することとしたが、当該隣接する画素行は２行に限られず、ｕ行としても構わない（ｕは２以上の整数）。この場合、画素部２４の垂直方向のｕ×（ｋ−１）行間隔でｕ行ずつ同じ画素群に分類することとしても構わない。このようにして得られる低解像度画像は、歪みを１／ｋに低減することが可能となる。

（第２別例）
また、歪み低減露光読出パターンの第２別例について図面を参照して説明する。図２３は、画素の配列と歪み低減露光読出パターンの第２別例とを示す画素部の図であり、第１実施例について示した図３に相当するものである。また、図２４は、図２３に示す歪み低減露光読出パターンを用いて露光及び読出を行った場合の露光タイミング及び読出タイミングを示すタイミングチャートであり、第１実施例について示した図４に相当するものである。

本別例においても、画素部２４が図３と同様のベイヤ配列であることとする。さらに、本例の歪み低減露光読出パターンも、第１実施例と同様に４つの画素群Ａ２０〜Ｄ２０に分類するとともに不連続的に露光及び読出を行うものであるが、画素群Ａ２０〜Ｄ２０の分類方法が第１実施例とは異なる。

具体的には、（４ｈ，４ｖ）、（４ｈ＋１，４ｖ）、（４ｈ，４ｖ＋１）及び（４ｈ＋１，４ｖ＋１）の画素が画素群Ａ２０に含まれ、（４ｈ，４ｖ＋２）、（４ｈ＋１，４ｖ＋２）、（４ｈ，４ｖ＋３）及び（４ｈ＋１，４ｖ＋３）の画素が画素群Ｂ２０に含まれ、（４ｈ＋２，４ｖ）、（４ｈ＋３，４ｖ）、（４ｈ＋２，４ｖ＋１）及び（４ｈ＋３，４ｖ＋１）の画素が画素群Ｃ２０に含まれ、（４ｈ＋２，４ｖ＋２）、（４ｈ＋３，４ｖ＋２）、（４ｈ＋２，４ｖ＋３）及び（４ｈ＋３，４ｖ＋３）の画素が画素群Ｄ２０に含まれるように、それぞれ分類する（ただし、ｈ及びｖは０以上の整数）。なお、図２３では一例として、画素部２４の画素行及び画素列の数を４の倍数として各画素群に含まれる画素数を等しいものとしているが、これに限られるものではなく任意の数とすることができる。

そして、画素群Ａ２０、画素群Ｂ２０、画素群Ｃ２０、画素群Ｄ２０の順に露光及び読出を行い、画素群Ａ２０〜Ｄ２０のそれぞれの画素信号によって構成される低解像度画像を得る。各画素群Ａ２０〜Ｄ２０の露光及び読出は、通常の露光読出パターンと同様であり、上方の画素行から下方の画素行にかけて行う。したがって、図２３の画素部２４であれば、Ａ２０−０ａ、Ａ２０−０ｂ、…、Ａ２０−ｓａ、Ａ２０−ｓｂ、Ｂ２０−０ａ、Ｂ２０−０ｂ、…、Ｂ２０−ｓａ、Ｂ２０−ｓｂ、Ｃ２０−０ａ、Ｃ２０−０ｂ、…、Ｃ２０−ｓａ、Ｃ２０−ｓｂ、Ｄ２０−０ａ、Ｄ２０−０ｂ、…、Ｄ２０−ｓａ、Ｄ１０−ｓｂの画素行の順に、露光及び読出を行う（ｓは自然数）。

以上のようにして、通常の露光読出パターンや第１実施例で示した歪み低減露光読出パターンと同様に、画素部２４の略全体の画素の露光及び読出を行う。したがって、本別例の歪み低減露光読出パターンは、垂直方向だけでなく水平方向に対しても不連続的に露光及び読出を行うものであるが、第１実施例で示した歪み低減露光読出パターンと同様に通常の露光読出パターンの露光及び読出を行う画素の順番を入れ替えたものと解釈することができる。

また、本別例の歪み低減露光読出パターンは、通常の露光読出パターンや第１実施例で示した歪み低減露光読出パターンと比較して、画素行の１行毎の露光及び読出時間が略半分になるが、露光及び読出を行う画素行は略倍となる。そのため、図２９、図４及び図２４に示すように、それぞれの１フレーム期間は略等しいものとなる。

次に、画素群Ａ２０〜Ｄ２０のそれぞれから得られるそれぞれの低解像度画像の具体例について、図面を参照して説明する。図２５及び図２６は、第２別例の歪み低減露光読出パターンを用いた露光及び読出を行うことにより得られる低解像度画像を示す図であり、第１実施例について示した図６及び図８と比較され得るものである。特に、図２５及び図２６は、図６及び図８と同様に、図５に示す撮像領域Ｓの状態で撮像を開始するとともに、撮像中に撮像装置１が右方にパンした場合に得られる低解像度画像ＬＡ２０〜ＬＤ２０，ＬＡ２１〜ＬＤ２１について示したものである。

図２５（ａ）に示す低解像度画像ＬＡ２０は、画素群Ａ２０の露光及び読出により得られる画像である。同様に、図２５（ｂ）に示す低解像度画像ＬＢ２０は、画素群Ｂ２０の露光及び読出により得られる画像であり、図２５（ｃ）に示す低解像度画像ＬＣ２０は、画素群Ｃ２０の露光及び読出により得られる画像であり、図２５（ｄ）に示す低解像度画像ＬＤ２０は、画素群Ｄ２０の露光及び読出により得られる画像である。

また、図２６（ａ）〜（ｄ）に示す低解像度画像ＬＡ２１〜ＬＤ２１は、図２５（ａ）〜（ｄ）の低解像度画像ＬＡ２０〜ＬＤ２０の各画素行を画素部２４の本来の位置（図２３参照）に置いたものであり、第１実施例について示した図８（ａ）〜（ｄ）と同様に実質的な歪みの大きさを示すものである。なお、図２６（ａ）〜（ｄ）に示す低解像度画像ＬＡ２１〜ＬＤ２１のそれぞれは、図２５（ａ）〜（ｄ）に示した低解像度画像ＬＡ２０〜ＬＤ２０のそれぞれに対応するものである。

図２６（ａ）〜（ｄ）に示す第２別例の低解像度画像ＬＡ２１〜ＬＤ２１は、２行２列の画素のブロックが、垂直方向に２行、水平方向に２列の間隔を空けて並ぶ。そのため、低解像度画像ＬＡ２１〜ＬＤ２１の画素行の間隔が、低解像度画像ＬＡ２０〜ＬＤ２０の２倍となる。また、水平方向の画素は画素行全体の半分となるため、露光期間が半分となり（図２４参照）、画素行毎の歪みは通常画像Ｎの１／２となる。したがって、低解像度画像ＬＡ２０〜ＬＤ２０の実質的な歪みは、通常画像Ｎの１／４に低減されていることになる。

そのため、第１実施例と同様に低解像度画像ＬＡ２０〜ＬＤ２０の少なくとも一つ用いて出力画像を生成することで、通常画像Ｎよりも歪みを低減した出力画像を生成することが可能となる。また、取得した画素信号の画素部２４中の位置が異なる低解像度画像ＬＡ２０〜ＬＤ２０を複数用いて出力画像を生成することで、解像度の劣化を抑制することが可能となる。さらに、露光及び読出を行う画素数は通常の露光読出パターンと略等しいものであり、略等しい速度で画素信号を読み出すことが可能であるため、ＡＦＥ４などの後段の構成に大幅な変更を不要とすることが可能となる。

さらに、本別例では２行２列の隣接する画素に対して連続的に露光及び読出を行う。また、図２３に示すように、ベイヤ配列では当該隣接する画素にＲＧＢの画素が含まれる。そのため、低解像度画像ＬＡ２０〜ＬＤ２０やこれらを組み合わせた画像において、当該隣接する画素の画素値に基づいて輝度値などの新たな画素値を生成する場合に、精度よく画素値を算出することが可能となる。

ところで、第２実施例に示した低解像度画像の合成方法を本別例の歪み低減露光読出パターンを用いて得られた低解像度画像ＬＡ２０〜ＬＤ２０に適用して、出力画像を生成することも可能である。第２実施例に示す出力画像の生成方法を適用する場合について、図面を参照して説明する。図２７は、第２別例の歪み低減露光読出パターンを用いて得られた低解像度画像を合成して得られる補正後合成画像の一例を示す図であり、第２実施例について示した図１２に相当するものである。

図２７に示す補正後合成画像ＬＧａ２０は、図２５に示す低解像度画像ＬＡ２０〜ＬＤ２０のそれぞれの画素の位置を補正して組み合わせたものであり、図２６に示す低解像度画像ＬＡ２１〜ＬＤ２１の位置を補正して重ね合わせた画像である。この場合、合成に用いる各低解像度画像ＬＡ２１〜ＬＤ２１において水平方向や垂直方向に対して空いている画素の画素値を補間などによって算出した上で上述の比較を行い、動き値α，βを算出して合成すべき画素の位置や画素値を算出しても構わない。

このように構成すると、画素間の歪みを低減した補正後合成画像ＬＧａ２０を生成することが可能となる。また、上述のように低解像度画像ＬＡ２０〜ＬＤ２０の輝度値などを精度よく算出することが可能となる。したがって、これらの画素値を用いることで動き値α，βを精度よく算出することが可能となる。

なお、Ａ２０〜Ｄ２０の４つの画素群に分けて４つの低解像度画像ＬＡ２０〜ＬＤ２０を生成する場合について例示したが、分割する画素群の数は４に限られず、ｋとしても構わない（ｋは２以上の整数）。さらに、１つの画素群が画素部２４の垂直方向の１／ｃ個、水平方向の１／ｄ個の画素を取得することとしても構わない（ｃ及びｄは自然数）。このようにして得られる低解像度画像は、歪みを１／（ｃ×ｄ）に低減することが可能となる。

＜変形例＞
上述の各種歪み低減露光読出パターンや通常の露光読出パターンなど、複数の露光読出パターンを適用可能な構成として、必要に応じて適切な露光読出パターンを選択して適用することとしても構わない。例えば、発生し得る歪みの大小（例えば、レンズ部３のズーム倍率の大小）に応じて、選択する歪み低減露光読出パターンの分割数や分割パターンを異ならせても構わない。特に、レンズ部３のズーム倍率が大きく、大きい歪みが発生することが予想される場合に、歪み補正効果の高い歪み低減露光読出パターン（例えば、分割数が多いパターン）が選択される構成としても構わない。

一方、ズーム倍率が小さく、小さい歪みしか発生し得ないと予想される場合は、通常の露光読出パターンを用いて露光及び読出を行って通常画像Ｎを生成し、これに基づいて出力画像を生成しても構わない。このように構成すると、誤った歪み補正によって出力画像がかえって歪むこととなったり、解像度が劣化したりすることを抑制することが可能となる。

（手ぶれ補正のＯＮ／ＯＦＦに基づく制御）
撮像装置１に手ぶれ補正機能を備えることができる。手ぶれ補正技術は、静止画像又は動画像の撮影時に発生する手ぶれを検出し、その検出結果を用いて当該手ぶれを軽減する技術である。手ぶれ検出方法としては、角速度センサ又は角加速度センサなどの手ぶれ検出センサを用いる方法と、撮影画像から画像処理により手ぶれを検出する方法等が公知となっている。手ぶれ補正方法としては、レンズ又は撮像素子を駆動制御することにより光学系側で手ぶれを補正する光学式手ぶれ補正と、画像処理により手ぶれに起因するぼけを除去する電子式手ぶれ補正等が公知となっている。撮像装置１は、これら公知の手ぶれ補正技術を採用することにより手ぶれ補正機能を実現することができる。撮像装置１において、手ぶれ補正機能がＯＦＦ（無効）の場合、或いは、手ぶれ補正機能がＯＦＦであって、さらにフォーカルプレーン歪が比較的目立たないと予想される場合には、通常の露光読出パターンを用いた露光及び読出により通常画像を出力し、これに基づいて出力画像を生成する構成とすることができる。他方、手ぶれ補正機能がＯＮ（有効）の場合には、歪み低減露光読出パターンを用いた露光及び読出により複数の低解像度画像を出力し、これらに基づいて出力画像を生成する構成とすることができる。

（ユーザ操作による切り替え）
また、ユーザ操作により、歪み低減露光読出を行う／行わない、通常の露光読出との切り替えを行う／行わない等を設定することができる構成とすることもできる。

（露光読出パターンの切り替えにより発生する無効フレームへの対応）
画素部２４の駆動方式を通常の露光読出パターンから歪み低減露光読出パターン、或いはその逆へ切り替えるときに、無効画像（以下、無効フレームと記載する。また、画素部２４から出力される画像をフレームと記載する。）が発生する場合がある。無効フレームとは、駆動方式の切替え時において、一時的に画素部２４から有効な受光画素信号が取得できなかったフレームを指す。画素部２４の特性に応じて、無効フレームが発生する場合と発生しない場合がある。

図３０及び図３１は、フレーム期間毎（ｔ１、ｔ２、ｔ３、・・・）に画素部２４から出力されるフレーム列のイメージ図を示している。図３０は、時刻ｔ１からｔ２の間に通常の露光読出パターンから歪み低減露光読出パターンへ切り替えられる場合に出力されるフレーム列を示している。図３１は、歪み低減露光読出パターンから通常の露光読出パターンへ切り替えられる場合に出力されるフレーム列を示している。図３０、図３１において、本来、時刻ｔ２のタイミングでは、それぞれ歪み低減露光読出によるフレーム、通常の露光読出によるフレームが出力されなければならない。しかしながら、駆動方式の切り替えに一定の時間が必要なことに起因して画素部２４から有効な受光画素信号が取得できず、この結果、無効フレーム１０２、無効フレーム１１２が出力される。

このような無効フレームの存在は、撮影画像の視聴者に不快感を与えることとなるため、なんらかの対応が必要である。第１の無効フレームへの対応方法としては、無効フレームが発生するタイミングにおいて、その直前に生成されたフレームを無効フレームに替えて出力するという方法がある。図３０では、時刻ｔ２で出力される無効フレーム１０２を、その直前の時刻ｔ１で出力される通常の露光読出フレーム１０１と置き換えることができる。また、図３１では、無効フレーム１１２を、歪み低減露光読出によって出力される４つの低解像度フレーム、１１１Ａ、１１１Ｂ、１１１Ｃ及び１１１Ｄを合成することによって生成された合成フレーム１１１と置き換えることができる。尚、低解像度フレームの合成は、実施例２に記載の方法で行われる。

無効フレームが発生する時刻ｔ２において、その直後の時刻ｔ３で生成されたフレームを利用できる場合は、当該フレームを無効フレームと置き換えても良い。また無効フレームが発生する時刻ｔ２の直前直後である時刻ｔ１及びｔ３で生成されたフレームの平均となるフレームを無効フレームと置き換えても良い。即ち、図３０では、時刻ｔ２で出力される無効フレーム１０２を、その直後の時刻ｔ３で出力される歪み低減露光読出によって出力される４つの低解像度フレーム、１０３Ａ、１０３Ｂ、１０３Ｃ及び１０３Ｄを合成することにより生成される合成フレーム１０３と、或いは、フレーム１０１と１０３の平均となるフレームと置き換えることができる。図３１では、無効フレーム１１２を、通常の露光読出によって出力されるフレーム１１３と、或いは、フレーム１１１と１１３の平均となるフレームと置き換えることができる。

図３２は、図３１と同様に、時刻ｔ１からｔ２の間に歪み低減露光読出パターンから通常の露光読出パターンへ切り替えられる場合に出力されるフレーム列を示している。尚、図３１及び図３２では、歪み低減露光読出により低解像度フレームが、フレーム１１１Ａ、１１１Ｂ、１１１Ｃ、１１１Ｄの順に画素部２４から出力される。図３２において、第２の無効フレームへの対応方法は、時刻ｔ１における歪み低減露光読出により出力される低解像度フレーム１１１Ａ、１１１Ｂ、１１１Ｃ及び１１１Ｄのうち、無効フレームが発生する時刻ｔ２により近い時刻に出力されるフレーム１１１Ｃ及び１１１Ｄ間の動きベクトルを算出し、当該動きベクトルを用いて合成フレーム１１１に水平方向の位置補正（以下、動き補償と記載する。）を施したフレームを、時刻ｔ２で発生する無効フレームに替えて出力する方法である。これにより、例えば、パンニングが行なわれている場合には、時刻ｔ２において当該パンニングによる被写体の移動を考慮したフレームを出力することができる。この結果、時刻ｔ１、ｔ２、ｔ３で連続して出力されるフレーム列は、違和感が少なく、より自然な映像として視認されることとなる。

図３３は、合成画像１１１に含まれる８行分の画素行を示しており、実施例２の図１１に相当する図である。図３３において、動きベクトルＶ１１１Ｂ１、Ｖ１１１Ｃ１、Ｖ１１１Ｄ１のそれぞれは、フレーム１１１Ａの画素行１１１Ａ１を基準とした場合の画素行１１１Ｂ１、画素行１１１Ｃ１、画素行１１１Ｄ１の動きベクトルを表している。同様に、動きベクトルＶ１１１Ｂ２、Ｖ１１１Ｃ２、Ｖ１１１Ｄ２のそれぞれは、フレーム１１１Ａの画素行１１１Ａ２を基準とした場合の画素行１１１Ｂ２、画素行１１１Ｃ２、画素行１１１Ｄ２の動きベクトルを表している。尚、これら動きベクトルは、実施例２の図１１における画素行間の水平方向の歪に相当するものである。低解像度フレーム１１１Ａ、１１１Ｃ及び１１１Ｄの画素行がＮ行であるとすると、フレーム１１１Ａを基準としたフレーム１１１Ｃの動きベクトルＶ１１１Ｃは下記式（７ａ）によって算出され、フレーム１１１Ａを基準としたフレーム１１１Ｄの動きベクトルＶ１１１Ｄは下記式（７ｂ）により算出される。フレーム１１１Ｃ及び１１１Ｄ間の動きベクトルＶ１１１ＤＣは、下記式（７ｃ）により算出される。ここで、動きベクトルＶ１１１ＤＣは１／４フレーム期間の動きベクトルであるから、下記式（７ｄ）により、４倍の逆動きベクトルＭＣＶ１１２を算出し、これを用いて合成フレーム１１１の動き補償を行い、無効フレーム１１２と置き換える。

図３０において、無効フレームが発生する時刻ｔ２において、その直後の時刻ｔ３に生成された合成フレーム１０３を利用できる場合には、時刻ｔ２により近いフレーム１０３Ａ及び１０３Ｂから算出した動きベクトルを用いて合成フレーム１０３の動き補償を行い、無効フレーム１０２と置き換えても良い。また、直前直後に生成された歪み低減露光読出による合成フレームに動き補償が施されたフレームと通常の露光読出フレームの平均となるフレームを無効フレームと置き換えても良い。尚、図３０では、歪み低減露光読出により低解像度フレームが、フレーム１０３Ａ、１０３Ｂ、１０３Ｃ、１０３Ｄの順に画素部２４から出力される。

以上において、単板式でベイヤ配列となる撮像部２４に各種歪み低減露光読出パターンを適用する例について示したが（図３、図１７及び図２３参照）、適用可能な撮像部２４の形式は単板式のベイヤ配列に限られない。例えば、ベイヤ配列以外の配列となる単板式の撮像部にも適用可能であるし、三板式（例えば、Ｒ、Ｇ及びＢの画素信号を３つの撮像素子を用いて別々に生成）などの複数の撮像素子を備える撮像部にも適用可能である。

複数の撮像素子を備える撮像部に適用する場合、それぞれの撮像素子において異なる歪み低減露光読出パターンを採用しても構わないし、同じ歪み低減露光読出パターンを採用しても構わない。同じ歪み低減露光読出パターンを採用するとともに同じタイミングで露光及び読出を行う場合、それぞれの撮像素子から得られてある画素を構成する信号のそれぞれが、異なるタイミングで露光及び読出されたものとなることを抑制することが可能となる。また、撮像素子毎に上述の第２実施例の合成を別々に行っても構わないし、それぞれの撮像素子から得られた画素信号を総合した上で共通した第２実施例の合成を行っても構わない。共通した合成を行う場合、合成方法が異なることによるずれなどを抑制することが可能となる。

また、本発明の実施形態における撮像装置１について、画像処理部５や走査制御部２１などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１、図２及び図９の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１の一部を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、ＸＹアドレス方式の撮像素子を備える撮像装置に関する。

２ イメージセンサ
２１ 走査制御部
２２ 垂直走査部
２３ 水平走査部
２４ 画素部
２５ 出力部
５ 画像処理部
５１ 信号処理部
５２ メモリ制御部
５３ 動き検出部

Claims (6)

1. 配列された任意の画素を指定して露光及び読出を実行可能な撮像素子を備える撮像装置において、
   前記撮像素子に備えられる画素の露光及び読出を制御する走査制御部と、
   出力画像を生成する信号処理部と、を備え、
   前記走査制御部が、属する画素の位置が異なる複数の画素群を順次切り替えて画素の露光及び読出を行うことで、複数の低解像度画像を順次生成し、
   前記信号処理部が、当該複数の前記低解像度画像に基づいて１つの前記出力画像を生成することを特徴とする撮像装置。
2. 複数の前記低解像度画像を一時記憶するメモリと、
   前記メモリから前記信号処理部への前記低解像度画像の読出を制御するメモリ制御部と、をさらに備え、
   前記メモリ制御部が、前記メモリに一時記憶されている複数の前記低解像度画像を構成する画素信号の読出の順序を、当該画素信号が得られた前記撮像素子の画素の配列に対応させることを特徴とする請求項１記載の撮像装置。
3. 複数の前記低解像度画像を比較して、当該複数の前記低解像度画像間の動きを検出する動き検出部をさらに備え、
   前記信号処理部が、前記動き検出部によって検出された動きが小さくなるように当該複数の前記低解像度画像の相対的な位置関係を補正して合成することにより、前記出力画像を生成することを特徴とする請求項１又は２のいずれかに記載の撮像装置。
4. 配列された任意の画素を指定して露光及び読出を実行可能な撮像素子を備える撮像装置において、
   前記撮像素子に備えられる画素の露光及び読出を制御する走査制御部と、
   出力画像を生成する信号処理部と、
   ズーム倍率が可変となるレンズ部と、を備え、
   前記ズーム倍率が所定の大きさ以上であるとき、
   前記走査制御部が、前記撮像素子の所定の方向に並ぶ画素に対して不連続的に露光及び読出を行うことで低解像度画像を生成し、前記信号処理部が、前記低解像度画像に基づいて前記出力画像を生成し、
   前記ズーム倍率が所定の大きさ未満のとき、
   前記走査制御部が、前記撮像素子の所定の方向に並ぶ画素に対して連続的に露光及び読出を行うことで通常画像を生成し、前記信号処理部が、前記通常画像に基づいて前記出力画像を生成することを特徴とする撮像装置。
5. 配列された任意の画素を指定して露光及び読出を実行可能な撮像素子を備える撮像装置において、
   前記撮像素子に備えられる画素の露光及び読出を制御する走査制御部と、
   出力画像を生成する信号処理部と、
   手ぶれ補正部と、を備え、
   前記手ぶれ補正が有効であるとき、
   前記走査制御部が、属する画素の位置が異なる複数の画素群を順次切り替えて画素の露光及び読出を行うことで、複数の低解像度画像を順次生成し、
   前記信号処理部が、当該複数の前記低解像度画像に基づいて１つの前記出力画像を生成し、
   前記手ぶれ補正が無効であるとき、
   前記走査制御部が、前記撮像素子の所定の方向に並ぶ画素に対して連続的に露光及び読出を行うことで通常画像を生成し、前記信号処理部が、前記通常画像に基づいて前記出力画像を生成することを特徴とする撮像装置。
6. 前記撮像素子に対する露光及び読出パターンを切り替えるときに無効画像が発生する場合、
   該無効画像発生の直前又は直後に出力される低解像度画像間に発生する動きベクトルを用いて、直前又は直後に出力される低解像度画像に基づく出力画像に対して動き補償を施して生成した画像を前記無効画像と置き換えることを特徴とする請求項５に記載の撮像装置。