JP4509917B2 - 画像処理装置及びカメラシステム - Google Patents

Description

本発明は、露光方式としてローリングシャッタ方式を用いて撮像された画像に対して画像処理を行う画像処理装置及び当該画像処理装置を備えるカメラシステムに関する。

従来から、画像を撮像する際の露光方式として、グローバルシャッタ方式とローリングシャッタ方式（フォーカルプレーンシャッタ方式とも呼ばれる）とが知られている。ＣＣＤ（Charge Coupled Device）センサーを備える撮像装置に代表されるグローバルシャッタ方式の撮像装置では、一つのフレーム画像において画素間での露光時間及び露光開始時刻はほぼ同一である。一方で、ＣＭＯＳセンサーを備える撮像装置に代表されるローリングシャッタ方式の撮像装置では、一つのフレーム画像において画素間あるいはライン間での露光時間は同一であるが露光開始時刻は互いに異なっている。

上述のように、ローリングシャッタ方式の撮像装置では画素間あるいはライン間で露光開始時刻が異なるため、当該撮像装置で移動する被写体を撮像すると、当該被写体の画像が歪むことがある。また静止している被写体をローリングシャッタ方式の撮像装置で撮像する場合であっても、撮影者の手振れによって同様のことが生じる。

そこで、本発明は上述の問題に鑑みて成されたものであり、ローリングシャッタ方式に起因する画像歪を適切に補正することが可能な技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、露光方式としてローリングシャッタ方式を用いて撮像された複数枚のフレーム画像において動き領域を検出するとともに、当該動き領域の動きベクトルを取得する動き検出部と、前記動きベクトルと、前記複数枚のフレーム画像間での撮像間隔に関する情報と、前記ローリングシャッタ方式で露光した際に生じる一つのフレーム画像内での位置の相違に基づく露光開始時刻差に関する情報と、前記ローリングシャッタ方式を用いて撮像される一つのフレーム画像内での位置に基づく露光開始順序に関する情報とに基づいて、前記複数枚のフレーム画像中の補正対象たるフレーム画像内の前記動き領域を補正する動き領域補正部とを備え、前記動き領域補正部は、前記動きベクトルと前記撮像間隔に関する情報とに基づいて前記複数のフレーム画像間での前記動き領域の移動速さを求め、前記補正対象たるフレーム画像における前記動き領域中の注目画素について、当該動き領域において最初に露光が開始する画素位置での露光開始から、前記注目画素が位置する画素位置での露光開始までの間に、当該動き領域に対応する被写体が移動する量を、前記移動速さと、前記露光開始時刻差に関する情報と、前記露光開始順序に関する情報とに基づいて求めて、それを、前記ローリングシャッタ方式に起因する前記注目画素の位置ずれ量とし、前記補正対象たるフレーム画像において、前記動き領域中の前記注目画素を、前記動きベクトルが示す方向とは逆方向に前記位置ずれ量の分移動させて、当該注目画素を移動先の画素位置に存在している画素の替わりに使用する、画像処理装置である。

また、請求項２の発明は、請求項１に記載の画像処理装置と、露光方式として前記ローリングシャッタ方式を用いて前記複数枚のフレーム画像を撮像する撮像装置とを備える、カメラシステムである。

また、請求項３の発明は、請求項２に記載のカメラシステムであって、前記画像処理装置は露光時間決定部及びフレーム画像生成部を更に備え、前記露光時間決定部は、前記撮像装置での露光時間を決定するとともに、当該露光時間を前記複数枚のフレーム画像の枚数と同じ数だけ分割して分割露光時間を算出し、前記撮像装置は、前記複数枚のフレーム画像をそれぞれに対応する前記分割露光時間で撮像し、前記フレーム画像生成部は、前記露光時間で撮像されたフレーム画像に相当する合成フレーム画像を、その各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記動き領域が補正された前記補正対象たるフレーム画像と前記複数枚のフレーム画像のうちのその他のフレーム画像とを合成して生成する。

また、請求項４の発明は、請求項３に記載のカメラシステムであって、前記フレーム画像生成部は、前記合成フレーム画像において、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域が補正前に存在していた領域と同じ画像位置での画像については、当該画像での各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記その他のフレーム画像における前記動き領域以外の当該画像位置での画像を合成して生成する。

また、請求項５の発明は、請求項３及び請求項４のいずれか一つに記載のカメラシステムであって、前記フレーム画像生成部は、前記合成フレーム画像において、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域と同じ画像位置での画像については、当該画像での各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域及び前記その他のフレーム画像中の前記動き領域を合成して生成する。

また、請求項６の発明は、請求項３乃至請求項５のいずれか一つに記載のカメラシステムであって、前記フレーム画像生成部は、前記合成フレーム画像において、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域が補正前に存在していた領域と同じ画像位置と、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域と同じ画像位置とを除く画像位置での画像については、当該画像での各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記動き領域が補正された前記補正対象たるフレーム画像及び前記その他のフレーム画像において互いに同じ画像位置に存在する前記動き領域以外の画像を合成して生成する。

また、請求項７の発明は、請求項３乃至請求項６のいずれか一つに記載のカメラシステムであって、前記フレーム画像生成部で生成された複数枚の前記合成フレーム画像に基づいて動画像を表示する表示装置を更に備える。

請求項１及び請求項２の発明によれば、検出した動き領域の動きベクトルと、複数枚のフレーム画像間での撮像間隔に関する情報と、ローリングシャッタ方式で露光した際に生じる一つのフレーム画像内での位置の相違に基づく露光開始時刻差に関する情報と、ローリングシャッタ方式を用いて撮像される一つのフレーム画像内での位置に基づく露光開始順序に関する情報とに基づいて、補正対象たるフレーム画像での動き領域を補正するため、当該動き領域に生じるローリングシャッタ方式に起因する画像歪を適切に補正することができる。その結果、当該フレーム画像中の画像歪を低減することができる。

また、請求項３の発明によれば、時間的に短い分割露光時間で撮像された複数枚のフレーム画像に基づいて、所定の露光時間のフレーム画像に相当する合成フレーム画像を生成しているため、撮像時に画像信号に生じるランダムノイズを低減できる。

また、請求項４の発明によれば、合成フレーム画像において、動き領域が補正されたフレーム画像中の当該動き領域が補正前に存在していた領域と同じ画像位置での画像については、動き領域が補正されたフレーム画像以外のその他フレーム画像に基づいて生成しているため、合成フレーム画像における当該画像を被写体に忠実なものとすることができる。

また、請求項５の発明によれば、合成フレーム画像において、動き領域が補正されたフレーム画像中の動き領域と同じ画像位置での画像については、動き領域が補正されたフレーム画像中の動き領域及びその他のフレーム画像中の動き領域に基づいて生成しているため、合成フレーム画像における当該画像を被写体に忠実なものとすることができる。

また、請求項６の発明によれば、合成フレーム画像において、動き領域が補正されたフレーム画像中の当該動き領域が補正前に存在していた領域と同じ画像位置と、動き領域が補正されたフレーム画像中の動き領域と同じ画像位置とを除く画像位置での画像については、動き領域が補正されたフレーム画像及びその他のフレーム画像において互いに同じ画像位置に存在する動き領域以外の画像に基づいて生成するため、合成フレーム画像における当該画像を被写体に忠実なものとすることができる。

また、請求項７の発明によれば、ローリングシャッタ方式に起因する画像歪が補正された複数の合成フレーム画像に基づいて動画像が表示されるため、観察者に対して見やすい動画像を提供することができる。特に動画像においてはローリングシャッタ方式に起因する画像歪が観察者に与える不快感は大きいため有効である。

図１は本発明の実施の形態に係るカメラシステムの構成を示すブロック図である。本実施の形態に係るカメラシステムは、例えばデジタルスチルカメラであって、露光方式としてローリングシャッタ方式を用いて画像を撮像する。図１に示されるように、本カメラシステムは、画像を撮像する撮像装置１と、撮像装置１で撮像された画像に対して画像処理を実行する画像処理装置２と、画像処理装置２で画像処理された画像を表示する表示装置３とを備えている。

撮像装置１は、レンズ部１０と、ＣＭＯＳセンサー１１と、ＣＭＯＳセンサー駆動回路１２と、タイミングジェネレータ１３と、Ａ／Ｄ変換器１４とを備えている。ＣＭＯＳセンサー１１は、レンズ１０部を介して入射する被写体からの光を電気信号に変換して画像を撮像し、撮像した画像をアナログ画像信号ＡＩＳとして出力する。タイミングジェネレータ１３はタイミング信号ＴＳを生成して出力し、ＣＭＯＳセンサー駆動回路１２は当該タイミング信号ＴＳに基づいてＣＭＯセンサー１１の動作を制御する。Ａ／Ｄ変換器１４は、ＣＭＯセンサー１１から出力されるアナログ画像信号ＡＩＳをデジタル画像信号ＤＩＳに変換して出力する。

画像処理装置２は、撮像装置１のＡ／Ｄ変換器１４から出力されるデジタル画像信号ＤＩＳに対して画像処理を行うＳＰＵ（Signal Processing Unit）２０と、ＳＰＵ２０で処理されたデジタル画像信号ＤＩＳに対してリアルタイムでさらに画像処理を行うＲＰＵ（Real-time Processing Unit）２１と、画像処理装置２全体の動作を統括するＣＰＵ２２と、ＣＰＵ２２の動作プログラムや画像処理中あるいは画像処理済のデジタル画像信号ＤＩＳなどを記憶する記憶部２３と、表示インタフェース部２４とを備えており、これらの構成要素はバス２５によって互いに接続されている。

ＳＰＵ２０は、入力されたデジタル画像信号ＤＩＳに対して黒レベル補正やホワイトバランス補正などの前処理を実行する。ＳＰＵ２０で処理されたデジタル画像信号ＤＩＳはバス２５上に出力されて記憶部２３に記憶される。ＲＰＵ２１は、ＳＰＵ２０で処理されたデジタル画像信号ＤＩＳを記憶部２３から読み出して、当該デジタル画像信号ＤＩＳに対して画素補間やノイズリダクション、あるいはシャープネス等の各種フィルタ処理を実行する。またＲＰＵ２１は、ＣＰＵ２２と共同して、デジタル画像信号ＤＩＳに対してローリングシャッタ方式に起因する画像歪を補正する補正処理を実行する。そして、ＲＰＵ２１で画像処理されたデジタル画像信号ＤＩＳはバス上２５に出力されて記憶部２３に記憶される。

ＣＰＵ２２は、一連の画像処理が完了したデジタル画像信号ＤＩＳを記憶部２３から読み出して表示インターフェース部２４に出力する。またＣＰＵ２２は、一連の画像処理が完了したデジタル画像信号ＤＩＳに対してＪＰＥＧ圧縮処理等の画像圧縮処理を実行し、圧縮処理後のデジタル画像信号ＤＩＳを記憶部２３に記憶する。さらにＣＰＵ２２はタイミング制御信号ＴＣＳをタイミングジェネレータ１３に出力し、タイミングジェネレータ１３はタイミング制御信号ＴＣＳに基づいてタイミング信号ＴＳを制御する。

表示インタフェース部２４は、入力されたデジタル画像信号ＤＩＳを表示装置３に応じた形式に変換して当該表示装置３に出力する。表示装置３は例えばＬＣＤ（Liquid Crystal Display）装置であって、入力されたデジタル画像信号ＤＩＳに基づいて静止画を表示する。

次にＣＭＯＳセンサー１１の構成及び動作を説明しつつ、ローリングシャッタ方式に起因する画像歪について説明する。図２はＣＭＯＳセンサー１１の構成を示す図である。図２に示されるように、ＣＭＯＳセンサー１１は、Ｎ行Ｍ列（Ｍ，Ｎ≧２）でマトリックス状に配置された複数の画素部１１０を備えている。したがって、ＣＭＯＳセンサー１１では、撮像画面の行方向ＸにＭ個の画素部１１０が配置され、列方向ＹにＮ個の画素部１１０が配置されている。

各画素部１１０はフォトダイード１１０ａと増幅回路１１０ｂとで構成されている。フォトダイード１１０ａは入射される光の強度に応じた電荷を発生して蓄積し、当該電荷の蓄積量は、フォトダイオード１１０ａへの光の照射時間に応じて増加する。そして、ＣＭＯＳセンサー駆動回路１２によってある画素部１１０が選択されると、当該画素部１１０の増幅回路１１０ｂは、フォトダイオード１１０ａで蓄積された電荷を読み出して増幅し画素信号としてＡ／Ｄ変換器１４に出力する。以後、ｎ（１≦ｎ≦Ｎ）行ｍ（１≦ｍ≦Ｍ）列目に配置された画素部１１０から出力される画素信号をｎ行ｍ列目の画素信号と呼ぶことがある。

図３はＣＭＯセンサー１１の動作を示す図である。図中の矢印は、画素部１１０から画素信号が読み出されるタイミングを示している。図３に示されるように、本実施の形態に係るＣＭＯＳセンサー１１では、１行１列目から１行Ｍ列目までに配置されたＭ個の画素部１１０が順に選択されて、当該Ｍ個の画素部１１０から順に画素信号が読み出される。そして、２行１列目から２行Ｍ列目までに配置されたＭ個の画素部１１０が順に選択されて当該Ｍ個の画素部１１０から画素信号が順に読み出される。その後、同様にして、３行目〜Ｎ行目の各画素部１１０から画素信号が読み出されると、（Ｎ×Ｍ）個の画素信号から成る１フレーム分のアナログ画像信号ＡＩＳが得られる。

このように、本実施の形態に係るＣＭＯＳセンサー１１では、ＣＭＯＳセンサー駆動回路１２の制御によって、ある行におけるＭ個の画素部１１０に対して１列目から順に画素信号の読み出しが行われて、当該行におけるＭ列目の画素部１１０から画素信号が読み出されると、その次の行番号の行におけるＭ個の画素部１１０に対して１列目から順に画素信号の読み出しが行われる。したがって、ＣＭＯＳセンサー１１が備える（Ｎ×Ｍ）個の画素部１１０では、画素信号の読み出し時刻が相互に異なっている。

ここで、本ＣＭＯＳセンサー１１では、画素部１１０から画素信号が読み出されるとすぐに、当該画素部１１０のフォトダイオード１１０ａでは蓄積電荷がすべて消去されて、当該フォトダイオード１１０ａは再び電荷を蓄積し始める。したがって、画素信号の読み出しタイミングが異なる複数の画素部１１０においては露光開始時刻が異なっている。そして、図３に示されるように、複数の画素部１１０においては、画素信号が読み出されてから次に画素信号が読み出されるまでの時間、つまり露光時間ｅｔｄは相互に同じである。また図３に示されるように、本ＣＭＯＳセンサー１１においては、連続して画素信号が読み出される２つの画素部１１０間での露光開始時刻の時刻差ｓｔｄは一定である。

これに対して、メカニカルシャッタが存在せず、ＣＣＤセンサーの全面に同時に被写体からの光が入射する際には、当該ＣＣＤセンサーにおける複数の画素部では、電荷の蓄積開始時刻及び蓄積時間は一定である。つまり、ＣＣＤセンサーの複数の画素部においては、露光開始時刻及び露光時間は一定である。

図４はＣＣＤセンサー及びＣＭＯＳセンサーで撮像された画像を模式的に示す図である。図４（ａ）はＣＣＤセンサーで撮像されたフレーム画像を示し、図４（ｂ）はＣＭＯＳセンサーで撮像されたフレーム画像を示している。図４（ａ）に示されるように、静止している山の前を撮像画面の左右方向に移動する車をＣＣＤセンサーで撮像すると、当該車の画像は特に歪むことなく撮像される。一方で、ＣＭＯセンサーで同様の被写体を撮像すると、画素部間での露光開始時刻の差によって、ある画素部における露光開始時刻での車の位置と、別の画素部における露光開始時刻での車の位置とが異なり、その結果、図４（ｂ）に示されるように車の画像は歪んで撮像される。

このように、露光方式としてローリングシャッタ方式を用いて移動する被写体を撮像すると、当該被写体の画像が歪むことがある。また、静止している被写体をローリングシャッタ方式で撮像した場合であっても、撮影者の手振れによって当該被写体の画像が歪むことがある。本実施の形態では、このようなローリングシャッタ方式に起因する画像歪（以後、「ローリングシャッタ効果」と呼ぶ）を、画像処理装置２のＲＰＵ２１とＣＰＵ２２とが共同して動作することによって補正することができる。

図５は、ＲＰＵ２１とＣＰＵ２２とが共同して動作することによって画像処理装置２内に形成されるローリングシャッタ効果補正装置２００の機能ブロックを示す図である。図５に示されるように、ローリングシャッタ効果補正装置２００は、動き検出部２０１と、動き領域補正部２０２と、フレーム画像生成部２０３とを備えている。

動き検出部２０１は、撮像装置１から出力されるデジタル画像信号ＤＩＳに基づいて、撮像装置１で連続して撮像された一組の複数枚のフレーム画像において動き領域ＭＶＲを検出するとともに、当該動き領域ＭＶＲの動きベクトルを取得する。

動き領域補正部２０２は、一組の複数枚のフレーム画像中のあるフレーム画像において動き検出部２０１で検出された動き領域ＭＶＲを補正する。上述のように、例えば、動いている被写体を撮像した際には、当該被写体の画像にはローリングシャッタ方式に起因する画像歪が生じる。そのため、動き領域ＭＶＲにはローリングシャッタ効果が現れている。したがって、動き領域ＭＶＲを適切に補正することによってローリングシャッタ効果を補正することができる。なお、本発明での動き領域ＭＶＲには、フレーム画像において実際に動いている被写体が写っている画像領域だけではなく、実際には被写体は静止しているが撮影者の手ぶれ等が原因で撮像時に撮像装置１が移動することによって結果的に複数のフレーム画像間で位置が変化している画像領域も含むものとする。

フレーム画像生成部２０３は、動き領域補正部２０２で動き領域ＭＶＲが補正されたフレーム画像と、複数枚のフレーム画像中のその他のフレーム画像とを合成して１枚の合成フレーム画像を生成し、当該合成フレーム画像のデジタル画像信号ＤＩＳを合成画像信号ＣＤＩＳとして出力する。

図６は本実施の形態に係るカメラシステムの静止画表示までの動作を示すフローチャートである。本実施の形態に係るカメラシステムでは、所定の露光時間で撮像された静止画を表示する際には、当該所定の露光時間を複数に分割し、それによって得られる短い露光時間でフレーム画像を複数枚撮像し、これらの複数枚のフレーム画像を合成することによって得られる一枚の合成フレーム画像を、当該所定の露光時間で撮像された静止画として表示装置３で表示する。

図６に示されるように、ステップｓ１において、ＣＰＵ２２は撮像装置１で必要な露光時間を決定する。このステップｓ１で決定される露光時間を「トータル露光時間」と呼ぶ。たとえばＣＰＵ２２は、図示しない照度センサーから出力される撮像環境の照度と、記憶部２３に予め記憶されているＣＭＯＳセンサー１１の性能に関する情報とに基づいてトータル露光時間を決定する。次にステップｓ２において、ＣＰＵ２２は、トータル露光時間を複数に分割する。ここでの分割数をＬ（≧２）とし、トータル露光時間を分割して得られる複数の時間をそれぞれ「分割露光時間」と呼ぶ。

次にステップｓ３において、撮像装置１は、トータル露光時間の分割数と同じＬ枚のフレーム画像を、ステップｓ２で算出された分割露光時間でそれぞれ撮像する。具体的には、ステップｓ３において、ＣＰＵ２２はステップｓ２で算出した分割露光時間に基づいてタイミング制御信号ＴＣＳを制御し、タイミングジェネレータ１３は入力されたタイミング制御信号ＴＣＳに基づいてタイミング信号ＴＳを制御する。そして、ＣＭＯＳセンサー駆動回路１２は入力されたタイミング信号ＴＳに基づいてＣＭＯＳセンサー１１の動作を制御する。これにより、ＣＭＯＳセンサー１１の各画素部１１０は、ステップｓ２で算出された分割露光時間に応じた蓄積時間で電荷を蓄積し増幅して画素信号として出力する。これらの画素信号はＡ／Ｄ変換器１４に入力されて、当該Ａ／Ｄ変換器１４からは１フレーム分のデジタル画像信号ＤＩＳが出力される。この動作が連続してＬ回実行され、撮像装置１ではＬ枚のフレーム画像が得られる。

図７はステップｓ３で撮像される複数枚のフレーム画像の一例を示す図である。図７では、図４と同様に、静止している山の前を撮像画面の左右方向に移動する車を連続して４フレーム分撮像した場合のフレーム画像ＦＲ１〜ＦＲ４を示しており、４枚のフレーム画像ＦＲ１〜ＦＲ４では紙面の上側から順に撮像時刻が遅くなっている。図７に示されるように、フレーム画像ＦＲ１〜ＦＲ４間では、撮像時刻は互いに異なるため、移動する車の画像が示されている画像位置も互いに異なっている。そして、フレーム画像ＦＲ１〜ＦＲ４のそれぞれではローリングシャッタ効果によって車の画像が歪んでいる。以下では、ステップｓ３において図７に示されるフレーム画像ＦＲ１〜ＦＲ４が撮像されたものとして本カメラシステムの動作を説明する。

撮像装置１でフレーム画像ＦＲ１〜ＦＲ４が撮像されると、画像処理装置２のＲＰＵ２１は、Ａ／Ｄ変換器１４から出力される４フレーム分のデジタル画像信号ＤＩＳに対して画素補間を行う。そしてステップｓ４において、動き検出部２０１は画素補間後の４枚のフレーム画像ＦＲ１〜ＦＲ４において動き領域ＭＶＲを検出する。本実施の形態では、４枚のフレーム画像ＦＲ１〜ＦＲ４中のある一つのフレーム画像を基準フレーム画像とし、当該基準フレーム画像と、フレーム画像ＦＲ１〜ＦＲ４中のその他のフレーム画像のそれぞれとを比較することによって、各フレーム画像ＦＲ１〜ＦＲ４において動き領域ＭＶＲを検出する。以下の例ではフレーム画像ＦＲ１を基準フレーム画像とし、以後フレーム画像ＦＲ１を「基準フレーム画像ＦＲ１」と呼ぶことがある。以下に、本実施の形態に係る動き検出方法について詳細に説明する。

図８は動き検出部２０１が備える画像メモリ１２０１の構成を示すブロック図である。図８に示されるように、画像メモリ１２０１は、５行５列に配置された２５個のレジスタＰ００〜Ｐ４４と、４個のラインバッファ１２０１ａ〜１２０１ｄとを備えている。レジスタＰ００〜Ｐ４４のそれぞれは、１画素分の画素信号を保持することが可能であり、ラインバッファ１２０１ａ〜１２０１ｄのそれぞれは、（Ｍ−５）画素分の画素信号を格納可能なＦＩＦＯメモリである。

１行目の５つのレジスタＰ００〜Ｐ０４と、ラインバッファ１２０１ａと、２行目の５つのレジスタＰ１０〜Ｐ１４と、ラインバッファ１２０１ｂと、３行目の５つのレジスタＰ２０〜Ｐ２４と、ラインバッファ１２０１ｃと、４行目の５つのレジスタＰ３０〜Ｐ３４と、ラインバッファ１２０１ｄと、５行目の５つのレジスタＰ４０〜Ｐ４４とは、この順で直列に接続されている。

また、レジスタＰ００〜Ｐ４４及びラインバッファ１２０１ａ〜１２０１ｄのそれぞれには図示しないクロック信号が入力される。レジスタＰ００〜Ｐ４４のそれぞれは、クロック信号が立ち上がると入力信号を保持して次段に出力する。ラインバッファ１２０１ａ〜１２０１ｄのそれぞれは、クロック信号が立ち上がると、現在の入力信号を保持するとともに、（Ｍ−５）回前のクロック信号の立ち上がりで保持した入力信号を次段のレジスタに出力する。したがって、ラインバッファ１２０１ａ〜１２０１ｄのそれぞれにおいては、入力信号は（Ｍ−５）クロックの間保持されて、（Ｍ−５）クロック経過後に次段のレジスタに出力される。なお、ここでの「クロック」とは、クロック信号の連続する２回の立ち上がりの時間間隔を意味している。

レジスタＰ００には、１フレーム分の（Ｎ×Ｍ）個の画素信号がクロック信号に同期して直列に入力される。具体的には、レジスタＰ００には、１行１列目の画素信号から１行Ｍ列目の画素信号までが順に入力され、その後、２行１列目の画素信号から２行Ｍ列目の画素信号までが順に入力される。その後、同様にして、レジスタＰ００には、３行１列目の画素信号からＮ行Ｍ列目の画素信号までが順に入力される。

以上の構成を成す画像メモリ１２０１においては、クロック信号が立ち上がると、あるフレーム画像における１行１列目の画素信号がレジスタＰ００に格納され、次のクロック信号の立ち上がりで、１行１列目の画素信号がレジスタＰ０１に格納されるとともに、１行２列目の画素信号がレジスタＰ００に格納される。そして、次のクロック信号の立ち上がりで、１行１列目の画素信号がレジスタＰ０２に格納されるとともに、１行２列目の画素信号がレジスタＰ０１に、１行３列目の画素信号がレジスタＰ００にそれぞれ格納される。その後同様にして、あるクロック信号の立ち上がりで１行１列目の画素信号がレジスタＰ０４に格納されると、それと同時に、レジスタＰ０３には１行２列目の画素信号が、レジスタＰ０２には１行３列目の画素信号が、レジスタＰ０１には１行４列目の画素信号が、レジスタＰ００には１行５列目の画素信号がそれぞれ格納される。

次のクロック信号の立ち上がりでは、１行１列目の画素信号はラインバッファ１２０１ａに格納され、当該画素信号は、その後の（Ｍ−５）回目のクロック信号の立ち上がりでラインバッファ１２０１ａから出力されてレジスタＰ１０に格納される。その後、同様にして、１行１列目の画素信号がレジスタＰ４４に格納されると、１行目の５個のレジスタＰ００〜Ｐ０４には５行１列目〜５行５列目までの画素信号が格納され、２行目の５個のレジスタＰ１０〜Ｐ１４には４行１列目〜４行５列目までの画素信号が格納され、３行目の５個のレジスタＰ２０〜Ｐ２４には３行１列目〜３行５列目までの画素信号が格納され、４行目の５個のレジスタＰ３０〜Ｐ３４には２行１列目〜２行５列目までの画素信号が格納され、５行目の５個のレジスタＰ４０〜Ｐ４４には１行１列目〜１行５列目までの画素信号が格納される。以後、Ｎ行Ｍ列目の画素信号がレジスタＰ００に格納されるまで画像メモリ１２０１は同様の動作を行う。

このような動作を行う画像メモリ１２０１においては、２５個のレジスタＰ００〜４４には、一つのフレーム画像における５行×５列の画素で構成されるブロック領域での２５個の画素信号が一時的に格納される。

本実施の形態では、ステップｓ５において、まず画像メモリ１２０１にはフレーム画像ＦＲ２における（Ｎ×Ｍ）個の画素信号が順に入力される。そして、画像メモリ１２０１のレジスタＰ００〜Ｐ４４に格納されるフレーム画像ＦＲ２の画素信号と、基準フレーム画像ＦＲ１の画素信号とを比較し、その比較結果に基づいてフレーム画像ＦＲ２での動き領域ＭＶＲを検出する。以後、フレーム画像ＦＲ２における（ｎ−１）行（ｍ−１）列目の画素信号を「画素信号Ａｎｍ」とし、基準フレーム画像ＦＲ１における（ｎ−１）行（ｍ−１）列目の画素信号を「画素信号Ｑｎｍ」とする。

図９〜１３はフレーム画像ＦＲ２における動き領域ＭＶＲの検出方法を示す図である。図９に示されるように、まず基準フレーム画像ＦＲ１において、５行×５列の複数の画素で構成されるブロック領域ＢＬ１であって、１行１列目と５行５列目の画素が対角に位置するブロック領域ＢＬ１を考える。そして、フレーム画像ＦＲ２における５行×５列の複数の画素で構成されるブロック領域ＢＬ２であって、１行１列目と５行５列目の画素が対角に位置するブロック領域ＢＬ２での画素信号Ａ００〜Ａ０４，Ａ１０〜Ａ１４，Ａ２０〜Ａ２４，Ａ３０〜Ａ３４，Ａ４０〜Ａ４４が、画像メモリ１２０１のレジスタＰ００〜Ｐ４４から出力されると、これらの画素信号と、基準フレーム画像ＦＲ１のブロック領域ＢＬ１における画素信号Ｑ００〜Ｑ０４，Ｑ１０〜Ｑ１４，Ｑ２０〜Ｑ２４，Ｑ３０〜Ｑ３４，Ｑ４０〜Ｑ４４とを画素単位で比較する。具体的には、ブロック領域ＢＬ１内のある画素信号と、当該画素信号と同じ位置でのブロック領域ＢＬ２中の画素信号との差分値の絶対値を算出し、当該絶対値の算出をブロック領域ＢＬ１，ＢＬ２中のすべての画素信号について行う。そして、算出した絶対値の総和を求める。以後、この総和を「類似度」と呼ぶ。この類似度が小さければ小さいほど、ブロック領域ＢＬ１とブロック領域ＢＬ２とは相互に類似した画像領域となる。

次に図１０に示されるように、画像メモリ１２０１へのクロック信号が新たに立ち上がって、図９のブロック領域ＢＬ２とは１画素分行方向にずれたブロック領域ＢＬ２での画素信号Ａ０１〜Ａ０５，Ａ１１〜Ａ１５，Ａ２１〜Ａ２５，Ａ３１〜Ａ３５，Ａ４１〜Ａ４５が、画像メモリ１２０１のレジスタＰ００〜Ｐ４４から出力されると、同様にして、これらの画素信号と、ブロック領域ＢＬ１での画素信号とを画素単位で比較し、ブロック領域ＢＬ１とブロック領域ＢＬ２との類似度を求める。このときのブロック領域ＢＬ１の位置は図９と同じである。

次に、画像メモリ１２０１へのクロック信号が新たに立ち上がって、図１０のブロック領域ＢＬ２とは１画素分行方向にずれたブロック領域ＢＬ２での画素信号Ａ０２〜Ａ０６，Ａ１２〜Ａ１６，Ａ２２〜Ａ２６，Ａ３２〜Ａ３６，Ａ４２〜Ａ４６が、画像メモリ１２０１のレジスタＰ００〜Ｐ４４から出力されると、同様にして、これらの画素信号とブロック領域ＢＬ１での画素信号とを画素単位で比較し、ブロック領域ＢＬ１とブロック領域ＢＬ２との類似度を求める。その後同様の処理が行われて、フレーム画像ＦＲ２の一番端のブロック領域ＢＬ２、つまり１行（Ｍ−４）列目と４行Ｍ列目の画素が対角に位置するブロック領域ＢＬ２とブロック領域ＢＬ１との類似度が求まると、今度は、いままでのブロック領域ＢＬ２とは１画素分列方向にずれたブロック領域ＢＬ２を考えて、２行１列目と６行５列目の画素が対角に位置するブロック領域ＢＬ２とブロック領域ＢＬ１との類似度を求める。そして同様にして、前回のブロック領域ＢＬ２とは１画素分行方向にずれたブロック領域ＢＬ２と、ブロック領域ＢＬ１との類似度を求めて、その後、フレーム画像ＦＲ２の一番端のブロック領域ＢＬ２とブロック領域ＢＬ１との類似度が求まると、さらに１画素分列方向にずれたブロック領域ＢＬ２を考えて、同様の処理を行う。

以上の処理を、図１１に示されるように、図中での一番右下のブロック領域ＢＬ２、つまり（Ｎ−４）行（Ｍ−４）列目とＮ行Ｍ列目の画素が対角に位置するブロック領域ＢＬ２と、ブロック領域ＢＬ１との類似度が求まるまで行うと、（（Ｎ−４）×（Ｍ−４））個の類似度が求まる。そして、求めたこれらの類似度のうち最も値が小さいものに対応したブロック領域ＢＬ２を、１行１列目及び５行５列目の画素が対角に位置するブロック領域ＢＬ１に相当するフレーム画像ＦＲ４中での画像領域であると認定する。

このようにして、基準フレーム画像ＦＲ１中の図９のブロック領域ＢＬ１に相当するブロック領域ＢＬ２がフレーム画像ＦＲ２中で検出されると、図１２に示されるように、基準フレーム画像ＦＲ１においてブロック領域ＢＬ１を１画素分行方向にずらして、１行２列目及び５行６列目の画素が対角に位置するブロック領域ＢＬ１を考える。そして、画像メモリ１２０１に対して新たにフレーム画像ＦＲ２の画素信号を入力し、同様の処理を行って、当該ブロック領域ＢＬ１に相当するブロック領域ＢＬ２をフレーム画像ＦＲ２中から検出する。

図１２のブロック領域ＢＬ１に相当するブロック領域ＢＬ２がフレーム画像ＦＲ２中で検出されると、ブロック領域ＢＬ１をさらに１画素分行方向にずらして同様の処理を行う。そして、ブロック領域ＢＬ１が基準フレーム画像ＦＲ１の一番端まで移動すると、ブロック領域ＢＬ１を１画素分下に移動させつつ反対側の端まで移動させて同様の処理を行う。このような処理を、図１３に示されるように、図中の一番右下のブロック領域ＢＬ１、つまり（Ｎ−４）行（Ｍ−４）列目とＮ行Ｍ列目の画素が対角に位置するブロック領域ＢＬ１に相当するブロック領域ＢＬ２がフレーム画像ＦＲ２中で検出されるまで行う。

以上のようにして、基準フレーム画像ＦＲ１における（（Ｎ−４）×（Ｍ−４））個のブロック領域ＢＬ１のそれぞれに相当するブロック領域ＢＬ２がフレーム画像ＦＲ２中において検出されると、ブロック領域ＢＬ１とそれに相当するブロック領域ＢＬ２の組みのすべてについて、ブロック領域ＢＬ１，ＢＬ２間の動きベクトルを求め、さらにその絶対値、つまり動きベクトル量ｍｖａを求める。動きベクトル量ｍｖａは、ブロック領域ＢＬ１の中心のＸ座標及びＹ座標をそれぞれｘ１，ｙ１とし、当該ブロック領域ＢＬ１に相当するフレーム画像ＦＲ２中のブロック領域ＢＬ２の中心のＸ座標及びＹ座標をそれぞれｘ２，ｙ２とすると、以下の式（１）で求まる。

そして、相互に対応するブロック領域ＢＬ１，ＢＬ２の組みのすべてについて、動きベクトル量ｍｖａが所定のしきい値よりも大きいかどうかを判定する。動きベクトル量ｍｖａが所定のしきい値よりも大きい場合には、当該動きベクトル量ｍｖａに対応するブロック領域ＢＬ１，ＢＬ２のそれぞれを動きブロック領域とする。そして、基準フレーム画像ＦＲ１中におけるすべての動きブロック領域で構成される画像領域を基準フレーム画像ＦＲ１中の動き領域ＭＶＲとし、フレーム画像ＦＲ２中におけるすべての動きブロック領域で構成される画像領域をフレーム画像ＦＲ２中の動き領域ＭＶＲとする。これにより、図７のフレーム画像ＦＲ１，ＦＲ２においては、移動する被写体である車の画像領域とほぼ同じ領域が動き領域ＭＶＲとして検出される。なお、動き領域ＭＶＲにおいて、複数の動きブロック領域が重なっている部分の画像信号については、いずれか一つの動きブロック領域の画像信号を採用する。

また、基準フレーム画像ＦＲ１中の任意の動きブロック領域を選択し、当該動きブロック領域と、それに相当するフレーム画像ＦＲ２中の動きブロック領域との間の動きベクトルを、基準フレーム画像ＦＲ１及びフレーム画像ＦＲ２の間での動き領域ＭＶＲの動きベクトルとする。

以上の処理を、フレーム画像ＦＲ１，ＦＲ３の間、及びフレーム画像ＦＲ１，ＦＲ４の間でそれぞれ実行し、フレーム画像ＦＲ３，ＦＲ４のそれぞれにおいて動き領域ＭＶＲを検出するとともに、フレーム画像ＦＲ１，ＦＲ３の間、及びフレーム画像ＦＲ１，ＦＲ４の間の動き領域ＭＶＲの動きベクトルを取得する。このようにして、ステップｓ４では、４枚のフレーム画像ＦＲ１〜ＦＲ４のそれぞれにおいて動き領域ＭＶＲが特定される。

次にステップｓ５において、動き領域補正部２０２は、ステップｓ２で撮像したフレーム画像ＦＲ１〜ＦＲ４中のあるフレーム画像を補正対象のフレーム画像とし、当該補正対象のフレーム画像の動き領域ＭＶＲを補正する。本実施の形態では、フレーム画像ＦＲ４を補正対象とし、当該フレーム画像ＦＲ４中の動き領域ＭＶＲを補正する。図１４は動き領域ＭＶＲの補正方法の一例を示す図である。図１４のフレーム画像ＦＲ４では、その動き領域ＭＶＲを左下がりの斜線で示し、補正後の当該動き領域ＭＶＲを破線で示している。また図１４のフレーム画像ＦＲ４には、説明の便宜上、フレーム画像ＦＲ１中の動き領域ＭＶＲを同じ画像位置で一点鎖線で示している。

ステップｓ５では、ステップｓ４で取得された動きベクトルと、撮像間隔情報と、露光開始時刻差情報と、露光開始順序情報とに基づいて、フレーム画像ＦＲ４中の動き領域ＭＶＲが補正される。ここで撮像間隔情報とは、一組の複数枚のフレーム画像間での撮像間隔に関する情報であって、本実施の形態では、複数枚のフレーム画像ＦＲ１〜ＦＲ４を撮像する際に連続して撮像される２枚のフレーム画像間の撮像間隔ｔｄ１の情報が含まれており、当該撮像間隔ｔｄ１は複数枚のフレーム画像ＦＲ１〜ＦＲ４において一定である。また露光開始時刻差情報とは、ローリングシャッタ方式で露光した際に生じる一つのフレーム画像内での位置の相違に基づく露光開始時刻差に関する情報であって、本実施の形態では、上述の画素間での露光開始時刻の時刻差ｓｔｄの情報が含まれている。また露光開始順序情報とは、ローリングシャッタ方式を用いて撮像される一つのフレーム画像内での位置に基づく露光開始順序に関する情報、言い換えれば、ローリングシャッタ方式を用いて撮像される一つのフレーム画像内の複数の画素位置において、どのような順序で露光が開始するかについての情報である。本実施の形態のＣＭＯＳセンサー１１で撮像されるフレーム画像では、ある行の１列目からＭ列目にかけて順に露光が開始し、当該ある行のＭ列目の露光が終了すると、その次の行の１列目の露光が開始するため、この露光開始順序の情報が本実施の形態に係る露光開始順序情報には含まれている。撮像間隔情報、露光開始時刻差情報及び露光開始順序情報は記憶部２３に予め記憶されている。以下にステップｓ５での処理を詳細に説明する。

ステップｓ５では、まず、フレーム画像ＦＲ１，ＦＲ４間の動き領域ＭＶＲの動きベクトルに基づいて、フレーム画像ＦＲ１，ＦＲ４間での動き領域ＭＶＲの移動方向ｍｄ及び移動量ｄｆを求める。具体的には、フレーム画像ＦＲ１，ＦＲ４間の動き領域ＭＶＲの動きベクトルが示す方向を移動方向ｍｄとし、当該動きベクトルの絶対値を求めて、それを移動量ｄｆとする。つまり、動きベクトル量ｍｖａが移動量ｄｆとなる。また動き領域補正部２０２は、求めた移動量ｄｆと、撮像間隔情報から得られる撮像間隔ｔｄ１とに基づいてフレーム画像ＦＲ１，ＦＲ４間での動き領域ＭＶＲの移動速さｍｖを求める。移動速さｍｖは、フレーム画像ＦＲ１〜ＦＲ４間で車の速さが一定であるとすると、ｍｖ＝ｄｆ／（３×ｔｄ１）と表現できる。

次に、図１４に示されるように、フレーム画像ＦＲ４において、動き領域ＭＶＲ中の各画素の位置を移動方法ｍｄとは逆方向ｒｍｄに移動量ｄｆの分移動させるとともに、ローリングシャッタ効果を補正するために必要な補正量ｄｒの分移動させて、当該各画素を移動先の画素位置に存在している画素の替りに採用する。つまり、フレーム画像ＦＲ４において、動き領域ＭＶＲ中の各画素の位置を移動方法ｍｄとは逆方向ｒｍｄに（移動量ｄｆ＋補正量ｄｒ）の分移動させて、当該各画素の画素信号を移動先の画素位置に存在している画素の画素信号の替りに使用する。本例での補正量ｄｒは画素位置に応じて変化する値である。以下にこの補正量ｄｒについて説明する。

上述のように、本実施の形態に係るＣＭＯＳセンサー１１では、画素位置によって露光開始時刻が異なる。そのため、動き領域ＭＶＲにおいて最初に露光が開始する画素位置（以後、「基準画素位置」と呼ぶ）での露光開始から、動き領域ＭＶＲのその他の画素位置での露光開始までの間に車は移動していることになる。したがって、基準画素位置での露光開始から、補正対象の画素が位置する画素位置での露光開始までの間に車が移動した分だけ補正対象の画素を車の移動方向とは逆方向に移動させることによって、補正対象の画素を本来の位置に戻すことができる。そこで、補正量ｄｒを以下の式（２）で表す。

式（２）中のｐは、補正対象の画素が位置する画素位置での露光が基準画素位置での露光から何番目に開始するかを示す値であり、露光開始順序情報から求めることができる。例えば、基準画素位置が２行２列目の位置であって、補正対象の画素が２行１０列目に位置するとき、基準画素位置での露光開始から８番目に補正対象の画素の画素位置での露光が開始するためｐ＝８となる。したがって、式（２）中の“ｐ×ｓｔｄ”は、基準画素位置での露光開始から補正対象の画素が位置する画素位置での露光開始までの時間となる。なお、動き領域ＭＶＲ中の基準画素位置に存在する画素についての補正量ｄｒは、式（２）のｐに零を代入して、補正量ｄｒ＝０とする。つまり本例では、動き領域ＭＶＲ中の基準画素位置に存在する画素は移動量ｄｆの分だけ移動する。

以上のように、フレーム画像ＦＲ４において、動き領域ＭＶＲ中の各画素の位置を移動方法ｍｄとは逆方向ｒｍｄに（移動量ｄｆ＋補正量ｄｒ）の分移動させることによって、動き領域ＭＶＲが基準フレーム画像ＦＲ１での位置とほぼ同じ位置に移動するとともに、当該動き領域ＭＶＲに現れるローリングシャッタ効果を補正することができる。図１５は、補正後のフレーム画像ＦＲ４（以後、「補正フレーム画像ＦＲ４Ｃ」と呼ぶ）を示している。

なお補正フレーム画像ＦＲ４Ｃにおいて、もともと動き領域ＭＲＶが存在していた領域での画像信号は、動き領域ＭＲＶの補正後においては不要な情報であるため、当該領域での画像信号は任意の値で良い。以後、補正フレーム画像ＦＲ４中において補正前の動き領域ＭＲＶが存在していた領域を「画像抜け領域ＩＬＲ」と呼ぶ。図１５では画像抜け領域ＩＬＲを一点鎖線で示している。

次にステップｓ６において、フレーム画像生成部２０３は、補正フレーム画像ＦＲ４Ｃとその他のフレーム画像ＦＲ１〜ＦＲ３とに基づいて、トータル露光時間で撮像されたフレーム画像に相当する合成フレーム画像ＣＦＲを生成する。そしてステップｓ７において、表示装置３は、ステップｓ６で生成した合成フレーム画像ＣＦＲを表示する。以下に、合成フレーム画像ＣＦＲの生成方法について詳細に説明する。

まず、補正フレーム画像ＦＲ４Ｃのうち画像抜け領域ＩＬＲを除く画像領域の各画素信号と、フレーム画像ＦＲ１のうち、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置の画像領域と動き領域ＭＶＲとを除く画像領域の各画素信号と、フレーム画像ＦＲ２のうち、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置の画像領域と動き領域ＭＶＲとを除く画像領域の各画素信号と、フレーム画像ＦＲ３のうち、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置の画像領域と動き領域ＭＶＲとを除く画像領域の各画素信号とを、同じ画素位置において相互に足し合わせて、これらの画像領域を合成する。このようにして得られた一つのフレーム画像を以後「中間フレーム画像ＭＦＲ」と呼ぶ。

次に、中間フレーム画像ＭＦＲの露光量の調整を行う。上述のように、画像抜け領域ＩＬＲを除く補正フレーム画像ＦＲ４Ｃと、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置の画像領域と動き領域ＭＶＲとを除くフレーム画像ＦＲ１〜ＦＲ３とを合成して、中間フレーム画像ＭＦＲを生成しているため、当該中間フレーム画像ＭＦＲにおいては、４フレーム分の画素信号が足し合わされていない画像領域が存在する。

例えば、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置での画像は、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲだけで構成されているため、中間フレーム画像ＭＦＲ中の当該画像の各画素信号は１フレーム分の画素信号だけで構成されている。また、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置にある画像では、補正フレーム画像ＦＲ４Ｃ中の画像は使用されていないため、中間フレーム画像ＭＦＲ中の当該画像の各画素信号は１乃至３フレーム分の画素信号だけで構成されている。そこで、中間フレーム画像ＭＦＲ中の全画素信号が４フレーム分の画素信号で構成されるように当該中間フレーム画像ＭＦＲを補正する。以下にこの補正方法について詳細に説明する。

図１６に示されるように、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置での画像１００については、当該画像１００に対して、フレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲの画像を合成する。このとき、フレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲに現れるローリングシャッタ効果は補正されていないため、中間フレーム画像ＭＦＲ中の画像１００の形状と、フレーム画像ＦＲ１〜３中の各動き領域ＭＶＲの形状とは異なったものとなっている。そこで、上記動き領域補正部２０２において、フレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲのそれぞれに対して、移動方向ｍｄとは逆方向ｒｍｄに各画素を上記補正量ｄｒの分だけ移動させる補正を行って、フレーム画像ＦＲ１〜ＦＲ３中の各動き領域ＭＶＲに現れるローリングシャッタ効果を補正する。その後、フレーム画像生成部２０３において、中間フレーム画像ＭＦＲ中の画像１００に対して、フレーム画像ＦＲ１〜ＦＲ３中の補正後の各動き領域ＭＶＲの画像を合成する。具体的には、中間フレーム画像ＭＦＲ中の画像１００の各画素信号と、フレーム画像ＦＲ１における補正後の動き領域ＭＶＲ中の各画素信号と、フレーム画像ＦＲ２における補正後の動き領域ＭＶＲ中の各画素信号と、フレーム画像ＦＲ３における補正後の動き領域ＭＶＲ中の各画素信号とを、同じ画素位置において足し合わせる。これにより、中間フレーム画像ＭＦＲ中の画像１００が、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲ及びフレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲを使用して生成され、中間フレーム画像ＭＦＲ中の画像１００の各画素信号が４フレーム分の画素信号で構成されるようになる。そして、複数のフレーム画像中の画像を合成することによって画像１００を形成することにより、撮像時に画像信号に生じるランダムノイズを低減することができる。なお、図１６及び後述の図１７〜１９に示される中間フレーム画像ＭＦＲでは、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置にある画像領域を一点鎖線で、フレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲと同じ画像位置にある画像領域をそれぞれ破線で示している。

また上述のように、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置にある画像の各画素信号は、１乃至３フレーム分の画素信号だけで構成されているため、当該画像の各画素信号が４フレーム分の画素信号で構成されるように、当該画像の各画素信号をＬ／Ｋ倍する。ここでＫは、補正対象の画素の画素信号が何フレーム分の画素信号で構成されているかを示す値である。

例えば、図１７に示されるように、中間フレーム画像ＭＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置にある画像２００（一点鎖線で示されている領域）のある領域２００ａは、フレーム画像ＦＲ１〜ＦＲ３中の当該領域２００ａと同じ画像位置にある画像が合成されて形成されているため、Ｋ＝３となる。本例ではＬ＝４であるため、領域２００ａの各画素信号を４／３倍にする。また画像２００中の領域２００ｂは、フレーム画像ＦＲ１，ＦＲ２中の当該領域２００ｂと同じ画像位置にある画像が合成されて形成されているためＫ＝２となり、領域２００ｂの各画素信号を４／２倍、つまり２倍にする。そして画像１００中の領域２００ｃは、フレーム画像ＦＲ１中の当該領域２００ｃと同じ画像位置にある画像のみで形成されているためＫ＝１となり、領域２００ｃの各画素信号を４／１倍、つまり４倍にする。

このようにして、中間フレーム画像ＭＦＲ中の画像２００を補正することによって、当該画像２００の各画素信号は４フレーム分の画素信号から構成されるようになる。

また、中間フレーム画像ＭＦＲにおいて、上記画像１００，２００以外の画像の各画素信号については１乃至４フレーム分の画素信号で構成されるため、当該画像の各画素信号についてもＬ／Ｋ倍する。例えば、図１８に示されるように、中間フレーム画像ＭＦＲ中の斜線領域３００は、補正後のフレーム画像ＦＲ４Ｃ及びフレーム画像ＦＲ１〜ＦＲ３中の当該領域３００と同じ画像位置にある画像が合成されて形成されているため、Ｋ＝４となる。したがって、領域３００の各画素信号を４／４倍、つまり変化させない。一方で、図１９に示されるように、中間フレーム画像ＭＲ４Ｃ中の斜線領域３０１は、補正後のフレーム画像ＦＲ４Ｃ中の当該領域３０１と同じ画像位置にある画像だけで形成されているため、Ｋ＝１となり、領域３０１の各画素信号を４／１倍、つまり４倍にする。

以上のようにして、中間フレーム画像ＭＦＲを補正し、補正後の中間フレーム画像ＭＦＲを合成フレーム画像ＣＦＲとする。図２０は本実施の形態に係る合成フレーム画像ＣＦＲを示す図である。

ステップ６において、合成フレーム画像ＣＦＲが生成されると、そのデジタル画像信号ＤＩＳを示す合成画像信号ＣＤＩＳは上記記憶部２３に記憶される。ＲＰＵ２１は、記憶部２３から合成画像信号ＣＤＩＳを読み出して、当該合成画像信号ＣＤＩＳに対してシャープネス等の各種フィルタ処理を実行する。そして、ステップｓ７において、フィルタ処理後の合成画像信号ＣＤＩＳが表示装置３に入力され、当該表示装置３は当該合成画像信号ＣＤＩＳに基づいて画像を表示する。これにより、合成フレーム画像ＣＦＲが静止画として表示される。

なお上記例では、ステップｓ５において、動き領域ＭＶＲ中の各画素の位置を移動方法ｍｄとは逆方向ｒｍｄに（移動量ｄｆ＋補正量ｄｒ）の分移動させていたが、ローリングシャッタ効果の補正だけを考慮すれば、図２１に示されるように、動き領域ＭＶＲ中の各画素の位置を逆方向ｒｍｄに補正量ｄｒの分だけ移動させるだけでも良い。これにより、図２２に示されるように、補正フレーム画像ＦＲ４Ｃ中での動き領域ＭＶＲの位置が上記例とは異なるものの、動き領域ＭＶＲに現れているローリングシャッタ効果を補正することができ、移動する被写体の画像の歪を低減できる。なお、図２１では補正後の動き領域ＭＶＲを破線で示し、図２２では画像抜け領域ＩＬＲを一点鎖線で示している。

また上記例では、撮像画面の左右方向に移動する被写体を撮像した際のフレーム画像の補正方法について説明したが、撮像画面の上下方向に移動する被写体を撮像する場合であっても同様にローリングシャッタ効果を補正することができる。

例えば、上記ＣＭＯＳセンサー１１において、撮像画面の上から下に向かって移動する正方形の被写体を撮像すると、当該正方形の被写体の画像はローリングシャッタ効果により若干変形した縦長の長方形となる。このような場合であっても、図２３に示されるように、検出した動き領域ＭＶＲの各画素の位置を当該動き領域ＭＶＲの移動方向ｍｄとは逆方向ｒｍｄに補正量ｄｒの分だけ移動させることによって、図２４に示されるように、動き領域ＭＶＲに現れているローリングシャッタ効果を補正することができ、移動する被写体の画像の歪を低減することができる。この場合には、補正後の動き領域ＭＶＲの面積は補正前の動き領域ＭＶＲの面積よりも小さくなるため、動き領域ＭＶＲの各画素の位置を補正量ｄｒの分だけ移動させるとともに、バイリニア法やバイキュービック法を用いて動き領域ＭＶＲ中の画素を適当に間引く処理を行う。

また上記ＣＭＯＳセンサー１１において、撮像画面の下から上に向かって移動する長方形の被写体を撮像すると、当該長方形の被写体の画像はローリングシャッタ効果により縦方向の長さが実際よりも短くなる。このような場合であっても、図２５に示されるように、検出した動き領域ＭＶＲの各画素の位置を当該動き領域ＭＶＲの移動方向ｍｄとは逆方向ｒｍｄに補正量ｄｒの分だけ移動させることによって、図２６に示されるように、動き領域ＭＶＲに現れているローリングシャッタ効果を補正することができ、移動する被写体の画像の歪を低減することができる。この場合には、補正後の動き領域ＭＶＲの面積は補正前の動き領域ＭＶＲの面積よりも大きくなっているため、動き領域ＭＶＲの各画素の位置を補正量ｄｒの分だけ移動させるとともに、バイリニア法やバイキュービック法を用いて補正後の動き領域ＭＶＲ中において画素が存在しない部分をその周辺の画素を用いて適当に補間する。被写体が撮像画面の斜め方向に移動している場合であっても同様にしてローリングシャッタ効果を補正できることは言うまでもない。

なお、本ＣＭＯＳセンサー１１では撮像画面の行方向（水平方向）に沿って順に露光が開始するため、ＣＭＯＳセンサー１１を用いて撮像画面の下から上に向かって移動する四角形の被写体を撮像すると、撮像画面の上から下に向かって移動する四角形の被写体を撮像する場合とは異なり、図２５に示されるように、動き領域ＭＶＲにおける上の辺及び下の辺がフレーム画像における行方向と平行となる（図２３では、動き領域ＭＶＲにおける上の辺及び下の辺は行方向に対して傾いている）。したがって、画素位置に応じて変化する補正量ｄｒを使用して動き領域ＭＶＲを補正すると、図２６に示されるように、補正後の動き領域ＭＶＲにおける上の辺及び下の辺はフレーム画像における行方向に対して傾くようになり、被写体が四角形にも関わらず、補正後の動き領域ＭＶＲの形状は四角形が若干歪んだ形状となる。図２６では本発明の理解を容易にするために、補正後の動き領域ＭＶＲでの歪を強調しているが、１ライン内での露光開始時刻差は非常に小さいため、実際には図２６に示されるほど補正後の動き領域ＭＶＲは歪むことはない。したがって、ＣＭＯＳセンサー１１を用いて撮像画面の下から上に向かって移動する被写体を撮像する場合であっても、補正量ｄｒを使用して動き領域ＭＶＲを補正することにより、移動する被写体の画像の歪を大きく低減することができる。

以上のように本実施の形態に係る画像処理装置２では、検出した動き領域ＭＶＲの動きベクトルと、撮像間隔情報と、露光開始時刻差情報と、露光開始順序情報とに基づいて、補正対象たるフレーム画像ＦＲ４での動き領域ＭＶＲを補正するため、当該動き領域ＭＶＲに生じるローリングシャッタ方式に起因する画像歪を適切に補正することができる。その結果、フレーム画像ＦＲ４中の画像歪を低減することができる。

また本実施の形態では、時間的に短い分割露光時間で撮像された複数枚のフレーム画像ＦＲ１〜ＦＲ４に基づいて、トータル露光時間で撮像されたフレーム画像に相当する合成フレーム画像ＣＦＲを生成しているため、撮像時に画像信号に生じるランダムノイズを低減することができる。

また、フレーム画像生成部２０３が生成する合成フレーム画像ＣＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置での画像２００については、補正フレーム画像ＦＲ４Ｃ以外のその他フレーム画像ＦＲ１〜ＦＲ３に基づいて生成しているため、当該画像２００を被写体に忠実なものとすることができる。

また、合成フレーム画像ＣＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置での画像１００については、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲ及びその他のフレーム画像ＦＲ１〜ＦＲ３中の動き領域ＭＶＲに基づいて生成しているため、当該画像１００を被写体に忠実なものとすることができる。その結果、合成フレーム画像ＣＦＲにおいて、移動する被写体を写す画像を、実際の被写体に忠実なものとすることができる。

また、合成フレーム画像ＣＦＲにおいて、補正フレーム画像ＦＲ４Ｃ中の画像抜け領域ＩＬＲと同じ画像位置での画像２００と、補正フレーム画像ＦＲ４Ｃ中の動き領域ＭＶＲと同じ画像位置での画像１００とを除く画像については、補正フレーム画像ＦＲ４Ｃ及びその他のフレーム画像ＦＲ１〜ＦＲ３において互いに同じ画像位置に存在する動き領域ＭＶＲ以外の画像に基づいて生成するため、上記斜線領域３００，３０１等の、合成フレーム画像ＣＦＲ中の画像１００，２００以外の画像を被写体に忠実なものとすることができる。

なお、本実施の形態では、静止画を表示するカメラシステムについて説明したが、表示装置３において、フレーム画像生成部２０３で生成された複数枚の合成フレーム画像ＣＦＲに基づいて動画像を表示することによって、デジタルスチルカメラだけではなく、動画像を表示するデジタルビデオカメラにも本発明を適用することができる。例えば、（４×１５）枚のフレーム画像を連続して撮像する。そして、撮像したこれらのフレーム画像において、連続して撮像された４枚のフレーム画像を１組のフレーム画像群とし、１５組のフレーム画像群のそれぞれから一枚の合成フレーム画像ＣＦＲを生成する。そして、生成された１５枚の合成フレーム画像ＣＦＲを１秒間に連続して表示することによって、フレームレート１５ｆｐｓ（フレーム／秒）での動画像表示が可能となる。

このように、複数枚の合成フレーム画像ＣＦＲに基づいて動画像を表示することによって、ローリングシャッタ効果が補正されたフレーム画像に基づいて動画像が表示されるため、観察者に対して見やすい動画像を提供することができる。特に動画像においてはローリングシャッタ効果が観察者に与える不快感は大きいため有効である。

また図２７に示されるように、撮像装置１において、ＣＭＯＳセンサー１１の代わりに、メカニカルシャッタであるローリングシャッタ１５とＣＣＤセンサー１６とを組み合わせて使用する場合であっても、ＣＭＯＳセンサー１１だけを使用した場合と同様に、フレーム画像中にローリングシャッタ効果が生じるため、このような撮像装置１を使用する際にも本発明を適用することができる。

一般的に、ローリングシャッタ１５とＣＣＤセンサー１６とを備えた撮像装置１では、ローリングシャッタ１５の動作によってＣＣＤセンサー１６の撮像画面の前を水平方向に細長いスリットが上から下に向かって移動し、当該スリットから入射する光を用いて露光している。そのため、一つのフレーム画像においては、１ライン内では露光開始時刻は同じであるが、異なるライン間では露光開始時刻が異なるようになる。したがって、このような撮像装置１を使用する場合には、上記例とは異なり、動き領域ＭＶＲ中の各画素を画素単位ではなくライン単位で移動させることによって、当該動き領域ＭＶＲに現れるローリングシャッタ効果を補正できる。具体的には、上記補正量ｄｒを、ｄｒ＝ｍｖ×ｑ×ｓｔｄ１とする。ここで、ｓｔｄ１はライン間の露光開始時刻差を示しており、ｑは動き領域ＭＶＲ中の補正対象の画素が属するラインが、当該動き領域ＭＶＲ中において最初に露光が開始するラインから何番目に露光が開始するかを示す値である。したがって、この場合には、１ライン内での複数の画素においては補正量ｄｒが一定であり、動き領域ＭＶＲにおいて最初に露光が開始するラインに属する画素の補正量ｄｒは零となる。また、この場合には、露光開始時刻差情報にはライン間の露光開始時刻差ｓｔｄ１の情報が含まれ、露光開始順序情報には、１行目からＮ行目の順に露光が開始するという露光開始順序の情報が含まれる。

また、ＣＭＯＳセンサー１１を使用する本実施の形態では、動き領域ＭＶＲを画素単位で補正していたが、上述のように通常１ライン内での画素間の露光開始時刻差は非常に小さいため１ライン内ではほぼ同時に露光が開始すると考えることができることから、ＣＭＯＳセンサー１１を使用する場合であってもライン単位で動き領域ＭＶＲを補正しても良い。

この場合には、上記補正量ｄｒを、ｄｒ＝ｍｖ×ｒ×ｓｔｄとする。ここで、ｒは、補正対象の画素が属するラインにおいて最も早く露光が開始する動き領域ＭＶＲ中の画素位置での露光が上記基準画素位置での露光から何番目に開始するかを示す値である。例えば、Ｍ＝１０２４であって１ラインが１０２４画素で構成されている場合において、基準画素位置が２行２列目の位置であって、３行１０列目に位置する補正対象の画素が属するラインにおいて最も早く露光が開始する動き領域ＭＶＲ中の画素位置が３行２列目とするとｒ＝１０２４となる。ｒの値は１ライン内の複数の画素位置の間では一定であるため、補正量ｄｒは１ライン内の複数の画素の間では一定となる。また、動き領域ＭＶＲ中の基準画素位置での画素が属するラインの複数の画素に対する補正量ｄｒについては、ｒに零を代入してすべて零とする。

このように、動き領域ＭＶＲをライン単位で補正する場合には、上述の実施の形態とは異なり、画素ごとに補正量ｄｒを計算する必要がないため、補正量ｄｒを求める際の計算量が低減される。

本発明の実施の形態に係るカメラシステムの構成を示すブロック図である。 本発明の実施の形態に係るＣＭＯＳセンサーの構成を示す図である。 本発明の実施の形態に係るＣＭＯＳセンサーの動作を示す図である。 ＣＣＤセンサー及びＣＭＯＳセンサーで撮像された画像を模式的に示す図である。 本発明の実施の形態に係るローリングシャッタ効果補正装置の機能ブロックを示す図である。 本発明の実施の形態に係るカメラシステムの動作を示すフローチャートである。 本発明の実施の形態に係る撮像装置で撮像される複数枚のフレーム画像の一例を示す図である。 本発明の実施の形態に係る画像メモリの構成を示すブロック図である。 本発明の実施の形態に係る動き領域の検出方法を示す図である。 本発明の実施の形態に係る動き領域の検出方法を示す図である。 本発明の実施の形態に係る動き領域の検出方法を示す図である。 本発明の実施の形態に係る動き領域の検出方法を示す図である。 本発明の実施の形態に係る動き領域の検出方法を示す図である。 本発明の実施の形態に係る動き領域の補正方法を示す図である。 本発明の実施の形態に係る動き領域の補正方法で補正されたフレーム画像を示す図である。 本発明の実施の形態に係る中間フレーム画像の補正方法を示す図である。 本発明の実施の形態に係る中間フレーム画像の補正方法を示す図である。 本発明の実施の形態に係る中間フレーム画像の補正方法を示す図である。 本発明の実施の形態に係る中間フレーム画像の補正方法を示す図である。 本発明の実施の形態に係る合成フレーム画像を示す図である。 本発明の実施の形態に係る動き領域の補正方法の変形例を示す図である。 本発明の実施の形態に係る動き領域の補正方法の変形例で補正されたフレーム画像を示す図である。 本発明の実施の形態に係る動き領域の補正方法の変形例を示す図である。 本発明の実施の形態に係る動き領域の補正方法の変形例で補正されたフレーム画像を示す図である。 本発明の実施の形態に係る動き領域の補正方法の変形例を示す図である。 本発明の実施の形態に係る動き領域の補正方法の変形例で補正されたフレーム画像を示す図である。 本発明の実施の形態に係る撮像装置の変形例を示すブロック図である。

符号の説明

１ 撮像装置
２ 画像処理装置
３ 表示装置
２０１ 動き検出部
２０２ 動き領域補正部
２０３ フレーム画像生成部

Claims (7)

1. 露光方式としてローリングシャッタ方式を用いて撮像された複数枚のフレーム画像において動き領域を検出するとともに、当該動き領域の動きベクトルを取得する動き検出部と、
   前記動きベクトルと、前記複数枚のフレーム画像間での撮像間隔に関する情報と、前記ローリングシャッタ方式で露光した際に生じる一つのフレーム画像内での位置の相違に基づく露光開始時刻差に関する情報と、前記ローリングシャッタ方式を用いて撮像される一つのフレーム画像内での位置に基づく露光開始順序に関する情報とに基づいて、前記複数枚のフレーム画像中の補正対象たるフレーム画像内の前記動き領域を補正する動き領域補正部と
   を備え、
   前記動き領域補正部は、
   前記動きベクトルと前記撮像間隔に関する情報とに基づいて前記複数のフレーム画像間での前記動き領域の移動速さを求め、
   前記補正対象たるフレーム画像における前記動き領域中の注目画素について、当該動き領域において最初に露光が開始する画素位置での露光開始から、前記注目画素が位置する画素位置での露光開始までの間に、当該動き領域に対応する被写体が移動する量を、前記移動速さと、前記露光開始時刻差に関する情報と、前記露光開始順序に関する情報とに基づいて求めて、それを、前記ローリングシャッタ方式に起因する前記注目画素の位置ずれ量とし、
   前記補正対象たるフレーム画像において、前記動き領域中の前記注目画素を、前記動きベクトルが示す方向とは逆方向に前記位置ずれ量の分移動させて、当該注目画素を移動先の画素位置に存在している画素の替わりに使用する、画像処理装置。
2. 請求項１に記載の画像処理装置と、
   露光方式として前記ローリングシャッタ方式を用いて前記複数枚のフレーム画像を撮像する撮像装置と
   を備える、カメラシステム。
3. 請求項２に記載のカメラシステムであって、
   前記画像処理装置は露光時間決定部及びフレーム画像生成部を更に備え、
   前記露光時間決定部は、前記撮像装置での露光時間を決定するとともに、当該露光時間を前記複数枚のフレーム画像の枚数と同じ数だけ分割して分割露光時間を算出し、
   前記撮像装置は、前記複数枚のフレーム画像をそれぞれに対応する前記分割露光時間で撮像し、
   前記フレーム画像生成部は、前記露光時間で撮像されたフレーム画像に相当する合成フレーム画像を、その各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記動き領域が補正された前記補正対象たるフレーム画像と前記複数枚のフレーム画像のうちのその他のフレーム画像とを合成して生成する、カメラシステム。
4. 請求項３に記載のカメラシステムであって、
   前記フレーム画像生成部は、前記合成フレーム画像において、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域が補正前に存在していた領域と同じ画像位置での画像については、当該画像での各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記その他のフレーム画像における前記動き領域以外の当該画像位置での画像を合成して生成する、カメラシステム。
5. 請求項３及び請求項４のいずれか一つに記載のカメラシステムであって、
   前記フレーム画像生成部は、前記合成フレーム画像において、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域と同じ画像位置での画像については、当該画像での各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域及び前記その他のフレーム画像中の前記動き領域を合成して生成する、カメラシステム。
6. 請求項３乃至請求項５のいずれか一つに記載のカメラシステムであって、
   前記フレーム画像生成部は、前記合成フレーム画像において、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域が補正前に存在していた領域と同じ画像位置と、前記動き領域が補正された前記補正対象たるフレーム画像中の前記動き領域と同じ画像位置とを除く画像位置での画像については、当該画像での各画素信号が前記複数枚のフレーム画像と同じ数のフレーム分の画素信号となるように、前記動き領域が補正された前記補正対象たるフレーム画像及び前記その他のフレーム画像において互いに同じ画像位置に存在する前記動き領域以外の画像を合成して生成する、カメラシステム。
7. 請求項３乃至請求項６のいずれか一つに記載のカメラシステムであって、
   前記フレーム画像生成部で生成された複数枚の前記合成フレーム画像に基づいて動画像を表示する表示装置を更に備える、カメラシステム。

Images