JP2011205442A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2011205442A JP2011205442A JP2010071341A JP2010071341A JP2011205442A JP 2011205442 A JP2011205442 A JP 2011205442A JP 2010071341 A JP2010071341 A JP 2010071341A JP 2010071341 A JP2010071341 A JP 2010071341A JP 2011205442 A JP2011205442 A JP 2011205442A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving
- moving object
- moving body
- correction target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】動体を含む画像についてその動体の歪みを適切に補正する。
【解決手段】動体検出部220は、補正対象画像と、時間軸において隣接または近接する他の画像とに基づいて動体を検出する。動体画像生成部260は、動体検出部220により検出された動体の動体画像を生成する。補正動体画像生成部270は、動体画像の歪みを補正して動体補正画像を生成する。静止体画像生成部280は、検出された動体と、補正対象画像と、時間軸において隣接または近接する他の画像とに基づいて、静止体画像を生成する。画像合成部290は、動体補正画像および静止体画像を合成して補正画像を生成する。
【選択図】図2
【解決手段】動体検出部220は、補正対象画像と、時間軸において隣接または近接する他の画像とに基づいて動体を検出する。動体画像生成部260は、動体検出部220により検出された動体の動体画像を生成する。補正動体画像生成部270は、動体画像の歪みを補正して動体補正画像を生成する。静止体画像生成部280は、検出された動体と、補正対象画像と、時間軸において隣接または近接する他の画像とに基づいて、静止体画像を生成する。画像合成部290は、動体補正画像および静止体画像を合成して補正画像を生成する。
【選択図】図2
Description
本発明は、画像処理装置に関し、特に、撮像した画像を補正する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、撮像素子を用いて人物や動物等の被写体を撮像して画像データを生成し、この画像データを記録するデジタルスチルカメラおよびデジタルビデオカメラ等の撮像装置が普及している。この撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)センサを用いる撮像装置が広く普及している。
このCMOSセンサは、x軸(横方向)とy軸(縦方向)とを指定することにより、画素回路ごとに画像信号を読み出すx−yアドレス型のセンサである。このため、撮像装置においては、一般的に、ライン(水平または垂直)ごとに画像信号が読み出され、このラインごとの読出しにより、ラインごとに画素回路が順次露光する。これにより、ラインごとに露光のタイミングが異なり、動体を撮像する際に、動体の像が歪んでしまう現象(フォーカルプレーン現象)が生じる。
このフォーカルプレーン現象は、例えば、静止画像を撮像する際に、撮像装置に機械式シャッタを備えて画素回路の露光のタイミングを同一にすることにより、軽減することができる。しかしながら、例えば、動画撮像動作や静止画の高速連続撮像動作を行う場合においては、被写体を連続して撮像する必要があるため、その撮像動作中において機械式シャッタを開閉することができない。このため、動画撮像動作や静止画の高速連続撮像動作を行う場合においては、フォーカルプレーン現象が生じてしまう。
そこで、例えば、動画撮像時における手ぶれによるフォーカルプレーン現象を、水平方向の歪みについて補正処理をした後、垂直方向の歪みについての補正処理を行うことにより補正する撮像装置が提案されている(例えば、特許文献1参照。)。
上記の撮像装置では、撮像画像を矩形領域に分割してブロックマッチングにより手ぶれによる動きを検出し、その動きをライン単位で補正することにより、手ぶれによるフォーカルプレーン現象を補正することができる。
しかしながら、このような撮像装置では、ラインごとに動きベクトルを算出してライン単位で歪み補正を行うため、動体だけでなく、補正を必要としない静止体にも歪み補正処理が行われる。その結果、このような撮像装置では、補正により動体の歪みが補正されるが、その補正により静止体が歪んでしまうおそれがある。
本発明はこのような状況に鑑みてなされたものであり、動体を含む画像についてその動体の歪みを適切に補正することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、補正対象画像と、当該補正対象画像に時間軸において隣接または近接する他の画像とに基づいて、上記補正対象画像に含まれる動体を検出する動体検出部と、上記補正対象画像に含まれる上記検出された動体の移動量と、撮像素子における画素回路の露光タイミングの差に関する情報とに基づいて、上記補正対象画像に含まれる上記検出された動体に対応する領域の画像である動体画像の歪みを補正して動体補正画像を生成する動体補正画像生成部と、上記検出された動体と上記補正対象画像と上記他の画像とに基づいて、上記補正対象画像における上記動体画像を上記他の画像における上記動体画像に対応する領域の画像に置換して静止体画像を生成する静止体画像生成部と、上記生成された動体補正画像および上記生成された静止体画像を合成して補正画像を生成する補正画像生成部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、補正対象画像から動体画像と静止体画像を生成し、補正対象画像の動体画像の歪みを補正した後に、補正した動体画像を静止体画像に重ね合わせることにより補正画像を生成させるという作用をもたらす。
また、この第1の側面において、上記動体補正画像生成部は、フォーカルプレーン現象による歪みを補正して上記動体補正画像を生成するようにしてもよい。これにより、フォーカルプレーン現象による歪みを補正して動体補正画像を生成させるという作用をもたらす。
また、この第1の側面において、上記動体検出部は、上記補正対象画像に複数の動体が含まれている場合には上記複数の動体ごとに上記動体を検出し、上記動体補正画像生成部は、上記複数の動体ごとに上記動体補正画像を生成し、上記補正画像生成部は、上記複数の動体ごとの動体補正画像と上記生成された静止体画像とに基づいて補正画像を生成するようにしてもよい。これにより、補正対象画像に複数の動体が含まれている場合には、動体ごとに歪みを補正して動体ごとの動体補正画像を生成することにより上記補正画像を生成させるという作用をもたらす。
また、この第1の側面において、被写体を撮像して上記補正対象画像および上記他の画像を生成する撮像部と、上記補正画像を用いて合焦判定を行う合焦判定部と、上記合焦判定の結果に基づいてフォーカス制御を行う制御部とをさらに備えるようにしてもよい。これにより、補正画像を用いてフォーカス制御を行わせるという作用をもたらす。
また、この第1の側面において、上記動体検出部は、上記動体画像をモデル化して当該モデル化した画像に基づいて上記動体の移動量を算出するようにしてもよい。これにより、動体画像をモデル化した画像を用いて動体の移動速度を算出させるという作用をもたらす。
また、この第1の側面において、上記動体検出部は、上記補正対象画像と当該補正対象画像に時間軸において連続する上記他の画像とに基づいて上記補正対象画像に含まれる動体を検出するようにしてもよい。これにより、補正対象画像と、その補正対象画像に時間軸において連続する他の画像を用いて動体を検出させるという作用をもたらす。
また、この第1の側面において、上記補正画像生成部は、上記静止体画像における上記動体画像に対応する領域に上記動体補正画像を上書き合成することにより上記補正画像を生成するようにしてもよい。これにより、静止体画像における動体画像に対応する領域に動体補正画像を上書き合成することにより補正画像を生成させるという作用をもたらす。
本発明によれば、動体を含む画像についてその動体の歪みを適切に補正することができるという優れた効果を奏し得る。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(撮像制御:画像を動体と静止体とに分けて動体の歪みを補正する例)
2.第2の実施の形態(撮像制御:補正した画像を用いてフォーカス制御を行う例)
3.応用例
1.第1の実施の形態(撮像制御:画像を動体と静止体とに分けて動体の歪みを補正する例)
2.第2の実施の形態(撮像制御:補正した画像を用いてフォーカス制御を行う例)
3.応用例
<1.第1の実施の形態>
[撮像装置の機能構成例]
図1は、本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。
[撮像装置の機能構成例]
図1は、本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。
撮像装置100は、操作受付部110と、制御部120と、撮像部130と、画像処理部200と、記録制御部140と、記録部150と、表示部160と、鏡胴170とを備える。
なお、本発明の第1の実施の形態においては、撮像装置100は、動画像データ(動画像コンテンツ)を記録することができるデジタルビデオカメラであることを想定する。また、撮像部130が撮像した画像信号に対するノイズの除去、信号の増幅、ホワイトバランスの補正、ガンマ補正、黒レベル補正などの信号処理については、従来の撮像装置と同様のものであるため、便宜上、説明を省略する。また、説明の便宜上、被写体を撮像する際には、イメージセンサの全面(最大の解像度)を使用して画像を生成することとする。
操作受付部110は、ユーザからの操作を受け付けるものである。この操作受付部110は、受け付けた操作に関する信号(操作信号)を制御部120に供給する。
制御部120は、撮像装置100における各部動作を制御するものである。この制御部120は、例えば、動画像の記録を開始するための操作信号を受け付けた場合には、動画像の記録開始に関する信号を、撮像部130および記録制御部140に供給する。また、制御部120は、動画像の記録を終了させるための操作信号を受け付けた場合には、動画像の記録終了に関する信号を撮像部130および記録制御部140に供給する。
撮像部130は、被写体からの入射光を電気信号に光電変換して画像信号を生成するものである。この撮像部130は、例えば、CMOSセンサなどのx−yアドレス型のセンサをイメージセンサ(撮像素子)として備えることにより実現される。また、撮像部130は、制御部120から供給される動画像の記録の開始および終了に関する信号に基づいて、動画像を撮像するための動作の開始および終了を行う。また、撮像部130は、生成した画像信号を、1つの画像(フレーム)単位で画像処理部200に供給する。
画像処理部200は、撮像部130から供給された画像信号にフォーカルプレーン現象を補正するための信号処理を施して、記録および表示に用いる画像データを生成するものである。この画像処理部200は、撮像部130から供給された画像を用いて、フォーカルプレーン現象を補正するための信号処理を行う。また、画像処理部200は、補正した画像(補正画像)を、補正画像データとして記録制御部140および表示部160に供給する。なお、画像処理部200については、図3乃至図13を参照して説明する。
記録制御部140は、記録部150における動画像データの記録の制御を行うものである。この記録制御部140は、画像処理部200から供給された補正画像データと、周囲の音を電気信号に変換した音データ(図示せず)とに基づいて、動画像データを生成し、この生成した動画像データの記録の制御を行う。また、記録制御部140は、制御部120から供給される動画像の記録の開始および終了に関する信号に基づいて、動画像データを記録するための動作の開始および終了を行う。この記録制御部140は、生成した動画像データを記録部150に供給する。
記録部150は、記録制御部140から供給された動画像データを記録するものである。例えば、この記録部150は、メモリカードにより実現される。
表示部160は、画像を表示するものである。この表示部160は、例えば、カラー液晶パネルにより実現される。この表示部160は、撮像された画像、記録済みの画像およびモードの設定画面などを表示する。
鏡胴170は、撮像部130への入射光を光学的に制御するレンズ群および絞りなどが備え付けられている部位である。この鏡胴170には、説明の便宜上、ズームレンズ171およびフォーカスレンズ172のみが示されている。
ズームレンズ171は、鏡胴170の中を光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
フォーカスレンズ172は、鏡胴170の中を光軸方向に移動することによりフォーカスを調整するものである。
[画像処理部の機能構成例]
図2は、本発明の第1の実施の形態における画像処理部200の機能構成例を示すブロック図である。
図2は、本発明の第1の実施の形態における画像処理部200の機能構成例を示すブロック図である。
画像処理部200は、フレームバッファ210と、動体検出部220と、モデル化部225と、動体移動量算出部230と、露光タイミング差情報保持部240とを備える。また、画像処理部200は、動体歪み補正量算出部250と、動体画像生成部260と、補正動体画像生成部270と、静止体画像生成部280と、画像合成部290とを備える。
フレームバッファ210は、撮像部130から供給された画像信号をフレーム単位で保持するものである。例えば、フレームバッファ210は、補正対象のフレーム(補正対象フレーム)と、その補正対象フレームに対して時間軸において1つ前のフレーム(前フレーム)と、時間軸において1つ後のフレーム(後フレーム)との計3枚の連続したフレームを保持する。また、フレームバッファ210は、その保持したフレームを動体検出部220と、動体画像生成部260と、静止体画像生成部280とに供給する。
動体検出部220は、フレームにおける動体領域を、そのフレームの画像と、時間軸において隣接または近接する他のフレームの画像とを比較することにより検出するものである。この動体検出部220は、例えば、補正対象フレームおよび前フレームにおける動体領域を、補正対象フレームと前フレームとを比較することにより検出する。この動体検出部220は、補正対象フレームおよび前フレームにおける動体領域に関する情報を、動体領域情報として、モデル化部225および動体画像生成部260に供給する。なお、動体検出部220による動体検出の一例については。図3を参照して説明する。
モデル化部225は、動体領域をモデル化する(例えば、動体領域を簡単な図形に置換する)ものである。すなわち、モデル化部225は、動体移動量算出部230における処理を簡便にするために、動体領域をモデル化する。例えば、モデル化部225は、動体領域が車の形状である場合には、この車を囲む長方形にこの動体領域をモデル化する。また、モデル化部225は、そのモデル化した動体領域を、動体移動量算出部230に供給する。なお、モデル化部225によるモデル化の一例については、図4を参照して説明する。なお、モデル化部225は、特許請求の範囲に記載の動体検出部の一例である。
動体移動量算出部230は、動体の移動量(動体移動量)を算出するものである。この動体移動量算出部230は、例えば、モデル化した動体領域における複数の箇所の移動量を平均化して動体移動量を算出する。また、動体移動量算出部230は、算出した動体移動量を、動体歪み補正量算出部250に供給する。なお、動体移動量算出部230による動体移動量の算出の一例については、図5を参照して説明する。
露光タイミング差情報保持部240は、イメージセンサ(撮像素子)における画素回路の露光のタイミングの差に関する情報(露光タイミング差情報)を保持するものである。ここで、露光タイミング差情報とは、イメージセンサにおいて最初に露光が開始されるライン(水平ライン)と、最後に露光が開始されるライン(水平ライン)との間の時間差に関する情報である。なお、この露光タイミング差情報が示す時間差は、イメージセンサ(撮像素子)からの画像信号の転送(読出し)における時間差でもある。この露光タイミング差情報保持部240は、保持する露光タイミング差情報を、動体歪み補正量算出部250に供給する。なお、露光タイミング差情報については、図8を参照して説明する。
動体歪み補正量算出部250は、フォーカルプレーン現象による動体の歪みを補正するための補正量(歪み補正量)を算出するものである。また、この動体歪み補正量算出部250は、撮像部130(図1参照)により生成される画像の横幅および縦幅に関する情報(イメージセンサ情報)を保持する。この動体歪み補正量算出部250は、露光タイミング差情報保持部240から供給された露光タイミング差情報と、動体移動量算出部230から供給された動体移動量と、イメージセンサ情報とに基づいて、歪み補正量を算出する。動体歪み補正量算出部250は、算出した歪み補正量を、補正動体画像生成部270に供給する。なお、歪み補正量の算出については、図9を参照して説明する。
動体画像生成部260は、補正対象フレームにおける動体領域の画像情報(輝度や色情報など)を抽出して、抽出された動体領域の画像情報のみで構成される画像である動体画像を生成するものである。この動体画像生成部260は、動体検出部220から供給される動体領域情報と、フレームバッファ210から供給される補正対象フレームとに基づいて動体画像を生成する。また、動体画像生成部260は、生成した動体画像を、補正動体画像生成部270および静止体画像生成部280に供給する。なお、動体画像の生成については、図6を参照して説明する。なお、動体画像生成部260は、特許請求の範囲に記載の動体検出部の一例である。
補正動体画像生成部270は、フォーカルプレーン現象による動体画像の歪みを補正するものである。この補正動体画像生成部270は、動体歪み補正量算出部250から供給された歪み補正量と、動体画像生成部260から供給された動体画像とに基づいて、動体画像の歪みを補正する。この補正動体画像生成部270は、補正した動体画像(補正動体画像)を、画像合成部290に供給する。なお、補正動体画像の生成については、図10を参照して説明する。なお、補正動体画像生成部270は、特許請求の範囲に記載の動体補正画像生成部の一例である。
静止体画像生成部280は、補正対象フレームの静止体画像を生成するものである。ここで、静止体画像とは、補正対象フレームの画像から動体の画像を除去して、その除去した画像における静止体の情報を他のフレームの情報を用いて補完したものである。すなわち、静止体画像生成部280は、補正対象フレームにおける動体に対応する領域の画像を、他のフレームにおけるその画像に対応する領域の画像に置換することにより静止体画像を生成する。この静止体画像生成部280は、例えば、動体画像生成部260から供給された動体画像と、フレームバッファから供給された補正対象フレームと、前フレームまたは後フレームとに基づいて静止体画像を生成する。静止体画像生成部280は、生成した静止体画像を画像合成部290に供給する。なお、静止体画像の生成については、図11乃至13を参照して説明する。
画像合成部290は、動体画像と静止体画像とを合成して、補正対象フレームの補正された画像(補正画像)を生成するものである。この画像合成部290は、例えば、静止体画像の上に動体画像を重ね合わせることにより補正画像を生成する。なお、画像合成部290による補正画像の生成の一例については、図14を参照して説明する。なお、画像合成部290は、特許請求の範囲に記載の補正画像生成部の一例である。
このように、画像処理部200では、まず、フォーカルプレーン現象が補正された補正動体画像と、動体が存在しない静止体画像とが生成される。そして、補正動体画像と静止体画像とを合成することにより、フォーカルプレーン現象が補正された画像が生成される。
なお、ここでは、撮像装置に組み込まれている画像処理部200について説明したが、これに限定されるものではない。例えば、撮像部130により生成された動画データを記録媒体に記録しておき、この動画データを再生する際に、上述した補正を行うようにしてもよい。この場合には、その動画データの撮像動作時に関するイメージセンサ情報および露光タイミング差情報を、動画データに関連付けて記憶しておく。また、他の撮像装置において記録された動画データを、画像処理部200を備える画像処理装置により再生する場合についても同様に、上述した補正を行うことができる。
また、同図においては、動体の移動量を簡便に算出するためにモデル化をして動体移動量を算出する例について説明したが、これに限定されるものではない。例えば、動体検出部220においてブロックマッチング等を用いて動体を検出する場合には、動体の移動量を算出する際にブロックマッチングにおいて算出した動きベクトルを用いる場合なども考えられる。
[動体検出部による動体検出例]
図3は、本発明の第1の実施の形態における動体検出部220による動体検出の一例を示す模式図である。
図3は、本発明の第1の実施の形態における動体検出部220による動体検出の一例を示す模式図である。
この例では、説明の便宜上、1つの動体が水平方向に移動している場合を想定する。
図3(a)には、補正対象フレーム(n+1フレーム)と、1つ前の前フレーム(nフレーム)とを用いた動体検出処理の一例が模式的に示されている。
同図(a)には、補正対象フレームの1つ前の前フレームを示す画像(画像(nフレーム)310)と、補正対象フレームを示す画像(画像(n+1フレーム)320)と、検出された動体を示す画像(動体情報画像340)とが示されている。
なお、本発明の第1の実施の形態では、イメージセンサのデータ転送(すなわち、露光)は、左上隅の画素回路(画像の左上隅の画素の画像信号を取得する画素回路)から開始して、水平方向(水平ラインごと)に順次転送する。そして、その水平ラインが終了したら、1つ下のラインのデータ転送を左隅から順次行い、最後は、右下隅の画素回路で終了するものとする。
画像(nフレーム)310は、補正対象フレームの1つ前のフレーム(前フレーム)の画像を示すイメージ図である。この画像(nフレーム)310には、動体を示す領域(動体領域312)と、静止体を示す領域(静止体領域311)とが示されている。また、静止体領域311および動体領域312以外の背景も静止体を示す領域として示されている。
静止体領域311は、画像(nフレーム)310における街路樹が撮像された領域である。この静止体領域311は、画像(nフレーム)310の中央付近に、垂直に立つ木として示されている。
動体領域312は、画像(nフレーム)310における自動車が撮像された領域である。この動体領域312は、画像(nフレーム)310の右端付近に、右側から左側に向けて走行する自動車として示されている。また、動体領域312は、動いている自動車(動体)であるため、フォーカルプレーン現象により自動車の形状が歪んでいる。この動体領域312は、自動車の下側が左側へ向けて飛び出しているように歪んでいる。
画像(n+1フレーム)320は、補正対象フレームの画像を示すイメージ図である。この画像(n+1フレーム)320には、動体画像として動体領域322が示され、静止体画像として、画像(nフレーム)310の静止体領域311と同様のものである静止体領域321が示されている。
動体領域322は、画像(n+1フレーム)320における自動車が撮像された領域である。この動体領域322は、画像(nフレーム)310の動体領域312より時系列的に後であるため、走行が進行した状態の自動車(静止体領域321の前に位置する自動車)を示す。また、動体領域322は、画像(nフレーム)310の動体領域312と同様のフォーカルプレーン現象による歪みが生じている。
動体情報画像340は、画像(nフレーム)310および画像(n+1フレーム)320を用いて検出された動体の情報を示すイメージ図である。この動体情報画像340には、検出された動体の領域を示す情報(動体領域情報341および342)が白色の領域で示されている。また、動体情報画像340には、動体領域情報341および342を囲む領域345が示されている。そして、静止体の領域が、動体領域情報341および342以外の網目の領域で示されている。
動体領域情報341および342は、画像(nフレーム)310および画像(n+1フレーム)320における動体と判定された画素の領域を示す情報である。すなわち、動体領域情報341および342は、画像(nフレーム)310の動体領域312および画像(n+1フレーム)320の動体領域322が動体の領域として検出されたものである。
ここで、動体検出部220による動体検出の方法の一例について説明する。動体情報画像340は、同一の画素位置における画像(nフレーム)310と画像(n+1フレーム)320との間の差分絶対値を画素ごとに算出する。この場合において、静止体を表す画素は同一の画素値であるため、差分値は「0」に近い値になる。一方、動体を示す画素は、フレーム間において画素値が異なるため、差分値は大きな値になる。そこで、動体情報画像340は、所定値を基準にして差分値を分類することにより、動体を検出する。
そして、動体情報画像340は、所定値を基準にして画素の画像情報を2値化して、静止体領域と動体領域とを分離する。例えば、動体と動体以外の領域とが「0」および「1」で表される場合には、静止体(動体情報画像340の網目の領域)は「0」で示され、動体(動体領域情報341および342)は「1」で示される。そして、動体検出部220は、この動体に関する情報(動体情報画像)を動体領域情報として、モデル化部225および動体画像生成部260に供給する。
図3(b)には、補正対象フレーム(n+1フレーム)と、1つ後の後フレーム(n+2フレーム)とを用いた動体検出処理の一例が模式的に示されている。
同図(b)には、補正対象フレームを示す画像である画像(n+1フレーム)320と、補正対象フレームの1つ後の後フレームを示す画像である画像(n+2フレーム)330と、検出された動体を示す画像(動体情報画像350)とが示されている。
画像(n+2フレーム)330は、補正対象フレームの1つ後の後フレームの画像を示すイメージ図である。この画像(n+2フレーム)330には、他のフレームと同様に、動体を示す領域(動体領域332)と、静止体を示す領域(静止体領域331)が示されている。なお、動体領域332は、画像(n+1フレーム)320より時系列的に後のフレームにおける動体の領域であるため、動体領域322よりも走行が進んだ状態(静止体領域331の右側を走行している状態)の自動車を示す。
動体情報画像350は、画像(n+1フレーム)320および画像(n+2フレーム)330を用いて検出された動体の情報を示すイメージ図である。この動体情報画像350には、検出された動体の領域を示す情報(動体領域情報352および353)が白色の領域で示されている。また、動体情報画像350には、動体領域情報352および353を囲む領域355が示されている。そして、静止体の領域が、動体領域情報352および353以外の網目の領域で示されている。なお、動体領域情報352および353は、図3(a)において示した動体領域情報341および342に対応するため、ここでの詳細な説明を省略する。
このように、動体検出部220によって、動体の領域が検出される。なお、ここでは一例として、時系列的に連続するフレーム(隣接するフレーム)を用いて検出する例について説明したが、これに限定されるものではない。例えば、時系列的に近いフレーム(近接するフレーム)を用いて行う場合なども考えられる。
なお、ここでは、差分絶対値を算出して動体を検出したが、これに限定されるものではない。動体検出部220による動体の検出は、種々の一般的に知られている手法を用いることができる。例えば、動体を検出する方法として、ブロックマッチングを用いる場合なども考えられる。
[モデル化部によるモデル化例]
図4は、本発明の第1の実施の形態におけるモデル化部225によるモデル化の一例を示す模式図である。同図では、図3(b)において示した動体情報画像350における動体領域をモデル化する例について説明する。
図4は、本発明の第1の実施の形態におけるモデル化部225によるモデル化の一例を示す模式図である。同図では、図3(b)において示した動体情報画像350における動体領域をモデル化する例について説明する。
図4には、動体情報画像350と、モデル化の過程の画像(モデル化過程画像369)と、モデル化により生成されるモデル化画像(モデル化画像360)とが示されている。
モデル化過程画像369は、動体領域情報352および353のモデル化の過程を示すイメージ図である。このモデル化過程画像369には、動体領域情報352および353と、モデル化した動体の範囲を示す枠(枠363および364)が示されている。
枠363および364は、動体領域情報352および353のモデル化画像の領域を示す枠である。この枠363は、例えば、動体領域情報353を囲むように設定される長方形の領域である。また、枠364は、例えば、動体領域情報352を囲むように設定される長方形の領域である。これらの枠は、動体の大きさに応じて設定される。なお、図4に示す例では、説明の容易のため、動体よりも比較的大きな長方形を設定する例を示す。ただし、少なくとも動体の全部を含む長方形を設定することにより、モデル化を行うことができる。このように、モデル化部225によって、動体領域の大きさに基づいて、モデル化が行われる。
モデル化画像360は、動体領域情報352および353をモデル化した画像を示すイメージ図である。このモデル化画像360には、動体領域情報352および353をモデル化した画像であるモデル化画像領域370および380が示されている。
モデル化画像領域370および380は、動体領域情報352および353のモデル化により生成された画像の領域である。このモデル化画像領域370および380は、枠363および364により囲まれた領域を画像にすることにより生成される。
このように、モデル化部225によって、動体の移動量の算出などを簡便にするために、動体領域のモデル化が行われる。
[動体移動量算出部による動体移動量算出例]
図5は、本発明の第1の実施の形態における動体移動量算出部230による動体移動量算出の一例を示す模式図である。
図5は、本発明の第1の実施の形態における動体移動量算出部230による動体移動量算出の一例を示す模式図である。
同図には、動体移動量の算出方法が、モデル化画像領域370および380を用いて示されている。また、同図において、モデル化画像領域370および380には、モデル化した動体の移動量を算出するために選出した領域(第1移動量算出領域乃至第4移動量算出領域)が示されている。モデル化画像領域370には、左上隅に第1移動量算出領域371が示され、右上隅に第2移動量算出領域372が示され、左下隅に第3移動量算出領域373が示され、右下隅に第4移動量算出領域374が示されている。
同様に、モデル化画像領域380には、第1移動量算出領域371乃至第4移動量算出領域374にそれぞれ対応する位置に、第1移動量算出領域381乃至第4移動量算出領域384が示されている。さらに、第1移動量算出領域371乃至第4移動量算出領域374の第1移動量算出領域381乃至第4移動量算出領域384への移動量を示す動きベクトルV1乃至V4が示されている。
ここで、動体移動量算出部230による動体移動量の算出について説明する。まず、動体移動量算出部230は、動体の移動量を算出するために、モデル化画像領域370における複数の領域(例えば、特徴点)を選択する。そして、その選択した複数の領域に対応するモデル化画像領域380の領域を選択する。この領域の選択の一例として、同図には、第1移動量算出領域371および381と、第2移動量算出領域372および382と、第3移動量算出領域373および383と、第4移動量算出領域374および384との4つの領域が示されている。
そして、動体移動量算出部230は、選択した領域の移動量(動きベクトル)を算出する。同図には、算出された移動量として、動きベクトルV1乃至V4が示されている。その後、動体移動量算出部230は、算出された4つの動きベクトルの平均値を算出し、その算出した平均値を動体移動量としいて動体歪み補正量算出部250に供給する。
このように、動体移動量算出部230によって、動体領域をモデル化した画像を用いて動体の移動量が算出される。
なお、同図では、モデル化画像領域370および380を用いて動体移動量を算出したが、これに限定されるものではない。モデル化は、動体移動量の算出を間便にするために行うものであり、他の方法を用いるようにしてもよい。例えば、パーソナルコンピュータにフォーカルプレーン現象の補正を行わせる場合などには、正確な移動量を算出するために、モデル化をしないで複数の特徴点を検出し、その検出した特徴点の移動量の平均値を動体移動量とするようにしてもよい。
[動体画像生成部による動体画像生成例]
図6は、本発明の第1の実施の形態における動体画像生成部260による動体画像生成の一例を示す模式図である。
図6は、本発明の第1の実施の形態における動体画像生成部260による動体画像生成の一例を示す模式図である。
同図には、図3において示した画像(n+1フレーム)320と、動体情報画像340と、動体情報画像350と、動体画像生成部260により算出される動体画像(動体画像420)が示されている。
動体画像420は、画像(n+1フレーム)320と、動体情報画像340と、動体情報画像350とに基づいて、動体画像生成部260により算出される画像である。この動体画像420には、画像(n+1フレーム)320における動体の画像である動体領域422が示されている。なお、動体領域422は、特許請求の範囲に記載の動体画像の一例である。
ここで、動体画像生成部260による動体画像の生成方法の一例について説明する。
まず、動体画像生成部260は、フレームバッファ210から画像(n+1フレーム)320を取得し、動体検出部220から動体情報画像340および動体情報画像350を取得する。そして、動体画像生成部260は、例えば、動体情報画像340と動体情報画像350と、画像(n+1フレーム)320とを乗算して一枚の画像を生成することにより算出される。
ここで、この乗算について、まず、動体情報画像340と動体情報画像350との間の乗算に着目して説明する。図3において説明したように、動体情報画像340において動体領域情報341および342における画素の値は「1」であり、動体領域情報341および342以外の領域の画素の値は「0」である。同様に、動体情報画像350において動体領域情報352および353における画素の値は「1」であり、動体領域情報352および353以外の領域の画素の値は「0」である。すなわち、動体情報画像340と動体情報画像350とのそれぞれの画素における値の乗算により、動体領域情報342および動体領域情報352に対応する画素のみが「1」の値の画像になる。すなわち、動体情報画像340と動体情報画像350とに共通するフレームである画像(n+1フレーム)320の動体の領域(補正対象フレーム動体領域情報)が算出される。
次に、補正対象フレーム動体領域情報と、画像(n+1フレーム)320との間の乗算に着目して説明する。補正対象フレーム動体領域情報は、画像(n+1フレーム)320の動体の領域の画素の値が「1」である。このため、この補正対象フレーム動体領域情報と画像(n+1フレーム)320とを乗算することにより、動体領域のみが画像情報を保持する画像(動体画像420)が生成される。
なお、ここでは、動体情報画像を用いて、動体領域のみが画像情報を保持する動体画像(動体画像420)を生成する例について説明したが、これに限定されるものではない。例えば、ブロックマッチングを用いて、動体と判定されたブロックを抽出して動体画像を生成するようにしてもよい。
[動体歪み補正量算出部による動体歪み補正例]
ここで、撮像装置100により補正されるフォーカルプレーン現象について、図7を参照して説明する。
ここで、撮像装置100により補正されるフォーカルプレーン現象について、図7を参照して説明する。
図7は、本発明の第1の実施の形態における撮像部130への入射光の一例および撮像装置100により撮像される1フレームの画像の一例を示す模式図である。
ここでは、便宜上、撮像部130におけるイメージセンサの水平ラインの数が「11」ラインであることを想定する。
図7(a)は、1つのフレームを撮像する際におけるイメージセンサへの入射光を、そのフレームの水平ラインごとに、時系列の画像として模式的に示す。また、図7(b)は、図7(a)に示した入射光に基づいて生成される1フレームの画像を、時系列の画像として模式的に示す。
図7(a)には、最初(1番目)の水平ライン(水平ラインL1)を撮像する際における入射光に対応する画像(画像451)と、8番目の水平ライン(水平ラインL2)を撮像する際における入射光に対応する画像(画像452)とが示されている。さらに、9番目の水平ライン(水平ラインL3)を撮像する際における入射光に対応する画像(画像453)と、10番目の水平ライン(水平ラインL4)を撮像する際における入射光に対応する画像(画像454)とが示されている。また、11番目の水平ライン(水平ラインL5)を撮像する際における入射光に対応する画像(画像455)が示されている。なお、画像452乃至455における動体領域(自動車)の位置の差が破線K1乃至破線K4により示されている。
図7(b)には、図7(a)に示した画像451乃至455の画像が入射する際におけるイメージセンサの撮像画像(画像461乃至465)が示されている。なお、画像461乃至465に示されている水平ラインL11乃至L15は、画像451乃至455における水平ラインL1乃至L5にそれぞれ対応する。
同図(b)に示すように、イメージセンサは、ラインごと(ここでは、水平ライン)に画像信号が読み出され、ラインごとに画素回路が順次露光するため、被写体に動体がある場合には、その動体の像が歪む現象(フォーカルプレーン現象)が発生する。そこで、以下では、動体の像の歪みを適切に補正する例を示す。
[露光タイミング差情報の一例]
図8は、本発明の第1の実施の形態における露光タイミング差情報保持部240が保持する露光タイミング差情報の一例を示す模式図である。
図8は、本発明の第1の実施の形態における露光タイミング差情報保持部240が保持する露光タイミング差情報の一例を示す模式図である。
なお、ここでは、同一の水平ラインにおける画素回路の露光時間(転送)のズレは、影響を無視できるほど小さいため、ズレは無いものとする。
同図には、露光タイミング差情報保持部240が保持する露光タイミング差情報を模式的に示すグラフが示されている。このグラフでは、縦軸を水平ラインを示す軸とし、横軸を露光時間を示す軸として、各水平ラインの画素回路の露光時間が矩形(矩形E1乃至E11)で模式的に示されている。また、このグラフには、最初の水平ラインの画素回路の露光開始と、最後の水平ラインの画素回路の露光開始との差の時間(露光タイミング差情報T1)が示されている。
矩形E1乃至E11は、各水平ラインの画素回路の露光時間を水平ラインごとに示すものである。矩形E1は図7における水平ラインL11の露光時間を示し、矩形E8は図7の水平ラインL12の露光時間を示している。同様に、矩形E9は水平ラインL13の露光時間を示し、矩形E10は水平ラインL14を示し、矩形E11は水平ラインL15を示している。
露光タイミング差情報T1は、最初の水平ラインの画素回路の露光開始と、最後の水平ラインの画素回路の露光開始との差の時間である。この露光タイミング差情報T1は、露光タイミング差情報保持部240に露光タイミング差情報として保持される。なお、露光タイミング差情報T1が示す時間差の時間が短いほど、フォーカルプレーン現象は軽減される。
[歪み補正量生成例]
図9は、本発明の第1の実施の形態における動体歪み補正量算出部250による歪み補正量の算出例を示す模式図である。なお、ここでは、動体移動量は、図5において示すように右側から左側への動きに関する動体移動量を、正の値とする。
図9は、本発明の第1の実施の形態における動体歪み補正量算出部250による歪み補正量の算出例を示す模式図である。なお、ここでは、動体移動量は、図5において示すように右側から左側への動きに関する動体移動量を、正の値とする。
図9(a)には、補正対象フレーム(画像(n+1フレーム)320)を矩形(フレーム471)により模式的に示す。このフレーム471には、補正対象フレームの横方向の幅を示す横W1および補正対象フレームの縦方向の幅を示す縦幅H1が示されている。
動体歪み補正量算出部250は、この横W1および縦幅H1に関する情報を、イメージセンサ情報として予め保持する。そして、動体歪み補正量算出部250は、動体移動量算出部230から供給される動体移動量と、露光タイミング差情報保持部240から供給される露光タイミング差情報と、イメージセンサ情報とに基づいて、歪み補正量を算出する。
図9(b)には、補正量算出部250により算出される歪み補正量を模式的に示す。なお、同図(b)では、図9(a)に示すフレーム471を補正する場合における補正方法を示しながら説明する。同図(b)には、フレーム471と、補正されたフレーム471の形状を示すフレーム472とが示されている。また、同図(b)には、縦幅H1における水平ラインの歪み補正量(歪み補正量D1)と、縦幅H2における水平ラインの歪み補正量(歪み補正量D2)と、縦幅H3における水平ラインの歪み補正量(歪み補正量D3)とが示されている。
ここで、動体歪み補正量算出部250による歪み補正量の算出方法の一例について、図9(b)と、式1と、式2とを用いながら説明する。
まず、動体歪み補正量算出部250は、歪み補正量を算出するために、動体移動量から動体移動速度を算出する。この動体移動速度Sの算出は、例えば、次の式1を用いて算出される。
S=M×(1/F) ・・・式1
ここで、Mは、動体移動量である。例えば、動体移動量Mは、動体移動量を示すピクセル数である。また、Fは、フレームレートである。すなわち、1/Fは、撮像部130のイメージセンサが生成するフレームの間隔(時間)である。
S=M×(1/F) ・・・式1
ここで、Mは、動体移動量である。例えば、動体移動量Mは、動体移動量を示すピクセル数である。また、Fは、フレームレートである。すなわち、1/Fは、撮像部130のイメージセンサが生成するフレームの間隔(時間)である。
ここで、式1について説明する。本発明の第1の実施の形態では、図3に示すように、連続するフレームを用いて動体移動量を算出している。すなわち、動体移動量(ピクセル)をフレーム間隔(秒)で除算することにより、1秒当たりの移動量を示す動体移動速度(ピクセル/秒)を算出することができる。
そして、動体歪み補正量算出部250は、算出した動体移動速度およびCMOSセンサ情報を用いて、歪み補正量を水平ラインごとに算出する。この水平ラインごとの歪み補正量Cnの算出は、例えば、次の式2を用いて算出される。
Cn=S×T×n/V ・・・式2
ここで、nは、水平ラインの補正対象フレームにおける位置(最下位の水平ラインからの高さを示すピクセル数)である。また、Sは、式1において示した動体移動速度Sである。Tは、露光タイミング差情報保持部240から供給される露光タイミング差情報である。Vは、補正対象フレームの縦方向の幅(ピクセル数)である。
Cn=S×T×n/V ・・・式2
ここで、nは、水平ラインの補正対象フレームにおける位置(最下位の水平ラインからの高さを示すピクセル数)である。また、Sは、式1において示した動体移動速度Sである。Tは、露光タイミング差情報保持部240から供給される露光タイミング差情報である。Vは、補正対象フレームの縦方向の幅(ピクセル数)である。
ここで、式2について説明する。撮像装置100において発生するフォーカルプレーン現象では、動体の移動速度(動体移動速度S)が大きいほど動体の画像が大きく歪む。なお、フォーカルプレーン現象の発生する原因となる露光のズレ(露光タイミング差情報T)は、イメージセンサに固有の値である。すなわち、式2に示すように、動体の移動速度(動体移動速度S)と、水平ラインごと露光のズレの時間(T×n/V)とを用いることにより、水平ラインごとの歪み補正量を算出することができる。
ここで、動体歪み補正量算出部250による歪み補正量算出について、図9(b)および式2を用いて説明する。動体歪み補正量算出部250は、上述した動体移動速度Sを算出した後に、この上述した動体移動速度Sと、露光タイミング差情報Tと、イメージセンサ情報とに基づいて水平ラインごとの歪み補正量を順次算出する。例えば、最上位の水平ラインから歪み補正量を算出する場合には、図9(b)に示す縦幅H1を位置nおよび縦幅Vとして、式2を用いて歪み補正量D1(歪み補正量Cn)が算出される。同様に、2番目以降の水平ラインについても、位置nをその水平ラインを示す値にすることにより、式2を用いて順次算出される。この順次算出される歪み補正量の一例として、位置nが縦幅H2の水平ラインにおける歪み補正量D2と、位置nが縦幅H3の水平ラインにおける歪み補正量D3とが図9(b)に示されている。
このように、動体歪み補正量算出部250によって、水平ラインごとの歪み補正量が算出され、その算出された歪み補正量が補正動体画像生成部270に供給される。
なお、同図においては、水平方向に移動する動体の歪み補正量を算出する一例について説明したが、本発明はこれに限定されるものではない。フォーカルプレーン現象においては、縦方向に移動する動体については、その動体の画像が伸びたり、縮んだりする(動体の縦方向の歪み)問題が生じる。この場合においても、例えば、次の式3を用いて補正する倍率を算出することにより、動体の縦方向の歪みを補正するための歪み補正量を算出することができる。なお、この縦方向の歪みの補正に関する式においては、下側から上側への動きに関する動体移動量を正の値とする。
M=V/(V−Sh×T) ・・・式3
ここで、Mは、動体画像の縦方向の補正率である。また、Shは、下側から上側への動きに関する動体移動量を用いて算出した動体移動速度(縦)である。
M=V/(V−Sh×T) ・・・式3
ここで、Mは、動体画像の縦方向の補正率である。また、Shは、下側から上側への動きに関する動体移動量を用いて算出した動体移動速度(縦)である。
例えば、動体が下側から上側へ動く場合については、「(V−Sh×T)」が小さな値になり、補正率Mは、拡大する割合を示す値になる。また、動体が上側から下側へ動く場合においては、動体移動量Shが負の値になり「(V−Sh×T)」が大きな値になり、補正率Mは、縮小する割合を示す値になる。
このように、縦方向の動きに関する移動量を動体移動量算出部230が算出し、動体の修正率を動体歪み補正量算出部250が算出することにより、縦方向に移動する動体についても、フォーカルプレーン現象の歪みの補正をすることができる。
[補正動体画像生成部による補正動体画像生成例]
図10は、本発明の第1の実施の形態における補正動体画像生成部270による補正動体画像生成の一例を示す模式図である。
図10は、本発明の第1の実施の形態における補正動体画像生成部270による補正動体画像生成の一例を示す模式図である。
同図には、図6において示した動体画像420と、歪み補正量に基づいて動体画像420を補正した画像(補正動体画像430)とが示されている。また、補正動体画像430には、動体画像420の補正に伴って補正された動体の画像の領域(動体領域432)が示されている。
補正動体画像430は、動体歪み補正量算出部250から供給される歪み補正量に基づいて、動体画像420の動体領域432のフォーカルプレーン現象を補正したものである。この補正動体画像430は、水平ラインごとに算出された歪み補正量に基づいて、動体画像420の画像を水平ラインごとにずらすことにより生成される。すなわち、補正動体画像430は、フォーカルプレーン現象を発生させないで撮像した場合における動体のみの画像と同様のものである。
このように、動体歪み補正量算出部250によって、フォーカルプレーン現象による動体の画像の歪みが補正される。
[静止体画像生成部による静止体画像生成例]
図11乃至図13は、本発明の第1の実施の形態における静止体画像生成部280による静止体画像生成の一例を示す模式図である。ここでは、静止体画像生成部280による静止体画像生成を3つの過程(静止体画像抽出情報の生成、静止体画像抽出および静止体画像合成)に分けて説明する。
図11乃至図13は、本発明の第1の実施の形態における静止体画像生成部280による静止体画像生成の一例を示す模式図である。ここでは、静止体画像生成部280による静止体画像生成を3つの過程(静止体画像抽出情報の生成、静止体画像抽出および静止体画像合成)に分けて説明する。
図11は、本発明の第1の実施の形態における静止体画像生成部280による静止体画像を生成する際に用いられる静止体画像抽出情報の生成の一例を示す模式図である。同図には、図6において示した動体画像420と、静止体画像を生成する際に用いられる静止体画像抽出情報とが示されている。なお、同図では、静止体画像抽出情報については、これらに対応する2つの画像(第1静止体画像抽出情報510および第2静止体画像抽出情報520)を模式的に示して説明する。
第1静止体画像抽出情報510は、補正対象フレームにおける動体領域に対応する静止体画像を抽出するための情報である。この第1静止体画像抽出情報510は、静止体画像生成部280によって、動体画像420に基づいて生成される。例えば、第1静止体画像抽出情報510は、動体画像420における動体領域422の画素の値を「1」とし、動体領域422以外の領域の画素の値を「0」とする(すなわち、動体領域422以外の領域の画素の値は動体画像420のまま)ことにより生成される。なお、第1静止体画像抽出情報510には、動体領域422の画素の値を「1」とした領域が、白色の領域の動体領域512として示されている。
第2静止体画像抽出情報520は、補正対象フレームにおける動体領域以外の領域の静止体画像を抽出するための情報である。この第2静止体画像抽出情報520は、静止体画像生成部280によって、動体画像420に基づいて生成される。例えば、第2静止体画像抽出情報520は、動体画像420における動体領域422の画素の値を「0」とし、動体領域422以外の領域の画素の値を「1」とすることにより生成される。なお、第2静止体画像抽出情報520には、動体領域422の画素の値を「0」とした領域が、網目の領域の動体領域512として示されている
図12は、本発明の第1の実施の形態における静止体画像生成部280による静止体画像抽出情報を用いた静止体画像抽出の一例を示す模式図である。
図12(a)には、図3において示した画像(nフレーム)310と、図11において示した第1静止体画像抽出情報510と、画像(n+1フレーム)320における動体領域の静止体画像を補完するための画像(静止体画像補完画像530)とが示されている。
静止体画像補完画像530は、補正対象フレームにおける動体領域に対応する静止体画像を抽出した画像である。この静止体画像補完画像530は、補正対象フレームにおける静止体画像を補完するために用いられる。静止体画像補完画像530は、例えば、静止体画像生成部280によって、画像(nフレーム)310と第1静止体画像抽出情報510とにおけるそれぞれの画素の値を乗算することにより生成される。なお、静止体画像補完画像530には、画像(nフレーム)310から抽出された領域が、動体領域532として示されている。
ここで、静止体画像補完画像530の生成の一例について説明する。第1静止体画像抽出情報510の動体領域512の画素の値は「1」であり、動体領域512以外の領域の画素の値は「0」である。このため、画像(nフレーム)310と第1静止体画像抽出情報510とにおけるそれぞれの画素の値の乗算により、画像(nフレーム)310から、第1静止体画像抽出情報510の動体領域512に対応する画素の値が抽出される。すなわち、静止体画像生成部280は、画像(nフレーム)310と第1静止体画像抽出情報510とに基づいて、動体領域532における画素のみが画像情報を有する画像(静止体画像補完画像530)を生成する。
図12(b)には、図3において示した画像(n+1フレーム)320と、図11において示した第2静止体画像抽出情報520と、補正対象フレームにおける動体領域以外の領域の静止体画像を抽出した画像(補正対象フレーム静止体画像540)とが示されている。
補正対象フレーム静止体画像540は、補正対象フレームにおける動体領域以外の領域の静止体画像を抽出した画像である。この補正対象フレーム静止体画像540は、例えば、静止体画像生成部280によって、画像(n+1フレーム)320と第2静止体画像抽出情報520とにおけるそれぞれの画素の値を乗算することにより生成される。なお、補正対象フレーム静止体画像540には、画像(n+1フレーム)320の動体領域322の画素の画像情報を「0」とした領域が、網目の領域の動体領域542として示されている。また、補正対象フレーム静止体画像540には、補正対象フレーム静止体画像540における動体領域542以外の領域は、画像(n+1フレーム)320と同様に示されている。すなわち、補正対象フレーム静止体画像540には、画像(n+1フレーム)320の静止体領域321と同様に、静止体領域541に街路樹が示されている。なお、補正対象フレーム静止体画像540の生成については、用いた画像が異なるものの、静止体画像補完画像530の生成方法と同様のものであるため、ここでの説明を省略する。
図13は、本発明の第1の実施の形態における静止体画像生成部280による抽出した静止体画像を用いた静止体画像合成の一例を示す模式図である。
同図には、図12において示した静止体画像補完画像530および補正対象フレーム静止体画像540と、補正対象フレームの静止体画像(静止体画像550)とが示されている。
静止体画像550は、静止体画像補完画像530および補正対象フレーム静止体画像540に基づいて、補正対象フレームにおける静止体画像を合成した画像である。この静止体画像550は、例えば、静止体画像補完画像530と補正対象フレーム静止体画像540とのそれぞれの画素の画像情報を加算することにより生成される。すなわち、動体画像が存在しない場合における画像が静止体画像生成部280により合成される。
このように、静止体画像生成部280によって、補正対象フレームの動体領域の画像が静止体画像で補完された静止体画像が合成される。
[画像合成部による補正画像合成例]
図14は、本発明の第1の実施の形態における画像合成部290による補正画像の合成の一例を示す模式図である。
図14は、本発明の第1の実施の形態における画像合成部290による補正画像の合成の一例を示す模式図である。
同図には、図13において示した静止体画像550と、図10において示した補正動体画像430と、静止体画像550および補正動体画像430に基づいて画像合成部290により生成される画像(補正画像(n+1フレーム)560)とが示されている。
補正画像(n+1フレーム)560は、補正対象フレーム(画像(n+1フレーム)320)におけるフォーカルプレーン現象を補正した画像である。この補正画像(n+1フレーム)560は、補正対象フレームの静止体画像である静止体画像550に、フォーカルプレーン現象を補正した動体画像である補正動体画像430を重ね合わせることにより生成される。
このように、画像合成部290によって、補正対象フレームにおけるフォーカルプレーン現象が補正された画像が、静止体画像および補正動体画像に基づいて生成される。
[撮像装置の動作例]
次に、本発明の第1の実施の形態における撮像装置100の動作について図面を参照して説明する。
次に、本発明の第1の実施の形態における撮像装置100の動作について図面を参照して説明する。
図15は、本発明の第1の実施の形態における撮像装置100による動画像を記録する際の記録処理手順例を示すフローチャートである。この同図では、動画像を撮像装置100に記録させるための操作をユーザが実行してから、その動画像の記録を終了させるまでの処理手順例を示す。
まず、動画像の記録を開始させるための操作を受け付けたか否かが、制御部120により判断される(ステップS901)。そして、動画像の記録を開始させるための操作を受け付けていないと判断された場合には(ステップS901)、ステップS901に戻り、動画像の記録を開始させるための操作を受け付けるまで待機する。
一方、動画像の記録を開始させるための操作を受け付けたと判断された場合には(ステップS901)、画像(フレーム)が撮像部130により生成される(ステップS902)。なお、この生成された画像は、フレームバッファ210により保持される。
続いて、フレームバッファ210により保持された画像を用いて、補正対象の画像における動体を検出する動体検出処理が動体検出部220により行われる(ステップS903)。次に、その動体検出処理結果に基づいて、動体が検出されたか否かが、動体検出部220により判断される(ステップS904)。そして、動体が検出されなかったと判断された場合には(ステップS904)、ステップS913に進む。
一方、動体が検出されたと判断された場合には(ステップS904)、検出された動体をモデル化するモデル化処理がモデル化部225により行われる(ステップS905)。続いて、動体をモデル化した画像を用いて、動体の移動量を算出する動体移動量算出処理が動体移動量算出部230により行われる(ステップS906)
次に、算出した動体移動量を用いて、フォーカルプレーン現象による動体の歪みを補正するための補正量を算出する処理(動体歪み補正量算出処理)が動体歪み補正量算出部250により行われる(ステップS907)。続いて、補正対象の画像における動体を抽出して動体画像を生成する動体画像生成処理が動体画像生成部260により行われる(ステップS908)。次に、動体画像および歪み補正量を用いて、動体の歪みが補正された補正動体画像を生成する補正動体画像生成処理が補正動体画像生成部270により行われる(ステップS909)。なお、ステップS903,904、905および908は、特許請求の範囲に記載の動体検出手順の一例である。また、ステップS909は、特許請求の範囲に記載の動体補正画像生成手順の一例である。
続いて、フレームバッファ210により保持された画像を用いて、補正対象の画像における静止体を抽出して静止体画像を生成する静止体画像生成処理が静止体画像生成部280により行われる(ステップS911)。そして、動体画像および静止体画像を用いて、補正対象の画像におけるフォーカルプレーン現象を補正した合成画像(補正画像)を生成する合成画像生成処理が、画像合成部290により行われる(ステップS912)。なお、ステップS911は、特許請求の範囲に記載の動体補正画像生成手順の一例である。また、ステップS912は、特許請求の範囲に記載の補正画像生成手順の一例である。
次に、その合成画像を記録部150に記録する記録処理が記録制御部140により行われる(ステップS913)。続いて、動画像の記録を終了させるための操作を受け付けたか否か制御部120により判断される(ステップS914)。そして、動画像の記録を終了させるための操作を受け付けていない場合には(ステップS914)、ステップS902に戻り、動画像の記録処理が継続される。
一方、動画像の記録を終了させるための操作を受け付けたと判断された場合には(ステップS914)、動画像の記録処理例手順は終了する。
このように、本発明の第1の実施の形態によれば、時系列的に近接した画像を用いて、画像を動体画像と静止体画像に分けて動体画像のゆがみを補正することにより、フォーカルプレーン現象による動体の画像の歪みを効率よく補正することができる。
<2.第2の実施の形態>
本発明の第1の実施の形態では、フォーカルプレーン現象を補正した画像(補正画像)により構成される動画像データを記録部150に記録する例について説明した。このフォーカルプレーン現象を補正した画像は、動体の画像における歪みが補正されている。このため、補正した画像を記録のためにだけに用いるのではなく、例えば、撮像時における撮像処理に用いることにより、その処理がより精度よく行なわれる。
本発明の第1の実施の形態では、フォーカルプレーン現象を補正した画像(補正画像)により構成される動画像データを記録部150に記録する例について説明した。このフォーカルプレーン現象を補正した画像は、動体の画像における歪みが補正されている。このため、補正した画像を記録のためにだけに用いるのではなく、例えば、撮像時における撮像処理に用いることにより、その処理がより精度よく行なわれる。
そこで、本発明の第2の実施の形態では、補正画像を用いてオートフォーカス処理を行う例について、図16乃至図18を参照して説明する。
[撮像装置の機能構成例]
図16は、本発明の第2の実施の形態における撮像装置600の機能構成例を示すブロック図である。
図16は、本発明の第2の実施の形態における撮像装置600の機能構成例を示すブロック図である。
撮像装置600は、図1において示した撮像装置100と同様に、操作受付部110と、制御部120と、撮像部130と、画像処理部200と、記録制御部140と、記録部150と、表示部160と、鏡胴170とを備える。さらに、撮像装置600は、合焦判定部610と、レンズ駆動量生成部620と、レンズ駆動部630とを備える。なお、合焦判定部610、レンズ駆動量生成部620およびレンズ駆動部630以外の各構成は、図1と同様のものであるため、ここでの説明を省略する。
合焦判定部610は、フォーカスが合焦しているか否か判定するものである。この合焦判定部610は、画像処理部200が生成した補正画像データに基づいて、フォーカスが合焦しているか否か判定する。この合焦判定部610は、例えば、コントラスト検出方式により合焦を判定する。合焦判定部610は、フォーカスが合焦している場合には、合焦していることを示す情報を合焦判定結果情報としてレンズ駆動量生成部620に供給する。また、この合焦判定部610は、フォーカスが合焦していない場合には、フォーカスのズレの量を示す情報を算出し、その算出したフォーカスのズレの量を合焦判定結果情報としてレンズ駆動量生成部620に供給する。
レンズ駆動量生成部620は、合焦判定部610から供給された合焦判定結果情報に基づいて、フォーカスレンズ172の駆動量を示す駆動量信号を生成するものである。このレンズ駆動量生成部620は、フォーカスが合焦している場合には、フォーカスレンズ172の現在の位置を維持させる信号を生成する。また、レンズ駆動量生成部620は、フォーカスがズレている場合には、フォーカスのズレの量を示す合焦判定結果情報に基づいて、フォーカスレンズ172の駆動量(移動距離)を算出する。そして、レンズ駆動量生成部620は、その算出した駆動量だけフォーカスレンズ172を移動させるための信号を生成する。このレンズ駆動量生成部620は、生成した信号を、駆動量信号としてレンズ駆動部630に供給する。
レンズ駆動部630は、レンズ駆動量生成部620から供給される駆動量信号に基づいて、フォーカスレンズ172を移動させるものである。
このように、合焦判定部610において補正画像を用いて合焦判定が行われることにより、フォーカルプレーン現象が補正された補正画像を用いたフォーカスの自動制御処理(オートフォーカス処理)を行うことができる。
[合焦判定部による合焦判定例]
図17は、本発明の第2の実施の形態における合焦判定部610による合焦判定の一例を示す模式図である。
図17は、本発明の第2の実施の形態における合焦判定部610による合焦判定の一例を示す模式図である。
図17(a)には、フォーカルプレーン現象を補正していない画像を用いた合焦判定の一例が示されている。同図(a)の画像(画像650)は、フォーカルプレーン現象を補正していない画像を示す。また、画像650には、フォーカルプレーン現象により歪んだ自動車を示す領域(動体領域651)と、フォーカスを合焦させたい領域(オートフォーカスの判定領域)を示す矩形(矩形領域652)とが示されている。
矩形領域652において合焦判定を行う場合、合焦判定部610は、矩形領域652に示されている画像に基づいて合焦判定を行う。しかしながら、矩形領域652における画像は、動体(自動車)の画像であるため、フォーカルプレーン現象により歪んでいる。このため、実際とは異なる画像に基づいて合焦判定を行うため、合焦判定および算出するフォーカスのズレの量に誤差が生じるおそれがある。
図17(b)には、本発明の第2の実施の形態における合焦判定部610による補正画像を用いた合焦判定の一例が示されている。同図(b)の画像(画像660)は、画像処理部200により生成されるフォーカルプレーン現象が補正された画像を示す。また、画像660には、図17(a)に示した動体領域651の画像が補正された領域(動体領域661)と、フォーカスを合焦させたい領域(オートフォーカスの判定領域)を示す矩形(矩形領域662)とが示されている。
矩形領域662において合焦判定を行う場合、合焦判定部は、矩形領域662に示されている画像に基づいて合焦判定を行う。この矩形領域662には、フォーカルプレーン現象が補正された自動車と、背景とが示されている。この矩形領域662における画像は実際の画像に近い画像であるため、合焦判定および算出するフォーカスのズレの量の誤差を減少させることができ、フォーカス制御の精度を向上させることができる。例えば、同図(b)に示すように、高周波成分が多いような動体の端などにおいては、高周波成分が補正により回復することにより、フォーカスが合いやすくなる。
[撮像装置の動作例]
次に、本発明の第2の実施の形態における撮像装置600の動作について図面を参照して説明する。
次に、本発明の第2の実施の形態における撮像装置600の動作について図面を参照して説明する。
図18は、本発明の第2の実施の形態における撮像装置600による動画像を記録する際の記録処理手順例を示すフローチャートである。この処理手順は、図15の変形例であり、オートフォーカス処理を補正画像を用いて行う点が異なる。また、この点以外については、図15と同一であるため、図15と共通する部分については、同一の符号を付してこれらの説明を省略する。
合成画像(補正画像)の記録処理が記録制御部140により行われた後に(ステップS913)、補正画像を用いてフォーカスを自動的に制御するオートフォーカス処理が行われ(ステップS921)、ステップS914に進む。なお、このオートフォーカス処理は、合焦判定部610、レンズ駆動量生成部620およびレンズ駆動部630により行われる。
このように、本発明の第2の実施の形態によれば、フォーカルプレーン現象が補正された画像を用いて精度よくフォーカスの制御を行うことができる。
<3.応用例>
本発明の第1および第2の実施の形態では、動体が1つの場合を想定して説明した。しかしながら、本発明の第1および第2の実施の形態で示したフォーカルプレーン現象の補正は、複数の動体がある場合においても適用することができる。
本発明の第1および第2の実施の形態では、動体が1つの場合を想定して説明した。しかしながら、本発明の第1および第2の実施の形態で示したフォーカルプレーン現象の補正は、複数の動体がある場合においても適用することができる。
そこで、動体が複数ある場合における補正画像の生成について、図19乃至図21を参照して説明する。
[動体検出例およびモデル化例]
図19は、複数の動体がある場合における動体検出部220による動体検出例およびモデル化部225によるモデル化例を示す模式図である。
図19は、複数の動体がある場合における動体検出部220による動体検出例およびモデル化部225によるモデル化例を示す模式図である。
図19(a)には、補正対象フレーム(画像(n+1フレーム)720)と、時間軸において補正対象フレームの1つ後のフレーム(画像(n+2フレーム)730)とが示されている。
画像(n+1フレーム)720は、補正対象フレームの画像であり、図3において示した画像(n+1フレーム)320に相当する。この画像(n+1フレーム)720には、自動車が示されている領域(動体領域722)と、飛行機が示されている領域(動体領域723)とが動体の領域として示されている。また、街路樹が示されている領域(静止体領域721)が示されている。
画像(n+2フレーム)730は、補正対象フレームの1つ後の後フレームの画像であり、図3において示した画像(n+2フレーム)330に相当する。この画像(n+2フレーム)730は、他のフレームと同様に、自動車が示されている領域(動体領域732)と、飛行機が示されている領域(動体領域733)とが動体の領域として示されている。また、街路樹が示されている領域(静止体領域731)が示されている。
図19(b)には、複数の動体がある場合における動体検出部220による動体検出例を示す模式図が示されている。
同図(b)には、動体検出部220により検出された動体を示す画像(動体情報画像740)が示されている。
動体情報画像740は、画像(n+1フレーム)720および画像(n+2フレーム)730を用いて検出された動体の情報を示すイメージ図であり、図3において示した動体情報画像350に相当する図である。この動体情報画像740には、検出された動体の領域を示す情報(動体領域情報741乃至744)が白色の領域で示されている。また、動体情報画像740には、動体領域情報741および742を囲む領域745が示されている。さらに、動体情報画像740には、動体領域情報743および744を囲む領域746が示されている。
ここで、領域745および領域746について説明する。動体検出部220は、動体が複数(この場合においては動体領域情報が4つ以上)検出された場合には、面積が近いもの同士をグループ化する。すなわち、動体検出部220は、同図(b)に示す例においては、動体領域情報741および742を1つのグループ(領域745)とし、動体領域情報743および744を別の1つのグループ(領域746)とする。そして、動体検出部220は、そのグループに関する情報とともに、動体情報画像740を、モデル化部225および動体画像生成部260に供給する。
図19(c)には、複数の動体がある場合におけるモデル化部225によるモデル化例を示す模式図が示されている。
同図(c)には、モデル化部225によりモデル化されたモデル化画像750および760が示されている。
モデル化画像750は、領域745の動体をモデル化した画像である。また、モデル化画像760は、領域746の動体をモデル化した画像である。
このように、モデル化部225は、動体が複数ある場合には、動体検出部220が生成した動体のグループごとにモデル化を行う。
[動体画像生成例および補正動体画像生成例]
図20は、複数の動体がある場合における動体画像生成部260による動体画像生成例および補正動体画像生成部270による補正動体画像生成例を示す模式図である。
図20は、複数の動体がある場合における動体画像生成部260による動体画像生成例および補正動体画像生成部270による補正動体画像生成例を示す模式図である。
図20(a)は、複数の動体がある場合における動体画像生成部260による動体画像生成例を示す模式図を示す。
同図(a)には、動体画像生成部260により生成された動体画像810および820が示されている。動体画像810は、領域745における動体領域情報を用いて生成した動体画像である。また、動体画像820は、領域746における動体領域情報を用いて生成した動体画像である。
このように、動体画像生成部260は、動体が複数ある場合には、動体検出部220が生成した動体のグループごとに動体画像の生成を行う。
図20(b)は、複数の動体がある場合における補正動体画像生成部270による補正動体画像生成例を示す模式図を示す。
同図(b)には、補正動体画像生成部270により生成された補正動体画像830および840が示されている。補正動体画像830は、図20(a)における動体画像820のフォーカルプレーン現象による歪みを補正した画像である。この補正動体画像830は、図19(b)において示したモデル化画像750のモデル化画像領域の動体移動量に基づいて算出された歪み補正量に基づいて補正される。
また、補正動体画像840は、図20(a)における動体画像810のフォーカルプレーン現象による歪みを補正した画像である。この補正動体画像840は、図19(b)において示したモデル化画像760のモデル化画像領域の動体移動量に基づいて算出された歪み補正量に基づいて補正される。
このように、補正動体画像生成部270は、動体が複数ある場合には、動体ごとに歪みを補正する。
[画像合成部による補正画像合成例]
図21は、複数の動体がある場合における画像合成部290による補正画像の合成の一例を示す模式図である。
図21は、複数の動体がある場合における画像合成部290による補正画像の合成の一例を示す模式図である。
同図には、図13において示した静止体画像550と、図20(c)において示した補正動体画像830および840と、これらの画像に基づいて生成される合成画像(補正画像(n+1フレーム)850)とが示されている。
同図に示すように、補正画像(n+1フレーム)850は、動体が複数ある場合には、動体ごとに歪みが補正された画像(補正動体画像830および840)を用いて補正画像を生成する。
このように、画像内に複数の動体がある場合においても、時系列的に近接した画像を用いて、画像を動体画像と静止体画像に分けて動体画像のゆがみを補正することにより、フォーカルプレーン現象による動体の画像の歪みを効率よく補正することができる。
このように、本発明の実施の形態によれば、画像を動体画像と静止体画像に分けて動体画像の歪みを補正することにより、露光のタイミングの差に起因する像の歪みを効率よく補正することができる。すなわち、本発明の実施の形態によれば、動体を含む画像についてその動体の歪みを適切に補正することができる。これにより、動体の歪みのみを補正し、補正する必要の無い静止体には歪み補正をしないようにすることができる。また、この歪み補正は、比較的に簡単な演算で実行することができる。
なお、本発明の実施の形態では、動画像データを記録することができるデジタルビデオカメラの例について説明したが、これに限定されるものではない。例えば、静止画の高速連続撮像においても、補正対象の画像と、隣接または近接する他の画像とを用いることにより、同様に補正することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100 撮像装置
110 操作受付部
120 制御部
130 撮像部
140 記録制御部
150 記録部
160 表示部
170 鏡胴
171 ズームレンズ
172 フォーカスレンズ
200 画像処理部
210 フレームバッファ
220 動体検出部
225 モデル化部
230 動体移動量算出部
240 露光タイミング差情報保持部
250 動体歪み補正量算出部
260 動体画像生成部
270 補正動体画像生成部
280 静止体画像生成部
290 画像合成部
600 撮像装置
610 合焦判定部
620 レンズ駆動量生成部
630 レンズ駆動部
110 操作受付部
120 制御部
130 撮像部
140 記録制御部
150 記録部
160 表示部
170 鏡胴
171 ズームレンズ
172 フォーカスレンズ
200 画像処理部
210 フレームバッファ
220 動体検出部
225 モデル化部
230 動体移動量算出部
240 露光タイミング差情報保持部
250 動体歪み補正量算出部
260 動体画像生成部
270 補正動体画像生成部
280 静止体画像生成部
290 画像合成部
600 撮像装置
610 合焦判定部
620 レンズ駆動量生成部
630 レンズ駆動部
Claims (9)
- 補正対象画像と、当該補正対象画像に時間軸において隣接または近接する他の画像とに基づいて、前記補正対象画像に含まれる動体を検出する動体検出部と、
前記補正対象画像に含まれる前記検出された動体の移動量と、撮像素子における画素回路の露光タイミングの差に関する情報とに基づいて、前記補正対象画像に含まれる前記検出された動体に対応する領域の画像である動体画像の歪みを補正して動体補正画像を生成する動体補正画像生成部と、
前記検出された動体と前記補正対象画像と前記他の画像とに基づいて、前記補正対象画像における前記動体画像を前記他の画像における前記動体画像に対応する領域の画像に置換して静止体画像を生成する静止体画像生成部と、
前記生成された動体補正画像および前記生成された静止体画像を合成して補正画像を生成する補正画像生成部と
を具備する画像処理装置。 - 前記動体補正画像生成部は、フォーカルプレーン現象による歪みを補正して前記動体補正画像を生成する請求項1記載の画像処理装置。
- 前記動体検出部は、前記補正対象画像に複数の動体が含まれている場合には前記複数の動体ごとに前記動体を検出し、
前記動体補正画像生成部は、前記複数の動体ごとに前記動体補正画像を生成し、
前記補正画像生成部は、前記複数の動体ごとの動体補正画像と前記生成された静止体画像とに基づいて前記補正画像を生成する
請求項1記載の画像処理装置。 - 被写体を撮像して前記補正対象画像および前記他の画像を生成する撮像部と、
前記補正画像を用いて合焦判定を行う合焦判定部と、
前記合焦判定の結果に基づいてフォーカス制御を行う制御部と
をさらに具備する請求項1記載の画像処理装置。 - 前記動体検出部は、前記動体画像をモデル化して当該モデル化した画像に基づいて前記動体の移動量を算出する請求項1記載の画像処理装置。
- 前記動体検出部は、前記補正対象画像と当該補正対象画像に時間軸において連続する前記他の画像とに基づいて前記補正対象画像に含まれる動体を検出する請求項1記載の画像処理装置。
- 前記補正画像生成部は、前記静止体画像における前記動体画像に対応する領域に前記動体補正画像を上書き合成することにより前記補正画像を生成する請求項1記載の画像処理装置。
- 補正対象画像と、当該補正対象画像に時間軸において隣接または近接する他の画像とに基づいて、前記補正対象画像に含まれる動体を検出する動体検出手順と、
前記補正対象画像に含まれる前記検出された動体の移動量と、撮像素子における画素回路の露光タイミングの差に関する情報とに基づいて、前記補正対象画像に含まれる前記検出された動体に対応する領域の画像である動体画像の歪みを補正して動体補正画像を生成する動体補正画像生成手順と、
前記検出された動体と前記補正対象画像と前記他の画像とに基づいて、前記補正対象画像における前記動体画像を前記他の画像における前記動体画像に対応する領域の画像に置換して静止体画像を生成する静止体画像生成手順と、
前記生成された動体補正画像および前記生成された静止体画像を合成して補正画像を生成する補正画像生成手順と
を具備する画像処理方法。 - 補正対象画像と、当該補正対象画像に時間軸において隣接または近接する他の画像とに基づいて、前記補正対象画像に含まれる動体を検出する動体検出手順と、
前記補正対象画像に含まれる前記検出された動体の移動量と、撮像素子における画素回路の露光タイミングの差に関する情報とに基づいて、前記補正対象画像に含まれる前記検出された動体に対応する領域の画像である動体画像の歪みを補正して動体補正画像を生成する動体補正画像生成手順と、
前記検出された動体と前記補正対象画像と前記他の画像とに基づいて、前記補正対象画像における前記動体画像を前記他の画像における前記動体画像に対応する領域の画像に置換して静止体画像を生成する静止体画像生成手順と、
前記生成された動体補正画像および前記生成された静止体画像を合成して補正画像を生成する補正画像生成手順と
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010071341A JP2011205442A (ja) | 2010-03-26 | 2010-03-26 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010071341A JP2011205442A (ja) | 2010-03-26 | 2010-03-26 | 画像処理装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011205442A true JP2011205442A (ja) | 2011-10-13 |
Family
ID=44881594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010071341A Pending JP2011205442A (ja) | 2010-03-26 | 2010-03-26 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011205442A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012160887A (ja) * | 2011-01-31 | 2012-08-23 | Toshiba Alpine Automotive Technology Corp | 撮像装置および動きベクトル検出方法 |
JP2014075685A (ja) * | 2012-10-04 | 2014-04-24 | Panasonic Corp | 画像処理装置及び画像処理方法 |
JP2016516378A (ja) * | 2013-04-15 | 2016-06-02 | クアルコム,インコーポレイテッド | ゴーストのない高ダイナミックレンジ画像の生成 |
-
2010
- 2010-03-26 JP JP2010071341A patent/JP2011205442A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012160887A (ja) * | 2011-01-31 | 2012-08-23 | Toshiba Alpine Automotive Technology Corp | 撮像装置および動きベクトル検出方法 |
JP2014075685A (ja) * | 2012-10-04 | 2014-04-24 | Panasonic Corp | 画像処理装置及び画像処理方法 |
JP2016516378A (ja) * | 2013-04-15 | 2016-06-02 | クアルコム,インコーポレイテッド | ゴーストのない高ダイナミックレンジ画像の生成 |
US10382674B2 (en) | 2013-04-15 | 2019-08-13 | Qualcomm Incorporated | Reference image selection for motion ghost filtering |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4662880B2 (ja) | 撮像装置,及び撮像方法 | |
JP5111088B2 (ja) | 撮像装置及び画像再生装置 | |
JP4985808B2 (ja) | 撮像装置、及びプログラム | |
JP5630146B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム。 | |
JP5054583B2 (ja) | 撮像装置 | |
CN102067616A (zh) | 图像信息处理设备、图像捕获设备、图像信息处理方法及程序 | |
CN102959938B (zh) | 图像处理方法和设备 | |
JP2012160863A (ja) | 撮像装置、画像再生装置及び画像処理装置 | |
JP2014082533A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4764712B2 (ja) | ディジタル・カメラおよびその制御方法 | |
JP2013255188A (ja) | 撮像素子、撮像装置、撮像方法およびプログラム | |
JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
JP5143172B2 (ja) | 撮像装置及び画像再生装置 | |
JP6056551B2 (ja) | 画像処理プログラムおよびデジタルカメラ | |
JP4953770B2 (ja) | 撮像装置 | |
JP2011205442A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5149861B2 (ja) | 中間画像生成装置およびその動作制御方法 | |
JP2007110636A (ja) | カメラ装置 | |
JP4898151B2 (ja) | 撮像装置及び撮像方法 | |
JP2011066827A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2006050149A (ja) | 流し撮り方法および撮影装置 | |
JP2006033242A (ja) | 画像再生方法および撮像装置 | |
JP4633525B2 (ja) | 焦点検出装置 | |
JP7366635B2 (ja) | 撮像装置、コンピュータプログラム及び記憶媒体 | |
JP2012109899A (ja) | 画像処理装置 |