JP4742813B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4742813B2 JP4742813B2 JP2005315393A JP2005315393A JP4742813B2 JP 4742813 B2 JP4742813 B2 JP 4742813B2 JP 2005315393 A JP2005315393 A JP 2005315393A JP 2005315393 A JP2005315393 A JP 2005315393A JP 4742813 B2 JP4742813 B2 JP 4742813B2
- Authority
- JP
- Japan
- Prior art keywords
- still image
- frame
- image
- blur
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、処理対象の画像に対して電気的にボケを付加する画像処理装置および画像処理方法に関する。
従来より、デジタル的な画像処理の手法を用いて、ボケなどの質感を付加したポートレート撮影調の画像を生成する技術が考えられている（例えば、特許文献１参照）。
特開平１１−２６６３８８号公報
上述した特許文献１の発明は、ボケを付加する対象は静止画像であり、この技術を単純に動画像に適用しても様々な不都合が生じる。例えば、ボケを付加することにより、従来から行っていた画像処理の精度が低下する場合がある。
本発明の画像処理装置および画像処理方法は、ボケを付加した動画像を正確に処理することを目的とする。
本発明の画像処理装置および画像処理方法は、ボケを付加した動画像を正確に処理することを目的とする。
本発明の画像処理装置は、複数の静止画フレームにより構成される動画像を入力する入力部と、前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加部と、前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、前記付加部によりボケが付加された静止画フレームに対して、前記抽出部により抽出した前記動き情報に基づいて、画像処理を施す画像処理部とを備えを備え、前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行う。
本発明の別の画像処理装置は、複数の静止画フレームにより構成される動画像を入力する入力部と、前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加部と、前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、前記付加部によりボケが付加された静止画フレームに対して、前記抽出部により抽出した前記動き情報に基づいて、画像処理を施す画像処理部と、前記画像処理部により処理された画像を表示する表示部とを備え、前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行い、前記画像処理部は、前記動画像を前記表示部に表示させる際に、前記動き情報に基づいて、前記付加部によりボケが付加された動画像の中の静止画フレームから前記被写体の像の位置を移動させた移動静止画フレームを生成し、当該移動静止画フレームの生成に用いられた、ボケの付加された静止画フレームに代えて、前記移動静止画フレームを前記表示部に表示させる。
本発明の別の画像処理装置は、複数の静止画フレームにより構成される動画像を入力する入力部と、前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加部と、前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、前記付加部によりボケが付加された静止画フレームに対して、前記抽出部により抽出した前記動き情報に基づいて、画像処理を施す画像処理部とを備え、前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行い、前記画像処理部は、前記動き情報に基づいて、前記付加部によりボケが付加された動画像の中の２つの静止画フレームを用いて、動き補償処理を行って、前記被写体の像の位置の移動した静止画フレームとして、内挿フレームを生成する。
本発明の別の画像処理装置は、連続して撮影された複数の静止画フレームにより構成される動画像を入力する入力部と、前記動画像を構成する複数の静止画フレームに、電気的にボケを付加する付加部と、前記ボケの付加されていない２つの静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、前記２つの静止画フレームに対応させて、前記付加部によりボケが付加された２つの付加静止画フレームのうち、一方の付加静止画フレームから、前記動き情報に基づいて、当該２つの付加静止画フレームのうちの他方の付加静止画フレームに対応するように、前記被写体の像の位置を移動した予測フレームを生成し、当該予測フレームと、前記他方の付加静止画フレームとの差分データを算出してデータ圧縮する画像処理部と、前記画像処理部でデータ圧縮された差分データを記録する記録部とを備え、前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行う。
本発明の別の画像処理装置は、連続して撮影された複数の静止画フレームにより構成される動画像を入力する入力部と、前記動画像を構成する複数の静止画フレームに、電気的にボケを付加する付加部と、前記ボケの付加されていない２つの静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、前記２つの静止画フレームに対応させて、前記付加部によりボケが付加された２つの付加静止画フレームのうち、一方の付加静止画フレームから、前記動き情報に基づいて、当該２つの付加静止画フレームのうちの他方の付加静止画フレームに対応するように、前記被写体の像の位置を移動した予測フレームを生成し、当該予測フレームと、前記他方の付加静止画フレームとの差分データを算出してデータ圧縮する画像処理部と、前記画像処理部でデータ圧縮された差分データを記録する記録部とを備え、前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行う。
本発明の別の画像処理装置は、入力部を介して入力された複数の静止画フレームにより構成される動画像に対して、電気的にボケを付加する画像処理装置であって、前記ボケの付加に先立って、前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き量、および前記静止画フレーム中の動き領域を抽出する抽出部と、前記静止画フレーム中の少なくとも前記動き領域について、電気的にボケを付加する付加部と、前記動き量に基づいて、前記付加部によって電気的にボケの付加された静止画フレームから、電気的にボケの付加された、前記被写***置の移動された内挿フレームを生成する生成部と、「電気的にボケの付加された前記静止画フレームおよび前記内挿フレーム」または「前記内挿フレームどうし」について加算処理を行って表示フレームを生成する合成部と、前記合成部による前記表示フレームから構成される合成動画像を表示する表示部とを備え、前記合成部は、前記動き量に応じて、前記加算処理を行うフレームの数を変更する。
本発明の画像処理方法は、複数の静止画フレームにより構成される動画像を入力する入力ステップと、前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加ステップと、前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出ステップと、前記付加ステップによりボケが付加された静止画フレームに対して、前記抽出ステップにおいて抽出した前記動き情報に基づいて、画像処理を施す画像処理ステップとを有し、前記付加ステップでは、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出ステップにおける当該静止画フレームについての動き情報の抽出処理と並行して行う。
本発明の画像処理装置および画像処理方法によれば、ボケを付加した動画像を正確に処理することができる。
以下、本発明の実施の形態について説明する。なお、本実施形態では、本発明の画像処理装置を備えた電子カメラを用いて説明を行う。
図１は、本発明の電子カメラ１の構成を示すブロックダイアグラムである。電子カメラ１は、撮像レンズ１１、撮像素子１２、操作部材１３、レンズ駆動回路１４、測光回路１５、ＣＰＵ１６、撮像素子駆動回路１７、信号処理回路１８、データ処理回路１９、液晶モニタ２０、圧縮伸長処理回路２１、表示制御回路２２、記録媒体２３の各部を備える。
図１は、本発明の電子カメラ１の構成を示すブロックダイアグラムである。電子カメラ１は、撮像レンズ１１、撮像素子１２、操作部材１３、レンズ駆動回路１４、測光回路１５、ＣＰＵ１６、撮像素子駆動回路１７、信号処理回路１８、データ処理回路１９、液晶モニタ２０、圧縮伸長処理回路２１、表示制御回路２２、記録媒体２３の各部を備える。
不図示の被写体の像は、撮像レンズ１１によって、撮像素子１２の撮像面上に結像される。撮像レンズ１１は、複数枚のレンズで構成され、操作部材１３の操作等に基づいて、レンズ駆動回路１４を介して、フォーカス、ズーム等の調整が可能な構成とされている。
撮像素子１２は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能な撮像素子であり、例えばＣＣＤ撮像素子、あるいはＣＭＯＳ型撮像素子などで構成される。撮像素子１２は、測光回路１５で得られた被写体の測光データに基づいて、コントローラであるＣＰＵ１６の制御のもとで、撮像素子駆動回路１７によって駆動される。撮像素子１２より読み出された映像信号は、信号処理回路１８に入力される。信号処理回路１８は、撮像素子１２より読み出された映像信号に対して、直流再生処理、Ａ／Ｄ変換処理、ホワイトバランス調整、ガンマ変換処理等の信号処理を施し、画像データとしてデータ処理回路１９に出力する。
撮像素子１２は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能な撮像素子であり、例えばＣＣＤ撮像素子、あるいはＣＭＯＳ型撮像素子などで構成される。撮像素子１２は、測光回路１５で得られた被写体の測光データに基づいて、コントローラであるＣＰＵ１６の制御のもとで、撮像素子駆動回路１７によって駆動される。撮像素子１２より読み出された映像信号は、信号処理回路１８に入力される。信号処理回路１８は、撮像素子１２より読み出された映像信号に対して、直流再生処理、Ａ／Ｄ変換処理、ホワイトバランス調整、ガンマ変換処理等の信号処理を施し、画像データとしてデータ処理回路１９に出力する。
データ処理回路１９は、入力された画像データに対して、必要に応じて、液晶モニタ２０に表示を行うための解像度（画素数）変換処理を施して、圧縮伸長処理回路２１および表示制御回路２２に出力する。表示制御回路２２は、データ処理回路１９から入力された画像データに所定の信号処理を施して、液晶モニタ２０に出力する。なお、表示制御回路２２は、さらに、ＣＰＵ１６の制御に基づいて、必要に応じて、データ処理回路１９から
出力された画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これによって、液晶モニタ２０には、被写体画像にオーバーレイ画像が重畳されて表示される。
出力された画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これによって、液晶モニタ２０には、被写体画像にオーバーレイ画像が重畳されて表示される。
圧縮伸長処理回路２１は、入力された画像データに対して圧縮処理を施して、記録媒体２３に記録する。液晶モニタ２０は、信号処理回路１８、データ処理回路１９を介して入力された画像データに対応する画像を表示する。
なお、液晶モニタ２０は、記録媒体２３に記録されている画像データに対応する画像を再生画像として表示することもできる。ＣＰＵ１６は、記録媒体２３に記録された画像データ読み出して、圧縮伸長処理回路２１で復号化処理を施し、データ処理回路１９および表示制御回路２２を介して、液晶モニタ２０に供給する。
なお、液晶モニタ２０は、記録媒体２３に記録されている画像データに対応する画像を再生画像として表示することもできる。ＣＰＵ１６は、記録媒体２３に記録された画像データ読み出して、圧縮伸長処理回路２１で復号化処理を施し、データ処理回路１９および表示制御回路２２を介して、液晶モニタ２０に供給する。
ＣＰＵ１６は、操作部材１３の一部を構成するレリーズ釦の操作に基づいて、撮像画面上に設定された領域の画像データを抽出し、該領域のコントラスト値(もしくは、該領域の高空間周波数成分量)を算出し、算出結果をもとに、レンズ駆動回路１４を介して撮像レンズ１１を駆動して、撮像素子１２の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。
また、ＣＰＵ１６は、撮像レンズ１１を駆動し、順次得られる映像信号(または画像データ)を、画面内の各被写体毎に解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、各被写体毎の(相対的な)撮影距離に関する情報を取得する。
なお、コントラストＡＦに代えて、公知の瞳分割方式の位相差ＡＦを用いても良い。この場合にも、自動合焦動作によって、画面内各領域の撮影距離を得ることができる。
なお、コントラストＡＦに代えて、公知の瞳分割方式の位相差ＡＦを用いても良い。この場合にも、自動合焦動作によって、画面内各領域の撮影距離を得ることができる。
また、ＣＰＵ１６は、操作部材１３の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１４を介して、撮像レンズ１１を駆動し、撮像素子１２の撮像面上に結像される被写体像を拡大または縮小する光学的なズーム動作を行う。さらに、ＣＰＵ１６は、操作部材１３の一部を構成するズーム操作部材の操作に基づいて、撮像素子１２による撮像画像データ、もしくは記録媒体２３に記録された記録画像データを、データ処理回路１９による解像度変換処理によって拡大または縮小する電気的なズーム動作を制御する。
次に、電子カメラ１における、スルー画撮影動作、およびこれに続く静止画本撮影動作と、動画本撮影動作について説明する。スルー画撮影動作とは、高解像度の静止画像を撮影する静止画本撮影動作の前段階としての予備撮影動作である。
ＣＰＵ１６は、操作部材１３の一部を構成するレリーズ釦の半押し操作がなされている間継続して、前述の自動合焦動作とともに、撮像素子１２によるスルー画撮影動作を実行する。ＣＰＵ１６は、レリーズ釦の半押し操作を検出すると、撮像素子駆動回路１７に対して、スルー画撮像動作を実行する駆動信号を出力するように指示する。撮像素子１２は、スルー画撮像動作のための駆動信号を受けて、例えば、撮像素子１２上の近傍の同色画素の蓄積電荷を加算して、例えば、３０フレーム／秒の高フレームレートで映像信号を連続的に出力する。なお、スルー画撮像時には、後述する高解像度の本撮影時に比較して低解像度の映像信号が、撮像素子１２より出力される。
ＣＰＵ１６は、操作部材１３の一部を構成するレリーズ釦の半押し操作がなされている間継続して、前述の自動合焦動作とともに、撮像素子１２によるスルー画撮影動作を実行する。ＣＰＵ１６は、レリーズ釦の半押し操作を検出すると、撮像素子駆動回路１７に対して、スルー画撮像動作を実行する駆動信号を出力するように指示する。撮像素子１２は、スルー画撮像動作のための駆動信号を受けて、例えば、撮像素子１２上の近傍の同色画素の蓄積電荷を加算して、例えば、３０フレーム／秒の高フレームレートで映像信号を連続的に出力する。なお、スルー画撮像時には、後述する高解像度の本撮影時に比較して低解像度の映像信号が、撮像素子１２より出力される。
このようにして撮像素子１２から出力された映像信号は、信号処理回路１８およびデータ処理回路１９で所定の処理が施された後、表示制御回路２２を介して、順次液晶モニタ２０に供給される。ユーザは、液晶モニタ２０に表示された画像を目視することにより、これから本撮影で撮影しようとする被写界の状態を動画像として観察することができる。
スルー画撮影動作に続いて、レリーズ釦が全押し操作されると、ＣＰＵ１６は、静止画本撮影動作を開始する。レリーズ釦が全押し操作されると、ＣＰＵ１６は、撮像素子駆動
回路１７に、静止画本撮影動作のための駆動信号を出力するように制御する。静止画本撮影において、撮像素子１２は、撮像素子駆動回路１７から出力される駆動信号に基づいて、前述の同色近傍画素どうしの蓄積電荷の加算処理を行うことなく画像信号を出力する。したがって、静止画本撮影時には、前述したスルー画撮影時に比較して高解像度の映像信号が、撮像素子１２より出力される。
スルー画撮影動作に続いて、レリーズ釦が全押し操作されると、ＣＰＵ１６は、静止画本撮影動作を開始する。レリーズ釦が全押し操作されると、ＣＰＵ１６は、撮像素子駆動
回路１７に、静止画本撮影動作のための駆動信号を出力するように制御する。静止画本撮影において、撮像素子１２は、撮像素子駆動回路１７から出力される駆動信号に基づいて、前述の同色近傍画素どうしの蓄積電荷の加算処理を行うことなく画像信号を出力する。したがって、静止画本撮影時には、前述したスルー画撮影時に比較して高解像度の映像信号が、撮像素子１２より出力される。
このようにして撮像素子１２から出力された映像信号は、信号処理回路１８およびデータ処理回路１９で所定の処理が施された後、表示制御回路２２を介して、液晶モニタ２０に供給されるとともに、圧縮伸長処理回路２１を介して、記録媒体２３に記録される。
次に、動画本撮影動作について説明する。
動画本撮影動作は、撮像素子１２により撮影された動画像を、液晶モニタ２０に表示しつつ、記録媒体２３に記録を行う撮影動作であり、動画像の撮影を指示するＲＥＣ釦の操作がなされている間実行される。
次に、動画本撮影動作について説明する。
動画本撮影動作は、撮像素子１２により撮影された動画像を、液晶モニタ２０に表示しつつ、記録媒体２３に記録を行う撮影動作であり、動画像の撮影を指示するＲＥＣ釦の操作がなされている間実行される。
ＣＰＵ１６は、操作部材１３の一部を構成するＲＥＣ釦の押圧操作がなされると、前述の自動合焦動作を連続的に行うとともに、撮像素子１２による動画本撮影動作を実行する。なお、この場合の自動合焦動作は、画面内を移動する特定被写体に合焦動作が行われるように、特定被写体の追尾を行いつつ自動合焦動作を行うものであっても良いし、所定の撮影距離の物体に常に合焦するように制御されるものであっても良い。また、特に合焦動作を行わず、操作部材１３の一部を構成するフォーカス操作部材（焦点調節部材）のマニュアル操作によって、撮影者の意図によって合焦状態を変化させるものであっても良い。
ＣＰＵ１６は、ＲＥＣ釦の押圧操作を検出すると、撮像素子駆動回路１７に対して、動画本撮影動作を実行する駆動信号を出力するように指示する。
撮像素子１２は、動画本撮影動作のための駆動信号を受けて、例えば、３０フレーム／秒の高フレームレートで映像信号を連続的に出力する。
このようにして撮像素子１２から出力された映像信号は、信号処理回路１８およびデータ処理回路１９で所定の処理が施された後、表示制御回路２２を介して、順次液晶モニタ２０に供給されるとともに、圧縮伸長処理回路２１を介して、記録媒体２３に記録される。
撮像素子１２は、動画本撮影動作のための駆動信号を受けて、例えば、３０フレーム／秒の高フレームレートで映像信号を連続的に出力する。
このようにして撮像素子１２から出力された映像信号は、信号処理回路１８およびデータ処理回路１９で所定の処理が施された後、表示制御回路２２を介して、順次液晶モニタ２０に供給されるとともに、圧縮伸長処理回路２１を介して、記録媒体２３に記録される。
なお、操作部材１３の操作によって、記録媒体２３への非圧縮状態での記録が指示されている場合には、圧縮伸長回路２１での圧縮処理は行われずに、記録媒体２３への記録が行われる。
また、記録媒体への記録動作を行うにあたり、操作部材１３の操作により圧縮率を変更可能な構成としても良い。
また、記録媒体への記録動作を行うにあたり、操作部材１３の操作により圧縮率を変更可能な構成としても良い。
さらに、記録媒体２３には、上述の自動合焦動作において取得した撮影距離情報を、動画像を構成する複数の静止画フレームの各々に対応付けて、画像データとともに記録する。
ユーザは、液晶モニタ２０に表示された動画像を目視することにより、これから撮影される被写界の状態を確認するとともに、記録媒体２３に記録される画像を確認することができる。
ユーザは、液晶モニタ２０に表示された動画像を目視することにより、これから撮影される被写界の状態を確認するとともに、記録媒体２３に記録される画像を確認することができる。
記録媒体２３に記録される動画像の１フレームの画素数は、液晶モニタ２０の画素数より大きい。したがって、本実施形態においては、液晶モニタ２０への動画像の表示を行うに際して、液晶モニタ２０の画素数に合わせるように解像度（画素数）変換処理が行われる。
次に、本発明の特徴である電気的なボケの付加処理について、図２に示すフローチャートを用いて説明する。
次に、本発明の特徴である電気的なボケの付加処理について、図２に示すフローチャートを用いて説明する。
ステップＳ１において、ＣＰＵ１６は、処理対象の動画像の画像データを取得する。動画像は、複数の静止画フレームで構成される。本実施形態において、処理対象の動画像とは、撮像素子１２により生成される動画像(スルー画像、本撮影動画像)、あるいは記録媒体２３に記録された動画像である。ボケの付加処理は、操作部材１３を介したユーザ操作に基づいて開始される構成としても良いし、撮像素子１２により動画像が生成されるなど、データ処理回路１９に動画像データが入力される際には常に実行する構成としても良い。
ステップＳ２において、ＣＰＵ１６は、データ処理回路１９を介して、画像中の主要被写体領域を抽出するとともに、抽出した主要被写体の動き情報を検出する。なお、主要被写体領域の抽出および動き情報検出は、公知技術と同様に行う。例えば、顔認識によって顔領域を抽出し、これを主要被写体とする構成としても良いし、顔認証によって特定個人の顔領域を抽出し、これを主要被写体とする構成としても良いし、焦点検出領域と、これに連続する領域であって、所定の範囲内の色度差の領域を主要被写体とする構成としても良いし、構図設定用の補助枠であるシーンアシスト中の被写体を主要被写体とする構成としても良いし、画面中央の所定領域を主要被写体領域とする構成としても良い。また、いくつかの方法を組み合わせて主要被写体抽出を行うようにしても良い。
また、動き情報の検出は、例えば、動画像を構成する静止画フレームの画面を複数のブロックに分割し、時間的に隣接する静止画フレームとの間でブロックマッチング処理を行って、動きベクトルを算出することによって実行する。
ステップＳ３において、ＣＰＵ１６は、データ処理回路１９を介して、画像データに対して電気的にボケを付加する処理を行う。ＣＰＵ１６は、例えば、ステップＳ２において抽出した主要被写体領域を除いた領域をボケを付加する領域とする。
ステップＳ３において、ＣＰＵ１６は、データ処理回路１９を介して、画像データに対して電気的にボケを付加する処理を行う。ＣＰＵ１６は、例えば、ステップＳ２において抽出した主要被写体領域を除いた領域をボケを付加する領域とする。
なお、ボケを付加する領域は画面全体、あるいは、静止画フレーム間で移動する動き領域としても構わない。
データ処理回路１９は、ボケを付加する領域に対して、ＬＰＦ処理、もしくは点拡がり関数による畳み込み演算処理を施すことによって、画像の高域空間周波数成分を抑制してデフォーカス処理を行う。また、データ処理回路１９は、操作部材１３を介したユーザ操作に基づいて、ＬＰＦ特性や点拡がり関数の係数などを変更することによって、付加するボケの大きさを変更する。なお、付加するボケの大きさの設定、変更は、ステップＳ１の前段階で行うものであっても良いし、ステップＳ３の処理（ボケの付加処理）を実行している間に行うものであっても良い。
データ処理回路１９は、ボケを付加する領域に対して、ＬＰＦ処理、もしくは点拡がり関数による畳み込み演算処理を施すことによって、画像の高域空間周波数成分を抑制してデフォーカス処理を行う。また、データ処理回路１９は、操作部材１３を介したユーザ操作に基づいて、ＬＰＦ特性や点拡がり関数の係数などを変更することによって、付加するボケの大きさを変更する。なお、付加するボケの大きさの設定、変更は、ステップＳ１の前段階で行うものであっても良いし、ステップＳ３の処理（ボケの付加処理）を実行している間に行うものであっても良い。
さらに、上述したＡＦ動作の際に取得した撮影距離情報に基づいて、付加するボケの大きさをＣＰＵ１６が自動的に設定する構成としても良い。ＣＰＵ１６は、ボケを付加する処理を施した画像を、表示制御回路２２を介して液晶モニタ２０に表示する。
ステップＳ４において、ＣＰＵ１６は、ボケを付加した画像データに対して、各部を介して画像処理を行う。そして、ＣＰＵ１６は、画像処理後の画像データを記録媒体２３に記録して、一連の処理を終了する。
ステップＳ４において、ＣＰＵ１６は、ボケを付加した画像データに対して、各部を介して画像処理を行う。そして、ＣＰＵ１６は、画像処理後の画像データを記録媒体２３に記録して、一連の処理を終了する。
ここで、ボケを付加した画像データに対して施される画像処理には以下の各処理がある。
（１）圧縮処理
動画像の画像データの情報量は膨大であるので、圧縮処理が利用される。この圧縮処理において、動き情報抽出により抽出した（図２ステップＳ２）、動画像を構成する静止画フレーム間の動き情報を用いる。
（１）圧縮処理
動画像の画像データの情報量は膨大であるので、圧縮処理が利用される。この圧縮処理において、動き情報抽出により抽出した（図２ステップＳ２）、動画像を構成する静止画フレーム間の動き情報を用いる。
例えば、ＭＰＥＧ圧縮方式の場合、時間の経過とともにＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ・・・というＧＯＰ（Group of Picture）を構成して動画像を圧縮する。ここで、ＩとはＩピクチャであり、前後のフレームからの予測を行わないでフレーム内符号化を行う。また、ＢとはＢピクチャであり、前のＩピクチャもしくはＰピクチャと、後のＩピクチャもしくはＰピクチャから双方向予測を行い、予測したフレーム画像と実際のフレーム画像との差分を符号化する(双方向予測符号化)。また、ＰとはＰピクチャであり、前のＩピクチャもしくはＰピクチャから一方向予測を行い、予測した静止画フレームと実際の静止画フレームとの差分を符号化する(順方向予測符号化)。なお、上述した動き情報は、ＰピクチャおよびＢピクチャの予測符号化を行う際に用いられる。
図３Ａに示す連続したフレームを例に挙げて説明する。
図３Ｂは、データ処理回路１９の構成を示す図である。データ処理回路１９は、ボケを付加する処理を行う前に、入力された処理対象の静止画フレーム（フレームａ，Ｉピクチャ）の画像データをメモリａ１９１に記録し、次の静止画フレーム（フレームｂ，Ｐピクチャ）の画像データをメモリｂ１９２に記録する。なお、実際には、ＩピクチャとＰピクチャの間には、Ｂピクチャが存在するので、各ピクチャの並び替えが予め行われる。そして、データ処理回路１９は、差分算出回路１９３において、メモリａ１９１、メモリｂ１９２に記録されている２つの静止画フレームの画像データを用いて、フレームａ，フレームｂ間の動きベクトルを算出し、この動きベクトルをメモリｃ１９４に記録する。
図３Ｂは、データ処理回路１９の構成を示す図である。データ処理回路１９は、ボケを付加する処理を行う前に、入力された処理対象の静止画フレーム（フレームａ，Ｉピクチャ）の画像データをメモリａ１９１に記録し、次の静止画フレーム（フレームｂ，Ｐピクチャ）の画像データをメモリｂ１９２に記録する。なお、実際には、ＩピクチャとＰピクチャの間には、Ｂピクチャが存在するので、各ピクチャの並び替えが予め行われる。そして、データ処理回路１９は、差分算出回路１９３において、メモリａ１９１、メモリｂ１９２に記録されている２つの静止画フレームの画像データを用いて、フレームａ，フレームｂ間の動きベクトルを算出し、この動きベクトルをメモリｃ１９４に記録する。
そして、データ処理回路１９は、フレームａの画像に対して、ぼかし処理回路１９５においてボケを付加する処理を施す。次に、メモリａ１９１には、上記のフレームｂが入力され、メモリｂ１９２には、フレームｃ（フレームｂの次の静止画フレーム）が入力され、上記と同様に、動きベクトルの算出およびボケを付加する処理が実行され、ボケを付加する処理が施されたフレームｂの画像が出力される。ここで、ボケを付加する処理が施されたフレームａの画像データをフレームＡと称し、ボケを付加する処理が施されたフレームｂの画像データをフレームＢと称する。
データ処理回路１９は、フレームＡおよびフレームＢを圧縮伸長処理回路２１へ出力する。さらに、データ処理回路１９は、メモリｃ１９４に記録されているフレームａおよびフレームｂ間の動きベクトルのデータも圧縮伸長処理回路２１へ出力する。
図３Ｃは、圧縮伸長処理回路２１の構成を示す図である。圧縮伸長処理回路２１は、動きベクトルのデータをメモリｄ２１１に記録し、フレームＡをメモリｅ２１２に記録し、フレームＢをメモリｆ２１３に記録する。次に、圧縮伸長処理回路２１は、メモリｄ２１１に記録した動きベクトルのデータと、メモリｅ２１２に記録したフレームＡの画像データに基づいて、動き補償回路２１４において、フレームＡの被写***置をフレームＢの被写***置に近づけた予測画像データを生成し、圧縮伸長差分算出回路２１５に出力する。圧縮伸長差分算出回路２１５は、動き補償されたフレームＡの予測画像データと、フレームＢの画像データとの差分を求め、圧縮回路２１６に出力する。圧縮回路２１６は、動きベクトルのデータとともにフレームＢ（Ｐピクチャ)の圧縮データとして符号化し、記録媒体２３に出力する。
図３Ｃは、圧縮伸長処理回路２１の構成を示す図である。圧縮伸長処理回路２１は、動きベクトルのデータをメモリｄ２１１に記録し、フレームＡをメモリｅ２１２に記録し、フレームＢをメモリｆ２１３に記録する。次に、圧縮伸長処理回路２１は、メモリｄ２１１に記録した動きベクトルのデータと、メモリｅ２１２に記録したフレームＡの画像データに基づいて、動き補償回路２１４において、フレームＡの被写***置をフレームＢの被写***置に近づけた予測画像データを生成し、圧縮伸長差分算出回路２１５に出力する。圧縮伸長差分算出回路２１５は、動き補償されたフレームＡの予測画像データと、フレームＢの画像データとの差分を求め、圧縮回路２１６に出力する。圧縮回路２１６は、動きベクトルのデータとともにフレームＢ（Ｐピクチャ)の圧縮データとして符号化し、記録媒体２３に出力する。
上記の圧縮処理においては、ぼかし処理回路１９５でボケの付加処理が施される前の画像をもとに、動き情報が抽出されている。特に、付加するボケの大きさが大きい場合、ボケの付加処理が施された画像から動き情報を抽出する構成とすると、正確な動き情報が抽出できなくなり、前述の動き補償を適切に行うことができなくなる。
この結果、前述の差分データ量が大きくなり、圧縮効率が悪化する。上記の実施形態によれば、このような事態を未然に回避することができる。
この結果、前述の差分データ量が大きくなり、圧縮効率が悪化する。上記の実施形態によれば、このような事態を未然に回避することができる。
また、動画像の映像表現の１つとして、画面全体で焦点の合っていない状態（ボケた状
態）から特定被写体に焦点が合った状態に徐々に移行するようなシーンがある。このようなシーンでは、画面内に何れの被写体にも焦点の合っていないボケた静止画フレームが複数フレームにわたって圧縮処理されることとなる。このような画面全体で焦点の合っていない状態の画像を、電気的なボケの付加処理によって実現するような場合に対しても、上記の電子カメラ１は有効に作用する。
態）から特定被写体に焦点が合った状態に徐々に移行するようなシーンがある。このようなシーンでは、画面内に何れの被写体にも焦点の合っていないボケた静止画フレームが複数フレームにわたって圧縮処理されることとなる。このような画面全体で焦点の合っていない状態の画像を、電気的なボケの付加処理によって実現するような場合に対しても、上記の電子カメラ１は有効に作用する。
（２）電子手ブレ補正処理
動画像の画像データでブレが発生した場合、画像処理の手法を用いた電子手ブレ補正処理が利用される。この電子手ブレ補正処理において、主要被写体抽出により抽出した被写体情報および前述の動き情報抽出処理により抽出した、動画像を構成する静止画フレーム間の動き情報を用いる。
動画像の画像データでブレが発生した場合、画像処理の手法を用いた電子手ブレ補正処理が利用される。この電子手ブレ補正処理において、主要被写体抽出により抽出した被写体情報および前述の動き情報抽出処理により抽出した、動画像を構成する静止画フレーム間の動き情報を用いる。
データ処理回路１９は、上述した圧縮処理と同様に動きベクトルを順次算出し、この動きベクトルに基づいて、動画像を構成する各フレーム画像（静止画フレーム画像）を、被写体像のずれが小さくなる方向にシフト（平行移動）させることにより、電子手ブレ補正処理を実行する。
図４は、上記の動作を実行するデータ処理回路１９を説明する図である。
図４は、上記の動作を実行するデータ処理回路１９を説明する図である。
ここでは、時間的に連続して入力されるフレームａ，フレームｂ，フレームｃに対して、ぼかし処理回路６１２でボケの付加処理（高域空間周波数の抑制処理）を行い、フレームａ，フレームｂ，フレームｃの各々に対応させて、ボケが付加された、かつブレが補正されたフレームＡ，フレームＢ，フレームＣを得る。
以下、動作について説明する。メモリ６１０，６１１は、各々フレームメモリであり、連続する２フレームの画像データが記憶される。
以下、動作について説明する。メモリ６１０，６１１は、各々フレームメモリであり、連続する２フレームの画像データが記憶される。
入力される画像データは、メモリ６１０への入力動作と並行して、ぼかし処理回路６１２にも入力され、前述のぼかし処理回路１９５と同様のボケの付加処理が行われる。
時間的に連続するフレームａ，フレームｂ，フレームｃのうち、フレームｂの画像データがメモリ６１０に記憶された時点で、これより１フレーム前のフレームａの画像データは、メモリ６１１に記憶されている。
時間的に連続するフレームａ，フレームｂ，フレームｃのうち、フレームｂの画像データがメモリ６１０に記憶された時点で、これより１フレーム前のフレームａの画像データは、メモリ６１１に記憶されている。
動きベクトル算出回路６１３は、メモリ６１０に記憶されている画像を複数ブロックに分割し、各ブロックについて、メモリ６１１に記憶されている画像との間でブロックマッチング処理を行い、ブロック毎の動きベクトルを算出する。これらのブロック毎に算出された動きベクトルの大きさ、方向について解析し、フレームａ，フレームｂの間の画像の動きが、被写界内の被写体の個別の動きか、パンニング撮影動作中によるものであるか、撮影者の手ブレによるものであるかを判別する。
撮影者の手ブレによるものであると判別された場合には、フレームａ，フレームｂ間の手ブレ量（平行移動量）を表す代表動きベクトルを算出し、シフト回路６１４に出力する。
シフト回路６１４は、ぼかし処理回路６１２でボケが付加されたフレームＢの画像データに対して、動きベクトル算出回路６１３で算出された、ボケの付加されていないフレームａ，フレームｂ間の代表動きベクトルをもとに、フレームＢの画像が、フレームＡの画像位置になるように（すなわち、手ブレによる像の移動が補正されるように）シフト処理を行う。
シフト回路６１４は、ぼかし処理回路６１２でボケが付加されたフレームＢの画像データに対して、動きベクトル算出回路６１３で算出された、ボケの付加されていないフレームａ，フレームｂ間の代表動きベクトルをもとに、フレームＢの画像が、フレームＡの画像位置になるように（すなわち、手ブレによる像の移動が補正されるように）シフト処理を行う。
このように、動き情報の抽出と、ボケを付加する処理とを並行して行う構成としたので、ボケを付加する前の画像から動き情報を抽出し、この動き情報をもとに動き補償した画像データを生成した後に電気的なボケを付加する場合に比較して、電子手ブレ補正処理の
時間を短縮することができ、結果として、最終的な画像データを迅速に液晶モニタ２０に表示することができる。特に、スルー画撮影動作に適用する場合は、表示の遅延によって静止画本撮影のシャッタチャンスを逃すといったことを防止できるので好適である。
時間を短縮することができ、結果として、最終的な画像データを迅速に液晶モニタ２０に表示することができる。特に、スルー画撮影動作に適用する場合は、表示の遅延によって静止画本撮影のシャッタチャンスを逃すといったことを防止できるので好適である。
また、動画本撮影の場合についても、実際の被写体の動きと、液晶モニタ２０の表示画像中の被写体の動きとの時間差を小さくすることができる。したがって、液晶モニタ２０を目視しながら、例えばズーム操作を行う場合に、実際の被写体の動きに対してズーム操作が遅れてしまうといった操作遅延の可能性を軽減できる。
さらに、ボケの付加処理が施される前の静止画フレームをもとに動き情報を抽出する構成としているので、ボケの付加処理が施された後の静止画フレームをもとに動き情報を抽出する場合に比較して、正確な動き情報が抽出できる。したがって、ボケの付加処理が施された画像を液晶モニタ２０に表示する場合であっても、ブレ量の少ない画像を表示することができる。
さらに、ボケの付加処理が施される前の静止画フレームをもとに動き情報を抽出する構成としているので、ボケの付加処理が施された後の静止画フレームをもとに動き情報を抽出する場合に比較して、正確な動き情報が抽出できる。したがって、ボケの付加処理が施された画像を液晶モニタ２０に表示する場合であっても、ブレ量の少ない画像を表示することができる。
（３）フレームレート変換処理
異なるＴＶ方式間（例えば、ＮＴＳＣ形式とＰＡＬ形式）の変換や、多方式の映像信号を入力または表示可能な表示装置などにおいては、方式変換技術の一種であるフレームレート変換処理が利用される。例えば、ＮＴＳＣ形式のフィールド周波数は５９．９４Ｈｚであり、ＰＡＬ形式のフィールド周波数は５０Ｈｚである。そのため、各国における制作番組を全世界で有効利用するために、異なる方式間で方式変換が行われる。また、様々なコンピュータなどから多様な形式の映像信号が入力され、固定解像度、固定フレーム周波数で画像の表示を行う、例えばプロジェクタのような装置では、様々なフレーム周波数の入力映像信号を、固定フレーム周波数の画像信号に変換して液晶表示素子などの画像表示部に供給する必要がある。このようなフレームレート変換処理において、前述の動き情報抽出処理により抽出した、動画像を構成する静止画フレーム間の動き情報を用いる。
異なるＴＶ方式間（例えば、ＮＴＳＣ形式とＰＡＬ形式）の変換や、多方式の映像信号を入力または表示可能な表示装置などにおいては、方式変換技術の一種であるフレームレート変換処理が利用される。例えば、ＮＴＳＣ形式のフィールド周波数は５９．９４Ｈｚであり、ＰＡＬ形式のフィールド周波数は５０Ｈｚである。そのため、各国における制作番組を全世界で有効利用するために、異なる方式間で方式変換が行われる。また、様々なコンピュータなどから多様な形式の映像信号が入力され、固定解像度、固定フレーム周波数で画像の表示を行う、例えばプロジェクタのような装置では、様々なフレーム周波数の入力映像信号を、固定フレーム周波数の画像信号に変換して液晶表示素子などの画像表示部に供給する必要がある。このようなフレームレート変換処理において、前述の動き情報抽出処理により抽出した、動画像を構成する静止画フレーム間の動き情報を用いる。
以下では、フレームレート変換処理の一例として、図５Ａに示すように、フレーム周波数を６０Ｈｚから５０Ｈｚに変換する場合を例に挙げて説明する。なお、ここでは、簡単のため、フレームレート変換の前後で画像の画素数、アスペクト比等は同じであるものとする。
図５Ａは、フレーム周波数６０Ｈｚのフレーム画像（静止画フレーム、１〜６）を、フレーム周波数５０Ｈｚのフレーム画像（静止画フレーム、１〜５）に変換する様子を時間経過とともに説明する図である。なお、ここでは、簡単のため、両フレーム周波数のフレーム１のタイミングが同一である場合について説明する。以下、フレーム周波数６０Ｈｚ、フレーム周波数５０Ｈｚを、各々単に６０Ｈｚ、５０Ｈｚと記す。
図５Ａは、フレーム周波数６０Ｈｚのフレーム画像（静止画フレーム、１〜６）を、フレーム周波数５０Ｈｚのフレーム画像（静止画フレーム、１〜５）に変換する様子を時間経過とともに説明する図である。なお、ここでは、簡単のため、両フレーム周波数のフレーム１のタイミングが同一である場合について説明する。以下、フレーム周波数６０Ｈｚ、フレーム周波数５０Ｈｚを、各々単に６０Ｈｚ、５０Ｈｚと記す。
６０Ｈｚのフレーム画像３およびフレーム画像４から、５０Ｈｚのフレーム画像３の画像データを生成する場合を考える。図５Ｂは、６０Ｈｚのフレーム画像３，フレーム画像４から、５０Ｈｚのフレーム画像３を生成する様子を説明する拡大図である。図５Ｂの拡大図において、５０Ｈｚのフレーム画像３の時間軸上の位置は、６０Ｈｚのフレーム画像３およびフレーム画像４間の４：６の位置になる(図５ＢにおいてＡ：Ｂ（時間間隔比）＝４：６）。
５０Ｈｚの一連のフレーム画像を表示する際に、被写体像の自然な動きを実現するためには、例えば、６０Ｈｚのフレーム画像３およびフレーム画像４から、５０Ｈｚのフレーム画像３のタイミングでの画面内の被写体像の位置を求めて、この位置に被写体像が存在する画像を生成する必要がある。このために、まず、６０Ｈｚのフレーム画像３およびフレーム画像４間で、被写体毎(ブロック毎)の動きベクトルを求める。そして、求めた動きベクトルの大きさを上述の時間間隔比（Ａ：Ｂ）によって分割して、６０Ｈｚのフレーム画像３およびフレーム画像４の被写体像を移動させ、各々の移動後の予測画像を合成する
。すなわち、６０Ｈｚのフレーム画像３中の被写体像を、動きベクトルの大きさの４／（４＋６）分だけ動きベクトルの方向に移動させ、６０Ｈｚのフレーム画像４中の被写体像を、動きベクトルの大きさの６／（４＋６）分、６０Ｈｚのフレーム画像３中の被写体像の移動方向とは逆方向に移動させた後に、両画像を合成して５０Ｈｚのフレーム画像３の画像データを得る。このようにして、６０Ｈｚのフレーム画像３およびフレーム画像４から、５０Ｈｚのフレーム画像３に相当する動き補償された内挿フレームを生成する。なお、この内挿フレームは、フレーム画像３、またはフレーム画像４のうち、一方のフレーム画像から被写体像を移動させるものであっても良い。
。すなわち、６０Ｈｚのフレーム画像３中の被写体像を、動きベクトルの大きさの４／（４＋６）分だけ動きベクトルの方向に移動させ、６０Ｈｚのフレーム画像４中の被写体像を、動きベクトルの大きさの６／（４＋６）分、６０Ｈｚのフレーム画像３中の被写体像の移動方向とは逆方向に移動させた後に、両画像を合成して５０Ｈｚのフレーム画像３の画像データを得る。このようにして、６０Ｈｚのフレーム画像３およびフレーム画像４から、５０Ｈｚのフレーム画像３に相当する動き補償された内挿フレームを生成する。なお、この内挿フレームは、フレーム画像３、またはフレーム画像４のうち、一方のフレーム画像から被写体像を移動させるものであっても良い。
例えば、電子カメラ１において、撮像フレームレートと液晶モニタ２０の表示フレームレートとが異なる場合、データ処理回路１９は、ボケを付加する前のフレームレート６０Ｈｚの各静止画フレーム内のブロック毎に動きベクトルを算出するとともに、新たに生成される各内挿フレームの各々について上述の時間間隔比を求める。そして、この動きベクトルの算出と並行して、電気的なボケの付加処理を実行する。そして、ボケの付加された画像をもとに、算出された動きベクトル、時間間隔比に基づいて５０Ｈｚのフレームレートのフレーム画像を構成する内挿フレームを生成する。
図６は、上記の動作を実行するデータ処理回路１９を説明する図である。以下、動作について説明する。
メモリ７１０，７１１は各々フレームメモリであり、連続する２フレームの画像データが記憶される。
入力される画像データは、メモリ７１０への入力動作と並行して、ぼかし処理回路７１２ａにも入力され、前述のぼかし処理回路１９５と同様のボケの付加処理が行われる。
メモリ７１０，７１１は各々フレームメモリであり、連続する２フレームの画像データが記憶される。
入力される画像データは、メモリ７１０への入力動作と並行して、ぼかし処理回路７１２ａにも入力され、前述のぼかし処理回路１９５と同様のボケの付加処理が行われる。
また、メモリ７１０より出力される画像データは、メモリ７１１への入力動作と並行して、ぼかし処理回路７１２ｂにも入力され、前述のぼかし処理回路１９５と同様のボケの付加処理が行われる。
時間的に連続するフレームａ，フレームｂ，フレームｃのうち、フレームｂの画像データがメモリ７１０に入力され始めると、それまでメモリ７１０に記憶されていたフレームａの画像データが、メモリ７１１に向けて読み出され、フレームｂの画像データがメモリ７１０に記憶された時点で、これより１フレーム前のフレームａの画像データは、メモリ７１１に記憶される。
時間的に連続するフレームａ，フレームｂ，フレームｃのうち、フレームｂの画像データがメモリ７１０に入力され始めると、それまでメモリ７１０に記憶されていたフレームａの画像データが、メモリ７１１に向けて読み出され、フレームｂの画像データがメモリ７１０に記憶された時点で、これより１フレーム前のフレームａの画像データは、メモリ７１１に記憶される。
動きベクトル検出回路７１３は、メモリ７１０に記憶されている画像を複数ブロックに分割し、各ブロックについて、メモリ７１１に記憶されている画像との間でブロックマッチング処理を行い、ブロック毎の動きベクトルを算出する。
一方、ぼかし処理回路７１２ａ，７１２ｂで、各々フレームａ，フレームｂに対してボケの付加処理が施されて生成されたフレームＡ，フレームＢの画像データは、上述の動きベクトルとともに、シフト加算回路７１４に出力される。
一方、ぼかし処理回路７１２ａ，７１２ｂで、各々フレームａ，フレームｂに対してボケの付加処理が施されて生成されたフレームＡ，フレームＢの画像データは、上述の動きベクトルとともに、シフト加算回路７１４に出力される。
シフト加算回路７１４では、上述の時間間隔比によって動きベクトルを分割し、ボケの付加処理が施された被写***置を、分割された動きベクトル分だけ移動させた上で、両画像の加算処理（加算平均処理）を行う（動き補償）。
以上のような動作を、順次入力される画像に対して行うことで、フレームレートの変換処理が行われる。
以上のような動作を、順次入力される画像に対して行うことで、フレームレートの変換処理が行われる。
以上のように、ボケの付加処理が施された画像に対して、ボケの付加処理が施される前のフレーム画像を用いて算出された動きベクトルをもとに動き補償処理を行って、内挿フレーム画像を生成する構成としたので、動き補償位置の正確な内挿フレームを生成することができ、不自然な動きを伴わない、フレームレート変換画像を得ることができる。
また、動き情報の抽出と、ボケの付加処理とを並行して行う構成としたので、例えば、異なるフレームレートで撮像、表示が行われるような装置であっても、表示画面上での被写体像の不自然な動きにより、シャッタチャンスを逃してしまう、あるいは表示の遅延によりシャッタチャンスを逃してしまうなどの問題を回避し、自然な動きの表示画像を迅速に得ることができるので、ユーザは、安心して撮影を行うことができる。
また、動き情報の抽出と、ボケの付加処理とを並行して行う構成としたので、例えば、異なるフレームレートで撮像、表示が行われるような装置であっても、表示画面上での被写体像の不自然な動きにより、シャッタチャンスを逃してしまう、あるいは表示の遅延によりシャッタチャンスを逃してしまうなどの問題を回避し、自然な動きの表示画像を迅速に得ることができるので、ユーザは、安心して撮影を行うことができる。
（４）モーフィング処理
動画像コンピュータグラフィックスの分野においては、２フレームの画像（静止画フレーム）データ間の被写体の特徴点の対応付けを行って、２フレームの画像間の中間フレームを生成し、２フレームの元画像と、生成された中間フレームとを連続的に表示させることで、２フレームの画像間の連続的な被写体の移動または変形を表示装置に表示可能とするモーフィング処理が利用されている。モーフィング処理は、例えば、極端に遅いフレームレートで撮像された動画像を、高フレームレートで表示を行う表示装置に表示させる際などに用いることができる。このモーフィング処理においては、前述の動き情報抽出処理により抽出した、動画像を構成する静止画フレーム間の動き情報を用いる。
動画像コンピュータグラフィックスの分野においては、２フレームの画像（静止画フレーム）データ間の被写体の特徴点の対応付けを行って、２フレームの画像間の中間フレームを生成し、２フレームの元画像と、生成された中間フレームとを連続的に表示させることで、２フレームの画像間の連続的な被写体の移動または変形を表示装置に表示可能とするモーフィング処理が利用されている。モーフィング処理は、例えば、極端に遅いフレームレートで撮像された動画像を、高フレームレートで表示を行う表示装置に表示させる際などに用いることができる。このモーフィング処理においては、前述の動き情報抽出処理により抽出した、動画像を構成する静止画フレーム間の動き情報を用いる。
図７Ａに示すように、フレームａとフレームｂとの間に中間フレーム（内挿フレーム）を生成する場合を例に挙げて説明する。
図７Ｂは、データ処理回路１９の構成を示す図である。データ処理回路１９は、ボケを付加する処理を行う前に、入力された処理対象のフレームａの画像データをメモリａ１９１に記録し、フレームｂの画像データをメモリｂ１９２に記録する。そして、データ処理回路１９は、特徴点検出回路１９６において、メモリａ１９１およびメモリｂ１９２の画像データにおいて両画像に共通する複数の特徴点を検出し、この座標データをもとに、各特徴点がフレームａからフレームｂに至る過程でどのように移動したかを示す、各特徴点毎の動き情報を算出して、各特徴点の両フレームの座標データとともにメモリｃ１９４に記録する。
図７Ｂは、データ処理回路１９の構成を示す図である。データ処理回路１９は、ボケを付加する処理を行う前に、入力された処理対象のフレームａの画像データをメモリａ１９１に記録し、フレームｂの画像データをメモリｂ１９２に記録する。そして、データ処理回路１９は、特徴点検出回路１９６において、メモリａ１９１およびメモリｂ１９２の画像データにおいて両画像に共通する複数の特徴点を検出し、この座標データをもとに、各特徴点がフレームａからフレームｂに至る過程でどのように移動したかを示す、各特徴点毎の動き情報を算出して、各特徴点の両フレームの座標データとともにメモリｃ１９４に記録する。
そして、データ処理回路１９は、ぼかし処理回路１９５において、メモリａ１９１のフレームａの画像データおよびメモリｂ１９２のフレームｂの画像データに対して、ボケを付加する処理を施し、それぞれフレームＡの画像データおよびフレームＢの画像データを生成する。
次に、データ処理回路１９は、ボケの付加処理の施されたフレームＡの画像データ、およびボケの付加処理の施されたフレームＢの画像データから、中間画像生成回路１９９で、各特徴点毎の動き情報に基づいて高域空間周波数の抑制された中間フレームを生成する。
次に、データ処理回路１９は、ボケの付加処理の施されたフレームＡの画像データ、およびボケの付加処理の施されたフレームＢの画像データから、中間画像生成回路１９９で、各特徴点毎の動き情報に基づいて高域空間周波数の抑制された中間フレームを生成する。
具体的には、中間画像生成回路１９９は、フレームａ，フレームｂから算出された各特徴点の動き情報（動きベクトル）を用いて、ボケの付加処理の施されたフレームＡ，フレームＢの両画像の、各特徴点に対応する点の対応付けを行う。
さらに、各特徴点の動きベクトルを所定の内分比で内分し、フレームＡ，フレームＢ間の移動、変形過程の各特徴点の位置を求める。特徴点の数を多くして、各特徴点以外の画素のデータは、中間フレームにおける複数の特徴点の画素データから補間演算を行って、中間フレームを作成することができる。
さらに、各特徴点の動きベクトルを所定の内分比で内分し、フレームＡ，フレームＢ間の移動、変形過程の各特徴点の位置を求める。特徴点の数を多くして、各特徴点以外の画素のデータは、中間フレームにおける複数の特徴点の画素データから補間演算を行って、中間フレームを作成することができる。
生成される中間フレームの数を多くする場合には、上記の内分比を変更して上記と同様の処理を行う。
中間画像生成回路１９９は、フレームＡ，フレームＢ，および生成された中間フレームの画像データを、圧縮回路２１および表示制御回路２２へ出力する。
このように、ボケの付加処理の施される前のフレームａ，フレームｂを用いて動き情報を算出し、この動き情報をもとに、ボケの付加処理の施されたフレームＡ，フレームＢの
画像を処理して中間フレームを生成しているので、例えば、画面全体に焦点が合っていないように処理を施した画像間でも、中間フレームを生成することができる。また、正確な動き情報が抽出できるので、生成された一連の画像を再生する場合でも、自然な動きの動画像が再生できる。
中間画像生成回路１９９は、フレームＡ，フレームＢ，および生成された中間フレームの画像データを、圧縮回路２１および表示制御回路２２へ出力する。
このように、ボケの付加処理の施される前のフレームａ，フレームｂを用いて動き情報を算出し、この動き情報をもとに、ボケの付加処理の施されたフレームＡ，フレームＢの
画像を処理して中間フレームを生成しているので、例えば、画面全体に焦点が合っていないように処理を施した画像間でも、中間フレームを生成することができる。また、正確な動き情報が抽出できるので、生成された一連の画像を再生する場合でも、自然な動きの動画像が再生できる。
（５）動画像を滑らかに表示するための処理
動画像を滑らかに表示するための処理が利用されている。
動画像の滑らかな動きを実現するために、動画像を構成する、時間的に連続した２フレームの静止画フレーム(キーフレーム)間に、補間処理によって中間フレーム（内挿フレーム）を生成し、中間フレームどうし、もしくはキーフレームと中間フレームとを加算して、新たな表示フレームを生成する。この表示フレームを生成する際に、前述の動き情報抽出処理により抽出した、動画像を構成する静止画フレーム間の動き情報を用いる。すなわち、ボケの付加処理の施されていない２フレームの静止画フレーム（キーフレーム）間で動き情報（動き領域情報、動きベクトル）を抽出し、この動き情報に応じて、キーフレーム内の少なくとも動き領域について、フレーム内の高域空間周波数成分の抑制された（すなわち、ボケの付加処理の施された）キーフレーム画像を生成する。なお、例えば、動きベクトルの大きさが所定値以上の領域を抽出し、この領域を動き領域とすることができる。さらに、ボケの付加処理の施されていない２フレームの静止画フレーム（キーフレーム）から抽出された動き情報をもとに、ボケの付加処理の施されたキーフレーム画像から被写***置の移動された中間フレーム（内挿フレーム）を生成して、中間フレームどうしを加算するか、もしくは中間フレームとボケの付加処理の施されたキーフレームとを加算処理する。
動画像を滑らかに表示するための処理が利用されている。
動画像の滑らかな動きを実現するために、動画像を構成する、時間的に連続した２フレームの静止画フレーム(キーフレーム)間に、補間処理によって中間フレーム（内挿フレーム）を生成し、中間フレームどうし、もしくはキーフレームと中間フレームとを加算して、新たな表示フレームを生成する。この表示フレームを生成する際に、前述の動き情報抽出処理により抽出した、動画像を構成する静止画フレーム間の動き情報を用いる。すなわち、ボケの付加処理の施されていない２フレームの静止画フレーム（キーフレーム）間で動き情報（動き領域情報、動きベクトル）を抽出し、この動き情報に応じて、キーフレーム内の少なくとも動き領域について、フレーム内の高域空間周波数成分の抑制された（すなわち、ボケの付加処理の施された）キーフレーム画像を生成する。なお、例えば、動きベクトルの大きさが所定値以上の領域を抽出し、この領域を動き領域とすることができる。さらに、ボケの付加処理の施されていない２フレームの静止画フレーム（キーフレーム）から抽出された動き情報をもとに、ボケの付加処理の施されたキーフレーム画像から被写***置の移動された中間フレーム（内挿フレーム）を生成して、中間フレームどうしを加算するか、もしくは中間フレームとボケの付加処理の施されたキーフレームとを加算処理する。
ここで、２つのキーフレーム間の動き量が大きい程、加算枚数を多くする。動画像の表示において、さらに滑らかさを出すためには、動き量が大きい程、加算する各フレーム内で高域空間周波数成分を抑制した上で加算することが望ましい。
図８は、上記の動作を実行するデータ処理回路１９を説明する図である。以下、動作について説明する。
図８は、上記の動作を実行するデータ処理回路１９を説明する図である。以下、動作について説明する。
メモリ８１０，８１１は各々フレームメモリであり、連続する２フレームのキーフレーム画像データが記憶される。
入力される画像データは、メモリ８１０への入力動作と並行して、ぼかし処理回路８１２ａにも入力され、前述のぼかし処理回路１９５と同様のボケの付加処理が行われる。
また、メモリ８１０より出力される画像データは、メモリ８１１への入力動作と並行して、ぼかし処理回路８１２ｂにも入力され、前述のぼかし処理回路１９５と同様のボケの付加処理が行われる。
入力される画像データは、メモリ８１０への入力動作と並行して、ぼかし処理回路８１２ａにも入力され、前述のぼかし処理回路１９５と同様のボケの付加処理が行われる。
また、メモリ８１０より出力される画像データは、メモリ８１１への入力動作と並行して、ぼかし処理回路８１２ｂにも入力され、前述のぼかし処理回路１９５と同様のボケの付加処理が行われる。
なお、ぼかし処理回路８１２ａ，８１２ｂは、少なくとも後述する動きベクトル算出回路８１３で抽出された動き領域についてボケの付加処理を行う。
時間的に連続するキーフレームａ，フレームｂ，フレームｃのうち、キーフレームｂの画像データがメモリ８１０に入力され始めると、それまでメモリ８１０に記憶されていたキーフレームａの画像データが、メモリ８１１に向けて読み出され、キーフレームｂの画像データがメモリ８１０に記憶された時点で、これより１フレーム前のキーフレームａの画像データは、メモリ８１１に記憶される。
時間的に連続するキーフレームａ，フレームｂ，フレームｃのうち、キーフレームｂの画像データがメモリ８１０に入力され始めると、それまでメモリ８１０に記憶されていたキーフレームａの画像データが、メモリ８１１に向けて読み出され、キーフレームｂの画像データがメモリ８１０に記憶された時点で、これより１フレーム前のキーフレームａの画像データは、メモリ８１１に記憶される。
動きベクトル算出回路８１３は、メモリ８１０に記憶されている画像を複数ブロックに分割し、各ブロックについて、メモリ８１１に記憶されている画像との間でブロックマッチング処理を行い、ブロック毎の動きベクトルを算出するとともに、動き領域を抽出する。
一方、ぼかし処理回路８１２ａ，８１２ｂで、キーフレームａ，キーフレームｂに対し
て各々ボケの付加処理が施されて生成されたフレームＡ，フレームＢの画像データは、上述の動きベクトルとともに、シフト加算回路８１４に出力される。
一方、ぼかし処理回路８１２ａ，８１２ｂで、キーフレームａ，キーフレームｂに対し
て各々ボケの付加処理が施されて生成されたフレームＡ，フレームＢの画像データは、上述の動きベクトルとともに、シフト加算回路８１４に出力される。
シフト加算回路８１４では、上述の時間間隔比と同様に動きベクトルを分割するベクトル分割比によって動きベクトルを分割し、上述のシフト加算回路７１４の処理と同様に、ボケの付加処理が施されたフレームＡ，フレームＢの動被写***置を、分割された動きベクトル分だけ移動させた上で、フレームＡ，フレームＢから被写***置を移動させた２つの画像の加算処理（加算平均処理）を行うことにより、高域空間周波数の抑制された中間フレームが生成される（動き補償）。
このような処理を、上述の分割比を変化させて繰り返すことで、ボケの付加処理が施されたキーフレームＡ，フレームＢの間に、複数の中間フレームを生成することができる。
このようにして生成される中間フレームの数は、算出された動きベクトルの大きさが大きい程、大きくする。
シフト加算回路８１４は、このようにして生成された複数の中間フレームのうち、何れかの中間フレーム（複数フレームでも構わない）とキーフレーム（フレームＡまたはフレームＢ）とを加算するか、あるいは、複数の中間フレームのうち何れかの中間フレームどうしを加算して新たな表示フレームとする。ここで、加算される中間フレームの数は、算出された動きベクトルが大きい程、大きく設定される。
このようにして生成される中間フレームの数は、算出された動きベクトルの大きさが大きい程、大きくする。
シフト加算回路８１４は、このようにして生成された複数の中間フレームのうち、何れかの中間フレーム（複数フレームでも構わない）とキーフレーム（フレームＡまたはフレームＢ）とを加算するか、あるいは、複数の中間フレームのうち何れかの中間フレームどうしを加算して新たな表示フレームとする。ここで、加算される中間フレームの数は、算出された動きベクトルが大きい程、大きく設定される。
このような構成とすることで、ボケの付加処理が施されていない動画像から、ボケの付加処理が施された滑らかな動きの表示画像を生成することができる。
すなわち、ボケを付加する処理を施す前の動画像から動き情報を抽出し、動き量に応じて、少なくとも動きが検出された領域について、フレーム内の高域空間周波数成分の抑制された（ボケ効果の付加された）動画像を生成する。さらに、ボケを付加する処理を施す前の動画像から抽出された動き情報をもとに、上述のフレームレート変換処理で述べた手法と同様の手法により、ボケを付加する処理を施した画像から、被写***置の移動された中間フレームを生成し、さらに、動き情報をもとに加算フレーム数を設定する。この場合にも、前述の各処理と同様に、正確な動き情報を用いて中間フレーム（内挿フレーム）が生成される。
すなわち、ボケを付加する処理を施す前の動画像から動き情報を抽出し、動き量に応じて、少なくとも動きが検出された領域について、フレーム内の高域空間周波数成分の抑制された（ボケ効果の付加された）動画像を生成する。さらに、ボケを付加する処理を施す前の動画像から抽出された動き情報をもとに、上述のフレームレート変換処理で述べた手法と同様の手法により、ボケを付加する処理を施した画像から、被写***置の移動された中間フレームを生成し、さらに、動き情報をもとに加算フレーム数を設定する。この場合にも、前述の各処理と同様に、正確な動き情報を用いて中間フレーム（内挿フレーム）が生成される。
以上説明したように、本実施形態によれば、複数の静止画フレームにより構成される動画像を入力し、動画像を構成する複数の静止画フレームに電気的にボケを付加するとともに、ボケの付加されていない複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する。そして、ボケが付加された静止画フレームに対して、抽出した動き情報に基づいて、画像処理を施す。したがって、ボケを付加した動画像を正確に処理することができる。
また、本実施形態によれば、動画像を構成する１つの静止画フレームに対するボケの付加処理を、同静止画フレームについての動き情報の抽出処理と並行して行う。したがって、処理時間の短縮が期待できる。
また、本実施形態によれば、画像処理を施された画像を表示する表示部をさらに備え、動画像を表示部に表示させる際に、動き情報に基づいて、すでにボケが付加された動画像の中の静止画フレームから被写体の像の位置を移動させた移動静止画フレームを生成し、当該移動静止画フレームの生成に用いられた、ボケの付加された静止画フレームに代えて、移動静止画フレームを表示部に表示させる。したがって、ボケを付加した動画像において、手ブレ補正を適切かつ迅速に実行することができる。
また、本実施形態によれば、画像処理を施された画像を表示する表示部をさらに備え、動画像を表示部に表示させる際に、動き情報に基づいて、すでにボケが付加された動画像の中の静止画フレームから被写体の像の位置を移動させた移動静止画フレームを生成し、当該移動静止画フレームの生成に用いられた、ボケの付加された静止画フレームに代えて、移動静止画フレームを表示部に表示させる。したがって、ボケを付加した動画像において、手ブレ補正を適切かつ迅速に実行することができる。
また、本実施形態によれば、動き情報に基づいて、すでにボケが付加された動画像の中の２つの静止画フレームを用いて、動き補償処理を行って、被写体の像の位置の移動した
静止画フレームとして、内挿フレームを生成する。したがって、ボケを付加した動画像において、動き補償処理および内挿フレームの生成を適切かつ迅速に実行することができるとともに、滑らかな表示を実現することができる。
静止画フレームとして、内挿フレームを生成する。したがって、ボケを付加した動画像において、動き補償処理および内挿フレームの生成を適切かつ迅速に実行することができるとともに、滑らかな表示を実現することができる。
また、本実施形態によれば、連続して撮影された複数の静止画フレームにより構成される動画像を入力し、動画像を構成する複数の静止画フレームに、電気的にボケを付加するとともに、ボケの付加されていない２つの静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する。そして、２つの静止画フレームに対応させて、ボケが付加された２つの付加静止画フレームのうち、一方の付加静止画フレームから、動き情報に基づいて、当該２つの付加静止画フレームのうちの他方の付加静止画フレームに対応するように、被写体の像の位置を移動した予測フレームを生成し、当該予測フレームと、他方の付加静止画フレームとの差分データを算出してデータ圧縮する。そして、データ圧縮された差分データを記録する。したがって、ボケを付加した動画像において、動画像の圧縮処理を適切かつ迅速に実行することができる。
また、本実施形態によれば、入力部を介して入力された複数の静止画フレームにより構成される動画像に対して、電気的にボケを付加する画像処理装置であって、ボケの付加に先立って、複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き量、および静止画フレーム中の動き領域を抽出する。そして、静止画フレーム中の少なくとも動き領域について、電気的にボケを付加するとともに、動き量に基づいて、電気的にボケの付加された静止画フレームから、電気的にボケの付加された、被写***置の移動された内挿フレームを生成する。そして、「電気的にボケの付加された静止画フレームおよび内挿フレーム」または「内挿フレームどうし」について加算処理を行って表示フレームを生成し、生成した表示フレームから構成される合成動画像を表示するとともに、動き量に応じて、前述した加算処理を行うフレームの数を変更する。したがって、ボケを付加した動画像を生成するとともに内挿フレームの生成処理および合成動画像の生成処理正確に行うことができる。
なお、本実施形態では、電子カメラを例に挙げて説明を行ったが、他の撮像装置などに本発明を適用しても良い。また、ボケ効果を付加する処理をコンピュータなどの外部装置で行う構成としても良い。この場合、撮像装置から、画像データとともに各種付帯データをコンピュータなどの外部装置に転送する。外部装置には、図２で示したフローチャートと同様の処理を実現可能なプログラムを予めインストールしておけば良い。なお、上記の撮影距離情報などを、付帯データに入力すれば良い。
１，電子カメラ １２，撮像素子 １６，ＣＰＵ １９，データ処理回路 ２１，圧縮伸長処理回路
Claims (10)
- 複数の静止画フレームにより構成される動画像を入力する入力部と、
前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加部と、
前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、
前記付加部によりボケが付加された静止画フレームに対して、前記抽出部により抽出した前記動き情報に基づいて、画像処理を施す画像処理部とを備え、
前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行う
ことを特徴とする画像処理装置。 - 複数の静止画フレームにより構成される動画像を入力する入力部と、
前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加部と、
前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、
前記付加部によりボケが付加された静止画フレームに対して、前記抽出部により抽出した前記動き情報に基づいて、画像処理を施す画像処理部と、
前記画像処理部により処理された画像を表示する表示部とを備え、
前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行い、
前記画像処理部は、前記動画像を前記表示部に表示させる際に、前記動き情報に基づいて、前記付加部によりボケが付加された動画像の中の静止画フレームから前記被写体の像の位置を移動させた移動静止画フレームを生成し、当該移動静止画フレームの生成に用いられた、ボケの付加された静止画フレームに代えて、前記移動静止画フレームを前記表示部に表示させる
ことを特徴とする画像処理装置。 - 複数の静止画フレームにより構成される動画像を入力する入力部と、
前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加部と、
前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、
前記付加部によりボケが付加された静止画フレームに対して、前記抽出部により抽出した前記動き情報に基づいて、画像処理を施す画像処理部とを備え、
前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行い、
前記画像処理部は、前記動き情報に基づいて、前記付加部によりボケが付加された動画像の中の２つの静止画フレームを用いて、動き補償処理を行って、前記被写体の像の位置の移動した静止画フレームとして、内挿フレームを生成する
ことを特徴とする画像処理装置。 - 連続して撮影された複数の静止画フレームにより構成される動画像を入力する入力部と、
前記動画像を構成する複数の静止画フレームに、電気的にボケを付加する付加部と、
前記ボケの付加されていない２つの静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出部と、
前記２つの静止画フレームに対応させて、前記付加部によりボケが付加された２つの付加静止画フレームのうち、一方の付加静止画フレームから、前記動き情報に基づいて、当該２つの付加静止画フレームのうちの他方の付加静止画フレームに対応するように、前記被写体の像の位置を移動した予測フレームを生成し、当該予測フレームと、前記他方の付加静止画フレームとの差分データを算出してデータ圧縮する画像処理部と、
前記画像処理部でデータ圧縮された差分データを記録する記録部とを備え、
前記付加部は、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出部による当該静止画フレームについての動き情報の抽出処理と並行して行う
ことを特徴とする画像処理装置。 - 入力部を介して入力された複数の静止画フレームにより構成される動画像に対して、電気的にボケを付加する画像処理装置であって、
前記ボケの付加に先立って、前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き量、および前記静止画フレーム中の動き領域を抽出する抽出部と、
前記静止画フレーム中の少なくとも前記動き領域について、電気的にボケを付加する付加部と、
前記動き量に基づいて、前記付加部によって電気的にボケの付加された静止画フレームから、電気的にボケの付加された、前記被写***置の移動された内挿フレームを生成する生成部と、
「電気的にボケの付加された前記静止画フレームおよび前記内挿フレーム」または「前記内挿フレームどうし」について加算処理を行って表示フレームを生成する合成部と、
前記合成部による前記表示フレームから構成される合成動画像を表示する表示部とを備え、
前記合成部は、前記動き量に応じて、前記加算処理を行うフレームの数を変更する
ことを特徴とする画像処理装置。 - 複数の静止画フレームにより構成される動画像を入力する入力ステップと、
前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加ステップと、
前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出ステップと、
前記付加ステップによりボケが付加された静止画フレームに対して、前記抽出ステップにおいて抽出した前記動き情報に基づいて、画像処理を施す画像処理ステップとを有し、
前記付加ステップでは、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出ステップにおける当該静止画フレームについての動き情報の抽出処理と並行して行う
ことを特徴とする画像処理方法。 - 複数の静止画フレームにより構成される動画像を入力する入力ステップと、
前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加ステップと、
前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出ステップと、
前記付加ステップにおいてボケが付加された静止画フレームに対して、前記抽出ステップにおいて抽出した前記動き情報に基づいて、画像処理を施す画像処理ステップと、
前記画像処理ステップにおいて処理された画像を表示する表示ステップとを有し、
前記付加ステップでは、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出ステップにおける当該静止画フレームについての動き情報の抽出処理と並行して行い、
前記画像処理ステップでは、前記動画像を前記表示ステップにおいて表示させる際に、前記動き情報に基づいて、前記付加ステップにおいてボケが付加された動画像の中の静止画フレームから前記被写体の像の位置を移動させた移動静止画フレームを生成し、当該移動静止画フレームの生成に用いられた、ボケの付加された静止画フレームに代えて、前記移動静止画フレームを表示させる
ことを特徴とする画像処理方法。 - 複数の静止画フレームにより構成される動画像を入力する入力ステップと、
前記動画像を構成する複数の静止画フレームに電気的にボケを付加する付加ステップと、
前記ボケの付加されていない前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出ステップと、
前記付加ステップにおいてボケが付加された静止画フレームに対して、前記抽出ステップにおいて抽出した前記動き情報に基づいて、画像処理を施す画像処理ステップとを有し、
前記付加ステップでは、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出ステップにおける当該静止画フレームについての動き情報の抽出処理と並行して行い、
前記画像処理ステップでは、前記動き情報に基づいて、前記付加ステップにおいてボケが付加された動画像の中の２つの静止画フレームを用いて、動き補償処理を行って、前記被写体の像の位置の移動した静止画フレームとして、内挿フレームを生成する
ことを特徴とする画像処理方法。 - 連続して撮影された複数の静止画フレームにより構成される動画像を入力する入力ステップと、
前記動画像を構成する複数の静止画フレームに、電気的にボケを付加する付加ステップと、
前記ボケの付加されていない２つの静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き情報を抽出する抽出ステップと、
前記２つの静止画フレームに対応させて、前記付加ステップにおいてボケが付加された２つの付加静止画フレームのうち、一方の付加静止画フレームから、前記動き情報に基づいて、当該２つの付加静止画フレームのうちの他方の付加静止画フレームに対応するように、前記被写体の像の位置を移動した予測フレームを生成し、当該予測フレームと、前記他方の付加静止画フレームとの差分データを算出してデータ圧縮する画像処理ステップと、
前記画像処理ステップにおいてデータ圧縮された差分データを記録する記録ステップとを有し、
前記付加ステップでは、前記動画像を構成する１つの静止画フレームに対するボケの付加処理を、前記抽出ステップにおける当該静止画フレームについての動き情報の抽出処理と並行して行う
ことを特徴とする画像処理方法。 - 入力部を介して入力された複数の静止画フレームにより構成される動画像に対して、電気的にボケを付加する画像処理方法であって、
前記ボケの付加に先立って、前記複数の静止画フレームから、それぞれの静止画フレームに含まれる被写体の動き量、および前記静止画フレーム中の動き領域を抽出する抽出ステップと、
前記静止画フレーム中の少なくとも前記動き領域について、電気的にボケを付加する付加ステップと、
前記動き量に基づいて、前記付加ステップにおいて電気的にボケの付加された静止画フレームから、電気的にボケの付加された、前記被写***置の移動された内挿フレームを生成する生成ステップと、
「電気的にボケの付加された前記静止画フレームおよび前記内挿フレーム」または「前記内挿フレームどうし」について加算処理を行って表示フレームを生成する合成ステップと、
前記合成ステップにおける前記表示フレームから構成される合成動画像を表示する表示ステップとを有し、
前記合成ステップでは、前記動き量に応じて、前記加算処理を行うフレームの数を変更する
ことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005315393A JP4742813B2 (ja) | 2005-10-28 | 2005-10-28 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005315393A JP4742813B2 (ja) | 2005-10-28 | 2005-10-28 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007124397A JP2007124397A (ja) | 2007-05-17 |
| JP4742813B2 true JP4742813B2 (ja) | 2011-08-10 |
Family
ID=38147731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005315393A Expired - Fee Related JP4742813B2 (ja) | 2005-10-28 | 2005-10-28 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4742813B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101436321B1 (ko) | 2008-02-20 | 2014-09-01 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 |
| JP4613990B2 (ja) | 2008-07-31 | 2011-01-19 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP4915468B2 (ja) * | 2010-08-30 | 2012-04-11 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP2013165487A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびプログラム |
| JP2013165488A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびプログラム |
| WO2014045913A1 (ja) * | 2012-09-18 | 2014-03-27 | 富士フイルム株式会社 | 静止画表示装置及びシステム並びに撮像装置 |
| WO2018207253A1 (ja) * | 2017-05-09 | 2018-11-15 | マクセル株式会社 | 映像記録再生装置、映像伝送装置、及び映像伝送方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006094058A (ja) * | 2004-09-22 | 2006-04-06 | Nikon Corp | 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3122099B2 (ja) * | 1989-06-26 | 2001-01-09 | ソニー株式会社 | 映像合成装置及び映像合成方法 |
| JPH10200896A (ja) * | 1997-01-06 | 1998-07-31 | Matsushita Electric Ind Co Ltd | 画像符号化方式 |
| JP4092778B2 (ja) * | 1997-06-04 | 2008-05-28 | 株式会社日立製作所 | 画像信号の方式変換装置及びテレビジョン受像機 |
| JPH11275431A (ja) * | 1998-03-19 | 1999-10-08 | Canon Inc | 撮像装置 |
-
2005
- 2005-10-28 JP JP2005315393A patent/JP4742813B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006094058A (ja) * | 2004-09-22 | 2006-04-06 | Nikon Corp | 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007124397A (ja) | 2007-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4720859B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP4973719B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
| JP2011151795A (ja) | 撮像装置、撮像方法、および、撮像プログラム | |
| JP4742813B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2000341577A (ja) | 手振れ補正装置およびその補正方法 | |
| JP2012142829A (ja) | 画像処理装置および画像処理方法 | |
| JP4916378B2 (ja) | 撮像装置、画像処理装置、画像ファイル及び階調補正方法 | |
| JP2009065573A (ja) | 撮像装置、フォーカス制御方法、フォーカス制御プログラム | |
| JP2013165487A (ja) | 画像処理装置、撮像装置、およびプログラム | |
| JP2008139683A (ja) | 撮像装置及びオートフォーカス制御方法 | |
| JP4606486B2 (ja) | 画像処理装置および撮影装置 | |
| JP2015053741A (ja) | 画像再生装置 | |
| JP6037224B2 (ja) | 画像処理装置、撮像装置、およびプログラム | |
| JP2013165488A (ja) | 画像処理装置、撮像装置、およびプログラム | |
| JP6032912B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| JP2008147715A (ja) | 撮像装置及び方法 | |
| JP5402242B2 (ja) | 画像再生装置、撮像装置、画像再生方法、画像再生プログラム | |
| JP2009044329A (ja) | プログラム、画像処理方法および画像処理装置 | |
| JP2007202050A (ja) | 画像生成装置および画像生成プログラム | |
| JP2008182486A (ja) | 撮影装置及び画像処理方法 | |
| JP2010171491A (ja) | 撮影装置、撮影方法及びプログラム | |
| JP4665826B2 (ja) | 撮像装置および画像処理プログラム | |
| JP5476900B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP4942596B2 (ja) | 画像処理装置、撮像装置及び表示装置 | |
| JP5041050B2 (ja) | 撮像装置および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4742813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |