JP2010268441A - 画像処理装置、撮像装置及び画像再生装置 - Google Patents

画像処理装置、撮像装置及び画像再生装置 Download PDF

Info

Publication number
JP2010268441A
JP2010268441A JP2010085177A JP2010085177A JP2010268441A JP 2010268441 A JP2010268441 A JP 2010268441A JP 2010085177 A JP2010085177 A JP 2010085177A JP 2010085177 A JP2010085177 A JP 2010085177A JP 2010268441 A JP2010268441 A JP 2010268441A
Authority
JP
Japan
Prior art keywords
image
scale
size
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010085177A
Other languages
English (en)
Inventor
Kanichi Furuyama
貫一 古山
Yukio Mori
幸夫 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2010085177A priority Critical patent/JP2010268441A/ja
Priority to CN201010163973.9A priority patent/CN101867723A/zh
Priority to US12/761,655 priority patent/US20100265353A1/en
Publication of JP2010268441A publication Critical patent/JP2010268441A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮像装置に近づく被写体又は撮像装置から遠ざかる被写体に注目した縦方向流し撮り画像を、画像処理によって生成する。
【解決手段】撮像装置に近づく被写体を追尾対象とし、追尾処理によって追尾対象領域の位置及び大きさを逐次検出しておく。シャッタボタン押下直後に得られたフレーム画像２０３内の追尾対象領域２１３の位置を基準にして、フレーム画像２０３を拡大するスケール変換を複数の拡大率を用いて行い、複数のスケール変換画像（２０３Ａ、２０３Ｂ、２０３Ｃ）を得る。この複数のスケール変換画像を合成（画素信号のブレンディング）すること得られた中間合成画像２３０に、追尾対象領域２１３内の画像を嵌め込み合成することで、追尾対象領域の中心から外側に向かうぶれを背景領域内に持たせた出力ぶれ画像２４０を生成する。
【選択図】図４

Description

本発明は、画像に対して画像処理を施す画像処理装置に関する。また、本発明は、画像処理装置を利用した撮像装置及び画像再生装置に関する。
カーレースなどにおいて走行する車両などを撮影するとき、そのスピード感を強調する特殊撮影手法として、所謂「流し撮り」という撮影手法がある。従来は、車両などの移動体の動きの速さに合わせて移動体を追尾するように撮像装置を横に振って撮影を行うことで流し撮りを実現していた。移動体を追尾するように撮像装置を横に振るというカメラ操作は、撮影経験とプロカメラマン並みの技量を必要とする。このため、一般的なユーザが流し撮りの効果を適切に得ることは難しい。
これに鑑み、下記特許文献１の方法では、横方向に移動する移動体の動きを検出し、その検出結果に応じて移動体を追尾するように光軸を変化させている。これにより、横方向に移動する移動体にピントが合い且つ背景に流れるようなぶれを含む、迫力のある画像を容易に取得することが可能となる。
ところで、上述の流し撮りは、撮像装置に対して横方向に移動する移動体にピントを合わせる流し撮りである。これを、便宜上、横方向流し撮りと呼ぶ。流し撮りには、もう一つの流し撮り、即ち縦方向流し撮りが存在する。縦方向流し撮りは、撮像装置に近づくように移動する移動体又は撮像装置から遠のくように移動する移動体にピントを合わせる流し撮りである。
従来の縦方向流し撮りは、露光期間中において移動体にピントが合い続けるように光学ズーム倍率を変更することで実現されていた。このような縦方向流し撮りを実現するためには、極めて高度な撮影技術が必要となると共に撮影用の機材も限られてくる。尚、特許文献１の方法では、縦方向流し撮りに対応することはできない。
特開２００８−１３６１７４号公報
そこで本発明は、容易に縦方向流し撮りの効果を得ることのできる画像処理装置、撮像装置及び画像再生装置を提供することを目的とする。
本発明に係る画像処理装置は、互いに異なる時刻の撮影によって得られた主画像及び副画像を用いて出力画像を生成する画像処理装置において、前記主画像及び前記副画像の夫々から特定被写体を検出するとともに、前記主画像上の前記特定被写体の位置及び大きさと前記副画像上の前記特定被写体の位置及び大きさを検出する被写体検出部を備え、前記主画像及び前記副画像間における前記特定被写体の位置変化及び大きさ変化に基づいて、前記主画像にぶれを発生させることで前記出力画像を生成することを特徴とする。
主画像及び副画像間における特定被写体の位置変化及び大きさ変化に基づけば、主画像の撮影時点周辺における特定被写体の動きが分かる。そこで、その位置変化及び大きさ変化に基づいて、主画像に、特定被写体の動きに応じたぶれを発生させる。これにより、縦方向流し撮りの効果を有する出力画像を生成できる。出力画像の生成は画像処理によって行われるため、ユーザは容易に縦方向流し撮りの効果を得ることができる。
具体的には例えば、当該画像処理装置は、前記副画像及び前記主画像間における前記特定被写体の大きさ変化に基づき、複数の拡大率又は複数の縮小率を用いたスケール変換を前記主画像に対して行うことで複数のスケール変換画像を生成するスケール変換部と、前記主画像及び副画像上の前記特定被写体の位置に基づいて前記複数のスケール変換画像を合成し、合成結果を前記主画像に適用することで前記ぶれを発生させる画像合成部と、を更に備えている。
また具体的には例えば、当該画像処理装置は、前記主画像の全画像領域を前記特定被写体の画像データが存在する被写体領域とそれ以外の背景領域とに分類し、前記主画像及び前記副画像間における前記特定被写体の位置変化及び大きさ変化に基づいて、前記主画像の前記背景領域内の画像にぶれを発生させることで前記出力画像を生成する。また例えば、前記画像合成部は、前記主画像及び副画像上の前記特定被写体の位置に基づいて前記複数のスケール変換画像を合成し、合成結果を前記主画像の前記背景領域内の画像に適用することで前記ぶれを発生させる。
また具体的には例えば、前記スケール変換部は、前記副画像及び前記主画像間における前記特定被写体の大きさ変化に基づいて、画像上の前記特定被写体の大きさが時間経過につれて増大していると判断されるとき、前記複数の拡大率を用いて前記複数のスケール変換画像の生成を行う、又は、前記副画像及び前記主画像間における前記特定被写体の大きさ変化に基づいて、画像上の前記特定被写体の大きさが時間経過につれて減少していると判断されるとき、前記複数の縮小率を用いて前記複数のスケール変換画像の生成を行う。
また具体的には例えば、前記画像合成部は、前記複数のスケール変換画像を合成することによって得た合成画像と、前記主画像の前記被写体領域内の画像と、を合成することにより前記出力画像を生成する。
また具体的には例えば、前記スケール変換部は、前記副画像及び前記主画像間における前記特定被写体の大きさの変化量に基づいて上限拡大率又は下限縮小率を導出し、前記上限拡大率を導出した場合は、等倍率から前記上限拡大率までの、互いに異なる複数の変換率を前記複数の拡大率として設定する一方、前記下限縮小率を導出した場合は、等倍率から前記下限縮小率までの、互いに異なる複数の変換率を前記複数の縮小率として設定する。
更に具体的には例えば、前記上限拡大率が導出される場合、前記複数の拡大率として第１〜第ｎの拡大率が設定され（ｎは２以上の整数）、第（ｉ＋１）の拡大率は第ｉの拡大率よりも大きく（ｉは、１以上且つ（ｎ−１）以下の整数）、前記被写体検出部は、前記主画像上の前記特定被写体の位置及び前記副画像上の前記特定被写体の位置として、前記主画像上の前記被写体領域の中心位置及び前記副画像上の前記被写体領域の中心位置を検出し、前記スケール変換部は、第１〜第ｎの拡大率を用いた前記スケール変換により、前記複数のスケール変換画像として、第１〜第ｎのスケール変換画像を生成し、前記画像合成部は、第１のスケール変換画像上における前記特定被写体の中心位置が前記主画像よりも前に撮影された画像である前記副画像上の前記特定被写体の中心位置と一致するように、且つ、第ｎのスケール変換画像上における前記特定被写体の中心位置が前記主画像上の前記特定被写体の中心位置と一致するように、且つ、第２〜第（ｎ−１）のスケール変換画像上における前記特定被写体の中心位置が前記副画像上の前記特定被写体の中心位置と前記主画像上の前記特定被写体の中心位置との間に配置されるように、前記第１〜第ｎのスケール変換画像に対して位置補正を行ってから前記第１〜第ｎのスケール変換画像を合成する。
一方、例えば、前記下限縮小率が導出される場合、前記複数の縮小率として第１〜第ｎの縮小率が設定され（ｎは２以上の整数）、第（ｉ＋１）の縮小率は第ｉの縮小率よりも小さく（ｉは、１以上且つ（ｎ−１）以下の整数）、前記被写体検出部は、前記主画像上の前記特定被写体の位置及び前記副画像上の前記特定被写体の位置として、前記主画像上の前記被写体領域の中心位置及び前記副画像上の前記被写体領域の中心位置を検出し、前記スケール変換部は、第１〜第ｎの縮小率を用いた前記スケール変換により、前記複数のスケール変換画像として、第１〜第ｎのスケール変換画像を生成し、前記画像合成部は、第１のスケール変換画像上における前記特定被写体の中心位置が前記主画像よりも前に撮影された画像である前記副画像上の前記特定被写体の中心位置と一致するように、且つ、第ｎのスケール変換画像上における前記特定被写体の中心位置が前記主画像上の前記特定被写体の中心位置と一致するように、且つ、第２〜第（ｎ−１）のスケール変換画像上における前記特定被写体の中心位置が前記副画像上の前記特定被写体の中心位置と前記主画像上の前記特定被写体の中心位置との間に配置されるように、前記第１〜第ｎのスケール変換画像に対して位置補正を行ってから前記第１〜第ｎのスケール変換画像を合成する。
また例えば、当該画像処理装置は、前記主画像の背景領域を複数の小ブロックに分割し、前記主画像及び前記副画像間における前記特定被写体の位置変化及び大きさ変化に基づいて、前記小ブロックごとに、前記小ブロック内の画像にぶれを発生させるための画像劣化関数を導出する画像劣化関数導出部と、前記小ブロックごとに、前記小ブロック内の画像に対して前記画像劣化関数に応じたフィルタリングを施すことで前記出力画像を生成するフィルタリング処理部と、を更に備えている。前記背景領域は、前記特定被写体の画像データが存在する画像領域以外の画像領域である。
このような画像劣化関数に基づくフィルタリングによっても、縦方向流し撮り効果を有する出力画像を生成することが可能である。
本発明に係る他の画像処理装置は、入力画像にぶれを発生させることで出力画像を生成する画像処理装置において、複数の拡大率又は複数の縮小率を用いたスケール変換を前記入力画像に対して行うことで複数のスケール変換画像を生成するスケール変換部と、前記複数のスケール変換画像を合成し、合成結果を前記入力画像に適用することで前記ぶれを発生させる画像合成部と、を備えたことを特徴とする。
複数のスケール変換画像の合成結果を入力画像に適用することにより、縦方向流し撮りの効果を得ることが可能である。
具体的には例えば、前記画像合成部は、前記複数のスケール変換画像を合成することによって得た合成画像と、前記入力画像の基準領域内の画像と、を合成することにより前記出力画像を生成し、前記入力画像上の前記基準領域の位置は、操作部を介して指定された位置又は予め定められた位置である。
また例えば、前記スケール変換部は、操作部を介して指定されたぶれ量又は予め定められたぶれ量に基づき、前記複数の拡大率又は前記複数の縮小率を設定する。
本発明に係る更に他の画像処理装置は、入力画像にぶれを発生させることで出力画像を生成する画像処理装置において、前記入力画像の背景領域を複数の小ブロックに分割し、前記小ブロックごとに、前記小ブロック内の画像にぶれを発生させるための画像劣化関数を導出する画像劣化関数導出部と、前記小ブロックごとに、前記小ブロック内の画像に対して前記画像劣化関数に応じたフィルタリングを施すことで前記出力画像を生成するフィルタリング処理部と、を備え、前記入力画像の全画像領域は前記背景領域と基準領域から成り、前記小ブロックごとの前記画像劣化関数は、前記基準領域の位置と当該小ブロックとを結ぶ方向の画像劣化ベクトルに応じた画像劣化関数であることを特徴とする。
上記のような画像劣化関数を用いたフィルタリングによっても、縦方向流し撮りの効果を得ることが可能である。
そして例えば、前記入力画像上の前記基準領域の位置は、操作部を介して指定された位置又は予め定められた位置である。
本発明に係る撮像装置は、上記の何れかに記載の画像処理装置と、前記画像処理装置に与えるべき画像を撮影する撮像部と、を備えている。
本発明に係る画像再生装置は、上記の何れかに記載の画像処理装置と、前記画像処理装置にて生成された出力画像を表示する表示部と、を備えている。
本発明によれば、容易に縦方向流し撮りの効果を得ることのできる画像処理装置、撮像装置及び画像再生装置を提供することが可能となる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
本発明の第１実施形態に係る撮像装置の全体ブロック図である。 本発明の第１実施形態に係り、図１の撮像装置に内包される、画像処理を担う部位のブロック図である。 ４枚のフレーム画像と、各フレーム画像における追尾対象領域を示す図である。 本発明の第１実施形態に係る出力ぶれ画像の生成過程を表す図である。 出力ぶれ画像の元となるフレーム画像の例を示す図である。 図５のフレーム画像に拡大スケール変換を施すことで得られるスケール変換画像を示す図である。 図６（ａ）〜（ｃ）に示される３枚のスケール変換画像を合成することによって得られる中間合成画像を示す図である。 図５のフレーム画像と図７の中間合成画像に基づく出力ぶれ画像を示す図である。 本発明の第１実施形態に係り、撮影モードにおいて出力ぶれ画像を生成する動作のフローチャートである。 本発明の第１実施形態に係る撮影モードの動作の変形フローチャートである。 本発明の第１実施形態に係り、再生モードにおいて出力ぶれ画像を生成する動作のフローチャートである。 本発明の第２実施形態に係り、図１の撮像装置に内包される、画像処理を担う部位のブロック図である。 本発明の第２実施形態に係り、被演算画像の画像領域が複数の小ブロックに分割される様子を示す図である。 本発明の第２実施形態に係り、追尾対象領域の位置に関わる座標値を説明するための図である。 本発明の第２実施形態に係り、隣接フレーム画像間における追尾対象領域の変化を説明するための図である。 本発明の第２実施形態に係り、フレーム画像の全画像領域が４つの画像領域に分割される様子を示す図である。 本発明の第２実施形態に係り、追尾対象が撮像装置に近づいてくる時に得られる画像劣化ベクトルと、追尾対象が撮像装置から遠ざかる時に得られる画像劣化ベクトルと、を示す図である。 本発明の第２実施形態に係り、撮影モードにおいて出力ぶれ画像を生成する動作のフローチャートである。 本発明の第４実施形態に係り、図１の撮像装置に内包される、画像処理を担う部位のブロック図である。 本発明の第４実施形態に係り、出力ぶれ画像を生成する動作のフローチャートである。 本発明の第４実施形態に係る対象入力画像上にぶれ基準領域が設定される様子を示す図である。 本発明の第４実施形態に係る出力ぶれ画像の生成過程を表す図である。 本発明の第５実施形態に係り、図１の撮像装置に内包される、画像処理を担う部位のブロック図である。 本発明の第５実施形態に係り、画像劣化ベクトルの向きを説明するための図である。 本発明の第５実施形態に係り、出力ぶれ画像を生成する動作のフローチャートである。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。但し、撮像装置１を、静止画像のみを撮影可能なデジタルスチルカメラとして構成するようにしてもよい。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。或る画素に対する画像データを、画素信号と呼ぶこともある。画素信号は、例えば、輝度信号及び色差信号を含む。１つのフレーム周期分の画像データによって１枚分の画像が表現される。１つのフレーム周期分の画像データによって表現される１枚分の画像を、フレーム画像とも呼ぶ。尚、本明細書では、画像データのことを単に画像ということもある。
撮像装置１は、上記の縦方向流し撮りにて得られた画像に類似する画像を、画像処理によって生成する機能を備える。縦方向流し撮りとは、既に述べたように、撮像装置１に近づくように移動する移動体又は撮像装置１から遠のくように移動する移動体にピントを合わせる流し撮りである。該画像処理は意図的にぶれを画像に含ませるため、この機能によって生成される画像を、出力ぶれ画像と呼ぶ。図２に、この機能を担う部位のブロック図を示す。図２の追尾処理部５１、スケール変換部５２及び画像合成部５３を、図１の映像信号処理部１３に設けておくことができる。図２のバッファメモリ５４を、図１の内部メモリ１７に設けておくことができる。
追尾処理部５１は、撮像装置１の被写体に含まれる或る注目被写体をフレーム画像列上で追尾する追尾処理を実行する。フレーム画像列とは、フレーム周期による周期的な撮影によって得られる、時系列で並ぶ複数のフレーム画像の集まりを指す。追尾処理によって追尾されるべき注目被写体を、以下、追尾対象という。追尾対象以外の被写体（例えば、地面や建物等の静止体）を背景という。
追尾処理では、フレーム画像列の画像データに基づき、各フレーム画像における追尾対象の位置及び大きさが逐次検出される。まず、追尾処理部５１は、フレーム画像列を形成する複数のフレーム画像の内、何れかのフレーム画像を初期フレーム画像として捉え、初期フレーム画像の画像データに基づいて初期フレーム画像における追尾対象の位置及び大きさを検出する。
追尾対象を、初期フレーム画像の画像データに基づいて設定することができる。例えば、初期フレーム画像を含む複数のフレーム画像を用いて背景差分法に基づく移動体検出やフレーム間差分法に基づく移動体検出を行うことにより、フレーム画像列上の移動体を検出し、その移動体を追尾対象として設定する。或いは例えば、初期フレーム画像の画像データに基づいて、初期フレーム画像上の人物の顔を検出し、顔の検出結果を用いて該人物を追尾対象として設定する。
追尾対象を、ユーザの指示に従って設定することもできる。例えば、初期フレーム画像を表示部２７に表示させた状態で追尾対象となるべき被写体が表れている表示領域をユーザに指定させ、その指定内容に従って追尾対象を設定することもできる。
或る注目フレーム画像において、追尾対象を表す画像データが存在する画像領域を追尾対象領域（被写体領域）と呼び、それ以外の画像領域（即ち、背景を表す画像データが存在する画像領域）を背景領域と呼ぶ。従って、注目フレーム画像の全画像領域は、追尾対象領域と背景領域に分類される。追尾対象領域は、追尾対象を含みつつ、なるだけ小さくなるように設定される。注目フレーム画像における追尾対象領域の位置及び大きさを検出することと、注目フレーム画像における追尾対象の位置及び大きさを検出することは同義である。検出されるべき追尾対象領域の位置には、追尾対象領域の中心位置が含まれる。各フレーム画像において、追尾対象領域の中心位置が追尾対象の位置を表し且つ追尾対象領域の大きさが追尾対象の大きさを表す、と考えることができる。
初期フレーム画像における追尾対象の位置及び大きさの検出後、追尾処理部５１は、初期フレーム画像の撮影以降に撮影される各フレーム画像を追尾対象フレーム画像として捉え、追尾対象フレーム画像の画像データに基づいて追尾対象フレーム画像における追尾対象の位置及び大きさを検出する（即ち、追尾対象フレーム画像における追尾対象領域の中心位置及び大きさを検出する）。
以下の説明において、特記なき限り、フレーム画像とは、追尾対象の位置及び大きさが検出されるべき初期フレーム画像又は追尾対象フレーム画像を指すものとする。また、追尾対象領域の形状を任意の形状にすることができるが、以下の説明では、追尾対象領域の形状が矩形であることを想定する。
第１及び第２のフレーム画像間における追尾処理を次のように実行することができる。ここにおける第１のフレーム画像とは、既に追尾対象の位置及び大きさが検出されているフレーム画像を指し、第２のフレーム画像とは、これから追尾対象の位置及び大きさが検出されるべきフレーム画像を指す。第２のフレーム画像は、第１のフレーム画像の次に撮影されるフレーム画像である。
例えば、追尾処理部５１は、追尾対象が有する画像特徴に基づいて追尾処理を行うことができる。画像特徴は、輝度情報及び色情報を含む。より具体的には例えば、第２のフレーム画像内に、追尾対象領域の大きさと同程度の大きさを有すると推定される追尾枠を設定して、第２のフレーム画像における追尾枠内の画像の画像特徴と、第１のフレーム画像における追尾対象領域内の画像の画像特徴との類似性評価を追尾枠の位置を探索領域内で順次変更しながら実行し、最大の類似性が得られた追尾枠の中心位置に、第２のフレーム画像における追尾対象領域の中心位置が存在すると判断する。第２のフレーム画像に対する探索領域は、第１のフレーム画像における追尾対象の位置を基準にして設定される。通常、その探索領域は、第１のフレーム画像における追尾対象の位置を中心とする矩形領域とされ、探索領域の大きさ（画像サイズ）は、フレーム画像の全画像領域の大きさよりも小さい。
フレーム画像上における追尾対象の大きさは、追尾対象と撮像装置１との間における、実空間上の距離の変化などに起因して変化する。このため、フレーム画像上における追尾対象の大きさに応じて上記の追尾枠の大きさを適切に変更していく必要があるが、この変更は、公知の追尾アルゴリズムで用いられる被写体サイズ検出方法を用いることによって実現される。例えば、フレーム画像において、追尾対象が存在すると予想される点から十分に離れた点に背景が現れていると考え、前者の点及び後者の点における画像特徴から前者の点及び後者の点間に配置された各画素が背景及び追尾対象の何れに属するかを分類していく。画像特徴は、輝度情報及び色情報を含む。この分類によって追尾対象の輪郭が推定される。尚、公知の輪郭抽出処理によって追尾対象の輪郭を推定するようにしてもよい。そして、その輪郭から追尾対象の大きさを推定し、この推定された大きさに応じて追尾枠の大きさを設定する。
追尾枠の大きさは追尾対象領域となるべき画像領域の大きさを表しているのであるから、追尾枠の大きさの設定によって、フレーム画像における追尾対象の大きさが検出される（換言すれば、追尾対象領域の大きさが検出される）。このため、上記の追尾処理によって、各フレーム画像における追尾対象の位置及び大きさが検出されることとなる。検出された位置及び大きさを表す情報（換言すれば、追尾対象領域の位置及び大きさを表す情報）を含む追尾結果情報は、必要分だけ、バッファメモリ５４に一時的に記憶される。バッファメモリ５４に記憶された追尾結果情報は、必要に応じて、スケール変換部５２及び画像合成部５３に与えられる。
尚、フレーム画像上の追尾対象の位置及び大きさを推定する方法として、上述した方法と異なる他の任意の方法（例えば、特開２００４−９４６８０号公報に記載された方法や特開２００９−３８７７７号公報に記載された方法）を採用することも可能である。
スケール変換部５２は、追尾結果情報に基づき、注目フレーム画像に対してスケール変換を施す。ここにおけるスケール変換とは、画像を拡大するための線形変換又は画像を縮小するための線形変換である。画像を拡大するための線形変換は、一般的にデジタルズームとも呼ばれる。スケール変換は、補間を用いた再標本化によって実現される。詳細は後述するが、スケール変換部５２は、ｎ種類の拡大率又はｎ種類の縮小率を用いたスケール変換を注目フレーム画像に対して施し、これによって第１〜第ｎのスケール変換画像を生成する。ここで、ｎは、２以上の整数である。
以下、画像を拡大するためのスケール変換を特に拡大スケール変換と呼び、画像を縮小するためのスケール変換を特に縮小スケール変換と呼ぶ。拡大スケール変換において、画像の水平方向の拡大率と画像の垂直方向の拡大率は同じであるとする（即ち、画像のアスペクト比は、拡大スケール変換の前後で不変である）。縮小スケール変換においても同様である。
画像合成部５３は、追尾結果情報に基づき、第１〜第ｎのスケール変換画像と注目フレーム画像を合成することにより出力ぶれ画像を生成する。
図３及び図４を参照して、具体的な出力ぶれ画像の生成方法を説明する。図３及び図４の具体例では、スケール変換として拡大スケール変換がなされる。尚、以下の説明では、符号を付記することによって該符号に対応する名称を省略又は略記することがある。例えば、符号２０１がフレーム画像を表す符号である場合、フレーム画像２０１と画像２０１は同じものを指す。また、二次元画像上における任意の位置を、二次元画像が定義される二次元座標系上の座標値（ｘ，ｙ）にて表現する。本明細書において述べる全ての画像は、特に記述なき限り、二次元画像である。ｘ及びｙは、夫々、二次元画像の水平方向及び垂直方向における座標値を表す。また、追尾対象領域などの注目画像領域の大きさは、例えば、画像上における該注目画像領域の面積によって表現される。
連続的に撮影されたフレーム画像２０１〜２０４を想定する。フレーム画像２０１、２０２、２０３及び２０４の順番で撮影がなされたものとする。従って、画像２０３の直前に撮影された画像は画像２０２であり、画像２０３の直後に撮影された画像は画像２０４である。フレーム画像２０１〜２０４を含むフレーム画像列に対する追尾処理によって、フレーム画像２０１〜２０４からそれぞれ追尾対象領域２１１〜２１４が抽出されると共に、追尾対象領域２１１〜２１４の中心位置が夫々（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）及び（ｘ4，ｙ4）であって且つ追尾対象領域２１１〜２１４の大きさが夫々ＳＩＺＥ1、ＳＩＺＥ2、ＳＩＺＥ3及びＳＩＺＥ4であることが検出されたものとする。
図３及び図４の具体例では、時間の経過と共に追尾対象が撮像装置１に近づいてきていることに起因して、不等式「ＳＩＺＥ1＜ＳＩＺＥ2＜ＳＩＺＥ3＜ＳＩＺＥ4」が成立しているものとする。追尾対象にピントを合わせた縦方向流し撮りの効果を得るべく、ユーザが、フレーム画像２０３の取得直前に、シャッタボタン２６ｂを押下したものとする。シャッタボタン２６ｂの押下は、静止画像の撮影を指示する操作である。この場合、フレーム画像２０３が、シャッタボタン２６ｂの押下に従って撮影されるべき静止画像となる。シャッタボタン２６ｂの押下に従って撮影されるべき静止画像を、特に、基準画像（主画像）と呼ぶ。本例では、フレーム画像２０３が基準画像である。
フレーム画像２０３又は２０４の撮影後、スケール変換部５２は、追尾結果情報に含まれる追尾対象領域の大きさについての情報に基づき、フレーム画像２０３の撮影時点周辺における追尾対象領域の大きさの変化方向を判断する。例えば、不等式「ＳＩＺＥ2＜ＳＩＺＥ3」が成立する場合、該変化方向は増加方向であると判断し、不等式「ＳＩＺＥ2＞ＳＩＺＥ3」が成立する場合、該変化方向は減少方向であると判断する。或いは例えば、不等式「ＳＩＺＥ3＜ＳＩＺＥ4」が成立する場合、該変化方向は増加方向であると判断し、不等式「ＳＩＺＥ3＞ＳＩＺＥ4」が成立する場合、該変化方向は減少方向であると判断する。尚、３枚以上のフレーム画像における追尾対象領域の大きさに基づいて、上記変化方向を判断するようにしてもよい。
スケール変換部５２は、フレーム画像２０３に対して拡大スケール変換又は縮小スケール変換を択一的に施す。上記の変化方向が増加方向であると判断した場合は、拡大スケール変換をフレーム画像２０３に施し、上記の変化方向が減少方向であると判断した場合は、縮小スケール変換をフレーム画像２０３に施す。図３及び図４に示す具体例では、上記の変化方向が増加方向であるため、拡大スケール変換が選択されてフレーム画像２０３に実行される。
また、スケール変換部５２は、基準画像の撮影時点周辺における、追尾対象領域の大きさの変化量に基づいて、上限拡大率ＳＡMAX又は下限縮小率ＳＢMAXを算出する。基準画像に拡大スケール変換を施す場合は上限拡大率ＳＡMAXを算出し、基準画像に縮小スケール変換を施す場合は下限縮小率ＳＢMAXを算出する。図３及び図４に示す具体例では、基準画像であるフレーム画像２０３に対して拡大スケール変換が施されるため、上限拡大率ＳＡMAXが算出される。
上限拡大率ＳＡMAXは、ＳＡMAX＝（ＳＩＺＥ3／ＳＩＺＥ2）×ｋ、又は、ＳＡMAX＝（ＳＩＺＥ4／ＳＩＺＥ3）×ｋ、に従って算出される。不等式「ＳＩＺＥ2＞ＳＩＺＥ3」又は「ＳＩＺＥ3＞ＳＩＺＥ4」が成立する場合において算出される下限縮小率ＳＢMAXは、ＳＢMAX＝（ＳＩＺＥ3／ＳＩＺＥ2）／ｋ、又は、ＳＢMAX＝（ＳＩＺＥ4／ＳＩＺＥ3）／ｋ、に従って算出される。ここで、ｋは、予め設定された１以上の係数であり、例えば２である。尚、上限拡大率ＳＡMAX又は下限縮小率ＳＢMAXを、操作部２６等を介した、ユーザの指定に従って決定しても良い。
上限拡大率ＳＡMAXの算出後、スケール変換部５２は、等倍率より大きく且つ上限拡大率ＳＡMAX以下の拡大率を、０．０５倍刻みで設定する。例えば、上限拡大率ＳＡMAXが１．３０倍である場合、６種類の拡大率、即ち、１．０５倍、１．１０倍、１．１５倍、１．２０倍、１．２５倍及び１．３０倍の拡大率が設定される。設定した各拡大率にて基準画像に対する拡大スケール変換が実行されるため、拡大率の設定個数は、拡大スケール変換によって生成されるスケール変換画像の枚数（即ち、上記のｎの値）と合致する。拡大率の値が大きいほど、拡大スケール変換による画像の拡大度合いは大きくなる。
尚、下限縮小率ＳＢMAXが算出された場合も同様に複数の縮小率が設定される。即ち、下限縮小率ＳＢMAXを算出した場合においては、等倍率より小さく且つ下限縮小率ＳＢMAX以上の縮小率が、０．０５倍刻みで設定される。例えば、下限縮小率ＳＢMAXが０．８０倍である場合、４種類の縮小率、即ち、０．９５倍、０．９０倍、０．８５倍及び０．８０倍の縮小率が設定される。縮小率の値が小さいほど、縮小スケール変換による画像の縮小度合いは大きくなる。
今、説明の具体化のため、上限拡大率ＳＡMAXが１．１５倍以上であって且つ１．２０倍未満である場合を想定する。この場合、スケール変換部５２は、３種類の拡大率１．０５倍、１．１０倍及び１．１５倍を設定する。そして、図４に示す如く、拡大率１．０５倍にてフレーム画像２０３を拡大スケール変換することでスケール変換画像２０３Ａを生成し、拡大率１．１０倍にてフレーム画像２０３を拡大スケール変換することでスケール変換画像２０３Ｂを生成し、拡大率１．１５倍にてフレーム画像２０３を拡大スケール変換することでスケール変換画像２０３Ｃを生成する。
拡大スケール変換は、拡大スケール変換前後の画像の画像サイズ（即ち、水平及び垂直方向における画素数）が互いに同じとなるように、且つ、スケール変換画像上における追尾対象領域の中心位置がスケール変換画像の中心位置と一致するように行われる（縮小スケール変換も同様）。
具体的には、スケール変換画像２０３Ａ〜２０３Ｃは、以下のようにして生成される（図４参照）。フレーム画像２０３内に、位置（ｘ3，ｙ3）を自身の中心位置として有する矩形の抽出枠２２３を設定し、抽出枠２２３内の画像を拡大率１．０５倍で拡大スケール変換することでスケール変換画像２０３Ａを生成する。スケール変換画像２０３Ａを生成する際の抽出枠２２３の大きさは、水平及び垂直方向の夫々において、フレーム画像２０３の大きさの（１／１．０５）倍である。スケール変換画像２０３Ｂ及び２０３Ｃは、夫々、抽出枠２２３内の画像を拡大率１．１０倍及び１．１５倍で拡大スケール変換することで生成される。但し、スケール変換画像２０３Ｂを生成する際の抽出枠２２３の大きさは、水平及び垂直方向の夫々において、フレーム画像２０３の大きさの（１／１．１０）倍であり、スケール変換画像２０３Ｃを生成する際の抽出枠２２３の大きさは、水平及び垂直方向の夫々において、フレーム画像２０３の大きさの（１／１．１５）倍である。
図４において、矩形領域２１３Ａ、２１３Ｂ及び２１３Ｃは、夫々、スケール変換画像２０３Ａ、２０３Ｂ及び２０３Ｃにおける追尾対象領域を表し、位置（ｘA，ｙA）、（ｘB，ｙB）及び（ｘC，ｙC）は、夫々、追尾対象領域２１３Ａ、２１３Ｂ及び２１３Ｃの中心位置を表す。
スケール変換部５２にて生成されたｎ枚のスケール変換画像は画像合成部５３によって合成されるが、この合成に先立ち、各スケール変換画像を平行移動させるための幾何学的変換を各スケール変換画像に対して施す。この幾何学的変換を位置補正という。位置補正をスケール変換部５２にて行うようにしても良いが、本実施形態では、それを画像合成部５３で行うようにしている。
ｎ枚のスケール変換画像が第１〜第ｎのスケール変換画像から成るものとし、第ｉの拡大率を用いた拡大スケール変換にて得られるスケール変換画像が第ｉのスケール変換画像であるとする。ここで、ｉは１以上ｎ以下の整数であり、第（ｉ＋１）の拡大率は第ｉの拡大率よりも大きいとする。図３及び図４の具体例では、第１、第２及び第３の拡大率が、夫々、１．０５倍、１．１０倍及び１．１５倍である。
画像合成部５３は、第１のスケール変換画像上における追尾対象領域の中心位置が基準画像の直前に撮影されたフレーム画像上における追尾対象領域の中心位置（ｘS，ｙS）と一致するように、且つ、第ｎのスケール変換画像上における追尾対象領域の中心位置が基準画像上における追尾対象領域の中心位置（ｘT，ｙT）と一致するように、第１及び第ｎのスケール変換画像に対して位置補正を行う。
第ｉのスケール変換画像に対する位置補正は、変数ｉが１からｎに向かって増大するにつれて、位置補正後の追尾対象領域の中心位置が、位置（ｘS，ｙS）から位置（ｘT，ｙT）に向かって線形的に変化していくようになされる。従って、第２、第３、・・・、第（ｎ−１）のスケール変換画像上における追尾対象領域の中心位置が、夫々、位置（ｘS＋１×（ｘT−ｘS）／（ｎ−１），ｙS＋１×（ｙT−ｙS）／（ｎ−１））、（ｘS＋２×（ｘT−ｘS）／（ｎ−１），ｙS＋２×（ｙT−ｙS）／（ｎ−１））、・・・、（ｘS＋（ｎ−２）×（ｘT−ｘS）／（ｎ−１），ｙS＋（ｎ−２）×（ｙT−ｙS）／（ｎ−１））と一致するように、第２〜第（ｎ−１）のスケール変換画像に対する位置補正がなされる。
図３及び図４の具体例では、位置（ｘS，ｙS）及び（ｘT，ｙT）はそれぞれ位置（ｘ2，ｙ2）及び（ｘ3，ｙ3）であり、位置補正前の第１、第２及び第３のスケール変換画像は、それぞれ画像２０３Ａ、２０３Ｂ及び２０３Ｃである。位置補正後の第１、第２及び第３のスケール変換画像を、夫々、符号２０３Ａ’、２０３Ｂ’及び２０３Ｃ’にて表す。そうすると、位置（ｘA，ｙA）における画素を位置（ｘ2，ｙ2）における画素へと平行移動させる位置補正を画像２０３Ａに施すことで画像２０３Ａ’が得られ、位置（ｘB，ｙB）における画素を位置（（ｘ2＋ｘ3）／２，（ｙ2＋ｙ3）／２）における画素へと平行移動させる位置補正を画像２０３Ｂに施すことで画像２０３Ｂ’が得られ、位置（ｘC，ｙC）における画素を位置（ｘ3，ｙ3）における画素へと平行移動させる位置補正を画像２０３Ｃに施すことで画像２０３Ｃ’が得られる。図４において、矩形領域２１３Ａ’、２１３Ｂ’及び２１３Ｃ’は、夫々、位置補正後のスケール変換画像２０３Ａ’、２０３Ｂ’及び２０３Ｃ’における追尾対象領域を表している。
尚、上述の例では、スケール変換後に位置補正のための幾何学的変換を実行しているが、位置補正のための幾何学的変換をスケール変換のための線形変換に含めておくことで、フレーム画像２０３から、直接、スケール変換画像２０３Ａ’、２０３Ｂ’及び２０３Ｃ’を生成するようにしてもよい。
画像合成部５３は、位置補正後の第１〜第ｎのスケール変換画像を合成することにより中間合成画像を生成する。この合成は、同一の位置に配置された画素の画素信号を、位置補正後の第１〜第ｎのスケール変換画像間で混合することにより行われる。このような合成は、一般にアルファブレンディングとも呼ばれる。
図３及び図４の具体例では、スケール変換画像２０３Ａ’、２０３Ｂ’及び２０３Ｃ’を合成することで中間合成画像２３０が得られる。中間合成画像２３０における位置（ｘ3，ｙ3）の画素信号は、画像２０３Ａ’、２０３Ｂ’及び２０３Ｃ’における位置（ｘ3，ｙ3）の画素信号を単純平均することで或いは重み付け平均することで生成される。位置（ｘ3，ｙ3）以外の画素信号についても同様である。
この後、画像合成部５３は、フレーム画像２０３の追尾対象領域２１３内における画像を、中間合成画像２３０に嵌め込み合成することによって出力ぶれ画像２４０を生成する。この嵌め込み合成は、追尾対象領域２１３上における中心位置（ｘ3，ｙ3）を中間合成画像２３０上における位置（ｘ3，ｙ3）と一致させた状態で行われ、中間合成画像２３０内の位置（ｘ3，ｙ3）を中心とする一部画像が追尾対象領域２１３内の画像に置き換えられることで、出力ぶれ画像２４０が生成される。従って、出力ぶれ画像２４０の位置（ｘ3，ｙ3）には、フレーム画像２０３の位置（ｘ3，ｙ3）の画像データが存在することとなる。
尚、フレーム画像２０３上における追尾対象領域２１３の位置（ｘ3，ｙ3）によっては、抽出枠２２３の一部がフレーム画像２０３の外形枠からはみ出すこともある。はみ出した部分の画像領域には、撮影に基づく画像データが存在しない。また、上述の位置補正によって得られる画像２０３Ａ’〜 ２０３Ｃ’間において、互いに対応し合う画素が存在しないこともある。互いに対応し合う画素が存在しない画像領域に対しては、上述の画素信号の混合を行うことができない。画素信号の混合によって中間合成画像を生成する際、画像データが存在しない画像領域及びスケール変換画像間で互いに対応し合う画素が存在しない画像領域を無視することができる。この場合、中間合成画像及び出力ぶれ画像における視野は、基準画像のそれよりも若干小さくなる。
図５〜図８に、図３及び図４に対応する画像群の例を示す。図５の画像２５３は、基準画像としてのフレーム画像２０３の例であり、図６（ａ）〜（ｃ）の画像２５３Ａ〜２５３Ｃは、夫々、スケール変換画像２０３Ａ〜２０３Ｃの例である。図５において、矩形２６３内の領域は画像２５３における追尾対象領域を表し、図６（ａ）〜（ｃ）において、矩形２６３Ａ〜２６３Ｃ内の領域は画像２５３Ａ〜２５３Ｃにおける追尾対象領域を表す。図７の画像２８０は、画像２５３Ａ〜２５３Ｃに基づく中間合成画像であり、図８の画像２９０は、中間合成画像２８０と基準画像２５３に基づく出力ぶれ画像である。
複数の拡大率を用いて得られた複数のスケール変換画像の合成により、中間合成画像２８０では、全画像領域にわたって、追尾対象領域の中心から外側に向かうぶれが生じている。この中間合成画像２８０に、ぶれのない追尾対象領域２６３内の画像を嵌め込むことで、ぶれが背景領域にのみ残存し且つ追尾対象にピントが合った、臨場感のある出力ぶれ画像２９０が得られる。上述の処理内容を、以下のように表現することもできる。スケール変換画像２５３Ａ〜２５３Ｃの合成結果を基準画像２５３の背景領域内の画像に適用することで、基準画像２５３の背景領域内の画像に、追尾対象領域の中心から外側に向かうぶれを生じさせ、これによって出力ぶれ画像２９０を生成する。
拡大スケール変換が行われる場合の動作を主として説明したが、縮小スケール変換が行われる場合も同様の動作が行われる。即ち、縮小スケール変換が行われる場合、縮小スケール変換によって生成された第１〜第ｎのスケール変換画像に対して、上述の同様の位置補正が行われる。但し、縮小スケール変換が行われる場合においては、第ｉの縮小率を用いた縮小スケール変換にて得られたスケール変換画像が第ｉのスケール変換画像であるとする。ここで、ｉは１以上ｎ以下の整数であり、第（ｉ＋１）の縮小率は第ｉの縮小率よりも小さいとする。例えば、ｎ＝３の場合、第１、第２及び第３の縮小率は、夫々、０．９５倍、０．９０倍及び０．８５倍である。画像合成部５３は、縮小スケール変換及び位置補正を用いて得られた第１〜第ｎのスケール変換画像を合成することにより中間合成画像を生成し、この中間合成画像に、基準画像の追尾対象領域内における画像を嵌め込み合成することで出力ぶれ画像を生成する。中間合成画像を生成するための合成方法及び嵌め込み合成の方法は、上述したものと同様である。
次に、図９を参照して、撮影モードにおいて出力ぶれ画像を生成する動作の流れを説明する。図９は、この動作の流れを表すフローチャートである。但し、図９のフローチャートに対応する動作並びに後述の図１０及び図１１のフローチャートに対応する動作は、スケール変換として拡大スケール変換がなされ且つ上限拡大率ＳＡMAXが追尾結果情報に基づいて導出されることを前提とする。
まず、ステップＳ１１において、撮像部１１の撮影によって今回のフレーム画像が取得される。続くステップＳ１２において、今回のフレーム画像に対して追尾処理を行うことで追尾結果情報が得られ、その追尾結果情報はバッファメモリ５４に保存される（記憶される）。その後、ステップＳ１３において、ＣＰＵ２３は、シャッタボタン２６ｂが押下されたか否かを判断する。シャッタボタン２６ｂが押下された場合は、シャッタボタン２６ｂの押下直後に得られた最新のフレーム画像が基準画像（主画像）として決定された上で（ステップＳ１４）、以後、ステップＳ１５〜Ｓ２０の処理が順次実行される。一方、シャッタボタン２６ｂが押下されていない場合は、ステップＳ１１に戻り、ステップＳ１１〜Ｓ１３の処理が繰り返し実行される。
ステップＳ１５において、スケール変換部５２は、基準画像を含む隣接フレーム画像間における追尾対象領域の大きさの変化量（図３の例における（ＳＩＺＥ3／ＳＩＺＥ2）又は（ＳＩＺＥ4／ＳＩＺＥ3）に対応）に基づき上限拡大率ＳＡMAXを算出し、更に上限拡大率ＳＡMAXに基づいて第１〜第ｎの拡大率を設定する。そして、ステップＳ１６において、第１〜第ｎの拡大率を用いた拡大スケール変換を基準画像に対して施すことで第１〜第ｎのスケール変換画像を生成する。得られた第１〜第ｎのスケール変換画像に対して上述の位置補正が施され、ステップＳ１７において、画像合成部５３が、位置補正後の第１〜第ｎのスケール変換画像を合成することにより中間合成画像を生成する。その後、ステップＳ１８において、基準画像の追尾対象領域内の画像を中間合成画像に嵌め込み合成することによって出力ぶれ画像を生成する。
生成された出力ぶれ画像の画像データは、ステップＳ１９において、外部メモリ１８に記録される。この際、基準画像の画像データも外部メモリ１８に記録するようにしてもよい。画像データの記録後、撮影の終了を指示する操作があったならば、図９の動作を終了し、該操作がなかったならばステップＳ１１に戻ってステップＳ１１以降の処理を繰り返し実行する（ステップＳ２０）。
撮影モードにおいて出力ぶれ画像を生成するのではなく、出力ぶれ画像を生成するための画像処理を再生モードにおいて実行することも可能である。この場合は、撮影時において図１０のフローチャートに従い必要なデータを記録しておき、再生時において図１１のフローチャートに従い記録データから出力ぶれ画像を生成する。
図１０のフローチャートに従う、撮影モードにおける動作を説明する。まず、ステップＳ１１〜Ｓ１３の処理が順次実行される。それらの処理の内容は上述したものと同様である。
ステップＳ１３においてシャッタボタン２６ｂが押下された場合は、シャッタボタン２６ｂの押下直後に得られた最新のフレーム画像が基準画像（主画像）として決定されて（ステップＳ１４）、次に、ステップＳ３０の処理が実行される。一方、ステップＳ１３においてシャッタボタン２６ｂが押下されていない場合、ステップＳ３１にて、ＣＰＵ２３は、再生モードへの移行指示があったか否かを判断する。ユーザは、操作部２６に対する所定操作により該移行指示を行うことができる。再生モードへの移行指示があった場合、撮像装置１の動作モードは撮影モードから再生モードに変更され、次に、図１１に示されるステップＳ３３の処理が実行される。一方、再生モードへの移行指示がなかった場合、ステップＳ３１からステップＳ１１に戻り、ステップＳ１１〜Ｓ１３の処理が繰り返し実行される。図１１に示されるステップＳ３３の処理の説明を含む、再生モードにおける動作説明は後に設けることとし、先にステップＳ３０の処理説明を行う。
ステップ３０において、基準画像の画像データが外部メモリ１８に記録される。この際、基準画像から出力ぶれ画像を生成するために必要な情報（以下、関連記録情報という）も、基準画像の画像データに関連付けて記録しておく。関連付けの方法は任意である。例えば、外部メモリ１８内に、本体領域とヘッダ領域とを有する画像ファイルを作成し、該画像ファイルの本体領域に基準画像の画像データを格納する一方で関連記録情報を該画像ファイルのヘッダ領域に格納しておけばよい。同一の画像ファイル内の本体領域とヘッダ領域は互いに関連付けられた記録領域であるため、このような格納によって基準画像の画像データと関連記録情報は関連付けられる。
関連記録情報に含めるべき情報は、バッファメモリ５４に記憶されている、基準画像としてのフレーム画像及びそれと時間的に隣接するフレーム画像についての追尾結果情報、又は、その追尾結果情報に基づく情報である。基準画像が上述のフレーム画像２０３である場合においては、例えば、フレーム画像２０２及び２０３の追尾結果情報を関連記録情報に含めればよい。
ステップＳ３０における記録処理の後、撮影の終了を指示する操作があったならば、図１０の動作を終了し、該操作がなかったならばステップＳ１１に戻ってステップＳ１１以降の処理を繰り返し実行する（ステップＳ３２）。
図１１のフローチャートに従う、再生モードにおける動作を説明する。図１０のステップＳ３１から移行するステップＳ３３において、外部メモリ１８から基準画像の画像データが読み込まれる。読み込まれた基準画像の画像データは、図２のスケール変換部５２及び画像合成部５３に与えられると共に図１の表示処理部２０を介して表示部２７に与えられ、ステップＳ３４において、基準画像が表示部２７に表示される。
その後、ステップＳ３５において、ＣＰＵ２３は、出力ぶれ画像に相当する縦方向流し撮り画像の生成指示があったか否かを判断する。ユーザは、操作部２６に対する所定操作により該生成指示を行うことができる。その生成指示がなかった場合は、ステップＳ３４に戻るが、その生成指示があった場合は、ステップＳ１５〜Ｓ１８の処理が順次実行される。
ステップＳ１５〜Ｓ１８の処理内容は、図９を参照して上述したそれらと同様である。但し、再生モードにおいてステップＳ１５〜Ｓ１８の処理を実行するために必要な追尾結果情報は、外部メモリ１８に記録された関連記録情報から取得される。尚、図１０及び図１１に示す動作例では、再生モードにおいて上限拡大率ＳＡMAXの算出及び第１〜第ｎの拡大率の設定がなされているが、図１０のステップＳ３０の段階で上限拡大率ＳＡMAXを算出して上限拡大率ＳＡMAXを関連記録情報に含めておくようにしても良いし、図１０のステップＳ３０の段階で第１〜第ｎの拡大率を設定して第１〜第ｎの拡大率を関連記録情報に含めておくようにしても良い。
図１１のステップＳ１８にて生成された出力ぶれ画像の画像データは、ステップＳ３６において、外部メモリ１８に記録される。この際、基準画像の画像データを消去した上で出力ぶれ画像の画像データを外部メモリ１８に記録するようにしても良いし、該消去を行うことなく出力ぶれ画像の画像データを外部メモリ１８に記録するようにしても良い。また、生成された出力ぶれ画像は表示部２７に表示される（ステップＳ３７）。仮に、上限拡大率ＳＡMAXを変更するための操作がユーザによりなされた場合は、変更後の上限拡大率ＳＡMAXを用いて出力ぶれ画像の生成をやり直すようにしてもよい。これにより、映像を確認しながら、ユーザが望むように、縦方向流し撮りの効果を最適化することが可能となる。
尚、図９〜図１１に示す動作例では、上限拡大率ＳＡMAXが追尾対象領域の大きさの変化量に基づいて算出されているが、上述したように、上限拡大率ＳＡMAXをユーザが指定することも可能である。また、図９〜図１１に示す動作例では、スケール変換として拡大スケール変換がなされる場合が想定されているが、縮小スケール変換がなされる場合の動作も同様である。
本実施形態によれば、特別な撮影技術及び特別な機材を要することなく、縦方向流し撮りの効果を持った臨場感のある画像を簡単に取得することが可能となる。
＜＜第２実施形態＞＞
本発明の第２実施形態に係る撮像装置を説明する。第２実施形態に係る撮像装置の全体的な構成は、図１に示されるそれと同じである。従って、第２実施形態に係る撮像装置も、符号１によって参照する。第２実施形態は、第１実施形態の一部を変形したものに相当する。第２実施形態において、特に述べない事項に関しては、第１実施形態の記載が第２実施形態にも適用される。
第２実施形態では、複数のスケール変換画像の合成を行う代わりに、追尾対象領域の大きさ変化及び位置変化に応じたフィルタリングを基準画像に行うことで、背景領域にぶれを生じさせる。
図１２に、第２実施形態に係る出力ぶれ画像を生成するための部位のブロック図を示す。図１２に示される追尾処理部５１及びバッファメモリ５４は、図２に示されるそれらと同じものである。図１２の追尾処理部５１、画像劣化関数導出部６２及びフィルタリング処理部６３を、図１の映像信号処理部１３に設けておくことができる。撮像部１１の撮影によって得られたフレーム画像の画像データは、追尾処理部５１及びフィルタリング処理部６３に与えられる。
画像劣化関数導出部６２（以下、導出部６２と略記する）は、バッファメモリ５４に記憶された追尾結果情報に基づき、縦方向流し撮り効果を得るためにフレーム画像に作用させるべき画像劣化関数を導出する。フィルタリング処理部６３において、この画像劣化関数に応じたフィルタリングをフレーム画像に施すことで、出力ぶれ画像を生成する。
第１実施形態と同様、図３に示すフレーム画像２０１〜２０４が撮影されたことを想定して、導出部６２及びフィルタリング処理部６３の動作を詳説する。第１実施形態と同様に、フレーム画像２０３が、シャッタボタン２６ｂの押下に従って撮影されるべき静止画像、即ち基準画像（主画像）であるとする。
導出部６２では、任意のフレーム画像が被演算画像として取り扱われる。そして、図１３に示す如く、被演算画像の全画像領域が水平方向及び垂直方向に複数に分割されることで被演算画像内に複数の小ブロックが設定される。今、水平方向及ぶ垂直方向の分割数を夫々Ｐ及びＱとする（Ｐ及びＱは２以上の整数）。各小ブロックは、二次元配列された複数の画素から形成される。また、被演算画像内の小ブロックの水平位置及び垂直位置を表す記号としてｐ及びｑを導入する（ｐは１≦ｐ≦Ｐを満たす整数値、且つ、ｑは１≦ｑ≦Ｑを満たす整数値）。ｐが大きくなるほど、その水平位置は右方向に向かい、ｑが大きくなるほど、その垂直位置は下方向に向かうものとする。水平位置がｐであって垂直位置がｑである小ブロックを小ブロック［ｐ，ｑ］と表記する。
導出部６２は、基準画像を含む隣接フレーム画像間における追尾対象領域の大きさの変化量及び位置の変化量に基づき、小ブロックごとに画像劣化関数を導出する。本例では、フレーム画像２０３が基準画像であるため、具体的には例えば、フレーム画像２０２及び２０３間における追尾対象領域の大きさの変化量及び位置の変化量に基づいて、各ブロックの画像劣化関数を導出することができる。
図１４（ａ）及び（ｂ）に示す如く、クレーム画像２０２及び２０３に設定された追尾対象領域２１２及び２１３が矩形領域であるものとし、追尾対象領域２１２の外形である矩形の４頂点の位置を（ｘ2A，ｙ2A）、（ｘ2B，ｙ2B）、（ｘ2C，ｙ2C）及び（ｘ2D，ｙ2D）によって表すと共に、追尾対象領域２１３の外形である矩形の４頂点の位置を（ｘ3A，ｙ3A）、（ｘ3B，ｙ3B）、（ｘ3C，ｙ3C）及び（ｘ3D，ｙ3D）によって表す。但し、ｘ2A＝ｘ2D＜ｘ2B＝ｘ2C、ｙ2A＝ｙ2B＜ｙ2D＝ｙ2C、ｘ3A＝ｘ3D＜ｘ3B＝ｘ3C、ｙ3A＝ｙ3B＜ｙ3D＝ｙ3C、であるとする。図１４（ａ）及び（ｂ）の左から右へ向かう方向はｘ座標値の増加方向に対応し、図１４（ａ）及び（ｂ）の上から下へ向かう方向はｙ座標値の増加方向に対応する。これらの頂点の位置も、追尾結果情報に含まれている。
導出部６２は、追尾対象領域２１２の４頂点の位置及び追尾対象領域２１３の４頂点の位置から各ブロックの画像劣化関数を導出することができる。追尾対象領域の４頂点の位置が分かれば、自動的に追尾対象領域の大きさが決まるため、追尾対象領域の４頂点の位置は追尾対象領域の大きさを表す情報を含んでいると言える。従って、追尾対象領域２１２の４頂点の位置及び追尾対象領域２１３の４頂点の位置は、フレーム画像２０２及び２０３間における追尾対象領域の位置の変化量だけでなく、フレーム画像２０２及び２０３間における追尾対象領域の大きさの変化量をも表していると言える。
図１５は、フレーム画像２０３上に、フレーム画像２０３における追尾対象領域２１３とフレーム画像２０２における追尾対象領域２１２を重畳図示したものである。ベクトルＶＥＣAは位置（ｘ2A，ｙ2A）を始点とし且つ位置（ｘ3A，ｙ3A）を終点とするベクトルであり、ベクトルＶＥＣBは位置（ｘ2B，ｙ2B）を始点とし且つ位置（ｘ3B，ｙ3B）を終点とするベクトルであり、ベクトルＶＥＣCは位置（ｘ2C，ｙ2C）を始点とし且つ位置（ｘ3C，ｙ3C）を終点とするベクトルであり、ベクトルＶＥＣDは位置（ｘ2D，ｙ2D）を始点とし且つ位置（ｘ3D，ｙ3D）を終点とするベクトルである。
導出部６２は、小ブロックごとに画像劣化ベクトルを求める。不等式「ＳＩＺＥ2＜ＳＩＺＥ3」又は「ＳＩＺＥ3＜ＳＩＺＥ4」が成立し、フレーム画像２０３の撮影時点周辺における追尾対象領域の大きさの変化方向が増加方向である場合においては、小ブロック［ｐ，ｑ］に対して、追尾対象領域２１３の中心位置（ｘ3，ｙ3）から当該小ブロック［ｐ，ｑ］の中心位置に向かう向き又はそれと略同じ向きを持った画像劣化ベクトルが求められる。一方、該変化方向が減少方向である場合においては、小ブロック［ｐ，ｑ］に対して、当該小ブロック［ｐ，ｑ］の中心位置から追尾対象領域２１３の中心位置（ｘ3，ｙ3）に向かう向き又はそれと略同じ向きを持った画像劣化ベクトルが求められる。小ブロック［ｐ，ｑ］に対する画像劣化ベクトルをＶ［ｐ，ｑ］にて表す。
各画像劣化ベクトルの大きさを、ベクトルＶＥＣA、ＶＥＣB、ＶＥＣC及びＶＥＣDに基づいて決定することができる。
具体的には例えば、画像劣化ベクトルの大きさを決定するために、図１６に示す如く、フレーム画像２０３の全画像領域を位置（ｘ3，ｙ3）を通る水平線３０１及び垂直線３０２で４分割することで、４つの画像領域３１１〜３１４を設定する。水平線３０１及び垂直線３０２は、夫々、フレーム画像２０３の水平方向及び垂直方向に平行な線である。画像領域３１１、３１２、３１３及び３１４は、夫々、位置（ｘ3A，ｙ3A）における画素、位置（ｘ3B，ｙ3B）における画素、位置（ｘ3C，ｙ3C）における画素及び位置（ｘ3D，ｙ3D）における画素を内包する、フレーム画像２０３の一部画像領域である。画像領域３１１は水平線３０１の上側且つ垂直線３０２の左側に位置し、画像領域３１２は水平線３０１の上側且つ垂直線３０２の右側に位置し、画像領域３１３は水平線３０１の下側且つ垂直線３０２の右側に位置し、画像領域３１４は水平線３０１の下側且つ垂直線３０２の左側に位置する。
そして例えば、画像領域３１１、３１２、３１３及び３１４に属する小ブロックについての画像劣化ベクトルの大きさを、夫々、ベクトルＶＥＣA、ＶＥＣB、ＶＥＣC及びＶＥＣDの大きさに基づいて決定する。
単純には例えば、画像領域３１１、３１２、３１３及び３１４に属する小ブロックについての画像劣化ベクトルの大きさを、ベクトルＶＥＣA、ＶＥＣB、ＶＥＣC及びＶＥＣDの大きさと一致させる。
或いは例えば、位置（ｘ3，ｙ3）からの距離が大きくなるにつれて、画像劣化ベクトルの大きさを増大させるようにしてもよい。つまり、画像領域３１１に属する任意の小ブロックに注目した場合、注目小ブロックの中心位置と位置（ｘ3，ｙ3）との距離ｄｉｓが増大するにつれて、注目小ブロックの画像劣化ベクトルの大きさ｜Ｖ｜を、ベクトルＶＥＣAの大きさ｜ＶＥＣA｜を基準としつつ増大させるようにしてもよい。例えば、｜Ｖ｜＝ｋ1×｜ＶＥＣA｜＋ｋ2×｜ＶＥＣA｜×ｄｉｓ、に従って大きさ｜Ｖ｜を求める（ｋ1及びｋ2は、所定の正の係数）。画像領域３１２〜３１４に属する小ブロックの画像劣化ベクトルについても同様である。但し、画像領域３１２〜３１４に属する小ブロックの画像劣化ベクトルの大きさは、夫々、ベクトルＶＥＣB、ＶＥＣC及びＶＥＣDの大きさを基準として決定される。
図１７（ａ）は、基準画像の撮影時点周辺における追尾対象領域の大きさの変化方向が増加方向である場合において導出される各画像劣化ベクトルを、基準画像の例である画像４０１に重畳して示した図である。図１７（ｂ）は、基準画像の撮影時点周辺における追尾対象領域の大きさの変化方向が減少方向である場合において導出される各画像劣化ベクトルを、基準画像の例である画像４０２に重畳して示した図である。図１７（ａ）における矩形領域４１１は、画像４０１の追尾対象領域そのもの又は画像４０１の追尾対象領域に包含される領域であり、図１７（ｂ）における矩形領域４１２は、画像４０２の追尾対象領域そのもの又は画像４０２の追尾対象領域に包含される領域である。後にも述べられるが、出力ぶれ画像を生成するに当たり、領域４１１及び４１２内の画像を劣化させる必要はないため、領域４１１及び４１２に対して画像劣化ベクトルは算出されない。
画像劣化ベクトルの算出がなされない小ブロックを、特に被写体ブロックと呼び、それ以外の小ブロックを特に背景ブロックと呼ぶ。上述の説明から理解されるように、被写体ブロックには、追尾対象を表す画像データが存在している。背景ブロックには主として背景の画像データが存在することになるが、追尾対象領域近傍の背景ブロックには、追尾対象の端部を表す画像データが存在しうる。
従って例えば、フレーム画像２０３の追尾対象領域２１３が、小ブロック［８，６］、［９，６］、［８，７］及び［９，７］の合成領域と一致しているならば、或いは、該合成領域を包含し且つ該合成領域よりも若干大きい領域であるならば、小ブロック［８，６］、［９，６］、［８，７］及び［９，７］が被写体ブロックとなり、他の小ブロックが背景ブロックとなる。
フレーム画像２０３の背景ブロック［ｐ，ｑ］内の点像が、フレーム画像２０３の露光期間中に、画像劣化ベクトルＶ［ｐ，ｑ］の向きに画像劣化ベクトルＶ［ｐ，ｑ］の大きさの分だけ移動（例えば等速移動）したと仮定すると、その点像は、フレーム画像２０３内でぶれた像となる。このぶれを意図的に含ませた画像を劣化画像として捉える。そうすると、劣化画像は、画像劣化ベクトルに基づく上記点像の移動によって、フレーム画像２０３を劣化させた画像であると考えることができる。この劣化過程を表す関数は、画像劣化関数の一種である点広がり関数（Point Spread Function;以下、ＰＳＦという）である。導出部６２は、背景ブロックごとに、画像劣化ベクトルに応じたＰＳＦを画像劣化関数として求める。
フィルタリング処理部６３では、背景ブロックごとに、ＰＳＦを用いた畳み込み演算を基準画像（今の例においてフレーム画像２０３）に対して行うことで出力ぶれ画像を生成する。実際には、ＰＳＦを基準画像に作用させるための二次元の空間フィルタがフィルタリング処理部６３に実装されており、導出部６２にて、背景ブロックごとに該空間フィルタのフィルタ係数をＰＳＦに応じて算出する。フィルタリング処理部６３は、算出されたフィルタ係数を用いて背景ブロックごとに基準画像を空間フィルタリングする。この空間フィルタリングによって、基準画像の背景ブロック内の画像が劣化し、基準画像の背景ブロック内の画像に上記のようなぶれが含まれることとなる。基準画像（今の例においてフレーム画像２０３）に空間フィルタリングを施すことで得られる結果画像が出力ぶれ画像として、フィルタリング処理部６３より出力される。
図１８を参照して、撮影モードにおいて出力ぶれ画像を生成する動作の流れを説明する。図１８は、この動作の流れを表すフローチャートである。図１８のフローチャートは、第１実施形態における図９のステップＳ１１〜Ｓ２０の内、ステップＳ１５〜Ｓ１８を、ステップＳ５１及びＳ５２に置き換えたものに相当する。
従って、まず、撮影モードにおいて、第１実施形態におけるものと同様のステップＳ１１〜Ｓ１４の処理が実行され、ステップＳ１４にて基準画像の決定後に、ステップＳ５１及びＳ５２の処理が実行される。ステップＳ５１では、上述の如く、導出部６２が、基準画像を含む隣接フレーム画像間における追尾対象領域の大きさの変化量及び位置の変化量に基づき、小ブロックごとに画像劣化関数を導出する。続くステップＳ５２において、フィルタリング処理部６３が、ステップＳ５２にて導出された画像劣化関数に応じたフィルタリングを基準画像に施すことで出力ぶれ画像を生成する。その後、出力ぶれ画像の画像データは、ステップＳ１９において、外部メモリ１８に記録される。この際、基準画像の画像データも外部メモリ１８に記録するようにしてもよい。画像データの記録後、撮影の終了を指示する操作があったならば、図１８の動作を終了し、該操作がなかったならばステップＳ１１に戻ってステップＳ１１以降の処理を繰り返し実行する（ステップＳ２０）。
図９の動作を図１０及び図１１の動作に変更するのと同様に、撮影モードにおいて出力ぶれ画像を生成するのではなく、出力ぶれ画像を生成するための画像処理を再生モードにおいて実行することも可能である。この場合は、撮影モードにおいて、基準画像の画像データと基準画像から出力ぶれ画像を生成するために必要な関連記録情報を互いに関連付けで外部メモリ１８に記録しておき、再生モードにおいて、外部メモリ１８から該関連記録情報を基準画像の画像データと共に読み出して導出部６２及びフィルタリング処理部６３に与えればよい。
関連記録情報の形態は、それを用いて出力ぶれ画像が生成できる限り、任意である。例えば、フレーム画像２０３が基準画像である場合、第２実施形態における関連記録情報は、フレーム画像２０２及び２０３の追尾結果情報そのものであっても良いし、その追尾結果情報から求めた画像劣化ベクトルを表す情報であっても良いし、その画像劣化ベクトルに応じた上記フィルタ係数を表す情報であっても良い。
第２実施形態によっても、第１実施形態と同様の効果を得ることができる。
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。外部メモリ１８の記録データに基づいて基準画像から出力ぶれ画像を生成する画像処理を、撮像装置と異なる電子機器にて実現することも可能である（撮像装置も電子機器の一種である）。撮像装置と異なる電子機器とは、例えば、表示部２７と同様の表示部を備え、該表示部上に任意の画像を表示することのできる、パーソナルコンピュータ等の画像再生装置（不図示）である。
この場合、第１又は第２実施形態で述べたように、撮像装置１の撮影モードにおいて基準画像の画像データ及び関連記録情報を外部メモリ１８に互いに関連付けて記録しておく。一方で、例えば、上記画像再生装置に図２のスケール変換部５２及び画像合成部５３を設けておき、外部メモリ１８に記録された基準画像の画像データ及び関連記録情報を画像再生装置内のスケール変換部５２及び画像合成部５３に与えることで出力ぶれ画像を生成することができる。或いは例えば、上記画像再生装置に図１２の導出部６２及びフィルタリング処理部６３を設けておき、外部メモリ１８に記録された基準画像の画像データ及び関連記録情報を画像再生装置内の導出部６２及びフィルタリング処理部６３に与えることで出力ぶれ画像を生成することができる。画像再生装置にて生成された出力ぶれ画像を、画像再生装置の表示部上に表示することができる。
＜＜第４実施形態＞＞
本発明の第４実施形態に係る撮像装置を説明する。第４実施形態に係る撮像装置の全体的な構成は、図１に示されるそれと同じである。従って、第４実施形態に係る撮像装置も、符号１によって参照する。第４実施形態は、第１実施形態の一部を変形したものに相当する。第４実施形態において、特に述べない事項に関しては、第１実施形態の記載が第４実施形態にも適用される。
第４及び後述の第５実施形態に係る撮像装置１は、第１実施形態において得られるものと同等又は類似の出力ぶれ画像を対象入力画像から生成することができる。対象入力画像とは、シャッタボタン２６ｂの押下に従って撮像部１１により撮影される静止画像、或いは、ユーザにより指定された任意の静止画像である。対象入力画像としての静止画像の画像データを内部メモリ１７又は外部メモリ１８に記録しておき、必要なときにそれを読み出すことができる。対象入力画像は、第１実施形態における基準画像（主画像）に相当する。
第４実施形態に係る撮像装置１には、図１９のスケール変換部５２及び画像合成部５３が備えられており、それらは図２に示されるものと同じものである。図２０を参照して、第４実施形態に係る出力ぶれ画像を生成する動作の流れを説明する。図２０は、この動作の流れを表すフローチャートである。ステップＳ１０１〜Ｓ１０７の処理が順次実行される。ステップＳ１０１〜Ｓ１０７の処理は、撮影モードにおいて実行されても良いし、再生モードにおいて実行されても良い。ステップＳ１０１〜Ｓ１０７の処理の内、一部の処理を撮影モードにおいて実行し、残りの処理を再生モードにおいて実行するようにしても良い。
まず、ステップＳ１０１において、対象入力画像の画像データが取得される。撮影モードにおいてステップＳ１０１を実行する場合、対象入力画像は、ステップＳ１０１の直前に成されたシャッタボタン２６ｂの押下に従って得られる１枚のフレーム画像であり、再生モードにおいてステップＳ１０１を実行する場合、対象入力画像は、外部メモリ１８或は他の任意の記録媒体（不図示）から読み出された１枚の静止画像である。
次に、ステップＳ１０２において、ＣＰＵ２３はぶれ基準領域を設定し、その設定結果をスケール変換部５２に与える（図１９参照）。ぶれ基準領域は、対象入力画像の全画像領域の一部であり、ステップＳ１０２において、ぶれ基準領域の中心位置及び大きさが設定される。今、ステップＳ１０１にて取得される対象入力画像が図２１の画像５０３であるとする。対象入力画像５０３は図３のフレーム画像２０３に対応するものである、と考えることができる。図２１において、矩形領域５１３は対象入力画像５０３に設定されたぶれ基準領域であり、ぶれ基準領域５１３の中心位置を（ｘ3’，ｙ3’）にて表す。
ユーザは、所定の中心位置設定操作を撮像装置１に成すことで中心位置（ｘ3’，ｙ3’）を自由に指定することができると共に、所定の大きさ設定操作を撮像装置１に成すことでぶれ基準領域５１３の大きさ（水平及び垂直方向の大きさ）を自由に指定することができる。中心位置設定操作及び大きさ設定操作は、操作部２６に対する操作であっても良いし、表示部２７にタッチパネルが備えられている場合には、そのタッチパネル対する操作であっても良い。タッチパネルを用いた操作の実現には操作部２６も関与しており、本実施形態において、操作部２６に対する操作とはタッチパネルを用いた操作をも含んでいるものとする（上述又は後述の他の実施形態においても同様）。また、ユーザは、操作部２６に対する所定操作によってぶれ基準領域の形状をも自由に指定することができる。ぶれ基準領域５１３の形状は矩形でなくても構わないが、今、それは矩形であるとする。
ぶれ基準領域５１３の中心位置、大きさ及び形状の全部又は一部を指定する操作が操作部２６に対して成された場合は、その操作内容に従ってぶれ基準領域５１３を設定することができる。但し、ぶれ基準領域５１３の中心位置は予め固定的に定められた位置（例えば、対象入力画像５０３の中心位置）であっても良い。同様に、ぶれ基準領域５１３の大きさ及び形状は、予め固定的に定められた大きさ及び形状であっても良い。
図１９のスケール変換部５２には、ぶれ基準領域５１３を規定する情報に加えて、ぶれ量を規定する情報が与えられている。ぶれ量は、第１実施形態における「追尾対象領域の大きさの変化量」に対応する量であり、出力ぶれ画像上のぶれの大きさに影響を与える。ユーザは操作部２６を介してぶれ量を自由に指定することができる。或いは、ぶれ量は予め固定的に定められた量であっても良い。ぶれ量が定まれば、上限拡大率ＳＡMAXが自動的に定まる。従って、第４実施形態における上限拡大率ＳＡMAXはユーザによって指定される或いは予め固定的に定められていると言え、上限拡大率ＳＡMAXそのものがぶれ量であると捉えても構わない。
ステップＳ１０３において、スケール変換部５２は、与えられたぶれ量から上限拡大率ＳＡMAXを設定すると共に、上限拡大率ＳＡMAXに基づいて第１〜第ｎの拡大率を設定する。上限拡大率ＳＡMAX及び第１〜第ｎの拡大率の意義は第１実施形態で述べた通りである。
第１〜第ｎの拡大率の設定後、ステップＳ１０４〜Ｓ１０７の処理により、対象入力画像５０３に基づく出力ぶれ画像５４０が生成される。この生成方法を、図２２を参照して説明する。
今、説明の具体化のため、上限拡大率ＳＡMAXが１．１５倍以上であって且つ１．２０倍未満である場合を想定する。この場合、スケール変換部５２は、３種類の拡大率１．０５倍、１．１０倍及び１．１５倍を設定する。そして、図２２に示す如く、拡大率１．０５倍にて対象入力画像５０３を拡大スケール変換することでスケール変換画像５０３Ａを生成し、拡大率１．１０倍にて対象入力画像５０３を拡大スケール変換することでスケール変換画像５０３Ｂを生成し、拡大率１．１５倍にて対象入力画像５０３を拡大スケール変換することでスケール変換画像５０３Ｃを生成する。
スケール変換画像５０３Ａ、５０３Ｂ及び５０３Ｃを生成するための拡大スケール変換は、対象入力画像５０３の中心Ｏを基準として行われる。即ち、中心Ｏに自身の中心が配置された矩形の抽出枠５２３を対象入力画像５０３内に設定し、抽出枠５２３内の画像を拡大率１．０５倍で拡大スケール変換することでスケール変換画像５０３Ａを生成する。スケール変換画像５０３Ａを生成する際の抽出枠５２３の大きさは、水平及び垂直方向の夫々において、対象入力画像５０３の大きさの（１／１．０５）倍である。スケール変換画像５０３Ｂ及び５０３Ｃは、夫々、抽出枠５２３内の画像を拡大率１．１０倍及び１．１５倍で拡大スケール変換することで生成される。但し、スケール変換画像５０３Ｂを生成する際の抽出枠５２３の大きさは、水平及び垂直方向の夫々において、対象入力画像５０３の大きさの（１／１．１０）倍であり、スケール変換画像５０３Ｃを生成する際の抽出枠５２３の大きさは、水平及び垂直方向の夫々において、対象入力画像５０３の大きさの（１／１．１５）倍である。
図２２において、矩形領域５１３Ａ、５１３Ｂ及び５１３Ｃは、夫々、スケール変換画像５０３Ａ、５０３Ｂ及び５０３Ｃにおけるぶれ基準領域を表し、位置（ｘA’，ｙA’）、（ｘB’，ｙB’）及び（ｘC’，ｙC’）は、夫々、ぶれ基準領域５１３Ａ、５１３Ｂ及び５１３Ｃの中心位置を表す。
スケール変換画像５０３Ａ、５０３Ｂ及び５０３Ｃは画像合成部５３によって合成されるが、この合成に先立ち、各スケール変換画像を平行移動させるための幾何学的変換を各スケール変換画像に対して施す。この幾何学的変換を、第１実施形態と同様、位置補正と呼ぶ。位置補正は画像合成部５３で行われるが、それをスケール変換部５２にて行うようにしても良い。
ｎ枚のスケール変換画像が第１〜第ｎのスケール変換画像から成るものとし、第ｉの拡大率を用いた拡大スケール変換にて得られるスケール変換画像が第ｉのスケール変換画像であるとする。ここで、ｉは１以上ｎ以下の整数であり、第（ｉ＋１）の拡大率は第ｉの拡大率よりも大きいとする。図２２の具体例では、第１、第２及び第３の拡大率が、夫々、１．０５倍、１．１０倍及び１．１５倍である。第１〜第ｎの拡大率を用いた拡大スケール変換により、第１〜第ｎのスケール変換画像としての画像５０３Ａ、５０３Ｂ及び５０３Ｃを得るための処理が、ステップＳ１０４にて行われる。
ステップＳ１０４又はＳ１０５において、画像合成部５３は、第ｉのスケール変換画像上のぶれ基準領域の中心位置を位置（ｘ3’，ｙ3’）へと平行移動させる位置補正を行う。即ち、画像合成部５３は、スケール変換画像５０３Ａ上の位置（ｘA’，ｙA’）における画素を位置（ｘ3’，ｙ3’）における画素へと平行移動させる位置補正をスケール変換画像５０３Ａに施すことで、位置補正後のスケール変換画像５０３Ａ’を生成する。同様に、スケール変換画像５０３Ｂの位置（ｘB’，ｙB’）における画素を位置（ｘ3’，ｙ3’）へと平行移動させる位置補正をスケール変換画像５０３Ｂに施すことで位置補正後のスケール変換画像５０３Ｂ’を生成し、スケール変換画像５０３Ｃの位置（ｘC’，ｙC’）における画素を位置（ｘ3’，ｙ3’）へと平行移動させる位置補正をスケール変換画像５０３Ｃに施すことで位置補正後のスケール変換画像５０３Ｃ’を生成する。図２２において、矩形領域５１３Ａ’、５１３Ｂ’及び５１３Ｃ’は、夫々、スケール変換画像５０３Ａ’、５０３Ｂ’及び５０３Ｃ’におけるぶれ基準領域を表している。
尚、上述の例では、スケール変換後に位置補正のための幾何学的変換を実行しているが、位置補正のための幾何学的変換をスケール変換のための線形変換に含めておくことで、対象入力画像５０３から、直接、スケール変換画像５０３Ａ’、５０３Ｂ’及び５０３Ｃ’を生成するようにしてもよい。また、位置（ｘ3’，ｙ3’）が中心Ｏの位置と一致している場合においては、上記の位置補正は不要である（換言すれば、位置（ｘ3’，ｙ3’）が中心Ｏの位置と一致している場合には、画像５０３Ａ、５０３Ｂ及び５０３Ｃは、夫々、画像５０３Ａ’、５０３Ｂ’及び５０３Ｃ’と同じものとなる）。
ステップＳ１０５において、画像合成部５３は、第１実施形態と同様の方法にて、位置補正後の第１〜第ｎのスケール変換画像を合成することにより中間合成画像を生成する。図２２の具体例では、スケール変換画像５０３Ａ’、５０３Ｂ’及び５０３Ｃ’を合成することで中間合成画像５３０が得られる。中間合成画像５３０における位置（ｘ3’，ｙ3’）の画素信号は、画像５０３Ａ’、５０３Ｂ’及び５０３Ｃ’における位置（ｘ3’，ｙ3’）の画素信号を単純平均することで或いは重み付け平均することで生成される。位置（ｘ3’，ｙ3’）以外の画素信号についても同様である。
ステップＳ１０６において、画像合成部５３は、第１実施形態と同様の方法にて、対象入力画像５０３のぶれ基準領域５１３内の画像を中間合成画像５３０に嵌め込み合成することにより出力ぶれ画像５４０を生成する。この嵌め込み合成は、ぶれ基準領域５１３上における中心位置（ｘ3’，ｙ3’）を中間合成画像５３０上における位置（ｘ3’，ｙ3’）と一致させた状態で行われ、中間合成画像５３０内の位置（ｘ3’，ｙ3’）を中心とする一部画像がぶれ基準領域５１３内の画像に置き換えられることで、出力ぶれ画像５４０が生成される。従って、出力ぶれ画像５４０の位置（ｘ3’，ｙ3’）には、対象入力画像５０３の位置（ｘ3’，ｙ3’）の画像データが存在することとなる。
生成された出力ぶれ画像５４０の画像データは、ステップＳ１０７において、外部メモリ１８に記録される。この際、対象入力画像５０３の画像データも外部メモリ１８に記録するようにしてもよい。
拡大スケール変換を用いた図２０の処理によって、撮像装置１に近づくように移動する移動体にピントがあったような縦方向流し撮り効果を有する出力ぶれ画像を生成することができるが、拡大スケール変換の代わりに縮小スケール変換を用いることもできる。この場合、ステップＳ１０３において上限拡大率ＳＡMAX及び第１〜第ｎの拡大率の代わりに下限縮小率ＳＢMAX及び第１〜第ｎの縮小率がぶれ量に基づき設定され、ステップＳ１０４において第１〜第ｎの縮小率を用いた縮小スケール変換により第１〜第ｎのスケール変換画像が生成されることになる。第１実施形態で述べられた、縮小スケール変換を用いて出力ぶれ画像を生成する方法が、本実施形態にも適用される。ユーザは、拡大スケール変換を用いて出力ぶれ画像を生成するのか、或いは、縮小スケール変換を用いて出力ぶれ画像を生成するのかを、操作部２６を介して指定することができる。
本実施形態によっても第１実施形態と同様の効果が得られる。つまり、対象入力画像が図５の画像２５３であったのならば、画像２５３から図８の出力ぶれ画像２９０と同等の出力ぶれ画像を生成することができる。更に、本実施形態によれば、このような出力ぶれ画像を１枚の画像から生成することが可能となる。
＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第５実施形態に係る撮像装置の全体的な構成は、図１に示されるそれと同じである。従って、第５実施形態に係る撮像装置も、符号１によって参照する。第５実施形態において、特に述べない事項に関しては、第１、第２及び第４実施形態の記載が第５実施形態にも適用される。
第５実施形態に係る撮像装置１は、第２実施形態で述べた方法に類似する方法を利用して、対象入力画像から出力ぶれ画像を生成する。第５実施形態に係る撮像装置１には、図２３の画像劣化関数導出部６２及びフィルタリング処理部６３が備えられており、それらは図１２に示されるものと同じものである。
第５実施形態においては、第４実施形態で述べたぶれ基準領域及びぶれ量を規定する情報が導出部６２に与えられる。ぶれ基準領域及びぶれ量の設定方法は、第４実施形態で述べた通りである。今、説明の具体化のため、第４実施形態の具体例と同様、対象入力画像及びぶれ基準領域が夫々対象入力画像５０３及びぶれ基準領域５１３であって、ぶれ基準領域５１３の中心位置が位置（ｘ3’，ｙ3’）である場合を想定する（図２１参照）。
第２実施形態で述べたように、被演算画像としての対象入力画像５０３の全画像領域内に複数の小ブロックが設定される（図１３参照）。導出部６２は、ぶれ基準領域及びぶれ量を規定する情報に基づき、小ブロックごとに画像劣化関数を導出する。図２４に示す如く、小ブロック［ｐ，ｑ］の画像劣化関数の元となる画像劣化ベクトルＶ［ｐ，ｑ］は、位置（ｘ3’，ｙ3’）から小ブロック［ｐ，ｑ］の中心位置に向かう向きを有する。従って、図１７（ａ）の画像４０１が対象入力画像５０３であるならば、図１７（ａ）の複数の矢印で表されるような複数の画像劣化ベクトルが導出される。ここで、矩形領域４１１に対しては画像劣化ベクトルの導出が成されない。図１７（ａ）の画像４０１が対象入力画像５０３である場合、矩形領域４１１は、ぶれ基準領域５１３そのもの又はぶれ基準領域５１３に包含される領域である。
第２実施形態と同様、画像劣化ベクトルの算出がなされない小ブロックを、特に被写体ブロックと呼び、それ以外の小ブロックを特に背景ブロックと呼ぶ。従って例えば、対象入力画像５０３のぶれ基準領域５１３が、小ブロック［８，６］、［９，６］、［８，７］及び［９，７］の合成領域と一致しているならば、或いは、該合成領域を包含し且つ該合成領域よりも若干大きい領域であるならば、小ブロック［８，６］、［９，６］、［８，７］及び［９，７］が被写体ブロックとなり、他の小ブロックが背景ブロックとなる。全ての背景ブロックの合成領域は背景領域に相当する。
各背景ブロックの画像劣化ベクトルの大きさを、設定されたぶれ量に基づいて決定することができる。各背景ブロックの画像劣化ベクトルの大きさは、設定されたぶれ量が増大するにつれて増大する。
この際、画像劣化ベクトルの大きさを、全ての背景ブロック間で同じとすることができる。或いは、位置（ｘ3’，ｙ3’）からの距離が大きくなるにつれて、画像劣化ベクトルの大きさを増大させるようにしてもよい。つまり、注目背景ブロックの中心位置と位置（ｘ3’，ｙ3’）との距離ｄｉｓ’が増大するにつれて、注目背景ブロックの画像劣化ベクトルの大きさを、設定されたぶれ量を基準としつつ増大させるようにしてもよい。更に或いは、操作部２６を用いて背景ブロックごとのぶれ量がユーザにより指定されている場合には、背景ブロックごとのぶれ量に基づき、背景ブロックごとに画像劣化ベクトルの大きさを決定するようにしても良い。
導出部６２は、背景ブロックごとに、画像劣化ベクトルに応じたＰＳＦを画像劣化関数として求め、フィルタリング処理部６３は、背景ブロックごとに、ＰＳＦを用いた畳み込み演算を対象入力画像５０３に対して行うことで出力ぶれ画像を生成する。背景ブロックごとの画像劣化ベクトルを用いて対象入力画像から出力ぶれ画像を生成する方法は、第２実施形態で述べた、背景ブロックごとの画像劣化ベクトルを用いて基準画像から出力ぶれ画像を生成する方法と同じである。第２実施形態の記載を本実施形態に適用する場合、第２実施形態におけるフレーム画像２０３又は基準画像を、対象入力画像５０３に読み替えれば良い。
図２５を参照して、第５実施形態に係る出力ぶれ画像を生成する動作の流れを説明する。図２５は、この動作の流れを表すフローチャートである。ステップＳ１２１〜Ｓ１２５の処理が順次実行される。ステップＳ１２１〜Ｓ１２５の処理は、撮影モードにおいて実行されても良いし、再生モードにおいて実行されても良い。ステップＳ１２１〜Ｓ１２５の処理の内、一部の処理を撮影モードにおいて実行し、残りの処理を再生モードにおいて実行するようにしても良い。
ステップＳ１２１及びＳ１２２の処理は、図２０のステップＳ１０１及びＳ１０２のそれと同じである。即ち、ステップＳ１２１において、対象入力画像の画像データが取得され、ステップＳ１２２において、ＣＰＵ２３は、操作部２６を介したユーザの指定内容に基づき或いは予め固定的に定められた内容に基づきぶれ基準領域を設定する。この設定内容には、ぶれ基準領域の中心位置、大きさ及び形状が含まれる。
ステップＳ１２３において、導出部６２は、操作部２６を介してユーザにより指定されたぶれ量又は予め固定的に定められたぶれ量と、ステップＳ１２２にて設定された内容に基づき、背景ブロックごとに画像劣化関数を導出する。続くステップＳ１２４において、フィルタリング処理部６３が、ステップＳ１２３にて導出された画像劣化関数に応じたフィルタリングを対象入力画像に施すことで出力ぶれ画像を生成する。その後、出力ぶれ画像の画像データは、ステップＳ１２５において、外部メモリ１８に記録される。この際、対象入力画像の画像データも外部メモリ１８に記録するようにしてもよい。
上述の具体例では、撮像装置１に近づくように移動する移動体にピントを合わせたような出力ぶれ画像（以下、第１出力ぶれ画像と呼ぶ）を生成しているが、上述と同様の方法にて、撮像装置１から遠のくように移動する移動体にピントを合わせたような出力ぶれ画像（以下、第２出力ぶれ画像と呼ぶ）を生成することも可能である。第２出力ぶれ画像を生成する際には、背景ブロックの画像劣化ベクトルの向きを、第１出力ぶれ画像を生成する場合のそれの逆にすれば足る。第１及び第２出力ぶれ画像のどちらを生成するのかを、ユーザは操作部２６を用いて指定することができる。
上述の如く、ぶれ基準領域の位置及び注目背景ブロックの位置間を結ぶ方向と平行となるように注目背景ブロックの画像劣化ベクトルの向きを設定することにより、ぶれ基準領域から流れ出すような或いはぶれ基準領域に向かうようなぶれが出力ぶれ画像上に発生し、ぶれ基準領域内の被写体を移動体として捉えたような縦方向流し撮り効果を得ることができる。つまり、第５実施形態によっても、第４実施形態と同様の効果を得ることができる。
＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。対象入力画像から出力ぶれ画像を生成する画像処理を、撮像装置と異なる電子機器にて実現することも可能である（撮像装置も電子機器の一種である）。撮像装置と異なる電子機器とは、例えば、表示部２７と同様の表示部を備え、該表示部上に任意の画像を表示することのできる、パーソナルコンピュータ等の画像再生装置（不図示）である。
例えば、上記画像再生装置に図１９のスケール変換部５２及び画像合成部５３を設けておき、外部メモリ１８に記録された対象入力画像の画像データを画像再生装置内のスケール変換部５２及び画像合成部５３に与えることで出力ぶれ画像を生成することができる。或いは例えば、上記画像再生装置に図２３の導出部６２及びフィルタリング処理部６３を設けておき、外部メモリ１８に記録された対象入力画像の画像データを画像再生装置内の導出部６２及びフィルタリング処理部６３に与えることで出力ぶれ画像を生成することができる。画像再生装置にて生成された出力ぶれ画像を、画像再生装置の表示部上に表示することができる。操作部２６と同等の操作部を上記画像再生装置に設けておけば、その操作部を介してユーザはぶれ基準領域及びぶれ量などを指定することができる。
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。特に、追尾処理部５１、スケール変換部５２、画像合成部５３、導出部６２及びフィルタリング処理部６３の機能は、ハードウェアのみ、ソフトウェアのみ、または、ハードウェアとソフトウェアの組み合わせによって実現可能である。それらの機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
１ 撮像装置
１１ 撮像部
３３ 撮像素子
５１ 追尾処理部
５２ スケール変換部
５３ 画像合成部
６２ 画像劣化関数導出部
６３ フィルタリング処理部

Claims (11)

  1. 互いに異なる時刻の撮影によって得られた主画像及び副画像を用いて出力画像を生成する画像処理装置において、
    前記主画像及び前記副画像の夫々から特定被写体を検出するとともに、前記主画像上の前記特定被写体の位置及び大きさと前記副画像上の前記特定被写体の位置及び大きさを検出する被写体検出部を備え、
    前記主画像及び前記副画像間における前記特定被写体の位置変化及び大きさ変化に基づいて、前記主画像にぶれを発生させることで前記出力画像を生成する
    ことを特徴とする画像処理装置。
  2. 前記副画像及び前記主画像間における前記特定被写体の大きさ変化に基づき、複数の拡大率又は複数の縮小率を用いたスケール変換を前記主画像に対して行うことで複数のスケール変換画像を生成するスケール変換部と、
    前記主画像及び副画像上の前記特定被写体の位置に基づいて前記複数のスケール変換画像を合成し、合成結果を前記主画像に適用することで前記ぶれを発生させる画像合成部と、を更に備えた
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記スケール変換部は、
    前記副画像及び前記主画像間における前記特定被写体の大きさ変化に基づいて、画像上の前記特定被写体の大きさが時間経過につれて増大していると判断されるとき、前記複数の拡大率を用いて前記複数のスケール変換画像の生成を行う、又は、
    前記副画像及び前記主画像間における前記特定被写体の大きさ変化に基づいて、画像上の前記特定被写体の大きさが時間経過につれて減少していると判断されるとき、前記複数の縮小率を用いて前記複数のスケール変換画像の生成を行う
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 当該画像処理装置は、
    前記主画像の背景領域を複数の小ブロックに分割し、前記主画像及び前記副画像間における前記特定被写体の位置変化及び大きさ変化に基づいて、前記小ブロックごとに、前記小ブロック内の画像にぶれを発生させるための画像劣化関数を導出する画像劣化関数導出部と、
    前記小ブロックごとに、前記小ブロック内の画像に対して前記画像劣化関数に応じたフィルタリングを施すことで前記出力画像を生成するフィルタリング処理部と、を更に備え、
    前記背景領域は、前記特定被写体の画像データが存在する画像領域以外の画像領域である
    ことを特徴とする請求項１に記載の画像処理装置
  5. 入力画像にぶれを発生させることで出力画像を生成する画像処理装置において、
    複数の拡大率又は複数の縮小率を用いたスケール変換を前記入力画像に対して行うことで複数のスケール変換画像を生成するスケール変換部と、
    前記複数のスケール変換画像を合成し、合成結果を前記入力画像に適用することで前記ぶれを発生させる画像合成部と、を備えた
    ことを特徴とする画像処理装置。
  6. 前記画像合成部は、前記複数のスケール変換画像を合成することによって得た合成画像と、前記入力画像の基準領域内の画像と、を合成することにより前記出力画像を生成し、
    前記入力画像上の前記基準領域の位置は、操作部を介して指定された位置又は予め定められた位置である
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 前記スケール変換部は、操作部を介して指定されたぶれ量又は予め定められたぶれ量に基づき、前記複数の拡大率又は前記複数の縮小率を設定する
    ことを特徴とする請求項５に記載の画像処理装置。
  8. 入力画像にぶれを発生させることで出力画像を生成する画像処理装置において、
    前記入力画像の背景領域を複数の小ブロックに分割し、前記小ブロックごとに、前記小ブロック内の画像にぶれを発生させるための画像劣化関数を導出する画像劣化関数導出部と、
    前記小ブロックごとに、前記小ブロック内の画像に対して前記画像劣化関数に応じたフィルタリングを施すことで前記出力画像を生成するフィルタリング処理部と、を備え、
    前記入力画像の全画像領域は前記背景領域と基準領域から成り、
    前記小ブロックごとの前記画像劣化関数は、前記基準領域の位置と当該小ブロックとを結ぶ方向の画像劣化ベクトルに応じた画像劣化関数である
    ことを特徴とする画像処理装置。
  9. 前記入力画像上の前記基準領域の位置は、操作部を介して指定された位置又は予め定められた位置である
    ことを特徴とする請求項８に記載の画像処理装置。
  10. 請求項１〜請求項９の何れかに記載の画像処理装置と、
    前記画像処理装置に与えるべき画像を撮影する撮像部と、を備えた
    ことを特徴とする撮像装置。
  11. 請求項１〜請求項９の何れかに記載の画像処理装置と、
    前記画像処理装置にて生成された出力画像を表示する表示部と、を備えた
    ことを特徴とする画像再生装置。
JP2010085177A 2009-04-16 2010-04-01 画像処理装置、撮像装置及び画像再生装置 Pending JP2010268441A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010085177A JP2010268441A (ja) 2009-04-16 2010-04-01 画像処理装置、撮像装置及び画像再生装置
CN201010163973.9A CN101867723A (zh) 2009-04-16 2010-04-16 图像处理装置、摄像装置及图像再生装置
US12/761,655 US20100265353A1 (en) 2009-04-16 2010-04-16 Image Processing Device, Image Sensing Device And Image Reproduction Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009099535 2009-04-16
JP2010085177A JP2010268441A (ja) 2009-04-16 2010-04-01 画像処理装置、撮像装置及び画像再生装置

Publications (1)

Publication Number Publication Date
JP2010268441A true JP2010268441A (ja) 2010-11-25

Family

ID=42959264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010085177A Pending JP2010268441A (ja) 2009-04-16 2010-04-01 画像処理装置、撮像装置及び画像再生装置

Country Status (3)

Country Link
US (1) US20100265353A1 (ja)
JP (1) JP2010268441A (ja)
CN (1) CN101867723A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100616A (zh) * 2015-07-27 2015-11-25 联想(北京)有限公司 一种图像处理方法及电子设备
US9235914B2 (en) 2012-07-25 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Image editing apparatus
JP2016039424A (ja) * 2014-08-06 2016-03-22 日本電気株式会社 画像生成システム、合成画像出力方法、画像切出位置検出装置、画像切出位置を検出する方法、及びプログラム
WO2017154423A1 (ja) * 2016-03-10 2017-09-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2019169810A (ja) * 2018-03-22 2019-10-03 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
JP2021026668A (ja) * 2019-08-08 2021-02-22 Kddi株式会社 人物検知装置、方法およびプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5300756B2 (ja) * 2010-02-05 2013-09-25 キヤノン株式会社 撮像装置及び画像処理方法
JP5471794B2 (ja) * 2010-05-10 2014-04-16 富士通株式会社 情報処理装置、画像送信プログラム及び画像表示方法
JP5554453B2 (ja) * 2011-09-30 2014-07-23 富士フイルム株式会社 画像処理装置及び方法
US9338354B2 (en) * 2011-10-03 2016-05-10 Nikon Corporation Motion blur estimation and restoration using light trails
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
JP6153318B2 (ja) * 2012-11-30 2017-06-28 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
EP2945366B1 (en) 2013-01-09 2019-10-16 Sony Corporation Image processing device, image processing method and program
US9432575B2 (en) * 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
US10944917B2 (en) * 2013-09-16 2021-03-09 Kyle L. Baltz Camera and image processing method
JP6191421B2 (ja) * 2013-12-02 2017-09-06 富士通株式会社 画像表示制御プログラム、情報処理システム、及び画像表示制御方法
CN103927767B (zh) 2014-04-18 2018-05-04 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
CN104240180B (zh) * 2014-08-08 2018-11-06 沈阳东软医疗***有限公司 一种实现图像自动调整的方法及装置
US10091432B2 (en) * 2015-03-03 2018-10-02 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof and storage medium storing control program therefor
US9591237B2 (en) * 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
CN106506965A (zh) * 2016-11-29 2017-03-15 努比亚技术有限公司 一种拍摄方法及终端
JP7026450B2 (ja) * 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
CN108108733A (zh) * 2017-12-19 2018-06-01 北京奇艺世纪科技有限公司 一种新闻字幕检测方法及装置
CN108616687B (zh) * 2018-03-23 2020-07-21 维沃移动通信有限公司 一种拍照方法、装置和移动终端
JP2019207635A (ja) * 2018-05-30 2019-12-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、画像生成方法、プログラム、及び記録媒体
KR102597518B1 (ko) * 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141512A (ja) * 1997-07-24 1999-02-12 Olympus Optical Co Ltd 画像処理装置
JP2003087553A (ja) * 2001-09-17 2003-03-20 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2006080844A (ja) * 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
JP2008252549A (ja) * 2007-03-30 2008-10-16 Sanyo Electric Co Ltd デジタルカメラ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100366050C (zh) * 2005-03-11 2008-01-30 华亚微电子（上海）有限公司 一种图像缩放方法及图像缩放器***
JP4762089B2 (ja) * 2006-08-31 2011-08-31 三洋電機株式会社 画像合成装置及び方法並びに撮像装置
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
JP4720859B2 (ja) * 2008-07-09 2011-07-13 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141512A (ja) * 1997-07-24 1999-02-12 Olympus Optical Co Ltd 画像処理装置
JP2003087553A (ja) * 2001-09-17 2003-03-20 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2006080844A (ja) * 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
JP2008252549A (ja) * 2007-03-30 2008-10-16 Sanyo Electric Co Ltd デジタルカメラ

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9235914B2 (en) 2012-07-25 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Image editing apparatus
JP2016039424A (ja) * 2014-08-06 2016-03-22 日本電気株式会社 画像生成システム、合成画像出力方法、画像切出位置検出装置、画像切出位置を検出する方法、及びプログラム
CN105100616A (zh) * 2015-07-27 2015-11-25 联想(北京)有限公司 一种图像处理方法及电子设备
WO2017154423A1 (ja) * 2016-03-10 2017-09-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2017162314A (ja) * 2016-03-10 2017-09-14 キヤノン株式会社 画像処理装置
US10846837B2 (en) 2016-03-10 2020-11-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2019169810A (ja) * 2018-03-22 2019-10-03 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
JP2021026668A (ja) * 2019-08-08 2021-02-22 Kddi株式会社 人物検知装置、方法およびプログラム
JP7201554B2 (ja) 2019-08-08 2023-01-10 Kddi株式会社 人物検知装置、方法およびプログラム

Also Published As

Publication number Publication date
US20100265353A1 (en) 2010-10-21
CN101867723A (zh) 2010-10-20

Similar Documents

Publication Publication Date Title
JP2010268441A (ja) 画像処理装置、撮像装置及び画像再生装置
JP4720859B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8189960B2 (en) Image processing apparatus, image processing method, program and recording medium
JP5754312B2 (ja) 画像処理装置及び画像処理方法、並びにプログラム
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
JP2012099876A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2011114823A (ja) 画像処理装置及び撮像装置
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006094058A (ja) 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
JP2014082533A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017011504A (ja) 撮像装置、画像処理方法及びプログラム
JP2012119761A (ja) 電子機器、画像処理方法及びプログラム
JP5125294B2 (ja) プログラム、画像処理装置、撮像装置および画像処理方法
JP2009044329A (ja) プログラム、画像処理方法および画像処理装置
JP5267279B2 (ja) 画像合成装置及びプログラム
JP5402242B2 (ja) 画像再生装置、撮像装置、画像再生方法、画像再生プログラム
JP2015061236A (ja) 画像処理装置、画像処理方法及びプログラム
JP2010263270A (ja) 撮像装置
JP2012235198A (ja) 撮像装置
JP2010239464A (ja) 画像合成装置、画像再生装置及びプログラム
JP2005117399A (ja) 画像処理装置
EP4007261A1 (en) Image processing device, image processing method, and program
JP5476900B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2011087203A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130312

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140422