JP2018148272A - 撮像装置、画像処理装置、撮像方法およびプログラム - Google Patents

撮像装置、画像処理装置、撮像方法およびプログラム Download PDF

Info

Publication number
JP2018148272A
JP2018148272A JP2017038500A JP2017038500A JP2018148272A JP 2018148272 A JP2018148272 A JP 2018148272A JP 2017038500 A JP2017038500 A JP 2017038500A JP 2017038500 A JP2017038500 A JP 2017038500A JP 2018148272 A JP2018148272 A JP 2018148272A
Authority
JP
Japan
Prior art keywords
unit
image data
image
imaging
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017038500A
Other languages
English (en)
Inventor
理彰 高橋
Toshiaki Takahashi
理彰 高橋
聡司 原
Satoshi Hara
聡司 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017038500A priority Critical patent/JP2018148272A/ja
Priority to US15/902,646 priority patent/US10397467B2/en
Priority to CN201810164090.6A priority patent/CN108540713A/zh
Publication of JP2018148272A publication Critical patent/JP2018148272A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】ユーザが所望する被写体の位置や状態を反映した合成画像を取得することができる撮像装置、画像処理装置、撮像方法およびプログラムを提供する。
【解決手段】連続的に撮像して画像データを順次生成する撮像部２と、撮像部２が生成した複数の画像データを合成して合成画像データを生成する合成部１２５と、合成部１２５が生成した合成画像データに対応する合成画像を表示する表示部６と、表示部６が表示する合成画像に合成された複数の画像データの中から合成画像に残す画像データの取捨選択の操作を受け付ける操作部８と、操作部８による取捨選択の操作に応じて選択された２つ以上の画像データを合成部１２５に合成させて新たな合成画像データを生成させる撮像制御部１２７と、を備える。
【選択図】図１

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、画像処理装置、撮像方法およびプログラムに関する。
近年、デジタルカメラ等の撮像装置において、連続撮影された複数の画像の各々から被写体の画像を抽出し、抽出した被写体の画像を時系列順に合成して背景画像に合成することによって、被写体の移動軌跡が写る合成画像を取得する技術が知られている（特許文献１参照）。
特開２００４−５６３５９号公報
しかしながら、上述した特許文献１では、単に背景画像に被写体の画像を時系列順に合成しているため、ユーザが所望する被写体の位置や状態を反映した合成画像を得ることができないという問題点があった。
本発明は、上記に鑑みてなされたものであって、ユーザが所望する被写体の位置や状態を反映した合成画像を取得することができる撮像装置、画像処理装置、撮像方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示部と、前記表示部が表示する前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作部と、前記操作部による操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御部と、を備えることを特徴とする。
また、本発明に係る画像処理装置は、複数の画像データを合成して合成画像データを生成する合成部と、表示装置が表示する前記合成部によって生成された前記合成画像データに対応する合成画像に合成された複数の前記画像データの中から操作部による操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御部と、を備えることを特徴とする。
また、本発明に係る撮像方法は、連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、を備えた撮像装置が実行する撮像方法であって、前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示ステップと、前記表示ステップで表示した前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作ステップと、前記操作ステップによる操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、を備えた撮像装置に、前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示ステップと、前記表示ステップで表示した前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作ステップと、前記操作ステップによる操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御ステップと、を実行させる。
本発明によれば、ユーザが所望する被写体の位置や状態を反映することができるという効果を奏する。
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図３は、図２の取捨選択モード処理の概要を示すフローチャートである。 図４は、本発明の実施の形態１に係る撮像装置の撮像部が連続的に順次生成した画像データを示す図である。 図５は、本発明の実施の形態１に係る撮像装置の表示部が時系列に沿って順次表示する画像の一例を示す図である。 図６は、本発明の実施の形態１に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図７は、図２の再生処理の概要を示すフローチャートである。 図８は、本発明の実施の形態２に係る撮像装置が実行する取捨選択モード処理の概要を示すフローチャートである。 図９は、本発明の実施の形態２に係る撮像装置が実行する再生処理の概要を示すフローチャートである。 図１０は、図９のスローモーション動画再生処理の概要を示すフローチャートである。 図１１は、図９の合成画像再生処理の概要を示すフローチャートである。 図１２Ａは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１２Ｂは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１２Ｃは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１２Ｄは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１２Ｅは、本発明の実施の形態２に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１３Ａは、本発明の実施の形態２に係る撮像装置の表示部が表示する別の合成画像の一例を示す図である。 図１３Ｂは、本発明の実施の形態２に係る撮像装置の表示部が表示する別の合成画像の一例を示す図である。 図１３Ｃは、本発明の実施の形態２に係る撮像装置の表示部が表示する別の合成画像の一例を示す図である。 図１３Ｄは、本発明の実施の形態２に係る撮像装置の表示部が表示する別の合成画像の一例を示す図である。 図１４は、本発明の実施の形態２の変形例に係る撮像装置の機能構成を示すブロック図である。 図１５は、本発明の実施の形態２の変形例に係る撮像装置が実行する合成画像再生処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態２の変形例に係る撮像装置を用いて撮影する際の状況下を示す図である。 図１７Ａは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１７Ｂは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１７Ｃは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１７Ｄは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１７Ｅは、本発明の実施の形態２の変形例に係る撮像装置の表示部が表示する合成画像の一例を示す図である。 図１８は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。 図１９は、本発明の実施の形態３に係る撮像装置が実行する取捨選択モード処理の概要を示すフローチャートである。 図２０は、ユーザが撮像装置を用いて所定の方向へ移動している被写体を追尾しながら撮影する状況下を示す図である。 図２１は、本発明の実施の形態３に係る撮像装置の合成部が合成する合成画像の一例を示す図である。 図２２は、本発明の実施の形態３に係る撮像装置の合成部が合成する合成画像の一例を示す図である。 図２３は、本発明の実施の形態３に係る撮像装置の合成部が合成する別の合成画像の一例を示す図である。 図２４は、本発明の実施の形態３に係る撮像装置の合成部が合成する別の合成画像の一例を示す図である。 図２５は、本発明の実施の形態３に係る撮像装置が記録する画像ファイルの一例を模式的に示す図である。
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらに、以下の説明では、撮像装置として、連続的に画像データを撮影可能なデジタルスチルカメラを例に説明するが、デジタルスチルカメラ以外にも、カムコーダ、デジタルビデオカメラ、撮像機能を有する携帯電話やタブレット型端末、監視カメラ、撮影機能を有するＩＣレコーダ、内視鏡およびビデオマイクロスコープ等の顕微鏡であっても適用することができる。
（実施の形態１）
〔撮像装置の構成〕
図１は、本発明の実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、撮像部２と、音声入出力部３と、姿勢検出部４と、時計５と、表示部６と、タッチパネル７と、操作部８と、仮記録部９と、記録部１０と、通信部１１と、制御部１２と、を備える。
撮像部２は、制御部１２の制御のもと、所定の視野領域を撮像して画像データを生成して制御部１２へ出力する。また、撮像部２は、制御部１２の制御のもと、所定の視野領域を連続的に撮像し、時間的に連続する複数の画像データを生成する。また、撮像部２は、制御部１２の制御のもと、所定のフレームレート（例えば２４０ｆｐｓ、１２０ｆｐｓ、６０ｆｐｓ、３０ｆｐｓ、２４ｆｐｓ）に基づいて、所定の視野領域を連続的に撮像し、時間的に連続する動画データを生成する。撮像部２は、所定の視野領域を結像する光学系、光学系が結像した光学像を受光して光電変換を行うことによって画像データを生成するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子、光学系が集光した光の入射量を制御することによって露出の調整を行う絞り、撮像素子の状態を露光状態または遮光状態に切り替えるシャッタ、および撮像素子が生成したアナログの画像データに対してノイズ低減処理やゲインアップ処理等のアナログ処理を施してＡ／Ｄ変換を行う信号処理部等を用いて構成される。
音声入出力部３は、音声データを取得して制御部１２へ出力するとともに、制御部１２から入力された音声データを外部へ出力する。音声入出力部３は、音声データを取得するマイク、マイクが取得した音声データに対してＡ／Ｄ変換を行うＡ／Ｄ変換部、制御部１２から入力されたデジタルの音声データに対してＤ／Ａ変換を行うＤ／Ａ変換部、Ｄ／Ａ変換部が変換したアナログの音声データを外部へ出力するスピーカ等を用いて構成される。
姿勢検出部４は、撮像装置１に関する姿勢や手ブレを検出し、検出した検出結果を制御部１２へ出力する。姿勢検出部４は、撮像装置１に生じる加速度を検出する加速度センサおよび撮像装置１の角度、角速度および角加速度を検出するジャイロセンサ等を用いて構成される。なお、姿勢検出部４の構成にＧＰＳ等による位置検出センサや方位センサ等を追加することによって撮像装置１の位置や撮像方向の方位を含めた姿勢に関する姿勢情報を検出してもよい。
時計５は、計時機能の他、撮像部２において撮影された画像の日時に関する日時情報を生成し、この日時情報を制御部１２へ出力する。
表示部６は、制御部１２の制御のもと、撮像部２が生成した画像データに対応する画像、撮像部２が生成した動画データに対応する動画、または撮像装置１に関する各種の情報を表示する。また、表示部６は、記録部１０が記録する画像データに対応する画像や動画データに対応する動画を再生して表示する。表示部６は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルを用いて構成される。
タッチパネル７は、表示部６の表示領域に重畳して設けられ、外部からの物体が接触した接触位置（タッチ位置）に応じた信号の入力を受け付け、この信号を制御部１２等に出力する。
操作部８は、撮像装置１の各種操作に関する信号の入力を受け付け、受け付けた信号を制御部１２等に出力する。操作部８は、少なくとも静止画撮影の準備を指示する１ｓｔレリーズ信号および撮影を指示する２ｎｄレリーズ信号の入力を受け付けるレリーズスイッチ、と、撮像部に動画撮影の開始を指示する開始信号および撮像部に動画撮影の終了を指示する終了信号の入力を受け付ける動画スイッチ、撮像装置１の各種の操作信号の入力を受け付ける十字スイッチと、十字スイッチによって選択された設定等を決定する指示信号の入力を受け付ける決定スイッチ等を用いて構成される。
仮記録部９は、制御部１２を介して撮像部２が生成した画像データや動画データ、および撮像装置１の処理中の各種データを一時的に記録する。仮記録部９は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリを用いて構成される。
記録部１０は、撮像装置１が実行する各種プログラムを記録するプログラム記録部１０１と、撮像部２が生成した画像データや動画データを記録する画像データ記録部１０２と、を有する。記録部１０は、例えばＦｌａｓｈメモリ、撮像装置１に対して着脱自在なメモリカード等の記録媒体を用いて構成される。
通信部１１は、制御部１２の制御のもと、所定の無線通信規格に従って、外部の機器と双方向に通信を行うことによって、画像データや動画データ等の情報を送信するとともに、外部の機器から送信された撮像装置１の各種動作を指示する指示信号を受信して制御部１２へ出力する。ここで、所定の無線通信規格は、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｎ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ａｃ、Ｂｌｕｅｔｏｏｔｈ（登録商標）および赤外線通信規格等である。なお、本実施の形態１では、いずれの無線通信規格であっても適用可能である。
制御部１２は、撮像装置１を構成する各部を統括的に制御する。また、制御部１２は、撮像部２から入力された画像データまたは動画データに対して、各種の処理を行って表示部６、仮記録部９および記録部１０のいずれかに出力する。制御部１２は、例えばＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）およびＡＳＩＣ（Application Specific Integrated Circuit）等の汎用プロセッサを用いて構成される。なお、本実施の形態１では、制御部１２が画像処理装置として機能する。
ここで、制御部１２の詳細な構成について説明する。制御部１２は、フレームレート変更部１２１と、検出部１２２と、第１判定部１２３と、抽出部１２４と、合成部１２５と、表示制御部１２６と、撮像制御部１２７と、記録制御部１２８と、を有する。
フレームレート変更部１２１は、撮像部２が撮像する画像データのフレームレートを変更する。例えば、フレームレート変更部１２１は、撮像部２のフレームレートを１２０ｆｐｓから２４０ｆｐｓに変更する。
検出部１２２は、撮像部２が生成した画像データに対応する画像に含まれる被写体を検出する。例えば、検出部１２２は、画像に対して、周知のパターンマッチング技術を用いて、連続する画像や動画内で移動する被写体や被写体を検出する。なお、検出部１２２は、パターンマッチング以外にも、動きベクトルや特徴量に基づいて、画像に含まれる被写体を検出してもよい。
第１判定部１２３は、時間的に前後する画像に基づいて、検出部１２２によって検出された被写体が撮像装置から奥行き方向に移動する奥行き成分を有しているか否かを判断する。ここで、奥行き方向とは、撮像部２の光軸方向である。また、奥行き成分とは、撮像装置から奥行き方向を基準に斜め方向の成分も含むことである。
抽出部１２４は、撮像部２が生成した画像データに対応する画像から検出部１２２が検出した被写体の領域を抽出して被写体画像データを生成する。
合成部１２５は、後述する撮像制御部１２７の制御のもと、撮像部２が生成した複数の画像データを合成して合成画像データを生成する。具体的には、合成部１２５は、所定枚数の画像データを合成する場合、各画像データに対して所定枚数分の１倍の係数を乗じて各画像データを合成する。例えば、合成部１２５は、３枚の画像データを合成する場合、各画像データに１／３を乗じた後に、各画像データを合成することによって合成画像データを生成する。
表示制御部１２６は、表示部６の表示態様を制御する。具体的には、表示制御部１２６は、合成部１２５が生成した合成画像に、撮像部２が生成した画像データに対応する画像を重畳して表示部６に表示させる。また、表示制御部１２６は、仮記録部９に記録された複数の画像データを所定の表示フレームレートで表示部６にスローモーションで表示させる。例えば、表示制御部１２６は、仮記録部９に記録された複数の画像データが１２０ｆｐｓで生成された場合、１５ｆｐｓで表示部６に表示されるように制御する。
撮像制御部１２７は、撮像部２を制御する。また、撮像制御部１２７は、操作部８による取捨選択の操作に応じて選択された２つ以上の画像データを合成部１２５に合成させて新たな合成画像データを生成させる。なお、本実施の形態１では、撮像制御部１２７が制御部として機能する。
記録制御部１２８は、撮像部２が生成した画像データを仮記録部９に記録させるとともに、画像データ記録部１０２に記録させる。
〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。図２は、撮像装置１が実行する処理の概要を示すフローチャートである。
まず、図２に示すように、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）、表示制御部１２６は、撮像部２が連続的に生成した画像データに対応するライブビュー画像を表示部６に順次表示される（ステップＳ１０２）。この場合、撮像部２が連続的に生成した画像データは、一定のフレーム数（例えば６０ｆｐｓや３０ｆｐｓ）または所定のデータ容量（例えば１秒間に相当するデータ容量）が仮記録部９に一時的に記録される。
続いて、撮像装置１が取捨選択モードに設定されている場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、仮記録部９に記録された複数の画像データを時系列に沿って順に表示部６にスロー表示させて、ユーザの取捨選択操作に応じて被写体の画像を順次合成して被写体の移動の軌跡を把握することができる合成画像データを生成する取捨選択モード処理を実行する（ステップＳ１０４）。なお、取捨選択モード処理の詳細は、後述する。
その後、操作部８から終了を指示する指示信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、操作部８から終了を指示する指示信号が入力されていない場合（ステップＳ１０５：Ｎｏ）、撮像装置１は、上述したステップＳ１０１へ戻る。
ステップＳ１０３において、撮像装置１が取捨選択モードに設定されていない場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、ステップＳ１０６へ移行する。
続いて、撮像制御部１２７は、操作部８から静止画撮影を指示する指示信号が入力されたか否かを判断する（ステップＳ１０６）。具体的には、撮像制御部１２７は、操作部８から静止画撮影を指示する２ｎｄレリーズ信号が入力されたか否かを判断する。なお、制御部１２は、操作部８からの２ｎｄレリーズ信号以外に、タッチパネル７からタッチによる静止画撮影を指示する信号が入力されたか否かを判断してもよい。撮像制御部１２７が操作部８から静止画撮影を指示する指示信号が入力されたと判断した場合（ステップＳ１０６：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０７へ移行する。これに対して、撮像制御部１２７が操作部８から静止画撮影を指示する指示信号が入力されていないと判断した場合（ステップＳ１０６：Ｎｏ）、撮像装置１は、後述するステップＳ１０５へ移行する。
ステップＳ１０７において、撮影制御部１２７は、撮像部２に静止画撮影を実行させる。
続いて、記録制御部１２８は、撮像部２が静止画撮影によって生成した画像データを所定のフォーマットに従って画像データ記録部１０２に記録する（ステップＳ１０８）。この場合、表示制御部１２６は、表示部６に撮像部２が静止画撮影によって生成した画像データに対応する画像を所定の時間（例えば３秒）だけ表示部６に表示させてもよい。ステップＳ１０８の後、撮像装置１は、ステップＳ１０５へ移行する。
ステップＳ１０１において、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は、ステップＳ１０９へ移行する。
続いて、撮像装置１が再生モードに設定されている場合（ステップＳ１０９：Ｙｅｓ）、撮像装置１は、画像データ記録部１０２に記録されている画像データを再生して表示する再生処理を実行する（ステップＳ１１０）。なお、再生処理の詳細は、後述する。ステップＳ１１０の後、撮像装置１は、ステップＳ１０５へ移行する。
ステップＳ１０９において、撮像装置１が再生モードに設定されていない場合（ステップＳ１０９：Ｎｏ）、撮像装置１は、ステップＳ１０５へ移行する。
〔取捨選択モード処理〕
次に、上述した図２のステップＳ１０４の取捨選択モード処理の詳細について説明する。図３は、取捨選択モード処理の詳細を示すフローチャートである。
図３に示すように、まず、撮像制御部１２７は、操作部８から撮影を指示する指示信号が入力されたか否かを判断する（ステップＳ２０１）。具体的には、撮像制御部１２７は、操作部８から撮影準備を指示する１ｓｔレリーズ信号が入力されたか否かを判断する。もちろん、撮像制御部１２７は、１ｓｔレリーズ信号以外にも、操作部８から撮影を指示する指示信号（例えば２ｎｄレリーズ信号）やタッチパネル７から撮影を指示する指示信号が入力されたか否かを判断してもよい。さらに、タッチパネル７に対して単なるタッチ操作のみであってもよい。撮像制御部１２７が操作部８から撮影を指示する指示信号が入力されたと判断した場合（ステップＳ２０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０２へ移行する。これに対して、撮像制御部１２７が操作部８から撮影を指示する指示信号が入力されていないと判断した場合（ステップＳ２０１：Ｎｏ）、撮像装置１は、上述した図２のメインルーチンへ戻る。
ステップＳ２０２において、記録制御部１２８は、撮像部２が生成した画像データを仮記録部９に順次記録させる。具体的には、図４に示すように、記録制御部１２８は、撮像部２が連続的に生成した複数の画像データ（例えば図４に示す画像Ｐ１〜Ｐ６）を仮記録部９に順次記録させる。この場合、フレームレート変更部１２１は、撮像部２が画像データを生成するフレームレートを高速のフレームレート（例えば６０ｆｐｓ→１２０ｆｐｓ）に変更してもよい。
続いて、表示制御部１２６は、仮記録部９に順次記録された画像データを時系列に沿って表示部６にスローモーションで表示させる（ステップＳ２０３）。具体的には、表示制御部１２６は、仮記録部９に撮像部２が所定のフレームレートで生成した画像データが所定時間または所定のフレーム数記録されている場合、撮像部２のフレームレートに対して１より大きい整数分の１倍にしたフレームレートで表示されるように表示部６にスローモーションで表示させる。例えば、表示制御部１２６は、仮記録部９に撮像部２が１２０ｆｐｓで生成した画像データが２秒以上記録されている場合、１５ｆｐｓで表示されるように表示部６に表示させる（８倍のスローモーションで表示）。また、表示制御部１２６は、操作部８の操作に応じて、スローモーションで表示させる速度を適宜変更してもよい。この場合、制御部１２は、音声入出力部３が取り込んだ音声データを音声入出力部３からスローモーションで表示させる画像に合わせて音声データをスロー再生させてもよい。
続いて、撮像制御部１２７は、操作部８またはタッチパネル７から表示部６がスローモーションで表示する画像に対して、最初の決定指示があったか否かを判断する（ステップＳ２０４）。具体的には、撮像制御部１２７は、操作部８から撮影を指示する２ｎｄレリーズ信号またはタッチパネル７からタッチ信号が入力されたか否かを判断する。撮像制御部１２７が操作部８またはタッチパネル７から表示部６がスローモーションで表示する画像に対して、最初の決定指示があったと判断した場合（ステップＳ２０４：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０５へ移行する。これに対して、撮像制御部１２７が操作部８またはタッチパネル７から表示部６がスローモーションで表示する画像に対して、最初の決定指示がなかったと判断した場合（ステップＳ２０４：Ｎｏ）、撮像装置１は、上述したステップＳ２０３へ戻る。
ステップＳ２０５において、撮像制御部１２７は、仮記録部９に記録された最初の決定指示があった時点の前または最初の決定指示があった時点に仮記録部９に記録された画像データから背景データを合成部１２５に生成させる。具体的には、図５に示すように、撮像制御部１２７は、表示部６が画像Ｐ１０を表示しているタイミングで操作部８またはタッチパネル７から決定指示があった場合、例えば図４に示す画像Ｐ１よりも前の画像データを背景データとして合成部１２５に生成させる。なお、合成部１２５は、図５に示す最初の決定指示があった時点に仮記録部９に記録された画像データ（例えば図４に示す画像Ｐ１）を背景データとして生成してもよい。
続いて、検出部１２２は、仮記録部９に記録された次のフレームの画像データから被写体を検出する（ステップＳ２０６）。具体的には、検出部１２２は、図４に示す画像Ｐ１から被写体Ｏ１を検出する。この場合、検出部１２２は、時間的に前後する画像データを用いて被写体Ｏ１を検出してもよいし、所定のテンプレートを用いて検出してもよいし、動きベクトルを用いて検出してもよいし、所定の特徴量を有する領域を被写体として検出してもよい。なお、図４においては、検出部１２２は、被写体Ｏ１を１匹の鳥として検出しているが、複数であってもよい。もちろん、検出部１２２は、動きがある動体を被写体として検出してもよいし、予め学習されたモデルを用いて動きがある被写体を検出してもよい。
その後、抽出部１２４は、検出部１２２によって検出された被写体の領域を画像データから抽出することによって、被写体画像データを生成する（ステップＳ２０７）。具体的には、抽出部１２４は、検出部１２２が画像Ｐ１から検出した被写体Ｏ１の領域を抽出することによって、被写体画像データを生成する。
続いて、撮像制御部１２７は、合成部１２５に、ステップＳ２０５で生成した背景データに、抽出部１２４が生成した被写体画像データを合成させて合成画像データを生成させる（ステップＳ２０８）。具体的には、撮像制御部１２７は、合成部１２５に、背景データと、抽出部１２４が生成した被写体画像データとを合成させた合成画像データ（例えば図５に示す合成画像Ｐ１０）を生成させる。
その後、検出部１２２は、仮記録部９に記録された次のフレームの画像データから被写体を検出する（ステップＳ２０９）。具体的には、検出部１２２は、図４に示す画像Ｐ２から被写体Ｏ１を検出する。
続いて、抽出部１２４は、検出部１２２によって検出された被写体の領域を画像データから抽出することによって、被写体画像データを生成する（ステップＳ２１０）。
その後、表示制御部１２６は、合成部１２５が生成した合成画像データに対応する合成画像に、抽出部１２４が生成した被写体画像データに対応する被写体画像を重畳して表示部６にスローモーションで表示させる（ステップＳ２１１）。具体的には、図５に示すように、表示制御部１２６は、合成画像Ｐ１０に被写体画像Ｏ１を重畳した画像Ｐ１１を表示部６にスローモーションで表示させる。この場合、表示制御部１２６は、合成画像Ｐ１０と被写体画像Ｏ１との比率が所定の割合、例えば１：１となるように合成画像Ｐ１０の合成画像データと被写体画像Ｏ１の被写体画像データそれぞれに係数１／２を乗じることによって表示部６に表示させる。もちろん、表示制御部１２６は、合成画像Ｐ１０と被写体画像Ｏ１との比率を適宜変更してもよく、例えば４：６となるように、合成画像Ｐ１０の合成画像データに係数０．４を乗じるとともに、被写体画像Ｏ１の被写体画像データに係数０．６を乗じることによって表示部６に表示させてもよい。
続いて、操作部８またはタッチパネル７から表示部６がスローモーションで表示する動画に対して、決定指示があった場合（ステップＳ２１２：Ｙｅｓ）、撮像装置１は、後述するステップＳ２１３へ移行する。これに対して、操作部８またはタッチパネル７から表示部６がスローモーションで表示する動画に対して、決定指示がない場合（ステップＳ２１２：Ｎｏ）、撮像装置１は、後述するステップＳ２２１へ移行する。
ステップＳ２１３において、第１判定部１２３は、仮記録部９に記録された最新のフレームの画像データに対応する画像内の被写体が撮像装置１から遠ざかっているか否かを判定する。具体的には、第１判定部１２３は、時間的に隣接する前フレームの画像データと最新のフレームの画像データに基づいて、検出部１２２が検出した被写体の領域、被写体の動きベクトルおよび撮像装置１から被写体までの距離のいずれか１つ以上を用いて、被写体が撮像装置１から遠ざかっているか否かを判定する。例えば、第１判定部１２３は、前フレームの被写体の距離より最新のフレームの被写体の距離が大きくなっている場合、被写体が撮像装置１から遠ざかっていると判定する。ここで、被写体が撮像装置１から遠ざかっているとは、被写体が奥行き方向（撮像装置１の光軸方向および斜め方向も含む）へ向けて移動していることである。第１判定部１２３によって被写体が撮像装置１から遠ざかっていると判定された場合（ステップＳ２１３：Ｙｅｓ）、撮像装置１は、後述するステップＳ２１４へ移行する。これに対して、第１判定部１２３によって被写体が撮像装置１から遠ざかっていないと判定された場合（ステップＳ２１３：Ｎｏ）、撮像装置１は、後述するステップＳ２１８へ移行する。
ステップＳ２１４において、検出部１２２は、合成画像から被写体を検出する。具体的には、検出部１２２は、表示部６が表示している合成画像、例えば図５に示す合成画像Ｐ１１から被写体Ｏ１を検出する。
続いて、抽出部１２４は、検出部１２２が合成画像から検出した被写体の領域を抽出することによって、被写体画像データを生成する（ステップＳ２１５）。
その後、撮像制御部１２７は、合成部１２５に、最新の画像データと、抽出部１２４が生成した被写体画像データとを合成させて合成画像データを更新させる（ステップＳ２１６）。これにより、被写体が撮像装置１に対して奥行き方向へ移動した場合であっても、順次合成する背景を最新の画像データを背景データとして更新することができるので、被写体の軌跡を自然な状態とすることができる。このとき、撮像制御部１２７は、合成部１２５に、最新の画像データに乗じる係数が被写体画像データに乗じる係数より高くなるように合成させる。例えば、撮像制御部１２７は、最新の画像データに乗じる係数を０．７とし、被写体画像データに乗じる係数を０．３とすることによって合成部１２５に合成画像データを生成させて更新させる。これにより、撮像装置１から遠い被写体ほど合成画像上でコントラストが強調されるので、奥行き方向へ移動する被写体の軌跡を明確にすることができる。
続いて、表示制御部１２６は、合成部１２５が更新した合成画像データに対応する合成画像をスローモーションで表示部６に表示させる（ステップＳ２１７）。ステップＳ２１７の後、撮像装置１は、後述するステップＳ２２１へ移行する。
ステップＳ２１８において、検出部１２２は、仮記録部９に記録された最新の画像データに対応する最新画像から被写体を検出する。例えば、図４に示す画像Ｐ３から被写体Ｏ１を検出する。
続いて、抽出部１２４は、検出部１２２が最新画像から検出した被写体の領域を抽出することによって、被写体画像データを生成する（ステップＳ２１９）。
その後、撮像制御部１２７は、合成部１２５に、合成画像データと、抽出部１２４が生成した被写体画像データと、を合成させて合成画像データに対応する合成画像を更新させる（ステップＳ２２０）。具体的には、図５に示すように、撮像制御部１２７は、合成部１２５に、合成画像データと、被写体画像データと、を合成させて合成画像Ｐ１２に更新させる。この場合において、図５に示すように、操作部８またはタッチパネル７から決定指示があったとき、ステップＳ２２０の後、撮像装置１は、後述するステップＳ２１７へ移行する。
ステップＳ２２１において、制御部１２は、仮記録部９に記録された画像データの全てが終了したか否かを判断する（ステップＳ２２１）。制御部１２が仮記録部９に記録された画像データの全てが終了したと判断した場合（ステップＳ２２１：Ｙｅｓ）、撮像装置１は、後述するステップＳ２２２へ移行する。これに対して、制御部１２が仮記録部９に記録された画像データの全てが終了していないと判断した場合（ステップＳ２２１：Ｎｏ）、撮像装置１は、上述したステップＳ２０９へ戻る。この場合において、図５に示すように、表示制御部１２６は、図５の合成画像Ｐ１３〜合成画像Ｐ１５に示すように、抽出部１２４が検出部１２２によって画像Ｐ４〜画像Ｐ６の各々から検出した被写体Ｏ１を順次抽出して生成した被写体画像データを合成画像データに合成して表示部６にスローモーションで表示させる。このとき、撮像制御部１２７は、操作部８またはタッチパネル７からの決定指示に応じて、合成部１２５に被写体画像と合成画像とを合成させることによって、図５に示す合成画像Ｐ１３、合成画像Ｐ１５および合成画像Ｐ１６を生成させる。これにより、ユーザは、所望の位置や状態を反映した被写体Ｏ１の軌跡が写る合成画像を得ることができる。なお、制御部１２は、仮記録部９に記録された画像データの全てが終了した以外にも、仮記録部９に画像データを記録させることができる容量に達したか否かを判断することによって、取捨選択モードを終了するか否かを判断してもよい。もちろん、制御部１２は、操作部８またはタッチパネル７の操作に応じて、取捨選択モードを終了するか否かを判断してもよい。
ステップＳ２２２において、表示制御部１２６は、合成部１２５が生成した最新の合成画像データに対応する合成画像を表示部６に表示させる。具体的には、図６に示すように、表示制御部１２６は、合成部１２５が生成した最新の合成画像データに対応する合成画像Ｐ２０を表示部６に表示させる。
続いて、記録制御部１２８は、合成部１２５が生成した最新の合成画像データを画像データ記録部１０２に記録する（ステップＳ２２３）。ステップＳ２２３の後、撮像装置１は、図２のメインルーチンへ戻る。
〔再生処理〕
次に、上述した図２のステップＳ１１０の再生処理の詳細について説明する。図７は、撮像装置１が実行する再生処理の概要を示すフローチャートである。
図７に示すように、まず、表示制御部１２６は、画像データ記録部１０２に記録された複数の画像データに対応する複数のサムネイル画像を表示部６に一覧表示させる（ステップＳ３０１）。
続いて、表示部６が一覧表示した複数のサムネイル画像の中から操作部８またはタッチパネル７を介して画像が選択された場合（ステップＳ３０２：Ｙｅｓ）、表示制御部１２６は、選択された画像の画像データを表示部６で再生して表示させる（ステップＳ３０３）。
その後、操作部８から再生の終了を指示する指示信号が入力された場合（ステップＳ３０４：Ｙｅｓ）、撮像装置１は、図２のメインルーチンへ戻る。これに対して、操作部８から再生の終了を指示する指示信号が入力されていない場合（ステップＳ３０４：Ｎｏ）、撮像装置１は、後述するステップＳ３０５へ移行する。
ステップＳ３０５において、操作部８またはタッチパネル７を介して表示部６が表示する画像の切り替えを指示する指示信号が入力された場合（ステップＳ３０５：Ｙｅｓ）、表示制御部１２６は、表示部６が表示する画像を操作に応じた画像に切り替えて表示部６に表示させる（ステップＳ３０６）。ステップＳ３０６の後、撮像装置１は、上述したステップＳ３０４へ戻る。
ステップＳ３０５において、操作部８またはタッチパネル７を介して表示部６が表示する画像の切り替えを指示する指示信号が入力されていない場合（ステップＳ３０５：Ｎｏ）、撮像装置１は、上述したステップＳ３０４へ戻る。
ステップＳ３０２において、表示部６が一覧表示した複数の画像の中から操作部８またはタッチパネル７を介して画像が選択されていない場合（ステップＳ３０２：Ｎｏ）、撮像装置１は、ステップＳ３０７へ移行する。
続いて、操作部８から再生の終了を指示する指示信号が入力された場合（ステップＳ３０７：Ｙｅｓ）、撮像装置１は、上述した図２のメインルーチンへ戻る。これに対して、操作部８から再生の終了を指示する指示信号が入力されていない場合（ステップＳ３０７：Ｎｏ）、撮像装置１は、上述したステップＳ３０１へ戻る。
以上説明した本発明の実施の形態１によれば、撮像制御部１２７が操作部８による取捨選択の操作に応じて選択された２つ以上の画像データを合成部１２５に合成させて新たな合成画像データを生成させるので、ユーザが所望する被写体の位置や状態を反映した合成画像を取得することができる。
また、本発明の実施の形態１によれば、表示制御部１２６が撮像部２によって画像データが生成される毎に、表示部６が表示する合成画像に重畳する画像を、最新画像に更新して表示部６に表示させるので、ユーザが所望する被写体の位置や状態を直感的に把握させることができる。
また、本発明の実施の形態１によれば、表示制御部１２６が撮像部２のフレームレートに対して１より大きい整数分の１倍にしたフレームレートによって合成画像および最新画像を表示部６にスローモーションで表示させるので、ユーザが所望する位置で被写体を容易に合成画像に合成させることができる。
また、本発明の実施の形態１によれば、撮像制御部１２７が操作部８から指示信号が入力された場合、合成部１２５に撮像部２によって生成された最新の画像データに対応する最新画像を合成画像に合成させて合成画像データを更新させるので、ユーザの意志を合成画像に容易に反映させることができる。
また、本発明の実施の形態１によれば、撮像制御部１２７が合成部１２５に抽出部１２４によって生成された被写体画像データに対応する被写体画像を合成画像に合成させて合成画像データを更新させるので、被写体のみが移動する軌跡の合成画像データを得ることができる。
また、本発明の実施の形態１によれば、第１判定部１２３によって被写体が撮像装置１から奥行きに遠ざかっていると判定された場合、撮像制御部１２７が合成部１２５に最新画像と、抽出部１２４が合成画像から抽出した被写体画像とを合成させて合成画像データを更新させるので、奥行き方向へ移動する被写体であっても、移動する被写体の軌跡が滑らかな合成画像を得ることができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１に係る撮像装置１と同一の構成を有し、撮像装置が実行する取捨選択モード処理および再生処理が異なる。具体的には、上述した実施の形態１では、撮影中に合成画像に合成する被写体の位置や状態を選択していたが、本実施の形態２では、撮影後に合成画像に合成する被写体の位置や状態を選択する。以下においては、本実施の形態２に係る撮像装置が実行する取捨選択モード処理および再生処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔取捨選択モード処理〕
図８は、本実施の形態２に係る撮像装置１が実行する取捨選択モード処理の概要を示すフローチャートである。
図８に示すように、まず、制御部１２は、操作部８またはタッチパネル７から撮影を指示する指示信号が入力されたか否かを判断する（ステップＳ４０１）。制御部１２が操作部８またはタッチパネル７から撮影を指示する指示信号が入力されたと判断した場合（ステップＳ４０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ４０２へ移行する。これに対して、制御部１２が操作部８またはタッチパネル７から撮影を指示する指示信号が入力されていないと判断した場合（ステップＳ４０１：Ｎｏ）、撮像装置１は、上述した図２のメインルーチンへ戻る。
ステップＳ４０２において、記録制御部１２８は、撮像部２が生成した画像データを仮記録部９に順次記録させる。
続いて、制御部１２は、操作部８またはタッチパネル７から決定指示が入力されたか否かを判断する（ステップＳ４０３）。制御部１２が操作部８またはタッチパネル７から決定指示が入力されたと判断した場合（ステップＳ４０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ４０４へ移行する。これに対して、制御部１２が操作部８またはタッチパネル７から決定指示が入力されていないと判断した場合（ステップＳ４０３：Ｎｏ）、撮像装置１は、上述したステップＳ４０２へ移行する。
ステップＳ４０４において、記録制御部１２８は、仮記録部９に記録された所定のフレーム数（例えば３０フレーム）の画像データを記録部１０の画像データ記録部１０２に記録するとともに、撮像部２が生成した画像データを記録部１０に順次記録する。
続いて、制御部１２は、操作部８またはタッチパネル７から撮影を終了する指示信号が入力されたか否かを判断する（ステップＳ４０５）。制御部１２が操作部８またはタッチパネル７から終了を指示する指示信号が入力されたと判断した場合（ステップＳ４０５：Ｙｅｓ）、撮像装置１は、後述するステップＳ４０６へ移行する。これに対して、制御部１２が操作部８またはタッチパネル７から終了を指示する指示信号が入力されていないと判断した場合（ステップＳ４０５：Ｎｏ）、撮像装置１は、上述したステップＳ４０４へ戻る。
ステップＳ４０６において、合成部１２５は、記録部１０の画像データ記録部１０２に記録された複数の画像データに基づいて、スローモーション動画データと、合成画像データとを生成する。具体的には、合成部１２５は、合成画像データを生成する場合、画像データ記録部１０２に記録された複数の画像データに対して、所定の係数（例えば枚数分の１）を乗じた係数を乗じることによって各画像データを順次合成して合成画像データを生成する。例えば、合成部１２５は、画像データの数が１０の場合、各画像データに０．１を乗じることによって合成画像データを生成する。また、合成部１２５は、スローモーション動画データを生成する場合、画像データ記録部１０２に記録された複数の画像データに対して、所定のフレームレート（例えば２４０ｆｐｓ）で表示されるようにフレームレートを変更することによって、スローモーション動画データを生成する。ステップＳ４０６の後、撮像装置１は、上述した図２のメインルーチンへ戻る。
〔再生処理〕
次に、本実施の形態２に係る撮像装置１が実行する再生処理について説明する。図９は、本実施の形態２に係る撮像装置１が実行する再生処理の概要を示すフローチャートである。
図９に示すように、まず、表示制御部１２６は、画像データ記録部１０２に記録された複数の画像データに対応する複数のサムネイル画像および複数の動画データに対応する複数のサムネイル画像を表示部６に一覧表示させる（ステップＳ５０１）。
続いて、表示部６が一覧表示した複数のサムネイル画像の中から操作部８またはタッチパネル７を介してスローモーション動画が選択された場合（ステップＳ５０２：Ｙｅｓ）、撮像装置１は、スローモーション動画を再生しながらユーザの操作に応じて被写体の軌跡が写る合成画像データを生成するスローモーション動画再生処理を実行する（ステップＳ５０３）。なお、スローモーション動画再生処理の詳細は、後述する。この場合、制御部１２は、音声入出力部３が取り込んだ音声データを音声入出力部３からスローモーションで表示させる動画に合わせて音声データをスロー再生させてもよい。ステップＳ５０３の後、撮像装置１は、ステップＳ５０４へ移行する。
続いて、操作部８またはタッチパネル７を介して表示部６が表示する画像を切り替える指示信号が入力された場合（ステップＳ５０４：Ｙｅｓ）、撮像装置１は、上述したステップＳ５０２へ戻る。これに対して、操作部８またはタッチパネル７を介して表示部６が表示する画像を切り替える指示信号が入力されていない場合（ステップＳ５０４：Ｎｏ）、撮像装置１は、後述するステップＳ５０５へ移行する。
ステップＳ５０５において、操作部８から再生の終了を指示する指示信号が入力された場合（ステップＳ５０５：Ｙｅｓ）、撮像装置１は、上述した図２のメインルーチンへ戻る。これに対して、操作部８から再生の終了を指示する指示信号が入力されていない場合（ステップＳ５０５：Ｎｏ）、撮像装置１は、上述したステップＳ５０１へ戻る。
ステップＳ５０２において、表示部６が一覧表示した複数のサムネイル画像の中から操作部８またはタッチパネル７を介してスローモーション動画が選択されていない場合（ステップＳ５０２：Ｎｏ）、撮像装置１は、ステップＳ５０６へ移行する。
続いて、表示部６が一覧表示した複数のサムネイル画像の中から合成画像が選択された場合（ステップＳ５０６：Ｙｅｓ）、撮像装置１は、合成画像データを表示部６で再生しながらユーザの操作に応じて合成画像データに含まれる画像データの位置や削除を行う合成画像再生処理を実行する（ステップＳ５０７）。なお、合成画像再生処理の詳細な内容は、後述する。ステップＳ５０７の後、撮像装置１は、ステップＳ５０４へ移行する。
ステップＳ５０６において、表示部６が一覧表示した複数のサムネイル画像の中から合成画像が選択されていない場合（ステップＳ５０６：Ｎｏ）、撮像装置１は、ステップＳ５０８へ移行する。
続いて、表示部６が一覧表示した複数のサムネイル画像の中から画像が選択された場合（ステップＳ５０８：Ｙｅｓ）、表示制御部１２６は、選択された画像の画像データを表示部６で再生して表示させる（ステップＳ５０９）。ステップＳ５０９の後、撮像装置１は、ステップＳ５０４へ移行する。
ステップＳ５０８において、表示部６が一覧表示した複数のサムネイル画像の中から画像が選択されていない場合（ステップＳ５０８：Ｎｏ）、撮像装置１は、ステップＳ５０５へ移行する。
〔スローモーション動画再生処理〕
次に、上述した図９のステップＳ５０３で説明したスローモーション動画再生処理の詳細について説明する。図１０は、スローモーション動画再生処理の概要を示すフローチャートである。
図１０に示すように、まず、表示制御部１２６は、スローモーション動画データに対応するスローモーション動画を表示部６で再生して表示させる（ステップＳ６０１）。
続いて、タッチパネル７に対してタッチがあった場合（ステップＳ６０２：Ｙｅｓ）、撮像装置１は、後述するステップＳ６０４へ移行する。これに対して、タッチパネル７に対してタッチがなかった場合（ステップＳ６０２：Ｎｏ）、撮像装置１は、後述するステップＳ６０３へ移行する。
ステップＳ６０３において、スローモーション動画の再生が終了した場合（ステップＳ６０３：Ｙｅｓ）、撮像装置１は、図９の再生処理のサブルーチンへ戻る。これに対して、スローモーション動画の再生が終了していない場合（ステップＳ６０３：Ｎｏ）、撮像装置１は、上述したステップＳ６０２へ戻る。
ステップＳ６０４〜ステップＳ６１０は、上述した図３のステップＳ２０５〜ステップＳ２１１それぞれに対応する。
ステップＳ６１１において、タッチパネル７を介して表示部６がスローモーションで表示する動画に対してタッチがあった場合（ステップＳ６１１：Ｙｅｓ）、撮像装置１は、後述するステップＳ６１２へ移行する。これに対して、タッチパネル７を介して表示部６がスローモーションで表示する動画に対してタッチがない場合（ステップＳ６１１：Ｎｏ）、撮像装置１は、後述するステップＳ６２０へ移行する。
ステップＳ６１２〜ステップＳ６１９は、上述した図３のステップＳ２１３〜ステップ２１７にそれぞれ対応する。ステップＳ６１９の後、撮像装置１は、ステップＳ６１６へ移行する。
続いて、スローモーション動画が終了した場合（ステップＳ６２０：Ｙｅｓ）、撮像装置１は、後述するステップＳ６２１へ移行する。これに対して、スローモーション動画が終了していない場合（ステップＳ６２０：Ｎｏ）、撮像装置１は、上述したステップＳ６０８へ戻る。
ステップＳ６２１およびステップＳ６２２は、上述した図３のステップＳ２２２およびステップＳ２２３それぞれに対応する。ステップＳ６２２の後、撮像装置１は、図９の再生処理のサブルーチンへ戻る。
〔合成画像再生処理〕
次に、上述した図９のステップＳ５０７で説明した合成画像再生処理の詳細について説明する。図１１は、合成画像再生処理の概要を示すフローチャートである。
図１１に示すように、まず、表示制御部１２６は、合成画像に含まれる各フレームの配置に応じたガイドを表示部６に表示させる（ステップＳ７０１）。具体的には、図１２Ａに示すように、表示制御部１２６は、合成画像Ｐ３０に含まれる各フレームの配置に応じたガイドＧ１〜Ｇ６および合成画像Ｐ３０を表示部６に表示させる。なお、表示制御部１２６は、フレーム情報として機能するガイドＧ１〜Ｇ６を検出部１２２によって検出された被写体の位置に対応する位置に表示部６に表示させる。これにより、ユーザは、直感的に被写体に応じたフレームを把握することができる。
続いて、制御部１２は、タッチパネル７または操作部８を介して表示部６が表示する複数のガイドのいずれかが選択されたか否かを判断する（ステップＳ７０２）。例えば、図１２Ｂに示すように、制御部１２は、ユーザＵ１がタッチパネル７を介して表示部６が表示する複数のガイドの中からガイドＧ２を選択したか否かを判断する。制御部１２がタッチパネル７または操作部８を介して表示部６が表示する複数のガイドのいずれかが選択されたと判断した場合（ステップＳ７０２：Ｙｅｓ）、撮像装置１は、後述するステップＳ７０３へ移行する。これに対して、タッチパネル７または操作部８を介して表示部６が表示する複数のガイドのいずれかが選択されていないと判断した場合（ステップＳ７０２：Ｎｏ）、撮像装置１は、後述するステップＳ７０９へ移行する。
ステップＳ７０３において、タッチパネル７または操作部８を介して選択されたガイドに対応するフレームの画像データを削除する場合（ステップＳ７０３：Ｙｅｓ）、合成部１２５は、タッチパネル７または操作部８を介して選択されたガイドに対応するフレームの画像データを削除する（ステップＳ７０４）。具体的には、図１２Ｃ〜図１２Ｅに示すように、合成部１２５は、ユーザＵ１がタッチパネル７を介してガイドＧ２をタッチしながら表示部６の表示領域外へ移動させた場合、ガイドＧ２に対応するフレームの画像データを合成画像データの中から削除することによって合成画像データに対応する合成画像Ｐ３１に更新する。これにより、ユーザは、所望のガイドを選択して操作することによって、所望のフレームの画像データを合成画像データとして生成させることができる。
続いて、表示制御部１２６は、表示部６が表示する合成画像を更新する（ステップＳ７０５）。ステップＳ７０５の後、撮像装置１は、後述するステップＳ７０９へ移行する。
ステップＳ７０３において、タッチパネル７または操作部８を介して選択されたガイドに対応するフレームの画像データを削除しない場合（ステップＳ７０３：Ｎｏ）、撮像装置１は、後述するステップＳ７０６へ移行する。
続いて、タッチパネル７または操作部８を介して選択されたガイドの操作に応じて合成画像におけるフレームの位置を入れ替える場合（ステップＳ７０６：Ｙｅｓ）、合成部１２５は、タッチパネル７または操作部８を介して選択されたガイドの操作に応じてフレームの位置を入れ替える（ステップＳ７０７）。
その後、表示制御部１２６は、表示部６が表示する合成画像を合成部１２５によってフレームの位置が入れ替えられた合成画像データに対応する合成画像に更新する（ステップＳ７０８）。
続いて、タッチパネル７または操作部８から合成画像に対する編集作業を終了する指示信号が入力された場合（ステップＳ７０９：Ｙｅｓ）、撮像装置１は、後述するステップＳ７１０へ移行する。これに対して、タッチパネル７または操作部８から合成画像に対する編集作業を終了する指示信号が入力されていない場合（ステップＳ７０９：Ｎｏ）、撮像装置１は、上述したステップＳ７０１へ戻る。
ステップＳ７１０において、合成画像に変更があった場合（ステップＳ７１０：Ｙｅｓ）、記録制御部１２８は、変更があった合成画像に対応する合成画像データを画像データ記録部１０２に記録する（ステップＳ７１１）。ステップＳ７１１の後、撮像装置１は、上述した図９の再生処理のサブルーチンへ戻る。
ステップＳ７１０において、合成画像に変更がなかった場合（ステップＳ７１０：Ｎｏ）、撮像装置１は、上述した図９の再生処理のサブルーチンへ戻る。
ステップＳ７０６において、タッチパネル７または操作部８を介して選択されたガイドの操作に応じてフレームの位置を入れ替えない場合（ステップＳ７０６：Ｎｏ）、撮像装置１は、ステップＳ７０９へ移行する。
以上説明した本発明の実施の形態２によれば、上述した実施の形態１と同様の効果を有し、ユーザが所望する主被写体の位置や状態を反映した合成画像を取得することができる。
また、本発明の実施の形態２によれば、表示制御部１２６が合成部１２５によって生成された合成画像に含まれる複数の画像データそれぞれのフレーム番号を示す複数のフレーム情報をガイド情報として合成画像に重畳して表示部６に表示させるので、ユーザは直感的に所望のフレームを把握することができる。
また、本発明の実施の形態２によれば、撮像制御部１２７が操作部８またはタッチパネル７によるフレーム情報であるガイドの取捨選択に応じて選択された２つ以上の画像データを合成部１２５に合成させて合成画像データを生成させるので、ユーザが所望する主被写体の位置や状態を反映した合成画像を取得することができる。
なお、本発明の実施の形態２では、表示制御部１２６が合成画像Ｐ３０に含まれる各フレームの配置に応じたガイドＧ１〜Ｇ６および合成画像Ｐ３０を表示部６に表示させていたが、ガイドの表示方法を適宜変更することができる。例えば、図１３Ａに示すように、表示制御部１２６は、合成画像Ｐ４０に含まれる各フレームの被写体とガイドＧ１〜Ｇ６とを対応付けた情報を合成画像Ｐ４０に重畳して表示部６に表示させてもよい。これにより、ユーザＵ１は、所望のガイドをタッチして操作するだけ（図１３Ｂ→図１３Ｃ→図１３Ｄ）、合成画像Ｐ４０から所望の被写体のみを残した合成画像Ｐ４１を生成することができる。
（実施の形態２の変形例）
次に、本発明の実施の形態２の変形例について説明する。本実施の形態２の変形例は、上述した実施の形態２に係る撮像装置１と構成が異なるうえ、実行する合成画像再生処理が異なる。具体的には、上述した実施の形態２は、合成画像に含まれる各フレームの被写体の位置に応じてガイドを表示していたが、本実施の形態２の変形例では、合成画像に含まれる各フレームの被写体の距離および位置に応じて、ガイドを表示する。以下においては、本実施の形態２の変形例に係る撮像装置の構成を説明後、本実施の形態２の変形例に係る撮像装置が実行する合成画像再生処理の詳細について説明する。なお、上述した実施の形態２に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔撮像装置の構成〕
図１４は、本発明の実施の形態２の変形例に係る撮像装置の機能構成を示すブロック図である。図１４に示す撮像装置１ａは、上述した実施の形態２に係る撮像装置１の制御部１２に換えて、制御部１２ａを備える。
制御部１２ａは、撮像装置１ａを構成する各部を統括的に制御する。制御部１２ａは、ＣＰＵ、ＦＰＧＡおよびＡＳＩＣ等の汎用プロセッサを用いて構成される。制御部１２ａは、上述した実施の形態２に係る制御部１２の構成に加えて、算出部１２９をさらに備える。
算出部１２９は、撮像装置１ａから検出部１２２が検出した各フレームの被写体までの距離を算出する。具体的には、算出部１２９は、時間的に前後する画像データに基づいて、検出部１２２が検出した被写体の距離を検出する。なお、算出部１２９は、時間的に前後する画像データを用いる以外にも、周知の技術を用いて撮像装置１ａから被写体までの距離を算出してもよい。算出部１２９は、フレーム間差分法等を用いて撮像装置１ａから被写体までの距離を、合成画像に含まれるフレーム毎に算出してもよい。
〔合成画像再生処理〕
次に、撮像装置１ａが実行する合成画像再生処理について説明する。図１５は、撮像装置１ａが実行する合成画像再生処理の概要を示すフローチャートである。なお、以下においては、図１６に示すように、撮像装置１ａが所定の周路を移動する被写体Ｏ１０を撮像して生成した複数の画像データ（例えば６フレーム）を合成部１２５が合成した合成画像データを生成した場合について説明する。
図１５に示すように、まず、算出部１２９は、合成部１２５が上述した図１６の状況下で生成した合成画像に含まれる各フレームの被写体の距離を算出する（ステップＳ８０１）。
続いて、表示制御部１２６は、算出部１２９が算出した各フレームの被写体の距離に応じて、ガイドを表示部６に表示させる（ステップＳ８０２）。具体的には、図１７Ａに示すように、表示制御部１２６は、算出部１２９が算出した各フレームの被写体の距離に応じて、ガイドＧ１〜Ｇ６を合成画像Ｐ５０に重畳して表示部６に表示させる。この場合、表示制御部１２６は、図１６に示すように、算出部１２９によって最初のフレームに含まれる被写体ほど、撮像装置１ａに近い距離と算出されるため、表示部６に、最初の３フレームに対応するガイドＧ１〜Ｇ３を下側の表示領域に表示させ、かつ、後半の３フレームに対応するガイドＧ４〜Ｇ６を上側の表示領域に表示させる。さらに、表示制御部１２６は、各フレームの被写体の位置関係を反映させた状態でガイドＧ１〜Ｇ６を表示部６に表示させる。これにより、ユーザは、合成画像Ｐ５０の各フレームに含まれる被写体の距離および位置関係を直感的に把握することができる。
ステップＳ８０３〜ステップＳ８０６は、上述した図１１のステップＳ７０２〜ステップＳ７０５それぞれに対応する。
ステップＳ８０７において、タッチパネル７または操作部８を介して選択されたガイドの操作に応じて合成画像におけるフレームの位置を入れ替える場合（ステップＳ８０７：Ｙｅｓ）、合成部１２５は、タッチパネル７または操作部８を介して選択されたガイドの操作に応じてフレームの位置を入れ替える（ステップＳ８０８）。具体的には、図１７Ｂに示すように、合成部１２５は、ユーザＵ１がタッチパネル７を介してガイドＧ５を選択し、ガイドＧ１とガイドＧ２との間にガイドＧ５を挿入した場合（図１７Ｂ→図１７Ｃ→図１７Ｄ→図１７Ｅ）、合成画像におけるフレームの位置を入れ替える。これにより、ユーザは、所望の位置に被写体を移動させた合成画像Ｐ５１を得ることができる。
続いて、表示制御部１２６は、表示部６が表示する合成画像を合成部１２５によってフレームの位置が入れ替えられた合成画像データに対応する合成画像に更新する（ステップＳ８０９）。
ステップＳ８１０〜ステップＳ８１２は、上述したステップＳ７０９〜ステップＳ７１１それぞれに対応する。ステップＳ８１２の後、撮像装置１ａは、上述した図９の再生処理のサブルーチンへ戻る。
以上説明した本発明の実施の形態２の変形例によれば、上述した実施の形態１と同様の効果を有し、ユーザが所望する主被写体の位置や状態を反映した合成画像を取得することができる。
また、本発明の実施の形態２の変形例によれば、表示制御部１２６が各フレームの被写体の位置関係を反映させた状態でフレーム情報としてガイドを表示部６に表示させるので、ユーザは、合成画像の各フレームに含まれる被写体の距離および位置関係を直感的に把握することができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像装置は、上述した実施の形態１に係る撮像装置１と構成が異なるうえ、撮像装置が実行する取捨選択モード処理が異なる。具体的には、上述した実施の形態１では、撮像装置１の撮像領域（視野領域）が固定されていたが、本実施の形態３では、被写体の移動に応じてユーザが撮像装置を移動させることによって、被写体に追従するように撮像装置の撮像領域を移動させる。以下においては、本実施の形態３に係る撮像装置の構成を説明後、本実施の形態３に係る撮像装置が実行する取捨選択モード処理について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して説明を省略する。
〔撮像装置の構成〕
図１８は、本発明の実施の形態３に係る撮像装置の機能構成を示すブロック図である。図１８に示す撮像装置１ｂは、上述した実施の形態１に係る撮像装置１の制御部１２に換えて、制御部１２ｂを備える。
制御部１２ｂは、撮像装置１ｂを構成する各部を統括的に制御する。制御部１２ｂは、ＣＰＵ、ＦＰＧＡおよびＡＳＩＣ等の汎用プロセッサを用いて構成される。制御部１２ｂは、上述した実施の形態１に係る制御部１２の構成に加えて、第２判定部１３０と、第３判定部１３１と、生成部１３２と、をさらに備える。
第２判定部１３０は、時間的に前後する画像データに基づいて、撮像部２の撮像領域が変化したか否かを判定する。
第３判定部１３１は、最新画像の撮像領域と合成画像の撮像領域とが重なるか否かを判定する。
生成部１３２は、第３判定部１３１によって最新画像の撮像領域と合成画像の撮像領域とが重ならないと判定された場合、最新画像の撮像領域と合成画像の撮像領域との間の領域を補間する補間画像を生成する。
〔取捨選択モード処理〕
次に、撮像装置１ｂが実行する取捨選択モード処理について説明する。図１９は、撮像装置１ｂが実行する取捨選択モード処理の概要を示すフローチャートである。図２０は、ユーザが撮像装置１ｂを用いて所定の方向へ移動している被写体Ｏ１を追尾しながら撮影する状況下を示す図である。なお、以下においては、図２０に示す状況下において撮像装置１ｂが取捨選択モード処理を実行する場合について説明する。
図１９に示すように、まず、制御部１２ｂは、操作部８またはタッチパネル７から撮影を指示する指示信号が入力されたか否かを判断する（ステップＳ９０１）。制御部１２ｂが操作部８またはタッチパネル７から撮影を指示する指示信号が入力されたと判断した場合（ステップＳ９０１：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ９０２へ移行する。これに対して、制御部１２ｂが操作部８またはタッチパネル７から撮影を指示する指示信号が入力されていないと判断した場合（ステップＳ９０１：Ｎｏ）、撮像装置１ｂは、上述した図２のメインルーチンへ戻る。
ステップＳ９０２において、記録制御部１２８は、撮像部２が生成した画像データを仮記録部９に順次記録させる。
続いて、表示制御部１２６は、仮記録部９に記録された複数の画像データを表示部６にスローモーションで表示させる（ステップＳ９０３）。
その後、仮記録部９に記録された複数の画像データにおいて合成するフレームがある場合（ステップＳ９０４：Ｙｅｓ）、第２判定部１３０は、時間的に前後する２つのフレームを比較する（ステップＳ９０５）。具体的には、第２判定部１３０は、時間的に前後する２つのフレームを比較することによって、撮像部２の撮像領域が変化しているか否かを判定する。
続いて、合成部１２５は、第２判定部１３０の判定結果に応じて、時間的に前後する２つのフレームにおいて周辺部同士で一致する部分を重ねて合成画像データを生成する（ステップＳ９０６）。例えば、図２１に示すように、合成部１２５は、時間的に前後する複数のフレームＦ１〜Ｆ３の画像データに対応する画像において周辺部同士で一致する部分を重ねて合成画像データを生成する。この場合において、合成部１２５は、図２２に示すように、所定の大きさを有する画像Ｐ６０の所定位値を原点Ｑ１（０．０）としたとき、各フレームＦ１〜Ｆ３の各々を重ねた部分の座標Ｑ２〜Ｑ３（画素座標）を算出する。なお、図２２においては、画像Ｐ６０の水平方向をＸとし、垂直方向をＹとする。
その後、記録制御部１２８は、合成部１２５が生成した合成画像データを仮記録部９に仮記録する（ステップＳ９０７）。
続いて、操作部８またはタッチパネル７を介して撮影を終了する指示信号が入力された場合（ステップＳ９０８：Ｙｅｓ）、撮像装置１ｂは、後述するステップＳ９０９へ移行する。これに対して、操作部８またはタッチパネル７を介して撮影を終了する指示信号が入力されていない場合（ステップＳ９０８：Ｎｏ）、撮像装置１ｂは、上述したステップＳ９０４へ戻る。
ステップＳ９０９において、表示制御部１２６は、仮記録部９に仮記録された合成画像データに対応する合成画像を表示部６に表示させる。
その後、操作部８またはタッチパネル７を介して表示部６が表示する合成画像を構成する各フレームの画像データに対して、取捨選択を行う取捨選択操作が行われた場合（ステップＳ９１０：Ｙｅｓ）、合成部１２５は、操作部８またはタッチパネル７を介して行われた取捨選択操作に応じたフレームの画像データを、合成画像から削除する（ステップＳ９１１）。ステップＳ９１０の後、撮像装置１ｂは、後述するステップＳ９１２へ移行する。
ステップＳ９１０において、操作部８またはタッチパネル７を介して表示部６が表示する合成画像を構成する各フレームの画像データに対して、取捨選択を行う取捨選択操作が行われていない場合（ステップＳ９１０：Ｎｏ）、撮像装置１ｂは、後述するステップＳ９１２へ移行する。
続いて、操作部８またはタッチパネル７を介して表示部６が表示する合成画像に対して、背景を追加する背景追加撮影を指示する指示信号が入力された場合（ステップＳ９１２：Ｙｅｓ）、撮像制御部１２７は、撮像部２に撮影を実行させる（ステップＳ９１３）。
その後、合成部１２５は、撮像部２が生成した画像データを、合成画像データに追加して合成する（ステップＳ９１４）。この場合、第３判定部１３１は、撮像部２が生成した最新画像の撮像領域と合成画像の撮像領域とが重なるか否かを判定し、生成部１３２は、第３判定部１３１によって撮像部２が生成した最新画像の撮像領域と合成画像の撮像領域とが重ならないと判定された場合、撮像部２が生成した画像データを用いて最新画像の撮像領域と合成画像の撮像領域との領域を補間する補間画像を生成し、合成部１２５は、生成部１３２が生成した補間画像を用いて最新画像と合成画像の重ならない領域を補間した合成画像データを生成する。例えば、図２３に示すように、合成部１２５は、第３判定部１３１によって合成画像Ｐ６１に含まれるフレームＦ１の画像の撮像領域とフレームＦ３の画像の撮像領域とが重ならないと判定された場合、図２４に示すように、生成部１３２が画像データを用いて生成した補間画像Ｆ１０を合成することによって合成画像Ｐ６２を生成する。これにより、撮像領域が途切れることなく自然な合成画像を得ることができる。
続いて、表示制御部１２６は、合成部１２５が追加した合成画像データに対応する合成画像を表示部６に表示させる（ステップＳ９１５）。
その後、操作部８またはタッチパネル７を介して終了する指示信号が入力された場合（ステップＳ９１６：Ｙｅｓ）、記録制御部１２８は、合成部１２５が生成した合成画像データを画像データ記録部１０２に記録する（ステップＳ９１７）。この場合、記録制御部１２８は、図２５に示すように、合成部１２５が生成した合成画像データｄ１と、合成画像データを生成時の撮像装置１ｂの撮影パラメータｄ２、撮像装置１ｂの撮影場所ｄ３、合成画像データを生成時の時間ｄ４および各フレームの画像データを合成した合成位置の座標を含む合成時情報ｄ５を対応付けた画像ファイルＤ１を画像データ記録部１０２に記録する。ステップＳ９１７の後、撮像装置１ｂは、図２のメインルーチンへ戻る。
ステップＳ９１２において、操作部８またはタッチパネル７を介して表示部６が表示する合成画像に対して、背景を追加する背景追加撮影を指示する指示信号が入力されていない場合（ステップＳ９１２：Ｎｏ）、撮像装置１ｂは、ステップＳ９１５へ移行する。
ステップＳ９１６において、操作部８またはタッチパネル７を介して終了する指示信号が入力されていない場合（ステップＳ９１６：Ｎｏ）、撮像装置１ｂは、上述したステップＳ９０９へ戻る。
以上説明した本発明の実施の形態３によれば、ユーザが所望する主被写体の位置や状態を反映した合成画像を取得することができる。
また、本発明の実施の形態３によれば、合成部１２５が第２判定部１３０の判定結果に応じて、時間的に前後する２つのフレームにおいて周辺部同士で一致する部分を重ねて合成画像データを生成するので、撮像部２の撮影領域を拡大した合成画像を生成することができる。
また、本発明の実施の形態３によれば、生成部１３２が第３判定部１３１によって撮像部２が生成した最新画像の撮像領域と合成画像の撮像領域とが重ならないと判定された場合、撮像部２が生成した画像データを用いて最新画像の撮像領域と合成画像の撮像領域との領域を補間する補間画像を生成し、合成部１２５が生成部１３２によって生成された補間画像を用いて最新画像と合成画像の重ならない領域を補間した合成画像データを生成するので、撮像領域が途切れることなく自然な合成画像を得ることができる。
（その他の実施の形態）
また、本発明に係る撮像装置は、デジタルスチルカメラ以外にも、デジタルビデオカメラ、撮像機能を有するタブレット型携帯機器等の電子機器および内視鏡や顕微鏡で撮像された医療用、産業用分野の画像データに対応する画像を表示する表示装置等にも適用することができる。
また、本発明に係る撮像装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
１，１ａ，１ｂ・・・撮像装置；２・・・撮像部；３・・・音声入出力部；４・・・姿勢検出部；５・・・時計；６・・・表示部；７・・・タッチパネル；８・・・操作部；９・・・仮記録部；１０・・・記録部；１１・・・通信部；１２，１２ａ，１２ｂ・・・制御部；１０１・・・プログラム記録部；１０２・・・画像データ記録部；１２１・・・フレームレート変更部；１２２・・・検出部；１２３・・・第１判定部；１２４・・・抽出部；１２５・・・合成部；１２６・・・表示制御部；１２７・・・撮像制御部；１２８・・・記録制御部；１２９・・・算出部；１３０・・・第２判定部；１３１・・・第３判定部；１３２・・・生成部

Claims (17)

  1. 連続的に撮像して画像データを順次生成する撮像部と、
    前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、
    前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示部と、
    前記表示部が表示する前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作部と、
    前記操作部による操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御部と、
    を備えることを特徴とする撮像装置。
  2. 前記撮像部が前記画像データを生成する毎に、前記撮像部が生成した最新の前記画像データに対応する最新画像を前記合成部が生成した前記合成画像に重畳して前記表示部に表示させる表示制御部をさらに備えることを特徴とする請求項１に記載の撮像装置。
  3. 前記表示制御部は、前記合成画像および前記最新画像をスローモーションで前記表示部に表示させることを特徴とする請求項２に記載の撮像装置。
  4. 前記操作部は、前記合成画像に重畳された前記最新画像を前記合成画像に合成させる指示の入力を受け付け可能であり、
    前記制御部は、前記操作部が前記指示の入力を受け付けた場合、前記合成部に前記最新画像を前記合成画像に合成させて前記合成画像データを更新させることを特徴とする請求項２または３に記載の撮像装置。
  5. 前記最新画像に含まれる被写体を検出する検出部と、
    前記最新画像から前記検出部が検出した前記被写体を抽出して被写体画像データを生成する抽出部と、
    をさらに備え、
    前記制御部は、前記合成部に前記抽出部によって生成された前記被写体画像データに対応する被写体画像と前記合成画像とを合成させて前記合成画像データを更新させることを特徴とする請求項２〜４のいずれか一つに記載の撮像装置。
  6. 時間的に前後する前記画像データに基づいて、前記検出部によって検出された前記被写体が当該撮像装置から奥行き方向に移動する奥行き成分を有しているか否かを判定する第１判定部と、
    をさらに備え、
    前記検出部は、前記第１判定部によって前記被写体が前記奥行き成分を有していると判定された場合、前記合成画像から前記被写体を検出し、
    前記抽出部は、前記合成画像から前記検出部が検出した前記被写体を抽出して前記被写体画像データを生成し、
    前記制御部は、前記合成部に前記撮像部が生成した前記最新画像と前記抽出部が前記合成画像から抽出した前記被写体画像データに対応する被写体画像とを合成させて前記合成画像データを更新させることを特徴とする請求項５に記載の撮像装置。
  7. 時間的に前後する前記画像データに基づいて、前記撮像部の撮像領域が変化しているか否かを判定する第２判定部をさらに備え、
    前記制御部は、前記第２判定部によって前記撮像部の撮像領域が変化していると判定された場合、前記合成部に前記最新画像の撮像領域および前記合成画像の撮像領域の位置関係を反映させて合成することによって前記合成画像データを更新させることを特徴とする請求項２〜５のいずれか一つに記載の撮像装置。
  8. 前記制御部は、前記合成部に前記最新画像の撮像領域と前記合成画像の撮像領域との一部が重なるように合成して前記合成画像データを更新させることを特徴とする請求項７に記載の撮像装置。
  9. 前記最新画像の撮像領域と前記合成画像の撮像領域とが重なりを有するか否かを判定する第３判定部と、
    前記第３判定部によって前記最新画像の撮像領域と前記合成画像の撮像領域とが重ならないと判定された場合、前記最新画像の撮像領域と前記合成画像の撮像領域との間の領域を補間する補間画像を生成する生成部をさらに備え、
    前記制御部は、前記合成部に、前記最新画像、前記合成画像および前記補間画像を合成させて前記合成画像データを更新させることを特徴とする請求項７に記載の撮像装置。
  10. 前記合成画像に合成された複数の前記画像データそれぞれのフレーム番号を示す複数のフレーム情報を前記合成画像に重畳して前記表示部に表示させる表示制御部をさらに備えたことを特徴とする請求項１に記載の撮像装置。
  11. 前記操作部は、前記複数のフレーム情報のいずれかを取捨選択可能であり、
    前記制御部は、前記操作部による前記複数のフレーム情報の取捨選択に応じて選択された２つ以上の前記画像データを前記合成部に合成させることを特徴とする請求項１０に記載の撮像装置。
  12. 前記制御部は、前記操作部による前記フレーム情報の選択に応じた順番で前記合成部に複数の前記画像データを合成させて前記合成画像データを生成させることを特徴とする請求項１１に記載の撮像装置。
  13. 前記撮像部が生成する前記画像データに対応する画像に含まれる被写体を検出する検出部をさらに備え、
    前記表示制御部は、前記検出部によって検出された各フレームの前記被写体と前記フレーム情報とを対応付けて前記表示部に表示させることを特徴とする請求項１１に記載の撮像装置。
  14. 当該撮像装置と前記検出部が検出した各フレームの前記被写体との距離を算出する算出部を備え、
    前記表示制御部は、前記被写体と、前記距離と、前記フレーム情報と、を対応付けて前記表示部に表示させることを特徴とする請求項１３に記載の撮像装置。
  15. 複数の画像データを合成して合成画像データを生成する合成部と、
    表示装置が表示する前記合成部によって生成された前記合成画像データに対応する合成画像に合成された複数の前記画像データの中から操作部による操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御部と、
    を備えることを特徴とする画像処理装置。
  16. 連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、を備えた撮像装置が実行する撮像方法であって、
    前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示ステップと、
    前記表示ステップで表示した前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作ステップと、
    前記操作ステップによる操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御ステップと、
    を含むことを特徴とする撮像方法。
  17. 連続的に撮像して画像データを順次生成する撮像部と、前記撮像部が生成した複数の前記画像データを合成して合成画像データを生成する合成部と、を備えた撮像装置に、
    前記合成部が生成した前記合成画像データに対応する合成画像を表示する表示ステップと、
    前記表示ステップで表示した前記合成画像に合成された複数の前記画像データの中から前記合成画像に残す前記画像データの操作を受け付ける操作ステップと、
    前記操作ステップによる操作に応じて選択された２つ以上の前記画像データを前記合成部に合成させて新たな前記合成画像データを生成させる制御ステップと、
    を実行させるプログラム。
JP2017038500A 2017-03-01 2017-03-01 撮像装置、画像処理装置、撮像方法およびプログラム Pending JP2018148272A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017038500A JP2018148272A (ja) 2017-03-01 2017-03-01 撮像装置、画像処理装置、撮像方法およびプログラム
US15/902,646 US10397467B2 (en) 2017-03-01 2018-02-22 Imaging apparatus, image processing device, imaging method, and computer-readable recording medium
CN201810164090.6A CN108540713A (zh) 2017-03-01 2018-02-27 摄像装置、图像处理装置、摄像方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017038500A JP2018148272A (ja) 2017-03-01 2017-03-01 撮像装置、画像処理装置、撮像方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2018148272A true JP2018148272A (ja) 2018-09-20

Family

ID=63355499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017038500A Pending JP2018148272A (ja) 2017-03-01 2017-03-01 撮像装置、画像処理装置、撮像方法およびプログラム

Country Status (3)

Country Link
US (1) US10397467B2 (ja)
JP (1) JP2018148272A (ja)
CN (1) CN108540713A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355890A (zh) * 2020-03-16 2020-06-30 广州立景创新科技有限公司 图像拍摄及合成方法
JP2020145516A (ja) * 2019-03-04 2020-09-10 オリンパス株式会社 記録装置，記録方法，記録プログラム
WO2022108235A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7024539B2 (ja) * 2018-03-22 2022-02-24 カシオ計算機株式会社 画像編集装置、画像編集方法、及びプログラム
KR102061867B1 (ko) * 2018-09-10 2020-01-02 한성욱 이미지 생성 장치 및 그 방법
CN109120862A (zh) * 2018-10-15 2019-01-01 Oppo广东移动通信有限公司 高动态范围图像获取方法、装置及移动终端
CN111105434A (zh) * 2018-10-25 2020-05-05 中兴通讯股份有限公司 运动轨迹合成方法及电子设备
CN110611768B (zh) * 2019-09-27 2021-06-29 北京小米移动软件有限公司 多重曝光摄影方法及装置
CN111010511B (zh) * 2019-12-12 2021-08-10 维沃移动通信有限公司 全景分身图像拍摄方法及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3782368B2 (ja) * 2002-03-29 2006-06-07 株式会社東芝 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置
JP2003333416A (ja) * 2002-05-17 2003-11-21 Minolta Co Ltd デジタルカメラ
JP4340836B2 (ja) 2002-07-18 2009-10-07 富士フイルム株式会社 画像合成装置及び画像合成プログラム
JP2004207936A (ja) 2002-12-25 2004-07-22 Fuji Photo Film Co Ltd 画像処理装置
JP2006025312A (ja) * 2004-07-09 2006-01-26 Konica Minolta Photo Imaging Inc 撮像装置、及び画像取得方法
JP2009077362A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP5214476B2 (ja) * 2009-01-15 2013-06-19 富士フイルム株式会社 撮像装置及び画像処理方法並びにプログラム
JP5131257B2 (ja) * 2009-08-27 2013-01-30 カシオ計算機株式会社 表示制御装置及び表示制御プログラム
US20130176458A1 (en) * 2012-01-11 2013-07-11 Edwin Van Dalen Flexible Burst Image Capture System
TWI522888B (zh) * 2014-03-19 2016-02-21 宏碁股份有限公司 電子裝置及其影像檢視方法
CN103973984B (zh) * 2014-05-29 2015-11-25 努比亚技术有限公司 拍摄方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145516A (ja) * 2019-03-04 2020-09-10 オリンパス株式会社 記録装置，記録方法，記録プログラム
CN111355890A (zh) * 2020-03-16 2020-06-30 广州立景创新科技有限公司 图像拍摄及合成方法
WO2022108235A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체

Also Published As

Publication number Publication date
US10397467B2 (en) 2019-08-27
US20180255232A1 (en) 2018-09-06
CN108540713A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
JP2018148272A (ja) 撮像装置、画像処理装置、撮像方法およびプログラム
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
US9361010B2 (en) Imaging device, image processing method, and program thereof
EP2822267B1 (en) Method and apparatus for previewing a dual-shot image
US9525827B2 (en) Imaging apparatus, image processing device, image processing method, and program
JP5806623B2 (ja) 撮像装置、撮像方法およびプログラム
JP5230013B2 (ja) 撮像装置
JP2008263538A (ja) 撮影装置、方法およびプログラム
JP5377768B2 (ja) 画像処理方法及び装置
JP5912062B2 (ja) 撮影機器及び動画像データの記録方法
JP2013162333A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010153947A (ja) 画像生成装置、画像生成プログラム及び画像表示方法
JP5915514B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP2753094A2 (en) Method and apparatus for controlling contents in electronic device
JP6261205B2 (ja) 画像処理装置
JP2017011504A (ja) 撮像装置、画像処理方法及びプログラム
JP5764982B2 (ja) 再生処理装置、撮像装置、再生処理方法、及びプログラム
JP2017229032A (ja) 撮像装置およびその制御方法ならびにプログラム
JP5703771B2 (ja) 撮像補助装置、撮像補助方法及びプログラム
JP2012138763A (ja) 画像処理装置、電子カメラ、及び画像処理プログラム
JP6543147B2 (ja) 画像処理装置、撮影ガイド装置、撮像装置、画像処理方法および画像処理プログラム
JP6968454B2 (ja) 画像処理装置、画像処理方法、プログラム、および、システム
JP2012186538A (ja) 電子カメラ、画像表示装置、プログラム及び記録媒体
JP6242425B2 (ja) 撮影機器及び動画像データの記録方法
JP5555344B2 (ja) 撮像装置および撮像装置用プログラム