JP6236856B2 - Image processing apparatus and image processing program - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。   The present invention relates to an image processing apparatus and an image processing program.

静止画像中の一部を動的に表現する技術が知られている（特許文献１参照）。同技術は、ノイズが時間的に変化しない、あるいは本来動くべきものが動かない静止画という時間の止まった世界の中で、一部領域だけ時間が進行しているという異質な世界を表現したものであり、注目を集めている。   A technique for dynamically expressing a part of a still image is known (see Patent Document 1). This technology expresses a heterogeneous world where time is progressing only in some areas in a still-timed world of still images in which noise does not change over time or things that should move originally do not move It is attracting attention.

特開２０１０−２１２７８１号公報JP 2010-212781 A

従来技術では、静止画像中の一部を動的に表現する場合において、静止画のどの領域を動的に表現させるかを適切に選択することができなかった。   In the related art, when a part of a still image is dynamically expressed, it is not possible to appropriately select which region of the still image is dynamically expressed.

本発明の第１の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記複数の画像に基づいて、前記第１変化領域の変化に同期して変化する第２変化領域を特定する特定部と、前記指示部で指示された前記第１変化領域と前記特定部によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得部と、前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備える。An image processing apparatus according to a first aspect of the present invention is based on an instruction unit that indicates a first change area that changes with time on at least one of a plurality of captured images, and the plurality of images. A specifying unit that specifies a second change region that changes in synchronization with a change in the first change region, the first change region specified by the instruction unit, and the second change region specified by the specifying unit; Corresponding to the first change area in the plurality of images based on the position information acquired by the position information acquisition unit that acquires the position information on the plurality of images and the position information acquisition unit. An image acquisition unit that acquires an image to be acquired and an image corresponding to the second change area, and an image synthesis unit that combines the image acquired by the image acquisition unit with a reference image of the plurality of images, Is provided.
本発明の第２の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記複数の画像に基づいて、前記第１変化領域の変化に伴って変化する第２変化領域を特定する特定部と、前記指示部で指示された前記第１変化領域と前記特定部によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得部と、前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備える。  An image processing apparatus according to a second aspect of the present invention is based on an instruction unit that indicates a first change area that changes with time on at least one of a plurality of captured images, and the plurality of images. A specifying unit that specifies a second change region that changes in accordance with a change in the first change region, a first change region that is specified by the instruction unit, and a second change region that is specified by the specifying unit. Corresponding to the first change region in the plurality of images based on the position information acquisition unit that acquires the position information on the plurality of images and the position information acquired by the position information acquisition unit An image acquisition unit that acquires an image and an image corresponding to the second change area; and an image combination unit that combines the image acquired by the image acquisition unit with a reference image of the plurality of images. Prepare.
本発明の第３の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備え、前記位置情報取得部はさらに、前記第１変化領域の位置情報を前記基準画像の生成に用いられる画像を基準とする位置情報に変換し、前記画像取得部は、前記変換後の位置情報と前記複数の画像とに基づいて前記第１変化領域に対応する画像を取得し、前記画像合成部は、前記変換後の位置情報をもとに、前記基準画像に対し、前記画像取得部で取得された前記画像を合成する。  An image processing apparatus according to a third aspect of the present invention is directed by an instruction unit that indicates a first change area that changes with time on at least one of a plurality of captured images, and the instruction unit Based on the position information acquisition unit that acquires position information on the plurality of images corresponding to the first change area, the position information acquired by the position information acquisition unit, and the plurality of images, An image acquisition unit that acquires an image at a position corresponding to one change area; and an image combination unit that combines an image acquired by the image acquisition unit with a reference image of the plurality of images, The position information acquisition unit further converts the position information of the first change region into position information based on an image used for generating the reference image, and the image acquisition unit includes the converted position information and the plurality of position information. Based on the image and Acquires an image corresponding to the serial first change area, the image synthesizing unit, based on the position information of the converted relative to the reference image, to synthesize the image acquired by the image acquisition unit.
本発明の第４の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、前記複数の画像の各々において、前記指示部で指示された前記第１変化領域の大きさ情報を取得する大きさ情報取得部と、前記大きさ情報取得部で取得された前記第１変化領域の大きさ情報により決定された、前記複数の画像のうちの一つの画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備える。  An image processing apparatus according to a fourth aspect of the present invention is instructed by an instruction unit that indicates a first change area that changes with time on at least one of a plurality of captured images, and the instruction unit. Based on the position information acquisition unit that acquires position information on the plurality of images corresponding to the first change area, the position information acquired by the position information acquisition unit, and the plurality of images, An image acquisition unit that acquires an image at a position corresponding to one change region; and a size information acquisition unit that acquires size information of the first change region instructed by the instruction unit in each of the plurality of images. The image acquired by the image acquisition unit is combined with one of the plurality of images determined by the size information of the first change area acquired by the size information acquisition unit. An image composition unit That.
本発明の第５の態様による画像処理装置は、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、前記基準画像の前記第１変化領域以外の背景領域を基準として前記複数の画像の位置を合わせ、前記第１変化領域の移動範囲を包含する領域を、前記複数の画像における第１変化領域として設定する設定部とを備え、前記画像合成部は、前記設定部で設定された前記複数の画像における第１変化領域に対応する画像を、前記画像取得部で取得された前記第１変化領域についての画像として合成する。  An image processing apparatus according to a fifth aspect of the present invention is directed by an instruction unit that indicates a first change area that changes with time on at least one of a plurality of captured images, and by the instruction unit. Based on the position information acquisition unit that acquires position information on the plurality of images corresponding to the first change area, the position information acquired by the position information acquisition unit, and the plurality of images, An image acquisition unit that acquires an image at a position corresponding to one change area; an image synthesis unit that combines the image acquired by the image acquisition unit with a reference image of the plurality of images; A setting unit that aligns the positions of the plurality of images with reference to a background region other than the first change region, and sets a region including a moving range of the first change region as a first change region in the plurality of images; With Serial image combining unit an image corresponding to the first change area in the plurality of images set by the setting unit, synthesized as an image for the first change area that is acquired by the image acquisition unit.
本発明の第６の態様による画像処理プログラムは、撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示処理と、前記複数の画像に基づいて、前記第１変化領域の変化に同期して変化する第２変化領域を特定する特定処理と、前記指示処理で指示された前記第１変化領域と前記特定処理によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得処理と、前記位置情報取得処理で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得処理と、前記複数の画像のうちの基準画像に対し、前記画像取得処理で取得された画像を合成する画像合成処理と、をコンピュータに実行させる。  An image processing program according to a sixth aspect of the present invention is based on an instruction process for instructing a first change area that changes with time on at least one of a plurality of captured images, and the plurality of images. A specifying process for specifying a second changing area that changes in synchronization with a change in the first changing area, the first changing area specified in the instruction process, and a second changing area specified by the specifying process; Corresponding to the first change region in the plurality of images based on the position information acquisition processing for acquiring the position information on the plurality of images and the position information acquired in the position information acquisition processing. An image acquisition process for acquiring an image to be acquired and an image corresponding to the second change area; and an image synthesis process for combining the image acquired in the image acquisition process with a reference image among the plurality of images; To be executed by a computer.

本発明によれば、静止画像中の一部を動的に表現する場合において、静止画のどの領域を動的に表現させるかを適切に選択できる。   According to the present invention, when a part of a still image is dynamically expressed, it is possible to appropriately select which region of the still image is dynamically expressed.

本発明の一実施の形態によるデジタルカメラの構成を例示するブロック図である。It is a block diagram which illustrates the composition of the digital camera by one embodiment of the invention. 「先撮り撮影モード」における画像の取得タイミングを説明する図である。It is a figure explaining the acquisition timing of the image in "pre-shooting photography mode". サムネイル画像の表示を例示する図である。It is a figure which illustrates the display of a thumbnail image. フレームＳの画像表示を例示する図である。It is a figure which illustrates image display of frame S. (a)は対象物が画面左から右へ移動する場面を撮影した画像を例示する図、(b)はフレームＳにおける動体領域および非動体領域を例示する図、(c)は抽出した動体領域を例示する図である。(a) is a diagram illustrating an image of a scene in which an object moves from left to right on the screen, (b) is a diagram illustrating a moving object region and a non-moving object region in frame S, and (c) is an extracted moving object region. FIG. ＣＰＵが実行する処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the process which CPU performs. ＣＰＵが実行する処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the process which CPU performs. 野球のバッターによる打撃の場面を撮影した時系列のフレーム画像に基づいて、ＣＰＵが選んだフレームＳ、フレームＰおよびフレームＱを構成する画像を例示する図である。It is a figure which illustrates the image which comprises the flame | frame S, the flame | frame P, and the flame | frame Q which CPU selected based on the time-sequential frame image which image | photographed the hitting scene by the baseball batter. 図８のフレームＳ、フレームＰおよびフレームＱに基づいて、ボールおよびバットをフレームＳにおいて対応するそれぞれの位置へ順次置換合成した画像を例示する図である。FIG. 9 is a diagram illustrating an image in which a ball and a bat are sequentially replaced and synthesized at corresponding positions in the frame S based on the frame S, the frame P, and the frame Q in FIG. 変形例５の順次置換合成した画像を例示する図である。It is a figure which illustrates the image by which the sequential replacement composition of the modification 5 was carried out. 変形例６の順次置換合成した画像を例示する図である。It is a figure which illustrates the image by which the sequential replacement composition of the modification 6 was carried out. コンピュータを例示する図である。It is a figure which illustrates a computer.

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態によるデジタルカメラ１の構成を例示するブロック図である。デジタルカメラ１は、複数フレームの静止画像に基づいて、静止画像の一部領域を動的に表現する「動き表現」に用いる領域を適切に選ぶ。「動き表現」は、静止画という時間の止まった世界の中で、一部領域だけ時間が進行しているかのような異質な世界を表現するものである。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram illustrating the configuration of a digital camera 1 according to the first embodiment of the invention. The digital camera 1 appropriately selects a region to be used for “motion expression” that dynamically represents a partial region of a still image based on a plurality of frames of still images. "Motion expression" expresses a heterogeneous world as if time has progressed in some areas in the still-time world of still images.

以下、デジタルカメラ１の詳細について説明する。図１において、撮影レンズ１１は、撮像素子１２の撮像面に被写体像を結像させる。なお、図１では、撮影レンズ１１がカメラと一体的に形成された（撮影レンズが着脱不能な）デジタルカメラ１を例示したが、カメラボディと、そのカメラボディに着脱可能な交換レンズからなるカメラシステムによって構成してもよい。その場合は、図１の符号１１および２１からなる構成が交換レンズ側に含まれ、その他の符号からなる構成がカメラボディ側に含まれる。   Details of the digital camera 1 will be described below. In FIG. 1, the photographic lens 11 forms a subject image on the imaging surface of the imaging element 12. 1 illustrates the digital camera 1 in which the photographing lens 11 is formed integrally with the camera (the photographing lens cannot be attached / detached), but the camera includes a camera body and an interchangeable lens that can be attached to and detached from the camera body. You may comprise by a system. In that case, the configuration consisting of reference numerals 11 and 21 in FIG. 1 is included on the interchangeable lens side, and the configuration consisting of other reference numerals is included on the camera body side.

ＣＰＵ１６は、図示しないシャッターボタンの半押し操作に連動して半押しスイッチ２０ａがオンすると、ＡＥ（自動露出）演算およびオートフォーカス（ＡＦ）処理を行わせて、撮影レンズ１１を構成するフォーカシングレンズ（不図示）を光軸方向（図１において矢印方向）に進退移動させる。これにより、撮影レンズ１１の焦点位置が自動調節される。フォーカシングレンズ（不図示）の駆動は、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。   When the half-press switch 20a is turned on in conjunction with a half-press operation of a shutter button (not shown), the CPU 16 performs an AE (automatic exposure) calculation and an autofocus (AF) process to form a focusing lens (a focusing lens constituting the photographing lens 11). (Not shown) is moved forward and backward in the optical axis direction (arrow direction in FIG. 1). Thereby, the focal position of the photographic lens 11 is automatically adjusted. The driving of the focusing lens (not shown) is performed by the lens driving unit 21 that receives an instruction from the CPU 16.

撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮像面上に結像された被写体像を撮像する。撮像素子１２から出力された撮像信号は、Ａ／Ｄ変換部１３においてアナログ信号からデジタル信号に変換される。画像処理部１４は、デジタル画像信号に対して所定の画像処理を行う。   The image sensor 12 is configured by a CMOS image sensor or the like. The image sensor 12 captures a subject image formed on the imaging surface. The image signal output from the image sensor 12 is converted from an analog signal to a digital signal by the A / D converter 13. The image processing unit 14 performs predetermined image processing on the digital image signal.

液晶モニタ１５は、撮像素子１２で撮像された画像、後述するバッファメモリ１８、あるいはメモリカード５０に記憶される画像を表示すると共に、ＣＰＵ１６からの指示に応じて、画像やアイコン、操作メニューなどを表示する。液晶モニタ１５の表示面にはタッチ操作部材１５ａが積層されている。タッチ操作部材１５ａは、表示画面上のタッチ位置を示す信号をＣＰＵ１６へ送出する。音響処理回路２３は、マイク２２で集音された音響信号を増幅し、増幅後の信号をＡ／Ｄ変換回路（不図示）によってデジタル音響データに変換する。   The liquid crystal monitor 15 displays an image captured by the image sensor 12 and an image stored in a buffer memory 18 or a memory card 50 described later, and displays an image, an icon, an operation menu, and the like according to an instruction from the CPU 16. indicate. A touch operation member 15 a is laminated on the display surface of the liquid crystal monitor 15. The touch operation member 15a sends a signal indicating the touch position on the display screen to the CPU 16. The acoustic processing circuit 23 amplifies the acoustic signal collected by the microphone 22 and converts the amplified signal into digital acoustic data by an A / D conversion circuit (not shown).

フラッシュメモリ１７は、ＣＰＵ１６が実行するプログラムや、実行処理に必要なデータなどを格納する。フラッシュメモリ１７が格納するプログラムやデータの内容は、ＣＰＵ１６からの指示によって追加、変更が可能に構成されている。   The flash memory 17 stores programs executed by the CPU 16 and data necessary for execution processing. The contents of the program and data stored in the flash memory 17 can be added and changed by an instruction from the CPU 16.

ＣＰＵ１６は、例えばバッファメモリ１８を作業領域として制御プログラムを実行し、カメラ各部に対する種々の制御を行う。バッファメモリ１８は、画像データを一時的に記憶する場合にも使用される。本実施形態によるデジタルカメラ１では、撮影指示（シャッターボタンの全押し操作）前に撮像素子１２によって所定のフレームレートで取得される複数フレームの画像（先撮り画像と呼ぶ）や、撮影指示後に撮像素子１２によって所定のフレームレートで取得される複数フレームの画像（後撮り画像と呼ぶ）を一時的に記憶する場合にも使用される。   The CPU 16 executes a control program using the buffer memory 18 as a work area, for example, and performs various controls on each part of the camera. The buffer memory 18 is also used when image data is temporarily stored. In the digital camera 1 according to the present embodiment, images of a plurality of frames (referred to as pre-taken images) acquired at a predetermined frame rate by the image sensor 12 before a shooting instruction (full pressing operation of the shutter button), or after a shooting instruction is taken. It is also used for temporarily storing a plurality of frames of images (referred to as post-taken images) acquired by the element 12 at a predetermined frame rate.

画像処理部１４は、デジタル画像信号に対する画像処理以外に、画像信号を格納した所定形式の画像ファイル（例えば Exif ファイル）を生成する。記録再生部１９は、ＣＰＵ１６からの指示に基づいて画像ファイルをメモリカード５０に記録（保存）し、また、メモリカード５０に記録（保存）されている画像ファイルを読み出す。記録再生部１９はさらに、音響データを格納した音響ファイルをメモリカード５０に記録（保存）し、メモリカード５０に記録（保存）されている音響ファイルを読み出す。   In addition to the image processing on the digital image signal, the image processing unit 14 generates an image file (for example, an Exif file) in a predetermined format storing the image signal. The recording / reproducing unit 19 records (saves) the image file on the memory card 50 based on an instruction from the CPU 16 and reads out the image file recorded (saved) on the memory card 50. The recording / playback unit 19 further records (saves) the sound file storing the sound data in the memory card 50 and reads out the sound file recorded (saved) in the memory card 50.

メモリカード５０は、図示しないカードスロットに着脱自在に取り付けられる記録媒体である。ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された画像ファイル、または撮影後バッファメモリ１８に記憶されている画像データに基づいて、液晶モニタ１５に撮影画像を再生表示させる。また、ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された音響ファイルに基づいて、不図示のスピーカによって音声を再生することもできる。   The memory card 50 is a recording medium that is detachably attached to a card slot (not shown). The CPU 16 reproduces and displays the captured image on the liquid crystal monitor 15 based on the image file read from the memory card 50 by the recording / reproducing unit 19 or the image data stored in the post-capture buffer memory 18. Further, the CPU 16 can also reproduce sound by a speaker (not shown) based on the acoustic file read from the memory card 50 by the recording / reproducing unit 19.

操作部材２０は、上記半押しスイッチ２０ａや、シャッターボタンの全押し操作に伴ってオンする全押しスイッチ２０ｂ、およびモード切替えスイッチなどを含み、各部材の操作に伴う操作信号をＣＰＵ１６へ送出する。   The operation member 20 includes the half-press switch 20a, a full-press switch 20b that is turned on in response to a full-press operation of the shutter button, a mode switching switch, and the like, and sends an operation signal associated with the operation of each member to the CPU 16.

半押しスイッチ２０ａからのオン信号（半押し操作信号）は、シャッターボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ２０ｂからのオン信号（全押し操作信号）は、シャッターボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。   The ON signal (half-press operation signal) from the half-press switch 20a is output when the shutter button is pressed down to about half of the normal stroke, and the output is canceled when the half-stroke press operation is canceled. The ON signal (full push operation signal) from the full push switch 20b is output when the shutter button is pushed down to the normal stroke, and the output is released when the push operation of the normal stroke is released.

＜撮影モード＞
上記デジタルカメラ１は、「通常の撮影モード」と、「先撮り撮影モード」とを有する。「通常の撮影モード」は、上記全押し操作信号に応じて１フレームずつ撮影画像を取得してメモリカード５０へ記録する撮影モードである。「先撮り撮影モード」は、静止画像を所定のフレームレート（例えば毎秒１２０フレーム）で取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後において取得した複数フレームの画像（上記先撮り画像と後撮り画像）のうち、所定の画像をメモリカード５０へ記録する撮影モードである。各撮影モードは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。 <Shooting mode>
The digital camera 1 has a “normal shooting mode” and a “first shooting mode”. The “normal shooting mode” is a shooting mode in which a shot image is acquired frame by frame in response to the full-press operation signal and recorded in the memory card 50. In “pre-shooting shooting mode”, a still image is acquired at a predetermined frame rate (for example, 120 frames per second), and when the full-press operation signal is received, a plurality of frames acquired before and after the full-press operation signal is received. This is a shooting mode in which a predetermined image among images (the above-mentioned pre-taken image and post-taken image) is recorded on the memory card 50. Each photographing mode is configured to be switchable according to an operation signal from the operation member 20 or the touch operation member 15a.

＜再生モード＞
再生モードのデジタルカメラ１は、「通常の撮影モード」または「先撮り撮影モード」において記録された画像をフレームごとに、あるいは所定数のフレームごとに、液晶モニタ１５に再生表示する。また、「動き表現」する場合は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、静止画像の中で変化する対象物を動的に表現するように、液晶モニタ１５に再生表示を行う。 <Playback mode>
The digital camera 1 in the reproduction mode reproduces and displays the image recorded in the “normal photographing mode” or the “pre-shooting photographing mode” on the liquid crystal monitor 15 for each frame or every predetermined number of frames. In addition, in the case of “motion expression”, the liquid crystal monitor 15 is configured to dynamically express an object that changes in a still image based on a plurality of frames of images acquired in the “pre-shooting shooting mode”. Perform playback display.

＜動き表現＞
本実施形態によるデジタルカメラ１は、上記「動き表現」処理に特徴を有するので、以降はこの点を中心に説明する。「動き表現」処理のオン／オフは、操作部材２０またはタッチ操作部材１５ａからの操作信号に応じて切替え可能に構成されている。再生モードであって、かつ「動き表現」処理がオンされたデジタルカメラ１は、「先撮り撮影モード」で取得された複数フレームの画像に基づいて、「動き表現」に適したフレームを選び、選んだフレームの画像を用いて液晶モニタ１５に再生表示する。以下、複数フレーム画像の取得、「動き表現」に適したフレームの選択、および「動き表現」のための画像生成について順に説明する。 <Motion expression>
Since the digital camera 1 according to the present embodiment is characterized by the above-described “motion expression” process, the following description will be focused on this point. ON / OFF of the “motion expression” process is configured to be switchable according to an operation signal from the operation member 20 or the touch operation member 15a. The digital camera 1 that is in the playback mode and the “motion expression” process is turned on selects a frame suitable for “motion expression” based on the images of a plurality of frames acquired in the “first shooting mode”. The selected frame image is reproduced and displayed on the liquid crystal monitor 15. Hereinafter, acquisition of a plurality of frame images, selection of a frame suitable for “motion expression”, and image generation for “motion expression” will be described in order.

−複数フレーム画像の取得−
ユーザーは、例えばデジタルカメラ１を手持ちして、または三脚に固定して、複数フレームの画像を取得する。図２は、「先撮り撮影モード」における画像の取得タイミングを説明する図である。図２において、時刻ｔ０に「先撮り撮影モード」が起動されると、ＣＰＵ１６は撮影待機処理を開始させる。撮影待機処理では、上記所定のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ１８へ記憶する。 -Acquisition of multiple frame images-
The user obtains a plurality of frames of images, for example, by holding the digital camera 1 or fixing the digital camera 1 to a tripod. FIG. 2 is a diagram for explaining image acquisition timing in the “pre-shooting shooting mode”. In FIG. 2, when the “pre-shooting shooting mode” is activated at time t0, the CPU 16 starts shooting standby processing. In the shooting standby process, the subject image is captured at the predetermined frame rate, exposure calculation and focus adjustment are performed, and the acquired image data is sequentially stored in the buffer memory 18.

「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量は、あらかじめ十分な容量が確保されている。ＣＰＵ１６は、時刻ｔ０以降にバッファメモリ１８内に記憶したフレーム画像のフレーム枚数が所定枚数（例えばＡ枚）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、「先撮り撮影モード」において先撮り画像と後撮り画像の記憶に使用するバッファメモリ１８のメモリ容量を制限できる。   In the “pre-shooting shooting mode”, a sufficient memory capacity of the buffer memory 18 used for storing the pre-shooting image and the post-shooting image is secured in advance. When the number of frame images stored in the buffer memory 18 after time t0 reaches a predetermined number (for example, A), the CPU 16 overwrites and erases the oldest frame images in order. Thereby, the memory capacity of the buffer memory 18 used for storing the pre-taken image and the post-taken image in the “pre-photographing shooting mode” can be limited.

時刻ｔ１に全押し操作信号が入力されると、ＣＰＵ１６は撮影処理を開始させる。撮影処理では、時刻ｔ１以前に先撮りしたＡ枚のフレーム画像と、時刻ｔ１以降に後撮りされるＢ枚のフレーム画像とを合わせた（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０への記録候補画像とする。図２における黒い帯は、記録候補画像である（Ａ＋Ｂ）枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ１８に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。   When a full-press operation signal is input at time t1, the CPU 16 starts shooting processing. In the photographing process, (A + B) frame images obtained by combining A frame images pre-taken before time t1 and B frame images taken after time t1 are recorded on the memory card 50. An image. A black band in FIG. 2 represents a section in which (A + B) frame images that are recording candidate images are acquired. The hatched band represents a section in which a frame image that has been temporarily stored in the buffer memory 18 but has been overwritten and erased is acquired.

ＣＰＵ１６は、設定されている記録方式に基づいて、記録候補画像のうち所定のフレーム画像をメモリカード５０に記録する。本実施形態によるデジタルカメラ１では、（Ａ＋Ｂ）枚全てのフレーム画像をメモリカード５０に記録するものとする。   The CPU 16 records a predetermined frame image among the recording candidate images on the memory card 50 based on the set recording method. In the digital camera 1 according to the present embodiment, all (A + B) frame images are recorded on the memory card 50.

―「動き表現」に適したフレームの選択―
ＣＰＵ１６は、メモリカード５０に記録された複数フレームの画像に基づいて、「動き表現」に適したフレームを選ぶ。具体的には、静止領域（背景）として用いるフレームＳと、フレームＳより時間的に前に取得されたフレームＰと、フレームＳより時間的に後に取得されたフレームＱとを、（Ａ＋Ｂ）枚のフレーム画像の中から選ぶ。 ―Selecting frames suitable for motion expression―
The CPU 16 selects a frame suitable for “motion expression” based on a plurality of frames of images recorded on the memory card 50. Specifically, a frame S used as a still region (background), a frame P acquired before the frame S, and a frame Q acquired after the frame S are (A + B) frames. Select from the frame images.

―フレームＳ―
本実施形態によるデジタルカメラ１のＣＰＵ１６は、ユーザー操作によって指示されたフレーム画像をフレームＳとする。具体的には、ＣＰＵ１６が記録再生部１９へ指示を送り、メモリカード５０に記録されている（Ａ＋Ｂ）枚のフレーム画像に基づいて、各フレームのサムネイル画像を図３に例示するように液晶モニタ１５の画面に並べて表示させる。（Ａ＋Ｂ）枚のサムネイル画像が一画面に収まらない場合のＣＰＵ１６は、ユーザー操作に応じて画面をスクロールさせることにより、ユーザーが意図するサムネイル画像を液晶モニタ１５に表示させる。 ―Frame S―
The CPU 16 of the digital camera 1 according to the present embodiment uses the frame image designated by the user operation as the frame S. Specifically, the CPU 16 sends an instruction to the recording / reproducing unit 19, and based on the (A + B) frame images recorded in the memory card 50, the thumbnail images of the respective frames are illustrated in FIG. Display them side by side on 15 screens. When (A + B) thumbnail images do not fit on one screen, the CPU 16 causes the liquid crystal monitor 15 to display the thumbnail images intended by the user by scrolling the screen according to the user operation.

また、（Ａ＋Ｂ）枚のフレーム画像の組がメモリカード５０に複数記録されている場合、ＣＰＵ１６は、タッチ操作部材１５ａからの操作信号が示す組のサムネイル画像を液晶モニタ１５に表示させる。   When a plurality of sets of (A + B) frame images are recorded on the memory card 50, the CPU 16 causes the liquid crystal monitor 15 to display a set of thumbnail images indicated by an operation signal from the touch operation member 15a.

ユーザーは、図３に例示した液晶モニタ１５の画面上で、「動き表現」の際に静止領域（背景）として用いたいフレームをタッチ操作で選ぶ。ＣＰＵ１６は、タッチ操作部材１５ａからの操作信号が示すサムネイル画像Ｘに対応するフレーム画像をフレームＳとする。ＣＰＵ１６は、フレームＳを決定すると記録再生部１９へ指示を送り、メモリカード５０から読み出したフレームＳの画像を図４に例示するように液晶モニタ１５の画面上に表示させる。   On the screen of the liquid crystal monitor 15 illustrated in FIG. 3, the user selects a frame to be used as a still area (background) for “motion expression” by a touch operation. The CPU 16 sets a frame image corresponding to the thumbnail image X indicated by the operation signal from the touch operation member 15a as a frame S. When determining the frame S, the CPU 16 sends an instruction to the recording / reproducing unit 19 to display an image of the frame S read from the memory card 50 on the screen of the liquid crystal monitor 15 as illustrated in FIG.

ユーザーは、「動き表現」の際に静止領域（背景）上で動かしたい対象物を、液晶モニタ１５の画面上においてタッチ操作で選ぶ、ＣＰＵ１６は、フレームＳにおいてタッチ操作部材１５ａからの操作信号に応じた矩形領域を示すマークｍをフレームＳの画像上に重ね表示させ、マークｍで囲まれる範囲を動体領域とする。   The user selects an object to be moved on the stationary region (background) during “motion expression” by touch operation on the screen of the liquid crystal monitor 15. The CPU 16 uses the operation signal from the touch operation member 15 a in the frame S. A mark m indicating a corresponding rectangular area is displayed on the image of the frame S, and a range surrounded by the mark m is set as a moving object area.

―フレームＰ、フレームＱ―
ＣＰＵ１６は、上記フレームＳより時間的に前に取得されたフレーム画像からフレームＰを選ぶ。また、ＣＰＵ１６は、上記フレームＳより時間的に後に取得されたフレーム画像からフレームＱを選ぶ。図５(a)は、航空機を対象物とし、この航空機が画面左から右へ移動する場面を撮影したフレームｆ１、フレームｆ２、…フレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)…、フレームｆ(Ａ＋Ｂ)の画像を例示する図である。本例では、フレームｆ(Ａ＋１)が上記フレームＳに対応する。このため、フレームｆ１からフレームｆＡまでがフレームＰの候補に対応し、フレームｆ(Ａ＋２)からフレームｆ(Ａ＋Ｂ)までがフレームＱの候補に対応する。 -Frame P, Frame Q-
The CPU 16 selects the frame P from the frame image acquired before the frame S in time. Further, the CPU 16 selects the frame Q from the frame image acquired after the frame S in terms of time. FIG. 5A shows a frame f1, a frame f2,..., A frame fA, a frame f (A + 1), a frame f (A + 2),. It is a figure which illustrates the image of frame f (A + B). In this example, the frame f (A + 1) corresponds to the frame S. Therefore, the frame f1 to the frame fA correspond to the frame P candidates, and the frame f (A + 2) to the frame f (A + B) correspond to the frame Q candidates.

図５(a)のフレームｆ(Ａ＋１)（すなわちフレームＳ）における動体領域ｍ(Ａ＋１)は、図４において決定した動体領域に対応する。ＣＰＵ１６は、例えば動体領域ｍ(Ａ＋１)をテンプレートとして、図５(a)のフレームｆ(Ａ＋１)（すなわちフレームＳ）以外の他のフレーム画像から、テンプレートマッチング手法によって動体領域を抽出する。図５(a)のｍ１、ｍ２、…ｍＡ、ｍ(Ａ＋１)、…、ｍ(Ａ＋Ｂ)は、各フレームにおける動体領域を表す。   The moving object region m (A + 1) in the frame f (A + 1) (that is, the frame S) in FIG. 5A corresponds to the moving object region determined in FIG. CPU16 extracts a moving body area | region by a template matching method from other frame images other than the frame f (A + 1) (namely, frame S) of Fig.5 (a), for example using the moving body area | region m (A + 1) as a template. In FIG. 5A, m1, m2,... MA, m (A + 1),..., M (A + B) represent moving object regions in each frame.

図５(b)は、フレームｆ(Ａ＋１)（すなわちフレームＳ）における動体領域ｍ(Ａ＋１)、および非動体領域（すなわち静止領域）を例示する図である。斜線を引いた領域が非動体領域を表す。次に、ＣＰＵ１６は、図５(a)の各フレーム画像からそれぞれの動体領域を除外した非動体領域において２以上の特徴点を抽出する。   FIG. 5B is a diagram illustrating a moving object area m (A + 1) and a non-moving object area (that is, a stationary area) in the frame f (A + 1) (that is, the frame S). A hatched area represents a non-moving object area. Next, the CPU 16 extracts two or more feature points in the non-moving object region from which each moving object region is excluded from each frame image of FIG.

図５において、複数の黒点は特徴点を表す。画像間の位置合わせに適した特徴点の抽出は、例えば、Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision. 2. pp.1150-1157.などに開示される公知の技術を用いることができる。   In FIG. 5, a plurality of black dots represent feature points. For example, Lowe, David G. (1999). "Object recognition from local scale-invariant features". Proceedings of the International Conference on Computer Vision. 2. pp.1150 Known techniques disclosed in -1157. And the like can be used.

ＣＰＵ１６は、フレームｆ１、フレームｆ２、…フレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)…、フレームｆ(Ａ＋Ｂ)間でそれぞれ特徴点の対応付けを行い、非動体領域（すなわち静止領域）を基準にフレーム間の画像の位置合わせを行う。ＣＰＵ１６はさらに、動体領域においても２以上の特徴点を抽出する。そして、各フレームにおける非動体領域の特徴点と動体領域の特徴点の位置関係に基づいて、各フレームにおける動体領域の位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）における非動体領域の例えば特徴点を基準に表す。   The CPU 16 associates feature points between the frame f1, the frame f2,..., The frame fA, the frame f (A + 1), the frame f (A + 2)..., And the frame f (A + B), and a non-moving object region (that is, a stationary region). The image is aligned between frames with reference to. Further, the CPU 16 extracts two or more feature points in the moving object region. Then, based on the positional relationship between the feature points of the non-moving object region and the feature points of the moving object region in each frame, the position of the moving object region in each frame is changed to, for example, the characteristics of the non-moving object region in the frame f (A + 1) (ie, frame S). Represents a point.

図５(a)の場合、フレームＰの候補となるフレームでは、隣接フレームとの間でそれぞれ差分が生じている。ＣＰＵ１６は、対象物と背景の特徴点との相対的な距離が所定範囲内であるフレームｆＡをフレームＰとして選ぶ。なお、フレームＰは複数選んでもよい。例えば、フレームｆ２における対象物と背景の特徴点との相対的な距離が所定範囲内である場合には、フレームｆ２とフレームｆＡを、それぞれフレームＰとして選ぶ。一般に、フレームＰを構成するフレーム数を多くすると、「動き表現」を滑らかにできる。なお、対象物と背景の特徴点との相対的な距離が所定範囲を超える場合は、その対象物がフレームＳの画面外に外れるおそれがあるので、フレームＰとして適さない。この点について以下に説明する。   In the case of FIG. 5 (a), in the frame that is a candidate for the frame P, a difference is generated between each adjacent frame. The CPU 16 selects a frame fA in which the relative distance between the object and the background feature point is within a predetermined range as the frame P. A plurality of frames P may be selected. For example, when the relative distance between the object and the background feature point in the frame f2 is within a predetermined range, the frame f2 and the frame fA are selected as the frames P, respectively. In general, when the number of frames constituting the frame P is increased, the “motion expression” can be smoothed. Note that if the relative distance between the target object and the background feature point exceeds a predetermined range, the target object may come off the screen of the frame S, and thus is not suitable as the frame P. This will be described below.

例えば、図５(a)において、フレームＳとして用いられるフレームｆ（Ａ＋１）の背景（山の頂上の左）の特徴点の画面内のＸ座標をＸＡ１、これに対応するフレームｆ１の特徴点の画面内のＸ座標をＸ１とする。ここで、Ｘ座標の基準（原点）を各フレームの画面左端として、ここでは仮に、Ｘ１の座標値が座標値ＸＡ１よりも大きいものとする。フレームｆ１における対象物をフレームｆ（Ａ＋１）の背景に合成する際には、合成しようとする対象物とフレームｆ（Ａ＋１）の背景の特徴点との相対的な位置関係が、フレームｆ１における対象物とフレームｆ１における背景の特徴点との相対的位置関係と等しくなるように合成処理が施される。従って、例えば、Ｘ１の座標値が座標値ＸＡ１よりも大きいものとし、フレームｆ１における対象物の画面内のＸ座標が小さい場合（画面左端近傍に存在している場合）には、フレームｆ（Ａ＋１）における対象物（ｍ１）は、フレームｆ（Ａ＋１）からはみだすこととなる。対象物をフレームＳに合成した際に、このようなはみ出しが発生するか否かは、フレームｆ１における背景の特徴点と対象物とのＸ座標値の差分が、座標値ＸＡ１に比較して大きいか否かによって判断することができる。すなわち、フレームｆ１における背景の特徴点と対象物とのＸ座標値の差分が、フレームｆ（Ａｌ＋１）上の対応する特徴点の座標値ＸＡ１より大きい場合には、フレームｆ（Ａ＋１）において、対象物が画面からはみだしてしまうこととなる。上記の例では、画面の左方向のはみだしについて説明したが、後述する画面右方向、あるいは画面の縦方向など左方向以外の方向についても同様である。   For example, in FIG. 5 (a), the X coordinate in the screen of the feature point of the background (left of the top of the mountain) of the frame f (A + 1) used as the frame S is XA1, and the corresponding feature point of the frame f1 Let the X coordinate in the screen be X1. Here, assuming that the X coordinate reference (origin) is the left edge of the screen of each frame, it is assumed here that the coordinate value of X1 is larger than the coordinate value XA1. When the object in the frame f1 is combined with the background of the frame f (A + 1), the relative positional relationship between the object to be combined and the feature point of the background of the frame f (A + 1) is the object in the frame f1. The composition processing is performed so as to be equal to the relative positional relationship between the object and the background feature point in the frame f1. Therefore, for example, when the coordinate value of X1 is larger than the coordinate value XA1, and the X coordinate in the screen of the object in the frame f1 is small (when it is present near the left end of the screen), the frame f (A + 1) The object (m1) in () protrudes from the frame f (A + 1). Whether or not such a protrusion occurs when the object is combined with the frame S is that the difference between the X coordinate values of the background feature point and the object in the frame f1 is larger than the coordinate value XA1. It can be judged by whether or not. That is, when the difference between the X coordinate values of the background feature point and the object in the frame f1 is larger than the coordinate value XA1 of the corresponding feature point on the frame f (Al + 1), the object in the frame f (A + 1) Things will protrude from the screen. In the above example, the protrusion of the left direction of the screen has been described.

また、図５(a)の場合、フレームＱの候補となるフレームでも、隣接フレームとの間でそれぞれ差分が生じている。また、静止領域（背景）として用いるフレームＳ以外のフレームにおける対象物は、いずれも同じ航空機であって形状は等しく、大きさも変化がないので、対象物間の類似度は高く所定値以上となる。ＣＰＵ１６は、対象物と背景の特徴点との相対的な距離が所定範囲内であるフレームｆ(Ａ＋２)およびｆ(Ａ＋３)をフレームＱとして選ぶ。フレームＰの場合と同様に、フレームＱを構成するフレーム数を多くすると、「動き表現」を滑らかにできる。なお、上述のフレームＰの説明と同様に、対象物と背景の特徴点との相対的な距離が所定範囲を超える場合は、その対象物がフレームＳの画面外に外れるおそれがあるので、フレームＱとして適さない。このようなフレームが、フレームＱ、あるいは前述のフレームＰとして選択された場合には、操作者に対して警告を行う構成とすることができる。また、フレームＳ、及び対象物が指定された後に、上記のフレームＰ、フレームＱとしての適否を自動的に判断した上で、ＣＰＵ１６が、フレームＰ、フレームＱを自動的に選択する構成としてもよい。   In the case of FIG. 5 (a), even in a frame that is a candidate for the frame Q, a difference is generated between adjacent frames. In addition, since the objects in the frames other than the frame S used as the still region (background) are the same aircraft and have the same shape and the same size, the degree of similarity between the objects is high and becomes a predetermined value or more. . The CPU 16 selects frames f (A + 2) and f (A + 3) whose relative distance between the object and the background feature point is within a predetermined range as the frame Q. As in the case of the frame P, if the number of frames constituting the frame Q is increased, the “motion expression” can be smoothed. Similarly to the description of the frame P described above, if the relative distance between the target object and the background feature point exceeds a predetermined range, the target object may be off the screen of the frame S. Not suitable as Q. When such a frame is selected as the frame Q or the above-described frame P, a warning can be given to the operator. In addition, after the frame S and the object are designated, the CPU 16 automatically determines whether the frame P and the frame Q are appropriate, and then the CPU 16 automatically selects the frame P and the frame Q. Good.

ＣＰＵ１６は、上述するように選んだフレームＳ、フレームＰ（フレームｆＡ）、およびフレームＱ（フレームｆ(Ａ＋２)とフレームｆ(Ａ＋３)）を合成して静止画像（フレームＳ）上において動体領域を動的に表現する。具体的には、フレームＳの一部を構成する動体領域に代えて、他のフレームの動体領域を、フレームＳにおいて対応する位置へ所定時間ごとに順次置き換えながらはめ込み合成する（以下、順次置換合成と呼ぶ）。このためにＣＰＵ１６は、先ず、フレームＳの画像、および選んだ複数のフレーム画像からテンプレートマッチング手法によってそれぞれ動体領域を抽出する。図５(c)は、抽出した動体領域を例示する図である。これらの動体領域は、上述した「動き表現」に適したフレーム選択を行う際に抽出済みであるので、この情報を使用できる。   The CPU 16 combines the frame S, the frame P (frame fA), and the frame Q (frame f (A + 2) and frame f (A + 3)) selected as described above, and displays the moving object region on the still image (frame S). Express dynamically. Specifically, in place of the moving object region constituting a part of the frame S, the moving object region of another frame is inserted and combined while sequentially replacing the corresponding positions in the frame S at predetermined time intervals (hereinafter referred to as sequential replacement combining). Called). For this purpose, the CPU 16 first extracts a moving object region from the image of the frame S and the selected plurality of frame images by a template matching method. FIG. 5C is a diagram illustrating the extracted moving object region. Since these moving object regions have already been extracted when performing a frame selection suitable for the “motion expression” described above, this information can be used.

―「動き表現」のための画像生成―
ＣＰＵ１６は、図５(b)に例示したフレームＳ（ｆ(Ａ＋１)）における動体領域ｍ(Ａ＋１)に代えて、図５(c)に例示したフレームＰの動体領域ｍＡ、上記フレームＱの動体領域ｍ(Ａ＋２)、動体領域ｍ(Ａ＋３)を、フレームＳにおいて対応する位置へ所定の時間ごとに、順次置換合成する。フレームＳにおいて対応する位置は、「動き表現」に適したフレーム選択の際に求めた動体領域の位置であって、フレームＳにおける非動体領域を基準に表した位置である。この結果、図５(a)のフレームｆＡ、フレームｆ(Ａ＋１)、フレームｆ(Ａ＋２)、およびフレームｆ(Ａ＋３)相当の画像が順番に得られる。これらの画像を液晶モニタ１５に順番に再生表示させると、静止画（＝ｆ(Ａ＋１)）という時間の止まった世界の中で、動体領域（航空機）だけ時間が進行しているかのような、異質な世界を表現し得る。 -Image generation for "motion expression"-
The CPU 16 replaces the moving object area m (A + 1) in the frame S (f (A + 1)) illustrated in FIG. 5B with the moving object area mA in the frame P illustrated in FIG. The region m (A + 2) and the moving object region m (A + 3) are sequentially replaced and synthesized at corresponding positions in the frame S every predetermined time. The corresponding position in the frame S is the position of the moving object region obtained when the frame suitable for “motion expression” is selected, and is the position expressed with reference to the non-moving object region in the frame S. As a result, images corresponding to the frame fA, the frame f (A + 1), the frame f (A + 2), and the frame f (A + 3) in FIG. 5A are obtained in order. When these images are reproduced and displayed in order on the liquid crystal monitor 15, it seems as if the time is moving only in the moving object region (aircraft) in the world where the time of still images (= f (A + 1)) has stopped. Can express a heterogeneous world.

ここで、対象物が画面内で移動する場合において、フレームＳ（ｆ(Ａ＋１)）に、順次置換合成する動体領域の位置が、該フレームＳの動体領域ｍ(Ａ＋１)の位置と異なる場合は、該フレームＳにおいて２箇所で順次置換合成を行う。１つめの合成は、フレームＳにおいて上記フレームＰまたはフレームＱの動体領域に対応する位置へ、フレームＰまたはフレームＱの動体領域の画像を、順次置換合成する。   Here, when the object moves within the screen, the position of the moving object region that is sequentially replaced and synthesized with the frame S (f (A + 1)) is different from the position of the moving object region m (A + 1) of the frame S. In the frame S, replacement synthesis is sequentially performed at two locations. In the first synthesis, an image of the moving body region of the frame P or the frame Q is sequentially replaced and synthesized at a position corresponding to the moving body region of the frame P or the frame Q in the frame S.

２つめの合成は、フレームＳにおいて動体領域ｍ(Ａ＋１)の位置へ、非動体領域（背景）の画像を順次置換合成する。例えば、上記フレームＳ以外のフレーム（例えばフレームｆ１またはフレームｆ(Ａ＋Ｂ)）の画像から、フレームＳの動体領域ｍ(Ａ＋１)の位置に対応する背景画像を抽出し、抽出した背景画像をフレームＳの動体領域ｍ(Ａ＋１)があった位置へ順次置換合成する。ＣＰＵ１６は、以上説明した順次置換合成により、「動き表現」のための画像を生成する。   In the second synthesis, the non-moving object region (background) image is sequentially replaced and synthesized at the position of the moving object region m (A + 1) in the frame S. For example, a background image corresponding to the position of the moving object area m (A + 1) of the frame S is extracted from an image of a frame other than the frame S (for example, the frame f1 or the frame f (A + B)). Are sequentially replaced and synthesized at the position where the moving object region m (A + 1) is present. The CPU 16 generates an image for “motion expression” by the sequential replacement synthesis described above.

ＣＰＵ１６は、生成した「動き表現」のための画像を所定時間ごとに液晶モニタ１５に再生表示させることにより、静止画像（フレームＳ）上で動体領域を動的に表現する。なお、動体領域の位置をｍＡ→ｍ(Ａ＋１)→ｍ(Ａ＋２)→ｍ(Ａ＋３)→ｍＡ→ｍ(Ａ＋１)…へ切替える時間の間隔を短くすると速い「動き表現」になり、切替える間隔を長くすると遅い「動き表現」になる。   The CPU 16 dynamically displays the moving object region on the still image (frame S) by reproducing and displaying the generated image for “motion expression” on the liquid crystal monitor 15 every predetermined time. If the time interval for switching the position of the moving object region from mA → m (A + 1) → m (A + 2) → m (A + 3) → mA → m (A + 1). Longer times result in slower “motion expressions”.

―「動き表現」に必要なデータの記録―
ＣＰＵ１６は、記録指示に応じて「動き表現」に必要なデータをメモリカード５０へ記録する。記録するデータは、例えば、フレームＳ、フレームＰおよびフレームＱの各画像、これらの画像における動体領域の範囲、座標位置、フレームＰおよびフレームＱからフレームＳへ位置合わせするための制御（シフト）値、ループ再生（繰り返し再生）の要否などの情報である。 ―Recording data necessary for motion expression―
The CPU 16 records data necessary for “motion expression” on the memory card 50 in accordance with the recording instruction. The data to be recorded includes, for example, each image of frame S, frame P, and frame Q, the range of the moving object region in these images, the coordinate position, and the control (shift) value for aligning from frame P and frame Q to frame S Information on whether or not loop reproduction (repetitive reproduction) is necessary.

―フローチャートの説明―
図６は、上述した「動き表現」時にＣＰＵ１６が実行する処理の流れを説明するフローチャートである。ＣＰＵ１６は、「先撮り撮影モード」に設定、かつ「動き表現」処理がオンにされると図６による処理を起動する。図６のステップＳ１において、ＣＰＵ１６は先撮り画像の取得（すなわち撮影待機処理）を開始させてステップＳ２へ進む。これにより、先撮りされたフレーム画像がバッファメモリ１８に蓄積されるとともに、液晶モニタ１５に逐次表示される。 ―Explanation of flowchart―
FIG. 6 is a flowchart for explaining the flow of processing executed by the CPU 16 during the above-described “motion expression”. The CPU 16 activates the process shown in FIG. 6 when the “pre-shooting shooting mode” is set and the “motion expression” process is turned on. In step S1 of FIG. 6, the CPU 16 starts acquisition of a pre-taken image (that is, shooting standby processing), and proceeds to step S2. As a result, the pre-taken frame image is accumulated in the buffer memory 18 and is sequentially displayed on the liquid crystal monitor 15.

ステップＳ２において、ＣＰＵ１６は、先撮り画像データに基づいてＡＥ（自動露出）演算およびＡＦ（自動焦点調節）処理を行わせてステップＳ３へ進む。ステップＳ３において、ＣＰＵ１６は、レリーズボタンの全押し操作が行われたか否かを判定する。ＣＰＵ１６は、全押しスイッチ２０ｂからのオン信号が入力された場合にステップＳ３を肯定判定してステップＳ４へ進み、全押しスイッチ２０ｂからのオン信号が入力されない場合には、ステップＳ３を否定判定してステップＳ２へ戻る。ステップＳ２へ戻る場合は、上述した処理を繰り返す。   In step S2, the CPU 16 performs AE (automatic exposure) calculation and AF (automatic focus adjustment) processing based on the pre-captured image data, and proceeds to step S3. In step S3, the CPU 16 determines whether or not the release button has been fully pressed. The CPU 16 makes an affirmative decision in step S3 when an on signal from the full push switch 20b is input, and proceeds to step S4. If an on signal from the full push switch 20b is not inputted, the CPU 16 makes a negative decision in step S3. To return to step S2. When returning to step S2, the above-described processing is repeated.

ステップＳ４において、ＣＰＵ１６は、後撮り画像の取得を開始させてステップＳ５へ進む。後撮り画像は、全押し操作に応じて取得する１枚と、その後に取得する(Ｂ−１)枚である。ステップＳ５において、ＣＰＵ１６は、バッファメモリ１８に記憶している（Ａ＋Ｂ）枚のフレーム画像をメモリカード５０に記録してステップＳ６へ進む。   In step S4, the CPU 16 starts acquisition of a later shot image and proceeds to step S5. The post-taken images are one sheet acquired in response to the full press operation and (B-1) sheets acquired thereafter. In step S5, the CPU 16 records (A + B) frame images stored in the buffer memory 18 on the memory card 50, and then proceeds to step S6.

ステップＳ６において、ＣＰＵ１６は、終了指示が行われたか否かを判定する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「通常撮影モード」へ切り替える操作信号が入力されると、ステップＳ６を肯定判定して図６による処理を終了する。ＣＰＵ１６は、操作部材２０またはタッチ操作部材１５ａから「通常撮影モード」への切り替え操作信号が入力されない場合は、ステップＳ６を否定判定してステップＳ１へ戻る。ステップＳ１へ戻る場合は、上述した処理を繰り返す。   In step S6, the CPU 16 determines whether or not an end instruction has been issued. When an operation signal for switching to the “normal photographing mode” is input from the operation member 20 or the touch operation member 15a, the CPU 16 makes a positive determination in step S6 and ends the process of FIG. If the switching operation signal for switching to the “normal shooting mode” is not input from the operation member 20 or the touch operation member 15a, the CPU 16 makes a negative determination in step S6 and returns to step S1. When returning to step S1, the above-described processing is repeated.

「動き表現」するＣＰＵ１６が実行する処理の流れについて、図７に例示するフローチャートを参照して説明する。ＣＰＵ１６は、再生モードであって、かつ「動き表現」処理がオンされると図７による処理を起動する。   A flow of processing executed by the CPU 16 for “movement expression” will be described with reference to a flowchart illustrated in FIG. 7. When the CPU 16 is in the reproduction mode and the “motion expression” process is turned on, the CPU 16 starts the process shown in FIG.

図７のステップＳ５１において、ＣＰＵ１６は、（Ａ＋Ｂ）枚のフレーム画像の中から静止画用フレーム（フレームＳ）を決めてステップＳ５２へ進む。ステップＳ５２において、ＣＰＵ１６は、再生時に静止画像（フレームＳ）上で動的に表現する動体領域を決定してステップＳ５３へ進む。   In step S51 of FIG. 7, the CPU 16 determines a still image frame (frame S) from the (A + B) frame images, and proceeds to step S52. In step S52, the CPU 16 determines a moving object region to be dynamically expressed on a still image (frame S) during reproduction, and proceeds to step S53.

ステップＳ５３において、ＣＰＵ１６は、図５(a)の各フレーム画像の位置合わせを行ってステップＳ５４へ進む。位置合わせは、フレーム画像から動体領域を除外した非動体領域において抽出した２以上の特徴点の位置に基づいて行う。   In step S53, the CPU 16 aligns each frame image shown in FIG. 5A and proceeds to step S54. The alignment is performed based on the positions of two or more feature points extracted in the non-moving object region excluding the moving object region from the frame image.

ステップＳ５４において、ＣＰＵ１６は、各フレーム画像から上記テンプレートマッチング手法によって動体領域を抽出し、ステップＳ５５へ進む。ステップＳ５５において、ＣＰＵ１６は、静止画像（フレームＳ）における非動体領域（背景）の位置を基準に、各フレームの動体領域の位置を求めてステップＳ５６へ進む。   In step S54, the CPU 16 extracts a moving object region from each frame image by the template matching method, and proceeds to step S55. In step S55, the CPU 16 obtains the position of the moving object region of each frame based on the position of the non-moving object region (background) in the still image (frame S), and proceeds to step S56.

ステップＳ５６において、ＣＰＵ１６は、静止画像（フレームＳ）より時間的に前に取得されたフレーム画像であって、当該フレームにおける対象物と背景の特徴点との相対的な距離が所定範囲内であるフレームＰを抽出してステップＳ５７へ進む。   In step S56, the CPU 16 is a frame image acquired temporally before the still image (frame S), and the relative distance between the target object and the background feature point in the frame is within a predetermined range. The frame P is extracted and the process proceeds to step S57.

ステップＳ５７において、ＣＰＵ１６は、静止画像（フレームＳ）より時間的に後に取得されたフレーム画像であって、当該フレームにおける対象物と背景の特徴点との相対的な距離が所定範囲内であり、かつ、当該フレームにおける対象物と上記フレームＰにおける対象物との類似度が所定値以上であるフレームＱを抽出してステップＳ５８へ進む。   In step S57, the CPU 16 is a frame image acquired temporally after the still image (frame S), and the relative distance between the target object and the background feature point in the frame is within a predetermined range, In addition, a frame Q in which the similarity between the object in the frame and the object in the frame P is equal to or greater than a predetermined value is extracted, and the process proceeds to step S58.

ステップＳ５８において、ＣＰＵ１６は、所定の条件を満たすか否かを判定する。ＣＰＵ１６は、例えば、フレームＰ、フレームＱがフレームＳと略同一であって変化がなく、再生表示しても動体領域を動的に表現できない場合は、ステップＳ５８を否定判定してステップＳ５６へ戻ってフレームＰおよびフレームＱの抽出をやり直す。ＣＰＵ１６は、フレームＰ、フレームＱがフレームＳと適度に相違し、フレームＰ、フレームＱにおける対象物がフレームＳにおける対象物との間で所定の相対距離を有する場合は、ステップＳ５８を肯定判定してステップＳ５９へ進む。   In step S58, the CPU 16 determines whether or not a predetermined condition is satisfied. For example, if the frame P and the frame Q are substantially the same as the frame S and there is no change, and the moving object area cannot be expressed dynamically even if reproduced and displayed, the CPU 16 makes a negative determination in step S58 and returns to step S56. The frame P and the frame Q are extracted again. When the frames P and Q are moderately different from the frame S and the objects in the frames P and Q have a predetermined relative distance from the objects in the frame S, the CPU 16 makes a positive determination in step S58. Then, the process proceeds to step S59.

ステップＳ５９において、ＣＰＵ１６は、所定の時間ごとに、図５(c)に例示した動体領域を、フレームＳにおいて対応する位置へ順次置換合成し、ステップＳ６０へ進む。   In step S59, the CPU 16 sequentially substitutes and combines the moving object regions illustrated in FIG. 5C to the corresponding positions in the frame S at predetermined time intervals, and proceeds to step S60.

ステップＳ６０において、ＣＰＵ１６は、終了指示されたか否かを判定する。ＣＰＵ１６は、終了操作が行われた場合にステップＳ６０を肯定判定して図７による処理を終了する。ＣＰＵ１６は、終了操作が行われない場合には、ステップＳ６０を否定判定してステップＳ５１へ戻る。   In step S60, the CPU 16 determines whether an end instruction has been issued. When the end operation is performed, the CPU 16 makes an affirmative determination in step S60 and ends the process of FIG. If the end operation is not performed, the CPU 16 makes a negative determination in step S60 and returns to step S51.

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、時系列に撮影された複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうちの１フレームｆ(Ａ＋１)の画像上で、時間と共に変化させる第１動体領域ｍ(Ａ＋１)を指示するＣＰＵ１６と、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)の各々において、ＣＰＵ１６で指示された第１動体領域ｍ(Ａ＋１)に対応する領域の位置情報を取得するＣＰＵ１６と、ＣＰＵ１６で取得された位置情報と複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)とに基づいて、第１動体領域ｍ（Ａ＋１）についての時系列画像ｍＡ〜ｍ(Ａ＋３)を取得するＣＰＵ１６と、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうちの１フレームの画像ｆ(Ａ＋１)に基づいて生成された静止画像(図５(b)の斜線領域)に対し、ＣＰＵ１６で取得された第１動体領域ｍ（Ａ＋１）についての時系列画像ｍＡ〜ｍ(Ａ＋３)を順次置換して合成するＣＰＵ１６と、を備える。これにより、静止画像中の一部を動的に表現する場合において、静止画のどの領域で表現させるかを適切に選択できる。 According to the first embodiment described above, the following operational effects can be obtained.
(1) The digital camera 1 has a first moving body region m (A + 1) that changes with time on an image of one frame f (A + 1) among the images f1 to f (A + B) of a plurality of frames taken in time series. CPU 16 for obtaining the position information of the area corresponding to the first moving body area m (A + 1) designated by the CPU 16 in each of the images f1 to f (A + B) of the plurality of frames. CPU 16 that obtains time-series images mA-m (A + 3) for the first moving body region m (A + 1) based on the positional information and the images f1-f (A + B) of the plurality of frames, and images f1- With respect to the first moving body region m (A + 1) acquired by the CPU 16 with respect to the still image (shaded region in FIG. 5B) generated based on one frame image f (A + 1) of f (A + B). Time series Sequentially replacing the image mA~m (A + 3) comprises a CPU16 to synthesize, the. Thus, when a part of a still image is dynamically expressed, it is possible to appropriately select which region of the still image is to be expressed.

（２）上記（１）のデジタルカメラ１において、ＣＰＵ１６において第１動体領域ｍ(Ａ＋１)の指示に用いられる１フレームの画像ｆ(Ａ＋１)と、ＣＰＵ１６が合成に用いる静止画像(図５(b)の斜線領域)の生成に用いられる１フレームの画像ｆ(Ａ＋１)とは同一であるので、同一でない場合に比べて、静止画像中の一部を動的に表現する処理を簡単にできる。 (2) In the digital camera 1 of the above (1), the one frame image f (A + 1) used for the instruction of the first moving object area m (A + 1) in the CPU 16 and the still image (FIG. ) Is the same as the one-frame image f (A + 1) used to generate the hatched area), and therefore, the process of dynamically expressing a part of the still image can be simplified as compared with the case where the image f (A + 1) is not the same.

（３）上記（１）のデジタルカメラ１において、ＣＰＵ１６はさらに、各フレームにおける第１動体領域ｍＡ〜ｍ（Ａ＋３）の位置情報を静止画像(図５(b)の斜線領域)の生成に用いられる１フレームの画像ｆ(Ａ＋１)を基準とする位置情報に変換し、ＣＰＵ１６は、変換後の位置情報と複数フレームの画像ｆＡ〜ｆ(Ａ＋３)とに基づいて第１動体領域ｍについての時系列画像ｍＡ〜ｍ(Ａ＋３)を取得し、ＣＰＵ１６は、変換後の位置情報をもとに、静止画像(図５(b)の斜線領域)に対し、ＣＰＵ１６で取得された時系列画像ｍＡ〜ｍ(Ａ＋３)を順次置換合成する。これにより、静止画像中の一部を動的に表現する処理時間を短縮できる。 (3) In the digital camera 1 of (1) above, the CPU 16 further uses the position information of the first moving body areas mA to m (A + 3) in each frame to generate a still image (shaded area in FIG. 5B). The one frame image f (A + 1) is converted into position information with reference, and the CPU 16 determines the time for the first moving body region m based on the converted position information and the plurality of frame images fA to f (A + 3). The series images mA to m (A + 3) are acquired, and the CPU 16 applies the time series images mA to the still images (shaded areas in FIG. 5B) acquired by the CPU 16 based on the converted position information. m (A + 3) is sequentially substituted and synthesized. Thereby, the processing time for dynamically expressing a part of a still image can be shortened.

（４）上記（１）のデジタルカメラ１において、ＣＰＵ１６はさらに、静止画像(図５(b)の斜線領域)の生成に用いられる１フレームの画像ｆ(Ａ＋１)上の第１動体領域ｍ(Ａ＋１)を除いた領域を基準として、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)の各々について位置合わせを行った上で、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)の各々において第１動体領域ｍの位置情報を取得し、ＣＰＵ１６は、複数フレームの画像ｆ１〜ｆ(Ａ＋Ｂ)のうち位置合わせ後に第１動体領域ｍ(Ａ＋１)を含むフレームの画像から、位置情報に基づいて第１動体領域ｍについての時系列画像ｍＡ〜ｍ(Ａ＋３)を取得し、ＣＰＵ１６は、位置情報をもとに、静止画像(図５(b)の斜線領域)に対し、ＣＰＵ１６で取得された時系列画像ｍＡ〜ｍ(Ａ＋３)を順次置換合成する。これにより、静止画像中の一部を動的に表現する処理時間を短縮できる。 (4) In the digital camera 1 of the above (1), the CPU 16 further includes a first moving object region m (on the one-frame image f (A + 1) used for generating a still image (shaded area in FIG. 5B). After aligning each of the images f1 to f (A + B) of a plurality of frames using the region excluding A + 1) as a reference, the first moving object region m of each of the images f1 to f (A + B) of the plurality of frames is aligned. The position information is acquired, and the CPU 16 determines the first moving object region m based on the position information from the image of the frame including the first moving object region m (A + 1) after alignment among the images f1 to f (A + B) of the plurality of frames. The time series images mA to m (A + 3) are obtained, and the CPU 16 obtains the time series images mA to m obtained by the CPU 16 for the still image (shaded area in FIG. 5B) based on the position information. (A + 3) is sequentially substituted and synthesized. Thereby, the processing time for dynamically expressing a part of a still image can be shortened.

（変形例１）
上述した説明では、デジタルカメラ１のＣＰＵ１６が、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）をユーザーのタッチ操作に基づいて決定する例を説明した。仮に、ユーザーが誤って対象物が存在しない領域をタッチ操作した場合には、ＣＰＵ１６がその旨を知らせるメッセージを液晶モニタ１５の画面上に表示させてもよい。この場合において、液晶モニタ１５の画面上においてタッチ操作に基づく矩形領域（動体領域ｍ）に対象物（航空機）が含まれるか否かは、フレームＳと、時系列に並ぶいずれかのフレーム画像との間で、当該矩形領域について差分が生じているか否かで判定する。すなわち、時系列に並ぶフレーム画像間で背景領域の位置合わせを行った上で、両フレーム間の差分をとることにより、差分が生じていれば対象物が含まれると判定し、差分が生じていなければ対象物が含まれないと判定する。 (Modification 1)
In the above description, an example has been described in which the CPU 16 of the digital camera 1 determines an area (object) to be dynamically expressed on a still area (background) for “motion expression” based on a user's touch operation. . If the user accidentally touches an area where the target object does not exist, the CPU 16 may display a message to that effect on the screen of the liquid crystal monitor 15. In this case, whether or not the object (aircraft) is included in the rectangular area (moving object area m) based on the touch operation on the screen of the liquid crystal monitor 15 is determined based on the frame S and any frame image arranged in time series. Is determined based on whether or not there is a difference between the rectangular areas. That is, after aligning the background region between the frame images arranged in time series, the difference between both frames is taken, and if there is a difference, it is determined that the object is included, and the difference has occurred. If not, it is determined that the object is not included.

（変形例２）
上述した説明では、デジタルカメラ１のＣＰＵ１６が、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）をユーザーのタッチ操作に基づいて決定する際、ユーザーにより液晶モニタ１５の画面上がタッチ操作されると、該タッチ操作に基づく矩形領域をマークｍで表示するようにした。この代わりに、ユーザーによるタッチ操作前に、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）の候補をＣＰＵ１６が提示するようにしてもよい。 (Modification 2)
In the above description, when the CPU 16 of the digital camera 1 determines an area (object) to be dynamically expressed on the still area (background) for “motion expression” based on the touch operation of the user, When a touch operation is performed on the screen of the liquid crystal monitor 15, a rectangular area based on the touch operation is displayed with a mark m. Instead of this, the CPU 16 may present a candidate for an area (object) to be dynamically expressed on a static area (background) for “motion expression” before the touch operation by the user.

変形例２のＣＰＵ１６は、液晶モニタ１５にフレームＳの再生画像を表示させている状態で自動的にフレームＳにおける対象物（航空機）を探し、検出した対象物を含む領域をマークｍで表示する。ユーザーは、提示された候補（マークｍ）でよい場合に、該マークｍをタッチ操作する。ＣＰＵ１６は、マークｍの位置がタッチ操作されると、マークｍで囲まれる領域を「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定する。   The CPU 16 of Modification 2 automatically searches for an object (aircraft) in the frame S in a state where the reproduced image of the frame S is displayed on the liquid crystal monitor 15, and displays the area including the detected object with the mark m. . When the presented candidate (mark m) is acceptable, the user touches the mark m. When the position of the mark m is touch-operated, the CPU 16 determines the area surrounded by the mark m as an area (object) that is dynamically expressed on a stationary area (background) for “motion expression”.

フレームＳにおける対象物（航空機）の探索は、フレームＳと時系列に並ぶフレーム画像との間で、差分が生じている領域を探せばよい。すなわち、時系列に並ぶフレーム画像間で背景領域の位置合わせを行った上で、両フレーム間の差分をとることにより、差分が生じている領域に対象物が含まれると判定し、差分が生じていない場合は対象物が含まれないと判定する。   The search for the target object (aircraft) in the frame S may be performed by searching for an area where a difference occurs between the frame S and the frame images arranged in time series. In other words, after aligning the background area between time-series frame images and taking the difference between the two frames, it is determined that the object is included in the area where the difference occurs, and the difference occurs. If not, it is determined that the object is not included.

（変形例３）
上述した変形例２において、ユーザーによるタッチ操作がなくても、ＣＰＵ１６が自動的に検出した対象物を含む領域を、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定してもよい。変形例３のＣＰＵ１６は、例えば、画像データ等を用いた認識処理により、液晶モニタ１５にフレームＳの再生画像を表示させている状態で自動的にフレームＳにおける対象物（航空機）を探し、検出した対象物を含む領域をマークｍで表示する。ＣＰＵ１６は、そのマークｍで囲まれる領域を「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定する。 (Modification 3)
In the above-described second modification, an area including an object automatically detected by the CPU 16 without a touch operation by the user is dynamically expressed on a stationary area (background) for “motion expression”. (Object) may be determined. The CPU 16 of the modification 3 automatically searches for and detects an object (aircraft) in the frame S in a state where the reproduction image of the frame S is displayed on the liquid crystal monitor 15 by, for example, recognition processing using image data or the like. A region including the target object is displayed with a mark m. The CPU 16 determines an area (target object) that is dynamically expressed on a static area (background) for “motion expression” for the area surrounded by the mark m.

（変形例４）
上述した説明では、デジタルカメラ１のＣＰＵ１６が、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）をユーザーのタッチ操作に基づいて決定する例を説明した。この動的に表現する領域（対象物）を、ＣＰＵ１６が自動的に抽出する構成としてもよい。例えば、フレームＳの画面端近傍の４つの特徴点が背景領域に含まれるものとみなして、各フレームの画像を、フレームＳの画面端近傍の４つの特徴点を基準に位置合わせを行った上で、各フレーム画像における移動する対象物の領域（対象物の移動領域）を包含する領域（例えば矩形領域）を、各フレーム画像から抽出する。ここで、この移動する対象物の領域は、上記の位置合わせを行った隣接するフレーム画像間で差分演算を行って、その和の領域を求めることにより抽出できる。当該領域を包含する領域は、背景領域を含むものであってもよい。すなわち、このような構成とすれば、フレームＳ上で、順次置換合成する領域の大きさが同じとなり、さらに、順次置換合成する領域のフレームＳ上の位置を同一の位置とすることができる。また、フレームＳ上で、順次置換合成する領域の、各フレーム上での位置も、フレームＳを基準とした座標系で考えれば同一の位置とすることができ、「動き表現」のための画像の生成処理が容易となる。 (Modification 4)
In the above description, an example has been described in which the CPU 16 of the digital camera 1 determines an area (object) to be dynamically expressed on a still area (background) for “motion expression” based on a user's touch operation. . It is good also as a structure which CPU16 extracts automatically the area | region (object) to express this dynamically. For example, assuming that four feature points near the screen edge of the frame S are included in the background area, the image of each frame is aligned based on the four feature points near the screen edge of the frame S. Thus, an area (for example, a rectangular area) including an area of the moving object (object moving area) in each frame image is extracted from each frame image. Here, the region of the moving object can be extracted by calculating a difference between adjacent frame images subjected to the above-described alignment and obtaining the sum region. The area including the area may include a background area. In other words, with such a configuration, the size of the area to be sequentially replaced and synthesized on the frame S is the same, and the position of the area to be sequentially replaced and synthesized on the frame S can be the same position. Further, the positions of the regions to be sequentially replaced and synthesized on the frame S can also be set to the same position in terms of the coordinate system with the frame S as a reference, and an image for “motion expression”. Is easy to generate.

この場合、移動する対象物の領域を包含する領域に、対象物以外の動領域があると、対象物の変化と共に、その動領域も時間と共に変化することとなる。このようなことを避けるために、各フレームにおける、上記の移動する対象物を包含する領域間で差分演算を行い、対象物以外の領域に所定値以上の差分が発生しているか否かを判断する。所定値以上の差分が発生している場合には、移動する対象物の領域を包含する領域から、所定値以上の差分が発生している領域を除外する、あるいは操作者に報知する構成とすることもできる。なお、上記の移動する対象物を包含する、各フレーム領域間での差分演算においては、位置合わせは不要となる。   In this case, if there is a moving area other than the object in the area including the area of the moving object, the moving area also changes with time as the object changes. In order to avoid such a situation, a difference calculation is performed between areas including the moving object in each frame, and it is determined whether or not a difference of a predetermined value or more is generated in an area other than the object. To do. When a difference of a predetermined value or more has occurred, a region in which a difference of a predetermined value or more is excluded from the region including the region of the moving object, or notified to the operator. You can also. In addition, in the difference calculation between each frame area including the above moving object, alignment is not necessary.

（変形例５）
上述した説明では、対象物と背景中の所定位置との相対的な距離が所定範囲を超える場合には、その対象物がフレームＳの画面外に外れるおそれがあるので、フレームＰ、あるいはフレームＱとして適さないとして説明した。このような構成とすれば、「動き表現」のために生成された画像では、常に対象物が存在することとなる。しかしながら、例えば「動き表現」のために生成された画像を繰り返し再生する際にこの手法を用いた場合、図５のフレームｆ（Ａ＋３）における対象物の位置から、フレームｆＡにおける対象物の位置まで、対象物の位置が急激に変化することとなる。すなわち、例えば上記の繰り返し再生を行う場合には、「動き表現」のために生成された画像のうち、最初の画像と最後の画像とが、類似していることが好ましい。このような構成とすることによって、繰り返し再生の際の違和感を低減することができる。 (Modification 5)
In the above description, if the relative distance between the target object and the predetermined position in the background exceeds the predetermined range, the target object may come off the screen of the frame S, so the frame P or the frame Q As explained as not suitable. With such a configuration, an object is always present in an image generated for “motion expression”. However, for example, when this method is used to repeatedly reproduce an image generated for “motion expression”, from the position of the object in frame f (A + 3) in FIG. 5 to the position of the object in frame fA. The position of the object will change abruptly. That is, for example, when the above-described repeated reproduction is performed, it is preferable that the first image and the last image among images generated for “motion expression” are similar. By adopting such a configuration, it is possible to reduce a sense of discomfort during repeated reproduction.

ここで、対象物と背景中の所定位置との相対的な距離が所定範囲を超えるフレームを特定し、当該フレームをフレームＰの最初のフレーム、フレームＱの最後のフレームとすることで、「動き表現」のために生成された画像において、フレームＳ上で対象物が存在しない画像を得ることができる。このようにして生成された「動き表現」のための画像を繰り返し再生した場合には、例えば、対象物が存在しないフレームから「動き表現」が開始され、画面内に対象物が現れてから再び対象物が存在しないフレームとなった時点で、１回目の「動き表現」による再生が終了する。その後、再び対象物が存在しないフレームから、２回目の「動き表現」が開始されることとなり、視聴者が感じる違和感を低減することができる。   Here, a frame in which the relative distance between the target object and a predetermined position in the background exceeds a predetermined range is identified, and the frame is set as the first frame of the frame P and the last frame of the frame Q. In the image generated for “expression”, an image in which no object exists on the frame S can be obtained. When the image for “motion expression” generated in this way is repeatedly reproduced, for example, “motion expression” is started from a frame in which the object does not exist, and again after the object appears in the screen. When the frame in which the object does not exist is reached, the first reproduction by “motion expression” ends. Thereafter, the second “motion expression” is started again from the frame in which the target object does not exist, and it is possible to reduce a sense of discomfort felt by the viewer.

（変形例６）
変形例２において、ユーザーによるタッチ操作の代わりに、音声指示に基づいて「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を決定してもよい。変形例４のＣＰＵ１６は、マイク２２で集音され、音響処理回路２３で変換された音響データに基づいて音声認識を行う。ＣＰＵ１６は、例えば、対象物の候補を、操作部材によって順次変更していった際に、音声認識によって、操作者の「ＯＫ」の発話を認識した場合に、マークｍで囲まれる領域を「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定する。また、例えば、いずれかのフレーム、あるいはフレームＳとしてフレームｆ（Ａ＋１）を液晶モニタ１５に表示している状態で、操作者の「航空機」の発話を認識した場合に、画像データ等を用いて航空機の領域を認識し、当該領域を「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）に決定する構成としてもよい。 (Modification 6)
In the second modification, instead of the touch operation by the user, an area (object) to be dynamically expressed on the stationary area (background) may be determined for “motion expression” based on a voice instruction. The CPU 16 of Modification 4 performs voice recognition based on the acoustic data collected by the microphone 22 and converted by the acoustic processing circuit 23. For example, when the candidate of the object is sequentially changed by the operation member and the CPU 16 recognizes the utterance of “OK” by the operator by voice recognition, the CPU 16 moves the area surrounded by the mark “m” The area (object) to be dynamically expressed on the stationary area (background) is determined for “expression”. Further, for example, when an operator's utterance of “aircraft” is recognized in a state where the frame f (A + 1) is displayed on the liquid crystal monitor 15 as any frame or frame S, image data or the like is used. A configuration may be adopted in which an area of an aircraft is recognized and the area is determined as an area (object) that is dynamically expressed on a stationary area (background) for “motion expression”.

（変形例７）
上記実施形態においては、フレームＳを、液晶モニタ１５の画面に並べて表示されたサムネイル画像の中からタッチ操作によって選択する例について説明したが、図２で説明したように、シャッターボタンの全押し操作のタイミングで取得されたフレーム画像をフレームＳとして設定する構成としてもよい。このような構成とすれば、撮影者が撮影を意図したタイミングにおいて取得された画像をもとに、「動き表現」の画像が生成されるので、撮影者が撮影を意図したタイミングのフレーム画像が、「動き表現」の画像に必ず含まれる構成とすることができる。 (Modification 7)
In the above embodiment, the example in which the frame S is selected by the touch operation from the thumbnail images displayed side by side on the screen of the liquid crystal monitor 15 has been described. However, as described with reference to FIG. The frame image acquired at the timing may be set as the frame S. With such a configuration, an image of “motion expression” is generated based on an image acquired at a timing when the photographer intends to shoot, so a frame image at a timing when the photographer intends to shoot is generated. It is possible to adopt a configuration that is always included in the “motion expression” image.

また、複数のフレーム画像の中から、フレームＳとして、特徴的なハイライトのフレーム画像を選択する構成としてもよい。ハイライトのフレーム画像としては、例えば、マイク２２で集音した音量のレベルが最大のときに取得されたフレーム画像、あるいは対象物の動き量、姿勢などをもとに検出されたクライマックスのフレーム画像を自動的に選択することができる。   Alternatively, a frame image with a characteristic highlight may be selected as the frame S from a plurality of frame images. As a highlight frame image, for example, a frame image acquired when the volume level of sound collected by the microphone 22 is maximum, or a climax frame image detected based on the amount of movement or posture of an object. Can be selected automatically.

さらには、フレームＳとして、対象物の大きさが一番小さいフレーム画像をフレームＳとして選択する構成としてもよい。例えば、フレームＳとして、対象物の大きさが大きいフレーム画像を選択した場合には、対象物が移動した場合、あるいは対象物の大きさが小さくなった場合などにおいては、対象物のみならず、順次置換合成する領域内の背景部分も、フレームＳとは異なる時刻に撮影された他のフレーム画像から、対応する領域の画像データを用いて置き換えることとなる。すなわち、このようにして、フレームＳの静止領域と合成された画像においては、異なる時刻に撮影された背景が混在することとなる。上記のような場合、あるいは上述の変形例４のような場合には、特に異なる時刻に撮影された背景の領域が多くなり、最終的に生成された「動き表現」の画像上で、対象物以外の本来は動いてほしくない背景領域にも動きが発生してしまう可能性が高くなる。そこで、対象物の大きさが一番小さいフレーム画像をフレームＳとして選択する構成とすれば、異なる時刻に撮影された背景が混在する可能性を低減することができる。   Furthermore, as the frame S, a frame image having the smallest object size may be selected as the frame S. For example, when a frame image having a large object size is selected as the frame S, when the object moves or when the object size decreases, not only the object, The background portion in the area to be sequentially replaced and synthesized is also replaced using the image data of the corresponding area from another frame image taken at a time different from that of the frame S. That is, in the image synthesized with the still area of the frame S in this way, backgrounds photographed at different times are mixed. In the above case, or in the case of the above-described modification example 4, the background area photographed particularly at different times increases, and the object generated on the finally generated “motion expression” image is displayed. There is a high possibility that movement will occur in the background area that is not desired to move. Therefore, if the frame image having the smallest size of the object is selected as the frame S, the possibility that backgrounds photographed at different times are mixed is reduced.

（第二の実施形態）
第二の実施形態では、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を２つ設ける。図８は、野球のバッターによる打撃の場面を撮影した時系列のフレーム画像に基づいて、ＣＰＵ１６が第一の実施形態と同様にして選んだフレームＳ、フレームＰおよびフレームＱを構成する画像を例示する図である。本例では、画面内で変化する第１の対象物はボールである。 (Second embodiment)
In the second embodiment, two regions (objects) that are dynamically expressed on a static region (background) are provided for “motion expression”. FIG. 8 exemplifies images constituting the frames S, P, and Q selected by the CPU 16 in the same manner as in the first embodiment, based on a time-series frame image obtained by shooting a baseball batter hitting scene. It is a figure to do. In this example, the first object that changes in the screen is a ball.

図８において、フレームｆ(Ａ＋１)は、ユーザー操作に基づいてＣＰＵ１６が決定したフレームＳに対応する。マークｍ(Ａ＋１)は、ユーザーによるタッチ操作により、タッチ操作部材１５ａから出力された操作信号に基づいてＣＰＵ１６が決定した第１の動体領域を表す。   In FIG. 8, a frame f (A + 1) corresponds to the frame S determined by the CPU 16 based on the user operation. The mark m (A + 1) represents the first moving body region determined by the CPU 16 based on the operation signal output from the touch operation member 15a by the user's touch operation.

フレームｆ(Ａ−１)およびフレームｆＡは、フレームＳより時間的に前に取得されたフレーム画像の中からフレームＰとしてＣＰＵ１６が選んだ画像である。フレームｆ(Ａ＋２)およびフレームｆ(Ａ＋３)は、フレームＳより時間的に後に取得されたフレーム画像の中からフレームＱとしてＣＰＵ１６が選んだ画像である。   The frame f (A-1) and the frame fA are images selected by the CPU 16 as the frame P from the frame images acquired temporally before the frame S. The frame f (A + 2) and the frame f (A + 3) are images selected by the CPU 16 as the frame Q from the frame images acquired later than the frame S.

ＣＰＵ１６は、時系列に並ぶ図８のフレーム画像について、フレームｆ(Ａ＋１)（すなわちフレームＳ）以外の他のフレーム画像から、第１の動体領域を抽出する。ＣＰＵ１６は、例えばフレームＳの動体領域ｍ(Ａ＋１)をテンプレートとして、テンプレートマッチング手法によって第１の動体領域を抽出する。図８のｍ(Ａ−１)、ｍＡ、ｍ(Ａ＋１)、ｍ(Ａ＋２)、およびｍ(Ａ＋３)は、各フレームにおける第１の動体領域を表す。   The CPU 16 extracts the first moving object region from the frame images other than the frame f (A + 1) (that is, the frame S) for the frame images in FIG. 8 arranged in time series. For example, the CPU 16 extracts the first moving body region by the template matching method using the moving body region m (A + 1) of the frame S as a template. In FIG. 8, m (A-1), mA, m (A + 1), m (A + 2), and m (A + 3) represent the first moving body region in each frame.

第二の実施形態によるデジタルカメラ１のＣＰＵ１６はさらに、上記第１の動体領域に含まれる第１の対象物（ボール）と関連して変化する領域をフレーム画像から抽出し、この抽出領域を第２の動体領域とする。図８において、ボールはフレームｆ(Ａ＋１)（すなわちフレームＳ）を境に移動方向を変えている。そして、フレームｆ(Ａ＋１)ではボールがバットと接触している。ＣＰＵ１６は、バットの動きに起因してボールの動きが変化していることから、バットの動きとボールの動きは関連すると判定し、バットを含む領域を第２の動体領域とする。なお、ＣＰＵ１６は、上記移動方向が変化するまでに至らなくても、移動中の加速度が変化した場合には両者の動きが関連すると判定する。   The CPU 16 of the digital camera 1 according to the second embodiment further extracts a region that changes in association with the first object (ball) included in the first moving body region from the frame image, and extracts the extracted region as the first region. 2 moving body region. In FIG. 8, the movement direction of the ball is changed at the frame f (A + 1) (that is, the frame S). In the frame f (A + 1), the ball is in contact with the bat. Since the movement of the ball is changed due to the movement of the bat, the CPU 16 determines that the movement of the bat and the movement of the ball are related, and sets the area including the bat as the second moving body area. Note that the CPU 16 determines that both movements are related when the acceleration during movement changes even if the movement direction does not change.

ＣＰＵ１６は、時系列に並ぶ図８のフレーム画像について、フレームｆ(Ａ＋１)（すなわちフレームＳ）以外の他のフレーム画像から第２の動体領域（バット）を抽出する。本例の場合、バットはフレームごとに形状と画面内の位置が変化しているので、差分検出手法を用いる。   The CPU 16 extracts the second moving body region (bat) from the frame images other than the frame f (A + 1) (that is, the frame S) for the frame images of FIG. 8 arranged in time series. In the case of this example, since the shape and the position in the screen of the bat change for each frame, a difference detection method is used.

ＣＰＵ１６は、時系列に並ぶ図８のフレーム画像について、各フレームの第１の動体領域ｍ(Ａ−１)、ｍＡ、ｍ(Ａ＋１)、ｍ(Ａ＋２)、ｍ(Ａ＋３)を除いた背景領域で位置合わせを行った上で、隣接するフレーム間で差分をとることにより、フレーム画像におけるバットを抽出する。具体的には、時間的に隣接する、所定の閾値で２値化された差分画像間で、論理積をとることにより、バットを含む領域を抽出する。そしてＣＰＵ１６は、抽出した領域において公知の物体認識処理を行うことにより、バットを特定する。   For the frame images of FIG. 8 arranged in chronological order, the CPU 16 excludes the first moving body regions m (A−1), mA, m (A + 1), m (A + 2), and m (A + 3) of each frame. After performing the alignment in step 1, the bat in the frame image is extracted by taking a difference between adjacent frames. Specifically, a region including a bat is extracted by taking a logical product between difference images that are temporally adjacent and binarized with a predetermined threshold. Then, the CPU 16 specifies a bat by performing a known object recognition process in the extracted area.

ここで、フレーム間で所定値以上の差分が生じた領域がバットを含む領域に対応し、フレーム間の差分が所定値未満の領域はバットを含まない領域に対応する。図８の場合、バットまたはバッターの腕を含む領域において、フレーム間で所定値以上の差分が検出される。ＣＰＵ１６は、バットまたはバッターの腕を含む領域から、物体認識処理によってバットを抽出する。   Here, a region where a difference between frames exceeds a predetermined value corresponds to a region including a bat, and a region where the difference between frames is less than a predetermined value corresponds to a region not including a bat. In the case of FIG. 8, in the region including the bat or batter's arm, a difference of a predetermined value or more is detected between frames. The CPU 16 extracts the bat from the region including the bat or batter's arm by object recognition processing.

次にＣＰＵ１６は、図８の各フレーム画像からそれぞれ第１の動体領域および第２の動体領域を除外した非動体領域において、第一の実施形態と同様に２以上の特徴点を抽出し、フレーム間でそれぞれ特徴点の対応付けを行う。   Next, the CPU 16 extracts two or more feature points in the non-moving object region excluding the first moving object region and the second moving object region from each frame image of FIG. Each feature point is associated with each other.

ＣＰＵ１６はさらに、第１動体領域および第２動体領域においても、それぞれ２以上の特徴点を抽出する。そして、各フレームにおける非動体領域の特徴点と各動体領域の特徴点の位置関係に基づいて、各フレームにおける第１動体領域および第２動体領域の位置を、フレームｆ(Ａ＋１)（すなわちフレームＳ）における非動体領域を基準に表す。   The CPU 16 further extracts two or more feature points in each of the first moving body region and the second moving body region. Then, based on the positional relationship between the feature points of the non-moving object region and the feature points of each moving object region in each frame, the positions of the first moving object region and the second moving object region in each frame are represented by frame f (A + 1) (that is, frame S ) With reference to the non-moving object region.

ＣＰＵ１６は、上記フレームＳ（フレームｆ(Ａ＋１)）、フレームＰ（フレームｆ(Ａ−１)とフレームｆＡ）、およびフレームＱ（フレームｆ(Ａ＋２)とフレームｆ(Ａ＋３)）を合成して静止画像（フレームＳ）上において第１動体領域および第２動体領域を動的に表現する。具体的には、フレームＳにおける第１動体領域、第２動体領域に代えて、他のフレームの第１動体領域、第２動体領域を、フレームＳにおいて対応するそれぞれの位置へ所定時間ごとに順次置換合成する。   The CPU 16 combines the frame S (frame f (A + 1)), the frame P (frame f (A-1) and frame fA), and the frame Q (frame f (A + 2) and frame f (A + 3)) to make a still image. The first moving body area and the second moving body area are dynamically expressed on the image (frame S). Specifically, instead of the first moving body region and the second moving body region in the frame S, the first moving body region and the second moving body region of other frames are sequentially transferred to the corresponding positions in the frame S at predetermined intervals. Substitute synthesis.

以上説明したように、「動き表現」のための画像生成において、「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を２つ設ける場合でも、２つの動体領域をフレームＳにおいて対応するそれぞれの位置へ所定時間ごとに順次置換合成する手法は、第一の実施形態と同様に行う。また、「動き表現」に必要なデータの記録についても第一の実施形態と同様に行う。   As described above, in the case of generating an image for “motion expression”, two areas (objects) that are dynamically expressed on a stationary area (background) for “motion expression” are provided. A technique for sequentially replacing and synthesizing the moving object region at each corresponding position in the frame S every predetermined time is performed in the same manner as in the first embodiment. The recording of data necessary for “motion expression” is performed in the same manner as in the first embodiment.

図９は、図８のフレームＳ、フレームＰおよびフレームＱに基づいて、第１の動体領域（ボール）および第２の動体領域（バット）をフレームＳ（＝ｆ(Ａ＋１)）において対応するそれぞれの位置へ所定時間ごとに、順次置換合成した合成画像ｃ(Ａ−１)、ｃＡ、ｃ(Ａ＋１)、ｃ(Ａ＋２)、およびｃ(Ａ＋３)を例示する図である。   9 corresponds to the first moving body region (ball) and the second moving body region (bat) in the frame S (= f (A + 1)) based on the frame S, the frame P, and the frame Q in FIG. FIG. 6 is a diagram illustrating composite images c (A−1), cA, c (A + 1), c (A + 2), and c (A + 3) that are sequentially replaced and synthesized at a predetermined position.

合成画像ｃ(Ａ−１)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ−１)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。合成画像ｃＡは、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆＡの第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。フレームＳに対応する合成画像ｃ(Ａ＋１)は、フレームｆ(Ａ＋１)と同一である。   The composite image c (A-1) is obtained by replacing the first moving object region (ball) and the second moving object region (bat) of the frame S (= f (A + 1)) with the first image of the frame f (A-1). It is the image which combined 1 moving body area | region (ball) and 2nd moving body area | region (bat). The composite image cA includes the first moving body region (ball) and the second moving body region (ball) and the second moving body region (ball) and the second moving body region (ball) of the frame S (= f (A + 1)). It is the image which synthesize | combined the moving body area | region (bat). The composite image c (A + 1) corresponding to the frame S is the same as the frame f (A + 1).

また、合成画像ｃ(Ａ＋２)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ＋２)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。合成画像ｃ(Ａ＋３)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ＋３)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。   In addition, the composite image c (A + 2) is the first image of the frame f (A + 2) instead of the first moving object region (ball) and the second moving object region (bat) of the frame S (= f (A + 1)). It is the image which synthesize | combined the moving body area | region (ball | bowl) and the 2nd moving body area | region (bat). The composite image c (A + 3) is the first moving body region of the frame f (A + 3) instead of the first moving body region (ball) and the second moving body region (bat) of the frame S (= f (A + 1)). It is the image which synthesize | combined (ball) and the 2nd moving body area | region (bat).

これらの合成画像ｃ(Ａ−１)、ｃＡ、ｃ(Ａ＋１)、ｃ(Ａ＋２)、およびｃ(Ａ＋３)を液晶モニタ１５に順番に再生表示させると、静止画（＝ｆ(Ａ＋１)）という時間の止まった世界の中で、第１の動体領域（ボール）および第２の動体領域（バット）だけ時間が進行しているかのような、異質な世界を表現し得る。   When these composite images c (A-1), cA, c (A + 1), c (A + 2), and c (A + 3) are reproduced and displayed in order on the liquid crystal monitor 15, they are called still images (= f (A + 1)). In the world where time has stopped, it is possible to express a heterogeneous world as if time is progressing only by the first moving body region (ball) and the second moving body region (bat).

以上説明した第二の実施形態によれば、以下の作用効果が得られる。
（１）デジタルカメラ１は、時系列に撮影された複数フレームの画像のうちの１フレームｆ(Ａ＋１)の画像上で、時間と共に変化させる第１動体領域(ボール)を指示するＣＰＵ１６と、複数フレームの画像の各々において、ＣＰＵ１６で指示された第１動体領域(ボール)の位置情報を取得するＣＰＵ１６と、ＣＰＵ１６で取得された位置情報と複数フレームの画像とに基づいて、第１動体領域(ボール)についての時系列画像ｍ(Ａ−１)Ａ〜ｍ(Ａ＋３)を取得するＣＰＵ１６と、複数フレームの画像のうちの１フレームの画像ｆ(Ａ＋１)に基づいて生成された静止画像に対し、ＣＰＵ１６で取得された第１動体領域(ボール)についての時系列画像ｍ(Ａ−１)〜ｍ(Ａ＋３)を順次置換して合成するＣＰＵ１６と、を備える。これにより、静止画像中の一部を動的に表現する場合において、静止画のどの領域で表現させるかを適切に選択できる。 According to the second embodiment described above, the following operational effects can be obtained.
(1) The digital camera 1 includes a CPU 16 for instructing a first moving body region (ball) that changes with time on one frame f (A + 1) image of a plurality of frames taken in time series, and a plurality of CPUs 16. In each of the frame images, the CPU 16 that acquires the position information of the first moving body region (ball) instructed by the CPU 16, and the first moving body region (based on the position information acquired by the CPU 16 and the images of the plurality of frames). CPU 16 for obtaining time-series images m (A-1) A to m (A + 3) for the ball), and a still image generated based on one frame image f (A + 1) of the plurality of frames. , And a CPU 16 that sequentially replaces and synthesizes the time-series images m (A-1) to m (A + 3) for the first moving body region (ball) acquired by the CPU 16. Thus, when a part of a still image is dynamically expressed, it is possible to appropriately select which region of the still image is to be expressed.

（２）上記（１）のデジタルカメラ１において、ＣＰＵ１６はさらに、複数フレームの画像に基づいて第１動体領域(ボール)の変化に応じて変化する領域を抽出し、抽出した領域を第２動体領域（バット）として指示し、ＣＰＵ１６は、複数フレームの画像の各々において、ＣＰＵ１６で指示された第２動体領域（バット）の位置情報をさらに取得し、ＣＰＵ１６は、ＣＰＵ１６で取得された位置情報と複数フレームの画像とに基づいて、第２動体領域（バット）についての時系列画像をさらに取得し、ＣＰＵ１６はさらに、複数フレームの画像のうちの１フレームの画像ｆ(Ａ＋１)に基づいて生成された静止画像に対しＣＰＵ１６で取得された第２動体領域（バット）についての時系列画像を、順次置換して合成する。これにより、静止画の中で、ボールの動きと因果関係を有するバットの動きを適切に表現し得る。 (2) In the digital camera 1 of the above (1), the CPU 16 further extracts a region that changes in accordance with the change of the first moving body region (ball) based on the images of a plurality of frames, and the extracted region is used as the second moving body. Instructed as an area (bat), the CPU 16 further acquires position information of the second moving body area (bat) instructed by the CPU 16 in each of the images of the plurality of frames, and the CPU 16 acquires the position information acquired by the CPU 16 and A time-series image for the second moving body region (bat) is further acquired based on the images of the plurality of frames, and the CPU 16 is further generated based on the image f (A + 1) of one frame among the images of the plurality of frames. The time-series images for the second moving object region (bat) acquired by the CPU 16 are sequentially replaced with the still image and synthesized. Thereby, the motion of the bat having a causal relationship with the motion of the ball can be appropriately expressed in the still image.

（３）上記（１）、（２）のデジタルカメラ１において、ＣＰＵ１６は、複数フレームの画像のうちの１フレームｆ(Ａ＋１)で第１動体領域（ボール）と接する領域を第２動体領域（バット）とするので、静止画の中で、ボールの動きと因果関係を有するバットの動きを適切に表現し得る。 (3) In the digital camera 1 of the above (1) and (2), the CPU 16 designates an area in contact with the first moving body area (ball) in one frame f (A + 1) of the plurality of frames as the second moving body area ( Therefore, the movement of the bat having a causal relationship with the movement of the ball can be appropriately expressed in the still image.

（変形例８）
「動き表現」のための画像生成において、図９に例示したものと異なる順次置換合成を行ってもよい。図１０は、図８のフレームＳ、フレームＰおよびフレームＱに基づいて、第１の動体領域（ボール）および第２の動体領域（バット）をフレームＳ（＝ｆ(Ａ＋１)）において対応するそれぞれの位置へ所定時間ごとに順次置換合成した合成画像ｃ(Ａ−１)’、ｃＡ’、ｃ(Ａ＋１)、ｃ(Ａ＋２)’、およびｃ(Ａ＋３)’を例示する図である。 (Modification 8)
In image generation for “motion expression”, sequential replacement synthesis different from that illustrated in FIG. 9 may be performed. 10 corresponds to the first moving body region (ball) and the second moving body region (bat) in the frame S (= f (A + 1)) based on the frame S, the frame P, and the frame Q in FIG. FIG. 6 is a diagram illustrating composite images c (A−1) ′, cA ′, c (A + 1), c (A + 2) ′, and c (A + 3) ′ that are sequentially replaced and synthesized at a predetermined position.

合成画像ｃ(Ａ−１)’は、フレームＳ（＝ｆ(Ａ＋１)）の第２の動体領域（バット）の代わりに、フレームｆ(Ａ−１)の第２の動体領域（バット）を合成した画像である。合成画像ｃＡ’は、フレームＳ（＝ｆ(Ａ＋１)）の第２の動体領域（バット）の代わりに、フレームｆＡの第２の動体領域（バット）を合成した画像である。フレームＳに対応する合成画像ｃ(Ａ＋１)は、フレームｆ(Ａ＋１)と同一である。   The composite image c (A-1) ′ includes the second moving object region (bat) of the frame f (A-1) instead of the second moving object region (butt) of the frame S (= f (A + 1)). This is a composite image. The synthesized image cA ′ is an image obtained by synthesizing the second moving object region (bat) of the frame fA instead of the second moving object region (bat) of the frame S (= f (A + 1)). The composite image c (A + 1) corresponding to the frame S is the same as the frame f (A + 1).

また、合成画像ｃ(Ａ＋２)’は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）の代わりに、フレームｆ(Ａ＋２)の第１の動体領域（ボール）を合成した画像である。合成画像ｃ(Ａ＋３)’は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）の代わりに、フレームｆ(Ａ＋３)の第１の動体領域（ボール）を合成した画像である。   The composite image c (A + 2) ′ is a composite of the first moving body region (ball) of the frame f (A + 2) instead of the first moving body region (ball) of the frame S (= f (A + 1)). It is an image. The synthesized image c (A + 3) ′ is an image obtained by synthesizing the first moving body region (ball) of the frame f (A + 3) instead of the first moving body region (ball) of the frame S (= f (A + 1)). is there.

これらの画像ｃ(Ａ−１)’、ｃＡ’、ｃ(Ａ＋１)、ｃ(Ａ＋２)’、およびｃ(Ａ＋３)’を液晶モニタ１５に順番に再生表示させると、静止画（＝ｆ(Ａ＋１)）という時間の止まった世界の中で、バットとボールが接触する前は第２の動体領域（バット）だけ時間が進行し、バットとボールが接触した後は第１の動体領域（ボール）だけ時間が進行するかのような、異質な世界を表現し得る。   When these images c (A-1) ′, cA ′, c (A + 1), c (A + 2) ′, and c (A + 3) ′ are sequentially reproduced and displayed on the liquid crystal monitor 15, a still image (= f (A + 1) is obtained. )) In the world where time has stopped, the time is advanced by the second moving object region (bat) before the bat and the ball contact, and after the contact between the bat and the ball, the first moving object region (ball). It can express a heterogeneous world as if time only progressed.

（変形例９）
「動き表現」のための画像生成において、変形例８と異なる順次置換合成を行ってもよい。図１１は、図８のフレームＳ、フレームＰおよびフレームＱに基づいて、第１の動体領域（ボール）および第２の動体領域（バット）をフレームＳ（＝ｆ(Ａ＋１)）において対応するそれぞれの位置へ所定時間ごとに順次置換合成した合成画像ｃ(Ａ−１)’、ｃＡ’、ｃ(Ａ＋１)、ｃ(Ａ＋２)、およびｃ(Ａ＋３)を例示する図である。 (Modification 9)
In image generation for “motion expression”, sequential replacement synthesis different from that of the modification 8 may be performed. 11 corresponds to the first moving body region (ball) and the second moving body region (bat) in the frame S (= f (A + 1)) based on the frame S, the frame P, and the frame Q in FIG. FIG. 6 is a diagram illustrating composite images c (A−1) ′, cA ′, c (A + 1), c (A + 2), and c (A + 3) that are sequentially replaced and synthesized at a predetermined position.

合成画像ｃ(Ａ−１)’は、フレームＳ（＝ｆ(Ａ＋１)）の第２の動体領域（バット）の代わりに、フレームｆ(Ａ−１)の第２の動体領域（バット）を合成した画像である。合成画像ｃＡ’は、フレームＳ（＝ｆ(Ａ＋１)）の第２の動体領域（バット）の代わりに、フレームｆＡの第２の動体領域（バット）を合成した画像である。フレームＳに対応する合成画像ｃ(Ａ＋１)は、フレームｆ(Ａ＋１)と同一である。   The composite image c (A-1) ′ includes the second moving object region (bat) of the frame f (A-1) instead of the second moving object region (butt) of the frame S (= f (A + 1)). This is a composite image. The synthesized image cA ′ is an image obtained by synthesizing the second moving object region (bat) of the frame fA instead of the second moving object region (bat) of the frame S (= f (A + 1)). The composite image c (A + 1) corresponding to the frame S is the same as the frame f (A + 1).

また、合成画像ｃ(Ａ＋２)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ＋２)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。合成画像ｃ(Ａ＋３)は、フレームＳ（＝ｆ(Ａ＋１)）の第１の動体領域（ボール）および第２の動体領域（バット）の代わりに、フレームｆ(Ａ＋３)の第１の動体領域（ボール）および第２の動体領域（バット）を合成した画像である。   In addition, the composite image c (A + 2) is the first image of the frame f (A + 2) instead of the first moving object region (ball) and the second moving object region (bat) of the frame S (= f (A + 1)). It is the image which synthesize | combined the moving body area | region (ball | bowl) and the 2nd moving body area | region (bat). The composite image c (A + 3) is the first moving body region of the frame f (A + 3) instead of the first moving body region (ball) and the second moving body region (bat) of the frame S (= f (A + 1)). It is the image which synthesize | combined (ball) and the 2nd moving body area | region (bat).

これらの画像ｃ(Ａ−１)’、ｃＡ’、ｃ(Ａ＋１)、ｃ(Ａ＋２)、およびｃ(Ａ＋３)を液晶モニタ１５に順番に再生表示させると、静止画（＝ｆ(Ａ＋１)）という時間の止まった世界の中で、バットとボールが接触する前は第２の動体領域（バット）だけ時間が進行し、バットとボールが接触した後は第１の動体領域（ボール）および第２の動体領域（バット）だけ時間が進行するかのような、異質な世界を表現し得る。   When these images c (A-1) ′, cA ′, c (A + 1), c (A + 2), and c (A + 3) are sequentially reproduced and displayed on the liquid crystal monitor 15, a still image (= f (A + 1)) In the world where time has stopped, before the bat and the ball contact, the time advances by the second moving object region (bat), and after the bat and the ball contact, the first moving object region (ball) and the first moving region. It is possible to express a heterogeneous world as if time progressed by two moving object regions (bats).

（変形例１０）
上述した第二の実施形態では、フレームｆ(Ａ＋１)におけるボールとバットの接触に基づいてバットの動きとボールの動きが関連すると判定した。このような２つの対象物の接触判定に加えて、または接触判定に代えて、音響データが示す音響レベルに基づいて２つの動体領域の動きが関連するか否かの判定をしてもよい。 (Modification 10)
In the second embodiment described above, it is determined that the movement of the bat and the movement of the ball are related based on the contact between the ball and the bat in the frame f (A + 1). In addition to or instead of such contact determination of two objects, it may be determined whether or not the movements of the two moving object regions are related based on the sound level indicated by the sound data.

上述した第１の動体領域（ボール）と第２の動体領域（バット）の場合、両者の接触時に打撃音が発生する。変形例７のＣＰＵ１６は、マイク２２で集音され、音響処理回路２３で変換された音響データに基づいて音圧レベルの判定を行う。ＣＰＵ１６は、上記接触時に所定値以上の音圧レベルを判定した場合に、ボールとバットの接触に基づいてバットの動きとボールの動きが関連すると判定する。   In the case of the first moving body region (ball) and the second moving body region (bat) described above, a striking sound is generated when the two contact each other. The CPU 16 of the modified example 7 determines the sound pressure level based on the sound data collected by the microphone 22 and converted by the sound processing circuit 23. The CPU 16 determines that the movement of the bat and the movement of the ball are related based on the contact between the ball and the bat when the sound pressure level equal to or higher than the predetermined value is determined at the time of the contact.

（変形例１１）
「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を２つ設ける例として、第１の対象物（ボール）と、第１の対象物と接触する第２の対象物（バット）を例示した。この他にも、第１の対象物（例えばボール）の影を第２の対象物としてもよい。影は、ボールの移動に伴って移動し、ボールの輪郭形状に依拠した輪郭形状を有する。ＣＰＵ１６は、このことからボールの動きとその影の動きは同期すると判定し、影を含む領域を第２の動体領域とする。 (Modification 11)
As an example of providing two regions (objects) that are dynamically expressed on a stationary region (background) for “motion expression”, a first object (ball) and a first object that contacts the first object Two objects (bats) were illustrated. In addition, the shadow of the first object (for example, a ball) may be used as the second object. The shadow moves along with the movement of the ball and has a contour shape that depends on the contour shape of the ball. From this, the CPU 16 determines that the movement of the ball and the movement of the shadow are synchronized, and sets the area including the shadow as the second moving object area.

（変形例１２）
「動き表現」のために静止領域（背景）上で動的に表現する領域（対象物）を２つ設ける例として、変化する第１の対象物を含む第１の動体領域と、変化する第２の対象物を含む第２の動体領域とが隣接する場合があってもよい。例えば、鍋の中で煮えた特定具材が揺れている場合に特定具材を第１の対象物とし、この特定具材から舞い上がる湯気を第２の対象物とする。ＣＰＵ１６は、特定具材の向きが変わることによって立ち上る湯気の方向が変化した場合に、両者（第１の対象物と第２の対象物）の動きが関連すると判定する。変形例９の場合は、静止画という時間の止まった世界の中で、特定具材と、この特定具材から舞い上がる湯気だけ時間が進行するかのような、異質な世界を表現し得る。 (Modification 12)
As an example of providing two areas (objects) that are dynamically expressed on a stationary area (background) for “motion expression”, a first moving object area that includes a first object that changes and a first area that changes. The second moving object region including the two objects may be adjacent to each other. For example, when a specific ingredient boiled in a pan is shaking, the specific ingredient is set as a first object, and steam rising from the specific ingredient is set as a second object. CPU16 determines with the movement of both (a 1st target object and a 2nd target object) related, when the direction of the steam which stands | starts up by the direction of a specific material changing changes. In the case of the modified example 9, it is possible to express a heterogeneous world as if the time progressed only by the specific ingredient and the steam rising from the specific ingredient in the still-time world of still images.

（変形例１３）
以上の説明では、「先撮り撮影モード」において取得した時系列に並ぶ複数フレームの画像群に基づいて「動き表現」する例を説明したが、複数の画像群は、必ずしも「先撮り撮影モード」で撮影した画像群でなくてもよい。例えば、連写によって取得した時系列に並ぶ複数フレームの画像群に基づいて「動き表現」してもよい。 (Modification 13)
In the above description, an example in which “motion expression” is performed based on a group of images of a plurality of frames arranged in time series acquired in the “pre-shooting shooting mode” has been described. However, a plurality of image groups are not necessarily in the “pre-shooting shooting mode”. It does not have to be a group of images taken in. For example, “motion expression” may be performed based on a group of images of a plurality of frames arranged in time series obtained by continuous shooting.

（変形例１４）
複数フレームの画像群を取得する際のフレームレートは、上述した毎秒１２０フレームでなくてもよく、毎秒３０フレームや、毎秒５フレームであってもよい。このフレームレートは、移動する被写体（対象物）の移動速度に応じて適宜設定してよい。なお、取得時のフレームレートより再生表示時のフレームレートを低くすると、いわゆるスロー再生を行える。 (Modification 14)
The frame rate for acquiring a group of images of a plurality of frames may not be 120 frames per second as described above, but may be 30 frames per second or 5 frames per second. This frame rate may be appropriately set according to the moving speed of the moving subject (target object). It should be noted that so-called slow playback can be performed by lowering the frame rate at the time of playback display than the frame rate at the time of acquisition.

（変形例１５）
「動き表現」に必要なデータを、動画ファイルとして記録してもよい。当該動画ファイルの中で、「動き表現」のために合成された映像が繰り返し再生可能である旨も記録する。具体的には、動画ファイルとして、動体領域の動画圧縮データと、非動体領域（背景となる静止領域）の圧縮画像データと、その他必要なデータ（静止領域に順次置換合成する動体領域データの座標位置、繰り返し再生の要否）を含める。 (Modification 15)
Data necessary for “motion expression” may be recorded as a moving image file. In the moving image file, the fact that the video synthesized for “motion expression” can be repeatedly reproduced is also recorded. Specifically, as a moving image file, moving image compressed data of a moving object region, compressed image data of a non-moving object region (a still region as a background), and other necessary data (coordinates of moving region data to be sequentially replaced and synthesized into a stationary region) Position, necessity of repeated playback).

（変形例１６）
以上の説明では、電子機器としてデジタルカメラ１を用いる例を説明したが、多機能携帯電話機やタブレット型コンピュータを用いて構成してもよい。 (Modification 16)
In the above description, an example in which the digital camera 1 is used as an electronic device has been described. However, a multi-function mobile phone or a tablet computer may be used.

（変形例１７）
上述した実施形態では、時系列に並ぶ複数フレームの画像群に基づいて、デジタルカメラ１で「動き表現」処理を行う例を説明したが、パーソナルコンピュータや、タブレット型コンピュータなどを用いて、事後的に「動き表現」処理を行う画像処理装置を構成してもよい。この場合、デジタルカメラ１で取得した画像データとして、時系列に並ぶ複数フレームの画像群を保存しておく。 (Modification 17)
In the above-described embodiment, the example in which the “motion expression” process is performed by the digital camera 1 based on the image group of a plurality of frames arranged in time series has been described. However, the posterior can be performed using a personal computer, a tablet computer, or the like. An image processing apparatus that performs “motion expression” processing may be configured. In this case, an image group of a plurality of frames arranged in time series is stored as image data acquired by the digital camera 1.

そして、図１２に示すコンピュータ２００に図７に例示したフローチャートの処理を行うプログラムを実行させることにより、静止画像の中で変化する被写体（対象物）を動的に表現する画像処理装置を構成する。プログラムをコンピュータ２００に取込んで使用する場合には、コンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。   Then, by causing the computer 200 shown in FIG. 12 to execute a program that performs the processing of the flowchart illustrated in FIG. 7, an image processing apparatus that dynamically expresses a subject (object) that changes in a still image is configured. . When a program is used by being loaded into the computer 200, the program is loaded into the data storage device of the computer 200 and then used as an image processing device by causing the program to be executed.

コンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体２０４をコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記憶媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。   The loading of the program to the computer 200 may be performed by setting the storage medium 204 such as a CD-ROM storing the program in the computer 200 or by loading the computer 200 by a method via the communication line 201 such as a network. Also good. When passing through the communication line 201, the program is stored in the hard disk device 203 of the server (computer) 202 connected to the communication line 201. The program can be supplied as various forms of computer program products such as provision via the storage medium 204 or the communication line 201.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。   The above description is merely an example, and is not limited to the configuration of the above embodiment.

１…デジタルカメラ
１２…撮像素子
１４…画像処理部
１５…液晶モニタ
１５ａ…タッチ操作部材
１６…ＣＰＵ
１７…フラッシュメモリ
１８…バッファメモリ
１９…記録再生部
２０…操作部材
５０…メモリカード
２００…コンピュータ
２０４…記憶媒体 DESCRIPTION OF SYMBOLS 1 ... Digital camera 12 ... Image pick-up element 14 ... Image processing part 15 ... Liquid crystal monitor 15a ... Touch operation member 16 ... CPU
17 ... Flash memory 18 ... Buffer memory 19 ... Recording / reproducing unit 20 ... Operation member 50 ... Memory card 200 ... Computer 204 ... Storage medium

Claims (14)

撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記複数の画像に基づいて、前記第１変化領域の変化に同期して変化する第２変化領域を特定する特定部と、
前記指示部で指示された前記第１変化領域と前記特定部によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得部と、
前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、
を備える画像処理装置。 An instruction unit for instructing a first change area to be changed with time on at least one of a plurality of captured images ;
A specifying unit that specifies a second change region that changes in synchronization with a change in the first change region based on the plurality of images;
A position information acquisition unit that acquires position information on the plurality of images corresponding to the first change region specified by the instruction unit and the second change region specified by the specifying unit;
An image acquisition unit that acquires an image corresponding to the first change region and an image corresponding to the second change region in the plurality of images based on the position information acquired by the position information acquisition unit ;
With respect to the reference image among the images of the multiple, an image synthesizing unit for synthesizing the image obtained in the previous outs image acquisition unit,
Images processing device Ru comprising a. 請求項１に記載の画像処理装置において、
前記指示部において前記第１変化領域の指示に用いられる画像と、前記画像合成部が合成に用いる前記基準画像の生成に用いられる画像とは同一である画像処理装置。 The image processing apparatus according to claim 1.
Wherein the is that images used for indication of the first changed region in the instruction unit, images processing device Ru same der the are that images used for generation of the reference image by the image synthesizing unit is used in the synthesis. 請求項１に記載の画像処理装置において、
前記指示部が時間と共に変化させる前記第１変化領域を指示する前に、前記複数の画像に基づいて変化する領域を抽出し、前記抽出した領域を提示する候補提示部と、
操作信号を発する操作部材と、をさらに備え、
前記指示部は、前記操作部材からの操作信号に応じて、前記候補提示部で提示された領域を前記第１変化領域として指示する画像処理装置。 The image processing apparatus according to claim 1.
Said before the instruction unit instructs the first change area for changing with time, extracts a region that varies based on the multiple images, the candidate presentation unit for presenting the extracted area,
An operation member that emits an operation signal;
The instruction unit is configured in accordance with an operation signal from the operation member, the candidate presentation unit images processing device that instructs the presentation area as the first change area. 撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記複数の画像に基づいて、前記第１変化領域の変化に伴って変化する第２変化領域を特定する特定部と、
前記指示部で指示された前記第１変化領域と前記特定部によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得部と、
前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、
を備える画像処理装置。 An instruction unit for instructing a first change area to be changed with time on at least one of a plurality of captured images;
Based on the plurality of images, a specifying unit that specifies a second change region that changes with a change in the first change region;
A position information acquisition unit that acquires position information on the plurality of images corresponding to the first change region specified by the instruction unit and the second change region specified by the specifying unit;
An image acquisition unit that acquires an image corresponding to the first change region and an image corresponding to the second change region in the plurality of images based on the position information acquired by the position information acquisition unit;
With respect to the reference image among the images of the multiple, an image synthesizing unit for synthesizing the image obtained in the previous outs image acquisition unit,
An image processing apparatus comprising: 請求項４に記載の画像処理装置において、
前記画像合成部はさらに、前記第１変化領域についての画像と、前記第２変化領域についての画像との間で少なくとも一部の時間をずらして合成する画像処理装置。 The image processing apparatus according to claim 4 .
The image synthesizing unit further wherein the images of the first change area, at least a portion of the images processing apparatus that be synthesized by shifting the time between images on the second change area. 請求項４または５に記載の画像処理装置において、
前記特定部は、前記複数の画像のうちの一つの画像で前記第１変化領域と接する領域を前記第２変化領域とする画像処理装置。 The image processing apparatus according to claim 4 or 5 ,
Before Kitoku tough, the one image in the first change area and images processing device region shall be the second change area that is in contact of the multiple images. 撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、
前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、を備え、
前記位置情報取得部はさらに、前記第１変化領域の位置情報を前記基準画像の生成に用いられる画像を基準とする位置情報に変換し、
前記画像取得部は、前記変換後の位置情報と前記複数の画像とに基づいて前記第１変化領域に対応する画像を取得し、
前記画像合成部は、前記変換後の位置情報をもとに、前記基準画像に対し、前記画像取得部で取得された前記画像を合成する画像処理装置。 An instruction unit for instructing a first change area to be changed with time on at least one of a plurality of captured images;
A position information acquisition unit that acquires position information on the plurality of images corresponding to the first change area instructed by the instruction unit;
An image acquisition unit that acquires an image of a position corresponding to the first change region based on the position information acquired by the position information acquisition unit and the plurality of images;
An image synthesis unit that synthesizes an image acquired by the image acquisition unit with respect to a reference image of the plurality of images,
The position information acquisition unit is further configured to convert the positional information of the first change area position information based on images that are used to generate the reference image,
Before Kiga image acquisition unit acquires an image corresponding to the first change area on the basis of the positional information and the multiple images of the converted,
The image synthesizing unit, based on the position information of the converted, the relative standard image, before images you synthesized before Symbol image acquired by Kiga image acquisition unit processor. 撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、
前記複数の画像の各々において、前記指示部で指示された前記第１変化領域の大きさ情報を取得する大きさ情報取得部と、
前記大きさ情報取得部で取得された前記第１変化領域の大きさ情報により決定された、前記複数の画像のうちの一つの画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、
を備える画像処理装置。 An instruction unit for instructing a first change area to be changed with time on at least one of a plurality of captured images;
A position information acquisition unit that acquires position information on the plurality of images corresponding to the first change area instructed by the instruction unit;
An image acquisition unit that acquires an image of a position corresponding to the first change region based on the position information acquired by the position information acquisition unit and the plurality of images;
In each of the multiple images, the size information acquiring unit that acquires size information of the first change area that is instructed by the instruction unit,
An image obtained by combining the image acquired by the image acquisition unit with one image of the plurality of images determined by the size information of the first change area acquired by the size information acquisition unit. A synthesis unit;
Images processing device Ru comprising a. 請求項８に記載の画像処理装置において、
前記画像合成部は、前記大きさ情報取得部で取得された前記第１変化領域の大きさが最小の画像を、前記一つの画像として、前記第１変化領域に対する画像を合成する画像処理装置。 The image processing apparatus according to claim 8 .
The image synthesizing section, the size of the smallest images of the acquired in magnitude information acquisition section and the first change area, as the one image, images you synthesized image with respect to the first change area Processing equipment. 撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示部と、
前記指示部で指示された前記第１変化領域に対応する、前記複数の画像上の位置情報を取得する位置情報取得部と、
前記位置情報取得部で取得された前記位置情報と前記複数の画像とに基づいて、前記第１変化領域に対応する位置の画像を取得する画像取得部と、
前記複数の画像のうちの基準画像に対し、前記画像取得部で取得された画像を合成する画像合成部と、
前記基準画像の前記第１変化領域以外の背景領域を基準として前記複数の画像の位置を合わせ、前記第１変化領域の移動範囲を包含する領域を、前記複数の画像における第１変化領域として設定する設定部とを備え、
前記画像合成部は、前記設定部で設定された前記複数の画像における第１変化領域に対応する画像を、前記画像取得部で取得された前記第１変化領域についての画像として合成する画像処理装置。 An instruction unit for instructing a first change area to be changed with time on at least one of a plurality of captured images;
A position information acquisition unit that acquires position information on the plurality of images corresponding to the first change area instructed by the instruction unit;
An image acquisition unit that acquires an image of a position corresponding to the first change region based on the position information acquired by the position information acquisition unit and the plurality of images;
An image synthesis unit that synthesizes an image acquired by the image acquisition unit with respect to a reference image of the plurality of images;
Wherein the background region other than the first change area of the reference image as a reference aligning the multiple images, a region encompassing a moving range of the first change area, first change area in the multiple image And a setting unit for setting as
The image synthesizing section, an image corresponding to the first change area in the set the multiple images by the setting unit, be synthesized as an image for the first change area that is obtained in the previous outs image acquisition unit that images processing apparatus. 請求項１０に記載の画像処理装置において、
前記設定部で設定された前記複数の画像における第１変化領域の大きさは、前記複数の画像で同一である、
画像処理装置。 The image processing apparatus according to claim 10 .
The size of the first change area in the set the multiple images by the setting unit are the same in the plurality of images,
Image processing device. 請求項１０に記載の画像処理装置において、
前記設定部で設定された前記複数の画像における第１変化領域の位置は、前記基準画像の背景領域を基準として同一である、
画像処理装置。 The image processing apparatus according to claim 10 .
Position of the first change area in the set the multiple images by the setting unit are the same relative to the background region of the reference image,
Image processing device. 請求項１２に記載の画像処理装置において、
抽出された領域どうしで、差分演算を行い、差分値が所定値以上の対象物以外の領域を、領域から除外する、
画像処理装置。 The image processing apparatus according to claim 12 .
The difference between the extracted areas is calculated, and areas other than the target object whose difference value is equal to or greater than a predetermined value are excluded from the area.
Image processing device. 撮影された複数の画像のうちの少なくとも一つの画像上で時間と共に変化させる第１変化領域を指示する指示処理と、
前記複数の画像に基づいて、前記第１変化領域の変化に同期して変化する第２変化領域を特定する特定処理と、
前記指示処理で指示された前記第１変化領域と前記特定処理によって特定された第２変化領域とに対応する、前記複数の画像上の位置情報を取得する位置情報取得処理と、
前記位置情報取得処理で取得された前記位置情報に基づいて、前記複数の画像内の前記第１変化領域に対応する画像と前記第２変化領域に対応する画像とを取得する画像取得処理と、
前記複数の画像のうちの基準画像に対し、前記画像取得処理で取得された画像を合成する画像合成処理と、
をコンピュータに実行させる画像処理プログラム。 An instruction process for instructing a first change area to be changed with time on at least one of a plurality of captured images ;
A specifying process for specifying a second change region that changes in synchronization with a change in the first change region based on the plurality of images;
Position information acquisition processing for acquiring position information on the plurality of images corresponding to the first change region specified by the instruction processing and the second change region specified by the specification processing;
An image acquisition process for acquiring an image corresponding to the first change area and an image corresponding to the second change area in the plurality of images based on the position information acquired in the position information acquisition process ;
With respect to the reference image among the images of the multiple, the image synthesizing process for synthesizing the images obtained in the previous outs image acquisition process,
Images processing program Ru cause the computer to execute.

Images