JP5764964B2 - Image processing apparatus and camera - Google Patents
Image processing apparatus and camera Download PDFInfo
- Publication number
- JP5764964B2 JP5764964B2 JP2011033157A JP2011033157A JP5764964B2 JP 5764964 B2 JP5764964 B2 JP 5764964B2 JP 2011033157 A JP2011033157 A JP 2011033157A JP 2011033157 A JP2011033157 A JP 2011033157A JP 5764964 B2 JP5764964 B2 JP 5764964B2
- Authority
- JP
- Japan
- Prior art keywords
- slow
- image data
- information
- slow motion
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims description 84
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 10
- 230000008929 regeneration Effects 0.000 claims description 2
- 238000011069 regeneration method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 35
- 238000000034 method Methods 0.000 description 25
- 239000000872 buffer Substances 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 230000033764 rhythmic process Effects 0.000 description 16
- 241001465754 Metazoa Species 0.000 description 13
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005562 fading Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101150053844 APP1 gene Proteins 0.000 description 1
- 101100189105 Homo sapiens PABPC4 gene Proteins 0.000 description 1
- 102100039424 Polyadenylate-binding protein 4 Human genes 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、動画像を生成可能な画像処理装置及びカメラに関するものである。 The present invention relates to an image processing apparatus and a camera that can generate a moving image.
入力画像から画像特徴量を抽出し、抽出した画像特徴量をスタイル特徴量に変換し、変換されたスタイル特徴量に基づいて入力画像にマッチしたスタイルを決定し、更に、抽出した画像特徴量を音楽特徴量に変換し、変換された音楽特徴量に基づいて入力画像にマッチした音楽を決定し、入力画像、音楽、スタイルを用いて、ショートフィルムを生成し、再生することができるショートフィルム生成再生装置が提案されている（例えば、特許文献１参照）。 Extracting image feature values from the input image, converting the extracted image feature values into style feature values, determining a style that matches the input image based on the converted style feature values, and further extracting the extracted image feature values Short film generation that can convert to music features, determine the music that matches the input image based on the converted music features, generate short film using the input image, music, and style, and play it back A playback device has been proposed (see, for example, Patent Document 1).
ところで、静止画像の撮影タイミングに同期して撮影され、被写体が実際の動きよりスローに動くスローモーション動画像を再生するとともに、この動画像の録画時に録音した音声を再生した場合、スロー再生されるため間延びした音声となり、視聴するユーザーに違和感を与える。また、上述の動画像を再生すると共に上述の静止画像のフリーズ動画を再生する際にも、フリーズ動画が再生されている間、無音の状態が継続し、視聴するユーザーに退屈な印象を与える。しかしながら、上述の特許文献１記載のショートフィルム生成再生装置には、上述の動画像及びフリーズ動画を順次再生する際に、この動画像やフリーズ動画にマッチした音声や音楽を選択し、動画像やフリーズ動画と共に再生する技術は開示されていない。
By the way, a slow-motion moving image that is shot in synchronization with the shooting timing of a still image and that moves the subject more slowly than the actual movement is played back. As a result, the sound is extended, giving the viewer a sense of incongruity. In addition, when the above-described moving image is reproduced and the above-described still image freeze movie is reproduced, the silent state continues while the freeze movie is being reproduced, which gives the viewer a boring impression. However, when the above-described moving image and freeze video are sequentially played back, the short film generation / playback device described in
本発明の目的は、スローモーション動画像と、該スローモーション動画像に関連する静止画像に基づく画像と共に再生される適切な音を自動的に選択することができる画像処理装置及びカメラを提供することである。 An object of the present invention is to provide an image processing apparatus and a camera capable of automatically selecting a suitable sound to be reproduced together with an image based on a slow motion moving image and a still image related to the slow motion moving image. It is.
本発明は以下のような解決手段により上記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、本発明はこれに限定されるものではない。 The present invention solves the above problems by the following means. In addition, in order to make an understanding easy, it attaches | subjects and demonstrates the code | symbol corresponding to embodiment of this invention, but this invention is not limited to this.
本発明の画像処理装置は、所定時間の間に、被写体からの光を撮像する撮像素子からの撮像信号に基づく複数のフレーム画像に基づき生成され、単位時間に前記撮像信号に基づき生成されるフレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるよう記録されるスローモーション動画像のスローモーション動画像データと、前記複数のフレーム画像の中の少なくとも１枚のフレーム画像に基づき静止画像として生成される静止画像用データとのうちの少なくとも一方に関連付けて、前記スローモーション動画像と前記静止画像用データに基づく画像とを時系列に画像再生する際に再生される音に関する情報であるテーマ情報を、記録媒体に記録する記録制御部と、前記スローモーション動画像データと前記静止画像用データとのうちの少なくとも一方を解析する解析部と、前記解析部による解析結果に基づいて、前記テーマ情報を設定する設定部とを備えることを特徴とする。
また本発明の画像処理装置は、スローモーションの動画及び前記スローモーションの動画に関連する静止画を表示部に表示する所定表示をする際に使用されるスローモーション動画像データ及び静止画像用データの少なくとも一方を解析した結果に基づいて前記所定表示をする際に再生される音に関するテーマ情報を設定する設定部と、前記スローモーション動画像データ及び前記静止画像用データの少なくとも一方に関連付けて前記テーマ情報を記録媒体に記録する制御をする制御部とを備えることを特徴とする。
また本発明のカメラは、本発明の画像処理装置を含むことを特徴とする。
The image processing apparatus of the present invention generates a frame generated based on a plurality of frame images based on an imaging signal from an imaging element that images light from a subject during a predetermined time, and is generated based on the imaging signal per unit time. Slow motion video data of a slow motion video recorded to be played back at a second frame rate that is less than a first frame rate indicating the number of images, and at least one frame image of the plurality of frame images In relation to at least one of the still image data generated as a still image based on the sound and the sound that is reproduced when the slow motion moving image and the image based on the still image data are reproduced in time series theme information that is information, a recording control unit for recording on a recording medium, wherein said slow motion video data electrostatic An analysis unit for analyzing at least one of the image data, based on the analysis result by the analysis unit, characterized in that it comprises a setting unit that sets the theme information.
The image processing apparatus according to the present invention also includes slow motion moving image data and still image data used for predetermined display for displaying a slow motion moving image and a still image related to the slow motion moving image on a display unit. A setting unit configured to set theme information relating to a sound to be played when the predetermined display is performed based on a result of analyzing at least one; and the theme associated with at least one of the slow motion moving image data and the still image data And a control unit that controls to record information on a recording medium.
The camera of the present invention includes the image processing apparatus of the present invention.
本発明の画像処理装置によれば、スローモーション動画像と、該スローモーション動画像に関連する静止画像に基づく画像と共に再生される適切な音を自動的に選択することができる。 According to the image processing apparatus of the present invention, it is possible to automatically select an appropriate sound to be reproduced together with an image based on a slow motion moving image and a still image related to the slow motion moving image.
以下、図面を参照して、本発明の第１の実施の形態に係る画像処理装置としての電子カメラについて説明する。図１は、第１の実施の形態に係る電子カメラ２の外観を示す背面図である。図１に示すように、電子カメラ２の背面には、ＬＣＤ等により形成されるモニタとしての表示部４が設けられている。表示部４は、後述する撮像素子２２からの撮像信号に基づくスルー画像、後述する記録媒体２８に記録されている画像データに基づく静止画像や動画像、後述するスロー動画＋静止画撮影モードにおいてスロー動画撮影に関する設定を行う際のメニュー画面、及び撮影に関する情報等を表示する。
Hereinafter, an electronic camera as an image processing apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a rear view showing an appearance of the
また、電子カメラ２の背面には、静止画撮影を指示するためのシャッタボタン６、撮影モードを変更するためのモードボタン８、様々な機能を設定する際に操作される機能設定ボタン１０、メニュー項目等の選択や様々な設定時に操作される十字キー１２、メニュー項目等の選択や様々な設定に対する確定操作を行うためのＯＫボタン１４が設けられている。モードボタン８は、動画を撮影するための動画撮影モード、静止画を撮影するための静止画撮影モード、後述するスローモーション動画（以下、スロー動画という。）及びスロー動画に関連する静止画を撮影するためのスロー動画＋静止画撮影モード等の撮影モードを選択するためのボタンであり、モードボタン８を押下する毎に選択可能な撮影モードに順次切り替わる。また、機能設定ボタン１０は、モードボタン８において選択された撮影モード下において設定可能な機能について設定するためのメニュー画面を表示部４に表示させる際に操作されるボタンである。
Also, on the back of the
図２は、第１の実施の形態に係る電子カメラ２のシステム構成を示すブロック図である。図２に示すように、電子カメラ２は、マイクロプロセッサ等により構成され、電子カメラ２の各部を統括的に制御する制御部２０を備えている。制御部２０には、撮像素子２２、バッファメモリ２４、記憶部２６、記録媒体２８、表示部４、及び操作部３０が接続されている。撮像素子２２は、ＣＣＤまたはＣＭＯＳ等により構成され、図示しない撮影レンズを介した被写体からの光を撮像し、制御部２０は、撮像素子２２から出力され、図示しないＡ／Ｄコンバータを介すことによりアナログ信号からデジタル信号に変換された撮像信号に基づく画像データを取得する。
FIG. 2 is a block diagram showing a system configuration of the
バッファメモリ２４は、撮像素子２２からの撮像信号に基づき生成された画像データを一時的に記憶する。特に、電子カメラ２が例えばスロー動画を撮影するスロー動画＋静止画撮影モード等に設定されている場合には、バッファメモリ２４は、撮像素子２２から動画像サイクル（６０ｆｐｓ等）に同期して出力される撮像信号に基づく複数の画像データ、即ちスロー動画像を構成する複数のフレーム画像をＦＩＦＯ（ｆｉｒｓｔ ｉｎ ｆｉｓｔ ｏｕｔ）方式で順次記憶する。記憶部２６は、スロー動画及びスロー動画に関連する静止画像の画像データに付加して記録するための「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」等の複数のテーマ情報（後述する）、各テーマ情報に調和する音楽の音楽データ（後述する）等を記憶する。
The
記録媒体２８は、電子カメラ２に設けられたカードスロット（図示せず）に着脱可能に装着される可搬性を有する記録媒体であり、例えば、ＣＦカード、ＳＤカード、スマートメディア等が用いられる。記録媒体２８には、バッファメモリ２４に記憶されているフレーム画像のそれぞれに、制御部２０内の図示しない縮小回路により動画用の解像度へのリサイズ（解像度大から小へ）処理、制御部２０内の図示しない動画用信号処理回路により動画用の画像処理、及び制御部２０内の図示しない動画用圧縮回路により動画用の圧縮処理を施すことにより作成される動画データやスロー動画データが記録される。また、記録媒体２８には、バッファメモリ２４に記憶されているフレーム画像に、制御部２０内の図示しない静止画用信号処理回路により静止画像用の画像処理、制御部２０内の図示しない静止画用圧縮回路により静止画像用の圧縮処理を施すことにより作成される静止画データや、撮影に関する情報等が記録される。操作部３０は、電子カメラ２の電源をオン／オフする電源スイッチ（図示せず）、シャッタボタン６、モードボタン８、機能設定ボタン１０、十字キー１２、ＯＫボタン１４等を含んで構成されている。
The recording medium 28 is a portable recording medium that is detachably mounted in a card slot (not shown) provided in the
この実施の形態に係る電子カメラ２では、所定時間の間に、単位時間に撮像素子２２からの撮像信号に基づき生成されるフレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスロー動画のスロー動画データを、撮像信号２２からの撮像信号に基づく複数のフレーム画像に基づき作成し、かつ該スロー動画を形成する複数のフレーム画像の少なくとも１つのフレーム画像に基づく静止画像の静止画データを作成し、これらスロー動画データ及び静止画データを互いに関連付けて記録媒体２８に記録することができる。以下、図３に示すフローチャートを参照して、この実施の形態に係る電子カメラ２においてスロー動画及び静止画像を撮影する際の処理について説明する。
In the
まず、ユーザーがモードボタン８を操作することによりスロー動画＋静止画撮影モードに設定されると、制御部２０は、スロー動画及び該スロー動画に関連する静止画像を撮影するためのスロー動画＋静止画撮影モードに移行する（ステップＳ１０）。そして、ユーザーにより機能設定ボタン１０が押下されたか否かを判別する（ステップＳ１１）。ステップＳ１１において機能設定ボタン１０が押下されたと判別された場合には（ステップＳ１１、Ｙｅｓ）、制御部２０は、これから撮影されるスロー動画及び静止画像の画像データに関連付けて記録されるテーマ情報を選択するためのテーマ情報選択画面を表示部４に表示する。テーマ情報は、これから撮影されるスロー動画と静止画像に基づく画像とを時系列に画像再生する際に再生される音楽に関する情報であって、最適な音楽の音楽データを、記憶部２６に記憶されている複数の音楽データの中から選択するために使用される。
First, when the user operates the mode button 8 to set the slow movie + still image shooting mode, the
ユーザーは、複数のテーマ情報（例えば、「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」等）の中から、所望のテーマ情報を十字キー１２を用いて選択し、ＯＫボタン１４を押下する。制御部２０は、ユーザーにより選択された所望のテーマ情報を記憶部２６に記憶させる（ステップＳ１２）。一方、ステップＳ１１において機能設定ボタン１０が押下されていないと判別された場合には（ステップＳ１１、Ｎｏ）、制御部２０は、デフォルトのテーマ情報（この実施の形態では、デフォルトのテーマ情報を「きらめき」とする。）を記憶部２６に記憶させる（ステップＳ１３）。
The user uses the cross key 12 to select desired theme information from among a plurality of pieces of theme information (for example, “blink”, “blink”, “relax”, “love”, etc.), and presses an
なお、ステップＳ１０においてスロー動画＋静止画撮影モードに移行したとき、テーマ情報の設定忘れを防止するために、ユーザーに対してテーマ情報を設定するよう促すための表示等を行うこともできる。また、ステップＳ１１において機能設定ボタン１０が押下されていないと判別された場合において（ステップＳ１１、Ｎｏ）、制御部２０は、デフォルトのテーマ情報に代えて、ユーザーにより前回設定されたテーマ情報を、これから撮影されるスロー動画及び静止画像のテーマ情報として記憶部２６に記憶させる構成にすることもできる。
It should be noted that when the mode is changed to the slow motion image + still image shooting mode in step S10, a display for prompting the user to set the theme information can be performed in order to prevent forgetting the setting of the theme information. When it is determined in step S11 that the function setting button 10 has not been pressed (No in step S11), the
次に、制御部２０は、ユーザーによりシャッタボタン６が半押しされたか否かを判別する（ステップＳ１４）。そして、ステップＳ１４においてシャッタボタン６が半押しされたと判別されると（ステップＳ１４、Ｙｅｓ）、制御部２０は、スロー動画及び静止画像の撮影準備、即ち主要被写体に対して合焦させ、スロー動画の撮影、即ちバッファメモリ２４へのフレーム画像のバッファリングを開始する（ステップＳ１５）。次に、制御部２０は、ユーザーによりシャッタボタン６が全押しされたか否かを判別する（ステップＳ１６）。そして、ステップＳ１６においてシャッタボタン６が全押しされたと判別されると（ステップＳ１６、Ｙｅｓ）、制御部２０は、静止画像の撮影指示が入力されたと判断し、シャッタボタン６が全押しされてから所定時間が経過したか否かを判別する（ステップＳ１７）。ステップＳ１７において所定時間が経過したと判別された場合には（ステップＳ１７、Ｙｅｓ）、制御部２０は、スロー動画の撮影終了、即ちバッファメモリ２４へのフレーム画像のバッファリングを終了する（ステップＳ１８）。
Next, the
次に、制御部２０は、スロー動画のスロー動画データ、及び静止画像の静止画データを作成する（ステップＳ１９）。具体的には、シャッタボタン６が全押しされた時から第１所定時間（この実施の形態では、０．６秒）前までの間にバッファメモリ２４にバッファリングされた複数のフレーム画像と、シャッタボタン６が全押しされた時から第２所定時間（ステップＳ１７では所定時間、この実施の形態では０．４秒）後までの間にバッファメモリ２４にバッファリングされた複数のフレーム画像とに基づいて、スロー動画データを作成する。即ち、撮像素子２２から出力されるフレームレート（撮影フレームレート）と同等の第１フレームレート（例えば６０フレーム／秒等）でバッファメモリ２４に記憶されているフレーム画像を、第１フレームレートより少ない第２フレームレート（例えば第１フレームレートの１／２．５である２４フレーム／秒等）でバッファメモリ２４から読み出し、読み出したフレーム画像に対して制御部２０内の縮小回路（不図示）により動画像用の解像度へのリサイズ（解像度大から小へ）処理、制御部２０内の動画用信号処理回路（不図示）により動画用の画像処理（動画用圧縮処理含む）を施すことにより、スロー動画像データを作成する。なお、第１所定時間、第２所定時間及び第２フレームレートは、予め設定され、記憶部２６に記憶されており、変更可能に構成されている。
Next, the
また、シャッタボタン６が全押しされた時に、撮像素子２２から出力される撮像信号に基づくフレーム画像に基づいて、静止画データを作成する。即ち、シャッタボタン６が全押しされた時に、バッファメモリ２４に記憶されたフレーム画像をバッファメモリ２４から読み出し、読み出されたフレーム画像に対して制御部２０内の静止画用信号処理回路（不図示）により静止画像用の画像処理（静止画用圧縮処理を含む）を施すことにより静止画データを作成する。
Still image data is created based on a frame image based on an imaging signal output from the
次に、制御部２０は、ステップＳ１２またはＳ１３において記憶部２６に記憶させたテーマ情報を読み出し、読み出したテーマ情報、及びセットＩＤ情報を、ステップＳ１９において作成されたスロー動画データ及び静止画データに関連付けて、記録媒体２８に記録する（ステップＳ２０）。具体的には、図４に示すように、テーマ情報Ｔ及びセットＩＤ情報Ｉを、スロー動画データの付属情報として、スロー動画データである動画・音声データＭや他の情報と共に、所定の形式で、メーカー独自情報領域内に付加して記録媒体２８に記録する。同様に、テーマ情報Ｔ及びセットＩＤ情報Ｉを、静止画データの付属情報として、静止画データである圧縮データ（画像）Ｓや他の情報と共に、Ｅｘｉｆ（Ｅｘｃｈａｎｇａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等の所定の形式で、ＡＰＰ１セグメントのメーカー独自情報領域内（Ｅｘｉｆにおいてはメーカーノート内）に付加して記録媒体２８に記録する。
Next, the
セットＩＤ情報Ｉは、異なるファイル（異なる拡張子を有するファイル）として記録媒体２８に記録されるスロー動画データ及び静止画データを関連付けるための情報であり、制御部２０は、スロー動画データ（または静止画データ）のセットＩＤ情報Ｉを参照することにより、同一のセットＩＤ情報Ｉを有する静止画データ（またはスロー動画データ）を該スロー動画データに関連する静止画データ（または該静止画データに関連するスロー動画データ）として認識する。 The set ID information I is information for associating slow moving image data and still image data recorded on the recording medium 28 as different files (files having different extensions). By referring to the set ID information I of the image data), the still image data (or slow movie data) having the same set ID information I is related to the still image data (or the still image data) related to the slow movie data. As slow video data).
なお、スロー動画データ及び静止画データへのセットＩＤ情報Ｉの付加に加えて、または代えて、スロー動画データ及び静止画データのファイル名を同一にすることにより、スロー動画データと静止画データとの関連を識別する構成にすることもできる。また、テーマ情報Ｔとして、各テーマ情報に割り当てられる数値がスロー動画データ及び静止画データの付属情報として記録されており、電子カメラ２は、例えば記憶部２６内に各テーマ情報の数値を示すデータベースを有している。また、図４においては、スロー動画データとして、動画・音声データＭが記録されているが、スロー動画を再生する際、動画に対応する音声をスロー動画と同時に再生しないため（後述する）、動画に対応する音声の録音を行わずに、動画データのみを記録することもできる。
In addition to or instead of adding the set ID information I to the slow moving image data and the still image data, the slow moving image data and the still image data are made the same by making the file names of the slow moving image data and the still image data the same. It is also possible to configure so as to identify the associations. Further, as the theme information T, numerical values assigned to the respective theme information are recorded as attached information of the slow moving image data and the still image data, and the
次に、図５に示すフローチャートを参照して、この実施の形態に係る電子カメラ２においてスロー動画及び静止画像を再生する際の処理について説明する。
Next, with reference to a flowchart shown in FIG. 5, processing when a slow moving image and a still image are reproduced in the
まず、ユーザーがモードボタン８等を操作することにより再生モードに設定されると、制御部２０は、記録媒体２８に記録されている画像データの画像（スロー動画や静止画像）を再生するための再生モードに移行する（ステップＳ３０）。そして、ユーザーにより操作部３０を介してスロー動画の再生指示がなされたか否かを判別する（ステップＳ３１）。スロー動画の再生指示は、十字キー１２、コマ送りボタン（不図示）、あるいはＯＫボタン１４などに対する使用者の操作によって行われる。この操作としては、例えば、表示部４に撮影日時の順（古い順または新しい順）に画像（スロー動画や静止画像等）が表示されている場合に、十字キー１２の左ボタン（次の画像表示を指示する操作部材）、或いは十字キー１２の右ボタン（前の画像表示を指示する操作部材）、或いはコマ送りボタンを操作すること、などが挙げられる。或いは、記録媒体２８に記録されている画像データのサムネイル画像（この場合のサムネイル画像は、スチルレリーズ時に取得された静止画像のサムネイル画像である。スロー動画の場合には、スロー動画取得時と同時に取得された静止画像（シャッタレリーズタイミングに取得された静止画像）に対応するサムネイル画像である）の一覧が表示されている場合に、十字キー１２等を用いたスロー動画に関連するサムネイル画像を選択した後に操作される、ＯＫボタン１４に対する押下操作等も挙げられる。
First, when the reproduction mode is set by the user operating the mode button 8 or the like, the
ステップＳ３１においてスロー動画の再生指示がなされたと判別された場合には（ステップＳ３１、Ｙｅｓ）、制御部２０は、再生指示がなされたスロー動画のスロー動画データに付加されているセットＩＤ情報に基づいて、スロー動画データに関連する静止画データ、即ちスロー動画を形成する複数のフレーム画像のうちの１枚のフレーム画像により形成される静止画像の静止画データを識別する。そして、該スロー動画データ及び該静止画データに基づくスロー動画及び静止画像をバッファメモリ２４にバッファリングする。
If it is determined in step S31 that an instruction to play a slow movie has been issued (step S31, Yes), the
次に、制御部２０は、再生指示がなされたスロー動画のスロー動画データに付加されているテーマ情報を取得する（ステップＳ３２）。具体的には、スロー動画データに付加されているテーマ情報を示す数値を取得し、記憶部２６に記憶されている各テーマ情報の数値を示すデータベースから、スロー動画のテーマ情報、例えば「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」等を識別する。
Next, the
次に、制御部２０は、ステップＳ３２において取得したテーマ情報に基づいて、スロー動画を再生する際に、ＢＧＭとして再生する音楽を決定する（ステップＳ３３）。具体的には、テーマ情報毎に設定され、記憶部２６に記憶されている複数の音楽データの中から、ステップＳ３２にて取得したテーマ情報の場合に再生される音楽として設定されている音楽データを記憶部２６から選択し、選択した音楽データに基づく音楽をバッファメモリ２４にバッファリングする。
Next, based on the theme information acquired in step S32, the
次に、制御部２０は、表示部４の表示画面を一旦暗転させた後、バッファメモリ２４にバッファリングされたスロー動画及び音楽の再生を開始する（ステップＳ３４）。具体的には、第１所定時間の間に撮影された複数のフレーム画像と、第２所定時間の間に撮影された複数のフレーム画像とを、第１フレームレート（撮影フレームレート）より少ない第２フレームレートで、表示部４に時系列に画像表示すると同時に、ＢＧＭとして音楽を再生する。このとき、スロー動画の再生開始から所定時間（約０．５秒）かけてスロー動画がフェードインする等のトランジションエフェクトを施す。
Next, the
制御部２０は、スロー動画及び音楽の再生中、ユーザーにより操作部３０を介したスロー動画及び音楽の再生停止の指示がなされたか否かを判別する（ステップＳ４２）。スロー動画及び音楽の再生停止の指示としては、操作部３０のＯＫボタン１４の押下等が挙げられる。制御部２０は、スロー動画及び音楽の再生停止の指示がなされたと判別した場合（ステップＳ４２、Ｙｅｓ）、スロー動画及び音楽の再生を停止し、バッファメモリ２４にバッファリングされた静止画像を表示部４に表示する（ステップＳ４３）。
The
制御部２０は、静止画像の再生停止指示がなされたか否かを判別する（ステップＳ４４）。静止画像の表示停止の指示としては、例えば静止画像の表示中であって、スロー動画の再表示を指示するＯＫボタン１４、次の画像表示を指示する十字キー１２の左ボタン、前の画像表示を指示する十字キー１２の右ボタンの押下等が挙げられる。ステップＳ４４において静止画像の表示停止の指示がなされたと判別した場合（ステップＳ４４、Ｙｅｓ）、制御部２０は静止画像の表示部１４への表示を停止する（ステップＳ４５）。
The
一方、ステップＳ４２においてスロー動画及び音楽の再生停止の指示がなされない場合（ステップＳ４２、Ｎｏ）には、制御部２０は、スロー動画及び音楽の再生を継続し、スロー動画の再生終了から所定時間（約０．５秒）前から、スロー動画の再生終了までの間、スロー動画がフェードアウトする等のトランジションエフェクトを施す。
On the other hand, when the instruction to stop the reproduction of the slow video and music is not given in Step S42 (No in Step S42), the
そして、制御部２０は、スロー動画の再生が終了したと判別した場合（ステップＳ３５、Ｙｅｓ）、例えば第１所定時間が０．６秒、第２所定時間が０．４秒、第２フレームレートが第１フレームレートの１／２．５の場合にあっては２．５秒経過した後、バッファメモリ２４にバッファリングされた静止画像を表示部４に表示する（ステップＳ３６）。
Then, when the
このとき、静止画像の再生開始から所定時間（約０．５秒）かけて静止画像がフェードインする等のトランジションエフェクトを施す。また、音楽は、スロー動画の再生終了や静止画像の再生開始にかかわらず、音楽が終了するまで再生を継続する。 At this time, a transition effect such as fading in the still image over a predetermined time (about 0.5 seconds) from the start of reproduction of the still image is performed. The music continues to be played until the music ends, regardless of whether the slow video playback ends or the still image playback starts.
次に、制御部２０は、ユーザーにより操作部３０を介して静止画像の表示停止の指示がなされたか否かを判別する（ステップＳ３７）。静止画像の表示停止の指示としては、例えば静止画像の表示中であって、スロー動画の再表示を指示するＯＫボタン１４、次の画像表示を指示する十字キー１２の左ボタン、前の画像表示を指示する十字キー１２の右ボタンの押下等が挙げられる。
Next, the
ステップＳ３７において静止画像の表示停止の指示がなされたと判別された場合には（ステップＳ３７、Ｙｅｓ）、制御部２０は、静止画像を表示している間に、スロー動画の再生と同時にＢＧＭとして再生開始した音楽の再生が終了したか否かを判別する（ステップＳ３８）。例えばスロー動画の再生時間が２．５秒、音楽の再生時間が１０秒である場合には、静止画像が表示部４に７．５秒より長く表示される前に、静止画像の表示停止の指示がなされると、音楽の再生は継続されているため、音楽の再生は終了していないと判別される。一方、静止画像が表示部４に７．５秒より長く表示された後に、静止画像の表示停止の指示がなされると、音楽の再生は既に終了しているため、音楽の再生は終了したと判別される。
If it is determined in step S37 that an instruction to stop displaying a still image has been given (step S37, Yes), the
ステップＳ３８において音楽の再生が終了したと判別された場合には（ステップＳ３８、Ｙｅｓ）、制御部２０は、静止画像の表示部４への表示を停止する（ステップＳ３９）。一方、ステップＳ３８において音楽の再生が終了していないと判別された場合には（ステップＳ３８、Ｎｏ）、制御部２０は、静止画像の表示部４への表示、及び音楽の再生を停止する（ステップＳ４０）。
When it is determined in step S38 that the music reproduction has ended (step S38, Yes), the
第１の実施の形態に係る電子カメラ２によれば、スロー動画及び該スロー動画に関連する静止画像のテーマ情報を設定するため、スロー動画と、該スロー動画に関連する静止画像と共に再生される最適な音楽をテーマ情報に基づいて自動的に選択することができる。また、スロー動画を再生した後に該スロー動画に関連する静止画像を再生し、これらスロー動画及び静止画像を再生する際、フェードイン・フェードアウト・クロスフェード等のトランジションエフェクトを効果的に使用するため、スロー動画と静止画像の関連性を印象付けると共に、スロー動画が静止画撮影時前後の動画であること（静止画像がスロー動画を形成する複数のフレーム画像のうちの１枚のフレーム画像であること）を、ユーザーに直感的に認識させることができる。
According to the
次に、図面を参照して、本発明の第２の実施の形態に係る画像処理装置としての電子カメラについて説明する。第２の実施の形態に係る電子カメラにおいては、第１の実施の形態に係る電子カメラ２の構成と同一の構成を有しているため、その説明を省略し、同一の構成には同一の符号を用いて説明を行う。
Next, an electronic camera as an image processing apparatus according to the second embodiment of the present invention will be described with reference to the drawings. Since the electronic camera according to the second embodiment has the same configuration as that of the
この第２の実施の形態では、制御部２０は、所定時間の間に、単位時間に撮像素子２２からの撮像信号に基づき生成されるフレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスロー動画のスロー動画データ、及び該スロー動画を形成する複数のフレーム画像の少なくとも１つのフレーム画像に基づく静止画像の静止画データを作成し、作成されたスロー動画データ及び静止画データの少なくとも一方を解析し、解析結果に基づいてテーマ情報を設定する。以下、図６に示すフローチャートを参照して、この実施の形態に係る電子カメラ２においてスロー動画及び静止画像を撮影する際の処理について説明する。なお、ステップＳ５０及びＳ５１の処理は、図３に示すステップＳ１０及びＳ１１の処理と同一のため、その説明を省略する。
In the second embodiment, the
ステップＳ５１において機能設定ボタン１０が押下されたと判別された場合には（ステップＳ５１、Ｙｅｓ）、制御部２０は、図７に示すようなテーマ情報選択画面３２を表示部４に表示する。ユーザーは、複数のテーマ情報（図７では、「ＡＵＴＯ」「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」）の中から、所望のテーマ情報を十字キー１２を用いて選択し、ＯＫボタン１４を押下する。ここで、図７に示す「ＡＵＴＯ」は、電子カメラ２（制御部２０）が、これから撮影されるスロー動画のスロー動画データ及び静止画像の静止画データの少なくとも一方を解析し、その解析結果に基づいてテーマ情報を自動で設定する際に選択される。
If it is determined in step S51 that the function setting button 10 has been pressed (step S51, Yes), the
次に、制御部２０は、ユーザーにより図７に示すテーマ情報選択画面３２において「ＡＵＴＯ」が選択されたか否かを判別する（ステップＳ５２）。ステップＳ５２において「ＡＵＴＯ」が選択されていないと判別された場合には（ステップＳ５２、Ｎｏ）、制御部２０は、ユーザーにより選択された所望のテーマ情報（図７では、「ＡＵＴＯ」以外の「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」のいずれか）を記憶部２６に記憶させ（ステップＳ５３）、ステップＳ５４の処理に進む。
Next, the
一方、ステップＳ５１において機能設定ボタン１０が押下されていないと判別された場合には（ステップＳ５１、Ｎｏ）、制御部２０は、デフォルトのテーマ情報として「ＡＵＴＯ」が選択されたものと判断し、ステップＳ５４の処理に進む。同様に、ステップＳ５２において「ＡＵＴＯ」が選択されたと判別された場合には（ステップＳ５２、Ｙｅｓ）、制御部２０は、ステップＳ５４の処理に進む。なお、ステップＳ５４〜Ｓ５９の処理は、図３に示すステップＳ１４〜Ｓ１９の処理と同一のため、その説明を省略する。
On the other hand, when it is determined in step S51 that the function setting button 10 has not been pressed (No in step S51), the
ステップＳ５９の処理を終えた後、制御部２０は、テーマ情報の設定を行う（ステップＳ６０）。図８は、図６に示すステップＳ６０においてテーマ情報を設定する際の処理について説明するためのフローチャートである。
After finishing the process of step S59, the
まず、制御部２０は、スロー動画データ及び静止画データが作成される前に、「ＡＵＴＯ」以外のテーマ情報が選択されたか否かを判別する（ステップＳ７０）。即ち、図７に示すテーマ情報選択画面３２において、「ＡＵＴＯ」以外の「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」のいずれかがユーザーにより選択されたか否かを判別する。ステップＳ７０において「ＡＵＴＯ」以外のテーマ情報が選択されたと判別された場合には（ステップＳ７０、Ｙｅｓ）、制御部２０は、図６に示すステップＳ５３において記憶部２６に記憶させたテーマ情報（「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」のいずれか）を読み出し、読み出したテーマ情報を、図６に示すステップＳ５９において作成されたスロー動画及び静止画データのテーマ情報として設定する（ステップＳ７１）。
First, the
一方、ステップＳ７０において「ＡＵＴＯ」以外のテーマ情報が選択されていないと判別された場合（ステップＳ７０、Ｎｏ）、即ち「ＡＵＴＯ」が選択されていると判別された場合には、制御部２０は、撮影されたスロー動画中（スロー動画を形成するフレーム画像中）の被写体の顔領域を、周知の顔領域認識機能を用いて検出する（ステップＳ７２）。例えば、図９に示すように、人物や動物（周知の動物顔認識機能を用いる）の顔を含む顔領域３４，３６，３８を検出する。
On the other hand, if it is determined in step S70 that theme information other than “AUTO” is not selected (No in step S70), that is, if it is determined that “AUTO” is selected, the
次に、制御部２０は、ステップＳ７２において少なくとも１つの顔領域が検出されたか否かを判別する（ステップＳ７３）。ステップＳ７３において、図９に示すように、人物や動物の顔領域３４，３６，３８が検出されたと判別された場合には（ステップＳ７３、Ｙｅｓ）、制御部２０は、周知の子供または動物の顔認識機能を用いて、その検出された顔領域３４，３６，３８内の顔が子供または動物の顔であるか否かを判別する（ステップＳ７４）。例えば、図９（ａ）に示すように顔領域３４内の顔が大人の顔である場合には、子供または動物の顔でないと判別し（ステップＳ７４、Ｎｏ）、図９（ｂ）に示すように顔領域３６，３８内の顔が子供や動物の顔である場合には、子供または動物の顔であると判別する（ステップＳ７４、Ｙｅｓ）。なお、この実施の形態では、ステップＳ７２において複数の顔領域が検出され、検出された複数の顔領域のうちの少なくとも一つの顔領域内の顔が子供または動物の顔である場合には、子供または動物の顔であると判別されるよう構成されているものとする。
Next, the
ステップＳ７４において子供または動物の顔であると判別された場合（ステップＳ７４、Ｙｅｓ）、例えばスロー動画中に図９（ｂ）に示すようなフレーム画像が含まれる場合には、制御部２０は、図６に示すステップＳ５９において作成されたスロー動画及び静止画データのテーマ情報として「愛らしさ」を設定する（ステップＳ７５）。一方、ステップＳ７４において子供または動物の顔でないと判別された場合（ステップＳ７４、Ｎｏ）、例えば図９（ａ）に示すように、スロー動画中に大人の顔のみが含まれる場合には、制御部２０は、周知の笑顔認識機能を用いて、その大人の顔が笑顔であるか否かを判別する（ステップＳ７６）。ステップＳ７６において笑顔であると判別された場合には（ステップＳ７６、Ｙｅｓ）、制御部２０は、図６に示すステップＳ５９において作成されたスロー動画及び静止画データのテーマ情報として「やすらぎ」を設定する（ステップＳ７７）。これら顔認識関連の情報は、撮影後の静止画像または動画からの検出としているが、撮影時に顔認識処理を行う機能がカメラに搭載されている場合、その顔認識情報を記憶しておき、この保存時のテーマ情報設定に利用するようにしてもよい。それにより保存時の処理を一部省略でき、保存時間を短縮することも可能である。
When it is determined in step S74 that the face is a child or animal (step S74, Yes), for example, when a frame image as shown in FIG. “Loveliness” is set as the theme information of the slow video and still image data created in step S59 shown in FIG. 6 (step S75). On the other hand, if it is determined in step S74 that the face is not a child or animal (step S74, No), for example, as shown in FIG. The
一方、ステップＳ７３において人物や動物の顔領域が検出されていないと判別された場合（ステップＳ７３、Ｎｏ）、またはステップＳ７６において笑顔でないと判別された場合には（ステップＳ７６、Ｎｏ）、制御部２０は、スロー動画中の被写体の輝度分布情報を検出する（ステップＳ７８）。具体的には、スロー動画中の被写体の輝度分布情報として、輝度強度、輝度強度が所定範囲内の輝度点の面積、所定面積以上の輝度点の数、所定面積以上の輝度点の輝度変化周期等を検出する。
On the other hand, if it is determined in step S73 that no face area of a person or animal has been detected (step S73, No), or if it is determined in step S76 that it is not a smile (step S76, No), the
この実施の形態では、例えば図１０（ａ）に示すような水面を被写体とするスロー動画４０の場合において、まず、所定最低輝度強度Ｉｍｉｎ以上かつ所定最高輝度強度Ｉｍａｘ以下の輝度点を検出する。所定最低輝度強度Ｉｍｉｎ及び所定最高輝度強度Ｉｍａｘは、予め設定されており、例えば図１１に示すようなテーブルとして記憶部２６に記憶されている。制御部２０は、このテーブルを参照することにより所定最低輝度強度Ｉｍｉｎ及び所定最高輝度強度Ｉｍａｘを取得し、所定最低輝度強度Ｉｍｉｎ以上かつ所定最高輝度強度Ｉｍａｘ以下の輝度点を検出する。図１０（ａ）に示すスロー動画４０の場合において、検出された輝度点Ｐ１〜Ｐ７を図１０（ｂ）に示す。
In this embodiment, for example, in the case of a slow moving
次に、制御部２０は、検出された輝度点Ｐ１〜Ｐ７の面積を検出し、検出された輝度点Ｐ１〜Ｐ７の面積が所定面積より大きいか否かを判別する。所定面積は、予め設定されており、記憶部２６に記憶されている。そして、制御部２０は、所定面積より大きい輝度点（この実施の形態では、輝度点Ｐ１〜Ｐ７とする）の時間Ｔに対する輝度Ｉの変化を検出する。図１２は、輝度点Ｐ７の時間Ｔに対する輝度Ｉの変化を示すグラフである。制御部２０は、この時間Ｔに対する輝度Ｉの変化から、輝度点の輝度変化周期（Ｈｚ）を検出し、所定最低輝度変化周期Ｆｉｍｉｎ以上かつ所定最高輝度変化周期Ｆｉｍａｘ以下の輝度変化周期の輝度点の数を検出する。所定最低輝度変化周期Ｆｉｍｉｎ及び所定最高輝度変化周期Ｆｉｍａｘは、予め設定されており、例えば図１１に示すようなテーブルとして記憶部２６に記憶されている。
Next, the
次に、制御部２０は、検出された輝度点の数が所定数ｍｉｎ以上か否かを判別する。所定数ｍｉｎは、予め設定されており、例えば図１１に示すようなテーブルとして記憶部２６に記憶されている。そして、制御部２０は、検出された輝度点の数が所定数ｍｉｎ以上であると判別した場合には、テーマ情報として「きらめき」を設定する条件を満たしていると判別し（ステップＳ７９、Ｙｅｓ）、図６に示すステップＳ５９において作成されたスロー動画及び静止画データのテーマ情報として「きらめき」を設定する（ステップＳ８０）。
Next, the
一方、制御部２０は、検出された輝度点の数が所定数ｍｉｎ以上でないと判別した場合には、テーマ情報として「きらめき」を設定する条件を満たしていないと判別し（ステップＳ７９、Ｎｏ）、スロー動画中の被写体の動き情報を検出する（ステップＳ８１）。例えば、図１３に示すような葉４４がＡからＢへと往復移動を繰り返しているスロー動画４２の場合において、まず、制御部２０は、Ａ−Ｂ間を往復移動する葉４４の移動速度を算出し、算出結果に基づいて葉４４の往復移動に係る往復周期を算出し、算出された往復周期が所定最低往復周期Ｆｍｉｎ以上かつ所定最高往復周期Ｆｍａｘ以下であるか否かを判別する。所定最低往復周期Ｆｍｉｎ及び所定最高往復周期Ｆｍａｘは、予め設定されており、例えば図１１に示すようなテーブルとして記憶部２６に記憶されている。そして、制御部２０は、算出された往復周期が所定最低往復周期Ｆｍｉｎ以上かつ所定最高往復周期Ｆｍａｘ以下であると判別した場合には、テーマ情報として「ゆらめき」を設定する条件を満たしていると判別し（ステップＳ８２、Ｙｅｓ）、図６に示すステップＳ５９において作成されたスロー動画及び静止画データのテーマ情報として「ゆらめき」を設定する（ステップＳ８３）。
On the other hand, when it is determined that the number of detected luminance points is not equal to or greater than the predetermined number min, the
なお、移動する被写体が複数存在する場合には、例えば合焦位置に最も近い被写体等の代表の被写体の往復周期を算出する。一方、制御部２０は、算出された往復周期が所定最低往復周期Ｆｍｉｎ以上かつ所定最高往復周期Ｆｍａｘ以下でないと判別した場合には、テーマ情報として「ゆらめき」を設定する条件を満たしていないと判別し（ステップＳ８２、Ｎｏ）、いずれの条件も満たしていない場合には、デフォルトのテーマ情報を設定する。または制御部２０は、判定不可能と見做しテーマ情報選択画面３２を表示部１４に表示し、テーマ情報選択画面３２から利用者が選択したテーマ情報に基づいてテーマ情報を設定する。（ステップＳ８４）。
When there are a plurality of moving subjects, for example, the reciprocation cycle of a representative subject such as a subject closest to the in-focus position is calculated. On the other hand, when it is determined that the calculated reciprocation cycle is not less than the predetermined minimum reciprocation cycle Fmin and not more than the predetermined maximum reciprocation cycle Fmax, the
なお、図１１のテーブルに示すテーマ情報「ゆらめき１」は、ユーザーが設定した条件（所定最低往復周期Ｆｍｉｎ１及び所定最高往復周期Ｆｍａｘ１）を満たす場合に設定されるテーマ情報であり、算出された往復周期が、ユーザーにより設定された所定最低往復周期Ｆｍｉｎ１以上かつ所定最高往復周期Ｆｍａｘ１以下であると判別された場合のみ、テーマ情報として「ゆらめき１」が設定される。このユーザーにより条件を設定することができる機能は、予め設定されている条件がユーザーの感覚に合わない場合等に有効である。また、他のテーマ情報（例えば、「きらめき」「やすらぎ」「愛らしさ」等）についても、ユーザーが独自の条件（輝度変化周期等）を設定し、制御部２０がユーザー設定の条件を満たすか否かを判別し、判別結果に基づいてテーマ情報を設定することができる。また、図１１に示すテーブルを、記憶部２６でなく、サーバに記憶させておき、サーバから送信されるデータ信号を受信する受信部（図示せず）を電子カメラ２が備え、サーバから送信し、受信部により受信することによりテーブルを参照する構成にすることもできる。
The theme information “
テーマ情報の設定を終えた後、制御部２０は、図６に示すステップＳ６０において設定したテーマ情報、及びセットＩＤ情報を、ステップＳ５９において作成されたスロー動画データ及び静止画データに関連付けて、記録媒体２８に記録する（ステップＳ６１）。具体的な処理については、図３に示すステップＳ２０の処理と同一のため、その詳細な説明を省略する。
After setting the theme information, the
次に、第２の実施の形態に係る電子カメラ２においてスロー動画及び静止画像を再生する際の処理について説明する。
Next, processing when a slow moving image and a still image are reproduced in the
まず、制御部２０は、図５に示すステップＳ３０〜Ｓ３２の処理を実行する。そして、ステップＳ３２の処理の後、即ち再生するスロー動画及び静止画像のテーマ情報を取得した後、取得したテーマ情報に基づいて、再生するスロー動画及び静止画像の少なくとも一方に対する画像処理を実行する。具体的には、再生するスロー動画及び静止画像の少なくとも一方に対する色調やトランジションエフェクト、再生するスロー動画の再生速度等を変化させる画像処理を実行する。
First, the
例えば、「レトロ」というテーマ情報を設定可能で、テーマ情報として「レトロ」が設定されている場合には、スロー動画や静止画像の色調をモノトーンやセピア調に変更する画像処理を実行する。また、「やすらぎ」や「ゆらめき」等のゆったりしたイメージのテーマ情報が設定されている場合には、スロー動画から静止画像に切り替わる際のトランジションエフェクト、即ちフェードイン及びフェードアウトの速度を設定速度より遅くする画像処理を実行する。具体的には、スロー動画を０．５秒かけてフェードアウトさせ、静止画像を０．５秒かけてフェードインさせるところを、スロー動画を０．７秒かけてフェードアウトさせ、静止画像を０．７秒かけてフェードインさせる等の画像処理を実行する。 For example, when the theme information “retro” can be set and “retro” is set as the theme information, image processing for changing the color tone of the slow movie or the still image to monotone or sepia is executed. In addition, if the theme information of a relaxed image such as “Easy” or “Fluctuation” is set, the transition effect when switching from a slow movie to a still image, that is, the speed of fade-in and fade-out is slower than the set speed. The image processing to be executed is executed. Specifically, the slow video is faded out over 0.5 seconds and the still image is faded in over 0.5 seconds. Image processing such as fading in over a second is executed.
また、「やすらぎ」や「ゆらめき」等のゆったりしたイメージのテーマ情報が設定されている場合には、スロー動画の再生速度を遅くする画像処理を実行する。具体的には、スロー動画の再生時間が２．５秒のところを、３．０秒や４．０秒にする画像処理を実行する。また、スロー動画中の被写体の輝度分布情報や動き情報を検出し、検出結果に基づいてスロー動画の再生速度を変化させる。 In addition, when the theme information of a relaxed image such as “Easy” or “Fluctuation” is set, image processing for slowing down the reproduction speed of the slow moving image is executed. Specifically, the image processing is executed to change the slow movie playback time from 2.5 seconds to 3.0 seconds or 4.0 seconds. In addition, the luminance distribution information and motion information of the subject in the slow video are detected, and the playback speed of the slow video is changed based on the detection result.
具体的には、上述したように、スロー動画中の被写体の、所定範囲内の往復周期を算出し、算出された往復周期に基づいて、スロー動画の再生速度を変化させる。例えば、算出された往復周期と、「ゆらめき」用に定義されている往復周期（図１１参照）とを比較して、算出された往復周期が「ゆらめき」の往復周期に含まれているならば、「ゆらめき」の定義と調和するように、スロー動画の再生速度を変化させる。 Specifically, as described above, the reciprocation cycle within a predetermined range of the subject in the slow movie is calculated, and the playback speed of the slow movie is changed based on the calculated reciprocation cycle. For example, if the calculated round-trip cycle is included in the “round-trip cycle” of “flickering” by comparing the calculated round-trip cycle with the round-trip cycle defined for “flicker” (see FIG. 11). , To change the playback speed of the slow video to harmonize with the definition of “Yurameki”.
また、「きらめき」が設定されている場合には、上述したように、スロー動画中の被写体の、所定範囲内の輝度強度及び所定面積以上の面積を有する輝度点の輝度変化周期を算出し、算出された輝度変化周期に基づいて、スロー動画の再生速度を変化させる。例えば、算出された輝度変化周期と、「きらめき」用に定義されている輝度変化周期（図１１参照）とを比較して、算出された輝度変化周期がどの「きらめき」の輝度変化周期に含まれているのかを特定し、その特定された「きらめき」の定義と調和するように、スロー動画の再生速度を変化させる。 In addition, when “brilliance” is set, as described above, the luminance change period of a luminance point having a luminance intensity within a predetermined range and an area equal to or larger than a predetermined area of the subject in the slow movie is calculated, Based on the calculated luminance change period, the playback speed of the slow video is changed. For example, the calculated luminance change period is compared with the luminance change period defined for “brilliance” (see FIG. 11), and the calculated luminance change period is included in which “brilliant” luminance change period. And the playback speed of the slow movie is changed so as to be in harmony with the specified definition of “glitter”.
次に、制御部２０は、ステップＳ３２において取得したテーマ情報、及びスロー動画の再生時間（再生速度）に基づいて、スロー動画を再生する際に、ＢＧＭとして再生する音楽を決定する（ステップＳ３３）。このＢＧＭとして再生される音楽はテーマ情報毎に設定され、複数の音楽の音楽データが記憶部２６に記憶されている。第２の実施の形態では、スロー動画を再生した後、静止画像を再生するが、スロー動画から静止画像への切替り及びスロー動画と静止画像の関連性を印象付けるために、スロー動画から静止画像に切り替わるとき、テンポやリズムが変化する音楽の音楽データが記憶部２６に記憶されている。例えば、スロー動画の再生時間が２．５秒、音楽の再生時間が１０秒の場合には、スロー動画が再生されている間の２．５秒間の音楽のテンポやリズムは、スロー動画再生後、静止画像が再生されている間の７．５秒間の音楽のテンポやリズムと異なる。
Next, based on the theme information acquired in step S32 and the playback time (playback speed) of the slow video, the
なお、テーマ情報や被写体の動き情報に基づいて、スロー動画の再生時間が２．５秒から３．０秒、４．０秒と変化する場合があるため、テーマ情報毎に、２．５秒後にテンポやリズムが変化する音楽、３．０秒後にテンポやリズムが変化する音楽、及び４．０秒後にテンポやリズムが変化する音楽が設定され、各々の音楽データが記憶部２６に記憶されている。
Note that the slow movie playback time may vary from 2.5 seconds to 3.0 seconds and 4.0 seconds based on theme information and subject movement information, so 2.5 seconds for each theme information. Music in which the tempo and rhythm change later, music in which the tempo and rhythm change in 3.0 seconds, and music in which the tempo and rhythm change in 4.0 seconds are set, and each music data is stored in the
制御部２０は、テーマ情報及びスロー動画の再生時間に基づいて、記憶部２６に記憶されている複数の音楽データの中から、一つの音楽データを選択し、選択した音楽データに基づく音楽をバッファメモリ２４にバッファリングする。例えば、テーマ情報が「ゆらめき」で、スロー動画の再生時間が３．０秒の場合には、「ゆらめき」用に設定されている音楽で３．０秒後にテンポやリズムが変化する音楽の音楽データを選択する。
The
ステップＳ３３の処理の後、制御部２０は、ステップＳ３４〜Ｓ４０の処理を実行する。このとき、テーマ情報に基づいて、スロー動画及び静止画像の少なくとも一方に対する画像処理、例えばスロー動画及び静止画像の少なくとも一方に対する色調やトランジションエフェクト、再生するスロー動画の再生速度等を変化させる画像処理を実行している場合には、画像処理後のスロー動画及び静止画像を再生する。
After the process of step S33, the
第２の実施の形態に係る電子カメラ２によれば、スロー動画及び該スロー動画に関連する静止画像のテーマ情報を自動で設定するため、スロー動画と、該スロー動画に関連する静止画像と共に再生される最適な音楽をテーマ情報に基づいて自動的に選択することができる。また第２の実施形態によれば、スロー動画及び静止画像を再生する際、テーマ情報や被写体の動き情報に基づいて、画像の色調やトランジションエフェクト、スロー動画の再生速度を変化させることができ、更に、スロー動画が再生されている間の音楽のテンポやリズムと、静止画像が再生されている間の音楽のテンポやリズムとを異ならせるため、スロー動画の鑑賞に適切な雰囲気、及び静止画像の鑑賞に適切な雰囲気を、それぞれ効果的に演出することができる。
According to the
なお、第２の実施の形態においては、スロー動画の顔領域の検出結果、被写体の輝度分布情報の検出結果、及び被写体の動き情報の検出結果に基づいて、テーマ情報を設定しているが、スロー動画の顔領域の検出結果、被写体の輝度分布情報の検出結果、及び被写体の動き情報の検出結果の少なくとも一つに基づいて、テーマ情報を設定する構成にすることもできる。 In the second embodiment, the theme information is set based on the detection result of the face area of the slow video, the detection result of the luminance distribution information of the subject, and the detection result of the motion information of the subject. The theme information may be set based on at least one of the detection result of the slow motion face area, the detection result of the luminance distribution information of the subject, and the detection result of the motion information of the subject.
また、第２の実施の形態においては、テーマ情報または被写体の動き情報に基づいて、スロー動画の再生時間（換言すれば再生速度）を予め装置側にドラフト設定されている再生時間（２．５秒）からそれとは異なる再生時間（例えば３．０秒や４．０秒）に変化させている。そして、スロー動画再生時に同時に再生される音楽として、テンポやリズムが変化するタイミングがそれぞれ異なる、予め装置内に用意された複数の音楽データ（例えば変化タイミングが、音楽再生開始から２．５秒後、３．０秒後及び４．０秒後である３つの音楽データ）の中から、その変化タイミングがスロー動画の再生時間（すなわちスロー動画の再生終了タイミング ＝ スロー動画再生から静止画再生への切り換わりタイミング）に等しい音楽データを１つ選んで、再生する。しかしながら、被写体の動き情報によっては、スロー動画の再生時間（換言すれば再生速度）を、３．０秒、４．０秒以外の再生時間（換言すれば再生速度）に変化させる方が最適な場合がある。しかし、だからといって、考えられうる様々なパターンの音楽データを事前に画像再生装置側に用意しておくことは、画像再生装置側のメモリ容量の効率的な利用という観点からすると望ましくない。 Further, in the second embodiment, based on the theme information or subject movement information, the playback time of slow video (in other words, the playback speed) is set to the playback time (2.5 which is set in advance on the device side). Seconds) to a different playback time (for example, 3.0 seconds or 4.0 seconds). A plurality of pieces of music data prepared in the apparatus in advance, each having different timings for changing the tempo and rhythm as music to be played at the same time during slow movie playback (for example, the change timing is 2.5 seconds after the start of music playback). , Three music data after 3.0 seconds and 4.0 seconds), the change timing is the playback time of the slow video (that is, the playback end timing of the slow video = from slow video playback to still image playback) One piece of music data equal to (switching timing) is selected and played. However, depending on the motion information of the subject, it is more optimal to change the slow movie playback time (in other words, playback speed) to a playback time other than 3.0 seconds or 4.0 seconds (in other words, playback speed). There is a case. However, it is not desirable from the viewpoint of efficient use of the memory capacity of the image playback device to prepare music data of various possible patterns in advance on the image playback device side.
そこで、このような場合には、予め画像再生装置内に用意されている音楽データを有効活用する。 Therefore, in such a case, music data prepared in advance in the image reproduction apparatus is effectively used.
１つの方法としては、例えば、選択された音楽データの再生時間（再生速度）を、スロー動画の再生時間（再生速度）に応じて変化させた上で、使用する。具体的に説明すると、例えば、被写体の動きに基づいて、スロー動画の再生時間が、ドラフト再生時間の２．５秒よりも倍の５秒間に変更されたとする。そして音楽データとしては、上記３つのパターン（テンポ又はリズムの変化タイミングが音楽再生開始からＡ＝２．５秒後、Ｂ＝３．０秒後、Ｃ＝４．０秒後である、３パターンの音楽データ）しか備えていないとする。この場合、装置は、変化タイミングが、スロー動画再生時間の５秒に最も近い４．０秒であるＣの音楽データを選択する。そして、このＣの音楽データのテンポ又はリズムの変化タイミングが、音楽再生開始から５秒後になるように、Ｃの音楽データを加工（変調）する。そしてその加工後のＣの音楽データを使って、５秒のスロー動画再生を行うようにする。なお変化させる対象としては、テンポやリズムだけでなく、音程なども変化させるようにしても良い。 As one method, for example, the playback time (playback speed) of the selected music data is changed in accordance with the playback time (playback speed) of the slow video, and then used. More specifically, for example, it is assumed that the playback time of the slow video is changed to 5 seconds, which is twice the draft playback time, based on the movement of the subject. The music data includes the above three patterns (three patterns in which the change timing of the tempo or rhythm is A = 2.5 seconds, B = 3.0 seconds, and C = 4.0 seconds after the start of music playback). Only music data). In this case, the apparatus selects the music data of C whose change timing is 4.0 seconds that is closest to 5 seconds of the slow video playback time. Then, the C music data is processed (modulated) so that the tempo or rhythm change timing of the C music data is 5 seconds after the start of the music reproduction. Then, using the processed music data C, a slow video reproduction of 5 seconds is performed. Note that the object to be changed may be not only the tempo and rhythm but also the pitch.
この手法によれば、例え音楽データの種類のストックが少なかったとしても、その音楽データを加工（変調や編集など）することによって、テンポやリズム、或いは音程をも、任意のタイミングで変更させた音楽データを得ることが出来、あたかも複数の音楽データを供えているのと同等の効果を得ることが出来る。 According to this method, even if there is little stock of music data types, the tempo, rhythm, or pitch can be changed at any timing by processing (modulating or editing) the music data. Music data can be obtained, and an effect equivalent to providing a plurality of music data can be obtained.
また別の方法としては、音楽データは加工せずにそのまま使用し、その代わりスロー動画の再生時間を音楽の再生時間に合わせる、という方法が考えられる。この場合において、スロー動画の再生速度は、被写体の動きに基づいて決定された再生速度のままにしておく。つまりこの方法の場合には、そのスロー動画を全て、再生時間内に再生完了することは出来ないが（途中で再生が打ち切られるが）、被写体の動きに応じたスロー動画を、予め用意された音楽データを使って再生することができる。具体的には、例えば再生時間が４．０秒以上の長さ（ｅｘ．５秒）に設定されたスロー動画を４．０秒間だけ再生する。そしてその時にＢＧＭとして同時再生される音楽として、音楽再生開始から４．０秒後にテンポやリズムが変化する音楽を選択し、同時再生する。この手法によっても、記憶部２６の記憶容量等の制限により、多くの音楽データを記憶できない場合等に有効である。また、音楽のテンポやリズムが変化する時間に拘束されることなく、被写体の動き情報に基づいてスロー動画の再生時間の長さを自由に設定することができる。
As another method, the music data is used as it is without being processed, and instead, the playback time of the slow video is matched with the playback time of the music. In this case, the playback speed of the slow video is kept at the playback speed determined based on the movement of the subject. In other words, in this method, it is not possible to complete the playback of all the slow videos within the playback time (although playback is interrupted halfway), a slow video corresponding to the movement of the subject is prepared in advance. It can be played back using music data. Specifically, for example, a slow motion video set with a playback time of 4.0 seconds or longer (ex. 5 seconds) is played back for 4.0 seconds. At that time, as music to be simultaneously reproduced as BGM, music whose tempo or rhythm changes 4.0 seconds after the start of music reproduction is selected and simultaneously reproduced. This method is also effective when a large amount of music data cannot be stored due to limitations on the storage capacity of the
また、第２の実施の形態においては、スロー動画や静止画像に対する色調やトランジションエフェクト、スロー動画の再生速度を変化させる画像処理を施したものを再生しているが、これら画像処理を施した後のスロー動画や静止画像を、画像処理を施す前のスロー動画及び静止画像に追加して、または代えて、記録媒体２８に記録することができるようにしてもよい。 Also, in the second embodiment, the slow motion video and still images are reproduced with the color tone, transition effect, and image processing that changes the slow video playback speed. After these image processing has been performed, These slow moving images and still images may be recorded on the recording medium 28 in addition to or instead of the slow moving images and still images before image processing.
また、第２の実施の形態においては、スロー動画及び静止画像を再生するとき、スロー動画や静止画像に対する画像処理を実行しているが、スロー動画及び静止画像を記録するとき、スロー動画や静止画像に対する画像処理を実行してもよい。 In the second embodiment, when slow videos and still images are reproduced, image processing is performed on the slow videos and still images. However, when slow videos and still images are recorded, the slow videos and still images are recorded. Image processing may be performed on the image.
なお、上述の各実施の形態においては、画像処理装置として電子カメラ２を例に挙げて説明したが、電子カメラに限らず、撮像装置等により撮影されたスロー動画や静止画像に対して画像処理可能なパソコン等の他の画像処理装置においても本発明を適用することができる。また、上述の各実施の形態においては、電子カメラ２により撮影され、記録媒体２８に記録されたスロー動画及び静止画像を再生しているが、他の撮像装置等により撮影され、記録媒体に記録されたスロー動画及び静止画像を電子カメラ２で再生することもできる。
In each of the above-described embodiments, the
また、電子カメラ２においてスロー動画及び静止画像を撮影（記録）したときに設定されたテーマ情報を、電子カメラ２より高性能なテーマ情報設定機能を備えたパソコン等の画像処理装置において、スロー動画及び静止画像の再生時にスロー動画及び静止画像の少なくとも一方を解析し、解析結果に基づいて再設定することもできる。例えば、パソコン等の画像処理装置において、記録媒体に記録されているスロー動画データ及び静止画データを画像処理装置に設けられているハードディスク等に読み込むとき等、テーマ情報を再設定する処理を実行する。また、パソコン等の画像処理装置において、スロー動画及び静止画像を再生した際、ユーザーがＢＧＭとして再生された音楽に違和感を覚えた場合や、設定されているテーマ情報を他のテーマ情報に変更したいと思った場合等、ユーザー操作によりテーマ情報を再設定するための画面を表示部に表示させ、テーマ情報を再設定する処理を実行することもできる。
Also, the theme information set when the
また、上述の各実施の形態においては、スロー動画及び静止画像を撮影する直前または直後にテーマ情報を設定しているが、スロー動画及び静止画像を再生するとき、ユーザーがＢＧＭとして再生された音楽に違和感を覚えたとき、設定されているテーマ情報を他のテーマ情報に変更したいと思ったとき等、スロー動画データ及び静止画データを記録媒体２８に記録した後、設定されているテーマ情報を変更することもできる。この場合には、メニューの中に、テーマ情報を変更するためのメニュー項目を加え、メニュー画面を表示部４に表示し、十字キー１２等を用いて操作することによりテーマ情報をユーザーにより手動で変更することもできる。なお、テーマ情報を自動または手動で再設定した際、再設定する前のテーマ情報から再設定した後のテーマ情報に変更して記録するか否かをユーザーに選択させる画面を表示する。ユーザーにより変更後のテーマ情報の記録が選択された場合には、制御部２０は、再設定する前のテーマ情報を削除し、再設定した後のテーマ情報を新たに記録媒体２６に記録する。一方、ユーザーにより変更後のテーマ情報の記録が選択されなかった場合には、制御部２０は、テーマ情報を更新することなく、即ち再設定する前のテーマ情報が記録媒体２６に記録された状態を維持する。
Further, in each of the above-described embodiments, the theme information is set immediately before or immediately after shooting the slow video and still image. However, when the slow video and still image are played back, the music played by the user as BGM is played back. If you feel a sense of discomfort, or if you want to change the set theme information to other theme information, record the slow movie data and still image data on the recording medium 28, and then change the set theme information. It can also be changed. In this case, a menu item for changing the theme information is added to the menu, the menu screen is displayed on the
また、上述の各実施の形態においては、記憶部２６に記憶されている複数の音楽データの中から一つの音楽データを選択しているが、電子カメラ２が、サーバに記録され、サーバから送信される音楽データを受信する受信部（図示せず）を備え、テーマ情報及びスロー動画の再生時間に調和する音楽データをサーバから送信し、受信部により受信する構成にすることもできる。この場合には、サーバ内に格納されている多数の音楽データの中から最適な音楽データを選択することができ、記憶部２６の記憶容量が小さい場合等、電子カメラ２が多くの音楽データを記憶することができない場合に有効である。
In each of the above-described embodiments, one music data is selected from a plurality of music data stored in the
また、上述の各実施の形態においては、テーマ情報をスロー動画データ及び静止画データの両方に関連付けて、記録媒体２８に記録しているが、スロー動画データと静止画データとのうちのいずれか一方に関連付けて、記録媒体２８に記録してもよい。この場合には、制御部２０は、テーマ情報が付加されているスロー動画データ（または静止画データ）のセットＩＤ情報から、関連する静止画データ（またはスロー動画データ）を識別し、スロー動画データ（または静止画データ）に付加されているテーマ情報が関連する静止画データ（またはスロー動画データ）のテーマ情報であると認識する。
In each of the above-described embodiments, the theme information is recorded on the recording medium 28 in association with both the slow moving image data and the still image data. However, any one of the slow moving image data and the still image data is recorded. You may record on the recording medium 28 in connection with one side. In this case, the
また、上述の各実施の形態においては、テーマ情報及びセットＩＤ情報をスロー動画データ及び静止画データの付属情報としてスロー動画データ及び静止画データに付加して記録しているが、スロー動画データ及び静止画データの画像ファイルと異なる設定ファイルを設け、テーマ情報及びセットＩＤ情報を、スロー動画データ及び静止画データの少なくとも一方に関連付けて、この設定ファイルに記録することもできる。 Further, in each of the above-described embodiments, the theme information and set ID information are added to the slow video data and the still image data and recorded as attached information of the slow video data and the still image data. A setting file different from the image file of the still image data may be provided, and the theme information and set ID information may be recorded in the setting file in association with at least one of the slow moving image data and the still image data.
また、上述の各実施の形態においては、スロー動画を再生した後、静止画像を再生しているが、静止画像を所定時間再生した後、スロー動画を再生することもできる。この場合には、静止画像の再生開始と同時に、テーマ情報に基づき決定された音楽の再生を開始する。また、上述の各実施の形態においては、スロー動画データ及び静止画データを作成し、記録媒体２８に記録しているが、静止画データに代えて、静止画データに基づく画像として、１つの静止画像を所望期間連続するフレーム画像とするフリーズ動画を作成し、フリーズ動画のフリーズ動画データをスロー動画データと共に、記録媒体２８に記録してもよい。この場合には、フリーズ動画データにテーマ情報及びセットＩＤ情報を付加し、再生時には、静止画像に代えてフリーズ動画を再生する。また、上述の各実施の形態においては、スロー動画を再生した後、静止画像を再生しているが、再生時に静止画像に基づいてフリーズ動画を生成し、静止画像に代えて、生成されたフリーズ動画を再生することもできる。なお、フリーズ動画データとスロー動画データは、１つのファイルとしてもよい。いずれの場合も、スロー動画データとフリーズ動画データの合計時間長さはBGMと同じ長さとする。 Further, in each of the above-described embodiments, a slow image is reproduced and then a still image is reproduced. However, a slow movie can be reproduced after a still image is reproduced for a predetermined time. In this case, playback of music determined based on the theme information is started simultaneously with the start of playback of the still image. In each of the above-described embodiments, the slow moving image data and the still image data are created and recorded on the recording medium 28. However, instead of the still image data, an image based on the still image data is one still image. It is also possible to create a freeze moving image in which the image is a frame image continuous for a desired period, and record the frozen moving image data of the frozen moving image together with the slow moving image data on the recording medium 28. In this case, theme information and set ID information are added to the freeze moving image data, and at the time of reproduction, the freeze movie is reproduced instead of the still image. Further, in each of the above-described embodiments, after playing a slow video, a still image is played back. However, a freeze video is generated based on the still image during playback, and the generated freeze is used instead of the still image. You can also play videos. Note that the freeze video data and the slow video data may be a single file. In any case, the total time length of the slow video data and the freeze video data is the same as that of the BGM.
また、上述の各実施の形態においては、テーマ情報毎に最適な音楽が記憶部２６に記憶され、スロー動画及び静止画像のテーマ情報に基づいて音楽を決定し、決定された音楽をＢＧＭとしてスロー動画及び静止画像と共に再生しているが、音楽に代えてまたは音楽に加えて、テーマ情報毎に最適な音声等の音を記憶部２６に記憶させ、スロー動画及び静止画像のテーマ情報に基づいて音声等の音を決定し、決定された音声等の音をＢＧＭとしてスロー動画及び静止画像と共に再生することもできる。
Further, in each of the above-described embodiments, the optimal music for each theme information is stored in the
なお、上述の各実施の形態においては、表示部４の表示画面を一旦暗転させた後、スロー動画の再生を開始するが、スロー動画が再生されることを印象付けるために、表示部４に表示されていた画像と、スロー動画を形成する最初のフレーム画像との間に、黒動画を所定時間（約０．５秒）表示部４に表示するようにしてもよい。
In each of the above-described embodiments, the display screen of the
２…電子カメラ、４…表示部、６…シャッタボタン、８…モードボタン、１０…昨日設定ボタン、１２…十字キー、１４…ＯＫボタン、２０…制御部、２２…撮像素子、２４…バッファメモリ、２６…記憶部、２８…記録媒体。 2 ... electronic camera, 4 ... display unit, 6 ... shutter button, 8 ... mode button, 10 ... yesterday setting button, 12 ... cross key, 14 ... OK button, 20 ... control unit, 22 ... image sensor, 24 ... buffer memory , 26 ... storage unit, 28 ... recording medium.
Claims (22)
前記スローモーション動画像データと前記静止画像用データとのうちの少なくとも一方を解析する解析部と、
前記解析部による解析結果に基づいて、前記テーマ情報を設定する設定部とを備えることを特徴とする画像処理装置。 A first frame that is generated based on a plurality of frame images based on an imaging signal from an imaging device that captures light from a subject during a predetermined time, and indicates the number of frame images generated based on the imaging signal per unit time Still image generated as a still image based on slow motion moving image data of a slow motion moving image recorded to be played back at a second frame rate lower than the rate and at least one frame image of the plurality of frame images In association with at least one of the image data, the theme information, which is information related to sound to be reproduced when reproducing the slow motion moving image and the image based on the still image data in time series, is recorded. A recording control unit for recording on a medium;
An analysis unit that analyzes at least one of the slow motion moving image data and the still image data;
An image processing apparatus comprising: a setting unit configured to set the theme information based on an analysis result by the analysis unit.
前記スローモーション動画像データ及び前記静止画像用データの少なくとも一方に関連付けて前記テーマ情報を記録媒体に記録する制御をする制御部とを備えることを特徴とする画像処理装置。 Based on the result of analyzing at least one of slow motion moving image data and still image data used when a predetermined display is performed to display a slow motion video and a still image related to the slow motion video on the display unit A setting unit for setting theme information relating to the sound to be played when the predetermined display is performed;
An image processing apparatus comprising: a control unit that controls to record the theme information on a recording medium in association with at least one of the slow motion moving image data and the still image data.
前記記憶部に記憶されている前記複数のテーマ情報の中から、所望のテーマ情報を選択可能な選択設定部と、を備え、
前記記録制御部は、前記選択設定部により選択設定されたテーマ情報を、前記スローモーション動画像データと前記静止画像用データとのうちの少なくとも一方に関連付けて前記記録媒体に記録することを特徴とする請求項１記載の画像処理装置。 A storage unit for storing a plurality of the theme information;
A selection setting unit capable of selecting desired theme information from the plurality of theme information stored in the storage unit,
The recording control unit records the theme information selected and set by the selection setting unit on the recording medium in association with at least one of the slow motion moving image data and the still image data. The image processing apparatus according to claim 1.
前記設定部は、前記顔領域認識部により認識された前記顔領域に基づいて、前記テーマ情報を設定することを特徴とする請求項１、請求項３及び請求項４の何れか一項に記載の画像処理装置。 The analysis unit includes a face area recognition unit that recognizes a face area of the subject from at least one of the slow motion moving image data and the still image data ,
The said setting part sets the said theme information based on the said face area | region recognized by the said face area | region recognition part, The Claim 1, The Claim 3 or Claim 4 characterized by the above-mentioned. Image processing apparatus.
前記設定部は、前記輝度分布情報検出部により検出された前記輝度分布情報に基づいて、前記テーマ情報を設定することを特徴とする請求項１、請求項３及び請求項４の何れか一項に記載の画像処理装置。 The analysis unit includes a luminance distribution information detection unit that detects luminance distribution information of the subject from the slow motion moving image data ,
The said setting part sets the said theme information based on the said brightness distribution information detected by the said brightness distribution information detection part, The Claim 1, The Claim 3, and Claim 4 characterized by the above-mentioned. An image processing apparatus according to 1.
前記設定部は、前記動き情報検出部により検出された前記動き情報に基づいて、前記テーマ情報を設定することを特徴とする請求項１、請求項３及び請求項４の何れか一項に記載の画像処理装置。 The analysis unit includes a motion information detection unit that detects motion information of the subject from the slow motion video data ,
The said setting part sets the said theme information based on the said motion information detected by the said motion information detection part, The Claim 1, The Claim 3, and Claim 4 characterized by the above-mentioned. Image processing apparatus.
前記設定部は、前記スローモーション動画像データの前記記録媒体への記録時に前記設定部により設定された前記テーマ情報を、前記再生時の解析結果に基づいて再設定することを特徴とする請求項１及び請求項３〜請求項７の何れか一項に記載の画像処理装置。 The analysis unit performs the analysis when reproducing the slow motion video,
The said setting part resets the said theme information set by the said setting part at the time of recording to the said recording medium of the said slow motion moving image data based on the analysis result at the time of the said reproduction | regeneration. The image processing apparatus according to claim 1 or any one of claims 3 to 7.
前記画像処理部は、前記動き情報検出部により検出された前記動き情報に基づいて、前記スローモーション動画像の再生速度を変化させることを特徴とする請求項９記載の画像処理装置。 The analysis unit includes a motion information detection unit that detects motion information of the subject from the slow motion video data ,
The image processing apparatus according to claim 9, wherein the image processing unit changes a reproduction speed of the slow motion moving image based on the motion information detected by the motion information detection unit.
前記受信部は、前記選択部により選択された前記音を受信することを特徴とする請求項１２または請求項１３記載の画像処理装置。 A receiver that receives the sound recorded on the server and transmitted from the server;
The image processing apparatus according to claim 12, wherein the reception unit receives the sound selected by the selection unit.
前記設定部は、前記解析部により認識された前記顔領域に基づいて、前記テーマ情報を設定することを特徴とする請求項２記載の画像処理装置。 An analysis unit that analyzes the slow motion moving image data and recognizes a face area of a subject in a frame image constituting the slow motion video;
The image processing apparatus according to claim 2, wherein the setting unit sets the theme information based on the face area recognized by the analysis unit.
前記設定部は、前記解析部により検出された前記輝度分布情報に基づいて、前記テーマ情報を設定することを特徴とする請求項２記載の画像処理装置。 An analysis unit that analyzes the slow motion moving image data and detects luminance distribution information of a subject in the slow motion video;
The image processing apparatus according to claim 2, wherein the setting unit sets the theme information based on the luminance distribution information detected by the analysis unit.
前記設定部は、前記解析部により検出された前記動き情報に基づいて、前記テーマ情報を設定することを特徴とする請求項２記載の画像処理装置。 An analysis unit that analyzes the slow motion moving image data and detects movement information of a subject in the slow motion video;
The image processing apparatus according to claim 2, wherein the setting unit sets the theme information based on the motion information detected by the analysis unit.
前記設定部は、前記スローモーションの動画の前記記録媒体への記録時に前記設定部により設定された前記テーマ情報を、前記再生時の解析結果に基づいて再設定することを特徴とする請求項１８〜請求項２０の何れか一項に記載の画像処理装置。 The analysis unit performs the analysis during playback of the slow motion video,
The setting unit, the theme information set by the setting unit at the time of recording on the recording medium of the slow motion video, billed you characterized in that re-set based on the analysis result at the time the reproduction Item 20. The image processing device according to any one of Items 18 to 20.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011033157A JP5764964B2 (en) | 2011-02-18 | 2011-02-18 | Image processing apparatus and camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011033157A JP5764964B2 (en) | 2011-02-18 | 2011-02-18 | Image processing apparatus and camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012175243A JP2012175243A (en) | 2012-09-10 |
| JP5764964B2 true JP5764964B2 (en) | 2015-08-19 |
Family
ID=46977751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011033157A Active JP5764964B2 (en) | 2011-02-18 | 2011-02-18 | Image processing apparatus and camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5764964B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6543147B2 (en) * | 2015-09-14 | 2019-07-10 | オリンパス株式会社 | Image processing apparatus, photographing guide apparatus, imaging apparatus, image processing method and image processing program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4261317B2 (en) * | 2002-11-25 | 2009-04-30 | パナソニック株式会社 | Short film generating and reproducing apparatus and method thereof |
| JP2006165767A (en) * | 2004-12-03 | 2006-06-22 | Nikon Corp | Digital camera |
| JP2007172675A (en) * | 2005-12-19 | 2007-07-05 | Konica Minolta Photo Imaging Inc | Reproduction device, program, and reproduction system |
| JP4743084B2 (en) * | 2006-11-07 | 2011-08-10 | カシオ計算機株式会社 | Recording apparatus and recording program |
| JP2008153795A (en) * | 2006-12-15 | 2008-07-03 | Casio Comput Co Ltd | Moving picture photographing device, moving picture reproduction control method, and moving picture reproduction control program |
| JP5058780B2 (en) * | 2007-12-25 | 2012-10-24 | キヤノン株式会社 | Image processing device |
-
2011
- 2011-02-18 JP JP2011033157A patent/JP5764964B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012175243A (en) | 2012-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8971689B2 (en) | Imaging device and image-audio playback device | |
| US8515237B2 (en) | Imaging device and image processing apparatus | |
| JP5528008B2 (en) | Playback apparatus and playback method | |
| EP1347455A2 (en) | Contents recording/playback apparatus and contents edit method | |
| JP3870123B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2007329521A (en) | Image reproducing system, digital camera and image reproducing apparatus | |
| JP5682512B2 (en) | Imaging apparatus and image / audio reproduction apparatus | |
| JP5764964B2 (en) | Image processing apparatus and camera | |
| JP4348614B2 (en) | Movie reproducing apparatus, imaging apparatus and program thereof | |
| JP6229356B2 (en) | Imaging apparatus, imaging method, and program | |
| JP5902928B2 (en) | Playback device, control method thereof, and program | |
| JP5283433B2 (en) | Digital still camera, image processing method and program | |
| JP2013110562A (en) | Imaging apparatus | |
| US20100225786A1 (en) | Method for creation of an animated series of photographs, and device to implement the method | |
| JP6390097B2 (en) | Image reproducing apparatus and imaging apparatus | |
| JP2014120926A (en) | Imaging apparatus | |
| JP6952584B2 (en) | Imaging device, imaging method and imaging program | |
| JP6635093B2 (en) | Image recording apparatus, image recording method, and program | |
| JP5500188B2 (en) | Imaging device | |
| JP5593652B2 (en) | Camera and movie playback program | |
| JP2012137560A (en) | Karaoke device and control method and control program for karaoke device | |
| JP6562138B2 (en) | Image playback device | |
| JP3043330B1 (en) | Photographic image processing device | |
| JP2007329520A (en) | Image reproducing system, digital camera and image reproducing apparatus | |
| JP2007267308A (en) | Picture reproducer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5764964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |