JP6432141B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP6432141B2 JP6432141B2 JP2014056652A JP2014056652A JP6432141B2 JP 6432141 B2 JP6432141 B2 JP 6432141B2 JP 2014056652 A JP2014056652 A JP 2014056652A JP 2014056652 A JP2014056652 A JP 2014056652A JP 6432141 B2 JP6432141 B2 JP 6432141B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- still
- effect
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
本発明は、複数の静止画から動画を生成する画像処理装置、及び画像処理方法に関する。 The present invention relates to an image processing apparatus for generating a video from a plurality of still pictures, and relates to an image processing how.
従来より、複数の静止画から1の動画を生成する技術が知られている。複数の静止画から動画を生成するときの自由度をより増すために、特許文献1には、横置きの静止画と縦置きの静止画とを混在可能とする技術が開示されている。
Conventionally, a technique for generating one moving image from a plurality of still images is known. In order to further increase the degree of freedom when generating a moving image from a plurality of still images,
しかしながら、縦置きの静止画と横置きの静止画とを混在させて動画を生成するのみでは、ユーザの意図する動画を生成する上で、自由度が十分に高くはなく、また、効果的な動画を生成することが容易ではない。
即ち、従来の技術においては、自由度が高く、効果的な動画を生成することが困難であった。
However, simply creating a moving image by mixing a vertical still image and a horizontal still image does not provide a sufficiently high degree of freedom in creating a moving image intended by the user, and is effective. It is not easy to generate a movie.
That is, in the prior art, it is difficult to generate an effective moving image with a high degree of freedom.
本発明は、より自由度が高く且つ効果的な動画を生成することを目的とする。 An object of the present invention is to generate an effective moving image with a higher degree of freedom.
上記目的を達成するため、本発明の一態様の画像処理装置は、
1の静止画から複数の異なる領域を切り抜く切抜手段と、
前記切抜手段により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成手段と、
を備え、
前記切抜手段は、前記動画生成手段が生成する動画が、その再生時間に応じて時系列に変化する変化度合が異なる動画となるように、切り抜く領域のサイズを時系列で変化させる変化度合を異ならせて、複数の異なるサイズの領域を切り抜くことを特徴とする。
In order to achieve the above object, an image processing apparatus according to an aspect of the present invention includes:
Clipping means for clipping a plurality of different areas from one still image;
A moving image generating means for generating a single moving image by temporally combining the images of the plurality of regions cut out by the cutting means;
With
The clipping means has a different degree of change that changes the size of the clipped area in time series so that the moving picture generated by the moving picture generation means has a different degree of change that changes in time series according to the playback time. And cutting out a plurality of regions of different sizes .
本発明によれば、より自由度が高く且つ効果的な動画を生成することができる。 According to the present invention, it is possible to generate an effective moving image with a higher degree of freedom.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[構成]
図1は、本発明の一実施形態に係る画像処理装置1のハードウェアの構成を示すブロック図である。
画像処理装置1は、例えばデジタルカメラとして構成される。
[Constitution]
FIG. 1 is a block diagram showing a hardware configuration of an
The
画像処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
The
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。例えば、CPU11は、後述する動画生成処理のためのプログラムに従って、動画生成処理を実行する。
The
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
The
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像」と呼ぶ。撮像画像は、CPU11等に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the
Hereinafter, the output signal of the
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The
The
The
The
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
A
図2は、画像処理装置1の機能的構成のうち、複数の静止画から1の動画を生成する動画生成処理を実行するための機能的構成を示す機能ブロック図である。
動画生成処理とは、生成される動画の条件に応じて、画像内効果及び画像間効果の付与を制御しつつ、複数の静止画から1つの動画を生成するための一連の処理である。なお、画像内効果とは、動画とされる静止画の1つを表示する際に行われる演出効果である。また、画像間効果とは、動画とされる複数の静止画を切り替えて表示する際に行われる演出効果である。
動画生成処理が実行される場合、CPU11において、動画属性設定部111と、動画生成条件判定部112と、動画生成部113と、アスペクト比判定部114と、被写体検出部115と、が機能する。
また、動画生成処理が実行される場合、記憶部19においては、画像内効果複雑度テーブル211と、画像間効果複雑度テーブル212と、効果付与条件テーブル213と、が設定される。
FIG. 2 is a functional block diagram illustrating a functional configuration for executing a moving image generation process for generating one moving image from a plurality of still images, among the functional configurations of the
The moving image generation process is a series of processes for generating one moving image from a plurality of still images while controlling the application of the intra-image effect and the inter-image effect according to the conditions of the generated moving image. The in-image effect is an effect produced when displaying one of the still images that is a moving image. The inter-image effect is an effect produced when a plurality of still images that are moving images are switched and displayed.
When the moving image generation processing is executed, the moving image
In addition, when the moving image generation process is executed, in the
図3は、画像内効果複雑度テーブルの一例を示す模式図である。
画像内効果複雑度テーブルには、画像内効果の種類と、その画像内効果の複雑度とが対応付けて記憶されている。画像内効果の複雑度とは、1枚の静止画内の画像処理に使用する領域のサイズや位置の時系列に変化する変化度合いであって、複雑度が高くなるほど変化度合いが高くなる。
図3に示すように、画像内効果複雑度テーブルにおいては、画像内効果X1は複雑度が1、画像内効果X2は複雑度が2、画像内効果X3は複雑度が3・・・、画像内効果Xk(kは自然数)は複雑度が1・・・、と対応付けられている。各画像内効果の複雑度については、その効果を表現するために要する時間やフレーム数等を基に、予め設定しておくことができる。
FIG. 3 is a schematic diagram illustrating an example of an in-image effect complexity table.
In the intra-image effect complexity table, the type of intra-image effect and the complexity of the intra-image effect are stored in association with each other. The complexity of the in-image effect is the degree of change in time series of the size and position of the area used for image processing in one still image, and the degree of change increases as the complexity increases.
As shown in FIG. 3, in the in-image effect complexity table, the in-image effect X1 has a complexity of 1, the in-image effect X2 has a complexity of 2, the in-image effect X3 has a complexity of 3,. The internal effect Xk (k is a natural number) is associated with a complexity of 1. The complexity of each in-image effect can be set in advance based on the time required to express the effect, the number of frames, and the like.
図4は、画像間効果複雑度テーブルの一例を示す模式図である。
画像間効果複雑度テーブルには、画像間効果の種類と、その画像間効果の複雑度とが対応付けて記憶されている。画像間効果の複雑度とは、画像間効果の前後の2枚の静止画内の画像処理に使用する領域のサイズや位置の時系列に変化する変化度合いであって、複雑度が高くなるほど変化度合いが高くなる。
図4に示すように、画像間効果複雑度テーブルにおいては、画像間効果Y1は複雑度が1、画像間効果Y2は複雑度が2、画像間効果Y3は複雑度が3・・・、画像間効果Yj(jは自然数)は複雑度が1・・・、と対応付けられている。各画像間効果の複雑度については、画像内効果と同様に、その効果を表現するために要する時間やフレーム数等を基に、予め設定しておくことができる。
FIG. 4 is a schematic diagram illustrating an example of an inter-image effect complexity table.
In the inter-image effect complexity table, the type of inter-image effect and the complexity of the inter-image effect are stored in association with each other. The complexity of the inter-image effect is the degree of change in time series of the size and position of the area used for image processing in the two still images before and after the inter-image effect, and changes as the complexity increases The degree becomes higher.
4, in the inter-image effect complexity table, the inter-image effect Y1 has a complexity of 1, the inter-image effect Y2 has a complexity of 2, the inter-image effect Y3 has a complexity of 3... The inter-effect Yj (j is a natural number) is associated with a complexity of 1. Similar to the intra-image effect, the complexity of each inter-image effect can be set in advance based on the time required to express the effect, the number of frames, and the like.
図5は、効果付与条件テーブルの一例を示す模式図である。
効果付与条件テーブルにおいては、生成される動画の再生時間と、設定可能な画像内効果及び画像間効果の複雑度とが対応付けて記憶されている。画像内効果、画像間効果ともに再生時間が長いほどより高い視覚効果が得られるように、高い複雑度を許容するようにしている。
図5に示すように、例えば、動画の再生時間が15秒の場合には、複雑度が3以下の画像内効果及び複雑度が3以下の画像間効果が許容され、動画の再生時間が12秒の場合には、複雑度が2以下の画像内効果及び複雑度が3以下の画像間効果が許容される。また、例えば、動画の再生時間が9秒の場合には、複雑度が1の画像内効果及び複雑度が2以下の画像間効果が許容され、動画の再生時間が6秒以下の場合には、画像内効果が許容されず、複雑度が1の画像間効果が許容される。なお、動画の再生時間が3秒以下の場合には、画像内効果及び画像間効果のいずれも許容されない。
なお、図5は静止画を5枚とした場合の再生時間となっているので、静止画1枚ごとの再生時間は、各々1/5となる。
FIG. 5 is a schematic diagram illustrating an example of an effect applying condition table.
In the effect applying condition table, the reproduction time of the generated moving image is stored in association with the settable intra-image effect and inter-image effect complexity. Both the intra-image effect and the inter-image effect are allowed to have a high degree of complexity so that a higher visual effect can be obtained as the reproduction time is longer.
As shown in FIG. 5, for example, when the playback time of a moving image is 15 seconds, an intra-image effect with a complexity of 3 or less and an inter-image effect with a complexity of 3 or less are allowed, and the playback time of a movie is 12 In the case of seconds, intra-image effects with a complexity of 2 or less and inter-image effects with a complexity of 3 or less are allowed. Also, for example, when the playback time of a moving image is 9 seconds, an in-image effect with a complexity of 1 and an inter-image effect with a complexity of 2 or less are allowed, and when the playback time of a moving image is 6 seconds or less Intra-image effects are not allowed, and inter-image effects with a complexity of 1 are allowed. Note that when the moving image playback time is 3 seconds or less, neither the intra-image effect nor the inter-image effect is allowed.
Note that FIG. 5 shows the playback time when there are five still images, so the playback time for each still image is 1/5 each.
即ち、動画の再生時間における第1の閾値(ここでは9秒)未満に設定された場合、生成される動画に画像内効果が付与されない。同様に、動画の再生時間における第2の閾値(ここでは6秒)未満に設定された場合、生成される動画に画像間効果が付与されない。
これは、動画の再生時間が長いほど、複雑な効果を設定できる一方、動画の再生時間が一定の時間よりも短い場合には、フレームの切り替えが表示時間に比して過度に頻繁になることに鑑み、設定可能な画像内効果及び画像間効果に条件を与えるものである
複数の静止画から動画が生成される場合、効果付与条件テーブルに設定された条件に基づいて、画像内効果及び画像間効果の設定の可否が判定される。
That is, when the moving image playback time is set to be less than the first threshold (here, 9 seconds), the in-image effect is not added to the generated moving image. Similarly, when the moving image playback time is set to be less than the second threshold (here, 6 seconds), the inter-image effect is not added to the generated moving image.
This is because the longer the video playback time, the more complex effects can be set, but if the video playback time is shorter than a certain time, the frame switching will be overly frequent compared to the display time. In view of the above, in the case where a moving image is generated from a plurality of still images that gives conditions to the settable intra-image effect and inter-image effect, the intra-image effect and the image based on the conditions set in the effect applying condition table It is determined whether or not an inter-effect can be set.
図2に戻り、動画属性設定部111は、入力部17等を介したユーザによる入力に応じて、生成する動画の属性を構成する動画の再生時間及び動画のアスペクト比を設定する。
即ち、動画属性設定部111は、生成する動画の再生時間として任意の再生時間を設定する。例えば、動画属性設定部111は、動画の再生時間として、予め定められた複数の再生時間の中からいずれか1つを設定する。一例として、動画属性設定部111は、動画の再生時間として、15秒、12秒、9秒、6秒、3秒のうち、ユーザによって選択されたいずれか1つを設定する。なお、動画属性設定部111が、動画の再生時間を1秒単位で変更できるようにしてもよい。
Returning to FIG. 2, the moving image
That is, the moving image
また、動画属性設定部111は、生成する動画のアスペクト比として任意のアスペクト比を設定する。例えば、動画属性設定部111は、動画のアスペクト比として、予め定められた複数のアスペクト比の中からいずれか1つを設定する。一例として、動画属性設定部111は、動画のアスペクト比として、16:9、3:2、4:3のうち、ユーザによって選択されたいずれか1つを設定する。
In addition, the moving image
また、動画属性設定部111は、生成する動画の属性を構成する動画のフレームレートを設定する。例えば、動画属性設定部111は、動画のフレームレートとして、予め定められた複数のフレームレートの中からいずれか1つを設定する。一例として、動画属性設定部111は、15fps、30fps、60fpsのうち、ユーザによって選択されたいずれか1つを設定する。
In addition, the moving image
また、動画属性設定部111は、生成する動画の画像サイズを設定する。例えば、動画属性設定部111は、動画の画像サイズとして、予め定められた複数の画像サイズの中からいずれか1つを設定する。一例として、動画属性設定部111は、1920×1080pixels、1280×720pixels、640×480pixels、320×240pixelsのうち、ユーザによって選択されたいずれか1つを設定する。
The moving image
さらに、動画属性設定部111は、生成する動画の属性として、生成する動画における画像内効果及び画像間効果それぞれの有無を設定する。
本実施形態においては、動画属性設定部111において設定された動画の属性について、動画生成条件判定部112によって動画を生成する際の効果の付与条件が判定され、判定結果に応じた効果が付与された動画が、動画生成部113によって自動的に生成される。
Furthermore, the moving image
In the present embodiment, with respect to the moving image attributes set in the moving image
動画生成条件判定部112は、動画属性設定部111によって設定された再生時間及びアスペクト比等の動画の属性に応じて、効果付与条件テーブルに設定された画像間効果及び画像内効果の付与条件を判定し、判定結果を動画生成部113に出力する。
即ち、動画生成条件判定部112は、動画属性設定部111によって設定された動画の再生時間が上述の第1の閾値以上であるか否か、及び、第2の閾値以上であるか否かを判定する。
そして、これら判定結果に基づいて、設定可能な画像内効果及び画像間効果を選択し、生成される動画に設定する画像内効果及び画像間効果を決定する。
The moving image generation
That is, the moving image generation
Then, based on these determination results, a setable intra-image effect and inter-image effect are selected, and the intra-image effect and inter-image effect set for the generated moving image are determined.
動画生成部113は、動画生成条件判定部112によって決定された画像内効果及び画像間効果を適用して、所定のフレームレートで、複数の静止画から動画を生成する。このとき、5枚の静止画から30fpsで15秒の動画を生成する場合、動画生成部113は、5枚の静止画全体で450フレームを作成する。即ち、動画生成部113は、1枚の静止画から90フレームを作成する。
The moving
また、動画生成部113は、アスペクト比判定部114によって、動画とされる静止画のアスペクト比と動画のアスペクト比とが一致しないと判定された場合、生成元の静止画のアスペクト比を動画のアスペクト比に合わせる調整方法を切り替える。
In addition, when the aspect
図6は、アスペクト比の調整方法の概念を示す図である。
縦置きの画像を横置きの画像のアスペクト比に合わせる場合、図6(A)に示すように、生成元の画像の枠201に対して余白202を補間することにより、目的のアスペクト比とすることや、図6(B)に示すように、生成元の画像の枠201の一部を目的のアスペクト比の枠203で切り抜くことが可能である。また、図6(B)に示すように、画像の一部を目的のアスペクト比の枠203で切り抜く場合、切り抜く部分を徐々に左から右に変化(パン)させたり、被写体検出部115によって検出された被写体を中心にズームあるいはパンズームさせたりすることができる。
FIG. 6 is a diagram illustrating the concept of the aspect ratio adjustment method.
When the vertically placed image is matched with the aspect ratio of the horizontally placed image, as shown in FIG. 6A, the
本実施形態において、動画生成部113は、動画の生成において、画像内効果が設定されていない場合には、生成元の静止画の全体が含まれるように、余白を補間して動画のアペクト比に合致するようにアスペクト比を調整し、余白を含む生成元の静止画全体を静止画1枚の時間分に固定させる。一方、動画生成部113は、動画の生成において、画像内効果が設定されている場合には、生成元の静止画の一部を切り抜いて(即ち、一部をカットして)動画のアペクト比に合致するようにアスペクト比を調整する。このとき、生成元の静止画における切り抜く部分を徐々に左から右に変化(パン)させたり、被写体検出部115によって検出された被写体を中心にズームあるいはパンズームさせたりすることができる。
In the present embodiment, the moving
さらに、動画生成部113は、上述のようにアスペクト比が調整された画像を設定されている動画の画像サイズに合致するように調整する。
Furthermore, the moving
アスペクト比判定部114は、生成元の静止画のアスペクト比と、動画属性設定部111によって設定された動画のアスペクト比とが一致するか否かを判定する。生成元の静止画のアスペクト比は、Exif情報に基づいて得られる。なお、縦構図の静止画の場合(縦置きのフラグが立っている場合)には、アスペクト比判定部114は、横置きに回転させた場合のアスペクト比を算出する。
The aspect
一例として、生成元の静止画のアスペクト比が2:3(横置きの場合では3:2)であり、動画属性設定部111によって設定された動画のアスペクト比が4:3の場合には、アスペクト比判定部114は、各アスペクト比が一致しないと判定する。一方、生成元の静止画のアスペクト比が4:3であり、動画属性設定部111によって設定された動画のアスペクト比が4:3の場合には、アスペクト比判定部114は、各アスペクト比が一致すると判定する。
As an example, when the aspect ratio of the still image as the generation source is 2: 3 (3: 2 in the case of landscape orientation) and the aspect ratio of the moving image set by the moving image
被写体検出部115は、静止画における特定の被写体の領域(例えば顔の領域)を検出し、検出結果を動画生成部113に出力する。特定の被写体の領域を検出する場合、被写体のモデル(顔モデル等)を用いて、類似度を判定して検出すること等が可能である。
The
[画像内効果の具体例]
次に、画像内効果の具体例について説明する。
画像内効果としては、例えば、以下のように、パン、ズームイン及びパンズームイン等を設定することができる。動画生成条件判定部112が付与する画像内効果を決定する場合、これらのうち選択可能なものを任意に選択する、あるいは、優先順位を予め設定しておき、選択可能なものの中で優先順位が最も高いものを選択するといったことが可能である。なお、画像内効果は、これらの例に限定されることはなく、他の種類であってもよい。
図7は、横構図(横置き)の場合の画像間効果の一例を示す図である。図8は、縦構図(縦置き)の場合の画像間効果の一例を示す図である。ここで、図7及び図8において、枠201は、生成元になる静止画を表す。また、図7及び図8において、枠203は、生成先になる動画のフレームを表す。
[Specific examples of image effects]
Next, a specific example of the in-image effect will be described.
As the in-image effect, for example, pan, zoom in, pan zoom in, etc. can be set as follows. When determining the in-image effect to be given by the moving image generation
FIG. 7 is a diagram illustrating an example of an inter-image effect in the case of horizontal composition (horizontal placement). FIG. 8 is a diagram illustrating an example of an inter-image effect in the case of a vertical composition (vertical placement). Here, in FIGS. 7 and 8, a
図7(A)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、パンの画像処理を行う。図7(A)に示すパンでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201における一部を枠203として切り抜くと共に、切り抜かれた枠203のサイズは変化させずに、枠201内を左から右に動くように位置を変化させながらフレーム(動画)を生成する。
As shown in FIG. 7A, the moving
また、図7(B)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、ズームインの画像処理を行う。図7(B)に示すズームインでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201全体から徐々に中心部周辺に狭まる領域を枠203として切り抜くようにそのサイズを変化させながらフレーム(動画)を生成する。
As shown in FIG. 7B, the moving
また、図7(C)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、パンズームインの画像処理を行う。図7(C)に示すパンズームインでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201全体から徐々に狭まるようにそのサイズを変化させながら、枠201内を左から右に位置を変化させて動く領域を枠203として切り抜くようにフレーム(動画)を生成する。
このように、図7(A)に示すパン、図7(B)に示すズームイン、図7(C)に示すパンズームインの順に複雑度が高くなる。
As shown in FIG. 7C, the moving
Thus, the complexity increases in the order of pan shown in FIG. 7A, zoom in shown in FIG. 7B, and pan zoom in shown in FIG. 7C.
また、図8(A)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、パンの画像処理を行う。図8(A)に示すパンでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201における一部を枠203として切り抜くと共に、切り抜かれた枠203のサイズは変化させずに、枠201内を上から下に動くように位置を変化させながらフレーム(動画)を生成する。
As shown in FIG. 8A, the moving
また、図8(B)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、ズームインの画像処理を行う。図8(B)に示すズームインでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201における中央部から徐々に中心部周辺に狭まる領域を枠203として切り抜くようにそのサイズを変化させながらフレーム(動画)を生成する。
As shown in FIG. 8B, the moving
また、図8(C)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、パンズームインの画像処理を行う。図8(C)に示すパンズームインでは、動画生成部113は、複数の静止画のうちの1の静止画の枠201において、上部の幅全体から徐々に狭まるようにそのサイズを変化させながら、枠201内を右下に位置を変化させながら動く領域を枠203として切り抜くようにフレーム(動画)を生成する。
このように、図8(A)に示すパン、図8(B)に示すズームイン、図8(C)に示すパンズームインの順に複雑度が高くなる。
As shown in FIG. 8C, the moving
Thus, the complexity increases in the order of pan shown in FIG. 8A, zoom in shown in FIG. 8B, and pan zoom in shown in FIG. 8C.
なお、動画生成部113は、複数の静止画のうち各静止画に対応するフレームに対して、同一の画像内効果をかける画像処理を行ってもよく、又は、それぞれ異なる画像内効果をかける画像処理を行ってもよい。また、動画生成部113は、例えば、静止画内の中央部分といった所定範囲内に限定して、画像内効果をかける画像処理を行ってもよい。
Note that the moving
[画像間効果の具体例]
次に、画像間効果の具体例について説明する。
画像間効果としては、例えば、以下のように、スライドイン、ズームイン及びブラインドイン等を設定することができる。動画生成条件判定部112が付与する画像間効果を決定する場合、これらのうち選択可能なものを任意に選択する、あるいは、優先順位を予め設定しておき、選択可能なものの中で優先順位が最も高いものを選択するといったことが可能である。なお、画像間効果は、これらの例に限定されることはなく、他の種類であってもよい。
[Specific examples of inter-image effects]
Next, a specific example of the inter-image effect will be described.
As an inter-image effect, for example, slide-in, zoom-in, and blind-in can be set as follows. When determining the inter-image effect provided by the moving image generation
図9は、画像間効果の一例を示す図である。ここで、枠204は、先行して表示される1の静止画に対応する。また、枠205は、次の静止画に対応する。
FIG. 9 is a diagram illustrating an example of an inter-image effect. Here, the
図9(A)に示すように、動画生成部113は、切り替えの効果(画像間効果)としてスライドインの画像処理を行う。図9(A)に示すスライドインでは、動画生成部113は、1の静止画から次の静止画に切り替わる場合に、次の静止画の枠205を先行して表示される静止画の枠204における右端から左側に挿入されるように位置とサイズを変化させながらフレーム(動画)を生成する。
As shown in FIG. 9A, the moving
また、図9(B)に示すように、動画生成部113は、切り替えの効果(画像間効果)としてズームインの画像処理を行う。図9(B)に示すズームインでは、動画生成部113は、1の静止画から次の静止画に切り替わる場合に、先行する静止画の枠204における中心部から次の静止画の枠205が徐々に拡大されるようにそのサイズを変化させながらフレーム(動画)を生成する。
As shown in FIG. 9B, the moving
また、図9(C)に示すように、動画生成部113は、切り替えの効果(画像間効果)としてブラインドインの画像処理を行う。図9(C)に示すブラインドインでは、1の静止画から次の静止画に切り替わる場合に、先行する静止画の枠204が横方向の例えば3のストライプに分割され、各ストライプが上から下へ徐々に次の静止画の枠205に切り替わるようにそのサイズを変化させながらフレーム(動画)を生成する。
このように、図9(A)に示すスライドイン、図9(B)に示すズームイン、図9(C)に示すブラインドインの順に複雑度が高くなる。
As shown in FIG. 9C, the moving
Thus, the complexity increases in the order of the slide-in shown in FIG. 9A, the zoom-in shown in FIG. 9B, and the blind-in shown in FIG. 9C.
なお、動画生成部113は、静止画が切り替わるそれぞれのタイミングで、同一の画像間効果をかける画像処理を行ってもよく、又は、それぞれ異なる画像間効果をかける画像処理を行ってもよい。
Note that the moving
[動画の具体的態様]
次に、上記機能によって生成される動画の具体的態様について説明する。
図10は、画像内効果及び画像間効果と動画のフレームとの時間の対応関係の概念を示す模式図である。なお、図10において、図10(A)は画像内効果及び画像間効果の両方を設定する場合、図10(B)は画像間効果のみを設定する場合、図10(C)は画像内効果のみを設定する場合、図10(D)は画像内効果及び画像間効果のいずれも設定しない場合を示している。また、図10におけるm,nはフレーム数を示す自然数である。図10においては、5枚の静止画から1つの動画が生成される場合を例として説明する。
図10(A)に示すように、画像内効果及び画像間効果の両方を設定する場合、動画生成部113は、1枚の静止画につき所定の表示時間Ptを割り当てる。また、動画生成部113は、先行する静止画における表示時間Ptの末尾と次の静止画における表示時間Ptの先頭に、画像間効果を設定した複数のフレームTを割り当てる。さらに、動画生成部113は、画像間効果を設定したフレームTに割り当てられた部分以外の表示時間Ptに、画像内効果を設定した各静止画に対応するフレーム(F1a,F1b,F1c,・・・,F1n)、(F2a,F2b,F2c,・・・,F2m)、・・・、(F5a,F5b,F5c,・・・,F5n)を割り当てる。
[Specific mode of video]
Next, a specific mode of the moving image generated by the above function will be described.
FIG. 10 is a schematic diagram showing the concept of time correspondence between intra-image effects and inter-image effects and moving image frames. In FIG. 10, FIG. 10A shows a case where both an intra-image effect and an inter-image effect are set, FIG. 10B shows a case where only an inter-image effect is set, and FIG. 10C shows an intra-image effect. 10D shows a case where neither the intra-image effect nor the inter-image effect is set. Further, m and n in FIG. 10 are natural numbers indicating the number of frames. In FIG. 10, a case where one moving image is generated from five still images will be described as an example.
As shown in FIG. 10A, when both the intra-image effect and the inter-image effect are set, the moving
また、図10(B)に示すように、画像間効果のみを設定する場合、動画生成部113は、1枚の静止画につき所定の表示時間Ptを割り当てる。また、動画生成部113は、先行する静止画における表示時間Ptの末尾と次の静止画における表示時間Ptの先頭に、画像間効果を設定した複数のフレームTを割り当てる。さらに、動画生成部113は、画像間効果を設定したフレームTに割り当てられた部分以外の表示時間Ptに、各静止画に対応するフレームF1、F2、・・・、F5を割り当てる。なお、画像内効果が設定されないことから、画像間効果を設定したフレームTに割り当てられた部分以外の表示時間Ptでは、各静止画に対応する同一のフレームF1〜F5が繰り返し表示される。
As shown in FIG. 10B, when only the inter-image effect is set, the moving
また、図10(C)に示すように、画像内効果のみを設定する場合、動画生成部113は、1枚の静止画につき所定の表示時間Ptを割り当てる。また、動画生成部113は、各静止画の表示時間Ptに、画像内効果を設定した各静止画に対応するフレーム(F1a,F1b,F1c,・・・,F1n)、(F2a,F2b,F2c,・・・,F2m)、・・・、(F5a,F5b,F5c,・・・,F5n)を割り当てる。
As shown in FIG. 10C, when only the in-image effect is set, the moving
また、図10(D)に示すように、画像内効果及び画像間効果のいずれも設定しない場合、動画生成部113は、1枚の静止画につき所定の表示時間Ptを割り当てる。また、動画生成部113は、各静止画の表示時間Ptに、各静止画に対応するフレームF1、F2、・・・、F5を割り当てる。なお、画像内効果が設定されないことから、各静止画の表示時間Ptでは、各静止画に対応する同一のフレームF1〜F5が繰り返し表示される。
As shown in FIG. 10D, when neither the intra-image effect nor the inter-image effect is set, the moving
図10に示すように、動画属性設定部111によって設定される再生時間が長いほど、複雑な効果をかける画像処理を行うことができる。また、本実施形態において、動画属性設定部111によって設定される再生時間が所定の閾値未満の場合には、フレームの切り替えが表示時間に比して過度に頻繁になることから、画像内効果及び画像間効果のいずれも設定しない。
As shown in FIG. 10, the longer the playback time set by the moving image
[動作]
次に、動作を説明する。
図11は、図2の機能的構成を有する図1の画像処理装置1が実行する動画生成処理の流れを示すフローチャートである。
[Operation]
Next, the operation will be described.
FIG. 11 is a flowchart showing the flow of a moving image generation process executed by the
図11に示すステップS1において、動画属性設定部111は、ユーザの選択に基づいて、生成する動画の属性を設定する。具体的には、動画属性設定部111は、生成する動画の再生時間、生成する動画のアスペクト比及び生成する動画の画像サイズを設定する。また、動画属性設定部111は、画像内効果及び画像間効果の設定の有無を受け付ける。さらに、動画属性設定部111は、生成する動画のフレームレートを設定する。動画属性設定部111は、生成元となる静止画を設定する。
In step S1 shown in FIG. 11, the moving image
なお、ステップS1において、画像内効果及び画像間効果については、設定された再生時間と、その再生時間に対応付けられている複雑度とに基づいて、動画生成条件判定部112によって予め設定の可否を判定し、許容される範囲内でユーザが任意の種類を選択できるようにしてもよい。
また、動画属性設定部111は、動画を生成する静止画として、ユーザの選択に基づいて、記憶部19に記憶された5枚を設定する。設定される静止画の枚数は、5枚未満あるいは6枚以上としてもよい。即ち、1の動画を生成するための複数の静止画は、任意の枚数であってよい。
In step S1, whether or not the in-image effect and the inter-image effect can be set in advance by the moving image generation
In addition, the moving image
ステップS2において、動画属性設定部111は、ステップS1にて設定された静止画に基づいて、リムーバブルメディア31から静止画を読み込む。
ステップS3において、動画属性設定部111は、ステップS2にて読み込んだ静止画のExif情報等に基づいて、その静止画のアスペクト比及び画像サイズを取得する。
In step S <b> 2, the moving image
In step S3, the moving image
ステップS4において、動画生成条件判定部112は、ステップS1にて設定された動画の再生時間が第1の閾値以上であるか否かを判断する。再生時間が第1の閾値以上の場合(YES)には、動画生成条件判定部112は、処理をステップS5に進める。再生時間が第1の閾値未満の場合(NO)には、動画生成条件判定部112は、処理をステップS12に進める。
In step S4, the moving image generation
ステップS5において、動画生成条件判定部112は、ステップS1にて画像内効果をかけるよう設定されているか否かを判定する。画像内効果をかけるよう設定されている場合(YES)には、動画生成条件判定部112は、処理をステップS6に進める。画像内効果をかけるよう設定されていない場合(NO)には、動画生成条件判定部112は、処理をステップS8に進める。
In step S5, the moving image generation
ステップS6において、動画生成条件判定部112は、ステップS1にて設定された動画の再生時間に応じて画像内効果を決定すると共に、動画生成部113は、その画像内効果をかけ、設定された画像サイズに調整する画像処理を行う。
In step S6, the moving image generation
ステップS7において、動画生成部113は、ステップS1にて設定されたフレームレートに基づいて、1枚の静止画から生成するフレームの数が規定のフレーム数に到達したか否かを判定する。規定フレーム数に到達していないと判定された場合(NO)には、動画生成部113は、処理をステップS6に戻す。規定のフレーム数に到達したと判定された場合(YES)には、動画生成部113は、処理をステップS10に進める。
In step S7, the moving
ステップS8は、ステップS5にて「NO」と判断された場合に到達する。ステップS8において、動画生成部113は、ステップS1にて設定されたアスペクト比及び画像サイズに調整する画像処理を行う。
Step S8 is reached when it is determined “NO” in step S5. In step S8, the moving
ステップS9において、動画生成部113は、ステップS1にて設定されたフレームレートに基づいて、1枚の静止画から生成するフレームの数が規定のフレーム数に到達したか否かを判定する。規定フレーム数に到達していないと判定された場合(NO)には、動画生成部113は、ステップS9の判定を再度行う。規定のフレーム数に到達したと判定された場合(YES)には、動画生成部113は、処理をステップS10に進める。
In step S9, the moving
ステップS10において、動画生成条件判定部112は、ステップS1にて画像間効果をかけるよう設定されているか否かを判定する。画像間効果をかけると判定された場合(YES)には、動画生成条件判定部112は、処理をステップS11に進める。画像内効果をかけないと判定された場合(NO)には、動画生成条件判定部112は、処理をステップS17に進める。
In step S10, the moving image generation
ステップS11において、動画生成条件判定部112は、ステップS1にて設定された動画の再生時間に応じて画像間効果を決定すると共に、動画生成部113は、その画像間効果をかける画像処理を行う。ステップS11の後、処理は、ステップS17に進む。
In step S11, the moving image generation
ステップS12において、動画生成部113は、ステップS1にて設定されたアスペクト比及び画像サイズに調整する画像処理を行う。
In step S12, the moving
ステップS13において、動画生成部113は、ステップS8と同様に、ステップS1にて設定されたフレームレートに基づいて、1枚の静止画から生成するフレームの数が規定のフレーム数に到達したか否かを判定する。規定フレーム数に到達していないと判定された場合(NO)には、動画生成部113は、ステップS13の判定を再度行う。規定のフレーム数に到達したと判定された場合(YES)には、動画生成部113は、処理をステップS14に進める。
In step S13, the moving
ステップS14において、動画生成部113は、ステップS1にて設定された動画の再生時間が第2の閾値以上であるか否かの判定を行う。再生時間が第2の閾値以上と判定された場合(YES)には、動画生成部113は、処理をステップS15に進める。再生時間が第2の閾値未満と判定された場合(NO)には、動画生成部113は、処理をステップS17に進める。
In step S14, the moving
ステップS15において、動画生成条件判定部112は、ステップS1にて画像間効果をかけるよう設定されているか否かを判定する。画像間効果をかけると判定された場合(YES)には、動画生成条件判定部112は、処理をステップS16に進める。画像内効果をかけないと判定された場合(NO)には、動画生成条件判定部112は、処理をステップS17に進める。
In step S15, the moving image generation
ステップS16において、動画生成条件判定部112は、ステップS1にて設定された動画の再生時間に応じて画像間効果を決定すると共に、動画生成部113は、その画像間効果をかける画像処理を行う。ステップS16の後、処理は、ステップS17に進む。
In step S16, the moving image generation
ステップS17において、動画生成部113は、ステップS1にて設定した枚数分の静止画を動画(フレーム)にしたか否かを判定する。設定した枚数分の処理が完了していないと判定された場合(NO)には、動画生成部113は、処理をステップS2に戻す。設定枚数分の処理が完了したと判定された場合(YES)には、動画生成部113は、処理を終了する。
In step S17, the moving
以上のように構成される画像処理装置1は、動画属性設定部111と、動画生成部113と、を備える。
動画属性設定部111は、生成する動画の再生時間又は生成する動画のアスペクト比を設定する。
動画生成部113は、動画属性設定部111によって設定された生成する動画の再生時間と生成元の静止画の枚数との関係、又は動画属性設定部111によって設定された生成する動画のアスペクト比と生成元の静止画のアスペクト比との関係に応じて、複数の静止画から動画を生成する処理の過程で、画像処理による効果をかける。
これにより、画像処理装置1は、より自由度が高く且つ効果的な動画を生成することができる。
The
The moving image
The moving
Thereby, the
また、画像処理装置1の動画生成部113は、生成元の静止画内の画像処理に使用する領域のサイズ又は位置を時系列で変化させることより効果を変える。
これにより、生成元の静止画における領域のサイズや位置を時系列で変化させる画像処理によって、効果的な動画を生成することができる。
In addition, the moving
Thus, an effective moving image can be generated by image processing that changes the size and position of the region in the generation source still image in time series.
また、画像処理装置1の動画生成部113は、生成元の静止画に対して効果をかける画像処理を行う。
これにより、画像処理装置1は、動画像とされる生成元の静止画について演出効果を設定することができる。
In addition, the moving
As a result, the
なお、画像処理装置1の動画生成部113は、生成元の静止画の画像の所定の範囲内で効果をかける画像処理を行うこともできる。
この場合、画像処理装置1は、生成元の静止画における特定の部分(被写体が存在する部分や静止画の中央部分等)において演出効果を設定することができる。
Note that the moving
In this case, the
また、画像処理装置1の動画生成部113は、生成元の1の静止画から次の静止画に置き換える過程において、置き換える過程の前後の2の静止画を使用して効果をかける画像処理を行う。
これにより、画像処理装置1は、生成元の静止画が切り替わる場合の切り替わりの効果(画像間効果)をかけることができる。
In addition, the moving
Thereby, the
また、画像処理装置1の動画生成部113は、再生時間が長いほど、複雑な効果をかける画像処理を行う。
これにより、再生時間に応じた適切な演出効果を実現することができる。
Further, the moving
Thereby, it is possible to realize an appropriate effect according to the reproduction time.
また、画像処理装置1の動画生成部113は、再生時間と枚数とから得られる生成元の静止画1枚あたりの再生時間が長いほど、複雑な効果をかける画像処理を行う。
これにより、静止画1枚の再生時間に応じて、適切に、複雑な演出効果をかけることができる。
In addition, the moving
Thereby, according to the reproduction time of one still picture, a complicated production effect can be applied appropriately.
また、画像処理装置1の動画生成部113は、再生時間が所定の閾値未満の場合には、効果をかける画像処理を行わない。
これにより、画像処理装置1は、再生時間に応じて演出効果を設定するか否かを適切に切り替えることができる。
In addition, the moving
Thereby, the
また、画像処理装置1の動画生成部113は、再生時間と枚数とから得られる生成元の静止画1枚あたりの再生時間が所定の閾値未満の場合には、効果をかける画像処理を行わない。
これにより、静止画1枚の再生時間に応じて、演出効果をかけるか否かを適切に切り替えることができる。
In addition, the moving
Thereby, according to the reproduction time of one still image, it can be switched appropriately whether or not the effect is applied.
また、画像処理装置1は、動画生成条件判定部112と、アスペクト比判定部114を備える。
動画生成条件判定部112は、動画を生成する処理の過程で、画像処理による効果をかけるか否かを判定する。
アスペクト比判定部114は、生成元の静止画と、生成する動画のアスペクト比とが一致するか否かを判定する。
この場合、動画生成部113は、アスペクト比判定部114によって一致しないと判定された場合に、生成元の静止画のアスペクト比を生成する動画のアスペクトに合わせる方法を、動画生成条件判定部112の判定結果に応じて変更する。
これにより、画像処理装置1は、生成元の静止画のアスペクト比と、生成する動画のアスペクト比とが異なる場合でも、効果をかけるか否かに応じて適切なアスペクト比の調整を行うことができる。
Further, the
The moving image generation
The aspect
In this case, when the moving
As a result, the
また、画像処理装置1の動画生成部113は、動画生成条件判定部112によって効果をかけないと判定された場合には、生成元の静止画の全体が含まれるように、余白を補間してアスペクト比を合わせる。
これにより、画像処理装置1は、静止画全体を表示させる形態でアスペクト比の調整を行うことができる。
Also, the moving
Thereby, the
また、画像処理装置1の動画生成部113は、動画生成条件判定部112によって効果をかけると判定された場合には、生成元の静止画内のアスペクト比に合わせた所定の範囲内において効果をかける。
これにより、画像処理装置1は、静止画内の一部を切り取る形態でアスペクト比の調整を行うことができる。
In addition, when the moving
Thereby, the
また、画像処理装置1は、被写体検出部115を備える。
被写体検出部115は、静止画における被写体を検出する。
この場合、動画生成部113は、被写体検出部115によって検出された被写体が画像内に保たれるように効果をかける。
これにより、画像処理装置1は、被写体が含まれない範囲に効果をかけた不自然な動画が生成されるのを回避することができる。
Further, the
The
In this case, the moving
As a result, the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、本発明が適用される画像処理装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、複数の静止画から1の動画を生成する機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、パーソナルコンピュータ、スマートフォン、タブレット型コンピュータ、携帯ゲーム機等に適用可能である。
In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
In the above-described embodiment, the
For example, the present invention can be applied to general electronic devices having a function of generating one moving image from a plurality of still images. Specifically, for example, the present invention is applicable to personal computers, smart phones, tablet computers, portable game machines, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
The recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the order, but is not necessarily performed in chronological order, either in parallel or individually. The process to be executed is also included.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalents thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
複数の静止画から1の動画を生成する画像処理装置であって、
生成する動画の再生時間又は生成する前記動画のアスペクト比を設定する動画属性設定手段と、
前記動画属性設定手段によって設定された生成する前記動画の前記再生時間と生成元の前記静止画の枚数との関係、又は前記動画属性設定手段によって設定された生成する前記動画のアスペクト比と生成元の前記静止画のアスペクト比との関係に応じて、複数の前記静止画から前記動画を生成する処理の過程で、画像処理による効果をかける動画生成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記動画生成手段は、生成元の前記静止画内の画像処理に使用する領域のサイズ又は位置を時系列で変化させることより効果を変えることを特徴とする付記1に記載の画像処理装置。
[付記3]
前記動画生成手段は、生成元の1の前記静止画を使用して効果をかける画像処理を行うことを特徴とする付記1又は2に記載の画像処理装置。
[付記4]
前記動画生成手段は、生成元の1の前記静止画から次の前記静止画に置き換える過程において、前記置き換える過程の前後の2の前記静止画を使用して効果をかける画像処理を行うことを特徴とする付記1から3のいずれか1つに記載の画像処理装置。
[付記5]
前記動画生成手段は、前記再生時間が長いほど、複雑な効果をかける画像処理を行うことを特徴とする付記1から4のいずれか1つに記載の画像処理装置。
[付記6]
前記動画生成手段は、前記再生時間と前記枚数とから得られる生成元の前記静止画1枚あたりの再生時間が長いほど、複雑な効果をかける画像処理を行うことを特徴とする付記5に記載の画像処理装置。
[付記7]
前記動画生成手段は、前記再生時間が所定の閾値未満の場合には、効果をかける画像処理を行わないことを特徴とする付記1から6のいずれか1つに記載の画像処理装置。
[付記8]
前記動画生成手段は、前記再生時間と前記枚数とから得られる生成元の前記静止画1枚あたりの再生時間が所定の閾値未満の場合には、効果をかける画像処理を行わないことを特徴とする付記7に記載の画像処理装置。
[付記9]
前記動画を生成する処理の過程で、画像処理による効果をかけるか否かを判定する動画生成条件判定手段と、
生成元の前記静止画と生成する前記動画のアスペクト比とが一致するか否かを判定するアスペクト比判定手段と、をさらに備え、
前記動画生成手段は、前記アスペクト比判定手段によって前記アスペクト比が一致しないと判定された場合に、生成元の前記静止画のアスペクト比を生成する前記動画のアスペクトに合わせる方法を、前記動画生成条件判定手段の判定結果に応じて変更することを特徴とする付記1から8のいずれか1つに記載の画像処理装置。
[付記10]
前記動画生成手段は、前記動画生成条件判定手段によって効果をかけないと判定された場合には、生成元の前記静止画の全体が含まれるように、余白を補間してアスペクト比を合わせることを特徴とする付記9に記載の画像処理装置。
[付記11]
前記動画生成手段は、前記動画生成条件判定手段によって効果をかけると判定された場合には、生成元の前記静止画内の前記アスペクト比に合わせた所定の範囲内において効果をかけることを特徴とする付記9に記載の画像処理装置。
[付記12]
前記静止画における被写体を検出する被写体検出手段を備え、
前記動画生成手段は、前記被写体検出手段によって検出された被写体が画像内に保たれるように効果をかけることを特徴とする付記1から11のいずれか1つに記載の画像処理装置。
[付記13]
複数の静止画から1の動画を生成する画像処理方法であって、
生成する動画の再生時間又は生成する前記動画のアスペクト比を設定する動画属性設定ステップと、
前記動画属性設定ステップにおいて設定された生成する前記動画の前記再生時間と生成元の前記静止画の枚数との関係、又は前記動画属性設定ステップにおいて設定された生成する前記動画のアスペクト比と生成元の前記静止画のアスペクト比との関係に応じて、複数の前記静止画から前記動画を生成する処理の過程で、画像処理による効果をかける動画生成ステップと、
を含むことを特徴とする画像処理方法。
[付記14]
複数の静止画から1の動画を生成する画像処理コンピュータにおいて実行されるプログラムであって、
生成する動画の再生時間又は生成する前記動画のアスペクト比を設定する動画属性設定機能と、
前記動画属性設定機能によって設定された生成する前記動画の前記再生時間と生成元の前記静止画の枚数との関係、又は前記動画属性設定機能によって設定された生成する前記動画のアスペクト比と生成元の前記静止画のアスペクト比との関係に応じて、複数の前記静止画から前記動画を生成する処理の過程で、画像処理による効果をかける動画生成機能と、
を実現させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
An image processing device that generates one moving image from a plurality of still images,
Movie attribute setting means for setting a playback time of a movie to be generated or an aspect ratio of the movie to be generated;
The relationship between the playback time of the moving image to be generated set by the moving image attribute setting means and the number of still images of the generation source, or the aspect ratio and the generation source of the moving image set by the moving image attribute setting means In accordance with the relationship with the aspect ratio of the still image, a moving image generating means for applying an effect by image processing in the process of generating the moving image from a plurality of the still images,
An image processing apparatus comprising:
[Appendix 2]
The image processing apparatus according to
[Appendix 3]
The image processing apparatus according to
[Appendix 4]
The moving image generation means performs image processing that applies an effect using the two still images before and after the replacement process in the process of replacing the still image of the generation source with the next still image. The image processing apparatus according to any one of
[Appendix 5]
The image processing apparatus according to any one of
[Appendix 6]
The appendix 5 is characterized in that the moving image generating means performs image processing that applies a complex effect as the reproduction time per still image of the generation source obtained from the reproduction time and the number of images is longer. Image processing apparatus.
[Appendix 7]
The image processing apparatus according to any one of
[Appendix 8]
The moving image generation means does not perform an image processing that applies an effect when the reproduction time per one still image of the generation source obtained from the reproduction time and the number of images is less than a predetermined threshold value. The image processing apparatus according to appendix 7.
[Appendix 9]
A moving image generation condition determining means for determining whether or not to apply an effect of image processing in the process of generating the moving image;
Aspect ratio determining means for determining whether or not the still image of the generation source and the aspect ratio of the moving image to be generated match,
The moving image generation means, when the aspect ratio determination means determines that the aspect ratios do not match, a method of generating an aspect ratio of the still image as a generation source to match the aspect of the moving image, the moving image generation condition The image processing apparatus according to any one of
[Appendix 10]
When the moving image generation means determines that the effect is not applied by the moving image generation condition determination means, the moving image generation means adjusts the aspect ratio by interpolating margins so that the entire still image of the generation source is included. The image processing apparatus according to appendix 9, which is characterized.
[Appendix 11]
The moving image generation means applies an effect within a predetermined range in accordance with the aspect ratio in the still image as a generation source when the moving image generation condition determination means determines that the effect is to be applied. The image processing apparatus according to appendix 9.
[Appendix 12]
Subject detection means for detecting a subject in the still image;
The image processing apparatus according to any one of
[Appendix 13]
An image processing method for generating one moving image from a plurality of still images,
A video attribute setting step for setting a playback time of a video to be generated or an aspect ratio of the video to be generated;
The relationship between the playback time of the moving image to be generated set in the moving image attribute setting step and the number of still images of the generation source, or the aspect ratio and the generation source of the moving image set in the moving image attribute setting step A moving image generating step for applying an effect of image processing in a process of generating the moving image from a plurality of the still images according to the relationship with the aspect ratio of the still image;
An image processing method comprising:
[Appendix 14]
A program executed in an image processing computer for generating one moving image from a plurality of still images,
A video attribute setting function for setting a playback time of a video to be generated or an aspect ratio of the video to be generated;
The relationship between the playback time of the moving image to be generated set by the moving image attribute setting function and the number of still images of the generating source, or the aspect ratio and the generating source of the moving image set by the moving image attribute setting function A moving image generating function that applies an effect of image processing in the process of generating the moving image from a plurality of still images according to the relationship with the aspect ratio of the still image;
A program characterized by realizing.
1・・・画像処理装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・出力部,19・・・記録部,20・・・通信部,21・・・ドライブ,31・・・リムーバブルメディア,111・・・動画属性設定部,112・・・動画生成条件判定部,113・・・動画生成部,114・・・アスペクト比判定部,115・・・被写体検出部,211・・・画像内効果複雑度テーブル,212・・・画像間効果複雑度テーブル,213・・・効果付与条件判定部
DESCRIPTION OF
Claims (11)
前記切抜手段により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成手段と、
を備え、
前記切抜手段は、前記動画生成手段が生成する動画が、その再生時間に応じて時系列に変化する変化度合が異なる動画となるように、切り抜く領域のサイズを時系列で変化させる変化度合を異ならせて、複数の異なるサイズの領域を切り抜くことを特徴とする画像処理装置。 Clipping means for clipping a plurality of different areas from one still image;
A moving image generating means for generating a single moving image by temporally combining the images of the plurality of regions cut out by the cutting means;
With
The clipping means has a different degree of change that changes the size of the clipped area in time series so that the moving picture generated by the moving picture generation means has a different degree of change that changes in time series according to the playback time. so, the image processing apparatus characterized by cutting out a region of a plurality of different sizes.
前記切抜手段により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成手段と、
を備え、
前記切抜手段は、1の静止画から、当該1の静止画のアスペクト比とは異なるアスペクト比である複数の異なる領域を切り抜き、
前記動画生成手段は、生成する動画の再生時間に応じて、前記切抜手段による複数の異なる領域の切り抜きを行わずに、前記1の静止画を時間的に結合して、当該1の静止画とは異なるアスペクト比である1の動画を生成する、
ことを特徴とする画像処理装置。 Clipping means for clipping a plurality of different areas from one still image;
A moving image generating means for generating a single moving image by temporally combining the images of the plurality of regions cut out by the cutting means;
With
The clipping means cuts out a plurality of different areas having an aspect ratio different from the aspect ratio of the one still image from one still image ,
The moving image generation means combines the one still image temporally without cutting out a plurality of different areas by the clipping means according to the reproduction time of the moving image to be generated. Produces a video with a different aspect ratio,
An image processing apparatus.
前記動画生成手段は、前記切抜手段により前記複数の静止画各々から切り抜かれた複数の領域を、当該静止画毎に時間的に結合して、1の動画を生成する、
ことを特徴とする請求項1又は4に記載の画像処理装置。 The cutout means cuts out a plurality of different regions from each of a plurality of still images,
The moving image generating means generates a single moving image by temporally combining a plurality of regions clipped from each of the plurality of still images by the clipping means for each still image.
The image processing apparatus according to claim 1 or 4 ,
前記切抜手段は、前記被写体検出手段によって検出された被写体が切り抜く領域各々に含まれ、かつ異なる領域となるように複数の領域の画像を切り抜くことを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。 Subject detection means for detecting a subject in the still image,
Said cutout means, said included in each region to clip the subject detected by the subject detecting means, and any one of claims 1, wherein the cutting out an image of a plurality of areas so that different regions 8 in 1 The image processing apparatus according to item.
前記切抜処理により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成処理と、
を含み、
前記切抜処理においては、前記動画生成処理が生成する動画が、その再生時間に応じて時系列に変化する変化度合が異なる動画となるように、切り抜く領域のサイズを時系列で変化させる変化度合を異ならせて、複数の異なるサイズの領域を切り抜くことを特徴とする画像処理方法。 A cropping process for cropping a plurality of different areas from one still image;
A moving image generation process for generating a single moving image by temporally combining the images of the plurality of regions cut out by the clipping process;
Including
In the clipping process, the degree of change that changes the size of the area to be clipped in time series so that the moving picture generated by the moving picture generation process has a different degree of change that changes in time series according to the playback time. An image processing method characterized in that a plurality of different size areas are cut out differently.
前記切抜処理により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成処理と、
を含み、
前記切抜処理においては、1の静止画から、当該1の静止画のアスペクト比とは異なるアスペクト比である複数の異なる領域を切り抜き、
前記動画生成処理においては、生成する動画の再生時間に応じて、前記切抜処理における複数の異なる領域を切り抜く処理を行わずに、前記1の静止画を時間的に結合して、当該1の静止画とは異なるアスペクト比である1の動画を生成する、
ことを特徴とする画像処理方法。 A cropping process for cropping a plurality of different areas from one still image;
A moving image generation process for generating a single moving image by temporally combining the images of the plurality of regions cut out by the clipping process;
Including
In the cropping process, a plurality of different regions having an aspect ratio different from the aspect ratio of the one still image are cut out from one still image ,
In the moving image generation process, the one still image is temporally combined without performing a process of cutting out a plurality of different areas in the cutout process according to the reproduction time of the generated moving image, and the one still image Generate a video with an aspect ratio different from that of the image.
An image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014056652A JP6432141B2 (en) | 2014-03-19 | 2014-03-19 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014056652A JP6432141B2 (en) | 2014-03-19 | 2014-03-19 | Image processing apparatus and image processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015179978A JP2015179978A (en) | 2015-10-08 |
JP2015179978A5 JP2015179978A5 (en) | 2017-03-30 |
JP6432141B2 true JP6432141B2 (en) | 2018-12-05 |
Family
ID=54263742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014056652A Expired - Fee Related JP6432141B2 (en) | 2014-03-19 | 2014-03-19 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6432141B2 (en) |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3041360B2 (en) * | 1990-08-31 | 2000-05-15 | 工業技術院長 | Generating moving images |
JP2889755B2 (en) * | 1992-03-02 | 1999-05-10 | 三洋電機株式会社 | Wipe circuit |
JP2005033267A (en) * | 2003-07-07 | 2005-02-03 | Sharp Corp | Method for converting still picture into moving picture |
JP2005167689A (en) * | 2003-12-03 | 2005-06-23 | Canon Inc | Image reproducing apparatus |
JP2005303908A (en) * | 2004-04-15 | 2005-10-27 | Fuji Photo Film Co Ltd | Image editing apparatus, method, and program |
JP4647343B2 (en) * | 2005-02-28 | 2011-03-09 | 富士フイルム株式会社 | Photo movie creation device and photo movie creation program |
JP2006174178A (en) * | 2004-12-16 | 2006-06-29 | Fuji Photo Film Co Ltd | Apparatus and program for generating index image of photo movie |
JP2006229467A (en) * | 2005-02-16 | 2006-08-31 | Fuji Photo Film Co Ltd | Photo movie creating apparatus, photo movie creating program, and object recognition method |
JP4635675B2 (en) * | 2005-03-24 | 2011-02-23 | カシオ計算機株式会社 | Imaging apparatus and program |
JP4701791B2 (en) * | 2005-03-30 | 2011-06-15 | カシオ計算機株式会社 | Image processing apparatus and program |
JP4440164B2 (en) * | 2005-04-22 | 2010-03-24 | 富士フイルム株式会社 | Photo movie creation device and photo movie creation program |
JP4744337B2 (en) * | 2006-03-30 | 2011-08-10 | 三洋電機株式会社 | Image playback device |
JP4854486B2 (en) * | 2006-12-05 | 2012-01-18 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | Image display device, image display method, and image display program |
JP2010232814A (en) * | 2009-03-26 | 2010-10-14 | Nikon Corp | Video editing program, and video editing device |
JP5398408B2 (en) * | 2009-08-07 | 2014-01-29 | オリンパスイメージング株式会社 | CAMERA, CAMERA CONTROL METHOD, DISPLAY CONTROL DEVICE, AND DISPLAY CONTROL METHOD |
JP5436975B2 (en) * | 2009-08-21 | 2014-03-05 | オリンパスイメージング株式会社 | CAMERA, CAMERA DISPLAY CONTROL METHOD, DISPLAY DEVICE, AND DISPLAY METHOD |
JP2011239021A (en) * | 2010-05-06 | 2011-11-24 | Nikon Corp | Moving image creation device, imaging device and moving image creation program |
JP6178048B2 (en) * | 2012-06-06 | 2017-08-09 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
-
2014
- 2014-03-19 JP JP2014056652A patent/JP6432141B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015179978A (en) | 2015-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101864059B1 (en) | Mobile terminal and shooting method thereof | |
JP5347890B2 (en) | Image processing apparatus and method, and program | |
US9443335B2 (en) | Using narrow field of view monochrome camera for producing a zoomed image | |
JP4869270B2 (en) | Imaging apparatus and image reproduction apparatus | |
JP2008233470A (en) | Diaphragm controller and image processor | |
US20190075245A1 (en) | Imaging device configured to control a region of imaging | |
KR102172114B1 (en) | Moving image selection apparatus for selecting moving image to be combined, moving image selection method, and storage medium | |
JP2012119761A (en) | Electronic apparatus, image processing method and program | |
JP2018061130A (en) | Image processing device, image processing method, and program | |
JP2010258768A (en) | Image display device and control method thereof, program and storage medium | |
JP2015012481A (en) | Image processing device | |
JP6056551B2 (en) | Image processing program and digital camera | |
JP2015037215A (en) | Image processing apparatus, image processing method and program | |
JP2017143354A (en) | Image processing apparatus and image processing method | |
JP2015061236A (en) | Image processing apparatus, image processing method and program | |
TWI252044B (en) | The projection device of photograph image and image processing method using the same and recorder media with recording program | |
JP6432141B2 (en) | Image processing apparatus and image processing method | |
JP5387701B2 (en) | Image processing device | |
JP6332864B2 (en) | Image processing apparatus, image processing method, and program | |
JP6427859B2 (en) | Image processing apparatus, image processing method, and program | |
JP2017212550A (en) | Image reproducer, control method thereof, program, and storage medium | |
JP2015061234A (en) | Image processing apparatus, image processing method and program | |
JP2014236244A (en) | Image processing system, image processing program, and digital camera | |
JP2017054541A (en) | Image processing apparatus, image processing method, and program | |
JP6742862B2 (en) | Imaging device, image processing device, control method of imaging device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181009 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6432141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |