JP6432141B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP6432141B2
JP6432141B2 JP2014056652A JP2014056652A JP6432141B2 JP 6432141 B2 JP6432141 B2 JP 6432141B2 JP 2014056652 A JP2014056652 A JP 2014056652A JP 2014056652 A JP2014056652 A JP 2014056652A JP 6432141 B2 JP6432141 B2 JP 6432141B2
Authority
JP
Japan
Prior art keywords
image
moving image
still
effect
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014056652A
Other languages
Japanese (ja)
Other versions
JP2015179978A (en
JP2015179978A5 (en
Inventor
大輔 大谷
大輔 大谷
宮坂 淳一
淳一 宮坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014056652A priority Critical patent/JP6432141B2/en
Publication of JP2015179978A publication Critical patent/JP2015179978A/en
Publication of JP2015179978A5 publication Critical patent/JP2015179978A5/ja
Application granted granted Critical
Publication of JP6432141B2 publication Critical patent/JP6432141B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

本発明は、複数の静止画から動画を生成する画像処理装置、及び画像処理方法に関する。 The present invention relates to an image processing apparatus for generating a video from a plurality of still pictures, and relates to an image processing how.

従来より、複数の静止画から1の動画を生成する技術が知られている。複数の静止画から動画を生成するときの自由度をより増すために、特許文献1には、横置きの静止画と縦置きの静止画とを混在可能とする技術が開示されている。   Conventionally, a technique for generating one moving image from a plurality of still images is known. In order to further increase the degree of freedom when generating a moving image from a plurality of still images, Patent Document 1 discloses a technique that enables both a horizontal still image and a vertical still image to be mixed.

特開2011−239021号公報JP 2011-239021 A

しかしながら、縦置きの静止画と横置きの静止画とを混在させて動画を生成するのみでは、ユーザの意図する動画を生成する上で、自由度が十分に高くはなく、また、効果的な動画を生成することが容易ではない。
即ち、従来の技術においては、自由度が高く、効果的な動画を生成することが困難であった。
However, simply creating a moving image by mixing a vertical still image and a horizontal still image does not provide a sufficiently high degree of freedom in creating a moving image intended by the user, and is effective. It is not easy to generate a movie.
That is, in the prior art, it is difficult to generate an effective moving image with a high degree of freedom.

本発明は、より自由度が高く且つ効果的な動画を生成することを目的とする。   An object of the present invention is to generate an effective moving image with a higher degree of freedom.

上記目的を達成するため、本発明の一態様の画像処理装置は、
1の静止画から複数の異なる領域を切り抜く切抜手段と、
前記切抜手段により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成手段と、
を備え、
前記切抜手段は、前記動画生成手段が生成する動画が、その再生時間に応じて時系列に変化する変化度合が異なる動画となるように、切り抜く領域のサイズを時系列で変化させる変化度合を異ならせて、複数の異なるサイズの領域を切り抜くことを特徴とする。
In order to achieve the above object, an image processing apparatus according to an aspect of the present invention includes:
Clipping means for clipping a plurality of different areas from one still image;
A moving image generating means for generating a single moving image by temporally combining the images of the plurality of regions cut out by the cutting means;
With
The clipping means has a different degree of change that changes the size of the clipped area in time series so that the moving picture generated by the moving picture generation means has a different degree of change that changes in time series according to the playback time. And cutting out a plurality of regions of different sizes .

本発明によれば、より自由度が高く且つ効果的な動画を生成することができる。   According to the present invention, it is possible to generate an effective moving image with a higher degree of freedom.

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。1 is a block diagram illustrating a hardware configuration of an image processing apparatus according to an embodiment of the present invention. 図1の画像処理装置の機能的構成のうち、複数の静止画から1の動画を生成する動画生成処理を実行するための機能的構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure for performing the moving image production | generation process which produces | generates one moving image from several still images among the functional structures of the image processing apparatus of FIG. 画像内効果複雑度テーブルの一例を示す模式図である。It is a schematic diagram which shows an example of the effect complexity table in an image. 画像間効果複雑度テーブルの一例を示す模式図である。It is a schematic diagram which shows an example of the effect complexity table between images. 効果付与条件テーブルの一例を示す模式図である。It is a schematic diagram which shows an example of an effect provision condition table. アスペクト比の調整方法の概念を示す図である。It is a figure which shows the concept of the adjustment method of an aspect ratio. 横構図(横置き)の場合の画像間効果の一例を示す図である。It is a figure which shows an example of the effect between images in the case of a horizontal composition (horizontal placement). 縦構図(縦置き)の場合の画像間効果の一例を示す図である。It is a figure which shows an example of the effect between images in the case of a vertical composition (vertical installation). 画像間効果の一例を示す図である。It is a figure which shows an example of the effect between images. 画像内効果及び画像間効果と動画のフレームとの時間の対応関係の概念を示す模式図である。It is a schematic diagram which shows the concept of the time corresponding | compatible relationship between the effect in an image, the effect between images, and the flame | frame of a moving image. 図2の機能的構成を有する図1の画像処理装置が実行する動画生成処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the moving image production | generation process which the image processing apparatus of FIG. 1 which has the functional structure of FIG. 2 performs.

以下、本発明の実施形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

[構成]
図1は、本発明の一実施形態に係る画像処理装置1のハードウェアの構成を示すブロック図である。
画像処理装置1は、例えばデジタルカメラとして構成される。
[Constitution]
FIG. 1 is a block diagram showing a hardware configuration of an image processing apparatus 1 according to an embodiment of the present invention.
The image processing apparatus 1 is configured as a digital camera, for example.

画像処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。   The image processing apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, an imaging unit 16, and an input unit. 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21.

CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。例えば、CPU11は、後述する動画生成処理のためのプログラムに従って、動画生成処理を実行する。   The CPU 11 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 19 to the RAM 13. For example, the CPU 11 executes the moving image generation process according to a program for the moving image generation process described later.

RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。   The RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.

CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。   The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14. An input / output interface 15 is also connected to the bus 14. An imaging unit 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21 are connected to the input / output interface 15.

撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。   Although not shown, the imaging unit 16 includes an optical lens unit and an image sensor.

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.

イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像」と呼ぶ。撮像画像は、CPU11等に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the imaging unit 16.
Hereinafter, the output signal of the imaging unit 16 is referred to as a “captured image”. The captured image is appropriately supplied to the CPU 11 or the like.

入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The input unit 17 includes various buttons and the like, and inputs various types of information according to user instruction operations.
The output unit 18 includes a display, a speaker, and the like, and outputs images and sounds.
The storage unit 19 is composed of a hard disk or a DRAM (Dynamic Random Access Memory) or the like, and stores various image data.
The communication unit 20 controls communication performed with other devices (not shown) via a network including the Internet.

ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。   A removable medium 31 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 21. The program read from the removable medium 31 by the drive 21 is installed in the storage unit 19 as necessary. The removable medium 31 can also store various data such as image data stored in the storage unit 19 in the same manner as the storage unit 19.

図2は、画像処理装置1の機能的構成のうち、複数の静止画から1の動画を生成する動画生成処理を実行するための機能的構成を示す機能ブロック図である。
動画生成処理とは、生成される動画の条件に応じて、画像内効果及び画像間効果の付与を制御しつつ、複数の静止画から1つの動画を生成するための一連の処理である。なお、画像内効果とは、動画とされる静止画の1つを表示する際に行われる演出効果である。また、画像間効果とは、動画とされる複数の静止画を切り替えて表示する際に行われる演出効果である。
動画生成処理が実行される場合、CPU11において、動画属性設定部111と、動画生成条件判定部112と、動画生成部113と、アスペクト比判定部114と、被写体検出部115と、が機能する。
また、動画生成処理が実行される場合、記憶部19においては、画像内効果複雑度テーブル211と、画像間効果複雑度テーブル212と、効果付与条件テーブル213と、が設定される。
FIG. 2 is a functional block diagram illustrating a functional configuration for executing a moving image generation process for generating one moving image from a plurality of still images, among the functional configurations of the image processing apparatus 1.
The moving image generation process is a series of processes for generating one moving image from a plurality of still images while controlling the application of the intra-image effect and the inter-image effect according to the conditions of the generated moving image. The in-image effect is an effect produced when displaying one of the still images that is a moving image. The inter-image effect is an effect produced when a plurality of still images that are moving images are switched and displayed.
When the moving image generation processing is executed, the moving image attribute setting unit 111, the moving image generation condition determination unit 112, the moving image generation unit 113, the aspect ratio determination unit 114, and the subject detection unit 115 function in the CPU 11.
In addition, when the moving image generation process is executed, in the storage unit 19, an intra-image effect complexity table 211, an inter-image effect complexity table 212, and an effect applying condition table 213 are set.

図3は、画像内効果複雑度テーブルの一例を示す模式図である。
画像内効果複雑度テーブルには、画像内効果の種類と、その画像内効果の複雑度とが対応付けて記憶されている。画像内効果の複雑度とは、1枚の静止画内の画像処理に使用する領域のサイズや位置の時系列に変化する変化度合いであって、複雑度が高くなるほど変化度合いが高くなる。
図3に示すように、画像内効果複雑度テーブルにおいては、画像内効果X1は複雑度が1、画像内効果X2は複雑度が2、画像内効果X3は複雑度が3・・・、画像内効果Xk(kは自然数)は複雑度が1・・・、と対応付けられている。各画像内効果の複雑度については、その効果を表現するために要する時間やフレーム数等を基に、予め設定しておくことができる。
FIG. 3 is a schematic diagram illustrating an example of an in-image effect complexity table.
In the intra-image effect complexity table, the type of intra-image effect and the complexity of the intra-image effect are stored in association with each other. The complexity of the in-image effect is the degree of change in time series of the size and position of the area used for image processing in one still image, and the degree of change increases as the complexity increases.
As shown in FIG. 3, in the in-image effect complexity table, the in-image effect X1 has a complexity of 1, the in-image effect X2 has a complexity of 2, the in-image effect X3 has a complexity of 3,. The internal effect Xk (k is a natural number) is associated with a complexity of 1. The complexity of each in-image effect can be set in advance based on the time required to express the effect, the number of frames, and the like.

図4は、画像間効果複雑度テーブルの一例を示す模式図である。
画像間効果複雑度テーブルには、画像間効果の種類と、その画像間効果の複雑度とが対応付けて記憶されている。画像間効果の複雑度とは、画像間効果の前後の2枚の静止画内の画像処理に使用する領域のサイズや位置の時系列に変化する変化度合いであって、複雑度が高くなるほど変化度合いが高くなる。
図4に示すように、画像間効果複雑度テーブルにおいては、画像間効果Y1は複雑度が1、画像間効果Y2は複雑度が2、画像間効果Y3は複雑度が3・・・、画像間効果Yj(jは自然数)は複雑度が1・・・、と対応付けられている。各画像間効果の複雑度については、画像内効果と同様に、その効果を表現するために要する時間やフレーム数等を基に、予め設定しておくことができる。
FIG. 4 is a schematic diagram illustrating an example of an inter-image effect complexity table.
In the inter-image effect complexity table, the type of inter-image effect and the complexity of the inter-image effect are stored in association with each other. The complexity of the inter-image effect is the degree of change in time series of the size and position of the area used for image processing in the two still images before and after the inter-image effect, and changes as the complexity increases The degree becomes higher.
4, in the inter-image effect complexity table, the inter-image effect Y1 has a complexity of 1, the inter-image effect Y2 has a complexity of 2, the inter-image effect Y3 has a complexity of 3... The inter-effect Yj (j is a natural number) is associated with a complexity of 1. Similar to the intra-image effect, the complexity of each inter-image effect can be set in advance based on the time required to express the effect, the number of frames, and the like.

図5は、効果付与条件テーブルの一例を示す模式図である。
効果付与条件テーブルにおいては、生成される動画の再生時間と、設定可能な画像内効果及び画像間効果の複雑度とが対応付けて記憶されている。画像内効果、画像間効果ともに再生時間が長いほどより高い視覚効果が得られるように、高い複雑度を許容するようにしている。
図5に示すように、例えば、動画の再生時間が15秒の場合には、複雑度が3以下の画像内効果及び複雑度が3以下の画像間効果が許容され、動画の再生時間が12秒の場合には、複雑度が2以下の画像内効果及び複雑度が3以下の画像間効果が許容される。また、例えば、動画の再生時間が9秒の場合には、複雑度が1の画像内効果及び複雑度が2以下の画像間効果が許容され、動画の再生時間が6秒以下の場合には、画像内効果が許容されず、複雑度が1の画像間効果が許容される。なお、動画の再生時間が3秒以下の場合には、画像内効果及び画像間効果のいずれも許容されない。
なお、図5は静止画を5枚とした場合の再生時間となっているので、静止画1枚ごとの再生時間は、各々1/5となる。
FIG. 5 is a schematic diagram illustrating an example of an effect applying condition table.
In the effect applying condition table, the reproduction time of the generated moving image is stored in association with the settable intra-image effect and inter-image effect complexity. Both the intra-image effect and the inter-image effect are allowed to have a high degree of complexity so that a higher visual effect can be obtained as the reproduction time is longer.
As shown in FIG. 5, for example, when the playback time of a moving image is 15 seconds, an intra-image effect with a complexity of 3 or less and an inter-image effect with a complexity of 3 or less are allowed, and the playback time of a movie is 12 In the case of seconds, intra-image effects with a complexity of 2 or less and inter-image effects with a complexity of 3 or less are allowed. Also, for example, when the playback time of a moving image is 9 seconds, an in-image effect with a complexity of 1 and an inter-image effect with a complexity of 2 or less are allowed, and when the playback time of a moving image is 6 seconds or less Intra-image effects are not allowed, and inter-image effects with a complexity of 1 are allowed. Note that when the moving image playback time is 3 seconds or less, neither the intra-image effect nor the inter-image effect is allowed.
Note that FIG. 5 shows the playback time when there are five still images, so the playback time for each still image is 1/5 each.

即ち、動画の再生時間における第1の閾値(ここでは9秒)未満に設定された場合、生成される動画に画像内効果が付与されない。同様に、動画の再生時間における第2の閾値(ここでは6秒)未満に設定された場合、生成される動画に画像間効果が付与されない。
これは、動画の再生時間が長いほど、複雑な効果を設定できる一方、動画の再生時間が一定の時間よりも短い場合には、フレームの切り替えが表示時間に比して過度に頻繁になることに鑑み、設定可能な画像内効果及び画像間効果に条件を与えるものである
複数の静止画から動画が生成される場合、効果付与条件テーブルに設定された条件に基づいて、画像内効果及び画像間効果の設定の可否が判定される。
That is, when the moving image playback time is set to be less than the first threshold (here, 9 seconds), the in-image effect is not added to the generated moving image. Similarly, when the moving image playback time is set to be less than the second threshold (here, 6 seconds), the inter-image effect is not added to the generated moving image.
This is because the longer the video playback time, the more complex effects can be set, but if the video playback time is shorter than a certain time, the frame switching will be overly frequent compared to the display time. In view of the above, in the case where a moving image is generated from a plurality of still images that gives conditions to the settable intra-image effect and inter-image effect, the intra-image effect and the image based on the conditions set in the effect applying condition table It is determined whether or not an inter-effect can be set.

図2に戻り、動画属性設定部111は、入力部17等を介したユーザによる入力に応じて、生成する動画の属性を構成する動画の再生時間及び動画のアスペクト比を設定する。
即ち、動画属性設定部111は、生成する動画の再生時間として任意の再生時間を設定する。例えば、動画属性設定部111は、動画の再生時間として、予め定められた複数の再生時間の中からいずれか1つを設定する。一例として、動画属性設定部111は、動画の再生時間として、15秒、12秒、9秒、6秒、3秒のうち、ユーザによって選択されたいずれか1つを設定する。なお、動画属性設定部111が、動画の再生時間を1秒単位で変更できるようにしてもよい。
Returning to FIG. 2, the moving image attribute setting unit 111 sets the reproduction time of the moving image and the aspect ratio of the moving image constituting the attribute of the moving image to be generated according to the input by the user via the input unit 17 or the like.
That is, the moving image attribute setting unit 111 sets an arbitrary reproduction time as the reproduction time of the generated moving image. For example, the moving image attribute setting unit 111 sets any one of a plurality of predetermined reproduction times as the reproduction time of the moving image. As an example, the moving image attribute setting unit 111 sets any one of 15 seconds, 12 seconds, 9 seconds, 6 seconds, and 3 seconds selected by the user as a moving image playback time. Note that the moving image attribute setting unit 111 may change the reproduction time of the moving image in units of one second.

また、動画属性設定部111は、生成する動画のアスペクト比として任意のアスペクト比を設定する。例えば、動画属性設定部111は、動画のアスペクト比として、予め定められた複数のアスペクト比の中からいずれか1つを設定する。一例として、動画属性設定部111は、動画のアスペクト比として、16:9、3:2、4:3のうち、ユーザによって選択されたいずれか1つを設定する。   In addition, the moving image attribute setting unit 111 sets an arbitrary aspect ratio as the aspect ratio of the moving image to be generated. For example, the moving image attribute setting unit 111 sets any one of a plurality of predetermined aspect ratios as the aspect ratio of the moving image. As an example, the moving image attribute setting unit 111 sets any one of 16: 9, 3: 2, and 4: 3 selected by the user as the aspect ratio of the moving image.

また、動画属性設定部111は、生成する動画の属性を構成する動画のフレームレートを設定する。例えば、動画属性設定部111は、動画のフレームレートとして、予め定められた複数のフレームレートの中からいずれか1つを設定する。一例として、動画属性設定部111は、15fps、30fps、60fpsのうち、ユーザによって選択されたいずれか1つを設定する。   In addition, the moving image attribute setting unit 111 sets a frame rate of a moving image that forms an attribute of the moving image to be generated. For example, the moving image attribute setting unit 111 sets any one of a plurality of predetermined frame rates as the moving image frame rate. As an example, the moving image attribute setting unit 111 sets any one selected by the user from 15 fps, 30 fps, and 60 fps.

また、動画属性設定部111は、生成する動画の画像サイズを設定する。例えば、動画属性設定部111は、動画の画像サイズとして、予め定められた複数の画像サイズの中からいずれか1つを設定する。一例として、動画属性設定部111は、1920×1080pixels、1280×720pixels、640×480pixels、320×240pixelsのうち、ユーザによって選択されたいずれか1つを設定する。   The moving image attribute setting unit 111 sets the image size of the moving image to be generated. For example, the moving image attribute setting unit 111 sets any one of a plurality of predetermined image sizes as the moving image size. As an example, the moving image attribute setting unit 111 sets any one selected by the user from among 1920 × 1080 pixels, 1280 × 720 pixels, 640 × 480 pixels, and 320 × 240 pixels.

さらに、動画属性設定部111は、生成する動画の属性として、生成する動画における画像内効果及び画像間効果それぞれの有無を設定する。
本実施形態においては、動画属性設定部111において設定された動画の属性について、動画生成条件判定部112によって動画を生成する際の効果の付与条件が判定され、判定結果に応じた効果が付与された動画が、動画生成部113によって自動的に生成される。
Furthermore, the moving image attribute setting unit 111 sets the presence / absence of an in-image effect and an inter-image effect in the generated moving image as the attributes of the generated moving image.
In the present embodiment, with respect to the moving image attributes set in the moving image attribute setting unit 111, the moving image generation condition determining unit 112 determines an effect applying condition when generating a moving image, and an effect according to the determination result is applied. A moving image is automatically generated by the moving image generation unit 113.

動画生成条件判定部112は、動画属性設定部111によって設定された再生時間及びアスペクト比等の動画の属性に応じて、効果付与条件テーブルに設定された画像間効果及び画像内効果の付与条件を判定し、判定結果を動画生成部113に出力する。
即ち、動画生成条件判定部112は、動画属性設定部111によって設定された動画の再生時間が上述の第1の閾値以上であるか否か、及び、第2の閾値以上であるか否かを判定する。
そして、これら判定結果に基づいて、設定可能な画像内効果及び画像間効果を選択し、生成される動画に設定する画像内効果及び画像間効果を決定する。
The moving image generation condition determining unit 112 sets the conditions for applying the inter-image effect and the intra-image effect set in the effect applying condition table according to the moving image attributes such as the reproduction time and aspect ratio set by the moving image attribute setting unit 111. The determination is made and the determination result is output to the moving image generation unit 113.
That is, the moving image generation condition determination unit 112 determines whether or not the reproduction time of the moving image set by the moving image attribute setting unit 111 is equal to or greater than the first threshold value and whether or not the second threshold value is equal to or greater. judge.
Then, based on these determination results, a setable intra-image effect and inter-image effect are selected, and the intra-image effect and inter-image effect set for the generated moving image are determined.

動画生成部113は、動画生成条件判定部112によって決定された画像内効果及び画像間効果を適用して、所定のフレームレートで、複数の静止画から動画を生成する。このとき、5枚の静止画から30fpsで15秒の動画を生成する場合、動画生成部113は、5枚の静止画全体で450フレームを作成する。即ち、動画生成部113は、1枚の静止画から90フレームを作成する。   The moving image generation unit 113 applies the in-image effect and the inter-image effect determined by the moving image generation condition determination unit 112 to generate a moving image from a plurality of still images at a predetermined frame rate. At this time, when a 15-second moving image is generated from 5 still images at 30 fps, the moving image generating unit 113 generates 450 frames with the entire five still images. That is, the moving image generation unit 113 creates 90 frames from one still image.

また、動画生成部113は、アスペクト比判定部114によって、動画とされる静止画のアスペクト比と動画のアスペクト比とが一致しないと判定された場合、生成元の静止画のアスペクト比を動画のアスペクト比に合わせる調整方法を切り替える。   In addition, when the aspect ratio determination unit 114 determines that the aspect ratio of the still image that is the moving image does not match the aspect ratio of the moving image, the moving image generation unit 113 sets the aspect ratio of the generation still image to the moving image aspect ratio. Switch the adjustment method to match the aspect ratio.

図6は、アスペクト比の調整方法の概念を示す図である。
縦置きの画像を横置きの画像のアスペクト比に合わせる場合、図6(A)に示すように、生成元の画像の枠201に対して余白202を補間することにより、目的のアスペクト比とすることや、図6(B)に示すように、生成元の画像の枠201の一部を目的のアスペクト比の枠203で切り抜くことが可能である。また、図6(B)に示すように、画像の一部を目的のアスペクト比の枠203で切り抜く場合、切り抜く部分を徐々に左から右に変化(パン)させたり、被写体検出部115によって検出された被写体を中心にズームあるいはパンズームさせたりすることができる。
FIG. 6 is a diagram illustrating the concept of the aspect ratio adjustment method.
When the vertically placed image is matched with the aspect ratio of the horizontally placed image, as shown in FIG. 6A, the margin 202 is interpolated with respect to the frame 201 of the original image to obtain the target aspect ratio. In addition, as shown in FIG. 6B, a part of the frame 201 of the generation source image can be cut out with a frame 203 having a target aspect ratio. Also, as shown in FIG. 6B, when a part of an image is cut out with a frame 203 having a target aspect ratio, the cut-out part is gradually changed from left to right (panned) or detected by the subject detection unit 115. It is possible to perform zooming or panning zooming around the subject.

本実施形態において、動画生成部113は、動画の生成において、画像内効果が設定されていない場合には、生成元の静止画の全体が含まれるように、余白を補間して動画のアペクト比に合致するようにアスペクト比を調整し、余白を含む生成元の静止画全体を静止画1枚の時間分に固定させる。一方、動画生成部113は、動画の生成において、画像内効果が設定されている場合には、生成元の静止画の一部を切り抜いて(即ち、一部をカットして)動画のアペクト比に合致するようにアスペクト比を調整する。このとき、生成元の静止画における切り抜く部分を徐々に左から右に変化(パン)させたり、被写体検出部115によって検出された被写体を中心にズームあるいはパンズームさせたりすることができる。   In the present embodiment, the moving image generation unit 113 interpolates the margins so that the entire still image of the generation source is included when the in-image effect is not set in the generation of the moving image. The aspect ratio is adjusted so as to match, and the entire still image of the generation source including the margin is fixed to the time of one still image. On the other hand, when the in-image effect is set in the generation of the moving image, the moving image generation unit 113 cuts out a part of the generation source still image (that is, cuts a part thereof) and sets the moving image aspect ratio. Adjust the aspect ratio to match. At this time, it is possible to gradually change (pan) the cut-out portion of the generation source still image from left to right, or to zoom or pan-zoom about the subject detected by the subject detection unit 115.

さらに、動画生成部113は、上述のようにアスペクト比が調整された画像を設定されている動画の画像サイズに合致するように調整する。   Furthermore, the moving image generation unit 113 adjusts the image with the aspect ratio adjusted as described above so as to match the image size of the set moving image.

アスペクト比判定部114は、生成元の静止画のアスペクト比と、動画属性設定部111によって設定された動画のアスペクト比とが一致するか否かを判定する。生成元の静止画のアスペクト比は、Exif情報に基づいて得られる。なお、縦構図の静止画の場合(縦置きのフラグが立っている場合)には、アスペクト比判定部114は、横置きに回転させた場合のアスペクト比を算出する。   The aspect ratio determination unit 114 determines whether or not the aspect ratio of the still image that is the generation source matches the aspect ratio of the moving image set by the moving image attribute setting unit 111. The aspect ratio of the generation source still image is obtained based on the Exif information. Note that in the case of a still image with a vertical composition (when the portrait flag is set), the aspect ratio determination unit 114 calculates the aspect ratio when rotated horizontally.

一例として、生成元の静止画のアスペクト比が2:3(横置きの場合では3:2)であり、動画属性設定部111によって設定された動画のアスペクト比が4:3の場合には、アスペクト比判定部114は、各アスペクト比が一致しないと判定する。一方、生成元の静止画のアスペクト比が4:3であり、動画属性設定部111によって設定された動画のアスペクト比が4:3の場合には、アスペクト比判定部114は、各アスペクト比が一致すると判定する。   As an example, when the aspect ratio of the still image as the generation source is 2: 3 (3: 2 in the case of landscape orientation) and the aspect ratio of the moving image set by the moving image attribute setting unit 111 is 4: 3, The aspect ratio determination unit 114 determines that the aspect ratios do not match. On the other hand, when the aspect ratio of the still image as the generation source is 4: 3 and the aspect ratio of the moving image set by the moving image attribute setting unit 111 is 4: 3, the aspect ratio determination unit 114 sets each aspect ratio to It is determined that they match.

被写体検出部115は、静止画における特定の被写体の領域(例えば顔の領域)を検出し、検出結果を動画生成部113に出力する。特定の被写体の領域を検出する場合、被写体のモデル(顔モデル等)を用いて、類似度を判定して検出すること等が可能である。   The subject detection unit 115 detects a region of a specific subject (for example, a face region) in the still image and outputs the detection result to the moving image generation unit 113. When detecting a region of a specific subject, it is possible to determine and detect a similarity using a subject model (such as a face model).

[画像内効果の具体例]
次に、画像内効果の具体例について説明する。
画像内効果としては、例えば、以下のように、パン、ズームイン及びパンズームイン等を設定することができる。動画生成条件判定部112が付与する画像内効果を決定する場合、これらのうち選択可能なものを任意に選択する、あるいは、優先順位を予め設定しておき、選択可能なものの中で優先順位が最も高いものを選択するといったことが可能である。なお、画像内効果は、これらの例に限定されることはなく、他の種類であってもよい。
図7は、横構図(横置き)の場合の画像間効果の一例を示す図である。図8は、縦構図(縦置き)の場合の画像間効果の一例を示す図である。ここで、図7及び図8において、枠201は、生成元になる静止画を表す。また、図7及び図8において、枠203は、生成先になる動画のフレームを表す。
[Specific examples of image effects]
Next, a specific example of the in-image effect will be described.
As the in-image effect, for example, pan, zoom in, pan zoom in, etc. can be set as follows. When determining the in-image effect to be given by the moving image generation condition determination unit 112, a selectable one of these is arbitrarily selected, or a priority is set in advance, and the priority among the selectable ones is It is possible to select the highest one. The intra-image effect is not limited to these examples, and may be other types.
FIG. 7 is a diagram illustrating an example of an inter-image effect in the case of horizontal composition (horizontal placement). FIG. 8 is a diagram illustrating an example of an inter-image effect in the case of a vertical composition (vertical placement). Here, in FIGS. 7 and 8, a frame 201 represents a still image that is a generation source. In FIGS. 7 and 8, a frame 203 represents a frame of a moving image that is a generation destination.

図7(A)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、パンの画像処理を行う。図7(A)に示すパンでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201における一部を枠203として切り抜くと共に、切り抜かれた枠203のサイズは変化させずに、枠201内を左から右に動くように位置を変化させながらフレーム(動画)を生成する。   As shown in FIG. 7A, the moving image generating unit 113 performs pan image processing as an effect (intra-image effect) on one still image. In the pan shown in FIG. 7A, the moving image generating unit 113 cuts out a part of the still image frame 201 as a frame 203 and cuts out the frame 203 in one still image of the plurality of still images. The frame (moving image) is generated while changing the position so as to move from the left to the right in the frame 201 without changing the size of.

また、図7(B)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、ズームインの画像処理を行う。図7(B)に示すズームインでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201全体から徐々に中心部周辺に狭まる領域を枠203として切り抜くようにそのサイズを変化させながらフレーム(動画)を生成する。   As shown in FIG. 7B, the moving image generating unit 113 performs zoom-in image processing as an effect (intra-image effect) for one still image. In the zoom-in shown in FIG. 7B, the moving image generation unit 113 cuts out an area gradually narrowing from the entire frame 201 of the still image to the periphery of the center portion as a frame 203 in one of the plurality of still images. In this way, a frame (moving image) is generated while changing its size.

また、図7(C)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、パンズームインの画像処理を行う。図7(C)に示すパンズームインでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201全体から徐々に狭まるようにそのサイズを変化させながら、枠201内を左から右に位置を変化させて動く領域を枠203として切り抜くようにフレーム(動画)を生成する。
このように、図7(A)に示すパン、図7(B)に示すズームイン、図7(C)に示すパンズームインの順に複雑度が高くなる。
As shown in FIG. 7C, the moving image generation unit 113 performs pan-zoom-in image processing as an effect (intra-image effect) on one still image. In the pan zoom-in shown in FIG. 7C, the moving image generating unit 113 changes the size of one still image of a plurality of still images so as to gradually narrow from the entire frame 201 of the still image, A frame (moving image) is generated so as to cut out a moving area by changing the position in the frame 201 from left to right as a frame 203.
Thus, the complexity increases in the order of pan shown in FIG. 7A, zoom in shown in FIG. 7B, and pan zoom in shown in FIG. 7C.

また、図8(A)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、パンの画像処理を行う。図8(A)に示すパンでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201における一部を枠203として切り抜くと共に、切り抜かれた枠203のサイズは変化させずに、枠201内を上から下に動くように位置を変化させながらフレーム(動画)を生成する。   As shown in FIG. 8A, the moving image generation unit 113 performs pan image processing as an effect (intra-image effect) on one still image. In the pan shown in FIG. 8A, the moving image generating unit 113 cuts out a part of the still image frame 201 as a frame 203 and cuts out the frame 203 in one still image of the plurality of still images. The frame (moving image) is generated while changing the position so as to move from top to bottom within the frame 201 without changing the size of the frame 201.

また、図8(B)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、ズームインの画像処理を行う。図8(B)に示すズームインでは、動画生成部113は、複数の静止画のうちの1の静止画において、その静止画の枠201における中央部から徐々に中心部周辺に狭まる領域を枠203として切り抜くようにそのサイズを変化させながらフレーム(動画)を生成する。   As shown in FIG. 8B, the moving image generating unit 113 performs zoom-in image processing as an effect (intra-image effect) for one still image. In the zoom-in illustrated in FIG. 8B, the moving image generation unit 113 sets an area of one still image of the plurality of still images that gradually narrows from the center to the periphery of the frame 201 of the still image frame 201. A frame (moving image) is generated while changing its size so as to cut out as follows.

また、図8(C)に示すように、動画生成部113は、1の静止画に対する効果(画像内効果)として、パンズームインの画像処理を行う。図8(C)に示すパンズームインでは、動画生成部113は、複数の静止画のうちの1の静止画の枠201において、上部の幅全体から徐々に狭まるようにそのサイズを変化させながら、枠201内を右下に位置を変化させながら動く領域を枠203として切り抜くようにフレーム(動画)を生成する。
このように、図8(A)に示すパン、図8(B)に示すズームイン、図8(C)に示すパンズームインの順に複雑度が高くなる。
As shown in FIG. 8C, the moving image generating unit 113 performs pan-zoom-in image processing as an effect (intra-image effect) on one still image. In the pan zoom-in shown in FIG. 8C, the moving image generating unit 113 changes the size of the still image frame 201 of one of the plurality of still images so that the size gradually decreases from the entire upper width. A frame (moving image) is generated so that a region that moves while changing the position in the frame 201 to the lower right is cut out as a frame 203.
Thus, the complexity increases in the order of pan shown in FIG. 8A, zoom in shown in FIG. 8B, and pan zoom in shown in FIG. 8C.

なお、動画生成部113は、複数の静止画のうち各静止画に対応するフレームに対して、同一の画像内効果をかける画像処理を行ってもよく、又は、それぞれ異なる画像内効果をかける画像処理を行ってもよい。また、動画生成部113は、例えば、静止画内の中央部分といった所定範囲内に限定して、画像内効果をかける画像処理を行ってもよい。   Note that the moving image generation unit 113 may perform image processing that applies the same in-image effect to a frame corresponding to each still image among a plurality of still images, or images that apply different in-image effects. Processing may be performed. Further, the moving image generation unit 113 may perform image processing that applies an in-image effect, for example, limited to a predetermined range such as a central portion in a still image.

[画像間効果の具体例]
次に、画像間効果の具体例について説明する。
画像間効果としては、例えば、以下のように、スライドイン、ズームイン及びブラインドイン等を設定することができる。動画生成条件判定部112が付与する画像間効果を決定する場合、これらのうち選択可能なものを任意に選択する、あるいは、優先順位を予め設定しておき、選択可能なものの中で優先順位が最も高いものを選択するといったことが可能である。なお、画像間効果は、これらの例に限定されることはなく、他の種類であってもよい。
[Specific examples of inter-image effects]
Next, a specific example of the inter-image effect will be described.
As an inter-image effect, for example, slide-in, zoom-in, and blind-in can be set as follows. When determining the inter-image effect provided by the moving image generation condition determination unit 112, a selectable one of these is arbitrarily selected, or a priority is set in advance, and the priority among the selectable ones is It is possible to select the highest one. The inter-image effect is not limited to these examples, and may be other types.

図9は、画像間効果の一例を示す図である。ここで、枠204は、先行して表示される1の静止画に対応する。また、枠205は、次の静止画に対応する。   FIG. 9 is a diagram illustrating an example of an inter-image effect. Here, the frame 204 corresponds to one still image displayed in advance. A frame 205 corresponds to the next still image.

図9(A)に示すように、動画生成部113は、切り替えの効果(画像間効果)としてスライドインの画像処理を行う。図9(A)に示すスライドインでは、動画生成部113は、1の静止画から次の静止画に切り替わる場合に、次の静止画の枠205を先行して表示される静止画の枠204における右端から左側に挿入されるように位置とサイズを変化させながらフレーム(動画)を生成する。   As shown in FIG. 9A, the moving image generating unit 113 performs slide-in image processing as a switching effect (inter-image effect). In the slide-in shown in FIG. 9A, when the moving image generating unit 113 switches from one still image to the next still image, the still image frame 204 displayed in advance of the next still image frame 205 is displayed. A frame (moving image) is generated while changing the position and size so that it is inserted from the right end to the left side.

また、図9(B)に示すように、動画生成部113は、切り替えの効果(画像間効果)としてズームインの画像処理を行う。図9(B)に示すズームインでは、動画生成部113は、1の静止画から次の静止画に切り替わる場合に、先行する静止画の枠204における中心部から次の静止画の枠205が徐々に拡大されるようにそのサイズを変化させながらフレーム(動画)を生成する。   As shown in FIG. 9B, the moving image generation unit 113 performs zoom-in image processing as a switching effect (inter-image effect). In the zoom-in shown in FIG. 9B, when the moving image generating unit 113 switches from one still image to the next still image, the frame 205 of the next still image gradually starts from the center of the frame 204 of the preceding still image. A frame (moving image) is generated while changing its size so as to be enlarged.

また、図9(C)に示すように、動画生成部113は、切り替えの効果(画像間効果)としてブラインドインの画像処理を行う。図9(C)に示すブラインドインでは、1の静止画から次の静止画に切り替わる場合に、先行する静止画の枠204が横方向の例えば3のストライプに分割され、各ストライプが上から下へ徐々に次の静止画の枠205に切り替わるようにそのサイズを変化させながらフレーム(動画)を生成する。
このように、図9(A)に示すスライドイン、図9(B)に示すズームイン、図9(C)に示すブラインドインの順に複雑度が高くなる。
As shown in FIG. 9C, the moving image generating unit 113 performs blind-in image processing as a switching effect (inter-image effect). In the blind-in shown in FIG. 9C, when switching from one still image to the next still image, the frame 204 of the preceding still image is divided into, for example, three stripes in the horizontal direction, and each stripe is from top to bottom. The frame (moving image) is generated while changing the size so that the frame is gradually switched to the frame 205 of the next still image.
Thus, the complexity increases in the order of the slide-in shown in FIG. 9A, the zoom-in shown in FIG. 9B, and the blind-in shown in FIG. 9C.

なお、動画生成部113は、静止画が切り替わるそれぞれのタイミングで、同一の画像間効果をかける画像処理を行ってもよく、又は、それぞれ異なる画像間効果をかける画像処理を行ってもよい。   Note that the moving image generation unit 113 may perform image processing that applies the same inter-image effect at each timing when the still image is switched, or may perform image processing that applies different inter-image effects.

[動画の具体的態様]
次に、上記機能によって生成される動画の具体的態様について説明する。
図10は、画像内効果及び画像間効果と動画のフレームとの時間の対応関係の概念を示す模式図である。なお、図10において、図10(A)は画像内効果及び画像間効果の両方を設定する場合、図10(B)は画像間効果のみを設定する場合、図10(C)は画像内効果のみを設定する場合、図10(D)は画像内効果及び画像間効果のいずれも設定しない場合を示している。また、図10におけるm,nはフレーム数を示す自然数である。図10においては、5枚の静止画から1つの動画が生成される場合を例として説明する。
図10(A)に示すように、画像内効果及び画像間効果の両方を設定する場合、動画生成部113は、1枚の静止画につき所定の表示時間Ptを割り当てる。また、動画生成部113は、先行する静止画における表示時間Ptの末尾と次の静止画における表示時間Ptの先頭に、画像間効果を設定した複数のフレームTを割り当てる。さらに、動画生成部113は、画像間効果を設定したフレームTに割り当てられた部分以外の表示時間Ptに、画像内効果を設定した各静止画に対応するフレーム(F1a,F1b,F1c,・・・,F1n)、(F2a,F2b,F2c,・・・,F2m)、・・・、(F5a,F5b,F5c,・・・,F5n)を割り当てる。
[Specific mode of video]
Next, a specific mode of the moving image generated by the above function will be described.
FIG. 10 is a schematic diagram showing the concept of time correspondence between intra-image effects and inter-image effects and moving image frames. In FIG. 10, FIG. 10A shows a case where both an intra-image effect and an inter-image effect are set, FIG. 10B shows a case where only an inter-image effect is set, and FIG. 10C shows an intra-image effect. 10D shows a case where neither the intra-image effect nor the inter-image effect is set. Further, m and n in FIG. 10 are natural numbers indicating the number of frames. In FIG. 10, a case where one moving image is generated from five still images will be described as an example.
As shown in FIG. 10A, when both the intra-image effect and the inter-image effect are set, the moving image generating unit 113 assigns a predetermined display time Pt to one still image. In addition, the moving image generation unit 113 assigns a plurality of frames T in which an inter-image effect is set to the end of the display time Pt in the preceding still image and the start of the display time Pt in the next still image. Furthermore, the moving image generating unit 113 performs the frame (F1a, F1b, F1c,... Corresponding to each still image for which the in-image effect is set at the display time Pt other than the portion assigned to the frame T for which the inter-image effect is set. , F1n), (F2a, F2b, F2c,..., F2m),..., (F5a, F5b, F5c,..., F5n) are assigned.

また、図10(B)に示すように、画像間効果のみを設定する場合、動画生成部113は、1枚の静止画につき所定の表示時間Ptを割り当てる。また、動画生成部113は、先行する静止画における表示時間Ptの末尾と次の静止画における表示時間Ptの先頭に、画像間効果を設定した複数のフレームTを割り当てる。さらに、動画生成部113は、画像間効果を設定したフレームTに割り当てられた部分以外の表示時間Ptに、各静止画に対応するフレームF1、F2、・・・、F5を割り当てる。なお、画像内効果が設定されないことから、画像間効果を設定したフレームTに割り当てられた部分以外の表示時間Ptでは、各静止画に対応する同一のフレームF1〜F5が繰り返し表示される。   As shown in FIG. 10B, when only the inter-image effect is set, the moving image generating unit 113 assigns a predetermined display time Pt to one still image. In addition, the moving image generation unit 113 assigns a plurality of frames T in which an inter-image effect is set to the end of the display time Pt in the preceding still image and the start of the display time Pt in the next still image. Furthermore, the moving image generating unit 113 assigns frames F1, F2,..., F5 corresponding to each still image to the display time Pt other than the portion assigned to the frame T in which the inter-image effect is set. Since the intra-image effect is not set, the same frames F1 to F5 corresponding to each still image are repeatedly displayed in the display time Pt other than the portion assigned to the frame T for which the inter-image effect is set.

また、図10(C)に示すように、画像内効果のみを設定する場合、動画生成部113は、1枚の静止画につき所定の表示時間Ptを割り当てる。また、動画生成部113は、各静止画の表示時間Ptに、画像内効果を設定した各静止画に対応するフレーム(F1a,F1b,F1c,・・・,F1n)、(F2a,F2b,F2c,・・・,F2m)、・・・、(F5a,F5b,F5c,・・・,F5n)を割り当てる。   As shown in FIG. 10C, when only the in-image effect is set, the moving image generating unit 113 assigns a predetermined display time Pt to one still image. In addition, the moving image generation unit 113 displays the frames (F1a, F1b, F1c,..., F1n), (F2a, F2b, F2c) corresponding to the still images for which the in-image effect is set during the display time Pt of each still image. , ..., F2m), ..., (F5a, F5b, F5c, ..., F5n).

また、図10(D)に示すように、画像内効果及び画像間効果のいずれも設定しない場合、動画生成部113は、1枚の静止画につき所定の表示時間Ptを割り当てる。また、動画生成部113は、各静止画の表示時間Ptに、各静止画に対応するフレームF1、F2、・・・、F5を割り当てる。なお、画像内効果が設定されないことから、各静止画の表示時間Ptでは、各静止画に対応する同一のフレームF1〜F5が繰り返し表示される。   As shown in FIG. 10D, when neither the intra-image effect nor the inter-image effect is set, the moving image generating unit 113 assigns a predetermined display time Pt to one still image. In addition, the moving image generation unit 113 assigns frames F1, F2,..., F5 corresponding to each still image to the display time Pt of each still image. Since the in-image effect is not set, the same frames F1 to F5 corresponding to each still image are repeatedly displayed during the display time Pt of each still image.

図10に示すように、動画属性設定部111によって設定される再生時間が長いほど、複雑な効果をかける画像処理を行うことができる。また、本実施形態において、動画属性設定部111によって設定される再生時間が所定の閾値未満の場合には、フレームの切り替えが表示時間に比して過度に頻繁になることから、画像内効果及び画像間効果のいずれも設定しない。   As shown in FIG. 10, the longer the playback time set by the moving image attribute setting unit 111, the more complex the image processing can be performed. Further, in the present embodiment, when the playback time set by the moving image attribute setting unit 111 is less than a predetermined threshold, the frame switching becomes excessively more frequent than the display time. Do not set any of the inter-image effects.

[動作]
次に、動作を説明する。
図11は、図2の機能的構成を有する図1の画像処理装置1が実行する動画生成処理の流れを示すフローチャートである。
[Operation]
Next, the operation will be described.
FIG. 11 is a flowchart showing the flow of a moving image generation process executed by the image processing apparatus 1 of FIG. 1 having the functional configuration of FIG.

図11に示すステップS1において、動画属性設定部111は、ユーザの選択に基づいて、生成する動画の属性を設定する。具体的には、動画属性設定部111は、生成する動画の再生時間、生成する動画のアスペクト比及び生成する動画の画像サイズを設定する。また、動画属性設定部111は、画像内効果及び画像間効果の設定の有無を受け付ける。さらに、動画属性設定部111は、生成する動画のフレームレートを設定する。動画属性設定部111は、生成元となる静止画を設定する。   In step S1 shown in FIG. 11, the moving image attribute setting unit 111 sets the attribute of the moving image to be generated based on the user's selection. Specifically, the moving image attribute setting unit 111 sets the reproduction time of the moving image to be generated, the aspect ratio of the moving image to be generated, and the image size of the moving image to be generated. In addition, the moving image attribute setting unit 111 accepts the presence / absence of setting of an in-image effect and an inter-image effect. Furthermore, the moving image attribute setting unit 111 sets the frame rate of the moving image to be generated. The moving image attribute setting unit 111 sets a still image as a generation source.

なお、ステップS1において、画像内効果及び画像間効果については、設定された再生時間と、その再生時間に対応付けられている複雑度とに基づいて、動画生成条件判定部112によって予め設定の可否を判定し、許容される範囲内でユーザが任意の種類を選択できるようにしてもよい。
また、動画属性設定部111は、動画を生成する静止画として、ユーザの選択に基づいて、記憶部19に記憶された5枚を設定する。設定される静止画の枚数は、5枚未満あるいは6枚以上としてもよい。即ち、1の動画を生成するための複数の静止画は、任意の枚数であってよい。
In step S1, whether or not the in-image effect and the inter-image effect can be set in advance by the moving image generation condition determination unit 112 based on the set playback time and the complexity associated with the playback time. The user may be allowed to select any type within an allowable range.
In addition, the moving image attribute setting unit 111 sets five images stored in the storage unit 19 as still images for generating a moving image, based on the user's selection. The number of still images to be set may be less than 5 or 6 or more. That is, the number of still images for generating one moving image may be an arbitrary number.

ステップS2において、動画属性設定部111は、ステップS1にて設定された静止画に基づいて、リムーバブルメディア31から静止画を読み込む。
ステップS3において、動画属性設定部111は、ステップS2にて読み込んだ静止画のExif情報等に基づいて、その静止画のアスペクト比及び画像サイズを取得する。
In step S <b> 2, the moving image attribute setting unit 111 reads a still image from the removable medium 31 based on the still image set in step S <b> 1.
In step S3, the moving image attribute setting unit 111 acquires the still image aspect ratio and image size based on the Exif information of the still image read in step S2.

ステップS4において、動画生成条件判定部112は、ステップS1にて設定された動画の再生時間が第1の閾値以上であるか否かを判断する。再生時間が第1の閾値以上の場合(YES)には、動画生成条件判定部112は、処理をステップS5に進める。再生時間が第1の閾値未満の場合(NO)には、動画生成条件判定部112は、処理をステップS12に進める。   In step S4, the moving image generation condition determination unit 112 determines whether the reproduction time of the moving image set in step S1 is equal to or greater than a first threshold value. When the reproduction time is equal to or greater than the first threshold (YES), the moving image generation condition determination unit 112 advances the process to step S5. When the reproduction time is less than the first threshold (NO), the moving image generation condition determination unit 112 advances the process to step S12.

ステップS5において、動画生成条件判定部112は、ステップS1にて画像内効果をかけるよう設定されているか否かを判定する。画像内効果をかけるよう設定されている場合(YES)には、動画生成条件判定部112は、処理をステップS6に進める。画像内効果をかけるよう設定されていない場合(NO)には、動画生成条件判定部112は、処理をステップS8に進める。   In step S5, the moving image generation condition determination unit 112 determines whether or not it is set to apply the in-image effect in step S1. If it is set to apply the in-image effect (YES), the moving image generation condition determination unit 112 advances the process to step S6. If it is not set to apply the in-image effect (NO), the moving image generation condition determination unit 112 advances the process to step S8.

ステップS6において、動画生成条件判定部112は、ステップS1にて設定された動画の再生時間に応じて画像内効果を決定すると共に、動画生成部113は、その画像内効果をかけ、設定された画像サイズに調整する画像処理を行う。   In step S6, the moving image generation condition determination unit 112 determines an in-image effect according to the reproduction time of the moving image set in step S1, and the moving image generation unit 113 applies and sets the in-image effect. Perform image processing to adjust the image size.

ステップS7において、動画生成部113は、ステップS1にて設定されたフレームレートに基づいて、1枚の静止画から生成するフレームの数が規定のフレーム数に到達したか否かを判定する。規定フレーム数に到達していないと判定された場合(NO)には、動画生成部113は、処理をステップS6に戻す。規定のフレーム数に到達したと判定された場合(YES)には、動画生成部113は、処理をステップS10に進める。   In step S7, the moving image generating unit 113 determines whether or not the number of frames generated from one still image has reached the prescribed number based on the frame rate set in step S1. If it is determined that the specified number of frames has not been reached (NO), the moving image generating unit 113 returns the process to step S6. If it is determined that the specified number of frames has been reached (YES), the moving image generating unit 113 advances the process to step S10.

ステップS8は、ステップS5にて「NO」と判断された場合に到達する。ステップS8において、動画生成部113は、ステップS1にて設定されたアスペクト比及び画像サイズに調整する画像処理を行う。   Step S8 is reached when it is determined “NO” in step S5. In step S8, the moving image generating unit 113 performs image processing for adjusting to the aspect ratio and image size set in step S1.

ステップS9において、動画生成部113は、ステップS1にて設定されたフレームレートに基づいて、1枚の静止画から生成するフレームの数が規定のフレーム数に到達したか否かを判定する。規定フレーム数に到達していないと判定された場合(NO)には、動画生成部113は、ステップS9の判定を再度行う。規定のフレーム数に到達したと判定された場合(YES)には、動画生成部113は、処理をステップS10に進める。   In step S9, the moving image generating unit 113 determines whether or not the number of frames generated from one still image has reached the prescribed number based on the frame rate set in step S1. When it is determined that the specified number of frames has not been reached (NO), the moving image generating unit 113 performs the determination in step S9 again. If it is determined that the specified number of frames has been reached (YES), the moving image generating unit 113 advances the process to step S10.

ステップS10において、動画生成条件判定部112は、ステップS1にて画像間効果をかけるよう設定されているか否かを判定する。画像間効果をかけると判定された場合(YES)には、動画生成条件判定部112は、処理をステップS11に進める。画像内効果をかけないと判定された場合(NO)には、動画生成条件判定部112は、処理をステップS17に進める。   In step S10, the moving image generation condition determination unit 112 determines whether or not the setting is made to apply the inter-image effect in step S1. If it is determined that the inter-image effect is to be applied (YES), the moving image generation condition determination unit 112 advances the process to step S11. When it is determined that the in-image effect is not applied (NO), the moving image generation condition determination unit 112 advances the process to step S17.

ステップS11において、動画生成条件判定部112は、ステップS1にて設定された動画の再生時間に応じて画像間効果を決定すると共に、動画生成部113は、その画像間効果をかける画像処理を行う。ステップS11の後、処理は、ステップS17に進む。   In step S11, the moving image generation condition determination unit 112 determines an inter-image effect according to the moving image playback time set in step S1, and the moving image generation unit 113 performs image processing that applies the inter-image effect. . After step S11, the process proceeds to step S17.

ステップS12において、動画生成部113は、ステップS1にて設定されたアスペクト比及び画像サイズに調整する画像処理を行う。   In step S12, the moving image generating unit 113 performs image processing for adjusting to the aspect ratio and image size set in step S1.

ステップS13において、動画生成部113は、ステップS8と同様に、ステップS1にて設定されたフレームレートに基づいて、1枚の静止画から生成するフレームの数が規定のフレーム数に到達したか否かを判定する。規定フレーム数に到達していないと判定された場合(NO)には、動画生成部113は、ステップS13の判定を再度行う。規定のフレーム数に到達したと判定された場合(YES)には、動画生成部113は、処理をステップS14に進める。   In step S13, the moving image generation unit 113 determines whether the number of frames generated from one still image has reached the specified number of frames based on the frame rate set in step S1, as in step S8. Determine whether. When it is determined that the prescribed number of frames has not been reached (NO), the moving image generating unit 113 performs the determination in step S13 again. If it is determined that the specified number of frames has been reached (YES), the moving image generating unit 113 advances the process to step S14.

ステップS14において、動画生成部113は、ステップS1にて設定された動画の再生時間が第2の閾値以上であるか否かの判定を行う。再生時間が第2の閾値以上と判定された場合(YES)には、動画生成部113は、処理をステップS15に進める。再生時間が第2の閾値未満と判定された場合(NO)には、動画生成部113は、処理をステップS17に進める。   In step S14, the moving image generating unit 113 determines whether or not the reproduction time of the moving image set in step S1 is greater than or equal to the second threshold value. When it is determined that the reproduction time is equal to or greater than the second threshold (YES), the moving image generating unit 113 advances the process to step S15. When it is determined that the reproduction time is less than the second threshold (NO), the moving image generating unit 113 advances the process to step S17.

ステップS15において、動画生成条件判定部112は、ステップS1にて画像間効果をかけるよう設定されているか否かを判定する。画像間効果をかけると判定された場合(YES)には、動画生成条件判定部112は、処理をステップS16に進める。画像内効果をかけないと判定された場合(NO)には、動画生成条件判定部112は、処理をステップS17に進める。   In step S15, the moving image generation condition determination unit 112 determines whether or not the setting is made to apply the inter-image effect in step S1. If it is determined that the inter-image effect is to be applied (YES), the moving image generation condition determination unit 112 advances the process to step S16. When it is determined that the in-image effect is not applied (NO), the moving image generation condition determination unit 112 advances the process to step S17.

ステップS16において、動画生成条件判定部112は、ステップS1にて設定された動画の再生時間に応じて画像間効果を決定すると共に、動画生成部113は、その画像間効果をかける画像処理を行う。ステップS16の後、処理は、ステップS17に進む。   In step S16, the moving image generation condition determination unit 112 determines an inter-image effect according to the moving image playback time set in step S1, and the moving image generation unit 113 performs image processing that applies the inter-image effect. . After step S16, the process proceeds to step S17.

ステップS17において、動画生成部113は、ステップS1にて設定した枚数分の静止画を動画(フレーム)にしたか否かを判定する。設定した枚数分の処理が完了していないと判定された場合(NO)には、動画生成部113は、処理をステップS2に戻す。設定枚数分の処理が完了したと判定された場合(YES)には、動画生成部113は、処理を終了する。   In step S17, the moving image generating unit 113 determines whether or not the number of still images set in step S1 has been converted into moving images (frames). When it is determined that the processing for the set number of sheets has not been completed (NO), the moving image generating unit 113 returns the processing to step S2. When it is determined that the processing for the set number of sheets has been completed (YES), the moving image generating unit 113 ends the processing.

以上のように構成される画像処理装置1は、動画属性設定部111と、動画生成部113と、を備える。
動画属性設定部111は、生成する動画の再生時間又は生成する動画のアスペクト比を設定する。
動画生成部113は、動画属性設定部111によって設定された生成する動画の再生時間と生成元の静止画の枚数との関係、又は動画属性設定部111によって設定された生成する動画のアスペクト比と生成元の静止画のアスペクト比との関係に応じて、複数の静止画から動画を生成する処理の過程で、画像処理による効果をかける。
これにより、画像処理装置1は、より自由度が高く且つ効果的な動画を生成することができる。
The image processing apparatus 1 configured as described above includes a moving image attribute setting unit 111 and a moving image generation unit 113.
The moving image attribute setting unit 111 sets the reproduction time of the generated moving image or the aspect ratio of the generated moving image.
The moving image generation unit 113 includes a relationship between the reproduction time of the moving image to be generated set by the moving image attribute setting unit 111 and the number of generation still images, or the aspect ratio of the moving image to be generated set by the moving image attribute setting unit 111. The effect of image processing is applied in the process of generating a moving image from a plurality of still images in accordance with the relationship with the aspect ratio of the generation still image.
Thereby, the image processing apparatus 1 can generate an effective moving image with a higher degree of freedom.

また、画像処理装置1の動画生成部113は、生成元の静止画内の画像処理に使用する領域のサイズ又は位置を時系列で変化させることより効果を変える。
これにより、生成元の静止画における領域のサイズや位置を時系列で変化させる画像処理によって、効果的な動画を生成することができる。
In addition, the moving image generation unit 113 of the image processing apparatus 1 changes the effect by changing the size or position of an area used for image processing in the generation still image in time series.
Thus, an effective moving image can be generated by image processing that changes the size and position of the region in the generation source still image in time series.

また、画像処理装置1の動画生成部113は、生成元の静止画に対して効果をかける画像処理を行う。
これにより、画像処理装置1は、動画像とされる生成元の静止画について演出効果を設定することができる。
In addition, the moving image generation unit 113 of the image processing apparatus 1 performs image processing that applies an effect to the still image that is the generation source.
As a result, the image processing apparatus 1 can set the effect for the still image that is the source of the moving image.

なお、画像処理装置1の動画生成部113は、生成元の静止画の画像の所定の範囲内で効果をかける画像処理を行うこともできる。
この場合、画像処理装置1は、生成元の静止画における特定の部分(被写体が存在する部分や静止画の中央部分等)において演出効果を設定することができる。
Note that the moving image generation unit 113 of the image processing apparatus 1 can also perform image processing that applies an effect within a predetermined range of the image of the generation source still image.
In this case, the image processing apparatus 1 can set the effect in a specific portion (a portion where the subject exists, a central portion of the still image, or the like) in the still image that is the generation source.

また、画像処理装置1の動画生成部113は、生成元の1の静止画から次の静止画に置き換える過程において、置き換える過程の前後の2の静止画を使用して効果をかける画像処理を行う。
これにより、画像処理装置1は、生成元の静止画が切り替わる場合の切り替わりの効果(画像間効果)をかけることができる。
In addition, the moving image generation unit 113 of the image processing apparatus 1 performs image processing that applies an effect using the two still images before and after the replacement process in the process of replacing the one still image of the generation source with the next still image. .
Thereby, the image processing apparatus 1 can apply the switching effect (inter-image effect) when the generation-source still image is switched.

また、画像処理装置1の動画生成部113は、再生時間が長いほど、複雑な効果をかける画像処理を行う。
これにより、再生時間に応じた適切な演出効果を実現することができる。
Further, the moving image generation unit 113 of the image processing apparatus 1 performs image processing that applies a complicated effect as the reproduction time is longer.
Thereby, it is possible to realize an appropriate effect according to the reproduction time.

また、画像処理装置1の動画生成部113は、再生時間と枚数とから得られる生成元の静止画1枚あたりの再生時間が長いほど、複雑な効果をかける画像処理を行う。
これにより、静止画1枚の再生時間に応じて、適切に、複雑な演出効果をかけることができる。
In addition, the moving image generation unit 113 of the image processing apparatus 1 performs image processing with a more complicated effect as the reproduction time per generation still image obtained from the reproduction time and the number of images is longer.
Thereby, according to the reproduction time of one still picture, a complicated production effect can be applied appropriately.

また、画像処理装置1の動画生成部113は、再生時間が所定の閾値未満の場合には、効果をかける画像処理を行わない。
これにより、画像処理装置1は、再生時間に応じて演出効果を設定するか否かを適切に切り替えることができる。
In addition, the moving image generation unit 113 of the image processing apparatus 1 does not perform the image processing that applies the effect when the reproduction time is less than the predetermined threshold.
Thereby, the image processing apparatus 1 can appropriately switch whether or not to set the effect according to the reproduction time.

また、画像処理装置1の動画生成部113は、再生時間と枚数とから得られる生成元の静止画1枚あたりの再生時間が所定の閾値未満の場合には、効果をかける画像処理を行わない。
これにより、静止画1枚の再生時間に応じて、演出効果をかけるか否かを適切に切り替えることができる。
In addition, the moving image generation unit 113 of the image processing apparatus 1 does not perform the image processing that applies the effect when the reproduction time per generation still image obtained from the reproduction time and the number of images is less than a predetermined threshold. .
Thereby, according to the reproduction time of one still image, it can be switched appropriately whether or not the effect is applied.

また、画像処理装置1は、動画生成条件判定部112と、アスペクト比判定部114を備える。
動画生成条件判定部112は、動画を生成する処理の過程で、画像処理による効果をかけるか否かを判定する。
アスペクト比判定部114は、生成元の静止画と、生成する動画のアスペクト比とが一致するか否かを判定する。
この場合、動画生成部113は、アスペクト比判定部114によって一致しないと判定された場合に、生成元の静止画のアスペクト比を生成する動画のアスペクトに合わせる方法を、動画生成条件判定部112の判定結果に応じて変更する。
これにより、画像処理装置1は、生成元の静止画のアスペクト比と、生成する動画のアスペクト比とが異なる場合でも、効果をかけるか否かに応じて適切なアスペクト比の調整を行うことができる。
Further, the image processing apparatus 1 includes a moving image generation condition determination unit 112 and an aspect ratio determination unit 114.
The moving image generation condition determination unit 112 determines whether or not to apply an effect of image processing during the process of generating a moving image.
The aspect ratio determination unit 114 determines whether or not the generation still image matches the aspect ratio of the moving image to be generated.
In this case, when the moving image generation unit 113 determines that the aspect ratio determination unit 114 does not match, the moving image generation condition determination unit 112 sets a method for matching the aspect ratio of the moving image to generate the aspect ratio of the generation source still image. Change according to the judgment result.
As a result, the image processing apparatus 1 can adjust the aspect ratio appropriately depending on whether or not the effect is applied even when the aspect ratio of the still image as the generation source is different from the aspect ratio of the moving image to be generated. it can.

また、画像処理装置1の動画生成部113は、動画生成条件判定部112によって効果をかけないと判定された場合には、生成元の静止画の全体が含まれるように、余白を補間してアスペクト比を合わせる。
これにより、画像処理装置1は、静止画全体を表示させる形態でアスペクト比の調整を行うことができる。
Also, the moving image generation unit 113 of the image processing apparatus 1 interpolates the margin so that the entire still image of the generation source is included when the moving image generation condition determination unit 112 determines that the effect is not applied. Match the aspect ratio.
Thereby, the image processing apparatus 1 can adjust the aspect ratio in a form in which the entire still image is displayed.

また、画像処理装置1の動画生成部113は、動画生成条件判定部112によって効果をかけると判定された場合には、生成元の静止画内のアスペクト比に合わせた所定の範囲内において効果をかける。
これにより、画像処理装置1は、静止画内の一部を切り取る形態でアスペクト比の調整を行うことができる。
In addition, when the moving image generation unit 113 of the image processing apparatus 1 determines that the effect is to be applied by the moving image generation condition determination unit 112, the effect is within a predetermined range in accordance with the aspect ratio in the still image of the generation source. Call.
Thereby, the image processing apparatus 1 can adjust the aspect ratio in a form in which a part of the still image is cut out.

また、画像処理装置1は、被写体検出部115を備える。
被写体検出部115は、静止画における被写体を検出する。
この場合、動画生成部113は、被写体検出部115によって検出された被写体が画像内に保たれるように効果をかける。
これにより、画像処理装置1は、被写体が含まれない範囲に効果をかけた不自然な動画が生成されるのを回避することができる。
Further, the image processing apparatus 1 includes a subject detection unit 115.
The subject detection unit 115 detects a subject in a still image.
In this case, the moving image generation unit 113 applies an effect so that the subject detected by the subject detection unit 115 is kept in the image.
As a result, the image processing apparatus 1 can avoid the generation of an unnatural moving image that is effective in a range that does not include the subject.

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、本発明が適用される画像処理装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、複数の静止画から1の動画を生成する機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、パーソナルコンピュータ、スマートフォン、タブレット型コンピュータ、携帯ゲーム機等に適用可能である。
In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
In the above-described embodiment, the image processing apparatus 1 to which the present invention is applied has been described by taking a digital camera as an example, but is not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having a function of generating one moving image from a plurality of still images. Specifically, for example, the present invention is applicable to personal computers, smart phones, tablet computers, portable game machines, and the like.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the image processing apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what functional blocks are used to realize this function is not particularly limited to the example of FIG. .
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。   The recording medium including such a program is not only constituted by the removable medium 31 of FIG. 1 distributed separately from the apparatus main body in order to provide the program to the user, but also in a state of being incorporated in the apparatus main body in advance. The recording medium etc. provided in The removable medium 31 is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disc is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disc), a Blu-ray (registered trademark) Disc (Blu-ray Disc), and the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preliminarily incorporated in the apparatus main body includes, for example, the ROM 12 in FIG. 1 in which a program is recorded, the hard disk included in the storage unit 19 in FIG.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the order, but is not necessarily performed in chronological order, either in parallel or individually. The process to be executed is also included.

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalents thereof.

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
複数の静止画から1の動画を生成する画像処理装置であって、
生成する動画の再生時間又は生成する前記動画のアスペクト比を設定する動画属性設定手段と、
前記動画属性設定手段によって設定された生成する前記動画の前記再生時間と生成元の前記静止画の枚数との関係、又は前記動画属性設定手段によって設定された生成する前記動画のアスペクト比と生成元の前記静止画のアスペクト比との関係に応じて、複数の前記静止画から前記動画を生成する処理の過程で、画像処理による効果をかける動画生成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記動画生成手段は、生成元の前記静止画内の画像処理に使用する領域のサイズ又は位置を時系列で変化させることより効果を変えることを特徴とする付記1に記載の画像処理装置。
[付記3]
前記動画生成手段は、生成元の1の前記静止画を使用して効果をかける画像処理を行うことを特徴とする付記1又は2に記載の画像処理装置。
[付記4]
前記動画生成手段は、生成元の1の前記静止画から次の前記静止画に置き換える過程において、前記置き換える過程の前後の2の前記静止画を使用して効果をかける画像処理を行うことを特徴とする付記1から3のいずれか1つに記載の画像処理装置。
[付記5]
前記動画生成手段は、前記再生時間が長いほど、複雑な効果をかける画像処理を行うことを特徴とする付記1から4のいずれか1つに記載の画像処理装置。
[付記6]
前記動画生成手段は、前記再生時間と前記枚数とから得られる生成元の前記静止画1枚あたりの再生時間が長いほど、複雑な効果をかける画像処理を行うことを特徴とする付記5に記載の画像処理装置。
[付記7]
前記動画生成手段は、前記再生時間が所定の閾値未満の場合には、効果をかける画像処理を行わないことを特徴とする付記1から6のいずれか1つに記載の画像処理装置。
[付記8]
前記動画生成手段は、前記再生時間と前記枚数とから得られる生成元の前記静止画1枚あたりの再生時間が所定の閾値未満の場合には、効果をかける画像処理を行わないことを特徴とする付記7に記載の画像処理装置。
[付記9]
前記動画を生成する処理の過程で、画像処理による効果をかけるか否かを判定する動画生成条件判定手段と、
生成元の前記静止画と生成する前記動画のアスペクト比とが一致するか否かを判定するアスペクト比判定手段と、をさらに備え、
前記動画生成手段は、前記アスペクト比判定手段によって前記アスペクト比が一致しないと判定された場合に、生成元の前記静止画のアスペクト比を生成する前記動画のアスペクトに合わせる方法を、前記動画生成条件判定手段の判定結果に応じて変更することを特徴とする付記1から8のいずれか1つに記載の画像処理装置。
[付記10]
前記動画生成手段は、前記動画生成条件判定手段によって効果をかけないと判定された場合には、生成元の前記静止画の全体が含まれるように、余白を補間してアスペクト比を合わせることを特徴とする付記9に記載の画像処理装置。
[付記11]
前記動画生成手段は、前記動画生成条件判定手段によって効果をかけると判定された場合には、生成元の前記静止画内の前記アスペクト比に合わせた所定の範囲内において効果をかけることを特徴とする付記9に記載の画像処理装置。
[付記12]
前記静止画における被写体を検出する被写体検出手段を備え、
前記動画生成手段は、前記被写体検出手段によって検出された被写体が画像内に保たれるように効果をかけることを特徴とする付記1から11のいずれか1つに記載の画像処理装置。
[付記13]
複数の静止画から1の動画を生成する画像処理方法であって、
生成する動画の再生時間又は生成する前記動画のアスペクト比を設定する動画属性設定ステップと、
前記動画属性設定ステップにおいて設定された生成する前記動画の前記再生時間と生成元の前記静止画の枚数との関係、又は前記動画属性設定ステップにおいて設定された生成する前記動画のアスペクト比と生成元の前記静止画のアスペクト比との関係に応じて、複数の前記静止画から前記動画を生成する処理の過程で、画像処理による効果をかける動画生成ステップと、
を含むことを特徴とする画像処理方法。
[付記14]
複数の静止画から1の動画を生成する画像処理コンピュータにおいて実行されるプログラムであって、
生成する動画の再生時間又は生成する前記動画のアスペクト比を設定する動画属性設定機能と、
前記動画属性設定機能によって設定された生成する前記動画の前記再生時間と生成元の前記静止画の枚数との関係、又は前記動画属性設定機能によって設定された生成する前記動画のアスペクト比と生成元の前記静止画のアスペクト比との関係に応じて、複数の前記静止画から前記動画を生成する処理の過程で、画像処理による効果をかける動画生成機能と、
を実現させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
An image processing device that generates one moving image from a plurality of still images,
Movie attribute setting means for setting a playback time of a movie to be generated or an aspect ratio of the movie to be generated;
The relationship between the playback time of the moving image to be generated set by the moving image attribute setting means and the number of still images of the generation source, or the aspect ratio and the generation source of the moving image set by the moving image attribute setting means In accordance with the relationship with the aspect ratio of the still image, a moving image generating means for applying an effect by image processing in the process of generating the moving image from a plurality of the still images,
An image processing apparatus comprising:
[Appendix 2]
The image processing apparatus according to appendix 1, wherein the moving image generation means changes the effect by changing the size or position of an area used for image processing in the still image as a generation source in time series.
[Appendix 3]
The image processing apparatus according to appendix 1 or 2, wherein the moving image generating means performs an image process that applies an effect using the still image of the generation source.
[Appendix 4]
The moving image generation means performs image processing that applies an effect using the two still images before and after the replacement process in the process of replacing the still image of the generation source with the next still image. The image processing apparatus according to any one of supplementary notes 1 to 3.
[Appendix 5]
The image processing apparatus according to any one of appendices 1 to 4, wherein the moving image generation means performs image processing that applies a complex effect as the reproduction time is longer.
[Appendix 6]
The appendix 5 is characterized in that the moving image generating means performs image processing that applies a complex effect as the reproduction time per still image of the generation source obtained from the reproduction time and the number of images is longer. Image processing apparatus.
[Appendix 7]
The image processing apparatus according to any one of appendices 1 to 6, wherein the moving image generation unit does not perform an image process to apply an effect when the reproduction time is less than a predetermined threshold.
[Appendix 8]
The moving image generation means does not perform an image processing that applies an effect when the reproduction time per one still image of the generation source obtained from the reproduction time and the number of images is less than a predetermined threshold value. The image processing apparatus according to appendix 7.
[Appendix 9]
A moving image generation condition determining means for determining whether or not to apply an effect of image processing in the process of generating the moving image;
Aspect ratio determining means for determining whether or not the still image of the generation source and the aspect ratio of the moving image to be generated match,
The moving image generation means, when the aspect ratio determination means determines that the aspect ratios do not match, a method of generating an aspect ratio of the still image as a generation source to match the aspect of the moving image, the moving image generation condition The image processing apparatus according to any one of appendices 1 to 8, wherein the image processing apparatus is changed according to a determination result of the determination unit.
[Appendix 10]
When the moving image generation means determines that the effect is not applied by the moving image generation condition determination means, the moving image generation means adjusts the aspect ratio by interpolating margins so that the entire still image of the generation source is included. The image processing apparatus according to appendix 9, which is characterized.
[Appendix 11]
The moving image generation means applies an effect within a predetermined range in accordance with the aspect ratio in the still image as a generation source when the moving image generation condition determination means determines that the effect is to be applied. The image processing apparatus according to appendix 9.
[Appendix 12]
Subject detection means for detecting a subject in the still image;
The image processing apparatus according to any one of appendices 1 to 11, wherein the moving image generating unit applies an effect so that the subject detected by the subject detecting unit is maintained in the image.
[Appendix 13]
An image processing method for generating one moving image from a plurality of still images,
A video attribute setting step for setting a playback time of a video to be generated or an aspect ratio of the video to be generated;
The relationship between the playback time of the moving image to be generated set in the moving image attribute setting step and the number of still images of the generation source, or the aspect ratio and the generation source of the moving image set in the moving image attribute setting step A moving image generating step for applying an effect of image processing in a process of generating the moving image from a plurality of the still images according to the relationship with the aspect ratio of the still image;
An image processing method comprising:
[Appendix 14]
A program executed in an image processing computer for generating one moving image from a plurality of still images,
A video attribute setting function for setting a playback time of a video to be generated or an aspect ratio of the video to be generated;
The relationship between the playback time of the moving image to be generated set by the moving image attribute setting function and the number of still images of the generating source, or the aspect ratio and the generating source of the moving image set by the moving image attribute setting function A moving image generating function that applies an effect of image processing in the process of generating the moving image from a plurality of still images according to the relationship with the aspect ratio of the still image;
A program characterized by realizing.

1・・・画像処理装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・出力部,19・・・記録部,20・・・通信部,21・・・ドライブ,31・・・リムーバブルメディア,111・・・動画属性設定部,112・・・動画生成条件判定部,113・・・動画生成部,114・・・アスペクト比判定部,115・・・被写体検出部,211・・・画像内効果複雑度テーブル,212・・・画像間効果複雑度テーブル,213・・・効果付与条件判定部   DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input / output interface, 16 ... Imaging part, 17 ... Input unit 18 ... Output unit 19 ... Recording unit 20 ... Communication unit 21 ... Drive 31 ... Removable media 111 ... Movie attribute setting unit 112 Movie generation condition determination unit, 113... Movie generation unit, 114... Aspect ratio determination unit, 115... Subject detection unit, 211. Complexity table, 213... Effect imparting condition determination unit

Claims (11)

1の静止画から複数の異なる領域を切り抜く切抜手段と、
前記切抜手段により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成手段と、
を備え、
前記切抜手段は、前記動画生成手段が生成する動画が、その再生時間に応じて時系列に変化する変化度合が異なる動画となるように、切り抜く領域のサイズを時系列で変化させる変化度合を異ならせて、複数の異なるサイズの領域を切り抜くことを特徴とする画像処理装置。
Clipping means for clipping a plurality of different areas from one still image;
A moving image generating means for generating a single moving image by temporally combining the images of the plurality of regions cut out by the cutting means;
With
The clipping means has a different degree of change that changes the size of the clipped area in time series so that the moving picture generated by the moving picture generation means has a different degree of change that changes in time series according to the playback time. so, the image processing apparatus characterized by cutting out a region of a plurality of different sizes.
前記切抜手段は、前記再生時間に応じて、更に、切り抜く領域のサイズを時系列で変化させる変化度合を異ならせて、複数の異なるサイズの領域を切り抜くことに替えて、複数の同じサイズの異なる位置の領域を切り抜くことを特徴とする請求項1に記載の画像処理装置。The cutout means further changes the size of the cutout area in time series according to the playback time, and changes the plurality of different size areas in place of cutting out different size areas. The image processing apparatus according to claim 1, wherein a position area is cut out. 前記切抜手段は、前記再生時間が短い場合に、複数の同じサイズの異なる位置の領域を切り抜く、ことを特徴とする請求項2に記載の画像処理装置。The image processing apparatus according to claim 2, wherein the cutout unit cuts out a plurality of regions having different positions of the same size when the reproduction time is short. 1の静止画から複数の異なる領域を切り抜く切抜手段と、
前記切抜手段により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成手段と、
を備え、
前記切抜手段は、1の静止画から、当該1の静止画のアスペクト比とは異なるアスペクト比である複数の異なる領域を切り抜き
前記動画生成手段は、生成する動画の再生時間に応じて、前記切抜手段による複数の異なる領域の切り抜きを行わずに、前記1の静止画を時間的に結合して、当該1の静止画とは異なるアスペクト比である1の動画を生成する、
ことを特徴とする画像処理装置。
Clipping means for clipping a plurality of different areas from one still image;
A moving image generating means for generating a single moving image by temporally combining the images of the plurality of regions cut out by the cutting means;
With
The clipping means cuts out a plurality of different areas having an aspect ratio different from the aspect ratio of the one still image from one still image ,
The moving image generation means combines the one still image temporally without cutting out a plurality of different areas by the clipping means according to the reproduction time of the moving image to be generated. Produces a video with a different aspect ratio,
An image processing apparatus.
前記動画生成手段は、前記再生時間が短い場合に、前記1の静止画を時間的に結合して、前記動画を生成することを特徴とする請求項4に記載の画像処理装置。The image processing apparatus according to claim 4, wherein the moving image generation unit generates the moving image by temporally combining the one still images when the reproduction time is short. 前記動画生成手段は、前記1の静止画が当該1の静止画とは異なるアスペクト比となるように画像処理を行い、前記動画を生成することを特徴とする請求項4又は5に記載の画像処理装置。6. The image according to claim 4, wherein the moving image generation unit generates the moving image by performing image processing so that the one still image has an aspect ratio different from that of the one still image. Processing equipment. 前記切抜手段は、複数の静止画各々から複数の異なる領域を切り抜き、
前記動画生成手段は、前記切抜手段により前記複数の静止画各々から切り抜かれた複数の領域を、当該静止画毎に時間的に結合して、1の動画を生成する、
ことを特徴とする請求項又はに記載の画像処理装置。
The cutout means cuts out a plurality of different regions from each of a plurality of still images,
The moving image generating means generates a single moving image by temporally combining a plurality of regions clipped from each of the plurality of still images by the clipping means for each still image.
The image processing apparatus according to claim 1 or 4 ,
前記動画生成手段は、前記動画の再生時間に応じて、前記複数の静止画の内の1から他の静止画に置き換える過程の演出効果が異なるように、画像処理を行うことを特徴とする請求項7に記載の画像処理装置。 The moving image generation means performs image processing so that an effect in a process of replacing one of the plurality of still images with another still image varies depending on a reproduction time of the moving image. Item 8. The image processing device according to Item 7. 前記静止画における被写体を検出する被写体検出手段を、更に備え、
前記切抜手段は、前記被写体検出手段によって検出された被写体が切り抜く領域各々に含まれ、かつ異なる領域となるように複数の領域の画像を切り抜くことを特徴とする請求項1からのいずれか1項に記載の画像処理装置。
Subject detection means for detecting a subject in the still image,
Said cutout means, said included in each region to clip the subject detected by the subject detecting means, and any one of claims 1, wherein the cutting out an image of a plurality of areas so that different regions 8 in 1 The image processing apparatus according to item.
1の静止画から複数の異なる領域を切り抜く切抜処理と、
前記切抜処理により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成処理と、
を含み、
前記切抜処理においては、前記動画生成処理が生成する動画が、その再生時間に応じて時系列に変化する変化度合が異なる動画となるように、切り抜く領域のサイズを時系列で変化させる変化度合を異ならせて、複数の異なるサイズの領域を切り抜くことを特徴とする画像処理方法。
A cropping process for cropping a plurality of different areas from one still image;
A moving image generation process for generating a single moving image by temporally combining the images of the plurality of regions cut out by the clipping process;
Including
In the clipping process, the degree of change that changes the size of the area to be clipped in time series so that the moving picture generated by the moving picture generation process has a different degree of change that changes in time series according to the playback time. An image processing method characterized in that a plurality of different size areas are cut out differently.
1の静止画から複数の異なる領域を切り抜く切抜処理と、
前記切抜処理により切り抜かれた複数の領域の画像を時間的に結合して、1の動画を生成する動画生成処理と、
を含み、
前記切抜処理においては、1の静止画から、当該1の静止画のアスペクト比とは異なるアスペクト比である複数の異なる領域を切り抜き
前記動画生成処理においては、生成する動画の再生時間に応じて、前記切抜処理における複数の異なる領域を切り抜く処理を行わずに、前記1の静止画を時間的に結合して、当該1の静止画とは異なるアスペクト比である1の動画を生成する、
ことを特徴とする画像処理方法。
A cropping process for cropping a plurality of different areas from one still image;
A moving image generation process for generating a single moving image by temporally combining the images of the plurality of regions cut out by the clipping process;
Including
In the cropping process, a plurality of different regions having an aspect ratio different from the aspect ratio of the one still image are cut out from one still image ,
In the moving image generation process, the one still image is temporally combined without performing a process of cutting out a plurality of different areas in the cutout process according to the reproduction time of the generated moving image, and the one still image Generate a video with an aspect ratio different from that of the image.
An image processing method.
JP2014056652A 2014-03-19 2014-03-19 Image processing apparatus and image processing method Expired - Fee Related JP6432141B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014056652A JP6432141B2 (en) 2014-03-19 2014-03-19 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014056652A JP6432141B2 (en) 2014-03-19 2014-03-19 Image processing apparatus and image processing method

Publications (3)

Publication Number Publication Date
JP2015179978A JP2015179978A (en) 2015-10-08
JP2015179978A5 JP2015179978A5 (en) 2017-03-30
JP6432141B2 true JP6432141B2 (en) 2018-12-05

Family

ID=54263742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014056652A Expired - Fee Related JP6432141B2 (en) 2014-03-19 2014-03-19 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP6432141B2 (en)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3041360B2 (en) * 1990-08-31 2000-05-15 工業技術院長 Generating moving images
JP2889755B2 (en) * 1992-03-02 1999-05-10 三洋電機株式会社 Wipe circuit
JP2005033267A (en) * 2003-07-07 2005-02-03 Sharp Corp Method for converting still picture into moving picture
JP2005167689A (en) * 2003-12-03 2005-06-23 Canon Inc Image reproducing apparatus
JP2005303908A (en) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd Image editing apparatus, method, and program
JP4647343B2 (en) * 2005-02-28 2011-03-09 富士フイルム株式会社 Photo movie creation device and photo movie creation program
JP2006174178A (en) * 2004-12-16 2006-06-29 Fuji Photo Film Co Ltd Apparatus and program for generating index image of photo movie
JP2006229467A (en) * 2005-02-16 2006-08-31 Fuji Photo Film Co Ltd Photo movie creating apparatus, photo movie creating program, and object recognition method
JP4635675B2 (en) * 2005-03-24 2011-02-23 カシオ計算機株式会社 Imaging apparatus and program
JP4701791B2 (en) * 2005-03-30 2011-06-15 カシオ計算機株式会社 Image processing apparatus and program
JP4440164B2 (en) * 2005-04-22 2010-03-24 富士フイルム株式会社 Photo movie creation device and photo movie creation program
JP4744337B2 (en) * 2006-03-30 2011-08-10 三洋電機株式会社 Image playback device
JP4854486B2 (en) * 2006-12-05 2012-01-18 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 Image display device, image display method, and image display program
JP2010232814A (en) * 2009-03-26 2010-10-14 Nikon Corp Video editing program, and video editing device
JP5398408B2 (en) * 2009-08-07 2014-01-29 オリンパスイメージング株式会社 CAMERA, CAMERA CONTROL METHOD, DISPLAY CONTROL DEVICE, AND DISPLAY CONTROL METHOD
JP5436975B2 (en) * 2009-08-21 2014-03-05 オリンパスイメージング株式会社 CAMERA, CAMERA DISPLAY CONTROL METHOD, DISPLAY DEVICE, AND DISPLAY METHOD
JP2011239021A (en) * 2010-05-06 2011-11-24 Nikon Corp Moving image creation device, imaging device and moving image creation program
JP6178048B2 (en) * 2012-06-06 2017-08-09 ソニー株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2015179978A (en) 2015-10-08

Similar Documents

Publication Publication Date Title
KR101864059B1 (en) Mobile terminal and shooting method thereof
JP5347890B2 (en) Image processing apparatus and method, and program
US9443335B2 (en) Using narrow field of view monochrome camera for producing a zoomed image
JP4869270B2 (en) Imaging apparatus and image reproduction apparatus
JP2008233470A (en) Diaphragm controller and image processor
US20190075245A1 (en) Imaging device configured to control a region of imaging
KR102172114B1 (en) Moving image selection apparatus for selecting moving image to be combined, moving image selection method, and storage medium
JP2012119761A (en) Electronic apparatus, image processing method and program
JP2018061130A (en) Image processing device, image processing method, and program
JP2010258768A (en) Image display device and control method thereof, program and storage medium
JP2015012481A (en) Image processing device
JP6056551B2 (en) Image processing program and digital camera
JP2015037215A (en) Image processing apparatus, image processing method and program
JP2017143354A (en) Image processing apparatus and image processing method
JP2015061236A (en) Image processing apparatus, image processing method and program
TWI252044B (en) The projection device of photograph image and image processing method using the same and recorder media with recording program
JP6432141B2 (en) Image processing apparatus and image processing method
JP5387701B2 (en) Image processing device
JP6332864B2 (en) Image processing apparatus, image processing method, and program
JP6427859B2 (en) Image processing apparatus, image processing method, and program
JP2017212550A (en) Image reproducer, control method thereof, program, and storage medium
JP2015061234A (en) Image processing apparatus, image processing method and program
JP2014236244A (en) Image processing system, image processing program, and digital camera
JP2017054541A (en) Image processing apparatus, image processing method, and program
JP6742862B2 (en) Imaging device, image processing device, control method of imaging device, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181022

R150 Certificate of patent or registration of utility model

Ref document number: 6432141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees