JP2016058792A - Imaging apparatus, control method therefor, and program - Google Patents

Imaging apparatus, control method therefor, and program Download PDF

Info

Publication number
JP2016058792A
JP2016058792A JP2014181595A JP2014181595A JP2016058792A JP 2016058792 A JP2016058792 A JP 2016058792A JP 2014181595 A JP2014181595 A JP 2014181595A JP 2014181595 A JP2014181595 A JP 2014181595A JP 2016058792 A JP2016058792 A JP 2016058792A
Authority
JP
Japan
Prior art keywords
special effect
moving image
imaging apparatus
special
effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014181595A
Other languages
Japanese (ja)
Other versions
JP6346529B2 (en
JP2016058792A5 (en
Inventor
篤史 藤田
Atsushi Fujita
篤史 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014181595A priority Critical patent/JP6346529B2/en
Priority to EP15181738.4A priority patent/EP2993895A1/en
Priority to US14/839,787 priority patent/US9723201B2/en
Priority to CN201510551146.XA priority patent/CN105407266B/en
Priority to KR1020150123405A priority patent/KR101871675B1/en
Publication of JP2016058792A publication Critical patent/JP2016058792A/en
Publication of JP2016058792A5 publication Critical patent/JP2016058792A5/ja
Application granted granted Critical
Publication of JP6346529B2 publication Critical patent/JP6346529B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technology for controlling whether to make a special effect to be added to a plurality of moving images common in accordance with a type of the special effect.SOLUTION: An imaging apparatus includes: imaging means for capturing a plurality of moving images; control means for adding a common first special effect to each of the plurality of moving images and adding a second special effect that is determined for each moving image, to each of one or more moving images among the plurality of moving images; and generation means for generating a combination moving image from the plurality of moving images to which the special effects are added by the control means.SELECTED DRAWING: Figure 5

Description

本発明は、撮像装置、その制御方法、及びプログラムに関する。   The present invention relates to an imaging apparatus, a control method thereof, and a program.

近年、撮影した動画をインターネット上で共有するという動画共有サイトが発展し、クリエイティブで面白い動画を撮影したいというユーザのニーズが高まっている。しかしながら、動画撮影に慣れていない一般的なユーザにとって、クリエイティブで面白い動画を撮影するということは容易ではない。また、そのようなユーザにとっては、動画に特殊効果を加えたり、動画を結合したりするなどの編集作業が煩雑であることも、面白い動画を生成する上での課題となっている。   In recent years, video sharing sites for sharing captured videos on the Internet have been developed, and the needs of users who want to capture creative and interesting videos are increasing. However, it is not easy for a general user who is not familiar with moving image shooting to shoot a creative and interesting moving image. For such users, complicated editing operations such as adding special effects to moving images and combining moving images are also problems in generating interesting moving images.

動画の結合を容易にする技術として、特許文献１が知られている。特許文献１のデジタルカメラによれば、モード設定ダイヤルによって連続記録モードが設定されると、撮影した動画が、動画が記録されている既存のファイルに追加記録される。   As a technique for facilitating the combination of moving images, Patent Document 1 is known. According to the digital camera of Patent Document 1, when the continuous recording mode is set by the mode setting dial, the captured moving image is additionally recorded in an existing file in which the moving image is recorded.

また、スマートフォンアプリを中心に、簡単な操作でユーザに特殊効果を付加した動画撮影を可能とさせる機能が提案されている。例えば、動画に特殊な色・階調変換フィルタ効果を付加する機能や、予め決められた短秒の動画を複数回撮影し、それらを自動的に結合する機能などが提案されている。   In addition, a function that enables a user to take a moving image with a special effect by a simple operation has been proposed with a focus on a smartphone application. For example, a function of adding a special color / gradation conversion filter effect to a moving image, a function of photographing a predetermined short-second moving image a plurality of times, and automatically combining them are proposed.

特開２００２−２１８３８４号公報JP 2002-218384 A

結合された複数の動画を連続再生する場合、各動画に付加された特殊効果が連続的にユーザに認識される。従って、動画間の特殊効果の関係も動画の面白さに影響すると考えられるが、従来の技術はこの点を考慮していない。   When continuously playing a plurality of combined videos, special effects added to the videos are continuously recognized by the user. Therefore, it is considered that the relationship of special effects between moving images also affects the interest of moving images, but the conventional technology does not consider this point.

本発明はこのような状況に鑑みてなされたものであり、複数の動画に付加する特殊効果を共通化するか否かを、特殊効果の種類に応じて制御する技術を提供することを目的とする。   The present invention has been made in view of such a situation, and an object thereof is to provide a technique for controlling whether or not to share a special effect added to a plurality of moving images according to the type of the special effect. To do.

上記課題を解決するために、本発明は、複数の動画を撮影する撮影手段と、前記複数の動画の各々に対して、各動画に共通の第１の特殊効果を付加し、前記複数の動画のうちの１以上の動画の各々に対して、動画毎に決定される第２の特殊効果を付加する制御手段と、前記制御手段により特殊効果が付加された前記複数の動画から構成される結合動画を生成する生成手段と、を備えることを特徴とする撮像装置を提供する。   In order to solve the above-described problems, the present invention adds a first special effect common to each moving image to each of the plurality of moving images, and a plurality of moving images. A control means for adding a second special effect determined for each moving picture to each of one or more of the moving pictures, and a combination of the plurality of moving pictures to which the special effect is added by the control means An imaging apparatus comprising: a generating unit that generates a moving image.

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。   Other features of the present invention will become more apparent from the accompanying drawings and the following description of the preferred embodiments.

本発明によれば、複数の動画に付加する特殊効果を共通化するか否かを、特殊効果の種類に応じて制御することが可能となる。   According to the present invention, whether or not to share a special effect added to a plurality of moving images can be controlled according to the type of the special effect.

第１の実施形態に係る撮像装置１００の構成を示すブロック図。1 is a block diagram illustrating a configuration of an imaging apparatus 100 according to a first embodiment. 撮像装置１００が生成する、複数のチャプタを含む結合動画ファイルの概念図。FIG. 3 is a conceptual diagram of a combined moving image file including a plurality of chapters generated by the imaging apparatus 100. テンプレート合成効果の例を示す図。The figure which shows the example of a template synthetic | combination effect. 可変フレームレート効果の例を示す図。The figure which shows the example of a variable frame rate effect. 各種の特殊効果の分類を示す図。The figure which shows the classification of various special effects. 撮像装置１００による動画撮影処理を示すフローチャート。4 is a flowchart showing moving image shooting processing by the imaging apparatus 100. 図６のＳ６０３における特殊効果処理Ａ群の決定処理の詳細を示すフローチャート。7 is a flowchart showing details of a special effect process A group determination process in S603 of FIG. 図７のＳ７０２における特殊効果処理Ａ群の選択アルゴリズムの詳細を示すフローチャート。The flowchart which shows the detail of the selection algorithm of the special effect process A group in S702 of FIG. 特殊効果処理Ａ群の選択アルゴリズムにおける評価値の更新の概念図。The conceptual diagram of the update of the evaluation value in the selection algorithm of special effect process A group. 図６のＳ６０４における、特殊効果処理Ｂ群の可変フレームレート効果の決定処理の詳細を示すフローチャート。FIG. 7 is a flowchart showing details of variable frame rate effect determination processing for special effect processing group B in S604 of FIG. 6. FIG. 被写体の動きを検出する方法の概念図。The conceptual diagram of the method of detecting a motion of a to-be-photographed object. 動き判定エリアの概念図。The conceptual diagram of a motion determination area. 可変フレームレート効果の重みパターンを決定する方法の概念図。The conceptual diagram of the method of determining the weight pattern of a variable frame rate effect. 可変フレームレート効果の重みパターンの例を示す図。The figure which shows the example of the weight pattern of a variable frame rate effect. 図１０のＳ１００７における処理の詳細を示すフローチャート。11 is a flowchart showing details of processing in S1007 of FIG. 可変フレームレート効果決定処理の別の例を示す図。The figure which shows another example of a variable frame rate effect determination process. 可変フレームレート効果決定処理の更に別の例を示す図。The figure which shows another example of the variable frame rate effect determination process. 各種の特殊効果が付加された結合動画ファイルを例示する図。The figure which illustrates the joint animation file to which various special effects were added.

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。   Embodiments of the present invention will be described below with reference to the accompanying drawings. The technical scope of the present invention is determined by the claims, and is not limited by the following individual embodiments. In addition, not all combinations of features described in the embodiments are essential to the present invention.

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。図１において、１０１は複数のレンズ群と絞り機構を含む光学系であり、具体的には、測距用レンズ（ＦｏｃｕｓＬｅｎｓ）、ズーム用レンズ（ＺｏｏｍＬｅｎｓ）、及び絞り機構を含む。 [First Embodiment]
FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus 100 according to the first embodiment. In FIG. 1, reference numeral 101 denotes an optical system including a plurality of lens groups and a diaphragm mechanism, and specifically includes a distance measuring lens (FocusLens), a zoom lens (ZoomLens), and a diaphragm mechanism.

１０２はＣＣＤやＣＭＯＳ等からなる撮像素子であり、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。撮像素子１０２の表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。被写体像が撮像素子１０２上で結像されると、画像データ（画像信号）が生成され、メモリ１０３に記憶される。   Reference numeral 102 denotes an image sensor made up of a CCD, a CMOS, or the like, and includes an A / D converter that converts an analog signal into a digital signal. The surface of the image sensor 102 is covered with an RGB color filter such as a Bayer array, for example, so that color imaging can be performed. When the subject image is formed on the image sensor 102, image data (image signal) is generated and stored in the memory 103.

１０３はメモリであり、撮像素子１０２によって生成された画像信号や、撮像装置１００の処理全般に必要なデータなどを保持することができる。１０４は画像処理回路であり、メモリ１０３に保持された画像信号に対して所定の画素補間処理や色変換処理等を行う。画像処理回路１０４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて撮影条件を決定し、システム制御部１０５に撮影条件を通知する。また、画像処理回路１０４は、画像の解析、フィルタ処理、ノイズリダクション処理、合成処理などの各種機能を有し、後述するアルゴリズムに従って撮影シーンに最適な特殊効果を選択する特殊効果処理決定部を含む。   Reference numeral 103 denotes a memory, which can hold an image signal generated by the image sensor 102, data necessary for overall processing of the imaging apparatus 100, and the like. Reference numeral 104 denotes an image processing circuit, which performs predetermined pixel interpolation processing, color conversion processing, and the like on the image signal held in the memory 103. The image processing circuit 104 performs predetermined calculation processing using the captured image data, determines shooting conditions based on the obtained calculation results, and notifies the system control unit 105 of the shooting conditions. The image processing circuit 104 has various functions such as image analysis, filter processing, noise reduction processing, and composition processing, and includes a special effect processing determination unit that selects a special effect optimum for the shooting scene according to an algorithm described later. .

１０５は撮像装置１００全体を制御するシステム制御部である。システム制御部１０５は、画像処理回路１０４が決定した撮影条件で撮影を行うために、シャッター速度、絞り機構、フォーカスレンズ、及びズームレンズの制御を統括する。そのために、システム制御部１０５は、露光量制御部１０６、フォーカスレンズ制御部１０７、及び焦点距離制御部１０８に対して指示を行う。   Reference numeral 105 denotes a system control unit that controls the entire imaging apparatus 100. The system control unit 105 controls the shutter speed, the aperture mechanism, the focus lens, and the zoom lens in order to perform shooting under the shooting conditions determined by the image processing circuit 104. For this purpose, the system control unit 105 instructs the exposure amount control unit 106, the focus lens control unit 107, and the focal length control unit 108.

１０６は露光量制御部であり、光学系１０１の絞り機構、撮像素子１０２の露光時間、及び撮影感度を調整し、適切な露光量制御を行う。１０７はフォーカスレンズ制御部であり、光学系１０１のフォーカスレンズを制御する。１０８は光学系１０１のズーム用レンズを制御する焦点距離制御部であり、システム制御部１０５の指示に従って焦点距離を変更する。   An exposure amount control unit 106 adjusts the aperture mechanism of the optical system 101, the exposure time of the image sensor 102, and the photographing sensitivity, and performs appropriate exposure amount control. A focus lens control unit 107 controls the focus lens of the optical system 101. A focal length control unit 108 controls the zoom lens of the optical system 101, and changes the focal length according to instructions from the system control unit 105.

１０９は圧縮回路であり、動画像をＨ．２６４／ＡＶＣに代表される圧縮アルゴリズムに従って圧縮し、ＭＰＥＧやＭＯＶファイル等に変換する。変換後の動画像は、記録媒体１１０に記録される。   Reference numeral 109 denotes a compression circuit, which converts a moving image to H.264. It is compressed according to a compression algorithm typified by H.264 / AVC, and converted into an MPEG or MOV file. The converted moving image is recorded on the recording medium 110.

１１１は表示部であり、画像処理回路１０４によって生成された撮影画像を、撮像装置１００のＬＣＤや、外部モニタなどに表示する。１１２はユーザの入力を受け付ける操作部材であり、ボタンやタッチパネル等が具備されている。システム制御部１０５は、操作部材１１２により受け付けたユーザ操作に従って、撮像装置１００の動作の決定や変更を行う。   Reference numeral 111 denotes a display unit that displays a captured image generated by the image processing circuit 104 on the LCD of the imaging apparatus 100, an external monitor, or the like. Reference numeral 112 denotes an operation member that receives user input, and includes buttons, a touch panel, and the like. The system control unit 105 determines or changes the operation of the imaging apparatus 100 in accordance with a user operation received through the operation member 112.

次に、図２乃至図５を参照して、撮像装置１００による動画撮影処理の概要について説明する。撮像装置１００は、動画撮影を複数回行い、各撮影により得られた動画像データを結合して１つの動画像データを生成する。図２において、「チャプタ」は１回の撮影により得られる動画像データを示し、「結合動画ファイル」は複数のチャプタを結合して得られる１つの動画像データを示す。   Next, an overview of the moving image shooting process performed by the imaging apparatus 100 will be described with reference to FIGS. The imaging apparatus 100 performs moving image shooting a plurality of times, and generates moving image data by combining moving image data obtained by the respective shootings. In FIG. 2, “chapter” indicates moving image data obtained by one shooting, and “combined moving image file” indicates one moving image data obtained by combining a plurality of chapters.

撮像装置１００は、撮影される各動画（各チャプタ）に対して、例えば以下に列挙するような様々な種類の特殊効果を付加する。
（１）色・階調変換フィルタ効果
（２）テンプレート合成効果
（３）可変フレームレート効果
（４）残像効果 The imaging apparatus 100 adds various types of special effects as listed below, for example, to each moving image (each chapter).
(1) Color / tone conversion filter effect (2) Template composition effect (3) Variable frame rate effect (4) Afterimage effect

「（１）色・階調変換フィルタ効果」は、画像処理回路１０４によって動画の色味やコントラストを変更することにより、被写体や撮影シーンに合った雰囲気を動画に加える特殊効果である。換言すると、「（１）色・階調変換フィルタ効果」は、色及び階調のうちの少なくとも一方を変換するフィルタの適用制御に対応する。例えば、画像処理回路１０４は、撮影されたカラー動画から、コントラストの高いモノクロ動画を生成することができる。   “(1) Color / gradation conversion filter effect” is a special effect that adds an atmosphere suitable for a subject or a shooting scene to a moving image by changing the color and contrast of the moving image by the image processing circuit 104. In other words, “(1) color / gradation conversion filter effect” corresponds to application control of a filter that converts at least one of color and gradation. For example, the image processing circuit 104 can generate a monochrome moving image with high contrast from the captured color moving image.

「（２）テンプレート合成効果」は、画像処理回路１０４によって動画の各フレームに所定のテンプレートデータ（以下、単に「テンプレート」と呼ぶ）を合成する処理により得られる特殊効果である。換言すると、「（２）テンプレート合成効果」は、テンプレートの合成制御に対応する。例えば、画像処理回路１０４によっては、図３の左側に示すようにフレームに飾り枠を合成したり、図３の右側に示すように周辺減光効果を加えたりすることができる。   “(2) Template synthesis effect” is a special effect obtained by a process of synthesizing predetermined template data (hereinafter simply referred to as “template”) to each frame of a moving image by the image processing circuit 104. In other words, “(2) Template synthesis effect” corresponds to template synthesis control. For example, depending on the image processing circuit 104, a decorative frame can be combined with the frame as shown on the left side of FIG. 3, or a peripheral dimming effect can be added as shown on the right side of FIG.

「（３）可変フレームレート効果」は、動画の全体又は一部をスローモーションにしたり、早送り再生にしたりすることによって、被写体の動きを強調する特殊効果である。換言すると、「（３）可変フレームレート効果」は、動画の再生速度の制御に対応する。この効果の実現方法としては、再生フレームレートＦｐｌａｙのＮ倍のフレームレートＦｒｅｃ（＝Ｎ×Ｆｐｌａｙ）で動画を記録することにより、（１／Ｎ）倍のスロー再生にすることが可能である。反対に、Ｆｐｌａｙと同じフレームレートＦｒｅｃ（＝Ｆｐｌａｙ）で撮影した動画像のフレームを１／Ｎに間引いて再生することにより、Ｎ倍の早送り再生が可能である。このように、再生速度の制御は、撮影フレームレート及び記録フレームレートの制御により実現可能である。また、このような仕組みを用いて、例えば図４（Ｂ）に示すように、再生速度が「通常→スロー→通常」のように変化する動画を生成することができる。具体的には、再生フレームレートＦｐｌａｙ＝３０［ｆｐｓ］の場合、撮像装置１００は、Ｆｒｅｃ＝９０［ｆｐｓ］で数秒間撮影したデータの一部区間を１／３に間引いて記録する。これにより、間引きが行われない区間を１／３倍のスロー再生することができる。このように、動画の少なくとも一部がスロー再生される再生パターンを、「スロー再生パターン」と呼ぶ。また、図４（Ｃ）に示すように、再生速度が「通常→早送り→通常」のように変化する動画を生成することができる。具体的には、再生フレームレートＦｐｌａｙ＝３０［ｆｐｓ］の場合、撮像装置１００は、Ｆｒｅｃ＝３０［ｆｐｓ］で数秒間撮影したデータの一部区間を１／３に間引いて記録する。これにより、間引きが行われた区間を３倍の早送り再生することができる。このように、動画の少なくとも一部が早送り再生される再生パターンを、「早送り再生パターン」と呼ぶ。また、図４（Ａ）に示すように、Ｆｐｌａｙ＝Ｆｒｅｃであり、間引きが行われない場合には、動画全体が通常再生される。このように、動画の全体が通常の速度で再生される再生パターンを、通常再生パターンと呼ぶ。   The “(3) variable frame rate effect” is a special effect that emphasizes the movement of the subject by making the whole or part of the moving image slow motion or fast-forward playback. In other words, “(3) variable frame rate effect” corresponds to control of the playback speed of a moving image. As a method for realizing this effect, by recording a moving image at a frame rate Frec (= N × Fplay) which is N times the playback frame rate Fplay, it is possible to achieve slow playback of (1 / N) times. On the other hand, N times fast-forward playback is possible by thinning out the frames of a moving image shot at the same frame rate Frec (= Fplay) as Fplay to 1 / N. As described above, the playback speed can be controlled by controlling the shooting frame rate and the recording frame rate. Further, using such a mechanism, for example, as shown in FIG. 4B, it is possible to generate a moving image whose playback speed changes as “normal → slow → normal”. Specifically, when the playback frame rate Fplay = 30 [fps], the imaging apparatus 100 records a part of data captured for several seconds at Frec = 90 [fps] by thinning out to 1/3. As a result, it is possible to perform the slow reproduction of 1/3 times the section where thinning is not performed. In this way, a playback pattern in which at least a part of a moving image is played back slowly is called a “slow playback pattern”. In addition, as shown in FIG. 4C, it is possible to generate a moving image whose playback speed changes as “normal → fast forward → normal”. Specifically, when the playback frame rate Fplay = 30 [fps], the imaging apparatus 100 records a part of data captured for several seconds at Frec = 30 [fps] by thinning out to 1/3. Thereby, it is possible to reproduce the fast-forwarded reproduction of the section where the thinning is performed three times. A playback pattern in which at least a part of a moving image is played back in this way is called a “fast forward playback pattern”. As shown in FIG. 4A, when Fplay = Frec and thinning is not performed, the entire moving image is normally reproduced. In this way, a reproduction pattern in which the entire moving image is reproduced at a normal speed is referred to as a normal reproduction pattern.

「（４）残像効果」は、巡回型フィルタを用いて、動く被写体に残像を付加する特殊効果である。換言すると、「（４）残像効果」は、移動する被写体に対する残像の付加制御に対応する。   “(4) Afterimage effect” is a special effect that adds an afterimage to a moving subject using a recursive filter. In other words, “(4) Afterimage effect” corresponds to afterimage addition control for a moving subject.

撮像装置１００は、それぞれの種類の特殊効果について、撮影シーンに基づいて特殊効果の内容を決定する。例えば、撮像装置１００は、「（２）テンプレート合成効果」という種類の特殊効果について、撮影シーンに基づいて、「飾り枠合成」、「周辺減光」、又は「合成なし」を選択する。決定アルゴリズムの詳細については、後述する。   The imaging apparatus 100 determines the content of the special effect based on the shooting scene for each type of special effect. For example, the imaging apparatus 100 selects “decorative frame composition”, “peripheral dimming”, or “no composition” based on the shooting scene for a special effect of the type “(2) template composition effect”. Details of the determination algorithm will be described later.

ところで、特殊効果の中には、チャプタ間で特殊効果を統一（共通化）した方が結合動画全体の品位が向上する種類のものもあれば、チャプタ毎（動画毎）に撮影シーンに応じた特殊効果を付加した方が動画の面白さが向上すると期待される種類のものもある。本実施形態では、前者の種類の特殊効果を「特殊効果処理Ａ群」と呼び、後者の種類の特殊効果を「特殊効果処理Ｂ群」と呼ぶ。図５に示すように、本実施形態では、「（１）色・階調変換フィルタ効果」及び「（２）テンプレート合成効果」が「特殊効果処理Ａ群」であるものとし、「（３）可変フレームレート効果」及び「（４）残像効果」が「特殊効果処理Ｂ群」であるものとする。図５から理解できるように、「（２）テンプレート合成効果」のような特定の種類の特殊効果（特殊効果グループ）の中に、「飾り枠合成」や「周辺減光」のような複数の特殊効果が含まれる。   By the way, there are some special effects that can improve the overall quality of the combined video if the special effects are unified (shared) between chapters. Depending on the shooting scene for each chapter (for each video) There are also types that are expected to improve the fun of moving images with special effects. In the present embodiment, the special effect of the former type is referred to as “special effect processing A group”, and the special effect of the latter type is referred to as “special effect processing B group”. As shown in FIG. 5, in this embodiment, “(1) color / tone conversion filter effect” and “(2) template composition effect” are “special effect processing A group”, and “(3) Assume that “variable frame rate effect” and “(4) afterimage effect” are “special effect processing B group”. As can be understood from FIG. 5, a plurality of special effects such as “decorative frame composition” and “peripheral dimming” are included in a specific type of special effect (special effect group) such as “(2) template composition effect”. Includes special effects.

なお、「特殊効果処理Ａ群」と「特殊効果処理Ｂ群」の分類は、図５に示すものに限定されない。また、特殊効果の種類や、各種類の特殊効果について選択可能な特殊効果についても、図５に示すものに限定されない。本実施形態では、「特殊効果処理Ａ群」に分類される少なくとも１種類の特殊効果（第１の特殊効果グループ）と、「特殊効果処理Ｂ群」に分類される少なくとも１種類の特殊効果（第２の特殊効果グループ）とがあればよい。   The classification of “special effect processing A group” and “special effect processing B group” is not limited to that shown in FIG. Also, the types of special effects and the special effects that can be selected for each type of special effect are not limited to those shown in FIG. In the present embodiment, at least one type of special effect (first special effect group) classified into “special effect processing A group” and at least one type of special effect (first special effect processing B group) ( A second special effect group).

次に、図６を参照して、撮像装置１００による動画撮影処理の詳細について説明する。なお、本実施形態の各図のフローチャートの各ステップの処理は、特に断らない限り、システム制御部１０５が制御プログラムに従って撮像装置１００の各構成要素を制御することにより実施される。   Next, with reference to FIG. 6, the details of the moving image shooting process by the imaging apparatus 100 will be described. It should be noted that the processing of each step in the flowchart of each drawing of the present embodiment is performed by the system control unit 105 controlling each component of the imaging apparatus 100 according to a control program unless otherwise specified.

Ｓ６０１で、撮像装置１００は、撮影シーンの解析を行う。具体的には、撮像装置１００は、撮影対象シーンの明るさ、被写体が人物かどうか、被写体が動いているかどうか、等を解析する。この解析は、加速度センサ（不図示）やジャイロセンサ（不図示）等の各種センサからの情報や、撮像素子１０２により生成された画像データなどに基づいて行われる。画像データに基づく解析は、画像処理回路１０４を用いて行うことができる。   In step S601, the imaging apparatus 100 analyzes a shooting scene. Specifically, the imaging apparatus 100 analyzes the brightness of the shooting target scene, whether the subject is a person, whether the subject is moving, and the like. This analysis is performed based on information from various sensors such as an acceleration sensor (not shown) and a gyro sensor (not shown), image data generated by the image sensor 102, and the like. Analysis based on the image data can be performed using the image processing circuit 104.

Ｓ６０２で、撮像装置１００は、ユーザによる撮影指示が行われたか否かを判定する。撮影指示が行われるまでは、撮像装置１００は、Ｓ６０１におけるシーン解析を繰り返す。撮影指示が行われると、処理はＳ６０３に進む。   In step S602, the imaging apparatus 100 determines whether a shooting instruction has been given by the user. The imaging apparatus 100 repeats the scene analysis in S601 until a shooting instruction is given. When a shooting instruction is given, the process proceeds to S603.

Ｓ６０３で、撮像装置１００は、Ｓ６０１におけるシーン解析結果に基づき、特殊効果処理Ａ群（図５参照）に関して、撮影した動画に付加する特殊効果を決定する。この決定処理の詳細については後述する。   In S603, the imaging apparatus 100 determines a special effect to be added to the captured moving image with respect to the special effect process A group (see FIG. 5) based on the scene analysis result in S601. Details of this determination process will be described later.

Ｓ６０４で、撮像装置１００は、Ｓ６０１におけるシーン解析結果に基づき、特殊効果処理Ｂ群（図５参照）に関して、撮影した動画に付加する特殊効果を決定する。この決定処理の詳細については後述する。   In step S604, the imaging apparatus 100 determines a special effect to be added to the captured moving image with respect to the special effect processing group B (see FIG. 5) based on the scene analysis result in step S601. Details of this determination process will be described later.

Ｓ６０３及びＳ６０４の処理により、これから撮影するチャプタに付加する特殊効果が、このチャプタの撮影開始直前に決定される。   By the processing of S603 and S604, a special effect to be added to the chapter to be photographed is determined immediately before the chapter photographing is started.

Ｓ６０５で、撮像装置１００は、動画の撮像制御を行い、動画の１フレームを取得する。ここでは、撮像装置１００は、Ｓ６０４で決定された可変フレームレート効果の内容に従い、撮像系の駆動周波数・露光量制御を行う。例えば、動画にスロー再生効果を付加する場合、撮像装置１００は、再生フレームレートよりも高い周波数で撮像を行うように撮像素子１０２を制御する。また、動画に早送り再生効果を付加する場合、撮像装置１００は、再生フレームレートと同じ周波数で撮像を行うように撮像素子１０２を制御する。また、撮像装置１００は、絞り、シャッタースピード、感度からなる露光量を、露光量制御部１０６を介して正しく設定する。   In step S605, the imaging apparatus 100 performs moving image capturing control and acquires one frame of the moving image. Here, the imaging apparatus 100 performs drive frequency / exposure amount control of the imaging system according to the content of the variable frame rate effect determined in S604. For example, when a slow playback effect is added to a moving image, the imaging device 100 controls the imaging device 102 so as to perform imaging at a frequency higher than the playback frame rate. In addition, when a fast-forward playback effect is added to a moving image, the imaging device 100 controls the imaging device 102 so as to perform imaging at the same frequency as the playback frame rate. In addition, the imaging apparatus 100 correctly sets an exposure amount including an aperture, a shutter speed, and sensitivity via the exposure amount control unit 106.

Ｓ６０６で、撮像装置１００は、Ｓ６０３において決定した特殊効果処理Ａ群の特殊効果を、Ｓ６０５において取得したフレームに付加する。Ｓ６０７で、撮像装置１００は、Ｓ６０４において決定した特殊効果処理Ｂ群の特殊効果を、Ｓ６０５において取得したフレームに付加する。例えば、撮像装置１００は、Ｓ６０４において決定された可変フレームレート効果に対応する再生速度で再生される動画が記録されるように、撮影フレームレート及び記録フレームレート（間引き）を制御することにより、動画に可変フレームレートを付加する。   In step S606, the imaging apparatus 100 adds the special effect of the special effect process A group determined in step S603 to the frame acquired in step S605. In step S607, the imaging apparatus 100 adds the special effect of the special effect process B group determined in step S604 to the frame acquired in step S605. For example, the imaging apparatus 100 controls the shooting frame rate and the recording frame rate (decimation) so that a moving image that is played back at a playback speed corresponding to the variable frame rate effect determined in S604 is recorded. A variable frame rate is added to.

なお、特殊効果を付加する順序は、図６に示すものに限定されない。例えば、特殊効果処理Ｂ群の特殊効果を先に付加し、その後、特殊効果処理Ａ群の特殊効果を付加してもよい。或いは、特殊効果処理Ａ群の特殊効果の一部を先に付加し、その後、特殊効果処理Ｂ群の特殊効果を付加し、最後に、特殊効果処理Ａ群の特殊効果の残りを付加してもよい。   Note that the order of adding special effects is not limited to that shown in FIG. For example, the special effect of the special effect process B group may be added first, and then the special effect of the special effect process A group may be added. Or, add a part of special effects of special effect processing A group first, then add special effects of special effect processing group B, and finally add the rest of special effects of special effect processing group A Also good.

Ｓ６０８で、撮像装置１００は、特殊効果が付加されたフレームを圧縮し、結合動画ファイル（図２参照）のフレームとして記録する。なお、撮像装置１００は、任意のタイミングでチャプタの結合を行うことができる。例えば、撮像装置１００は、チャプタ毎に別個の動画ファイルを生成し、所定数の動画ファイルが生成された後に、これらの動画ファイルを結合して結合動画ファイルを生成することができる。或いは、撮像装置１００は、新たなチャプタのフレームを直前のチャプタに追記することにより、結合動画ファイルを生成してもよい。また、図４（Ｂ）及び図４（Ｃ）に示すように間引き記録を行う場合は、撮像装置１００は、現在のフレームが間引き対象のフレームであれば、このフレームは記録せずに破棄する。   In S608, the imaging apparatus 100 compresses the frame to which the special effect is added and records it as a frame of the combined moving image file (see FIG. 2). Note that the imaging apparatus 100 can combine chapters at an arbitrary timing. For example, the imaging apparatus 100 can generate a separate moving image file for each chapter, and after a predetermined number of moving image files are generated, these moving image files can be combined to generate a combined moving image file. Alternatively, the imaging apparatus 100 may generate a combined moving image file by adding a new chapter frame to the immediately preceding chapter. When performing thinning recording as shown in FIGS. 4B and 4C, if the current frame is a frame to be thinned, the imaging apparatus 100 discards the frame without recording it. .

Ｓ６０９で、撮像装置１００は、ユーザによる撮影終了指示が行われたか否かを判定する。撮影終了指示が行われるまでは、撮像装置１００はＳ６０５からＳ６０８の処理を繰り返すことにより、現在のチャプタの撮影を継続する。あるいは、撮像装置１００は、動画の撮影が開始されていから所定時間経過するまでＳ６０５からＳ６０８の処理を繰り返し、所定時間経過した場合に動画撮影を終了すると判断する。   In step S609, the imaging apparatus 100 determines whether a user has instructed to end shooting. Until the shooting end instruction is given, the imaging apparatus 100 repeats the processing from S605 to S608 to continue shooting the current chapter. Alternatively, the imaging apparatus 100 repeats the processing from S605 to S608 until a predetermined time has elapsed since the start of video recording, and determines that the video imaging is to be terminated when the predetermined time has elapsed.

撮影終了指示が行われると、処理はＳ６０９からＳ６０１に戻り、次の撮影指示が行われるまで、撮像装置１００はシーン解析を行う。次の撮影指示が行われると、撮像装置１００は、再びＳ６０３以降の処理を実行することにより、次のチャプタの撮影を行う。但し、Ｓ６０３における特殊効果処理Ａ群の決定処理については、２番目以降のチャプタの撮影を行う場合は、最初（先頭）のチャプタと同じ特殊効果が決定される。   When a shooting end instruction is performed, the process returns from S609 to S601, and the imaging apparatus 100 performs scene analysis until the next shooting instruction is performed. When the next shooting instruction is given, the imaging apparatus 100 performs the processing of S603 and subsequent steps, thereby shooting the next chapter. However, with regard to the special effect processing A group determination processing in S603, when shooting the second and subsequent chapters, the same special effects as the first (first) chapter are determined.

また、図示しないが、撮像装置１００は、所定数のチャプタを撮影した後は、別の結合動画ファイルの１番目のチャプタを撮影してもよい。例えば、撮像装置１００は、４つのチャプタからなる結合動画ファイルを生成するように構成されているものとする。この場合、撮像装置１００による４番目のチャプタの撮影を終了して処理がＳ６０９からＳ６０１に戻り、撮影指示が行われると、Ｓ６０３で、撮像装置１００は、次の結合動画ファイルの１番目のチャプタのために、特殊効果処理Ａ群の特殊効果を決定する。   Although not shown, the imaging apparatus 100 may capture the first chapter of another combined moving image file after capturing a predetermined number of chapters. For example, it is assumed that the imaging apparatus 100 is configured to generate a combined moving image file including four chapters. In this case, when the imaging of the fourth chapter by the imaging apparatus 100 is completed, the process returns from S609 to S601, and when an imaging instruction is given, in S603, the imaging apparatus 100 causes the first chapter of the next combined video file to be captured. Therefore, the special effect of the special effect process A group is determined.

次に、図７乃至図９を参照して、図６のＳ６０３における特殊効果処理Ａ群の決定処理の詳細について説明する。まず、図７のＳ７０１で、撮像装置１００は、現在の撮影対象のチャプタが結合動画ファイルにおける最初（先頭）のチャプタであるか否かを判定する。最初のチャプタの場合、Ｓ７０２で、撮像装置１００は、特殊効果処理Ａ群の選択アルゴリズムを実行する。最初のチャプタでない場合、Ｓ７０３で、撮像装置１００は、以前にＳ７０２において最初のチャプタについて選択したものと同じ特殊効果を選択する。   Next, the details of the special effect process A group determination process in S603 of FIG. 6 will be described with reference to FIGS. First, in S701 of FIG. 7, the imaging apparatus 100 determines whether or not the current shooting target chapter is the first (first) chapter in the combined moving image file. In the case of the first chapter, in step S702, the imaging apparatus 100 executes a selection algorithm for the special effect process A group. If it is not the first chapter, in S703, the imaging apparatus 100 selects the same special effect as that previously selected for the first chapter in S702.

図７の処理により、特殊効果処理Ａ群については、結合動画ファイル内の各チャプタに付加される特殊効果を統一し、より高品位で一体感のある動画を生成することができる。但し、図示しないが、撮像装置１００は、２番目以降のチャプタであっても、ユーザによるフィルタ効果の変更指示を受信した場合には、ユーザの意思（ユーザ指示）を優先してフィルタを選択することができる。即ち、この場合、撮像装置１００は、ユーザ指示に対応するチャプタに対して、最初のチャプタについてＳ７０２で選択された特殊効果の代わりに、ユーザ指示により選択された特殊効果を付加する。   With the processing in FIG. 7, for special effect processing A group, it is possible to unify the special effects added to each chapter in the combined moving image file and to generate a moving image with higher quality and a sense of unity. However, although not shown, the imaging apparatus 100 selects a filter with priority given to the user's intention (user instruction) when receiving an instruction to change the filter effect from the user, even for the second and subsequent chapters. be able to. That is, in this case, the imaging apparatus 100 adds the special effect selected by the user instruction to the chapter corresponding to the user instruction instead of the special effect selected in S702 for the first chapter.

図８は、図７のＳ７０２における特殊効果処理Ａ群の選択アルゴリズムの詳細を示すフローチャートである。ここでは、特殊効果処理Ａ群に属する種類の特殊効果の一例である「（１）色・階調変換フィルタ効果」について説明するが、他の種類の特殊効果（例えば、「（２）テンプレート合成効果」）についても同様のアルゴリズムを利用可能である。   FIG. 8 is a flowchart showing details of the special effect processing A group selection algorithm in S702 of FIG. Here, “(1) color / gradation conversion filter effect” which is an example of a special effect belonging to the special effect processing group A will be described. However, other types of special effects (for example, “(2) template composition” A similar algorithm can be used for “effect”).

本実施形態においては、撮像装置１００は、Ｍ種類の色・階調変換フィルタを選択可能なものとする。まず、Ｓ８０１で、撮像装置１００は、以下の式（１）に従い、Ｍ個のフィルタの評価値ｘ［ｍ］を一律に初期値Ｐに設定する。
ｘ［ｍ］＝Ｐ（ｍ＝０，１，２，…，Ｍ−１）・・・（１） In the present embodiment, the imaging apparatus 100 is capable of selecting M types of color / gradation conversion filters. First, in S801, the imaging apparatus 100 uniformly sets the evaluation value x [m] of the M filters to the initial value P according to the following equation (1).
x [m] = P (m = 0, 1, 2,..., M−1) (1)

Ｓ８０２で、撮像装置１００は、図６のＳ６０１におけるシーン解析結果（例えば、被写体情報や撮影画像の色分布情報等）に従い、評価値を更新する。例えば、撮像装置１００は、被写体が人物を含む場合に、「人物と相性の良いフィルタの評価値を上げ、人物と相性の悪いフィルタの評価値を下げる」、等の評価値演算処理を、撮影シーンの解析結果に応じて複数回実行する。これにより、図６に示すように、最終的な評価値ｘ［ｍ］は撮影シーンに応じたばらつきを持つ。   In S802, the imaging apparatus 100 updates the evaluation value according to the scene analysis result (for example, subject information or color distribution information of the captured image) in S601 of FIG. For example, when the subject includes a person, the imaging apparatus 100 shoots an evaluation value calculation process such as “increase the evaluation value of a filter that is compatible with a person and decrease the evaluation value of a filter that is not compatible with a person”. Execute multiple times depending on the scene analysis result. As a result, as shown in FIG. 6, the final evaluation value x [m] varies depending on the shooting scene.

その後、Ｓ８０３で、撮像装置１００は、最も評価値の高いフィルタを選択する。或いは、撮像装置１００は、予め定められた閾値よりも評価値の高いフィルタの中からランダムに１つのフィルタを選択する等の方法により、撮影シーンに相性の良いフィルタ効果を選択することが可能である。   Thereafter, in S803, the imaging apparatus 100 selects a filter having the highest evaluation value. Alternatively, the imaging apparatus 100 can select a filter effect that is compatible with the shooting scene by a method such as randomly selecting one filter from filters having an evaluation value higher than a predetermined threshold. is there.

次に、図１０乃至図１７を参照して、図６のＳ６０４における特殊効果処理Ｂ群の決定処理の詳細について説明する。ここでは、特殊効果処理Ｂ群に属する種類の特殊効果の一例である「（３）可変フレームレート効果」について説明するが、他の種類の特殊効果（例えば、「（４）残像効果」）についても同様のアルゴリズムを利用可能である。   Next, details of the special effect process B group determination process in S604 of FIG. 6 will be described with reference to FIGS. Here, “(3) variable frame rate effect” which is an example of a special effect belonging to the special effect processing group B will be described, but other types of special effects (for example, “(4) afterimage effect”) will be described. A similar algorithm can be used.

まず、Ｓ１００１で、撮像装置１００は、図６のＳ６０１におけるシーン解析結果に基づき、撮像装置１００の動き情報を取得する。ユーザが移動被写体を追尾撮影している状態は、花や風景などの被写体を撮影している状態と比べて、撮像装置１００自体の動き量が大きいと予測される。そのため、撮像装置１００は、撮像装置１００に具備された速度センサや加速度センサ等の出力に基づき、撮像装置１００の動きの有無を検出する。撮像装置１００の動きの有無を決定する方法としては、速度センサ等の出力値を所定時間平均し、その平均値が予め決められた閾値Ｔｈ＿Ｇを上回る場合は「動き有り」、閾値以下の場合は「動き無し」とする方法が考えられる。   First, in S1001, the imaging apparatus 100 acquires motion information of the imaging apparatus 100 based on the scene analysis result in S601 of FIG. It is predicted that the amount of movement of the imaging apparatus 100 itself is larger when the user is tracking and shooting a moving subject than when the user is shooting a subject such as a flower or landscape. Therefore, the imaging apparatus 100 detects the presence or absence of movement of the imaging apparatus 100 based on the output of a speed sensor, an acceleration sensor, or the like provided in the imaging apparatus 100. As a method of determining the presence or absence of the movement of the imaging apparatus 100, the output values of the speed sensor and the like are averaged for a predetermined time, and when the average value exceeds a predetermined threshold Th_G, “with movement”, A method of “no movement” can be considered.

Ｓ１００２で、撮像装置１００は、図６のＳ６０１におけるシーン解析結果に基づき、被写体種別（被写体に含まれる主要被写体の種類）を検出する。一般的に、パターンマッチングなどの方法によって画面内の顔を検出することが可能であり、顔が見つかった場合は被写体種別を「人物」と定義する。また、画面内の輝度や色の領域分布やエッジ情報から画面内に主要な被写体が存在するかどうかを判定する主要被写体検出アルゴリズムが一般的に知られている。そこで、顔が検出されず、かつ主要被写体検出アルゴリズムによって被写体が検出された場合には、被写体種別を「人物以外の主要被写体有」と定義する。上記いずれの方法によっても被写体が検出されない場合は「主要被写体無」と定義する。   In S1002, the imaging apparatus 100 detects the subject type (the type of main subject included in the subject) based on the scene analysis result in S601 of FIG. In general, it is possible to detect a face in the screen by a method such as pattern matching. When a face is found, the subject type is defined as “person”. Also, a main subject detection algorithm for determining whether or not a main subject exists in the screen from the luminance and color area distribution and edge information in the screen is generally known. Therefore, when a face is not detected and a subject is detected by the main subject detection algorithm, the subject type is defined as “main subject other than person is present”. If no subject is detected by any of the above methods, it is defined as “no main subject”.

Ｓ１００３で、撮像装置１００は、Ｓ１００２において検出した被写体種別に応じて、被写体の動き情報を取得する。被写体の動きを検出する方法としては、被写体種別が「人物」の場合、例えば図１１（Ａ）に示すように、ある時刻Ｆ（ｔ）のフレームとＦ（ｔ＋α）のフレームの間の顔位置の変化量が閾値Ｔｈ＿Ｆを上回る場合に「被写体動き有」と検出する方法がある。また、被写体種別が「人物以外の主要被写体有」の場合、図１１（Ｂ）に示すように、時刻Ｆ（ｔ）のフレームとＦ（ｔ＋α）のフレームの間の主要被写体領域の重心位置の変化量が閾値Ｔｈ＿Ｍを上回る場合に「被写体動き有」と検出する方法がある。また、被写体種別が「主要被写体無」の場合は、図１１（Ｃ）に示すように、画面内の所定領域に対して、下記の式（２）に従ってフレーム間の輝度差分値の総和Ｓを計算し、総和Ｓが閾値Ｔｈ＿Ｓａｄを上回った場合に「被写体動き有」と検出する方法がある。
Ｓ＝Σ（Ｙ１（ｘ，ｙ）−Ｙ０（ｘ，ｙ））・・・（２）
Ｙ１：フレーム１の輝度
Ｙ０：フレーム０の輝度 In step S1003, the imaging apparatus 100 acquires subject motion information according to the subject type detected in step S1002. As a method of detecting the movement of the subject, when the subject type is “person”, for example, as shown in FIG. 11A, the face position between a frame at a certain time F (t) and a frame at F (t + α) There is a method of detecting that “subject movement is present” when the amount of change in the amount exceeds the threshold Th_F. When the subject type is “there is a main subject other than a person”, as shown in FIG. 11B, the center of gravity position of the main subject region between the frame at time F (t) and the frame at F (t + α) is shown. There is a method of detecting “subject motion present” when the amount of change exceeds a threshold Th_M. Further, when the subject type is “no main subject”, as shown in FIG. 11C, the sum S of the luminance difference values between frames is calculated according to the following equation (2) for a predetermined area in the screen. There is a method of calculating and “detecting subject movement” when the sum S exceeds a threshold Th_Sad.
S = Σ (Y1 (x, y) −Y0 (x, y)) (2)
Y1: Brightness of frame 1 Y0: Brightness of frame 0

次に、Ｓ１００４で、撮像装置１００は、Ｓ１００１及びＳ１００３にて取得した動き情報に基づき、動き検出エリアを判定する。動き検出エリアは、撮像装置１００の動き有・無、及び被写体の動き有・無に応じて、図１２に示す４つのエリアに区分することができる。   Next, in S1004, the imaging apparatus 100 determines a motion detection area based on the motion information acquired in S1001 and S1003. The motion detection area can be divided into four areas shown in FIG. 12 according to the presence / absence of the movement of the imaging apparatus 100 and the presence / absence of the movement of the subject.

Ｓ１００５で、撮像装置１００は、Ｓ１００４におけるエリア判定結果とＳ１００２で検出した被写体種別に応じて、可変フレームレート効果の重みパターンを決定する。ここで、重みパターンとは、図４を参照して説明した通常／スロー／早送りの効果の発生比率を表すものである。重みパターンは、図１３に示すように、エリアと被写体種別に応じて、図１４に示す４つのパターンのいずれかが選択される。各パターンには、「通常」が選択される確率（第１の確率）、「スロー」が選択される確率（第２の確率）、及び「早送り」が選択される確率（第３の確率）が定義されている。そして、例えば「通常優先」のパターンについては、「通常」が優先的に選択されるように、「通常」が選択される確率（第１の確率）が最も高く設定されている。また、「通常固定」のパターンについては、「通常」が固定的に選択されるように、「通常」が選択される確率（第１の確率）が「１００％」に設定されている。   In step S1005, the imaging apparatus 100 determines a variable frame rate effect weight pattern according to the area determination result in step S1004 and the subject type detected in step S1002. Here, the weight pattern represents the occurrence ratio of the normal / slow / fast-forward effect described with reference to FIG. As shown in FIG. 13, any one of the four patterns shown in FIG. 14 is selected as the weight pattern according to the area and the subject type. Each pattern has a probability of selecting “normal” (first probability), a probability of selecting “slow” (second probability), and a probability of selecting “fast forward” (third probability). Is defined. For example, for the “normal priority” pattern, the probability of selecting “normal” (first probability) is set to be the highest so that “normal” is preferentially selected. For the “normally fixed” pattern, the probability of selecting “normal” (first probability) is set to “100%” so that “normal” is fixedly selected.

なお、図１３の例では、撮像装置１００は、撮像装置１００の動き、被写体の動き、及び主要被写体の全てに基づいて重みパターンを決定しているが、撮像装置１００は、これらのうちの一部にのみ基づいて重みパターンを決定してもよい。例えば、撮像装置１００は、被写体の動きの有無に応じては、「スロー優先」（被写体の動き有の場合）又は「通常優先」（被写体の動き無の場合）を選択するように構成されてもよい。   In the example of FIG. 13, the imaging apparatus 100 determines the weight pattern based on all of the movement of the imaging apparatus 100, the movement of the subject, and the main subject. The weight pattern may be determined based only on the part. For example, the imaging apparatus 100 is configured to select “slow priority” (when the subject moves) or “normal priority” (when there is no subject movement) depending on whether or not the subject moves. Also good.

Ｓ１００６で、撮像装置１００は、現在の撮影対象のチャプタ番号や過去に選択した可変フレームレート効果の種類、及び撮像装置１００の焦点距離などに基づき、Ｓ１００５において決定された重みパターンを修正する。以下に、Ｓ１００５において「スロー優先」が選択された場合における、重み修正方法の例を４つ挙げる。   In step S1006, the imaging apparatus 100 corrects the weight pattern determined in step S1005 based on the chapter number of the current shooting target, the type of variable frame rate effect selected in the past, the focal length of the imaging apparatus 100, and the like. The following are four examples of weight correction methods when “slow priority” is selected in S1005.

（i）現在の撮影対象のチャプタがチャプタ１である場合、「通常」の比率を少し上げてそれ以外の比率を下げる。
（修正前）通常：スロー：早送り＝２０：６０：２０
（修正後）通常：スロー：早送り＝３０：４０：３０
→結合動画ファイルの先頭のチャプタにはなるべく特殊効果を付加しない。 (I) If the chapter to be photographed is chapter 1, increase the “normal” ratio slightly and decrease the other ratios.
(Before correction) Normal: Slow: Fast forward = 20:60:20
(After correction) Normal: Slow: Fast forward = 30:40:30
→ Do not add special effects as much as possible to the first chapter of the combined video file.

（ii）現在の撮影対象のチャプタが最終チャプタＮである場合、「スロー」と「早送り」の比率を少し上げてそれ以外の比率を下げる。
（修正前）通常：スロー：早送り＝２０：６０：２０
（修正後）通常：スロー：早送り＝１０：６５：２５
→結合動画ファイルの最後（末尾）のチャプタにはなるべく特殊効果を付加する。 (Ii) If the current chapter to be photographed is the final chapter N, the ratio of “slow” and “fast forward” is slightly increased and the other ratios are decreased.
(Before correction) Normal: Slow: Fast forward = 20:60:20
(After correction) Normal: Slow: Fast forward = 10:65:25
→ Add special effects as much as possible to the last (end) chapter of the combined video file.

（iii）現在の撮影対象のチャプタがチャプタ１以外であり、かつチャプタ１で選択された効果が「スロー」だった場合に、「スロー」の比率を上げてそれ以外の比率を下げる。
（修正前）通常：スロー：早送り＝２０：６０：２０
（修正後）通常：スロー：早送り＝１０：８０：１０
→結合動画ファイル内で同じような特殊効果が選択される確率を上げる。 (Iii) If the chapter to be photographed is other than chapter 1 and the effect selected in chapter 1 is “slow”, the ratio of “slow” is increased and the other ratios are decreased.
(Before correction) Normal: Slow: Fast forward = 20:60:20
(After correction) Normal: Slow: Fast forward = 10:80:10
→ Increase the probability that similar special effects will be selected in the combined video file.

（iv）撮像装置１００の焦点距離が予め設定された焦点距離ｆ＿Ｔｈ以上（閾値以上）である場合、手振れが動画像に与える影響が大きくなるため、「早送り」の比率を下げてそれ以外の比率を上げる。
（修正前）通常：スロー：早送り＝２０：６０：２０
（修正後）通常：スロー：早送り＝３０：７０：０
以上に示した重みパターンの修正は、複数のチャプタを連結した結合動画ファイル全体として動画を鑑賞した場合に視聴者の満足度を高めることを目的とした工夫である。なお、重みパターンの修正方法は、ここで説明した４種類に限定されず、設計者の思想に従って様々な重みパターンの修正方法が考えられる。より一般的に言えば、撮像装置１００は、可変フレームレート効果について、所定のチャプタに付加する特殊効果を、このチャプタの撮影パラメータ、結合動画ファイルにおけるこのチャプタの位置、及び先頭チャプタに付加される特殊効果を考慮して決定する。なお、撮像装置１００は、これらの要素の全てを考慮する必要はなく、そのうちの一部のみを考慮してもよい。 (Iv) When the focal length of the imaging apparatus 100 is greater than or equal to a preset focal length f_Th (greater than or equal to a threshold value), the influence of camera shake on the moving image increases. Raise.
(Before correction) Normal: Slow: Fast forward = 20:60:20
(After correction) Normal: Slow: Fast forward = 30: 70: 0
The correction of the weight pattern described above is a device aimed at increasing the satisfaction of the viewer when the moving image is viewed as the whole combined moving image file in which a plurality of chapters are connected. The weight pattern correction methods are not limited to the four types described here, and various weight pattern correction methods may be considered according to the designer's idea. More generally speaking, the imaging apparatus 100 adds a special effect to be added to a predetermined chapter for the variable frame rate effect to the shooting parameter of this chapter, the position of this chapter in the combined moving image file, and the first chapter. Decide in consideration of special effects. Note that the imaging apparatus 100 need not consider all of these elements, and may consider only some of them.

最後に、Ｓ１００７で、撮像装置１００は、最終的な可変フレームレート効果の内容を決定する。具体的には、図１５のＳ１５０１で、撮像装置１００は、［１，１００］の正規乱数Ｒを発生させ、Ｒ＜Ｔｄであるか否かを判定する。Ｔｄは、「通常」の発生確率である。Ｒ＜Ｔｄの場合、Ｓ１５０２で、撮像装置１００は、可変フレームレート効果として「通常」を選択する。Ｒ≧Ｔｄの場合、Ｓ１５０３で、撮像装置１００は、Ｒ＜Ｔｄ＋Ｔｓであるか否かを判定する。Ｔｓは、「スロー」の発生確率である。Ｒ＜Ｔｄ＋Ｔｓの場合、Ｓ１５０４で、撮像装置１００は、可変フレームレート効果として「スロー」を選択する。Ｒ≧Ｔｄ＋Ｔｓの場合、Ｓ１５０５で、撮像装置１００は、可変フレームレート効果として「早送り」を選択する。   Finally, in S1007, the imaging apparatus 100 determines the content of the final variable frame rate effect. Specifically, in S1501 of FIG. 15, the imaging apparatus 100 generates a normal random number R of [1,100] and determines whether R <Td. Td is the probability of occurrence of “normal”. If R <Td, in step S1502, the imaging apparatus 100 selects “normal” as the variable frame rate effect. If R ≧ Td, in step S1503, the imaging apparatus 100 determines whether R <Td + Ts. Ts is the occurrence probability of “slow”. When R <Td + Ts, in step S1504, the imaging apparatus 100 selects “slow” as the variable frame rate effect. If R ≧ Td + Ts, in step S1505, the imaging apparatus 100 selects “fast forward” as the variable frame rate effect.

なお、図６及び図１０の記載に従えば、可変フレームレート効果の内容は、撮影開始直前に決定される。しかしながら、撮像装置１００は、他のタイミングで可変フレームレート効果の内容を決定してもよい。例えば、図１６に示すように、撮像装置１００は、撮影中に一定間隔で動き情報を解析し、被写体の動きがあることを検出した場合に、その後一定期間撮像レートを上げることにより、動画に可変フレームレート効果「スロー」を付加することができる。或いは、図１７に示すように、撮像装置１００は、最も高いフレームレートで動画を撮影しておき、撮影後に動画中の被写体動きを解析した上で、動画に所定の内容の可変フレームレート効果を付加することができる。   6 and 10, the content of the variable frame rate effect is determined immediately before the start of shooting. However, the imaging apparatus 100 may determine the content of the variable frame rate effect at another timing. For example, as illustrated in FIG. 16, when the imaging apparatus 100 analyzes motion information at regular intervals during shooting and detects that there is a motion of a subject, the imaging device 100 then increases the imaging rate for a certain period of time to generate a moving image. A variable frame rate effect “slow” can be added. Alternatively, as illustrated in FIG. 17, the imaging apparatus 100 captures a moving image at the highest frame rate, analyzes subject movement in the moving image after capturing, and then applies a variable frame rate effect with predetermined content to the moving image. Can be added.

以上説明した処理により、撮影シーンに応じた各種の特殊効果が付加された結合動画ファイルが生成される。こうして生成される結合動画ファイルの一例を図１８に示す。図１８の結合動画ファイルは、４つのチャプタを含み、各チャプタに４種類の特殊効果が付加されている。特殊効果処理Ａ群に属する種類の特殊効果である「（１）色・階調変換フィルタ効果」及び「（２）テンプレート合成効果」については、各チャプタに共通の特殊効果が付加されている。また、特殊効果処理Ｂ群に属する種類の特殊効果である「（３）可変フレームレート効果」及び「（４）残像効果」については、チャプタ毎に、撮影シーンに応じた特殊効果が付加されている。チャプタ１の残像効果が「なし」であることから理解できるように、特殊効果処理Ｂ群については、必ずしも全てのチャプタに特殊効果が付加されるとは限らない。換言すると、撮像装置１００は、特殊効果処理Ｂ群については、結合動画ファイルを構成する複数のチャプタのうちの１以上のチャプタの各々に対して、チャプタ毎に決定される特殊効果を付加する。これにより、結合動画ファイル全体としての統一感を維持しながらも、撮影シーンに適応的な「面白い」動画を生成することが可能である。   Through the processing described above, a combined moving image file to which various special effects according to the shooting scene are added is generated. An example of the combined moving image file generated in this way is shown in FIG. The combined moving image file of FIG. 18 includes four chapters, and four types of special effects are added to each chapter. For “(1) color / gradation conversion filter effect” and “(2) template synthesis effect” which are special effects of the type belonging to the special effect processing group A, a special effect common to each chapter is added. In addition, with regard to “(3) variable frame rate effect” and “(4) afterimage effect” which are special effects of the type belonging to the special effect processing group B, special effects corresponding to the shooting scene are added for each chapter. Yes. As can be understood from the fact that the afterimage effect of chapter 1 is “none”, the special effect processing group B does not necessarily add the special effect to all chapters. In other words, for the special effect process B group, the imaging apparatus 100 adds a special effect determined for each chapter to each of one or more chapters of the plurality of chapters constituting the combined moving image file. As a result, it is possible to generate an “interesting” moving image that is adaptive to the shooting scene, while maintaining unity as a whole combined moving image file.

以上説明したように、第１の実施形態によれば、撮像装置１００は、特殊効果処理Ａ群については、各チャプタに共通の特殊効果を付加し、特殊効果処理Ｂ群については、チャプタ毎に決定される特殊効果を付加する。このように、撮像装置１００は、複数の動画に付加する特殊効果を共通化するか否かを、特殊効果の種類に応じて制御するように構成されている。また、撮像装置１００は、被写体の動きや主要被写体の種類などの従来は考慮されていなかった条件に基づいて、動画に可変フレームレート効果を付加する（即ち、記録される動画の再生速度を制御する）ように構成されている。   As described above, according to the first embodiment, the imaging apparatus 100 adds a common special effect to each chapter for the special effect processing A group, and for each chapter for the special effect processing B group. Add special effects to be determined. As described above, the imaging apparatus 100 is configured to control whether or not to share a special effect added to a plurality of moving images according to the type of the special effect. Further, the imaging apparatus 100 adds a variable frame rate effect to the moving image (that is, controls the playback speed of the recorded moving image) based on conditions that have not been considered in the past, such as the movement of the subject and the type of the main subject. To be configured).

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 [Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

１００…撮像装置、１０１…光学系、１０２…撮像素子、１０３…メモリ、１０４…画像処理回路、１０５…システム制御部、１０６…露光量制御部、１０７…フォーカスレンズ制御部、１０８…焦点距離制御部、１０９…圧縮回路、１１０…記録媒体、１１１…表示部、１１２…操作部材   DESCRIPTION OF SYMBOLS 100 ... Imaging device 101 ... Optical system 102 ... Imaging device 103 ... Memory 104 ... Image processing circuit 105 ... System control part 106 ... Exposure amount control part 107 ... Focus lens control part 108 ... Focal length control 109, compression circuit, 110, recording medium, 111, display unit, 112, operation member

Claims (11)

複数の動画を撮影する撮影手段と、
前記複数の動画の各々に対して、各動画に共通の第１の特殊効果を付加し、前記複数の動画のうちの１以上の動画の各々に対して、動画毎に決定される第２の特殊効果を付加する制御手段と、
前記制御手段により特殊効果が付加された前記複数の動画から構成される結合動画を生成する生成手段と、
を備えることを特徴とする撮像装置。 Photographing means for photographing a plurality of videos;
A first special effect common to each moving image is added to each of the plurality of moving images, and a second determined for each moving image for each of one or more moving images of the plurality of moving images. Control means for adding special effects;
Generating means for generating a combined moving image composed of the plurality of moving images to which a special effect is added by the control means;
An imaging apparatus comprising: 前記制御手段は、前記結合動画における先頭の動画の撮影シーンに基づいて、前記第１の特殊効果を決定する
ことを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the control unit determines the first special effect based on a shooting scene of a first moving image in the combined moving image. 前記制御手段は、複数の特殊効果を含む第１の特殊効果グループの中から、前記第１の特殊効果を決定する
ことを特徴とする請求項１又は２に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the control unit determines the first special effect from a first special effect group including a plurality of special effects. 前記複数の動画のうちの所定の動画に付加する特殊効果を前記第１の特殊効果グループの中から選択するユーザ指示を受信する受信手段を更に備え、
前記ユーザ指示が受信された場合、前記制御手段は、前記所定の動画に対して、前記第１の特殊効果の代わりに前記ユーザ指示により選択された特殊効果を付加する
ことを特徴とする請求項３に記載の撮像装置。 Receiving means for receiving a user instruction to select a special effect to be added to a predetermined video of the plurality of videos from the first special effect group;
The said control means adds the special effect selected by the said user instruction to the said predetermined moving image instead of the said 1st special effect when the said user instruction | indication is received. 3. The imaging device according to 3. 前記第１の特殊効果グループは、色及び階調のうちの少なくとも一方を変換するフィルタの適用制御に対応する色・階調変換フィルタ効果のグループ、及び、テンプレートデータの合成制御に対応するテンプレート合成効果のグループの少なくとも１つを含む
ことを特徴とする請求項３又は４に記載の撮像装置。 The first special effect group includes a color / gradation conversion filter effect group corresponding to filter application control for converting at least one of color and gradation, and template synthesis corresponding to template data synthesis control. The imaging apparatus according to claim 3, wherein the imaging apparatus includes at least one of effect groups. 前記制御手段は、前記複数の動画のうちの所定の動画に付加する前記第２の特殊効果を、当該所定の動画の撮影シーンに基づいて決定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 6. The control unit according to claim 1, wherein the control unit determines the second special effect to be added to a predetermined moving image among the plurality of moving images based on a shooting scene of the predetermined moving image. The imaging apparatus of Claim 1. 前記制御手段は、前記複数の動画のうちの所定の動画に付加する前記第２の特殊効果を、当該所定の動画の撮影パラメータ、前記結合動画における当該所定の動画の位置、及び前記結合動画における先頭の動画に付加される前記第２の特殊効果のうちの少なくとも１つに基づいて決定する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。 The control means adds the second special effect to be added to a predetermined moving image among the plurality of moving images, the shooting parameter of the predetermined moving image, the position of the predetermined moving image in the combined moving image, and the combined moving image. The imaging apparatus according to claim 1, wherein the imaging device is determined based on at least one of the second special effects added to the first moving image. 前記制御手段は、複数の特殊効果を含む第２の特殊効果グループの中から、動画毎に前記第２の特殊効果を決定する
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。 The said control means determines the said 2nd special effect for every moving image from the 2nd special effect group containing a some special effect. The one of the Claims 1 thru | or 7 characterized by the above-mentioned. Imaging device. 前記第２の特殊効果グループは、動画の再生速度の制御に対応する可変フレームレート効果のグループ、及び、移動する被写体に対する残像の付加制御に対応する残像効果のグループの少なくとも１つを含む
ことを特徴とする請求項８に記載の撮像装置。 The second special effect group includes at least one of a variable frame rate effect group corresponding to the control of the moving image reproduction speed and an afterimage effect group corresponding to the afterimage addition control for the moving subject. The imaging apparatus according to claim 8, wherein the imaging apparatus is characterized. 撮像装置の制御方法であって、
前記撮像装置の撮影手段が、複数の動画を撮影する撮影工程と、
前記撮像装置の制御手段が、前記複数の動画の各々に対して、各動画に共通の第１の特殊効果を付加し、前記複数の動画のうちの１以上の動画の各々に対して、動画毎に決定される第２の特殊効果を付加する制御工程と、
前記撮像装置の生成手段が、前記制御工程により特殊効果が付加された前記複数の動画から構成される結合動画を生成する生成工程と、
を備えることを特徴とする制御方法。 A method for controlling an imaging apparatus,
An imaging process in which the imaging means of the imaging device captures a plurality of moving images;
The control means of the imaging device adds a first special effect common to each moving image to each of the plurality of moving images, and adds a moving image to each of the one or more moving images of the plurality of moving images. A control step of adding a second special effect determined every time;
A generating step of generating a combined moving image composed of the plurality of moving images to which a special effect is added by the control step;
A control method comprising: コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the imaging device of any one of Claims 1 thru | or 9.
JP2014181595A 2014-09-05 2014-09-05 Imaging device, control method thereof, and program Active JP6346529B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014181595A JP6346529B2 (en) 2014-09-05 2014-09-05 Imaging device, control method thereof, and program
EP15181738.4A EP2993895A1 (en) 2014-09-05 2015-08-20 Image capturing apparatus and control method therefor
US14/839,787 US9723201B2 (en) 2014-09-05 2015-08-28 Image capturing apparatus and control method therefor
CN201510551146.XA CN105407266B (en) 2014-09-05 2015-09-01 Photographic device and its control method
KR1020150123405A KR101871675B1 (en) 2014-09-05 2015-09-01 Image capturing apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014181595A JP6346529B2 (en) 2014-09-05 2014-09-05 Imaging device, control method thereof, and program

Publications (3)

Publication Number Publication Date
JP2016058792A true JP2016058792A (en) 2016-04-21
JP2016058792A5 JP2016058792A5 (en) 2017-10-05
JP6346529B2 JP6346529B2 (en) 2018-06-20

Family

ID=55756636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014181595A Active JP6346529B2 (en) 2014-09-05 2014-09-05 Imaging device, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP6346529B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513819A (en) * 2018-09-30 2021-05-27 北京微播視界科技有限公司Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． Video acquisition methods, devices, terminals and media

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067065A (en) * 2004-08-25 2006-03-09 Canon Inc Imaging apparatus
JP2006129501A (en) * 2004-10-29 2006-05-18 Microsoft Corp Features such as titles, transitions, and/or effects which vary according to positions
JP2012105160A (en) * 2010-11-11 2012-05-31 Olympus Imaging Corp Imaging apparatus, imaging method, and imaging program
JP2012165078A (en) * 2011-02-03 2012-08-30 Olympus Imaging Corp Imaging apparatus and imaging program
JP2014057169A (en) * 2012-09-11 2014-03-27 Olympus Imaging Corp Image generating apparatus, imaging apparatus including the same, image generating method and image generation program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067065A (en) * 2004-08-25 2006-03-09 Canon Inc Imaging apparatus
JP2006129501A (en) * 2004-10-29 2006-05-18 Microsoft Corp Features such as titles, transitions, and/or effects which vary according to positions
JP2012105160A (en) * 2010-11-11 2012-05-31 Olympus Imaging Corp Imaging apparatus, imaging method, and imaging program
JP2012165078A (en) * 2011-02-03 2012-08-30 Olympus Imaging Corp Imaging apparatus and imaging program
JP2014057169A (en) * 2012-09-11 2014-03-27 Olympus Imaging Corp Image generating apparatus, imaging apparatus including the same, image generating method and image generation program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513819A (en) * 2018-09-30 2021-05-27 北京微播視界科技有限公司Ｂｅｉｊｉｎｇ Ｍｉｃｒｏｌｉｖｅ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． Video acquisition methods, devices, terminals and media
JP7157177B2 (en) 2018-09-30 2022-10-19 北京微播視界科技有限公司 Video Acquisition Method, Apparatus, Terminal and Medium
US11670339B2 (en) 2018-09-30 2023-06-06 Beijing Microlive Vision Technology Co., Ltd Video acquisition method and device, terminal and medium

Also Published As

Publication number Publication date
JP6346529B2 (en) 2018-06-20

Similar Documents

Publication Publication Date Title
KR101871675B1 (en) Image capturing apparatus and control method therefor
US8638374B2 (en) Image pickup apparatus, image pickup system, and image pickup method
JP5234119B2 (en) Imaging apparatus, imaging processing method, and program
JP4637045B2 (en) Imaging device
JP2013046259A (en) Video apparatus, control method, and program
JP6304293B2 (en) Image processing apparatus, image processing method, and program
US20110199496A1 (en) Image capturing apparatus, image capturing control method, and storage medium
JP2008139683A (en) Imaging apparatus and autofocus control method
KR102172114B1 (en) Moving image selection apparatus for selecting moving image to be combined, moving image selection method, and storage medium
KR20150002478A (en) Moving image generating apparatus, moving image generating method, and computer readable recording medium having a computer program
JP2009194770A (en) Imaging device, moving image reproducing apparatus, and program thereof
JP2008005540A (en) Image processing apparatus and method
JP2019057794A (en) Imaging apparatus, control method of the same, program, and recording medium
US10348957B2 (en) Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images
JP6346529B2 (en) Imaging device, control method thereof, and program
JP6152009B2 (en) Imaging apparatus, imaging method, program, and recording medium
JP6378589B2 (en) Imaging device, control method thereof, and program
JP6075829B2 (en) IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP5406619B2 (en) MOVING IMAGE REPRODUCTION DEVICE, IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
JP2011223399A (en) Camera
JP6555978B2 (en) Image processing apparatus, control method thereof, and program
JP6679333B2 (en) Image processing apparatus, image processing method, and program
JP2008042326A (en) Imaging apparatus and simultaneous display control method
JP6800693B2 (en) Imaging device and driving method of imaging device
JP6742862B2 (en) Imaging device, image processing device, control method of imaging device, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180525

R151 Written notification of patent or utility model registration

Ref document number: 6346529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151