JP6589838B2 - 動画像編集装置及び動画像編集方法 - Google Patents

動画像編集装置及び動画像編集方法 Download PDF

Info

Publication number
JP6589838B2
JP6589838B2 JP2016232019A JP2016232019A JP6589838B2 JP 6589838 B2 JP6589838 B2 JP 6589838B2 JP 2016232019 A JP2016232019 A JP 2016232019A JP 2016232019 A JP2016232019 A JP 2016232019A JP 6589838 B2 JP6589838 B2 JP 6589838B2
Authority
JP
Japan
Prior art keywords
editing
moving image
emotion
temporal
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016232019A
Other languages
English (en)
Other versions
JP2018088655A5 (ja
JP2018088655A (ja
Inventor
和典 柳
和典 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016232019A priority Critical patent/JP6589838B2/ja
Priority to US15/818,254 priority patent/US20180151198A1/en
Priority to CN201711223401.3A priority patent/CN108122270A/zh
Priority to KR1020170161463A priority patent/KR20180062399A/ko
Publication of JP2018088655A publication Critical patent/JP2018088655A/ja
Publication of JP2018088655A5 publication Critical patent/JP2018088655A5/ja
Application granted granted Critical
Publication of JP6589838B2 publication Critical patent/JP6589838B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22Means responsive to presence or absence of recorded information signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画像編集装置及び動画像編集方法に関する。
近年、音声データから人の感情を分析する感情分析技術が実用化レベルになりつつある。そして、この感情分析技術を利用することにより、例えば、歌唱者と聞き手が写っているカラオケの映像から聞き手の感情を推定し、その感情に応じて元のカラオケの映像にテキストや画像を合成するという技術が提案されている(例えば、特許文献1参照)。
特開2009−288446号公報
しかしながら、上記特許文献1に開示されている技術の場合、テキストや画像を合成するものではあるが、編集の効果が弱いという問題がある。
本発明は、このような問題に鑑みてなされたものであり、動画像をより効果的に編集することを目的とする。
上記課題を解決するため、本発明に係る動画像編集装置は、
編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段により所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする。
本発明によれば、動画像をより効果的に編集することができる。
本発明を適用した実施形態の動画像編集装置の概略構成を示す図である。 (a)は第1のテーブルの一例を示す図であり、(b)は第2のテーブルの一例を示す図である。 動画像編集処理に係る動作の一例を示すフローチャートである。 (a)は感情の検出開始位置と検出終了位置の一例を示す図であり、(b)は感情の検出開始位置と検出終了位置のその他の例を示す図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した実施形態の動画像編集装置100の概略構成を示すブロック図である。
図1に示すように、本実施形態の動画像編集装置100は、中央制御部101と、メモリ102と、記録部103と、表示部104と、操作入力部105と、通信制御部106と、動画像編集部107とを備えている。
また、中央制御部101、メモリ102、記録部103、表示部104、操作入力部105、通信制御部106及び動画像編集部107は、バスライン108を介して接続されている。
中央制御部101は、動画像編集装置100の各部を制御するものである。具体的には、中央制御部101は、図示は省略するが、CPU(Central Processing Unit)等を備え、動画像編集装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ102は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部101、動画像編集部107等によって処理されるデータ等を一時的に格納する。
記録部103は、例えば、SSD(Solid State Drive)等から構成され、図示しない画像処理部により所定の圧縮形式(例えば、JPEG形式、MPEG形式等)で符号化された静止画像や動画像の画像データを記録する。なお、記録部103は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。また、記憶部103は、後述する通信制御部106を介してネットワークに接続されている状態で、所定のサーバ装置の記憶領域を含むものであってもよい。
表示部104は、表示パネル104aの表示領域に画像を表示する。
すなわち、表示部104は、図示しない画像処理部により復号された所定サイズの画像データに基づいて、動画像や静止画像を表示パネル104aの表示領域に表示する。
なお、表示パネル104aは、例えば、液晶表示パネルや有機EL(Electro-Luminescence)表示パネル等から構成されているが、一例であってこれらに限られるものではない。
操作入力部105は、動画像編集装置100の所定操作を行うためのものである。具体的には、操作入力部105は、電源のON/OFF操作に係る電源ボタン、各種のモードや機能等の選択指示に係るボタン等(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部105は、操作されたボタンに応じた操作指示を中央制御部101に出力する。中央制御部101は、操作入力部105から出力され入力された操作指示に従って所定の動作(例えば、動画像の編集処理等)を各部に実行させる。
また、操作入力部105は、表示部104の表示パネル104aと一体となって設けられたタッチパネル105aを有している。
通信制御部106は、通信アンテナ106a及び通信ネットワークを介してデータの送受信を行う。
動画像編集部107は、第1のテーブル107aと、第2のテーブル107bと、感情検出部107cと、特定部107dと、編集処理部107eとを具備している。
なお、動画像編集部107の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
第1のテーブル107aは、図2(a)に示すように、編集内容を識別するための「ID」T11、編集の開始位置を示す「編集の開始位置」T12、編集の終了位置を示す「編集の終了位置」T13、編集処理の内容を示す「編集処理の内容」T14の項目を有する。
第1のテーブル107aにおいて、例えば、「ID」T11の項目の番号「1」に対応する編集の開始位置は、「感情の検出開始位置の所定時間前」であり、編集の終了位置は、「感情のピーク位置」である。つまり、感情検出部107cにより所定の感情(例えば、喜びの感情)が検出された時間的位置、すなわち当該所定の感情の検出開始位置から検出終了位置までの時間の長さとは異なる時間の長さの部分(時間的位置)が動画像を編集する時間的部分として特定されるようになっている。
第2のテーブル107bは、図2(b)に示すように、感情の分類を示す「感情の分類」T21、感情の種類を示す「感情の種類」T22、編集内容を特定するための番号を示す「ID」T23の項目を有する。ここで、「ID」T23の項目が示す番号は、第1のテーブル107aの「ID」T11が示す番号と対応するように構成されている。つまり、感情検出部107cにより感情が検出され当該感情の種類が特定されることによって、編集内容(編集の開始位置、編集の終了位置、編集処理の内容)が特定されるようになっている。
感情検出部(検出手段)107cは、編集対象の動画像から、当該動画像に記録されている人物の感情を検出する。なお、本実施形態では、感情を検出する人物は一人として、以下説明を行う。
具体的には、感情検出部107cは、編集対象の動画像に含まれる音声データ(音声部分)に基づき、「喜び」、「好き」、「安らぎ」、「哀しみ」、「恐怖」、「怒り」、「驚き」の各感情の度合いを時系列に沿って表した時系列グラフを生成する。ここで、各感情には、当該各感情に対応する閾値が予め設定されている。なお、各感情の度合いの算出処理は公知の音声解析技術を使用することで実現可能であるため、詳細な説明は省略する。
そして、感情検出部107cは、生成された上記時系列グラフを用いて、下記(1)〜(4)の手順に従い感情を逐次検出する。
(1)図4(a)に示すように、感情(例えば、「驚き」の感情)の度合いが当該感情に対応する閾値を超えたと判別された時点t1を、感情の検出開始位置とする。ただし、図4(b)に示すように、感情(例えば、「喜び」の感情)の度合いが当該感情に対応する閾値を超えたと判別された時点t11で、既に他の感情(例えば、「驚き」の感情)の度合いが当該他の感情に対応する閾値を超えている場合には、当該感情の度合いが当該他の感情の度合いを上回った時点t12を、感情の検出開始位置とする。
(2)(1)で検出の開始が認められた感情の種類を判別する。
(3)(1)で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回るまでの期間、又は、(1)で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回る前に、当該感情とは異なる感情の検出が開始された場合には、当該異なる感情の検出が開始されるまでの期間に亘り、逐次感情の度合いのピーク値を更新する。
(4)図4(a)に示すように、(1)で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回ったと判別された時点t10を、感情の検出終了位置とする。ただし、図4(b)に示すように、(1)で検出の開始が認められた感情(例えば、「驚き」の感情)の度合いが当該感情に対応する閾値を下回る前に、当該感情とは異なる感情(例えば、「喜び」の感情)の検出が開始された場合には、当該異なる感情の検出開始位置t12を、当該感情の検出終了位置とする。
そして、感情検出部107cは、音声データの最初から最後まで感情を検出し終えると、検出された感情ごとに、感情の検出開始位置、検出終了位置、種類、ピーク値をメモリ102に一時的に記録する。
特定部(特定手段)107dは、感情検出部107cによる感情の検出結果に基づき、動画像を編集する時間的部分を特定する。
具体的には、特定部107dは、第1のテーブル107a及び第2のテーブル107b、並びに、メモリ102に一時的に記録されている感情の検出開始位置、検出終了位置、種類、ピーク値を用いて、動画像を編集する時間的部分を特定する。例えば、感情検出部107cによって「喜び」の感情が検出されている場合、特定部107dは、第2のテーブル107bを参照して、メモリ102に一時的に記録されている感情の種類「喜び」に対応する編集内容を特定するための番号「1」を「ID」T23の項目から取得する。次いで、特定部107dは、第1のテーブル107aを参照して、取得した編集内容を特定するための番号「1」に対応する編集内容を、「編集の開始位置」T12、「編集の終了位置」T13、及び「編集処理の内容」T14の項目から取得することによって、動画像を編集する時間的部分を特定する。具体的には、かかる場合、「編集の開始位置」T12の項目から、編集の開始位置として、「感情(喜びの感情)の検出開始位置の所定時間前」が特定されることとなる。また、「編集の終了位置」T13の項目から、編集の終了位置として、「感情(喜びの感情)のピーク位置」が特定されることとなる。つまり、特定部107dは、感情検出部107cによって検出された感情の種類に対応する特定態様に基づき、動画像を編集する時間的部分を特定したこととなる。また、「編集処理の内容」T14の項目から、編集処理の内容として、「顔を検出しズームイン、編集の終了位置まで維持」及び「感情の度合いに応じてズーム倍率を設定」が特定されることとなる。
編集処理部(編集手段)107eは、感情検出部107cによって検出された感情の種類に対応する編集態様に基づき、特定部107dによって特定された動画像を編集する時間的部分(「編集の開始位置」T12から「編集の終了位置」T13までの映像の時間的部分)に編集処理(「編集処理の内容」T14)を施す。そして、編集処理部107eは、編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換える。
具体的には、編集処理部107eは、上述のように、感情検出部107cによって「喜び」の感情が検出されている場合、特定部107dによって特定された動画像を編集する時間的部分、すなわち「喜び」の感情の検出開始位置の所定時間前からピーク位置までの時間的部分において、検出された顔にズームイン処理を施すとともに、編集の終了位置までズームインされた状態を維持する処理を施す。また、ズームイン処理を施す際のズーム倍率は、「喜び」の感情の度合いに応じたズーム倍率に設定する。
また、編集処理部107eは、例えば、感情検出部107cによって「驚き」の感情が検出されている場合(「ID」T11、T23が「4」)、特定部107dによって特定された動画像を編集する時間的部分、すなわち「驚き」の感情のピーク位置から所定時間が経過するまでの時間的部分において、動画像を一時停止させる処理を施す。また、一時停止させる時間は、「驚き」の感情の度合いに応じた時間に設定する。また、編集処理部107eは、例えば、感情検出部107cによって「恐怖」の感情が検出されている場合(「ID」T11、T23が「7」)、特定部107dによって特定された動画像を編集する時間的部分、すなわち「恐怖」の感情の検出開始位置から検出終了位置までの時間的部分において、動画像の再生速度を遅くする処理を施す。かかる場合、映像の再生速度を遅くすることに伴い音声の再生速度も遅くなる。このため、音声の高さが低くなることにより編集の効果が高まる。また、このときの動画像の再生速度は、「恐怖」の感情の度合いに応じた速度に設定する。
ここで、編集処理部107eは、特定部107dによって特定された動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施したこととなる。また、編集処理部107eは、編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施したこととなる。さらに、編集処理部107eは、特定部107dによって特定された動画像を編集する時間的部分に、感情検出部107cによって検出された感情の度合いに応じた編集処理を施したこととなる。
<動画像編集処理>
次に、動画像編集装置100による動画像編集処理について、図3を参照して説明する。図3は、動画像編集処理に係る動作の一例を示すフローチャートである。このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、通信制御部106によりネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
図3に示すように、先ず、記録部103に記録されている動画像のうち、ユーザによる操作入力部105の所定操作に基づいて編集対象となる動画像が指定されると(ステップS1)、感情検出部107cは、指定された動画像を記録部103から読み出し、当該動画像の音声データを用いて当該音声データの最初から最後まで感情を逐次検出する(ステップS2)。
次いで、感情検出部107cは、音声データの最初から最後まで感情の検出が完了したか否かを判定する(ステップS3)。
ステップS3において、音声データの最初から最後まで感情の検出が完了していないと判定された場合(ステップS3;NO)は、ステップS2に戻りそれ以降の処理を繰り返し実行する。一方、音声データの最初から最後まで感情の検出が完了したと判定された場合(ステップS3;YES)、感情検出部107cは、検出された感情ごとに、当該感情の検出開始位置、検出終了位置、種類、ピーク値をメモリ102に一時的に記録する(ステップS4)。
次いで、特定部107dは、第1のテーブル107a及び第2のテーブル107b、並びに、メモリ102に一時的に記録されている感情の検出開始位置、検出終了位置、種類、ピーク値を用いて、動画像を編集する時間的部分と内容を特定する(ステップS5)。
次いで、編集処理部107eは、特定部107dによって特定された動画像を編集する時間的部分に対して、同じく特定部107dによって特定された動画像の編集内容に従って編集処理を施し、当該編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えて(ステップS6)、動画像編集処理を終了する。
以上のように、本実施形態の動画像編集装置100は、編集対象の動画像から、当該動画像に記録されている人物の感情を検出し、所定の感情が検出された時間的位置とは異なる時間的位置である、当該動画像を編集する時間的部分を特定し、特定された当該動画像を編集する時間的部分に編集処理を施したこととなる。
このため、本実施形態の動画像編集装置100によれば、所定の感情が検出された時間的位置にとらわれることなく、当該所定の感情に相応しい動画像の編集を行うことができるので、より効果的な編集を行うことができる。
また、本実施形態の動画像編集装置100は、編集対象の動画像に含まれる音声部分から当該動画像に記録されている人物の感情を検出し、所定の感情が検出された時間的位置とは異なる時間的位置である、当該動画像を編集する映像の時間的部分を特定し、特定された当該動画像を編集する映像の時間的部分に編集処理を施したこととなる。このため、本実施形態の動画像編集装置100によれば、より効果的で且つビジュアルな編集を行うことができる。
また、本実施形態の動画像編集装置100は、編集対象の動画像に含まれる音声のみから、当該動画像に記録されている人物の感情を検出し、当該人物の感情の検出結果に応じて、当該動画像を編集する時間的部分を特定し、特定された当該動画像を編集する時間的部分に編集処理を施したこととなる。このため、本実施形態の動画像編集装置100によれば、動画像に人物が写っていない場合でも、当該人物の感情を検出することができる。従って、人物の感情を検出する機会を増やすことができるので、当該人物の感情の検出結果に応じた動画像を編集する時間的部分も増え、より効果的な編集を行うことができる。
また、本実施形態の動画像編集装置100は、編集対象の動画像から、当該動画像に記録されている人物の感情を検出し、当該人物の感情の検出結果に応じて、当該動画像を編集する時間的部分を特定し、特定された当該動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施したこととなる。このため、本実施形態の動画像編集装置100によれば、編集の効果が時間的に変化するという動画像に適した編集を行うことができるので、より効果的な編集を行うことができる。
また、本実施形態の動画像編集装置100は、所定の感情が検出された時間の長さとは異なる時間の長さの時間的部分を、動画像を編集する時間的部分として特定するので、当該所定の感情が検出された時間の長さにとらわれることなく、当該所定の感情に相応しい動画像の編集を行うことができるので、より効果的な編集を行うことができる。
また、本実施形態の動画像編集装置100は、検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像を編集する時間的部分の特定態様が設定されており、感情を検出した際の当該感情の種類を更に検出し、検出された感情の種類に対応する特定態様に基づき、動画像を編集する時間的部分を特定したこととなる。このため、本実施形態の動画像編集装置100によれば、検出し得る感情に応じて、動画像を編集する時間的部分の特定態様を多様化させることができるので、より効果的な編集を行うことができる。
また、本実施形態の動画像編集装置100は、検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像の編集態様が設定されており、感情を検出した際の当該感情の種類を更に検出し、検出された感情の種類に対応する編集態様に基づき、特定された動画像を編集する時間的部分に編集処理を施したこととなる。このため、本実施形態の動画像編集装置100によれば、検出し得る感情に応じて、動画像を編集する時間的部分の編集態様についても多様化を図ることができるので、より一層効果的な編集を行うことができる。
また、本実施形態の動画像編集装置100は、感情を検出した際の当該感情の度合いを更に検出し、特定された動画像を編集する時間的部分に、検出された感情の度合いに応じた編集処理を施すので、より一層効果的な編集を行うことができる。
また、本実施形態の動画像編集装置100は、編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施したこととなる。このため、本実施形態の動画像編集装置100によれば、動画像を編集する時間的部分の編集態様をさらに多様化することができるので、より一層効果的な編集を行うことができる。
また、本実施形態の動画像編集装置100は、動画像のうちの編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えるので、編集処理が施された時間的部分を一連の動画像のなかで観ることができる。
[変形例]
続いて、上記実施形態の変形例について説明する。なお、上記実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。
本変形例の動画像編集装置200は、動画像を編集する映像の部分に編集処理を施すとともに、BGMを追加するBGM編集を施す点で、上記実施形態と異なっている。
具体的には、本変形例の第1のテーブル207a(図示省略)は、「ID」T11、「編集の開始位置」T12、「編集の終了位置」T13、「編集処理の内容」T14の項目に加え、「BGM編集の開始位置」T15、「BGM編集の終了位置」T16、「BGMの種類」T17、「BGM編集処理の内容」T18の項目を有する。
「BGM編集の開始位置」T15には、「ID」T11の識別番号、すなわち検出された感情の種類に応じて、例えば、「感情の検出開始位置」、「感情の検出開始位置の所定時間前」、「感情の検出開始位置の所定時間後」等の事項が設定されている。
また、「BGM編集の終了位置」T16には、「ID」T11の識別番号に応じて、例えば、「感情の検出終了位置」、「感情の検出終了位置の所定時間前」、「感情の検出終了位置の所定時間後」等の事項が設定されている。
また、「BGMの種類」T17には、「ID」T11の識別番号に応じて、例えば、「明るめの曲」、「暗めの曲」、「静かな曲」等の事項が設定されている。
また、「BGM編集処理の内容」T18には、「ID」T11の識別番号に応じて、例えば、「BGM編集の開始位置から終了位置に向かって徐々に音量を上げる/下げる」、「BGM編集の開始位置から感情のピーク位置に向かって徐々に音量を上げる/下げる」、「感情のピーク位置からBGM編集の終了位置に向かって徐々に音量を下げる/上げる」等の事項が設定されている。
これにより、本変形例の特定部207dは、本変形例の第1のテーブル207aを参照し、検出された感情の種類に応じて、動画像の編集の開始位置、動画像の編集の終了位置、動画像の編集処理の内容、BGM編集の開始位置、BGM編集の終了位置、BGMの種類、BGM編集処理の内容を特定することとなる。
そして、本変形例の編集処理部207eは、上記特定部207dによって特定された内容に基づき、動画像を編集する時間的部分に編集処理を施すとともに、対象部分にBGM編集処理を施すこととなる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
上記実施形態や上記変形例にあっては、第1のテーブル107a,207aの「編集処理の内容」T14の項目に列挙された編集処理の内容に従い編集処理が施される構成としたが、当該編集処理の内容は、列挙された編集処理の内容に限定されるものではない。例えば、画面切り替え時の速度を変える、或いは画面切り替え時の編集効果の種類を変える等の編集処理が施されるようにしてもよい。
また、上記実施形態や上記変形例にあっては、例えば、検出された感情の種類に応じたフォントのテロップを入れるといった編集処理が施されるようにしてもよい。
また、上記実施形態や上記変形例にあっては、検出された感情の種類に応じて、編集処理の内容を特定するようにしたが、これに限定されるものではなく、例えば、検出された感情の分類(ポジティブ感情、ネガティブ感情、ニュートラル)に応じて、編集処理の内容を特定するようにしてもよい。
また、上記実施形態や上記変形例にあっては、編集対象の動画像に含まれる音声が複数人によるものである場合、例えば、音量が最も大きい音声のみを対象として、感情の検出を行うようにしてもよい。
また、上記実施形態や上記変形例にあっては、例えば、予め特定の人物の音声を録音したサンプルデータを記憶しておく。そして、感情検出部107cによって感情を検出する場合、上記サンプルデータに基づく特定の人物の音声と適合する音声のみを対象として、動画像に記録されている人物の感情を検出するようにしてもよい。かかる場合には、感情検出部107cによって特定の人物の感情のみを検出可能となる。
本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段により所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
<請求項2>
前記検出手段は、前記編集対象の動画像に含まれる音声部分から当該動画像に記録されている人物の感情を検出し、
前記特定手段は、前記所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する映像の時間的部分を特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項1に記載の動画像編集装置。
<請求項3>
動画像編集装置であって、
編集対象の動画像に含まれる音声のみから、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
<請求項4>
前記特定手段は、前記検出手段により所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する映像の時間的部分を特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項3に記載の動画像編集装置。
<請求項5>
動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
<請求項6>
前記特定手段は、前記検出手段により所定の感情が検出された時間の長さとは異なる時間の長さの時間的部分を、前記動画像を編集する時間的部分として特定することを特徴とする請求項1〜6のいずれか一項に記載の動画像編集装置。
<請求項7>
前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた前記動画像を編集する時間的部分の特定態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記特定手段は、前記検出手段によって検出された前記感情の種類に対応する前記特定態様に基づき、前記動画像を編集する時間的部分を特定することを特徴とする請求項1〜6のいずれか一項に記載の動画像編集装置。
<請求項8>
前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像の編集態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記編集手段は、前記検出手段によって検出された前記感情の種類に対応する前記編集態様に基づき、前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施すことを特徴とする請求項1〜6のいずれか一項に記載の動画像編集装置。
<請求項9>
前記検出手段は、前記感情を検出した際の当該感情の度合いを更に検出し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、前記検出手段によって検出された前記感情の度合いに応じた編集処理を施すことを特徴とする請求項1〜6のいずれか一項に記載の動画像編集装置。
<請求項10>
前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施すことを特徴とする請求項1〜4のいずれか一項に記載の動画像編集装置。
<請求項11>
前記編集手段は、前記編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施すことを特徴とする請求項5、6、10のいずれか一項に記載の動画像編集装置。
<請求項12>
前記編集手段は、前記動画像のうちの前記編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えることを特徴とする請求項1〜11のいずれか一項に記載の動画像編集装置。
<請求項13>
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する処理と、
所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
<請求項14>
編集対象の動画像に含まれる音声のみから、当該動画像に記録されている人物の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
<請求項15>
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
100、200 動画像編集装置
101 中央制御部
102 メモリ
103 記録部
104 表示部
104a 表示パネル
105 操作入力部
105a タッチパネル
106 通信制御部
106a 通信アンテナ
107 動画像編集部
107a、207a 第1のテーブル
107b 第2のテーブル
107c 感情検出部
107d、207d 特定部
107e、207e 編集処理部

Claims (15)

  1. 動画像編集装置であって、
    編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
    前記検出手段により所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する特定手段と、
    前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
    を備えることを特徴とする動画像編集装置。
  2. 前記検出手段は、前記編集対象の動画像に含まれる音声部分から当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出し、
    前記特定手段は、前記所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定し、
    前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項1に記載の動画像編集装置。
  3. 動画像編集装置であって、
    編集対象の動画像に含まれる画像と音声のうち音声のみから、当該動画像に記録されている人物の当該動画像を記録している時の所定の感情を検出する検出手段と、
    前記検出手段による検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する特定手段と、
    前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
    を備えることを特徴とする動画像編集装置。
  4. 前記特定手段は、前記検出手段により所定の感情が検出された時間的位置より前の時間的位置を含む前記動画像を編集する映像の時間的部分を特定し、
    前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項3に記載の動画像編集装置。
  5. 動画像編集装置であって、
    編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
    前記検出手段による検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分を特定する特定手段と、
    前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す編集手段と、
    を備えることを特徴とする動画像編集装置。
  6. 前記特定手段は、前記検出手段により所定の感情が検出された時間の長さとは異なる時間の長さの時間的部分を、前記動画像を編集する時間的部分として特定することを特徴とする請求項1〜5のいずれか一項に記載の動画像編集装置。
  7. 前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた前記動画像を編集する時間的部分の特定態様が設定されており、
    前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
    前記特定手段は、前記検出手段によって検出された前記感情の種類に対応する前記特定態様に基づき、前記動画像を編集する時間的部分を特定することを特徴とする請求項1〜5のいずれか一項に記載の動画像編集装置。
  8. 前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像の編集態様が設定されており、
    前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
    前記編集手段は、前記検出手段によって検出された前記感情の種類に対応する前記編集態様に基づき、前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施すことを特徴とする請求項1〜5のいずれか一項に記載の動画像編集装置。
  9. 前記検出手段は、前記感情を検出した際の当該感情の度合いを更に検出し、
    前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、前記検出手段によって検出された前記感情の度合いに応じた編集処理を施すことを特徴とする請求項1〜5のいずれか一項に記載の動画像編集装置。
  10. 前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施すことを特徴とする請求項1〜4のいずれか一項に記載の動画像編集装置。
  11. 前記編集手段は、前記編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施すことを特徴とする請求項5又は10に記載の動画像編集装置。
  12. 前記編集手段は、前記動画像のうちの前記編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えることを特徴とする請求項1〜11のいずれか一項に記載の動画像編集装置。
  13. 編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
    所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する処理と、
    特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
    を含むことを特徴とする動画像編集方法。
  14. 編集対象の動画像に含まれる画像と音声のうち音声のみから、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
    前記人物の感情の検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する処理と、
    特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
    を含むことを特徴とする動画像編集方法。
  15. 編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
    前記人物の感情の検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する処理と、
    特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す処理と、
    を含むことを特徴とする動画像編集方法。
JP2016232019A 2016-11-30 2016-11-30 動画像編集装置及び動画像編集方法 Expired - Fee Related JP6589838B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016232019A JP6589838B2 (ja) 2016-11-30 2016-11-30 動画像編集装置及び動画像編集方法
US15/818,254 US20180151198A1 (en) 2016-11-30 2017-11-20 Moving image editing apparatus and moving image editing method
CN201711223401.3A CN108122270A (zh) 2016-11-30 2017-11-28 动态图像编辑装置以及动态图像编辑方法
KR1020170161463A KR20180062399A (ko) 2016-11-30 2017-11-29 동화상 편집 장치 및 동화상 편집 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016232019A JP6589838B2 (ja) 2016-11-30 2016-11-30 動画像編集装置及び動画像編集方法

Publications (3)

Publication Number Publication Date
JP2018088655A JP2018088655A (ja) 2018-06-07
JP2018088655A5 JP2018088655A5 (ja) 2018-12-20
JP6589838B2 true JP6589838B2 (ja) 2019-10-16

Family

ID=62190323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016232019A Expired - Fee Related JP6589838B2 (ja) 2016-11-30 2016-11-30 動画像編集装置及び動画像編集方法

Country Status (4)

Country Link
US (1) US20180151198A1 (ja)
JP (1) JP6589838B2 (ja)
KR (1) KR20180062399A (ja)
CN (1) CN108122270A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122020001822B1 (pt) 2010-03-26 2021-05-04 Dolby International Ab Método e dispositivo para decodificar uma representação para campo de som de áudio para reprodução de áudio e meio legível por computador
US11601715B2 (en) * 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
CN109063163B (zh) * 2018-08-14 2022-12-02 腾讯科技(深圳)有限公司 一种音乐推荐的方法、装置、终端设备和介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4407198B2 (ja) * 2003-08-11 2010-02-03 ソニー株式会社 記録再生装置、再生装置、記録再生方法および再生方法
JP4525437B2 (ja) * 2005-04-19 2010-08-18 株式会社日立製作所 動画処理装置
JP4085130B2 (ja) * 2006-06-23 2008-05-14 松下電器産業株式会社 感情認識装置
US20080068397A1 (en) * 2006-09-14 2008-03-20 Carey James E Emotion-Based Digital Video Alteration
JP2009141516A (ja) * 2007-12-04 2009-06-25 Olympus Imaging Corp 画像表示装置,カメラ,画像表示方法,プログラム,画像表示システム
JP2009278202A (ja) * 2008-05-12 2009-11-26 Nippon Telegr & Teleph Corp <Ntt> 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2009288446A (ja) * 2008-05-28 2009-12-10 Nippon Telegr & Teleph Corp <Ntt> カラオケ映像編集装置及び方法及びプログラム
US8237742B2 (en) * 2008-06-12 2012-08-07 International Business Machines Corporation Simulation method and system
JP2010011409A (ja) * 2008-06-30 2010-01-14 Nippon Telegr & Teleph Corp <Ntt> 映像ダイジェスト装置及び映像編集プログラム
KR20130102368A (ko) * 2012-03-07 2013-09-17 삼성전자주식회사 동영상 특징 정보를 가이드하기 위한 동영상 편집 장치 및 방법
US20140153900A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Video processing apparatus and method
JP6172990B2 (ja) * 2013-03-27 2017-08-02 オリンパス株式会社 画像記録装置、画像記録処理の制御方法及びそのプログラム
US20150318020A1 (en) * 2014-05-02 2015-11-05 FreshTake Media, Inc. Interactive real-time video editor and recorder
US9251405B2 (en) * 2013-06-20 2016-02-02 Elwha Llc Systems and methods for enhancement of facial expressions
US9734869B2 (en) * 2014-03-11 2017-08-15 Magisto Ltd. Method and system for automatic learning of parameters for automatic video and photo editing based on user's satisfaction
JP2016046705A (ja) * 2014-08-25 2016-04-04 コニカミノルタ株式会社 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム
CN104994000A (zh) * 2015-06-16 2015-10-21 青岛海信移动通信技术股份有限公司 一种图像动态呈现的方法和装置
TWI597980B (zh) * 2015-08-10 2017-09-01 宏達國際電子股份有限公司 影音管理方法及其系統

Also Published As

Publication number Publication date
US20180151198A1 (en) 2018-05-31
KR20180062399A (ko) 2018-06-08
CN108122270A (zh) 2018-06-05
JP2018088655A (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
US9064538B2 (en) Method and system for generating at least one of: comic strips and storyboards from videos
US9685199B2 (en) Editing apparatus and editing method
JP4683116B2 (ja) 情報処理装置、情報処理方法、情報処理プログラムおよび撮像装置
JP6589838B2 (ja) 動画像編集装置及び動画像編集方法
JP6703627B2 (ja) 装置および関連する方法
US8126309B2 (en) Video playback apparatus and method
CN108632555B (zh) 动态图像处理装置、动态图像处理方法以及记录介质
JP2009177411A (ja) 電子機器および画像表示方法
JP2009089032A (ja) 電子機器およびシーン種類表示方法
JP2010057145A (ja) 電子機器、動画像データ区間変更方法及びプログラム
KR20130137632A (ko) 비디오 시스템에서 의미 기반 트릭 모드 플레이를 위한 방법
JP2007101945A (ja) 音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラム
JP2004199696A5 (ja)
JP2008312183A (ja) 情報処理装置および方法、並びにプログラム
US20100310229A1 (en) Video processing apparatus and vide processing method
JP2010166322A (ja) 映像視聴装置及び映像再生制御方法及び記録再生用プログラム
JP2010062691A (ja) 情報処理装置
JP5556194B2 (ja) 表示制御装置及び表示制御プログラム
KR100775187B1 (ko) 썸네일 재생 방법 및 이를 이용한 단말기
JP2000222417A (ja) 画像ファイリング装置
JP2010063066A (ja) 動画像再生装置
JP5847646B2 (ja) テレビ制御装置、テレビ制御方法及びテレビ制御プログラム
JP2012169743A (ja) 情報処理装置及び情報処理方法
JP2007149163A (ja) コンテンツ再生装置
JP2007078985A (ja) データ検索装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190902

R150 Certificate of patent or registration of utility model

Ref document number: 6589838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees