JP6589838B2 - 動画像編集装置及び動画像編集方法 - Google Patents
動画像編集装置及び動画像編集方法 Download PDFInfo
- Publication number
- JP6589838B2 JP6589838B2 JP2016232019A JP2016232019A JP6589838B2 JP 6589838 B2 JP6589838 B2 JP 6589838B2 JP 2016232019 A JP2016232019 A JP 2016232019A JP 2016232019 A JP2016232019 A JP 2016232019A JP 6589838 B2 JP6589838 B2 JP 6589838B2
- Authority
- JP
- Japan
- Prior art keywords
- editing
- moving image
- emotion
- temporal
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 102
- 230000008451 emotion Effects 0.000 claims description 215
- 238000001514 detection method Methods 0.000 claims description 82
- 230000002123 temporal effect Effects 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 33
- 230000000694 effects Effects 0.000 claims description 20
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/22—Means responsive to presence or absence of recorded information signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段により所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする。
図1に示すように、本実施形態の動画像編集装置100は、中央制御部101と、メモリ102と、記録部103と、表示部104と、操作入力部105と、通信制御部106と、動画像編集部107とを備えている。
また、中央制御部101、メモリ102、記録部103、表示部104、操作入力部105、通信制御部106及び動画像編集部107は、バスライン108を介して接続されている。
すなわち、表示部104は、図示しない画像処理部により復号された所定サイズの画像データに基づいて、動画像や静止画像を表示パネル104aの表示領域に表示する。
そして、ユーザにより各種ボタンが操作されると、操作入力部105は、操作されたボタンに応じた操作指示を中央制御部101に出力する。中央制御部101は、操作入力部105から出力され入力された操作指示に従って所定の動作(例えば、動画像の編集処理等)を各部に実行させる。
なお、動画像編集部107の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
具体的には、感情検出部107cは、編集対象の動画像に含まれる音声データ(音声部分)に基づき、「喜び」、「好き」、「安らぎ」、「哀しみ」、「恐怖」、「怒り」、「驚き」の各感情の度合いを時系列に沿って表した時系列グラフを生成する。ここで、各感情には、当該各感情に対応する閾値が予め設定されている。なお、各感情の度合いの算出処理は公知の音声解析技術を使用することで実現可能であるため、詳細な説明は省略する。
そして、感情検出部107cは、生成された上記時系列グラフを用いて、下記(1)〜(4)の手順に従い感情を逐次検出する。
(1)図4(a)に示すように、感情(例えば、「驚き」の感情)の度合いが当該感情に対応する閾値を超えたと判別された時点t1を、感情の検出開始位置とする。ただし、図4(b)に示すように、感情(例えば、「喜び」の感情)の度合いが当該感情に対応する閾値を超えたと判別された時点t11で、既に他の感情(例えば、「驚き」の感情)の度合いが当該他の感情に対応する閾値を超えている場合には、当該感情の度合いが当該他の感情の度合いを上回った時点t12を、感情の検出開始位置とする。
(2)(1)で検出の開始が認められた感情の種類を判別する。
(3)(1)で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回るまでの期間、又は、(1)で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回る前に、当該感情とは異なる感情の検出が開始された場合には、当該異なる感情の検出が開始されるまでの期間に亘り、逐次感情の度合いのピーク値を更新する。
(4)図4(a)に示すように、(1)で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回ったと判別された時点t10を、感情の検出終了位置とする。ただし、図4(b)に示すように、(1)で検出の開始が認められた感情(例えば、「驚き」の感情)の度合いが当該感情に対応する閾値を下回る前に、当該感情とは異なる感情(例えば、「喜び」の感情)の検出が開始された場合には、当該異なる感情の検出開始位置t12を、当該感情の検出終了位置とする。
そして、感情検出部107cは、音声データの最初から最後まで感情を検出し終えると、検出された感情ごとに、感情の検出開始位置、検出終了位置、種類、ピーク値をメモリ102に一時的に記録する。
具体的には、特定部107dは、第1のテーブル107a及び第2のテーブル107b、並びに、メモリ102に一時的に記録されている感情の検出開始位置、検出終了位置、種類、ピーク値を用いて、動画像を編集する時間的部分を特定する。例えば、感情検出部107cによって「喜び」の感情が検出されている場合、特定部107dは、第2のテーブル107bを参照して、メモリ102に一時的に記録されている感情の種類「喜び」に対応する編集内容を特定するための番号「1」を「ID」T23の項目から取得する。次いで、特定部107dは、第1のテーブル107aを参照して、取得した編集内容を特定するための番号「1」に対応する編集内容を、「編集の開始位置」T12、「編集の終了位置」T13、及び「編集処理の内容」T14の項目から取得することによって、動画像を編集する時間的部分を特定する。具体的には、かかる場合、「編集の開始位置」T12の項目から、編集の開始位置として、「感情(喜びの感情)の検出開始位置の所定時間前」が特定されることとなる。また、「編集の終了位置」T13の項目から、編集の終了位置として、「感情(喜びの感情)のピーク位置」が特定されることとなる。つまり、特定部107dは、感情検出部107cによって検出された感情の種類に対応する特定態様に基づき、動画像を編集する時間的部分を特定したこととなる。また、「編集処理の内容」T14の項目から、編集処理の内容として、「顔を検出しズームイン、編集の終了位置まで維持」及び「感情の度合いに応じてズーム倍率を設定」が特定されることとなる。
具体的には、編集処理部107eは、上述のように、感情検出部107cによって「喜び」の感情が検出されている場合、特定部107dによって特定された動画像を編集する時間的部分、すなわち「喜び」の感情の検出開始位置の所定時間前からピーク位置までの時間的部分において、検出された顔にズームイン処理を施すとともに、編集の終了位置までズームインされた状態を維持する処理を施す。また、ズームイン処理を施す際のズーム倍率は、「喜び」の感情の度合いに応じたズーム倍率に設定する。
ここで、編集処理部107eは、特定部107dによって特定された動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施したこととなる。また、編集処理部107eは、編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施したこととなる。さらに、編集処理部107eは、特定部107dによって特定された動画像を編集する時間的部分に、感情検出部107cによって検出された感情の度合いに応じた編集処理を施したこととなる。
次に、動画像編集装置100による動画像編集処理について、図3を参照して説明する。図3は、動画像編集処理に係る動作の一例を示すフローチャートである。このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、通信制御部106によりネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
ステップS3において、音声データの最初から最後まで感情の検出が完了していないと判定された場合(ステップS3;NO)は、ステップS2に戻りそれ以降の処理を繰り返し実行する。一方、音声データの最初から最後まで感情の検出が完了したと判定された場合(ステップS3;YES)、感情検出部107cは、検出された感情ごとに、当該感情の検出開始位置、検出終了位置、種類、ピーク値をメモリ102に一時的に記録する(ステップS4)。
続いて、上記実施形態の変形例について説明する。なお、上記実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。
本変形例の動画像編集装置200は、動画像を編集する映像の部分に編集処理を施すとともに、BGMを追加するBGM編集を施す点で、上記実施形態と異なっている。
また、「BGM編集の終了位置」T16には、「ID」T11の識別番号に応じて、例えば、「感情の検出終了位置」、「感情の検出終了位置の所定時間前」、「感情の検出終了位置の所定時間後」等の事項が設定されている。
また、「BGMの種類」T17には、「ID」T11の識別番号に応じて、例えば、「明るめの曲」、「暗めの曲」、「静かな曲」等の事項が設定されている。
また、「BGM編集処理の内容」T18には、「ID」T11の識別番号に応じて、例えば、「BGM編集の開始位置から終了位置に向かって徐々に音量を上げる/下げる」、「BGM編集の開始位置から感情のピーク位置に向かって徐々に音量を上げる/下げる」、「感情のピーク位置からBGM編集の終了位置に向かって徐々に音量を下げる/上げる」等の事項が設定されている。
そして、本変形例の編集処理部207eは、上記特定部207dによって特定された内容に基づき、動画像を編集する時間的部分に編集処理を施すとともに、対象部分にBGM編集処理を施すこととなる。
上記実施形態や上記変形例にあっては、第1のテーブル107a,207aの「編集処理の内容」T14の項目に列挙された編集処理の内容に従い編集処理が施される構成としたが、当該編集処理の内容は、列挙された編集処理の内容に限定されるものではない。例えば、画面切り替え時の速度を変える、或いは画面切り替え時の編集効果の種類を変える等の編集処理が施されるようにしてもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段により所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
<請求項2>
前記検出手段は、前記編集対象の動画像に含まれる音声部分から当該動画像に記録されている人物の感情を検出し、
前記特定手段は、前記所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する映像の時間的部分を特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項1に記載の動画像編集装置。
<請求項3>
動画像編集装置であって、
編集対象の動画像に含まれる音声のみから、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
<請求項4>
前記特定手段は、前記検出手段により所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する映像の時間的部分を特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項3に記載の動画像編集装置。
<請求項5>
動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
<請求項6>
前記特定手段は、前記検出手段により所定の感情が検出された時間の長さとは異なる時間の長さの時間的部分を、前記動画像を編集する時間的部分として特定することを特徴とする請求項1〜6のいずれか一項に記載の動画像編集装置。
<請求項7>
前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた前記動画像を編集する時間的部分の特定態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記特定手段は、前記検出手段によって検出された前記感情の種類に対応する前記特定態様に基づき、前記動画像を編集する時間的部分を特定することを特徴とする請求項1〜6のいずれか一項に記載の動画像編集装置。
<請求項8>
前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像の編集態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記編集手段は、前記検出手段によって検出された前記感情の種類に対応する前記編集態様に基づき、前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施すことを特徴とする請求項1〜6のいずれか一項に記載の動画像編集装置。
<請求項9>
前記検出手段は、前記感情を検出した際の当該感情の度合いを更に検出し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、前記検出手段によって検出された前記感情の度合いに応じた編集処理を施すことを特徴とする請求項1〜6のいずれか一項に記載の動画像編集装置。
<請求項10>
前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施すことを特徴とする請求項1〜4のいずれか一項に記載の動画像編集装置。
<請求項11>
前記編集手段は、前記編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施すことを特徴とする請求項5、6、10のいずれか一項に記載の動画像編集装置。
<請求項12>
前記編集手段は、前記動画像のうちの前記編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えることを特徴とする請求項1〜11のいずれか一項に記載の動画像編集装置。
<請求項13>
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する処理と、
所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
<請求項14>
編集対象の動画像に含まれる音声のみから、当該動画像に記録されている人物の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
<請求項15>
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
101 中央制御部
102 メモリ
103 記録部
104 表示部
104a 表示パネル
105 操作入力部
105a タッチパネル
106 通信制御部
106a 通信アンテナ
107 動画像編集部
107a、207a 第1のテーブル
107b 第2のテーブル
107c 感情検出部
107d、207d 特定部
107e、207e 編集処理部
Claims (15)
- 動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段により所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。 - 前記検出手段は、前記編集対象の動画像に含まれる音声部分から当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出し、
前記特定手段は、前記所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項1に記載の動画像編集装置。 - 動画像編集装置であって、
編集対象の動画像に含まれる画像と音声のうち音声のみから、当該動画像に記録されている人物の当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。 - 前記特定手段は、前記検出手段により所定の感情が検出された時間的位置より前の時間的位置を含む前記動画像を編集する映像の時間的部分を特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項3に記載の動画像編集装置。 - 動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。 - 前記特定手段は、前記検出手段により所定の感情が検出された時間の長さとは異なる時間の長さの時間的部分を、前記動画像を編集する時間的部分として特定することを特徴とする請求項1〜5のいずれか一項に記載の動画像編集装置。
- 前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた前記動画像を編集する時間的部分の特定態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記特定手段は、前記検出手段によって検出された前記感情の種類に対応する前記特定態様に基づき、前記動画像を編集する時間的部分を特定することを特徴とする請求項1〜5のいずれか一項に記載の動画像編集装置。 - 前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像の編集態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記編集手段は、前記検出手段によって検出された前記感情の種類に対応する前記編集態様に基づき、前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施すことを特徴とする請求項1〜5のいずれか一項に記載の動画像編集装置。 - 前記検出手段は、前記感情を検出した際の当該感情の度合いを更に検出し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、前記検出手段によって検出された前記感情の度合いに応じた編集処理を施すことを特徴とする請求項1〜5のいずれか一項に記載の動画像編集装置。 - 前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施すことを特徴とする請求項1〜4のいずれか一項に記載の動画像編集装置。
- 前記編集手段は、前記編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施すことを特徴とする請求項5又は10に記載の動画像編集装置。
- 前記編集手段は、前記動画像のうちの前記編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えることを特徴とする請求項1〜11のいずれか一項に記載の動画像編集装置。
- 編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。 - 編集対象の動画像に含まれる画像と音声のうち音声のみから、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。 - 編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する処理と、
特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232019A JP6589838B2 (ja) | 2016-11-30 | 2016-11-30 | 動画像編集装置及び動画像編集方法 |
US15/818,254 US20180151198A1 (en) | 2016-11-30 | 2017-11-20 | Moving image editing apparatus and moving image editing method |
CN201711223401.3A CN108122270A (zh) | 2016-11-30 | 2017-11-28 | 动态图像编辑装置以及动态图像编辑方法 |
KR1020170161463A KR20180062399A (ko) | 2016-11-30 | 2017-11-29 | 동화상 편집 장치 및 동화상 편집 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232019A JP6589838B2 (ja) | 2016-11-30 | 2016-11-30 | 動画像編集装置及び動画像編集方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018088655A JP2018088655A (ja) | 2018-06-07 |
JP2018088655A5 JP2018088655A5 (ja) | 2018-12-20 |
JP6589838B2 true JP6589838B2 (ja) | 2019-10-16 |
Family
ID=62190323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016232019A Expired - Fee Related JP6589838B2 (ja) | 2016-11-30 | 2016-11-30 | 動画像編集装置及び動画像編集方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180151198A1 (ja) |
JP (1) | JP6589838B2 (ja) |
KR (1) | KR20180062399A (ja) |
CN (1) | CN108122270A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR122020001822B1 (pt) | 2010-03-26 | 2021-05-04 | Dolby International Ab | Método e dispositivo para decodificar uma representação para campo de som de áudio para reprodução de áudio e meio legível por computador |
US11601715B2 (en) * | 2017-07-06 | 2023-03-07 | DISH Technologies L.L.C. | System and method for dynamically adjusting content playback based on viewer emotions |
CN109063163B (zh) * | 2018-08-14 | 2022-12-02 | 腾讯科技(深圳)有限公司 | 一种音乐推荐的方法、装置、终端设备和介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4407198B2 (ja) * | 2003-08-11 | 2010-02-03 | ソニー株式会社 | 記録再生装置、再生装置、記録再生方法および再生方法 |
JP4525437B2 (ja) * | 2005-04-19 | 2010-08-18 | 株式会社日立製作所 | 動画処理装置 |
JP4085130B2 (ja) * | 2006-06-23 | 2008-05-14 | 松下電器産業株式会社 | 感情認識装置 |
US20080068397A1 (en) * | 2006-09-14 | 2008-03-20 | Carey James E | Emotion-Based Digital Video Alteration |
JP2009141516A (ja) * | 2007-12-04 | 2009-06-25 | Olympus Imaging Corp | 画像表示装置,カメラ,画像表示方法,プログラム,画像表示システム |
JP2009278202A (ja) * | 2008-05-12 | 2009-11-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2009288446A (ja) * | 2008-05-28 | 2009-12-10 | Nippon Telegr & Teleph Corp <Ntt> | カラオケ映像編集装置及び方法及びプログラム |
US8237742B2 (en) * | 2008-06-12 | 2012-08-07 | International Business Machines Corporation | Simulation method and system |
JP2010011409A (ja) * | 2008-06-30 | 2010-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像ダイジェスト装置及び映像編集プログラム |
KR20130102368A (ko) * | 2012-03-07 | 2013-09-17 | 삼성전자주식회사 | 동영상 특징 정보를 가이드하기 위한 동영상 편집 장치 및 방법 |
US20140153900A1 (en) * | 2012-12-05 | 2014-06-05 | Samsung Electronics Co., Ltd. | Video processing apparatus and method |
JP6172990B2 (ja) * | 2013-03-27 | 2017-08-02 | オリンパス株式会社 | 画像記録装置、画像記録処理の制御方法及びそのプログラム |
US20150318020A1 (en) * | 2014-05-02 | 2015-11-05 | FreshTake Media, Inc. | Interactive real-time video editor and recorder |
US9251405B2 (en) * | 2013-06-20 | 2016-02-02 | Elwha Llc | Systems and methods for enhancement of facial expressions |
US9734869B2 (en) * | 2014-03-11 | 2017-08-15 | Magisto Ltd. | Method and system for automatic learning of parameters for automatic video and photo editing based on user's satisfaction |
JP2016046705A (ja) * | 2014-08-25 | 2016-04-04 | コニカミノルタ株式会社 | 会議録編集装置、その方法とプログラム、会議録再生装置、および会議システム |
CN104994000A (zh) * | 2015-06-16 | 2015-10-21 | 青岛海信移动通信技术股份有限公司 | 一种图像动态呈现的方法和装置 |
TWI597980B (zh) * | 2015-08-10 | 2017-09-01 | 宏達國際電子股份有限公司 | 影音管理方法及其系統 |
-
2016
- 2016-11-30 JP JP2016232019A patent/JP6589838B2/ja not_active Expired - Fee Related
-
2017
- 2017-11-20 US US15/818,254 patent/US20180151198A1/en not_active Abandoned
- 2017-11-28 CN CN201711223401.3A patent/CN108122270A/zh active Pending
- 2017-11-29 KR KR1020170161463A patent/KR20180062399A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
US20180151198A1 (en) | 2018-05-31 |
KR20180062399A (ko) | 2018-06-08 |
CN108122270A (zh) | 2018-06-05 |
JP2018088655A (ja) | 2018-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9064538B2 (en) | Method and system for generating at least one of: comic strips and storyboards from videos | |
US9685199B2 (en) | Editing apparatus and editing method | |
JP4683116B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび撮像装置 | |
JP6589838B2 (ja) | 動画像編集装置及び動画像編集方法 | |
JP6703627B2 (ja) | 装置および関連する方法 | |
US8126309B2 (en) | Video playback apparatus and method | |
CN108632555B (zh) | 动态图像处理装置、动态图像处理方法以及记录介质 | |
JP2009177411A (ja) | 電子機器および画像表示方法 | |
JP2009089032A (ja) | 電子機器およびシーン種類表示方法 | |
JP2010057145A (ja) | 電子機器、動画像データ区間変更方法及びプログラム | |
KR20130137632A (ko) | 비디오 시스템에서 의미 기반 트릭 모드 플레이를 위한 방법 | |
JP2007101945A (ja) | 音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラム | |
JP2004199696A5 (ja) | ||
JP2008312183A (ja) | 情報処理装置および方法、並びにプログラム | |
US20100310229A1 (en) | Video processing apparatus and vide processing method | |
JP2010166322A (ja) | 映像視聴装置及び映像再生制御方法及び記録再生用プログラム | |
JP2010062691A (ja) | 情報処理装置 | |
JP5556194B2 (ja) | 表示制御装置及び表示制御プログラム | |
KR100775187B1 (ko) | 썸네일 재생 방법 및 이를 이용한 단말기 | |
JP2000222417A (ja) | 画像ファイリング装置 | |
JP2010063066A (ja) | 動画像再生装置 | |
JP5847646B2 (ja) | テレビ制御装置、テレビ制御方法及びテレビ制御プログラム | |
JP2012169743A (ja) | 情報処理装置及び情報処理方法 | |
JP2007149163A (ja) | コンテンツ再生装置 | |
JP2007078985A (ja) | データ検索装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6589838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |