JP2960939B2 - シーン抽出処理方法 - Google Patents

シーン抽出処理方法

Info

Publication number
JP2960939B2
JP2960939B2 JP1219111A JP21911189A JP2960939B2 JP 2960939 B2 JP2960939 B2 JP 2960939B2 JP 1219111 A JP1219111 A JP 1219111A JP 21911189 A JP21911189 A JP 21911189A JP 2960939 B2 JP2960939 B2 JP 2960939B2
Authority
JP
Japan
Prior art keywords
scene
video
audio
condition
extraction processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1219111A
Other languages
English (en)
Other versions
JPH0380782A (ja
Inventor
佳伸 外村
登美夫 岸本
伸治 安部
鈴木  元
峰夫 正満
義政 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP1219111A priority Critical patent/JP2960939B2/ja
Publication of JPH0380782A publication Critical patent/JPH0380782A/ja
Application granted granted Critical
Publication of JP2960939B2 publication Critical patent/JP2960939B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、音声の付随するビデオ画像等の映像から重
要なシーンを抽出することにより、映像の要約を作成す
るシーン抽出処理方法に関する。
〔従来技術〕
従来、映像からのシーン抽出に関する技術としては、
映像情報そのものを解析し、映像情報の変化をとらえる
ことにより自動的にカット変化点を検出する技術がある
(例えば、清水他,「映像カット変化点検出器」,1988
年テレビジョン学会全国大会,9−4,1988)。
第3図は、前記した従来方法を説明するためのブロッ
ク図である。端子30に入力されたビデオ信号はフレーム
単位でアナログ・ディジタル変換(A/D変換31)され
て、フレームメモリ32に記憶され、さらに次の入力フレ
ームの画信号と画素毎に画素比較部33で比較され、結果
としてフレーム間での差分としての画素数が得られる。
得られた差分は変化判断部34において、あらかじめ設定
されている判断しきい値35と比較され、しきい値を越え
た場合にはカット変化有りとして、しきい値を越えない
場合にはカット変化なしとして、端子36から結果が出力
される。
またこの他、音声のみに対する解析処理と応用に関し
ては、テープレコーダーなどで従来より一般的に行われ
ている方法として、音声レベルの極めて低い部分を無音
部分と判断することにより、音声をセグメンテーション
化する方法がある。
〔発明が解決しようとする課題〕
しかしながら、上記した前者の従来技術は、映像情報
処理のみによってカット変化点を検出しているので、映
像情報に変化さえあれば変化点検出となり、映像情報の
意味的な表現内容が変化しなくてもカット変化ありと判
断するため、映像情報の内容に関わる特定のシーンを抽
出することは難しいという問題があった。
また、編集された映像が処理対象の場合、一般に数秒
毎に映像の変化点が現われるため、検出変化点が非常に
多くなってしまうとともに、検出結果を例えばそのまま
映像の要約作成に用いようとしても、ほとんど元の映像
に近い映像になってしまうという問題があった。
更に、上記した後者の従来技術は、音声の有無のみを
対象としているため、音声のセグメンテーション程度以
上のことはできないという問題があった。
本発明の目的は、音声の付随する映像情報から重要な
シーン抽出を行い、映像要約を作成するシーン抽出方法
を提供することにある。
〔課題を解決するための手段〕
前記目的を達成するために、本願の第1の発明は、音
声情報を伴う一連の映像の中から部分的なシーンを抽出
するシーン抽出処理方法において、前記一連の映像再生
時に付随して再生される音声を解析し、当該解析結果か
ら得られる特徴情報と予め設定された第1の条件と比較
することにより、シーンの開始点を決定し、前記特徴情
報と予め設定された第2の条件と比較することにより、
あるいは前記シーンの開始時点から一定時間後とするこ
とにより、シーンの終了時点を決定し、前記シーンの開
始時点から前記シーンの終了時点の間の映像を抽出する
か、あるいは、前記シーンの開始時点および前記シーン
の終了時点の映像のフレーム情報のみをマーキング情報
として抽出するか、を判断し、判断結果に従って、前記
一連の映像からシーンを抽出することを特徴とする。
また、本願の第2の発明は、第1の発明のシーン抽出
処理方法で得られる抽出シーンをつなぎ合わせて新たな
映像列を構成することを特徴とする。
〔作用〕
本願の第1の発明によれば、一連の映像再生時に付随
して再生される音声を解析し、当該解析結果から得られ
る特徴情報と予め設定された第1の条件と比較すること
により、シーンの開始点を決定し、前記特徴情報と予め
設定された第2の条件と比較することにより、あるいは
前記シーンの開始時点から一定時間後とすることによ
り、シーンの終了時点を決定し、前記シーンの開始時点
から前記シーンの終了時点の間の映像を抽出するか、あ
るいは、前記シーンの開始時点および前記シーンの終了
時点の映像のフレーム情報のみをマーキング情報として
抽出するか、を判断し、判断結果に従って、前記一連の
映像からシーンを抽出する。これにより、目的とする映
像の内容に関わりの深いシーンを映像あるいはマーキン
グ情報として抽出することができる。
また、本願の第2の発明によれば、目的とする映像の
内容に関わりの深いシーンの映像あるいはマーキング情
報をつなぎ合わせて、重要なシーンのみによる短い要約
としての映像列を構成することができる。
〔実施例〕
以下、本発明の一実施例を図面を用いて具体的に説明
する。
なお、実施例を説明するための全図において、同一機
能を有するものは同一符号を付け、その繰り返しの説明
は省略する。
第1図は、本発明の一実施例に係る処理手順を示した
フローチャートである。
ステップ1において音声入力ユニットを制御すること
により音声入力を行い、ステップ2において入力音声の
解析を行い、特徴抽出を行う。抽出する特徴は、例え
ば、音声の信号レベル、ピーク周波数、主要音声スペク
トル幅等であり、かつ動画像内容に相関の高い特徴を抽
出する。
ステップ3において抽出した特徴量をあらかじめ設定
されている条件と比べ、条件に合う場合のみ次の処理を
行う。
ステップ4においては、指示された処理が実時間記録
でシーン抽出を行い要約を作る実時間記録処理か、マー
キング情報として画像のフレーム番号などを記録してお
くマーキング処理かを判断する。
実時間記録処理の場合はステップ5において映像の記
録を開始する。マーキング処理の場合は、ステップ6に
おいてその時点の画像フレーム番号を調べ、シーン開始
フレーム番号として記録する。
次に、ステップ7において抽出処理終了条件を調べる
が、条件設定は適用する応用例に合わせて設定される。
例えば、一定時間経つことを終了条件としたり、あるい
はステップ1〜3と同様の解析/特徴抽出処理を行い、
条件が不成立になることを終了条件とする場合などであ
る。
終了条件成立時には、実時間記録処理であれば記録を
停止し、またマーキング処理の場合は、終了フレーム番
号としてその時点のフレーム番号を記録する。以上の処
理を繰り換すことにより、対象とする映像についてシー
ン抽出処理を行う。
第2図は、以上で説明した処理手順を応用したスポー
ツ番組自動要約作成システムを示している。
20は例えばスポーツ番組として試合を中継している放
送波あるいはケーブルTVからの信号、21は受像機であ
る。24は上述したシーン抽出処理を行う画像シーン抽出
処理装置であり、受像機21から出力されるビデオ信号22
および音声信号23を受像機21から受け、ビデオテープレ
コーダー25を制御して抽出したビデオ信号、音声信号を
記録する。
画像シーン抽出処理装置24は、音声信号の解析を行っ
て、観客の歓声が上がった時に相関の高い音声特徴とし
て、比較的幅広いスペクトル特徴、急な立ち上がりと短
時間持続する信号レベルなどの音声特徴をとらえ、予め
それらの特徴に設定してある条件と比べ、条件に合う場
合には実時間記録処理としてビデオテープレコーダー25
のビデオ信号および音声信号の記録を開始する。
記録中も音声信号の解析/条件判断を続け、条件不成
立となってもその時点からタイマーを起動し一定時間記
録することとするが、その間にさらに条件が成立する状
態が発生すればその時点でタイマーをリセットし、起動
する。
以上の動作を繰り返すことにより、観客の歓声の上が
ったハイライトシーン列がビデオテープレコーダー25に
記録される。番組終了後、利用者が該ビデオテープレコ
ーダー25を巻戻し、再生すれば短時間にハイライトシー
ンを見ることができる。
以上の処理は、実時間記録処理に応用した例である
が、予め番組分のビデオ信号、音声信号を全部記録して
おき、画像シーン抽出処理装置24の処理の中でマーキン
グ情報のみ格納しておき、利用者再生時に開始フレーム
と終了フレームのマーキングのある区間の再生を行うこ
とも可能である。
以上、本発明を実施例にもとづき具体的に説明した
が、本発明は、前記実施例に限定されるものではなく、
その要旨を逸脱しない範囲において種々変更可能である
ことは言うまでもない。
〔発明の効果〕
以上、説明したように、本発明によれば、音声の解析
/特徴抽出を行い、目的とする映像と相関の高い部分を
検出することにより、目的とする映像に関わりの深いシ
ーンを自動的に抽出することができ、それらをつなぎ合
わせることにより映像の要約を自動作成することが可能
となる。
また、放送番組等の自動要約作成に利用することによ
り、長時間の映像を利用者は時間を短縮して見ることが
可能となる。
さらに、映像ライブラリ等では映像情報のプラウズ
(流し見)用の映像を自動的に作成できるので、省力化
を図ることが可能となる。
【図面の簡単な説明】
第1図は、本発明の一実施例に係る処理手順を示したフ
ローチャート、 第2図は、本発明の処理手順を応用したスポーツ番組自
動要約作成システム、 第3図は、従来方法によりカット検出器のブロック図を
示す。 図中、21……TV受像機、22……ビデオ信号、23……音声
信号、24……画像シーン抽出処理装置、25……ビデオテ
ープレコーダー、31……A/D変換、32……フレームメモ
リ、33……画素比較部、34……変化判断部、35……判断
しきい値。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 元 東京都千代田区内幸町1丁目1番6号 日本電信電話株式会社内 (72)発明者 正満 峰夫 東京都千代田区内幸町1丁目1番6号 日本電信電話株式会社内 (72)発明者 木村 義政 東京都千代田区内幸町1丁目1番6号 日本電信電話株式会社内 (56)参考文献 特開 昭62−167645(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 5/782 H04N 5/78

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】音声情報を伴う一連の映像の中から部分的
    なシーンを抽出するシーン抽出処理方法において、 前記一連の映像再生時に付随して再生される音声を解析
    し、当該解析結果から得られる特徴情報と予め設定され
    た第1の条件と比較することにより、シーンの開始点を
    決定し、前記特徴情報と予め設定された第2の条件と比
    較することにより、あるいは前記シーンの開始時点から
    一定時間後とすることにより、シーンの終了時点を決定
    し、前記シーンの開始時点から前記シーンの終了時点の
    間の映像を抽出するか、あるいは、前記シーンの開始時
    点および前記シーンの終了時点の映像のフレーム情報の
    みをマーキング情報として抽出するか、を判断し、判断
    結果に従って、前記一連の映像からシーンを抽出するこ
    とを特徴とするシーン抽出処理方法。
  2. 【請求項2】請求項1に記載されたシーン抽出処理方法
    で得られる抽出シーンをつなぎ合わせて新たな映像列を
    構成することを特徴とするシーン抽出処理方法。
JP1219111A 1989-08-24 1989-08-24 シーン抽出処理方法 Expired - Lifetime JP2960939B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1219111A JP2960939B2 (ja) 1989-08-24 1989-08-24 シーン抽出処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1219111A JP2960939B2 (ja) 1989-08-24 1989-08-24 シーン抽出処理方法

Publications (2)

Publication Number Publication Date
JPH0380782A JPH0380782A (ja) 1991-04-05
JP2960939B2 true JP2960939B2 (ja) 1999-10-12

Family

ID=16730424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1219111A Expired - Lifetime JP2960939B2 (ja) 1989-08-24 1989-08-24 シーン抽出処理方法

Country Status (1)

Country Link
JP (1) JP2960939B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140355A1 (ja) * 2009-06-04 2010-12-09 パナソニック株式会社 音響信号処理装置および方法
JP2011095510A (ja) * 2009-10-29 2011-05-12 Jvc Kenwood Holdings Inc 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488425A (en) * 1993-12-22 1996-01-30 At&T Corp. Apparatus for storing video information by recognizing video frames
JP3565228B2 (ja) * 1994-12-21 2004-09-15 日本電信電話株式会社 音可視化方法および装置
JP2568062B2 (ja) * 1995-06-07 1996-12-25 住友ゴム工業株式会社 ラジアルタイヤ
JP3340905B2 (ja) * 1996-02-07 2002-11-05 株式会社東芝 動画像処理方法
JP3341574B2 (ja) * 1996-03-11 2002-11-05 ソニー株式会社 映像信号記録/再生装置
JPH09284704A (ja) * 1996-04-15 1997-10-31 Sony Corp 映像信号選択装置及びダイジェスト記録装置
JPH10178619A (ja) 1996-12-19 1998-06-30 Nikon Corp 画像再生装置および電子カメラ
JPH10276395A (ja) * 1997-03-28 1998-10-13 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JPH1125572A (ja) * 1997-07-07 1999-01-29 Matsushita Electric Ind Co Ltd 光ディスクプレーヤ
JP3250509B2 (ja) 1998-01-08 2002-01-28 日本電気株式会社 放送番組の視聴方法および視聴装置
EP1288911B1 (en) 2001-08-08 2005-06-29 Nippon Telegraph and Telephone Corporation Emphasis detection for automatic speech summary
JP3891111B2 (ja) 2002-12-12 2007-03-14 ソニー株式会社 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム
JP4828785B2 (ja) * 2003-04-09 2011-11-30 ソニー株式会社 情報処理装置及び携帯端末装置
WO2006095808A1 (ja) * 2005-03-11 2006-09-14 Pioneer Corporation 映像再生装置、映像再生方法、映像再生プログラムおよびコンピュータに読み取り可能な記録媒体
JP5540376B2 (ja) * 2009-09-15 2014-07-02 学校法人東京工芸大学 コマ割り画像生成装置及びプログラム
JP2010266880A (ja) * 2010-06-23 2010-11-25 Sony Corp 携帯端末装置、情報処理方法、及びプログラム
JP5658285B2 (ja) 2011-01-05 2015-01-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 興味区間抽出装置、興味区間抽出方法
WO2012164818A1 (ja) 2011-06-02 2012-12-06 パナソニック株式会社 興味区間特定装置、興味区間特定方法、興味区間特定プログラム、及び、興味区間特定集積回路

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62167645A (ja) * 1986-01-20 1987-07-24 Canon Inc 記録装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140355A1 (ja) * 2009-06-04 2010-12-09 パナソニック株式会社 音響信号処理装置および方法
JP5460709B2 (ja) * 2009-06-04 2014-04-02 パナソニック株式会社 音響信号処理装置および方法
US8886528B2 (en) 2009-06-04 2014-11-11 Panasonic Corporation Audio signal processing device and method
JP2011095510A (ja) * 2009-10-29 2011-05-12 Jvc Kenwood Holdings Inc 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム

Also Published As

Publication number Publication date
JPH0380782A (ja) 1991-04-05

Similar Documents

Publication Publication Date Title
JP2960939B2 (ja) シーン抽出処理方法
US8995820B2 (en) Iterative, maximally probable, batch-mode commercial detection for audiovisual content
US6347185B1 (en) Apparatus and method for recording audio/video signal and detected feature information thereof
US4163253A (en) Method of and apparatus for modifying a video signal to prevent unauthorized recording and reproduction thereof
US7260306B2 (en) Editing method for recorded information
JP4026100B2 (ja) 情報処理装置および方法、並びに記録媒体
JP4159611B2 (ja) 映像信号の解析と記憶
MXPA97001866A (es) Metodo y aparato para eliminar mensajes comerciales de television
JPH10507884A (ja) テレビジョンのコマーシャル・メッセージを除去するための方法及び装置
JP2000165807A (ja) 情報処理装置および方法、並びに提供媒体
US8306397B2 (en) Picture recorder and commercial message detection method
US5790236A (en) Movie processing system
US7324736B2 (en) Intelligent recording control system
US7274864B2 (en) Method and device for digital video capture
JP4712812B2 (ja) 記録再生装置
CN107948718B (zh) 一种节目信息的处理方法、装置及***
JP4198331B2 (ja) 録画装置
JPH09284706A (ja) 信号処理方法及び装置
JP4547678B2 (ja) Cm検出装置
JP2002238026A (ja) ビデオ編集
EP2187635A1 (en) Video voice recorder
KR101869905B1 (ko) 영상 재생 방법 및 장치
JP2000165798A (ja) 情報処理装置および方法、並びに提供媒体
JP4158250B2 (ja) 情報記録再生装置および方法、並びに提供媒体
JP4010598B2 (ja) 映像情報編集方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 11