JP2960939B2 - シーン抽出処理方法 - Google Patents
シーン抽出処理方法Info
- Publication number
- JP2960939B2 JP2960939B2 JP1219111A JP21911189A JP2960939B2 JP 2960939 B2 JP2960939 B2 JP 2960939B2 JP 1219111 A JP1219111 A JP 1219111A JP 21911189 A JP21911189 A JP 21911189A JP 2960939 B2 JP2960939 B2 JP 2960939B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- video
- audio
- condition
- extraction processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Processing Or Creating Images (AREA)
Description
要なシーンを抽出することにより、映像の要約を作成す
るシーン抽出処理方法に関する。
映像情報そのものを解析し、映像情報の変化をとらえる
ことにより自動的にカット変化点を検出する技術がある
(例えば、清水他,「映像カット変化点検出器」,1988
年テレビジョン学会全国大会,9−4,1988)。
ク図である。端子30に入力されたビデオ信号はフレーム
単位でアナログ・ディジタル変換(A/D変換31)され
て、フレームメモリ32に記憶され、さらに次の入力フレ
ームの画信号と画素毎に画素比較部33で比較され、結果
としてフレーム間での差分としての画素数が得られる。
得られた差分は変化判断部34において、あらかじめ設定
されている判断しきい値35と比較され、しきい値を越え
た場合にはカット変化有りとして、しきい値を越えない
場合にはカット変化なしとして、端子36から結果が出力
される。
ては、テープレコーダーなどで従来より一般的に行われ
ている方法として、音声レベルの極めて低い部分を無音
部分と判断することにより、音声をセグメンテーション
化する方法がある。
処理のみによってカット変化点を検出しているので、映
像情報に変化さえあれば変化点検出となり、映像情報の
意味的な表現内容が変化しなくてもカット変化ありと判
断するため、映像情報の内容に関わる特定のシーンを抽
出することは難しいという問題があった。
毎に映像の変化点が現われるため、検出変化点が非常に
多くなってしまうとともに、検出結果を例えばそのまま
映像の要約作成に用いようとしても、ほとんど元の映像
に近い映像になってしまうという問題があった。
対象としているため、音声のセグメンテーション程度以
上のことはできないという問題があった。
シーン抽出を行い、映像要約を作成するシーン抽出方法
を提供することにある。
声情報を伴う一連の映像の中から部分的なシーンを抽出
するシーン抽出処理方法において、前記一連の映像再生
時に付随して再生される音声を解析し、当該解析結果か
ら得られる特徴情報と予め設定された第1の条件と比較
することにより、シーンの開始点を決定し、前記特徴情
報と予め設定された第2の条件と比較することにより、
あるいは前記シーンの開始時点から一定時間後とするこ
とにより、シーンの終了時点を決定し、前記シーンの開
始時点から前記シーンの終了時点の間の映像を抽出する
か、あるいは、前記シーンの開始時点および前記シーン
の終了時点の映像のフレーム情報のみをマーキング情報
として抽出するか、を判断し、判断結果に従って、前記
一連の映像からシーンを抽出することを特徴とする。
処理方法で得られる抽出シーンをつなぎ合わせて新たな
映像列を構成することを特徴とする。
して再生される音声を解析し、当該解析結果から得られ
る特徴情報と予め設定された第1の条件と比較すること
により、シーンの開始点を決定し、前記特徴情報と予め
設定された第2の条件と比較することにより、あるいは
前記シーンの開始時点から一定時間後とすることによ
り、シーンの終了時点を決定し、前記シーンの開始時点
から前記シーンの終了時点の間の映像を抽出するか、あ
るいは、前記シーンの開始時点および前記シーンの終了
時点の映像のフレーム情報のみをマーキング情報として
抽出するか、を判断し、判断結果に従って、前記一連の
映像からシーンを抽出する。これにより、目的とする映
像の内容に関わりの深いシーンを映像あるいはマーキン
グ情報として抽出することができる。
内容に関わりの深いシーンの映像あるいはマーキング情
報をつなぎ合わせて、重要なシーンのみによる短い要約
としての映像列を構成することができる。
する。
能を有するものは同一符号を付け、その繰り返しの説明
は省略する。
フローチャートである。
により音声入力を行い、ステップ2において入力音声の
解析を行い、特徴抽出を行う。抽出する特徴は、例え
ば、音声の信号レベル、ピーク周波数、主要音声スペク
トル幅等であり、かつ動画像内容に相関の高い特徴を抽
出する。
されている条件と比べ、条件に合う場合のみ次の処理を
行う。
でシーン抽出を行い要約を作る実時間記録処理か、マー
キング情報として画像のフレーム番号などを記録してお
くマーキング処理かを判断する。
録を開始する。マーキング処理の場合は、ステップ6に
おいてその時点の画像フレーム番号を調べ、シーン開始
フレーム番号として記録する。
が、条件設定は適用する応用例に合わせて設定される。
例えば、一定時間経つことを終了条件としたり、あるい
はステップ1〜3と同様の解析/特徴抽出処理を行い、
条件が不成立になることを終了条件とする場合などであ
る。
停止し、またマーキング処理の場合は、終了フレーム番
号としてその時点のフレーム番号を記録する。以上の処
理を繰り換すことにより、対象とする映像についてシー
ン抽出処理を行う。
ツ番組自動要約作成システムを示している。
送波あるいはケーブルTVからの信号、21は受像機であ
る。24は上述したシーン抽出処理を行う画像シーン抽出
処理装置であり、受像機21から出力されるビデオ信号22
および音声信号23を受像機21から受け、ビデオテープレ
コーダー25を制御して抽出したビデオ信号、音声信号を
記録する。
て、観客の歓声が上がった時に相関の高い音声特徴とし
て、比較的幅広いスペクトル特徴、急な立ち上がりと短
時間持続する信号レベルなどの音声特徴をとらえ、予め
それらの特徴に設定してある条件と比べ、条件に合う場
合には実時間記録処理としてビデオテープレコーダー25
のビデオ信号および音声信号の記録を開始する。
立となってもその時点からタイマーを起動し一定時間記
録することとするが、その間にさらに条件が成立する状
態が発生すればその時点でタイマーをリセットし、起動
する。
ったハイライトシーン列がビデオテープレコーダー25に
記録される。番組終了後、利用者が該ビデオテープレコ
ーダー25を巻戻し、再生すれば短時間にハイライトシー
ンを見ることができる。
が、予め番組分のビデオ信号、音声信号を全部記録して
おき、画像シーン抽出処理装置24の処理の中でマーキン
グ情報のみ格納しておき、利用者再生時に開始フレーム
と終了フレームのマーキングのある区間の再生を行うこ
とも可能である。
が、本発明は、前記実施例に限定されるものではなく、
その要旨を逸脱しない範囲において種々変更可能である
ことは言うまでもない。
/特徴抽出を行い、目的とする映像と相関の高い部分を
検出することにより、目的とする映像に関わりの深いシ
ーンを自動的に抽出することができ、それらをつなぎ合
わせることにより映像の要約を自動作成することが可能
となる。
り、長時間の映像を利用者は時間を短縮して見ることが
可能となる。
(流し見)用の映像を自動的に作成できるので、省力化
を図ることが可能となる。
ローチャート、 第2図は、本発明の処理手順を応用したスポーツ番組自
動要約作成システム、 第3図は、従来方法によりカット検出器のブロック図を
示す。 図中、21……TV受像機、22……ビデオ信号、23……音声
信号、24……画像シーン抽出処理装置、25……ビデオテ
ープレコーダー、31……A/D変換、32……フレームメモ
リ、33……画素比較部、34……変化判断部、35……判断
しきい値。
Claims (2)
- 【請求項1】音声情報を伴う一連の映像の中から部分的
なシーンを抽出するシーン抽出処理方法において、 前記一連の映像再生時に付随して再生される音声を解析
し、当該解析結果から得られる特徴情報と予め設定され
た第1の条件と比較することにより、シーンの開始点を
決定し、前記特徴情報と予め設定された第2の条件と比
較することにより、あるいは前記シーンの開始時点から
一定時間後とすることにより、シーンの終了時点を決定
し、前記シーンの開始時点から前記シーンの終了時点の
間の映像を抽出するか、あるいは、前記シーンの開始時
点および前記シーンの終了時点の映像のフレーム情報の
みをマーキング情報として抽出するか、を判断し、判断
結果に従って、前記一連の映像からシーンを抽出するこ
とを特徴とするシーン抽出処理方法。 - 【請求項2】請求項1に記載されたシーン抽出処理方法
で得られる抽出シーンをつなぎ合わせて新たな映像列を
構成することを特徴とするシーン抽出処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1219111A JP2960939B2 (ja) | 1989-08-24 | 1989-08-24 | シーン抽出処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1219111A JP2960939B2 (ja) | 1989-08-24 | 1989-08-24 | シーン抽出処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0380782A JPH0380782A (ja) | 1991-04-05 |
JP2960939B2 true JP2960939B2 (ja) | 1999-10-12 |
Family
ID=16730424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1219111A Expired - Lifetime JP2960939B2 (ja) | 1989-08-24 | 1989-08-24 | シーン抽出処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2960939B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010140355A1 (ja) * | 2009-06-04 | 2010-12-09 | パナソニック株式会社 | 音響信号処理装置および方法 |
JP2011095510A (ja) * | 2009-10-29 | 2011-05-12 | Jvc Kenwood Holdings Inc | 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5488425A (en) * | 1993-12-22 | 1996-01-30 | At&T Corp. | Apparatus for storing video information by recognizing video frames |
JP3565228B2 (ja) * | 1994-12-21 | 2004-09-15 | 日本電信電話株式会社 | 音可視化方法および装置 |
JP2568062B2 (ja) * | 1995-06-07 | 1996-12-25 | 住友ゴム工業株式会社 | ラジアルタイヤ |
JP3340905B2 (ja) * | 1996-02-07 | 2002-11-05 | 株式会社東芝 | 動画像処理方法 |
JP3341574B2 (ja) * | 1996-03-11 | 2002-11-05 | ソニー株式会社 | 映像信号記録/再生装置 |
JPH09284704A (ja) * | 1996-04-15 | 1997-10-31 | Sony Corp | 映像信号選択装置及びダイジェスト記録装置 |
JPH10178619A (ja) | 1996-12-19 | 1998-06-30 | Nikon Corp | 画像再生装置および電子カメラ |
JPH10276395A (ja) * | 1997-03-28 | 1998-10-13 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
JPH1125572A (ja) * | 1997-07-07 | 1999-01-29 | Matsushita Electric Ind Co Ltd | 光ディスクプレーヤ |
JP3250509B2 (ja) | 1998-01-08 | 2002-01-28 | 日本電気株式会社 | 放送番組の視聴方法および視聴装置 |
EP1288911B1 (en) | 2001-08-08 | 2005-06-29 | Nippon Telegraph and Telephone Corporation | Emphasis detection for automatic speech summary |
JP3891111B2 (ja) | 2002-12-12 | 2007-03-14 | ソニー株式会社 | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム |
JP4828785B2 (ja) * | 2003-04-09 | 2011-11-30 | ソニー株式会社 | 情報処理装置及び携帯端末装置 |
WO2006095808A1 (ja) * | 2005-03-11 | 2006-09-14 | Pioneer Corporation | 映像再生装置、映像再生方法、映像再生プログラムおよびコンピュータに読み取り可能な記録媒体 |
JP5540376B2 (ja) * | 2009-09-15 | 2014-07-02 | 学校法人東京工芸大学 | コマ割り画像生成装置及びプログラム |
JP2010266880A (ja) * | 2010-06-23 | 2010-11-25 | Sony Corp | 携帯端末装置、情報処理方法、及びプログラム |
JP5658285B2 (ja) | 2011-01-05 | 2015-01-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 興味区間抽出装置、興味区間抽出方法 |
WO2012164818A1 (ja) | 2011-06-02 | 2012-12-06 | パナソニック株式会社 | 興味区間特定装置、興味区間特定方法、興味区間特定プログラム、及び、興味区間特定集積回路 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62167645A (ja) * | 1986-01-20 | 1987-07-24 | Canon Inc | 記録装置 |
-
1989
- 1989-08-24 JP JP1219111A patent/JP2960939B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010140355A1 (ja) * | 2009-06-04 | 2010-12-09 | パナソニック株式会社 | 音響信号処理装置および方法 |
JP5460709B2 (ja) * | 2009-06-04 | 2014-04-02 | パナソニック株式会社 | 音響信号処理装置および方法 |
US8886528B2 (en) | 2009-06-04 | 2014-11-11 | Panasonic Corporation | Audio signal processing device and method |
JP2011095510A (ja) * | 2009-10-29 | 2011-05-12 | Jvc Kenwood Holdings Inc | 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPH0380782A (ja) | 1991-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2960939B2 (ja) | シーン抽出処理方法 | |
US8995820B2 (en) | Iterative, maximally probable, batch-mode commercial detection for audiovisual content | |
US6347185B1 (en) | Apparatus and method for recording audio/video signal and detected feature information thereof | |
US4163253A (en) | Method of and apparatus for modifying a video signal to prevent unauthorized recording and reproduction thereof | |
US7260306B2 (en) | Editing method for recorded information | |
JP4026100B2 (ja) | 情報処理装置および方法、並びに記録媒体 | |
JP4159611B2 (ja) | 映像信号の解析と記憶 | |
MXPA97001866A (es) | Metodo y aparato para eliminar mensajes comerciales de television | |
JPH10507884A (ja) | テレビジョンのコマーシャル・メッセージを除去するための方法及び装置 | |
JP2000165807A (ja) | 情報処理装置および方法、並びに提供媒体 | |
US8306397B2 (en) | Picture recorder and commercial message detection method | |
US5790236A (en) | Movie processing system | |
US7324736B2 (en) | Intelligent recording control system | |
US7274864B2 (en) | Method and device for digital video capture | |
JP4712812B2 (ja) | 記録再生装置 | |
CN107948718B (zh) | 一种节目信息的处理方法、装置及*** | |
JP4198331B2 (ja) | 録画装置 | |
JPH09284706A (ja) | 信号処理方法及び装置 | |
JP4547678B2 (ja) | Cm検出装置 | |
JP2002238026A (ja) | ビデオ編集 | |
EP2187635A1 (en) | Video voice recorder | |
KR101869905B1 (ko) | 영상 재생 방법 및 장치 | |
JP2000165798A (ja) | 情報処理装置および方法、並びに提供媒体 | |
JP4158250B2 (ja) | 情報記録再生装置および方法、並びに提供媒体 | |
JP4010598B2 (ja) | 映像情報編集方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070730 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 11 |