JPH10243351A

JPH10243351A - 映像再生装置

Info

Publication number: JPH10243351A
Application number: JP9042637A
Authority: JP
Inventors: Osamu Hori; 修堀; Toshimitsu Kaneko; 子敏充金; Hisashi Aoki; 木恒青; Susumu Kubota; 田進窪
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-02-26
Filing date: 1997-02-26
Publication date: 1998-09-11
Anticipated expiration: 2017-02-26
Also published as: JP3877371B2

Abstract

(57)【要約】【課題】動画像と音声を含むディジタル映像の中の映
像特徴を検出し、この映像特徴に応じ自動的に再生速度
を調整しながらの映像再生を可能とする。【解決手段】動画像信号と音声信号とを含むディジタ
ル映像信号を通常再生、早送り再生および逆回し再生す
ることにより所望の映像を表示させるため、入力された
前記ディジタル映像信号を動画像信号と音声信号とに分
離する信号分離手段１と、信号分離手段１により分離さ
れた動画像信号と音声信号のうちの少なくとも一方の特
徴を抽出する映像特徴抽出手段５と、映像特徴抽出手段
５により抽出された映像特徴に基づいて前記映像特徴が
存在する場面の映像に所定の加工処理を行ないながら前
記動画像信号と前記音声信号とを同期させつつ早送り再
生映像信号を生成して出力する早送り映像再生手段１０
と、を少なくとも備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばビデオテー
プレコーダ（ＶＴＲ―Video Tape Recorder ―）または
ＤＶＤ（Digital Versatile Disc）装置等のように映像
を再生する装置に係り、特に動画像と音声とを含んでデ
ィジタル記録された映像情報における記録上の特徴を抽
出してその特徴に見合うように動画または音声の再生速
度を制御することのできる映像再生装置に関する。

【０００２】

【従来の技術】一般に、動画像と音声とを含む映像情報
は、ビデオテープやＤＶＤ等の記録媒体を用いて記録す
ることができ、上記ＶＴＲやＤＶＤ装置等の再生装置を
用いて再生することが可能となっている。このような映
像再生装置においては、通常の再生速度による再生モー
ドに加えて、最低でも倍速から数百倍速までの高速再生
速度による早送り再生モードと、高速逆転による早戻し
再生モードとの２つのモードが、通常設けられている。

【０００３】このような従来の映像再生装置では、早送
り再生モードに際して音声は無音にして動画像のみ再生
するのが一般的である。また、機種によっては倍速また
は３倍速程度の早送り再生モードを時短モードとして設
定し、この時短モードの際のみに、動画像を倍速または
３倍速程度の速さで再生すると共に、音声は所定の時間
例えば３秒間再生すると次の所定時間例えば３秒間をカ
ットし、これを繰り返すことにより音声のみは跳び跳び
に再生するものも、提案されている。

【０００４】また、従来の映像再生装置においては、早
送り再生モードで映像を再生する際に、装置の設計時に
予め設定された一定の速度により動画像を再生するもの
が一般的であった。機種によっては再生速度を可変とす
るものも提案されているが、その方法としては速度設定
ダイヤル等により再生速度を設定し、検索すべき映像場
面等を検索可能な程度にまで検索者の好みで再生速度を
遅らせるようにしており、あくまでもマニュアル操作に
よって再生速度の調整を行なっていた。

【０００５】

【発明が解決しようとする課題】しなしながら、上述し
た従来の映像再生装置においては、早送り再生が無音の
ままで行なわれているため、映像の内容を把握するのが
困難であり、また、映像に同期させて音声を再生する
と、再生音声が余りに高速であるため映像内の人物が何
を言っているか分からなかった。また、倍速または３倍
速程度の再生速度により音声を細切れにして部分的に再
生する再生装置では、意味のある音声部分のみ飛び飛び
に再生されている場合はまだしも、意味のある音声部分
が再生されずに意味のない音声部分が不規則に再生され
た場合には内容を完全に把握できない場合があった。

【０００６】また、一定の速度でしかもある程度の高速
で映像が再生されるだけの早送り機能だと動きの速い部
分で視認性が悪く内容を効果的に把握することが難しい
という問題があった。マニュアル操作により再生速度を
必要に応じて可変とする映像再生装置においては、検索
者が常時画面を注視して検索場面を探さなくてはなら
ず、応答性は向上するものの再生速度を可変に設定しな
がら検索を続けなくてはならないという煩雑さがあっ
た。

【０００７】本発明は上記問題点に鑑み、動画像と音声
を含むディジタル映像の場面における音声の有音部分や
動画像が大幅に変化する部分等の映像特徴を検出し、こ
の映像特徴に応じて自動的に再生速度を調整しながら映
像の再生を行なうことのできる映像再生装置を提供する
ことを目的としている。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に係る映像再生装置は、動画像信号と音声
信号とを含むディジタル映像信号を通常再生、早送り再
生および逆回し再生することにより所望の映像を表示す
る映像再生装置において、入力された前記ディジタル映
像信号を動画像信号と音声信号とに分離する信号分離手
段と、前記信号分離手段により分離された動画像信号と
音声信号のうちの少なくとも一方の特徴を抽出する映像
特徴抽出手段と、前記映像特徴抽出手段により抽出され
た映像特徴に基づいて前記映像特徴が存在する場面の映
像に所定の加工を行ないながら前記動画像信号と前記音
声信号との何れか一方に同期させつつ早送り再生映像信
号を生成して出力する早送り映像再生手段と、を少なく
とも備えることを特徴としている。

【０００９】請求項２に係る映像再生装置は、請求項１
に記載の映像再生装置において、前記映像特徴抽出手段
が、前記信号分離手段により分離された前記音声信号に
おける無音部分の開始時点から終了時点までの所定範囲
を音声特徴として抽出する音声特徴抽出手段により構成
されると共に、前記早送り映像再生手段が、前記信号分
離手段により分離された動画像信号を所定の速度で再生
して早送り動画像信号を出力する動画像再生手段と、前
記音声特徴抽出手段により抽出された無音部分を除去し
て少なくとも有音部分を含む音声再生信号を加工すると
共に前記早送り動画像信号の再生速度にこの音声再生信
号を同期させて同期音声信号を出力する音声再生手段
と、前記同期音声信号と前記早送り動画像信号とを合成
して早送り再生映像信号を出力する合成手段と、を備え
ることを特徴としている。

【００１０】また、請求項３に係る映像再生装置は、請
求項２に記載の映像再生装置において、前記音声再生手
段が、前記音声特徴抽出手段により抽出された無音部分
を除去して有音部分を連続させる音声信号加工手段と、
加工された音声再生信号を前記動画像再生手段により再
生された早送り動画像信号の再生速度に同期させる同期
手段と、を含むことを特徴としている。

【００１１】また、請求項４に係る映像再生装置は、請
求項３に記載の映像再生装置において、前記音声再生手
段が、前記加工手段により加工されて現在再生中の前記
音声再生信号の再生を打ち切って、その次に加工された
音声再生信号を前記早送り動画像信号の再生速度に同期
させて再生するように構成されていることを特徴として
いる。

【００１２】また、請求項５に係る映像再生装置は、請
求項３に記載の映像再生装置において、前記音声再生手
段が、前記加工手段により加工されて現在再生中の前記
音声再生信号による再生音を徐々に小音量にすると共
に、次に加工された音声再生信号に重ね合わせて再生な
がらこの次抽出の音声再生信号による再生音の音量を徐
々に高くするように構成されていることを特徴としてい
る。

【００１３】また、請求項６に係る映像再生装置は、請
求項３に記載の映像再生装置において、前記音声再生手
段が、前記早送り再生映像信号が撮影された方向とは時
間的に逆方向に再生されたときに、再生されている映像
に同期させて加工された前記音声再生信号の先頭から順
方向に再生するように構成されていることを特徴として
いる。

【００１４】また、請求項７に係る映像再生装置は、請
求項３に記載の映像再生装置において、前記同期手段
が、前記音声再生手段により再生された前記音声再生信
号の再生速度に同期させながら前記動画像再生手段によ
り再生された早送り再生動画像信号の再生速度を決定し
て前記合成手段に出力することを特徴としている。

【００１５】さらに、請求項８に係る映像再生装置は、
請求項１に記載の映像再生装置において、前記映像特徴
抽出手段が、前記信号分離手段により分離された前記動
画像信号を複数の静止画像であるフレームに分割するフ
レーム分割手段と、このフレーム分割手段により分割さ
れたフレーム間における変化量を検出するフレーム間変
化量検出手段と、を含む動画特徴抽出手段より構成され
ると共に、前記早送り映像再生手段が、前記フレーム間
変化量検出手段により検出された前記フレーム間の変化
量に応じて前記フレームの齣送り速度を変化させること
により動画像信号の再生速度を変更して早送り再生映像
信号を再生する動画像再生手段より構成されることを特
徴としている。

【００１６】また、請求項９に係る映像再生装置は、請
求項８に記載の映像再生装置において、前記フレーム間
変化量検出手段は、圧縮符号化された映像データから動
きの変化量を求めるように構成されていることを特徴と
している。

【００１７】さらに、請求項１０に係る映像再生装置
は、請求項８に記載の映像再生装置において、前記動画
像再生手段が、前記フレーム分割手段により分割された
動画像におけるフレームと指定された参照画像との間の
類似度を求める類似度検出手段と、検出されたフレーム
および参照画像間の類似度に基づいてこの類似度が高い
ほど再生速度を遅くすると共に類似度が低いほど再生速
度を速く再生するように再生速度を調整する速度調整手
段と、この速度調整手段により調整された再生速度に基
づいて前記フレーム分割手段より送られてきた動画像信
号の早送り再生速度を変更する動画像再生速度変更手段
と、を備えることを特徴としている。

【００１８】また、請求項１１に係る映像再生装置は、
請求項８に記載の映像再生装置において、前記フレーム
間変化量検出手段が、動画像信号における変化量が変化
する量である加速度を求める加速度検出手段を備えるこ
とを特徴としている。

【００１９】また、請求項１２に係る映像再生装置は、
請求項８に記載の映像再生装置において、前記フレーム
間変化量検出手段が、前記動画像の中から背景と動きの
ある物体とを分離する背景・動き分離手段と、分離され
た背景と動きのある物体との相対速度の変化量を求める
背景・動き間相対速度検出手段と、を備えることを特徴
としている。

【００２０】

【発明の実施の形態】以下、本発明に係る映像再生装置
の好適な実施形態について添付図面を参照しながら詳細
に説明する。まず、本発明の最も基本的な概念を示す第
１実施形態に係る映像再生装置について、図１を参照し
ながら説明する。図１において、映像再生装置は、動画
像信号および音声信号を含むディジタル映像信号を入力
してこのディジタル映像信号を動画像信号と音声信号と
に分離する信号分離手段１と、この信号分離手段１によ
り分離された動画像信号と音声信号のうちの少なくとも
一方の映像特徴を抽出する映像特徴抽出手段５と、前記
映像特徴抽出手段５により抽出された映像特徴に基づい
て、前記映像特徴が存在する場面の映像に所定の加工処
理を行ないながら前記動画像信号と前記音声信号とを同
期させつつ早送り再生映像信号を生成して出力する早送
り映像再生手段１０と、を備えている。

【００２１】この明細書においては、映像とは動画像と
音声とが複合されたものであると定義して用いるので、
映像特徴とは、動画像が例えば急激に変化することによ
り他の部分とは著しく異なった部分である動画像特徴
と、音声が無音状態または有音状態が継続する部分や例
えば映像中の山場により歓声等が急激に高まった部分で
ある音声特徴と、の両者を含んだものとして定義する。
したがって、前記映像特徴抽出手段５は、前記信号分離
手段１により分離された前記音声信号における無音部分
の開始時点から終了時点までの所定範囲を音声特徴とし
て抽出する音声特徴抽出手段６と、前記信号分離手段１
により分離された前記動画像信号を複数の静止画像であ
るフレームに分割して分割されたフレーム間における変
化量を検出する動画特徴抽出手段６と、の少なくとも何
れか一方を備えている。

【００２２】また、早送り映像再生手段１０は、前記動
画特徴抽出手段６が動画特徴を供給する場合にはその動
画特徴に基づいて再生速度等を変化させて動画像の早送
り再生を行なう動画像再生手段１１と、前記音声特徴抽
出手段７が音声特徴を供給する場合にはその音声特徴に
基づいて音声信号に所定の加工を加えると共に前記動画
像再生手段１１の出力する動画像の早送り再生信号に同
期させて音声再生信号を出力する音声再生手段１２と、
早送り再生された動画像と再生された音声とを合成する
合成手段１８と、を備えている。

【００２３】本発明の基本概念は上述したように、映像
の特徴を抽出して映像の早送り再生の際にこの特徴を用
いるものであるので、映像特徴としての音声特徴を抽出
する第２実施形態に係る映像再生装置について説明す
る。図２において、映像特徴抽出手段５は、信号分離手
段１により分離された音声信号における音声特徴を抽出
する音声特徴抽出手段７より構成されており、また、早
送り映像再生手段１０を構成する音声再生手段１２は抽
出された前記音声特徴としての無音部分を除去して少な
くとも有音部分を含む音声再生信号を加工する音声信号
加工手段１３と、前記動画像再生手段１１より出力され
る早送り動画像信号の再生速度にこの音声再生信号を同
期させて同期音声信号を出力する同期手段１４とを備え
ている。

【００２４】また、映像特徴としての動画特徴を抽出す
る第３実施形態に係る映像再生装置について、図３を参
照しながら説明する。前記映像特徴抽出手段５は、前記
信号分離手段１により分離された前記動画像信号を複数
の静止画像であるフレームに分割するフレーム分割手段
２０と、このフレーム分割手段２０により分割されたフ
レーム間における変化量を検出するフレーム間変化量検
出手段２１と、を含む動画特徴抽出手段６より構成され
ている。フレーム間変化量検出手段２１は、圧縮符号化
された映像データから動きの変化量を求めるように構成
されていても良いし、動画像信号における変化量が変化
する量である加速度を求める加速度検出手段２２を備え
ていても良い。また、フレーム間変化量検出手段２１
は、前記動画像の中から背景と動きのある物体とを分離
する背景・動き分離手段（図示されず）と、分離された
背景と動きのある物体との相対速度の変化量を求める背
景・動き間相対速度検出手段２３と、を備えるように構
成しても良い。

【００２５】また、早送り映像再生手段１０は、前記フ
レーム間変化量検出手段２１により検出された前記フレ
ーム間の変化量に応じて前記フレームの齣送り速度を変
化させることにより動画像信号の再生速度を変更して早
送り再生映像信号を再生する動画像再生手段１１を備え
ており、この動画像再生手段１１は、前記フレーム分割
手段２０により分割された動画像におけるフレームと指
定された参照画像との間の類似度を求める類似度検出手
段２５と、検出されたフレームと参照画像との類似度に
基づいてこの類似度が高いほど再生速度を遅くすると共
に類似度が低いほど再生速度を速く再生するように再生
速度を調整する速度調整手段２６と、この速度調整手段
２６により調整された再生速度に基づいて前記フレーム
分割手段２０より送られてきた動画像信号の早送り再生
速度を変更する動画像再生速度変更手段２７と、を備え
ている。

【００２６】上記第１ないし第３実施形態に係る映像再
生装置を、音声特徴抽出において更に具体化した第４実
施形態に係る映像再生装置を図４ないし図９を参照しな
がら詳細に説明する。図４は、この第４実施形態に係る
映像再生装置のシステム構成を示すブロック図である。
図４において、映像再生装置の基本システムは、動画像
データを蓄積する動画像データベース３１と、この動画
像データベース３１に蓄積された動画像データの音声部
分を解析して所定範囲の音声を分割する音声解析部３２
と、この音声解析部３２の結果から音声と動画像の対応
関係をテーブル情報として生成する動画像解析部３３
と、分割された音声と動画像の同期をとってそれぞれを
再生する音声再生部３４および動画像再生部３５と、ユ
ーザのオペレーションを受け付ける入力部３６と、すべ
ての機器を制御する制御部３７と、映像データを表示お
よび音を鳴らす表示部３８とより構成されている。

【００２７】音声特徴抽出としての音声の分割は、図５
に示すように、音声のパワー（音声の大きさ）を見るこ
とによって無音部の開始点ｔ2 およびｔ4 と終了点ｔ3
およびｔ5 とを検知する。音声があると判断された有音
部分３０は分割され、その情報を動画像データベース３
１に格納する。音声を分割すると同時に音声が存在する
映像フレームとの対応関係を動画像分析部３３において
計算し、対応表としてその情報を動画像データベース３
１に格納する。表示部３８を用いてユーザが映像を鑑賞
しているときに、入力部３６（キーボード、シャトル、
ボタン、リモートコントローラ等）からの指示により映
像を早送りすることができる。

【００２８】次に、映像を早送りしながら音声を再生す
る方法の一例を説明する。図６に示すように、ある区間
の映像を２倍速で再生する場合、普通は音声も２倍速で
再生する必要がある。しかし、早送りを行なうフレーム
中に、例えば音声が発せられた有音部３０が３つ存在し
無音部３９も同数程度存在する場合、無音部３９を省い
て音声を図６（ｂ）のように縮めることができる。しか
し、無音部３９が十分多くない場合は図６（ｃ）のよう
に音声は重なってしまうことになる。そこで、動画像解
析部３３において作成された音声の分割された所定範囲
の開始点に対応する映像フレームの対応表を用いて早送
り再生において分割された音声の再生を開始するタイミ
ングを計算する。

【００２９】次に、制御部３７を用いて映像と音声を同
時に再生を開始する。そのとき、映像は２倍速で再生
し、音声はそのままの速度で無音部を取り除いて第１の
分割音声の再生を開始する。このとき、制御部３７は対
応表を身ながら第２の分割音声を再生するタイミングに
きたとき、第１の分割音声の再生を打ち切って、第２の
音声の再生を開始する。以後同様に、第３の分割音声を
再生するタイミングがきたときには、第２の分割音声を
打ち切って第３の分割音声を再生する。次々に第５の分
割音声の再生と第４の分割音声の途中打ち切りを繰り返
すことによって、聞きとれる音声で再生が可能になる。
無音部３９が多数あって、打ち切る必要がない場合は、
その分割音声を打ち切らずに次の分割音声のタイミング
まで音声再生部３４は音声を再生しない。

【００３０】さらに、音がとぎれて聞こえにくい場合が
あるので、別のモードを入力部３６（例えばマウス）に
より選択して設定することにより、音声を完全に打ち切
ることなく次の分割音声が始まった時には前の音声を徐
々に小さくして音を重ねて再生することもできる。ユー
ザに同時に２つの音を聞かせることにより、話されてい
る言葉またはその他の音を継続して聞かせることができ
る。人間の聴覚は、小さくなっていく方の音声が前の分
割音声であり、普通に聞こえてくる方の音声が新しく開
始された音声であると認識できるので、同時にふたつの
音声を聞き分けることができる。音を小さくさせる傾向
はあらかじめ入力部３６から設定するパラメータでコン
トロールできるので急に小さくするものやほとんど小さ
くならないものなどが選べる。

【００３１】図７に示すように、順方向４４の音声再生
の場合は、分割音声の有音部４１、４２および４３の先
頭が早送りの映像フレームの再生速度４５に同期して再
生される。また、図８に示すように、映像の逆早送り５
４の場合には映像フレームは逆方向に再生されるが、分
割された音声と映像の対応表を用いて、分割された有音
部５１、５２および５３の音声の終了点と音声の開始点
に対応する映像フレームとの対応関係を入れ替えて、音
声は順方向５４に再生する。これにより、映像と音声と
はほぼ同期がとれて、しかも音声が充分明瞭に理解でき
る程度の再生が可能となる。再生方法は順方向に再生し
たときと同様に次に分割された音声を再生するタイミン
グがきた時に、モードによって、前の音声を打ち切る
か、小さくするかの選択を行ない、次の音声を再生す
る。

【００３２】図９に示すように、入力部３６においてモ
ードを選び音声優先で映像を再生する場合、分割された
有音部６１、６２および６３の音声の先頭と末尾までに
該当する映像フレームと前または後の無音部６４、６
５、６６および６７に対応する映像フレームを対応表か
ら選び、分割された音声に同期させて映像を早送り再生
する。たとえば、音声６１に該当するのは映像フレーム
Ｆ１〜Ｆ２０であるが、その直後の無音部６５に対応す
るフレームＦ２１〜Ｆ３０の映像フレームも合わせて音
声再生時間内に早送りして映像再生する。これにより音
声を明瞭に聞き取ることができ、２倍速程度の早送りに
より映像も確認することができる。

【００３３】次に、前記第３実施形態と同様に、映像特
徴を動画特徴により抽出して早送りの速度を画面の変化
の度合いで制御する第５実施形態に係る映像再生装置に
ついて説明する。図７は第５実施形態に係る映像再生装
置のシステム構成を示すブロック図である。このシステ
ムは、動画像を格納する動画像データベース７１と、前
記動画像のフレーム間の変化を参照画像と比較して動画
像を解析する動画像解析部７２と、動画像解析結果によ
って動画像データベース７１から動画像フレームを選択
して同期再生する制御部７５と、選択された動画像を再
生する映像再生部７６と、動画像再生のモードを選択し
または参照画像を指定するための入力部７７と、動画像
を表示する表示部７８とから構成されており、前記動画
像解析部７２は、動画像のフレーム間の変化と与えられ
た参照画像を格納する参照画像記憶部７３と、動画像フ
レームと参照画像とを比較計算する映像比較部７４と、
を備えている。

【００３４】前記入力部７７からのモードの指定で映像
再生の早送りの指示命令が入り、動画像データベース７
１の所望の格納場所から動画像フレームが動画像解析部
７２へ転送され前後の映像フレームの動きの変化量が計
算される。例えば、図１１に示すように、相撲の力士同
士が立ち会っている動画像フレーム８１と、次の瞬間の
映像フレームとが比較される。次のフレームが同じく立
ち会いの動画像フレーム８２の場合には、映像の変化量
は少なく、取り組みがはじまれば動画像フレーム８３は
少し変化する。また、電光掲示板の取組表の動画像フレ
ーム８４に場面が切り替われば２つの映像フレームの変
化量は大きくなる。変化量としては、動画像フレームの
画素ごとの輝度変化量の和または、色相の変化量の和を
とり、映像がＭＰＥＧ（Moving Picture Experts Group
―カラー動画像蓄積用符号化方式の標準化作業を進める
組織により標準化が行なわれている符号化方式―）で圧
縮されている場合は変化量として動き補償ベクトルの長
さの和などが利用できる。変化量が多いか少ないかの情
報は、制御部７５に送られ、変化量が多い場合には再生
を遅くし、変化量が少ない場合には再生速度を速くす
る。その命令が動画像再生部７６に送られ、動画像デー
タベース７１から対応するデータを取得し、表示部７８
に映像が表示される。

【００３５】図１２は変化量に応じて再生スピードを制
御する例で、最上段に示す動画像の変化量に対して、中
段に示すように、再生スピードを反転させて制御した例
である。下段では段階的な閾値でスピードを変えた例で
ある。変化量に応じて変化させる再生スピードの設定方
法は種々考えられる。例えば、変化量に対して反比例さ
せた再生スピードや静止部だけは一定の長さにして再生
するようにスピードを制御する方法などである。また、
極端に変化が激しい部分では再生速度が極端に遅くなっ
たり、極端に変化の少ない部分では再生速度が極端に速
くなったりすることがあるので、再生スピードの上限や
下限を設定しておいて再生を行なう方法も考えられる。

【００３６】入力部７７からの指示により、動画像デー
タベース７１から動画像の静止フレームが呼び出され表
示部７８に表示される。入力部７７の例えばマウスを用
いて参照画像を指定すると、参照画像は動画像解析部７
２に送られて参照画像記憶部７３に蓄えられる。入力部
７７で選択されるモードによって動画像の再生が起動さ
れる。動画像データベース７１から読み出された映像フ
レームが、動画像解析部７２に送られ、参照画像記憶部
７３の参照画像と比較される。前記動画像解析部７２の
フレーム比較部７４で類似度が計算される。例えば、類
似度は上述した動画像の変化量の逆数で代表される。図
１３はその類似度の変化を示した図で、その情報は制御
部７５に送られ、その情報に基づいて再生スピードを制
御し、類似度が高い場合は再生を遅く類似度が低い場合
は早く再生を制御する。その再生スピードの制御が、図
１０に示されている。類似度がある閾値よりも低い場合
は映像を再生しないようにもできる。映像の無再生の部
分は無限大に再生スピードが速いと解釈すれば時間的に
飛び越した再生となる。

【００３７】図１４の動画像の変化量が変化する量を求
めると加速度が得られる。これは、動画像が速い動きか
ら遅い動きへまたは遅い動きから速い動きへ変化する部
分でカットのように映像が急に変化する部分を含む。こ
のような加速度に応じて再生スピードを制御することに
よって映像の内容が切り替わる部分を拾い見することが
できる。この図１４においては、加速度の絶対値によっ
て再生スピードが制御されている。加速度が０の場合
は、再生スピードが無限大となり映像フレームが読み飛
ばされることになる。

【００３８】以上の説明においては、動画像全体の変化
量に応じて動画像の再生スピードを制御する方法を述べ
てきたが、動画像には被写体と背景が含まれているた
め、背景と被写体とが異なる動きをしている場合には、
これらを分離することが可能である。その方法の１つ
に、オプィカルフローと呼ばれる小領域の動きの変化を
表す量を求め、その動きをクラスタリングすることによ
り、背景と被写体を分離できる（例えば、COMPUTER GRA
PHICS AND IMAGE PROCESSING, pp.301-315, VOL.9,1979
など）。分離されたそれぞれの変化量を求めその変化量
の差が大きいほど再生スピードを遅くし、小さいほど再
生スピードを大きくすることにより、被写体が激しく動
いている場合のみ詳しく映像を鑑賞することが可能とな
る。

【００３９】

【発明の効果】本発明によれば、早送りをした場合でも
音声を聞き取ることができ、内容をより明瞭に理解する
ことが可能になり、短い時間で映像の内容を把握するこ
とができる。また、映像の変化に応じて再生スピードを
制御するため、スポーツなどで動きのない場面では速く
再生がなされ、時間的に冗長な場面を早見することがで
きる。また、動きの激しい場面では再生速度が緩慢にな
るのでじっくり映像の鑑賞を行なうことができる。

【図面の簡単な説明】

【図１】本発明の基本概念である第１実施形態に係る映
像再生装置の構成を示すブロック図である。

【図２】音声特徴抽出の基本概念である第２実施形態に
係る映像再生装置を示すブロック図である。

【図３】動画特徴抽出の基本概念である第３実施形態に
係る映像再生装置を示すブロック図である。

【図４】本発明の第４実施形態に係る映像再生装置のシ
ステム構成を示すブロック図である。

【図５】第４実施形態における映像特徴抽出としての音
声の分割を説明する特性図である。

【図６】第４実施形態における分割音声から無音部を取
り除き２倍の早送りに同期させて音声を結合した例を示
す特性図である。

【図７】第４実施形態における順方向の早送りのときの
音声の再生例を示す特性図である。

【図８】第４実施形態における逆方向の早送りのときの
音声の再生例を示す特性図である。

【図９】第４実施形態において音声に同期させて動画像
を再生する例を示す（ａ）特性図および（ｂ）図表であ
る。

【図１０】本発明の第５実施形態に係る映像再生装置の
システム構成を示すブロック図である。

【図１１】第５実施形態における前後のフレームの変化
例を示す説明図である。

【図１２】第５実施形態における動画像の変化量と再生
スピードの関係を示す特性図である。

【図１３】第５実施形態における参照画像との類似度と
再生スピードの関係を示す特性図である。

【図１４】第５実施形態における加速度と再生スピード
の関係を示す特性図である。

【符号の説明】

１信号分離手段５映像特徴抽出手段６動画特徴抽出手段７音声特徴抽出手段１０早送り映像再生手段１１動画像再生手段１２音声再生手段１３音声信号加工手段１４同期手段１８合成手段２０フレーム分割手段２１フレーム間変化量検出手段２５類似度検出手段２６速度調整手段２７動画像再生速度変更手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者窪田進神奈川県川崎市幸区小向東芝町１株式会社東芝研究開発センター内

Claims

【特許請求の範囲】

【請求項１】動画像信号と音声信号とを含むディジタル
映像信号を通常再生、早送り再生および逆回し再生する
ことにより所望の映像を表示する映像再生装置におい
て、入力された前記ディジタル映像信号を動画像信号と音声
信号とに分離する信号分離手段と、前記信号分離手段により分離された動画像信号と音声信
号のうちの少なくとも一方の特徴を抽出する映像特徴抽
出手段と、前記映像特徴抽出手段により抽出された映像特徴に基づ
いて、前記映像特徴が存在する場面の映像に所定の加工
処理を行ないながら前記動画像信号と前記音声信号との
何れか一方に同期させつつ早送り再生映像信号を生成し
て出力する早送り映像再生手段と、を少なくとも備えることを特徴とする映像再生装置。
【請求項２】前記映像特徴抽出手段は、前記信号分離手
段により分離された前記音声信号における無音部分の開
始時点から終了時点までの所定範囲を音声特徴として抽
出する音声特徴抽出手段により構成されると共に、前記早送り映像再生手段は、前記信号分離手段により分
離された動画像信号を所定の速度で再生して早送り動画
像信号を出力する動画像再生手段と、前記音声特徴抽出
手段により抽出された無音部分を除去して少なくとも有
音部分を含む音声再生信号を加工すると共に前記早送り
動画像信号の再生速度にこの音声再生信号を同期させて
同期音声信号を出力する音声再生手段と、前記同期音声
信号と前記早送り動画像信号とを合成して早送り再生映
像信号を出力する合成手段と、を備えることを特徴とす
る請求項１に記載の映像再生装置。
【請求項３】前記音声再生手段は、前記音声特徴抽出手
段により抽出された無音部分を除去して有音部分を連続
させる音声信号加工手段と、加工された音声再生信号を
前記動画像再生手段により再生された早送り動画像信号
の再生速度に同期させる同期手段と、を含むことを特徴
とする請求項２に記載の映像再生装置。
【請求項４】前記音声再生手段は、前記加工手段により
加工されて現在再生中の前記音声再生信号の再生を打ち
切って、その次に加工された音声再生信号を前記早送り
動画像信号の再生速度に同期させて再生するように構成
されていることを特徴とする請求項３に記載の映像再生
装置。
【請求項５】前記音声再生手段は、前記加工手段により
加工されて現在再生中の前記音声再生信号による再生音
を徐々に小音量にすると共に、次に加工された音声再生
信号に重ね合わせて再生しながらこの次に加工された音
声再生信号による再生音の音量を徐々に高くするように
構成されていることを特徴とする請求項３に記載の映像
再生装置。
【請求項６】前記音声再生手段は、前記早送り再生映像
信号が撮影された方向とは時間的に逆方向に再生された
ときに、再生されている映像に同期させて加工された前
記音声再生信号の先頭から順方向に再生するように構成
されていることを特徴とする請求項３に記載の映像再生
装置。
【請求項７】前記同期手段は、前記音声再生手段により
再生された前記音声再生信号の再生速度に同期させなが
ら前記動画像再生手段により再生された早送り再生動画
像信号の再生速度を決定して前記合成手段に出力するこ
とを特徴とする請求項３に記載の映像再生装置。
【請求項８】前記映像特徴抽出手段は、前記信号分離手
段により分離された前記動画像信号を複数の静止画像で
あるフレームに分割するフレーム分割手段と、このフレ
ーム分割手段により分割されたフレーム間における変化
量を検出するフレーム間変化量検出手段と、を含む動画
特徴抽出手段より構成されると共に、前記早送り映像再生手段は、前記フレーム間変化量検出
手段により検出された前記フレーム間の変化量に応じて
前記フレームの齣送り速度を変化させることにより動画
像信号の再生速度を変更して早送り再生映像信号を再生
する動画像再生手段より構成されることを特徴とする請
求項１に記載の映像再生装置。
【請求項９】前記フレーム間変化量検出手段は、圧縮符
号化された映像データから動きの変化量を求めるように
構成されていることを特徴とする請求項８に記載の映像
再生装置。
【請求項１０】前記動画像再生手段は、前記フレーム分
割手段により分割された動画像におけるフレームと指定
された参照画像との間の類似度を求める類似度検出手段
と、検出されたフレームおよび参照画像間の類似度に基
づいてこの類似度が高いほど再生速度を遅くすると共に
類似度が低いほど再生速度を速く再生するように再生速
度を調整する速度調整手段と、この速度調整手段により
調整された再生速度に基づいて前記フレーム分割手段よ
り送られてきた動画像信号の早送り再生速度を変更する
動画像再生速度変更手段と、を備えることを特徴とする
請求項８に記載の映像再生装置。
【請求項１１】前記フレーム間変化量検出手段は、動画
像信号における変化量が変化する量である加速度を求め
る加速度検出手段を備えることを特徴とする請求項８に
記載の映像再生装置。
【請求項１２】前記フレーム間変化量検出手段は、前記
動画像の中から背景と動きのある物体とを分離する背景
・動き分離手段と、分離された背景と動きのある物体と
の相対速度の変化量を求める背景・動き間相対速度検出
手段と、を備えることを特徴とする請求項８に記載の映
像再生装置。