JP3877371B2 - 映像再生装置 - Google Patents
映像再生装置 Download PDFInfo
- Publication number
- JP3877371B2 JP3877371B2 JP04263797A JP4263797A JP3877371B2 JP 3877371 B2 JP3877371 B2 JP 3877371B2 JP 04263797 A JP04263797 A JP 04263797A JP 4263797 A JP4263797 A JP 4263797A JP 3877371 B2 JP3877371 B2 JP 3877371B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- reproduction
- signal
- moving image
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばビデオテープレコーダ（ＶＴＲ―Video Tape Recorder ―）またはＤＶＤ（Digital Versatile Disc）装置等のように映像を再生する装置に係り、特に動画像と音声とを含んでディジタル記録された映像情報における記録上の特徴を抽出してその特徴に見合うように動画または音声の再生速度を制御することのできる映像再生装置に関する。
【０００２】
【従来の技術】
一般に、動画像と音声とを含む映像情報は、ビデオテープやＤＶＤ等の記録媒体を用いて記録することができ、上記ＶＴＲやＤＶＤ装置等の再生装置を用いて再生することが可能となっている。このような映像再生装置においては、通常の再生速度による再生モードに加えて、最低でも倍速から数百倍速までの高速再生速度による早送り再生モードと、高速逆転による早戻し再生モードとの２つのモードが、通常設けられている。
【０００３】
このような従来の映像再生装置では、早送り再生モードに際して音声は無音にして動画像のみ再生するのが一般的である。また、機種によっては倍速または３倍速程度の早送り再生モードを時短モードとして設定し、この時短モードの際のみに、動画像を倍速または３倍速程度の速さで再生すると共に、音声は所定の時間例えば３秒間再生すると次の所定時間例えば３秒間をカットし、これを繰り返すことにより音声のみは跳び跳びに再生するものも、提案されている。
【０００４】
また、従来の映像再生装置においては、早送り再生モードで映像を再生する際に、装置の設計時に予め設定された一定の速度により動画像を再生するものが一般的であった。機種によっては再生速度を可変とするものも提案されているが、その方法としては速度設定ダイヤル等により再生速度を設定し、検索すべき映像場面等を検索可能な程度にまで検索者の好みで再生速度を遅らせるようにしており、あくまでもマニュアル操作によって再生速度の調整を行なっていた。
【０００５】
【発明が解決しようとする課題】
しなしながら、上述した従来の映像再生装置においては、早送り再生が無音のままで行なわれているため、映像の内容を把握するのが困難であり、また、映像に同期させて音声を再生すると、再生音声が余りに高速であるため映像内の人物が何を言っているか分からなかった。また、倍速または３倍速程度の再生速度により音声を細切れにして部分的に再生する再生装置では、意味のある音声部分のみ飛び飛びに再生されている場合はまだしも、意味のある音声部分が再生されずに意味のない音声部分が不規則に再生された場合には内容を完全に把握できない場合があった。
【０００６】
また、一定の速度でしかもある程度の高速で映像が再生されるだけの早送り機能だと動きの速い部分で視認性が悪く内容を効果的に把握することが難しいという問題があった。マニュアル操作により再生速度を必要に応じて可変とする映像再生装置においては、検索者が常時画面を注視して検索場面を探さなくてはならず、応答性は向上するものの再生速度を可変に設定しながら検索を続けなくてはならないという煩雑さがあった。
【０００７】
本発明は上記問題点に鑑み、動画像と音声を含むディジタル映像の場面における音声の有音部分や動画像が大幅に変化する部分等の映像特徴を検出し、この映像特徴に応じて自動的に再生速度を調整しながら映像の再生を行なうことのできる映像再生装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る映像再生装置は、動画像信号と音声信号とを含むディジタル映像信号を通常再生、早送り再生および逆回し再生することにより所望の映像を表示する映像再生装置において、入力された前記ディジタル映像信号を動画像信号と音声信号とに分離する信号分離手段と、前記信号分離手段により分離された動画像信号と音声信号のうちの少なくとも一方の特徴を抽出する映像特徴抽出手段と、前記映像特徴抽出手段により抽出された映像特徴に基づいて前記映像特徴が存在する場面の映像に所定の加工を行ないながら前記動画像信号と前記音声信号とを同期させつつ早送り再生映像信号を生成して出力する早送り映像再生手段と、を少なくとも備え、前記映像特徴抽出手段は、前記信号分離手段により分離された前記動画像信号を複数の静止画像であるフレームに分割するフレーム分割手段と、このフレーム分割手段により分割されたフレーム間における画像の変化量を検出するフレーム間変化量検出手段と、を含む動画特徴抽出手段より構成され、さらに、前記早送り映像再生手段は、前記フレーム間変化量検出手段により検出された前記フレーム間における画像の変化量に応じて前記フレームの齣送り速度を変化させることにより動画像信号の再生速度を変更して早送り再生映像信号を再生する動画像再生手段より構成され、かつ、前記動画像再生手段は、前記フレーム分割手段により分割された動画像におけるフレームと指定された参照画像との間の類似度を求める類似度検出手段と、検出されたフレームおよび参照画像間の類似度に基づいてこの類似度が高いほど再生速度を遅くすると共に類似度が低いほど再生速度を速く再生するように再生速度を調整する速度調整手段と、この速度調整手段により調整された再生速度に基づいて前記フレーム分割手段より送られてきた動画像信号の早送り再生速度を変更する動画像再生速度変更手段と、を備えることを特徴としている。
【０００９】
請求項２に係る映像再生装置は、請求項１に記載の映像再生装置において、前記映像特徴抽出手段が、前記信号分離手段により分離された前記音声信号における無音部分の開始時点から終了時点までの所定範囲を音声特徴として抽出する音声特徴抽出手段により構成されると共に、前記早送り映像再生手段が、前記信号分離手段により分離された動画像信号を所定の速度で再生して早送り動画像信号を出力する動画像再生手段と、前記音声特徴抽出手段により抽出された無音部分を除去して少なくとも有音部分を含む音声再生信号を加工すると共に前記早送り動画像信号の再生速度にこの音声再生信号を同期させて同期音声信号を出力する音声再生手段と、前記同期音声信号と前記早送り動画像信号とを合成して早送り再生映像信号を出力する合成手段と、を備えることを特徴としている。
【００１０】
また、請求項３に係る映像再生装置は、請求項２に記載の映像再生装置において、前記音声再生手段が、前記音声特徴抽出手段により抽出された無音部分を除去して有音部分を連続させる音声信号加工手段と、加工された音声再生信号を前記動画像再生手段により再生された早送り動画像信号の再生速度に同期させる同期手段と、を含むことを特徴としている。
【００１１】
また、請求項４に係る映像再生装置は、請求項３に記載の映像再生装置において、前記音声再生手段が、前記加工手段により加工されて現在再生中の前記音声再生信号の再生を打ち切って、その次に加工された音声再生信号を前記早送り動画像信号の再生速度に同期させて再生するように構成されていることを特徴としている。
【００１２】
また、請求項５に係る映像再生装置は、請求項３に記載の映像再生装置において、前記音声再生手段が、前記加工手段により加工されて現在再生中の前記音声再生信号による再生音を徐々に小音量にすると共に、次に加工された音声再生信号に重ね合わせて再生ながらこの次抽出の音声再生信号による再生音の音量を徐々に高くするように構成されていることを特徴としている。
【００１３】
また、請求項６に係る映像再生装置は、請求項３に記載の映像再生装置において、前記音声再生手段が、前記早送り再生映像信号が撮影された方向とは時間的に逆方向に再生されたときに、再生されている映像に同期させて加工された前記音声再生信号の先頭から順方向に再生するように構成されていることを特徴としている。
【００１４】
また、請求項７に係る映像再生装置は、請求項３に記載の映像再生装置において、前記同期手段が、前記音声再生手段により再生された前記音声再生信号の再生速度に同期させながら前記動画像再生手段により再生された早送り再生動画像信号の再生速度を決定して前記合成手段に出力することを特徴としている。
【００１６】
また、請求項８に係る映像再生装置は、請求項１に記載の映像再生装置において、前記フレーム間変化量検出手段は、圧縮符号化された映像データから動きの変化量を求めるように構成されていることを特徴としている。
【００１８】
また、請求項９に係る映像再生装置は、請求項１に記載の映像再生装置において、前記フレーム間変化量検出手段が、動画像信号におけるフレーム間の動画像が速い動きから遅い動きへまたは遅い動きから速い動きへとその変化量が急速に変化する量である画像の加速度を求める加速度検出手段を備えることを特徴としている。
【００１９】
また、請求項１０に係る映像再生装置は、請求項１に記載の映像再生装置において、前記フレーム間変化量検出手段が、前記動画像の中から背景と動きのある物体とを分離する背景・動き分離手段と、分離された背景と動きのある物体との相対速度の変化量を求める背景・動き間相対速度検出手段と、を備えることを特徴としている。
【００２０】
【発明の実施の形態】
以下、本発明に係る映像再生装置の好適な実施形態について添付図面を参照しながら詳細に説明する。まず、本発明の最も基本的な概念を示す第１実施形態に係る映像再生装置について、図１を参照しながら説明する。図１において、映像再生装置は、動画像信号および音声信号を含むディジタル映像信号を入力してこのディジタル映像信号を動画像信号と音声信号とに分離する信号分離手段１と、この信号分離手段１により分離された動画像信号と音声信号のうちの少なくとも一方の映像特徴を抽出する映像特徴抽出手段５と、前記映像特徴抽出手段５により抽出された映像特徴に基づいて、前記映像特徴が存在する場面の映像に所定の加工処理を行ないながら前記動画像信号と前記音声信号とを同期させつつ早送り再生映像信号を生成して出力する早送り映像再生手段１０と、を備えている。
【００２１】
この明細書においては、映像とは動画像と音声とが複合されたものであると定義して用いるので、映像特徴とは、動画像が例えば急激に変化することにより他の部分とは著しく異なった部分である動画像特徴と、音声が無音状態または有音状態が継続する部分や例えば映像中の山場により歓声等が急激に高まった部分である音声特徴と、の両者を含んだものとして定義する。したがって、前記映像特徴抽出手段５は、前記信号分離手段１により分離された前記音声信号における無音部分の開始時点から終了時点までの所定範囲を音声特徴として抽出する音声特徴抽出手段６と、前記信号分離手段１により分離された前記動画像信号を複数の静止画像であるフレームに分割して分割されたフレーム間における変化量を検出する動画特徴抽出手段６と、の少なくとも何れか一方を備えている。
【００２２】
また、早送り映像再生手段１０は、前記動画特徴抽出手段６が動画特徴を供給する場合にはその動画特徴に基づいて再生速度等を変化させて動画像の早送り再生を行なう動画像再生手段１１と、前記音声特徴抽出手段７が音声特徴を供給する場合にはその音声特徴に基づいて音声信号に所定の加工を加えると共に前記動画像再生手段１１の出力する動画像の早送り再生信号に同期させて音声再生信号を出力する音声再生手段１２と、早送り再生された動画像と再生された音声とを合成する合成手段１８と、を備えている。
【００２３】
本発明の基本概念は上述したように、映像の特徴を抽出して映像の早送り再生の際にこの特徴を用いるものであるので、映像特徴としての音声特徴を抽出する第２実施形態に係る映像再生装置について説明する。図２において、映像特徴抽出手段５は、信号分離手段１により分離された音声信号における音声特徴を抽出する音声特徴抽出手段７より構成されており、また、早送り映像再生手段１０を構成する音声再生手段１２は抽出された前記音声特徴としての無音部分を除去して少なくとも有音部分を含む音声再生信号を加工する音声信号加工手段１３と、前記動画像再生手段１１より出力される早送り動画像信号の再生速度にこの音声再生信号を同期させて同期音声信号を出力する同期手段１４とを備えている。
【００２４】
また、映像特徴としての動画特徴を抽出する第３実施形態に係る映像再生装置について、図３を参照しながら説明する。前記映像特徴抽出手段５は、前記信号分離手段１により分離された前記動画像信号を複数の静止画像であるフレームに分割するフレーム分割手段２０と、このフレーム分割手段２０により分割されたフレーム間における変化量を検出するフレーム間変化量検出手段２１と、を含む動画特徴抽出手段６より構成されている。フレーム間変化量検出手段２１は、圧縮符号化された映像データから動きの変化量を求めるように構成されていても良いし、動画像信号における変化量が変化する量である加速度を求める加速度検出手段２２を備えていても良い。また、フレーム間変化量検出手段２１は、前記動画像の中から背景と動きのある物体とを分離する背景・動き分離手段（図示されず）と、分離された背景と動きのある物体との相対速度の変化量を求める背景・動き間相対速度検出手段２３と、を備えるように構成しても良い。
【００２５】
また、早送り映像再生手段１０は、前記フレーム間変化量検出手段２１により検出された前記フレーム間の変化量に応じて前記フレームの齣送り速度を変化させることにより動画像信号の再生速度を変更して早送り再生映像信号を再生する動画像再生手段１１を備えており、この動画像再生手段１１は、前記フレーム分割手段２０により分割された動画像におけるフレームと指定された参照画像との間の類似度を求める類似度検出手段２５と、検出されたフレームと参照画像との類似度に基づいてこの類似度が高いほど再生速度を遅くすると共に類似度が低いほど再生速度を速く再生するように再生速度を調整する速度調整手段２６と、この速度調整手段２６により調整された再生速度に基づいて前記フレーム分割手段２０より送られてきた動画像信号の早送り再生速度を変更する動画像再生速度変更手段２７と、を備えている。
【００２６】
上記第１ないし第３実施形態に係る映像再生装置を、音声特徴抽出において更に具体化した第４実施形態に係る映像再生装置を図４ないし図９を参照しながら詳細に説明する。図４は、この第４実施形態に係る映像再生装置のシステム構成を示すブロック図である。図４において、映像再生装置の基本システムは、動画像データを蓄積する動画像データベース３１と、この動画像データベース３１に蓄積された動画像データの音声部分を解析して所定範囲の音声を分割する音声解析部３２と、この音声解析部３２の結果から音声と動画像の対応関係をテーブル情報として生成する動画像解析部３３と、分割された音声と動画像の同期をとってそれぞれを再生する音声再生部３４および動画像再生部３５と、ユーザのオペレーションを受け付ける入力部３６と、すべての機器を制御する制御部３７と、映像データを表示および音を鳴らす表示部３８とより構成されている。
【００２７】
音声特徴抽出としての音声の分割は、図５に示すように、音声のパワー（音声の大きさ）を見ることによって無音部の開始点ｔ2 およびｔ4 と終了点ｔ3 およびｔ5 とを検知する。音声があると判断された有音部分３０は分割され、その情報を動画像データベース３１に格納する。音声を分割すると同時に音声が存在する映像フレームとの対応関係を動画像分析部３３において計算し、対応表としてその情報を動画像データベース３１に格納する。表示部３８を用いてユーザが映像を鑑賞しているときに、入力部３６（キーボード、シャトル、ボタン、リモートコントローラ等）からの指示により映像を早送りすることができる。
【００２８】
次に、映像を早送りしながら音声を再生する方法の一例を説明する。図６に示すように、ある区間の映像を２倍速で再生する場合、普通は音声も２倍速で再生する必要がある。しかし、早送りを行なうフレーム中に、例えば音声が発せられた有音部３０が３つ存在し無音部３９も同数程度存在する場合、無音部３９を省いて音声を図６（ｂ）のように縮めることができる。しかし、無音部３９が十分多くない場合は図６（ｃ）のように音声は重なってしまうことになる。そこで、動画像解析部３３において作成された音声の分割された所定範囲の開始点に対応する映像フレームの対応表を用いて早送り再生において分割された音声の再生を開始するタイミングを計算する。
【００２９】
次に、制御部３７を用いて映像と音声を同時に再生を開始する。そのとき、映像は２倍速で再生し、音声はそのままの速度で無音部を取り除いて第１の分割音声の再生を開始する。このとき、制御部３７は対応表を身ながら第２の分割音声を再生するタイミングにきたとき、第１の分割音声の再生を打ち切って、第２の音声の再生を開始する。以後同様に、第３の分割音声を再生するタイミングがきたときには、第２の分割音声を打ち切って第３の分割音声を再生する。次々に第５の分割音声の再生と第４の分割音声の途中打ち切りを繰り返すことによって、聞きとれる音声で再生が可能になる。無音部３９が多数あって、打ち切る必要がない場合は、その分割音声を打ち切らずに次の分割音声のタイミングまで音声再生部３４は音声を再生しない。
【００３０】
さらに、音がとぎれて聞こえにくい場合があるので、別のモードを入力部３６（例えばマウス）により選択して設定することにより、音声を完全に打ち切ることなく次の分割音声が始まった時には前の音声を徐々に小さくして音を重ねて再生することもできる。ユーザに同時に２つの音を聞かせることにより、話されている言葉またはその他の音を継続して聞かせることができる。人間の聴覚は、小さくなっていく方の音声が前の分割音声であり、普通に聞こえてくる方の音声が新しく開始された音声であると認識できるので、同時にふたつの音声を聞き分けることができる。音を小さくさせる傾向はあらかじめ入力部３６から設定するパラメータでコントロールできるので急に小さくするものやほとんど小さくならないものなどが選べる。
【００３１】
図７に示すように、順方向４４の音声再生の場合は、分割音声の有音部４１、４２および４３の先頭が早送りの映像フレームの再生速度４５に同期して再生される。また、図８に示すように、映像の逆早送り５４の場合には映像フレームは逆方向に再生されるが、分割された音声と映像の対応表を用いて、分割された有音部５１、５２および５３の音声の終了点と音声の開始点に対応する映像フレームとの対応関係を入れ替えて、音声は順方向５４に再生する。これにより、映像と音声とはほぼ同期がとれて、しかも音声が充分明瞭に理解できる程度の再生が可能となる。再生方法は順方向に再生したときと同様に次に分割された音声を再生するタイミングがきた時に、モードによって、前の音声を打ち切るか、小さくするかの選択を行ない、次の音声を再生する。
【００３２】
図９に示すように、入力部３６においてモードを選び音声優先で映像を再生する場合、分割された有音部６１、６２および６３の音声の先頭と末尾までに該当する映像フレームと前または後の無音部６４、６５、６６および６７に対応する映像フレームを対応表から選び、分割された音声に同期させて映像を早送り再生する。たとえば、音声６１に該当するのは映像フレームＦ１〜Ｆ２０であるが、その直後の無音部６５に対応するフレームＦ２１〜Ｆ３０の映像フレームも合わせて音声再生時間内に早送りして映像再生する。これにより音声を明瞭に聞き取ることができ、２倍速程度の早送りにより映像も確認することができる。
【００３３】
次に、前記第３実施形態と同様に、映像特徴を動画特徴により抽出して早送りの速度を画面の変化の度合いで制御する第５実施形態に係る映像再生装置について説明する。図７は第５実施形態に係る映像再生装置のシステム構成を示すブロック図である。このシステムは、動画像を格納する動画像データベース７１と、前記動画像のフレーム間の変化を参照画像と比較して動画像を解析する動画像解析部７２と、動画像解析結果によって動画像データベース７１から動画像フレームを選択して同期再生する制御部７５と、選択された動画像を再生する映像再生部７６と、動画像再生のモードを選択しまたは参照画像を指定するための入力部７７と、動画像を表示する表示部７８とから構成されており、前記動画像解析部７２は、動画像のフレーム間の変化と与えられた参照画像を格納する参照画像記憶部７３と、動画像フレームと参照画像とを比較計算する映像比較部７４と、を備えている。
【００３４】
前記入力部７７からのモードの指定で映像再生の早送りの指示命令が入り、動画像データベース７１の所望の格納場所から動画像フレームが動画像解析部７２へ転送され前後の映像フレームの動きの変化量が計算される。例えば、図１１に示すように、相撲の力士同士が立ち会っている動画像フレーム８１と、次の瞬間の映像フレームとが比較される。次のフレームが同じく立ち会いの動画像フレーム８２の場合には、映像の変化量は少なく、取り組みがはじまれば動画像フレーム８３は少し変化する。また、電光掲示板の取組表の動画像フレーム８４に場面が切り替われば２つの映像フレームの変化量は大きくなる。変化量としては、動画像フレームの画素ごとの輝度変化量の和または、色相の変化量の和をとり、映像がＭＰＥＧ（Moving Picture Experts Group―カラー動画像蓄積用符号化方式の標準化作業を進める組織により標準化が行なわれている符号化方式―）で圧縮されている場合は変化量として動き補償ベクトルの長さの和などが利用できる。変化量が多いか少ないかの情報は、制御部７５に送られ、変化量が多い場合には再生を遅くし、変化量が少ない場合には再生速度を速くする。その命令が動画像再生部７６に送られ、動画像データベース７１から対応するデータを取得し、表示部７８に映像が表示される。
【００３５】
図１２は変化量に応じて再生スピードを制御する例で、最上段に示す動画像の変化量に対して、中段に示すように、再生スピードを反転させて制御した例である。下段では段階的な閾値でスピードを変えた例である。変化量に応じて変化させる再生スピードの設定方法は種々考えられる。例えば、変化量に対して反比例させた再生スピードや静止部だけは一定の長さにして再生するようにスピードを制御する方法などである。また、極端に変化が激しい部分では再生速度が極端に遅くなったり、極端に変化の少ない部分では再生速度が極端に速くなったりすることがあるので、再生スピードの上限や下限を設定しておいて再生を行なう方法も考えられる。
【００３６】
入力部７７からの指示により、動画像データベース７１から動画像の静止フレームが呼び出され表示部７８に表示される。入力部７７の例えばマウスを用いて参照画像を指定すると、参照画像は動画像解析部７２に送られて参照画像記憶部７３に蓄えられる。入力部７７で選択されるモードによって動画像の再生が起動される。動画像データベース７１から読み出された映像フレームが、動画像解析部７２に送られ、参照画像記憶部７３の参照画像と比較される。前記動画像解析部７２のフレーム比較部７４で類似度が計算される。例えば、類似度は上述した動画像の変化量の逆数で代表される。図１３はその類似度の変化を示した図で、その情報は制御部７５に送られ、その情報に基づいて再生スピードを制御し、類似度が高い場合は再生を遅く類似度が低い場合は早く再生を制御する。その再生スピードの制御が、図１０に示されている。類似度がある閾値よりも低い場合は映像を再生しないようにもできる。映像の無再生の部分は無限大に再生スピードが速いと解釈すれば時間的に飛び越した再生となる。
【００３７】
図１４の動画像の変化量が変化する量を求めると加速度が得られる。これは、動画像が速い動きから遅い動きへまたは遅い動きから速い動きへ変化する部分でカットのように映像が急に変化する部分を含む。このような加速度に応じて再生スピードを制御することによって映像の内容が切り替わる部分を拾い見することができる。この図１４においては、加速度の絶対値によって再生スピードが制御されている。加速度が０の場合は、再生スピードが無限大となり映像フレームが読み飛ばされることになる。
【００３８】
以上の説明においては、動画像全体の変化量に応じて動画像の再生スピードを制御する方法を述べてきたが、動画像には被写体と背景が含まれているため、背景と被写体とが異なる動きをしている場合には、これらを分離することが可能である。その方法の１つに、オプィカルフローと呼ばれる小領域の動きの変化を表す量を求め、その動きをクラスタリングすることにより、背景と被写体を分離できる（例えば、COMPUTER GRAPHICS AND IMAGE PROCESSING, pp.301-315, VOL.9,1979など）。分離されたそれぞれの変化量を求めその変化量の差が大きいほど再生スピードを遅くし、小さいほど再生スピードを大きくすることにより、被写体が激しく動いている場合のみ詳しく映像を鑑賞することが可能となる。
【００３９】
【発明の効果】
本発明によれば、早送りをした場合でも音声を聞き取ることができ、内容をより明瞭に理解することが可能になり、短い時間で映像の内容を把握することができる。また、映像の変化に応じて再生スピードを制御するため、スポーツなどで動きのない場面では速く再生がなされ、時間的に冗長な場面を早見することができる。また、動きの激しい場面では再生速度が緩慢になるのでじっくり映像の鑑賞を行なうことができる。
【図面の簡単な説明】
【図１】本発明の基本概念である第１実施形態に係る映像再生装置の構成を示すブロック図である。
【図２】音声特徴抽出の基本概念である第２実施形態に係る映像再生装置を示すブロック図である。
【図３】動画特徴抽出の基本概念である第３実施形態に係る映像再生装置を示すブロック図である。
【図４】本発明の第４実施形態に係る映像再生装置のシステム構成を示すブロック図である。
【図５】第４実施形態における映像特徴抽出としての音声の分割を説明する特性図である。
【図６】第４実施形態における分割音声から無音部を取り除き２倍の早送りに同期させて音声を結合した例を示す特性図である。
【図７】第４実施形態における順方向の早送りのときの音声の再生例を示す特性図である。
【図８】第４実施形態における逆方向の早送りのときの音声の再生例を示す特性図である。
【図９】第４実施形態において音声に同期させて動画像を再生する例を示す（ａ）特性図および（ｂ）図表である。
【図１０】本発明の第５実施形態に係る映像再生装置のシステム構成を示すブロック図である。
【図１１】第５実施形態における前後のフレームの変化例を示す説明図である。
【図１２】第５実施形態における動画像の変化量と再生スピードの関係を示す特性図である。
【図１３】第５実施形態における参照画像との類似度と再生スピードの関係を示す特性図である。
【図１４】第５実施形態における加速度と再生スピードの関係を示す特性図である。
【符号の説明】
１ 信号分離手段
５ 映像特徴抽出手段
６ 動画特徴抽出手段
７ 音声特徴抽出手段
１０ 早送り映像再生手段
１１ 動画像再生手段
１２ 音声再生手段
１３ 音声信号加工手段
１４ 同期手段
１８ 合成手段
２０ フレーム分割手段
２１ フレーム間変化量検出手段
２５ 類似度検出手段
２６ 速度調整手段
２７ 動画像再生速度変更手段
【発明の属する技術分野】
本発明は、例えばビデオテープレコーダ（ＶＴＲ―Video Tape Recorder ―）またはＤＶＤ（Digital Versatile Disc）装置等のように映像を再生する装置に係り、特に動画像と音声とを含んでディジタル記録された映像情報における記録上の特徴を抽出してその特徴に見合うように動画または音声の再生速度を制御することのできる映像再生装置に関する。
【０００２】
【従来の技術】
一般に、動画像と音声とを含む映像情報は、ビデオテープやＤＶＤ等の記録媒体を用いて記録することができ、上記ＶＴＲやＤＶＤ装置等の再生装置を用いて再生することが可能となっている。このような映像再生装置においては、通常の再生速度による再生モードに加えて、最低でも倍速から数百倍速までの高速再生速度による早送り再生モードと、高速逆転による早戻し再生モードとの２つのモードが、通常設けられている。
【０００３】
このような従来の映像再生装置では、早送り再生モードに際して音声は無音にして動画像のみ再生するのが一般的である。また、機種によっては倍速または３倍速程度の早送り再生モードを時短モードとして設定し、この時短モードの際のみに、動画像を倍速または３倍速程度の速さで再生すると共に、音声は所定の時間例えば３秒間再生すると次の所定時間例えば３秒間をカットし、これを繰り返すことにより音声のみは跳び跳びに再生するものも、提案されている。
【０００４】
また、従来の映像再生装置においては、早送り再生モードで映像を再生する際に、装置の設計時に予め設定された一定の速度により動画像を再生するものが一般的であった。機種によっては再生速度を可変とするものも提案されているが、その方法としては速度設定ダイヤル等により再生速度を設定し、検索すべき映像場面等を検索可能な程度にまで検索者の好みで再生速度を遅らせるようにしており、あくまでもマニュアル操作によって再生速度の調整を行なっていた。
【０００５】
【発明が解決しようとする課題】
しなしながら、上述した従来の映像再生装置においては、早送り再生が無音のままで行なわれているため、映像の内容を把握するのが困難であり、また、映像に同期させて音声を再生すると、再生音声が余りに高速であるため映像内の人物が何を言っているか分からなかった。また、倍速または３倍速程度の再生速度により音声を細切れにして部分的に再生する再生装置では、意味のある音声部分のみ飛び飛びに再生されている場合はまだしも、意味のある音声部分が再生されずに意味のない音声部分が不規則に再生された場合には内容を完全に把握できない場合があった。
【０００６】
また、一定の速度でしかもある程度の高速で映像が再生されるだけの早送り機能だと動きの速い部分で視認性が悪く内容を効果的に把握することが難しいという問題があった。マニュアル操作により再生速度を必要に応じて可変とする映像再生装置においては、検索者が常時画面を注視して検索場面を探さなくてはならず、応答性は向上するものの再生速度を可変に設定しながら検索を続けなくてはならないという煩雑さがあった。
【０００７】
本発明は上記問題点に鑑み、動画像と音声を含むディジタル映像の場面における音声の有音部分や動画像が大幅に変化する部分等の映像特徴を検出し、この映像特徴に応じて自動的に再生速度を調整しながら映像の再生を行なうことのできる映像再生装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る映像再生装置は、動画像信号と音声信号とを含むディジタル映像信号を通常再生、早送り再生および逆回し再生することにより所望の映像を表示する映像再生装置において、入力された前記ディジタル映像信号を動画像信号と音声信号とに分離する信号分離手段と、前記信号分離手段により分離された動画像信号と音声信号のうちの少なくとも一方の特徴を抽出する映像特徴抽出手段と、前記映像特徴抽出手段により抽出された映像特徴に基づいて前記映像特徴が存在する場面の映像に所定の加工を行ないながら前記動画像信号と前記音声信号とを同期させつつ早送り再生映像信号を生成して出力する早送り映像再生手段と、を少なくとも備え、前記映像特徴抽出手段は、前記信号分離手段により分離された前記動画像信号を複数の静止画像であるフレームに分割するフレーム分割手段と、このフレーム分割手段により分割されたフレーム間における画像の変化量を検出するフレーム間変化量検出手段と、を含む動画特徴抽出手段より構成され、さらに、前記早送り映像再生手段は、前記フレーム間変化量検出手段により検出された前記フレーム間における画像の変化量に応じて前記フレームの齣送り速度を変化させることにより動画像信号の再生速度を変更して早送り再生映像信号を再生する動画像再生手段より構成され、かつ、前記動画像再生手段は、前記フレーム分割手段により分割された動画像におけるフレームと指定された参照画像との間の類似度を求める類似度検出手段と、検出されたフレームおよび参照画像間の類似度に基づいてこの類似度が高いほど再生速度を遅くすると共に類似度が低いほど再生速度を速く再生するように再生速度を調整する速度調整手段と、この速度調整手段により調整された再生速度に基づいて前記フレーム分割手段より送られてきた動画像信号の早送り再生速度を変更する動画像再生速度変更手段と、を備えることを特徴としている。
【０００９】
請求項２に係る映像再生装置は、請求項１に記載の映像再生装置において、前記映像特徴抽出手段が、前記信号分離手段により分離された前記音声信号における無音部分の開始時点から終了時点までの所定範囲を音声特徴として抽出する音声特徴抽出手段により構成されると共に、前記早送り映像再生手段が、前記信号分離手段により分離された動画像信号を所定の速度で再生して早送り動画像信号を出力する動画像再生手段と、前記音声特徴抽出手段により抽出された無音部分を除去して少なくとも有音部分を含む音声再生信号を加工すると共に前記早送り動画像信号の再生速度にこの音声再生信号を同期させて同期音声信号を出力する音声再生手段と、前記同期音声信号と前記早送り動画像信号とを合成して早送り再生映像信号を出力する合成手段と、を備えることを特徴としている。
【００１０】
また、請求項３に係る映像再生装置は、請求項２に記載の映像再生装置において、前記音声再生手段が、前記音声特徴抽出手段により抽出された無音部分を除去して有音部分を連続させる音声信号加工手段と、加工された音声再生信号を前記動画像再生手段により再生された早送り動画像信号の再生速度に同期させる同期手段と、を含むことを特徴としている。
【００１１】
また、請求項４に係る映像再生装置は、請求項３に記載の映像再生装置において、前記音声再生手段が、前記加工手段により加工されて現在再生中の前記音声再生信号の再生を打ち切って、その次に加工された音声再生信号を前記早送り動画像信号の再生速度に同期させて再生するように構成されていることを特徴としている。
【００１２】
また、請求項５に係る映像再生装置は、請求項３に記載の映像再生装置において、前記音声再生手段が、前記加工手段により加工されて現在再生中の前記音声再生信号による再生音を徐々に小音量にすると共に、次に加工された音声再生信号に重ね合わせて再生ながらこの次抽出の音声再生信号による再生音の音量を徐々に高くするように構成されていることを特徴としている。
【００１３】
また、請求項６に係る映像再生装置は、請求項３に記載の映像再生装置において、前記音声再生手段が、前記早送り再生映像信号が撮影された方向とは時間的に逆方向に再生されたときに、再生されている映像に同期させて加工された前記音声再生信号の先頭から順方向に再生するように構成されていることを特徴としている。
【００１４】
また、請求項７に係る映像再生装置は、請求項３に記載の映像再生装置において、前記同期手段が、前記音声再生手段により再生された前記音声再生信号の再生速度に同期させながら前記動画像再生手段により再生された早送り再生動画像信号の再生速度を決定して前記合成手段に出力することを特徴としている。
【００１６】
また、請求項８に係る映像再生装置は、請求項１に記載の映像再生装置において、前記フレーム間変化量検出手段は、圧縮符号化された映像データから動きの変化量を求めるように構成されていることを特徴としている。
【００１８】
また、請求項９に係る映像再生装置は、請求項１に記載の映像再生装置において、前記フレーム間変化量検出手段が、動画像信号におけるフレーム間の動画像が速い動きから遅い動きへまたは遅い動きから速い動きへとその変化量が急速に変化する量である画像の加速度を求める加速度検出手段を備えることを特徴としている。
【００１９】
また、請求項１０に係る映像再生装置は、請求項１に記載の映像再生装置において、前記フレーム間変化量検出手段が、前記動画像の中から背景と動きのある物体とを分離する背景・動き分離手段と、分離された背景と動きのある物体との相対速度の変化量を求める背景・動き間相対速度検出手段と、を備えることを特徴としている。
【００２０】
【発明の実施の形態】
以下、本発明に係る映像再生装置の好適な実施形態について添付図面を参照しながら詳細に説明する。まず、本発明の最も基本的な概念を示す第１実施形態に係る映像再生装置について、図１を参照しながら説明する。図１において、映像再生装置は、動画像信号および音声信号を含むディジタル映像信号を入力してこのディジタル映像信号を動画像信号と音声信号とに分離する信号分離手段１と、この信号分離手段１により分離された動画像信号と音声信号のうちの少なくとも一方の映像特徴を抽出する映像特徴抽出手段５と、前記映像特徴抽出手段５により抽出された映像特徴に基づいて、前記映像特徴が存在する場面の映像に所定の加工処理を行ないながら前記動画像信号と前記音声信号とを同期させつつ早送り再生映像信号を生成して出力する早送り映像再生手段１０と、を備えている。
【００２１】
この明細書においては、映像とは動画像と音声とが複合されたものであると定義して用いるので、映像特徴とは、動画像が例えば急激に変化することにより他の部分とは著しく異なった部分である動画像特徴と、音声が無音状態または有音状態が継続する部分や例えば映像中の山場により歓声等が急激に高まった部分である音声特徴と、の両者を含んだものとして定義する。したがって、前記映像特徴抽出手段５は、前記信号分離手段１により分離された前記音声信号における無音部分の開始時点から終了時点までの所定範囲を音声特徴として抽出する音声特徴抽出手段６と、前記信号分離手段１により分離された前記動画像信号を複数の静止画像であるフレームに分割して分割されたフレーム間における変化量を検出する動画特徴抽出手段６と、の少なくとも何れか一方を備えている。
【００２２】
また、早送り映像再生手段１０は、前記動画特徴抽出手段６が動画特徴を供給する場合にはその動画特徴に基づいて再生速度等を変化させて動画像の早送り再生を行なう動画像再生手段１１と、前記音声特徴抽出手段７が音声特徴を供給する場合にはその音声特徴に基づいて音声信号に所定の加工を加えると共に前記動画像再生手段１１の出力する動画像の早送り再生信号に同期させて音声再生信号を出力する音声再生手段１２と、早送り再生された動画像と再生された音声とを合成する合成手段１８と、を備えている。
【００２３】
本発明の基本概念は上述したように、映像の特徴を抽出して映像の早送り再生の際にこの特徴を用いるものであるので、映像特徴としての音声特徴を抽出する第２実施形態に係る映像再生装置について説明する。図２において、映像特徴抽出手段５は、信号分離手段１により分離された音声信号における音声特徴を抽出する音声特徴抽出手段７より構成されており、また、早送り映像再生手段１０を構成する音声再生手段１２は抽出された前記音声特徴としての無音部分を除去して少なくとも有音部分を含む音声再生信号を加工する音声信号加工手段１３と、前記動画像再生手段１１より出力される早送り動画像信号の再生速度にこの音声再生信号を同期させて同期音声信号を出力する同期手段１４とを備えている。
【００２４】
また、映像特徴としての動画特徴を抽出する第３実施形態に係る映像再生装置について、図３を参照しながら説明する。前記映像特徴抽出手段５は、前記信号分離手段１により分離された前記動画像信号を複数の静止画像であるフレームに分割するフレーム分割手段２０と、このフレーム分割手段２０により分割されたフレーム間における変化量を検出するフレーム間変化量検出手段２１と、を含む動画特徴抽出手段６より構成されている。フレーム間変化量検出手段２１は、圧縮符号化された映像データから動きの変化量を求めるように構成されていても良いし、動画像信号における変化量が変化する量である加速度を求める加速度検出手段２２を備えていても良い。また、フレーム間変化量検出手段２１は、前記動画像の中から背景と動きのある物体とを分離する背景・動き分離手段（図示されず）と、分離された背景と動きのある物体との相対速度の変化量を求める背景・動き間相対速度検出手段２３と、を備えるように構成しても良い。
【００２５】
また、早送り映像再生手段１０は、前記フレーム間変化量検出手段２１により検出された前記フレーム間の変化量に応じて前記フレームの齣送り速度を変化させることにより動画像信号の再生速度を変更して早送り再生映像信号を再生する動画像再生手段１１を備えており、この動画像再生手段１１は、前記フレーム分割手段２０により分割された動画像におけるフレームと指定された参照画像との間の類似度を求める類似度検出手段２５と、検出されたフレームと参照画像との類似度に基づいてこの類似度が高いほど再生速度を遅くすると共に類似度が低いほど再生速度を速く再生するように再生速度を調整する速度調整手段２６と、この速度調整手段２６により調整された再生速度に基づいて前記フレーム分割手段２０より送られてきた動画像信号の早送り再生速度を変更する動画像再生速度変更手段２７と、を備えている。
【００２６】
上記第１ないし第３実施形態に係る映像再生装置を、音声特徴抽出において更に具体化した第４実施形態に係る映像再生装置を図４ないし図９を参照しながら詳細に説明する。図４は、この第４実施形態に係る映像再生装置のシステム構成を示すブロック図である。図４において、映像再生装置の基本システムは、動画像データを蓄積する動画像データベース３１と、この動画像データベース３１に蓄積された動画像データの音声部分を解析して所定範囲の音声を分割する音声解析部３２と、この音声解析部３２の結果から音声と動画像の対応関係をテーブル情報として生成する動画像解析部３３と、分割された音声と動画像の同期をとってそれぞれを再生する音声再生部３４および動画像再生部３５と、ユーザのオペレーションを受け付ける入力部３６と、すべての機器を制御する制御部３７と、映像データを表示および音を鳴らす表示部３８とより構成されている。
【００２７】
音声特徴抽出としての音声の分割は、図５に示すように、音声のパワー（音声の大きさ）を見ることによって無音部の開始点ｔ2 およびｔ4 と終了点ｔ3 およびｔ5 とを検知する。音声があると判断された有音部分３０は分割され、その情報を動画像データベース３１に格納する。音声を分割すると同時に音声が存在する映像フレームとの対応関係を動画像分析部３３において計算し、対応表としてその情報を動画像データベース３１に格納する。表示部３８を用いてユーザが映像を鑑賞しているときに、入力部３６（キーボード、シャトル、ボタン、リモートコントローラ等）からの指示により映像を早送りすることができる。
【００２８】
次に、映像を早送りしながら音声を再生する方法の一例を説明する。図６に示すように、ある区間の映像を２倍速で再生する場合、普通は音声も２倍速で再生する必要がある。しかし、早送りを行なうフレーム中に、例えば音声が発せられた有音部３０が３つ存在し無音部３９も同数程度存在する場合、無音部３９を省いて音声を図６（ｂ）のように縮めることができる。しかし、無音部３９が十分多くない場合は図６（ｃ）のように音声は重なってしまうことになる。そこで、動画像解析部３３において作成された音声の分割された所定範囲の開始点に対応する映像フレームの対応表を用いて早送り再生において分割された音声の再生を開始するタイミングを計算する。
【００２９】
次に、制御部３７を用いて映像と音声を同時に再生を開始する。そのとき、映像は２倍速で再生し、音声はそのままの速度で無音部を取り除いて第１の分割音声の再生を開始する。このとき、制御部３７は対応表を身ながら第２の分割音声を再生するタイミングにきたとき、第１の分割音声の再生を打ち切って、第２の音声の再生を開始する。以後同様に、第３の分割音声を再生するタイミングがきたときには、第２の分割音声を打ち切って第３の分割音声を再生する。次々に第５の分割音声の再生と第４の分割音声の途中打ち切りを繰り返すことによって、聞きとれる音声で再生が可能になる。無音部３９が多数あって、打ち切る必要がない場合は、その分割音声を打ち切らずに次の分割音声のタイミングまで音声再生部３４は音声を再生しない。
【００３０】
さらに、音がとぎれて聞こえにくい場合があるので、別のモードを入力部３６（例えばマウス）により選択して設定することにより、音声を完全に打ち切ることなく次の分割音声が始まった時には前の音声を徐々に小さくして音を重ねて再生することもできる。ユーザに同時に２つの音を聞かせることにより、話されている言葉またはその他の音を継続して聞かせることができる。人間の聴覚は、小さくなっていく方の音声が前の分割音声であり、普通に聞こえてくる方の音声が新しく開始された音声であると認識できるので、同時にふたつの音声を聞き分けることができる。音を小さくさせる傾向はあらかじめ入力部３６から設定するパラメータでコントロールできるので急に小さくするものやほとんど小さくならないものなどが選べる。
【００３１】
図７に示すように、順方向４４の音声再生の場合は、分割音声の有音部４１、４２および４３の先頭が早送りの映像フレームの再生速度４５に同期して再生される。また、図８に示すように、映像の逆早送り５４の場合には映像フレームは逆方向に再生されるが、分割された音声と映像の対応表を用いて、分割された有音部５１、５２および５３の音声の終了点と音声の開始点に対応する映像フレームとの対応関係を入れ替えて、音声は順方向５４に再生する。これにより、映像と音声とはほぼ同期がとれて、しかも音声が充分明瞭に理解できる程度の再生が可能となる。再生方法は順方向に再生したときと同様に次に分割された音声を再生するタイミングがきた時に、モードによって、前の音声を打ち切るか、小さくするかの選択を行ない、次の音声を再生する。
【００３２】
図９に示すように、入力部３６においてモードを選び音声優先で映像を再生する場合、分割された有音部６１、６２および６３の音声の先頭と末尾までに該当する映像フレームと前または後の無音部６４、６５、６６および６７に対応する映像フレームを対応表から選び、分割された音声に同期させて映像を早送り再生する。たとえば、音声６１に該当するのは映像フレームＦ１〜Ｆ２０であるが、その直後の無音部６５に対応するフレームＦ２１〜Ｆ３０の映像フレームも合わせて音声再生時間内に早送りして映像再生する。これにより音声を明瞭に聞き取ることができ、２倍速程度の早送りにより映像も確認することができる。
【００３３】
次に、前記第３実施形態と同様に、映像特徴を動画特徴により抽出して早送りの速度を画面の変化の度合いで制御する第５実施形態に係る映像再生装置について説明する。図７は第５実施形態に係る映像再生装置のシステム構成を示すブロック図である。このシステムは、動画像を格納する動画像データベース７１と、前記動画像のフレーム間の変化を参照画像と比較して動画像を解析する動画像解析部７２と、動画像解析結果によって動画像データベース７１から動画像フレームを選択して同期再生する制御部７５と、選択された動画像を再生する映像再生部７６と、動画像再生のモードを選択しまたは参照画像を指定するための入力部７７と、動画像を表示する表示部７８とから構成されており、前記動画像解析部７２は、動画像のフレーム間の変化と与えられた参照画像を格納する参照画像記憶部７３と、動画像フレームと参照画像とを比較計算する映像比較部７４と、を備えている。
【００３４】
前記入力部７７からのモードの指定で映像再生の早送りの指示命令が入り、動画像データベース７１の所望の格納場所から動画像フレームが動画像解析部７２へ転送され前後の映像フレームの動きの変化量が計算される。例えば、図１１に示すように、相撲の力士同士が立ち会っている動画像フレーム８１と、次の瞬間の映像フレームとが比較される。次のフレームが同じく立ち会いの動画像フレーム８２の場合には、映像の変化量は少なく、取り組みがはじまれば動画像フレーム８３は少し変化する。また、電光掲示板の取組表の動画像フレーム８４に場面が切り替われば２つの映像フレームの変化量は大きくなる。変化量としては、動画像フレームの画素ごとの輝度変化量の和または、色相の変化量の和をとり、映像がＭＰＥＧ（Moving Picture Experts Group―カラー動画像蓄積用符号化方式の標準化作業を進める組織により標準化が行なわれている符号化方式―）で圧縮されている場合は変化量として動き補償ベクトルの長さの和などが利用できる。変化量が多いか少ないかの情報は、制御部７５に送られ、変化量が多い場合には再生を遅くし、変化量が少ない場合には再生速度を速くする。その命令が動画像再生部７６に送られ、動画像データベース７１から対応するデータを取得し、表示部７８に映像が表示される。
【００３５】
図１２は変化量に応じて再生スピードを制御する例で、最上段に示す動画像の変化量に対して、中段に示すように、再生スピードを反転させて制御した例である。下段では段階的な閾値でスピードを変えた例である。変化量に応じて変化させる再生スピードの設定方法は種々考えられる。例えば、変化量に対して反比例させた再生スピードや静止部だけは一定の長さにして再生するようにスピードを制御する方法などである。また、極端に変化が激しい部分では再生速度が極端に遅くなったり、極端に変化の少ない部分では再生速度が極端に速くなったりすることがあるので、再生スピードの上限や下限を設定しておいて再生を行なう方法も考えられる。
【００３６】
入力部７７からの指示により、動画像データベース７１から動画像の静止フレームが呼び出され表示部７８に表示される。入力部７７の例えばマウスを用いて参照画像を指定すると、参照画像は動画像解析部７２に送られて参照画像記憶部７３に蓄えられる。入力部７７で選択されるモードによって動画像の再生が起動される。動画像データベース７１から読み出された映像フレームが、動画像解析部７２に送られ、参照画像記憶部７３の参照画像と比較される。前記動画像解析部７２のフレーム比較部７４で類似度が計算される。例えば、類似度は上述した動画像の変化量の逆数で代表される。図１３はその類似度の変化を示した図で、その情報は制御部７５に送られ、その情報に基づいて再生スピードを制御し、類似度が高い場合は再生を遅く類似度が低い場合は早く再生を制御する。その再生スピードの制御が、図１０に示されている。類似度がある閾値よりも低い場合は映像を再生しないようにもできる。映像の無再生の部分は無限大に再生スピードが速いと解釈すれば時間的に飛び越した再生となる。
【００３７】
図１４の動画像の変化量が変化する量を求めると加速度が得られる。これは、動画像が速い動きから遅い動きへまたは遅い動きから速い動きへ変化する部分でカットのように映像が急に変化する部分を含む。このような加速度に応じて再生スピードを制御することによって映像の内容が切り替わる部分を拾い見することができる。この図１４においては、加速度の絶対値によって再生スピードが制御されている。加速度が０の場合は、再生スピードが無限大となり映像フレームが読み飛ばされることになる。
【００３８】
以上の説明においては、動画像全体の変化量に応じて動画像の再生スピードを制御する方法を述べてきたが、動画像には被写体と背景が含まれているため、背景と被写体とが異なる動きをしている場合には、これらを分離することが可能である。その方法の１つに、オプィカルフローと呼ばれる小領域の動きの変化を表す量を求め、その動きをクラスタリングすることにより、背景と被写体を分離できる（例えば、COMPUTER GRAPHICS AND IMAGE PROCESSING, pp.301-315, VOL.9,1979など）。分離されたそれぞれの変化量を求めその変化量の差が大きいほど再生スピードを遅くし、小さいほど再生スピードを大きくすることにより、被写体が激しく動いている場合のみ詳しく映像を鑑賞することが可能となる。
【００３９】
【発明の効果】
本発明によれば、早送りをした場合でも音声を聞き取ることができ、内容をより明瞭に理解することが可能になり、短い時間で映像の内容を把握することができる。また、映像の変化に応じて再生スピードを制御するため、スポーツなどで動きのない場面では速く再生がなされ、時間的に冗長な場面を早見することができる。また、動きの激しい場面では再生速度が緩慢になるのでじっくり映像の鑑賞を行なうことができる。
【図面の簡単な説明】
【図１】本発明の基本概念である第１実施形態に係る映像再生装置の構成を示すブロック図である。
【図２】音声特徴抽出の基本概念である第２実施形態に係る映像再生装置を示すブロック図である。
【図３】動画特徴抽出の基本概念である第３実施形態に係る映像再生装置を示すブロック図である。
【図４】本発明の第４実施形態に係る映像再生装置のシステム構成を示すブロック図である。
【図５】第４実施形態における映像特徴抽出としての音声の分割を説明する特性図である。
【図６】第４実施形態における分割音声から無音部を取り除き２倍の早送りに同期させて音声を結合した例を示す特性図である。
【図７】第４実施形態における順方向の早送りのときの音声の再生例を示す特性図である。
【図８】第４実施形態における逆方向の早送りのときの音声の再生例を示す特性図である。
【図９】第４実施形態において音声に同期させて動画像を再生する例を示す（ａ）特性図および（ｂ）図表である。
【図１０】本発明の第５実施形態に係る映像再生装置のシステム構成を示すブロック図である。
【図１１】第５実施形態における前後のフレームの変化例を示す説明図である。
【図１２】第５実施形態における動画像の変化量と再生スピードの関係を示す特性図である。
【図１３】第５実施形態における参照画像との類似度と再生スピードの関係を示す特性図である。
【図１４】第５実施形態における加速度と再生スピードの関係を示す特性図である。
【符号の説明】
１ 信号分離手段
５ 映像特徴抽出手段
６ 動画特徴抽出手段
７ 音声特徴抽出手段
１０ 早送り映像再生手段
１１ 動画像再生手段
１２ 音声再生手段
１３ 音声信号加工手段
１４ 同期手段
１８ 合成手段
２０ フレーム分割手段
２１ フレーム間変化量検出手段
２５ 類似度検出手段
２６ 速度調整手段
２７ 動画像再生速度変更手段
Claims (10)
- 動画像信号と音声信号とを含むディジタル映像信号を通常再生、早送り再生および逆回し再生することにより所望の映像を表示する映像再生装置において、
入力された前記ディジタル映像信号を動画像信号と音声信号とに分離する信号分離手段と、
前記信号分離手段により分離された動画像信号と音声信号のうちの少なくとも一方の特徴を抽出する映像特徴抽出手段と、
前記映像特徴抽出手段により抽出された映像特徴に基づいて、前記映像特徴が存在する場面の映像に所定の加工処理を行ないながら前記動画像信号と前記音声信号とを同期させつつ早送り再生映像信号を生成して出力する早送り映像再生手段と、
を少なくとも備え、
前記映像特徴抽出手段は、前記信号分離手段により分離された前記動画像信号を複数の静止画像であるフレームに分割するフレーム分割手段と、このフレーム分割手段により分割されたフレーム間における画像の変化量を前記所定の加工処理として検出するフレーム間変化量検出手段と、を含む動画特徴抽出手段より構成され、
前記早送り映像再生手段は、前記フレーム間変化量検出手段により検出された前記フレーム間における画像の変化量に応じて前記フレームの齣送り速度を変化させることにより動画像信号の再生速度を変更して早送り再生映像信号を再生する動画像再生手段より構成され、かつ、
前記動画像再生手段は、前記フレーム分割手段により分割された動画像におけるフレームと指定された参照画像との間の類似度を求める類似度検出手段と、検出されたフレームおよび参照画像間の類似度に基づいてこの類似度が高いほど再生速度を遅くすると共に類似度が低いほど再生速度を速く再生するように再生速度を調整する速度調整手段と、この速度調整手段により調整された再生速度に基づいて前記フレーム分割手段より送られてきた動画像信号の早送り再生速度を変更する動画像再生速度変更手段と、を備えることを特徴とする映像再生装置。 - 前記映像特徴抽出手段は、前記信号分離手段により分離された前記音声信号における無音部分の開始時点から終了時点までの所定範囲を音声特徴として抽出する音声特徴抽出手段により構成されると共に、
前記早送り映像再生手段は、前記信号分離手段により分離された動画像信号を所定の速度で再生して早送り動画像信号を出力する動画像再生手段と、前記音声特徴抽出手段により抽出された無音部分を除去して少なくとも有音部分を含む音声再生信号を加工すると共に前記早送り動画像信号の再生速度にこの音声再生信号を同期させて同期音声信号を出力する音声再生手段と、前記同期音声信号と前記早送り動画像信号とを合成して早送り再生映像信号を出力する合成手段と、を備えることを特徴とする請求項１に記載の映像再生装置。 - 前記音声再生手段は、前記音声特徴抽出手段により抽出された無音部分を除去して有音部分を連続させる音声信号加工手段と、加工された音声再生信号を前記動画像再生手段により再生された早送り動画像信号の再生速度に同期させる同期手段と、を含むことを特徴とする請求項２に記載の映像再生装置。
- 前記音声再生手段は、前記加工手段により加工されて現在再生中の前記音声再生信号の再生を打ち切って、その次に加工された音声再生信号を前記早送り動画像信号の再生速度に同期させて再生するように構成されていることを特徴とする請求項３に記載の映像再生装置。
- 前記音声再生手段は、前記加工手段により加工されて現在再生中の前記音声再生信号による再生音を徐々に小音量にすると共に、次に加工された音声再生信号に重ね合わせて再生しながらこの次に加工された音声再生信号による再生音の音量を徐々に高くするように構成されていることを特徴とする請求項３に記載の映像再生装置。
- 前記音声再生手段は、前記早送り再生映像信号が撮影された方向とは時間的に逆方向に再生されたときに、再生されている映像に同期させて加工された前記音声再生信号の先頭から順方向に再生するように構成されていることを特徴とする請求項３に記載の映像再生装置。
- 前記同期手段は、前記音声再生手段により再生された前記音声再生信号の再生速度に同期させながら前記動画像再生手段により再生された早送り再生動画像信号の再生速度を決定して前記合成手段に出力することを特徴とする請求項３に記載の映像再生装置。
- 前記フレーム間変化量検出手段は、圧縮符号化された映像データから動きの変化量を求めるように構成されていることを特徴とする請求項１に記載の映像再生装置。
- 前記フレーム間変化量検出手段は、動画像信号におけるフレーム間の動画像が速い動きから遅い動きへまたは遅い動きから速い動きへとその変化量が急速に変化する量である画像の加速度を求める加速度検出手段を備えることを特徴とする請求項１に記載の映像再生装置。
- 前記フレーム間変化量検出手段は、前記動画像の中から背景と動きのある物体とを分離する背景・動き分離手段と、分離された背景と動きのある物体との相対速度の変化量を求める背景・動き間相対速度検出手段と、を備えることを特徴とする請求項１に記載の映像再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04263797A JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04263797A JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10243351A JPH10243351A (ja) | 1998-09-11 |
| JP3877371B2 true JP3877371B2 (ja) | 2007-02-07 |
Family
ID=12641537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04263797A Expired - Fee Related JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3877371B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3063682B2 (ja) * | 1997-06-05 | 2000-07-12 | 日本電気株式会社 | 音声再生時刻の制御機能を有する画像音声デコーダ |
| EP1024444B1 (en) | 1999-01-28 | 2008-09-10 | Kabushiki Kaisha Toshiba | Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus |
| JP4504322B2 (ja) * | 2005-03-03 | 2010-07-14 | 富士フイルム株式会社 | 画像抽出装置、画像抽出方法、及び画像抽出プログラム |
| JP4512834B2 (ja) | 2005-03-22 | 2010-07-28 | 国立大学法人大阪大学 | カプセル内視鏡画像表示制御装置 |
| JP4720544B2 (ja) * | 2006-03-01 | 2011-07-13 | ソニー株式会社 | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
| JP4839952B2 (ja) * | 2006-05-01 | 2011-12-21 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4957960B2 (ja) * | 2007-01-29 | 2012-06-20 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5070990B2 (ja) | 2007-08-21 | 2012-11-14 | ソニー株式会社 | 情報提示装置及び情報提示方法 |
| JP5058780B2 (ja) * | 2007-12-25 | 2012-10-24 | キヤノン株式会社 | 画像処理装置 |
| TWI525454B (zh) * | 2009-06-19 | 2016-03-11 | 國立台灣大學 | 視訊播放系統與方法 |
| RU2543936C2 (ru) | 2010-03-31 | 2015-03-10 | Томсон Лайсенсинг | Воспроизведение с быстрым доступом к объектам видеоданных |
| WO2012036658A1 (en) | 2010-09-17 | 2012-03-22 | Thomson Licensing | Method for semantics based trick mode play in video system |
| KR101958921B1 (ko) * | 2012-11-26 | 2019-03-15 | 에스케이 텔레콤주식회사 | 영상 내 프레임의 중요도에 따른 재생속도 조절 장치 및 방법 |
| JP6075624B2 (ja) * | 2013-01-16 | 2017-02-08 | 株式会社リコー | 位置情報取得装置及び画像表示システム |
-
1997
- 1997-02-26 JP JP04263797A patent/JP3877371B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10243351A (ja) | 1998-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100403238B1 (ko) | 비디오의 지능형 빨리 보기 시스템 | |
| JP4717060B2 (ja) | 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路 | |
| JP3877371B2 (ja) | 映像再生装置 | |
| US8320743B2 (en) | Dynamic variation of output media signal in response to input media signal | |
| JP4679647B2 (ja) | 映像音声再生装置および映像音声再生方法 | |
| US20060104609A1 (en) | Reproducing device and method | |
| JP2006054746A (ja) | 情報処理装置および情報処理方法、並びに、プログラム | |
| KR100555426B1 (ko) | 비디오 콘텐트의 동적 탐색 방법 및 장치 | |
| US7929844B2 (en) | Video signal playback apparatus and method | |
| US20100310229A1 (en) | Video processing apparatus and vide processing method | |
| KR100581156B1 (ko) | 영상 신호 재생을 위한 장치 및 방법 | |
| JP2008178090A (ja) | 映像処理装置 | |
| KR0176961B1 (ko) | 캡션지향 화면 검색기능의 비디오cd재생장치 및 캡션지향 화면 검색방법 | |
| JP2010246000A (ja) | 映像サーチ再生装置 | |
| JP2980387B2 (ja) | 映像内容圧縮表示処理方法 | |
| JP2002262228A (ja) | ダイジェスト作成装置 | |
| JP3848144B2 (ja) | 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 | |
| JP2005033714A (ja) | 情報信号再生装置および情報信号再生方法並びに情報信号処理装置及び情報信号処理方法 | |
| JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
| JP4086886B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
| JP4509188B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
| JPH0879674A (ja) | 動画像検索方式 | |
| JP2001103401A (ja) | 信号再生方法および信号再生装置 | |
| JP2003023607A (ja) | 再生装置 | |
| JP5097149B2 (ja) | コンテンツデータ再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061031 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |