JPH10243351A - 映像再生装置 - Google Patents
映像再生装置Info
- Publication number
- JPH10243351A JPH10243351A JP9042637A JP4263797A JPH10243351A JP H10243351 A JPH10243351 A JP H10243351A JP 9042637 A JP9042637 A JP 9042637A JP 4263797 A JP4263797 A JP 4263797A JP H10243351 A JPH10243351 A JP H10243351A
- Authority
- JP
- Japan
- Prior art keywords
- video
- signal
- moving image
- reproduction
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
像特徴を検出し、この映像特徴に応じ自動的に再生速度
を調整しながらの映像再生を可能とする。 【解決手段】 動画像信号と音声信号とを含むディジタ
ル映像信号を通常再生、早送り再生および逆回し再生す
ることにより所望の映像を表示させるため、入力された
前記ディジタル映像信号を動画像信号と音声信号とに分
離する信号分離手段1と、信号分離手段1により分離さ
れた動画像信号と音声信号のうちの少なくとも一方の特
徴を抽出する映像特徴抽出手段5と、映像特徴抽出手段
5により抽出された映像特徴に基づいて前記映像特徴が
存在する場面の映像に所定の加工処理を行ないながら前
記動画像信号と前記音声信号とを同期させつつ早送り再
生映像信号を生成して出力する早送り映像再生手段10
と、を少なくとも備える。
Description
プレコーダ(VTR―Video Tape Recorder ―)または
DVD(Digital Versatile Disc)装置等のように映像
を再生する装置に係り、特に動画像と音声とを含んでデ
ィジタル記録された映像情報における記録上の特徴を抽
出してその特徴に見合うように動画または音声の再生速
度を制御することのできる映像再生装置に関する。
は、ビデオテープやDVD等の記録媒体を用いて記録す
ることができ、上記VTRやDVD装置等の再生装置を
用いて再生することが可能となっている。このような映
像再生装置においては、通常の再生速度による再生モー
ドに加えて、最低でも倍速から数百倍速までの高速再生
速度による早送り再生モードと、高速逆転による早戻し
再生モードとの2つのモードが、通常設けられている。
り再生モードに際して音声は無音にして動画像のみ再生
するのが一般的である。また、機種によっては倍速また
は3倍速程度の早送り再生モードを時短モードとして設
定し、この時短モードの際のみに、動画像を倍速または
3倍速程度の速さで再生すると共に、音声は所定の時間
例えば3秒間再生すると次の所定時間例えば3秒間をカ
ットし、これを繰り返すことにより音声のみは跳び跳び
に再生するものも、提案されている。
送り再生モードで映像を再生する際に、装置の設計時に
予め設定された一定の速度により動画像を再生するもの
が一般的であった。機種によっては再生速度を可変とす
るものも提案されているが、その方法としては速度設定
ダイヤル等により再生速度を設定し、検索すべき映像場
面等を検索可能な程度にまで検索者の好みで再生速度を
遅らせるようにしており、あくまでもマニュアル操作に
よって再生速度の調整を行なっていた。
た従来の映像再生装置においては、早送り再生が無音の
ままで行なわれているため、映像の内容を把握するのが
困難であり、また、映像に同期させて音声を再生する
と、再生音声が余りに高速であるため映像内の人物が何
を言っているか分からなかった。また、倍速または3倍
速程度の再生速度により音声を細切れにして部分的に再
生する再生装置では、意味のある音声部分のみ飛び飛び
に再生されている場合はまだしも、意味のある音声部分
が再生されずに意味のない音声部分が不規則に再生され
た場合には内容を完全に把握できない場合があった。
で映像が再生されるだけの早送り機能だと動きの速い部
分で視認性が悪く内容を効果的に把握することが難しい
という問題があった。マニュアル操作により再生速度を
必要に応じて可変とする映像再生装置においては、検索
者が常時画面を注視して検索場面を探さなくてはなら
ず、応答性は向上するものの再生速度を可変に設定しな
がら検索を続けなくてはならないという煩雑さがあっ
た。
を含むディジタル映像の場面における音声の有音部分や
動画像が大幅に変化する部分等の映像特徴を検出し、こ
の映像特徴に応じて自動的に再生速度を調整しながら映
像の再生を行なうことのできる映像再生装置を提供する
ことを目的としている。
め、請求項1に係る映像再生装置は、動画像信号と音声
信号とを含むディジタル映像信号を通常再生、早送り再
生および逆回し再生することにより所望の映像を表示す
る映像再生装置において、入力された前記ディジタル映
像信号を動画像信号と音声信号とに分離する信号分離手
段と、前記信号分離手段により分離された動画像信号と
音声信号のうちの少なくとも一方の特徴を抽出する映像
特徴抽出手段と、前記映像特徴抽出手段により抽出され
た映像特徴に基づいて前記映像特徴が存在する場面の映
像に所定の加工を行ないながら前記動画像信号と前記音
声信号との何れか一方に同期させつつ早送り再生映像信
号を生成して出力する早送り映像再生手段と、を少なく
とも備えることを特徴としている。
に記載の映像再生装置において、前記映像特徴抽出手段
が、前記信号分離手段により分離された前記音声信号に
おける無音部分の開始時点から終了時点までの所定範囲
を音声特徴として抽出する音声特徴抽出手段により構成
されると共に、前記早送り映像再生手段が、前記信号分
離手段により分離された動画像信号を所定の速度で再生
して早送り動画像信号を出力する動画像再生手段と、前
記音声特徴抽出手段により抽出された無音部分を除去し
て少なくとも有音部分を含む音声再生信号を加工すると
共に前記早送り動画像信号の再生速度にこの音声再生信
号を同期させて同期音声信号を出力する音声再生手段
と、前記同期音声信号と前記早送り動画像信号とを合成
して早送り再生映像信号を出力する合成手段と、を備え
ることを特徴としている。
求項2に記載の映像再生装置において、前記音声再生手
段が、前記音声特徴抽出手段により抽出された無音部分
を除去して有音部分を連続させる音声信号加工手段と、
加工された音声再生信号を前記動画像再生手段により再
生された早送り動画像信号の再生速度に同期させる同期
手段と、を含むことを特徴としている。
求項3に記載の映像再生装置において、前記音声再生手
段が、前記加工手段により加工されて現在再生中の前記
音声再生信号の再生を打ち切って、その次に加工された
音声再生信号を前記早送り動画像信号の再生速度に同期
させて再生するように構成されていることを特徴として
いる。
求項3に記載の映像再生装置において、前記音声再生手
段が、前記加工手段により加工されて現在再生中の前記
音声再生信号による再生音を徐々に小音量にすると共
に、次に加工された音声再生信号に重ね合わせて再生な
がらこの次抽出の音声再生信号による再生音の音量を徐
々に高くするように構成されていることを特徴としてい
る。
求項3に記載の映像再生装置において、前記音声再生手
段が、前記早送り再生映像信号が撮影された方向とは時
間的に逆方向に再生されたときに、再生されている映像
に同期させて加工された前記音声再生信号の先頭から順
方向に再生するように構成されていることを特徴として
いる。
求項3に記載の映像再生装置において、前記同期手段
が、前記音声再生手段により再生された前記音声再生信
号の再生速度に同期させながら前記動画像再生手段によ
り再生された早送り再生動画像信号の再生速度を決定し
て前記合成手段に出力することを特徴としている。
請求項1に記載の映像再生装置において、前記映像特徴
抽出手段が、前記信号分離手段により分離された前記動
画像信号を複数の静止画像であるフレームに分割するフ
レーム分割手段と、このフレーム分割手段により分割さ
れたフレーム間における変化量を検出するフレーム間変
化量検出手段と、を含む動画特徴抽出手段より構成され
ると共に、前記早送り映像再生手段が、前記フレーム間
変化量検出手段により検出された前記フレーム間の変化
量に応じて前記フレームの齣送り速度を変化させること
により動画像信号の再生速度を変更して早送り再生映像
信号を再生する動画像再生手段より構成されることを特
徴としている。
求項8に記載の映像再生装置において、前記フレーム間
変化量検出手段は、圧縮符号化された映像データから動
きの変化量を求めるように構成されていることを特徴と
している。
は、請求項8に記載の映像再生装置において、前記動画
像再生手段が、前記フレーム分割手段により分割された
動画像におけるフレームと指定された参照画像との間の
類似度を求める類似度検出手段と、検出されたフレーム
および参照画像間の類似度に基づいてこの類似度が高い
ほど再生速度を遅くすると共に類似度が低いほど再生速
度を速く再生するように再生速度を調整する速度調整手
段と、この速度調整手段により調整された再生速度に基
づいて前記フレーム分割手段より送られてきた動画像信
号の早送り再生速度を変更する動画像再生速度変更手段
と、を備えることを特徴としている。
請求項8に記載の映像再生装置において、前記フレーム
間変化量検出手段が、動画像信号における変化量が変化
する量である加速度を求める加速度検出手段を備えるこ
とを特徴としている。
請求項8に記載の映像再生装置において、前記フレーム
間変化量検出手段が、前記動画像の中から背景と動きの
ある物体とを分離する背景・動き分離手段と、分離され
た背景と動きのある物体との相対速度の変化量を求める
背景・動き間相対速度検出手段と、を備えることを特徴
としている。
の好適な実施形態について添付図面を参照しながら詳細
に説明する。まず、本発明の最も基本的な概念を示す第
1実施形態に係る映像再生装置について、図1を参照し
ながら説明する。図1において、映像再生装置は、動画
像信号および音声信号を含むディジタル映像信号を入力
してこのディジタル映像信号を動画像信号と音声信号と
に分離する信号分離手段1と、この信号分離手段1によ
り分離された動画像信号と音声信号のうちの少なくとも
一方の映像特徴を抽出する映像特徴抽出手段5と、前記
映像特徴抽出手段5により抽出された映像特徴に基づい
て、前記映像特徴が存在する場面の映像に所定の加工処
理を行ないながら前記動画像信号と前記音声信号とを同
期させつつ早送り再生映像信号を生成して出力する早送
り映像再生手段10と、を備えている。
音声とが複合されたものであると定義して用いるので、
映像特徴とは、動画像が例えば急激に変化することによ
り他の部分とは著しく異なった部分である動画像特徴
と、音声が無音状態または有音状態が継続する部分や例
えば映像中の山場により歓声等が急激に高まった部分で
ある音声特徴と、の両者を含んだものとして定義する。
したがって、前記映像特徴抽出手段5は、前記信号分離
手段1により分離された前記音声信号における無音部分
の開始時点から終了時点までの所定範囲を音声特徴とし
て抽出する音声特徴抽出手段6と、前記信号分離手段1
により分離された前記動画像信号を複数の静止画像であ
るフレームに分割して分割されたフレーム間における変
化量を検出する動画特徴抽出手段6と、の少なくとも何
れか一方を備えている。
画特徴抽出手段6が動画特徴を供給する場合にはその動
画特徴に基づいて再生速度等を変化させて動画像の早送
り再生を行なう動画像再生手段11と、前記音声特徴抽
出手段7が音声特徴を供給する場合にはその音声特徴に
基づいて音声信号に所定の加工を加えると共に前記動画
像再生手段11の出力する動画像の早送り再生信号に同
期させて音声再生信号を出力する音声再生手段12と、
早送り再生された動画像と再生された音声とを合成する
合成手段18と、を備えている。
の特徴を抽出して映像の早送り再生の際にこの特徴を用
いるものであるので、映像特徴としての音声特徴を抽出
する第2実施形態に係る映像再生装置について説明す
る。図2において、映像特徴抽出手段5は、信号分離手
段1により分離された音声信号における音声特徴を抽出
する音声特徴抽出手段7より構成されており、また、早
送り映像再生手段10を構成する音声再生手段12は抽
出された前記音声特徴としての無音部分を除去して少な
くとも有音部分を含む音声再生信号を加工する音声信号
加工手段13と、前記動画像再生手段11より出力され
る早送り動画像信号の再生速度にこの音声再生信号を同
期させて同期音声信号を出力する同期手段14とを備え
ている。
る第3実施形態に係る映像再生装置について、図3を参
照しながら説明する。前記映像特徴抽出手段5は、前記
信号分離手段1により分離された前記動画像信号を複数
の静止画像であるフレームに分割するフレーム分割手段
20と、このフレーム分割手段20により分割されたフ
レーム間における変化量を検出するフレーム間変化量検
出手段21と、を含む動画特徴抽出手段6より構成され
ている。フレーム間変化量検出手段21は、圧縮符号化
された映像データから動きの変化量を求めるように構成
されていても良いし、動画像信号における変化量が変化
する量である加速度を求める加速度検出手段22を備え
ていても良い。また、フレーム間変化量検出手段21
は、前記動画像の中から背景と動きのある物体とを分離
する背景・動き分離手段(図示されず)と、分離された
背景と動きのある物体との相対速度の変化量を求める背
景・動き間相対速度検出手段23と、を備えるように構
成しても良い。
レーム間変化量検出手段21により検出された前記フレ
ーム間の変化量に応じて前記フレームの齣送り速度を変
化させることにより動画像信号の再生速度を変更して早
送り再生映像信号を再生する動画像再生手段11を備え
ており、この動画像再生手段11は、前記フレーム分割
手段20により分割された動画像におけるフレームと指
定された参照画像との間の類似度を求める類似度検出手
段25と、検出されたフレームと参照画像との類似度に
基づいてこの類似度が高いほど再生速度を遅くすると共
に類似度が低いほど再生速度を速く再生するように再生
速度を調整する速度調整手段26と、この速度調整手段
26により調整された再生速度に基づいて前記フレーム
分割手段20より送られてきた動画像信号の早送り再生
速度を変更する動画像再生速度変更手段27と、を備え
ている。
生装置を、音声特徴抽出において更に具体化した第4実
施形態に係る映像再生装置を図4ないし図9を参照しな
がら詳細に説明する。図4は、この第4実施形態に係る
映像再生装置のシステム構成を示すブロック図である。
図4において、映像再生装置の基本システムは、動画像
データを蓄積する動画像データベース31と、この動画
像データベース31に蓄積された動画像データの音声部
分を解析して所定範囲の音声を分割する音声解析部32
と、この音声解析部32の結果から音声と動画像の対応
関係をテーブル情報として生成する動画像解析部33
と、分割された音声と動画像の同期をとってそれぞれを
再生する音声再生部34および動画像再生部35と、ユ
ーザのオペレーションを受け付ける入力部36と、すべ
ての機器を制御する制御部37と、映像データを表示お
よび音を鳴らす表示部38とより構成されている。
に示すように、音声のパワー(音声の大きさ)を見るこ
とによって無音部の開始点t2 およびt4 と終了点t3
およびt5 とを検知する。音声があると判断された有音
部分30は分割され、その情報を動画像データベース3
1に格納する。音声を分割すると同時に音声が存在する
映像フレームとの対応関係を動画像分析部33において
計算し、対応表としてその情報を動画像データベース3
1に格納する。表示部38を用いてユーザが映像を鑑賞
しているときに、入力部36(キーボード、シャトル、
ボタン、リモートコントローラ等)からの指示により映
像を早送りすることができる。
る方法の一例を説明する。図6に示すように、ある区間
の映像を2倍速で再生する場合、普通は音声も2倍速で
再生する必要がある。しかし、早送りを行なうフレーム
中に、例えば音声が発せられた有音部30が3つ存在し
無音部39も同数程度存在する場合、無音部39を省い
て音声を図6(b)のように縮めることができる。しか
し、無音部39が十分多くない場合は図6(c)のよう
に音声は重なってしまうことになる。そこで、動画像解
析部33において作成された音声の分割された所定範囲
の開始点に対応する映像フレームの対応表を用いて早送
り再生において分割された音声の再生を開始するタイミ
ングを計算する。
時に再生を開始する。そのとき、映像は2倍速で再生
し、音声はそのままの速度で無音部を取り除いて第1の
分割音声の再生を開始する。このとき、制御部37は対
応表を身ながら第2の分割音声を再生するタイミングに
きたとき、第1の分割音声の再生を打ち切って、第2の
音声の再生を開始する。以後同様に、第3の分割音声を
再生するタイミングがきたときには、第2の分割音声を
打ち切って第3の分割音声を再生する。次々に第5の分
割音声の再生と第4の分割音声の途中打ち切りを繰り返
すことによって、聞きとれる音声で再生が可能になる。
無音部39が多数あって、打ち切る必要がない場合は、
その分割音声を打ち切らずに次の分割音声のタイミング
まで音声再生部34は音声を再生しない。
あるので、別のモードを入力部36(例えばマウス)に
より選択して設定することにより、音声を完全に打ち切
ることなく次の分割音声が始まった時には前の音声を徐
々に小さくして音を重ねて再生することもできる。ユー
ザに同時に2つの音を聞かせることにより、話されてい
る言葉またはその他の音を継続して聞かせることができ
る。人間の聴覚は、小さくなっていく方の音声が前の分
割音声であり、普通に聞こえてくる方の音声が新しく開
始された音声であると認識できるので、同時にふたつの
音声を聞き分けることができる。音を小さくさせる傾向
はあらかじめ入力部36から設定するパラメータでコン
トロールできるので急に小さくするものやほとんど小さ
くならないものなどが選べる。
の場合は、分割音声の有音部41、42および43の先
頭が早送りの映像フレームの再生速度45に同期して再
生される。また、図8に示すように、映像の逆早送り5
4の場合には映像フレームは逆方向に再生されるが、分
割された音声と映像の対応表を用いて、分割された有音
部51、52および53の音声の終了点と音声の開始点
に対応する映像フレームとの対応関係を入れ替えて、音
声は順方向54に再生する。これにより、映像と音声と
はほぼ同期がとれて、しかも音声が充分明瞭に理解でき
る程度の再生が可能となる。再生方法は順方向に再生し
たときと同様に次に分割された音声を再生するタイミン
グがきた時に、モードによって、前の音声を打ち切る
か、小さくするかの選択を行ない、次の音声を再生す
る。
ードを選び音声優先で映像を再生する場合、分割された
有音部61、62および63の音声の先頭と末尾までに
該当する映像フレームと前または後の無音部64、6
5、66および67に対応する映像フレームを対応表か
ら選び、分割された音声に同期させて映像を早送り再生
する。たとえば、音声61に該当するのは映像フレーム
F1〜F20であるが、その直後の無音部65に対応す
るフレームF21〜F30の映像フレームも合わせて音
声再生時間内に早送りして映像再生する。これにより音
声を明瞭に聞き取ることができ、2倍速程度の早送りに
より映像も確認することができる。
徴を動画特徴により抽出して早送りの速度を画面の変化
の度合いで制御する第5実施形態に係る映像再生装置に
ついて説明する。図7は第5実施形態に係る映像再生装
置のシステム構成を示すブロック図である。このシステ
ムは、動画像を格納する動画像データベース71と、前
記動画像のフレーム間の変化を参照画像と比較して動画
像を解析する動画像解析部72と、動画像解析結果によ
って動画像データベース71から動画像フレームを選択
して同期再生する制御部75と、選択された動画像を再
生する映像再生部76と、動画像再生のモードを選択し
または参照画像を指定するための入力部77と、動画像
を表示する表示部78とから構成されており、前記動画
像解析部72は、動画像のフレーム間の変化と与えられ
た参照画像を格納する参照画像記憶部73と、動画像フ
レームと参照画像とを比較計算する映像比較部74と、
を備えている。
再生の早送りの指示命令が入り、動画像データベース7
1の所望の格納場所から動画像フレームが動画像解析部
72へ転送され前後の映像フレームの動きの変化量が計
算される。例えば、図11に示すように、相撲の力士同
士が立ち会っている動画像フレーム81と、次の瞬間の
映像フレームとが比較される。次のフレームが同じく立
ち会いの動画像フレーム82の場合には、映像の変化量
は少なく、取り組みがはじまれば動画像フレーム83は
少し変化する。また、電光掲示板の取組表の動画像フレ
ーム84に場面が切り替われば2つの映像フレームの変
化量は大きくなる。変化量としては、動画像フレームの
画素ごとの輝度変化量の和または、色相の変化量の和を
とり、映像がMPEG(Moving Picture Experts Group
―カラー動画像蓄積用符号化方式の標準化作業を進める
組織により標準化が行なわれている符号化方式―)で圧
縮されている場合は変化量として動き補償ベクトルの長
さの和などが利用できる。変化量が多いか少ないかの情
報は、制御部75に送られ、変化量が多い場合には再生
を遅くし、変化量が少ない場合には再生速度を速くす
る。その命令が動画像再生部76に送られ、動画像デー
タベース71から対応するデータを取得し、表示部78
に映像が表示される。
御する例で、最上段に示す動画像の変化量に対して、中
段に示すように、再生スピードを反転させて制御した例
である。下段では段階的な閾値でスピードを変えた例で
ある。変化量に応じて変化させる再生スピードの設定方
法は種々考えられる。例えば、変化量に対して反比例さ
せた再生スピードや静止部だけは一定の長さにして再生
するようにスピードを制御する方法などである。また、
極端に変化が激しい部分では再生速度が極端に遅くなっ
たり、極端に変化の少ない部分では再生速度が極端に速
くなったりすることがあるので、再生スピードの上限や
下限を設定しておいて再生を行なう方法も考えられる。
タベース71から動画像の静止フレームが呼び出され表
示部78に表示される。入力部77の例えばマウスを用
いて参照画像を指定すると、参照画像は動画像解析部7
2に送られて参照画像記憶部73に蓄えられる。入力部
77で選択されるモードによって動画像の再生が起動さ
れる。動画像データベース71から読み出された映像フ
レームが、動画像解析部72に送られ、参照画像記憶部
73の参照画像と比較される。前記動画像解析部72の
フレーム比較部74で類似度が計算される。例えば、類
似度は上述した動画像の変化量の逆数で代表される。図
13はその類似度の変化を示した図で、その情報は制御
部75に送られ、その情報に基づいて再生スピードを制
御し、類似度が高い場合は再生を遅く類似度が低い場合
は早く再生を制御する。その再生スピードの制御が、図
10に示されている。類似度がある閾値よりも低い場合
は映像を再生しないようにもできる。映像の無再生の部
分は無限大に再生スピードが速いと解釈すれば時間的に
飛び越した再生となる。
めると加速度が得られる。これは、動画像が速い動きか
ら遅い動きへまたは遅い動きから速い動きへ変化する部
分でカットのように映像が急に変化する部分を含む。こ
のような加速度に応じて再生スピードを制御することに
よって映像の内容が切り替わる部分を拾い見することが
できる。この図14においては、加速度の絶対値によっ
て再生スピードが制御されている。加速度が0の場合
は、再生スピードが無限大となり映像フレームが読み飛
ばされることになる。
量に応じて動画像の再生スピードを制御する方法を述べ
てきたが、動画像には被写体と背景が含まれているた
め、背景と被写体とが異なる動きをしている場合には、
これらを分離することが可能である。その方法の1つ
に、オプィカルフローと呼ばれる小領域の動きの変化を
表す量を求め、その動きをクラスタリングすることによ
り、背景と被写体を分離できる(例えば、COMPUTER GRA
PHICS AND IMAGE PROCESSING, pp.301-315, VOL.9,1979
など)。分離されたそれぞれの変化量を求めその変化量
の差が大きいほど再生スピードを遅くし、小さいほど再
生スピードを大きくすることにより、被写体が激しく動
いている場合のみ詳しく映像を鑑賞することが可能とな
る。
音声を聞き取ることができ、内容をより明瞭に理解する
ことが可能になり、短い時間で映像の内容を把握するこ
とができる。また、映像の変化に応じて再生スピードを
制御するため、スポーツなどで動きのない場面では速く
再生がなされ、時間的に冗長な場面を早見することがで
きる。また、動きの激しい場面では再生速度が緩慢にな
るのでじっくり映像の鑑賞を行なうことができる。
像再生装置の構成を示すブロック図である。
係る映像再生装置を示すブロック図である。
係る映像再生装置を示すブロック図である。
ステム構成を示すブロック図である。
声の分割を説明する特性図である。
り除き2倍の早送りに同期させて音声を結合した例を示
す特性図である。
音声の再生例を示す特性図である。
音声の再生例を示す特性図である。
を再生する例を示す(a)特性図および(b)図表であ
る。
システム構成を示すブロック図である。
例を示す説明図である。
スピードの関係を示す特性図である。
再生スピードの関係を示す特性図である。
の関係を示す特性図である。
Claims (12)
- 【請求項1】動画像信号と音声信号とを含むディジタル
映像信号を通常再生、早送り再生および逆回し再生する
ことにより所望の映像を表示する映像再生装置におい
て、 入力された前記ディジタル映像信号を動画像信号と音声
信号とに分離する信号分離手段と、 前記信号分離手段により分離された動画像信号と音声信
号のうちの少なくとも一方の特徴を抽出する映像特徴抽
出手段と、 前記映像特徴抽出手段により抽出された映像特徴に基づ
いて、前記映像特徴が存在する場面の映像に所定の加工
処理を行ないながら前記動画像信号と前記音声信号との
何れか一方に同期させつつ早送り再生映像信号を生成し
て出力する早送り映像再生手段と、 を少なくとも備えることを特徴とする映像再生装置。 - 【請求項2】前記映像特徴抽出手段は、前記信号分離手
段により分離された前記音声信号における無音部分の開
始時点から終了時点までの所定範囲を音声特徴として抽
出する音声特徴抽出手段により構成されると共に、 前記早送り映像再生手段は、前記信号分離手段により分
離された動画像信号を所定の速度で再生して早送り動画
像信号を出力する動画像再生手段と、前記音声特徴抽出
手段により抽出された無音部分を除去して少なくとも有
音部分を含む音声再生信号を加工すると共に前記早送り
動画像信号の再生速度にこの音声再生信号を同期させて
同期音声信号を出力する音声再生手段と、前記同期音声
信号と前記早送り動画像信号とを合成して早送り再生映
像信号を出力する合成手段と、を備えることを特徴とす
る請求項1に記載の映像再生装置。 - 【請求項3】前記音声再生手段は、前記音声特徴抽出手
段により抽出された無音部分を除去して有音部分を連続
させる音声信号加工手段と、加工された音声再生信号を
前記動画像再生手段により再生された早送り動画像信号
の再生速度に同期させる同期手段と、を含むことを特徴
とする請求項2に記載の映像再生装置。 - 【請求項4】前記音声再生手段は、前記加工手段により
加工されて現在再生中の前記音声再生信号の再生を打ち
切って、その次に加工された音声再生信号を前記早送り
動画像信号の再生速度に同期させて再生するように構成
されていることを特徴とする請求項3に記載の映像再生
装置。 - 【請求項5】前記音声再生手段は、前記加工手段により
加工されて現在再生中の前記音声再生信号による再生音
を徐々に小音量にすると共に、次に加工された音声再生
信号に重ね合わせて再生しながらこの次に加工された音
声再生信号による再生音の音量を徐々に高くするように
構成されていることを特徴とする請求項3に記載の映像
再生装置。 - 【請求項6】前記音声再生手段は、前記早送り再生映像
信号が撮影された方向とは時間的に逆方向に再生された
ときに、再生されている映像に同期させて加工された前
記音声再生信号の先頭から順方向に再生するように構成
されていることを特徴とする請求項3に記載の映像再生
装置。 - 【請求項7】前記同期手段は、前記音声再生手段により
再生された前記音声再生信号の再生速度に同期させなが
ら前記動画像再生手段により再生された早送り再生動画
像信号の再生速度を決定して前記合成手段に出力するこ
とを特徴とする請求項3に記載の映像再生装置。 - 【請求項8】前記映像特徴抽出手段は、前記信号分離手
段により分離された前記動画像信号を複数の静止画像で
あるフレームに分割するフレーム分割手段と、このフレ
ーム分割手段により分割されたフレーム間における変化
量を検出するフレーム間変化量検出手段と、を含む動画
特徴抽出手段より構成されると共に、 前記早送り映像再生手段は、前記フレーム間変化量検出
手段により検出された前記フレーム間の変化量に応じて
前記フレームの齣送り速度を変化させることにより動画
像信号の再生速度を変更して早送り再生映像信号を再生
する動画像再生手段より構成されることを特徴とする請
求項1に記載の映像再生装置。 - 【請求項9】前記フレーム間変化量検出手段は、圧縮符
号化された映像データから動きの変化量を求めるように
構成されていることを特徴とする請求項8に記載の映像
再生装置。 - 【請求項10】前記動画像再生手段は、前記フレーム分
割手段により分割された動画像におけるフレームと指定
された参照画像との間の類似度を求める類似度検出手段
と、検出されたフレームおよび参照画像間の類似度に基
づいてこの類似度が高いほど再生速度を遅くすると共に
類似度が低いほど再生速度を速く再生するように再生速
度を調整する速度調整手段と、この速度調整手段により
調整された再生速度に基づいて前記フレーム分割手段よ
り送られてきた動画像信号の早送り再生速度を変更する
動画像再生速度変更手段と、を備えることを特徴とする
請求項8に記載の映像再生装置。 - 【請求項11】前記フレーム間変化量検出手段は、動画
像信号における変化量が変化する量である加速度を求め
る加速度検出手段を備えることを特徴とする請求項8に
記載の映像再生装置。 - 【請求項12】前記フレーム間変化量検出手段は、前記
動画像の中から背景と動きのある物体とを分離する背景
・動き分離手段と、分離された背景と動きのある物体と
の相対速度の変化量を求める背景・動き間相対速度検出
手段と、を備えることを特徴とする請求項8に記載の映
像再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04263797A JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04263797A JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10243351A true JPH10243351A (ja) | 1998-09-11 |
JP3877371B2 JP3877371B2 (ja) | 2007-02-07 |
Family
ID=12641537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04263797A Expired - Fee Related JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3877371B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10336591A (ja) * | 1997-06-05 | 1998-12-18 | Nec Corp | 音声再生時刻の制御機能を有する画像音声デコーダ |
EP1024444A2 (en) | 1999-01-28 | 2000-08-02 | Kabushiki Kaisha Toshiba | Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus |
JP2006279939A (ja) * | 2005-03-03 | 2006-10-12 | Fuji Photo Film Co Ltd | 画像抽出装置、画像抽出方法、及び画像抽出プログラム |
JP2007235572A (ja) * | 2006-03-01 | 2007-09-13 | Sony Corp | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
JP2007300477A (ja) * | 2006-05-01 | 2007-11-15 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2008187324A (ja) * | 2007-01-29 | 2008-08-14 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
WO2009025121A1 (ja) | 2007-08-21 | 2009-02-26 | Sony Corporation | 情報提示装置及び情報提示方法 |
JP2009159094A (ja) * | 2007-12-25 | 2009-07-16 | Canon Inc | 撮像装置 |
US20100322594A1 (en) * | 2009-06-19 | 2010-12-23 | National Taiwan University | Video Playback System And Method |
US8005279B2 (en) | 2005-03-22 | 2011-08-23 | Osaka University | Capsule endoscope image display controller |
JP2013541901A (ja) * | 2010-09-17 | 2013-11-14 | トムソン ライセンシング | ビデオシステムにおけるセマンティックベースのトリックモード再生方法 |
KR20140067446A (ko) * | 2012-11-26 | 2014-06-05 | 에스케이텔레콤 주식회사 | 영상 내 프레임의 중요도에 따른 재생속도 조절 장치 및 방법 |
JP2014137676A (ja) * | 2013-01-16 | 2014-07-28 | Ricoh Co Ltd | 位置情報取得装置及び画像表示システム |
US9866922B2 (en) | 2010-03-31 | 2018-01-09 | Thomson Licensing | Trick playback of video data |
-
1997
- 1997-02-26 JP JP04263797A patent/JP3877371B2/ja not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10336591A (ja) * | 1997-06-05 | 1998-12-18 | Nec Corp | 音声再生時刻の制御機能を有する画像音声デコーダ |
EP1024444A2 (en) | 1999-01-28 | 2000-08-02 | Kabushiki Kaisha Toshiba | Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus |
JP2006279939A (ja) * | 2005-03-03 | 2006-10-12 | Fuji Photo Film Co Ltd | 画像抽出装置、画像抽出方法、及び画像抽出プログラム |
US8005279B2 (en) | 2005-03-22 | 2011-08-23 | Osaka University | Capsule endoscope image display controller |
JP4720544B2 (ja) * | 2006-03-01 | 2011-07-13 | ソニー株式会社 | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
JP2007235572A (ja) * | 2006-03-01 | 2007-09-13 | Sony Corp | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
JP2007300477A (ja) * | 2006-05-01 | 2007-11-15 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2008187324A (ja) * | 2007-01-29 | 2008-08-14 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
JP2009049796A (ja) * | 2007-08-21 | 2009-03-05 | Sony Corp | 情報提示装置及び情報提示方法 |
WO2009025121A1 (ja) | 2007-08-21 | 2009-02-26 | Sony Corporation | 情報提示装置及び情報提示方法 |
US8804038B2 (en) | 2007-08-21 | 2014-08-12 | Sony Coporation | Information presentation device and information presentation method |
JP2009159094A (ja) * | 2007-12-25 | 2009-07-16 | Canon Inc | 撮像装置 |
US20100322594A1 (en) * | 2009-06-19 | 2010-12-23 | National Taiwan University | Video Playback System And Method |
US8364026B2 (en) * | 2009-06-19 | 2013-01-29 | National Taiwan University | Video playback system and method |
US9866922B2 (en) | 2010-03-31 | 2018-01-09 | Thomson Licensing | Trick playback of video data |
US11418853B2 (en) | 2010-03-31 | 2022-08-16 | Interdigital Madison Patent Holdings, Sas | Trick playback of video data |
JP2013541901A (ja) * | 2010-09-17 | 2013-11-14 | トムソン ライセンシング | ビデオシステムにおけるセマンティックベースのトリックモード再生方法 |
US9438876B2 (en) | 2010-09-17 | 2016-09-06 | Thomson Licensing | Method for semantics based trick mode play in video system |
KR20140067446A (ko) * | 2012-11-26 | 2014-06-05 | 에스케이텔레콤 주식회사 | 영상 내 프레임의 중요도에 따른 재생속도 조절 장치 및 방법 |
JP2014137676A (ja) * | 2013-01-16 | 2014-07-28 | Ricoh Co Ltd | 位置情報取得装置及び画像表示システム |
Also Published As
Publication number | Publication date |
---|---|
JP3877371B2 (ja) | 2007-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4599244B2 (ja) | 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体 | |
JP4717060B2 (ja) | 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路 | |
JP4297010B2 (ja) | 情報処理装置および情報処理方法、並びに、プログラム | |
KR100403238B1 (ko) | 비디오의 지능형 빨리 보기 시스템 | |
JP3877371B2 (ja) | 映像再生装置 | |
JP4491700B2 (ja) | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 | |
JP2002125199A (ja) | フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 | |
JP2001202698A (ja) | オーディオ及びビデオ再生装置 | |
JP2010081457A (ja) | 情報記録再生装置およびビデオカメラ | |
EP1531474A1 (en) | Video signal playback apparatus and method | |
KR0176961B1 (ko) | 캡션지향 화면 검색기능의 비디오cd재생장치 및 캡션지향 화면 검색방법 | |
JP3642019B2 (ja) | Avコンテンツ自動要約システム及びavコンテンツ自動要約方法 | |
JP2005033714A (ja) | 情報信号再生装置および情報信号再生方法並びに情報信号処理装置及び情報信号処理方法 | |
US6868224B1 (en) | Method and apparatus for providing multimedia playback | |
JP3848144B2 (ja) | 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 | |
EP0898422A2 (en) | Audio signal decompressing apparatus | |
JP2001103401A (ja) | 信号再生方法および信号再生装置 | |
JPH0879674A (ja) | 動画像検索方式 | |
JP4086886B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
JP2003023607A (ja) | 再生装置 | |
JPH08242425A (ja) | ビデオコンパクトディスク再生システムにおける選択画面再生方法及びその装置 | |
JP3970080B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
JP4551734B2 (ja) | 変速再生装置及び変速再生方法 | |
JP4333653B2 (ja) | 再生方法及び再生装置 | |
JP2009032039A (ja) | 検索装置および検索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061031 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |