JP2009044611A

JP2009044611A - 映像信号再生装置、映像信号処理装置および映像信号処理方法

Info

Publication number: JP2009044611A
Application number: JP2007209283A
Authority: JP
Inventors: Yuka Tsuda; 由佳津田; Shuji Toda; 修司外田; Yoshiko Hatano; 喜子幡野; Kazuhiro Sugiyama; 和宏杉山
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-08-10
Filing date: 2007-08-10
Publication date: 2009-02-26
Anticipated expiration: 2027-08-10
Also published as: JP5163005B2

Abstract

【課題】再生時間を短縮しても画像と音声のいずれにおいても違和感が無い映像信号再生装置および映像信号再生方法を得ることを目的とする。
【解決手段】画像信号と音声信号とを含む入力信号を蓄積する蓄積手段３と、蓄積手段３に蓄積された入力信号を画像信号と音声信号に分離するＡＶ分離手段４と、ＡＶ分離手段４から出力される画像信号を解析し、間引いても画像として違和感のないフレームを特定するための第１の位置情報を出力する画像間引き位置検出手段７と、ＡＶ分離手段４から出力される音声信号を解析し、間引いても音声として違和感の生じない部分を特定するための第２の位置情報を出力する音声間引き位置検出手段９と、前記第１の位置情報と、前記第２の位置情報とに基づき、間引き対象フレームを決定する間引きフレーム決定手段１２と、を備えた。
【選択図】図１

Description

この発明は、記録した映像信号を再生する映像信号再生装置、映像信号処理装置、および映像信号処理方法に関するものである。

従来の映像信号再生装置では、再生時間を短縮する場合、フレームを定期的に間引き、音声を早送りで再生するように構成されているので、映像の動きと音声が速くなり、視聴時に違和感を生じるという問題があった。そこで、音声レベルの高いシーンを選択的に再生する映像信号再生装置（例えば、特許文献１参照。）や、フレーム内の数箇所の動きベクトルを計測し、その特徴よりシーンの分類を行って、分類情報により再生速度を変えて再生時間を短縮する映像信号再生装置（例えば、特許文献２参照。）が提案されている。

特開２００１−１１９６７１号公報（第５頁、図１）特開２０００−３２４４２８号公報（段落００３８、図７）

動きベクトルの大きさで再生速度を決めた場合、再生時間を短縮すると音声に違和感が生じ、音量レベルより選択的に再生する手法では、画像に違和感が生じるという問題があった。本発明は、この課題を解決すべく、再生時間を短縮しても画像と音声のいずれにおいても違和感が無い映像信号再生装置および映像信号再生方法を得ることを目的とするものである。

本発明における映像信号処理装置は、画像信号と音声信号とを含む入力信号を蓄積する蓄積手段と、前記蓄積手段に蓄積された入力信号を画像信号と音声信号に分離するＡＶ分離手段と、前記ＡＶ分離手段から出力される画像信号を解析し、間引いても画像として違和感のないフレームを特定するための第１の位置情報を出力する画像間引き位置検出手段と、前記ＡＶ分離手段から出力される画像信号または音声信号を解析し、間引いても音声として違和感の生じない部分を特定するための第２の位置情報を出力する音声間引き位置検出手段と、前記第１の位置情報と、前記第２の位置情報とに基づき、間引き対象フレームを決定する間引きフレーム決定手段と、前記間引きフレーム決定手段が決定した前記間引き対象フレームを前記ＡＶ分離手段から出力される画像信号から間引いた画像信号を出力するフレーム間引き手段と、前記間引きフレーム決定手段が決定した前記間引き対象フレームに相当する部分を前記ＡＶ分離手段から出力される音声信号から間引いた音声信号を出力する音声変換手段と、を備えるものである。

本発明によれば、画像として間引き可能なフレームを特定するための第１の位置情報と音声として間引き可能な部分を特定するための第２の位置情報とに基づいて、間引き対象フレームを決定して、画像及び音声の間引き処理を行うので、再生時間を短縮しても画像と音声のいずれにおいても違和感が無い映像信号再生装置および映像信号処理装置、および映像信号処理方法を得ることができる。

実施の形態１．
図１は本発明の実施の形態１にかかる映像信号再生装置であるＴＶ信号表示装置を示すブロック図である。図において、ＴＶ信号表示装置２００は、ＴＶ放送信号を受信するアンテナ１から出力される放送信号を復調し入力信号を出力するチューナ２と、チューナ２から出力される入力信号を蓄積して画像信号と音声信号に分離し、再生時間を短縮するように所定の方法で間引き処理を行い、間引き後の画像信号と音声信号を出力する映像信号処理装置１００と、映像信号処理装置１００が出力する画像信号を表示するディスプレイ６と、映像信号処理装置１００が出力する音声信号を再生するスピーカー１１とを備えている。

そして、映像信号処理装置１００は、チューナ２から出力される入力信号を蓄積し、チューナ２から出力される入力信号の最終書き込み位置とＡＶ分離手段４へ出力される入力信号の読み出し位置をフレーム間引き手段５と音声変換手段１０に出力するメモリ３と、メモリ３から出力される入力信号を画像信号と音声信号に分離するＡＶ分離手段４と、ＡＶ分離手段４から出力される画像信号を解析し、シーンチェンジがあるフレームを検出するシーンチェンジ検出手段７と、ＡＶ分離手段４から出力される音声信号を解析し、音量レベルが予め定められた所定値以下の位置情報を出力する無音検出手段９と、シーンチェンジ検出手段７から出力されるシーンチェンジがあるフレームの位置情報と、無音検出手段９から出力される音量レベルが予め定められた所定値以下の部分の位置情報と、外部制御信号に基づき、フレームの出力可否を決定する間引きフレーム決定手段として機能するシーンチェンジ・無音部分フレーム非出力決定手段１２と、メモリ３から出力される最終書き込み位置および読み出し位置と、シーンチェンジ・無音部分フレーム非出力決定手段１２から出力されるフレームの出力可否情報に基づき、ＡＶ分離手段４から出力される画像信号を間引くフレーム間引き手段５と、メモリ３から出力される最終書き込み位置および読み出し位置と、シーンチェンジ・無音部分フレーム非出力決定手段１２から出力されるフレームの出力可否情報に基づき、ＡＶ分離手段４から出力される音声信号のうち、非出力となったフレームに相当する部分を間引く音声変換手段１０と、を備えている。

つぎに、図１に基づいて実施の形態１の映像信号再生装置の動作について説明する。
まず、アンテナ１で受信した放送信号は受信部として機能するチューナ２で復調され、チューナ２から出力される入力信号がメモリ３に蓄積される。ここで、時短再生としてユーザの操作により別途設定された視聴する時間に相当する分だけ、メモリ３の最終書き込み位置から戻った位置を読み出し位置として、メモリ３に設定する。メモリ３はチューナ２から出力される入力信号の最終書き込み位置とＡＶ分離手段に入力する入力信号の読み出し位置を、フレーム間引き手段５と音声変換手段１０に出力する。メモリ３から出力される入力信号はＡＶ分離手段４で画像信号と音声信号に分離される。ＡＶ分離手段４で分離された画像信号は、フレーム間引き手段５に入力されるとともに、シーンチェンジ検出手段７に入力される。

シーンチェンジ検出手段７は、シーンチェンジがあるフレームを判定し、シーンチェンジのフレームの位置情報をシーンチェンジ・無音部分フレーム非出力決定手段１２に出力し、画像として間引き可能なフレームを特定するための第１の位置情報を出力する画像間引き位置検出手段として機能する。また、ＡＶ分離手段４から出力された音声信号は、音声変換手段１０に入力されるとともに、無音検出手段９に入力される。無音検出手段９は、フレーム単位での音量レベルが予め定められた所定値以下であるフレームの位置情報をシーンチェンジ・無音部分フレーム非出力決定手段１２に出力し、音声として間引き可能なフレームに対応する位置を特定するための第２の位置情報を出力する音声間引き位置検出手段として機能する。

間引きフレーム決定手段として機能するシーンチェンジ・無音部分フレーム非出力フレーム決定手段１２は、シーンチェンジ検出手段１０から出力されたシーンチェンジの位置情報と無音検出手段９から出力された音声レベルが予め定められた所定値以下のフレームの位置情報から、間引き対象とするフレームを決定する。これにより、間引いても音声および映像に違和感が生じないフレームであって、且つ、間引いても内容の理解が困難となることがないようなフレームを間引き対象フレームとして決定することができる。以下、その理由を説明する。

画像信号にはシーンの切り替わり部分であるシーンチェンジが多数含まれる。そして、シーンチェンジ前のシーンの出来事が終わった後、シーンチェンジ後のシーンでの出来事が始まるまでの間、すなわち、シーンチェンジの前後には、フレーム間の画像の変化が極端に小さい部分が存在する。したがって、シーンチェンジ前後の１フレームないし複数フレームの画像を間引いても、間引いた後の画像で違和感が生じることは少ない。

また、シーンチェンジは画像信号から判断されるものであるが、シーンチェンジ前後の音声の特性を解析すると、シーンチェンジ前のシーンの出来事が終わった後、シーンチェンジの前後には、フレーム間の画像の変化が極端に小さく、且つ、音量レベルが低い部分が存在することがわかった。したがって、間引いても画像に違和感がないシーンチェンジ前後での１フレームないし複数フレームに相当する音声を間引いても、間引いた後の画像および音声共に違和感を生じることが少ないことがわかった。

つまり、シーンチェンジ前後は画像だけでなく、音声についても所定数のフレームを連続して間引いても違和感がない箇所として、時短効果が高い間引き対象であることがわかった。また、画像はシーンチェンジを境に大きく変化するため、シーンチェンジ前後の連続するフレームを間引いたとしても、間引き後のシーンチェンジ前後の画像が変わるだけであり、シーンチェンジを不自然に感じることがない。さらに、画像信号が伝える重要な情報は、シーンの真ん中の時間で起きることが多く、シーンとシーンの切り替わり部分であるシーンチェンジ付近には重要な情報が少ない。よって、シーンチェンジ前後のフレームおよび音声を間引いても、重要な情報が間引かれることが少ない。

しかし、画像及び音声共に間引いても違和感がないフレーム数は、全てのシーンチェンジにおいて一定とは限らない。したがって、全シーンチェンジの前後において、固定したフレーム数を間引いてしまうと、画像や音声が途切れ、内容の理解が困難になる部分が生ずる恐れがある。そこで、より違和感がない音声で再生するために、シーンチェンジ前後の所定のフレーム数の範囲内であって、かつ、音声信号から判定される音量レベルが予め定められた所定値以下である場合にのみ、フレームを間引くように判定する。例えば、ニュースやスポーツの解説は、画像と音声が同期していないことがあるが、こういった場合であっても、シーンチェンジ前後の音声が少ないシーンチェンジを間引くことにより音声が途中で途切れることがない。

ここで、シーンチェンジ・無音部分フレーム非出力フレーム決定手段１２の詳細な動作について、外部制御信号がある場合とない場合の、おのおのについて説明する。外部制御信号は、「再生速度」ないし「再生速度を算出できるもの」とする。例えば、「再生速度を算出できるもの」には、入力信号の視聴終了時刻がある。視聴終了時刻と現在の時刻より、入力信号の再生可能な時間が確定し、入力信号の長さを再生可能な時間で除することで再生速度が算出される。なお、外部制御信号は「再生速度を算出できるもの」であれば何でもよい。

はじめに、シーンチェンジ・無音部分フレーム非出力フレーム決定手段１２に外部制御信号が入力されない場合の、シーンチェンジ・無音部分フレーム非出力フレーム決定手段１２の動作を説明する。まず、シーンチェンジ検出手段７から第１の位置情報としてシーンチェンジの位置が入力される。シーンチェンジ前後の間引き対象フレームは、図２および図３（ｂ）に示すようにシーンチェンジの位置を挟んで前後する各３フレームとする。なお、簡略化して表記するため３フレームとしているが、実際には３０フレーム前後のフレーム数となる。次に、図３（ｃ）に示すように無音検出手段９から第２の位置情報として出力された音声レベルが予め定められた所定値以下の部分に対応する位置の画像信号におけるフレームを間引き可能な無音シーンのフレームとする。そして、図３（ｄ）に示すようにシーンチェンジ前後の画像として間引き可能なフレームであって、且つ、無音シーンであるフレームを、間引き対象フレームとして決定する。

なお、図４はシーンチェンジ・無音部分フレーム非出力フレーム決定手段１２が間引き対象フレームを決定する際のフローチャートである。シーンチェンジ検出手段７からシーンチェンジ位置として出力された位置を挟んだ前後３フレームの範囲内のフレームであって、無音検出手段９から音量レベルが予め定められた所定値以下と判定されたフレームである場合、そのフレームは間引き対象とする。シーンチェンジ検出手段７からシーンチェンジ位置として出力された位置を挟んだ前後３フレームの範囲内のフレームであっても、無音検出手段９から音量レベルが予め定められた所定値以上と判定されたフレームである場合、そのフレームは間引き対象としない。また、シーンチェンジ検出手段７からシーンチェンジ位置として出力された位置を挟んだ前後３フレームの範囲内のフレームではない場合、無音検出手段９から音量レベルが予め定められた所定値以下と判定されたフレームであってもそのフレームは間引き対象としない。

なお、図４においては、図３に示す間引き対象フレームと等価なフレームを間引き対象フレームとして決定できるデータフローであるならば、シーンチェンジ検出と無音検出の順序は問わない。

シーンチェンジ・無音部分フレーム非出力フレーム決定手段１２は、このようにして決定した間引き対象フレームの位置情報を出力可否情報として、フレーム間引き手段５と音声変換手段１０に出力する。

つぎに、シーンチェンジ・無音部分フレーム非出力フレーム決定手段１２に外部制御信号が入力される場合の、シーンチェンジ・無音部分フレーム非出力フレーム決定手段１２の動作を説明する。間引き対象フレームの決定は外部制御信号がない場合と同様である。シーンチェンジの位置情報から間引き可能なフレームを特定する動作が、外部制御信号がない場合と異なる。

間引き後の入力信号の再生時間が、間引き前の入力信号の再生時間に対して、外部制御信号が示す再生速度の倍率になるように非出力とする、つまり最終的に間引き対象フレームとなるフレーム数を決定する。シーンチェンジの位置情報から間引き可能なフレームを特定する際、間引き対象フレームのフレーム数が算出した非出力とするフレーム数の値になるよう制御する。例えば、間引き対象フレームのフレーム数が算出した値に一致するようにシーンチェンジ前後の間引き可能なフレーム数を調整する。

このとき、シーンチェンジ前後の間引き対象とするフレーム数は、シーンチェンジの前後のフレームであって、音量レベルが低く、且つ、動きが極めて少ないフレームの最大値内で調整する。前記最大値は３０フレーム程度である場合が多く、各シーンチェンジにおける間引き対象とするフレーム数を一定にする場合、シーンチェンジ前後の間引き対象とする所定のフレーム数を３０フレーム程度とすることが適当である。

つぎに、フレーム間引き動作の詳細について説明する。
フレーム間引き手段５および音声変換手段１０は、メモリ３から出力された読み出し位置、すなわち、メモリ３からＡＶ分離手段４に入力された入力信号の読み出し位置と、メモリ３から出力された最終書き込み位置、すなわち、チューナ２からメモリ３へ入力された入力信号の最終書き込み位置との関係によって動作が異なる。

メモリ３からＡＶ分離手段４に入力された入力信号の読み出し位置が、メモリ３から出力された入力信号の最終書き込み位置に追いついていない場合、フレーム間引き手段５は、ＡＶ分離手段４から出力された画像信号から、シーンチェンジ・無音部分フレーム非出力決定手段１２から出力された出力可否情報に基づいて非出力フレームの位置に相当するフレームに該当する画像信号を間引き、間引き後の画像信号をディスプレイ６に入力する。音声変換手段１０は、ＡＶ分離手段４から出力された音声信号から、シーンチェンジ・無音部分フレーム非出力決定手段１２から出力された出力可否情報に基づいて非出力フレームの位置に相当する音声信号を間引いて、間引いた後の音声信号をスピーカー１１に入力する。

また、メモリ３からＡＶ分離手段４に入力された入力信号の読み出し位置が、メモリ３から出力された入力信号の最終書き込み位置に追いついた場合、フレーム間引き手段５は、ＡＶ分離手段４から出力された画像信号を全てディスプレイ６に入力する。音声変換手段１０は、ＡＶ分離手段４から出力された音声信号を間引くことなく全てスピーカー１１に入力する。

ディスプレイ６に表示される画像信号およびスピーカー１１から出力される音声信号は、間引き対象のフレームに相当する部分を間引いた後の信号であるため、間引いた分の再生時間が短縮される。

以上のように、本実施の形態１によれば、画像信号と音声信号とを含む入力信号を蓄積する蓄積手段３と、蓄積手段３に蓄積された入力信号を画像信号と音声信号に分離するＡＶ分離手段４と、ＡＶ分離手段４から出力される画像信号を解析し、間引いても画像として違和感のないフレームを特定するための第１の位置情報を出力する画像間引き位置検出手段７と、ＡＶ分離手段４から出力される音声信号を解析し、間引いても音声として違和感の生じない部分を特定するための第２の位置情報を出力する音声間引き位置検出手段９と、前記第１の位置情報と、前記第２の位置情報とに基づき、間引き対象フレームを決定する間引きフレーム決定手段１２と、間引きフレーム決定手段１２が決定した前記間引き対象フレームをＡＶ分離手段４から出力される画像信号から間引いた画像信号を出力するフレーム間引き手段５と、間引きフレーム決定手段１２が決定した前記間引き対象フレームに相当する部分をＡＶ分離手段４から出力される音声信号から間引いた音声信号を出力する音声変換手段１０と、を備えるように構成したので、間引いても動きと音声に違和感が少ないフレームを間引くことができ、再生時間を短縮しても画像と音声のいずれにおいても違和感が無い映像信号処理装置１０１および映像信号処理方法が得られる。

とくに、画像間引き位置検出手段７は、ＡＶ分離手段４から出力される画像信号を解析し、前記第１の位置情報としてシーンチェンジの位置情報を出力し、音声間引き位置検出手段９は、ＡＶ分離手段４から出力される音声信号を解析し、前記第２の位置情報として音量レベルが予め定められた所定値以下の部分に対応するフレームの位置情報を出力するように構成したので、画像と音声が同期していないことが多いニュースやスポーツの実況番組でも、音声が途中で途切れることなく、再生することができる。

さらに、間引きフレーム決定手段１２は、前記第１の位置情報として出力されたシーンチェンジの位置を挟んで前後する所定のフレーム数の範囲内にあるフレームであって、かつ、前記第２の位置情報として出力された音量レベルが予め定められた所定値以下の部分に対応するフレームを前記間引き対象フレームとして決定するように構成したので、内容の理解に必要な情報が少ないフレームを間引くことができる。

また、ＴＶ放送信号を受信する受信部であるチューナ２と、受信部２が受信したＴＶ放送信号が入力される映像信号処理装置１０１と、映像信号処理装置１０１から出力される画像信号を表示する画像表示部であるディスプレイ６と、映像信号処理装置１０１から出力される音声信号を再生する音響再生部であるスピーカー１１と、を備えるようにしたので、間引いても動きと音声に違和感が少ないフレームを間引くことができ、再生時間を短縮しても画像と音声のいずれにおいても違和感が無い映像信号表示装置であるＴＶ信号表示装置２０１を得ることができる。

なお、本実施の形態１においては、シーンチェンジの位置を挟んだ前後同数のフレームを範囲とする範囲内のフレームを間引き対象フレームとしたが、これに限ることは無い。例えば、シーンチェンジの前と後ろでは、内容の理解に重要な映像や音声を含むフレーム数の配置が異なることが多く、その特性に合わせて異なるフレーム数の範囲を間引き対象としてもよい。

なお、本実施の形態１においては、外部制御信号を間引きフレーム決定手段であるシーンチェンジ・無音部分フレーム非出力決定手段１２に入力するようにしたが、外部制御信号を、無音検出手段９に入力するようにしてもよい。この場合、非出力とするフレーム数が、外部制御信号が示す再生速度から算出した非出力とするフレーム数に一致するように、音量レベルが予め定められた所定値以下か否かを判定する閾値を変化させればよい。

また、入力信号は蓄積したＴＶ信号であってもいいし、デジタルカメラなどで撮影した動画であってもいい。

実施の形態２．
図５は本発明の実施の形態１にかかる映像信号再生装置であるＴＶ信号表示装置を示すブロック図である。図において、ＴＶ信号表示装置２０１は、ＴＶ放送信号を受信するアンテナ１から出力される放送信号を復調し入力信号を出力するチューナ２と、チューナ２から出力される入力信号を蓄積して画像信号と音声信号に分離し、再生時間を短縮するように所定の方法で間引き処理を行い、間引き後の画像信号と音声信号を出力する映像信号処理装置１０１と、映像信号処理装置１０１が出力する画像信号を表示するディスプレイ６と、映像信号処理装置１０１が出力する音声信号を再生するスピーカー１１とを備えている。

そして、映像信号処理装置１０１は、チューナ２から出力される入力信号を蓄積し、チューナ２から出力される入力信号の最終書き込み位置とＡＶ分離手段４へ出力される入力信号の読み出し位置をフレーム間引き手段５と音声変換手段１０に出力するメモリ３と、メモリ３から出力される入力信号を画像信号と音声信号に分離するＡＶ分離手段４と、ＡＶ分離手段４から出力される画像信号を解析し、シーンチェンジがあるフレームを検出するシーンチェンジ検出手段７と、ＡＶ分離手段４から出力される画像信号を解析し、動きが少ないフレームの位置情報を出力する動き検出手段８と、シーンチェンジ検出手段７から出力されるシーンチェンジがあるフレームの位置情報と、動き検出手段８から出力される動きが少ないフレームの位置情報と、外部制御信号に基づき、フレームの出力可否を決定する間引きフレーム決定手段として機能するシーンチェンジ・静止部分フレーム非出力決定手段１３と、メモリ３から出力される最終書き込み位置および読み出し位置と、シーンチェンジ・無音部分フレーム非出力決定手段１２から出力されるフレームの出力可否情報に基づき、ＡＶ分離手段４から出力される画像信号を間引くフレーム間引き手段５と、メモリ３から出力される最終書き込み位置および読み出し位置と、シーンチェンジ・静止部分フレーム非出力決定手段１３から出力されるフレームの出力可否情報に基づき、ＡＶ分離手段４から出力される音声信号のうち、非出力となったフレームに相当する部分を間引く音声変換手段１０と、を備えている。

つまり、本実施の形態２にかかるＴＶ信号表示装置２０１は、画像間引き位置検出手段としては、実施の形態１におけるシーンチェンジ検出手段７の代わりに動き検出手段８を備え、画像間引き位置検出手段として使用していたシーンチェンジ検出手段７を音声間引位置検出手段として使用し、間引きフレーム決定手段としては、シーンチェンジ・無音部分フレーム非出力決定手段１２に代わってシーンチェンジ・静止部分フレーム非出力決定手段１３を備えたものである。これにより、実施の形態２では、音声として間引き可能なフレームに対応する位置を特定するために、音声信号ではなく、画像信号を解析している点が実施の形態１と異なる。なお、動きの有無を検出する手段としては、ＭＰＥＧ符号化の変換係数を用いている。

つぎに、図５に基づいて本実施の形態２における動作について説明する。
間引きフレーム決定手段であるシーンチェンジ・静止部分フレーム非出力決定手段１３は、シーンチェンジ検出手段７から出力されたシーンチェンジの位置情報と動き検出手段８から出力された動きが少ないフレームの位置情報から、間引き対象とするフレームを決定する間引きフレーム決定手段として機能する。

シーンチェンジ前後は実施の形態１にて説明したように、画像だけでなく、音声についても複数フレームを連続して間引いても違和感がない箇所として、時短効果が高い間引き対象である。しかし、画像及び音声共に間引いても違和感がないフレーム数は、全てのシーンチェンジにおいて一定とは限らない。したがって、全シーンチェンジの前後において、固定したフレーム数を間引いてしまうと、画像や音声が途切れ、内容の理解が困難になる部分が生ずる恐れがある。そこで、より違和感がない画像で再生するために、シーンチェンジ前後の所定のフレーム数の範囲内であって、かつ、動きが少ない場合にのみ、フレームを間引くように判定する。例えば、スポーツや演劇など、動きが重要であるコンテンツにおいて、画像の違和感を重点的に低減して再生したい場合において有効である。

一方、動き検出だけでは、音声が途切れてしまう等の不具合が生じるおそれがあるが、シーンチェンジと組み合わせて判断することで、そのような不具合が無くなる。すなわち、音声と画像双方の違和感を低減するための判断材料となるシーンチェンジと、動き補償の双方を用いて間引くべきフレームを判断することで、それぞれ一方だけの判断では生じやすい違和感を無くすことができるという顕著な効果が生じる。

さらに、図６に基づいて、シーンチェンジ・静止部分フレーム非出力決定手段１３の動作の詳細を説明する。まず、音声間引き位置検出手段として機能するシーンチェンジ検出手段７から第２の位置情報としてシーンチェンジの位置が入力される。図６（ｂ）に示すように、このシーンチェンジの位置を挟む前後３フレームをシーンチェンジ前後の間引き対象フレームとする。また、動き検出手段８から第１の位置情報として動きが少ないフレームの位置が入力される。このフレームを図６（ｃ）に示すように間引き可能なフレームである静止シーンのフレームとする。そして、図６（ｄ）に示すようにシーンチェンジ・静止部分フレーム非出力決定手段１３は、シーンチェンジ前後の間引き可能なフレームであって、且つ、静止シーンであるフレームを、間引き対象フレームとして決定する。

また、図７はシーンチェンジ・静止部分フレーム非出力フレーム決定手段１３において間引き対象フレームを決定するフローチャートである。シーンチェンジ検出手段７から第２の位置情報として出力されたシーンチェンジの位置を挟んだ前後３フレームの範囲内のフレームであって、動き検出手段８から動きが予め定められた所定値より大きいと判定されたフレームである場合、そのフレームは間引き対象としない。シーンチェンジ検出手段７からシーンチェンジと出力された位置を挟んだ所定のフレーム数の範囲内のフレームであって、動き検出手段８から動きが予め定められた所定値より大きいと判定されないフレームである場合、そのフレームは間引き対象とする。シーンチェンジ検出手段７からシーンチェンジと出力された位置を挟んだ所定のフレーム数の範囲内のフレームではない場合、そのフレームは間引き対象としない。

なお、図７は、図６に示す間引き対象フレームと等価なフレームを間引き対象フレームとして決定できるデータフローであるならば、シーンチェンジ検出と動き検出の順序は問わない。

シーンチェンジ・静止部分フレーム非出力決定手段１３により決定された間引き対象フレームの情報は、フレームの出力可否情報として、フレーム間引き手段５と音声変換手段１０に入力される。フレーム間引き手段５は、ＡＶ分離手段４から出力された画像信号から、シーンチェンジ・静止部分フレーム非出力決定手段１３から出力された出力可否情報が間引き対象フレームとされたフレームに該当する信号を間引き、間引き後の画像信号をディスプレイ６に入力する。音声変換手段１０は、ＡＶ分離手段４から出力された音声信号から、シーンチェンジ・静止部分フレーム非出力決定手段１３から出力されたフレームの位置に相当する音声信号を間引いて、間引いた後の音声信号をスピーカー１１に入力する。

なお、シーンチェンジ・静止部分フレーム非出力決定手段１３以外の動作は実施の形態１と同様である。

以上のように本実施の形態２によれば、画像信号と音声信号とを含む入力信号を蓄積する蓄積手段３と、蓄積手段３に蓄積された入力信号を画像信号と音声信号に分離するＡＶ分離手段４と、ＡＶ分離手段４から出力される画像信号を解析し、間引いても画像として違和感のないフレームを特定するための第１の位置情報を出力する画像間引き位置検出手段８と、ＡＶ分離手段４から出力される画像信号を解析し、間引いても音声として違和感の生じない部分を特定するための第２の位置情報を出力する音声間引き位置検出手段７と、前記第１の位置情報と、前記第２の位置情報とに基づき、間引き対象フレームを決定する間引きフレーム決定手段１３と、間引きフレーム決定手段１３が決定した前記間引き対象フレームをＡＶ分離手段４から出力される画像信号から間引いた画像信号を出力するフレーム間引き手段５と、間引きフレーム決定手段１３が決定した前記間引き対象フレームに相当する部分をＡＶ分離手段４から出力される音声信号から間引いた音声信号を出力する音声変換手段１０と、を備えるように構成したので、間引いても動きと音声に違和感が少ないフレームを間引くことができ、再生時間を短縮しても画像と音声のいずれにおいても違和感が無い映像信号処理装置１０１および映像信号処理方法が得られる。

とくに、画像間引き位置検出手段８は、ＡＶ分離手段４から出力される画像信号を解析し、動きが少ないフレームの位置情報を前記第１の位置情報として出力し、音声間引き位置検出手段７は、前記ＡＶ分離手段から出力される画像信号を解析し、前記第２の位置情報としてシーンチェンジの位置情報を出力するように構成したので、動きが重要であるスポーツや演劇などのコンテンツにおいて、画像の違和感を重点的に低減して再生することができる。

さらに、間引きフレーム決定手段１３は、前記第２の位置情報として出力されたシーンチェンジの位置を挟んで前後する所定のフレーム数の範囲内にあるフレームであって、かつ、前記第１の位置情報として出力された動きが少ないと判定されたフレームを前記間引き対象フレームとして決定するように構成したので、内容の理解に必要な情報が少ないフレームを間引くことができる。

実施の形態３．
図８は本発明の実施の形態１にかかる映像信号再生装置であるＴＶ信号表示装置を示すブロック図である。図において、ＴＶ信号表示装置２０２は、ＴＶ放送信号を受信するアンテナ１から出力される放送信号を復調し入力信号を出力するチューナ２と、チューナ２から出力される入力信号を蓄積して画像信号と音声信号に分離し、再生時間を短縮するように所定の方法で間引き処理を行い、間引き後の画像信号と音声信号を出力する映像信号処理装置１０２と、映像信号処理装置１０２が出力する画像信号を表示するディスプレイ６と、映像信号処理装置１０２が出力する音声信号を再生するスピーカー１１とを備えている。

そして、映像信号処理装置１０２は、チューナ２から出力される入力信号を蓄積し、チューナ２から出力される入力信号の最終書き込み位置とＡＶ分離手段４へ出力される入力信号の読み出し位置をフレーム間引き手段５と音声変換手段１０に出力するメモリ３と、メモリ３から出力される入力信号を画像信号と音声信号に分離するＡＶ分離手段４と、ＡＶ分離手段４から出力される画像信号を解析し、動きが少ないフレームの位置情報を第１の位置情報として出力する動き検出手段８と、ＡＶ分離手段４から出力される音声信号を解析し、音量レベルが予め定められた所定値以下の部分に対応するフレーム位置を第２の位置情報として出力する無音検出手段９と、動き検出手段８から出力される動きが少ないフレームの位置情報と、無音検出手段９から出力される音量レベルが予め定められた所定値以下の位置情報と、外部制御信号とに基づき、フレームの出力可否を決定する間引きフレーム決定手段として機能する静止・無音部分フレーム非出力決定手段１４と、メモリ３から出力される最終書き込み位置および読み出し位置と、静止・無音部分フレーム非出力決定手段１４から出力されるフレームの出力可否情報に基づき、ＡＶ分離手段４から出力される画像信号を間引くフレーム間引き手段５と、メモリ３から出力される最終書き込み位置および読み出し位置と、静止・無音部分フレーム非出力決定手段１４から出力されるフレームの出力可否情報に基づき、ＡＶ分離手段４から出力される音声信号のうち、非出力となったフレームに相当する部分を間引く音声変換手段１０と、を備えている。

つまり、本実施の形態３にかかるＴＶ信号表示装置２０２は、実施の形態１における画像間引き位置検出手段としてシーンチェンジ検出手段７の代わりに動き検出手段８を備え、間引きフレーム決定手段としては、シーンチェンジ・無音部分フレーム非出力決定手段１２に代わって静止・無音部分フレーム非出力決定手段１４を備えたものである。そして、実施の形態３は、フレームの出力可否を決定する際、動き検出手段８により、画像信号として間引き可能なフレームを決定する点が実施の形態１と異なる。

つぎに、図８に基づいて本実施の形態２における動作について説明する。
間引きフレーム決定手段である静止・無音部分フレーム非出力決定手段１４は、動き検出手段８から出力された第１の位置情報である動きが少ないフレームの位置情報と無音検出手段９から出力された第２の位置情報である音声レベルが予め定められた所定値以下のフレームの位置情報から、間引き対象とするフレームを決定する。例えば、音声がなく、且つ、動きもないシーンは１フレームないし複数フレームを間引いても、視覚上は目立たない。また、フレームを定期的に間引くと、映像の動きが速くなったようには見えない。そこで、静止・無音部分フレーム非出力決定手段１４は、動きが少なく、且つ、音量レベルが予め定められた所定値以下であると判定した場合に、フレームを間引くように判定する。

静止・無音部分フレーム非出力決定手段１４の動作を図９に基づいて説明する。まず、図９（ｂ）に示すように画像間引き位置検出手段である動き検出手段８から動きが少ないフレームの位置が入力される。このフレームを画像として間引き可能なフレームである静止シーンのフレームとする。また、図９（ｃ）に示すように音声間引き位置検出手段である無音検出手段９から出力された音声レベルが予め定められた所定値以下の部分に対応するフレーム位置のフレームを音声として間引き可能なフレームである無音シーンのフレームとする。無音部分フレーム非出力決定手段１４は、図９（ｄ）に示すように静止シーン且つ無音シーンであるフレームを、間引き対象フレームとして決定する。

また、図１０は静止・無音部分フレーム非出力フレーム決定手段１４が間引き対象フレームを決定するフローチャートである。動き検出手段８から動きが予め定められた所定値より大きいと判定されたフレームである場合、そのフレームは間引き対象としない。動き検出手段８から動きが予め定められた所定値より大きいと判定されないフレームであって、無音検出手段９から音量レベルが予め定められた所定値以下と判定されたフレームである場合、そのフレームは間引き対象とする。動き検出手段８から動きが予め定められた所定値より大きいと判定されないフレームであって、無音検出手段９から音量レベルが予め定められた所定値以下と判定されないフレームである場合、そのフレームは間引き対象としない。

なお、図１０は、図９に示す間引き対象フレームと等価なフレームを間引き対象フレームとして決定できるデータフローであるならば、動き検出と無音検出の順序は問わない。

また、間引き対象フレームの間引き方について図１１に基づいて説明する。フレームの間引き方は第１の位置情報と第２の位置情報により間引きの候補となったフレームを全て間引き対象フレームと決定し間引いてもいいし、間引きの候補となったフレームを所定の間引き率で間引き対象フレームと決定し間引いてもよい。静止・無音部分フレーム非出力決定手段１４は、いずれかの間引き方を採用してフレームの出力可否情報を出力する。静止・無音部分フレーム非出力決定手段１４の判定結果は、フレームの出力可否情報として、フレーム間引き手段５と音声変換手段１０に入力される。

メモリ３からＡＶ分離手段に入力された入力信号の読み出し位置が、メモリ３から出力された入力信号の最終書き込み位置に追いついていない場合、フレーム間引き手段５は、ＡＶ分離手段４から出力された画像信号から、静止・無音部分フレーム非出力決定手段１４から出力された出力可否情報が非出力フレームとされたフレームに該当する信号を間引き、間引き後の画像信号をディスプレイ６に入力する。音声変換手段１０は、ＡＶ分離手段４から出力された音声信号から、静止・無音部分フレーム非出力決定手段１４から出力されたフレームの出力可否情報に基づいて、音声信号を変換する。静止・無音部分フレーム非出力決定手段１４から出力された非出力フレームの位置に相当する音声信号を間引く。また、音声変換手段１０は、画像と同期する再生速度で音声信号を高速で再生するようにしてもいい。変換後の音声信号をスピーカー１１に入力する。

また、メモリ３からＡＶ分離手段に入力された入力信号の読み出し位置が、メモリ３から出力された入力信号の最終書き込み位置に追いついた場合、フレーム間引き手段５は、ＡＶ分離手段４から出力された画像信号を全てディスプレイ６に入力する。音声変換手段１０は、ＡＶ分離手段４から出力された音声信号を間引くことなく全てスピーカー１１に入力する。

なお、静止・無音部分フレーム非出力決定手段１４以外の動作は実施の形態１と同様である。

以上のように、本実施の形態３によれば、画像信号と音声信号とを含む入力信号を蓄積する蓄積手段３と、蓄積手段３に蓄積された入力信号を画像信号と音声信号に分離するＡＶ分離手段４と、ＡＶ分離手段４から出力される画像信号を解析し、間引いても画像として違和感のないフレームを特定するための第１の位置情報を出力する画像間引き位置検出手段８と、ＡＶ分離手段４から出力される音声信号を解析し、間引いても音声として違和感の生じない部分を特定するための第２の位置情報を出力する音声間引き位置検出手段９と、前記第１の位置情報と、前記第２の位置情報とに基づき、間引き対象フレームを決定する間引きフレーム決定手段１４と、間引きフレーム決定手段１４が決定した前記間引き対象フレームをＡＶ分離手段４から出力される画像信号から間引いた画像信号を出力するフレーム間引き手段５と、間引きフレーム決定手段１４が決定した前記間引き対象フレームに相当する部分をＡＶ分離手段４から出力される音声信号から間引いた音声信号を出力する音声変換手段１０と、を備えるように構成したので、間引いても動きと音声に違和感が少ないフレームを間引くことができ、再生時間を短縮しても画像と音声のいずれにおいても違和感が無い映像信号処理装置および映像信号処理方法が得られる。

とくに、画像間引き位置検出手段８は、ＡＶ分離手段４から出力される画像信号を解析し、動きが少ないフレームの位置情報を前記第１の位置情報として出力し、音声間引き位置検出手段９は、前記ＡＶ分離手段から出力される音声信号を解析し、前記第２の位置情報として音量レベルが予め定められた所定値以下の部分に対応するフレームの位置を出力するように構成したので、映像の動きと音声が速くなったことが視聴者に感じられないように再生時間を短縮して再生することができる。

さらに、間引きフレーム決定手段１４は、前記第１の位置情報として出力された動きが少ないと判定されたフレームであって、かつ、前記第２の位置情報として出力された音量レベルが予め定められた所定値以下の部分に対応するフレームを前記間引き対象フレームとして決定するように構成したので、内容の理解に必要な情報が少ないフレームを間引くことができる。

なお、上記各実施の形態における、シーンチェンジ検出手段７、動き検出手段８、無音検出手段９を備え、間引きフレーム決定手段としては、コンテンツの種類によって、実施の形態１のシーンチェンジ・無音部分フレーム非出力決定手段１２と、実施の形態２のシーンチェンジ・静止部分フレーム非出力決定手段１３と、実施の形態３の静止・無音部分フレーム非出力決定手段１４の機能を切り替えるようにしても良い。例えば、ドラマは、シーンチェンジ前後において動きが少ないため、シーンチェンジ前後のフレームを間引く実施の形態１のシーンチェンジ・無音部分フレーム非出力決定手段１２の機能を採用する。スポーツは動きのスムースさを重視するため、動きがある部分は間引かれない実施の形態２のシーンチェンジ・静止部分フレーム非出力決定手段１３の機能を採用する。ニュースは、画像と音声が同期してないシーンがあるため、内容を把握するために必要な音声が途切れない実施の形態３の静止・無音部分フレーム非出力決定手段１４の機能を採用する。

また、コンテンツの種類を、画像と音声が同期しているか否かで分類し、間引き対象フレームの決定手段を選択するよう設定してもよい。画像と音声が同期しているか否かは、例えば、音量レベルが予め定められた所定値以下であるシーンチェンジが所定の回数以上連続して存在する場合に同期していると判定することで求められる。また、顔検出を行い、顔があるか否かによって、画像と音声が同期しているか否かを判定してもよい。

この発明の実施の形態１にかかる映像信号再生装置を示すブロック図である。この発明の実施の形態１にかかる映像信号処理におけるシーンチェンジ前後の間引き対象フレームを示す概念図である。この発明の実施の形態１にかかる映像信号処理装置の動作を説明するための概念図である。この発明の実施の形態１にかかる映像信号処理装置の動作を説明するためのフローチャートである。この発明の実施の形態２にかかる映像信号再生装置を示すブロック図である。この発明の実施の形態２にかかる映像信号処理装置の動作を説明するための概念図である。この発明の実施の形態２にかかる映像信号処理装置の動作を説明するためのフローチャートである。この発明の実施の形態３かかる映像信号再生装置を示すブロック図である。この発明の実施の形態３にかかる映像信号処理装置の動作を説明するための概念図である。この発明の実施の形態３にかかる映像信号処理装置の動作を説明するためのフローチャートである。この発明の実施の形態３かかる映像信号処理装置の動作を説明するための概念図である。

符号の説明

１アンテナ、２チューナ（受信部）、３メモリ（蓄積手段）、４ＡＶ分離部、５フレーム間引き手段、６ディスプレイ（画像表示部）、７シーンチェンジ検出手段、８動き検出手段、９無音検出手段、１０音声変換手段、１１スピーカー（音響再生部）、１２シーンチェンジ・無音部分フレーム非出力決定手段（間引きフレーム決定手段）、１３シーンチェンジ・静止部分フレーム非出力決定手段（間引きフレーム決定手段）、１４静止・無音部分フレーム非出力決定手段（間引きフレーム決定手段）、１００，１０１，１０２映像信号処理装置、２００，２０１，２０２映像信号再生装置

Claims

画像信号と音声信号とを含む入力信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された入力信号を画像信号と音声信号に分離するＡＶ分離手段と、
前記ＡＶ分離手段から出力される画像信号を解析し、間引いても画像として違和感のないフレームを特定するための第１の位置情報を出力する画像間引き位置検出手段と、
前記ＡＶ分離手段から出力される画像信号または音声信号を解析し、間引いても音声として違和感の生じない部分を特定するための第２の位置情報を出力する音声間引き位置検出手段と、
前記第１の位置情報と、前記第２の位置情報とに基づき、間引き対象フレームを決定する間引きフレーム決定手段と、
前記間引きフレーム決定手段が決定した前記間引き対象フレームを前記ＡＶ分離手段から出力される画像信号から間引いた画像信号を出力するフレーム間引き手段と、
前記間引きフレーム決定手段が決定した前記間引き対象フレームに相当する部分を前記ＡＶ分離手段から出力される音声信号から間引いた音声信号を出力する音声変換手段と、
を備えてなる映像信号処理装置。
前記画像間引き位置検出手段は、前記ＡＶ分離手段から出力される画像信号を解析し、前記第１の位置情報としてシーンチェンジの位置情報を出力し、
前記音声間引き位置検出手段は、前記ＡＶ分離手段から出力される音声信号を解析し、前記第２の位置情報として音量レベルが予め定められた所定値以下の部分に対応するフレームの位置情報を出力する、
ことを特徴とする請求項１に記載の映像信号処理装置。
前記間引きフレーム決定手段は、前記第１の位置情報として出力されたシーンチェンジの位置を挟んで前後する所定のフレーム数の範囲内にあるフレームであって、かつ、前記第２の位置情報として出力された音量レベルが予め定められた所定値以下の部分に対応するフレームを前記間引き対象フレームとして決定することを特徴とする請求項２に記載の映像信号処理装置。
前記画像間引き位置検出手段は、前記ＡＶ分離手段から出力される画像信号を解析し、動きが少ないフレームの位置情報を前記第１の位置情報として出力し、
前記音声間引き位置検出手段は、前記ＡＶ分離手段から出力される画像信号を解析し、前記第２の位置情報としてシーンチェンジの位置情報を出力する、
ことを特徴とする請求項１に記載の映像信号処理装置。
前記間引きフレーム決定手段は、前記第２の位置情報として出力されたシーンチェンジの位置を挟んで前後する所定のフレーム数の範囲内にあるフレームであって、かつ、前記第１の位置情報として出力された動きが少ないと判定されたフレームを前記間引き対象フレームとして決定することを特徴とする請求項４に記載の映像信号処理装置。
前記画像間引き位置検出手段は、前記ＡＶ分離手段から出力される画像信号を解析し、動きが少ないフレームの位置情報を前記第１の位置情報として出力し、
前記音声間引き位置検出手段は、前記ＡＶ分離手段から出力される音声信号を解析し、前記第２の位置情報として音量レベルが予め定められた所定値以下の部分に対応するフレームの位置情報を出力する、
ことを特徴とする請求項１に記載の映像信号処理装置。
前記間引きフレーム決定手段は、前記第１の位置情報として出力された動きが少ないと判定されたフレームであって、かつ、前記第２の位置情報として出力された音量レベルが予め定められた所定値以下の部分に対応するフレームを前記間引き対象フレームとして決定することを特徴とする請求項６に記載の映像信号処理装置。
ＴＶ放送信号を受信する受信部と、
前記受信部が受信したＴＶ放送信号が入力される請求項１ないし請求項７のいずれかに記載の映像信号処理装置と、
前記映像信号処理装置から出力される映像信号を表示する画像表示部と、
前記映像信号処理装置から出力される音声信号を再生する音響再生部と、
を備えてなる映像信号再生装置。
画像信号と音声信号とを含む入力信号を蓄積する蓄積ステップと、
前記蓄積された入力信号を画像信号と音声信号に分離するＡＶ分離ステップと、
前記分離された画像信号を解析し、間引いても画像として違和感を生じないフレームを特定するための第１の位置情報を出力する画像間引き位置検出ステップと、
前記分離された画像信号または音声信号を解析し、間引いても音声として違和感の生じない部分を特定するための第２の位置情報を出力する音声間引き位置検出ステップと、
前記第１の位置情報と、前記第２の位置情報とに基づき、間引き対象フレームを決定する間引きフレーム決定ステップと、
前記間引きフレーム決定ステップにより決定された間引き対象フレームを前記ＡＶ分離ステップにより分離された画像信号から間引いた画像信号を出力するフレーム間引きステップと、
前記間引きフレーム決定ステップにより決定された間引き対象フレームに相当する部分を前記ＡＶ分離ステップにより分離された音声信号から間引いた音声信号を出力する音声変換ステップと、
を備えてなる映像信号処理方法。