JP2011151429A - 映像再生装置、及び、映像再生方法 - Google Patents
映像再生装置、及び、映像再生方法 Download PDFInfo
- Publication number
- JP2011151429A JP2011151429A JP2008124598A JP2008124598A JP2011151429A JP 2011151429 A JP2011151429 A JP 2011151429A JP 2008124598 A JP2008124598 A JP 2008124598A JP 2008124598 A JP2008124598 A JP 2008124598A JP 2011151429 A JP2011151429 A JP 2011151429A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- playback
- video
- display
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】記録媒体に蓄積した映像を標準速以外の速度で再生するとき、従来のディスク再生装置では、再生映像の動きが滑らかに見えなかった。早送り再生で映像を滑らかに表示することができるようにする。
【解決手段】蓄積映像を再生する映像再生装置において、記録媒体から再生した映像フレームから映像表示装置に表示する映像フレームを生成するフレームレート変換手段を備える。映像を早送り再生する場合に、記録媒体から再生したフレームの再生フレームレートが映像表示装置に表示するフレームの表示フレームレートより大きいとき、フレームレート変換手段において、再生フレームを早送りの速度に応じて設定される枚数毎に重畳して、映像表示装置に表示する表示フレームを生成するようにした。
【選択図】 図4
【解決手段】蓄積映像を再生する映像再生装置において、記録媒体から再生した映像フレームから映像表示装置に表示する映像フレームを生成するフレームレート変換手段を備える。映像を早送り再生する場合に、記録媒体から再生したフレームの再生フレームレートが映像表示装置に表示するフレームの表示フレームレートより大きいとき、フレームレート変換手段において、再生フレームを早送りの速度に応じて設定される枚数毎に重畳して、映像表示装置に表示する表示フレームを生成するようにした。
【選択図】 図4
Description
本発明は、光ディスクなどの記録媒体に蓄積された映像を再生するとき、早送り再生中にも映像を滑らかに表示することができる映像再生装置、及び、映像再生方法に関する。
動画映像は、単位時間当たり所定枚数の画像(フレーム)を連続して表示することによって表現され、1秒間に24フレーム、または、30フレームの画像を表示することが一般的である。このとき、テレビや映画に使用されている代表的な表示フレームレートは、24フレーム/秒、または、30フレーム/秒である。表示装置が表現可能な表示フレームレートは、表示装置の仕様で決まり、一般には30フレーム/秒の映像を表示できればよく、高速表示可能なものでも、その2〜3倍程度の表示フレームレートが限度である。
記録媒体に蓄積された映像を復号して再生するとき、その映像を符号化したときの符号化フレームレートと同じ速度の再生フレームレートで再生し表示すれば、通常速度の再生となる。早送り再生を行うには2種類の方法がある。1つは、再生フレームレートを再生速度の倍数に応じて増加させ、表示フレームレートも同じだけ増加させ、早送り再生する方法である。通常速度の再生と同じく全てのフレームが表示されるので、滑らかな早送り再生が可能である。しかし早送りの速度は、表示装置の表示フレームレート仕様に合う範囲に限って可能であり、概して低速である。このようにして再生フレームレートと表示フレームレートを、所望の再生速度に応じて自在に制御し、滑らかな早送り再生を実現しようとした方法が開示されている(例えば、特許文献1参照)。
もう1つの早送り再生方法は、表示装置が表示可能な表示フレームレートになるように、再生するフレームを間引いたり、各再生フレームから一部分を切り出して表示フレームを合成したりすることにより、表示フレーム数を限定する方法である。再生するフレームの選び方、あるいは、再生したフレームから表示フレームを生成する方法が開示されている。表示の滑らかさに制約があるが、いずれも、滑らかな早送り再生を実現するために、再生される映像の画質劣化を防止し、動きのガタツキを少ないものとする工夫が示されている(例えば、特許文献2、3参照)。
記録媒体に蓄積した映像を再生するとき、従来の早送り再生方法では、その何れに依っても、中高速まで含む任意の再生速度における滑らかな早送り再生を、表示装置の限られた表示フレームレート仕様の範囲で実現することは困難であった。
一方、ユーザのニーズとして、滑らかな早送り再生に対する要望は非常に強い。記録媒体に蓄積された映像コンテンツの中から所望の映像を見出すには、実見による検索は最も確実な方法であるが時間がかかる。また、最近は映像コンテンツの数量・時間共に限りなく増加しているので、より高速で判別可能とするために、早送り再生における映像をより動きのガタツキ感やコマ送り感の少ないものとし、滑らかに表示することが求められている。
一方、ユーザのニーズとして、滑らかな早送り再生に対する要望は非常に強い。記録媒体に蓄積された映像コンテンツの中から所望の映像を見出すには、実見による検索は最も確実な方法であるが時間がかかる。また、最近は映像コンテンツの数量・時間共に限りなく増加しているので、より高速で判別可能とするために、早送り再生における映像をより動きのガタツキ感やコマ送り感の少ないものとし、滑らかに表示することが求められている。
本発明は、このような現状に鑑み、中高速の早送りにおいても、動きのガタツキやコマ送り感の少ない滑らかな早送り再生を実現することを目的とする。
前記の課題を解決するため、本発明の映像再生装置、及び、映像再生方法は、人間の視覚特性における残像効果を利用して、早送り再生時の動きのガタツキ感やコマ送り感を少なくして滑らかな早送り再生を実現するようにした。
より具体的には、記録媒体に蓄積された映像を再生する映像再生装置において、記録媒体から再生した再生フレームから映像表示装置に表示する表示フレームを生成するフレームレート変換手段を備え、映像を早送り再生する場合に、記録媒体から再生したフレームの再生フレームレートが映像表示装置に表示するフレームの表示フレームレートより大きいとき、フレームレート変換手段において、再生フレームを早送りの速度に応じて設定される枚数毎に重畳して、映像表示装置に表示する表示フレームを生成するようにした。
また、フレームレート変換手段において、所定の表示時刻を持つ再生フレームとその再生フレームより以前の表示時刻を持つ再生フレームの映像データを重畳するとき、互いに重畳される再生フレームのうち、所定の再生フレームと該所定の再生フレーム以外の再生フレームとの表示時刻の時間差に対応した重み付けをして重畳するようにした。
また、フレームレート変換手段において、所定の表示時刻を持つ再生フレームとその再生フレームより以前の表示時刻を持つ再生フレームの映像データを重畳するとき、互いに重畳される再生フレームのうち、最先又は最後の表示時刻を持つ再生フレームと該再生フレーム以外の再生フレームとの表示時刻の時間差に対応した重み付けをして重畳するようにした。
また、フレームレート変換手段において、所定の表示時刻を持つ再生フレームとその再生フレームより以前の表示時刻を持つ再生フレームの映像データを重畳するとき、互いに重畳される再生フレームにおいて同一の位置にある画素の映像データを加算するようにした。
また、フレームレート変換手段において、所定の表示時刻を持つ再生フレームとその再生フレームより以前の表示時刻を持つ再生フレームの映像データを重畳するとき、互いに重畳される再生フレームにおける画素の映像データを加重平均するようにした。
従来の早送り再生では、再生フレームレートが表示フレームレートを上回る部分に対応する再生フレームの一部又は全部が割愛されてしまい、表示されなかったが、本発明によれば、所定の表示時刻を持ってそのまま表示される再生フレームを表示するときに、その再生フレームより以前または以後の表示時刻を持っていて従来なら一部又は全部が割愛されていた再生フレームの映像データを、その表示される再生フレームのデータに重畳して表示し、視聴者の視覚に入れるようにした。
人間の視覚特性において視覚に残像が残る時間は、通常の表示フレームレートにおける表示フレームの更新周期より長いため、重畳表示した再生フレームの内容は、再生フレームを高速の再生フレームレートのまま視聴したときとほぼ同様に認識される。
この結果、本発明によれば、映像を早送り再生した時の動きのガタツキ感やコマ送り感を少なくして、滑らかな早送り再生を実現することができる。
人間の視覚特性において視覚に残像が残る時間は、通常の表示フレームレートにおける表示フレームの更新周期より長いため、重畳表示した再生フレームの内容は、再生フレームを高速の再生フレームレートのまま視聴したときとほぼ同様に認識される。
この結果、本発明によれば、映像を早送り再生した時の動きのガタツキ感やコマ送り感を少なくして、滑らかな早送り再生を実現することができる。
また、本発明によれば、表示フレームに重畳した再生フレームのうち、表示フレームの表示時刻に近い再生フレームほど濃く表せるように重畳できるようにしたので、視覚から残像が徐々に消滅することに似せることができ、より滑らかに感じられる早送り再生を実現することができる。
また、本発明によれば、特に、従来実現できていなかった中高速の早送りにおいて、滑らかな早送り再生を実現でき、実見による映像検索を効率化することができる。
以下に、本発明の実施の形態について図面を使用しながら説明する。
実施の形態1.
図1に、本発明の対象である映像再生装置の構成を示す。映像コンテンツを蓄積した記録媒体1をドライブ2によって再生する。ドライブ2で読出されたデータは、映像を再生して表示するために、映像再生ブロック3に送られる。映像再生ブロック3では、まず、映像コンテンツのフォーマットに準拠した再生を行うため、映像復号手段4において、映像符号化されたデータを復号し、所定のフォーマットに準拠した映像をそのフォーマットに従って再生する。このとき再生される1画面分の映像を再生フレームと呼び、1秒間に再生される再生フレーム数を再生フレームレートとする。
映像コンテンツを標準速で再生するとき、典型的な再生フレームレートは、24フレーム/秒、または、30フレーム/秒である。以下、具体的な説明のため、再生フレームレートを例として30フレーム/秒とする。映像コンテンツを早送り再生するとき、記録媒体1から読出した全ての映像データを再生すると、N倍速の早送り再生時に、再生フレームレートは、N×30フレーム/秒となる。
実施の形態1.
図1に、本発明の対象である映像再生装置の構成を示す。映像コンテンツを蓄積した記録媒体1をドライブ2によって再生する。ドライブ2で読出されたデータは、映像を再生して表示するために、映像再生ブロック3に送られる。映像再生ブロック3では、まず、映像コンテンツのフォーマットに準拠した再生を行うため、映像復号手段4において、映像符号化されたデータを復号し、所定のフォーマットに準拠した映像をそのフォーマットに従って再生する。このとき再生される1画面分の映像を再生フレームと呼び、1秒間に再生される再生フレーム数を再生フレームレートとする。
映像コンテンツを標準速で再生するとき、典型的な再生フレームレートは、24フレーム/秒、または、30フレーム/秒である。以下、具体的な説明のため、再生フレームレートを例として30フレーム/秒とする。映像コンテンツを早送り再生するとき、記録媒体1から読出した全ての映像データを再生すると、N倍速の早送り再生時に、再生フレームレートは、N×30フレーム/秒となる。
次に、再生フレームは、フレームレート変換手段5に入力される。フレームレート変換手段5は、映像を早送り再生する場合に、記録媒体から再生したフレームの再生フレームレートが映像表示装置9で表示可能な表示フレームレートより大きくなると、そのままでは表示できないため、フレームレートを変換する。そしてフレームレート変換手段5は、再生フレームから表示フレームを生成して所定の表示フレームレートにして、表示出力手段6へ出力する。表示出力手段6は表示フレームのデータを、映像表示装置9の入力インターフェースに一致した信号に変換して出力する。
この映像再生装置を使用するユーザは、コマンド入力手段8によって、再生する映像の選択や再生開始・停止などの操作をコントロール手段7に伝えて、装置を制御している。コマンド入力手段8から早送り再生の指示を入力したとき、コントロール手段7は、指示された速度での早送り再生に必要なデータを記録媒体1から読出すべく、ドライブ2を制御すると共に、再生された映像データを指定の速度で再生するため、映像復号手段4、フレームレート変換手段5、表示出力手段6を制御する。
図2に、フレームレート変換手段5の内部の構成を示す。映像復号手段4で再生された再生フレームは、まず、再生フレームのバッファメモリ手段51に蓄積される。図中のバッファメモリ手段51の枠内には、復号され再生された複数の再生フレームのデータが蓄積されている様子を示し、各再生フレームの枠内右上部に再生フレームの順番を示す番号を付けている。例として、この時点の先頭の再生フレームの番号は0、以下、連番で23まで図示しており、さらに続く。
次にこの再生フレームのデータが順に表示フレーム合成手段52に入力される。表示フレーム合成手段52では、早送り再生時に、複数の再生フレームから1つの表示フレームを合成して、フレームレートを低減し、所定の表示フレームレートに収まるようにする。合成した表示フレームは、順に、次段の表示フレームのバッファメモリ手段53に入力される。例えば、表示装置は標準速の表示フレームレートまでしか対応していなくて、4倍速再生を行うとき、連続4枚の再生フレームから1枚の表示フレームを合成する。
図中のバッファメモリ手段53の枠内に、こうして合成後にバッファメモリ中に保持された複数の表示フレームのデータが蓄積されている様子を示す。その表示フレームを合成したときに、実際の表示時刻に最も近い表示時刻を持っていた再生フレームの番号を受け継いでフレームの枠内右上部に付けている。例では、この時点で先頭の再生フレームの番号が0であり、以下、4枚の再生フレームで1表示フレームを、後述する方法に従って合成するので、フレームの番号が4、8、12、16、20、・・・と4つおきになる。
表示フレームのバッファメモリ手段53から表示出力手段6へ、まず、フレーム番号0の表示フレームが表示時刻t0に表示出力される。次に、表示フレームレートで決まるフレームの表示周期をTdとすると、表示時刻t0+Tdにフレーム番号4の表示フレーム、表示時刻t0+2・Tdにフレーム番号8の表示フレーム、表示時刻t0+3・Tdにフレーム番号12の表示フレーム、・・・、の順で各表示フレームのデータが所定の表示時刻に出力される。
図3に、早送り再生時の動作説明を示す。中央に標準速での再生時の表示フレーム、即ち、再生フレームの系列を、上から下へと表示時刻が進む順に従って示している。右側に本発明を適用した早送り再生の動作を、左側に対比として従来方式による早送り再生の動作を示した。
再生して表示される映像例として、画面左側から右側に動く縦棒と、静止した円を描いている。各フレームの右上部分の数字は、図2と同じく再生フレームの番号である。この映像を4倍速で早送り再生したとき、図3左側に示す従来方式では、フレーム番号0、4、8、12、16、20、・・・、のように再生フレームを4枚おきに抜き出して表示フレームとする。画面中の縦棒の動きが飛び飛びになっており、一連のフレームを動画として見たとき動きが滑らかでなく、コマ送り感を感じる様子が分かる。
再生して表示される映像例として、画面左側から右側に動く縦棒と、静止した円を描いている。各フレームの右上部分の数字は、図2と同じく再生フレームの番号である。この映像を4倍速で早送り再生したとき、図3左側に示す従来方式では、フレーム番号0、4、8、12、16、20、・・・、のように再生フレームを4枚おきに抜き出して表示フレームとする。画面中の縦棒の動きが飛び飛びになっており、一連のフレームを動画として見たとき動きが滑らかでなく、コマ送り感を感じる様子が分かる。
これに対して、図3右側に示す本発明を適用した早送り再生方式では、所定の表示時刻を持つ再生フレームとその再生フレームより以前の表示時刻を持つ再生フレームの映像データを重畳して、映像表示装置に表示する表示フレームを生成するようにした。
具体的には次のようになる。最初のフレーム番号0の表示フレームは、再生フレーム番号0をそのまま使う。ここから4倍速再生が開始する。次のフレーム番号4の表示フレームは、再生フレーム番号1から再生フレーム番号4の4フレームの映像を重畳して1枚の表示フレームとする。重畳方法の詳細な説明は後述する。以下同様に、4倍速再生の続く間、フレーム番号8の表示フレームは再生フレーム番号5から再生フレーム番号8の4フレームの映像を重畳、フレーム番号12の表示フレームは再生フレーム番号9から再生フレーム番号12の4フレームの映像を重畳、・・・と各々1枚ずつ表示フレームを合成していく。
具体的には次のようになる。最初のフレーム番号0の表示フレームは、再生フレーム番号0をそのまま使う。ここから4倍速再生が開始する。次のフレーム番号4の表示フレームは、再生フレーム番号1から再生フレーム番号4の4フレームの映像を重畳して1枚の表示フレームとする。重畳方法の詳細な説明は後述する。以下同様に、4倍速再生の続く間、フレーム番号8の表示フレームは再生フレーム番号5から再生フレーム番号8の4フレームの映像を重畳、フレーム番号12の表示フレームは再生フレーム番号9から再生フレーム番号12の4フレームの映像を重畳、・・・と各々1枚ずつ表示フレームを合成していく。
画面中の縦棒は4重に重なって見えるが、一連のフレームを動画として見たときに動いている感覚があり、滑らかに感じられる様子が分かる。
また、表示フレームに重畳した再生フレームのうち、表示フレームの表示時刻に近い再生フレームほど濃く表されるように重畳すると、視覚から残像が徐々に消滅することに似せる効果が得られ、より滑らかに感じられるようになる。
また、表示フレームに重畳した再生フレームのうち、表示フレームの表示時刻に近い再生フレームほど濃く表されるように重畳すると、視覚から残像が徐々に消滅することに似せる効果が得られ、より滑らかに感じられるようになる。
本発明と従来方式の2つの早送り再生方式を対比すると、従来方式では、再生フレームレートが表示フレームレートを上回る部分に対応する再生フレームの映像が全て割愛されてしまい全く表示されなかったが、本発明によれば、前回の表示フレーム以後の再生フレームの映像を、その次に表示される表示フレームに重畳して表示するようにしたので、視聴者の視覚に入れて認知させることができるようになった。
再生フレームレートを30フレーム/秒とすると表示フレームの更新周期は33ミリ秒となる。これを人間の視覚における時間残像の効果と対比して考える。見たものの残像が視覚に残る時間は約50ミリ秒〜100ミリ秒程度とされており、これ以下の時間間隔で視覚に入ったものは連続しているように見える効果がある。30フレーム/秒の動画映像を4倍速再生した場合、本来なら8.3ミリ秒間隔で表示されるフレームを見ることになる。これを映像表示装置の制約から表示フレームレートを30フレーム/秒に落として見るわけであるが、本発明の方法では、8.3ミリ秒間隔で表示される再生フレームを4フレーム分まとめて33ミリ秒間隔で見ることになる。本来の表示時間間隔とのずれは最大±12.7ミリ秒となる。
この時間差は残像が視覚に残る時間に比べてかなり短く、あまり大きな違和感にならない。その時間差のずれによる違和感よりも、全再生フレームを視覚に入れることにより動きの飛びの少ない滑らか感の得られる効果の方が大きく、再生フレームを高速の再生フレームレートのまま視聴したときとほぼ同様のものと認識される。この結果、本発明によれば、映像を早送り再生した時の動きのガタツキ感やコマ送り感を少なくして、滑らかな早送り再生を実現することが可能になる。
なお、複数の再生フレームを平均化することによる映像の鮮明感の低下が心配されるが、静止物については複数フレーム間で違いがないので平均化しても同一なので差は生じず、また、移動や変化する物についても30フレーム/秒で更新され、長くとも25ミリ秒で過去の表示は消えることになるので、大きな問題にならない。
人間の視覚は、静止画に対する分解能は高いが、動画に対する分解能は静止画よりも低下する。したがって本発明の方法によれば、静止画の部分に対する鮮明感は全く損なわれることなく、動画の部分の滑らか感を高めることができた。
人間の視覚は、静止画に対する分解能は高いが、動画に対する分解能は静止画よりも低下する。したがって本発明の方法によれば、静止画の部分に対する鮮明感は全く損なわれることなく、動画の部分の滑らか感を高めることができた。
図4に、表示フレームの合成手段の内部構成と動作例の説明を示す。図3に説明したものと同じ動作を例にとり、フレームレート変換手段において、所定の表示時刻を持つ再生フレームとその再生フレームより以前の表示時刻を持つ再生フレームの映像データを重畳する方法を説明する。
再生フレームのバッファメモリ手段51に蓄積された再生フレームのデータが、再生フレーム510や再生フレーム511に示すように、順に表示フレーム合成手段52に入力される。ここで再生フレーム510は、4倍速で早送り再生するときにフレームの表示時刻に一致していて、従来方式でも表示フレームとして表示される再生フレームである。当該再生フレームを、図中に太線の枠で囲ったフレーム番号8、12、・・・、のフレームとして表す。またこのとき、再生フレーム511は、従来方式では表示から割愛される再生フレームである。当該再生フレームを、図中に細線の枠で囲ったフレーム番号9、10、11、13、・・・、のフレームとして表す。
再生フレームのバッファメモリ手段51に蓄積された再生フレームのデータが、再生フレーム510や再生フレーム511に示すように、順に表示フレーム合成手段52に入力される。ここで再生フレーム510は、4倍速で早送り再生するときにフレームの表示時刻に一致していて、従来方式でも表示フレームとして表示される再生フレームである。当該再生フレームを、図中に太線の枠で囲ったフレーム番号8、12、・・・、のフレームとして表す。またこのとき、再生フレーム511は、従来方式では表示から割愛される再生フレームである。当該再生フレームを、図中に細線の枠で囲ったフレーム番号9、10、11、13、・・・、のフレームとして表す。
前回、フレーム番号8のフレーム表示時刻に表示フレームを合成して出力した後、今回、フレーム番号12のフレーム表示時刻に表示フレームを合成する場合を説明する。このとき、フレーム番号9からフレーム番号12までの4フレームの画像の中で同一位置にある各画素の映像データに対して、加重平均値を演算し、表示フレーム530の画像の中で対応位置にある画素の映像データとする。映像データとは、輝度や色差の値であったり、三原色の各色の輝度値であったりする。
具体的には、フレーム番号9のフレームの画素に対して乗数器523で係数k3を掛け、フレーム番号10のフレームの画素に対して乗数器522で係数k2を掛け、フレーム番号11のフレームの画素に対して乗数器521で係数k1を掛け、フレーム番号12のフレームの画素に対して乗数器520で係数k0を掛け、それら各係数をかけた値を加算器529で合計する。こうしてフレームの全画素に対して、同様の演算によって加重平均値をそれぞれ求め、表示フレーム530の各画素の映像データとする。なお、加算器529で算出する合計値を規格化するため、各乗数器の係数の合計k0+k1+k2+k3は、1とした。
図5に、表示フレームの合成手段における乗数器の設定例を示す。
設定Aは、表示時刻の再生フレームとそれ以前の3つの再生フレームに差を付けずに一様平均をとる例である。どのタイミングの再生フレームも同様に扱い、視聴者の視覚に再生フレームの映像を送ることを意図している。
この場合の各係数は、k0=k1=k2=k3=0.25、である。
設定Aは、表示時刻の再生フレームとそれ以前の3つの再生フレームに差を付けずに一様平均をとる例である。どのタイミングの再生フレームも同様に扱い、視聴者の視覚に再生フレームの映像を送ることを意図している。
この場合の各係数は、k0=k1=k2=k3=0.25、である。
設定Bは、表示時刻の再生フレームとそれ以前の3つの再生フレームに差を付けて加重平均をとる例である。各再生フレームの映像データに対して所定の表示時刻からの時間差に対応した重み付けをして重畳するようにした。表示時刻のタイミングにある再生フレームを重視し、それ以前の再生フレームの映像は視覚から残像が徐々に消滅することに似せることを意図している。
この場合の各係数の設定の一例は、k0=0.4、k1=0.3、k2=0.2,k3=0.1、である。
この場合の各係数の設定の一例は、k0=0.4、k1=0.3、k2=0.2,k3=0.1、である。
設定Cも、設定Bと同様の考えである。表示時刻のタイミングにある再生フレームを重視し、それ以前の再生フレームの映像は一律に小さく扱い、演算の簡略化を図った。
この場合の各係数の設定の一例は、k0=0.4、k1=k2=k3=0.2、である。
この場合の各係数の設定の一例は、k0=0.4、k1=k2=k3=0.2、である。
設定Dは、表示フレームの一回おきに、表示時刻の再生フレームのみを表示する従来方式と、設定Aの方式とを交互に繰り返す方法である。4フレームの再生フレームを平均化することによる映像の鮮明感の低下が心配される場合に備えたものである。たとえば、全画面が激しく動いたり変化したりする映像が想定される。これに対して、一回おきに平均化していない映像フレームを表示して解像度の高さを表現するとともに、一回おきに平均化した映像フレームを表示して動きを表現して滑らか感を付与する。
この場合の各係数は、従来方式の表示フレームでは、k0=1、k1=k2=k3=0、であり、設定Aの表示フレームでは、k0=k1=k2=k3=0.25、である。
この場合の各係数は、従来方式の表示フレームでは、k0=1、k1=k2=k3=0、であり、設定Aの表示フレームでは、k0=k1=k2=k3=0.25、である。
以上の実施の形態の説明では、4倍速で早送り再生する方法を具体例として取り上げたが、本発明の適用にあたり、再生の倍速数はこれに限らない。5倍速の場合は乗数器を5個用意して表示時刻の再生フレームとそれ以前の4再生フレームの加重平均をとる、6倍速の場合は乗数器を6個用意して表示時刻の再生フレームとそれ以前の5再生フレームの加重平均をとる、というふうにする。ドライブも含めて映像再生装置として対応可能な最大の再生倍速数に対して動作できるように、表示フレーム合成手段52の内部を設計すればよい。
たとえば、映像再生装置として対応可能な最大の再生倍速数が6倍速の場合、用意した6個の乗数器の各係数k0、k1、k2、k3、k4、k5を、実際の早送り再生の倍速数に対応して切替えるようにする。4倍速再生の場合は、k0、k1、k2、k3、は上記の説明の通りであり、k4、k5、は0とする。5倍速再生の場合は、k0、k1、k2、k3、k4、には上記の方法を敷衍して求めた値を適用し、k5、は0とする。こうしたダイナミックな設定は、コントロール手段7が、コマンド入力手段8を介してユーザの指示を知り、映像再生装置のドライブ2や、映像再生ブロック3内部の映像復号手段4、フレームレート変換手段5、表示出力手段6のそれぞれの状態を把握することによって実行される。
実施の形態2.
映像再生装置では、実施の形態1.に説明した本発明の方法により対応可能な最大の再生倍速数がある。それを上回るさらに高倍速の早送り再生を行いたい場合に対応する方法を次に説明する。
映像再生装置では、実施の形態1.に説明した本発明の方法により対応可能な最大の再生倍速数がある。それを上回るさらに高倍速の早送り再生を行いたい場合に対応する方法を次に説明する。
図6に、表示フレームの合成手段の別の内部構成と動作例の説明を示す。図6の大部分は図4に説明した内容と同じなので、以下では、同じ部分の説明は省略する。また、映像再生装置全体として対応可能な最大の再生倍速数を、説明のための例として4倍速であるとする。
再生フレームのバッファメモリ手段51に蓄積された再生フレームのデータが、順に表示フレーム合成手段52に入力される。ここで再生フレーム510と再生フレーム511は、図4の場合と同様である。ただし再生速度が増加しているので、再生フレーム510は、8倍速で早送り再生するときのフレームの表示時刻に一致していて、従来方式でも表示フレームとして表示される再生フレームである。当該再生フレームを、図中に太線の枠で囲ったフレーム番号8、16、・・・、のフレームとして表す。また、再生フレーム511は、従来方式では表示から割愛されるが、本発明の方法により再生フレーム510の映像に重畳して表示される再生フレームである。当該再生フレームを、図中に細線の枠で囲ったフレーム番号10、12、14、18、・・・、のフレームとして表す。
再生フレームのバッファメモリ手段51に蓄積された再生フレームのデータが、順に表示フレーム合成手段52に入力される。ここで再生フレーム510と再生フレーム511は、図4の場合と同様である。ただし再生速度が増加しているので、再生フレーム510は、8倍速で早送り再生するときのフレームの表示時刻に一致していて、従来方式でも表示フレームとして表示される再生フレームである。当該再生フレームを、図中に太線の枠で囲ったフレーム番号8、16、・・・、のフレームとして表す。また、再生フレーム511は、従来方式では表示から割愛されるが、本発明の方法により再生フレーム510の映像に重畳して表示される再生フレームである。当該再生フレームを、図中に細線の枠で囲ったフレーム番号10、12、14、18、・・・、のフレームとして表す。
図6では、このほかに再生フレーム512がある。ユーザが、コマンド入力手段8を介して8倍速での早送り再生を指示したとき、実施の形態1.の方式では対応できなくなる。全ての再生フレームを再生することができないか、または、全ての再生フレームを再生することができても表示フレーム合成手段52において処理できなくなるためである。そのとき、再生フレームのうち、再生フレーム512、すなわち、図6中に網掛けで表示したフレーム番号9、11、13、15、17、19、・・・、のフレームは処理せずに捨てるようにする。以下、表示フレームを合成する方法は図4の場合と同じになる。
半数のフレームを表示せずに割愛するため、滑らか感は減ずるが、従来方式に比べて格段に多くの再生フレームを表示することができるようになるため、さらに高倍速の早送り再生においても、実施の形態1.に準じた効果が得られる。
実施の形態3.
以上の実施の形態の説明では、記録媒体1とそのドライブ2は、一般的な記録装置全てを対象として説明した。DVDやBD等の光ディスクやハードディスクが対象に含まれることはもちろんのこと、記録媒体1とそのドライブ2に対応する部分が一体不可分な形態である半導体メモリも対象に含まれ、本発明を適用することができる。
以上の実施の形態の説明では、記録媒体1とそのドライブ2は、一般的な記録装置全てを対象として説明した。DVDやBD等の光ディスクやハードディスクが対象に含まれることはもちろんのこと、記録媒体1とそのドライブ2に対応する部分が一体不可分な形態である半導体メモリも対象に含まれ、本発明を適用することができる。
光ディスクはアクセス時間が長くかかり、データを読出す転送速度も遅いので、映像再生装置全体として対応可能な最大の再生倍速数を律速する要因になりがちである。一方、半導体メモリはアクセス時間が短く、データを読出す転送速度も速い。記録媒体1とそのドライブ2に対応する部分に半導体メモリを使用したシステムでは、映像再生ブロック3、特に、フレームレート変換手段5における表示フレーム合成手段52の処理速度が、本発明の方法により対応可能な最大の再生倍速数を律速する要因となる。その場合、本発明の実施の形態2.に示した方法が有効になる。
また、以上の実施の形態では、映像表示装置9で表示可能な表示フレームレートを30フレーム/秒に設定して説明した。映像表示装置9がさらに高速表示のできる装置であった場合、早送り再生に対して、映像表示装置9における表示フレームレートの増加と、本発明の方法を併用することももちろん可能である。まず、映像表示装置9における表示フレームレートを可能な範囲で増加させて早送り再生し、さらに高倍速の早送り再生を行うときに複数の再生フレームから表示フレームを合成する本発明の方法を適用すればよい。
これによって、さらに高倍速の早送り再生においても、実施の形態1.に説明した効果が得られる。
これによって、さらに高倍速の早送り再生においても、実施の形態1.に説明した効果が得られる。
また、以上の実施の形態の説明では、順方向の早送り再生について説明したが、逆方向の早送り再生についても同じ方法が適用可能である。順方向再生では表示の順番を示すフレーム番号を昇順に表示したが、逆方向再生では表示の順番を示すフレーム番号を降順に表示する。複数の再生フレームを加重平均して表示フレームを合成するステップにおいて、過去に遡りつつ表示することになるので、ここに本発明の方式を適用すると、所定の表示時刻を持つ再生フレームとその再生フレームより以後の表示時刻を持つ再生フレームの映像データを重畳して、映像表示装置に表示する表示フレームを生成することになる。
これによって、順方向にも逆方向にも自在に見ることが可能で、実施の形態1.に説明した効果が得られる早送り再生を実現することができる。
これによって、順方向にも逆方向にも自在に見ることが可能で、実施の形態1.に説明した効果が得られる早送り再生を実現することができる。
また、以上の実施の形態の説明では、図4と図6において、再生フレームから表示フレームを合成するときに、各フレームの対応する画素の間の積和演算を実施する機能を、乗数器と加算器によって実現する方法を例示した。しかし、実際の機能の実装において、所定の加重平均を算出する機能を実現できれば、実現方法はこの例に限らない。
たとえば、マイクロプロセッサ上でソフトウェアによってこの機能を実現しても良い。あるいは、光学デバイス、光電子デバイス、電荷蓄積デバイス、等を用いて実現しても良い。またさらに、画素毎に逐次演算する方法ではなく、1次元のライン毎の処理や、2次元の面全体の一括処理が可能なデバイスを利用して、演算時間を短縮したり、演算処理を簡単化したりすることも可能である。いずれも本発明を適用した装置を実現するとき、その設計に適用できる。
たとえば、マイクロプロセッサ上でソフトウェアによってこの機能を実現しても良い。あるいは、光学デバイス、光電子デバイス、電荷蓄積デバイス、等を用いて実現しても良い。またさらに、画素毎に逐次演算する方法ではなく、1次元のライン毎の処理や、2次元の面全体の一括処理が可能なデバイスを利用して、演算時間を短縮したり、演算処理を簡単化したりすることも可能である。いずれも本発明を適用した装置を実現するとき、その設計に適用できる。
本発明にかかる映像再生装置、及び、映像再生方法は、光ディスクなどの記録媒体に蓄積された映像を再生する映像再生装置、及び、映像再生方法に関する。
1・・・記録媒体
2・・・ドライブ
3・・・映像再生ブロック
4・・・映像復号手段
5・・・フレームレート変換手段
6・・・表示出力手段
7・・・コントロール手段
8・・・コマンド入力手段
9・・・映像表示装置
51・・・再生フレームのバッファメモリ手段
52・・・表示フレーム合成手段
53・・・表示フレームのバッファメモリ手段
510・・・再生フレーム
511・・・再生フレーム
512・・・再生フレーム
520・・・係数k0の乗数器
521・・・係数k1の乗数器
522・・・係数k2の乗数器
523・・・係数k3の乗数器
529・・・加算器
530・・・表示フレーム
2・・・ドライブ
3・・・映像再生ブロック
4・・・映像復号手段
5・・・フレームレート変換手段
6・・・表示出力手段
7・・・コントロール手段
8・・・コマンド入力手段
9・・・映像表示装置
51・・・再生フレームのバッファメモリ手段
52・・・表示フレーム合成手段
53・・・表示フレームのバッファメモリ手段
510・・・再生フレーム
511・・・再生フレーム
512・・・再生フレーム
520・・・係数k0の乗数器
521・・・係数k1の乗数器
522・・・係数k2の乗数器
523・・・係数k3の乗数器
529・・・加算器
530・・・表示フレーム
Claims (10)
- 記録媒体に蓄積された映像を再生する映像再生装置において、
前記記録媒体から再生した再生フレームのフレームレートを変換し、映像表示装置に表示する表示フレームを生成するフレームレート変換手段を備え、
前記映像を早送り再生する場合に、前記記録媒体から再生したフレームの再生フレームレートが前記映像表示装置に表示するフレームの表示フレームレートより大きいとき、
前記フレームレート変換手段において、前記再生フレームを早送りの速度に応じて設定される枚数毎に重畳して、前記映像表示装置に表示する表示フレームを生成することを特徴とする映像再生装置。 - 前記フレームレート変換手段において、前記再生フレームを早送りの速度に応じて設定される枚数毎に重畳するとき、互いに重畳される再生フレームのうち、所定の再生フレームと該所定の再生フレーム以外の再生フレームとの表示時刻の時間差に対応した重み付けをして重畳する手段を、さらに備えたことを特徴とする請求項1に記載の映像再生装置。
- 前記所定の再生フレームは、前記互いに重畳される再生フレームのうち、最先又は最後の表示時刻を持つ再生フレームであること特徴とする請求項2に記載の映像再生装置。
- 前記フレームレート変換手段において、前記再生フレームを早送りの速度に応じて設定される枚数毎に重畳するとき、互いに重畳される再生フレームにおいて同一の位置にある画素の映像データを加算する手段を、さらに備えたことを特徴とする請求項1に記載の映像再生装置。
- 前記フレームレート変換手段において、前記再生フレームを早送りの速度に応じて設定される枚数毎に重畳するとき、互いに重畳される再生フレームにおける画素の映像データを加重平均する手段を、さらに備えたことを特徴とする請求項1に記載の映像再生装置。
- 記録媒体に蓄積された映像を再生する映像再生方法において、
前記記録媒体から映像フレームを再生する再生ステップと、
再生した複数の再生フレームのフレームレートを変換し、映像表示装置に表示する表示フレームを生成するフレームレート変換ステップとを備え、
前記映像を早送り再生する場合に、前記記録媒体から再生したフレームの再生フレームレートが前記映像表示装置に表示するフレームの表示フレームレートより大きいとき、
前記フレームレート変換ステップにおいて、前記再生フレームを早送りの速度に応じて設定される枚数毎に重畳して、前記映像表示装置に表示する表示フレームを生成することを特徴とする映像再生方法。 - 前記フレームレート変換ステップにおいて、前記再生フレームを早送りの速度に応じて設定される枚数毎に重畳するとき、互いに重畳する再生フレームのうち、所定の再生フレームと該再生フレーム以外の再生フレームとの表示時刻の時間差に対応した重み付けをして重畳することを特徴とする請求項6記載の映像再生方法。
- 前記所定の再生フレームは、前記互いに重畳される再生フレームのうち、最先又は最後の表示時刻を持つ再生フレームであること特徴とする請求項7に記載の映像再生方法。
- 前記フレームレート変換ステップにおいて、前記再生フレームを早送りの速度に応じて設定される枚数毎に重畳するとき、互いに重畳する再生フレームにおいて同一の位置にある画素の映像データを加算することを特徴とする請求項6に記載の映像再生方法。
- 前記フレームレート変換ステップにおいて、前記再生フレームを早送りの速度に応じて設定される枚数毎に重畳するとき、互いに重畳する再生フレームにおける画素の映像データを加重平均することを特徴とする請求項6に記載の映像再生方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008124598A JP2011151429A (ja) | 2008-05-12 | 2008-05-12 | 映像再生装置、及び、映像再生方法 |
PCT/JP2009/000161 WO2009139096A1 (ja) | 2008-05-12 | 2009-01-19 | 映像再生装置、及び、映像再生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008124598A JP2011151429A (ja) | 2008-05-12 | 2008-05-12 | 映像再生装置、及び、映像再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011151429A true JP2011151429A (ja) | 2011-08-04 |
Family
ID=41318474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008124598A Pending JP2011151429A (ja) | 2008-05-12 | 2008-05-12 | 映像再生装置、及び、映像再生方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011151429A (ja) |
WO (1) | WO2009139096A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014105317A1 (en) * | 2012-12-26 | 2014-07-03 | Intel Corporation | Content presentation with enhanced user experience |
JP2016105587A (ja) * | 2014-11-20 | 2016-06-09 | アクシス アーベー | デジタルビデオストリームの情報を可視化する方法及び装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002094947A (ja) * | 2000-09-12 | 2002-03-29 | Matsushita Electric Ind Co Ltd | 高速映像再生装置、高速映像再生方法および記録媒体 |
JP4081810B2 (ja) * | 2002-07-22 | 2008-04-30 | ソニー株式会社 | 再生装置および方法、並びにプログラム |
JP4887727B2 (ja) * | 2005-10-20 | 2012-02-29 | ソニー株式会社 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
-
2008
- 2008-05-12 JP JP2008124598A patent/JP2011151429A/ja active Pending
-
2009
- 2009-01-19 WO PCT/JP2009/000161 patent/WO2009139096A1/ja active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014105317A1 (en) * | 2012-12-26 | 2014-07-03 | Intel Corporation | Content presentation with enhanced user experience |
JP2016105587A (ja) * | 2014-11-20 | 2016-06-09 | アクシス アーベー | デジタルビデオストリームの情報を可視化する方法及び装置 |
US10878850B2 (en) | 2014-11-20 | 2020-12-29 | Axis Ab | Method and apparatus for visualizing information of a digital video stream |
Also Published As
Publication number | Publication date |
---|---|
WO2009139096A1 (ja) | 2009-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7659934B2 (en) | Recording/reproduction apparatus, and recording/reproduction method as well as stereoscopic images visual effects confirmation apparatus and stereoscopic image visual effects confirmation method | |
EP2309486B1 (en) | Image frame processing method and device for displaying moving images to a variety of displays | |
EP1438845B1 (en) | Fast motion trick mode using non-progressive dummy predictive pictures | |
CN103024408B (zh) | 立体图像转换装置和方法、立体图像输出装置 | |
JP4247291B1 (ja) | 再生装置および再生方法 | |
JP4761403B2 (ja) | 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法 | |
JP2014096757A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
US8547479B2 (en) | Display apparatus and control method thereof | |
US8244112B2 (en) | Video processing apparatus and controlling method for same | |
JP2011109294A (ja) | 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム | |
JP5149283B2 (ja) | 動画像再生装置、デジタルカメラ、半導体集積回路および動画像再生方法 | |
KR20070026249A (ko) | 정보 재생 장치, 및 정보 재생 방법 및 컴퓨터 프로그램 | |
WO2009139096A1 (ja) | 映像再生装置、及び、映像再生方法 | |
JP2002094947A (ja) | 高速映像再生装置、高速映像再生方法および記録媒体 | |
JP2011101229A (ja) | 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置 | |
JP5493362B2 (ja) | 動画再生装置及びプログラム | |
KR101168991B1 (ko) | 움직임 보상 및 영상 보간을 통한 슬로우 비디오 재생 방법및 장치 | |
EP2408214A2 (en) | Playback apparatus, playback method, and program | |
JP5764895B2 (ja) | 電子機器、再生システム、再生方法、プログラム | |
JPH1188845A (ja) | 動画像走査変換装置 | |
WO2012169096A1 (ja) | 映像表示装置及び映像処理装置 | |
JP5104593B2 (ja) | 画像処理装置及び画像処理方法並びにプログラム | |
JP5511242B2 (ja) | 映像再生装置及び映像再生方法 | |
JP2013066020A (ja) | 動画再生装置及び動画再生方法 | |
JP4668051B2 (ja) | 動画生成装置、動画生成方法、及びプログラム |