JP2009044282A - デジタル映像データ再生装置及び表示装置 - Google Patents

Abstract

【課題】複数の映像符号化ストリーム（以下、ストリーム）を復号し、各ストリームに基づく映像を同時表示するためのデジタル映像データ再生装置（以下、装置）であって、高い復号処理能力や大容量のメモリを備えなくても、１つの映像復号器を用いて、映像の品質を維持した上記同時表示を可能とするものを提供する。
【解決手段】装置１００は、キーフレームを探索するキーフレーム探索部１３，１４をストリーム毎に有する。また、複数のストリームのうちの主たるストリームを除く他のストリームについて、例えば、キーフレームとそれに続く複数の当該ストリームを抽出する符号化データ抽出部１５と、主たるストリームにおけるキーフレームの直前に、抽出したストリームを挿入し合成する映像符号化ストリーム合成部１６と、をさらに有する。装置１００は、合成したストリームを復号し、複数の映像データを表示する映像を生成する。
【選択図】図１

Description

本発明は、放送として受信したデジタル映像データや、その受信したデータを録画したデジタル映像データ等を再生するデジタル映像データ再生装置及び表示装置に関するものである。

地上デジタル放送のモバイル端末向けサービスであるワンセグ放送が開始され、携帯電話やＰＤＡなどの小型のモバイル端末でもテレビ放送の視聴が可能となった。このような端末では放送されたデジタル映像データ（以下、データという）を録画し、再生する機能を有しているものが一般的である。また、放送データを録画しながら、時間的に少し前の部分を早送り再生して徐々に実放送に追いついていくというタイムシフト再生機能を有したモバイル端末も発売されている。

このタイムシフト再生機能とは、テレビ放送を視聴中に、通話したり、テレビから離れたりして、一部分だけテレビ放送が視聴できなくなる場合に、その間の放送データをバッファに入力しておき、通話が終了したり、テレビに戻ってきたりして、視聴できる状態になったら、バッファへの入力を継続しつつ、視聴が出来なくなった地点からのデータを１．３３倍再生などで早送り再生することで、徐々にバッファ内のデータを少なくしていき、最終的にバッファ内のデータがなくなったなら、実放送に追いついたということになるので、通常視聴に戻ることで、放送されたデータを放送順に見落とす場面がなく視聴できるようにするとの機能である。

このような機能を有した端末で、タイムシフト再生をしたり、録画ファイルを再生したりしている最中に、現時点で放送されている内容をちょっと確認したい場合がある。例えば、野球番組を視聴中に電話がかかってきたときに、タイムシフト録画を行い、電話が終わってからタイムシフト再生を行えば、見落とす部分なしに全ての部分を見ることが可能となるが、現時点の野球の試合の状況等（例えば、両チームの点数や何回まで進んだのかなど）をちょっと確認したい場合がある。また、ニュースの時間になったらニュースを見たいが、その時間になるギリギリまで録画ファイルを再生していたいときに、現時点の放送がニュースになりそうかなどをちょっと確認したい場合もある。

このようなことは、録画ファイルのデータやタイムシフト再生しているデータをデコード及び表示しながら、別のデータをデコードして同時に表示することで行うことができる。なお、タイムシフト再生を行っているデータとその時点で放送されているデータとは、映像のデコード及び表示という観点からは全く関連性のない独立したデータであるため、ここでは、別ストリームと定義する。

複数の映像フレームを生成する複数の映像符号化ストリームをデコードして同時に表示する技術として、特許文献１には、複数の映像符号化ストリームをデコードする際に、映像符号化ストリームの個数分の映像デコーダを用いる技術が開示されている。また、特許文献２には、複数の映像符号化ストリームをフレーム単位で多重して全ての映像符号化ストリームをデコードする技術、及び、多重した映像符号化ストリームの中からＩフレームのみをデコードする技術が開示されている。
特開平１１−１７７９１０号公報 特開２００１−９４９０１号公報

しかし、特許文献１に開示の技術では、複数の映像符号化ストリームをデコードして同時に表示するために、デコーダを複数用意しなければならない。そのため、ハードウェアでデコードする場合には、その分容積やコストが増加してしまい、ソフトウェアでデコードする場合には、ＣＰＵの処理能力の高性能化やメモリの高集積化が必要となり、いずれの場合もモバイル端末に実装するには好ましくない。

また、特許文献２に開示の全てのストリームをデコードする技術では、複数の映像符号化ストリームをデコードして同時に表示するためには、後述するようにデコードするストリームの個数の参照フレームを格納しておくメモリが必要であり、また、全てのストリームがデコードできるような高性能のハードウェアやＣＰＵも必要である。そのため、モバイル機器向けの少ないメモリを搭載したハードウェアや安価なＣＰＵでは、複数のストリームをデコードすることは大変困難である。

特許文献２に開示の全てのストリームをデコードする技術において、デコードするストリームの個数の参照フレームを格納しておくメモリが必要であることを、図９及び図１０を用いて具体的に示す。
図９は、特許文献２に開示されている従来のデジタル映像データ再生装置の概略構成を示す図である。同図に示すように、特許文献２に開示のデジタル映像データ再生装置１０００は、第１の映像符号化ストリーム入力部１０１、第２の映像符号化ストリーム入力部１０２、第１のフレーム分割部１０３、第２のフレーム分割部１０４、フレーム多重部１０５、映像復号部１０６、表示映像生成部１０７を備えた構成となっている。なお、ここでは、２つの映像符号化ストリームが入力されるものとする。

第１の映像符号化ストリーム入力部１０１及び第２の映像符号化ストリーム入力部１０２は、図示しないテレビチューナで受信した放送データや記録媒体上の録画ファイルなどから抜き出された映像符号化ストリームを受け取る部分である。
第１のフレーム分割部１０３及び第２のフレーム分割部１０４は、それぞれ、第１の映像符号化ストリーム入力部１０１及び第１の映像符号化ストリーム入力部１０２で受け取った映像符号化ストリームをフレーム単位に分割する部分である。

フレーム多重部１０５は、第１のフレーム分割部１０３で作成したフレーム単位のデータと第２のフレーム分割部１０３で作成したフレーム単位のデータとを多重する部分である。
映像復号部１０６は、フレーム多重部１０５から受け取った多重化した映像符号化ストリームを、所定の映像符号化方式で復号する部分である。
表示映像生成部１０７は、映像復号部１０６で復号した複数の映像データを同時に表示するために復号された映像データを表示用に加工する部分であり、例えば画面分割などを行いコンテンツ毎に表示位置を分けるようなことを行う。

なお、この例では、特許文献２に開示のデジタル映像データ再生装置は、映像符号化ストリーム入力部とフレーム分割部を２つずつ備えるが、映像符号化ストリームが３個以上入力される場合は、当該部分を３個以上備えるような構成となる。

図１０に、図９のデジタル映像データ再生装置１０００にて複数の映像符号化ストリームをフレーム単位で多重したストリームの一例のイメージ図を示す。
動画像符号化データの各フレームは、他のフレームの情報を用いずに符号化を行ったフレーム内符号化フレームと、他のフレームとの差分を利用して符号化を行ったフレーム間符号化フレームとに分類できる。フレーム間符号化フレームを符号化する際に用いた他のフレームを参照フレームと呼ぶ。フレーム間符号化フレームを復号する場合は、そのフレームより前のフレームである参照フレームの情報が必要なため、そのフレームから復号を行っても正しい映像データが得られない。それに対して、フレーム内符号化フレームを復号する場合には、他のフレームの情報が必要ないため、そのフレームから復号を行うと正しい映像データが得られる。

ここでは、入力された映像符号化ストリームの符号化においてフレーム内符号化されたフレームをキーフレームと呼ぶ。なお、符号化方式ＩＴＵ−Ｔ Ｈ．２６４では、ＩＤＲフレームがキーフレームに相当し、ＭＰＥＧ−４では、Ｉ−ＶＯＰがキーフレームに相当し、ＭＰＥＧ−２では、Ｉフレームがキーフレームに相当する。
また、各符号化方式により、フレーム内符号化フレームが利用する他のフレームの数、すなわち参照フレームの数や、参照フレームが時間的に前方に位置するのか、前方と後方の両方に位置するのかが異なる。

図１０の例は、ＭＰＥＧ−４シンプルプロファイルのように、参照フレームを時間的に１つ前のフレーム１つに限定した基本的な符号化方式を使用する例である。また、この図では複数の映像符号化ストリームとして、２個の映像符号化ストリームを多重した例を示す。ここでは、第１の映像符号化ストリームは、Ｆ１、Ｆ２、Ｆ３・・・・Ｆ９・・・との順にフレームが構成され、第２の映像符号化ストリーム（以下、ストリームと省略する）は、Ｓ１、Ｓ２、Ｓ３・・・Ｓ９・・・との順にフレームが構成されており、また、Ｆ１、Ｓ１、Ｆ６、Ｓ６がキーフレームであり、それ以外のフレームが非キーフレームであるものとする。図９のデジタル映像データ再生装置１０００は、フレーム多重部１０５において第１のストリームと第２のストリームをフレーム単位で多重して、映像復号部１０６に入力するストリームとして、例えば、図１０に示すように、Ｓ１、Ｓ２、Ｆ１、Ｆ２、Ｓ３、Ｆ３、Ｓ４、・・・との順に多重されたストリームを作成する。

映像復号部１０６が図１０の例のストリームのＳ２をデコードするには、その参照フレームであるＳ１のデコード結果が必要である。また、Ｓ３をデコードするには、Ｓ２のデコード結果が必要であるが、Ｓ２のデコード結果さえあればＳ１のデコード結果は必要ない。フレーム単位で多重したストリームの６フレーム目のＦ３をデコードし始める状況に着目すると、Ｆ３をデコードするためには、Ｆ２のデコード結果が必要である。また、Ｆ３の次にＳ４をデコードするため、Ｓ４をデコードするために必要なＳ３のデコード結果もこの時点では保持しておく必要がある。すなわち、Ｆ３をデコードし始める状況では、Ｆ２のデコード結果とＳ３のデコード結果の２つの参照フレームをメモリに保持しておく必要がある。

このように、フレーム単位に多重された２個の映像符号化ストリームをデコードするためには、少なくとも２個分の参照フレームのメモリが必要である。同様に、３個の映像符号化ストリームが多重された映像符号化ストリームをデコードするためには、３個分の参照画像のメモリが必要となる。また、ここでは、参照フレームが時間的に１つ前のフレーム１つに限定した符号化方式であったため、２個の映像符号化ストリームをデコードする際には、２フレーム分のメモリが必要となるが、参照フレームが５フレーム分必要な符号化方式の場合には、２個の映像符号化ストリームをデコードする際には、１０フレーム分のメモリが必要となる。

なお、複数の映像データを同時表示する方法はいくつかあり得る。例えば、図１１のように、主に視聴したい映像符号化ストリームの復号結果を映像表示部１００１の画面Ａの略全体に表示し、部分的に確認したい映像符号化ストリームの復号結果を映像表示部１００１の子画面Ｂに表示するような方法がある。
このような方法で表示する場合において、特許文献２に開示されている、複数の映像符号化ストリームの同時表示を実現するためのもう１つの技術である、複数のストリームのＩフレームのみをデコードする技術を用いた場合、主に視聴したい方の映像も、ちょっとだけ内容を確認したい方の映像も、どちらも紙芝居のようにＩフレームの間隔でパラパラと更新されるだけとなってしまう。例えば、地上波デジタルワンセグ放送の場合、Ｉフレームに相当するＩＤＲフレームは、放送規格により、標準で２秒に１枚、最大間隔で５秒に１枚しか挿入されないため、表示される映像は２秒から５秒に１回のみ更新されるものとなってしまう。

このように、従来方式で複数の映像符号化ストリームの映像を同時表示するためには、複数の映像デコーダを用意するか、複数の映像符号化ストリームを多重化した全てのストリームをデコードすることが可能な映像デコーダを用意するか、主に視聴したい映像を含めた全ての映像データに基づく映像の表示を紙芝居のようにパラパラと更新するようにするしかなかった。

本発明は、上述のごとき実情に鑑みてなされたものであり、複数の映像符号化ストリームをデコードし、各映像符号化ストリームに基づく映像を同時表示するためのデジタル映像データ再生装置及び上記同時表示を行う表示装置であって、高いデコード処理能力や大容量のメモリ等を備えなくても、１つの映像デコーダを用いて、映像の品質を維持した上記同時表示を可能とするものを提供する。

上記課題を解決するために、本発明の第１の技術手段は、複数の映像フレームを生成する複数の映像符号化ストリームを復号し、復号した複数の映像データを表示するためのデジタル映像データ再生装置において、入力された前記映像符号化ストリームの符号化においてフレーム内符号化されたキーフレームを探索するキーフレーム探索部を前記映像符号化ストリーム毎に有し、入力された前記複数の映像符号化ストリームのうちの特定の主たる映像符号化ストリームを除く他の映像符号化ストリームについて、前記キーフレームまたは該キーフレームとそれに続く１もしくは複数の当該映像符号化ストリームを抽出する符号化データ抽出部と、前記主たる映像符号化ストリームにおける前記キーフレームと当該キーフレームの直前のフレームとの間に、前記符号化データ抽出部が抽出した映像符号化ストリームを挿入する映像符号化ストリーム合成部と、をさらに有し、該映像符号化ストリーム合成部で合成した映像符号化ストリームを復号し、複数の映像データを表示する映像を生成することを特徴としたものである。

第２の技術手段は、第１の技術手段のデジタル映像データ再生装置を備える表示装置において、映像を表示する表示部と、テレビ放送を受信するテレビチューナと、該テレビチューナから受け取った映像符号化ストリームをバッファリングするバッファと、を備え、前記デジタル映像データ再生装置は、任意の時間前記バッファにてバッファリングした映像符号化ストリームを前記主たる映像符号化ストリームとして一のキーフレーム探索部に入力する一の映像符号化ストリーム入力部と、前記テレビチューナから受け取った映像符号化ストリームを前記他の映像符号化ストリームとして他のキーフレーム探索部に入力する他の映像符号化ストリーム入力部と、を有し、前記バッファにてバッファリングした映像符号化ストリーム及び前記テレビチューナから受け取った映像符号化ストリームに基づいて前記映像符号化ストリーム合成部が合成した前記映像符号化ストリームを復号し、復号した前記複数の映像データを前記表示部に同時に表示する映像を生成することを特徴としたものである。

第３の技術手段は、第１の技術手段のデジタル映像データ再生装置を備える表示装置において、映像を表示する表示部と、テレビ放送を受信するテレビチューナと、テレビ放送を録画したファイルを記録する記録媒体と、を備え、前記デジタル映像データ再生装置は、前記記録媒体から読み出した録画ファイルの映像符号化ストリームを前記主たる映像符号化ストリームとして一のキーフレーム探索部に入力する一の映像符号化ストリーム入力部と、前記テレビチューナから受け取った映像符号化ストリームを前記他の映像符号化ストリームとして他のキーフレーム探索部に入力する他の映像符号化ストリーム入力部と、を有し、前記録画ファイルの映像符号化ストリーム及び前記テレビチューナから受け取った映像符号化ストリームに基づいて前記映像符号化ストリーム合成部が合成した前記映像符号化ストリームを復号し、復号した前記複数の映像データを前記表示部に同時に表示する映像を生成することを特徴としたものである。

第４の技術手段は、第１の技術手段のデジタル映像データ再生装置を備える表示装置において、映像を表示する表示部と、テレビ放送を録画した第１のファイルを記録する第１の記録媒体と、テレビ放送を録画した第２のファイルを記録する第２の記録媒体と、を備え、前記デジタル映像データ再生装置は、前記第１の記録媒体から読み出した第１のファイルの映像符号化ストリームを前記主たる映像符号化ストリームとして一のキーフレーム探索部に入力する一の映像符号化ストリーム入力部と、前記第２の記録媒体から読み出した第２のファイルの映像符号化ストリームを前記他の映像符号化ストリームとして他のキーフレーム探索部に入力する他の映像符号化ストリーム入力部と、を有し、前記第１のファイルの映像符号化ストリーム及び前記第２のファイルの映像符号化ストリームに基づいて前記映像符号化ストリーム合成部が合成した前記映像符号化ストリームを復号し、復号した前記複数の映像データを前記表示部に同時に表示する映像を生成することを特徴としたものである。

第５の技術手段は、第１の技術手段のデジタル映像データ再生装置を備える表示装置において、映像を表示する表示部と、テレビ放送を受信する第１及び第２のテレビチューナと、を備え、前記デジタル映像データ再生装置は、前記第１のテレビチューナから受け取った映像符号化ストリームを前記主たる映像符号化ストリームとして一のキーフレーム探索部に入力する一の映像符号化ストリーム入力部と、前記第２のテレビチューナから受け取った映像符号化ストリームを前記他の映像符号化ストリームとして他のキーフレーム探索部に入力する他の映像符号化ストリーム入力部と、を有し、前記第１のテレビチューナから受け取った映像符号化ストリーム及び前記第２のテレビチューナから受け取った映像符号化ストリームに基づいて前記映像符号化ストリーム合成部が合成した前記映像符号化ストリームを復号し、復号した前記複数の映像データを前記表示部に同時に表示する映像を生成することを特徴としたものである。

本発明によれば、１つの映像符号化ストリームをデコードすることが可能なレベルのデコード処理能力やメモリ量しか備えていない映像デコーダを１つのみ備える場合であっても、複数の映像符号化ストリームを同時に表示することが可能となる。また、主に視聴したい映像符号化ストリームの復号結果を映像表示部画面全体に表示し、部分的に確認したい映像符号化ストリームの復号結果をその中に子画面表示する方法で複数の映像データを同時表示する場合に、主に視聴したい映像の品質を落とすことなく、表示することができる。

本発明のデジタル映像データ再生装置は、複数の入力されたデジタル映像データ（すなわち映像符号化ストリーム）をデコードし、デコードした複数の映像データを表示するためのものである。実際の放送等に用いられるデジタル映像データには、音声や字幕やデータ放送用のデータなどが含まれており、本明細書におけるデジタル映像データにおいても、映像データの他にそれらを含んでいてもよい。

図１は、本発明の一実施形態に係るデジタル映像データ再生装置の一例の概略構成を示す図である。同図に示すように、デジタル映像データ再生装置１００は、第１の映像符号化ストリーム入力部１１、第２の映像符号化ストリーム入力部１２、第１のキーフレーム探索部１３、第２のキーフレーム探索部１４、データ抽出部１５、映像符号化ストリーム合成部１６、映像復号部１７、表示映像生成部１８を備えた構成となっている。なお、この例のデジタル映像データ再生装置は、２つの映像符号化ストリームを受け取り、図１１のように、主に視聴したい一方の映像符号化ストリームの復号結果を映像表示部１００１の画面Ａの略全体に表示し、部分的に確認したい他方の映像符号化ストリームの復号結果を映像表示部１００１の子画面Ｂに表示するものとする。

第１の映像符号化ストリーム入力部１１及び第２の映像符号化ストリーム入力部１２は、図示しないテレビチューナで受信した放送データや記録媒体上の録画ファイルなどから抜き出された映像符号化ストリームを受け取る部分である。本例では、一方の映像符号化ストリーム入力部である第１の映像符号化ストリーム入力部１１に入力される映像符号化ストリームが特定の主たる映像符号化ストリーム（主に視聴したい映像符号化ストリーム）である。また、他方の映像符号化ストリーム入力部である第２の映像符号化ストリーム入力部１２に入力される映像符号化ストリームが、デジタル映像データ再生装置１００に入力された複数の映像符号化ストリームのうちの上記主たる映像符号化ストリームを除いた他の映像符号化ストリーム（部分的に確認したい映像符号化ストリーム）である。

第１のキーフレーム探索部１３及び第２のキーフレーム探索部１４は、それぞれ、第１の映像符号化ストリーム入力部１１及び第２の映像符号化ストリーム入力部１２で受け取った映像符号化ストリームの中からキーフレームを探索する部分である。キーフレームを探索するには、映像符号化ストリームのヘッダ部分だけの解析をしてキーフレーム位置を取得しても良いし、映像符号化ストリームに付加された管理情報からキーフレーム位置を取得しても良い。映像符号化ストリームに付加された管理情報とは、例えば、デジタル放送の多重フォーマットとして用いられるＭＰＥＧ−２ ＴＳにおける各パケットにランダムアクセス可能か否かを示すフラグであり、この情報を利用してキーフレームを取得してもよい。また、録画したファイルは、各種ファイルフォーマットに準じたファイルとなっており、例えば、ＳＤ−Ｖｉｄｅｏ規格のファイル、ＡＳＦファイル、ＭＰ４ファイルなどがあり得る。これらもそれぞれ、キーフレーム位置に関する情報が格納されているので、それを用いても良い。

データ抽出部１５は、第２のキーフレーム探索部１４で検出したキーフレーム位置の情報をもとに、第２の映像符号化ストリーム入力部１２で受け取った映像符号化ストリームの中から所定のデータを抽出する部分である。抽出するデータは、キーフレーム１フレームでも良いし、キーフレームとそれに続く１フレームでも良いし、キーフレームとそれに続く複数フレームでも良い。地上波デジタルワンセグ放送では、映像符号化データをＰＥＳという単位で多重を行うが、このＰＥＳは１フレームもしくは複数フレームで構成されるため、抽出する符号化データとしてキーフレームを含むＰＥＳ１個としても良い。

映像符号化ストリーム合成部１６は、第１のキーフレーム探索部１３で検出したキーフレーム位置の情報をもとに、第１の映像符号化ストリーム入力部１１で受け取った第１の映像符号化ストリームのキーフレームとその１つ前のフレーム（キーフレームの直前のフレーム）との間に、データ抽出部１５で抽出した第２の映像符号化ストリームの一部分を挿入する部分である。

映像復号部１７は、映像符号化ストリーム合成部１６から受け取った映像符号化ストリームを、あらかじめ指定された映像符号化方式もしくは受け取った映像符号化ストリームに付与されている情報を解釈して得た符号化方式で復号して映像データを作成する部分である。
表示映像生成部１８は、映像復号部１７で復号した複数の映像データを同時表示するために、映像の合成や画像サイズ変換などを行い、復号した複数の映像データを同時に表示する映像を生成する部分である。表示映像生成部１８で映像合成や表示サイズを変換するためには、映像復号部の復号結果である映像データが複数の映像符号化ストリームの内のどのストリームを復号して得られたものであるのかが判別可能でなければ制御できないが、この判別方法については後述する。

図２に、図１のデジタル映像データ再生装置１００にて第１の映像符号化ストリームに第２の映像符号化ストリームの一部分を挿入して作成される映像符号化ストリーム（以下、ストリームという）の一例のイメージ図を示す。ここでは、第１のストリームは、Ｆ１、Ｆ２、Ｆ３・・・Ｆ９・・・との順にフレームが構成され、第２のストリームは、Ｓ１、Ｓ２、Ｓ３・・・Ｓ９・・・との順にフレームが構成されているものとし、また、Ｆ１、Ｓ１、Ｆ６、Ｓ６がキーフレームであり、それ以外のフレームが非キーフレームであるものとする。

図１のデジタル映像データ再生装置１００は、第１のストリームと第２のストリームを本方式のように多重する際に、例えば、図２に示すように、第２のストリームのキーフレームとそれに続く２フレームを第１のストリームのキーフレームとその１つ前のフレームとの間に挿入し、Ｓ１、Ｓ２、Ｓ３、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｓ６、Ｓ７、Ｓ８、Ｆ６、Ｆ７・・・とのようなストリームを作成する。

この例でも特許文献２に開示の技術を説明した時と同様に単純に１つ前の画像のみを必要とする符号化方式を用いるものとしてデコード時に必要となる参照フレームの数を算出する。本方式で多重したストリームの６フレーム目のＦ３をデコードし始める状況に着目すると、映像復号部１７がＦ３をデコードするためには、Ｆ２のデコード結果が必要である。ただし、特許文献２に開示の技術と違い、Ｆ３以降に現れる第２のストリームの最初のフレームであるＳ６はキーフレームであるため、Ｓ３のデコード結果はこの時点で不要である。また、１１フレーム目のＳ８をデコードし始める状況に着目すると、Ｓ８をデコードするためには、Ｓ７のデコード結果が必要であるが、Ｓ７以降に現れる第１のストリームの最初のフレームであるＦ６はキーフレームであるため、Ｆ５のデコード結果はこの時点で不要である。すなわち、本デジタル映像データ再生装置１００では、フレーム単位に多重された２個の映像符号化ストリームをデコードする際にも、１個分の映像を復号するための参照画像のメモリだけがあればデコードが可能となる。

図３は、図１のデジタル映像データ再生装置１００における、映像復号部１７で復号するストリームと、当該装置１００が接続される表示部／表示装置に表示される画面との関係を説明するための図である。図３（Ａ）は、図１のデジタル映像データ再生装置１００にて第１の映像符号化ストリームに第２の映像符号化ストリームの一部分を挿入して作成されるストリームの他の例のイメージ図を示し、図３（Ｂ）は、図３（Ａ）のストリームを復号したときに表示部／表示装置に表示される画面の例を示す。なお、ここでは、第１のストリームと第２のストリームの構成は、キーフレームがＦ１、Ｓ１、Ｆ５、Ｓ５であることを除いて、図２のものと同様であるものとする。

図１のデジタル映像データ再生装置１００は、第１のストリームと第２のストリームを多重する際に、例えば、図３（Ａ）に示すように、第１のストリームのキーフレームとその１つ前のフレームとの間に第２のストリームのキーフレームを挿入し、Ｓ１、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｓ５、Ｆ５、Ｆ６、・・・とフレームが続くようなストリームを作成する。

デジタル映像データ再生装置１００は、表示映像生成部１８を用いて映像合成や画像サイズ変換などを行うことで、映像復号部１７による図３（Ａ）のストリームの復号結果を、例えば、図３（Ｂ）のように、主に視聴したいストリームである第１のストリーム全体の復号結果を画面一杯に表示し、部分的に確認したいストリームである第２のストリームの一部（キーフレーム）の復号結果をその中に子画面表示することができる。

第２のストリームのキーフレームを図３（Ａ）のように第１のストリームを挿入する場合は、図３（Ｂ）に示すように、子画面には、第１のストリームのキーフレーム（Ｆ１）から第１のストリームの次のキーフレーム（Ｆ５）が復号されるまで、同じ画像（画像Ｓ１）が表示されるが、主画面には、品質の変わらない映像（図３の例では、画像Ｆ１〜Ｆ６）が表示される。このように、本デジタル映像データ再生装置１００は、主に視聴したいストリームのフレーム数等を減らさずに、部分的に確認したいストリームのデータの一部を抽出して多重することで、主に視聴したい映像の品質を落とすことなく、複数の映像データを同時表示することができる。

なお、本発明のデジタル映像データ再生装置の映像符号化ストリーム入力部がストリームとして受け取るデジタル映像データは、上記のテレビチューナで受信した放送データや記録媒体上の録画ファイル以外、例えば、ネットワーク経由で取得するストリーミングサービスの映像データやテレビ電話の映像データやビデオオンデマンドサービスで受け取る映像データや映像符号化データを送出するカメラの映像データであってもよい。

また、以上の例では、本発明のデジタル映像データ再生装置は、２つのストリームをデコードし同時表示していたが、３以上のストリームが入力された場合も、同様にして、それらのストリームをデコードし同時表示することができる。なお、その場合は、ストリーム毎に映像符号化ストリーム入力部及びキーフレーム探索部を有する、すなわち、入力ストリーム数分の映像符号化ストリーム入力部及びキーフレーム探索部が存在することとなる。

図４に、本発明のデジタル映像データ再生装置にて第２のストリームの一部分及び第３のストリームの一部分を第１のストリームに挿入して作成されるストリームの一例のイメージ図を示す。ここでは、第１の映像符号化ストリームは、Ｆ１、Ｆ２・・・との順にフレームが構成され、第２の映像符号化ストリームは、Ｓ１、Ｓ２・・・との順にフレームが構成され、第３の映像符号化ストリームは、Ｔ１、Ｔ２・・・との順にフレームが構成されているものとし、また、Ｆ１、Ｓ１、Ｔ１、Ｆ６、Ｓ６、Ｔ６がキーフレームであるものとする。

本発明のデジタル映像データ再生装置は、３個のストリームを多重する際に、例えば、図４に示すように、部分的に確認したいストリームである第２及び第３のストリームのキーフレームとそれに続く１フレームを挿入するストリームとする。そして、それらを第１のストリームのキーフレームとその１つ前のフレームとの間に挿入し、Ｓ１、Ｓ２、Ｔ１、Ｔ２、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｓ６、Ｓ７、Ｔ１、Ｔ２、Ｆ６、Ｆ７・・・とのようなストリームを作成する。

この例でも単純に１つ前の画像のみを必要とする符号化方式を用いるものとしてデコード時に必要となる参照フレームの数を算出する。本方式で多重したストリームの７フレーム目のＦ３をデコードし始める状況に着目すると、Ｆ３をデコードするためには、Ｆ２のデコード結果が必要である。ただし、Ｆ３以降に現れる第２のストリームの最初のフレームであるＳ６及び第３のストリームの最初のフレームであるＴ６はキーフレームであるため、Ｓ２とＴ２のデコード結果はこの時点で不要である。またＳ７やＴ７をデコードし始める状況に着目すると、それぞれ、Ｓ６やＴ６のデコード結果のみ必要となり、他のストリームのデコード結果が不要であることがわかる。すなわち、３個のストリームが本方式で多重されたストリームをデコードする際にも、１個のストリーム分の参照画像のメモリだけがあればデコードが可能となる。

なお、ここでは、主に視聴したいストリームのキーフレームとキーフレームの間に、部分的に確認したいストリームとして挿入するフレーム数を１〜３のいずれかに固定した例で説明したが、これらは可変であってもよい。例えば、挿入するストリームのデータ量に応じて挿入するフレーム数を制御したり、挿入される方のストリームのデータ量に応じて挿入するフレーム数を制御したりしてもよい。なお、ここでは、データ量とは、キーフレームと次のキーフレームの間のフレーム数を指す。

また、映像復号部の処理量を監視し、復号するフレーム数を算出して挿入するフレーム数を決定してもよい。例えば、使用している映像デコーダのデコード処理能力があまり高くなく、１つのストリームをデコードすることが可能なレベル程度であったとする。この場合、映像デコーダに与えるストリームとして、１つのストリームをデコードするのと同等の処理能力で復号可能となるようなストリームを作成するように制御すれば良い。

地上波デジタルワンセグ放送では、運用規定として、映像フレームレートは最小間隔が１５ｆｐｓと決められており、これ以上の映像フレームを処理することが困難な映像デコーダであった場合、単に部分的に確認したいストリームを挿入するだけでは映像フレームレートが規定を超えてしまう。その対策としては、部分的に確認したいストリームのフレームを挿入する際に、主に視聴したいストリームの中から他のフレームの参照フレームとなり得ないようなキーフレーム直前の非キーフレームを削除するとか、１５ｆｐｓに満たない場合のみ部分的に確認したい映像符号化ストリームのフレームを挿入するなどの手法で、１５ｆｐｓを超えないように制御すれば、フレームレートの観点からは運用規定に従ったストリームをデコーダに与えることができる。

また、各画像符号化方式のビットレートの限定として、映像デコーダでは、各規格で規定されたバッファモデルのサイズのデコーダバッファを保持していれば、復号時にデコーダバッファがオーバーフローすることが無いように符号化データが作成されることとなっている。このデコーダバッファを監視し、そのバッファを越えるようなデータの挿入を行わないように制御することで、バッファモデルの規定を満たすストリームをデコーダに与えることが出来る。このようなフレームレート及びビットレートの面から所有している映像デコーダの能力が１つのストリームをデコードするレベルであっても問題なく複数のストリームを処理することが可能となる。

その他、映像デコーダの負荷を重くしないようにする制御の方法として、部分的に確認したいストリームの挿入を、主に視聴したいストリームの全てのキーフレームの前に挿入するのではなく、キーフレームの何回かに１回のタイミングで挿入するとの制御を行っても良い。また、放送受信時には、受信感度の状況によっては、受信データが欠損する場合がある。例えば第１のストリームが実放送の受信時であり、その受信データが欠損状態になった場合に、その他の部分的に確認したいストリームの挿入量を増やすという制御を行っても良い。

上述の例のデジタル映像データ再生装置では、このようにして多重された映像符号化ストリームを映像復号部で復号して複数の映像データを作成し、復号した複数の映像データを表示映像生成部で合成したりサイズ変換したりして、図３（Ｂ）に示したような形態で表示させていた。しかし、表示方法はこれに限られず、映像表示領域を上下や左右に分割したり升目状に４画面に分割したりして、それぞれに表示するようにしてもよい。分割する際には、均等に分割しても良いし、任意の映像の表示領域を大きく表示するように分割しても良い。

上述のデジタル映像データ再生装置を端末に適用し、もしその端末に表示パネルが複数ある場合は、１つのパネルに主に視聴したい映像データを表示し、その他のパネルに部分的に確認したい映像データを表示するようにしてもよい。例えば、メインパネルとサブパネルとを有した携帯電話などが発売されているが、メインパネルに主に視聴したい映像データを表示し、サブパネルにその他の部分的に確認したい映像データを表示するようにしてもよい。またパソコンのウィンドウシステムのように、独立のウィンドウに各々の映像データを表示してもよい。

表示映像生成部でこのように映像データ毎に表示箇所や表示サイズを変えるためには、上述のように、映像復号部の復号結果である映像データが複数のストリームの内のどのストリームを復号して得られたものであるのかが判別可能でなければ制御できない。判別する方法としては、映像符号化ストリーム合成部から映像復号部にストリームを入力する際に、どのストリームであるのかを示す付加情報を与え、その付加情報を表示映像生成部に与える復号した映像データに付加するようにしても良いし、どのストリームであるのかを示す付加情報に応じて、映像復号部が出力する映像データの出力先を、変えるようにして表示映像生成部で判別可能とするようにしても良い。また、どのストリームであるのかを示す付加情報を映像符号化ストリーム合成部から映像復号部と表示映像生成部の両方に伝え、映像復号部から出力される映像データの順番と照らし合わせることで、表示映像生成部で判別可能とするようにしても良い。

なお、どのストリームであるのかを示す付加情報については、ストリームの伝送フォーマットが独自のフォーマットであるなら、そのフォーマットで、どのストリームであるのかを示す情報を定義すればよいし、既存のフォーマットとして、前述のＰＥＳ形式やＭＰＥＧ−２ ＴＳを利用する場合、ストリームの属性やパケットの優先度を示すフィールドにて、どのストリームであるのかを示すように定義しても良いし、タイムスタンプの値が通常時と異なる場合に部分的にちょっと確認したいストリームと定義するようにしても良い。

これまで、複数の映像符号化ストリームを同時表示する技術について説明してきたが、映像符号化ストリームを含んだコンテンツの場合、映像符号化ストリーム以外に、音声や字幕やデータ放送や静止画や番組情報などのメディアを含んでいることが一般的である。音声の場合は、映像と異なり、フレーム単位もしくはサンプル単位で閉じた符号化方式となっているか、もしくは参照フレームに相当するような他のフレームやサンプルの情報が必要であっても画像フレームのように巨大なメモリは必要としないため、全音声ストリームを復号して出力することは困難ではない。

ただし、複数の音声ストリームを同時に出力すると聞き取りにくいと思われ、主に視聴したいコンテンツに含まれる音声ストリームの復号結果のみ出力することが一般的に考えられる。その他に、全ての音声ストリームの復号結果をミキシングして出力しても良いし、任意の時間単位で出力する音声ストリームを切り替えるように制御しても良い。

また、ステレオスピーカーやヘッドフォン出力を備えている場合には、左側に主に視聴したいコンテンツの音声ストリームの復号結果をモノラル化して出力し、右側にその他の部分的に確認したいコンテンツの音声ストリームの復号結果をモノラル化して出力しても良い。部分的に確認したいコンテンツが複数存在する場合には、その中の代表的な音声ストリームを選択して出力しても良いし、ミキシングして出力しても良いし、任意の時間単位で出力する音声ストリームを切り替えるように制御しても良い。また、複数表示している映像符号化ストリームのうち、１つを選択してフォーカスすることを可能とし、フォーカスが当っている映像符号化ストリームのコンテンツに相当する音声ストリームを出力するようにしても良いが、これらの出力方法に限定されるわけではない。

また、字幕やデータ放送や静止画や番組情報は、全てのコンテンツのデータを出力するようにしても良いし、主に視聴したいコンテンツに含まれるデータを出力するようにしても良いし、フォーカスが当っている映像符号化ストリームのコンテンツに相当するデータを出力するようにしても良いし、パソコンのウィンドウシステムのように、独立のウィンドウに各々のデータを表示しても良い。また、この制御はメディア毎に独立に出力方法を選択しても良いし、映像音声以外のメディアの出力方法を統一するように制御しても良い。

またメディアによっては、映像を複数表示している時にはそのメディアを出力しないように制御するようにしても良い。例えば、地上波デジタルワンセグ放送では、ある番組の情報提示する際には、他の番組の情報と誤解されないような提示方法が求められているので、複数の番組の映像を表示しているときには、誤解を受けないために番組情報やデータ放送などのメディアの表示を一切行わないように制御するようにしても良い。

図５に本発明のデジタル映像データ再生装置を用いた表示装置の構成例を示す。同図の１００がこれまで説明してきた本発明のデジタル映像データ再生装置、２００が表示装置、２１がテレビチューナ、２２がタイムシフト再生用バッファ、２３が映像表示部、２４が第１の映像スイッチ、２５が第２の映像スイッチ、２６が第３の映像スイッチである。

通常のリアルタイムの放送を視聴しているときには、まず、第１の映像スイッチ２４をオフにし、第２の映像スイッチ２５を下側にして、テレビチューナ２１からのストリームをバッファリングせずにそのまま、主に視聴したいストリームとしてデジタル映像データ再生装置１００に入力する。そして、第３の映像スイッチ２６をオフ状態にして、部分的に確認したいストリームとしては何も入力しないようにすることで、映像表示部２３には、通常のリアルタイムの放送の映像データのみが入力される。

また、通話などのために放送が見られない状態になると、第１の映像スイッチ２４をオンにし、タイムシフト録画を開始し、タイムシフト再生用バッファ２２にストリームがたまってくる。次に通話が終了し、映像が見られる状態になると、第２の映像スイッチ２５を上側にし、タイムシフト再生用バッファ２２にたまっていたストリームを、主に視聴したい映像符号化ストリームとしてデジタル映像データ再生装置１００に入力する。この処理により、タイムシフト録画を継続しながらのタイムシフト再生が開始されることとなる。次にユーザからの操作などで、リアルタイムの放送の映像をちょっと確認する旨の操作がなされると、第３の映像スイッチ２６をオン状態にして、テレビチューナ２１からのストリームをバッファリングせずにそのまま、部分的に確認したいストリームとしてデジタル映像データ再生装置１００に入力する。この処理により、タイムシフト再生の映像を見ながら、リアルタイムの放送の映像をちょっと確認することが可能となる。次にタイムシフト再生用バッファ２２内のストリームが空になったら、通常のリアルタイム放送の視聴に戻るため、第１の映像スイッチ２４をオフにし、第２の映像スイッチ２５を下側にし、第３の映像スイッチ２６をオフに戻すことで、タイムシフト再生用バッファ２２へのデータ入力を停止する。このような構成とすることで、タイムシフト再生の映像の品質を落とさずに、リアルタイムの放送の映像も部分的に表示することが可能となる。

また、図６に本発明のデジタル映像データ再生装置を用いた表示装置の構成例の別の例を示す。この例の表示装置は、図５の構成の表示装置２００において、タイムシフト再生用バッファ２２に代えて、放送されたものを録画し録画ファイルとして記録する記録媒体３１を備えるようにしたものである。また、表示装置３００は、記録媒体３１に記録されている放送を録画したファイルを再生する際のストリームを主に視聴したいストリームとして入力する。このような構成とすることで、録画したファイルの再生中に、リアルタイムの放送の映像も部分的に表示することが可能となる。

また、図７に本発明のデジタル映像データ再生装置を用いた表示装置の構成例の別の例を示す。この例の表示装置は、図６の構成の表示装置３００において、テレビチューナ２１に代えて、記録媒体３１と同様な記録媒体４１を備えるようにしたものである。表示装置４００は、記録媒体３１に記録されている放送を録画したファイルを再生する際のストリームを主に視聴したい映像符号化ストリームとして入力し、記録媒体４１に記録されている放送を録画したファイルを再生する際のストリームを部分的に確認したい映像符号化ストリームとして入力する。このような構成とすることで、録画したあるファイルを再生中に、別のファイルの映像も部分的に表示することが可能となる。なお、記録媒体３１と記録媒体４１とは、一体であってもよい。

また、図８に本発明のデジタル映像データ再生装置を用いた表示装置の構成例の別の例を示す。この例の表示装置は、図５の構成の表示装置２００において。タイムシフト再生用バッファ２２に代えて、テレビチューナ（５１）をもう１つ備えるようにしたものである。なお、説明のため、テレビチューナのうち参照番号が２１のものを第１のテレビチューナ、５１のものを第２のテレビチューナという。表示装置５００は、第１のテレビチューナ２１からのストリームを主に視聴したいストリームとして入力し、第２のテレビチューナ５１からのストリームを部分的に確認したい映像符号化ストリームとして入力する。このような構成とすることで、あるチャネルの放送を視聴中に、別のチャネルの映像も部分的に表示することが可能となる。

本発明の一実施形態に係るデジタル映像データ再生装置の一例の概略構成を示すブロック図である。 図１に示すデジタル映像データ再生装置で複数の映像符号化ストリームをフレーム単位で多重したストリームの一例のイメージ図である。 図１のデジタル映像データ再生装置における、映像復号部で復号するストリームと、当該装置が接続される表示部／表示装置に表示される画面との関係を説明するための図である。 本発明のデジタル映像データ再生装置で複数の映像符号化ストリームをフレーム単位で多重したストリームの他の例のイメージ図である。 本発明の一実施形態に係るデジタル映像データ再生装置を用いた表示装置の構成例を示す図である。 本発明の一実施形態に係るデジタル映像データ再生装置を用いた表示装置の構成例を示す図である。 本発明の一実施形態に係るデジタル映像データ再生装置を用いた表示装置の構成例を示す図である。 本発明の一実施形態に係るデジタル映像データ再生装置を用いた表示装置の構成例を示す図である。 従来のデジタル映像データ再生装置の概略構成を示すブロック図である。 図９に示す従来のデジタル映像データ再生装置で複数の映像符号化ストリームをフレーム単位で多重したストリームのイメージ図である。 複数の映像データを同時表示する方法の一例を説明するための図である。

符号の説明

１００…デジタル映像データ再生装置、１１…第１の映像符号化ストリーム入力部、１２…第２の映像符号化ストリーム入力部、１３…第１のキーフレーム探索部、１４…第２のキーフレーム探索部、１５…データ抽出部、１６…映像符号化ストリーム合成部、１７…映像復号部、１８…表示映像生成部、２１…テレビチューナ、２２…タイムシフト再生用バッファ、２３…映像表示部、２４…第１の映像スイッチ、２５…第２の映像スイッチ、２６…第３の映像スイッチ、３１…記録媒体、４１…記録媒体、５１…テレビチューナ
２００，３００，４００，５００…表示装置。

Claims (5)

1. 複数の映像フレームを生成する複数の映像符号化ストリームを復号し、復号した複数の映像データを表示するためのデジタル映像データ再生装置であって、
   入力された前記映像符号化ストリームの符号化においてフレーム内符号化されたキーフレームを探索するキーフレーム探索部を前記映像符号化ストリーム毎に有し、
   入力された前記複数の映像符号化ストリームのうちの特定の主たる映像符号化ストリームを除く他の映像符号化ストリームについて、前記キーフレームまたは該キーフレームとそれに続く１もしくは複数の当該映像符号化ストリームを抽出する符号化データ抽出部と、
   前記主たる映像符号化ストリームにおける前記キーフレームと当該キーフレームの直前のフレームとの間に、前記符号化データ抽出部が抽出した映像符号化ストリームを挿入する映像符号化ストリーム合成部と、をさらに有し、
   該映像符号化ストリーム合成部で合成した映像符号化ストリームを復号し、複数の映像データを表示する映像を生成することを特徴とするデジタル映像データ再生装置。
2. 請求項１に記載のデジタル映像データ再生装置を備える表示装置であって、
   映像を表示する表示部と、
   テレビ放送を受信するテレビチューナと、
   該テレビチューナから受け取った映像符号化ストリームをバッファリングするバッファと、を備え、
   前記デジタル映像データ再生装置は、任意の時間前記バッファにてバッファリングした映像符号化ストリームを前記主たる映像符号化ストリームとして一のキーフレーム探索部に入力する一の映像符号化ストリーム入力部と、前記テレビチューナから受け取った映像符号化ストリームを前記他の映像符号化ストリームとして他のキーフレーム探索部に入力する他の映像符号化ストリーム入力部と、を有し、前記バッファにてバッファリングした映像符号化ストリーム及び前記テレビチューナから受け取った映像符号化ストリームに基づいて前記映像符号化ストリーム合成部が合成した前記映像符号化ストリームを復号し、
   復号した前記複数の映像データを前記表示部に同時に表示する映像を生成することを特徴とする表示装置。
3. 請求項１に記載のデジタル映像データ再生装置を備える表示装置であって、
   映像を表示する表示部と、
   テレビ放送を受信するテレビチューナと、
   テレビ放送を録画したファイルを記録する記録媒体と、を備え、
   前記デジタル映像データ再生装置は、前記記録媒体から読み出した録画ファイルの映像符号化ストリームを前記主たる映像符号化ストリームとして一のキーフレーム探索部に入力する一の映像符号化ストリーム入力部と、前記テレビチューナから受け取った映像符号化ストリームを前記他の映像符号化ストリームとして他のキーフレーム探索部に入力する他の映像符号化ストリーム入力部と、を有し、前記録画ファイルの映像符号化ストリーム及び前記テレビチューナから受け取った映像符号化ストリームに基づいて前記映像符号化ストリーム合成部が合成した前記映像符号化ストリームを復号し、
   復号した前記複数の映像データを前記表示部に同時に表示する映像を生成することを特徴とする表示装置。
4. 請求項１に記載のデジタル映像データ再生装置を備える表示装置であって、
   映像を表示する表示部と、
   テレビ放送を録画した第１のファイルを記録する第１の記録媒体と、
   テレビ放送を録画した第２のファイルを記録する第２の記録媒体と、を備え、
   前記デジタル映像データ再生装置は、前記第１の記録媒体から読み出した第１のファイルの映像符号化ストリームを前記主たる映像符号化ストリームとして一のキーフレーム探索部に入力する一の映像符号化ストリーム入力部と、前記第２の記録媒体から読み出した第２のファイルの映像符号化ストリームを前記他の映像符号化ストリームとして他のキーフレーム探索部に入力する他の映像符号化ストリーム入力部と、を有し、前記第１のファイルの映像符号化ストリーム及び前記第２のファイルの映像符号化ストリームに基づいて前記映像符号化ストリーム合成部が合成した前記映像符号化ストリームを復号し、
   復号した前記複数の映像データを前記表示部に同時に表示する映像を生成することを特徴とする表示装置。
5. 請求項１に記載のデジタル映像データ再生装置を備える表示装置であって、
   映像を表示する表示部と、
   テレビ放送を受信する第１及び第２のテレビチューナと、を備え、
   前記デジタル映像データ再生装置は、前記第１のテレビチューナから受け取った映像符号化ストリームを前記主たる映像符号化ストリームとして一のキーフレーム探索部に入力する一の映像符号化ストリーム入力部と、前記第２のテレビチューナから受け取った映像符号化ストリームを前記他の映像符号化ストリームとして他のキーフレーム探索部に入力する他の映像符号化ストリーム入力部と、を有し、前記第１のテレビチューナから受け取った映像符号化ストリーム及び前記第２のテレビチューナから受け取った映像符号化ストリームに基づいて前記映像符号化ストリーム合成部が合成した前記映像符号化ストリームを復号し、
   復号した前記複数の映像データを前記表示部に同時に表示する映像を生成することを特徴とする表示装置。

Images