JP4323776B2 - マルチチャンネル映像処理装置及びその方法 - Google Patents
マルチチャンネル映像処理装置及びその方法 Download PDFInfo
- Publication number
- JP4323776B2 JP4323776B2 JP2002329142A JP2002329142A JP4323776B2 JP 4323776 B2 JP4323776 B2 JP 4323776B2 JP 2002329142 A JP2002329142 A JP 2002329142A JP 2002329142 A JP2002329142 A JP 2002329142A JP 4323776 B2 JP4323776 B2 JP 4323776B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- channel
- vertical
- channels
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、映像の符号化データを有するビットストリームをデコードし、かつ、デコードされた映像を表示するための映像信号を生成する映像処理技術に関する。特に、複数のチャンネルの映像を扱うマルチチャンネル映像処理技術に関する。
【0002】
【従来の技術】
近年、世界の各地において、衛星によるディジタル放送や、地上波ディジタル放送が活発化してきている。ディジタル放送では、映像や音声等のデータは、MPEG(moving picture experts group)等の方式により圧縮符号化されており、複数のチャンネルの映像が多重化されて配信されていることが多い。
【0003】
ディジタル放送受信機では、複数チャンネルの映像の符号化データが多重化されたビットストリームを受信した場合、基本的には指定された1つのチャンネルの映像ストリーム及び音声ストリームを分離し、これらを復号して出力する。
【0004】
一方、単一チャンネルのみではなく、複数のチャンネルの映像の符号化データをデコードし、かつ、デコードされた映像を同時に表示することが必要な場合もある。例えば、特許文献1には、複数のデコーダを用いて、それぞれのデコーダに1つのチャンネルのビットストリームをデコードさせる装置が開示されている。
【0005】
【特許文献1】
特開平9−93131号公報
【0006】
【発明が解決しようとする課題】
このように、複数チャンネルの映像の符号化データをデコードするためには、複数のデコーダが用いられていた。このため、デコーダに要するコストを低下させにくいという問題があった。
【0007】
本発明は、複数チャンネルの映像の符号化データをデコードし、複数チャンネルの映像を表示するための映像信号を生成する、低コストなマルチチャンネル映像処理装置、及びその方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
前記課題を解決するため、請求項1の発明が講じた手段は、マルチチャンネル映像処理装置として、各々が1つのチャンネルの映像に対する符号化データを有する複数のビットストリームから、各ビットストリームを順次選択して1フレーム分ずつデコードすることにより、得られた復号化データを出力するデコード部と、前記デコード部によってデコードされた映像に対応する複数のチャンネルから1つを順次選択し、これに対応する前記復号化データに垂直方向の拡大縮小処理を行うことにより、得られた垂直方向の拡大縮小処理後のデータを出力する垂直フィルタ処理部と、映像が表示される位置に応じて前記複数のチャンネルから1つを順次選択し、これに対応する前記垂直方向の拡大縮小処理後のデータに水平方向の拡大縮小処理を行うことにより、得られた水平方向の拡大縮小処理後のデータを出力する水平フィルタ処理部と、前記水平方向の拡大縮小処理後のデータを合成することによって、複数のチャンネルの映像を表示するための映像信号を生成して出力する出力処理部とを備え、前記垂直フィルタ処理部は、前記デコード部が1のフレームに対する処理を開始した後の次の垂直同期信号の後に、前記フレームに対する処理を開始し、かつ、1のチャンネルの処理を開始してから、前記複数のチャンネルの数で垂直同期信号の間隔を除した期間が経過したときは、そのチャンネルの処理を終了するものであり、前記水平フィルタ処理部及び前記出力処理部は、前記垂直フィルタ処理部が前記フレームに対する処理を開始した後の次の垂直ブランキング期間の後に、前記フレームに対する処理を開始し、かつ、各フレームに対する前記複数のチャンネルの処理を、画面の上方に表示されるチャンネルから順に行うものであり、前記垂直フィルタ処理部が処理するチャンネルの順は、その処理の対象となるフレームと同一のフレームに対する前記デコード部による処理の際と同じ順である。
【0009】
請求項1の発明によると、映像の符号化データを複数チャンネルについて1つのデコーダによってデコードし、各チャンネルの映像について垂直、水平方向のサイズの調整等を行って、複数チャンネルの映像を表示装置に表示させるようにすることができる。また、垂直方向の拡大縮小処理が所定の時間内に収まらない場合であっても、他のチャンネルの処理に影響を与えないようにすることができる。
【0010】
また、請求項2の発明では、請求項1に記載のマルチチャンネル映像処理装置において、前記デコード部は、前記垂直フィルタ処理部が1のフレームの第2フィールドにおける1以上のスライスを処理した後、その次のフレームの処理を開始するものである。
【0011】
また、請求項3の発明では、請求項1に記載のマルチチャンネル映像処理装置において、前記垂直フィルタ処理部は、1のチャンネルの処理を開始してから、前記複数のチャンネルの数で垂直同期信号の間隔を除した期間が経過した後に、その次のチャンネルの処理を開始するものである。
【0012】
また、請求項4の発明では、請求項1に記載のマルチチャンネル映像処理装置において、前記出力処理部は、同一のラインに表示される映像のチャンネルのそれぞれに対応した出力処理回路を備えるものであり、前記出力処理回路は、それぞれ、処理対象のラインに表示される映像のチャンネルのうち、対応するものの前記水平方向の拡大縮小処理後のデータを格納するものである。
【0013】
請求項4の発明によると、出力処理部は、画面内において水平方向に並べて表示される映像の各チャンネルに対応して出力処理回路を備えればよく、ビットストリームに多重化されたチャンネルの全てに対応して備える必要がないので、ハードウェアの小規模化を図ることができる。
【0014】
また、請求項5の発明では、請求項4に記載のマルチチャンネル映像処理装置において、前記出力処理部は、前記出力処理回路のうち、前記処理対象のラインに表示される映像のチャンネルのデータを格納するものの出力を合成して出力するものである。
【0015】
また、請求項6の発明では、請求項1に記載のマルチチャンネル映像処理装置において、前記垂直フィルタ処理部は、前記デコード部が一部のチャンネルの処理を停止する場合は、前記デコード部が前記一部のチャンネルの処理を停止するフレームの前のフレームを当該垂直フィルタ処理部が処理した際と同じチャンネルの順で、前記垂直方向の拡大縮小処理を行うものである。
【0016】
請求項6の発明によると、デコード部が一部のチャンネルの処理を停止していても、垂直フィルタ処理部による他のチャンネルの処理に影響を与えない。また、デコード部による処理が停止されたフリーズ状態のチャンネルの映像に対しても、垂直方向の拡大縮小を行うことができる。
【0017】
また、請求項7の発明では、請求項1に記載のマルチチャンネル映像処理装置において、処理するチャンネル数を変更する場合には、前記デコード部は、変更後のチャンネル数についてのデコードを行い、前記垂直フィルタ処理部は、前記デコード部が前記変更後のチャンネル数についてのデコードを開始後の次の垂直同期信号後に、前記変更後のチャンネル数についての垂直方向の拡大縮小処理を行い、前記水平フィルタ処理部は、前記垂直フィルタ処理部が前記変更後のチャンネル数についての垂直方向の拡大縮小処理を開始後の次の垂直ブランキング期間後に、前記変更後のチャンネル数についての水平方向の拡大縮小処理を行うものである。
【0018】
請求項7の発明によると、処理するチャンネル数を変更する際に、映像出力を止める必要がない。
【0019】
また、請求項8の発明は、請求項7に記載のマルチチャンネル映像処理装置において、前記垂直フィルタ処理部が前記変更後のチャンネル数についての垂直方向の拡大縮小処理を開始後の次のフィールドが開始するときから、処理するチャンネル数を変更後の映像を表示するための同期信号に同期して動作するように構成されているものである。
【0020】
請求項8の発明によると、処理するチャンネル数を変更する際に、垂直同期信号が乱れず、乱れのない映像を連続して出力することができる。
【0021】
また、請求項9の発明では、請求項1に記載のマルチチャンネル映像処理装置において、前記出力処理部は、前記複数のチャンネルの映像を水平方向に並べて表示するための映像信号を生成するものである。
【0022】
また、請求項10の発明では、請求項1に記載のマルチチャンネル映像処理装置において、前記出力処理部は、複数の画面を表示するための映像信号を生成するものであって、前記複数の画面のうち、少なくとも1つは他の画面とは異なるサイズのものである。
【0023】
また、請求項11の発明は、マルチチャンネル映像処理方法として、各々が1つのチャンネルの映像に対する符号化データを有する複数のビットストリームから、各ビットストリームを順次選択して1フレーム分ずつデコードすることにより、復号化データを求めるデコードステップと、前記デコードステップにおいてデコードされた映像に対応する複数のチャンネルから1つを順次選択し、これに対応する前記復号化データに垂直方向の拡大縮小処理を行うことにより、得られた垂直方向の拡大縮小処理後のデータを求める垂直フィルタ処理ステップと、映像が表示される位置に応じて前記複数のチャンネルから1つを順次選択し、これに対応する前記垂直方向の拡大縮小処理後のデータに水平方向の拡大縮小処理を行うことにより、水平方向の拡大縮小処理後のデータを求める水平フィルタ処理ステップと、前記水平方向の拡大縮小処理後のデータを合成することによって、複数のチャンネルの映像を表示するための映像信号を生成する出力処理ステップとを備え、前記垂直フィルタ処理ステップは、前記デコードステップで1のフレームに対する処理を開始した後の次の垂直同期信号の後に、前記フレームに対する処理を開始し、かつ、1のチャンネルの処理を開始してから、前記複数のチャンネルの数で垂直同期信号の間隔を除した期間が経過したときは、そのチャンネルの処理を終了するものであり、前記水平フィルタ処理ステップ及び前記出力処理ステップは、前記垂直フィルタ処理ステップで前記フレームに対する処理を開始した後の次の垂直ブランキング期間の後に、前記フレームに対する処理を開始し、かつ、各フレームに対する前記複数のチャンネルの処理を、画面の上方に表示されるチャンネルから順に行うものであり、前記垂直フィルタ処理ステップで処理するチャンネルの順は、その処理の対象となるフレームと同一のフレームに対する前記デコードステップにおける処理の際と同じ順である。
【0024】
請求項11の発明によると、映像の符号化データを複数チャンネルについて1つのデコーダを用いてデコードし、各チャンネルの映像について垂直、水平方向のサイズの調整等を行って、複数チャンネルの映像を表示装置に表示させるようにすることができる。
【0025】
また、請求項12の発明は、請求項11に記載のマルチチャンネル映像処理方法において、前記デコードステップでは、前記垂直フィルタ処理ステップで1のフレームの第2フィールドにおける1以上のスライスを処理した後、その次のフレームの処理を開始するものである。
【0026】
また、請求項13の発明は、請求項11に記載のマルチチャンネル映像処理方法において、前記垂直フィルタ処理ステップでは、1のチャンネルの処理を開始してから、前記複数のチャンネルの数で垂直同期信号の間隔を除した期間が経過した後に、その次のチャンネルの処理を開始するものである。
【0027】
また、請求項14の発明は、請求項11に記載のマルチチャンネル映像処理方法において、前記出力処理ステップでは、処理対象のラインに表示される映像のチャンネルに対応した前記水平方向の拡大縮小処理後のデータを合成するものである。
【0028】
また、請求項15の発明は、請求項11に記載のマルチチャンネル映像処理方法において、前記デコードステップで一部のチャンネルの処理を停止する場合は、前記垂直フィルタ処理ステップでは、前記デコードステップで前記一部のチャンネルの処理を停止するフレームの前のフレームを当該垂直フィルタ処理ステップで処理した際と同じチャンネルの順で、前記垂直方向の拡大縮小処理を行うものである。
【0029】
また、請求項16の発明は、請求項11に記載のマルチチャンネル映像処理方法において、処理するチャンネル数を変更する場合には、前記デコードステップでは、変更後のチャンネル数についてのデコードを行い、前記垂直フィルタ処理ステップでは、前記デコードステップで前記変更後のチャンネル数についてのデコードを開始後の次の垂直同期信号後に、前記変更後のチャンネル数についての垂直方向の拡大縮小処理を行い、前記水平フィルタ処理ステップでは、前記垂直フィルタ処理ステップで前記変更後のチャンネル数についての垂直方向の拡大縮小処理を開始後の次の垂直ブランキング期間後に、前記変更後のチャンネル数についての水平方向の拡大縮小処理を行うものである。
【0030】
また、請求項17の発明は、請求項16に記載のマルチチャンネル映像処理方法において、前記垂直フィルタ処理ステップにおける前記変更後のチャンネル数の垂直方向の拡大縮小処理を開始後の次のフィールドが開始するときから、処理するチャンネル数を変更後の映像を表示するための同期信号に同期して処理を行うものである。
【0031】
また、請求項18の発明では、請求項11に記載のマルチチャンネル映像処理方法において、前記出力処理ステップは、前記複数のチャンネルの映像を水平方向に並べて表示するための映像信号を生成するものである。
【0032】
また、請求項19の発明では、請求項11に記載のマルチチャンネル映像処理方法において、前記出力処理ステップは、複数の画面を表示するための映像信号を生成するものであって、前記複数の画面のうち、少なくとも1つは他の画面とは異なるサイズのものである。
【0033】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0034】
(第1の実施形態)
図1は、本発明の第1の実施形態に係るマルチチャンネル映像処理装置の構成の例を示すブロック図である。図1のマルチチャンネル映像処理装置は、ディジタル放送受信処理部11と、ストリーム分離部12と、フレームメモリ20と、デコード部18と、出力処理部32とを備えている。フレームメモリ20は、ストリームバッファ21,22,23と、復号化ビデオバッファ26,27,28とを備えている。
【0035】
ディジタル放送受信処理部11には、多重化されたビットストリームの情報を含む受信信号RSが入力されている。ディジタル放送受信処理部11は、入力された受信信号RSから選局、復調を行って得られたビットストリームBSTを、ストリーム分離部12に出力する。このビットストリームBSTには、複数のチャンネルの映像の符号化データが時分割多重化されている。以下では例として、このビットストリームBSTには3チャンネルの映像の符号化データが多重化されているものとして説明する。また、各チャンネルの映像のデータは、インタレース方式用のものであるとし、フィールドの間隔は約1/60秒であるとする。
【0036】
ストリームバッファ21,22,23は、それぞれチャンネル1,2,3に対応している。ストリーム分離部12は、多重化されたビットストリームBSTを、チャンネル毎のビットストリーム、すなわち、各々が1つのチャンネルの映像に対する符号化データを有するビットストリームに分離して、ストリームバッファ21〜23のうち、対応するものに出力する。ストリームバッファ21〜23は、対応するチャンネルのビットストリームに含まれる符号化データを格納する。
【0037】
デコード部18は、デコーダを1つのみ有している。デコード部18は、3チャンネルのうちの1つを順次選択し、ストリームバッファ21〜23のうちの選択したチャンネルに対応するものから、選択したチャンネルの符号化データを1フレーム分ずつビットストリームとして読み出す。復号化ビデオバッファ26,27,28は、フレームバッファであって、それぞれチャンネル1,2,3に対応している。デコード部18は、読み出した符号化データを1フレーム分ずつ、1つのデコーダによってデコードし、得られた復号化データを、復号化ビデオバッファ26〜28のうち、対応するものに出力する。復号化ビデオバッファ26〜28は、それぞれに対応するチャンネルの復号化データを格納する。
【0038】
出力処理部32は、復号化ビデオバッファ26〜28から複数のチャンネルの復号化データを読み出し、必要に応じて合成し、複数のチャンネルの映像を水平方向に並べて表示するための映像信号VOを生成して出力する。映像信号VOは、CRT(cathode-ray tube)等の表示装置に与えられ、表示される。
【0039】
図2(a)は、表示装置の画面の上半分にチャンネル1(CH1)及びチャンネル2(CH2)の映像、下半分にチャンネル3(CH3)の映像が表示される場合の表示例を示す説明図である。図2(b)は、表示装置の画面の上半分にチャンネル1及びチャンネル3の映像、下半分にチャンネル2の映像が表示される場合の表示例を示す説明図である。
【0040】
図3は、図1のマルチチャンネル映像処理装置のデコード部18及び出力処理部32の動作の例を示すタイミングチャートである。図3は、図2(a)のように、チャンネル1,2の映像を表示装置の画面の上半分に表示し、チャンネル3の映像を画面の下半分に表示する場合について示している。
【0041】
図3においては、処理の対象を例えば“1_n_1f”のように表記している。以下では、各処理の表記において、最初の“1”,“2”又は“3”は処理対象のチャンネルを示し、その次の“n”,“n+1”等は処理対象のフレームの番号を示している(nは整数)。また、末尾の“1f”又は“2f”は、それぞれ第1フィールド,第2フィールドについての処理であることを示している。例えば、“1_n+1”は“1_(n+1)”を意味するものとする。
【0042】
図3において、デコード部18は、各チャンネルのビットストリームをストリームバッファ21〜23から順次読み出してデコードし、得られた復号化データを復号化ビデオバッファ26〜28に格納させる。出力処理部32は、復号化データを復号化ビデオバッファ26〜28から読み出し、各チャンネルの映像が表示画面内の望む位置に表示されるような映像信号VOを出力する。
【0043】
例えば、デコード部18が、チャンネル1、チャンネル2、チャンネル3という順に、n番目のフレームの処理を行うとする。この場合、デコード部18は、チャンネル1のビットストリームを1フレーム分デコードし(デコード処理“1_n”)、この処理が完了すると次にチャンネル2のビットストリームを1フレーム分デコードし(デコード処理“2_n”)、この処理が完了すると次にチャンネル3のビットストリームを1フレーム分デコードする(デコード処理“3_n”)。チャンネル1のデコードを開始した後の次の垂直ブランキング期間後において、出力処理部32は、各チャンネルが図2(a)のように表示されるように出力処理をして映像信号VOを生成し、出力する(出力処理“1_n_1f”,“2_n_1f”及び“3_n_1f”)。
【0044】
このように、図1のマルチチャンネル映像処理装置によると、複数チャンネルの映像の符号化データを、各チャンネルについて順次、1つのデコード部によってデコードし、かつ、複数のチャンネルの映像を1つの表示装置に同時に表示させることができる。
【0045】
図4は、図1のマルチチャンネル映像処理装置のデコード部18及び出力処理部32の動作の他の例を示すタイミングチャートである。図4は、図2(b)のように、チャンネル1,3の映像を表示装置の画面の上半分に表示し、チャンネル2の映像を表示装置の画面の下半分に表示する場合について示している。
【0046】
図4の場合、デコード部18におけるチャンネル3のデコード処理“3_n”がほとんど進んでおらず、1フィールド分の処理が終了していないときに、出力処理部32におけるチャンネル3の映像を出力する処理が開始されている。このため、このとき表示されるチャンネル3の映像は、現在のフレームにおけるデコード済みの部分と、これ以前のフレームとを合成したものとなる。したがって、チャンネル3の映像は正常に表示されない。
【0047】
図1のマルチチャンネル映像処理装置において、チャンネル1〜3の映像をいずれの位置にも正常に表示させるようにするためには、出力処理の開始前、すなわち、1フィールドの期間内に3チャンネルの1フレーム分のデコードを完了しなければならない。言い換えると、デコード部には、同じ数のチャンネルの1フレーム分のデコードを1フレームの期間内で行う場合に比べて、2倍の性能が必要である。つまり、デコード部には高いデコード性能が必要となる。そこで、第2の実施形態においては、デコード性能があまり高くなくても、チャンネル1〜3の映像をいずれの位置にも正常に表示させることができるマルチチャンネル映像処理装置について説明する。
【0048】
(第2の実施形態)
図5は、本発明の第2の実施形態に係るマルチチャンネル映像処理装置の構成の例を示すブロック図である。図5のマルチチャンネル映像処理装置は、ストリーム分離部102と、ストリームバッファ104,105,106と、デコード部108と、復号化ビデオバッファ110,111,112と、垂直フィルタ処理部114と、ビデオ垂直バッファ116,117,118と、水平フィルタ処理部120と、出力処理部122と、システム制御部124とを備えている。
【0049】
ストリーム分離部102及びシステム制御部124には、ビットストリームBSTが入力されている。ビットストリームBSTには、複数のチャンネルの映像の符号化データが時分割多重化されている。ここでは、ビットストリームBSTは、第1の実施形態において説明したものと同様のものであるとする。
【0050】
システム制御部124は、入力されたビットストリームBSTに多重化されているチャンネル数を判別する。また、システム制御部124は、各チャンネルの映像の拡大縮小率や画面内における表示位置を制御する。システム制御部124は、ストリーム分離部102、デコード部108、垂直フィルタ処理部114、水平フィルタ処理部120、及び出力処理部122に対する各種の制御を行う。
【0051】
ストリーム分離部102は、入力されたビットストリームBSTを各チャンネルのビットストリームに分離し、ストリームバッファ104,105,106のいずれかに出力する。ストリームバッファ104,105,106は、それぞれチャンネル1,2,3に対応しており、対応するチャンネルのビットストリームに含まれる符号化データを格納する。
【0052】
デコード部108は、デコーダを1つのみ有している。デコード部108は、システム制御部124の指示に従って、3チャンネルのうちの1つを順次選択し、ストリームバッファ104,105,106のうちの選択したチャンネルに対応するものから、符号化データを1フレーム分ずつ読み出す。デコード部108は、読み出した符号化データを1フレーム分ずつ、1つのデコーダによってデコードし、得られた復号化データを復号化ビデオバッファ110,111,112のいずれかに出力する。復号化ビデオバッファ110,111,112は、フレームバッファであって、それぞれチャンネル1,2,3に対応している。復号化ビデオバッファ110,111,112は、対応するチャンネルの復号化データを格納する。
【0053】
垂直フィルタ処理部114は、システム制御部124の指示に従って、3チャンネルのうちの1つを順次選択し、復号化ビデオバッファ110,111,112のうちの選択したチャンネルに対応するものから、復号化データを1フィールド分ずつ読み出す。垂直フィルタ処理部114は、システム制御部124及びデコード部108の指示に従って、読み出した復号化データに垂直方向処理、すなわち、画面の垂直方向の拡大縮小処理、及び垂直フィルタ処理を行い、得られた垂直方向処理後のデータをビデオ垂直バッファ116,117,118のいずれかに出力する。ビデオ垂直バッファ116,117,118は、フレームバッファであって、それぞれチャンネル1,2,3に対応している。ビデオ垂直バッファ116,117,118は、対応するチャンネルの垂直方向処理後のデータを格納する。
【0054】
水平フィルタ処理部120は、システム制御部124が行う指示に従って、画面内における各チャンネルの映像の表示位置に応じて、3チャンネルのうちの1つを必要に応じて順次選択する。水平フィルタ処理部120は、ビデオ垂直バッファ116,117,118のうちの選択したチャンネルに対応するものから、垂直方向処理後のデータを1ライン分ずつ読み出す。水平フィルタ処理部120は、読み出したデータに水平方向処理、すなわち、画面の水平方向の拡大縮小処理、及び水平フィルタ処理を行い、得られた水平方向処理後のデータを出力処理部122に出力する。出力処理部122は、水平方向処理後のデータを合成する出力処理を行って、出力映像信号VOUTを出力する。映像信号VOUTは、CRT等の表示装置に与えられ、表示される。
【0055】
図6は、図5の出力処理部122の構成の例を示すブロック図である。図6において、出力処理部122は、出力処理回路131,132,139と、画像合成部142とを備えている。出力処理回路131,132,139は、画面内において、同一のラインに表示される映像のチャンネルのそれぞれに対応している。出力処理回路131,132,139は、それぞれ、対応するチャンネルのデータであって、表示中のライン、及び次に表示されるべきラインのデータを格納する。画像合成部142は、システム制御部124の指示に従って、画面内における各チャンネルの映像の表示位置に応じて、出力処理回路131,132,139からデータを順次読み出して加算し、出力映像信号VOUTを出力する。
【0056】
図6の出力処理部122は、3個の出力処理回路131,132,139を備えているので、同一のラインに3つのチャンネルの映像が表示されるように、すなわち、3つのチャンネルの映像を画面内に水平方向に並べて表示することができる。同一のラインに例えば2つのチャンネルの映像が表示されれば十分である場合には、出力処理回路を2個だけ備えるようにすればよい。つまり、入力されたビットストリームBSTに多重化されたチャンネルの全てに対応して出力処理回路を備える必要はない。
【0057】
図7は、図5のデコード部108が行うデコード処理の流れを示すフローチャートである。まず、ステップS11において、デコード部108は、ビットストリームBSTに多重化された3チャンネルのうち、最初のチャンネルのデコードを開始すべきか否かを垂直同期信号のタイミングから判定する。垂直同期信号を検出した場合には、ステップS12に進んで最初のチャンネルのデコードを開始し、垂直同期信号を検出しなかった場合には、再びステップS11を実行する。ステップS12では、デコード部108は、処理すべきチャンネルの指定をシステム制御部124から受け取る。
【0058】
ステップS13では、デコード部108は、ストリームバッファ104,105,106のうち、指定されたチャンネルに対応したものを選択して、格納された符号化データを読み出す。デコード部108は、読み出した符号化データの1フレーム分に対してデコードを行い、復号化ビデオバッファ110,111,112のうち、指定されたチャンネルに対応したものに、得られた復号化データを格納させる。デコード部108は、第1フィールドのデコードを行ってから、これと同一フレームの第2フィールドのデコードを行う。
【0059】
ステップS14では、デコード部108は、ビットストリームBSTに多重化された3チャンネル全てのデコードが完了しているか否かを判定する。完了している場合にはステップS11に進んで次のフレームの処理を行い、完了していない場合には、ステップS12に戻って未処理のチャンネルのデコード処理を行う。
【0060】
図8は、図5の垂直フィルタ処理部114が行う垂直方向処理の流れを示すフローチャートである。まず、ステップS21において、垂直フィルタ処理部114は、垂直同期信号の検出を行う。垂直同期信号を検出した場合には、ステップS22に進んで最初のチャンネルの処理を開始し、垂直同期信号を検出しなかった場合には、再びステップS21を実行する。
【0061】
ステップS22では、垂直フィルタ処理部114は、処理すべきチャンネルの指定をシステム制御部124から受け取る。チャンネルが指定される順は、基本的には、同一のフレームに対する処理をデコード部108が行った際と同じ順である。
【0062】
ステップS23では、垂直フィルタ処理部114は、復号化ビデオバッファ110,111,112のうち、指定されたチャンネルに対応したものから復号化データを読み出す。垂直フィルタ処理部114は、読み出した復号化データに対して垂直方向処理を行い、ビデオ垂直バッファ116,117,118のうち、指定されたチャンネルに対応したものに、得られた垂直処理後のデータを格納させる。ステップS23では、垂直フィルタ処理部114は、スライスを単位として処理を行い、1つのスライスの処理が終了すると、ステップS24に進む。スライスは、1フィールドの画面の一部を構成する帯状の領域である。
【0063】
ステップS24では、垂直フィルタ処理部114は、1チャンネルの1フィールド分の処理のために使える時間内であるか否かを判断する。1チャンネルの1フィールド分の処理のために使える時間は、1フィールド当たりの時間を、ビットストリームBSTに多重化された映像のチャンネル数で割った時間である。例えば、フィールドの間隔が約1/60秒であり、ビットストリームBSTに3チャンネルの映像が多重化されている場合には、1チャンネルのために使える処理時間は約1/180秒である。垂直フィルタ処理部114は、処理中のフィールドの処理を開始してからの時間が1チャンネルのために使える処理時間内であり、かつ、このフィールドの処理が終了していない場合には、ステップS23に戻って次のスライスの処理を行い、その他の場合には、垂直フィルタ処理を終了し、ステップS25に進む。
【0064】
ステップS25では、垂直フィルタ処理部114は、全てのチャンネルの処理が完了しているか否かを判定する。完了している場合にはステップS21に進んで次のフィールドの処理を行い、完了していない場合には、ステップS22に戻って未処理のチャンネルの処理を行う。
【0065】
図9は、図5の水平フィルタ処理部120が行う水平方向処理の流れを示すフローチャートである。まず、ステップS31において、水平フィルタ処理部120は、垂直ブランキング期間であるか否かの判定を行う。垂直ブランキング期間である場合には、再びステップS31を実行し、垂直ブランキング期間ではない場合には、ステップS32に進み、最初のチャンネルの処理を開始する。
【0066】
ステップS32では、水平フィルタ処理部120は、処理すべきチャンネルの指定をシステム制御部124から受け取る。ここでは、同一のラインに表示されるチャンネルのうちの1つが指定される。ステップS33では、水平フィルタ処理部120は、ビデオ垂直バッファ116,117,118のうち、指定されたチャンネルに対応したものから垂直処理後のデータを読み出す。水平フィルタ処理部120は、読み出したデータに水平方向処理を行い、得られた水平処理後のデータを出力処理部122に出力する。
【0067】
ステップS34では、水平フィルタ処理部120は、他のチャンネルの処理をするか否かを判定する。同一のラインに2以上のチャンネルの画像を表示する場合には、そのラインに表示される全てのチャンネルを処理する必要がある。他のチャンネルを処理する場合には、ステップS32に戻って未処理のチャンネルの処理を行い、他のチャンネルを処理しない場合には、ステップS31に進んで次のラインの処理を行う。
【0068】
図10は、図5の出力処理部122が行う出力処理の流れを示すフローチャートである。まず、ステップS41において、出力処理部122は、垂直ブランキング期間であるか否かの判定を行う。垂直ブランキング期間である場合には、再びステップS41を実行し、垂直ブランキング期間ではない場合には、ステップS42に進む。
【0069】
ステップS42では、出力処理部122は、表示すべきチャンネルの指定をシステム制御部124から受け取る。ステップS43では、出力処理部122は、映像を表示すべき位置に応じて各チャンネルのデータを合成して、1ライン分の表示を行う。その後、ステップS41に進み、次のラインの処理を行う。
【0070】
図11は、図5のマルチチャンネル映像処理装置の動作の例を説明するタイミングチャートである。図11は、図2(a)のように、チャンネル1,2が画面の上半分に表示され、チャンネル3が画面の下半分に表示される場合について示している。図11において、垂直ブランキング期間を示す信号の波形が低電位である期間は、垂直ブランキング期間を示している。
【0071】
図11において、デコード処理“1_n”は、デコード部108が、チャンネル1のn番目のフレームの符号化データをストリームバッファ104から読み出してデコードし、得られた復号化データを復号化ビデオバッファ110に出力する処理である。デコード部108は、この処理を、垂直同期信号の後に開始する。
【0072】
デコード処理“2_n”は、デコード部108が、チャンネル2のn番目のフレームの符号化データをストリームバッファ105から読み出してデコードし、得られた復号化データを復号化ビデオバッファ111に出力する処理である。デコード部108は、デコード処理“2_n”を、デコード処理“1_n”が終了した後に開始する。
【0073】
デコード処理“3_n”は、デコード部108が、チャンネル3のn番目のフレームの符号化データをストリームバッファ106から読み出してデコードし、得られた復号化データを復号化ビデオバッファ112に出力する処理である。デコード部108は、デコード処理“3_n”を、デコード処理“2_n”が終了した後に開始する。
【0074】
デコード部108は、デコード処理“1_n”,“2_n”,“3_n”のそれぞれにおいて、その前半で第1フィールドの処理を行い、その後半で第2フィールドの処理を行っている。
【0075】
垂直方向処理“1_n_1f”は、チャンネル1のn番目のフレームにおける第1フィールドに対する垂直方向処理である。この処理は、垂直フィルタ処理部114が、チャンネル1の復号化データを復号化ビデオバッファ110から読み出し、垂直方向処理を行って、得られた垂直方向処理後のデータをビデオ垂直バッファ116に出力する処理である。垂直フィルタ処理部114は、この処理を、デコード処理“1_n”が開始された後、1フィールドに相当する期間経過後に、例えば、デコード処理“1_n”が開始された後の最初の垂直同期信号の後に開始する。
【0076】
垂直方向処理“2_n_1f”は、チャンネル2のn番目のフレームにおける第1フィールドに対する垂直方向処理である。この処理は、垂直フィルタ処理部114が、チャンネル2の復号化データを復号化ビデオバッファ111から読み出し、垂直方向処理を行って、得られた垂直方向処理後のデータをビデオ垂直バッファ117に出力する処理である。図8を参照して説明したように、1チャンネルに与えられた処理時間は約1/180秒であるので、垂直フィルタ処理部114は、この処理を、垂直方向処理“1_n_1f”が開始されてから約1/180秒後に開始する。
【0077】
垂直方向処理“3_n_1f”は、チャンネル3のn番目のフレームにおける第1フィールドに対する垂直方向処理である。この処理は、垂直フィルタ処理部114が、チャンネル3の復号化データを復号化ビデオバッファ112から読み出し、垂直方向処理を行って、得られた垂直方向処理後のデータをビデオ垂直バッファ118に出力する処理である。垂直フィルタ処理部114は、この処理を、垂直方向処理“2_n_1f”が開始されてから約1/180秒後に開始する。
【0078】
次に、1ライン分の水平方向処理“1_n_1f”と1ライン分の水平方向処理“2_n_1f”とが交互に行われ、チャンネル1,2について1フィールド分の処理が終了した後に、水平方向処理“3_n_1f”が行われる。図2(a)のように、チャンネル1,2が画面の上半分に表示され、チャンネル3が画面の下半分に表示されるようにするためである。
【0079】
水平方向処理“1_n_1f”は、チャンネル1のn番目のフレームにおける第1フィールドに対する水平方向処理である。この処理は、水平フィルタ処理部120が、チャンネル1の垂直方向処理後のデータをビデオ垂直バッファ116から読み出し、水平方向処理を行って、得られた水平方向処理後のデータを出力処理部122に出力する処理である。水平フィルタ処理部120は、この処理を、垂直方向処理“1_n_1f”が開始された後、1フィールドに相当する期間経過後に、例えば、垂直方向処理“1_n_1f”が開始された後の最初の垂直ブランキング期間の後に開始する。水平フィルタ処理部120は、システム制御部124の指示に従って、1ライン分ずつ水平方向処理を行う。
【0080】
同様に、水平方向処理“2_n_1f”,“3_n_1f”は、それぞれチャンネル2,3のn番目のフレームにおける第1フィールドに対する水平方向処理である。これらの処理は、水平フィルタ処理部120が、チャンネル2,3の垂直方向処理後のデータをビデオ垂直バッファ117,118のそれぞれから読み出し、水平方向処理を行って、得られた水平方向処理後のデータを出力処理部122に出力する処理である。
【0081】
出力処理“1_n_1f”は、チャンネル1のn番目のフレームにおける第1フィールドに対する出力処理である。この処理は、出力処理部122が、システム制御部124の指示に従って、チャンネル1の水平方向処理後のデータを適切なタイミングで画面に出力する処理である。
【0082】
出力処理部122があるラインについての出力処理を開始するのは、水平フィルタ処理部120がそのラインについての処理を開始した後、1ライン分に相当する時間後である。
【0083】
同様に、出力処理“2_n_1f”,“3_n_1f”は、それぞれチャンネル2,3のn番目のフレームにおける第1フィールドに対する出力処理である。これらの処理は、出力処理部122が、システム制御部124の指示に従って、チャンネル2,3のそれぞれの水平方向処理後のデータを適切なタイミングで画面に出力する処理である。
【0084】
垂直フィルタ処理部114、水平フィルタ処理部120及び出力処理部122は、第1フィールドに対する処理を終了すると、同様にして第2フィールドに対する処理を行う。垂直フィルタ処理部114は、垂直方向処理“1_n_1f”を開始した後、1フィールドに相当する期間経過後に、例えば、垂直方向処理“1_n_1f”を開始した後の最初の垂直同期信号の後に、第2フィールドに対する垂直方向処理“1_n_2f”を開始する。
【0085】
n+1番目以降のフレームの処理も同様である。デコード部108は、デコード処理“1_n”を開始してから1フレームに相当する期間経過後に、例えば、デコード処理“1_n”を開始した後の2回目の垂直同期信号の後に、チャンネル1のn+1番目のフレームの符号化データに対するデコード処理“1_n+1”を開始する。
【0086】
デコード部108は、垂直フィルタ処理部114が垂直方向処理“1_n_2f”において1スライスの処理を終了した直後に、その次のn+1番目のフレームに対するデコード処理“1_n+1”を開始することが好ましい。すると、垂直フィルタ処理部114が、チャンネル1のn番目のフレームにおける第2フィールドの復号化データを用いて垂直方向処理“1_n_2f”を終える前に、デコード部108が、この復号化データにチャンネル1のn+1番目のフレームにおける第2フィールドの復号化データを上書きしないようにすることができる。また、デコード処理に用いる時間を最大限確保することができる。
【0087】
3チャンネルのうち、最初に処理されるチャンネル1のデコード処理“1_n”の前半(第1フィールドに対する処理)は、このチャンネル1の垂直方向処理“1_n_1f”が開始される前に終了していればよい。また、デコード処理“2_n”の前半、及びデコード処理“3_n”の前半は、それぞれ垂直方向処理“2_n_1f”,“3_n_1f”が開始される前に終了していればよい。
【0088】
デコード部108は、チャンネル1の垂直方向処理“1_n_1f”を開始する前に、すなわち、垂直同期信号の間隔Vの間に、全てのチャンネルについてn番目のフレームに対するデコード処理を完了する必要がないので、デコード部108の性能はあまり高くなくてもよい。例えば、図11において、全チャンネルのn+1番目のフレームをデコードするために使用できる期間は、垂直方向処理“1_n_2f”において1スライスの処理を終了してから、垂直方向処理“3_n+1_1f”が終了する直前までであり、その長さは約1.9Vである。
【0089】
垂直フィルタ処理部114は、1つのチャンネルの1フィールド分の垂直方向処理が、処理を開始してから時間V/c(cはチャンネル数)以内に終了しない場合は、時間V/cが経過した時点でその処理を終了する。したがって、他のチャンネルの垂直方向処理に影響を与えないようにすることができる。この場合、水平フィルタ処理部120は、処理できなかった部分については、ビデオ垂直バッファ116〜118のうちの対応するものから、それ以前のフレームの垂直方向処理後のデータを読み出す。
【0090】
図12は、図5のマルチチャンネル映像処理装置の動作の他の例を説明するタイミングチャートである。図12は、図2(b)のように、チャンネル1,3が画面の上半分に表示され、チャンネル2が画面の下半分に表示される場合について示している。図2(a)と図2(b)との違いは、チャンネル2の映像が表示される位置とチャンネル3の映像が表示される位置とが逆になっている点である。このため、図12においては、図11の水平方向処理、及び出力処理におけるチャンネル2の処理とチャンネル3の処理とが入れ換わっている。その他の点については、図11の場合と同様であるので、説明は省略する。
【0091】
このように、図5のマルチチャンネル映像処理装置は、図11及び図12のいずれの場合においても、出力処理を開始する前に、デコード処理が3チャンネル全てについて終了している。このため、一部のチャンネルのデコード処理が間に合わず、そのチャンネルの1フレーム前の映像を表示してしまうことがない。したがって、デコード処理される複数のチャンネルの映像のいずれをも、任意の位置に表示することができる。
【0092】
このように、図5のマルチチャンネル映像処理装置によると、複数チャンネルの映像の符号化データを、各チャンネルについて順次、1つのデコード部によってデコードし、かつ、複数のチャンネルの映像を1つの表示装置の任意の位置に同時に表示することができる。
【0093】
図5のマルチチャンネル映像処理装置は、3チャンネルの1フレーム分のデコードを1フレームの期間内で行えば十分であるので、図1のマルチチャンネル映像処理装置に比べて、デコード処理性能があまり高くなくてもよい。デコード処理を高速に行う必要がないので、デコード部のハードウエアを小規模化することができる。
【0094】
図13(a)は、チャンネル3の画面が他のチャンネルの画面よりも横に長い場合の表示例を示す説明図である。図13(b)は、チャンネル1の画面が他のチャンネルの画面よりも縦に長い場合の表示例を示す説明図である。このように、一部のチャンネルの画面サイズが他のチャンネルの画面サイズと異なっていてもよい。
【0095】
図14は、チャンネル2をフリーズさせる場合における、図5のマルチチャンネル映像処理装置の動作の例を説明するタイミングチャートである。
【0096】
デコード部108は、n−1番目のフレームの処理を終えるまでは、図11を参照して説明した処理と同様の処理を行う。図14に示すように、n番目のフレームの処理において、デコード部108は、フリーズさせるチャンネル2に対してはデコード処理を停止し、その次のチャンネル3のデコード処理を開始するまで待つ。この場合、垂直フィルタ処理部114は、デコード部108によるn番目のフレームの処理の際の順番ではなく、デコード部108が処理を停止するフレームの前のフレーム(n−1番目のフレーム)についての垂直方向処理の際と同じ順番で各チャンネルの処理を行う。
【0097】
すなわち、垂直フィルタ処理部114は、チャンネル2の処理を省略することなく、垂直方向処理“1_n_1f”,“2_n_1f”,“3_n_1f”を順に行う。垂直フィルタ処理部114は、フリーズ中のチャンネル2の処理の際には、フリーズする前のフレームのデータを復号化ビデオバッファ111から読み出している。同様に、水平フィルタ処理部120は、チャンネル2の水平方向処理を省略しない。n+1番目以降のフレームについても同様に処理が行われる。
【0098】
このように、図5のマルチチャンネル映像処理装置では、デコード部が一部のチャンネルの処理を停止し、フリーズするチャンネルがあっても、他のチャンネルの処理には影響を与えない。また、フリーズしたチャンネルの画像に対しても、垂直方向処理、水平方向処理及び出力処理を行うので、垂直方向及び水平方向の拡大縮小処理、並びに表示位置の変更を行うことができる。
【0099】
図15は、単一チャンネルの処理から複数チャンネルの処理へ、処理するチャンネル数を変更する場合における、図5のマルチチャンネル映像処理装置の動作の例を説明するタイミングチャートである。
【0100】
図15の場合、まず、図5のマルチチャンネル映像処理装置は、チャンネル1の同期信号に基づいて動作しており、システム制御部124は、デコード部108、垂直フィルタ処理部114、水平フィルタ処理部120、及び出力処理部122に、処理すべきチャンネル数“1”を指定しているとする。また、このマルチチャンネル映像処理装置は、チャンネル1のN番目(Nは整数であり、図15においてはN=n−1)のフレームを処理後、単一チャンネルの処理から複数チャンネルの処理へ、処理するチャンネル数を変更するものとする。
【0101】
ストリームバッファ104には、チャンネル1の符号化データが格納されているとする。デコード部108は、ストリームバッファ104からチャンネル1の符号化データを読み出し、N番目のフレームに対するデコード処理“N”を行う。デコード部108は、得られた復号化データを復号化ビデオバッファ110に格納させる。
【0102】
垂直フィルタ処理部114は、デコード処理“N”を開始後の次の垂直同期信号の後、及びその次の垂直同期信号の後において、復号化ビデオバッファ110から復号化データを読み出し、垂直方向処理“N_1f”及び“N_2f”をそれぞれ行う。垂直フィルタ処理部114は、得られた垂直方向処理後のデータをビデオ垂直バッファ116に格納させる。
【0103】
水平フィルタ処理部120は、垂直方向処理“N_1f”を開始後の次の垂直ブランキング期間の後、及びその次の垂直ブランキング期間の後において、ビデオ垂直バッファ116から垂直方向処理後のデータを読み出し、水平方向処理“N_1f”及び“N_2f”をそれぞれ行う。水平フィルタ処理部120は、得られた水平方向処理後のデータを出力処理部122に出力する。出力処理部122は、入力されたデータに基づいて映像信号を生成して出力する。
【0104】
デコード処理“N”が終了すると、システム制御部124は、処理すべきチャンネル数を変更し、デコード部108に変更後のチャンネル数“3”を指定する。システム制御部124は、デコード処理“N”が開始された後の2回目の垂直同期信号の後において、デコード部108に複数チャンネルのデコード処理“1_n”,“2_n”,“3_n”を順に行うようにさせる。
【0105】
また、垂直方向処理“N_2f”が終了すると、システム制御部124は、垂直フィルタ処理部114に変更後のチャンネル数“3”を指定する。システム制御部124は、デコード部108がデコード処理“1_n”を開始した後、その次の垂直同期信号の後に、垂直フィルタ処理部114に複数チャンネルの垂直方向処理“1_n_1f”,“2_n_1f”,“3_n_1f”を順に行うようにさせる。
【0106】
更に、水平方向処理“N_2f”が終了すると、システム制御部124は、水平フィルタ処理部120に変更後のチャンネル数“3”を指定する。システム制御部124は、垂直フィルタ処理部114が垂直方向処理“1_n_1f”を開始した後、その次の垂直ブランキング期間の後に、水平フィルタ処理部120に複数チャンネルの水平方向処理“1_n_1f”,“2_n_1f”,“3_n_1f”を行うようにさせる。
【0107】
デコード部108、垂直フィルタ処理部114及び水平フィルタ処理部120は、以後のフィールドについても同様に処理を繰り返す。
【0108】
図5のマルチチャンネル映像処理装置は、垂直フィルタ処理部114が複数チャンネルの処理を開始後、その次のフィールドが開始するときまでは同期信号Aに、その後は同期信号Bに同期して動作する。ここで、同期信号Aは、単一のチャンネル(チャンネル1)を表示するための垂直同期信号及び水平同期信号を示し、同期信号Bは、複数チャンネル(チャンネル1〜3)を表示するための垂直同期信号及び水平同期信号を示す。同期信号Aと同期信号Bとは同期しているものとする。
【0109】
なお、図5のマルチチャンネル映像処理装置が、複数チャンネルを表示するために出力する映像信号、及び単一チャンネルを表示するために出力する映像信号は、高精細信号であるHDTV(high definition television)信号、及び標準的な信号であるSDTV(standard definition television)信号のいずれであってもよい。
【0110】
このように、図5のマルチチャンネル映像処理装置は、単一チャンネルの処理から複数チャンネルの処理へ、処理するチャンネル数を変更する場合において、映像出力を止める必要がなく、乱れのない映像を連続的に出力することができる。
【0111】
図16は、複数チャンネルの処理から単一チャンネルの処理へ、処理するチャンネル数を変更する場合における、図5のマルチチャンネル映像処理装置の動作の例を説明するタイミングチャートである。
【0112】
図16の場合、まず、図5のマルチチャンネル映像処理装置は、複数チャンネルの同期信号に基づいて動作しており、システム制御部124は、デコード部108、垂直フィルタ処理部114、水平フィルタ処理部120、及び出力処理部122に、処理すべきチャンネル数“3”を指定しているとする。また、このマルチチャンネル映像処理装置は、チャンネル1〜3のn+1番目のフレームを処理後、複数チャンネルの処理から単一チャンネルの処理へ、処理するチャンネル数を変更するものとしている。図16においては、N=n+2としている。
【0113】
デコード部108は、n+1番目のフレームに対するデコード処理“1_n+1”,“2_n+1”,“3_n+1”を順に行う。垂直フィルタ処理部114は、デコード処理“1_n+1”の次の垂直同期信号の後、及びその次の垂直同期信号の後において、垂直方向処理“1_n+1_1f”等及び“1_n+1_2f”等をそれぞれ行う。水平フィルタ処理部120は、垂直方向処理“1_n+1_1f”の次の垂直ブランキング期間の後、及びその次の垂直ブランキング期間の後において、水平方向処理“1_n+1_1f”等及び“1_n+1_2f”等をそれぞれ行う。水平フィルタ処理部120は、得られた水平方向処理後のデータを出力処理部122に出力し、出力処理部122は、入力されたデータを合成して映像信号を生成し、出力する。
【0114】
デコード処理“3_n+1”が終了すると、システム制御部124は、処理すべきチャンネル数を変更し、デコード部108に変更後のチャンネル数“1”を指定する。システム制御部124は、デコード処理“1_n+1”が開始された後の2回目の垂直同期信号の後において、デコード部108にチャンネル1のデコード処理“N”を行うようにさせる。
【0115】
また、垂直方向処理“3_n+1_2f”が終了すると、システム制御部124は、垂直フィルタ処理部114に変更後のチャンネル数“1”を指定する。システム制御部124は、デコード部108がデコード処理“N”を開始した後、その次の垂直同期信号の後に、垂直フィルタ処理部114にチャンネル1の垂直方向処理“N_1f”を行うようにさせる。
【0116】
更に、水平方向処理“3_n+1_2f”が終了すると、システム制御部124は、水平フィルタ処理部120に変更後のチャンネル数“1”を指定する。システム制御部124は、垂直フィルタ処理部114が垂直方向処理“N_1f”を開始した後、その次の垂直ブランキング期間の後に、水平フィルタ処理部120にチャンネル1の水平方向処理“N_1f”を行うようにさせる。
【0117】
デコード部108、垂直フィルタ処理部114及び水平フィルタ処理部120は、以後のフィールドについても同様に処理を繰り返す。
【0118】
図5のマルチチャンネル映像処理装置は、垂直フィルタ処理部114がチャンネル1の処理を開始後、その次のフィールドが開始するときまでは同期信号Bに、その後は同期信号Aに同期して動作する。ここで、同期信号A及び同期信号Bは、図15を参照して説明したものと同様であり、同期信号Aと同期信号Bとは同期しているものとする。
【0119】
このように、図5のマルチチャンネル映像処理装置は、複数チャンネルの処理から単一チャンネルの処理へ、処理するチャンネル数を変更する場合においても、映像出力を止める必要がなく、乱れのない映像を連続的に出力することができる。
【0120】
(第2の実施形態の第1の変形例)
図17は、本発明の第2の実施形態の第1の変形例に係るマルチチャンネル映像処理装置の構成の例を示すブロック図である。図17のマルチチャンネル映像処理装置は、図5のマルチチャンネル映像処理装置において、セレクタ251,252,253を更に備え、システム制御部124に代えてシステム制御部224を備えている。その他の構成要素については、図5を参照して説明したものと同様である。
【0121】
ストリーム分離部102は、分離後の各チャンネルのビットストリームをセレクタ251〜253のそれぞれに出力する。また、それぞれが1つのチャンネルの映像の符号化データを有するビットストリームEB1,EB2,EB3が、セレクタ251〜253のそれぞれに、図17のマルチチャンネル映像処理装置の外部から入力されている。セレクタ251〜253はそれぞれ、入力された2つのビットストリームのうちのいずれかを、システム制御部224の指示に従って選択し、ストリームバッファ104〜106のうちの対応するものに出力する。
【0122】
図17の場合、セレクタ251,253はストリーム分離部102が出力するビットストリームを選択して出力し、セレクタ252は外部から入力されたビットストリームEB2を選択して出力している。このため、ストリーム分離部102に入力されるビットストリームBSTとは異なるビットストリームの映像を、チャンネル2の映像として表示することが可能となる。
【0123】
このように、図17のマルチチャンネル映像処理装置によると、複数のチャンネルの映像の符号化データが時分割多重化されたビットストリームと、外部入力として、他の装置から与えられたビットストリームとから、任意のチャンネルの映像を組み合わせて表示させることができる。
【0124】
(第2の実施形態の第2の変形例)
図18は、本発明の第2の実施形態の第2の変形例に係るマルチチャンネル映像処理装置の構成の例を示すブロック図である。図18のマルチチャンネル映像処理装置は、図5のマルチチャンネル映像処理装置において、ストリーム分離部102及びシステム制御部124に代えて、メモリカードリーダ362及びシステム制御部324のそれぞれを備えたものである。
【0125】
ストリームバッファ104及び106には、ビットストリームEB1及びEB3が、図18のマルチチャンネル映像処理装置の外部からそれぞれ入力されている。メモリカードリーダ362は、システム制御部324の指示に従って、着脱可能なメモリカード364が格納するデータを読み出し、ビットストリームとしてストリームバッファ105に出力する。メモリカード364は、例えばSD(secure digital)メモリカード、コンパクトフラッシュ(登録商標)、又はスマートメディア等のメモリカードである。なお、メモリカード364は、図18のマルチチャンネル映像処理装置に内蔵されていてもよい。
【0126】
このように、図18のマルチチャンネル映像処理装置によると、メモリカードに格納されたデータを読み出して、他のビットストリームから得られた映像とともに表示させることができる。
【0127】
なお、以上の実施形態においては、マルチチャンネル映像処理装置が出力する映像信号をCRT等の表示装置に与えて表示させるものとして説明したが、この映像信号をVTRやその他のレコーダに記録させるようにしてもよい。また、この映像信号をコンピュータに与えて、コンピュータのディスプレイ上に表示させるようにしてもよい。この場合、例えば、ディスプレイ上のウィンドウの1つに複数のチャンネルの映像を表示させるようにしてもよい。
【0128】
また、以上のマルチチャンネル映像処理装置における処理を、CPUを用いてソフトウェアによって行うようにしてもよい。
【0129】
また、ストリーム分離部、デコード部、垂直フィルタ処理部、水平フィルタ処理部、及び出力処理部が、システム制御部の機能を含むようにしてもよい。
【0130】
また、本発明に係るマルチチャンネル映像処理装置、及びその方法は、DVD(digital versatile disc)、CD(compact disk)、ハードディスク等の記録媒体から読み出されたビットストリーム等をも対象として処理を行うことができる。
【0131】
【発明の効果】
以上のように、本発明によると、映像の符号化データを複数チャンネルについてデコードし、複数チャンネルの映像を表示するための信号を生成する、マルチチャンネル映像処理装置及び方法を実現することができる。1つのデコーダによって複数チャンネルの映像についてのデコードを行うことができるので、低コスト化を図ることができる。また、デコード処理性能があまり高くなくても、いずれのチャンネルの映像をも任意の位置に表示することができるので、コストを更に抑えることができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態に係るマルチチャンネル映像処理装置の構成の例を示すブロック図である。
【図2】 (a)は、表示装置の画面の上半分にチャンネル1(CH1)及びチャンネル2(CH2)の映像、下半分にチャンネル3(CH3)の映像が表示される場合の表示例を示す説明図である。
(b)は、表示装置の画面の上半分にチャンネル1及びチャンネル3の映像、下半分にチャンネル2の映像が表示される場合の表示例を示す説明図である。
【図3】 図1のマルチチャンネル映像処理装置のデコード部及び出力処理部の動作の例を示すタイミングチャートである。
【図4】 図1のマルチチャンネル映像処理装置のデコード部及び出力処理部の動作の他の例を示すタイミングチャートである。
【図5】 本発明の第2の実施形態に係るマルチチャンネル映像処理装置の構成の例を示すブロック図である。
【図6】 図5の出力処理部の構成の例を示すブロック図である。
【図7】 図5のデコード部が行うデコード処理の流れを示すフローチャートである。
【図8】 図5の垂直フィルタ処理部が行う垂直方向処理の流れを示すフローチャートである。
【図9】 図5の水平フィルタ処理部が行う水平方向処理の流れを示すフローチャートである。
【図10】 図5の出力処理部が行う出力処理の流れを示すフローチャートである。
【図11】 図5のマルチチャンネル映像処理装置の動作の例を説明するタイミングチャートである。
【図12】 図5のマルチチャンネル映像処理装置の動作の他の例を説明するタイミングチャートである。
【図13】 (a)は、チャンネル3の画面が他のチャンネルの画面よりも横に長い場合の表示例を示す説明図である。
(b)は、チャンネル1の画面が他のチャンネルの画面よりも縦に長い場合の表示例を示す説明図である。
【図14】 チャンネル2がフリーズした場合における、図5のマルチチャンネル映像処理装置の動作の例を説明するタイミングチャートである。
【図15】 単一チャンネルの処理から複数チャンネルの処理へ、処理するチャンネル数を変更する場合における、図5のマルチチャンネル映像処理装置の動作の例を説明するタイミングチャートである。
【図16】 複数チャンネルの処理から単一チャンネルの処理へ、処理するチャンネル数を変更する場合における、図5のマルチチャンネル映像処理装置の動作の例を説明するタイミングチャートである。
【図17】 本発明の第2の実施形態の第1の変形例に係るマルチチャンネル映像処理装置の構成の例を示すブロック図である。
【図18】 本発明の第2の実施形態の第2の変形例に係るマルチチャンネル映像処理装置の構成の例を示すブロック図である。
【符号の説明】
12,102 ストリーム分離部
21,22,23,104,105,106 ストリームバッファ
18,108 デコード部
26,27,28,110,111,112 復号化ビデオバッファ
114 垂直フィルタ処理部
116,117,118 ビデオ垂直バッファ
120 水平フィルタ処理部
32,122 出力処理部
124,224,324 システム制御部
131,132,139 出力処理回路
Claims (19)
- 各々が1つのチャンネルの映像に対する符号化データを有する複数のビットストリームから、各ビットストリームを順次選択して1フレーム分ずつデコードすることにより、得られた復号化データを出力するデコード部と、
前記デコード部によってデコードされた映像に対応する複数のチャンネルから1つを順次選択し、これに対応する前記復号化データに垂直方向の拡大縮小処理を行うことにより、得られた垂直方向の拡大縮小処理後のデータを出力する垂直フィルタ処理部と、
映像が表示される位置に応じて前記複数のチャンネルから1つを順次選択し、これに対応する前記垂直方向の拡大縮小処理後のデータに水平方向の拡大縮小処理を行うことにより、得られた水平方向の拡大縮小処理後のデータを出力する水平フィルタ処理部と、
前記水平方向の拡大縮小処理後のデータを合成することによって、複数のチャンネルの映像を表示するための映像信号を生成して出力する出力処理部とを備え、
前記垂直フィルタ処理部は、
前記デコード部が1のフレームに対する処理を開始した後の次の垂直同期信号の後に、前記フレームに対する処理を開始し、かつ、1のチャンネルの処理を開始してから、前記複数のチャンネルの数で垂直同期信号の間隔を除した期間が経過したときは、そのチャンネルの処理を終了するものであり、
前記水平フィルタ処理部及び前記出力処理部は、
前記垂直フィルタ処理部が前記フレームに対する処理を開始した後の次の垂直ブランキング期間の後に、前記フレームに対する処理を開始し、かつ、各フレームに対する前記複数のチャンネルの処理を、画面の上方に表示されるチャンネルから順に行うものであり、
前記垂直フィルタ処理部が処理するチャンネルの順は、その処理の対象となるフレームと同一のフレームに対する前記デコード部による処理の際と同じ順である
マルチチャンネル映像処理装置。 - 請求項1に記載のマルチチャンネル映像処理装置において、
前記デコード部は、
前記垂直フィルタ処理部が1のフレームの第2フィールドにおける1以上のスライスを処理した後、その次のフレームの処理を開始するものである
ことを特徴とするマルチチャンネル映像処理装置。 - 請求項1に記載のマルチチャンネル映像処理装置において、
前記垂直フィルタ処理部は、
1のチャンネルの処理を開始してから、前記複数のチャンネルの数で垂直同期信号の間隔を除した期間が経過した後に、その次のチャンネルの処理を開始するものである
ことを特徴とするマルチチャンネル映像処理装置。 - 請求項1に記載のマルチチャンネル映像処理装置において、
前記出力処理部は、
同一のラインに表示される映像のチャンネルのそれぞれに対応した出力処理回路を備えるものであり、
前記出力処理回路は、それぞれ、
処理対象のラインに表示される映像のチャンネルのうち、対応するものの前記水平方向の拡大縮小処理後のデータを格納するものである
ことを特徴とするマルチチャンネル映像処理装置。 - 請求項4に記載のマルチチャンネル映像処理装置において、
前記出力処理部は、
前記出力処理回路のうち、前記処理対象のラインに表示される映像のチャンネルのデータを格納するものの出力を合成して出力するものである
ことを特徴とするマルチチャンネル映像処理装置。 - 請求項1に記載のマルチチャンネル映像処理装置において、
前記垂直フィルタ処理部は、
前記デコード部が一部のチャンネルの処理を停止する場合は、前記デコード部が前記一部のチャンネルの処理を停止するフレームの前のフレームを当該垂直フィルタ処理部が処理した際と同じチャンネルの順で、前記垂直方向の拡大縮小処理を行うものである
ことを特徴とするマルチチャンネル映像処理装置。 - 請求項1に記載のマルチチャンネル映像処理装置において、
処理するチャンネル数を変更する場合には、
前記デコード部は、
変更後のチャンネル数についてのデコードを行い、
前記垂直フィルタ処理部は、
前記デコード部が前記変更後のチャンネル数についてのデコードを開始後の次の垂直同期信号後に、前記変更後のチャンネル数についての垂直方向の拡大縮小処理を行い、
前記水平フィルタ処理部は、
前記垂直フィルタ処理部が前記変更後のチャンネル数についての垂直方向の拡大縮小処理を開始後の次の垂直ブランキング期間後に、前記変更後のチャンネル数についての水平方向の拡大縮小処理を行う
ことを特徴とするマルチチャンネル映像処理装置。 - 請求項7に記載のマルチチャンネル映像処理装置において、
前記垂直フィルタ処理部が前記変更後のチャンネル数についての垂直方向の拡大縮小処理を開始後の次のフィールドが開始するときから、処理するチャンネル数を変更後の映像を表示するための同期信号に同期して動作するように構成されている
ことを特徴とするマルチチャンネル映像処理装置。 - 請求項1に記載のマルチチャンネル映像処理装置において、
前記出力処理部は、
前記複数のチャンネルの映像を水平方向に並べて表示するための映像信号を生成するものである
ことを特徴とするマルチチャンネル映像処理装置。 - 請求項1に記載のマルチチャンネル映像処理装置において、
前記出力処理部は、
複数の画面を表示するための映像信号を生成するものであって、前記複数の画面のうち、少なくとも1つは他の画面とは異なるサイズのものである
ことを特徴とするマルチチャンネル映像処理装置。 - 各々が1つのチャンネルの映像に対する符号化データを有する複数のビットストリームから、各ビットストリームを順次選択して1フレーム分ずつデコードすることにより、復号化データを求めるデコードステップと、
前記デコードステップにおいてデコードされた映像に対応する複数のチャンネルから1つを順次選択し、これに対応する前記復号化データに垂直方向の拡大縮小処理を行うことにより、得られた垂直方向の拡大縮小処理後のデータを求める垂直フィルタ処理ステップと、
映像が表示される位置に応じて前記複数のチャンネルから1つを順次選択し、これに対応する前記垂直方向の拡大縮小処理後のデータに水平方向の拡大縮小処理を行うことにより、水平方向の拡大縮小処理後のデータを求める水平フィルタ処理ステップと、
前記水平方向の拡大縮小処理後のデータを合成することによって、複数のチャンネルの映像を表示するための映像信号を生成する出力処理ステップとを備え、
前記垂直フィルタ処理ステップは、
前記デコードステップで1のフレームに対する処理を開始した後の次の垂直同期信号の後に、前記フレームに対する処理を開始し、かつ、1のチャンネルの処理を開始してから、前記複数のチャンネルの数で垂直同期信号の間隔を除した期間が経過したときは、そのチャンネルの処理を終了するものであり、
前記水平フィルタ処理ステップ及び前記出力処理ステップは、
前記垂直フィルタ処理ステップで前記フレームに対する処理を開始した後の次の垂直ブランキング期間の後に、前記フレームに対する処理を開始し、かつ、各フレームに対する前記複数のチャンネルの処理を、画面の上方に表示されるチャンネルから順に行うものであり、
前記垂直フィルタ処理ステップで処理するチャンネルの順は、その処理の対象となるフレームと同一のフレームに対する前記デコードステップにおける処理の際と同じ順であるマルチチャンネル映像処理方法。 - 請求項11に記載のマルチチャンネル映像処理方法において、
前記デコードステップでは、
前記垂直フィルタ処理ステップで1のフレームの第2フィールドにおける1以上のスライスを処理した後、その次のフレームの処理を開始する
ことを特徴とするマルチチャンネル映像処理方法。 - 請求項11に記載のマルチチャンネル映像処理方法において、
前記垂直フィルタ処理ステップでは、
1のチャンネルの処理を開始してから、前記複数のチャンネルの数で垂直同期信号の間隔を除した期間が経過した後に、その次のチャンネルの処理を開始する
ことを特徴とするマルチチャンネル映像処理方法。 - 請求項11に記載のマルチチャンネル映像処理方法において、
前記出力処理ステップでは、
処理対象のラインに表示される映像のチャンネルに対応した前記水平方向の拡大縮小処理後のデータを合成する
ことを特徴とするマルチチャンネル映像処理方法。 - 請求項11に記載のマルチチャンネル映像処理方法において、
前記デコードステップで一部のチャンネルの処理を停止する場合は、
前記垂直フィルタ処理ステップでは、
前記デコードステップで前記一部のチャンネルの処理を停止するフレームの前のフレームを当該垂直フィルタ処理ステップで処理した際と同じチャンネルの順で、前記垂直方向の拡大縮小処理を行う
ことを特徴とするマルチチャンネル映像処理方法。 - 請求項11に記載のマルチチャンネル映像処理方法において、
処理するチャンネル数を変更する場合には、
前記デコードステップでは、
変更後のチャンネル数についてのデコードを行い、
前記垂直フィルタ処理ステップでは、
前記デコードステップで前記変更後のチャンネル数についてのデコードを開始後の次の垂直同期信号後に、前記変更後のチャンネル数についての垂直方向の拡大縮小処理を行い、
前記水平フィルタ処理ステップでは、
前記垂直フィルタ処理ステップで前記変更後のチャンネル数についての垂直方向の拡大縮小処理を開始後の次の垂直ブランキング期間後に、前記変更後のチャンネル数についての水平方向の拡大縮小処理を行う
ことを特徴とするマルチチャンネル映像処理方法。 - 請求項16に記載のマルチチャンネル映像処理方法において、
前記垂直フィルタ処理ステップにおける前記変更後のチャンネル数の垂直方向の拡大縮小処理を開始後の次のフィールドが開始するときから、処理するチャンネル数を変更後の映像を表示するための同期信号に同期して処理を行う
ことを特徴とするマルチチャンネル映像処理方法。 - 請求項11に記載のマルチチャンネル映像処理方法において、
前記出力処理ステップは、
前記複数のチャンネルの映像を水平方向に並べて表示するための映像信号を生成するものである
ことを特徴とするマルチチャンネル映像処理方法。 - 請求項11に記載のマルチチャンネル映像処理方法において、
前記出力処理ステップは、
複数の画面を表示するための映像信号を生成するものであって、前記複数の画面のうち、少なくとも1つは他の画面とは異なるサイズのものである
ことを特徴とするマルチチャンネル映像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002329142A JP4323776B2 (ja) | 2001-11-14 | 2002-11-13 | マルチチャンネル映像処理装置及びその方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001348523 | 2001-11-14 | ||
JP2001-348523 | 2001-11-14 | ||
JP2002329142A JP4323776B2 (ja) | 2001-11-14 | 2002-11-13 | マルチチャンネル映像処理装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003219309A JP2003219309A (ja) | 2003-07-31 |
JP4323776B2 true JP4323776B2 (ja) | 2009-09-02 |
Family
ID=27667196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002329142A Expired - Fee Related JP4323776B2 (ja) | 2001-11-14 | 2002-11-13 | マルチチャンネル映像処理装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4323776B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007215060A (ja) * | 2006-02-13 | 2007-08-23 | Sharp Corp | 記録再生装置 |
US8330866B2 (en) * | 2006-02-21 | 2012-12-11 | Qualcomm Incorporated | Multi-program viewing in a wireless apparatus |
US8428048B2 (en) | 2006-02-21 | 2013-04-23 | Qualcomm Incorporated | Multi-program viewing in a wireless apparatus |
JP2007288443A (ja) * | 2006-04-14 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 画像データ復号装置 |
US9055275B2 (en) | 2011-05-11 | 2015-06-09 | Mitsubishi Electric Corporation | Image information playback unit, image information playback device and synchronization control method |
-
2002
- 2002-11-13 JP JP2002329142A patent/JP4323776B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003219309A (ja) | 2003-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3617573B2 (ja) | フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機 | |
US7373022B2 (en) | Apparatus and method for reproducing image | |
EP1069764A2 (en) | Image quality confirmation apparatus and method, and recording medium recording program therefor | |
JP4568468B2 (ja) | 2つの異なるビデオプログラムを同時に記録及び表示するための方法及び装置 | |
JP2007282280A (ja) | 信号処理装置 | |
JP2006345169A (ja) | デジタルテレビ受信端末装置 | |
KR100882545B1 (ko) | 녹화 출력 신호를 디스플레이에 제공하는 방법 및 비디오 신호 녹화 모니터링 장치 | |
US7042950B2 (en) | Multichannel video processing unit and method | |
US20110069225A1 (en) | Method and system for transmitting and processing high definition digital video signals | |
JP4323776B2 (ja) | マルチチャンネル映像処理装置及びその方法 | |
US7446819B2 (en) | Apparatus and method for processing video signals | |
EP0979005B1 (en) | Image decoder | |
JP2008306660A (ja) | 映像信号処理装置 | |
US20060132504A1 (en) | Content combining apparatus and method | |
JP2004507174A (ja) | マルチウィンドウビデオ信号の生成 | |
KR100209882B1 (ko) | 플레이백기능을 갖는 다중화면 디스플레이장치 | |
JP2005331674A (ja) | 画像表示装置 | |
US20060274200A1 (en) | Decoder and method for decoding bit stream | |
JP2000032475A (ja) | 動画像再生装置 | |
JP4323130B2 (ja) | ビデオ表示装置上にフリーズ画像を表示する方法および装置 | |
US8098737B1 (en) | Robust multi-tuner/multi-channel audio/video rendering on a single-chip high-definition digital multimedia receiver | |
JP2002094949A (ja) | 映像情報再生装置及び再生方法 | |
KR20050038146A (ko) | 영상 감시 시스템에서의 주사방식 변환방법 및 장치 | |
JP2002101348A (ja) | デジタル放送受信機及び画像表示方法 | |
KR100301831B1 (ko) | 픽쳐인프리즈-픽쳐발생장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060523 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060803 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090605 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |