JP2006303638A - 映像処理装置 - Google Patents

Abstract

【課題】 複数の映像データをつなぎあわせて再生するつなぎ再生を円滑に処理することが可能な映像処理装置を提供する。
【解決手段】 上記映像処理装置は，映像データを復号する複数の復号器（１２３）と；上記複数の復号器により復号された複数の映像データを切替えて一つの映像ストリームとして出力する切替部（１３０）とを備え，上記複数の復号器各々は並列に配列されており，上記切替部は，上記各復号器の処理状況に応じて，上記映像データを切替えることを特徴としている。
【選択図】 図１

Description

本発明は映像を少なくとも再生することが可能な映像処理装置に関する。

現在では，情報技術の発達に伴い，ビデオカメラ等の撮像装置を用いて撮影した映像データはディジタル化され，光ディスク，磁気ディスク，半導体メモリなどのランダムアクセス可能な記録媒体に記録されるのが一般的になりつつある（例えば，特許文献１参照）。

放送業界等においても，取材先の現場で撮影したニュース等の素材となる映像データをランダムアクセス可能な記録媒体に記録し，その記録された複数個の映像データの中から適当な映像部分を取り出して，一つの放送番組用の映像データ（完パケ）に編集し，放送する場合が多くなってきている。

特開２００３−２８４００５号公報

しかしながら，編集作業において複数の映像データをつなぎあわせて再生（つなぎ再生）するに際して，取材の撮影で記録媒体に記録された映像データ等の先頭の部分又は終わりの部分には，映像データの復号処理には必要だが，編集には必要のない余分な映像データが存在し，スムーズなつなぎ再生を実現することが困難であった。

また，撮像装置（又は，カムコーダ）等の機材に応じて映像データのフォーマットが異なる場合が多々あり，編集時使用される編集処理装置が対応可能なフォーマットに予め変換する必要があるため，スムーズなつなぎ再生を実現することが困難であった。

本発明は，上記問題点に鑑みてなされたものであり，本発明の目的は，複数の映像データをつなぎあわせて再生するつなぎ再生を円滑に処理することが可能な，新規かつ改良された映像処理装置を提供することである。

上記課題を解決するため，本発明の第１の観点によれば，複数の映像データを画像処理し，映像ストリームを出力する映像処理装置が提供される。上記映像処理装置は，映像データを復号する複数の復号器と；上記複数の復号器により復号された複数の映像データを切替えて一つの映像ストリームとして出力する切替部とを備え，上記複数の復号器各々は並列に配列されており，上記切替部は，上記各復号器の処理状況に応じて，上記映像データを切替えることを特徴としている。

本発明によれば，復号器が複数並列に配列されているため，複数の映像データをつなぎあわせて連続して再生する場合，一の復号器が復号していた映像データの終わりの部分で次の映像データを他の復号器が前もってある程度復号する。かかる構成によれば，映像データの切れ目なくすることができ，スムーズに映像データから次の映像データに切替えられる。また映像データのうち出力しない終わりの部分などを省いて，次の映像データに出力をシームレスに切替えることができる。

上記複数の復号器は，上記複数の映像データのうち奇数番目の映像データを復号する第１の復号器と，上記複数の映像データのうち偶数番目の映像データを復号する第２の復号器とであるようにしてもよい。

上記複数の復号器各々には，走査線数及び／又はフレームレート（単位時間当たりのフレーム数）を変換する変換器が連結するように構成してもよい。

上記映像データの画像フォーマットは，復号時に映像データに構成されるフレームのシーケンスが並べ替えられるリオーダリングが必要なフォーマットであるように構成してもよい。

上記課題を解決するために，本発明の別の観点によれば，複数個の映像データを画像処理し，映像ストリームを出力する映像処理装置が提供される。上記映像処理装置は，復号することが可能な映像データの画像フォーマットがお互いに異なる第１の復号部と第２の復号部とを一組とする複数の画像復号ユニットと；上記複数の画像復号ユニットにより復号された映像データを切替えて一つの映像ストリームとして出力する切替部とを備え，上記複数の画像復号ユニット各々は並列に配列され，上記切替部は，上記各画像復号ユニットの処理に応じて，上記映像ストリームとして出力する上記映像データを切替えることを特徴としている。

上記画像復号ユニットには，上記第１の復号部又は第２の復号部のいずれか一方に上記映像データの画像フォーマットに応じて，該映像データを送出する入力切替部をさらに備えるようにしてもよい。

上記複数の画像復号ユニット各々には，走査線数及び／又はフレームレートを変換する変換器が備わるように構成してもよい。

上記映像データの画像フォーマットのうち一つは，復号時に映像データに構成されるフレームのシーケンスを並べ替えるリオーダリングが必要なフォーマットであるように構成してもよい。かかる構成により，リオーダリングを実行する間の遅延を防ぎ，映像データ間で生じる時間を最小限に縮めて，シームレスに複数の映像データをつなぎ再生することができる。

以上説明したように，本発明によれば，複数の映像データを切れ間無くスムーズに再生することができ，映像データの先頭部分又は終わりの部分を再生せずに，次の映像データを再生することができる。

以下，本発明の好適な実施の形態について，添付図面を参照しながら詳細に説明する。なお，以下の説明及び添付図面において，略同一の機能及び構成を有する構成要素については，同一符号を付することにより，重複説明を省略する。

（記録再生装置について）
まず，図１を参照しながら，第１の実施の形態にかかる記録再生装置（映像処理装置）１０１について説明する。なお，図１は，第１の実施の形態にかかる記録再生装置の概略的な構成の一例を示すブロック図である。

記録再生装置１０１は，入力する映像信号を映像データに符号化し，記録媒体１３１に記録する記録機能と，記録媒体１３１に記録された映像データを復号し，ディスプレイ装置（図示せず。）等に出力する再生機能とを兼ね備えた装置である。

なお，第１の実施の形態にかかる映像データは，画像部分に該当する画像データのことを示すが，かかる例に限定されず，画像，音声，もしくは属性の部分うち少なくとも一つの部分に該当するデータを総称するものとする。

なお，記録再生装置１０１は，例えば，ケーブルなどでライン接続する外部装置から送出されてくる映像信号の入力を受ける場合や，ＣＣＤ等からなる撮像手段を備え，その撮像手段により送出されてくる映像信号を受ける場合等でも，符号化し，記録媒体に記録することができる。上記撮像手段を備える場合，記録再生装置１０１は，撮像可能であって，撮像した映像データを記録媒体に記録する，または，記録媒体に記録された映像データを再生する一体型カムコーダ装置といえる。

図１に示すように，第１の実施の形態にかかる記録再生装置１０１は，制御コントローラ１１３と，画像符号化部１１５と，オーディオ符号化部１１９と，メタ符号化部１２１と，画像復号部１２３と，オーディオ復号部１２５と，メタ復号部１２７と，出力切替部１３０と，記憶装置１３３と，記録／再生部１３５と，メディア符号化部１３７と，メディア復号部１３９とを備えている。

制御コントローラ１１３は，記録再生装置１０１に備わる各部（画像符号化部１１５〜メディア復号部１３９）の処理を制御する。例えば，画像符号化部１１５にエンコードするデータレート（ビットレート）の値を指示したり，記録媒体１４０に記録された映像データの復号を画像復号部１２３に指示したりする。

上記画像符号化部１１５は，映像信号のうち画像部分に相当する画像信号（ビデオ信号）がＳＩＦ（Ｓｏｕｒｃｅ Ｉｎｐｕｔ Ｆｏｒｍａｔ）等の所定フォーマットに変換された画像信号を入力する。

なお，第１の実施の形態にかかる画像信号は，画像及び／又は音声などの信号からなる映像信号に含まれ，主として動画像の場合を例に挙げて説明するが，かかる例に限定されない。

画像符号化部１１５は，入力してくる上記画像信号のフレームのシーケンスを並び替え（リオーダリング），１又は２以上フレーム以上のピクチャから構成される映像データに符号化する。

上記画像符号化部１１５は，画像信号の入力を受けると，制御コントローラ１１３から指示を受けたデータレート（又は，ビットレート）に従って，例えば，ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２又はＭＰＥＧ４等の形式で圧縮等し，１又は２個以上の画像データ（又は，映像データ）を出力する。なお，上記指示されるデータレートは，例えば，３０Ｍｂｐｓ〜５０Ｍｂｐｓ等の高データレート，または，１．５Ｍｂｐｓ〜２．０Ｍｂｐｓ等の低データレートを例示することができるが，かかる例に限定されない。

画像符号化部１１５は，制御コントローラ１１３からデータレートが高データレートで指示された場合，高データレートの映像データを出力し，低データレートで指示された場合，低データレートの画像ストリームを出力することができる。

上記オーディオ符号化部１１９は，映像信号のうち音声部分に該当する音声信号を入力すると，上記音声信号をオーディオデータに符号化する。なお，上記画像符号化部１１５にて説明したように，オーディオ符号化部１１９は，制御コントローラ１１３から高データレートで指示されると，音声信号を高データレートで符号化し，低データレートで指示されると，音声信号を低データレートで符号化することが可能であるが，かかる例に限定されない。

上記オーディオ符号化部１１９により符号化されたオーディオデータは，記憶装置１３３に一時的に記憶される。

上記メタ符号化部１２１は，映像信号のうち属性信号（ＲＴ信号：リアルタイム信号）の入力を受けると，属性信号をメタデータに符号化する。なお，上記属性信号は，画像及び／又は音声に関するリアルタイム情報等であり，より具体的には，タイムコードや，撮影日時，ズーム倍率などを例示することができるが，かかる例に限定されない。

記憶装置１３３は，画像符号化部１１５，オーディオ符号化部１１９，メタ符号化部１２１から出力される，画像データ（又は，映像データ），オーディオデータ，メタデータ等のデータを自装置内の記憶領域に記憶することができる。

記憶装置１３３は，所定大きさの記憶領域を有して，上記説明した各種データを格納し，データを削除し，データを変更することができる。なお，第１の実施の形態にかかる記憶装置１３３は，例えば，ＳＤＲＡＭ，ＤＲＡＭ等のメモリを例示することができるが，かかる例に限定されない。

また，記憶装置１３３は，制御コントローラ１１３等からデータの読み出し／書き込みが指示されると，入力するデータを記憶領域に書き込み，または，記憶領域に記憶されたデータを読み出し，画像復号部１２３または記録／再生部１３５等に出力する。

なお，第１の実施の形態に係るフレーム（又は，枠）は画像信号，画像データ（又は，映像データ），オーディオデータ，メタデータに構成される最小単位の画像（又は，ピクチャ）や，音声，または属性等を示すものとするが，かかる例に限定されない。

記録／再生部１３５は，記憶装置１３３から受け取った記録用の画像データ，オーディオデータ，もしくはメタデータ（又は，映像データ）を記録媒体１４０に記録する，または，記録媒体１４０に記録された上記映像データを読み出し記憶装置１３３に送出する。

なお，第１の実施の形態にかかる記録媒体１４０は，ＣＤ，ＤＶＤ，またはＢｌｕ−ｒａｙＤｉｓｃ等，光ディスクの場合を例に挙げて説明するが，かかる例に限定されず，磁気ディスク等の場合でも実施可能である。

上記画像復号部１２３（１２３ａ，１２３ｂ）は，記録／再生部１３５により記録媒体１４０から読み込まれた画像部分に該当する画像データ（又は，映像データ）を記憶装置１３３から入力して画像信号に復号するデコーダである。

第１の実施の形態にかかる画像復号部１２３には，走査線数変換部１２４等をさらに連結することが可能であり，１フレームごとに走査線数を変換した後，画像信号に復号するが，かかる詳細については後程説明する。

出力切替部１３０は，画像復号部１２３ａ又は画像復号部１２３ｂから送出される画像データのどちらの一方を切替えて画像信号として出力する。なお，第１の実施の形態にかかる出力切替部１３０は，画像復号部１２３ａ又は画像復号部１２３ｂの２台のうちいずれか一方の画像信号を切替えて出力する場合を例に挙げて説明するが，かかる例に限定されず，例えば，出力切替部１３０は，３台以上の画像復号部１２３のうちいずれか一台の画像復号部１２３に切替えて画像信号として出力する場合でも実施可能である。

上記オーディオ復号部１２５は，オーディオデータを記憶装置１３３から入力すると，音声信号に復号し，出力するデコーダであり，上記メタ復号部１２７は，記憶装置１３３からメタデータを入力して属性信号に復号し，出力するデコーダである。

また，記録再生装置１０１は，画像復号部１２３，オーディオ復号部１２５，およびメタ復号部１２７により復号された映像信号を出力可能なディスプレイ装置（図示せず。）をさらに備えてもよい。

例えば，ディスプレイ装置は，映像信号を受けると画面上に動画像を表示することができる装置である。なお，ディスプレイ装置は，例えば，液晶ディスプレイなどを例示することができ，静止画像，動画像，もしくは音声又はそれらの任意の組合せなどを出力することが可能である。

（画像復号部について）
次に，図２を参照しながら，第１の実施の形態にかかる画像復号部１２３についてより具体的に説明する。なお，図２は，第１の実施の形態にかかる画像復号部の概略的な構成の一例を示すブロック図である。

図２に示すように，画像復号部１２３は，記憶装置１３３から画像データ（又は，映像データ）を入力し，画像データを画像信号に復号するデコード部１２２と，デコード部１２２からの画像信号を一時的に保存するベースバンド画像保存部１２０とを備えている。

ベースバンド画像保存部１２０は，例えば，デコード部１２２がＢピクチャを復号する際に，それ以前に復号したＩピクチャ又はＰピクチャなどをデコード部１２２が参照するために，一時的に復号した画像信号を保存することが可能である。

また，ベースバンド画像保存部１２０は，復号された画像信号を，ベースバンドの画像信号として出力切替部１３０に出力する。ベースバンド画像保存部１２０から出力された画像信号は，出力切替部１３０を経て，ディスプレイ装置（図示せず）等に出力される。

なお，ＭＰＥＧの場合，上記ピクチャには，Ｉピクチャ（Ｉｎｔｒａピクチャ，又は，フレーム内符号化画像）と，Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅピクチャ，又は，フレーム間順方向予測符号化画像）と，Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ符号化画像，又は，双方向予測符号化画像）と３つのタイプのピクチャが存在する。なお，第１の実施の形態にかかるピクチャは，画像信号に構成されるフレーム単位の画像信号，または，画像データに構成されるフレーム単位の画像データをいうが，かかる例に限定されない。

上記Ｉピクチャは，前のフレームとの相関関係を利用しない独立したピクチャであり，上記Ｐピクチャは，前のフレームとの相関関係を利用するピクチャであり，上記Ｂピクチャは，前後両方のフレームとの相関関係を利用するピクチャである。

一般的に，Ｂピクチャを使わずにＩピクチャとＰピクチャのみを使う場合よりも，ＢピクチャをＩピクチャ若しくはＰピクチャではさむことで使う場合の方が，同一ビットレートでの画質は良い。

なお，第１の実施の形態にかかる画像復号部１２３（又は，デコード部１２２）は，ＭＰＥＧ２又はＭＰＥＧ４等の形式で復号する場合を例に挙げて説明するが，画像データのシーケンスを並び替えるリオーダリングが必要な復号であれば，かかる例に限定されず，画像データが如何なる形式の場合でも実施可能である。

（映像データつなぎ再生処理について）
次に，図３を参照しながら，一般的な映像データ（又は，映像クリップ）つなぎ再生処理について説明する。なお，図３は，一般的な映像データつなぎ再生処理の概略を示す説明図である。なお，一般的な映像データつなぎ再生処理を実行する装置には，１台の復号器が備わっているものとする。なお，映像データは，開始から終わりまでのある区間からなる動画像又は静止画像をいうが，かかる例に限定されない。

図３（ａ）に示すように，映像データ１と映像データ２のように，複数の映像データをつないで再生（つなぎ再生）する場合，映像データ１と映像データ２のデータを順番に各々復号し，ディスプレイ装置等の出力デバイスに出力する。

図３（ｂ）に示すように，上記映像データ１には，Ｉ０，Ｂ１，…，Ｂ８，Ｐ９と複数のピクチャが配列されている。また上記映像データ２には，Ｉ０，Ｂ１，…，Ｂ４，Ｂ５のピクチャが配列されている。

なお，本明細書では，映像データに構成されるピクチャを特定するために，例えば，「Ｂ２」等と記載するが，「Ｂ２」のうち左側のＢは，Ｂピクチャなどのようにピクチャの種類を示し，右側の数字の２は，フレーム番号を示している。

図３（ｂ）に示すように，映像データ１をＩ０から順に復号していき，Ｂ７まで復号した時点で，次の映像データ２に切替えてそのままつないで再生する場合，Ｂ７を復号する際に，そのままＢ７のピクチャを復号することができず，Ｐ６又はＰ９など前後のピクチャを参照する必要があるため瞬時に復号できない。

また，映像データ２に構成されるＢ１及びＢ２は，復号する順番がＩ０よりも後続であるものの，ディスプレイ装置等の出力デバイスに出力する順番は，Ｉ０よりも前であるため，映像データ２のＩ０を復号した段階では，Ｂ１又はＢ２が復号されるまでは出力デバイスに出力することができない。

さらに，映像データ２のうち再生開始位置をＢ１とした場合，映像データ２が図３に示す破線位置にきた瞬間に映像データ２を復号開始したとしてもＩ０を復号した後に，Ｂ１を復号するため，映像データ１と映像データ２との間で隙間が生じ，映像データ１から映像データ２にスムーズにつないで（切替えて）再生することができない。

また，図３に（ｂ）に示すように，映像データ２に構成されるＢ１のピクチャから復号しようとしても，Ｉ０とＰ３を参照する必要があるため，まずＩ０のピクチャを復号することが必要となる。

以上，複数の映像データをスムーズにシームレスにつないで再生する場合，１台の復号器では実現することが困難である。しかしながら，第１の実施の形態にかかる映像データつなぎ再生処理では，図１又は図４等に示すように記録再生装置１０１に画像復号器１２３を複数台備えることで，かかる問題を解決している。以下，詳細に説明する。

次に，図４を参照しながら，第１の実施の形態にかかる映像データつなぎ再生処理について説明する。なお，図４は，第１の実施の形態にかかる映像データつなぎ再生処理の概略を示す説明図である。なお，映像データ１では，Ｐ７が映像信号として出力したくないピクチャであり，映像データ２では，Ｉ０が映像信号として出力したくないピクチャであるものとする。なお，上記の場合，出力しないピクチャが１フレームであるが，かかる例に限定されず，複数フレームの場合でも実施可能である。

図４（ａ）に示すように，上記図１を参照しながら説明したのと同様に，記録媒体１４０に記録された映像データを記録／再生部１３５が読み出し，その映像データを画像復号部１２３ａと画像復号部１２３ｂとが映像信号に復号し，出力切替部１３０が映像信号を切替えて出力する。

ここで，映像データ１と映像データ２とのつなぎ再生する場合，記録／再生部１３５は，記録媒体１４０から映像データ１，映像データ２の順に読み出す。記録／再生部１３５から映像データ１を時刻ｔ_０から順に受信すると，図４（ｂ）に示すように，画像復号部１２３ａは，Ｉ０，Ｐ１，Ｂ２，Ｂ３，…，Ｂ６，Ｐ７，Ｂ８の順にピクチャをデコード（復号）し，リオーダリングして，図３の表示側に示すように，Ｉ０，Ｂ２，Ｂ３，Ｐ１，…，Ｐ４，Ｂ８，Ｐ７の順にピクチャを出力する。

記録／再生部１３５は映像データ１の読み出しを終了すると，次に，記録／再生部１３５は，映像データ２の読み出しを開始する。記録／再生部１３５から映像データ２が送信されてくると，画像復号部１２３ｂは，Ｉ０，Ｐ１，Ｂ２，Ｂ３，…，Ｂ５，Ｂ６の順にピクチャをデコードし，図４（ｂ）の映像データ２の表示側に示すように，画像復号部１２３ｂは，Ｉ０，Ｂ２，Ｂ３，Ｐ１，…，Ｂ６，Ｐ４のように出力する。

第１の実施の形態にかかる記録再生装置１０１には，画像復号部１２３ａと画像復号部１２３ｂとが備わっているため，画像復号部１２３ｂは，出力切替部１３０によって切替えられるタイミング（図４（ｂ）に示す時刻ｔ_２）よりも前もって記録／再生部１３５から映像データ２を受信することができる。

したがって，画像復号部１２３ｂは，画像復号部１２３ａがＢ８を出力するタイミングで，Ｉ０を復号し出力することができるため，実際に出力切替部１３０から出力される映像信号には，Ｉ０が含ませずに済むことができる。

さらに，出力切替部１３０による切替タイミングとあわせて，画像復号部１２３ｂがＢ２を復号し出力切替部１３０に出力することができるため，記録媒体１４０から読み出された映像データ２のうち途中のピクチャであっても，そのピクチャがＢピクチャであっても，出力切替部１３０にタイミングよく再生開始位置のピクチャから出力することができる。なお，再生開始位置が映像データに構成される先頭のピクチャからどの程度離れているかに応じて，画像復号部１２３ｂが復号開始するタイミングが異なるが，そのタイミングについては制御コントローラ１１３が指示するものとする。

図４（ｃ）に示すように，出力切替部１３０が映像信号として出力すると，Ｉ０，Ｂ２，Ｂ３，Ｐ１，Ｂ５，…Ｂ２，Ｂ３，Ｐ１，Ｂ５，Ｂ６，Ｐ４のようになり，上記出力予定のないＰ７とＩ０のピクチャを省いて，シームレスにスムーズに映像データ１と映像データ２のつなぎ再生処理を実現している。

なお，画像復号部１２３ａが映像データ１を復号し，画像復号部１２３ｂが映像データ２を復号する場合を例に挙げて説明したが，かかる例に限定されず，例えば，画像復号部１２３ａが映像データ２を復号してもよい。どちらの画像復号部１２３がどちらの映像データを復号するのかは，制御コントローラ１１３が指示するものとする。

次に，図５を参照しながら，第２の実施の形態にかかる映像データつなぎ再生処理について説明する。図５は，第２の実施の形態にかかる映像データつなぎ再生処理の概略を示す説明図である。

なお，第２の実施の形態にかかる映像データつなぎ再生処理と，第１の実施の形態にかかる映像データつなぎ再生処理とを比較し，特に相違する点について説明する。その他については，特段の記載が無い場合実質的に同一であるため詳細な説明は省略する。

図５（ａ）に示すように，第２の実施の形態にかかる画像復号部１２３ａと画像復号部１２３ｂの各々に，走査線数変換部１２４ａと走査線数変換部１２４ｂとが連結している。その他に関しては，第１の実施の形態にかかる記録再生装置１０１と実質的に同一である。

上記走査線数変換部１２４は，フレーム単位又はフィールド単位に走査線数を変換することができる。例えば，ディスプレイ装置等の出力デバイスがＨＤフォーマット（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ ｆｏｒｍａｔ）対応の場合，画像復号部１２３が復号した映像信号（又は，画像信号）のフォーマットがＳＤフォーマット（Ｓｔａｎｄａｒｄ Ｄｉｆｉｎｉｔｉｏｎ ｆｏｒｍａｔ：走査線数）のままでは，出力切替部１３０が出力デバイス（図示せず）に出力しても，出力デバイスは出力できない。

したがって，画像復号部１２３が復号した映像信号を入力した走査線数変換部１２４が出力デバイスに対応するＨＤフォーマットに変換することで，出力デバイスが正常に映像信号を出力することができる。

図５（ｂ）に示すように，映像データ１と映像データ２とのつなぎ再生する場合，画像復号部１２３ａは，記録／再生部１３５から映像データ１を入力し，復号する。走査線数変換部１２４ａは，画像復号部１２３ａから映像データ１を時刻ｔ_０から順に受信すると，図５（ｂ）に示すように，走査線変換部１２４ａは，映像信号に構成されるフレーム０，フレーム１，フレーム２，フレーム３，…，フレーム７，フレーム８，フレーム９の順にフレームに構成される走査線数をＨＤフォーマットの走査線数に変換し，図５（ｂ）の表示側に示すように，変換後のフレーム１，フレーム２，…，フレーム９の順に映像信号を出力する。なお，走査線数を変換する方式は，ＳＤフォーマット／ＨＤフォーマットの走査線数を変換可能であれば，いかなる方式でも実施可能である。

なお，第２の実施の形態にかかる映像データ１では，フレーム９が出力切替部１３０から映像信号として出力したくないデータであり，映像データ２では，フレームＡが出力切替部１３０から映像信号として出力したくないデータであるとする。なお，上記の場合，出力しない映像信号が１フレームであるが，かかる例に限定されず，複数フレームの場合でも実施可能である。

次に，画像復号部１２３ｂから映像データ２が送信されてくると，走査線数変換部１２４ｂは，フレームＡ，フレームＢ，フレームＣ，…，フレームＧの順にＨＤフォーマットの走査線数に変換し，図５（ｂ）の映像データ２の表示側に示すように，走査線数変換部１２４ｂは，フレームＢ，フレームＣ，フレームＤ，…，フレームＦのように出力する。

第２の実施の形態にかかる記録再生装置１０１には，走査線数変換部１２４ａと走査線数変換部１２４ｂとが備わっているため，走査線数のフォーマット変換が必要な場合であっても，走査線数変換部１２４ｂは，出力切替部１３０によって切替えられるタイミング（図５（ｂ）に示す時刻ｔ_２）よりも前もって画像復号部１２３ｂから映像データ２を受信することができる。

したがって，走査線数変換部１２４ａがフレーム８（図５（ｂ）の表示側に示すフレーム８）を出力するタイミングで，走査線数変換部１２４ｂは，フレームＡとフレームＢとの走査線数をＨＤフォーマットに変換することができるため，出力切替部１３０の表示切替タイミング（図５（ｂ）に示すｔ_２）で，走査線数変換部１２４ｂはフレームＢを出力切替部１３０に出力し，出力切替部１３０からフレームＢが映像信号として出力される。

上記出力切替部１３０による切替タイミングとあわせて，走査線数変換部１２４ｂがフレームＢを出力切替部１３０に出力することができるため，記録媒体１４０から読み出された映像データ２のうち途中の映像であっても，出力切替部１３０にタイミングよく再生開始位置の部分から出力することができる。なお，再生開始位置が映像データに構成される先頭のフレームからどの程度離れているかに応じて，画像復号部１２３ｂ及び走査線数変換部１２４ｂが処理を開始するタイミングが異なるが，そのタイミングについては制御コントローラ１１３が指示するものとする。

図５（ｃ）に示すように，出力切替部１３０が映像信号として出力すると，フレーム１，フレーム２，フレーム３，フレーム４，フレーム５，…，フレームＢ，フレームＣ，…，フレームＦのようになり，上記出力予定のないフレーム９とフレームＡを省いて，シームレスにスムーズに映像データ１と映像データ２のつなぎ再生処理を実現している。

なお，画像復号部１２３ａが映像データ１を復号し，画像復号部１２３ｂが映像データ２を復号する場合を例に挙げて説明したが，かかる例に限定されず，例えば，画像復号部１２３ａが映像データ２を復号してもよい。どちらの画像復号部１２３がどちらの映像データを復号するのかは，制御コントローラ１１３が指示するものとする。

また，第２の実施の形態にかかる走査線数変換部１２４は，ＳＤフォーマット（走査線数：５２５本等）／ＨＤフォーマット（走査線数：１１２５本等）の走査線数を変換する場合を例に挙げて説明したが，かかる例に限定されない。例えば，走査線数変換部１２４は，ＮＴＳＣフォーマット（走査線数：５２５本）／ＰＡＬフォーマット（走査線数：６２５本）の走査線数を変換する場合等でも実施可能である。

また，第２の実施の形態にかかる記録再生装置１０１には，画像復号部１２３が複数備わる場合を例に挙げて説明したが，かかる例に限定されず，例えば，記録再生装置１０１には，画像復号部１２３が１つ備わる場合でも実施可能である。

次に，図６を参照しながら，第３の実施の形態にかかる映像データつなぎ再生処理について説明する。図６は，第３の実施の形態にかかる映像データつなぎ再生処理の概略を示す説明図である。なお，第３の実施の形態にかかる映像データつなぎ再生処理と，第１の実施の形態にかかる映像データつなぎ再生処理とを比較し，特に相違する点について説明する。その他については，特段の記載が無い場合実質的に同一であるため詳細な説明は省略する。

図６（ａ）に示すように，第３の実施の形態にかかる画像復号部１２３ａと画像復号部１２３ｂの各々に，フレーム数変換部１２６ａとフレーム数変換部１２６ｂとが連結している。その他に関しては，第１の実施の形態にかかる記録再生装置１０１と実質的に同一である。

上記フレーム数変換部１２６は，映像データに構成されるフレームについてフレーム数を変更することができる。つまり，映像データのフレームレートを変更することができる。例えば，フレーム数変換部１２６は，画像復号部１２３が復号した映像信号を入力し，２−３プルダウンによる方法で，２４フレーム／秒のフレームレートを３０フレーム／秒のフレームレートに変更することができる。なお，２−３プルダウンによる方法では，フィールド換算（１フレームは２フィールド）することによってフレームレートを変換している。

図６（ｂ）に示すように，映像データ１と映像データ２とのつなぎ再生する場合，画像復号部１２３ａは，記録／再生部１３５から映像データ１を入力し，復号する。フレーム数変換部１２６ａは，画像復号部１２３ａから映像データ１を時刻ｔ_０から順に受信すると，図６（ｂ）に示すように，走査線変換部１２４ａは，映像信号に構成されるフレーム１，フレーム２，…，フレーム９の順にフレームを入力し，変換後のフレームレートに適合するように，図６（ｂ）の表示側に示すように，フレーム１´，フレーム２´，…，フレーム５´の順に映像信号を出力する。

次に，画像復号部１２３ｂから映像データ２が送信されてくると，フレーム数変換部１２６ｂは，フレームＡ，フレームＢ，フレームＣ，…，フレームＧの順に入力し，変換後のフレームレートに適合するように，フレーム数変換部１２６ｂは，フレームＡ´，フレームＢ´，フレームＣ´，…，フレームＥ´のように出力する（図６（ｂ）の表示側）。

第３の実施の形態にかかる記録再生装置１０１には，フレーム数変換部１２６ａとフレーム数変換部１２６ｂとが備わっているため，フレーム数変換（フレームレート変換）が必要な場合であっても，フレーム数変換部１２６ｂは，出力切替部１３０によって切替えられるタイミング（図６（ｂ）に示す時刻ｔ_２）よりも前もって画像復号部１２３ｂから映像データ２を受信することができる。

したがって，図６（ｂ）の表示側に示すように，フレーム数変換部１２６ａがフレーム５´を出力するタイミングで，フレーム数変換部１２６ｂは，フレームＡを入力することができるため，出力切替部１３０の表示切替タイミング（図５（ｂ）に示すｔ_２）で，フレーム数変換部１２６ｂは，さらにフレームＢとフレームＣを入力し，フレームＡ´として出力切替部１３０に出力することができる。

上記出力切替部１３０による表示切替タイミングとあわせて，フレーム数変換部１２６ｂがフレームＢを出力切替部１３０に出力することができるため，記録媒体１４０から読み出された映像データ２のうち途中の映像であっても，出力切替部１３０にタイミングよく再生開始位置の部分から出力することができる。なお，再生開始位置が映像データに構成される先頭のフレームからどの程度離れているかに応じて，画像復号部１２３ｂ及びフレーム数変換部１２６ｂが処理を開始するタイミングが異なるが，そのタイミングについては制御コントローラ１１３が指示するものとする。

図６（ｃ）に示すように，出力切替部１３０が映像信号として出力すると，フレーム１´，フレーム２´，フレーム３´，…，フレームＡ´，フレームＢ´，…，フレームＥ´のようになり，シームレスにスムーズに映像データ１と映像データ２のつなぎ再生処理を実現している。

なお，画像復号部１２３ａが映像データ１を復号し，画像復号部１２３ｂが映像データ２を復号する場合を例に挙げて説明したが，かかる例に限定されず，例えば，画像復号部１２３ａが映像データ２を復号してもよい。どちらの画像復号部１２３がどちらの映像データを復号するのかは，制御コントローラ１１３が指示するものとする。

また，第２の実施の形態にかかるフレーム数変換部１２６は，２−３プルダウンによる方法で，２４フレーム／秒から３０フレーム／秒にフレームレートを変換する場合を例に挙げて説明したが，かかる例に限定されず，例えば，フレーム数変換部１２６は，３−２プルダウンによる方法で，３０フレーム／秒から２４フレーム／秒にフレームレートを変換する場合等でも実施可能である。

また，第２の実施の形態にかかる記録再生装置１０１には，画像復号部１２３が複数備わる場合を例に挙げて説明したが，かかる例に限定されず，例えば，記録再生装置１０１には，画像復号部１２３が１つ備わる場合でも実施可能である。

次に，図７を参照しながら，第１の実施の形態にかかる記録再生装置１０１の変形例について説明する。図７は，第１の実施の形態にかかる記録再生装置１０１の変形例の概略を示すブロック図である。

図１に示す第１の実施の形態にかかる記録再生装置１０１と，図７に示す第１の実施の形態にかかる記録再生装置１０１の変形例とを比較し，特に相違する点について説明する。その他については，特段の記載が無い場合実質的に同一であるため詳細な説明は省略する。

図７に示す記録再生装置１０１には，第１の画像復号部２２３−１と第２の画像復号部２２３−２を一組とした画像復号ユニット１０３が備わる点が特に相違する。

図７に示すように，記録再生装置１０１は，画像復号ユニット１０３（１０３ａ，１０３ｂ，１０３ｃ）を１又は２以上備えることが可能である。

また，上記画像復号ユニット１０３には，画像復号部２２３−１又は画像復号部２２３−２のどちらかに切替えて映像データを送出する入力切替部２２０と，ＤＶフォーマットの映像データを復号する画像復号部２２３−１と，ＭＰＥＧフォーマットの映像データを復号する画像復号部２２３−２と，出力切替部２３０と，フレーム数（フレームレート）又は走査線数を少なくとも変換する変換部２２６とが備わる。

図７に示すように，記録再生装置１０１は，画像復号ユニット１０３の他に，さらに変換部２２６から出力された映像信号（又は，画像信号）を切替えてディスプレイ装置等の出力デバイスに出力する出力切替部２５０を備える。

したがって，ＭＰＥＧフォーマットだけでなくＤＶフォーマットなど，記録媒体１４０に記録された映像データの画像フォーマットに応じて，画像復号部２２３−１又は画像復号部２２３−２が復号することができる。

さらに複数の映像データをつないで再生するつなぎ再生では，複数の画像復号ユニット１０３に備わる画像復号部２２３−１又は画像復号部２２３−２各々が映像データを復号することができるため，シームレスに再生することができる。

なお，上述した一連の処理は，専用のハードウェアにより行うこともできるし，ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には，そのソフトウェアを構成するプログラムが，汎用のコンピュータやマイクロコンピュータ等の情報処理装置にインストールされ，上記情報処理装置を記録再生装置１０１として機能させる。

プログラムは，コンピュータに内蔵されている記録媒体としてのハードディスクやＲＯＭに予め記録しておくことができる。あるいはまた，プログラムは，ハードディスクドライブに限らず，フレキシブルディスク，ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ），磁気ディスク，半導体メモリなどのリムーバブル記録媒体に，一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は，いわゆるパッケージソフトウエアとして提供することができる。

なお，プログラムは，上述したようなリムーバブル記録媒体からコンピュータにインストールする他，ダウンロードサイトから，ディジタル衛星放送用の人工衛星を介して，コンピュータに無線で転送したり，ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），インターネットといったネットワークを介して，コンピュータに有線で転送し，コンピュータでは，そのようにして転送されてくるプログラムを，受信し，内蔵するハードディスクにインストールすることができる。

ここで，本明細書において，コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは，必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく，並列的あるいは個別に実行される処理（例えば，並列処理あるいはオブジェクトによる処理）も含むものである。

また，プログラムは，１のコンピュータにより処理されるものであっても良いし，複数のコンピュータによって分散処理されるものであっても良い。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

上記実施形態においては，記録再生装置１０１の場合を例に挙げて説明したが，映像データを復号可能であれば，本発明はかかる例に限定されない。例えば，映像データを再生する再生装置の場合であっても実施可能である。なお，再生装置は，映像信号から映像データに符号化するエンコーダ（画像符号化部１１５等）を備えなくてもよい。

また上記実施形態においては，記録再生装置１０１は，ＭＰＥＧ２又はＭＰＥＧ４等の形式でコーデックする場合を例に挙げて説明したが，画像データ又は画像信号のリオーダリングが必要なコーデックであれば，本発明はかかる例に限定されない。

また上記実施形態においては，記録再生装置１０１は，記録／再生部１３５を備える場合を例に挙げて説明したが，かかる例に限定されず，例えば，記録再生装置１０１は，記録媒体１４０から映像データを読み出し可能な再生部を備える場合でもよい。

また上記実施形態においては，映像データの画像フォーマットがＭＰＥＧ２，ＭＰＥＧ４，またはＤＶの場合を例に挙げて説明したが，かかる例に限定されない。例えば，映像データの画像フォーマットは，ＭＰＥＧ１，ＱｕｉｃｋＴｉｍｅ（登録商標）などの動画像フォーマットである場合でも実施可能である。

第１の実施の形態にかかる記録再生装置の概略的な構成の一例を示すブロック図である。 第１の実施の形態にかかる画像復号部の概略的な構成の一例を示すブロック図である。 映像データつなぎ再生処理の概略を示す説明図である。 第１の実施の形態にかかる映像データつなぎ再生処理の概略を示す説明図である。 第２の実施の形態にかかる映像データつなぎ再生処理の概略を示す説明図である。 第３の実施の形態にかかる映像データつなぎ再生処理の概略を示す説明図である。 第１の実施の形態にかかる記録再生装置１０１の変形例の概略を示すブロック図である。

符号の説明

１０１ 記録再生装置
１０３ 画像復号ユニット
１２３ 画像復号部
１３０ 出力切替部
１３５ 記録／再生部
１４０ 記録媒体

Claims (8)

1. 複数の映像データを画像処理し，映像ストリームを出力する映像処理装置であって：
   前記映像データを復号する複数の復号器と；
   前記複数の復号器により復号された複数の映像データを切替えて一つの映像ストリームとして出力する切替部とを備え，
   前記複数の復号器各々は並列に配列されており，前記切替部は，前記各復号器の処理状況に応じて，前記映像データを切替えることを特徴とする，映像処理装置。
2. 前記複数の復号器は，前記複数の映像データのうち奇数番目の映像データを復号する第１の復号器と，前記複数の映像データのうち偶数番目の映像データを復号する第２の復号器とであることを特徴とする，請求項１に記載の映像処理装置。
3. 前記複数の復号器各々には，走査線数及び／又はフレームレートを変換する変換器が連結することを特徴とする，請求項１に記載の映像処理装置。
4. 前記映像データの画像フォーマットは，復号時に映像データに構成されるフレームのシーケンスが並べ替えられるリオーダリングが必要なフォーマットであることを特徴とする，請求項１に記載の映像処理装置。
5. 複数個の映像データを画像処理し，映像ストリームを出力する映像処理装置であって：
   復号することが可能な映像データの画像フォーマットがお互いに異なる第１の復号部と第２の復号部とを一組とする複数の画像復号ユニットと；
   前記複数の画像復号ユニットにより復号された映像データを切替えて一つの映像ストリームとして出力する切替部とを備え，
   前記複数の画像復号ユニット各々は並列に配列され，前記切替部は，前記各画像復号ユニットの処理に応じて，前記映像ストリームとして出力する前記映像データを切替えることを特徴とする，映像処理装置。
6. 前記画像復号ユニットには，前記第１の復号部又は第２の復号部のいずれか一方に前記映像データの画像フォーマットに応じて，該映像データを送出する入力切替部をさらに備えることを特徴とする，請求項５に記載の映像処理装置。
7. 前記複数の画像復号ユニット各々には，走査線数及び／又はフレームレートを変換する変換器が備わることを特徴とする，請求項５に記載の映像処理装置。
8. 前記映像データの画像フォーマットのうち一つは，復号時に映像データに構成されるフレームのシーケンスを並べ替えるリオーダリングが必要なフォーマットであることを特徴とする，請求項５に記載の映像処理装置。

Images