本発明はデジタル放送受信装置に係り、特に、階層伝送された放送を受信し、各々の階層を切り換えて視聴する用途に用いて好適なデジタル放送受信装置に関する。
日本の地上デジタル放送では、1つのチャンネル内で複数の番組を伝送する階層伝送が利用できる。階層伝送では、1つ以上のセグメントで構成された階層を最大3階層まで同時に伝送することが可能であり、伝送路符号化方法の違いによる所要CN比(Carrier to Noise Ratio)の小さい順に、強階層/中階層/弱階層と呼ばれる。弱階層は強階層に比べて高品質な映像・音声を伝送できるが受信安定性が低く、対照的に、強階層は弱階層に比べて高品質な映像・音声を伝送できないが受信安定性が高いという特性がある。階層伝送された放送を受信するデジタル放送受信装置では、放送信号の受信レベルが低下すると弱階層から強階層の映像・音声に切換えて出力するなど、放送信号の受信状況に応じて弱階層と強階層の映像・音声を切換えて出力することができる。
この機能を利用し、弱階層と強階層で同一内容の番組を送信することにより、放送信号の受信レベルが高い地域では、弱階層の高品質な映像・音声を受信し、放送信号の受信レベルが低い地域では、受信安定性が高い強階層の映像・音声を受信することができる。
このように階層を切換えて出力する装置については、例えば、以下の特許文献1などに述べられている。
弱階層と強階層で伝送される映像・音声は、放送信号の送出時点で符号化処理などの違いにより、階層間で最大数秒程度の放送時間のずれが発生する。このため、受信機側において、そのまま弱階層と強階層の映像・音声を切換えて出力すると、切換え前に比べて数秒ずれた映像・音声が出力され、番組を視聴しているユーザに違和感を与えてしまうという問題がある。
本発明は、上記問題点を解決するためになされたもので、その目的は、各階層の映像・音声の遅延時間を求めて、それらの出力タイミングを調整することにより、ユーザが階層を切り換えて視聴するときに、映像・音声の途切れなく視聴できるデジタル放送受信装置を提供することにある。
上記課題を解決するため、第1の発明に係るデジタル放送受信装置は、実時間の時刻を提供するリアルタイムクロックと、複数の映像・音声が多重化され変調されて階層伝送された信号を受信し復調する受信部と、前記受信部で復調された信号から必要な信号を分離するパケット分離部と、前記パケット分離部で分離された各階層の信号を一時的に保存する各階層ごとのバッファ部と、前記各階層ごとのバッファ部に一時的に保存された信号を復号する各階層ごとの階層復号部と、前記各階層ごとの階層復号部で復号された各階層の映像・音声のうち、いずれか一つの階層の映像・音声を選択する出力選択部と、前記各階層ごとの階層復号部で復号された各階層の映像・音声を監視し、各階層のシーン変化のタイミングと、各階層のシーン変化のタイミング前後における映像・音声信号の信号値の増減情報を検出する階層シーン検出部と、前記出力選択部の選択を切り換える出力制御部とを備え、前記出力制御部は、前記階層シーン検出部から出力される各階層のシーン検出信号、シーン検出前後における映像・音声信号の信号値の増減情報を示すシーン変化方向、及び前記リアルタイムクロックから取得したシーン検出時の時刻情報とに基づき、各階層の映像・音声の出力タイミングの他の階層に対する遅延時間を算出し、遅延していない階層のバッファ部に対して、算出した遅延時間に相当するバッファ量を増加させるように設定することを特徴とする。
第2の発明は、第1の発明のデジタル放送受信装置において、前記出力制御部は、前記階層シーン検出部から出力されるシーン検出信号のシーン検出時刻と、シーン検出前後における映像・音声信号の信号値の増減情報を示すシーン変化方向とを一組みとし、これを各階層ごとに保持し、前記シーン検出時刻のシフト時間を求めて、ある階層に対して、前記シーン検出時刻を前記シフト時間分シフトさせた前記シーン検出時刻と前記シーン変化方向との組合わせと、他の階層のシーン検出時刻とシーン変化方向との組合わせとでパターンマッチング比較を行い、一致した組合わせの個数から、ある階層と他の階層の映像・音声の出力タイミングの遅延時間を求めることを特徴とするものである。
第3の発明は、第2の発明のデジタル放送受信装置に係り、複数の前記シフト時間について、ある階層に対して、前記シーン検出時刻を前記シフト時間分シフトさせた前記シーン検出時刻と前記シーン変化方向との組合わせと、他の階層のシーン検出時刻とシーン変化方向との組合わせとでパターンマッチング比較を行い、一致した組合わせの個数を最大とするシフト時間を、ある階層と他の階層の映像・音声の出力タイミングの遅延時間とすることを特徴とするものである。
第4の発明に係るデジタル放送受信装置は、実時間の時刻を提供するリアルタイムクロックと、複数の映像・音声が多重化され変調されて階層伝送された信号を受信し復調する受信部と、前記受信部で復調された信号から必要な信号を分離するパケット分離部と、前記パケット分離部で分離された各階層の信号を一時的に保存する各階層ごとのバッファ部と、前記各階層ごとのバッファ部に一時的に保存された信号を復号する各階層ごとの階層復号部と、前記各階層ごとの階層復号部で復号された各階層の映像・音声のうち、いずれか一つの階層の映像・音声を選択する出力選択部と、前記各階層ごとの階層復号部で復号された各階層の映像・音声を監視し、各階層の映像・音声信号の信号値が増加または減少のいずれかの方向へと変化した場合にのみシーン変化のタイミングを検出する階層シーン検出部と、前記出力選択部の選択を切り換える出力制御部とを備え、前記出力制御部は、前記階層シーン検出部から出力される各階層のシーン検出信号と前記リアルタイムクロックから取得したシーン検出時の時刻情報とに基づき、各階層の映像・音声の出力タイミングの他の階層に対する遅延時間を算出し、遅延していない階層のバッファ部に対して、算出した遅延時間に相当するバッファ量を増加させるように設定することを特徴とする。
第5の発明は、第4の発明のデジタル放送受信装置において、前記出力制御部は、前記階層シーン検出部から出力されるシーン検出信号のシーン検出時刻を各階層ごとに保持し、前記シーン検出時刻のシフト時間を求めて、ある階層に対して、前記シーン検出時刻を前記シフト時間分シフトさせた前記シーン検出時刻と、他の階層のシーン検出時刻とでパターンマッチング比較を行い、一致した時刻の個数から、ある階層と他の階層の映像・音声の出力タイミングの遅延時間を求めることを特徴とするものである。
第6の発明は、第5の発明のデジタル放送受信装置に係り、複数の前記シフト時間について、ある階層に対して、前記シーン検出時刻を前記シフト時間分シフトさせた時刻と、他の階層のシーン検出時刻とでパターンマッチング比較を行い、一致した時刻の個数を最大とするシフト時間を、ある階層と他の階層の映像・音声の出力タイミングの遅延時間とすることを特徴とするものである。
第7の発明は、第2、5の発明のデジタル放送受信装置に係り、ある階層の一つのシーン検出時刻の時間間隔と、他の階層のシーン検出時刻の時間間隔との全てについてパターンマッチング比較を行い、一致したパターンとの時間間隔を前記シーン検出時刻のシフト時間とするものである。
第8の発明は、第2、3、5、6および7の発明のデジタル放送受信装置に係り、前記シーン検出時刻と前記シーン検出時刻を前記シフト時間分シフトさせた時刻とでパターンマッチング比較を行う際に、または、前記シーン検出時刻の時間間隔同士でパターンマッチング比較を行う際に、互いに比較する値が所定の閾値内に収まっているときに、値が一致したとすることを特徴とするものである。
第9の発明は、第1または第4の発明のデジタル放送受信装置において、前記出力制御部は、各階層の映像・音声の出力タイミングの他の階層に対する遅延時間を複数回算出し、算出された複数の遅延時間の平均値を各階層の他の階層からの映像・音声の出力タイミングの遅延時間とすることを特徴とするものである。
第10の発明は、第1または第4の発明のデジタル放送受信装置において、前記出力制御部は、各階層の映像・音声の出力タイミングの他の階層に対する遅延時間を複数回算出し、算出された複数の遅延時間のうちで、最も多い遅延時間を、各階層の他の階層からの映像・音声の出力タイミングの遅延時間とすることを特徴とするものである。
本発明のデジタル放送受信装置によれば、各階層の映像・音声の遅延時間を求めて、それらの出力タイミングを調整することにより、ユーザが階層を切り換えて視聴するときに、映像・音声の途切れなくスムーズに視聴できるデジタル放送受信装置を提供することができる。
以下、添付図面を用いて本発明の実施の形態を説明する。
図1は、本実施例のデジタル放送受信装置の構成図である。図1に示すように、本実施例のデジタル放送受信装置100は、入力端子101、受信部102、パケット分離部103、強階層バッファ部104、強階層復号部105、弱階層バッファ部106、弱階層復号部107、強階層シーン検出部108、弱階層シーン検出部109、映像出力選択部110、映像出力端子111、音声出力選択部112、音声出力端子113、出力制御部114、リアルタイムクロック115からなる。
入力端子101からは、複数の映像・音声・データが多重化され変調されて階層伝送された信号が入力される。受信部102は、入力端子101から入力された信号の復調処理や誤り訂正処理を行う。パケット分離部103は、多重化された信号から所望の映像・音声・データを選択抽出する。強階層バッファ部104は、強階層の信号をバッファリングする部分であり、強階層復号部105は、強階層の信号を復号する。また、弱階層バッファ部106は、弱階層の信号をバッファリングする部分であり、弱階層復号部107は、弱階層の信号を復号する。
強階層シーン検出部108は、強階層復号部105で復号された映像信号から、シーンの変化を検出し、一方、弱階層シーン検出部109は、弱階層復号部107で復号された映像信号から、シーンの変化を検出する。
映像出力選択部110は、これらの強階層復号部105と弱階層復号部107で復号された映像信号のいずれか一方の映像信号を選択する。映像出力端子111は、映像出力選択部110で選択された映像信号を出力する端子である。
音声出力選択部112は、これらの強階層復号部105と弱階層復号部107で復号された音声信号のいずれか一方の音声信号を選択する。音声出力端子113は、音声出力選択部112で選択された音声信号を出力する端子である。
出力制御部114は、強階層シーン検出部108と弱階層シーン検出部109から供給されるシーン変化を示す信号に基づいて、強階層バッファ部104と弱階層バッファ部106のバッファ量を調節すると共に、映像出力選択部110と音声出力選択部112の選択を制御する。
リアルタイムクロック115は、受信機が利用できる実時刻情報を提供する。
次に、図2を用いて強階層と弱階層の映像・音声の出力タイミングを合わせる動作例について説明する。
図2は、強階層の信号が弱階層と比較して遅延があるときに、弱階層のバッファ量を調節する様子を説明する図である。
複数の映像・音声・データが多重化され変調されて階層伝送された信号が入力端子101に入力され、受信部102で復調処理や誤り訂正処理が行われる。そして、パケット分離部103は、強階層の信号を抽出して強階層バッファ部104に供給し、一方で、弱階層の信号を抽出して弱階層バッファ部106に供給する。強階層バッファ部104は、バッファがフルになると、強階層の信号を強階層復号部105に供給する。強階層復号部105は、供給された強階層の信号を復号し、強階層の映像・音声を出力する。同様に、弱階層バッファ部106は、バッファがフルになると、弱階層の信号を弱階層復号部107に供給する。弱階層復号部107は、供給された弱階層の信号を復号し、弱階層の映像・音声を出力する。
ここで、出力制御部114は、強階層と弱階層の映像・音声の出力タイミングの時間ずれを解消するために、例えば、弱階層の映像・音声が、強階層の映像・音声よりも遅延している場合は、強階層バッファ部104のバッファ量を弱階層のバッファ部106のバッファ量よりも遅延時間分だけ多く挿入する。逆に、強階層の映像・音声が、弱階層の映像・音声よりも遅延している場合は、弱階層バッファ部106のバッファ量を強階層バッファ部104のバッファ量よりも遅延時間分だけ多く挿入する。
例えば、図2に示されるように、放送局からシーンS0、シーンS1、シーンS2、…と放送された信号を受信するときに、シーンS0の先頭部分において、図2(a)の強階層の信号は、図2(b)の弱階層の信号と比べて5秒間遅れているものとする。弱階層バッファ部106のバッファ量がデータを3秒分の蓄える大きさがあるとすると、これに遅延分の5秒分の大きさを足して、弱階層バッファ部106のバッファ量が、8秒分の大きさを持つように調節する。これにより、弱階層バッファ部106から、弱階層の信号が出力されるのが遅くなり、強階層の信号と弱階層の信号の出力タイミングのずれが調節される。
映像出力選択部110は、強階層復号部105と弱階層復号部107で復号された映像信号のいずれか一方の映像信号を選択し、映像出力端子111に出力する。また、音声出力選択部112は、強階層復号部105と弱階層復号部107で復号された音声信号のいずれか一方の音声信号を選択し、音声出力端子113に出力する。映像出力選択部110と音声出力選択部112において、強階層と弱階層のいずれを選択するかは、ユーザの設定、あるいは、電波の受信状況に基づいて、出力制御部114より制御される。
このようにして、強階層バッファ部104、または弱階層バッファ部106のバッファ量を調節することにより、強階層と弱階層の映像・音声の出力タイミングを合わせることができる。これにより、強階層と弱階層の映像・音声を違和感なくスムーズに切り換えることができる。
強階層と弱階層の映像・音声の出力タイミングの時間ずれは、出力制御部114において、強階層シーン検出部108と弱階層シーン検出部109から供給されるシーン変化を示す信号を常に監視し、シーン変化を示す信号を受け取ったタイミング情報をもとに、強階層と弱階層の出力タイミングの時間ずれを求める。
階層間でどのぐらいの出力タイミングのずれが発生しているかは、放送局や番組内容によっても異なることが想定され、また、階層間の出力タイミングのずれがどの程度発生しているかを知る手段も放送信号に含まれていないため、従来の受信機側では知ることが難しいという問題点があった。
本実施形態では、各階層でのシーン検出部でシーン検出を行い、各々の階層で比較することにより、階層間の映像・音声の出力タイミングのずれを求めようとするものである。
そして、時間ずれに相当するバッファ量を、強階層バッファ部104、または弱階層バッファ部106に設定することで、自動的に強階層と弱階層の映像・音声の出力タイミングを合わせることができる。
次に、図3ないし図9を用いて強階層と弱階層の映像・音声の出力タイミングの時間ずれを検出し、各々のバッファ部のバッファ量を調節する処理について説明する。
図3は、表示メモリ200に格納されるデータ構成を示した図である。
図1には示さなかったが、デジタル放送受信装置100は、強階層復号部105および弱階層復号部107で復号した映像信号を格納する表示メモリ200を有する。
表示メモリ200は、図3に示されるように、縦方向と横方向の画素数分の画素情報201を格納する。画素情報201は、表示画面の該当画素に対する色情報を保持する。色情報は、本実施例では、輝度信号情報Yと、色差信号情報Cb、Crとし、各画素の色情報を映像出力端子111に出力する。
図4は、強階層シーン検出部108、および弱階層シーン検出部109が保持し、シーン変化を検出するための輝度値テーブル302についての説明図であり、図4(a)は表示メモリ200の構成を示し、図4(b)は輝度値テーブル302の構成を示している。強階層シーン検出部108、および弱階層シーン検出部109は、図4(a)に示されるように、表示メモリ200が表す画面上の領域を4×4個のブロック領域301に分割し、各ブロック領域301に含まれる画素の輝度信号情報Yの平均値を求め、図4(b)に示される輝度値テーブル302の該当位置に格納する。
なお、本実施例では、表示メモリ200が表す画面上の領域を4×4個のブロック領域に分割する例を示したが、領域の分割数については、処理負荷と検出精度のバランスで適宜変更できるものである。一般的に、領域の分割数を増やすことでシーン変化の検出精度を高めることができるが、その分必要となるメモリリソース、および演算処理の負荷が大きくなる。これは、デジタル放送受信装置の性能やコストに関する実装の問題として、適切な分割数を定めるようにすればよい。
また、本実施例では、各ブロック領域301に含まれる画素の輝度信号情報Yの平均値を輝度値テーブル302の該当位置に格納する例を示したが、輝度値テーブル302に格納する情報は、これに限るものではなく、各ブロック領域301に含まれる画素の色差信号情報Cb、Crを利用しても良い。
シーンの変化を検出するために、強階層シーン検出部108、および弱階層シーン検出部109は、図5のフロー図に示すように、輝度値テーブル302を、強階層復号部105、弱階層復号部107のそれぞれから出力される映像信号のフレーム毎に逐次求める(401a)。
次に、求めた輝度値テーブル302の各格納位置の値を、1フレーム前の輝度値テーブル302の該当位置の値と比較し、その差分値がシステムで定めた閾値を超えているブロック領域をチェックし、その数を求める(402a)。
また、閾値を超えているブロック領域の各々について、手順402aで求めた差分値が正であるか負であるかをチェックし、合計の数が多い方(正または負)を記憶する(403a)。合計の数が正の方が多い場合は、シーンの変化が発生した前後で映像の輝度値が明るくなる方向に変化し、合計の数が負の方が多い場合は、シーンの変化が発生した前後で映像の輝度値が暗くなる方向に変化したことになる。
次に、手順402aで求めた閾値を超えているブロック領域の数が、システムで定めた個数よりも多いか少ないかをチェックする(404a)。閾値を超えているブロック領域の数がシステムで定めた個数よりも多い場合は、映像のシーンが変化したものと判断し、出力制御部114に対して、シーン変化検出信号と、シーン変化前後における輝度値の明暗変化方向(正または負)を示す情報を通知する(405a)。一方、閾値を超えているブロック領域の数がシステムで定めた個数よりも少ない場合は、シーンが変化していないと判断し、何もせずに終了する。
以上の手順401a〜405aの処理を映像のフレーム毎に行うことで、出力制御部114は強階層と弱階層のそれぞれについて、シーン変化が発生したタイミングと、シーン変化による輝度値の明暗変化方向を、逐次知ることができる。
ここで、図6(a)、(b)を用いて、強階層シーン検出部108、または弱階層シーン検出部109から出力制御部114に供給するシーン変化検出信号と、輝度値の明暗変化方向の通知方法を説明する。
図6(a)は、シーン変化検出信号と、輝度値の明暗変化方向をそれぞれ専用の信号線で通知する場合を示す図である。強階層シーン検出部108または弱階層シーン検出部109(図6(a),(b)では強階層シーン検出部108のみ示す)は、シーン変化の発生を検出すると、シーン変化検出信号Skと、輝度値の明暗変化方向を示すパルス信号Spを同時にそれぞれ専用の信号線にパルス送信する。
輝度値の明暗変化方向を示すパルス信号Spについては、正の場合(明るくなる方向への変化)はパルス信号Spを送信し、負の場合(暗くなる方向への変化)はパルス信号Spを送信しない。
出力制御部114は、まず、シーン変化検出信号Skを通知する信号線からシーン変化検出信号を受け取り、シーンの変化が発生したことを検知する。次に、シーン変化検出信号を受け取った時点で、輝度値の明暗変化方向を示すパルス信号Spを通知する信号線の状態を読み取り、パルス信号Spが発生していれば明暗変化方向は正(明るくなる方向への変化)であり、パルス信号が発生していなければ明暗変化方向は負(暗くなる方向への変化)であるということを検知する。
図6(b)は、シーン変化検出信号と、輝度値の明暗変化方向を同一の信号線で通知する場合の図である。強階層シーン検出部108、または弱階層シーン検出部109は、シーン変化を検出すると、まずシーン変化検出信号Skを送信し、続いて輝度値の明暗変化方向を示すパルス信号Spを送信する。但し、図6(a)における説明と同様に、輝度値の明暗変化方向については、正(明るくなる方向への変化)の場合はパルス信号を送信し、負(暗くなる方向への変化)の場合はパルス信号を送信しない。
これにより、出力制御部114は、まず、シーン変化検出信号Skを受け取り、シーンの変化が発生したことを検知する。その後、シーン変化検出信号Skに連続してパルス信号Spを受け取れば、明暗変化方向は正(明るくなる方向への変化)であり、連続してパルス信号Spを受け取れなければ、明暗変化方向は負(暗くなる方向への変化)であるということを検知する。
なお、図6(a)、(b)において、輝度値の明暗変化方向を示すパスル信号Spについては、正の場合はパルスを発生させ、負の場合はパルスを発生させないこととしたが、逆に、正の場合はパルスを発生させず、負の場合はパルスを発生させることとしても良い。
次に、シーン変化検出信号Skと、輝度値の明暗変化方向を示すパルス信号Spを受け取った出力制御部114の処理を具体的に説明する。
図7は、出力制御部114が保持するシーン検出テーブル600aで強階層と弱階層のそれぞれについて保持している。そして、強階層シーン検出部108および弱階層シーン検出部109のそれぞれについて、シーン変化検出信号Skを受け取った時点で、その時刻をリアルタイムクロック115から取得し、シーン検出時刻601aの#1に格納する。同時に、輝度値の明暗変化方向を示す正負のパルス信号Spの情報を輝度明暗変化方向602aの#1に格納する。また、1つ前のシーン変化検出信号Skを受け取った時のシーン検出時刻#2との時間差分を求め、シーン間隔時間603aの#1に格納する。
図7の例では、シーン検出時刻601aの#2は、“00:25”であり、シーン検出時刻601aの#1は、“00:10”であるため、シーン間隔時間603aの#1は、“15”が格納される。
これらの値は、FIFO(First In First Out)方式で格納され、新しいシーン変化検出信号Skを受け取り#1に格納すると、それ以前の値は、1つ後ろのインデックスに移動され、テーブルの中で最も古い#N番目の値は廃棄される。
ここで、シーン検出テーブル600aにおける同じインデックスに位置するシーン検出時刻601aと輝度明暗変化方向602aとを一組とし、組合わせデータ604aとおく。
図8は、出力制御部114の処理フローを示す図である。出力制御部114は、強階層シーン検出部108または弱階層シーン検出部109からシーン変化検出信号Sk、及び輝度値の明暗変化方向を示す正負のパルス信号Spを受け取ると、以下の図8に示す処理700aが実行される。
出力制御部114は、まずリアルタイムクロック115より、シーン変化検出信号Skを受け取った時刻を取得する(701a)。
次に、受け取ったシーン変化検出信号Skが、強階層のシーン変化検出信号であるか、弱階層のシーン変化検出信号であるか否かを判定する(702a)。
受け取ったシーン変化検出信号Skが強階層のシーン変化検出信号の場合は、強階層のシーン検出テーブル600aから1つ前のシーン検出時刻を参照し、今回のシーン検出時刻との差分の時間を求め(703a)、図7で説明したように、FIFO方式で、強階層のシーン検出テーブル600aの#1に、シーン検出時刻601a、輝度明暗変化方向602a、シーン間隔時間603aを格納し、最も古い#N番目の値を破棄する(704a)。
また、受け取ったシーン変化検出信号Skが弱階層のシーン変化検出信号の場合は、弱階層のシーン検出テーブル600aから1つ前のシーン検出時刻を参照し、今回のシーン検出時刻との差分の時間を求め(705a)、図6で説明したように、FIFO方式で、弱階層のシーン検出テーブル600aの#1に、シーン検出時刻601a、輝度明暗変化方向602a、シーン間隔時間603aを格納し、最も古い#N番目の値を破棄する(706a)。
その後、更新されたシーン検出テーブル600aをもとに、受け取ったシーン変化検出信号Skが強階層のシーン変化検出信号の場合は強階層同期処理800aを、受け取ったシーン変化検出信号が弱階層のシーン変化検出信号の場合は弱階層同期処理800a’を行う。
次に、図9のフロー図により、強階層同期処理800aの具体的な処理を説明する。なお、弱階層同期処理800a’については、強階層同期処理800aの処理の説明中に出てくる“強階層”とを“弱階層”と読み替えればよい。
まず、強階層のシーン検出テーブル600aにおけるシーン間隔時間603aの#1と、弱階層のシーン検出テーブル600aのシーン間隔時間603aの全てのエントリについて、パターンマッチング比較を行う(801a)。
そして、一致する弱階層のシーン間隔時間603aが存在しなければ、遅延時間が検出できないと判断し、何もせずに終了する(802a)。
一方、一致する弱階層のシーン間隔時間603aが存在する場合は、検出した弱階層のシーン間隔時間603aの対応する(同じ#番号に属する)シーン検出時刻601aを取得し、強階層のシーン検出時刻601aの#1との時間差分を求め、遅延時間のベース値とする(803a)。
次に、強階層のシーン検出時刻601aに、手順803aで求めた遅延時間のベース値を加える(804a)。そして、強階層のシーン検出テーブル600aの組合わせデータ604aと、弱階層のシーン検出テーブル600aの組合わせデータ604aとのパターンマッチング比較を行い、一致する組合わせデータ604aの数を求め、これをMとする(805a)。
手順801aにおいて、他にも一致する弱階層のシーン間隔時間603aが存在する場合は(806a)、手順803a〜806aを繰返し実行し、各々の一致する組み合わせデータ604aの数を一時的なメモリに格納しておく。その後、他に一致する弱階層のシーン間隔時間603aがなくなったら、手順805aにおいて、Mの値が最大となる遅延時間のベース値を、検出した遅延時間とする(807a)。
なお、シーン検出時刻601aの値は誤差を含んでいるため、手順801a、805aのパターンマッチング比較を行う場合、誤差を見込んだ閾値をシステムで設定し、値の比較を行う場合、値の誤差が閾値内に収まっていることをもって、値が一致するとみなしてもよい。
続いて、手順807aで求まった遅延時間と、過去の強階層同期処理800aや弱階層同期処理800a’で求めた遅延時間との差が、システムで定めた閾値より大きいか小さいかを判定する(808a)。差が閾値より小さい場合は、過去に求めた遅延時間からの変動はないものと判断し、何もせずに終了する。差が閾値より大きい場合は、過去に求めた遅延時間からの変動があったと判断し、強階層と弱階層の映像・音声の出力タイミングの補正を行う。
具体的には、まず、遅延していない階層の復号部のデコード処理を、一旦停止する(809a)。そして、遅延時間のベース値の正、負に従って、遅延していない階層のバッファ部の方に、遅延分の時間に相当するバッファ容量を、増やすように設定する(810a)。そして、手順809aで停止した復号部のデコード処理を再開する(811a)。
以上の処理を実行することにより、常に強階層と弱階層の映像・音声の出力タイミングを一致させることができる。
以下、第2の実施の形態について説明する。本実施例では、全体構成は図1に示す第1の実施の形態の構成と同様であり、出力制御部114の動作以外は同一動作である。従って、本実施例では、強階層シーン検出部108、または弱階層シーン検出部109から出力されたシーン変化検出信号Skと、輝度値の明暗変化方向を示すパルス信号Spを受け取った出力制御部114の処理について説明する。また、出力制御部114についても、強階層と弱階層のそれぞれについて図7に示すシーン検出テーブル600aを保持し、その動作は図8に示すフローと同一である。但し、図8における強階層同期処理800aと弱階層同期処理800a’の動作は第1の実施の形態と異なるため、強階層同期処理800aを800b、弱階層同期処理800a’を800b’とおき、この部分の処理についてのみ説明する。
図9のフロー図により、強階層同期処理800bの具体的な処理を説明する。なお、弱階層同期処理800b’については、強階層同期処理800bの処理の説明中に出てくる“強階層”を“弱階層”と読み替えればよい。
まず、強階層のシーン検出テーブル600aにおける組合わせデータ604aの#1から#Mまでの連続M個の組合わせデータと、弱階層のシーン検出テーブル600aの組合わせデータ604aについて、パターンマッチング比較を行う(801b)。一致する弱階層の組合わせデータ604aが存在しなければ、遅延時間が検出できないと判断し、何もせずに終了する(802b)。
一致する弱階層の組合わせデータ604aが存在する場合は、検出した弱階層のM個の組合わせデータ604aのうち現時刻に最も近い最新時刻のシーン検出時刻601aを取得し、強階層のシーン検出時刻601aの#1との時間差分を算出し、これを遅延時間とする(803b)。
なお、シーン検出時刻601aの値は誤差を含んでいるため、手順801bのパターンマッチング比較を行う場合、誤差を見込んだ閾値をシステムで設定し、値の比較を行う場合、値の誤差が閾値内に収まっていることをもって、値が一致するとみなしてもよい。
続いて、手順803bで求まった遅延時間と、過去の強階層同期処理800bや弱階層同期処理800b’で求めた遅延時間との差が、閾値より大きいか小さいかを判定する(804b)。
差が閾値より小さい場合は、過去に求めた遅延時間からの変動はないものと判断し、何もせずに終了する。差が閾値より大きい場合は、過去に求めた遅延時間からの変動があったと判断し、強階層と弱階層の映像・音声の出力タイミングの補正を行う。
具体的には、まず、遅延していない階層の復号部のデコード処理を、一旦停止する(805b)。そして、遅延時間のベース値の正、負に従って、遅延していない階層のバッファ部の方に、遅延分の時間に相当するバッファ容量を、増やすように設定する(806b)。そして、手順805bで停止した復号部のデコード処理を再開する(807b)。
以上の処理を実行することにより、常に強階層と弱階層の映像・音声の出力タイミングを一致させることができる。
以下、第3の実施の形態について説明する。本実施例では、全体構成は図1に示す第1の実施の形態の構成と同様であり、その動作は、強階層シーン検出部108、弱階層シーン検出部109、および出力制御部114以外を除き、全て同一である。また、強階層シーン検出部108、および弱階層シーン検出部109についても、図4に示す輝度値テーブル302を生成する部分までは同一処理であるので、ここでは、輝度値テーブル302を作成後の処理を説明する。
シーンの変化を検出するために、強階層シーン検出部108、および弱階層シーン検出部109は、図11のフロー図に示すように、輝度値テーブル302を、強階層復号部105、弱階層復号部107のそれぞれから出力される映像信号のフレーム毎に逐次求める(401b)。
次に、求めた輝度値テーブル302の各格納位置の値を、1フレーム前の輝度値テーブル302の該当位置の値と比較し、その差分値が正で、かつ差分値の絶対値が閾値を超えているブロック領域をチェックし、その数を求める(402b)。
手順402bで求めたブロック領域の数が、システムで定めた個数よりも多いか少ないかをチェックする(403b)。
閾値を超えているブロック領域の数がシステムで定めた個数よりも多い場合は、映像のシーンが変化し、かつシーン変化前後において映像の輝度値が明るくなる方向へ変化したものと判断し、出力制御部114に対して、シーン変化検出信号を供給する(404b)。
以上の手順401b〜404bの処理を映像のフレーム毎に行うことで、出力制御部114は強階層と弱階層のそれぞれについて、輝度値が明るくなる方向にシーンの変化が発生した場合に限り、シーン変化が発生したタイミングを逐次知ることができる。
なお、本実施例では、手順402bにおいて、差分値が正で、かつ差分値の絶対値がシステムで定めた閾値を超えているブロック領域の数を求める例を示したが、差分値が負で、かつ差分値の絶対値がシステムで定めた閾値を超えているブロック領域の数を求めることとしても良い。この場合、出力制御部114は強階層と弱階層のそれぞれについて、画面の輝度値が暗くなる方向にシーンの変化が発生した場合に限り、シーン変化が発生したタイミングを逐次知ることができる。
次に、シーン変化検出信号Skを受け取った出力制御部114の処理を具体的に説明する。
図12は、出力制御部114が保持するシーン検出テーブル600bである。強階層と弱階層のそれぞれについてこのシーン検出テーブル600bを持ち、それぞれについて、シーン変化検出信号Skを受け取った時点で、その時刻をリアルタイムクロック115から取得し、シーン検出時刻601bの#1に格納する。また、1つ前のシーン変化検出信号Skを受け取った時のシーン検出時刻#2との時間差分を求め、シーン間隔時間603bの#1に格納する。
これらの値は、FIFO方式で格納され、新しいシーン変化検出信号Skを受け取り#1に格納すると、それ以前の値は、1つ後ろのインデックスに移動され、テーブルの中で最も古い#N番目の値は廃棄される。
図13は出力制御部114の処理フローを示す図である。出力制御部114は、強階層シーン検出部108または弱階層シーン検出部109からシーン変化検出信号Skを受け取ると、以下の図13に示す処理700bが実行される。
出力制御部114は、まずリアルタイムクロック115より、シーン変化検出信号Skを受け取った時刻を取得する(701b)。
次に、受け取ったシーン変化検出信号Skが、強階層のシーン変化検出信号であるか、弱階層のシーン変化検出信号であるか否かを判定する(702b)。
受け取ったシーン変化検出信号Skが強階層のシーン変化検出信号の場合は、強階層のシーン検出テーブル600bから1つ前のシーン検出時刻を参照し、今回のシーン検出時刻との差分の時間を求め(703b)、図12で説明したように、FIFO方式で、強階層のシーン検出テーブル600bの#1に、シーン検出時刻601b、シーン間隔時間603bを格納し、最も古い#N番目の値を破棄する(704b)。
また、受け取ったシーン変化検出信号Skが弱階層のシーン変化検出信号の場合は、弱階層のシーン検出テーブル600bから1つ前のシーン検出時刻を参照し、今回のシーン検出時刻との差分の時間を求め(705b)、図12で説明したように、FIFO方式で、弱階層のシーン検出テーブル600bの#1に、シーン検出時刻601b、シーン間隔時間603bを格納し、最も古い#N番目の値を破棄する(706b)。
その後、更新されたシーン検出テーブル600bをもとに、受け取ったシーン変化検出信号Skが強階層のシーン変化検出信号の場合は強階層同期処理800c、受け取ったシーン変化検出信号が弱階層のシーン変化検出信号の場合は弱階層同期処理800c’を行う。
次に、図14のフロー図により、強階層同期処理800cの具体的な処理を説明する。なお、弱階層同期処理800c’については、強階層同期処理800cの処理の説明中に出てくる“強階層”を“弱階層” と読み替えればよい。
まず、強階層のシーン検出テーブル600bにおけるシーン間隔時間603bの#1と、弱階層のシーン検出テーブル600bのシーン間隔時間603bの全てのエントリについて、パターンマッチング比較を行う(801c)。
そして、一致する弱階層のシーン間隔時間603bが存在しなければ、遅延時間が検出できないと判断し、何もせずに終了する(802c)。
一方、一致する弱階層のシーン間隔時間603bが存在する場合は、検出した弱階層のシーン間隔時間603bの対応する(同じ#番号に属する)シーン検出時刻601bを取得し、強階層のシーン検出時刻601bの#1との時間差分を求め、遅延時間のベース値とする(803c)。
次に、強階層のシーン検出時刻601bに遅延時間のベース値を加える(804c)。そして、強階層のシーン検出時刻601bと、弱階層のシーン検出時刻601bとのパターンマッチング比較を行い、一致するパターンの数を求め、これをMとする(805c)。
手順801cにおいて、他にも一致する弱階層のシーン間隔時間603bが存在する場合は(806c)、手順803c〜806cを繰返し実行し、各々の一致する組み合わせデータ604aの数を一時的なメモリに格納しておく。その後、他に一致する弱階層のシーン間隔時間603bがなくなったら、手順805cにおいて、Mの値が最大となる遅延時間のベース値を、検出した遅延時間とする(807c)。
なお、シーン検出時刻601bの値は誤差を含んでいるため、手順801c、805cのパターンマッチング比較を行う場合、誤差を見込んだ閾値をシステムで設定し、値の比較を行う場合、値の誤差が閾値内に収まっていることをもって、値が一致するとみなしてもよい。
続いて、手順807cで求まった遅延時間と、過去の強階層同期処理800cや弱階層同期処理800c’で求めた遅延時間との差が、システムで定めた閾値より大きいか小さいかを判定する(808c)。差が閾値より小さい場合は、過去に求めた遅延時間からの変動はないものと判断し、何もせずに終了する。差が閾値より大きい場合は、過去に求めた遅延時間からの変動があったと判断し、強階層と弱階層の映像・音声の出力タイミングの補正を行う。
具体的には、まず、遅延していない階層の復号部のデコード処理を、一旦停止する(809c)。そして、遅延時間のベース値の正、負に従って、遅延していない階層のバッファ部の方に、遅延分の時間に相当するバッファ容量を、増やすように設定する(810c)。そして、手順809cで停止した復号部のデコード処理を再開する(811c)。
以上の処理を実行することにより、常に強階層と弱階層の映像・音声の出力タイミングを一致させることができる。
以下、第4の実施の形態について説明する。本実施例では、全体構成は第3の実施の形態と同様であり、出力制御部114の動作以外は同一動作である。従って、ここでは、強階層シーン検出部108、または弱階層シーン検出部109から出力されたシーン変化検出信号Skを受け取った出力制御部114の処理について説明する。また、本実施例では、出力制御部11についても、強階層と弱階層のそれぞれについて図12に示すシーン検出テーブル600bを保持し、図13に示すフローと同一動作である。図13における強階層同期処理800cと弱階層同期処理800c’以外の動作は同じであるので、強階層同期処理800cを800d、弱階層同期処理800c’を800d’とおき、この部分の処理について説明する。
図15のフロー図により、強階層同期処理800dの具体的な処理を説明する。なお、弱階層同期処理800d’については、強階層同期処理800dの処理の説明中に出てくる“強階層”を“弱階層”と読み替えればよい。
まず、強階層のシーン検出テーブル600bにおけるシーン検出時刻601bの#1から#Mまでの連続M個と、弱階層のシーン検出テーブル600bのシーン検出時刻601bについて、パターンマッチング比較を行う(801d)。一致する弱階層のシーン検出時刻601bが存在しなければ、遅延時間が検出できないと判断し、何もせずに終了する(802d)。
一致する弱階層のシーン検出時刻601bが存在する場合は、検出した弱階層のM個のシーン検出時刻601bのうち現時刻に最も近い最新時刻のシーン検出時刻601bを取得し、強階層のシーン検出時刻601aの#1との時間差分を算出し、これを遅延時間とする(803d)。
なお、シーン検出時刻601bの値は誤差を含んでいるため、手順801dのパターンマッチング比較を行う場合、誤差を見込んだ閾値をシステムで設定し、値の比較を行う場合、値の誤差が閾値内に収まっていることをもって、値が一致するとみなしてもよい。
続いて、手順803dで求まった遅延時間と、過去の強階層同期処理800dや弱階層同期処理800d’で求めた遅延時間との差が、システムで定めた閾値より大きいか小さいかを判定する(804d)。差が閾値より小さい場合は、過去に求めた遅延時間からの変動はなしないものと判断し、何もせずに終了する。差が閾値より大きい場合は、過去に求めた遅延時間からの変動があったと判断し、強階層と弱階層の映像・音声の出力タイミングの補正を行う。
具体的には、まず、遅延していない階層の復号部のデコード処理を、一旦停止する(805d)。そして、遅延時間のベース値の正、負に従って、遅延していない階層のバッファ部の方に、遅延分の時間に相当するバッファ容量を、増やすように設定する(806d)。そして、手順805dで停止した復号部のデコード処理を再開する(807d)。
以上の処理を実行することにより、常に強階層と弱階層の映像・音声の出力タイミングを一致させることができる。
また、第1から第4の実施の形態において、より高精度な遅延時間の検出を行うために、例えば、まず、出力制御部114で求めた遅延時間をメモリに保持しておき、強階層と弱階層の映像・音声の出力タイミングの補正を行わずに処理を終了する。これをシーン変化検出信号を受け取るたびに繰り返し実行し、遅延時間の値を複数収集する。収集した複数の遅延時間のうち、同じ遅延時間となる数が最も多い遅延時間を最終的な遅延時間としてもよい。或いは、収集した複数の遅延時間の平均値を最終的な遅延時間としてもよい。
なお、強階層または弱階層のデコード処理を一旦停止し、バッファメモリを設定して、デコード処理を再開するまでの間、ユーザはテレビ番組を一時視聴不可となる。これを回避するためには、例えば、強階層の遅延時間を補正する場合、この時間は強制的に弱階層に切換えて受信する。逆に、弱階層の遅延時間を補正する場合、この時間は強制的に強階層に切換えて受信することで、ユーザがテレビ番組を一時視聴不可となる事態を回避できる。
この場合の選局直後の映像出力選択部110と音声出力選択部112の動作を説明する。例えば、強階層が弱階層よりも遅延している場合、弱階層の映像・音声のバッファ量を増やすと、それだけバッファがフルになるまで時間がかかるために、選局してから弱階層の映像・音声の出力が開始するまでに時間がかかるという問題が生じる。そのため、選局直後は強階層の映像・音声を強制的に出力し、弱階層の映像・音声を出力できるようになった時点で、初めて弱階層の映像・音声に切換えて出力する。
まず、選局直後においては、出力制御部114は強階層の映像・音声を出力するように映像出力選択部110と音声出力選択部112を制御する。その後、出力制御部114は、弱階層バッファ部106のバッファがフルになったことを検知した時点で、弱階層の映像・音声を出力するように映像出力選択部110と音声出力選択部112を制御する。このようにして、選局直後は強階層の映像・音声を出力しておき、弱階層と強階層の出力タイミングが合った時点で、弱階層の映像・音声に出力を切換えることができる。
この様に、弱階層と強階層の映像・音声のバッファ量を調節することにより、弱階層と強階層の出力タイミングを合わせることができ、弱階層と強階層の切換え時に、映像・音声の出力をスムーズに切換えることができる。また、選局直後には、強階層の映像・音声を出力しておくことで、映像・音声の出力開始が遅れることなく提示できる。
すなわち、本来なら品質のよい弱階層の信号による映像を見たい視聴者であっても、一時的に映像品質の悪い強階層の信号による映像を視聴させて、映像が途切れる代わりに、暫定的な映像を提供することができる。
また、第1から第4の実施形態では、弱階層と強階層の2階層の間で、出力タイミングの同期化を行っているが、階層が3階層以上の複数存在する場合についても、階層ごとにシーン検出部を設けることで、出力タイミングの同期化を行うことができる。
更に、第1から第4の実施形態では、映像・音声を階層と呼ぶ概念で同一内容の番組が送出された放送の受信を例にして説明したが、階層という概念に該当しなくても、同一内容の番組が並行して複数のチャンネルで送出されるのであれば、それら複数のチャンネルの間で出力タイミングの同期化を行う実施形態も考えられる。
また、第1から第4の実施の形態では、映像信号の各フレームごとに強階層と弱階層の映像・音声の出力タイミングの時間ずれを検出する例を示したが、映像信号がフィールド単位で構成されている場合は、この時間ずれの検出処理をフィールドごとに実施してもよい。
更に、第1から第4の実施の形態では、出力制御部114において、シーン変化検出信号が強階層であるか弱階層であるかによって処理手順をそれぞれ示したが、あらかじめ、放送局から送出される強階層と弱階層の出力タイミングについて、いずれかが遅延しているかが既知であるならば、一方の処理手順のみを実行すればよい。例えば、強階層に比べて弱階層が遅延していることが既知である場合は、シーン変化検出信号が弱階層の場合には、出力制御部114は、上記の実施形態の処理を実行し、シーン変化検出信号が強階層の場合には、何もしないで終了する。
また、逆に、弱階層に比べて強階層が遅延していることが既知である場合は、シーン変化検出信号が強階層の場合には、出力制御部114は、上記の実施形態の処理を実行し、シーン変化検出信号が弱階層の場合には、何もしないで終了する。
本発明は、同一内容の映像・音声を複数並行して送出する放送を、切換えて受信する機能を有する受信機に適用できる。
本発明に係る第1から第4の実施形態におけるデジタル放送受信装置の構成図である。
強階層の信号が弱階層と比較して遅延があるときに、弱階層のバッファ量を調節する様子を説明する図である。
本発明に係る第1から第4の実施形態における表示メモリ200に格納されるデータ構成を示した図である。
本発明に係る第1から第4の実施形態における表示メモリ200の格納内容と輝度値テーブルの関係を説明する図である。
本発明に係る第1及び第2の実施形態における強階層シーン検出部108および弱階層シーン検出部109が、シーン変化検出信号と、輝度値の明暗変化方向を供給する処理を示す図である。
本発明に係る第1及び第2の実施形態において、出力制御部114に、シーン変化検出信号と、輝度値の明暗変化方向を通知する方法を示す図である。
本発明に係る第1及び第2の実施形態におけるシーン検出テーブル600aを説明する図である。
本発明に係る第1及び第2の実施形態における出力制御部114の処理を示す図である。
本発明に係る第1の実施形態における強階層同期処理800aの詳細を示す図である。
本発明に係る第2の実施形態における階層同期処理800bの詳細を示す図である。
本発明に係る第3及び第4の実施形態における強階層シーン検出部108および弱階層シーン検出部109が、シーン変化検出信号を供給する処理を示す図である。
本発明に係る第3及び第4の実施形態におけるシーン検出テーブル600bを説明する図である。
本発明に係る第3及び第4の実施形態における出力制御部114の処理を示す図である。
本発明に係る第3の実施形態における強階層同期処理800cの詳細を示す図である。
本発明に係る第4の実施形態における強階層同期処理800dの詳細を示す図である。
符号の説明
100…デジタル放送受信装置、101…入力部、102…受信部、103…パケット分離部、104…強階層バッファ部、105…強階層復号部、106…弱階層バッファ部、107…弱階層復号部、108…強階層シーン検出部、109…弱階層シーン検出部、110…映像出力選択部、111…映像出力端子、112…音声出力選択部、113…音声出力端子、114…出力制御部、115…リアルタイムクロック、200…表示メモリ、201…画素情報、301…ブロック領域、302…輝度値テーブル、400a,400b…シーン検出処理、600a,600b…シーン検出テーブル、601a,601b…シーン検出時刻、602a…輝度明暗変化方向、603a,603b…シーン間隔時間、700a,700b…出力制御部処理、800a〜800d…強階層同期処理、800a’〜800d’…弱階層同期処理。