JP4989760B2 - 送信装置、受信装置および伝送システム - Google Patents

Description

本発明の実施形態は、送信装置、受信装置および伝送システムに関する。

近年、画像信号を立体的に表示する立体画像表示装置が普及しつつある。立体画像では、各画素が、Ｒ（赤）、Ｇ（緑）およびＢ（青）の輝度値に加え、奥行き情報を有する。また、立体画像表示装置では、メニュー等の設定画面であるＯＳＤ（オンスクリーンディスプレイ）も立体的に表示するのが望ましい。ＯＳＤの各画素は、Ｒ，ＧおよびＢの輝度値と、画像信号とＯＳＤとの混合比を示すブレンド情報と、奥行き情報とを有する。

ＯＳＤを生成する回路と、画像信号とＯＳＤとを合成する回路とが異なるチップに搭載されることもある。立体画像表示装置では、チップ間で、Ｒ，ＧおよびＢの輝度値およびブレンド情報だけでなく、奥行き情報をも伝送しなければならず、伝送システムが複雑になってしまうという問題がある。

特開平８−３３１５９８号公報

簡易に画像信号およびＯＳＤを送受信可能な送信装置、受信装置および伝送システムを提供する。

実施形態によると、送信装置は、多重部を備える。第１解像度の画像信号の信号値と、前記画像信号に合成されるＯＳＤの信号値と、前記ＯＳＤのブレンド情報と、前記ＯＳＤの奥行き情報と、を前記第１解像度より大きな第２解像度の伝送信号の所定の位置に割り当て、前記伝送信号を受信装置に送信する。

第１の実施形態に係る映像表示システムの概略ブロック図。 ２次元画像信号にＯＳＤの画像信号を重ねて合成した表示した画像。 図２に示す２次元画像から奥行き情報を生成する場合を説明する図。 左目用および右目の視差画像を示す図。 ＯＳＤの画像のブレンド情報を説明する図。 図５に示すブレンド情報を用いて合成した左目用および右目の視差画像を示す図。 一実施形態において用いられるＯＳＤの画像のブレンド情報を説明する図。 一実施形態において用いられるＯＳＤの画像の左目用および右目用のブレンド情報を説明する図。 図８で説明したブレンド情報を用いて合成した左目用および右目用の視差画像を示す図。 第１の実施形態での伝送フォーマットを示す図。 送信部３の内部構成の一例を示す概略ブロック図。 多重部１２の内部構成の一例を示す概略ブロック図。 受信部５の内部構成の一例を示す概略ブロック図。 分離部３１の内部構成の一例を示す概略ブロック図。 第２の実施形態での伝送フォーマットを示す図。 送信部３’の内部構成の一例を示す概略ブロック図。 並べ替えられる前の、画像信号の奥行き情報の配置を示す図。 並べ替え部１３ａにより並べ替えられた画像信号の奥行き情報の配置の一例を示す図。 並べ替え部１３ｂにより並べ替えられたＯＳＤのブレンド情報αおよび奥行き情報の配置の一例を示す図。 受信部５’の内部構成の一例を示す概略ブロック図。

以下に図面を参照して実施形態を説明する。

（第１の実施形態）
図１は、第１の実施形態に係る映像表示システムの概略ブロック図である。同図の映像表示システムは、画像信号処理部１と、ＯＳＤ描画部２と、送信部３と、伝送路４と、受信部５と、奥行き情報生成部６と、第１多視差画像生成部７と、第２多視差画像生成部８と、合成部９と、表示パネル１０と、を備えている。

画像信号処理部１、ＯＳＤ描画部２および送信部３はＳｏＣ（System on Chip）等の第１チップ２０に搭載され、送信部５、奥行き情報生成部６、第１多視差画像生成部７、第２多視差画像生成部８および合成部９は第２チップ３０に搭載される。第１チップ２０は、例えばチューナやパーソナルコンピュータの映像出力部に搭載され、第２チップ３０は表示パネル１０側に搭載される。送信部３、伝送路４および受信部５は伝送システム４０を構成する。

画像信号処理部１には、放送またはネットワークを介して、例えば符号された２次元画像信号が入力される。画像信号処理部１は、符号された２次元画像信号を復号化し、復号化された２次元画像信号を生成する。２次元画像信号は、例えば各画素におけるＲ，ＧおよびＢの輝度値（Ｖｉｄｅｏ Ｒ，Ｇ，Ｂ）を含む。

また、画像信号処理部１には、符号された多視差画像信号が入力されてもよい。画像信号処理部１では、符号された多視差画像信号を復号化し、復号化された多視差画像信号を生成する。多視差画像は、例えば各画素における、Ｒ，ＧおよびＢの輝度値（Ｖｉｄｅｏ Ｒ，Ｇ，Ｂ）および奥行き情報（Ｖｉｄｅｏ Ｄｅｐｔｈ）を含む。

以下では、画像信号のＲ，ＧおよびＢの輝度値および奥行き情報をまとめて、画像信号情報と呼ぶ。画像信号処理部１で生成された２次元画像信号または多視差画像信号は、後述する伝送システム４０を介して、第１多視差画像生成部７へ送られる。

ＯＳＤ描画部２は、例えば、チャネル番号やメニュー等の設定画像であるＯＳＤを描画または設定する。このＯＳＤには、メニュー等の設定画像の他に、グラフィック画像等も含まれている。ＯＳＤは、各画素におけるＲ，ＧおよびＢの輝度値（ＯＳＤ Ｒ，Ｇ，Ｂ）を含む。そして、本実施形態では、表示パネル１０に表示した場合にＯＳＤの領域を目立たせるために、ＯＳＤの領域を飛び出して表示させる。よって、ＯＳＤは各画素における奥行き情報（ＯＳＤ Ｄｅｐｔｈ）を含んでいる。ＯＳＤに含まれる奥行き情報は、ユーザがメニュー画面上で操作することにより、修正または変更されるように構成してもよい。このように構成することにより、表示したときのＯＳＤの飛び出し状態が、ユーザが所望するものとなるようにすることができる。

また、ＯＳＤは、各画素におけるブレンド情報α（ＯＳＤ α）をさらに含んでいる。このブレンド情報αはいわゆるαブレンド（アルファブレンド）に用いられる情報（値）であり、ＯＳＤの画像が背景とブレンドする度合いを示し、ｎビットで表現される場合には０≦α≦２ｎ−１の範囲の整数値をとる。なお、奥行き情報は、ＯＳＤの描画または設定時にＯＳＤ描画部２に入力しても良いし、ＯＳＤ描画部２においてソフトウェアを用いて作成してもよい。

復号化された画像信号にＯＳＤを単に重ねて合成し、表示パネル１０に表示すると、例えば図２に示すようになる。図２において、符号５４で示す「ＣＨ １３１」がＯＳＤを表す。このＯＳＤ５４は、図２において、チャネル番号を示している。

以下では、ＯＳＤのＲ，ＧおよびＢの輝度値、ブレンド情報αおよび奥行き情報をまとめて、ＯＳＤ情報と呼ぶ。ＯＳＤ描画部２で描画または設定されたＯＳＤ情報は、伝送システム４０を介して第２多視差画像生成部８に送られる。

送信部３、伝送路４および受信部５から構成される伝送システム４０は、画像信号処理部１で受信した画像信号を第１多視差画像生成部７に送り、ＯＳＤ描画部２によって描画または設定されたＯＳＤを第２多視差画像生成部８に送る。本実施形態の特徴の１つは伝送システム４０にあり、後に詳細に説明する。

奥行き情報生成部６は、復号化された２次元画像信号または多視差画像信号を解析し、画像の奥行き情報を生成し、第１多視差画像生成部７へ送る。

例えば、図２に示す２次元画像から物体（例えば「猫」）５０の奥行き情報を生成する。この奥行き情報の生成は、周知の方法を用いて行う。この方法は、例えば、図２に示す背景領域５２と、それ以外の領域の物体５０の信号に分離し、２次元画像の動きベクトルと、上記背景領域５２の動きベクトルから、背景領域５２の代表動きベクトルを算出し、上記２次元画像の動きベクトルから上記代表動きベクトルを減算することで相対動きベクトルを算出し、この相対動きベクトルを用いて、図３に示すように２次元画像信号の物体５０の奥行き情報を生成する。なお、奥行き情報は、手前にあると示されている物体（例えば図２に示す物体５０）のほうが、奥にあるとされる物体（例えば、図２示す背景領域５２）よりも大きな値となる。

なお、画像信号処理部１で生成される画像信号に奥行き情報が含まれる場合、この奥行き情報を直接第１多視差画像生成部７へ送ればよく、上記の奥行き情報生成部６の処理は不要である。

第１多視差画像生成部７は、奥行き情報生成部６で生成された奥行き情報または画像信号処理部１から送られる奥行き情報を用いて、多視差画像を生成する。例えば、本実施形態の第１および第２チップ２０，３０がめがね式の立体画像表示装置に用いられた場合は２視差画像を生成し、裸眼式立体画像表示装置に用いられた場合は例えば９方向から見た多視差画像、すなわち中央を含め９視差画像を生成する。第１多視差画像生成部７では奥行き情報が大きな、手前にあるとされる物体（例えば図２に示す物体５０）に関する、例えば左の方向から見た視差画像としては、その物体５０は背景領域５２にある物体よりも右側にずれて見えるので、右側にずらすような処理を画像に対して行うことにより、左の方向から見た視差画像を生成する。また、右の方向から見た視差画像としては、左側にずらすような処理を画像に対して行うことにより、右の方向から見た視差画像を生成する。このようにして、２視差画像、または水平方向に左から右にかけて９個の位置から見た９視差画像を生成する。このように、視差画像を生成する際に物体の位置をずらす処理を行うことは、本来ならばその背景の画像が見えるはずであるが、入力された画像にその情報はないため、単に画像を歪ませる処理となる。

第２多視差画像生成部８は、伝送システム４０を介して送られてきたＯＳＤ情報に基づいて、第１多視差画像生成部７によって生成されたと同じ視差数を有する多視差画像を生成する。例えば、ＯＳＤが、図２においてチャネル番号を示す「ＣＨ １３１」であり、かつ第１多視差画像生成部７によって生成される視差画像が２視差画像である場合には、２視差画像として、ＯＳＤ描画部２で描画または設定された、元のＯＳＤの画像から、変形させるフィルタを用いて左目用の視差画像（図４（ａ））と、右目用の視差画像（図４（ｂ））を作成する。なお、図４（ａ）、４（ｂ）は、ＯＳＤの画像を含む一部分の画像を取り出して作成した視差画像を示す。左目用の視差画像としては、ＯＳＤの画像５４を示す矩形領域を右の方向にずらし、右目用の視差画像としては、ＯＳＤの画像５４を示す矩形領域を左の方向にずらす。このとき、背景はずらさないので、ＯＳＤの画像５４と背景との継ぎ目のところは、歪みを起こさせることになる。この歪みにより矩形領域のエッジ部分は、ぼやけたみにくい画像となってしまう。ただし、奥行き情報に関しては、例えば図２に示す物体５０に対しての奥行き情報と、ＯＳＤの画像５４についての奥行き情報とが独立して存在している。しかし、第２多視差画像生成部８による視差画像の生成は、ＯＳＤの画像５４に対してはＯＳＤ用の奥行き情報を使用するため、背景領域５２には歪みを発生することはない。

本実施形態では、上記歪みによるＯＳＤの画像を示す領域のエッジ部分にぼやけた見にくい画像が生じるのを防止するために、第２多視差画像生成部８によって生成された、ＯＳＤの多視差画像を、第１多視差画像生成部７によって生成された多視差画像に合成する際に、ブレンド情報αを用いて合成する。

この合成は、合成部９において行われる。ブレンド情報αを用いて、ＯＳＤの画像５４の視差画像と背景領域５２とを単純にブレンドすると、ブレンド情報αは、図５に示すＯＳＤ描画部２で描画または設定された元のＯＳＤの画像を示す領域における値と、図４（ａ）、４（ｂ）に示す視差画像のＯＳＤの領域における値とは、異なっている。このため、図６（ａ）に示すように、ＯＳＤの画像５４が無い部分まで背景領域５２が置き換えられてしまうことによる黒い部分が生じたり、図６（ｂ）に示すように、ＯＳＤの画像５４自体が欠けてしまう現象が起こる。

そこで、本実施形態では、ＯＳＤの画像の奥行き情報に関しては、背景よりも手前となる領域、すなわち奥行き情報として大きな値を有する領域６０として、図４（ａ）、４（ｂ）に示すＯＳＤの画像５４よりも、図７に示すように、画面において左右方向（画面の水平方向）に広げた範囲に取る。これは例えば、奥行き情報のデータ（値）を左方向にずらしたデータと、右方向にずらしたデータの、それぞれの最大値を取ることで、左右方向に広げた範囲をとった奥行き情報が実現できる。また、当該左右方向に広げた奥行き情報を示すデータ（値）が、ＯＳＤ描画部２に予め設定されていてもよい。当該データは例えば、ＯＳＤデータ作成時に設定される。これにより、奥行き情報の値の変化点６２は、ＯＳＤの画像におけるブレンド情報αが０、つまり画像が透明となる部分に位置する。なお、図７において、領域６４は、画面におけるブレンド情報αが０である領域を示している。したがって、領域６０として、ＯＳＤの画像５４よりも画面において左右方向に広げた範囲に取ることは、ＯＳＤの画像のブレンド情報αが０となる領域を、画面の左右方向に広げることを意味し、さらに、ＯＳＤの奥行き情報に基づいて、ＯＳＤの画像のブレンド情報αが修正または変更されることを意味する。

したがって、第２多視差画像生成部８においては、上記ＯＳＤの奥行き情報に基づいて、多視差画像が生成されるが、このとき、各視差画像において、上記奥行き情報に基づいて左右方向に移動された（ずらされた）ＯＳＤの画像の領域に、ＯＳＤの奥行き情報に基づいてブレンド情報αが修正または変更される。例えば、第２多視差画像生成部８において、左目用の視差画像および右目用の視差画像を生成した場合の、ＯＳＤの奥行き情報に基づいた修正または変更されたブレンド情報αを、図８（ａ）、８（ｂ）にそれぞれ示す。なお、図８（ａ）、８（ｂ）において、符号６６はブレンド値αが０でない領域を示し、符号６８は、修正または変更されたブレンド情報αが０となる領域と０でない領域の境界を示す。

このように、本実施形態においては、多視差画像を生成する際の画像の変形が適用されるのは画像が透明の部分、すなわちブレンド情報αが０となる領域となり、ＯＳＤの画像５４を示す矩形領域が変形することは無い。

合成部９においては、第２多視差画像生成部８においてＯＳＤの奥行き情報に基づいて修正または変更されたブレンド情報αを用いて、第１多視差画像生成部７によって生成された多視差画像と、第２多視差画像生成部８によって生成されたＯＳＤに関する多視差画像とを合成し、合成された多視差画像を生成する。その合成は、各多視差画像の各画素に対して、以下の式を用いて行われる。
ここで、ＭはＯＳＤの奥行き情報に基づいて修正または変更されたブレンド情報αの最大値、Ａは第１多視差画像生成部７によって生成された多視差画像における画素の画素値（輝度値）、Ｂは第２多視差画像生成部８によって生成された多視差画像における画素の画素値、Ｃは合成部９において合成された多視差画像における画素の画素値である。例えば、ブレンド情報αがｎビットで表現される場合には、Ｍ＝２^ｎ−１となる。

このようにして合成された多視差画像は、合成部９において、立体画像表示用の画像に並べ替えられ、表示パネル１０に送られて表示される。表示パネル１０に表示された、立体画像表示用の画像は、ＯＳＤの画像５４のエッジ部分は元の画像のきれいなエッジが保たれたままとなり、欠けたりすることもなく、不要な色が付くこともないＯＳＤのブレンドが実現された画像となる。例えば、本実施形態において、左目用として合成された視差画像を図９（ａ）に示し、右目用として合成された視差画像を図９（ｂ）に示す。図９（ａ）、９（ｂ）からわかるように、ＯＳＤについても自然できれいな立体画像を生成することができる。

以下、本実施形態の特徴の１つである伝送システム４０について、詳しく説明する。

図１０は、本実施形態での伝送フォーマットを示す図である。また、図１１は、送信部３の内部構成の一例を示す概略ブロック図である。図１０および図１１は、水平方向４６６画素、垂直方向３５０画素（４６６×３５０、第１解像度）からなる、例えば１２インチサイズの表示パネル１０に画像信号およびＯＳＤを合成して表示することを念頭においている。まずは、画像信号処理部１に奥行き情報を有する画像信号が入力される場合、つまり、画像信号処理部１が、各画素がＲ，ＧおよびＢの輝度値に加え、奥行き情報を有する多視差画像信号を生成する場合を説明する。

図１１の送信部３には、画像信号のＲ，ＧおよびＢの輝度値（Ｖｉｄｅｏ Ｒ，Ｇ，Ｂ）と、画像信号の奥行き情報（Ｖｉｄｅｏ Ｄｅｐｔｈ）と、ＯＳＤのＲ，ＧおよびＢの輝度値（ＯＳＤ Ｒ，Ｇ，Ｂ）と、ＯＳＤのブレンド情報α（ＯＳＤ α）と、ＯＳＤの奥行き情報（ＯＳＤ Ｄｅｐｔｈ）とが入力される。送信部３は、これらのそれぞれに対応して設けられるスケーリング部１１ａ〜１１ｅと、スケーリング部１１ａ〜１１ｅの出力を多重化する多重部１２とを有する。

スケーリング部１１ａは、画像信号の解像度が、表示パネル１０の解像度と等しい４６６×３５０画素となるようスケーリング（拡大または縮小）する。例えば、入力される画像信号の解像度が１９２０×１０８０画素である場合、解像度を４６６×３５０画素に縮小する。同様に、スケーリング部１１ｂは画像信号の奥行き情報を、スケーリング部１１ｃはＯＳＤのＲ，ＧおよびＢの輝度値を、スケーリング部１１ｄはＯＳＤのブレンド情報αを、スケーリング部１１ｅはＯＳＤの奥行き情報をそれぞれ４６６×３５０画素にスケーリングする。なお、ＯＳＤ描画部２がＯＳＤを４６６×３５０画素の解像度でＯＳＤ情報を生成する場合、スケーリング部１１ｃ〜１１ｅは不要である。

多重部１２は、スケーリングされた画像信号情報およびＯＳＤ情報を、伝送路４で伝送できる信号のフォーマットに変換する。伝送路４は、例えばＨＤＭＩ（High-Definition Multimedia Interface）やＬＶＤＳ（Low Voltage Differential Signaling）等、Ｒ，ＧおよびＢの３値（信号線）からなる１９２０×１０８０画素（第２解像度）の映像信号（伝送信号）を伝送できる伝送路である。したがって、多重部１２は、スケーリングされた画像信号情報およびＯＳＤ情報を、Ｒ，ＧおよびＢの３値からなる１９２０×１０８０画素の映像信号として、多重化する。

より具体的には、図１０に示すように、多重部１２は、４６６×３５０画素の画像信号のＲ，ＧおよびＢの輝度値を位置（１４４７，７３０）〜（１９１２，１０７９）の画素のＲ，ＧおよびＢに割り当て、ＯＳＤのＲ，ＧおよびＢの輝度値を位置（１４４７，３６０）〜（１９１２，７１９）の画素のＲ，ＧおよびＢに割り当てる。また、ＯＳＤのブレンド情報αを位置（１４４７，０）〜（１９１２，３４９）の画素のＧに、ＯＳＤの奥行き情報を同位置のＲに、画像信号の奥行き情報を同位置のＢにそれぞれ割り当てる。

図１２は、多重部１２の内部構成の一例を示す概略ブロック図である。多重部１２は、書き込み制御部２１と、少なくとも１９２０×１０８０画素分のＲ，ＧおよびＢ値を記憶可能なフレームメモリ２２と、読み出し制御部２３とを有する。書き込み制御部２１は、スケーリング部１１ａ〜１１ｅから出力される１フレーム分の画像信号情報およびＯＳＤ情報をフレームメモリ２２の所定の領域に書き込む。そして、読み出し制御部２３は、フレームメモリ２２に書き込まれた画像信号情報およびＯＳＤ情報を、図１０のフォーマットに並べ替えて読み出し、１９２０×１０８０画素のＲ，ＧおよびＢ値を有する映像信号として、伝送路４に出力する。

伝送路４は、送信部３が搭載された第１チップ２０とは異なる第２チップ３０内の受信部５に、この映像信号を伝送する。

なお、画像信号情報およびＯＳＤ情報のいずれも割り当てられない画素は予め定めた一定値、例えば黒（Ｒ，ＧおよびＢの各輝度値が０）に設定するのが望ましい。これにより、後に画像信号に対して画像処理、例えば水平方向のフィルタ処理を行う場合に、不要なノイズが発生するのを抑制できる。

以上のように画像信号情報およびＯＳＤ情報を多重化することで、伝送路４は、画像信号およびＯＳＤのＲ，ＧおよびＢの輝度値のみならず、ブレンド情報αや画像信号およびＯＳＤの奥行き情報をまとめて映像信号として受信部５に効率よく伝送できる。

なお、図１０は、伝送路４で伝送される映像信号を表示した様子を図示したものであるが、これは多重化の一例を示すものであって、伝送システム４０の解像度に収まるのであれば、画像信号情報およびＯＳＤ情報をどの位置に割り当てるかは任意である。

図１３は、受信部５の内部構成の一例を示す概略ブロック図である。受信部５は分離部３１を有する。また、図１４は、分離部３１の内部構成の一例を示す概略ブロック図である。分離部３１は、書き込み制御部４１と、少なくとも１９２０×１０８０画素分のＲ，ＧおよびＢ値を記憶可能なフレームメモリ４２と、読み出し制御部４３とを有する。

書き込み制御部４１は、伝送路４から送られる、画像信号情報およびＯＳＤ情報を含む映像信号をフレームメモリ４２に書き込む。読み出し制御部４３は、フレームメモリに書き込まれた映像信号から、画像信号のＲ，ＧおよびＢの輝度値と、画像信号の奥行き情報と、ＯＳＤのＲ，ＧおよびＢの輝度値と、ＯＳＤのブレンド情報αと、ＯＳＤの奥行き情報とを分離して読み出す。これらのうち、画像信号情報は第１多視差画像生成部７へ、ＯＳＤ情報は第２多視差画像生成部８へ送られる。

以降、上述の処理により、合成部９は画像信号とＯＳＤとを合成し、合成された画像は表示パネル１０に表示される。

以上の説明は、画像信号処理部１で奥行き情報を含む多視差画像信号が生成される場合の例である。一方、画像信号処理部１で奥行き情報含まない２次元画像信号が生成される場合、図１１の送信部３のスケーリング部１１ｂは不要である。また、図１０の位置（１４４７，０）〜（１９１２，３４９）の画素のＢには何も割り当てられず、例えば黒等の一定値に設定される。その他の処理は２次元画像信号の場合と同様である。

このように、第１の実施形態では、送信部３内に多重部１２を設け、画像信号情報およびＯＳＤ情報を多重化して、映像信号として受信部５に伝送する。そのため、画像信号処理部１およびＯＳＤ描画部２が第１チップ２０に搭載され、画像信号とＯＳＤとを合成する合成部９が第２チップ３０に搭載される場合でも、簡易に効率よく画像信号情報およびＯＳＤ情報をチップ間で伝送できる。

（第２の実施形態）
以下に説明する第２の実施形態では、表示パネル１０の解像度が第１の実施形態より大きい場合において、画像信号とＯＳＤとを合成して表示させるものである。以下では、第１の実施形態との相違点である伝送システム４０について、主に説明する。

図１５は、本実施形態での伝送フォーマットを示す図である。また、図１６は、送信部３’の内部構成の一例を示す概略ブロック図である。図１５および図１６は、１２８０×７２０画素（第１解像度）からなる、例えば２０インチサイズの表示パネル１０’に画像信号およびＯＳＤを合成して表示することを念頭においている。まずは、画像信号処理部１で奥行き情報を含む多視差画像信号が生成される場合を説明する。

図１６の送信部３’は、図１１と同様のスケーリング部１１ａ〜１１ｅおよび多重部１２に加え、並べ替え部１３ａ，１３ｂをさらに有する。

スケーリング部１１ａは画像信号のＲ，ＧおよびＢの輝度値を１２８０×７２０画素にスケーリングする。スケーリング部１１ｂ〜１１ｅは、画像信号の奥行き情報、ＯＳＤのＲ，ＧおよびＢの輝度値、ブレンド情報αおよび奥行き情報をそれぞれ６４０×７２０画素にスケーリングする。これらを表示パネル１０’の解像度に合わせて１２８０×７２０画素にスケーリングすると、伝送路４で伝送可能なデータ量を超えてしまうため、本実施形態では、水平方向の解像度を１／２倍としている。

並べ替え部（第２並べ替え部）１３ａはスケーリングされた画像信号の奥行き情報を以下のように並べ替える。

図１７は、並べ替えられる前の、画像信号の奥行き情報の配置を示す図である。同図に示すように、並べ替えられる前は画像信号の奥行き情報が表示順に配置されている。なお、図１７等で（ｐ，ｑ）とあるのは、ｑライン目のｐ番目の画素であることを示している。

図１８（ａ），（ｂ）は、並べ替え部１３ａにより並べ替えられた画像信号の奥行き情報の配置の一例を示す図である。まず、並べ替え部１３ａは、画像信号の奥行き情報を、偶数ラインの画像信号の奥行き情報と、奇数ラインの画像信号の奥行き情報とに分離する。そして、図１８（ａ）に示すように、偶数ラインの画像信号の奥行き情報のうち、偶数番目の画素、例えば（０，０）や（２，０）等の奥行き情報を伝送路４で伝送される映像信号のＲ値に対応させ、奇数番目の画素、例えば（１，０）や（３，０）等の奥行き情報をＧ値に対応させて配置する。また、図１８（ｂ）に示すように、奇数ラインの画像信号の奥行き情報のうち、偶数番目の画素の奥行き情報をＲ値に対応させ、奇数番目の画素の奥行き情報をＧ値に対応させて配置する。

図１８（ｃ）は、図１８（ａ），（ｂ）の１画素をより詳細に示す図である。同図では、伝送路４で伝送される映像信号のＲ，ＧおよびＢ値のそれぞれが１０ビットであり、画像信号の奥行き情報が８ビットである例を示している。同図に示すように、画像信号の奥行き情報のビット数よりＲ，ＧおよびＢ値のビット数が多い場合、並べ替え部１３ａは、例えばそれぞれ１０ビットのうちの上位８ビットに画像信号の奥行き情報を割り当てればよい。

並べ替え部１３ａは、このようにして生成される図１８（ａ）の信号Ｖｉｄｅｏ Ｄｅｐｔｈ ＥＶと、同図（ｂ）の信号Ｖｉｄｅｏ Ｄｅｐｔｈ ＯＤとを多重部１２へ送る。なお、同図（ａ），（ｂ）はそれぞれ３２０×３６０画素分である。

並べ替え部（第２の並べ替え部）１３ｂはスケーリングされたＯＳＤのブレンド情報αおよび奥行き情報を以下のように並べ替える。並べ替えられる前は、やはり図１７と同様に、これらの情報が表示順に配置されている。

図１９（ａ），（ｂ）は、並べ替え部１３ｂにより並べ替えられたＯＳＤのブレンド情報αおよび奥行き情報の配置の一例を示す図である。並べ替え部１３ａと同様に、まず、並べ替え部１３ｂは、ＯＳＤのブレンド情報αおよび奥行き情報を、偶数ラインのブレンド情報および奥行き情報と、奇数ラインのブレンド情報αおよび奥行き情報とに分離する。そして、図１９（ａ）に示すように、偶数ラインのＯＳＤの奥行き情報を伝送路４で伝送される映像信号のＲ値に対応させ、ブレンド情報αをＧ値に対応させて配置する。同様に、図１９（ｂ）に示すように、奇数ラインのＯＳＤの奥行き情報をＲ値に対応させ、ブレンド情報αをＧ値に対応させて配置する。

並べ替え部１３ｂは、このようにして生成される図１９（ａ）の信号ＯＳＤ ＥＶと、同図（ｂ）の信号ＯＳＤ ＯＤとを多重部１２へ送る。なお、同図（ａ），（ｂ）はそれぞれ６４０×３６０画素分である。

そして、図１６の多重部１２は、図１５に示すように、スケーリング部１１ａから出力される１２８０×７２０画素分の画像信号のＲ，ＧおよびＢの輝度値を位置（６４０，３６０）〜（１９１９，１０７９）の画素のＲ，ＧおよびＢに、並べ替え部１３ａから出力される３２０×３６０画素分の信号Ｖｉｄｅｏ Ｄｅｐｔｈ ＥＶ（図１８（ａ））を位置（１２８０，０）〜（１５９９，３５９）に、信号Ｖｉｄｅｏ Ｄｅｐｔｈ ＯＤ（図１８（ｂ））を位置（１６００，０）〜（１９１９，３５９）に、スケーリング部１１ｃから出力される６４０×７２０画素分のＯＳＤのＲ，ＧおよびＢの輝度値を位置（０，３６０）〜（６３９，１０７９）に、並べ替え部１３ｂから出力される６４０×３６０画素分の信号ＯＳＤ ＥＶ（図１９（ａ））を位置（０，０）〜（６３９，３５９）に、信号ＯＳＤ ＯＤ（図１９（ｂ））を位置（６４０，０）〜（１２７９，３５９）に、それぞれ割り当てる。なお、多重部１２の内部構成は図１２と同様なので、説明を省略する。

送信部３’内の多重部１２から、伝送路４を介して、図１５に示す映像信号が受信部５’に伝送される。

図２０は、受信部５’の内部構成の一例を示す概略ブロック図である。同図の受信部５’は、図１３と同様の分離部３１に加え、並べ替え部３２ａ，３２ｂと、スケーリング部３３ａ〜３３ｄとを有する。

分離部３１は、伝送路４から伝送される映像信号から、画像信号のＲ，ＧおよびＢの輝度値と、画像信号の奥行き情報と、ＯＳＤのＲ，ＧおよびＢの輝度値と、ＯＳＤのブレンド情報αと、ＯＳＤの奥行き情報とを分離する。並べ替え部（第４並べ替え部）３２ａは、図１８（ａ），（ｂ）のフォーマットの画像信号の奥行き情報を、図１７に示すような表示順のフォーマットに並べ替える。並べ替え部（第３並べ替え部）３２ｂは、図１９（ａ），（ｂ）のフォーマットのＯＳＤのブレンド情報αおよび奥行き情報を、図１７に示すような表示順のフォーマットにそれぞれ並べ替える。

分離されたＯＳＤのＲ，ＧおよびＢの輝度値と、並べ替えられた画像信号の奥行き情報、ＯＳＤのブレンド情報および奥行き情報は、それぞれ図１６のスケーリング部１１ｂ〜１１ｅにより６４０×７２０画素にスケーリングされている。そのため、表示パネル１０’の解像度に合わせるべく、受信部５’のスケーリング部３３ａ〜３３ｄは、これらを水平方向に２倍した１２８０×７２０画素にスケーリングする。なお、画像信号のＲ，ＧおよびＢの輝度値は、図２０のスケーリング部１１ａにより１２８０×７２０画素にスケーリングされているため、受信部５’内でのスケーリングは不要である。

以上にして得られる、それぞれ１２８０×７２０画素の画像信号情報は第１多視差画像生成部７へ、ＯＳＤ情報は第２多視差画像生成部８へ送られる。以降の処理は第１の実施形態と同様である。

以上の説明は、画像信号処理部１で奥行き情報を含む多視差画像信号が生成され場合の例である。一方、画像信号処理部１で奥行き情報含まない２次元画像信号が生成される場合、図１６の送信部３’のスケーリング部１１ｂおよび並べ替え部１３ａは不要である。また、図１５の位置（１２８０，０）〜（１９１９，３５９）の画素には何も割り当てられない。さらに、図２０の並べ替え部３２ａおよびスケーリング部３３ａは不要である。その他の処理は２次元画像信号の場合と同様である。

このように、第２の実施形態では、画像信号の奥行き情報やＯＳＤ情報を、表示パネル１０’より小さい解像度にスケーリングして、送信部３’から受信部５’へ伝送する。そのため、表示パネル１０’の解像度が大きい場合でも、簡易に効率よく画像信号およびＯＳＤ情報をチップ間で伝送できる。また、並べ替え部３２ａ，３２ｂは、画像信号の奥行き情報およびＯＳＤ情報を、偶数ラインおよび奇数ラインに分離して並べ替えを行うため、解像度が高い情報も効率よく伝送できる。

なお、表示パネル１０の解像度がさらに大きい場合、画像信号のＲ，ＧおよびＢの輝度値を縮小して伝送してもよい。ただし、画像信号のＲ，ＧおよびＢの輝度値を縮小すると画質が劣化するおそれがあるので、できるだけこれを縮小せず、画像信号の奥行き情報やＯＳＤ情報を優先して縮小するのが望ましい。

また、各実施形態では、画像信号およびＯＳＤがＲ，ＧおよびＢの輝度値を信号値として有する例を示したが、Ｙ（輝度）、Ｃｂ，Ｃｒ（色差）等、他の形式で信号値を有していてもよい。

上述した実施形態で説明した伝送システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、伝送システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、伝送システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 画像信号処理部
２ ＯＳＤ描画部
３，３’ 送信部
４ 伝送路
５，５’ 受信部
６ 奥行き情報生成部
７ 第１多視差画像生成部
８ 第２多視差画像生成部
９ 合成部
１０ 表示パネル
１１ａ〜１１ｅ，３３ａ〜３３ｄ スケーリング部
１２ 多重部
１３ａ，１３ｂ，３２ａ，３２ｂ 並べ替え部
３１ 分離部

Claims (17)

1. 第１解像度の画像信号の信号値と、前記画像信号に合成されるＯＳＤの信号値と、前記ＯＳＤのブレンド情報と、前記ＯＳＤの奥行き情報と、を前記第１解像度より大きな第２解像度の伝送信号の所定の位置に割り当て、前記伝送信号を受信装置に送信する多重部を備えることを特徴とする送信装置。
2. 入力画像信号を前記第１解像度にスケーリングする第１スケーリング部を備えることを特徴とする請求項１に記載の送信装置。
3. 前記ＯＳＤの信号値、前記ＯＳＤのブレンド情報、および、前記ＯＳＤの奥行き情報のうちの少なくとも１つを、前記第１解像度と等しいか、前記第１解像度より小さい解像度にスケーリングする第２スケーリング部を備え、
   前記多重部は、前記第２スケーリング部の出力を前記伝送信号の所定の位置に割り当てることを特徴とする請求項１または２に記載の送信装置。
4. 前記ＯＳＤのブレンド情報および奥行き情報が、前記伝送信号の同じ位置の異なる信号線に割り当てられるよう、前記ＯＳＤのブレンド情報および奥行き情報を並べ替える第１並べ替え部を備えることを特徴とする請求項１乃至３のいずれかに記載の送信装置。
5. 前記第１並べ替え部は、偶数ラインの前記ＯＳＤのブレンド情報および奥行き情報と、奇数ラインの前記ＯＳＤのブレンド情報および奥行き情報と、に分離し、
   前記多重部は、前記偶数ラインの前記ＯＳＤのブレンド情報および奥行き情報と、前記奇数ラインの前記ＯＳＤのブレンド情報および奥行き情報と、を前記伝送信号の異なる位置に割り当てることを特徴とする請求項４に記載の送信装置。
6. 前記多重部は、前記画像信号の奥行き情報を前記伝送信号の所定の位置に割り当てることを特徴とする請求項１乃至５のいずれかに記載の送信装置。
7. 偶数ラインの前記画像信号の奥行き情報と、奇数ラインの前記画像信号の奥行き情報と、を分離する第２並べ替え部を備え、
   前記多重部は、前記偶数ラインの前記画像信号の奥行き情報と、前記奇数ラインの前記画像信号の奥行き情報と、を前記伝送信号の異なる位置に割り当てることを特徴とする請求項６に記載の送信装置。
8. 前記多重部は、前記伝送信号上で、いずれの情報も割り当てられない位置には、予め定めた一定値を設定することを特徴とする請求項１乃至７のいずれかに記載の送信装置。
9. 送信装置から送信される、第１解像度の画像信号の信号値と、前記画像信号に合成されるＯＳＤの信号値と、前記ＯＳＤのブレンド情報と、前記ＯＳＤの奥行き情報と、が所定の位置に割り当てられた、前記第１解像度より大きな第２解像度の伝送信号から、前記画像信号の信号値と、前記ＯＳＤの信号値と、前記ＯＳＤのブレンド情報と、前記ＯＳＤの奥行き情報と、を分離する分離部を備えることを特徴とする受信装置。
10. 前記ＯＳＤの信号値、前記ＯＳＤのブレンド情報、および、前記ＯＳＤの奥行き情報のうちの少なくとも１つは、前記第１解像度より小さい解像度にスケーリングされており、 前記スケーリングされた情報を前記第１解像度にスケーリングするスケーリング部を備えることを特徴とする請求項９に記載の受信装置。
11. 前記伝送信号には、前記ＯＳＤのブレンド情報および前記ＯＳＤの奥行き情報が同じ位置の異なる信号線に割り当てられており、
    前記画像信号から前記ＯＳＤのブレンド情報および前記ＯＳＤの奥行き情報のそれぞれを取り出す第３並べ替え部を備えることを特徴とする請求項９または１０に記載の受信装置。
12. 前記伝送信号には、偶数ラインの前記ＯＳＤのブレンド情報および奥行き情報と、奇数ラインの前記ＯＳＤのブレンド情報および奥行き情報と、が異なる位置に割り当てられており、
    前記第３並べ替え部は、前記ＯＳＤのブレンド情報および奥行き情報を表示順に並べ替えることを特徴とする請求項１１に記載の受信装置。
13. 前記伝送信号には、前記画像信号の奥行き情報が所定の位置に割り当てられており、
    前記分離部は、前記伝送信号から前記画像信号の奥行き情報を分離することを特徴とする請求項９乃至１２のいずれかに記載の受信装置。
14. 前記伝送信号には、偶数ラインの前記画像信号の奥行き情報と、奇数ラインの前記画像信号の奥行き情報と、が異なる位置に割り当てられており、
    前記画像信号の奥行き情報を表示順に並べ替える第４並べ替え部を備えることを特徴とする請求項１３に記載の受信装置。
15. 第１解像度の画像信号の信号値と、前記画像信号に合成されるＯＳＤの信号値と、前記ＯＳＤのブレンド情報と、前記ＯＳＤの奥行き情報と、を前記第１解像度より大きな第２解像度の伝送信号の所定の位置に割り当て、前記伝送信号を送信する多重部を有する送信部と、
    前記送信部から送信される前記伝送信号から、前記画像信号の信号値と、前記ＯＳＤの信号値と、前記ＯＳＤのブレンド情報と、前記ＯＳＤの奥行き情報と、を分離する分離部を有する受信部と、
    前記送信部から前記受信部へ、前記伝送信号を伝送する伝送路と、を備えることを特徴とする伝送システム。
16. 前記伝送路は、ＨＤＭＩまたはＬＶＤＳであることを特徴とする請求項１５に記載の伝送システム。
17. 画像信号の奥行き情報に基づいて、前記分離部で分離された画像信号の多視差画像を生成する第１多視差画像生成部と、
    前記分離部で分離された前記ＯＳＤの奥行き情報に基づいて、前記分離部で分離された前記ＯＳＤの多視差画像を生成する第２多視差画像生成部と、
    前記画像信号の多視差画像と、前記ＯＳＤの多視差画像と、を前記分離部で分離された前記ＯＳＤのブレンド情報に基づいて合成して、合成画像を生成する合成部と、
    前記合成画像を表示する、前記第１解像度を有する表示パネルと、を備えることを特徴とする請求項１５または１６に記載の伝送システム。