JP2012134732A - 送信装置、受信装置および伝送システム - Google Patents
送信装置、受信装置および伝送システム Download PDFInfo
- Publication number
- JP2012134732A JP2012134732A JP2010284666A JP2010284666A JP2012134732A JP 2012134732 A JP2012134732 A JP 2012134732A JP 2010284666 A JP2010284666 A JP 2010284666A JP 2010284666 A JP2010284666 A JP 2010284666A JP 2012134732 A JP2012134732 A JP 2012134732A
- Authority
- JP
- Japan
- Prior art keywords
- osd
- information
- depth information
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】簡易に画像信号およびOSDを送受信可能な送信装置、受信装置およびを提供する。
【解決手段】実施形態によると、送信装置は、第1スケーリング部と、多重部とを備える。第1スケーリング部は、画像信号を第1解像度にスケーリングする。多重部は、前記スケーリングされた画像信号の信号値と、前記画像信号に合成されるOSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を前記第1解像度より大きな第2解像度の伝送信号の所定の位置に割り当てる。
【選択図】図1
【解決手段】実施形態によると、送信装置は、第1スケーリング部と、多重部とを備える。第1スケーリング部は、画像信号を第1解像度にスケーリングする。多重部は、前記スケーリングされた画像信号の信号値と、前記画像信号に合成されるOSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を前記第1解像度より大きな第2解像度の伝送信号の所定の位置に割り当てる。
【選択図】図1
Description
本発明の実施形態は、送信装置、受信装置および伝送システムに関する。
近年、画像信号を立体的に表示する立体画像表示装置が普及しつつある。立体画像では、各画素が、R(赤)、G(緑)およびB(青)の輝度値に加え、奥行き情報を有する。また、立体画像表示装置では、メニュー等の設定画面であるOSD(オンスクリーンディスプレイ)も立体的に表示するのが望ましい。OSDの各画素は、R,GおよびBの輝度値と、画像信号とOSDとの混合比を示すブレンド情報と、奥行き情報とを有する。
OSDを生成する回路と、画像信号とOSDとを合成する回路とが異なるチップに搭載されることもある。立体画像表示装置では、チップ間で、R,GおよびBの輝度値およびブレンド情報だけでなく、奥行き情報をも伝送しなければならず、伝送システムが複雑になってしまうという問題がある。
簡易に画像信号およびOSDを送受信可能な送信装置、受信装置および伝送システムを提供する。
実施形態によると、送信装置は、第1スケーリング部と、多重部とを備える。第1スケーリング部は、画像信号を第1解像度にスケーリングする。多重部は、前記スケーリングされた画像信号の信号値と、前記画像信号に合成されるOSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を前記第1解像度より大きな第2解像度の伝送信号の所定の位置に割り当てる。
以下に図面を参照して実施形態を説明する。
(第1の実施形態)
図1は、第1の実施形態に係る映像表示システムの概略ブロック図である。同図の映像表示システムは、画像信号処理部1と、OSD描画部2と、送信部3と、伝送路4と、受信部5と、奥行き情報生成部6と、第1多視差画像生成部7と、第2多視差画像生成部8と、合成部9と、表示パネル10と、を備えている。
図1は、第1の実施形態に係る映像表示システムの概略ブロック図である。同図の映像表示システムは、画像信号処理部1と、OSD描画部2と、送信部3と、伝送路4と、受信部5と、奥行き情報生成部6と、第1多視差画像生成部7と、第2多視差画像生成部8と、合成部9と、表示パネル10と、を備えている。
画像信号処理部1、OSD描画部2および送信部3はSoC(System on Chip)等の第1チップ20に搭載され、送信部5、奥行き情報生成部6、第1多視差画像生成部7、第2多視差画像生成部8および合成部9は第2チップ30に搭載される。第1チップ20は、例えばチューナやパーソナルコンピュータの映像出力部に搭載され、第2チップ30は表示パネル10側に搭載される。送信部3、伝送路4および受信部5は伝送システム40を構成する。
画像信号処理部1には、放送またはネットワークを介して、例えば符号された2次元画像信号が入力される。画像信号処理部1は、符号された2次元画像信号を復号化し、復号化された2次元画像信号を生成する。2次元画像信号は、例えば各画素におけるR,GおよびBの輝度値(Video R,G,B)を含む。
また、画像信号処理部1には、符号された多視差画像信号が入力されてもよい。画像信号処理部1では、符号された多視差画像信号を復号化し、復号化された多視差画像信号を生成する。多視差画像は、例えば各画素における、R,GおよびBの輝度値(Video R,G,B)および奥行き情報(Video Depth)を含む。
以下では、画像信号のR,GおよびBの輝度値および奥行き情報をまとめて、画像信号情報と呼ぶ。画像信号処理部1で生成された2次元画像信号または多視差画像信号は、後述する伝送システム40を介して、第1多視差画像生成部7へ送られる。
OSD描画部2は、例えば、チャネル番号やメニュー等の設定画像であるOSDを描画または設定する。このOSDには、メニュー等の設定画像の他に、グラフィック画像等も含まれている。OSDは、各画素におけるR,GおよびBの輝度値(OSD R,G,B)を含む。そして、本実施形態では、表示パネル10に表示した場合にOSDの領域を目立たせるために、OSDの領域を飛び出して表示させる。よって、OSDは各画素における奥行き情報(OSD Depth)を含んでいる。OSDに含まれる奥行き情報は、ユーザがメニュー画面上で操作することにより、修正または変更されるように構成してもよい。このように構成することにより、表示したときのOSDの飛び出し状態が、ユーザが所望するものとなるようにすることができる。
また、OSDは、各画素におけるブレンド情報α(OSD α)をさらに含んでいる。このブレンド情報αはいわゆるαブレンド(アルファブレンド)に用いられる情報(値)であり、OSDの画像が背景とブレンドする度合いを示し、nビットで表現される場合には0≦α≦2n−1の範囲の整数値をとる。なお、奥行き情報は、OSDの描画または設定時にOSD描画部2に入力しても良いし、OSD描画部2においてソフトウェアを用いて作成してもよい。
復号化された画像信号にOSDを単に重ねて合成し、表示パネル10に表示すると、例えば図2に示すようになる。図2において、符号54で示す「CH 131」がOSDを表す。このOSD54は、図2において、チャネル番号を示している。
以下では、OSDのR,GおよびBの輝度値、ブレンド情報αおよび奥行き情報をまとめて、OSD情報と呼ぶ。OSD描画部2で描画または設定されたOSD情報は、伝送システム40を介して第2多視差画像生成部8に送られる。
送信部3、伝送路4および受信部5から構成される伝送システム40は、画像信号処理部1で受信した画像信号を第1多視差画像生成部7に送り、OSD描画部2によって描画または設定されたOSDを第2多視差画像生成部8に送る。本実施形態の特徴の1つは伝送システム40にあり、後に詳細に説明する。
奥行き情報生成部6は、復号化された2次元画像信号または多視差画像信号を解析し、画像の奥行き情報を生成し、第1多視差画像生成部7へ送る。
例えば、図2に示す2次元画像から物体(例えば「猫」)50の奥行き情報を生成する。この奥行き情報の生成は、周知の方法を用いて行う。この方法は、例えば、図2に示す背景領域52と、それ以外の領域の物体50の信号に分離し、2次元画像の動きベクトルと、上記背景領域52の動きベクトルから、背景領域52の代表動きベクトルを算出し、上記2次元画像の動きベクトルから上記代表動きベクトルを減算することで相対動きベクトルを算出し、この相対動きベクトルを用いて、図3に示すように2次元画像信号の物体50の奥行き情報を生成する。なお、奥行き情報は、手前にあると示されている物体(例えば図2に示す物体50)のほうが、奥にあるとされる物体(例えば、図2示す背景領域52)よりも大きな値となる。
なお、画像信号処理部1で生成される画像信号に奥行き情報が含まれる場合、この奥行き情報を直接第1多視差画像生成部7へ送ればよく、上記の奥行き情報生成部6の処理は不要である。
第1多視差画像生成部7は、奥行き情報生成部6で生成された奥行き情報または画像信号処理部1から送られる奥行き情報を用いて、多視差画像を生成する。例えば、本実施形態の第1および第2チップ20,30がめがね式の立体画像表示装置に用いられた場合は2視差画像を生成し、裸眼式立体画像表示装置に用いられた場合は例えば9方向から見た多視差画像、すなわち中央を含め9視差画像を生成する。第1多視差画像生成部7では奥行き情報が大きな、手前にあるとされる物体(例えば図2に示す物体50)に関する、例えば左の方向から見た視差画像としては、その物体50は背景領域52にある物体よりも右側にずれて見えるので、右側にずらすような処理を画像に対して行うことにより、左の方向から見た視差画像を生成する。また、右の方向から見た視差画像としては、左側にずらすような処理を画像に対して行うことにより、右の方向から見た視差画像を生成する。このようにして、2視差画像、または水平方向に左から右にかけて9個の位置から見た9視差画像を生成する。このように、視差画像を生成する際に物体の位置をずらす処理を行うことは、本来ならばその背景の画像が見えるはずであるが、入力された画像にその情報はないため、単に画像を歪ませる処理となる。
第2多視差画像生成部8は、伝送システム40を介して送られてきたOSD情報に基づいて、第1多視差画像生成部7によって生成されたと同じ視差数を有する多視差画像を生成する。例えば、OSDが、図2においてチャネル番号を示す「CH 131」であり、かつ第1多視差画像生成部7によって生成される視差画像が2視差画像である場合には、2視差画像として、OSD描画部2で描画または設定された、元のOSDの画像から、変形させるフィルタを用いて左目用の視差画像(図4(a))と、右目用の視差画像(図4(b))を作成する。なお、図4(a)、4(b)は、OSDの画像を含む一部分の画像を取り出して作成した視差画像を示す。左目用の視差画像としては、OSDの画像54を示す矩形領域を右の方向にずらし、右目用の視差画像としては、OSDの画像54を示す矩形領域を左の方向にずらす。このとき、背景はずらさないので、OSDの画像54と背景との継ぎ目のところは、歪みを起こさせることになる。この歪みにより矩形領域のエッジ部分は、ぼやけたみにくい画像となってしまう。ただし、奥行き情報に関しては、例えば図2に示す物体50に対しての奥行き情報と、OSDの画像54についての奥行き情報とが独立して存在している。しかし、第2多視差画像生成部8による視差画像の生成は、OSDの画像54に対してはOSD用の奥行き情報を使用するため、背景領域52には歪みを発生することはない。
本実施形態では、上記歪みによるOSDの画像を示す領域のエッジ部分にぼやけた見にくい画像が生じるのを防止するために、第2多視差画像生成部8によって生成された、OSDの多視差画像を、第1多視差画像生成部7によって生成された多視差画像に合成する際に、ブレンド情報αを用いて合成する。
この合成は、合成部9において行われる。ブレンド情報αを用いて、OSDの画像54の視差画像と背景領域52とを単純にブレンドすると、ブレンド情報αは、図5に示すOSD描画部2で描画または設定された元のOSDの画像を示す領域における値と、図4(a)、4(b)に示す視差画像のOSDの領域における値とは、異なっている。このため、図6(a)に示すように、OSDの画像54が無い部分まで背景領域52が置き換えられてしまうことによる黒い部分が生じたり、図6(b)に示すように、OSDの画像54自体が欠けてしまう現象が起こる。
そこで、本実施形態では、OSDの画像の奥行き情報に関しては、背景よりも手前となる領域、すなわち奥行き情報として大きな値を有する領域60として、図4(a)、4(b)に示すOSDの画像54よりも、図7に示すように、画面において左右方向(画面の水平方向)に広げた範囲に取る。これは例えば、奥行き情報のデータ(値)を左方向にずらしたデータと、右方向にずらしたデータの、それぞれの最大値を取ることで、左右方向に広げた範囲をとった奥行き情報が実現できる。また、当該左右方向に広げた奥行き情報を示すデータ(値)が、OSD描画部2に予め設定されていてもよい。当該データは例えば、OSDデータ作成時に設定される。これにより、奥行き情報の値の変化点62は、OSDの画像におけるブレンド情報αが0、つまり画像が透明となる部分に位置する。なお、図7において、領域64は、画面におけるブレンド情報αが0である領域を示している。したがって、領域60として、OSDの画像54よりも画面において左右方向に広げた範囲に取ることは、OSDの画像のブレンド情報αが0となる領域を、画面の左右方向に広げることを意味し、さらに、OSDの奥行き情報に基づいて、OSDの画像のブレンド情報αが修正または変更されることを意味する。
したがって、第2多視差画像生成部8においては、上記OSDの奥行き情報に基づいて、多視差画像が生成されるが、このとき、各視差画像において、上記奥行き情報に基づいて左右方向に移動された(ずらされた)OSDの画像の領域に、OSDの奥行き情報に基づいてブレンド情報αが修正または変更される。例えば、第2多視差画像生成部8において、左目用の視差画像および右目用の視差画像を生成した場合の、OSDの奥行き情報に基づいた修正または変更されたブレンド情報αを、図8(a)、8(b)にそれぞれ示す。なお、図8(a)、8(b)において、符号66はブレンド値αが0でない領域を示し、符号68は、修正または変更されたブレンド情報αが0となる領域と0でない領域の境界を示す。
このように、本実施形態においては、多視差画像を生成する際の画像の変形が適用されるのは画像が透明の部分、すなわちブレンド情報αが0となる領域となり、OSDの画像54を示す矩形領域が変形することは無い。
合成部9においては、第2多視差画像生成部8においてOSDの奥行き情報に基づいて修正または変更されたブレンド情報αを用いて、第1多視差画像生成部7によって生成された多視差画像と、第2多視差画像生成部8によって生成されたOSDに関する多視差画像とを合成し、合成された多視差画像を生成する。その合成は、各多視差画像の各画素に対して、以下の式を用いて行われる。
ここで、MはOSDの奥行き情報に基づいて修正または変更されたブレンド情報αの最大値、Aは第1多視差画像生成部7によって生成された多視差画像における画素の画素値(輝度値)、Bは第2多視差画像生成部8によって生成された多視差画像における画素の画素値、Cは合成部9において合成された多視差画像における画素の画素値である。例えば、ブレンド情報αがnビットで表現される場合には、M=2n−1となる。
このようにして合成された多視差画像は、合成部9において、立体画像表示用の画像に並べ替えられ、表示パネル10に送られて表示される。表示パネル10に表示された、立体画像表示用の画像は、OSDの画像54のエッジ部分は元の画像のきれいなエッジが保たれたままとなり、欠けたりすることもなく、不要な色が付くこともないOSDのブレンドが実現された画像となる。例えば、本実施形態において、左目用として合成された視差画像を図9(a)に示し、右目用として合成された視差画像を図9(b)に示す。図9(a)、9(b)からわかるように、OSDについても自然できれいな立体画像を生成することができる。
以下、本実施形態の特徴の1つである伝送システム40について、詳しく説明する。
図10は、本実施形態での伝送フォーマットを示す図である。また、図11は、送信部3の内部構成の一例を示す概略ブロック図である。図10および図11は、水平方向466画素、垂直方向350画素(466×350、第1解像度)からなる、例えば12インチサイズの表示パネル10に画像信号およびOSDを合成して表示することを念頭においている。まずは、画像信号処理部1に奥行き情報を有する画像信号が入力される場合、つまり、画像信号処理部1が、各画素がR,GおよびBの輝度値に加え、奥行き情報を有する多視差画像信号を生成する場合を説明する。
図11の送信部3には、画像信号のR,GおよびBの輝度値(Video R,G,B)と、画像信号の奥行き情報(Video Depth)と、OSDのR,GおよびBの輝度値(OSD R,G,B)と、OSDのブレンド情報α(OSD α)と、OSDの奥行き情報(OSD Depth)とが入力される。送信部3は、これらのそれぞれに対応して設けられるスケーリング部11a〜11eと、スケーリング部11a〜11eの出力を多重化する多重部12とを有する。
スケーリング部11aは、画像信号の解像度が、表示パネル10の解像度と等しい466×350画素となるようスケーリング(拡大または縮小)する。例えば、入力される画像信号の解像度が1920×1080画素である場合、解像度を466×350画素に縮小する。同様に、スケーリング部11bは画像信号の奥行き情報を、スケーリング部11cはOSDのR,GおよびBの輝度値を、スケーリング部11dはOSDのブレンド情報αを、スケーリング部11eはOSDの奥行き情報をそれぞれ466×350画素にスケーリングする。なお、OSD描画部2がOSDを466×350画素の解像度でOSD情報を生成する場合、スケーリング部11c〜11eは不要である。
多重部12は、スケーリングされた画像信号情報およびOSD情報を、伝送路4で伝送できる信号のフォーマットに変換する。伝送路4は、例えばHDMI(High-Definition Multimedia Interface)やLVDS(Low Voltage Differential Signaling)等、R,GおよびBの3値(信号線)からなる1920×1080画素(第2解像度)の映像信号(伝送信号)を伝送できる伝送路である。したがって、多重部12は、スケーリングされた画像信号情報およびOSD情報を、R,GおよびBの3値からなる1920×1080画素の映像信号として、多重化する。
より具体的には、図10に示すように、多重部12は、466×350画素の画像信号のR,GおよびBの輝度値を位置(1447,730)〜(1912,1079)の画素のR,GおよびBに割り当て、OSDのR,GおよびBの輝度値を位置(1447,360)〜(1912,719)の画素のR,GおよびBに割り当てる。また、OSDのブレンド情報αを位置(1447,0)〜(1912,349)の画素のGに、OSDの奥行き情報を同位置のRに、画像信号の奥行き情報を同位置のBにそれぞれ割り当てる。
図12は、多重部12の内部構成の一例を示す概略ブロック図である。多重部12は、書き込み制御部21と、少なくとも1920×1080画素分のR,GおよびB値を記憶可能なフレームメモリ22と、読み出し制御部23とを有する。書き込み制御部21は、スケーリング部11a〜11eから出力される1フレーム分の画像信号情報およびOSD情報をフレームメモリ22の所定の領域に書き込む。そして、読み出し制御部23は、フレームメモリ22に書き込まれた画像信号情報およびOSD情報を、図10のフォーマットに並べ替えて読み出し、1920×1080画素のR,GおよびB値を有する映像信号として、伝送路4に出力する。
伝送路4は、送信部3が搭載された第1チップ20とは異なる第2チップ30内の受信部5に、この映像信号を伝送する。
なお、画像信号情報およびOSD情報のいずれも割り当てられない画素は予め定めた一定値、例えば黒(R,GおよびBの各輝度値が0)に設定するのが望ましい。これにより、後に画像信号に対して画像処理、例えば水平方向のフィルタ処理を行う場合に、不要なノイズが発生するのを抑制できる。
以上のように画像信号情報およびOSD情報を多重化することで、伝送路4は、画像信号およびOSDのR,GおよびBの輝度値のみならず、ブレンド情報αや画像信号およびOSDの奥行き情報をまとめて映像信号として受信部5に効率よく伝送できる。
なお、図10は、伝送路4で伝送される映像信号を表示した様子を図示したものであるが、これは多重化の一例を示すものであって、伝送システム40の解像度に収まるのであれば、画像信号情報およびOSD情報をどの位置に割り当てるかは任意である。
図13は、受信部5の内部構成の一例を示す概略ブロック図である。受信部5は分離部31を有する。また、図14は、分離部31の内部構成の一例を示す概略ブロック図である。分離部31は、書き込み制御部41と、少なくとも1920×1080画素分のR,GおよびB値を記憶可能なフレームメモリ42と、読み出し制御部43とを有する。
書き込み制御部41は、伝送路4から送られる、画像信号情報およびOSD情報を含む映像信号をフレームメモリ42に書き込む。読み出し制御部43は、フレームメモリに書き込まれた映像信号から、画像信号のR,GおよびBの輝度値と、画像信号の奥行き情報と、OSDのR,GおよびBの輝度値と、OSDのブレンド情報αと、OSDの奥行き情報とを分離して読み出す。これらのうち、画像信号情報は第1多視差画像生成部7へ、OSD情報は第2多視差画像生成部8へ送られる。
以降、上述の処理により、合成部9は画像信号とOSDとを合成し、合成された画像は表示パネル10に表示される。
以上の説明は、画像信号処理部1で奥行き情報を含む多視差画像信号が生成される場合の例である。一方、画像信号処理部1で奥行き情報含まない2次元画像信号が生成される場合、図11の送信部3のスケーリング部11bは不要である。また、図10の位置(1447,0)〜(1912,349)の画素のBには何も割り当てられず、例えば黒等の一定値に設定される。その他の処理は2次元画像信号の場合と同様である。
このように、第1の実施形態では、送信部3内に多重部12を設け、画像信号情報およびOSD情報を多重化して、映像信号として受信部5に伝送する。そのため、画像信号処理部1およびOSD描画部2が第1チップ20に搭載され、画像信号とOSDとを合成する合成部9が第2チップ30に搭載される場合でも、簡易に効率よく画像信号情報およびOSD情報をチップ間で伝送できる。
(第2の実施形態)
以下に説明する第2の実施形態では、表示パネル10の解像度が第1の実施形態より大きい場合において、画像信号とOSDとを合成して表示させるものである。以下では、第1の実施形態との相違点である伝送システム40について、主に説明する。
以下に説明する第2の実施形態では、表示パネル10の解像度が第1の実施形態より大きい場合において、画像信号とOSDとを合成して表示させるものである。以下では、第1の実施形態との相違点である伝送システム40について、主に説明する。
図15は、本実施形態での伝送フォーマットを示す図である。また、図16は、送信部3’の内部構成の一例を示す概略ブロック図である。図15および図16は、1280×720画素(第1解像度)からなる、例えば20インチサイズの表示パネル10’に画像信号およびOSDを合成して表示することを念頭においている。まずは、画像信号処理部1で奥行き情報を含む多視差画像信号が生成される場合を説明する。
図16の送信部3’は、図11と同様のスケーリング部11a〜11eおよび多重部12に加え、並べ替え部13a,13bをさらに有する。
スケーリング部11aは画像信号のR,GおよびBの輝度値を1280×720画素にスケーリングする。スケーリング部11b〜11eは、画像信号の奥行き情報、OSDのR,GおよびBの輝度値、ブレンド情報αおよび奥行き情報をそれぞれ640×720画素にスケーリングする。これらを表示パネル10’の解像度に合わせて1280×720画素にスケーリングすると、伝送路4で伝送可能なデータ量を超えてしまうため、本実施形態では、水平方向の解像度を1/2倍としている。
並べ替え部(第2並べ替え部)13aはスケーリングされた画像信号の奥行き情報を以下のように並べ替える。
図17は、並べ替えられる前の、画像信号の奥行き情報の配置を示す図である。同図に示すように、並べ替えられる前は画像信号の奥行き情報が表示順に配置されている。なお、図17等で(p,q)とあるのは、qライン目のp番目の画素であることを示している。
図18(a),(b)は、並べ替え部13aにより並べ替えられた画像信号の奥行き情報の配置の一例を示す図である。まず、並べ替え部13aは、画像信号の奥行き情報を、偶数ラインの画像信号の奥行き情報と、奇数ラインの画像信号の奥行き情報とに分離する。そして、図18(a)に示すように、偶数ラインの画像信号の奥行き情報のうち、偶数番目の画素、例えば(0,0)や(2,0)等の奥行き情報を伝送路4で伝送される映像信号のR値に対応させ、奇数番目の画素、例えば(1,0)や(3,0)等の奥行き情報をG値に対応させて配置する。また、図18(b)に示すように、奇数ラインの画像信号の奥行き情報のうち、偶数番目の画素の奥行き情報をR値に対応させ、奇数番目の画素の奥行き情報をG値に対応させて配置する。
図18(c)は、図18(a),(b)の1画素をより詳細に示す図である。同図では、伝送路4で伝送される映像信号のR,GおよびB値のそれぞれが10ビットであり、画像信号の奥行き情報が8ビットである例を示している。同図に示すように、画像信号の奥行き情報のビット数よりR,GおよびB値のビット数が多い場合、並べ替え部13aは、例えばそれぞれ10ビットのうちの上位8ビットに画像信号の奥行き情報を割り当てればよい。
並べ替え部13aは、このようにして生成される図18(a)の信号Video Depth EVと、同図(b)の信号Video Depth ODとを多重部12へ送る。なお、同図(a),(b)はそれぞれ320×360画素分である。
並べ替え部(第2の並べ替え部)13bはスケーリングされたOSDのブレンド情報αおよび奥行き情報を以下のように並べ替える。並べ替えられる前は、やはり図17と同様に、これらの情報が表示順に配置されている。
図19(a),(b)は、並べ替え部13bにより並べ替えられたOSDのブレンド情報αおよび奥行き情報の配置の一例を示す図である。並べ替え部13aと同様に、まず、並べ替え部13bは、OSDのブレンド情報αおよび奥行き情報を、偶数ラインのブレンド情報および奥行き情報と、奇数ラインのブレンド情報αおよび奥行き情報とに分離する。そして、図19(a)に示すように、偶数ラインのOSDの奥行き情報を伝送路4で伝送される映像信号のR値に対応させ、ブレンド情報αをG値に対応させて配置する。同様に、図19(b)に示すように、奇数ラインのOSDの奥行き情報をR値に対応させ、ブレンド情報αをG値に対応させて配置する。
並べ替え部13bは、このようにして生成される図19(a)の信号OSD EVと、同図(b)の信号OSD ODとを多重部12へ送る。なお、同図(a),(b)はそれぞれ640×360画素分である。
そして、図16の多重部12は、図15に示すように、スケーリング部11aから出力される1280×720画素分の画像信号のR,GおよびBの輝度値を位置(640,360)〜(1919,1079)の画素のR,GおよびBに、並べ替え部13aから出力される320×360画素分の信号Video Depth EV(図18(a))を位置(1280,0)〜(1599,359)に、信号Video Depth OD(図18(b))を位置(1600,0)〜(1919,359)に、スケーリング部11cから出力される640×720画素分のOSDのR,GおよびBの輝度値を位置(0,360)〜(639,1079)に、並べ替え部13bから出力される640×360画素分の信号OSD EV(図19(a))を位置(0,0)〜(639,359)に、信号OSD OD(図19(b))を位置(640,0)〜(1279,359)に、それぞれ割り当てる。なお、多重部12の内部構成は図12と同様なので、説明を省略する。
送信部3’内の多重部12から、伝送路4を介して、図15に示す映像信号が受信部5’に伝送される。
図20は、受信部5’の内部構成の一例を示す概略ブロック図である。同図の受信部5’は、図13と同様の分離部31に加え、並べ替え部32a,32bと、スケーリング部33a〜33dとを有する。
分離部31は、伝送路4から伝送される映像信号から、画像信号のR,GおよびBの輝度値と、画像信号の奥行き情報と、OSDのR,GおよびBの輝度値と、OSDのブレンド情報αと、OSDの奥行き情報とを分離する。並べ替え部(第4並べ替え部)32aは、図18(a),(b)のフォーマットの画像信号の奥行き情報を、図17に示すような表示順のフォーマットに並べ替える。並べ替え部(第3並べ替え部)32bは、図19(a),(b)のフォーマットのOSDのブレンド情報αおよび奥行き情報を、図17に示すような表示順のフォーマットにそれぞれ並べ替える。
分離されたOSDのR,GおよびBの輝度値と、並べ替えられた画像信号の奥行き情報、OSDのブレンド情報および奥行き情報は、それぞれ図16のスケーリング部11b〜11eにより640×720画素にスケーリングされている。そのため、表示パネル10’の解像度に合わせるべく、受信部5’のスケーリング部33a〜33dは、これらを水平方向に2倍した1280×720画素にスケーリングする。なお、画像信号のR,GおよびBの輝度値は、図20のスケーリング部11aにより1280×720画素にスケーリングされているため、受信部5’内でのスケーリングは不要である。
以上にして得られる、それぞれ1280×720画素の画像信号情報は第1多視差画像生成部7へ、OSD情報は第2多視差画像生成部8へ送られる。以降の処理は第1の実施形態と同様である。
以上の説明は、画像信号処理部1で奥行き情報を含む多視差画像信号が生成され場合の例である。一方、画像信号処理部1で奥行き情報含まない2次元画像信号が生成される場合、図16の送信部3’のスケーリング部11bおよび並べ替え部13aは不要である。また、図15の位置(1280,0)〜(1919,359)の画素には何も割り当てられない。さらに、図20の並べ替え部32aおよびスケーリング部33aは不要である。その他の処理は2次元画像信号の場合と同様である。
このように、第2の実施形態では、画像信号の奥行き情報やOSD情報を、表示パネル10’より小さい解像度にスケーリングして、送信部3’から受信部5’へ伝送する。そのため、表示パネル10’の解像度が大きい場合でも、簡易に効率よく画像信号およびOSD情報をチップ間で伝送できる。また、並べ替え部32a,32bは、画像信号の奥行き情報およびOSD情報を、偶数ラインおよび奇数ラインに分離して並べ替えを行うため、解像度が高い情報も効率よく伝送できる。
なお、表示パネル10の解像度がさらに大きい場合、画像信号のR,GおよびBの輝度値を縮小して伝送してもよい。ただし、画像信号のR,GおよびBの輝度値を縮小すると画質が劣化するおそれがあるので、できるだけこれを縮小せず、画像信号の奥行き情報やOSD情報を優先して縮小するのが望ましい。
また、各実施形態では、画像信号およびOSDがR,GおよびBの輝度値を信号値として有する例を示したが、Y(輝度)、Cb,Cr(色差)等、他の形式で信号値を有していてもよい。
上述した実施形態で説明した伝送システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、伝送システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、伝送システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 画像信号処理部
2 OSD描画部
3,3’ 送信部
4 伝送路
5,5’ 受信部
6 奥行き情報生成部
7 第1多視差画像生成部
8 第2多視差画像生成部
9 合成部
10 表示パネル
11a〜11e,33a〜33d スケーリング部
12 多重部
13a,13b,32a,32b 並べ替え部
31 分離部
2 OSD描画部
3,3’ 送信部
4 伝送路
5,5’ 受信部
6 奥行き情報生成部
7 第1多視差画像生成部
8 第2多視差画像生成部
9 合成部
10 表示パネル
11a〜11e,33a〜33d スケーリング部
12 多重部
13a,13b,32a,32b 並べ替え部
31 分離部
実施形態によると、送信装置は、第1映像スケーリング手段と、多重手段とを備える。第1映像スケーリング手段は、画像信号を現在の解像度から第1解像度に変換する。多重手段は、前記スケーリングされた画像信号の信号値と、前記画像信号に合成されるOSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を前記第1解像度より大きな第2解像度の伝送信号の第1の位置に割り当てる。
実施形態によると、送信装置は、多重部を備える。第1解像度の画像信号の信号値と、前記画像信号に合成されるOSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を前記第1解像度より大きな第2解像度の伝送信号の所定の位置に割り当て、前記伝送信号を受信装置に送信する。
Claims (16)
- 画像信号を第1解像度にスケーリングする第1スケーリング部と、
前記スケーリングされた画像信号の信号値と、前記画像信号に合成されるOSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を前記第1解像度より大きな第2解像度の伝送信号の所定の位置に割り当てる多重部と、を備えることを特徴とする送信装置。 - 前記OSDの信号値、前記OSDのブレンド情報、および、前記OSDの奥行き情報のうちの少なくとも1つを、前記第1解像度と等しいか、前記第1解像度より小さい解像度にスケーリングする第2スケーリング部を備え、
前記多重部は、前記第2スケーリング部の出力を前記伝送信号の所定の位置に割り当てることを特徴とする請求項1に記載の送信装置。 - 前記OSDのブレンド情報および奥行き情報が、前記伝送信号の同じ位置の異なる信号線に割り当てられるよう、前記OSDのブレンド情報および奥行き情報を並べ替える第1並べ替え部を備えることを特徴とする請求項1または2に記載の送信装置。
- 前記第1並べ替え部は、偶数ラインの前記OSDのブレンド情報および奥行き情報と、奇数ラインの前記OSDのブレンド情報および奥行き情報と、に分離し、
前記多重部は、前記偶数ラインの前記OSDのブレンド情報および奥行き情報と、前記奇数ラインの前記OSDのブレンド情報および奥行き情報と、を前記伝送信号の異なる位置に割り当てることを特徴とする請求項3に記載の送信装置。 - 前記多重部は、前記画像信号の奥行き情報を前記伝送信号の所定の位置に割り当てることを特徴とする請求項1乃至4のいずれかに記載の送信装置。
- 偶数ラインの前記画像信号の奥行き情報と、奇数ラインの前記画像信号の奥行き情報と、を分離する第2並べ替え部を備え、
前記多重部は、前記偶数ラインの前記画像信号の奥行き情報と、前記奇数ラインの前記画像信号の奥行き情報と、を前記伝送信号の異なる位置に割り当てることを特徴とする請求項5に記載の送信装置。 - 前記多重部は、前記伝送信号上で、いずれの情報も割り当てられない位置には、予め定めた一定値を設定することを特徴とする請求項1乃至6のいずれかに記載の送信装置。
- 第1解像度の画像信号の信号値と、前記画像信号に合成されるOSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、が所定の位置に割り当てられた、前記第1解像度より大きな第2解像度の伝送信号から、前記画像信号の信号値と、前記OSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を分離する分離部を備えることを特徴とする受信装置。
- 前記OSDの信号値、前記OSDのブレンド情報、および、前記OSDの奥行き情報のうちの少なくとも1つは、前記第1解像度より小さい解像度にスケーリングされており、
前記スケーリングされた情報を前記第1解像度にスケーリングするスケーリング部を備えることを特徴とする請求項7に記載の受信装置。 - 前記伝送信号には、前記OSDのブレンド情報および前記OSDの奥行き情報が同じ位置の異なる信号線に割り当てられており、
前記画像信号から前記OSDのブレンド情報および前記OSDの奥行き情報のそれぞれを取り出す第3並べ替え部を備えることを特徴とする請求項8または9に記載の受信装置。 - 前記伝送信号には、偶数ラインの前記OSDのブレンド情報および奥行き情報と、奇数ラインの前記OSDのブレンド情報および奥行き情報と、が異なる位置に割り当てられており、
前記第3並べ替え部は、前記OSDのブレンド情報および奥行き情報を表示順に並べ替えることを特徴とする請求項10に記載の受信装置。 - 前記伝送信号には、前記画像信号の奥行き情報が所定の位置に割り当てられており、
前記分離部は、前記伝送信号から前記画像信号の奥行き情報を分離することを特徴とする請求項8乃至11のいずれかに記載の受信装置。 - 前記伝送信号には、偶数ラインの前記画像信号の奥行き情報と、奇数ラインの前記画像信号の奥行き情報と、が異なる位置に割り当てられており、
前記画像信号の奥行き情報を表示順に並べ替える第4並べ替え部を備えることを特徴とする請求項12に記載の受信装置。 - 画像信号を第1解像度にスケーリングするスケーリング部と、前記スケーリングされた画像信号の信号値と、前記画像信号に合成されるOSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を前記第1解像度より大きな第2解像度の伝送信号の所定の位置に割り当てる多重部と、を有する送信部と、
前記伝送信号から、前記画像信号の信号値と、前記OSDの信号値と、前記OSDのブレンド情報と、前記OSDの奥行き情報と、を分離する分離部を有する受信部と、
前記送信部から前記受信部へ、前記伝送信号を伝送する伝送路と、を備えることを特徴とする伝送システム。 - 前記伝送路は、HDMIまたはLVDSであることを特徴とする請求項14に記載の伝送システム。
- 画像信号の奥行き情報に基づいて、前記分離部で分離された画像信号の多視差画像を生成する第1多視差画像生成部と、
前記分離部で分離された前記OSDの奥行き情報に基づいて、前記分離部で分離された前記OSDの多視差画像を生成する第2多視差画像生成部と、
前記画像信号の多視差画像と、前記OSDの多視差画像と、を前記分離部で分離された前記OSDのブレンド情報に基づいて合成して、合成画像を生成する合成部と、
前記合成画像を表示する、前記第1解像度を有する表示パネルと、を備えることを特徴とする請求項14または15に記載の伝送システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010284666A JP4989760B2 (ja) | 2010-12-21 | 2010-12-21 | 送信装置、受信装置および伝送システム |
US13/183,369 US8497896B2 (en) | 2010-12-21 | 2011-07-14 | Transmitter, receiver and transmission system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010284666A JP4989760B2 (ja) | 2010-12-21 | 2010-12-21 | 送信装置、受信装置および伝送システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012134732A true JP2012134732A (ja) | 2012-07-12 |
JP4989760B2 JP4989760B2 (ja) | 2012-08-01 |
Family
ID=46233855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010284666A Expired - Fee Related JP4989760B2 (ja) | 2010-12-21 | 2010-12-21 | 送信装置、受信装置および伝送システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8497896B2 (ja) |
JP (1) | JP4989760B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9147278B2 (en) * | 2011-06-08 | 2015-09-29 | Panasonic Intellectual Property Management Co., Ltd. | Parallax image generation device, parallax image generation method, program, and integrated circuit |
JP5978574B2 (ja) * | 2011-09-12 | 2016-08-24 | ソニー株式会社 | 送信装置、送信方法、受信装置、受信方法および送受信システム |
JP2014187480A (ja) * | 2013-03-22 | 2014-10-02 | Sony Corp | 画像処理装置、ソース機器、画像処理システム、画像処理方法およびプログラム |
JP2014203017A (ja) | 2013-04-09 | 2014-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法、表示装置、および電子機器 |
US10129318B2 (en) * | 2014-05-06 | 2018-11-13 | Lattice Semiconductor Corporation | Media stream data and control parameter synchronization |
US20220279185A1 (en) * | 2021-02-26 | 2022-09-01 | Lemon Inc. | Methods of coding images/videos with alpha channels |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004166017A (ja) * | 2002-11-14 | 2004-06-10 | Hitachi Ltd | 画像表示装置 |
JP2004274642A (ja) * | 2003-03-12 | 2004-09-30 | Nippon Telegr & Teleph Corp <Ntt> | 3次元映像情報の伝送方法 |
WO2004090860A1 (ja) * | 2003-04-01 | 2004-10-21 | Matsushita Electric Industrial Co., Ltd. | 映像合成回路 |
JP2006195018A (ja) * | 2005-01-12 | 2006-07-27 | Nippon Telegr & Teleph Corp <Ntt> | 3次元表示方法、画像生成側装置、および画像表示側装置 |
JP2009105798A (ja) * | 2007-10-25 | 2009-05-14 | Funai Electric Co Ltd | 映像再生装置、映像表示システム、及び映像表示方法 |
JP2010114861A (ja) * | 2008-11-10 | 2010-05-20 | Sony Corp | 送信装置、受信装置、信号伝送システム及び信号伝送方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5784097A (en) | 1995-03-29 | 1998-07-21 | Sanyo Electric Co., Ltd. | Three-dimensional image display device |
JPH08331598A (ja) | 1995-03-29 | 1996-12-13 | Sanyo Electric Co Ltd | 立体映像表示装置 |
JPH11164329A (ja) | 1997-11-27 | 1999-06-18 | Toshiba Corp | 立体映像表示装置 |
JP2009135686A (ja) | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
WO2010064784A2 (ko) * | 2008-12-02 | 2010-06-10 | (주)엘지전자 | 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치 |
JP5274359B2 (ja) * | 2009-04-27 | 2013-08-28 | 三菱電機株式会社 | 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体 |
EP2449788A4 (en) * | 2009-06-30 | 2015-05-13 | Lg Electronics Inc | DATA PROCESSING METHOD FOR THREE DIMENSIONAL IMAGES AND AUDIO / VIDEO SYSTEM |
US20120044241A1 (en) * | 2010-08-20 | 2012-02-23 | Himax Technologies Limited | Three-dimensional on-screen display imaging system and method |
EP2612501B1 (en) * | 2010-09-01 | 2018-04-25 | LG Electronics Inc. | Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional display |
US8537201B2 (en) * | 2010-10-18 | 2013-09-17 | Silicon Image, Inc. | Combining video data streams of differing dimensionality for concurrent display |
-
2010
- 2010-12-21 JP JP2010284666A patent/JP4989760B2/ja not_active Expired - Fee Related
-
2011
- 2011-07-14 US US13/183,369 patent/US8497896B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004166017A (ja) * | 2002-11-14 | 2004-06-10 | Hitachi Ltd | 画像表示装置 |
JP2004274642A (ja) * | 2003-03-12 | 2004-09-30 | Nippon Telegr & Teleph Corp <Ntt> | 3次元映像情報の伝送方法 |
WO2004090860A1 (ja) * | 2003-04-01 | 2004-10-21 | Matsushita Electric Industrial Co., Ltd. | 映像合成回路 |
JP2006195018A (ja) * | 2005-01-12 | 2006-07-27 | Nippon Telegr & Teleph Corp <Ntt> | 3次元表示方法、画像生成側装置、および画像表示側装置 |
JP2009105798A (ja) * | 2007-10-25 | 2009-05-14 | Funai Electric Co Ltd | 映像再生装置、映像表示システム、及び映像表示方法 |
JP2010114861A (ja) * | 2008-11-10 | 2010-05-20 | Sony Corp | 送信装置、受信装置、信号伝送システム及び信号伝送方法 |
Also Published As
Publication number | Publication date |
---|---|
US20120154530A1 (en) | 2012-06-21 |
US8497896B2 (en) | 2013-07-30 |
JP4989760B2 (ja) | 2012-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6023066B2 (ja) | 異なる次元のビデオデータストリームを同時表示用に組み合わせること | |
EP2235685B1 (en) | Image processor for overlaying a graphics object | |
JP4989760B2 (ja) | 送信装置、受信装置および伝送システム | |
JP2014523660A (ja) | スケール非依存マップ | |
JP2011139261A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20150222890A1 (en) | Dual-channel three-dimension projector | |
US9088777B2 (en) | Methods and systems for processing stereoscopic video data | |
JP2005033741A (ja) | テレビジョン用文字情報表示装置およびテレビジョン用文字情報表示方法 | |
US20080094468A1 (en) | Method for displaying stereoscopic image and display system thereof | |
JP5017445B2 (ja) | 視差画像変換装置 | |
WO2012014489A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
WO2019111815A1 (ja) | 映像処理装置および表示装置 | |
WO2011114745A1 (ja) | 映像再生装置 | |
WO2011083538A1 (ja) | 画像処理装置 | |
JP2014041455A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2014203017A (ja) | 画像処理装置、画像処理方法、表示装置、および電子機器 | |
JP2011139262A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
EP2466900A2 (en) | Image processing device, image processing method and image display apparatus | |
TWI404405B (zh) | 具有螢幕顯示功能之影像處理裝置及影像處理方法 | |
JP5522019B2 (ja) | 三次元gui表示システム | |
TW201407540A (zh) | 影像處理方法與影像顯示系統 | |
JP2014187480A (ja) | 画像処理装置、ソース機器、画像処理システム、画像処理方法およびプログラム | |
JP2012151754A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2012212984A (ja) | 画像処理装置および画像処理方法 | |
JP2003264802A (ja) | 画像解像度変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120406 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120427 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |