JP5538604B2 - Stereo image data transmitting method and stereo image data transmitting apparatus - Google Patents
Stereo image data transmitting method and stereo image data transmitting apparatus Download PDFInfo
- Publication number
- JP5538604B2 JP5538604B2 JP2013183604A JP2013183604A JP5538604B2 JP 5538604 B2 JP5538604 B2 JP 5538604B2 JP 2013183604 A JP2013183604 A JP 2013183604A JP 2013183604 A JP2013183604 A JP 2013183604A JP 5538604 B2 JP5538604 B2 JP 5538604B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- hdmi
- stereoscopic image
- eye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Description
この発明は、立体画像データ送信方法および立体画像データ送信装置に関する。 The present invention relates to a stereoscopic image data transmission method and a stereoscopic image data transmission apparatus.
近年、例えば、ゲーム機、DVD(Digital Versatile Disc)レコーダや、セットトップボックス、その他のAVソース(Audio Visual source)から、テレビ受信機、プロジェクタ、その他のディスプレイに対して、デジタル映像信号、すなわち、非圧縮(ベースバンド)の映像信号(画像データ)と、その映像信号に付随するデジタル音声信号(音声データ)とを、高速に伝送する通信インタフェースとして、HDMI(High Definition Multimedia Interface)等のインタフェースが普及しつつある。例えば、非特許文献1には、HDMI規格の詳細についての記載がある。
In recent years, for example, digital video signals from a game machine, a DVD (Digital Versatile Disc) recorder, a set top box, and other AV sources (Audio Visual source) to a television receiver, a projector, and other displays, An interface such as HDMI (High Definition Multimedia Interface) is used as a communication interface for transmitting an uncompressed (baseband) video signal (image data) and a digital audio signal (audio data) accompanying the video signal at high speed. It is becoming popular. For example, Non-Patent
例えば、AVソースからディスプレイに対して、立体画像を表示するための左眼画像データおよび右眼画像データを含む立体画像データを送信して、ディスプレイにおいて、両眼視差を利用した立体画像表示を行うことが考えられる。 For example, stereoscopic image data including left-eye image data and right-eye image data for displaying a stereoscopic image is transmitted from an AV source to the display, and stereoscopic image display using binocular parallax is performed on the display. It is possible.
図30は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Laが右側に右像Raが左側にずれて表示されているオブジェクトAに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。 FIG. 30 shows the relationship between the display position of the left and right images of the object on the screen and the playback position of the stereoscopic image in stereoscopic image display using binocular parallax. For example, with respect to the object A in which the left image La is displayed on the right side and the right image Ra is shifted to the left side as shown in the figure on the screen, the right and left line of sight intersects in front of the screen surface. The position is in front of the screen surface.
また、例えば、スクリーン上に図示のように左像Lbおよび右像Rbが同一位置に表示されているオブジェクトBに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Lcが左側に右像Rcが右側にずれて表示されているオブジェクトCに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。 Further, for example, with respect to the object B in which the left image Lb and the right image Rb are displayed at the same position as shown in the figure on the screen, the right and left lines of sight intersect on the screen surface. It becomes on the surface. Further, for example, with respect to the object C displayed on the screen as shown in the figure, the left image Lc is shifted to the left side and the right image Rc is shifted to the right side, the right and left lines of sight intersect at the back of the screen surface. The playback position is behind the screen.
図30において、オブジェクトDは、無限遠にあるオブジェクトである。このオブジェクトDに関しては、その左像Ldおよび右像Rdのスクリーン上の表示位置は、両眼の間隔(例えば、大人で約6.5cm)だけずれるようにする必要がある。しかし、スクリーン上に左眼画像、右眼画像を表示する映像信号が同じ場合には、スクリーンサイズにより、左像Ldおよび右像Rdのずれ幅が変化し、オブジェクトDの立体像の再生位置は無限遠とならない場合がある。 In FIG. 30, an object D is an object at infinity. Regarding the object D, the display positions of the left image Ld and the right image Rd on the screen need to be shifted by a distance between both eyes (for example, about 6.5 cm for an adult). However, when the video signals for displaying the left eye image and the right eye image on the screen are the same, the shift width of the left image Ld and the right image Rd changes depending on the screen size, and the reproduction position of the stereoscopic image of the object D is It may not be at infinity.
例えば、スクリーンサイズが20インチの小型テレビ受信機、あるいはPC(Personal Computer)モニタで左像Ldおよび右像Rdのスクリーン上の表示位置のずれ幅が両眼の間隔となるように生成された映像信号(左眼映像信号、右眼映像信号)V1を考える。この映像信号V1により、例えばスクリーンサイズが20インチの小型テレビ受信機、あるいはPCモニタで左像Ldおよび右像Rdを表示して立体画像表示を行う場合、左像Ldおよび右像Rdのスクリーン上の表示位置のずれ幅は両眼の間隔となるので、オブジェクトDの立体像の再生位置は無限遠となる。しかし、この映像信号V1により、例えばスクリーンサイズが200インチのプロジェクタで左像Ldおよび右像Rdを表示して立体画像表示を行う場合、左像Ldおよび右像Rdのスクリーン上の表示位置のずれ幅は両眼の間隔より大きくなり、立体画像表示は破綻する。 For example, an image generated by a small television receiver having a screen size of 20 inches or a PC (Personal Computer) monitor so that the shift width of the display position of the left image Ld and the right image Rd on the screen is the distance between both eyes. Consider a signal (left eye video signal, right eye video signal) V1. For example, when the left image Ld and the right image Rd are displayed on a small television receiver having a screen size of 20 inches or a PC monitor to display a stereoscopic image by the video signal V1, the left image Ld and the right image Rd are displayed on the screen. Since the shift width of the display position is the distance between both eyes, the reproduction position of the stereoscopic image of the object D is infinite. However, for example, when the left image Ld and the right image Rd are displayed by the projector having a screen size of 200 inches by the video signal V1, and the stereoscopic image display is performed, the display position shift of the left image Ld and the right image Rd on the screen is performed. The width becomes larger than the distance between both eyes, and stereoscopic image display breaks down.
また、例えば、スクリーンサイズが200インチのプロジェクタ上の表示位置のずれ幅が両眼の間隔となるように生成された映像信号(左眼映像信号、右眼映像信号)V2を考える。この映像信号V2により、例えばスクリーンサイズが200インチのプロジェクタで左像Ldおよび右像Rdを表示して立体画像表示を行う場合、左像Ldおよび右像Rdのスクリーン上の表示位置のずれ幅は両眼の間隔となるので、オブジェクトDの立体像の再生位置は無限遠となる。しかし、この映像信号V2により、例えばスクリーンサイズが20インチの小型テレビ受信機、あるいはPCモニタで左像Ldおよび右像Rdを表示して立体画像表示を行う場合、左像Ldおよび右像Rdのスクリーン上の表示位置のずれ幅は両眼の間隔より小さくなり、オブジェクトDの立体像の再生位置は無限遠より手前の位置となる。 For example, consider a video signal (left-eye video signal, right-eye video signal) V2 generated such that the shift width of the display position on a projector having a screen size of 200 inches is the distance between both eyes. For example, when the left image Ld and the right image Rd are displayed by the video signal V2 to display a left image Ld and a right image Rd on a projector having a screen size of 200 inches, the shift width of the display positions of the left image Ld and the right image Rd on the screen is as follows. Since the distance is between the eyes, the reproduction position of the stereoscopic image of the object D is infinite. However, when the left image Ld and the right image Rd are displayed by the video signal V2 to display the left image Ld and the right image Rd on, for example, a small television receiver having a screen size of 20 inches or a PC monitor, the left image Ld and the right image Rd are displayed. The display position shift width on the screen is smaller than the distance between both eyes, and the reproduction position of the stereoscopic image of the object D is a position before infinity.
なお、上述したスクリーン上に左眼画像、右眼画像を表示する映像信号が同じ場合にあってスクリーンサイズが変化した場合の影響は、無限遠のオブジェクトDだけでなく、オブジェクトA,Cにも及ぶ。すなわち、スクリーンサイズにより、スクリーン上の左右像の表示位置のずれ幅が変化するので、スクリーン面を基準にしたオブジェクトA,Cの立体像の再生位置が大幅に変化し、あるいは立体画像表示が破綻する。 It should be noted that when the video signal for displaying the left eye image and the right eye image on the screen is the same and the screen size is changed, the influence is not only on the object D at infinity but also on the objects A and C. It reaches. That is, since the shift width of the left and right image display positions on the screen changes depending on the screen size, the reproduction position of the stereoscopic images of the objects A and C with reference to the screen surface changes significantly, or the stereoscopic image display fails. To do.
このように、スクリーン上に左眼画像、右眼画像を表示する映像信号が同じ場合にあっては、スクリーンサイズが変化すると、適切な立体画像表示を行うことができなくなる。 As described above, when the video signals for displaying the left-eye image and the right-eye image on the screen are the same, if the screen size changes, it becomes impossible to display an appropriate stereoscopic image.
従来、ゲーム機のように、画像表示時に動的に左眼映像信号および右眼映像信号を生成する場合にあっては、スクリーンサイズ情報を設定することによって、スクリーンサイズが変化しても、適切な立体画像表示が可能となっている。しかし、この場合、ユーザは、スクリーンサイズの変化に応じて、ゲーム機にスクリーンサイズ情報を設定する必要があった。 Conventionally, when a left-eye video signal and a right-eye video signal are dynamically generated at the time of image display, such as a game machine, even if the screen size changes by setting screen size information, it is appropriate 3D image display is possible. However, in this case, the user has to set screen size information in the game machine in accordance with a change in the screen size.
また、従来、左眼画像、右眼画像から、特徴点抽出、画像間相関などによって、左眼画像、右眼画像におけるオブジェクトの位置ずれを検出し、そこから奥行き情報の手がかりを取得し、画像表示時に、奥行き情報を補正してから表示するという技術も存在する。しかし、その際に、スクリーンサイズ情報があると、より適切に補正を行うことができる。このときも、自動でスクリーンサイズ情報が取得できると、ユーザがスクリーンサイズ情報を設定する必要がなくなる。 Further, conventionally, object position shift in the left eye image and the right eye image is detected from the left eye image and the right eye image by extracting feature points, correlation between images, and the like, and a clue of depth information is obtained therefrom. There is also a technique of displaying depth information after correcting depth information. However, if there is screen size information at that time, correction can be performed more appropriately. Also at this time, if the screen size information can be acquired automatically, the user does not need to set the screen size information.
この発明の目的は、左眼画像データおよび右眼画像データを含む立体画像データの送信を良好に行うことにある。 An object of the present invention is to satisfactorily transmit stereoscopic image data including left eye image data and right eye image data.
この発明の概念は、
外部機器からスクリーンサイズに関する情報を、HDMIケーブルのDDCラインを介して取得する情報取得ステップと、
立体画像を表示するための左眼画像データおよび右眼画像データを含む非圧縮の立体画像データと、画像に付随する音声データを、上記HDMIケーブルのTMDSラインを介して上記外部機器に送信するデータ送信ステップと
を有し、
上記音声データは上記立体画像データのブランキング期間の一部分で伝送され、
上記立体画像データの1フレームは、一の垂直同期信号から次の垂直同期信号までの区間に伝送され、
上記立体画像データにある上記左眼画像データおよび上記右眼画像データは所定の順番で伝送され、
上記立体画像データにある上記左眼画像データと上記右眼画像データのそれぞれのピクセル数およびライン数は、立体画像でない通常画像を送信する場合のピクセル数およびライン数と等しくされ、
上記立体画像データにおいて、1つのビデオフィールド区間に、所定期間が介在された状態で上記左眼画像データと上記右眼画像データが配置され、上記所定期間に立体画像を表示するための立体画像データが含まれない
立体画像データ送信方法にある。
The concept of this invention is
An information acquisition step of acquiring information on the screen size from an external device via the DDC line of the HDMI cable ;
Data for transmitting uncompressed stereoscopic image data including left-eye image data and right-eye image data for displaying a stereoscopic image and audio data associated with the image to the external device via the TMDS line of the HDMI cable A transmission step,
The audio data is transmitted in a part of the blanking period of the stereoscopic image data,
One frame of the stereoscopic image data is transmitted in a section from one vertical synchronization signal to the next vertical synchronization signal,
The left eye image data and the right eye image data in the stereoscopic image data are transmitted in a predetermined order,
The number of pixels and the number of lines of the left eye image data and the right eye image data in the stereoscopic image data are equal to the number of pixels and the number of lines when transmitting a normal image that is not a stereoscopic image,
In the stereoscopic image data, the left-eye image data and the right-eye image data are arranged in one video field section with a predetermined period interposed therebetween , and stereoscopic image data for displaying a stereoscopic image in the predetermined
この発明によれば、左眼画像データおよび右眼画像データを含む立体画像データの送信を良好に行うことができる。 According to the present invention, it is possible to satisfactorily transmit stereoscopic image data including left eye image data and right eye image data.
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, modes for carrying out the invention (hereinafter referred to as “embodiments”) will be described. The description will be given in the following order.
1.
<1.実施の形態>
[AVシステムの構成例]
図1は、実施の形態としてのAV(Audio Visual)システム200の構成例を示している。このAVシステム200は、ソース機器としてのゲーム機210と、シンク機器としてのテレビ受信機250とを有している。ソース機器としては、ゲーム機以外でも、3Dの映像を生成する機器であったり、Blu-ray Disc Player のように 3Dの映像を再生したりする機器でもよい。
<1. Embodiment>
[Example of AV system configuration]
FIG. 1 shows a configuration example of an AV (Audio Visual) system 200 as an embodiment. The AV system 200 includes a
ゲーム機210およびテレビ受信機250は、HDMIケーブル350を介して接続されている。ゲーム機210には、HDMI送信部(HDMI TX)212が接続されたHDMI端子211が設けられている。テレビ受信機250には、HDMI受信部(HDMI RX)252が接続されたHDMI端子251が設けられている。HDMIケーブル300の一端はゲーム機210のHDMI端子211に接続され、このHDMIケーブル300の他端はテレビ受信機250のHDMI端子251に接続されている。
The
図1に示すAVシステム200において、ゲーム機210からの非圧縮の画像データ(映像信号)はHDMIケーブル350を介してテレビ受信機250に送信され、このテレビ受信機250ではゲーム機210からの画像データによる画像が表示される。また、ゲーム機210からの非圧縮の音声データ(音声信号)はHDMIケーブル350を介してテレビ受信機250に送信され、このテレビ受信機250ではゲーム機210からの音声データによる音声が出力される。
In the AV system 200 shown in FIG. 1, uncompressed image data (video signal) from the
なお、ゲーム機210からテレビ受信機250に送られる画像データが立体画像を表示するための立体画像データ(3D画像データ)である場合、テレビ受信機250では、立体画像の表示が行われる。
When the image data sent from the
この立体画像の表示方式例を説明する。立体画像の表示方式としては、例えば、図2(a)に示すように、フィールド毎に、左眼(L)画像と右眼(R)画像とを交互に表示する方式、いわゆる「フィールドシーケンス方式」がある。この表示方式では、テレビ受信機側で通常のフレームレートの倍の駆動が必要となる。また、この表示方式では、表示部に光学的なフィルムを被着する必要はないが、ユーザが掛けるメガネ側で表示部のフィールドに同期して左右のレンズ部のシャッターの開閉を切換える必要がある。 An example of this stereoscopic image display method will be described. As a stereoscopic image display method, for example, as shown in FIG. 2A, a left-eye (L) image and a right-eye (R) image are alternately displayed for each field, a so-called “field sequence method”. There is. In this display method, the television receiver side needs to be driven at twice the normal frame rate. Further, in this display method, it is not necessary to attach an optical film to the display unit, but it is necessary to switch opening and closing of the shutters of the left and right lens units in synchronization with the field of the display unit on the side of the glasses worn by the user. .
また、立体画像の表示方式としては、例えば、図2(b)に示すように、ライン毎に左眼(L)画像と右眼(R)画像とを切り換えて表示する方式、いわゆる「位相差プレート方式」がある。この表示方式では、テレビ受信機側で表示部にライン毎に偏光の向きが90度異なるような偏光板を被着しておく。ユーザが掛ける偏光メガネにより、逆眼の画像の光を遮光することで立体画像表示を実現する。 Further, as a stereoscopic image display method, for example, as shown in FIG. 2B, a method of switching and displaying a left eye (L) image and a right eye (R) image for each line, a so-called “phase difference” There is a “plate method”. In this display method, a polarizing plate having a polarization direction different by 90 degrees for each line is attached to the display unit on the television receiver side. Stereoscopic image display is realized by blocking the light of the image of the reverse eye with polarized glasses worn by the user.
[ゲーム機の構成例]
図3は、ゲーム機210の構成例を示している。
このゲーム機210は、HDMI端子211と、HDMI送信部212と、イーサネットインタフェース(Ethernet I/F)214と、ネットワーク端子215を有している。また、このゲーム機210は、入力インタフェース216と、コントロールパッド217と、ドライブインタフェース218と、DVD/BD(Digital Versatile Disk/Blu-ray Disc)ドライブ219を有している。
[Game console configuration example]
FIG. 3 shows a configuration example of the
The
また、このゲーム機210は、内部バス220と、CPU(Central Processing Unit)221と、フラッシュROM(Read Only Memory)222と、DRAM(Dynamic Random Access Memory)223を有している。また、このゲーム機210は、描画処理部224と、VRAM(Video Random Access Memory)225と、音声処理部226と、MPEGデコーダ227を有している。なお、「イーサネット」、「Ethernet」および「Blu−ray Disc」は登録商標である。
The
HDMI送信部(HDMIソース)212は、HDMIに準拠した通信により、非圧縮の(ベースバンド)の映像(画像)と音声のデータを、HDMI端子211から送出する。このHDMI送信部212の詳細は後述する。
The HDMI transmission unit (HDMI source) 212 transmits uncompressed (baseband) video (image) and audio data from the
CPU221、フラッシュROM222、DRAM223、イーサネットインタフェース214、入力インタフェース216およびドライブインタフェース218は、内部バス220に接続されている。また、描画処理部224、VRAM225、音声処理部226およびMPEGデコーダ227は、内部バス220に接続されている。DVD/BDドライブ219は、ドライブインタフェース218を介して内部バス220に接続されている。DVD/BDドライブ219は、DVD等の記録媒体に記録されている映画等のコンテンツの再生、およびこれらの記録媒体に記録されているゲームソフト情報の再生等を行う。
The
MPEGデコーダ227は、ゲーム機210が再生機として機能する場合、DVD等の記録媒体から再生された圧縮された映像データ、音声データに対してデコード処理を行って非圧縮の映像データ、音声データを得る。
When the
CPU221は、ゲーム機210の各部の動作を制御する。フラッシュROM222は、制御ソフトウェアの格納およびデータの保管を行う。DRAM223は、CPU221のワークエリアを構成する。CPU221は、フラッシュROM222から読み出したソフトウェアやデータをDRAM223上に展開してソフトウェアを起動させ、ゲーム機210の各部を制御する。
The
コントロールパッド217は、ユーザ操作部を構成している。入力インタフェース216は、コントロールパッド217からの操作入力信号を内部バス220に取り込む。描画処理部224は、描画エンジンを備えている。この描画処理部224は、ゲーム機210がゲーム機として機能する場合、ゲームソフト情報に基づき、ユーザのコントロールパッド217からの操作に応じてゲーム画像を動的に作成し、VRAM225に展開する。
The
この描画処理部224は、ゲーム画像データとして、2次元画像を表示するための画像データを生成する他に、立体画像を表示するための立体画像データ(左眼画像データ、右眼画像データ)を生成する。この場合、描画処理部224は、後述するように、テレビ受信機250のスクリーンサイズおよび視距離の情報を用いて、立体画像データを生成する。
The
なお、この描画処理部224は、DVD等の記録媒体から再生された映画等のコンテンツの画像データが、立体画像を表示するための立体画像データである場合、ユーザの指示に応じて、この立体画像データの補正を行う。この立体画像データの補正は、上述の立体画像データの生成と同様に、テレビ受信機250のスクリーンサイズおよび視距離の情報を用いて行う。そして、立体画像を表示するための立体画像データをHDMIのTMDSチャネルで送信する際に、この立体画像データを伝送方式に応じた状態に加工処理する。ここで、立体画像データは、左眼画像データおよび右眼画像データで構成されている。立体画像データの伝送方式等については後述する。
In addition, when the image data of a content such as a movie reproduced from a recording medium such as a DVD is stereoscopic image data for displaying a stereoscopic image, the
音声処理部226は、ゲーム機210がゲーム機として機能する場合、ゲームソフト情報に基づき、ユーザのコントロールパッド217からの操作に応じて、ゲーム画像に対応したゲーム音声を得るための音声データを生成する。
When the
図3に示すゲーム機210の動作を簡単に説明する。
DVD等の記録媒体に記録されている映画等のコンテンツの再生時の動作を説明する。
The operation of the
An operation at the time of reproducing content such as a movie recorded on a recording medium such as a DVD will be described.
DVD/BDドライブ219で再生される画像データおよび音声データは、MPEGデコーダ227でデコード処理されて非圧縮の画像および音声のデータが得られる。この画像および音声のデータはHDMI送信部212に供給され、HDMIのTMDSチャネルにより、HDMI端子211からHDMIケーブルに送出される。
Image data and audio data reproduced by the DVD / BD drive 219 are decoded by the MPEG decoder 227 to obtain uncompressed image and audio data. The image and audio data is supplied to the
また、ゲーム機として機能している場合の動作を説明する。
描画処理部224では、ゲームソフト情報に基づき、ユーザのコントロールパッド217からの操作に応じてゲーム画像を表示するための画像データが動的に生成され、VRAM225に展開される。ここで、生成すべき画像データが立体画像データ(左眼画像データ、右眼画像データ)である場合、描画処理部224では、テレビ受信機250のスクリーンサイズおよび視距離の情報を用いて、立体画像データが適切に生成される。そして、このVRAM225から画像データが読み出されて、HDMI送信部212に供給される。
Also, the operation when functioning as a game machine will be described.
In the
また、この場合、音声処理部226では、ゲームソフト情報に基づき、ユーザのコントロールパッド217からの操作に応じて、ゲーム画像に対応したゲーム音声を得るための音声データが生成される。この音声データは、HDMI送信部212に供給される。そして、HDMI送信部212に供給されるゲームの画像および音声のデータは、HDMIのTMDSチャネルにより、HDMI端子211からHDMIケーブルに送出される。
In this case, the
なお、上述した映画等のコンテンツの再生時にあって、MPEGデコーダ227でデコード処理されて得られた画像データが立体画像データであり、ユーザが補正処理を指示した場合の動作は以下のようになる。 It should be noted that when the content such as a movie is reproduced, the image data obtained by the decoding process by the MPEG decoder 227 is stereoscopic image data, and the operation when the user instructs the correction process is as follows. .
この場合、MPEGデコーダ227で得られた立体画像データ(左眼画像データ、右眼画像データ)は、内部バス220を介して、描画処理部224に供給される。描画処理部224では、テレビ受信機250のスクリーンサイズおよび視距離の情報を用いて、当該立体画像データ(既存の立体画像データ)の補正が行われる。このように補正された立体画像データはVRAM225に展開された後に読み出され、HDMI送信部212に供給される。
In this case, the stereoscopic image data (left-eye image data and right-eye image data) obtained by the MPEG decoder 227 is supplied to the
描画処理部224における上述の立体画像データの生成、補正の処理の流れについては、後述する。
The flow of processing for generating and correcting the above-described stereoscopic image data in the
なお、描画処理部224、音声処理部226からHDMI送信部212に供給される画像および音声のデータは、このHDMI送信部212でパッキングされてHDMI端子211に出力される。画像データが立体画像データ(左眼画像データ、右眼画像データ)である場合には、この立体画像データは、描画処理部224により、伝送方式に応じた状態に加工処理された後に、HDMI送信部212に供給される。
Note that the image and audio data supplied from the
[テレビ受信機の構成例]
図4は、テレビ受信機250の構成例を示している。このテレビ受信機250は、HDMI端子251と、HDMI受信部252と、3D信号処理部254を有している。また、テレビ受信機250は、アンテナ端子255と、デジタルチューナ256と、デマルチプレクサ257と、MPEGデコーダ258と、映像信号処理回路259と、グラフィック生成回路260と、パネル駆動回路261と、表示パネル262を有している。
[Configuration example of TV receiver]
FIG. 4 shows a configuration example of the
また、テレビ受信機250は、音声信号処理回路263と、音声増幅回路264と、スピーカ265と、内部バス270と、CPU271と、フラッシュROM272と、DRAM273を有している。また、テレビ受信機250は、イーサネットインタフェース274と、ネットワーク端子275と、リモコン受信部276と、リモコン送信機277と、DTCP回路278を有している。
The
アンテナ端子255は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ256は、アンテナ端子255に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームを出力する。デマルチプレクサ257は、デジタルチューナ256で得られたトランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(Transport Stream)(映像データのTSパケット、音声データのTSパケット)を抽出する。
The
また、デマルチプレクサ257は、デジタルチューナ256で得られたトランスポートストリームから、PSI/SI(Program Specific Information/Service Information)を取り出し、CPU271に出力する。デジタルチューナ256で得られたトランスポートストリームには、複数のチャネルが多重化されている。デマルチプレクサ257で、当該トランスポートストリームから任意のチャネルのパーシャルTSを抽出する処理は、PSI/SI(PAT/PMT)から当該任意のチャネルのパケットID(PID)の情報を得ることで可能となる。
Further, the
MPEGデコーダ258は、デマルチプレクサ257で得られる映像データのTSパケットにより構成される映像PES(Packetized Elementary Stream)パケットに対してデコード処理を行って画像データを得る。また、MPEGデコーダ258は、デマルチプレクサ257で得られる音声データのTSパケットにより構成される音声PESパケットに対してデコード処理を行って音声データを得る。
The
映像信号処理回路259およびグラフィック生成回路260は、MPEGデコーダ258で得られた画像データ、あるいはHDMI受信部252で受信された画像データに対して、必要に応じてスケーリング処理(解像度変換処理)、グラフィックスデータの重畳処理等を行う。また、映像信号処理回路259は、HDMI受信部252で受信された画像データが、立体画像データである場合には、左眼画像データおよび右眼画像データに対して、立体画像を表示するための処理を行う(図2参照)。パネル駆動回路261は、グラフィック生成回路260から出力される映像(画像)データに基づいて、表示パネル262を駆動する。
The video
表示パネル262は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)等で構成されている。音声信号処理回路263はMPEGデコーダ258で得られた音声データに対してD/A変換等の必要な処理を行う。音声増幅回路264は、音声信号処理回路263から出力される音声信号を増幅してスピーカ265に供給する。
The
CPU271は、テレビ受信機250の各部の動作を制御する。フラッシュROM272は、制御ソフトウェアの格納およびデータの保管を行う。DRAM273は、CPU271のワークエリアを構成する。CPU271は、フラッシュROM272から読み出したソフトウェアやデータをDRAM273上に展開してソフトウェアを起動させ、テレビ受信機250の各部を制御する。DTCP回路278は、ネットワーク端子275からイーサネットインタフェース274に供給される暗号化データを復号する。
The
リモコン受信部276は、リモコン送信機277から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU271に供給する。CPU271は、このリモコンコードに基づいて、テレビ受信機250の各部を制御する。ネットワーク端子275は、ネットワークに接続する端子であり、イーサネットインタフェース274に接続される。CPU271、フラッシュROM272、DRAM273およびイーサネットインタフェース274は、内部バス270に接続されている。
The remote
HDMI受信部(HDMIシンク)252は、HDMIに準拠した通信により、HDMIケーブル350を介してHDMI端子251に供給される非圧縮の画像(映像)と音声のデータを受信する。このHDMI受信部252の詳細は後述する。
The HDMI receiving unit (HDMI sink) 252 receives uncompressed image (video) and audio data supplied to the
3D信号処理部254は、HDMI受信部252で受信された立体画像データに対して、伝送方式に対応した処理(デコード処理)を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この3D信号処理部254は、上述したゲーム機210の描画処理部224とは逆の処理を行って、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
The 3D
図4に示すテレビ受信機250の動作を簡単に説明する。
アンテナ端子255に入力されたテレビ放送信号はデジタルチューナ256に供給される。このデジタルチューナ256では、テレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームが出力され、当該所定のトランスポートストリームはデマルチプレクサ257に供給される。このデマルチプレクサ257では、トランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(映像データのTSパケット、音声データのTSパケット)が抽出され、当該パーシャルTSはMPEGデコーダ258に供給される。
The operation of the
The television broadcast signal input to the
MPEGデコーダ258では、映像データのTSパケットにより構成される映像PESパケットに対してデコード処理が行われて映像データが得られる。この映像データは、映像信号処理回路259およびグラフィック生成回路260において、必要に応じて、スケーリング処理(解像度変換処理)、グラフィックスデータの重畳処理等が行われた後に、パネル駆動回路261に供給される。そのため、表示パネル262には、ユーザの選択チャネルに対応した画像が表示される。
In the
また、MPEGデコーダ258では、音声データのTSパケットにより構成される音声PESパケットに対してデコード処理が行われて音声データが得られる。この音声データは、音声信号処理回路263でD/A変換等の必要な処理が行われ、さらに、音声増幅回路264で増幅された後に、スピーカ265に供給される。そのため、スピーカ265から、ユーザの選択チャネルに対応した音声が出力される。
Also, in the
また、ネットワーク端子275からイーサネットインタフェース274に供給される、暗号化されているコンテンツデータ(画像データ、音声データ)は、DTCP回路278で復号化された後に、MPEGデコーダ258に供給される。以降は、上述したテレビ放送信号の受信時と同様の動作となり、表示パネル262に画像が表示され、スピーカ265から音声が出力される。
The encrypted content data (image data and audio data) supplied from the
また、HDMI受信部252では、HDMI端子251にHDMIケーブル350を介して接続されているゲーム機210から送信されてくる、画像データおよび音声データが取得される。画像データは、3D信号処理部254を介して映像信号処理回路259に供給される。また、音声データは、直接、音声信号処理回路263に供給される。以降は、上述したテレビ放送信号の受信時と同様の動作となり、表示パネル262に画像が表示され、スピーカ265から音声が出力される。
Further, the
なお、HDMI受信部252で受信された画像データが立体画像(3D画像データ)である場合には、3D信号処理部254において、当該立体画像データに対して伝送方式に対応した処理(デコード処理)が行われ、左眼画像データおよび右眼画像データが生成される。そして、3D信号処理部254から映像信号処理部259には、左眼画像データおよび右眼画像データが供給される。また、映像信号処理回路259では、立体画像データを構成する左眼画像データおよび右眼画像データが供給される場合には、左眼画像データおよび右眼画像データに基づいて、立体画像(図2参照)を表示するための画像データが生成される。そのため、表示パネル262により立体画像が表示される。
If the image data received by the
[HDMI送信部、HDMI受信部の構成例]
図5は、図1のAVシステム200における、ゲーム機210のHDMI送信部(HDMIソース)212と、テレビ受信機250のHDMI受信部(HDMIシンク)252の構成例を示している。
[Configuration Example of HDMI Transmitter and HDMI Receiver]
FIG. 5 shows a configuration example of the HDMI transmission unit (HDMI source) 212 of the
HDMI送信部212は、有効画像区間(以下、適宜、アクティブビデオ区間ともいう)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部252に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、HDMI送信部212は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部252に一方向に送信する。
The
HDMI送信部212とHDMI受信部252とからなるHDMIシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、HDMI送信部212からHDMI受信部252に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、3つのTMDSチャネル#0乃至#2がある。また、ピクセルクロックを伝送する伝送チャネルとしての、TMDSクロックチャネルがある。
The transmission channels of the HDMI system including the
HDMI送信部212は、HDMIトランスミッタ81を有する。トランスミッタ81は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル350を介して接続されているHDMI受信部252に、一方向にシリアル伝送する。
The
また、トランスミッタ81は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2でHDMIシンク252に、一方向にシリアル伝送する。
The
さらに、トランスミッタ81は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル350を介して接続されているHDMI受信部252に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
Further, the
HDMI受信部252は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部212から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このHDMI受信部252は、水平帰線区間または垂直帰線区間において、複数のチャネルで、HDMI送信部212から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
The
すなわち、HDMI受信部252は、HDMIレシーバ82を有する。このHDMIレシーバ82は、TMDSチャネル#0,#1,#2で、HDMI送信部212から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、HDMI送信部212からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
That is, the
HDMI送信部212とHDMI受信部252とからなるHDMIシステムの伝送チャネルには、上述のTMDSチャネル#0乃至#2およびTMDSクロックチャネルの他に、DDC(Display Data Channel)83やCECライン84と呼ばれる伝送チャネルがある。DDC83は、HDMIケーブル350に含まれる図示しない2本の信号線からなり、HDMI送信部212が、HDMIケーブル350を介して接続されたHDMI受信部252から、E−EDID(Enhanced Extended Display Identification Data)を読み出すために使用される。
In addition to the
すなわち、HDMI受信部252は、HDMIレシーバ81の他に、自身の性能(Configuration/capability)に関する性能情報であるE−EDIDを記憶している、EDID ROM(Read Only Memory)85を有している。HDMI送信部212は、例えば、CPU221(図3参照)からの要求に応じて、HDMIケーブル350を介して接続されているHDMI受信部252から、当該HDMI受信部252のE−EDIDを、DDC83を介して読み出す。HDMI送信部212は、読み出したE−EDIDをCPU221に送る。CPU221は、このE−EDIDを。フラッシュROM222あるいはDRAM223に格納する。
That is, the
CPU221は、E−EDIDに基づき、HDMI受信部252の性能の設定を認識できる。例えば、CPU221は、HDMI受信部252を有するテレビ受信機250が対応可能な画像データのフォーマット(解像度、フレームレート、アスペクト等)を認識する。また、この実施の形態において、CPU221は、E−EDIDに含まれる後述するスクリーンサイズに関する情報に基づき、HDMI受信部252を有するテレビ受信機250の実際の画像表示領域のサイズ(スクリーンサイズ)を認識する。
The
CECライン84は、HDMIケーブル350に含まれる図示しない1本の信号線からなり、HDMI送信部212とHDMI受信部252との間で、制御用のデータの双方向通信を行うのに用いられる。このCECライン84は、制御データラインを構成している。
The
また、HDMIケーブル350には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン(HPDライン)86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル350には、ソース機器からシンク機器に電源を供給するために用いられるライン87が含まれている。さらに、HDMIケーブル350には、リザーブライン88が含まれている。
The
図6は、図5のHDMIトランスミッタ81とHDMIレシーバ82の構成例を示している。
FIG. 6 shows a configuration example of the
HDMIトランスミッタ81は、3つのTMDSチャネル#0,#1,#2にそれぞれ対応する3つのエンコーダ/シリアライザ81A,81B,81Cを有する。そして、エンコーダ/シリアライザ81A,81B,81Cのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばR,G,Bの3成分を有する場合、B成分はエンコーダ/シリアライザ81Aに供給され、G成分はエンコーダ/シリアライザ81Bに供給され、R成分はエンコーダ/シリアライザ81Cに供給される。
The
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ/シリアライザ81Aに供給され、音声データは、エンコーダ/シリアライザ81B,81Cに供給される。さらに、制御データとしては、1ビットの垂直同期信号(VSYNC)、1ビットの水平同期信号(HSYNC)、および、それぞれ1ビットの制御ビットCTL0,CTL1,CTL2,CTL3がある。垂直同期信号および水平同期信号は、エンコーダ/シリアライザ81Aに供給される。制御ビットCTL0,CTL1はエンコーダ/シリアライザ81Bに供給され、制御ビットCTL2,CTL3はエンコーダ/シリアライザ81Cに供給される。
The auxiliary data includes, for example, audio data and control packets. The control packets are supplied to, for example, the encoder /
エンコーダ/シリアライザ81Aは、そこに供給される画像データのB成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Aは、そこに供給される画像データのB成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Aは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。
The encoder /
また、エンコーダ/シリアライザ81Aは、そこに供給される垂直同期信号および水平同期信号の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。さらに、エンコーダ/シリアライザ81Aは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Aは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。
The encoder /
エンコーダ/シリアライザ81Bは、そこに供給される画像データのG成分、制御ビットCTL0,CTL1、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Bは、そこに供給される画像データのG成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Bは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。
The encoder /
また、エンコーダ/シリアライザ81Bは、そこに供給される制御ビットCTL0,CTL1の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。さらに、エンコーダ/シリアライザ81Bは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Bは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。
The encoder /
エンコーダ/シリアライザ81Cは、そこに供給される画像データのR成分、制御ビットCTL2,CTL3、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Cは、そこに供給される画像データのR成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Cは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。
The encoder /
また、エンコーダ/シリアライザ81Cは、そこに供給される制御ビットCTL2,CTL3の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。さらに、エンコーダ/シリアライザ81Cは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Cは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。
The encoder /
HDMIレシーバ82は、3つのTMDSチャネル#0,#1,#2にそれぞれ対応する3つのリカバリ/デコーダ82A,82B,82Cを有する。そして、リカバリ/デコーダ82A,82B,82Cのそれぞれは、TMDSチャネル#0,#1,#2で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ/デコーダ82A,82B,82Cのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
The
すなわち、リカバリ/デコーダ82Aは、TMDSチャネル#0で差動信号により送信されてくる画像データのB成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ/デコーダ82Aは、その画像データのB成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
That is, the recovery /
リカバリ/デコーダ82Bは、TMDSチャネル#1で差動信号により送信されてくる画像データのG成分、制御ビットCTL0,CTL1、補助データを受信する。そして、リカバリ/デコーダ82Bは、その画像データのG成分、制御ビットCTL0,CTL1、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
The recovery /
リカバリ/デコーダ82Cは、TMDSチャネル#2で差動信号により送信されてくる画像データのR成分、制御ビットCTL2,CTL3、補助データを受信する。そして、リカバリ/デコーダ82Cは、その画像データのR成分、制御ビットCTL2,CTL3、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
The recovery /
図7は、TMDS伝送データの構造例を示している。この図7は、TMDSチャネル#0,#1,#2において、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
FIG. 7 shows an example of the structure of TMDS transmission data. FIG. 7 shows sections of various transmission data when image data of horizontal × vertical 1920 pixels × 1080 lines is transmitted in
HDMIの3つのTMDSチャネル#0,#1,#2で伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、3種類の区間が存在する。この3種類の区間は、ビデオデータ区間(Video Data period)、データアイランド区間(Data Island period)、およびコントロール区間(Control period)である。
A video field (Video Field) in which transmission data is transmitted through the three
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(active edge)から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間(horizontal blanking)、垂直ブランキング期間(vertical blanking)、並びに、アクティブビデオ区間(Active Video)に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である Here, the video field period is a period from the rising edge (active edge) of a certain vertical synchronizing signal to the rising edge of the next vertical synchronizing signal. The video field period is divided into a horizontal blanking period (horizontal blanking), a vertical blanking period (vertical blanking), and an active video period (Active Video). This active video section is a section obtained by removing the horizontal blanking period and the vertical blanking period from the video field section.
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータが伝送される。 The video data section is assigned to the active video section. In this video data section, 1920 pixel (pixel) × 1080 line effective pixel (Active pixel) data constituting uncompressed image data for one screen is transmitted.
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ(Auxiliary data)が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。 The data island period and the control period are assigned to the horizontal blanking period and the vertical blanking period. In the data island section and the control section, auxiliary data (Auxiliary data) is transmitted. That is, the data island period is assigned to a part of the horizontal blanking period and the vertical blanking period. In this data island period, for example, audio data packets, which are data not related to control, of auxiliary data are transmitted.
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。 The control period is allocated to other parts of the horizontal blanking period and the vertical blanking period. In this control period, for example, vertical synchronization signals, horizontal synchronization signals, control packets, and the like, which are data related to control, of auxiliary data are transmitted.
図8は、HDMI端子211,251のピン配列の一例を示している。図8に示すピン配列はタイプA(type-A)と呼ばれている。
FIG. 8 shows an example of the pin arrangement of the
TMDSチャネル#iの差動信号であるTMDS Data#i+とTMDS Data#i−が伝送される差動線である2本のラインは、TMDS Data#i+が割り当てられているピン(ピン番号が1,4,7のピン)と、TMDS Data#i−が割り当てられているピン(ピン番号が3,6,9のピン)に接続される。
Two lines, which are differential lines through which TMDS Data # i + and TMDS Data # i−, which are differential signals of TMDS channel #i, are transmitted are pins to which TMDS Data # i + is assigned (the pin number is 1). , 4, 7) and pins assigned with TMDS Data # i− (
また、制御用のデータであるCEC信号が伝送されるCECライン84は、ピン番号が13であるピンに接続され、ピン番号が14のピンは空き(Reserved)ピンとなっている。また、E−EDID等のSDA(Serial Data)信号が伝送されるラインは、ピン番号が16であるピンに接続され、SDA信号の送受信時の同期に用いられるクロック信号であるSCL(Serial Clock)信号が伝送されるラインは、ピン番号が15であるピンに接続される。上述のDDC83は、SDA信号が伝送されるラインおよびSCL信号が伝送されるラインにより構成される。
A
また、上述したようにソース機器がシンク機器の接続を検出するためのHPDライン86は、ピン番号が19であるピンに接続される。また、上述したように電源を供給するためのライン87は、ピン番号が18であるピンに接続される。
Further, as described above, the
[立体画像データの伝送方式例]
立体画像データ(3D画像データ)の伝送方式として、以下の第1〜第3の伝送方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図9に示すように、左眼(L)および右眼(R)の画像データが、それぞれ、1920×1080pのピクセルフォーマットの画像データである場合を例にとって説明する。
[Example of transmission method of stereoscopic image data]
As transmission methods for stereoscopic image data (3D image data), the following first to third transmission methods are listed, but other transmission methods may be used. Here, as shown in FIG. 9, an example will be described in which the image data of the left eye (L) and the right eye (R) is image data of a pixel format of 1920 × 1080p, respectively.
第1の伝送方式は、図10(a)に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。この場合、切換え処理のためフィールドメモリが必要となるが、ソース機器での信号処理は最も簡単なものとなる。図11は、第1の伝送方式におけるTMDS伝送データ例を示している。この場合、奇数フィールドの1920ピクセル×1080ラインのアクティブビデオ区間に、1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)の左眼(L)画像データが配置される。また、偶数フィールドの1920ピクセル×1080ラインのアクティブビデオ区間に、1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)の右眼(R)画像データが配置される。 As shown in FIG. 10A, the first transmission method is a method in which left-eye image data and right-eye image data are sequentially switched and transmitted for each field. In this case, a field memory is required for the switching process, but signal processing at the source device is the simplest. FIG. 11 shows an example of TMDS transmission data in the first transmission method. In this case, left-eye (L) image data of effective pixels (active pixels) corresponding to 1920 pixels × 1080 lines is arranged in an active video section of 1920 pixels × 1080 lines in an odd field. Also, right-eye (R) image data of effective pixels (active pixels) for 1920 pixels × 1080 lines is arranged in an active video section of 1920 pixels × 1080 lines in the even field.
第2の伝送方式は、図10(b)に示すように、左眼画像データの1ライン分と右眼画像データの1ライン分とを交互に伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、ラインが1/2に間引かれる。この方式は、上述の「位相差プレート方式」と呼ばれる立体画像の表示方式の映像信号そのものであり、シンク機器の表示部での信号処理が最も簡単な方式であるが、原信号に対して垂直解像度は半分となる。 As shown in FIG. 10B, the second transmission method is a method of alternately transmitting one line of left eye image data and one line of right eye image data. In this case, the left eye image data and the right eye image data are each thinned by half. This method is a video signal itself of a stereoscopic image display method called the “phase difference plate method” described above, and is the simplest method for signal processing on the display unit of the sink device, but is perpendicular to the original signal. The resolution is halved.
図12は、第2の伝送方式のTMDS伝送データ例を示している。この場合、1920ピクセル×1080ラインのアクティブビデオ区間に、1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータ(左眼(L)画像データおよび右眼(R)画像データの合成データ)が配置される。この第2の伝送方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、垂直方向のラインが1/2に間引かれる。ここで、伝送すべき左眼画像データは奇数ラインまたは偶数ラインのいずれかであり、同様に、伝送すべき右眼画像データは奇数ラインまたは偶数ラインのいずれかである。 FIG. 12 shows an example of TMDS transmission data of the second transmission method. In this case, 1920 pixel × 1080 line active video section, 1920 pixel × 1080 line effective pixel (active pixel) data (the synthesis of left eye (L) image data and right eye (R) image data). Data) is arranged. In the case of the second transmission method, as described above, the left-eye image data and the right-eye image data are each thinned by 1/2 in the vertical direction. Here, the left eye image data to be transmitted is either an odd line or an even line, and similarly, the right eye image data to be transmitted is either an odd line or an even line.
第3の伝送方式は、現在実験放送で用いられている「Side By Side」方式で、図10(c)に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが1/2に間引かれる。この第3の伝送方式は、立体画像データに非対応のソース機器でも既存の2D画像データとして出力すれば対応でき、従来のソース機器との互換性が高い方式である。 The third transmission method is a “Side By Side” method that is currently used in experimental broadcasting. As shown in FIG. 10C, pixel data of left-eye image data is transmitted in the first half of the horizontal direction, and horizontal In the latter half of the direction, the pixel data of the right eye image data is transmitted. In this case, in the left eye image data and the right eye image data, the pixel data in the horizontal direction is thinned out to 1/2. This third transmission method is compatible even with a source device that does not support stereoscopic image data if it is output as existing 2D image data, and is highly compatible with conventional source devices.
図13は、第3の伝送方式のTMDS伝送データ例を示している。この場合、1920ピクセル×1080ラインのアクティブビデオ区間に、1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータ(左眼(L)画像データおよび右眼(R)画像データの合成データ)が配置される。この第3の伝送方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが1/2に間引かれる。 FIG. 13 shows an example of TMDS transmission data of the third transmission method. In this case, 1920 pixel × 1080 line active video section, 1920 pixel × 1080 line effective pixel (active pixel) data (the synthesis of left eye (L) image data and right eye (R) image data). Data) is arranged. In the case of the third transmission method, as described above, the left-eye image data and the right-eye image data are each decimated by half of the pixel data in the horizontal direction.
[スクリーンサイズ情報]
図1に示すAVシステム200のゲーム機210では、ゲーム画像を表示するための立体画像データを生成する場合、あるいは映画等のコンテンツの既存の立体画像データを補正する際に、テレビ受信機250のスクリーンサイズ情報を用いる。
[Screen size information]
In the
この実施の形態において、ゲーム機210は、テレビ受信機250より、スクリーンサイズに関する情報を取得し、この情報からスクリーンサイズ情報を得る。ゲーム機210は、テレビ受信機250からE−EDID(Enhanced Extended Display Identification Data)を読み出すことで、スクリーンサイズに関する情報を取得する。換言すれば、テレビ受信機250は、E−EDIDにスクリーンサイズに関する情報を含めておくことで、当該情報を、ゲーム機210に供給する。
In this embodiment, the
E−EDIDには、テレビ受信機250で取り扱われる画像データのフォーマット(解像度、フレームレート、アスペクト等)の情報も含まれている。ゲーム機210は、E−EDIDからテレビ受信機250が対応可能な画像データのフォーマット(解像度、フレームレート、アスペクト等)の情報を取得する。そして、ゲーム機210は、テレビ受信機250に送る画像データのフォーマットを、このテレビ受信機250が対応可能なフォーマットとする。
The E-EDID includes information on the format (resolution, frame rate, aspect, etc.) of image data handled by the
[スクリーンサイズに関する情報]
ここで、スクリーンサイズは、図14に示すように、左眼画像、右眼画像が実際に表示される領域(表示領域)の横幅、高さ、対角の長さ等である。スクリーンサイズに関する情報として、例えば、以下の(1)〜(3)が考えられる。
[Information on screen size]
Here, as shown in FIG. 14, the screen size is the width, height, diagonal length, etc. of the area (display area) where the left eye image and the right eye image are actually displayed. As information on the screen size, for example, the following (1) to (3) are conceivable.
(1)LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)等の表示パネルを用いたテレビ受信機の場合は、パネルの実効表示サイズの情報とする。この情報は、テレビ受信機毎に固定の値となる。この場合、Source機器側は、出力する映像が表示パネル全面に表示されるものとして、3Dの映像を生成する。 (1) In the case of a television receiver using a display panel such as an LCD (Liquid Crystal Display) or a PDP (Plasma Display Panel), information on the effective display size of the panel is used. This information is a fixed value for each television receiver. In this case, the Source device generates a 3D video on the assumption that the video to be output is displayed on the entire display panel.
(2)16:9 Full HD (1920x1080) ドットの画像をフルに表示した場合に、実際に画像が表示される領域のサイズ情報とする。この情報は、テレビ受信機毎に固定の値となる。
この場合も、(1)と同様に、Source機器側は、出力する映像が表示パネル全面に表示されるものとして、3Dの映像を生成する。
(2) 16: 9 Full HD (1920x1080) When a dot image is displayed in full, the size information of the area where the image is actually displayed is used. This information is a fixed value for each television receiver.
Also in this case, as in (1), the Source device generates a 3D video on the assumption that the video to be output is displayed on the entire display panel.
(3)各表示解像度・アスペクト (1920x1080/16:9、NTSC:720x480/4:3 など)を表示した場合に、実際の映像が表示される領域のサイズ情報とする。この情報は、解像度・アスペクト毎に可変の値になる。 (3) When each display resolution and aspect (1920x1080 / 16: 9, NTSC: 720x480 / 4: 3, etc.) is displayed, it is used as size information of the area where the actual video is displayed. This information is a variable value for each resolution and aspect.
これら(1)〜(3)の場合、それぞれ、領域の横幅、高さ、対角の長さを、センチメートル(cm)単位、インチ(inch)単位等で表現した値が、スクリーンサイズに関する情報となる。この場合、スクリーンサイズに関する情報は、スクリーンサイズを直接的に表すものとなる。 In these cases (1) to (3), the values representing the width, height, and diagonal length of the area in centimeter (cm) units, inch (inch) units, etc. It becomes. In this case, the information regarding the screen size directly represents the screen size.
なお、例えば10cmに相当するドット数など、上述(1)〜(3)の領域のサイズが間接的に求められるような値を、スクリーンサイズに関する情報としてもよい。 In addition, for example, a value such as the number of dots corresponding to 10 cm such that the size of the above-described areas (1) to (3) can be obtained indirectly may be used as information regarding the screen size.
また、上述(3)の場合のように、スクリーンサイズに関する情報が解像度・アスペクトに依存する場合、テレビ受信機250からゲーム機210に、テレビ受信機250が取り扱い可能な各解像度・アスペクトのスクリーンサイズに関する情報の一覧を供給してもよい。また、上述(3)の場合のように、スクリーンサイズに関する情報が解像度・アスペクトに依存する場合、CEC制御データラインを用いて、ゲーム機210からテレビ受信機250に表示する解像度・アスペクトの情報を送り、テレビ受信機250からゲーム機210にその解像度・アスペクトに該当するスクリーンサイズに関する情報を送るようにしてもよい。
Further, as in the case of (3) above, when the information about the screen size depends on the resolution and aspect, the screen size of each resolution and aspect that can be handled by the
例えば、テレビ受信機250において、上述のE-EDIDに、スクリーンサイズに関する情報として、16:9 Full HD (1920x1080ドット) の画像をフルに表示した場合に、実際に画像が表示される領域(実寸)の対角の長さがセットされてもよい。この場合、以下のように、例えば、inch 単位でセットされる。このようにinch 単位でセットするのは、テレビ受信機(TV)のスクリーンサイズは、インチサイズに合わせて設計されていることが多いためである。
For example, in the
32” のTVの場合: 32inch
40” のTVの場合: 40inch
52” のTVの場合: 52inch
200” のプロジェクタの場合: 200inch
For 32 ”TV: 32inch
For 40 ”TV: 40inch
For 52 ”TV: 52inch
For a 200 ”projector: 200inch
また、例えば、テレビ受信機250において、上述のE-EDIDに、スクリーンサイズに関する情報として、16:9 Full HD (1920x1080ドット) の画像をフルに表示した場合に、実際に画像が表示される領域(実寸)の横幅の長さがセットされてもよい。この場合、以下のように、例えば、cm 単位(または 0.25cm単位、 mm単位) でセットされる。
Further, for example, in the
32” のTVの場合: 71cm
40” のTVの場合: 88cm
52” のTVの場合: 115cm
200” のプロジェクタの場合: 442cm
For 32 ”TV: 71cm
For 40 ”TV: 88cm
For 52 ”TV: 115cm
For a 200 ”projector: 442cm
また、表示領域のサイズがある程度より大きい場合は、上述のE-EDIDに、スクリーンサイズに関する情報として、“充分大きい”ということを意味する値をセットしてもよい。したがって、例えば、プロジェクタで 実際の表示領域の寸法が分からないような場合は“十分大きい”ことを意味する値(例えば、255)をセットしてもよい。 If the size of the display area is larger than a certain level, a value that means “sufficiently large” may be set in the above-mentioned E-EDID as information on the screen size. Therefore, for example, when the actual display area size is not known by the projector, a value (for example, 255) that means “sufficiently large” may be set.
[E−EDIDの構成]
図15は、E−EDIDのデータ構造例を示している。このE−EDIDは、基本ブロックと拡張ブロックとからなっている。基本ブロックの先頭には、“E−EDID1.3 Basic Structure”で表されるE−EDID1.3の規格で定められたデータが配置され、続いて“Preferred timing”で表される従来のEDIDとの互換性を保つためのタイミング情報、および“2nd timing”で表される従来のEDIDとの互換性を保つための“Preferred timing”とは異なるタイミング情報が配置されている。
[Configuration of E-EDID]
FIG. 15 shows an example of the data structure of E-EDID. This E-EDID is composed of a basic block and an extended block. At the head of the basic block, data defined by the E-EDID 1.3 standard represented by “E-EDID 1.3 Basic Structure” is arranged, and then the conventional EDID represented by “Preferred timing” and Timing information for maintaining the compatibility of the EDID and timing information different from “Preferred timing” for maintaining the compatibility with the conventional EDID represented by “2nd timing” are arranged.
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報、および“Monitor Range Limits”で表される、アスペクト比が4:3および16:9である場合についての表示可能な画素数を示す情報が順番に配置されている。 The basic block includes information indicating the name of the display device represented by “Monitor NAME” following “2nd timing”, and aspect ratios represented by “Monitor Range Limits” of 4: 3 and 16 : Information indicating the number of displayable pixels in the case of 9 is arranged in order.
拡張ブロックの先頭には、“Short Video Descriptor”で表される、表示可能な画像サイズ(解像度)、フレームレート、インターレースであるかプログレッシブであるかを示す情報、アスペクト比などの情報が記述されたデータ、“Short Audio Descriptor”で表される、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報が記述されたデータ、および“Speaker Allocation”で表される左右のスピーカに関する情報が順番に配置されている。 At the beginning of the extended block, information such as displayable image size (resolution), frame rate, interlaced or progressive information, aspect ratio, etc., represented by “Short Video Descriptor” are described. Data, data describing information such as reproducible audio codec system, sampling frequency, cutoff band, codec bit number, etc., represented by “Short Audio Descriptor”, and left and right speakers represented by “Speaker Allocation” Information about is arranged in order.
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vender Specific”で表されるメーカごとに固有に定義されたデータ、“3rd timing”で表される従来のEDIDとの互換性を保つためのタイミング情報、および“4th timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。 In addition, the extension block maintains compatibility with the conventional EDID represented by “3rd timing”, the data defined uniquely for each manufacturer represented by “Vender Specific” following “Speaker Allocation”. Timing information for maintaining compatibility with the conventional EDID represented by “4th timing” is arranged.
図16は、Short Video Descriptor領域の映像データ例を示している。このShort Video Descriptor領域のByte#1からByte#Lまでに、CEA−861−Dで定義された映像信号フォーマットの内、受信装置(この実施の形態ではテレビ受信機250)が表示可能なフォーマットが、解像度・フレームレート・アスペクト(縦横比)の組み合わせで表記されている。
FIG. 16 shows an example of video data in the Short Video Descriptor area. Among the video signal formats defined by CEA-861-D, there are formats that can be displayed by the receiving apparatus (in this embodiment, the television receiver 250) from
図17は、Vender Specific領域(HDMI Vendor Specific Data Block)のデータ構造例を示している。このVender Specific領域には、1バイトのブロックである第0ブロック乃至第Nブロックが設けられている。 FIG. 17 shows an example of the data structure of the Vender Specific area (HDMI Vendor Specific Data Block). In the Vender Specific area, a 0th block to an Nth block, which are 1-byte blocks, are provided.
“Vender Specific”で表されるデータの先頭に配置された第0ブロックには、“Vendor−Specific tag code(=3)”で表されるデータ“Vender Specific”のデータ領域を示すヘッダ、および“Length(=N)”で表されるデータ“Vender Specific”の長さを示す情報が配置される。 In the 0th block arranged at the head of the data represented by “Vender Specific”, a header indicating a data area of data “Vender Specific” (“Vender-Specific tag code (= 3)”) and “Vendor Specific” Information indicating the length of the data “Vender Specific” represented by “Length (= N)” is arranged.
また、第1ブロック乃至第3ブロックには、“24bit IEEE Registration Identifier(0x000C03)LSB first”で表されるHDMI(R)用として登録された番号“0x000C03“を示す情報が配置される。さらに、第4ブロックおよび第5ブロックには、”A“、”B“、”C“、および”D“のそれぞれにより表される、24bitのシンク機器の物理アドレスを示す情報が配置される。 In the first to third blocks, information indicating the number “0x000C03” registered for HDMI (R) represented by “24-bit IEEE Registration Identifier (0x000C03) LSB first” is arranged. Further, in the fourth block and the fifth block, information indicating the physical address of the 24-bit sink device represented by “A”, “B”, “C”, and “D” is arranged.
第6ブロックには、“Supports−AI”で表されるシンク機器が対応している機能を示すフラグ、“DC−48bit”、“DC−36bit”、および“DC−30bit”のそれぞれで表される1ピクセル当たりのビット数を指定する情報のそれぞれ、“DC−Y444”で表される、シンク機器がYCbCr4:4:4の画像の伝送に対応しているかを示すフラグ、および“DVI−Dual”で表される、シンク機器がデュアルDVI(Digital Visual Interface)に対応しているかを示すフラグが配置されている。 The sixth block is represented by a flag indicating a function supported by the sink device represented by “Supports-AI”, “DC-48 bit”, “DC-36 bit”, and “DC-30 bit”. Each of the information specifying the number of bits per pixel, a flag indicating whether the sink device supports transmission of a YCbCr4: 4: 4 image, represented by “DC-Y444”, and “DVI-Dual A flag indicating whether the sink device corresponds to dual DVI (Digital Visual Interface) is arranged.
また、第7ブロックには、“Max−TMDS−Clock”で表されるTMDSのピクセルクロックの最大の周波数を示す情報が配置される。さらに、第8ブロックの第6ビット、第7ビットには、“Latency”で表される映像と音声の遅延情報の有無を示すフラグが配置されている。 In the seventh block, information indicating the maximum frequency of the TMDS pixel clock represented by “Max-TMDS-Clock” is arranged. Furthermore, a flag indicating the presence or absence of video and audio delay information represented by “Latency” is arranged in the sixth and seventh bits of the eighth block.
また、第9ブロックには、“Video Latency”で表される、プログレッシブの映像の遅延時間データが配置され、第10ブロックには、“Audio Latency”で表される、プログレッシブの映像に付随する音声の遅延時間データが配置される。さらに、第11ブロックには、“Interlaced Video Latency”で表されるインターレースの映像の遅延時間データが配置され、第12ブロックには、“Interlaced Audio Latency”で表される、インターレースの映像に付随する音声の遅延時間データが配置されている。 In addition, in the ninth block, the delay time data of the progressive video represented by “Video Latency” is arranged, and in the tenth block, the audio accompanying the progressive video represented by “Audio Latency”. The delay time data is arranged. Furthermore, in the eleventh block, delay time data of an interlaced video represented by “Interlaced Video Latency” is arranged, and in the twelfth block, an interlaced video represented by “Interlaced Audio Latency” is attached. Audio delay time data is arranged.
この実施の形態において、第8ブロックの第5ビットには、スクリーンサイズに関する情報の有無を示すフラグが配置されている。このフラグが“1”とされて、第13ブロックに、上述したスクリーンサイズに関する情報が配置される。 In this embodiment, a flag indicating the presence / absence of information relating to the screen size is arranged in the fifth bit of the eighth block. This flag is set to “1”, and the information regarding the screen size described above is arranged in the thirteenth block.
[立体画像データの出力]
ゲーム機210は、テレビ受信機250に立体画像データを送る場合、上述したようにテレビ受信機250から取得されたスクリーンサイズに関する情報から得られたスクリーンサイズに合わせた立体画像データを出力して、送信する。
[Output of stereoscopic image data]
When sending the stereoscopic image data to the
上述したように、ゲーム機210は、ゲーム画像の表示時には、スクリーンサイズの情報に基づいて立体画像データを動的に生成して出力する。立体画像データは、スクリーンサイズの情報の他に、視距離の情報を用いることで、完全に正しい視差で立体画像データ(左眼画像データ、右眼画像データ)を生成できる。視距離は、視聴者からスクリーンまでの距離である。
As described above, the
上述したように、ゲーム機210は、スクリーンサイズの情報に関しては、テレビ受信機250から取得されるスクリーンサイズに関する情報から得ることができ、ユーザの設定なしで、自動取得できる。なお、テレビ受信機250から取得されるスクリーンサイズに関する情報が、上述した“充分大きい”ということを意味する値であるとき、スクリーンサイズ(横幅、高さ)として、予め設定されている、充分に大きな値を用いる。
As described above, the
ゲーム機210は、視距離の情報に関しては、自動取得できず、ユーザが手動設定する必要があるが、この実施の形態において、ゲーム機210は、テレビ受信機250のスクリーンサイズを元に得られた推奨視距離をデフォルト値とする、視距離調整部を備える。テレビ受信機の推奨視距離は、例えば、縦のサイズの2〜3倍などである。ユーザは、例えば、コントロールパッド217を操作して、視距離の調整モードとして、視距離の調整を行う。この場合、例えば、テレビ受信機250の表示パネル262に視距離調整用のGUI画面が表示され、ユーザは、このGUI画面を用いて視距離の調整(設定)を行う。
The
ゲーム機210は、ユーザが視距離調整の操作をしない場合、デフォルト値をそのまま使用する。このように、デフォルト値のまま使用してもよいし、さらに最適な値に調整したいユーザのみが手動設定するという流れにすることで、ユーザの設定の負担を軽減できる。また、デフォルト値はそれなりに適切な値になるため、ユーザが視距離を新規に一から設定する場合に比べて、視距離を簡単によりよい値に調整できる。
The
ゲーム画像の立体画像データ(3D CG)の生成、出力の流れを簡単に説明する。
立体画像データを生成する場合、図18に示すように、3D(3次元)空間でモデリングし、2D(2次元)のスクリーンに投影することによって、2Dの画像(左眼画像、右眼画像)を生成する。この図18のモデリング例においては、スクリーン面の奥に直方体のオブジェクトOaと、円柱のオブジェクトObが配置されている。この場合、図19に示すように、スクリーンサイズおよび視距離をパラメータとして用いることにより、正確な視差を持つ2Dの画像(左眼画像、右眼画像)を生成できる。
A flow of generating and outputting stereoscopic image data (3D CG) of a game image will be briefly described.
When generating stereoscopic image data, as shown in FIG. 18, a 2D image (left eye image, right eye image) is modeled in 3D (3D) space and projected onto a 2D (2D) screen. Is generated. In the modeling example of FIG. 18, a rectangular parallelepiped object Oa and a cylindrical object Ob are arranged at the back of the screen surface. In this case, as shown in FIG. 19, by using the screen size and the viewing distance as parameters, it is possible to generate a 2D image (left eye image, right eye image) having an accurate parallax.
図20のフローチャートは、ゲーム機210における立体画像データの生成、出力処理の流れを概略的に示している。まず、ゲーム機210は、ステップST1において、初期化処理を行う。この場合、ゲーム機210は、各種ライブラリ・メモリの初期化、VRAM(フレームバッファ)225の設定、出力設定などを含む、各種初期化の処理を行う。
The flowchart in FIG. 20 schematically shows the flow of processing for generating and outputting stereoscopic image data in the
次に、ゲーム機210は、ステップST2において、モデリング処理を行う。このモデリング処理では、描画処理部224は、各描画フレームにおいて、描画対象の各頂点データの計算を行う。この場合、各物体のモデルを構築する。そして、物体毎の「モデル座標系」(「ローカル座標系」)上で、描画する各頂点のデータを計算する。そして、描画する各物体を、「ワールド座標系」の空間に配置する。すなわち、「モデル座標系」上で計算された描画対象の各物体の頂点データを「ワールド座標系」上に配置していく。
Next, the
次に、ゲーム機210は、ステップST3において、視点・光源の設定処理を行うと共に、ステップST4において、レンダリングを行って、左右の画像データを生成する。立体画像データを生成する場合には、この視点の設定が重要である。この場合、描画処理部224は、左眼画像について、視点・光源設定、レンダリングを行って、左眼画像データを生成し、その後に、右眼画像について、視点・光源設定、レンダリングを行って、右眼画像データを生成する。
Next, in step ST3, the
視点・光源設定の処理では、視点位置・方向の設定を行う。描画する各物体が配置された「ワールド座標系」において、視点、注視点、上方向ベクトル(視点の姿勢を決めるために、どの方向がカメラの上向きなのかを指定する)、カメラの画角、カメラのアスペクトを設定する。この場合、両眼の感覚だけ離して、左眼用、右眼用の視点の座標を決める。注視点は、左眼用、右眼用で、同じ点を指定する。上方向ベクトルは、左眼・右眼が水平に並ぶように、左眼用、右眼用で同じ方向を指定する。 In the viewpoint / light source setting process, the viewpoint position / direction is set. In the “world coordinate system” where each object to be drawn is placed, the viewpoint, gazing point, upward vector (specify which direction is the upward direction of the camera to determine the orientation of the viewpoint), the angle of view of the camera, Set the camera aspect. In this case, the coordinates of the viewpoints for the left eye and the right eye are determined by separating only the senses of both eyes. Specify the same point for the left eye and the right eye. The upward direction vector specifies the same direction for the left eye and for the right eye so that the left eye and the right eye are aligned horizontally.
カメラの画角(視野角)に関しては、テレビ受信機250のスクリーンサイズ、視距離から求められる画角を指定する。この場合、テレビ受信機250から取得したスクリーンサイズに関する情報に基づいて、スクリーンサイズとしての高さ、横幅を求める。視距離については、ユーザが設定した値、あるいはスクリーンサイズを元にした推奨視聴距離(例えば、画面の高さの2〜3倍)といった値を用いる。
As for the angle of view (viewing angle) of the camera, the angle of view obtained from the screen size and viewing distance of the
カメラの画角として縦方向の画角を指定する場合は、スクリーンサイズの高さと視距離から、実際の視環境における 画角を求めることができる。カメラの画角として横方向の画角を指定する場合は、スクリーンサイズの横幅と視距離から実際の視環境における画角を求めることができる。カメラのアスペクトは、出力する画像のアスペクトを指定する。例えば、Full HD (1920x1080 16:9) で出力する場合は、16:9 となるように指定する。 When a vertical field angle is specified as the camera field angle, the field angle in the actual viewing environment can be obtained from the screen size height and viewing distance. When a horizontal angle of view is designated as the angle of view of the camera, the angle of view in the actual viewing environment can be obtained from the horizontal width of the screen size and the viewing distance. The camera aspect specifies the aspect of the image to be output. For example, to output in Full HD (1920x1080 16: 9), specify 16: 9.
図21は、カメラの画角およびアスペクトの第1の計算方法の参考図である。この第1の計算方法は、スクリーンサイズが両眼間隔と比べて充分に大きい場合に適用できる。この場合の計算値は、近似値となる。この場合、画角は(1)式で求められ、アスペクトは(2)式で求められる。
[画角]= atan (([スクリーンサイズ] /2 ) / [視距離]) × 2 ・・・(1)
[アスペクト] = [出力する映像のアスペクト] ・・・(2)
FIG. 21 is a reference diagram of the first calculation method of the angle of view and the aspect of the camera. This first calculation method can be applied when the screen size is sufficiently larger than the distance between both eyes. The calculated value in this case is an approximate value. In this case, the angle of view is obtained by equation (1), and the aspect is obtained by equation (2).
[Angle of view] = atan (([Screen size] / 2) / [Viewing distance]) x 2 (1)
[Aspect] = [Aspect of output video] (2)
図22は、カメラの画角およびアスペクトの第2の計算方法の参考図である。この第2の計算方法では、画角およびアスペクトを、より正確な値で得ることができる。この場合、画角1は(3)式で求められ、画角2は(4)式で求められる。そして、画角は、画角1と画角2の加算値として、(5)式で求められる。
FIG. 22 is a reference diagram of the second calculation method of the angle of view and aspect of the camera. In the second calculation method, the angle of view and the aspect can be obtained with more accurate values. In this case, the angle of
[画角1] = atan (([スクリーンサイズ]/2 − [両眼の間隔]/2) / [視距離])
・・・(3)
[画角2] = atan (([スクリーンサイズ]/2 + [両眼の間隔]/2) / [視距離])
・・・(4) [画角] = [画角1] + [画角2]
= atan (([スクリーンサイズ]/2 − [両眼の間隔]/2) / [視距離])
+ atan (([スクリーンサイズ]/2 + [両眼の間隔]/2) / [視距離])
・・・(5)
[Angle of view 1] = atan (([screen size] / 2-[distance between both eyes] / 2) / [viewing distance])
... (3)
[Angle of view 2] = atan (([screen size] / 2 + [distance between both eyes] / 2) / [viewing distance])
... (4) [Field angle] = [Field angle 1] + [Field angle 2]
= Atan (([Screen size] / 2-[B between eyes] / 2) / [View distance])
+ Atan (([screen size] / 2 + [distance between both eyes] / 2) / [viewing distance])
... (5)
また、指定するカメラのアスペクトが [横]/[縦]の場合、アスペクト(横/縦)は、(6)式で求められる。
[アスペクト(横/縦)]
= cos ([画角]/2 ? [画角1]) * [出力する映像のアスペクト(横/縦)]
= cos( atan (([スクリーンサイズ]/2 + [両眼の間隔]/2) / [視距離])
− atan ( ( [スクリーンサイズ] /2 - [両眼の間隔]/2 ) / [視距離]))
* [出力する映像のアスペクト(横/縦)]
・・・(6)
When the aspect of the camera to be designated is [horizontal] / [vertical], the aspect (horizontal / vertical) can be obtained by equation (6).
[Aspect (Horizontal / Vertical)]
= Cos ([angle of view] / 2? [Angle of view 1]) * [Aspect of output video (horizontal / vertical)]
= Cos (atan (([screen size] / 2 + [distance between both eyes] / 2) / [viewing distance])
− Atan (([Screen size] / 2-[Binocular distance] / 2) / [View distance]))
* [Aspect of output video (horizontal / vertical)]
... (6)
また、指定するカメラのアスペクトが [縦] / [横]の場合、アスペクト(縦/横)は、(6)式の逆数となる。 When the aspect of the camera to be specified is [vertical] / [horizontal], the aspect (vertical / horizontal) is the reciprocal of equation (6).
レンダリングの処理では、テクスチャマッピング、深度テスト、アルファテスト、ステンシルテスト、ブレンディング、各種エフェクト処理などを行い、表示する最終画像に対応した左眼画像データおよび右眼画像データを生成して、VRAM225に展開(描画)する。
In the rendering process, texture mapping, depth test, alpha test, stencil test, blending, various effect processes, etc. are performed, and left eye image data and right eye image data corresponding to the final image to be displayed are generated and expanded in the
次に、ゲーム機210は、ステップST5において、VRAM225(フレームバッファ)に展開(描画)された左眼画像データおよび右眼画像データを読み出し、HDMI送信部212からテレビ受信機250に送信する。このとき、必要に応じて出力用の画像データの規格に合わせて、左眼画像データおよび右眼画像データの配置やサイズが変換されてからHDMI送信部212に供給されて、送信される。
Next, in step ST5, the
また、上述したように、ゲーム機210は、映画等のコンテンツの再生時にあって、再生画像データが立体画像データであり、ユーザが補正処理を指示した場合、スクリーンサイズの情報に基づいてこの立体画像データを補正して出力する。このように、映像コンテンツを補正して再生する場合は、ゲーム機以外にも Blu-ray Disc Player などの動画再生装置でもよい。
Further, as described above, when the
ゲーム機210の描画処理部224は、再生立体画像データ(左眼画像データ、右眼画像データ)から奥行き情報を検出して補正処理を行う。この場合、描画処理部224は、再生立体画像データを構成する左眼画像データおよび右眼画像データを解析し、特徴点を抽出し、左眼画像、右眼画像の間の相関を検出することで、奥行情報を推測できる。そして、描画処理部224は、奥行情報を推測した後、テレビ受信機250のスクリーンサイズ、視距離に基づいて、左眼画像データおよび右眼画像データを補正する。
The
ゲーム機210における立体画像データの補正、出力処理の流れを説明する。描画処理部224は、まず、奥行き情報の推測を行う。再生立体画像データを構成する左眼(L)画像データおよび右眼(R)画像データを解析し、L,R画像間の相関を求める。立体画像の表示のために撮影されたL,Rの画像は、それぞれカメラの上方向ベクトルは一致していると仮定してよい。
The flow of correction and output processing of stereoscopic image data in the
そのため、図23に示すように、L,Rの画像に関して、水平方向のライン単位で、 L,R画像間の相関を求めればよい。この場合、輝度・色情報、輝度・色に対して微分等のフィルタ(エッジ検出)をかけた後の画像情報などを用いて相関を求めることができ、画像の各領域・各点に対して左右のずれを求めることができる。さらに、カメラの撮影条件として、2眼のレンズ間の距離、レンズの角度などの情報が利用できるのであれば、カメラの位置・角度情報と、各領域・各点の左右のずれ情報から、精度高く各領域・各点の奥行情報を推測できる。 Therefore, as shown in FIG. 23, for the L and R images, the correlation between the L and R images may be obtained in units of horizontal lines. In this case, the correlation can be obtained using brightness / color information, image information after applying a filter (edge detection) such as differentiation to the brightness / color, and the like for each region / point of the image. It is possible to obtain a left-right shift. Furthermore, if information such as the distance between the two lenses and the lens angle can be used as the shooting conditions for the camera, the accuracy can be determined from the camera position / angle information and the left / right deviation information of each area / point. The depth information of each region and each point can be estimated high.
図24のような場合は、円筒の物体(オブジェクト)に関しては、スクリーン面より手前で 左右の視線が交差する。そのため、この円筒は基準面(スクリーン面)よりも手前に存在していることがわかる。この場合、奥行きがどのあたりなのかも 計算によって求めることができる。また、直方体の物体(オブジェクト)に関しては、スクリーン面で左右の視線が交差する。そのため、直方体は基準面(スクリーン面)の位置に存在していることがわかる。 In the case shown in FIG. 24, for the cylindrical object (object), the left and right lines of sight intersect before the screen surface. Therefore, it turns out that this cylinder exists in front of the reference plane (screen surface). In this case, the depth can be calculated by calculation. In addition, for a rectangular parallelepiped object (object), the left and right line of sight intersect on the screen surface. Therefore, it can be seen that the rectangular parallelepiped exists at the position of the reference plane (screen plane).
この画像の奥行き情報は、図25のように表現できる。すなわち、円筒は基準面より手前、直方体は基準面の位置に存在する。また、物体の位置は左右の領域の中間だと想定することができる。 The depth information of this image can be expressed as shown in FIG. That is, the cylinder exists in front of the reference plane, and the rectangular parallelepiped exists at the position of the reference plane. Further, it can be assumed that the position of the object is between the left and right regions.
次に、描画処理部224は、上述のゲーム画像の生成の場合の例で説明した処理の流れと同様にして、L,Rの画像データの補正を行う。この場合、描画処理部224は、モデリングの処理で、推測で求められた物体の位置、奥行き情報をセットし、その後は、視点・光源設定、レンダリング、映像出力の処理を、上述のゲーム画像の生成の場合の例と同様に行う。これにより、既存の立体画像データである再生立体画像データのL,Rの画像データを、テレビ受信機250のスクリーンサイズ、視距離に併せて補正し、HDMI送信部212からテレビ受信機250に送信できる。
Next, the
図26は、ゲーム機210からテレビ受信機250に、立体画像を表示するための立体画像データ(左眼画像データ、右眼画像データ)を送る際のシーケンスを概略的に示している。立体画像データの送信に先立って、ゲーム機器210は、テレビ受信機250から、E−EDID(図15〜図17参照)を読み出して取得する。
FIG. 26 schematically shows a sequence for transmitting stereoscopic image data (left-eye image data and right-eye image data) for displaying a stereoscopic image from the
ゲーム機210は、このE−EDIDに含まれるテレビ受信機250が対応可能な画像データのフォーマット情報、テレビ受信機250のスクリーンサイズ情報等を得て、出力解像度を設定し、また、立体画像データを生成、あるいは補正するためのスクリーンサイズ、視距離などの画像生成パラメータを設定する。
The
その後、ゲーム機210は、設定されたパラメータで立体画像データを生成、あるいは補正してテレビ受信機250に送信する。テレビ受信機250は、ゲーム機210から送られてくる立体画像データを受信し、立体画像を表示する。
Thereafter, the
上述したように、図1に示すAVシステム200において、ゲーム機210では、テレビ受信機250からスクリーンサイズに関する情報が取得される。そして、このゲーム機210では、スクリーンサイズに合わせた立体画像データが生成され、あるいは、既存の立体画像データがスクリーンサイズに合わせて補正される。そして、このゲーム機210から、テレビ受信機250に、このように生成、あるいは補正された立体画像データが送信される。また、テレビ受信機250では、ゲーム機210から送られてくるスクリーンサイズに合わせた立体画像データにより、立体画像を提示する左眼画像、右眼画像が表示される。したがって、ユーザの手間を増やすことなく、スクリーンサイズに合った立体画像表示が可能になる。
As described above, in the AV system 200 shown in FIG. 1, the
また、図1に示すAVシステム200において、ゲーム機210では、立体画像データの生成、あるいは補正をする際に、スクリーンサイズと視距離の情報が用いられる。ゲーム機210では、ユーザの視距離の設定(調整)がないときは、スクリーンサイズを元に得られた推奨視距離が視距離として用いられる。したがって、ユーザの設定なしに立体画像データの生成、あるいは補正が可能となり、ユーザの手間が軽減される。
In the AV system 200 shown in FIG. 1, the
また、図1に示すAVシステム200において、ゲーム機210では、スクリーンサイズを元に得られた推奨視距離が、ユーザ設定(調整)のデフォルト値とされる。そのため、ユーザは、最適に近い値から視距離の調整を開始できるので、視距離の調整を効率的に行うことができる。
In the AV system 200 shown in FIG. 1, in the
<2.変形例>
なお、上述実施の形態においては、ゲーム機210とテレビ受信機250をHDMIケーブル350で直接接続したAVシステム200を示した。しかし、ゲーム機210や Blu−ray Disc Player のような 3D動画再生装置とテレビ受信機250の間に、リピータ機器であるAVアンプ、画像変換装置等を接続した構成も考えられる。
<2. Modification>
In the above embodiment, the AV system 200 in which the
図27は、ディスクプレーヤ400とテレビ受信機250との間に、AVアンプ300を接続したAVシステム200Aの構成例を示している。テレビ受信機250は、図1のAVシステム200におけるテレビ受信機250と同じものである。このAVシステム200Aは、ソース機器としてのディスクプレーヤ400と、リピータ機器としてのAVアンプ300と、シンク機器としてのテレビ受信機250を有している。
FIG. 27 shows a configuration example of an AV system 200A in which an
ディスクプレーヤ400とAVアンプ300は、HDMIケーブル351を介して接続されている。ディスクプレーヤ400には、HDMI送信部(HDMI TX)402が接続されたHDMI端子401が設けられている。AVアンプ300には、HDMI受信部(HDMIRTX)302aが接続されたHDMI端子301aが設けられている。HDMIケーブル351の一端はディスクプレーヤ400のHDMI端子401に接続され、このHDMIケーブル351の他端はAVンプ300のHDMI端子301aに接続されている。
The
また、AVアンプ300とテレビ受信機250は、HDMIケーブル352を介して接続されている。AVアンプ300には、HDMI送信部(HDMI TX)302bが接続されたHDMI端子301bが設けられている。HDMIケーブル352の一端はAVアンプ300のHDMI端子301bに接続され、このHDMIケーブル352の他端はテレビ受信機250のHDMI端子251に接続されている。
The
[ディスクプレーヤの構成例]
図28は、ディスクプレーヤ400の構成例を示している。このディスクプレーヤ400は、HDMI端子401と、HDMI送信部402と、ドライブインタフェース403と、BD/DVDドライブ404を有している。また、このディスクプレーヤ400は、デマルチプレクサ405と、MPEGデコーダ406と、映像信号処理回路407と、オーディオデコーダ408と、音声信号処理回路409を有している。
[Configuration example of disc player]
FIG. 28 shows a configuration example of the
また、このディスクプレーヤ400は、内部バス410と、CPU411と、フラッシュROM412と、DRAM413を有している。また、このディスクプレーヤ400は、イーサネットインタフェース(Ethernet I/F)414と、ネットワーク端子415と、リモコン受信部416と、リモコン送信機417を有している。なお、「イーサネット」および「Ethernet」は登録商標である。CPU411、フラッシュROM412、DRAM413、イーサネットインタフェース414およびドライブインタフェース403は、内部バス410に接続されている。
The
CPU411は、ディスクプレーヤ400の各部の動作を制御する。フラッシュROM412は、制御ソフトウェアの格納およびデータの保管を行う。DRAM413は、CPU411のワークエリアを構成する。CPU411は、フラッシュROM412から読み出したソフトウェアやデータをDRAM413上に展開してソフトウェアを起動させ、ディスクプレーヤ400の各部を制御する。リモコン受信部416は、リモコン送信機417から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU411に供給する。CPU411は、リモコンコードに従ってディスクプレーヤ400の各部を制御する。
The
BD/DVDドライブ404は、ディスク状記録メディアとしてのBD,DVD(図示せず)に対して、コンテンツデータを記録し、あるいは、このBD,DVDからコンテンツデータを再生する。このBD/DVDドライブ404は、ドライブインタフェース403を介して内部バス410に接続されている。
The BD / DVD drive 404 records content data on a BD or DVD (not shown) as a disc-shaped recording medium, or reproduces content data from the BD or DVD. The BD /
デマルチプレクサ405は、BD/DVDドライブ404の再生データから映像、音声等のエレメンタリストリームを分離する。MPEGデコーダ406は、デマルチプレクサ405で分離された映像のエレメンタリストリームに対してデコード処理を行って非圧縮の画像データを得る。
The
映像信号処理回路407は、MPEGデコーダ406で得られた画像データに対して、必要に応じてスケーリング処理(解像度変換処理)、グラフィックスデータの重畳処理等を行って、HDMI送信部402に供給する。また、この映像信号処理回路407は、MPEGデコーダ406で得られた画像データが立体画像を表示するための立体画像データ(左眼画像データ、右眼画像データ)である場合、上述したゲーム機210の描画処理部224と同様に、この立体画像データを伝送方式に応じた状態に加工処理する。
The video
また、映像信号処理回路407は、MPEGデコーダ406で得られた画像データが立体画像を表示するための立体画像データ(左眼画像データ、右眼画像データ)である場合、ユーザの指示に応じて、この立体画像データの補正を行う。この立体画像データの補正は、上述したゲーム機210の描画処理部224と同様に、テレビ受信機250のスクリーンサイズおよび視距離の情報を用いて行う。
Further, when the image data obtained by the
オーディオデコーダ408は、デマルチプレクサ405で分離された音声のエレメンタリストリームに対してデコード処理を行って非圧縮の音声データを得る。音声信号処理回路409は、オーディオデコーダ408で得られた音声データに対して、必要に応じて音質調整処理等を行って、HDMI送信部402に供給する。
The
HDMI送信部402は、HDMIに準拠した通信により、ベースバンドの画像(映像)と音声のデータを、HDMI端子401から送出する。このHDMI送信部402は、上述したゲーム機210のHDMI送信部212と同様に構成されている。
The
図28に示すディスクプレーヤ400における映画等のコンテンツの再生時の動作を説明する。
DVD/BDドライブ219の再生データはデマルチプレクサ405に供給され、映像、音声等のエレメンタリストリームに分離される。デマルチプレクサ405で分離された映像のエレメンタリストリームはMPEGデコーダ406に供給されてデコードされ、非圧縮の画像データが得られる。また、デマルチプレクサ405で分離された音声のエレメンタリストリームはオーディオデコーダ408に供給されてデコードされ、非圧縮の音声データが得られる。
An operation at the time of reproducing contents such as a movie in the
The reproduction data of the DVD / BD drive 219 is supplied to the
MPEGデコーダ406で得られる画像データは、映像信号処理回路407を介してHDMI送信部402に供給される。また、オーディオデコーダ408で得られた音声データは音声信号処理回路409を介してHDMI送信部402に供給される。そして、これら画像および音声のデータは、HDMIのTMDSチャネルにより、HDMI端子401からHDMIケーブルに送出される。
Image data obtained by the
なお、映像信号処理回路407、音声信号処理回路409からHDMI送信部402に供給される画像および音声のデータは、このHDMI送信部4022でパッキングされてHDMI端子401に出力される。画像データが立体画像データ(左眼画像データ、右眼画像データ)である場合には、この立体画像データは、映像信号処理回路407により、伝送方式に応じた状態に加工処理された後に、HDMI送信部402に供給される。
Note that image and audio data supplied from the video
[AVアンプの構成例]
図29は、AVアンプ300の構成例を示している。このAVアンプ300は、HDMI端子301a,301bと、HDMI受信部302aと、HDMI送信部302bを有している。また、このAVアンプ300は、映像・グラフィック処理回路305と、音声処理回路307と、音声増幅回路308と、音声出力端子309a〜309fを有している。また、このAVアンプ300は、内部バス312と、CPU313と、フラッシュROM314と、DRAM315を有している。
[Configuration example of AV amplifier]
FIG. 29 shows a configuration example of the
HDMI受信部302aは、HDMIに準拠した通信により、HDMIケーブル351を介してHDMI端子301aに供給される非圧縮の映像(画像)と音声のデータを受信する。詳細説明は省略するが、このHDMI受信部302aは、図1のAVシステム200のテレビ受信機250におけるHDMI受信部252と同様の構成とされている。
The
HDMI送信部302bは、HDMIに準拠した通信により、非圧縮の映像(画像)と音声のデータを、HDMI端子301bからHDMIケーブル352に送出する。詳細説明は省略するが、このHDMI送信部302bは、図1のAVシステム200のゲーム機210におけるHDMI送信部212と同様の構成とされている。
The
音声処理回路307は、HDMI受信部202aで得られた音声データに対して、例えば5.1chサラウンドを実現するための各チャネルの音声データを生成する処理、所定の音場特性を付与する処理、デジタル信号をアナログ信号に変換する処理等を行う。音声増幅回路308は、音声処理回路307から出力される各チャネルの音声信号を増幅して、音声出力端子309a〜319fに出力する。
The
また、音声処理回路307は、さらに、HDMI受信部302aで得られた音声データを、必要な処理を施した後に、HDMI送信部302bに供給する。映像・グラフィック処理回路305は、HDMI受信部302aで得られた映像(画像)データを、必要に応じて画像変換処理、グラフィックスデータの重畳処理等の処理を施して、HDMI送信部302bに供給する。
Further, the
CPU313は、AVアンプ300の各部の動作を制御する。フラッシュROM314は、制御ソフトウェアの格納およびデータの保管を行う。DRAM315は、CPU313のワークエリアを構成する。CPU313は、フラッシュROM314から読み出したソフトウェアやデータをDRAM315上に展開してソフトウェアを起動させ、AVアンプ300の各部を制御する。CPU313、フラッシュROM314およびDRAM315は、内部バス312に接続されている。
The
図29に示すAVアンプ300の動作を簡単に説明する。
HDMI受信部302aでは、HDMI端子301aにHDMIケーブル351を介して接続されているディスクプレーヤ400から送信されてくる、映像(画像)データおよび音声データが取得される。この映像データおよび音声データは、それぞれ、映像・グラフィック処理回路305および音声処理回路307を介して、HDMI送信部302bに供給され、HDMI端子301bからHDMIケーブル352を介してテレビ受信機250に送信される。これにより、AVアンプ300は、リピータ機能を発揮する。
The operation of the
The
なお、このAVアンプ300を通じて音声を出力する場合、音声処理回路307では、HDMI受信部302aで得られた音声データに対して、5.1chサラウンドを実現するための各チャネルの音声データを生成する処理、所定の音場特性を付与する処理、デジタル信号をアナログ信号に変換する処理等の必要な処理が施される。そして、各チャネルの音声信号は、音声増幅回路308で増幅された後に音声出力端子319a〜319fに出力される。
When audio is output through the
図27に示すAVシステム200Aにおいて、ディスクプレーヤ400は、テレビ受信機250のE−EDIDの内容を、AVアンプ300を通じて取得する。そして、ディスクプレーヤ400は、テレビ受信機250が対応可能な画像データのフォーマット(解像度、フレームレート、アスペクト等)情報、スクリーンサイズに関する情報を得る。
In the AV system 200 </ b> A shown in FIG. 27, the
そのため、図27に示すAVシステム200Aにおいて、ディスクプレーヤ400は、映像信号処理回路407により、スクリーンサイズに応じて再生立体画像データを補正できる。そして、ディスクプレーヤ400は、この補正された立体画像データを、AVアンプ300を通じて、テレビ受信機250に送信できる。
Therefore, in the AV system 200A shown in FIG. 27, the
したがって、図27に示すAVシステム200Aにおいても、図1に示すAVシステム200と同様の作用効果を得ることができる。つまり、ユーザの手間を増やすことなく、テレビ受信機250では、スクリーンサイズに合った立体画像表示が可能になる。
Therefore, the AV system 200A shown in FIG. 27 can obtain the same operational effects as those of the AV system 200 shown in FIG. That is, the
なお、図27に示すAVシステム200Aでは、例えば、AVアンプ300の映像・グラフィック処理回路305に、上述のゲーム機210の描画処理部224と同様の機能を持たせることも考えられる。その場合、例えば、ディスクプレーヤ400から送信された再生立体画像データ(補正前)を、この映像・グラフィック処理回路305において、テレビ受信機250のスクリーンサイズに応じた立体画像データに補正して、テレビ受信機250に送信することが可能となる。
In the AV system 200A shown in FIG. 27, for example, the video /
また、上述実施の形態は、HDMIの伝送路を用いるものを示している。しかし、この発明は、HDMI以外の非圧縮映像信号の伝送路、例えば、DVI(Digital Visual Interface)、DP(Display Port)インタフェース、ワイヤレス伝送、さらに今後普及すると思われるギガビットEthernet・光ファイバーの伝送路を用いるものにも同様に適用できる。 Further, the above-described embodiment has been described using an HDMI transmission path. However, the present invention provides a transmission path for uncompressed video signals other than HDMI, for example, a DVI (Digital Visual Interface), DP (Display Port) interface, wireless transmission, and a Gigabit Ethernet / optical fiber transmission path that is expected to become more popular in the future. The same applies to what is used.
例えば、DVIの場合、上述したHDMIと同様に、映像信号の対応画像フォーマット(解像度、フレームレート等)を、受信装置が保有するE−EDIDと呼ばれる領域に記憶する規格が定義されている。 For example, in the case of DVI, a standard for storing a corresponding image format (resolution, frame rate, etc.) of a video signal in an area called E-EDID possessed by the receiving apparatus is defined, as in the above-described HDMI.
したがって、このDVIの場合、上述したHDMIの場合と同様にして、送信装置は、DDC(Display Data Channel)を用いて受信装置のE−EDIDから上述の対応画像フォーマット情報、スクリーンサイズに関する情報等を取得できる。そのため、送信装置では、受信装置側のスクリーンサイズに合わせた立体画像データを生成でき、あるいは既存の立体画像データを受信装置側のスクリーンサイズに合わせて補正できる。 Therefore, in the case of this DVI, as in the case of the above-described HDMI, the transmitting device uses the DDC (Display Data Channel) to obtain the above-mentioned corresponding image format information, information on the screen size, etc. from the E-EDID of the receiving device. You can get it. Therefore, the transmission device can generate stereoscopic image data that matches the screen size on the reception device side, or can correct existing stereoscopic image data to match the screen size on the reception device side.
また、上述実施の形態においては、テレビ受信機250においてE−EDIDにスクリーンサイズに関する情報を記載しておき、ゲーム機210等(ゲーム機210の他に、ディスクプレーヤ400、AVアンプ300を含む)は、このE−EDIDを読み出すことで、テレビ受信機250のスクリーンサイズに関する情報を得るものを示した。
Further, in the above-described embodiment, information regarding the screen size is described in the E-EDID in the
しかし、ゲーム機210等がテレビ受信機250のスクリーンサイズに関する情報を取得する手段は、これに限定されない。例えば、HDMIケーブルの制御データラインであるCECラインを用いて、ゲーム機210等とテレビ受信機250との間で通信を行うことで、ゲーム機210等がテレビ受信機250のスクリーンサイズに関する情報を取得してもよい。
However, the means by which the
また、例えば、上述したHDMIケーブルの所定ライン(例えば、リザーブライン、HPDライン)を用いて構成される双方向通信路を用いた通信により、ゲーム機210等はディスクプレーヤ400がテレビ受信機250のスクリーンサイズに関する情報を取得してもよい。
Further, for example, the
また、上述実施の形態において、送信装置がゲーム機210、ディスクプレーヤ400であり、受信装置がテレビ受信機250である例を示した。しかし、送信装置、受信装置は、これらに限定されるものではない。例えば、送信装置としては、ゲーム機210以外に、DVDレコーダ、セットトップボックス、その他のAVソースであってもよい。また、受信装置としては、テレビ受信機250の他に、プロジェクタ、PC用モニタ、その他のディスプレイであってもよい。
Further, in the above-described embodiment, an example in which the transmission device is the
この発明は、ユーザの手間を増やすことなく、スクリーンサイズに合った適切な立体画像表示を可能とし、送信装置から立体画像データを送信し、受信装置側でスクリーンに左眼画像、右眼画像を表示して視聴者に立体画像を提供するAVシステムに適用できる。 The present invention makes it possible to display an appropriate stereoscopic image suitable for the screen size without increasing the user's effort, transmit stereoscopic image data from the transmission device, and display the left eye image and the right eye image on the screen on the reception device side. The present invention can be applied to an AV system that displays and provides a stereoscopic image to a viewer.
200,200A・・・AVシステム、210・・・ゲーム機、211・・・HDMI端子、212・・・HDMI送信部、217・・・コントロールパッド、221・・・CPU、224・・・描画処理部、225・・・VRAM、250・・・テレビ受信機、251・・・HDMI端子、252・・・HDMI受信部、254・・・3D信号処理部、271・・・CPU、300・・・AVアンプ、301a,301b・・・HDMI端子、302a・・・HDMI受信部、302b・・・HDMI送信部、350,351,352・・・HDMIケーブル、400・・・ディスクプレーヤ、401・・・HDMI端子、402・・・HDMI送信部
200, 200A ... AV system, 210 ... game machine, 211 ... HDMI terminal, 212 ... HDMI transmission unit, 217 ... control pad, 221 ... CPU, 224 ... drawing
Claims (2)
立体画像を表示するための左眼画像データおよび右眼画像データを含む非圧縮の立体画像データと、画像に付随する音声データを、上記HDMIケーブルのTMDSラインを介して上記外部機器に送信するデータ送信ステップと
を有し、
上記音声データは上記立体画像データのブランキング期間の一部分で伝送され、
上記立体画像データの1フレームは、一の垂直同期信号から次の垂直同期信号までの区間に伝送され、
上記立体画像データにある上記左眼画像データおよび上記右眼画像データは所定の順番で伝送され、
上記立体画像データにある上記左眼画像データと上記右眼画像データのそれぞれのピクセル数およびライン数は、立体画像でない通常画像を送信する場合のピクセル数およびライン数と等しくされ、
上記立体画像データにおいて、1つのビデオフィールド区間に、所定期間が介在された状態で上記左眼画像データと上記右眼画像データが配置され、上記所定期間に立体画像を表示するための立体画像データが含まれない
立体画像データ送信方法。 An information acquisition step of acquiring information about the screen size from an external device via the DDC line of the HDMI cable ;
Data for transmitting uncompressed stereoscopic image data including left-eye image data and right-eye image data for displaying a stereoscopic image and audio data associated with the image to the external device via the TMDS line of the HDMI cable A transmission step,
The audio data is transmitted in a part of the blanking period of the stereoscopic image data,
One frame of the stereoscopic image data is transmitted in a section from one vertical synchronization signal to the next vertical synchronization signal,
The left eye image data and the right eye image data in the stereoscopic image data are transmitted in a predetermined order,
Each number and the number of lines pixels of the left-eye image data and the right-eye image data in the stereoscopic image data is equal to the number and the number of lines of pixels when transmitting a normal image not a stereoscopic image,
In the stereoscopic image data, the left-eye image data and the right-eye image data are arranged in one video field section with a predetermined period interposed therebetween, and stereoscopic image data for displaying a stereoscopic image in the predetermined period 3D image data transmission method not included.
立体画像を表示するための左眼画像データおよび右眼画像データを含む非圧縮の立体画像データと、画像に付随する音声データを、上記HDMIケーブルのTMDSラインを介して上記外部機器に送信するデータ送信部と
を備え、
上記音声データは上記立体画像データのブランキング期間の一部分で伝送され、
上記立体画像データの1フレームは、一の垂直同期信号から次の垂直同期信号までの区間に伝送され、
上記立体画像データにある上記左眼画像データと上記右眼画像データは所定の順番で伝送され、
上記立体画像データにある上記左眼画像データと上記右眼画像データのそれぞれのピクセル数およびライン数は、立体画像でない通常画像を送信する場合のピクセル数およびライン数と等しくされ、
上記立体画像データにおいて、1つのビデオフィールド区間に、所定期間が介在された状態で上記左眼画像データと上記右眼画像データが配置され、上記所定期間に立体画像を表示するための立体画像データが含まれない
立体画像データ送信装置。
An information acquisition unit that acquires information about the screen size from an external device via the DDC line of the HDMI cable ;
Data for transmitting uncompressed stereoscopic image data including left-eye image data and right-eye image data for displaying a stereoscopic image and audio data associated with the image to the external device via the TMDS line of the HDMI cable A transmission unit,
The audio data is transmitted in a part of the blanking period of the stereoscopic image data,
One frame of the stereoscopic image data is transmitted in a section from one vertical synchronization signal to the next vertical synchronization signal,
The left eye image data and the right eye image data in the stereoscopic image data are transmitted in a predetermined order,
Each number and the number of lines pixels of the left-eye image data and the right-eye image data in the stereoscopic image data is equal to the number and the number of lines of pixels when transmitting a normal image not a stereoscopic image,
In the stereoscopic image data, the left-eye image data and the right-eye image data are arranged in one video field section with a predetermined period interposed therebetween, and stereoscopic image data for displaying a stereoscopic image in the predetermined period 3D image data transmission device not included.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013183604A JP5538604B2 (en) | 2013-09-05 | 2013-09-05 | Stereo image data transmitting method and stereo image data transmitting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013183604A JP5538604B2 (en) | 2013-09-05 | 2013-09-05 | Stereo image data transmitting method and stereo image data transmitting apparatus |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009104359A Division JP5469911B2 (en) | 2009-04-22 | 2009-04-22 | Transmitting apparatus and stereoscopic image data transmitting method |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014091879A Division JP5577477B1 (en) | 2014-04-25 | 2014-04-25 | Stereo image data receiving method and stereo image data receiving apparatus |
JP2014091769A Division JP5577476B1 (en) | 2014-04-25 | 2014-04-25 | Stereo image data transmitting method and stereo image data transmitting apparatus |
JP2014091588A Division JP5583297B2 (en) | 2014-04-25 | 2014-04-25 | Stereo image data receiving method and stereo image data receiving apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014039269A JP2014039269A (en) | 2014-02-27 |
JP2014039269A5 JP2014039269A5 (en) | 2014-04-10 |
JP5538604B2 true JP5538604B2 (en) | 2014-07-02 |
Family
ID=50287037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013183604A Expired - Fee Related JP5538604B2 (en) | 2013-09-05 | 2013-09-05 | Stereo image data transmitting method and stereo image data transmitting apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5538604B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0759120A (en) * | 1993-08-13 | 1995-03-03 | Sony Corp | Stereoscopic video image display device |
JP3428132B2 (en) * | 1994-03-14 | 2003-07-22 | ソニー株式会社 | Television system and display device |
JP3978392B2 (en) * | 2002-11-28 | 2007-09-19 | 誠次郎 富田 | 3D image signal generation circuit and 3D image display device |
JP4179387B2 (en) * | 2006-05-16 | 2008-11-12 | ソニー株式会社 | Transmission method, transmission system, transmission method, transmission device, reception method, and reception device |
JP2009025343A (en) * | 2007-07-17 | 2009-02-05 | Victor Co Of Japan Ltd | Video output device |
-
2013
- 2013-09-05 JP JP2013183604A patent/JP5538604B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014039269A (en) | 2014-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5469911B2 (en) | Transmitting apparatus and stereoscopic image data transmitting method | |
JP5448558B2 (en) | Transmission apparatus, stereoscopic image data transmission method, reception apparatus, stereoscopic image data reception method, relay apparatus, and stereoscopic image data relay method | |
TWI432014B (en) | Transmission device, three-dimensional image data transmission method, receiving device and three-dimensional image data receiving method | |
JP5372687B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
US20130215222A1 (en) | Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device | |
JP5577476B1 (en) | Stereo image data transmitting method and stereo image data transmitting apparatus | |
JP5583297B2 (en) | Stereo image data receiving method and stereo image data receiving apparatus | |
JP5577477B1 (en) | Stereo image data receiving method and stereo image data receiving apparatus | |
JP5538604B2 (en) | Stereo image data transmitting method and stereo image data transmitting apparatus | |
JP2014225901A (en) | Method and device for transmitting stereoscopic image data | |
JP5477499B2 (en) | Transmission device and stereoscopic image data transmission method | |
JP6304417B2 (en) | Receiving method and receiving apparatus | |
JP2014131272A (en) | Receiving device and information processing method | |
JP6098678B2 (en) | Transmission method and transmission apparatus | |
JP5790859B2 (en) | Transmission / reception system | |
JP5583866B2 (en) | Transmitting apparatus, stereoscopic image data transmitting method, receiving apparatus, and stereoscopic image data receiving method | |
JP5621944B2 (en) | Transmitting apparatus and transmitting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140121 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140121 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5538604 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140428 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |