JP4506219B2 - Image display device and image display system - Google Patents
Image display device and image display system Download PDFInfo
- Publication number
- JP4506219B2 JP4506219B2 JP2004077977A JP2004077977A JP4506219B2 JP 4506219 B2 JP4506219 B2 JP 4506219B2 JP 2004077977 A JP2004077977 A JP 2004077977A JP 2004077977 A JP2004077977 A JP 2004077977A JP 4506219 B2 JP4506219 B2 JP 4506219B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- depth
- image display
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
Description
本発明は、３次元の表示対象を立体的に表す画像を観察者に表示する技術に関するものであり、特に、その表示対象の奥行きを立体的な画像によって表現する技術の改良に関するものである。 The present invention relates to a technique for displaying an image that three-dimensionally represents a three-dimensional display object to an observer, and particularly to an improvement in a technique for expressing the depth of the display object by a three-dimensional image.
画像を表示する技術として、３次元の表示対象を立体的に表す画像を観察者に表示する画像表示装置が既に知られている。 As a technique for displaying an image, an image display device that displays an image that three-dimensionally represents a three-dimensional display target to an observer is already known.
この種の画像表示装置の一例は、光束を出射する光源（例えば、レーザ）と、その光源から出射した光束を２次元的に走査するスキャナとの間に、光源から出射した光束の波面曲率を変調する波面曲率変調器を備え、光束を走査しつつ観察者の眼の網膜上に投影する形式の画像表示装置である（例えば、特許文献１参照。）。この例は、網膜走査型ディスプレイと称される場合がある。別の例は、画像を２次元的に表示するスクリーンと観察者の眼との間に、そのスクリーンから発せられた光の波面曲率を画素ごとにまたは画素グループごとに変調可能なレンズアレイを備えた形式の画像表示装置である。さらに別の例は、そのようなスクリーンと観察者の眼との間に光空間位相変調器を備えた形式の画像表示装置である。 An example of this type of image display apparatus is that a wavefront curvature of a light beam emitted from a light source is provided between a light source (for example, a laser) that emits a light beam and a scanner that two-dimensionally scans the light beam emitted from the light source. This is an image display device that includes a wavefront curvature modulator that modulates and projects the light beam onto the retina of an observer's eye while scanning the light beam (see, for example, Patent Document 1). This example may be referred to as a retinal scanning display. Another example includes a lens array that can modulate the wavefront curvature of light emitted from a screen, which displays an image in a two-dimensional manner, from the screen to each pixel or each pixel group. This is an image display device of a different type. Yet another example is an image display device of the type provided with an optical spatial phase modulator between such a screen and the observer's eye.
それら例は、いずれにしても、光を出射する出射部と観察者の眼との間に波面曲率変調器を備えており、それにより、３次元の表示対象を立体的な表示することが可能である。 In any case, the wavefront curvature modulator is provided between the light emitting part and the observer's eye, so that a three-dimensional display object can be displayed in three dimensions. It is.
ここに、「３次元の表示対象」の一例は、３次元で構成されるオブジェクトを少なくとも１個含む表示対象である。別の例は、少なくとも１個のオブジェクトとバックグラウンドとを含む表示対象であって、そのオブジェクトが３次元で構成されるか否かを問わず、それらオブジェクトとバックグラウンドとが観察者からの距離に関して互いに異なるものである。さらに別の例は、複数個のオブジェクトを含む表示対象であって、各オブジェクトが３次元で構成されるか否かを問わず、それらオブジェクトが観察者からの距離に関して互いに異なるものである。 Here, an example of the “three-dimensional display target” is a display target including at least one object configured in three dimensions. Another example is a display target including at least one object and a background, and whether the object and the background are a distance from the observer regardless of whether or not the object is configured in three dimensions. Are different from each other. Yet another example is a display target including a plurality of objects, which are different from each other with respect to the distance from the observer regardless of whether or not each object is configured in three dimensions.
いずれにしても、この種の画像表示装置においては、３次元の表示対象を立体的な画像によって表示するために、その画像によって再現されるべき３次元の表示対象の奥行きに関する情報が利用される。この画像表示装置においては、画像を構成する光の波面曲率が、その画像が分割された複数の部分領域の各々（例えば、画像における１個の画素、または、互いに隣接した複数の画素より成る１個の画素グループ）について変調可能とされる。それにより、光の波面曲率が各部分領域ごとに（例えば、画素ごとに、または、画素グループごとに）、対応する奥行き情報に応じて変調される。 In any case, in this type of image display apparatus, in order to display a three-dimensional display object as a three-dimensional image, information on the depth of the three-dimensional display object to be reproduced by the image is used. . In this image display device, the wavefront curvature of the light constituting the image has each of a plurality of partial areas into which the image is divided (for example, one pixel consisting of one pixel in the image or a plurality of pixels adjacent to each other). Modulation is possible for a number of pixel groups). Thereby, the wavefront curvature of light is modulated for each partial region (for example, for each pixel or for each pixel group) according to the corresponding depth information.
一方、コンピュータ・グラフィックスの分野においては、平らなスクリーン上に表示される画像が２次元であることから、厳密に言えば、３次元の表示対象を立体的な画像によって表現することはできない。しかし、３次元の表示対象ができる限り立体的に観察者によって知覚されるようにするために、画像を表示するデータが生成される（例えば、特許文献２参照。）。 On the other hand, in the field of computer graphics, since an image displayed on a flat screen is two-dimensional, strictly speaking, a three-dimensional display target cannot be represented by a three-dimensional image. However, in order to make the three-dimensional display object perceived as three-dimensionally as possible by an observer, data for displaying an image is generated (see, for example, Patent Document 2).
このデータ生成のために、表示対象を３次元的に幾何学的に表現する幾何学データに対してレンダリング工程が実施され、それにより、その幾何学データが、画素ごとに表示条件を定義するピクセルデータに変換される。 For this data generation, a rendering process is performed on geometric data that geometrically represents a display object in three dimensions, whereby the geometric data is a pixel that defines a display condition for each pixel. Converted to data.
ここに、「幾何学データ」は、例えば、表示対象が３次元のオブジェクトを含む場合には、そのオブジェクトをポリゴンで近似的に表現するポリゴンデータを意味する。このポリゴンデータは、例えば、ベクトルデータとして構成される。 Here, “geometric data” means, for example, when the display target includes a three-dimensional object, polygon data that approximately represents the object with a polygon. The polygon data is configured as vector data, for example.
これに対し、「ピクセルデータ」は、表示対象を画素の集合によって表現するデータである。このピクセルデータは、スクリーン上における各画素ごとに、輝度値を表す輝度値データと、Ｚ値すなわちスクリーンの奥行き方向の情報（すなわち、その奥行き方向をＺ軸方向にとった場合におけるＺ値）を表す奥行きデータとを含んでいる。 On the other hand, “pixel data” is data representing a display target by a set of pixels. This pixel data includes, for each pixel on the screen, luminance value data representing a luminance value and information on the Z value, that is, the depth direction of the screen (that is, the Z value when the depth direction is taken in the Z-axis direction). Depth data to represent.
ここに、「輝度値データ」は、例えば、各画素の座標位置に関連付けて輝度値を表すデータとして構成したり、輝度値のみならず色（例えば、ＲＧＢ）をも表すデータとして構成することが可能である。これに対し、「奥行きデータ」は、例えば、各画素の座標位置に関連付けて、観察者の仮想視点または現実視点からの距離を表すデータとして構成することが可能である。したがって、注目する画素が特定されれば、輝度値と奥行きとの組合せが特定されることになる。 Here, the “brightness value data” can be configured, for example, as data representing a luminance value in association with the coordinate position of each pixel, or as data representing not only the luminance value but also a color (for example, RGB). Is possible. On the other hand, the “depth data” can be configured, for example, as data representing the distance from the virtual viewpoint or the real viewpoint of the observer in association with the coordinate position of each pixel. Therefore, if the pixel of interest is specified, the combination of the luminance value and the depth is specified.
このコンピュータ・グラフィックスの分野においては、画像によってスクリーン上に表示すべき表示対象が３次元のオブジェクトを含む場合には、そのオブジェクトのうちの一部は、別の部分によって隠れてしまうために観察者から見えない。 In the field of computer graphics, when a display target to be displayed on a screen by an image includes a three-dimensional object, a part of the object is observed because it is hidden by another part. Invisible to the person.
また、表示対象中のオブジェクトが２次元である場合であっても、同じ表示対象中にオブジェクトが複数、観察者からの距離に関して互いに異なるように存在し、かつ、あるオブジェクトが別のオブジェクトの背後に位置すると、そのあるオブジェクトは、別のオブジェクトによって部分的にまたは完全に隠れてしまうために観察者から見えない。 Even if the object being displayed is two-dimensional, there are multiple objects in the same display object that are different from each other with respect to the distance from the observer, and one object is behind another object. The object is not visible to the viewer because it is partially or completely obscured by another object.
そのため、表示対象すなわちコンテンツのレンダリング工程においては、幾何学データから直接的に変換されたピクセルデータに対して隠面消去処理が実施され、その結果、最終的なピクセルデータが得られる。その隠面消去処理においては、画像の奥行き情報すなわちＺ値が利用される。 Therefore, in the rendering process of the display target, that is, the content, the hidden surface removal process is performed on the pixel data directly converted from the geometric data, and as a result, final pixel data is obtained. In the hidden surface removal process, depth information of an image, that is, a Z value is used.
その隠面消去処理のために、例えば、Ｚバッファ法が実施される。このＺバッファ法においては、表示すべき画像を構成する複数の画素のうち、スクリーン上の表示位置を共通にする複数の画素が、Ｚ値に関して互いに比較されることにより、前後関係、すなわち、観察者にとって手前に位置するか奥に位置するかが判定される。そして、それら複数の画素のうち奥に位置するものの輝度値データが無視され、手前に位置する画素の輝度値データのみが採用されることにより、画像表示において隠面消去が達成される。
このコンピュータ・グラフィックスの分野においては、隠面消去処理を実施するために奥行きデータが作成されるが、この奥行きデータは画像表示に際しては利用されない。なぜなら、このコンピュータ・グラフィックスの分野においては、画像を立体的に表示することが不可能であるからである。すなわち、このコンピュータ・グラフィックスの分野においては、画像を形成する光の波面曲率を、画素ごとまたは画素グループごとに変調することが不可能であるために、表示対象の奥行きを表現することが不可能であるからである。 In the field of computer graphics, depth data is created to perform hidden surface removal processing, but this depth data is not used for image display. This is because it is impossible to display an image three-dimensionally in the field of computer graphics. That is, in the field of computer graphics, it is impossible to modulate the wavefront curvature of light forming an image for each pixel or each pixel group, so it is impossible to express the depth of a display target. It is possible.
そのため、このコンピュータ・グラフィックスの分野においては、ピクセルデータのうち画像表示のために利用されるデータは、輝度値データのみである。すなわち、このコンピュータ・グラフィックスの分野においては、表示対象の奥行き情報が、レンダリング工程においてのみ利用され、画像が表示される工程においては利用されないのである。よって、このコンピュータ・グラフィックスの分野においては、表示対象を画像によって表示するための画像信号が、奥行きを表す奥行き信号を含まないように構成される。 For this reason, in the field of computer graphics, the only data used for image display among the pixel data is the luminance value data. That is, in this computer graphics field, the depth information to be displayed is used only in the rendering process and not in the process of displaying an image. Therefore, in the field of computer graphics, an image signal for displaying a display target with an image is configured not to include a depth signal representing depth.
そのため、そのように構成される画像信号を利用して前述の画像表示装置において画像を表示する場合には、従来、前述の隠面消去処理において利用された奥行きデータを再利用することができず、新たに奥行きデータを生成しなければならなかった。よって、従来においては、奥行き情報が、隠面消去処理のためと、画像表示装置による奥行き表現のためとに重複的に作成されていた。 Therefore, when displaying an image on the above-described image display device using the image signal configured as such, the depth data conventionally used in the above-described hidden surface removal processing cannot be reused. New depth data had to be generated. Therefore, conventionally, the depth information is created redundantly for the hidden surface removal process and for the depth expression by the image display device.
しかし、この画像表示装置においては、奥行き情報の取得技術の改善という観点から、表示対象の奥行きが立体的な画像によって効率よく表現されるように改良することが望ましい。 However, in this image display device, from the viewpoint of improving the depth information acquisition technique, it is desirable to improve the display target so that the depth of the display target is efficiently expressed by a three-dimensional image.
さらに、この画像表示装置においては、奥行きデータが再利用されるか新たに生成されるかを問わず、同じ画素または画素グループに関し、輝度信号と奥行き信号とが、互いに同期する状態で処理されるようにすることが必要である。 Further, in this image display device, regardless of whether the depth data is reused or newly generated, the luminance signal and the depth signal are processed in synchronization with each other with respect to the same pixel or pixel group. It is necessary to do so.
その際、それら輝度信号と奥行き信号との同期を達成するためのハードウエア構成および／またはソフトウエア構成が、簡単であるか、または既存の構成からの変更が不要であるかもしくは必要であるにしてもそれが少なくて済むことが望ましい。 At this time, the hardware configuration and / or software configuration for achieving the synchronization of the luminance signal and the depth signal is simple, or changes from the existing configuration are unnecessary or necessary. However, it is desirable to reduce that amount.
すなわち、この画像表示装置においては、信号処理技術の改善という観点からも、表示対象の奥行きが立体的な画像によって効率よく表現されるように改良することが望ましいのである。 That is, in this image display apparatus, it is desirable to improve the depth of the display target so that it can be efficiently expressed by a three-dimensional image from the viewpoint of improving the signal processing technique.
以上説明した事情を背景とし、本発明は、３次元の表示対象を立体的に表す画像を観察者に表示する技術において、その表示対象の奥行きを立体的な画像によって効率よく表現するための新規な技術を提供することを課題としてなされたものである。 With the circumstances described above as a background, the present invention is a novel technique for efficiently expressing the depth of a display object by a three-dimensional image in a technique for displaying an image that three-dimensionally represents a three-dimensional display object to an observer. It was made as an issue to provide a new technology.
本発明の第１の側面によれば、３次元の表示対象を立体的に表す画像を観察者に表示する画像表示装置であって、光を出射する出射部であって、その出射する光の強度を、前記画像が分割された複数の領域に関して個別的に変調する強度変調が可能である強度変調部を有するものと、その出射部から出射した光の波面曲率を、前記複数の領域に関して個別的に変調する波面曲率変調が可能である波面曲率変調器と、前記画像の輝度を前記各領域に関連付けて表す輝度信号と、前記画像の奥行きを前記各領域に関連付けて表す奥行き信号とに基づき、前記強度変調と前記波面曲率変調とをそれぞれ制御するコントローラとを含み、そのコントローラは、（ａ）前記輝度信号と前記奥行き信号とを、予め互いに同期させられている状態で、入力する入力部と、（ｂ）それら入力された輝度信号と奥行き信号とを、互いに同期する状態で、前記強度変調部と前記波面曲率変調器とに出力する出力部とを含む画像表示装置が提供される。
本発明の第２の側面によれば、３次元の表示対象を立体的に表す画像を観察者に表示する画像表示装置であって、光を出射する出射部であって、その出射する光の強度を、前記画像が分割された複数の領域に関して個別的に変調する強度変調が可能である強度変調部を有するものと、その出射部から出射した光の波面曲率を、前記複数の領域に関して個別的に変調する波面曲率変調が可能である波面曲率変調器と、前記画像の輝度を前記各領域に関連付けて表す輝度信号と、前記画像の奥行きを前記各領域に関連付けて表す奥行き信号とに基づき、前記強度変調と前記波面曲率変調とをそれぞれ制御するコントローラとを含み、そのコントローラは、（ａ）前記奥行き信号が前記輝度信号に埋め込まれて成る画像信号が入力される入力部と、（ｂ）その入力された画像信号から前記輝度信号と前記奥行き信号とを抽出し、それら抽出された輝度信号と奥行き信号とを、互いに同期させる処理を行った後に、前記強度変調部と前記波面曲率変調器とに出力する出力部とを含み、前記輝度信号は、前記複数の領域に関して個別に前記輝度を表す複数の個別輝度信号を含むように構成され、前記奥行き信号は、前記複数の領域に関して個別に前記奥行きを表す複数の個別奥行き信号を含むように構成され、前記画像信号は、当該画像表示装置の画像表示領域に対応する有効領域と、当該画像表示装置の非画像表示領域に対応する無効領域とを含む信号として構成され、前記有効領域に、その有効領域に対応する画像に対応する前記個別輝度信号と前記個別奥行き信号とが存在している画像表示装置が提供される。
本発明の第３の側面によれば、３次元の表示対象を立体的に表す画像を観察者に表示する画像表示装置であって、光を出射する出射部であって、その出射する光の強度を、前記画像が分割された複数の領域に関して個別的に変調する強度変調が可能である強度変調部を有するものと、その出射部から出射した光の波面曲率を、前記複数の領域に関して個別的に変調する波面曲率変調が可能である波面曲率変調器と、前記画像の輝度を前記各領域に関連付けて表す輝度信号と、前記画像の奥行きを前記各領域に関連付けて表す奥行き信号とに基づき、前記強度変調と前記波面曲率変調とをそれぞれ制御するコントローラとを含み、そのコントローラは、（ａ）前記奥行き信号が前記輝度信号に埋め込まれて成る画像信号が入力される入力部と、（ｂ）その入力された画像信号から前記輝度信号と前記奥行き信号とを抽出し、それら抽出された輝度信号と奥行き信号とを、互いに同期させる処理を行った後に、前記強度変調部と前記波面曲率変調器とに出力する出力部とを含み、前記輝度信号は、前記複数の領域に関して個別に前記輝度を表す複数の個別輝度信号を含むように構成され、前記奥行き信号は、前記複数の領域に関して個別に前記奥行きを表す複数の個別奥行き信号を含むように構成され、前記画像信号は、当該画像表示装置の画像表示領域に対応する有効領域と、当該画像表示装置の非画像表示領域に対応する無効領域とを含む信号として構成され、前記無効領域に、その無効領域に先行するかまたは後続する前記有効領域に対応する画像に対応する前記個別奥行き信号が埋め込まれている画像表示装置が提供される。
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると解釈されるべきではない。すなわち、下記の態様には記載されていないが本明細書には記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用することは妨げられないと解釈すべきである。
According to the first aspect of the present invention, there is provided an image display device that displays an image representing a three-dimensional display object in a three-dimensional manner to an observer, and is an emission unit that emits light, An intensity modulation unit capable of individually modulating the intensity with respect to a plurality of regions into which the image has been divided, and a wavefront curvature of light emitted from the emission unit individually with respect to the plurality of regions Based on a wavefront curvature modulator capable of performing wavefront curvature modulation that modulates automatically, a luminance signal representing the luminance of the image in association with each region, and a depth signal representing the depth of the image in association with each region A controller for controlling each of the intensity modulation and the wavefront curvature modulation, and the controller inputs (a) the luminance signal and the depth signal in a state of being synchronized with each other in advance. An image display device is provided that includes an input unit, and (b) an output unit that outputs the input luminance signal and depth signal to the intensity modulation unit and the wavefront curvature modulator in a synchronized state. The
According to the second aspect of the present invention, there is provided an image display device that displays an image representing a three-dimensional display object in a three-dimensional manner to an observer, and is an emission unit that emits light, An intensity modulation unit capable of individually modulating the intensity with respect to a plurality of regions into which the image has been divided, and a wavefront curvature of light emitted from the emission unit individually with respect to the plurality of regions Based on a wavefront curvature modulator capable of performing wavefront curvature modulation that modulates automatically, a luminance signal representing the luminance of the image in association with each region, and a depth signal representing the depth of the image in association with each region A controller for controlling each of the intensity modulation and the wavefront curvature modulation, the controller comprising: (a) an input unit to which an image signal formed by embedding the depth signal in the luminance signal is input; b) Extracting the luminance signal and the depth signal from the input image signal, and performing a process of synchronizing the extracted luminance signal and depth signal with each other, and then performing the intensity modulation unit and the wavefront curvature An output unit that outputs to the modulator, wherein the luminance signal is configured to include a plurality of individual luminance signals that individually represent the luminance with respect to the plurality of regions, and the depth signal is related to the plurality of regions. A plurality of individual depth signals representing the depth are individually included, and the image signal corresponds to an effective area corresponding to an image display area of the image display apparatus and a non-image display area of the image display apparatus. An image configured as a signal including an ineffective area, and the individual luminance signal and the individual depth signal corresponding to an image corresponding to the effective area are present in the effective area Display device is provided.
According to the third aspect of the present invention, there is provided an image display device that displays an image representing a three-dimensional display object in a three-dimensional manner to an observer, an emission unit that emits light, An intensity modulation unit capable of individually modulating the intensity with respect to a plurality of regions into which the image has been divided, and a wavefront curvature of light emitted from the emission unit individually with respect to the plurality of regions Based on a wavefront curvature modulator capable of performing wavefront curvature modulation that modulates automatically, a luminance signal representing the luminance of the image in association with each region, and a depth signal representing the depth of the image in association with each region A controller for controlling each of the intensity modulation and the wavefront curvature modulation, the controller comprising: (a) an input unit to which an image signal formed by embedding the depth signal in the luminance signal is input; b) Extracting the luminance signal and the depth signal from the input image signal, and performing a process of synchronizing the extracted luminance signal and depth signal with each other, and then performing the intensity modulation unit and the wavefront curvature An output unit that outputs to the modulator, wherein the luminance signal is configured to include a plurality of individual luminance signals that individually represent the luminance with respect to the plurality of regions, and the depth signal is related to the plurality of regions. A plurality of individual depth signals representing the depth are individually included, and the image signal corresponds to an effective area corresponding to an image display area of the image display apparatus and a non-image display area of the image display apparatus. The individual depth signal corresponding to an image corresponding to the invalid area, which is configured as a signal including an invalid area and precedes or follows the invalid area. An image display apparatus is provided which is embedded.
The following aspects are obtained by the present invention. Each aspect is divided into sections, each section is given a number, and is described in a form that cites other section numbers as necessary. This is to facilitate understanding of some of the technical features that the present invention can employ and combinations thereof, and the technical features that can be employed by the present invention and combinations thereof are limited to the following embodiments. Should not be interpreted. That is, although not described in the following embodiments, it should be construed that it is not impeded to appropriately extract and employ the technical features described in the present specification as the technical features of the present invention.
さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げることを意味するわけではなく、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能であると解釈すべきである。 Further, describing each section in the form of quoting the numbers of the other sections does not necessarily prevent the technical features described in each section from being separated from the technical features described in the other sections. It should not be construed as meaning, but it should be construed that the technical features described in each section can be appropriately made independent depending on the nature.
（１） ３次元の表示対象を立体的に表す画像を観察者に表示する画像表示装置であって、
光を出射する出射部であって、その出射する光の強度を、前記画像が分割された複数の領域に関して個別的に変調する強度変調が可能である強度変調部を有するものと、
その出射部から出射した光の波面曲率を、前記複数の領域に関して個別的に変調する波面曲率変調が可能である波面曲率変調器と、
前記画像の輝度を前記各領域に関連付けて表す輝度信号と、前記画像の奥行きを前記各領域に関連付けて表す奥行き信号とに基づき、前記強度変調と前記波面曲率変調とをそれぞれ制御するコントローラと
を含み、前記奥行き信号は、前記表示対象のレンダリング工程において生成される奥行きデータに対応する信号である画像表示装置。
(1) An image display device that displays an image representing a three-dimensional display object in three dimensions to an observer,
An emission unit that emits light, and having an intensity modulation unit capable of intensity modulation that individually modulates the intensity of the emitted light with respect to a plurality of regions into which the image is divided;
A wavefront curvature modulator capable of wavefront curvature modulation that individually modulates the wavefront curvature of the light emitted from the emission section with respect to the plurality of regions;
A controller for controlling each of the intensity modulation and the wavefront curvature modulation based on a luminance signal representing the luminance of the image in association with each region and a depth signal representing the depth of the image in association with each region; And the depth signal is a signal corresponding to depth data generated in the rendering process of the display target.
この画像表示装置においては、表示すべき画像が分割された各領域ごとに、その画像を表示するための光の波面曲率が変調される。それにより、３次元の表示対象の奥行きを表現することが可能である。さらに、その奥行きを表現するために利用される奥行き信号は、表示対象のレンダリング工程において生成される奥行きデータに対応する信号である。 In this image display device, the wavefront curvature of light for displaying an image is modulated for each region into which the image to be displayed is divided. Thereby, it is possible to express the depth of a three-dimensional display target. Further, the depth signal used for expressing the depth is a signal corresponding to the depth data generated in the rendering process of the display target.
したがって、この画像表示装置によれば、表示対象の奥行きが表現されるように画像を立体的に表示するために必要な奥行き信号を、その画像表示のためにあえて作成せずに済む。その結果、奥行き信号の取得技術が改善され、表示対象の奥行きを立体的な画像によって効率よく表現することが容易となる。 Therefore, according to this image display device, it is not necessary to create a depth signal necessary for displaying an image in three dimensions so that the depth of the display target is expressed. As a result, the depth signal acquisition technique is improved, and it becomes easy to efficiently express the depth of the display target with a three-dimensional image.
本項における「出射部」は、例えば、光源と、その光源から物理的に独立した強度変調器（これが前記強度変調部の一例である。）との組合せとして構成することが可能である。また、強度変調機能を内蔵した光源（例えば、半導体レーザ）として構成することが可能である。後者においては、光源のうち、強度変調機能を発揮する部分が、上記強度変調部に該当する。 The “emitter” in this section can be configured, for example, as a combination of a light source and an intensity modulator physically independent of the light source (this is an example of the intensity modulator). Further, it can be configured as a light source (for example, a semiconductor laser) having a built-in intensity modulation function. In the latter, the part which exhibits an intensity modulation function among light sources corresponds to the said intensity modulation part.
（２） 前記奥行き信号は、前記レンダリング工程において隠面消去処理を行う際に生成される奥行きデータに対応する信号である（１）項に記載の画像表示装置。 (2) The image display device according to (1), wherein the depth signal is a signal corresponding to depth data generated when performing hidden surface removal processing in the rendering step.
（３） 前記奥行きデータは、前記レンダリング工程において隠面消去処理を行うためにＺバッファ法が実施される際にＺバッファに一時的に保存されるＺ値を表すＺ値データである（１）または（２）項に記載の画像表示装置。 (3) The depth data is Z value data representing a Z value temporarily stored in the Z buffer when the Z buffer method is performed in order to perform hidden surface removal processing in the rendering step. Or the image display apparatus as described in (2) term.
（４） 前記コントローラは、
前記輝度信号と前記奥行き信号とを互いに同期させる同期化部と、
それら同期させられた輝度信号と奥行き信号とを前記強度変調部と前記波面曲率変調器とに出力する出力部と
を含む（１）ないし（３）項のいずれかに記載の画像表示装置。
(4) The controller
A synchronization unit for synchronizing the luminance signal and the depth signal with each other;
The image display device according to any one of (1) to (3), further including: an output unit that outputs the synchronized luminance signal and depth signal to the intensity modulation unit and the wavefront curvature modulator.
画像を表示するためには、輝度信号と奥行き信号とが、コントローラから強度変調部と波面曲率変調器とに、出力される。その出力の際には、それら輝度信号と奥行き信号とが互いに同期することが必要である。 In order to display an image, a luminance signal and a depth signal are output from the controller to the intensity modulator and the wavefront curvature modulator. At the time of output, it is necessary that the luminance signal and the depth signal are synchronized with each other.
しかし、輝度信号と奥行き信号とは、最初から互いに同期していることは不可欠ではない。それら輝度信号と奥行き信号とについては、両者の対応関係が、画像が分割された各領域ごとに定義されておりさえすれば、事後的に両者を互いに同期させることが可能であるからである。 However, it is not essential that the luminance signal and the depth signal are synchronized with each other from the beginning. This is because, as long as the correspondence relationship between the luminance signal and the depth signal is defined for each region into which the image is divided, both can be synchronized afterwards.
以上説明した知見に基づき、本項に係る画像表示装置においては、輝度信号と奥行き信号とが、同期化部により、互いに同期させられ、それら入力された輝度信号と奥行き信号とは、出力部により、互いに同期する状態で、強度変調部と波面曲率変調器とに出力される。 Based on the knowledge described above, in the image display device according to this section, the luminance signal and the depth signal are synchronized with each other by the synchronization unit, and the input luminance signal and depth signal are output by the output unit. Are output to the intensity modulator and the wavefront curvature modulator in a synchronized state.
（５） 前記輝度信号は、前記画像を表示するための有効信号が存在する有効領域と存在しない無効領域とを含む信号として構成されており、
その輝度信号のうち、前記有効領域に先行する前記無効領域に、その有効領域に存在する有効信号とは無関係に予め定められたスタート信号が埋め込まれており、
前記同期化部は、その埋め込まれたスタート信号に基づき、前記輝度信号と前記奥行き信号とを互いに同期させるものである（４）項に記載の画像表示装置。
(5) The luminance signal is configured as a signal including an effective area where an effective signal for displaying the image is present and an invalid area where the effective signal is not present.
Among the luminance signals, a predetermined start signal is embedded in the invalid area preceding the valid area regardless of the valid signal existing in the valid area,
The image display apparatus according to (4), wherein the synchronization unit synchronizes the luminance signal and the depth signal with each other based on the embedded start signal.
この画像表示装置においては、輝度信号が、画像を表示するための有効信号が存在する有効領域と存在しない無効領域とを含む信号として構成されている。さらに、その輝度信号のうち、有効領域に先行する無効領域に、その有効領域に存在する有効信号とは無関係に予め定められたスタート信号が埋め込まれる。 In this image display device, the luminance signal is configured as a signal including an effective area where an effective signal for displaying an image exists and an invalid area where the effective signal does not exist. Further, a predetermined start signal is embedded in an invalid area preceding the effective area in the luminance signal regardless of the effective signal existing in the effective area.
さらに、この画像表示装置においては、輝度信号に埋め込まれたスタート信号に基づき、その輝度信号と奥行き信号とが互いに同期させられる。 Further, in this image display device, the luminance signal and the depth signal are synchronized with each other based on the start signal embedded in the luminance signal.
したがって、この画像表示装置においては、輝度信号と奥行き信号との対応関係が、輝度信号のうちの無効領域に埋め込まれたスタート信号を利用することにより、定義される。よって、そのようなスタート信号を利用しない場合より、輝度信号と奥行き信号との対応関係を正確に定義することが容易となる。 Therefore, in this image display apparatus, the correspondence relationship between the luminance signal and the depth signal is defined by using the start signal embedded in the invalid area of the luminance signal. Therefore, it is easier to accurately define the correspondence between the luminance signal and the depth signal than when such a start signal is not used.
（６） 前記コントローラは、
（ａ）前記奥行き信号が前記輝度信号に埋め込まれて成る画像信号が入力される入力部と、
（ｂ）その入力された画像信号から前記輝度信号と前記奥行き信号とを抽出し、それら抽出された輝度信号と奥行き信号とを、互いに同期させる処理を行った後に、前記強度変調部と前記波面曲率変調器とに出力する出力部と
を含む（１）ないし（３）項のいずれかに記載の画像表示装置。
(6) The controller
(A) an input unit to which an image signal in which the depth signal is embedded in the luminance signal is input;
(B) Extracting the luminance signal and the depth signal from the input image signal, and performing a process of synchronizing the extracted luminance signal and depth signal with each other, and then performing the intensity modulation unit and the wavefront The image display device according to any one of (1) to (3), further including: an output unit that outputs to the curvature modulator.
例えば、輝度信号と奥行き信号とが、共通のシリアル信号としてコントローラに入力される場合がある。この場合には、それら輝度信号と奥行き信号とが別々の信号として入力される場合とは異なり、輝度信号と奥行き信号とを互いに同期させてコントローラに入力することは物理的に不可能である。しかし、それら輝度信号と奥行き信号とが共通のシリアル信号として入力される場合には、別々の信号として入力される場合より、輝度信号と奥行き信号との対応関係を正確に定義することが容易である。複数の情報がシリアル信号として入力される場合には、それら複数の情報が伝送される順序がみだりに入れ替わってしまうことがないからである。 For example, the luminance signal and the depth signal may be input to the controller as a common serial signal. In this case, unlike the case where the luminance signal and the depth signal are input as separate signals, it is physically impossible to input the luminance signal and the depth signal to the controller in synchronization with each other. However, when the luminance signal and the depth signal are input as a common serial signal, it is easier to accurately define the correspondence between the luminance signal and the depth signal than when they are input as separate signals. is there. This is because when a plurality of pieces of information are input as serial signals, the order in which the plurality of pieces of information are transmitted is never changed.
このような知見に基づき、本項に係る画像表示装置においては、奥行き信号が輝度信号に埋め込まれて成る画像信号が入力される。例えば、輝度信号と奥行き信号とがそれらに共通のシリアル信号として入力されるのである。 Based on such knowledge, in the image display apparatus according to this section, an image signal in which a depth signal is embedded in a luminance signal is input. For example, the luminance signal and the depth signal are input as a serial signal common to them.
さらに、この画像表示装置においては、その入力された画像信号から輝度信号と奥行き信号とが抽出される。それら抽出された輝度信号と奥行き信号とは、互いに同期させられた後に、強度変調部と波面曲率変調器とに出力される。 Further, in this image display device, a luminance signal and a depth signal are extracted from the input image signal. The extracted luminance signal and depth signal are synchronized with each other and then output to the intensity modulation unit and the wavefront curvature modulator.
（７） 前記輝度信号は、当該画像表示装置の画像表示領域に対応する有効領域と、当該画像表示装置の非画像表示領域に対応する無効領域とを含む信号として構成され、前記有効領域に、前記複数の領域に関して個別に前記輝度を表す複数の個別輝度信号が存在しており、
前記奥行き信号は、前記複数の領域に関して個別に前記奥行きを表す複数の個別奥行き信号を含むように構成されている（６）項に記載の画像表示装置。
(7) The luminance signal is configured as a signal including an effective area corresponding to an image display area of the image display device and an invalid area corresponding to a non-image display area of the image display device. There are a plurality of individual luminance signals representing the luminance individually for the plurality of regions,
The image display device according to item (6), wherein the depth signal includes a plurality of individual depth signals representing the depth individually with respect to the plurality of regions.
一般に、輝度信号は、画像表示領域に対応する有効領域と、非画像表示領域に対応する無効領域とを含むシリアル信号として構成される。その有効領域に、複数の個別輝度信号、すなわち、表示すべき画像が分割された複数の領域に関して個別に輝度を表す複数の個別輝度信号が存在する。したがって、輝度信号から輝度値を抽出する場合には、その輝度信号のうちの有効領域に対して、輝度値を抽出するための処理が施される。この処理は、表示される画像が立体的であるか平面的であるかを問わず、実行される。 Generally, the luminance signal is configured as a serial signal including an effective area corresponding to the image display area and an invalid area corresponding to the non-image display area. In the effective area, there are a plurality of individual luminance signals, that is, a plurality of individual luminance signals that individually indicate luminance with respect to a plurality of areas in which an image to be displayed is divided. Therefore, when extracting a luminance value from a luminance signal, a process for extracting the luminance value is performed on the effective area of the luminance signal. This process is executed regardless of whether the displayed image is three-dimensional or planar.
（８） 前記画像信号は、前記輝度信号のうちの前記有効領域の一部に存在する前記個別輝度信号を、その有効領域の全体に対応する画像に対応する前記個別奥行き信号に置き換えることにより、前記奥行き信号を前記輝度信号に埋め込んで構成されている（７）項に記載の画像表示装置。 (8) The image signal is obtained by replacing the individual luminance signal existing in a part of the effective area in the luminance signal with the individual depth signal corresponding to an image corresponding to the entire effective area, The image display device according to item (7), wherein the depth signal is embedded in the luminance signal.
前記（７）項に係る画像表示装置においては、輝度信号に奥行き信号を埋め込む場合には、輝度信号のうち奥行き信号が埋め込まれる場所が既知であることが望ましい。そのような場所は、輝度信号のうち有効領域に選定することも無効領域に選定することも可能である。 In the image display device according to the item (7), when the depth signal is embedded in the luminance signal, it is desirable that the place where the depth signal is embedded in the luminance signal is known. Such a place can be selected as an effective area or an ineffective area in the luminance signal.
しかし、輝度信号のうちの無効領域はそもそも、何らかの情報を輝度信号から抽出するための情報抽出処理が実行されない領域である。それにもかかわらず、そのような無効領域に奥行き信号を埋め込むと、情報抽出処理を、有効領域のみならず無効領域に対しても実行しなければならず、その情報抽出処理の内容を従来から大きく変更することを余儀なくされる。 However, the invalid area in the luminance signal is an area where information extraction processing for extracting some information from the luminance signal is not performed. Nevertheless, if a depth signal is embedded in such an invalid area, the information extraction process must be executed not only for the valid area but also for the invalid area. Forced to change.
これに対し、本項に係る画像表示装置においては、輝度信号のうちの有効領域の一部に存在する個別輝度信号が、その有効領域の全体に対応する画像に対応する個別奥行き信号に置き換えられ、それにより、奥行き信号が輝度信号に埋め込まれる。輝度信号に奥行き信号が埋め込まれることにより、それら輝度信号と奥行き信号とを含む画像信号が構成される。 On the other hand, in the image display device according to this section, the individual luminance signal existing in a part of the effective area in the luminance signal is replaced with the individual depth signal corresponding to the image corresponding to the entire effective area. Thereby, the depth signal is embedded in the luminance signal. By embedding the depth signal in the luminance signal, an image signal including the luminance signal and the depth signal is configured.
したがって、この画像表示装置によれば、画像信号から奥行き信号を抽出するために、情報抽出処理を画像信号のうちの無効領域に対しては実行せずに済むため、情報抽出処理の内容を従来から大きく変更することなく、画像信号から奥行き信号を抽出することが可能となる。 Therefore, according to this image display device, in order to extract the depth signal from the image signal, it is not necessary to perform the information extraction process on the invalid area of the image signal. Therefore, it is possible to extract the depth signal from the image signal without greatly changing from.
（９） 前記一部の有効領域は、その有効領域の全体に対応する前記画像表示領域のうちの縁部に対応する（８）項に記載の画像表示装置。 (9) The image display device according to (8), wherein the partial effective area corresponds to an edge portion of the image display area corresponding to the entire effective area.
前記（８）項に係る画像表示装置においては、輝度信号に奥行き信号を埋め込むためにその輝度信号のうちの有効領域の一部が犠牲にされるため、その影響が、表示される画像に現れてしまう可能性がある。 In the image display device according to the item (8), since a part of the effective area of the luminance signal is sacrificed in order to embed the depth signal in the luminance signal, the influence appears in the displayed image. There is a possibility that.
これに対し、本項に係る画像表示装置においては、輝度信号のうち、それに奥行き信号を埋め込むために犠牲にされる部分が、画像表示領域のうちの縁部に対応するように選定されている。一方、画像表示領域にノイズが局所的に発生する場合には、その発生箇所が縁部である場合には、中央部である場合に比べて、観察者がそのノイズの存在を認識し難い。 On the other hand, in the image display device according to this section, the portion of the luminance signal that is sacrificed for embedding the depth signal is selected so as to correspond to the edge of the image display region. . On the other hand, when noise is locally generated in the image display area, the observer is less likely to recognize the presence of the noise when the generated portion is an edge than in the case of the center.
したがって、この画像表示装置によれば、輝度信号のうちの有効領域に奥行き信号が埋め込まれるにもかかわらず、それに起因する画質の変化が観察者に強く認識されずに済む。 Therefore, according to this image display device, although the depth signal is embedded in the effective area of the luminance signal, the change in image quality caused by the depth signal is not strongly recognized by the observer.
（１０） さらに、前記波面曲率変調器によって変調された光を２次元的に走査する走査部を含み、
その走査部は、表示すべき画像の１フレームごとに、前記光を互いに平行な複数本の走査線に沿って走査する第１走査と、前記光を最初の走査線から最後の走査線に向かって走査する第２走査とを行うものであり、
その走査部によって前記光が２次元的に走査される全領域である走査領域は、前記画像表示領域より広く設定され、それにより、その画像表示領域の外側に前記非画像表示領域が存在しており、
前記画像表示領域は、前記複数本の走査線によって形成され、
前記有効領域は、それら複数本の走査線についてそれぞれ存在し、
前記一部の有効領域は、その有効領域の全体に対応する１本の走査線のうちの端部に対応する（９）項に記載の画像表示装置。
(10) Further, a scanning unit that two-dimensionally scans the light modulated by the wavefront curvature modulator,
The scanning unit scans the light along a plurality of scanning lines parallel to each other for each frame of the image to be displayed, and scans the light from the first scanning line toward the last scanning line. And performing a second scan for scanning,
A scanning area, which is the entire area in which the light is scanned two-dimensionally by the scanning unit, is set wider than the image display area, so that the non-image display area exists outside the image display area. And
The image display area is formed by the plurality of scanning lines,
The effective area exists for each of the plurality of scanning lines,
The image display device according to item (9), wherein the partial effective area corresponds to an end of one scanning line corresponding to the entire effective area.
本項における「走査部」の一例は、狭義のスキャナであるが、走査機能を有する限り、その種類を問わず、本項における「走査部」に該当する。 An example of the “scanning unit” in this section is a narrowly-defined scanner. However, as long as it has a scanning function, it corresponds to the “scanning unit” in this section regardless of the type.
（１１） 前記画像信号は、前記輝度信号のうちの前記無効領域に、その無効領域に先行するかまたは後続する前記有効領域に対応する画像に対応する前記個別奥行き信号を埋め込んで構成されている（７）項に記載の画像表示装置。 (11) The image signal is configured by embedding the individual depth signal corresponding to the image corresponding to the effective area preceding or following the invalid area in the invalid area of the luminance signal. The image display device according to item (7).
この画像表示装置においては、輝度信号に奥行き信号を埋め込むために、輝度信号のうちの有効領域すなわち画像表示領域に対応する領域が一切犠牲にされずに済むため、輝度信号に奥行き信号を埋め込むことに起因する画質の変化に配慮することなく、輝度信号に奥行き信号を埋め込むことが可能となる。 In this image display device, in order to embed the depth signal in the luminance signal, the effective area of the luminance signal, that is, the area corresponding to the image display area does not have to be sacrificed at all. Therefore, the depth signal is embedded in the luminance signal. Therefore, it is possible to embed a depth signal in the luminance signal without considering the change in image quality caused by.
（１２） 前記コントローラは、
前記輝度信号と前記奥行き信号とを、予め互いに同期させられている状態で、入力される入力部と、
それら入力された輝度信号と奥行き信号とを、互いに同期する状態で、前記強度変調部と前記波面曲率変調器とに出力する出力部と
を含む（１）ないし（３）項のいずれかに記載の画像表示装置。
(12) The controller
An input unit that is input in a state in which the luminance signal and the depth signal are synchronized with each other in advance,
An output unit that outputs the intensity signal and the depth signal that are input to the intensity modulation unit and the wavefront curvature modulator in a state of being synchronized with each other, according to any one of (1) to (3). Image display device.
この画像表示装置においては、輝度信号と奥行き信号とが、予め互いに同期させられている状態で、入力され（例えば、パラレルに入力され）、それら入力された輝度信号と奥行き信号とは、互いに同期する状態で、強度変調部と波面曲率変調器とに出力される。 In this image display device, the luminance signal and the depth signal are input in a state of being synchronized with each other in advance (for example, input in parallel), and the input luminance signal and the depth signal are synchronized with each other. In this state, it is output to the intensity modulator and the wavefront curvature modulator.
（１３） ３次元の表示対象を表す画像を画像表示領域に表示する画像表示部に前記画像の輝度を表す輝度信号を出力する信号処理装置であって、
前記輝度信号を前記画像表示部に出力することと、前記画像の奥行きを表す奥行き信号として、前記表示対象のレンダリング工程において生成される奥行きデータに対応する信号を前記画像表示部に出力することとを行う信号出力部を含む信号処理装置。
(13) A signal processing device that outputs a luminance signal representing the luminance of the image to an image display unit that displays an image representing a three-dimensional display object in an image display region,
Outputting the luminance signal to the image display unit; and outputting a signal corresponding to depth data generated in the rendering process of the display target to the image display unit as a depth signal representing the depth of the image. The signal processing apparatus containing the signal output part which performs.
この信号処理装置によれば、前記（１）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to item (1) is provided.
この信号処理装置は、輝度信号と奥行き信号とを前記コントローラにパラレルに出力する形式としたり、シリアルに出力する形式としたり、それら輝度信号と奥行き信号とを前記コントローラに、クロック信号に合わせて互いに同期させて出力する形式としたり、事後的に互いに同期させ得る信号フォーマットに従うかまたは制御信号を輝度信号と奥行き信号とについてそれぞれ使用することにより、互いに同期させないで出力する形式とすることが可能である。 The signal processing device can be configured to output the luminance signal and the depth signal in parallel to the controller, or in a serial output format, and the luminance signal and the depth signal can be transmitted to the controller according to the clock signal. The output format can be synchronized, follow the signal format that can be synchronized with each other later, or use the control signal for the luminance signal and the depth signal, respectively, so that they can be output without being synchronized with each other. is there.
この信号処理装置は、機能に関して、前記（１）ないし（１２）項のいずれかに係る画像表示装置と区別するためには、例えば、その信号処理装置に入力される信号と、その画像表示装置に出力される信号との間のインターフェイスを専ら行う装置として定義することが可能である。ただし、このような信号処理装置は、その画像表示装置から物理的に独立して構成するものであることは不可欠ではなく、その画像表示装置と一体的に、例えば、共通のハウジング内にその画像表示装置と一緒に収容される状態で構成することが可能である。 In order to distinguish this signal processing device from the image display device according to any one of (1) to (12) in terms of function, for example, a signal input to the signal processing device and the image display device It is possible to define as an apparatus that exclusively performs an interface with a signal output to. However, it is not indispensable that such a signal processing device is configured to be physically independent from the image display device, and is integrated with the image display device, for example, in a common housing. It can be configured to be housed together with the display device.
具体的には、本項に係る信号処理装置と、前記（１）ないし（１２）項のいずれかに記載のコントローラとを、共通のハウジング内に収容する一体型の画像表示装置として構成したり、本項に係る信号処理装置と、前記（１）ないし（１２）項のいずれかに係る画像表示装置とを、別体のハウジング内に収容することにより、物理的に互いに独立する状態で提供することが可能である。 Specifically, the signal processing device according to this section and the controller according to any one of (1) to (12) are configured as an integrated image display device that is housed in a common housing. The signal processing device according to this aspect and the image display device according to any one of (1) to (12) above are provided in separate housings by being housed in separate housings. Is possible.
したがって、本項における「画像表示部」は、例えば、本項に係る信号処理装置と上記画像表示装置とが共通のハウジング内に収容されたシステムのうちの画像表示装置に対応する部分を意味するように解釈したり、本項に係る信号処理装置と上記画像表示装置とが別々のハウジング内に個別に収容される場合における画像表示装置を意味するように解釈することが可能である。この解釈は、後述の信号処理装置についても適用することが可能である。 Therefore, the “image display unit” in this section means, for example, a portion corresponding to the image display apparatus in a system in which the signal processing apparatus according to this section and the image display apparatus are accommodated in a common housing. The signal processing device according to this section and the image display device can be interpreted to mean the image display device when individually housed in separate housings. This interpretation can also be applied to a signal processing apparatus described later.
（１４） 前記奥行き信号は、前記レンダリング工程において隠面消去処理を行う際に生成される奥行きデータに対応する信号である（１３）項に記載の信号処理装置。 (14) The signal processing apparatus according to (13), wherein the depth signal is a signal corresponding to depth data generated when performing hidden surface removal processing in the rendering step.
（１５） 前記奥行きデータは、前記レンダリング工程において隠面消去処理を行うためにＺバッファ法が実施される際にＺバッファに一時的に保存されるＺ値を表すＺ値データである（１３）または（１４）項に記載の信号処理装置。 (15) The depth data is Z value data representing a Z value temporarily stored in the Z buffer when the Z buffer method is performed in order to perform hidden surface removal processing in the rendering step. Or the signal processing apparatus as described in (14) term.
この信号処理装置によれば、前記（２）または（３）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing device, a signal processing device suitable for use in combination with the image display device according to the item (2) or (3) is provided.
（１６） 前記信号出力部は、前記輝度信号と前記奥行き信号とを、互いに同期しない状態で、出力するものである（１３）ないし（１５）項のいずれかに記載の信号処理装置。 (16) The signal processing device according to any one of (13) to (15), wherein the signal output unit outputs the luminance signal and the depth signal in a state where they are not synchronized with each other.
この信号処理装置によれば、前記（４）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to item (4) is provided.
（１７） 前記信号出力部は、前記輝度信号を、前記画像を表示するための有効信号が存在する有効領域と存在しない無効領域とを含む信号として出力するものであり、
当該信号処理装置は、さらに、前記輝度信号のうち、前記有効領域に先行する前記無効領域に、その有効領域に存在する有効信号とは無関係に予め定められたスタート信号を埋め込むスタート信号埋め込み手段を含む（１６）項に記載の信号処理装置。
(17) The signal output unit outputs the luminance signal as a signal including an effective area where an effective signal for displaying the image is present and an invalid area where the effective signal is not present.
The signal processing apparatus further includes a start signal embedding unit that embeds a predetermined start signal in the ineffective area preceding the effective area in the luminance signal irrespective of an effective signal existing in the effective area. The signal processing device according to item (16).
この信号処理装置によれば、前記（５）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing device, a signal processing device suitable for use in combination with the image display device according to item (5) is provided.
（１８） さらに、前記奥行き信号を前記輝度信号に埋め込んで画像信号を生成する画像信号生成部を含み、
前記信号出力部は、その生成された画像信号を前記画像表示部に出力するものである（１３）ないし（１５）項のいずれかに記載の信号処理装置。
(18) Furthermore, an image signal generation unit that generates an image signal by embedding the depth signal in the luminance signal,
The signal processing device according to any one of (13) to (15), wherein the signal output unit outputs the generated image signal to the image display unit.
この信号処理装置によれば、前記（６）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to item (6) is provided.
（１９） 前記輝度信号は、前記画像表示部の画像表示領域に対応する有効領域と、前記画像表示部の非画像表示領域に対応する無効領域とを含む信号として構成され、前記有効領域に、前記複数の領域に関して個別に前記輝度を表す複数の個別輝度信号が存在しており、
前記奥行き信号は、前記複数の領域に関して個別に前記奥行きを表す複数の個別奥行き信号を含むように構成されている（１８）項に記載の信号処理装置。
(19) The luminance signal is configured as a signal including an effective area corresponding to an image display area of the image display unit and an invalid area corresponding to a non-image display area of the image display unit. There are a plurality of individual luminance signals representing the luminance individually for the plurality of regions,
The signal processing apparatus according to (18), wherein the depth signal includes a plurality of individual depth signals that individually represent the depth with respect to the plurality of regions.
この信号処理装置によれば、前記（７）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to item (7) is provided.
（２０） 前記画像信号は、前記輝度信号のうちの前記有効領域の一部に存在する前記個別輝度信号を、その有効領域の全体に対応する画像に対応する前記個別奥行き信号に置き換えることにより、前記奥行き信号を前記輝度信号に埋め込んで構成されている（１９）項に記載の信号処理装置。 (20) The image signal is obtained by replacing the individual luminance signal existing in a part of the effective area in the luminance signal with the individual depth signal corresponding to an image corresponding to the entire effective area, The signal processing device according to item (19), wherein the depth signal is embedded in the luminance signal.
この信号処理装置によれば、前記（８）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to item (8) is provided.
（２１） 前記一部の有効領域は、その有効領域の全体に対応する前記画像表示領域のうちの縁部に対応する（２０）項に記載の信号処理装置。 (21) The signal processing device according to (20), wherein the partial effective area corresponds to an edge portion of the image display area corresponding to the entire effective area.
この信号処理装置によれば、前記（９）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to the item (9) is provided.
（２２） 前記画像表示部は、前記波面曲率変調器によって変調された光を２次元的に走査する走査部を含み、
その走査部は、表示すべき画像の１フレームごとに、前記光を互いに平行な複数本の走査線に沿って走査する第１走査と、前記光を最初の走査線から最後の走査線に向かって走査する第２走査とを行うものであり、
その走査部によって前記光が２次元的に走査される全領域である走査領域は、前記画像表示領域より広く設定され、それにより、その画像表示領域の外側に前記非画像表示領域が存在しており、
前記画像表示領域は、前記複数本の走査線によって形成され、
前記有効領域は、それら複数本の走査線についてそれぞれ存在し、
前記一部の有効領域は、その有効領域の全体に対応する１本の走査線のうちの端部に対応する（２１）項に記載の信号処理装置。
(22) The image display unit includes a scanning unit that two-dimensionally scans the light modulated by the wavefront curvature modulator,
The scanning unit scans the light along a plurality of scanning lines parallel to each other for each frame of the image to be displayed, and scans the light from the first scanning line toward the last scanning line. And performing a second scan for scanning,
A scanning area, which is the entire area in which the light is scanned two-dimensionally by the scanning unit, is set wider than the image display area, so that the non-image display area exists outside the image display area. And
The image display area is formed by the plurality of scanning lines,
The effective area exists for each of the plurality of scanning lines,
The signal processing apparatus according to (21), wherein the partial effective area corresponds to an end portion of one scanning line corresponding to the entire effective area.
この信号処理装置によれば、前記（１０）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to the item (10) is provided.
（２３） 前記画像信号は、前記輝度信号のうちの前記無効領域に、その無効領域に先行するかまたは後続する前記有効領域に対応する画像に対応する前記個別奥行き信号を埋め込んで構成されている（１９）項に記載の信号処理装置。 (23) The image signal is configured by embedding the individual depth signal corresponding to an image corresponding to the effective area preceding or following the invalid area in the invalid area of the luminance signal. (19) The signal processing device according to item.
この信号処理装置によれば、前記（１１）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to item (11) is provided.
（２４） 前記信号出力部は、前記輝度信号と前記奥行き信号とを、互いに同期する状態で、出力するものである（１３）ないし（１５）項のいずれかに記載の信号処理装置。 (24) The signal processing device according to any one of (13) to (15), wherein the signal output unit outputs the luminance signal and the depth signal in a state of being synchronized with each other.
この信号処理装置によれば、前記（１２）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to item (12) is provided.
（２５） 前記信号出力部は、前記輝度信号を１組のＲＧＢ信号線を経て出力する一方、前記奥行き信号をＲＧＢ信号線とは種類が異なる信号線を経て出力するものである（１６）または（２４）項に記載の信号処理装置。 (25) The signal output unit outputs the luminance signal via a pair of RGB signal lines, and outputs the depth signal via a signal line different in type from the RGB signal lines (16) or (24) The signal processing apparatus according to item.
（２６） 前記信号出力部は、前記輝度信号を複数組のＲＧＢ信号線のうちの１組を経て出力する一方、前記奥行き信号を別の組のＲＧＢ信号線を経て出力するものである（１６）または（２４）項に記載の信号処理装置。 (26) The signal output unit outputs the luminance signal through one of a plurality of RGB signal lines, and outputs the depth signal through another set of RGB signal lines (16). ) Or the signal processing device according to (24).
（２７） ３次元の表示対象を立体的に表す画像を観察者に表示する画像表示装置であって、
光を出射する出射部であって、その出射する光の強度を、前記画像が分割された複数の領域に関して個別的に変調する強度変調が可能である強度変調部を有するものと、
その出射部から出射した光の波面曲率を、前記複数の領域に関して個別的に変調する波面曲率変調が可能である波面曲率変調器と、
前記画像の輝度を前記各領域に関連付けて表す輝度信号と、前記画像の奥行きを前記各領域に関連付けて表す奥行き信号とに基づき、前記強度変調と前記波面曲率変調とをそれぞれ制御するコントローラであって、
（ａ）前記奥行き信号が前記輝度信号に埋め込まれて成る画像信号が入力される入力部と、
（ｂ）その入力された画像信号から前記輝度信号と奥行き信号とを抽出し、それら抽出された輝度信号と奥行き信号とを、互いに同期させる処理を行った後に、前記強度変調部と前記波面曲率変調器とに出力する出力部と
を有するものと
を含む画像表示装置。
(27) An image display device that displays an image representing a three-dimensional display object in a three-dimensional manner to an observer,
An emission unit that emits light, and having an intensity modulation unit capable of intensity modulation that individually modulates the intensity of the emitted light with respect to a plurality of regions into which the image is divided;
A wavefront curvature modulator capable of wavefront curvature modulation that individually modulates the wavefront curvature of the light emitted from the emission section with respect to the plurality of regions;
A controller that controls the intensity modulation and the wavefront curvature modulation based on a luminance signal that represents the luminance of the image in association with each region and a depth signal that represents the depth of the image in association with each region. And
(A) an input unit to which an image signal in which the depth signal is embedded in the luminance signal is input;
(B) Extracting the luminance signal and the depth signal from the input image signal, and performing a process of synchronizing the extracted luminance signal and the depth signal with each other, and then performing the intensity modulation unit and the wavefront curvature And an output unit that outputs to the modulator.
前記（６）項において説明した知見に基づき、本項に係る画像表示装置においても、奥行き信号が輝度信号に埋め込まれて成る画像信号が入力される。例えば、輝度信号と奥行き信号とがそれらに共通のシリアル信号として入力されるのである。 Based on the knowledge described in the above section (6), the image signal in which the depth signal is embedded in the luminance signal is also input in the image display apparatus according to this section. For example, the luminance signal and the depth signal are input as a serial signal common to them.
さらに、この画像表示装置においても、その入力された画像信号から輝度信号と奥行き信号とが抽出される。それら抽出された輝度信号と奥行き信号とは、互いに同期させられた後に、強度変調部と波面曲率変調器とに出力される。 Furthermore, also in this image display apparatus, a luminance signal and a depth signal are extracted from the input image signal. The extracted luminance signal and depth signal are synchronized with each other and then output to the intensity modulation unit and the wavefront curvature modulator.
（２８） 前記輝度信号は、当該画像表示装置の画像表示領域に対応する有効領域と、当該画像表示装置の非画像表示領域に対応する無効領域とを含む信号として構成され、前記有効領域に、前記複数の領域に関して個別に前記輝度を表す複数の個別輝度信号が存在しており、
前記奥行き信号は、前記複数の領域に関して個別に前記奥行きを表す複数の個別奥行き信号を含むように構成されている（２７）項に記載の画像表示装置。
(28) The luminance signal is configured as a signal including an effective area corresponding to an image display area of the image display device and an invalid area corresponding to a non-image display area of the image display device. There are a plurality of individual luminance signals representing the luminance individually for the plurality of regions,
The image display device according to item (27), wherein the depth signal includes a plurality of individual depth signals representing the depth individually with respect to the plurality of regions.
（２９） 前記画像信号は、前記輝度信号のうちの前記有効領域の一部に存在する前記個別輝度信号を、その有効領域の全体に対応する画像に対応する前記個別奥行き信号に置き換えることにより、前記奥行き信号を前記輝度信号に埋め込んで構成されている（２８）項に記載の画像表示装置。 (29) The image signal is obtained by replacing the individual luminance signal existing in a part of the effective area in the luminance signal with the individual depth signal corresponding to an image corresponding to the entire effective area, The image display device according to item (28), wherein the depth signal is embedded in the luminance signal.
この画像表示装置によれば、前記（８）項に係る画像表示装置と同様に、画像信号から奥行き信号を抽出するために、情報抽出処理を画像信号のうちの無効領域に対しては実行せずに済むため、情報抽出処理の内容を従来から大きく変更することなく、画像信号から奥行き信号を抽出することが可能となる。 According to this image display device, in the same manner as the image display device according to item (8), in order to extract the depth signal from the image signal, the information extraction process is performed on the invalid area of the image signal. Therefore, it is possible to extract the depth signal from the image signal without greatly changing the content of the information extraction process.
（３０） 前記画像信号は、前記輝度信号のうちの前記無効領域に、その無効領域に先行するかまたは後続する前記有効領域に対応する画像に対応する前記個別奥行き信号を埋め込んで構成されている（２８）項に記載の画像表示装置。 (30) The image signal is configured by embedding the individual depth signal corresponding to the image corresponding to the effective area preceding or following the invalid area in the invalid area of the luminance signal. The image display device according to item (28).
この画像表示装置においては、前記（１１）項に係る画像表示装置と同様に、輝度信号に奥行き信号を埋め込むことに起因する画質の変化に配慮することなく、輝度信号に奥行き信号を埋め込むことが可能となる。 In this image display device, similarly to the image display device according to the item (11), the depth signal can be embedded in the luminance signal without considering the change in the image quality caused by embedding the depth signal in the luminance signal. It becomes possible.
（３１） ３次元の表示対象を表す画像を画像表示領域に表示する画像表示部に前記画像の輝度を表す輝度信号を出力する信号処理装置であって、
前記画像の奥行きを表す奥行き信号を前記輝度信号に埋め込んで画像信号を生成する画像信号生成部と、
その生成された画像信号を前記画像表示部に出力する信号出力部と
を含む信号処理装置。
(31) A signal processing device that outputs a luminance signal representing the luminance of the image to an image display unit that displays an image representing a three-dimensional display object in an image display region,
An image signal generation unit for generating an image signal by embedding a depth signal representing the depth of the image in the luminance signal;
And a signal output unit that outputs the generated image signal to the image display unit.
この信号処理装置によれば、前記（２７）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing device, a signal processing device suitable for use in combination with the image display device according to item (27) is provided.
（３２） 前記輝度信号は、当該画像表示装置の画像表示領域に対応する有効領域と、当該画像表示装置の非画像表示領域に対応する無効領域とを含む信号として構成され、前記有効領域に、前記複数の領域に関して個別に前記輝度を表す複数の個別輝度信号が存在しており、
前記奥行き信号は、前記複数の領域に関して個別に前記奥行きを表す複数の個別奥行き信号を含むように構成されている（３１）項に記載の信号処理装置。
(32) The luminance signal is configured as a signal including an effective area corresponding to an image display area of the image display device and an invalid area corresponding to a non-image display area of the image display device. There are a plurality of individual luminance signals representing the luminance individually for the plurality of regions,
The signal processing apparatus according to (31), wherein the depth signal includes a plurality of individual depth signals that individually represent the depth with respect to the plurality of regions.
この信号処理装置によれば、前記（２８）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing apparatus, a signal processing apparatus suitable for use in combination with the image display apparatus according to item (28) is provided.
（３３） 前記画像信号は、前記輝度信号のうちの前記有効領域の一部に存在する前記個別輝度信号を、その有効領域の全体に対応する画像に対応する前記個別奥行き信号に置き換えることにより、前記奥行き信号を前記輝度信号に埋め込んで構成されている（３２）項に記載の信号処理装置。 (33) The image signal is obtained by replacing the individual luminance signal existing in a part of the effective area in the luminance signal with the individual depth signal corresponding to an image corresponding to the entire effective area, The signal processing device according to item (32), wherein the depth signal is embedded in the luminance signal.
この信号処理装置によれば、前記（２９）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing device, a signal processing device suitable for use in combination with the image display device according to the item (29) is provided.
（３４） 前記画像信号は、前記輝度信号のうちの前記無効領域に、その無効領域に先行するかまたは後続する前記有効領域に対応する画像に対応する前記個別奥行き信号を埋め込んで構成されている（３２）項に記載の信号処理装置。 (34) The image signal is configured by embedding the individual depth signal corresponding to an image corresponding to the effective area preceding or following the invalid area in the invalid area of the luminance signal. (32) The signal processing apparatus according to item.
この信号処理装置によれば、前記（３０）項に係る画像表示装置と組み合わせて使用することが好適な信号処理装置が提供される。 According to this signal processing device, a signal processing device suitable for use in combination with the image display device according to the item (30) is provided.
以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説明する。 Hereinafter, some of more specific embodiments of the present invention will be described in detail with reference to the drawings.
図１には、本発明の第１実施形態に従う網膜走査型の画像表示装置１０がブロック図で概念的に表されている。この画像表示装置１０は、それから物理的に独立するかまたは一体的に構成された信号処理装置１２に接続されて使用される。
FIG. 1 conceptually shows, in a block diagram, a retinal scanning
画像表示装置１０は、信号処理装置１２から供給されたＲＧＢ信号（これが前記（１）項における「輝度信号」の一例である。）と奥行き信号とに基づき、光束（これが前記（１）項における「光」の一例である。）を走査しつつ観察者の眼の網膜上に投影することにより、３次元の表示対象を立体的に表す画像を観察者に表示する。すなわち、この画像表示装置１０は、いわゆる網膜走査型ディスプレイに分類されるのである。
The
ＲＧＢ信号は、一般には、赤色の光束の輝度を表すＲ輝度信号と、緑色の光束の輝度を表すＧ輝度信号と、青色の光束の輝度を表すＢ輝度信号とが互いにパラレルに組み合わされて成る信号である。 The RGB signal is generally formed by combining an R luminance signal representing the luminance of the red luminous flux, a G luminance signal representing the luminance of the green luminous flux, and a B luminance signal representing the luminance of the blue luminous flux in parallel with each other. Signal.
これに対し、信号処理装置１２は、コンピュータ２０と、メモリ部２２と、クロック発振器２４とを含むように構成されている。メモリ部２２には、後述のＲ／Ｇ／Ｂバッファ３０およびＺバッファ３２が設けられている。
On the other hand, the
この信号処理装置１２は、その処理内容を図２に概念的にブロック図で表すように、レンダリング部３４を備えている。このレンダリング部３４においては、画像表示装置１０によって表示されるべき３次元の表示対象すなわちコンテンツを幾何学的に表現するポリゴンデータに基づき、各画素ごとに輝度値を表す輝度値データと、各画素ごとに奥行きすなわちＺ値を表す奥行きデータとが生成される。輝度値データは各画素に関連付けてＲ／Ｇ／Ｂバッファ３０に、奥行きデータは各画素に関連付けてＺバッファ３２にそれぞれ格納される。それら輝度値データと奥行きデータとの集まりが、各画素ごとに表示条件を定義するピクセルデータである。
The
このレンダリング部３４においては、さらに、そのようにして生成されたピクセルデータに対して隠面消去処理がＺバッファ法によって行われる。
In the
このＺバッファ法においては、よく知られているように、表示すべき画像を構成する複数の画素のうち、画像表示装置１０の画像表示領域上における表示位置を共通にする複数の画素が、Ｚバッファ３２に格納されているＺ値に関して互いに比較され、それにより、各画素の前後関係、すなわち、観察者にとって手前に位置するか奥に位置するかが判定される。そして、Ｒ／Ｇ／Ｂバッファ３０において、それら複数の画素のうち奥に位置するものの輝度値データは格納されないか、または格納されても、それより手前に位置する画素の輝度値データによって上書きされることにより、手前に位置する画素の輝度値データのみが最終的に格納されることになる。
In this Z buffer method, as is well known, among a plurality of pixels constituting an image to be displayed, a plurality of pixels having a common display position on the image display area of the
この信号処理装置１２は、ＲＧＢ端子（映像端子）４０（Ｒ信号用端子とＧ信号用端子とＢ信号用端子とを含む。）と、ＵＳＢ端子４２と、同期信号端子４４とを備えている。これに対応して、画像表示装置１０も、ＲＧＢ端子５０（Ｒ信号用端子とＧ信号用端子とＢ信号用端子とを含む。）と、ＵＳＢ端子５２と、同期信号端子５４とを備えている。
The
具体的には、信号処理装置１２は、赤色について生成された輝度値データを表すＲ信号を、Ｒ信号用のＲＧＢ端子４０，５０間のケーブル５６を介して（ワイヤレスでも可。）画像表示装置１０に出力し、緑色について生成された輝度値データを表すＧ信号を、Ｇ信号用のＲＧＢ端子４０，５０間のケーブル５６を介して（ワイヤレスでも可。）画像表示装置１０に出力し、青色について生成された輝度値データを表すＢ信号を、Ｂ信号用のＲＧＢ端子４０，５０間のケーブル５６を介して（ワイヤレスでも可。）画像表示装置１０に出力する。すなわち、信号処理装置１２は、赤色の輝度値データと緑色の輝度値データと青色の輝度値データとを互いにパラレルに画像表示装置１０に出力するのである。
Specifically, the
さらに、信号処理装置１２は、生成された奥行きデータを、ＵＳＢ端子４２，５２間のケーブル５８を介して（ワイヤレスでも可。）画像表示装置１０に出力する。
Further, the
この信号処理装置１２は、メモリ部２２からＲＧＢ信号と奥行き信号とを互いに同期させて出力することを能動的に行うようには設計されていない。それらＲＧＢ信号と奥行き信号との同期は、画像表示装置１０によって行われる。そのために、画像表示装置１０は、信号処理装置１２から入力される、後述のクロック信号を参照するようになっている。ただし、この信号処理装置１２においては、事後的にＲＧＢ信号と奥行き信号との同期が達成可能であるように、それらＲＧＢ信号と奥行き信号とが、各画素ごとに、互いに関連付けられている。それらＲＧＢ信号と奥行き信号との間における既知の対応関係を前提にして画像表示装置１０の信号処理が設計されている。
The
信号処理装置１２は、クロック発振器２４から発生させられたクロック信号を、同期信号端子４４，５４間のケーブル６０を介して（ワイヤレスでも可。）画像表示装置１０に出力する。クロック信号は、水平同期信号（図１においては「Ｈ信号」で表す。）と、垂直同期信号（図１においては「Ｖ信号」で表す。）とを含んでいる。
The
図３の（ａ）にタイムチャートで示すように、垂直同期信号は、画像のフレームごとに発生させられる。これに対し、水平同期信号は、各フレームの走査線ごとに発生させられる。 As shown in the time chart of FIG. 3A, the vertical synchronization signal is generated for each frame of the image. On the other hand, the horizontal synchronization signal is generated for each scanning line of each frame.
以下、図１を参照しつつ画像表示装置１０を詳細に説明する。
Hereinafter, the
画像表示装置１０は、光学系７０と信号処理系すなわちコントローラ７２とを含むように構成されている。光学系７０においては、レーザ光束（以下、単に「光束」という。）を発生させる光源（例えば、半導体レーザ）７４が、ＲＧＢの各色ごとに設けられている。
The
さらに、各色ごとに、強度変調素子（例えば、音響光学変調素子）７６も設けられている。各強度変調素子７６は、それに入力された各輝度信号（Ｒ／Ｇ／Ｂ）に応じ、各色の光束の強度を変調する。ただし、光源７４が半導体レーザである場合のように、光源７４自体に強度変調機能がある場合には、光源７４から独立した強度変調素子７６は省略可能である。
Furthermore, an intensity modulation element (for example, an acousto-optic modulation element) 76 is also provided for each color. Each
この光学系７０においては、さらに、光束の波面曲率を変調する波面変調素子７８も設けられている。波面変調素子７８は、各色の光束について個別に設けてもよいが、ＲＧＢの３色が合成された合成光束について波面変調素子７８を１個だけ設けてもよい。いずれにしても、波面変調素子７８は、例えば、光束の光軸上に、位置または曲率が可変であるように配置された集光レンズまたは反射ミラーを含むように構成される。これにより、波面変調素子７８に入射した光束（例えば、平行光）が拡散光または収束光に変換されるとともに、それら拡散光または収束光の波面曲率が、波面変調素子７８に入力された奥行き信号に応じて変調される。
The
この光学系７０においては、さらに、合成光束が波面変調後に入射するスキャナ８０も設けられている。スキャナ８０は、表示すべき画像の１フレームごとに、合成光束を互いに平行な複数本の走査線に沿って走査する第１走査と、合成光束を最初の走査線から最後の走査線に向かって走査する第２走査とを行う。
The
本実施形態においては、第１走査は、水平同期信号に基づいて合成光束を水平に走査する水平走査（ラスタスキャン）として行われ、第２走査は、垂直同期信号に基づいて合成光束を垂直に走査する垂直走査として行われる。 In the present embodiment, the first scan is performed as a horizontal scan (raster scan) in which the combined light beam is scanned horizontally based on the horizontal synchronization signal, and the second scan is performed so that the combined light beam is vertical based on the vertical synchronization signal. This is performed as vertical scanning.
スキャナ８０は、水平走査と垂直走査とを共通の光学素子を用いて行う形式としたり、別個の光学素子を用いて行う形式とすることが可能である。後者の形式の一例によれば、水平走査がポリゴンミラーを用いて行われる一方、垂直走査が、そのポリゴンミラーより下流側に配置されたガルバノミラーを用いて行われる。
The
このスキャナ８０によって走査された光束は、観察者の瞳孔を経て眼の網膜上に投影される。その結果、３次元の表示対象を立体的に表す画像が観察者に表示されることになる。
The light beam scanned by the
図４に示すように、このスキャナ８０によって光束が２次元的に走査される全領域である走査領域は、光束が観察者の眼の瞳孔に入射して画像を表示する画像表示領域より広く設定され、それにより、その画像表示領域の外側に、画像が表示されない非画像表示領域が存在している。本実施形態においては、画像表示領域が、例えば、各々８００個の画素によって構成される走査線が６００本用いられることによって構成されている。
As shown in FIG. 4, the scanning area, which is the entire area in which the light beam is scanned two-dimensionally by the
ここで、信号処理装置１２から画像表示装置１０に供給されるＲＧＢ信号と奥行き信号との各フォーマットを説明する。
Here, each format of the RGB signal and the depth signal supplied from the
図５に示すように、ＲＧＢ信号（図５においてはＲＧＢ信号のうちＲ輝度信号のみが代表的に表されている。）は、画像表示領域に対応する有効領域と、非画像表示領域に対応する無効領域とを含むシリアル信号として構成されている。ＲＧＢ信号のうちの有効領域に、各画素ごとに輝度を表す複数の個別輝度信号が存在している。同様にして、奥行き信号は、各画素ごとに奥行きすなわちＺ値を表す複数の個別奥行き信号を含むように構成されている。 As shown in FIG. 5, the RGB signal (in FIG. 5, only the R luminance signal of the RGB signals is representatively represented) corresponds to the effective area corresponding to the image display area and the non-image display area. This is configured as a serial signal including an invalid area. There are a plurality of individual luminance signals representing luminance for each pixel in the effective area of the RGB signal. Similarly, the depth signal is configured to include a plurality of individual depth signals representing the depth, that is, the Z value for each pixel.
以上、画像表示装置１０のうちの光学系７０を説明したが、以下、コントローラ７２を説明する。
The
図１に示すように、コントローラ７２においては、ＲＧＢ端子５０，５０，５０と強度変調素子７６との間に、映像信号同期回路９０とＲ／Ｇ／Ｂフレームバッファ９２と映像信号処理回路９４とがそれらの順に直列接続されている。Ｒ／Ｇ／Ｂフレームバッファ９２は、各輝度値データを画像フレーム単位で画素に関連付けて格納するためのバッファである。
As shown in FIG. 1, in the
同様な直列回路が、ＵＳＢ端子５２と波面変調素子７８との間にも設けられている。ただし、ＵＳＢ端子５２はＲＡＭ９６を経て、映像信号同期回路９８とＺフレームバッファ１００と映像信号処理回路１０２との直列回路に接続されている。
A similar series circuit is also provided between the
画像表示装置１０は、さらに、内部クロックとしてのクロック発振器１０４も備えている。このクロック発振器１０４は、図３の（ｂ）に示すように、内部クロック信号を発生させ、その内部クロック信号の分周を行うことにより、垂直同期信号（図１においては「Ｖ信号」で表す。）と水平同期信号（図１においては「Ｈ信号」で表す。）とを生成する。
The
信号処理装置１２からＵＳＢ端子５２を経てコントローラ７２に供給された奥行き信号は、奥行きデータに変換された後、ＲＡＭ９６に格納されるが、奥行きデータは、各走査線ごとに、ＲＡＭ９６に格納される。映像信号同期回路９８は、図３の（ａ）に示すように、信号処理装置１２から供給される垂直同期信号と水平同期信号とに応答して、ＲＡＭ９６から奥行きデータを読み込んでＺフレームバッファ１００に書き込む。同図において、「１−１」は、第１走査線についての最初の画素、すなわち、第１画素を意味しており、「１−８００」は、第１走査線についての最後の画素、すなわち、第８００画素を意味している。
The depth signal supplied from the
同様にして、信号処理装置１２からＲＧＢ端子５０，５０，５０を経てコントローラ７２に供給されたＲＧＢ信号は、輝度値データ（Ｒ輝度値データ、Ｇ輝度値データおよびＢ輝度値データ）に変換された後、映像信号同期回路９０により、信号処理装置１２から供給される垂直同期信号と水平同期信号とに応答して、各走査線ごとに、Ｒ／Ｇ／Ｂフレームバッファ９２に格納される。
Similarly, the RGB signal supplied from the
それら映像信号同期回路９０，９８は、共通のクロック信号に応答して作動するため、結局、走査線ごとに、ＲＧＢ信号（輝度値データ）と奥行き信号（奥行きデータすなわちＺ値データ）とが同時に、Ｒ／Ｇ／Ｂバッファ３０およびＲＡＭ９６からそれぞれパラレルに読み出されることになる。
Since the video
映像信号処理回路９４は、図３の（ｂ）にタイムチャートで示すように、クロック発振器１０４から供給される垂直同期信号と水平同期信号とに応答して、Ｒ／Ｇ／Ｂフレームバッファ９２から輝度値データ（Ｒ輝度値データ、Ｇ輝度値データおよびＢ輝度値データ）を各画素ごとに読み出して強度変調素子７６に出力する。同図においては、このことが「ＲＧＢ出力」として示されている。
The video
同様にして、映像信号処理回路１０２は、図３の（ｂ）にタイムチャートで示すように、クロック発振器１０４から供給される垂直同期信号と水平同期信号とに応答して、Ｚフレームバッファ１００から奥行きデータ（Ｚ値データ）を各画素ごとに読み出して波面変調素子７８に出力する。同図においては、このことが「Ｚ出力」として示されている。
Similarly, the video
それら映像信号処理回路９４，１０２は、共通のクロック信号に応答して作動するため、結局、画素ごとに、輝度値データと奥行きデータすなわちＺ値データとが同時に、Ｒ／Ｇ／Ｂフレームバッファ９２およびＺフレームバッファ１００からそれぞれパラレルに読み出されて、強度変調素子７６と波面変調素子７８とに、互いに同期する状態で、パラレルに出力されることになる。
Since these video
以上の説明から明らかなように、本実施形態においては、信号処理装置１２のレンダリング部３４においてポリゴンデータがピクセルデータに変換される際に生成されたＺ値が、信号処理装置１２から画像表示装置１０に転送され、その転送されたＺ値を利用することにより、画像表示装置１０において立体的な画像が表示される。レンダリング部３４において生成されたＺ値が画像の奥行きを表現するためにも利用されるのである。
As is apparent from the above description, in this embodiment, the Z value generated when polygon data is converted into pixel data in the
したがって、本実施形態によれば、画像表示装置１０において信号処理装置１２とは独立して奥行き情報を作成することが不要となり、奥行き情報の取得技術が改善され、３次元の表示対象の奥行きが立体的な画像によって効率よく表現される。
Therefore, according to the present embodiment, it is not necessary to create depth information independently of the
さらに、本実施形態においては、予め互いに同期させられていないＲＧＢ信号と奥行き信号とが、２個の映像信号同期回路９０，９８の共同作用により、事後的に互いに同期させられて、信号処理装置１２からコントローラ７２にパラレルに入力される。さらに、それらＲＧＢ信号と奥行き信号とが、互いに同期する状態で、強度変調素子７６と波面変調素子７８とにそれぞれパラレルに出力される。
Further, in the present embodiment, the RGB signal and the depth signal, which are not synchronized with each other in advance, are synchronized with each other afterward by the joint action of the two video
したがって、本実施形態によれば、輝度値と奥行きとの同期が正確に達成されることにより、３次元の表示対象の奥行きが精度よく表現され、その結果、立体的画像の再現精度を向上させることが容易となる。 Therefore, according to the present embodiment, the synchronization of the luminance value and the depth is accurately achieved, so that the depth of the three-dimensional display target is accurately expressed, and as a result, the reproduction accuracy of the stereoscopic image is improved. It becomes easy.
さらに、本実施形態によれば、信号処理装置１２から画像表示装置１０への奥行き信号の転送が、それら装置１０，１２に通常装着される端子であるＵＳＢ端子４２，５２を利用して、信号劣化なしで行うことが可能となる。したがって、奥行き信号の転送のために、それら装置に特別な端子を装着せずに済む。
Further, according to the present embodiment, the transfer of the depth signal from the
以上の説明から明らかなように、本実施形態においては、画像表示装置１０が前記（１）項に係る「画像表示装置」の一例を構成し、光源７４と強度変調素子７６とが互いに共同して同項における「出射部」の一例を構成し、その強度変調素子７６が同項における「強度変調部」の一例を構成し、波面変調素子７８が同項における「波面曲率変調器」の一例を構成しているのである。
As is clear from the above description, in the present embodiment, the
さらに、本実施形態においては、映像信号同期回路９０および９８とＲＡＭ９６とが互いに共同して前記（４）項における「同期化部」の一例を構成し、Ｒ／Ｇ／Ｂフレームバッファ９２とＺフレームバッファ１００と映像信号処理回路９４および１０２とクロック発振器１０４とが互いに共同して同項における「出力部」の一例を構成しているのである。
Further, in the present embodiment, the video
さらに、本実施形態においては、信号処理装置１２が前記（１３）項に係る「信号処理装置」の一例を構成し、画像表示装置１０が同項における「画像表示部」の一例を構成しているのである。
Further, in the present embodiment, the
さらに、本実施形態においては、ＲＧＢ端子４０，４０，４０と、ＵＳＢ端子４２と、コンピュータ２０のうち、Ｒ／Ｇ／ＢバッファからＲＧＢ信号を読み出してＲＧＢ端子４０，４０，４０を経て画像表示装置１０に出力することと、Ｚバッファ３２からＺ値データを読み出してＵＳＢ端子４２を経て画像表示装置１０に出力することとを行う部分とが互いに共同して前記（１３）項、（１６）項、（２４）項または（２５）項における「信号出力部」の一例を構成しているのである。
Further, in the present embodiment, RGB signals are read from the R / G / B buffer of the
次に、本発明の第２実施形態を説明する。ただし、本実施形態は、第１実施形態と共通する要素があるため、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略し、異なる要素についてのみ詳細に説明する。 Next, a second embodiment of the present invention will be described. However, since this embodiment has elements in common with the first embodiment, the common elements are cited using the same reference numerals or names, and detailed description is omitted, and only different elements are cited. This will be described in detail.
本実施形態においては、図６に示すように、画像表示装置１２０および信号処理装置１２２が、第１実施形態における画像表示装置１０および信号処理装置１２と基本的な構成をそれぞれ共通にしている。
In the present embodiment, as shown in FIG. 6, the
さらに、第１実施形態と同様に、Ｒ信号とＧ信号とＢ信号とは、信号処理装置１２２のＲＧＢ端子４０，４０，４０と、画像表示装置１２０のＲＧＢ端子５０，５０，５０とを接続するケーブル５６，５６，５６を介して信号処理装置１２２から画像表示装置１０にパラレルに転送される。さらに、奥行き信号は、信号処理装置１２２のＵＳＢ端子４２と、画像表示装置１２０のＵＳＢ端子５２とを接続するケーブル５８を介して信号処理装置１２２から画像表示装置１２０に転送される。すなわち、第１実施形態と同様に、Ｒ信号とＧ信号とＢ信号と奥行き信号とがそれぞれパラレルに信号処理装置１２２から画像表示装置１２０に転送されるのである。
Further, as in the first embodiment, the R signal, the G signal, and the B signal connect the
ただし、本実施形態においては、信号処理装置１２２が、第１実施形態とは異なり、スタート信号埋め込み回路１３０を追加的に備えている。
However, in the present embodiment, the
図７に示すように、スタート信号埋め込み回路１３０は、Ｒ／Ｇ／Ｂバッファ３０から供給された各ＲＧＢ信号のうちの無効領域に、それに後続する有効領域に存在する個別輝度信号とは無関係に、一定のスタート信号を埋め込むために設けられている。スタート信号は、例えば、シリアルな各ＲＧＢ信号（例えば、Ｒ輝度信号）のうち、一連の映像を表示するための有効領域に先行する無効領域に埋め込まれる。すなわち、スタート信号は、例えば、一連の画像フレーム列の直前に埋め込まれるのである。
As shown in FIG. 7, the start
図７の例においては、個別輝度信号が、画像のフレームを単位にして集合的に簡略的に示されている。スタート信号は、有効領域に存在する個別輝度信号と区別できるようにするため、個別輝度信号ではあり得ない輝度信号が予め選択される。 In the example of FIG. 7, the individual luminance signals are collectively shown in a simplified manner in units of image frames. In order to distinguish the start signal from the individual luminance signal existing in the effective area, a luminance signal that cannot be the individual luminance signal is selected in advance.
図７の例においては、全体が赤色である画像フレームと、全体が緑色である画像フレームと、全体が青色である画像フレームと、全体が黒色である画像フレームとをそれらの順に表示する輝度信号としてスタート信号が選択されている。 In the example of FIG. 7, a luminance signal that displays an image frame that is entirely red, an image frame that is entirely green, an image frame that is entirely blue, and an image frame that is entirely black. The start signal is selected.
そのようなスタート信号が埋め込まれた各ＲＧＢ信号を画像表示装置１２０が受信すると、映像信号同期回路１３２は、まず、スタート信号を検出しようとする。スタート信号が検出されたならば、最初の画像フレームにつき、各ＲＧＢ信号をＲ／Ｇ／Ｂバッファ３０から読み込むと同時に、奥行き信号を映像信号同期回路９８を経てＲＡＭ９６から読み込む。これにより、Ｒ信号とＧ信号とＢ信号と奥行き信号とが互いに同期させられることになる。
When the
それらＲ信号とＧ信号とＢ信号と奥行き信号とは、画像表示装置１２０のコントローラ１３４において、第１実施形態と同様にして処理され、やがて、強度変調素子７６と波面変調素子７８とにそれぞれパラレルに、互いに同期する状態で出力される。
The R signal, the G signal, the B signal, and the depth signal are processed in the
したがって、本実施形態によれば、一連の各ＲＧＢ信号の開始位置を特定し得るスタート信号がもともとの各ＲＧＢ信号と共に画像表示装置１２０に入力され、その画像表示装置１２０においてそのスタート信号を利用して一連の各ＲＧＢ信号の頭出しを行うことができる。その結果、輝度値と奥行きとの同期を精度よく確保することが容易となる。
Therefore, according to the present embodiment, a start signal that can specify the start position of a series of RGB signals is input to the
さらに、本実施形態によれば、各ＲＧＢ信号とスタート信号とがそれぞれパラレルに画像表示装置１２０に供給されるのではなく、共通のシリアル信号として供給されるため、スタート信号を画像表示装置１２０に供給可能とするためにその画像表示装置１２０の入力端子の数を増やさずに済む。
Furthermore, according to the present embodiment, the RGB signals and the start signal are not supplied in parallel to the
以上の説明から明らかなように、本実施形態においては、映像信号同期回路１３２および９８が互いに共同して前記（５）項における「同期化部」の一例を構成し、スタート信号埋め込み回路１３０が前記（１７）項における「スタート信号埋め込み手段」の一例を構成しているのである。
As is clear from the above description, in the present embodiment, the video
なお付言するに、本実施形態においては、スタート信号が一連の映像ごとにＲＧＢ信号に埋め込まれるが、例えば、フレームごとに埋め込んで垂直同期の代わりとする態様、走査線ごとに埋め込んで水平同期の代わりとする態様などを採用して本発明を実施することが可能である。 In addition, in the present embodiment, the start signal is embedded in the RGB signal for each series of videos. For example, an embodiment in which the start signal is embedded instead of the vertical synchronization by embedding every frame, and the horizontal synchronization is performed by embedding every scan line. It is possible to implement the present invention by adopting alternative embodiments.
次に、本発明の第３実施形態を説明する。ただし、本実施形態は、第１実施形態と共通する要素があるため、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略し、異なる要素についてのみ詳細に説明する。 Next, a third embodiment of the present invention will be described. However, since this embodiment has elements in common with the first embodiment, the common elements are cited using the same reference numerals or names, and detailed description is omitted, and only different elements are cited. This will be described in detail.
本実施形態においては、図８に示すように、画像表示装置１５０および信号処理装置１５２が、第１実施形態における画像表示装置１０および信号処理装置１２と基本的な構成をそれぞれ共通にしている。ただし、信号処理装置１５２は、第１実施形態とは異なり、各ＲＧＢ信号に奥行き信号を埋め込んでシリアルな画像信号（映像信号）を生成する奥行き信号埋め込み回路１５６を追加的に備えている。さらに、画像表示装置１５０のうちのコントローラ１６０は、その信号処理装置１５２の変更に合わせて、その信号処理装置１５２から入力されたシリアルな画像信号を、互いに同期したＲＧＢ信号と奥行き信号とにパラレル信号として変換するように設計されている。
In the present embodiment, as shown in FIG. 8, the
奥行き信号は、Ｒ信号とＧ信号とＢ信号とにそれぞれ埋め込むことは可能であるが、それらＲ信号とＧ信号とＢ信号とのうちのいずれかのみに埋め込むようにして本発明を実施することが可能である。通常、それらＲ信号とＧ信号とＢ信号との間で同期をとることは比較的容易であるからである。 The depth signal can be embedded in each of the R signal, the G signal, and the B signal, but the present invention is implemented by embedding only in any one of the R signal, the G signal, and the B signal. Is possible. This is because it is generally easy to synchronize the R signal, the G signal, and the B signal.
奥行き信号埋め込み回路１５６は、図９に示すように、各ＲＧＢ信号のうちの有効領域の一部に存在する個別輝度信号を、その有効領域の全体に対応する画像に対応する個別奥行き信号に置き換えることにより、奥行き信号を各ＲＧＢ信号に埋め込む。図９には、ＲＧＢ信号のうちＲ輝度信号のみが代表的に示されている。図９の例においては、Ｒ輝度信号が、各走査線ごとに有効領域を含み、次の走査線に対応する有効領域との間に無効領域が存在している。垂直走査の回帰時間に対応する無効領域も存在する。
As shown in FIG. 9, the depth
図９の例においては、各走査線ごとに、Ｒ輝度信号のうちの有効領域の両端部のうち次の走査線に近いものに存在していた個別輝度信号（各画素ごとに輝度値を表す信号）が、その走査線に対応する画像に対応する個別奥行き信号（各画素ごとまたは各画素グループごとに奥行きすなわちＺ値を表す信号）に置き換えられている。その結果、もともとの有効領域のうち、次の有効領域に近い端部を除く部分には、個別輝度信号が各画素に関連付けて存在し、一方、その端部に、個別奥行き信号が各画素または各画素グループに関連付けて存在している。 In the example of FIG. 9, for each scanning line, an individual luminance signal (representing a luminance value for each pixel) that is present at both ends of the effective area of the R luminance signal that is close to the next scanning line. Signal) is replaced with an individual depth signal (a signal representing a depth, that is, a Z value for each pixel or each pixel group) corresponding to an image corresponding to the scanning line. As a result, an individual luminance signal is associated with each pixel in a portion of the original effective area excluding an end close to the next effective area, while an individual depth signal is present at each end of each pixel or It exists in association with each pixel group.
そして、本実施形態においては、図９に示すように、６００本の走査線に対応する有効領域と無効領域とにより、１個のフレームに対応する画像信号が構成されている。 In this embodiment, as shown in FIG. 9, an image signal corresponding to one frame is constituted by an effective area and an invalid area corresponding to 600 scanning lines.
図１０に示すように、各ＲＧＢ信号のうちの有効領域は、画像表示領域に対応し、無効領域は、非画像表示領域に対応している。上述のように、各ＲＧＢ信号のうちの有効領域のうちの末端に、奥行き信号が埋め込まれた埋め込み領域が存在しているため、図１０に示すように、その埋め込み領域が、画像表示領域のうちの右端部に対応している。 As shown in FIG. 10, the effective area of each RGB signal corresponds to the image display area, and the invalid area corresponds to the non-image display area. As described above, since there is an embedded region in which the depth signal is embedded at the end of the effective region of each RGB signal, the embedded region is an image display region as shown in FIG. Corresponds to the right end.
図８に示すように、奥行き信号が埋め込まれた各ＲＧＢ信号は、信号処理装置１５２のＲＧＢ端子４０と画像表示装置１５０のＲＧＢ端子５０とを接続するケーブル５６を介して信号処理装置１５２から画像表示装置１５０に、互いにパラレルに転送される。
As shown in FIG. 8, each RGB signal in which the depth signal is embedded is transmitted from the
図１１には、図８における映像信号同期回路１６２による信号処理がフローチャートで概念的に表されている。
FIG. 11 conceptually shows a signal processing by the video
この映像信号同期回路１６２においては、まず、ステップＳ１（以下、単に「Ｓ１」で表す。他のステップについても同じとする。）において、信号処理装置１５２におけるクロック発振器２４または画像表示装置１５０におけるクロック発振器１０４から垂直同期信号が入力されるのが待たれる。入力されたならば、Ｓ２において、信号処理装置１５２におけるクロック発振器２４または画像表示装置１５０におけるクロック発振器１０４から水平同期信号が入力されるのが待たれる。
In this video
入力されたならば、Ｓ３において、走査線の番号を表すｎの値が１にセットされる。続いて、Ｓ４において、信号処理装置１５２から入力された第ｎ走査線の画像信号から輝度値が各画素に関連付けて抽出される。その画素信号のうち、輝度値を抽出するために信号を読み出す領域の位置は予め設定されている。その後、Ｓ５において、その抽出された輝度値を表す輝度値データがＲ／Ｇ／Ｂフレームバッファ９２に、今回の走査線と各画素とに関連付けて格納される。
If input, the value of n representing the scanning line number is set to 1 in S3. Subsequently, in S <b> 4, the luminance value is extracted in association with each pixel from the image signal of the nth scanning line input from the
続いて、Ｓ６において、信号処理装置１５２から入力された第ｎ走査線の画像信号からＺ値が各画素に関連付けて抽出される。その画素信号のうち、Ｚ値を抽出するために信号を読み出す領域の位置は予め設定されている。その後、Ｓ７において、その抽出されたＺ値を表すＺ値データがＺフレームバッファ１００に、今回の走査線と各画素とに関連付けて格納される。
Subsequently, in S6, a Z value is extracted from the image signal of the nth scanning line input from the
続いて、Ｓ８において、次の水平同期信号が入力されるのが待たれる。入力されたならば、Ｓ９において、走査線番号ｎの値が１だけインクリメントされ、その後、Ｓ１０において、１個の画像フレームについて輝度値およびＺ値の抽出が終了したか否かが判定される。終了していなければ、判定がＮＯとなり、Ｓ４に戻り、次の走査線について輝度値およびＺ値の抽出が行われる。 Subsequently, in S8, it is waited for the next horizontal synchronizing signal to be input. If it has been input, the value of the scanning line number n is incremented by 1 in S9, and then it is determined in S10 whether or not the extraction of the luminance value and the Z value has been completed for one image frame. If not completed, the determination is no, the process returns to S4, and the luminance value and the Z value are extracted for the next scanning line.
Ｓ４ないしＳ１０の実行が繰り返された結果、１個の画像フレームについて輝度値およびＺ値の抽出が終了したならば、Ｓ１０の判定がＹＥＳとなり、以上で、映像信号同期回路１６２の信号処理の一回のサイクルが終了する。
If the extraction of the luminance value and the Z value is completed for one image frame as a result of the execution of S4 to S10 being repeated, the determination of S10 is YES, and thus the signal processing of the video
以上の説明から明らかなように、本実施形態によれば、ＲＧＢ信号と奥行き信号とを信号処理装置１５２から画像表示装置１５０に転送するために、ＲＧＢ信号を転送するためのＲＧＢ端子４０，５０を使用すれば足り、奥行き信号を専ら転送する端子を使用せずに済む。
As is clear from the above description, according to the present embodiment, the
以上の説明から明らかなように、本実施形態においては、ＲＧＢ端子５０，５０，５０と映像信号同期回路１６２とが互いに共同して前記（６）項における「入力部」の一例を構成し、Ｒ／Ｇ／Ｂフレームバッファ９２とＺフレームバッファ１００と映像信号処理回路９４および１０２とクロック発振器１０４とが互いに共同して同項における「出力部」の一例を構成しているのである。
As is clear from the above description, in the present embodiment, the
さらに、本実施形態においては、奥行き信号埋め込み回路１５６が前記（１８）項における「画像信号生成部」の一例を構成しているのである。
Further, in the present embodiment, the depth
さらに、本実施形態においては、ＲＧＢ端子５０，５０，５０と映像信号同期回路１６２とが互いに共同して前記（２７）項における「入力部」の一例を構成し、Ｒ／Ｇ／Ｂフレームバッファ９２とＺフレームバッファ１００と映像信号処理回路９４および１０２とクロック発振器１０４とが互いに共同して同項における「出力部」の一例を構成しているのである。
Further, in the present embodiment, the
さらに、本実施形態においては、奥行き信号埋め込み回路１５６が前記（３１）項における「画像信号生成部」の一例を構成し、ＲＧＢ端子４０，４０，４０と、コンピュータ２０のうち、Ｒ／Ｇ／ＢバッファからＲＧＢ信号を読み出してＲＧＢ端子４０を経て画像表示装置１０に出力することと、Ｚバッファ３２からＺ値データを読み出してＲＧＢ端子４０，４０，４０を経て画像表示装置１０に出力することとを行う部分とが互いに共同して同項における「信号出力部」の一例を構成しているのである。
Further, in the present embodiment, the depth
なお付言すれば、本実施形態においては、各ＲＧＢ信号のうちの有効領域に奥行き信号が埋め込まれるようになっているが、例えば、図１２においてタイムチャートで示すように、各ＲＧＢ信号のうちの無効領域に奥行き信号が埋め込まれる態様で本発明を実施することが可能である。 In addition, in this embodiment, the depth signal is embedded in the effective area of each RGB signal. However, for example, as shown in the time chart of FIG. The present invention can be implemented in such a manner that the depth signal is embedded in the invalid area.
次に、本発明の第４実施形態を説明する。ただし、本実施形態は、第１実施形態と共通する要素があるため、共通する要素については、同一の符号または名称を使用して引用することにより、詳細な説明を省略し、異なる要素についてのみ詳細に説明する。 Next, a fourth embodiment of the present invention will be described. However, since this embodiment has elements in common with the first embodiment, the common elements are cited using the same reference numerals or names, and detailed description is omitted, and only different elements are cited. This will be described in detail.
本実施形態においては、図１３に示すように、画像表示装置１８０および信号処理装置１８２が、第１実施形態における画像表示装置１０および信号処理装置１２と基本的な構成をそれぞれ共通にしている。ただし、信号処理装置１８２は、第１実施形態とは異なり、Ｒ信号とＧ信号とＢ信号と奥行き信号とが、互いに同期した状態で、パラレルに出力する。
In the present embodiment, as shown in FIG. 13, the
さらに、本実施形態においては、画像表示装置１８０のうちのコントローラ１８６が、その信号処理装置１８２の変更に合わせて、その信号処理装置１８２から入力されたＲ信号とＧ信号とＢ信号と奥行き信号とを、互いに同期した状態で、強度変調素子７６と波面変調素子７８とにそれぞれパラレルに出力するように設計されている。
Further, in the present embodiment, the
具体的には、図１３に示すように、信号処理装置１８２は、同期的Ｄ／Ａ変換器１９０を備えている。この同期的Ｄ／Ａ変換器１９０は、メモリ部２２から互いにパラレルに供給されたＲ輝度値データと、Ｇ輝度値データと、Ｂ輝度値データと、Ｚ値データとを、互いにパラレルに、かつ、互いに同期させて、画像表示装置１８０に出力する。
Specifically, as shown in FIG. 13, the
さらに、同期的Ｄ／Ａ変換器１９０は、それらデジタルデータをアナログ信号に変換する。具体的には、同期的Ｄ／Ａ変換器１９０は、互いにパラレルなＲ輝度値データとＧ輝度値データとＢ輝度値データとＺ値データとを、いずれもアナログ信号で互いにパラレルなＲ輝度信号とＧ輝度信号とＢ輝度信号とＺ値信号とに変換する。
Further, the synchronous D /
信号処理装置１８２は、Ｒ輝度値データとＧ輝度値データとＢ輝度値データとＺ値データとをそれぞれ表すＲ信号とＧ信号とＢ信号とＺ値信号とをそれぞれ出力するためのＲ信号用端子４０とＧ信号用端子４０とＢ信号用端子４０とＺ値信号端子１９４とを備えている。これに対応して、画像表示装置１８０は、Ｒ信号とＧ信号とＢ信号とＺ値信号とをそれぞれ入力するためのＲ信号用端子５０とＧ信号用端子５０とＢ信号用端子５０とＺ値信号端子１９６とを備えている。
The
本実施形態においては、信号処理装置１８２と画像表示装置１８０とのそれぞれにつき、Ｚ値信号端子１９４，１９６は、奥行き再現用の専用端子として装着されている。ただし、信号処理装置１８２はＲＧＢ端子４０，４０，４０を２組、画像表示装置１８０はＲＧＢ端子５０，５０，５０を２組備えている場合には、ＲＧＢ信号の転送に使用しない組のＲＧＢ端子４０，４０，４０，５０，５０，５０のうちの一部のピン（例えば、Ｒ輝度信号用ピン）をＺ値信号端子１９４，１９６として使用することが可能である。また、信号処理装置１８２および画像表示装置１８０がいずれも、音声端子を備えている場合には、その音声端子をＺ値信号端子１９４，１９６として使用することが可能である。
In the present embodiment, for each of the
図１３に示すように、画像表示装置１８０のうちのコントローラ１８６は、信号処理回路２００を備えている。信号処理回路２００は、同期する状態でそのコントローラ１８６に入力されたＲ信号とＧ信号とＢ信号とＺ値信号とを、その同期状態を維持しつつ、強度変調素子７６と波面変調素子７８とにそれぞれパラレルに出力する。
As shown in FIG. 13, the
以上の説明から明らかなように、本実施形態においては、ＲＧＢ端子５０，５０，５０とＺ値信号端子１９６とが互いに共同して前記（１２）項における「入力部」の一例を構成し、信号処理回路２００が同項における「出力部」の一例を構成しているのである。
As is clear from the above description, in the present embodiment, the
さらに、本実施形態においては、ＲＧＢ端子４０，４０，４０とＺ値信号端子１９４と同期的Ｄ／Ａ変換器１９０とが互いに共同して前記（２４）項における「信号出力部」の一例を構成しているのである。
Further, in the present embodiment, the
以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の開示］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present invention have been described in detail with reference to the drawings. However, these are exemplifications, and are based on the knowledge of those skilled in the art including the aspects described in the section of [Disclosure of the Invention]. The present invention can be implemented in other forms with various modifications and improvements.
１０，１２０，１５０，１８０ 画像表示装置
１２，１２２，１５２，１８２ 信号処理装置
３２ Ｚバッファ
３４ レンダリング部
７２，１３４，１６０，１８６ コントローラ
７４ 光源
７６ 強度変調素子
７８ 波面変調素子
８０ スキャナ
９０，９８，１３２，１６２ 映像信号同期回路
１３０ スタート信号埋め込み回路
１５６ 奥行き信号埋め込み回路
１９０ 同期的Ｄ／Ａ変換器
２００ 信号処理回路
10, 120, 150, 180
Claims (8)
光を出射する出射部であって、その出射する光の強度を、前記画像が分割された複数の領域に関して個別的に変調する強度変調が可能である強度変調部を有するものと、
その出射部から出射した光の波面曲率を、前記複数の領域に関して個別的に変調する波面曲率変調が可能である波面曲率変調器と、
前記画像の輝度を前記各領域に関連付けて表す輝度信号と、前記画像の奥行きを前記各領域に関連付けて表す奥行き信号とに基づき、前記強度変調と前記波面曲率変調とをそれぞれ制御するコントローラと
を含み、
そのコントローラは、
（ａ）前記輝度信号と前記奥行き信号とを、予め互いに同期させられている状態で、入力する入力部と、
（ｂ）それら入力された輝度信号と奥行き信号とを、互いに同期する状態で、前記強度変調部と前記波面曲率変調器とに出力する出力部と
を含む画像表示装置。 An image display device that displays an image representing a three-dimensional display object in three dimensions to an observer,
An emission unit that emits light, and having an intensity modulation unit capable of intensity modulation that individually modulates the intensity of the emitted light with respect to a plurality of regions into which the image is divided;
A wavefront curvature modulator capable of wavefront curvature modulation that individually modulates the wavefront curvature of the light emitted from the emission section with respect to the plurality of regions;
A controller for controlling each of the intensity modulation and the wavefront curvature modulation based on a luminance signal representing the luminance of the image in association with each region and a depth signal representing the depth of the image in association with each region; Including
The controller is
(A) an input unit that inputs the luminance signal and the depth signal in a state in which the luminance signal and the depth signal are synchronized in advance;
(B) An image display device including an output unit that outputs the input luminance signal and depth signal to the intensity modulation unit and the wavefront curvature modulator in a synchronized state .
光を出射する出射部であって、その出射する光の強度を、前記画像が分割された複数の領域に関して個別的に変調する強度変調が可能である強度変調部を有するものと、
その出射部から出射した光の波面曲率を、前記複数の領域に関して個別的に変調する波面曲率変調が可能である波面曲率変調器と、
前記画像の輝度を前記各領域に関連付けて表す輝度信号と、前記画像の奥行きを前記各領域に関連付けて表す奥行き信号とに基づき、前記強度変調と前記波面曲率変調とをそれぞれ制御するコントローラと
を含み、
そのコントローラは、
（ａ）前記奥行き信号が前記輝度信号に埋め込まれて成る画像信号が入力される入力部と、
（ｂ）その入力された画像信号から前記輝度信号と前記奥行き信号とを抽出し、それら抽出された輝度信号と奥行き信号とを、互いに同期させる処理を行った後に、前記強度変調部と前記波面曲率変調器とに出力する出力部と
を含み、
前記輝度信号は、前記複数の領域に関して個別に前記輝度を表す複数の個別輝度信号を含むように構成され、
前記奥行き信号は、前記複数の領域に関して個別に前記奥行きを表す複数の個別奥行き信号を含むように構成され、
前記画像信号は、当該画像表示装置の画像表示領域に対応する有効領域と、当該画像表示装置の非画像表示領域に対応する無効領域とを含む信号として構成され、
前記有効領域に、その有効領域に対応する画像に対応する前記個別輝度信号と前記個別奥行き信号とが存在している画像表示装置。 An image display device that displays an image representing a three-dimensional display object in three dimensions to an observer,
An emission unit that emits light, and having an intensity modulation unit capable of intensity modulation that individually modulates the intensity of the emitted light with respect to a plurality of regions into which the image is divided;
A wavefront curvature modulator capable of wavefront curvature modulation that individually modulates the wavefront curvature of the light emitted from the emission section with respect to the plurality of regions;
A controller for controlling the intensity modulation and the wavefront curvature modulation based on a luminance signal representing the luminance of the image in association with each region and a depth signal representing the depth of the image in association with each region;
Including
The controller is
(A) an input unit to which an image signal in which the depth signal is embedded in the luminance signal is input;
(B) Extracting the luminance signal and the depth signal from the input image signal, and performing a process of synchronizing the extracted luminance signal and depth signal with each other, and then performing the intensity modulation unit and the wavefront An output unit for outputting to the curvature modulator;
Including
The luminance signal is configured to include a plurality of individual luminance signals representing the luminance individually with respect to the plurality of regions,
The depth signal is configured to include a plurality of individual depth signals representing the depth individually for the plurality of regions;
The image signal is configured as a signal including an effective area corresponding to an image display area of the image display apparatus and an invalid area corresponding to a non-image display area of the image display apparatus,
The image display apparatus in which the individual luminance signal and the individual depth signal corresponding to an image corresponding to the effective area are present in the effective area .
光を出射する出射部であって、その出射する光の強度を、前記画像が分割された複数の領域に関して個別的に変調する強度変調が可能である強度変調部を有するものと、
その出射部から出射した光の波面曲率を、前記複数の領域に関して個別的に変調する波面曲率変調が可能である波面曲率変調器と、
前記画像の輝度を前記各領域に関連付けて表す輝度信号と、前記画像の奥行きを前記各領域に関連付けて表す奥行き信号とに基づき、前記強度変調と前記波面曲率変調とをそれぞれ制御するコントローラと
を含み、
そのコントローラは、
（ａ）前記奥行き信号が前記輝度信号に埋め込まれて成る画像信号が入力される入力部と、
（ｂ）その入力された画像信号から前記輝度信号と前記奥行き信号とを抽出し、それら抽出された輝度信号と奥行き信号とを、互いに同期させる処理を行った後に、前記強度変調部と前記波面曲率変調器とに出力する出力部と
を含み、
前記輝度信号は、前記複数の領域に関して個別に前記輝度を表す複数の個別輝度信号を含むように構成され、
前記奥行き信号は、前記複数の領域に関して個別に前記奥行きを表す複数の個別奥行き信号を含むように構成され、
前記画像信号は、当該画像表示装置の画像表示領域に対応する有効領域と、当該画像表示装置の非画像表示領域に対応する無効領域とを含む信号として構成され、
前記無効領域に、その無効領域に先行するかまたは後続する前記有効領域に対応する画像に対応する前記個別奥行き信号が埋め込まれている画像表示装置。 An image display device that displays an image representing a three-dimensional display object in three dimensions to an observer,
An emission unit that emits light, and having an intensity modulation unit capable of intensity modulation that individually modulates the intensity of the emitted light with respect to a plurality of regions into which the image is divided;
A wavefront curvature modulator capable of wavefront curvature modulation that individually modulates the wavefront curvature of the light emitted from the emission section with respect to the plurality of regions;
A controller for controlling the intensity modulation and the wavefront curvature modulation based on a luminance signal representing the luminance of the image in association with each region and a depth signal representing the depth of the image in association with each region;
Including
The controller is
(A) an input unit to which an image signal in which the depth signal is embedded in the luminance signal is input;
(B) Extracting the luminance signal and the depth signal from the input image signal, and performing a process of synchronizing the extracted luminance signal and depth signal with each other, and then performing the intensity modulation unit and the wavefront An output unit for outputting to the curvature modulator;
Including
The luminance signal is configured to include a plurality of individual luminance signals representing the luminance individually with respect to the plurality of regions,
The depth signal is configured to include a plurality of individual depth signals representing the depth individually for the plurality of regions;
The image signal is configured as a signal including an effective area corresponding to an image display area of the image display apparatus and an invalid area corresponding to a non-image display area of the image display apparatus,
The image display device in which the individual depth signal corresponding to an image corresponding to the effective area preceding or succeeding the invalid area is embedded in the invalid area .
前記画像信号は、前記奥行き信号が前記ＲＧＢ信号に埋め込まれて成る信号であり、
前記入力部は、前記ＲＧＢ信号を入力するための入力側ＲＧＢ端子を含み、
前記画像信号のうちの奥行き信号は、同じ画像信号のうちのＲＧＢ信号と共に、前記入力側ＲＧＢ端子を介して当該画像表示装置に入力される請求項２ないし４のいずれかに記載の画像表示装置。 The luminance signal is an RGB signal,
The image signal is a signal formed by embedding the depth signal in the RGB signal,
The input unit includes an input side RGB terminal for inputting the RGB signal,
5. The image display device according to claim 2, wherein a depth signal of the image signals is input to the image display device via the input-side RGB terminal together with an RGB signal of the same image signal. .
請求項２または４ないし６のいずれかに記載の画像表示装置と、 An image display device according to claim 2 or 4 to 6, and
その画像表示装置に前記輝度信号と前記奥行き信号とを出力する信号出力部を有する信号処理装置と A signal processing device having a signal output unit for outputting the luminance signal and the depth signal to the image display device;
を含み、 Including
その信号処理装置は、 The signal processor is
さらに、前記奥行き信号を前記輝度信号に埋め込んで前記画像信号を生成する画像信号生成部を含み、 And an image signal generation unit that embeds the depth signal in the luminance signal and generates the image signal,
前記信号出力部は、その生成された画像信号を前記画像表示装置に出力するものである画像表示システム。 The signal output unit is an image display system that outputs the generated image signal to the image display device.
前記画像信号は、前記奥行き信号が前記ＲＧＢ信号に埋め込まれて成る信号であり、 The image signal is a signal formed by embedding the depth signal in the RGB signal,
前記信号出力部は、前記ＲＧＢ信号を出力するための出力側ＲＧＢ端子を含み、 The signal output unit includes an output side RGB terminal for outputting the RGB signal,
前記画像信号のうちの奥行き信号は、同じ画像信号のうちのＲＧＢ信号と共に、前記出力側ＲＧＢ端子を介して前記信号出力部から出力される請求項７に記載の画像表示システム。 The image display system according to claim 7, wherein the depth signal of the image signals is output from the signal output unit via the output RGB terminal together with the RGB signals of the same image signal.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004077977A JP4506219B2 (en) | 2004-03-18 | 2004-03-18 | Image display device and image display system |
| PCT/JP2004/019055 WO2005067319A1 (en) | 2003-12-25 | 2004-12-21 | Image display device and signal processing device |
| EP04807412A EP1705929A4 (en) | 2003-12-25 | 2004-12-21 | Image display device and signal processing device |
| US11/472,253 US8089506B2 (en) | 2003-12-25 | 2006-06-22 | Image display apparatus and signal processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004077977A JP4506219B2 (en) | 2004-03-18 | 2004-03-18 | Image display device and image display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005267185A JP2005267185A (en) | 2005-09-29 |
| JP4506219B2 true JP4506219B2 (en) | 2010-07-21 |
Family
ID=35091676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004077977A Expired - Fee Related JP4506219B2 (en) | 2003-12-25 | 2004-03-18 | Image display device and image display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4506219B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007166277A (en) * | 2005-12-14 | 2007-06-28 | Nippon Telegr & Teleph Corp <Ntt> | Transmission method for three-dimensional image information, transmitting side device, and receiving side device |
| JP6759813B2 (en) | 2016-07-29 | 2020-09-23 | 株式会社Ｊｖｃケンウッド | Processing equipment, display system, display method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04289880A (en) * | 1991-03-19 | 1992-10-14 | Brother Ind Ltd | Exposure device |
| JPH0683955A (en) * | 1992-09-01 | 1994-03-25 | Oki Electric Ind Co Ltd | Three-dimensional image generating method |
| JPH07200870A (en) * | 1993-12-28 | 1995-08-04 | Sharp Corp | Stereoscopic three-dimensional image generator |
| JPH10222693A (en) * | 1997-02-05 | 1998-08-21 | Sanyo Electric Co Ltd | Device for displaying stereoscopic picture |
| JP2000147396A (en) * | 1998-11-17 | 2000-05-26 | Canon Inc | Image forming device |
| JP2000228779A (en) * | 1999-02-05 | 2000-08-15 | Sony Corp | Image processor and image processing method |
| JP2003009079A (en) * | 2001-06-19 | 2003-01-10 | Fujitsu General Ltd | Method and device for recording and reproducing monitor image |
| JP2003315728A (en) * | 2002-02-20 | 2003-11-06 | Brother Ind Ltd | Image display device |
-
2004
- 2004-03-18 JP JP2004077977A patent/JP4506219B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04289880A (en) * | 1991-03-19 | 1992-10-14 | Brother Ind Ltd | Exposure device |
| JPH0683955A (en) * | 1992-09-01 | 1994-03-25 | Oki Electric Ind Co Ltd | Three-dimensional image generating method |
| JPH07200870A (en) * | 1993-12-28 | 1995-08-04 | Sharp Corp | Stereoscopic three-dimensional image generator |
| JPH10222693A (en) * | 1997-02-05 | 1998-08-21 | Sanyo Electric Co Ltd | Device for displaying stereoscopic picture |
| JP2000147396A (en) * | 1998-11-17 | 2000-05-26 | Canon Inc | Image forming device |
| JP2000228779A (en) * | 1999-02-05 | 2000-08-15 | Sony Corp | Image processor and image processing method |
| JP2003009079A (en) * | 2001-06-19 | 2003-01-10 | Fujitsu General Ltd | Method and device for recording and reproducing monitor image |
| JP2003315728A (en) * | 2002-02-20 | 2003-11-06 | Brother Ind Ltd | Image display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005267185A (en) | 2005-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8089506B2 (en) | Image display apparatus and signal processing apparatus | |
| US8665518B2 (en) | Stereo display system with scanning of light valves | |
| US8174565B2 (en) | Three-dimensional image display system | |
| JP4735234B2 (en) | Image display system | |
| JP4923863B2 (en) | Image display system, image display apparatus, and image correction processing program | |
| CN102981351B (en) | Projection apparatus and projection control method | |
| GB2378373A (en) | Combining graphics formats in a digital video pipeline | |
| JPH1127703A (en) | Display device and its control method | |
| JP4899412B2 (en) | Image display system and method | |
| JP2011033805A (en) | Video controller, projection-type video display device, and video display system | |
| JP2013073076A (en) | Projection type video display device | |
| JP5904754B2 (en) | Information processing system, information processing apparatus, control method therefor, and program | |
| JP4506219B2 (en) | Image display device and image display system | |
| JP2017044783A (en) | Projection system and editing system | |
| CN116661143A (en) | Image processing apparatus, image processing method, and storage medium | |
| KR102022980B1 (en) | Method and program for providing augmented reality by using depth data | |
| JP2005250978A (en) | Three-dimensional picture processor and three-dimensional picture processing method | |
| US20150130899A1 (en) | Display apparatus and method for controlling display apparatus | |
| US20230056459A1 (en) | Image processing device, method of generating 3d model, learning method, and program | |
| JP2005130360A (en) | Image display device having distortion correcting function in image display | |
| JP2019134206A (en) | Projection device and control method therefor | |
| WO2020050222A1 (en) | Image reproduction device, image generation device, image generation method, control program, and recording medium | |
| JP2000050315A (en) | Method and device for controlling gradation display of stereoscopic image | |
| JP2833348B2 (en) | Three-dimensional image display device and three-dimensional image display method | |
| CN112106115A (en) | Method of estimating light for augmented reality and electronic device thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4506219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |