JP2008077035A - Calibration method of image signal, image forming device using the same, image forming system and image forming method - Google Patents
Calibration method of image signal, image forming device using the same, image forming system and image forming method Download PDFInfo
- Publication number
- JP2008077035A JP2008077035A JP2006332091A JP2006332091A JP2008077035A JP 2008077035 A JP2008077035 A JP 2008077035A JP 2006332091 A JP2006332091 A JP 2006332091A JP 2006332091 A JP2006332091 A JP 2006332091A JP 2008077035 A JP2008077035 A JP 2008077035A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scanning
- image signal
- light
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Mechanical Optical Scanning Systems (AREA)
- Mechanical Light Control Or Optical Switches (AREA)
- Projection Apparatus (AREA)
Abstract
Description
本発明は、画像情報に対応して変調された画像光を画像生成面上に走査して画像を生成する際の画像信号の較正方法、これを用いた画像生成装置、画像生成システム及び画像生成方法に関する。 The present invention relates to a method for calibrating an image signal when an image is generated by scanning image light modulated in accordance with image information on an image generation surface, an image generation apparatus, an image generation system, and an image generation using the image signal. Regarding the method.
プロジェクタやプリンタ等の光源からの光を画像生成面上に描画して２次元画像を表示する画像生成装置において、１次元的な画像情報を有する画像光を、走査光学系により走査しながら画像生成面に投影することで２次元画像を形成する装置が知られている（例えば特許文献１参照。）。
１次元の画像光を変調する光変調素子として、米国Silicon Light Machine社が開発した回折ライトバルブ（ＧＬＶ：grating light valve)が知られている(例えば、特許文献２参照。)。
通常の２次元表示用の光変調素子と比較して、このＧＬＶを用いる場合は、縦方向の画素数は同じになるが、横方向は少なくとも１個あればよいので、２次元画像表示に必要な画素数が少なくすむという利点がある。また、ＧＬＶのリボン素子と呼ばれている電極部分は、サイズが例えば約１μｍ×４０μｍ程度と非常に小さいので、高い解像度、高速なスイッチング速度及び広い帯域幅の表示が可能である一方、低い印加電圧で動作されるので、非常に小型化された光変調装置及び画像生成装置を実現することが期待されている。
In an image generation apparatus that displays light from a light source such as a projector or printer on an image generation surface and displays a two-dimensional image, image generation is performed while scanning image light having one-dimensional image information with a scanning optical system. An apparatus that forms a two-dimensional image by projecting onto a surface is known (for example, see Patent Document 1).
As a light modulation element that modulates one-dimensional image light, a diffractive light valve (GLV) developed by Silicon Light Machine (USA) is known (for example, see Patent Document 2).
When this GLV is used, the number of pixels in the vertical direction is the same as that of a normal light modulation element for two-dimensional display, but at least one pixel is required in the horizontal direction, so it is necessary for two-dimensional image display. There is an advantage that a small number of pixels can be reduced. In addition, the electrode portion called a GLV ribbon element is very small, for example, about 1 μm × 40 μm, so that high resolution, high switching speed and wide bandwidth can be displayed, while low application Since it is operated with a voltage, it is expected to realize a light modulation device and an image generation device that are very miniaturized.
このような１次元型の光変調素子により変調した画像光をスクリーン等の画像生成面上に走査する方法としては、従来は一方の走査方向の走査時のみに画像を描画する方法が採られている。図１４は、この走査方法において画像生成面上の走査位置の時間変化の一例を示す図である。図１４に示すように、この場合、往路すなわち正方向では、期間Ｔ１ａ内にガルバノミラー等の走査素子の回転速度がゼロから所定の速度まで加速され、期間Ｔ１で略一定の速度で画像生成面上を走査する。その後の期間Ｔ２内で回転速度がゼロまで減速し、逆方向の回転を開始して元の位置に戻り、再び期間Ｔ１ａ内で往路の回転を開始する。
この場合、期間Ｔ２では走査素子の回転速度を調整するとか、次回走査のために元の位置に戻るだけで、投影や結像などの描画をせず、期間Ｔ１内だけ描画する。つまりＴ２の無駄な時間が生じており、スキャナの利用効率が低いという問題がある。スキャナの利用効率を高めるには、例えば戻り方向の移動時間Ｔ２を短縮する方法があるが、短時間にスキャナ、例えばガルバノミラーを戻すためには大きな駆動力を加えなければならない。この場合はスキャニングシステムの電力量の増大とスキャンミラーの機械的な強度を高める必要があり、これを実現するためにスキャニングシステムが大型化し、コスト高を招来するという問題がある。
また、光源として例えば半導体レーザ等のレーザ装置を用いる場合、上述の期間Ｔ２における無効時間でも出射は続けており、この期間の光が無駄となり、光利用効率が低いという問題もある。
As a method of scanning image light modulated by such a one-dimensional light modulation element on an image generation surface such as a screen, a method of drawing an image only during scanning in one scanning direction has been conventionally employed. Yes. FIG. 14 is a diagram showing an example of a temporal change in the scanning position on the image generation surface in this scanning method. As shown in FIG. 14, in this case, in the forward path, that is, in the positive direction, the rotation speed of the scanning element such as a galvanomirror is accelerated from zero to a predetermined speed in the period T1a, and the image generation surface is at a substantially constant speed in the period T1. Scan up. In the subsequent period T2, the rotation speed is reduced to zero, the rotation in the reverse direction is started to return to the original position, and the forward rotation is started again in the period T1a.
In this case, in the period T2, the rotation speed of the scanning element is adjusted, or only returning to the original position for the next scan, and drawing is performed only in the period T1, without drawing or projecting. That is, there is a problem that the useless time of T2 occurs and the utilization efficiency of the scanner is low. In order to increase the utilization efficiency of the scanner, for example, there is a method of shortening the moving time T2 in the return direction. However, in order to return the scanner, for example, the galvanometer mirror in a short time, a large driving force must be applied. In this case, it is necessary to increase the amount of power of the scanning system and to increase the mechanical strength of the scan mirror. To realize this, there is a problem that the scanning system becomes large and costs increase.
Further, when a laser device such as a semiconductor laser is used as the light source, the emission continues even during the invalid time in the above-described period T2, and there is a problem that light in this period is wasted and the light use efficiency is low.
これに対し、ガルバノミラー等のスキャナの復路でも投影を行う往復走査による画像生成方法が提案されている（例えば特許文献３参照。）。 On the other hand, an image generation method by reciprocating scanning in which projection is performed even in the return path of a scanner such as a galvanometer mirror has been proposed (for example, see Patent Document 3).
ところで、上記特許文献３に記載されているような往復走査による画像の描画を行う場合、画面の一端において動画が二重に見える、あるいはぼやけてしまうという問題がある。例えばフライトシミュレータ、ゲームコンテンツ、アニメーション等のＣＧ（コンピュータグラフィックス）表示は比較的輪郭が明瞭な画像や文字情報であり、このような二重表示やぼやけが顕著である。特に文字が画面上を移動して文章を表示するいわゆるテロップを描画する場合、画面の特定位置において文字が二重に見えてしまうという不都合が生じてしまう。 By the way, when drawing an image by reciprocating scanning as described in Patent Document 3, there is a problem that the moving image looks double or blurs at one end of the screen. For example, CG (computer graphics) displays such as flight simulators, game contents, and animations are images and character information with relatively clear outlines, and such double display and blurring are remarkable. In particular, when drawing a so-called telop in which characters move on the screen and display a sentence, there is a disadvantage that the characters appear double at a specific position on the screen.
以上の問題に鑑みて、本発明は、画像生成面上に画像信号に対応して変調された画像光を走査して画像を生成する場合において、往復走査による表示の際に顕著な動画の劣化を抑制することを目的とする。 In view of the above-described problems, the present invention significantly reduces the moving image when displaying by reciprocating scanning when an image is generated by scanning image light modulated in accordance with an image signal on the image generation surface. It aims at suppressing.
上記課題を解決するため、本発明による画像信号の較正方法は、画像光を画像生成面上に走査して画像を生成する画像信号の較正方法であって、画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、この移動体の移動方向及び移動速度に対応して補正するものである。 In order to solve the above problems, an image signal calibration method according to the present invention is an image signal calibration method for generating an image by scanning image light on an image generation surface, and drawing at a drawing position on the image generation surface. The displacement of the moving body caused by the difference in the period is corrected corresponding to the moving direction and moving speed of the moving body.
本発明者は、上述した往復走査時において顕著な動画像のぼやけや二重に見えるなどの不都合が、描画周期の違いによって生じることを究明した。一例として、描画周期を一定として作成した画像信号を用いてそのまま例えば往復走査により描画を行う場合を考える。この場合、画面上の位置により描画周期が異なり、例えば中央位置は描画周期が略一定となるが、両端部では描画周期が大きく異なる。描画周期を一定として作成した画像信号によりそのまま画像を生成すると、このような描画周期の大きく異なる領域では、移動体の運動が不自然となってしまう。つまり、画面の特定位置において移動体が二重に見えたりぼやけたりするという不具合が生じることとなる。また、画面中の移動体を視線が追従して観察しているにも拘わらず、移動体が不自然な位置に表示されてしまうため、いわば眼球運動と生成画像とに矛盾が生じることによって動画の劣化を引き起こす。したがって、本発明においてはこのような描画周期の違いによって生じる移動体の位置ずれを補正することによって、描画周期を一定とした画像をそのまま往復走査等により表示する場合と比較すると、移動体の運動をスムーズに表示して二重表示やぼやけを抑え、動画の劣化を抑制することができる。 The inventor of the present invention has found out that inconveniences such as a noticeable blurring of a moving image and a double appearance are caused by a difference in drawing cycle during the above-described reciprocating scanning. As an example, let us consider a case where drawing is performed as it is, for example, by reciprocating scanning using an image signal created with a constant drawing cycle. In this case, the drawing cycle differs depending on the position on the screen. For example, the drawing cycle is substantially constant at the center position, but the drawing cycle differs greatly at both ends. If an image is generated as it is based on an image signal created with a constant drawing cycle, the movement of the moving body becomes unnatural in such a region where the drawing cycle is greatly different. That is, there is a problem that the moving body looks double or blurs at a specific position on the screen. In addition, the moving object is displayed at an unnatural position despite the fact that the moving object in the screen follows the line of sight. Cause deterioration. Therefore, in the present invention, by correcting the displacement of the moving body caused by such a difference in the drawing cycle, the movement of the moving body is compared with the case where an image with a fixed drawing cycle is displayed as it is by reciprocal scanning or the like. Can be displayed smoothly to suppress double display and blurring, and to suppress deterioration of the moving image.
また、本発明は、上述の画像信号の較正方法において、画像生成面上での画像光の走査を往復走査とする。
このように、往復走査とする場合は、往路又は復路において描画周期が短くなる領域の動画像の二重表示やぼやけを抑制することができる。
Further, according to the present invention, in the above-described image signal calibration method, scanning of image light on the image generation surface is reciprocating scanning.
As described above, in the case of reciprocating scanning, it is possible to suppress double display and blurring of a moving image in an area where the drawing cycle is shortened in the forward path or the backward path.
更に、本発明は、上述の画像信号の較正方法において、目的とするフレームレートの１／２のフレームレートで画像情報に対応して作成された参照フレームの画像信号に基づいて、少なくとも移動体の画像信号を算出して補間フレームの画像信号を作成する。
このように、参照フレームから移動体の画像信号を算出することにより、例えば往復走査をする場合の復路における画像を補間フレームとして、補正された画像信号により画像を走査描画することによって、動画の劣化を抑制することが可能となる。またこの場合、低フレームレートの画像信号を用いて高フレームレートの画像の生成が可能となり、いわば画像情報の２倍のフレームレートの画像を生成することが可能となる。
Furthermore, according to the present invention, in the above-described image signal calibration method, at least the moving object is based on the image signal of the reference frame created corresponding to the image information at a frame rate that is ½ of the target frame rate. An image signal is calculated to create an image signal of an interpolation frame.
In this way, by calculating the image signal of the moving body from the reference frame, for example, the image on the return path in the case of reciprocating scanning is used as an interpolation frame, and the image is scanned and drawn with the corrected image signal, thereby degrading the moving image. Can be suppressed. In this case, an image with a high frame rate can be generated using an image signal with a low frame rate. In other words, an image with a frame rate twice that of image information can be generated.
また、本発明による画像生成装置は、上述の本発明による画像信号の較正方法を実行する演算部を設ける構成とするものである。すなわち、光源から出射される光を画像信号に対応して変調する光変調部と、この光変調部で変調された画像光を走査及び投射する走査光学部及び投射光学部とを有し、走査光学部の走査により画像生成面に描画される画像光の画像信号に対して、画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、移動体の移動方向及び移動速度に対応して補正する演算部を設ける構成とする。 The image generation apparatus according to the present invention is configured to include a calculation unit that executes the above-described image signal calibration method according to the present invention. That is, the optical modulation unit that modulates the light emitted from the light source in accordance with the image signal, and the scanning optical unit and the projection optical unit that scan and project the image light modulated by the light modulation unit With respect to the image signal of the image light drawn on the image generation surface by the scanning of the optical unit, the displacement of the moving body caused by the difference in the drawing cycle at the drawing position on the image generation surface, the moving direction and moving speed of the moving body In this case, a calculation unit that performs correction is provided.
更に、本発明による画像生成システムは、上述の本発明による画像信号の較正方法を実行する演算部と画像生成装置とより構成する。すなわち、画像信号に対応して光を変調した画像光を、画像生成面上に走査して画像を描画する画像生成装置と、画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、移動体の移動方向及び移動速度に対応して補正する演算を行う演算部と、を有する構成とする。
また、本発明による画像生成方法は、上述の本発明による画像信号の較正方法を利用して算出した画像信号を用いて画像を生成するものである。
Furthermore, an image generation system according to the present invention includes a calculation unit that executes the above-described image signal calibration method according to the present invention and an image generation apparatus. That is, an image generation device that scans an image generation surface that is modulated with light corresponding to an image signal to draw an image, and a moving body that is generated by a difference in drawing cycle at a drawing position on the image generation surface. And a calculation unit that performs a calculation to correct the positional deviation in accordance with the moving direction and moving speed of the moving body.
An image generation method according to the present invention generates an image using an image signal calculated using the above-described image signal calibration method according to the present invention.
本発明の画像生成装置、画像生成システム及び画像生成方法によれば、上述の本発明による画像信号の較正方法を利用して画像を生成することから、同様に、移動体の運動をスムーズに表示して二重表示やぼやけることを抑え、動画の劣化を抑制することができる。 According to the image generation apparatus, the image generation system, and the image generation method of the present invention, since the image is generated using the above-described image signal calibration method according to the present invention, similarly, the motion of the moving object is smoothly displayed. Thus, double display and blurring can be suppressed, and deterioration of the moving image can be suppressed.
本発明の画像信号の較正方法、画像生成装置、画像生成システム及び画像生成方法によれば、移動体の運動を良好に表示して、往復走査による表示の際に顕著な動画の劣化を抑制することができる。 According to the image signal calibration method, the image generation device, the image generation system, and the image generation method of the present invention, the movement of the moving body is displayed well, and the significant deterioration of the moving image is suppressed during the display by the reciprocating scanning. be able to.
以下本発明を実施するための最良の形態の例を説明するが、本発明は以下の例に限定されるものではない。
一般に、液晶テレビやＣＲＴ（陰極線管）型のテレビ等、また上述したＧＬＶ等の１次元光変調装置を用いて画像生成面上に走査投射によって画像を表示するプロジェクタにおいても、画面上の任意の位置における画像信号の更新レート、すなわち描画周期はほぼ一定である。したがって、画像信号も全て同じフレームレート周期にて変化するデータとなっている。
Examples of the best mode for carrying out the present invention will be described below, but the present invention is not limited to the following examples.
In general, a projector that displays an image by scanning projection on an image generation surface using a one-dimensional light modulator such as a liquid crystal television or a CRT (cathode ray tube) television or the above-described GLV is arbitrary on the screen. The update rate of the image signal at the position, that is, the drawing cycle is substantially constant. Therefore, the image signals are all data that changes at the same frame rate period.
例えばフライトシミュレータやゲームコンテンツ、アニメーション等のコンピュータグラフィックス（ＣＧ）を用いた映像を投影する場合に、ＣＧ作成時におけるレンダリングは画像の移動速度×フレームレート間隔［ｓ］で移動量を決定する。この様子を図１に示す。図１においては、横軸は時間軸、縦軸は画像生成面上の位置を示し、縦軸の下側を画像生成面の右側、上側を画像生成面の左側を示す。図１においてフレーム毎に破線Ｒ１、Ｒ２、・・・、Ｒ５で示すように、画面の右から左に向かって走査を行う場合において、画面の左側の位置から右側に向かって移動体が実線Ｍで示すように移動する際の画像生成面上の走査位置を示したものである。各フレームＦ１〜Ｆ５において描画する位置は、実線Ｍとの交点Ｐ１ｒ、Ｐｒ２、・・・Ｐｒ５となる。なお、一点鎖線ＰＲ、ＰＬはそれぞれ画像生成面の右端及び左端の位置を示す。 For example, when an image using computer graphics (CG) such as a flight simulator, game content, or animation is projected, rendering at the time of CG creation determines the amount of movement by the moving speed of the image × the frame rate interval [s]. This is shown in FIG. In FIG. 1, the horizontal axis indicates the time axis, the vertical axis indicates the position on the image generation plane, the lower side of the vertical axis indicates the right side of the image generation plane, and the upper side indicates the left side of the image generation plane. As shown by broken lines R1, R2,..., R5 for each frame in FIG. 1, when scanning from the right to the left of the screen, the moving body is shown as a solid line M from the left position to the right side of the screen. The scanning position on the image generation surface when moving is shown as shown in FIG. Drawing positions in the frames F1 to F5 are intersections P1r, Pr2,... Pr5 with the solid line M. The alternate long and short dash lines PR and PL indicate the positions of the right end and the left end of the image generation surface, respectively.
このようにして作成した画像信号を、往復走査により画像を描画する場合に適用すると、復路のフレームＦ２及びＦ４において図２に示すように、位置的及び時間的なずれが生じる。図２において、図１と対応する部分には同一符号を付して重複説明を省略する。図２中、走査方向を実線Ｓ１、Ｓ２、・・・、Ｓ５として示す。実際には走査素子の特性によって、例えば走査方向の変換前後で走査速度が変動するが、一点鎖線ＰＲ及びＰＬで示す画像生成領域内ではほぼ一定速度で走査するものとする。
このとき、走査方向が往路となるフレームＦ１、Ｆ３、Ｆ５においては、図１において示す位置Ｐ１ｒ、Ｐ３ｒ、Ｐ５ｒは、移動体の移動軌跡に対応する実線Ｍとの交点Ｍ１、Ｍ３、Ｍ５上に位置することが分かる。したがって、往路においては点Ｐ１ｄ、Ｐ３ｄ、Ｐ５ｄでそのまま画像を表示しても位置ずれは生じない。一方、走査方向が復路となるフレームＦ２及びＦ４においては、図１で求めた交点Ｐ２ｒ及びＰ４ｒと画像生成面上で走査方向には同じ位置となる点Ｐ２ｄ、Ｐ４ｄで画像信号をそのまま描画すると、実線Ｍ上の交点Ｍ２、Ｍ４（すなわち描画されるべき位置)からそれぞれ走査方向にＰｄ２、Ｐｄ４だけ位置がずれてしまう。また、これらの画像信号が描画されるべき時刻からもそれぞれｔｄ２、ｔｄ４の時間的なずれが生じ、移動体が本来描画される時刻、すなわち実線Ｓ２及びＳ４と実線Ｍとの交点Ｍ２及びＭ４からもそれぞれｔｄ２´、ｔｄ４´の時間的なずれが生じることとなる。
When the image signal created in this way is applied to the case where an image is drawn by reciprocal scanning, positional and temporal shifts occur in the return frames F2 and F4 as shown in FIG. 2, parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and redundant description is omitted. In FIG. 2, the scanning direction is shown as solid lines S1, S2,..., S5. Actually, the scanning speed fluctuates before and after conversion in the scanning direction, for example, depending on the characteristics of the scanning element, but scanning is performed at a substantially constant speed in the image generation region indicated by the alternate long and short dash lines PR and PL.
At this time, in the frames F1, F3, and F5 in which the scanning direction is the forward path, the positions P1r, P3r, and P5r shown in FIG. 1 are on the intersections M1, M3, and M5 with the solid line M corresponding to the movement locus of the moving body. You can see that it is located. Therefore, in the forward path, even if the image is displayed as it is at the points P1d, P3d, and P5d, no positional deviation occurs. On the other hand, in the frames F2 and F4 in which the scanning direction is the backward path, when the image signals are drawn as they are at the intersections P2r and P4r obtained in FIG. 1 and the points P2d and P4d that are in the same position in the scanning direction on the image generation surface, The positions are shifted by Pd2 and Pd4 in the scanning direction from the intersections M2 and M4 on the solid line M (that is, the positions to be drawn). Further, the time difference between td2 and td4 also occurs from the time at which these image signals are to be drawn, and the time at which the moving body is originally drawn, that is, from the intersections M2 and M4 between the solid lines S2 and S4 and the solid line M, is obtained. In this case, a time shift of td2 ′ and td4 ′ occurs.
このような位置ずれ及び時間的なずれは、描画周期が一定でない領域が生じるためである。一般に、往復走査を行う場合、画像生成面の中心位置では画像の更新レートは一定間隔となるが、画像生成面の中心から走査方向にずれるに従い画像の更新レートは一定ではなくなる。この様子を図３に示す。画像生成面の中心部からの画素毎の位置に対して、往復走査時の描画周期は端部に行くほど短くなり、特に端部近傍では６倍程度以上も描画周期がずれていることが分かる。
つまり、往復走査による画像描画を行う場合に前述の図１において破線Ｒ１〜Ｒ５で示すフレームレートにしたがって作成された画像信号を描画すると、画像中心部では他方式の画像生成装置と同様に問題は発生しないが、画像中心から走査方向にずれるに従い、動画中の移動体の運動を観察する眼球運動による追従と、生成される画像との矛盾が生じ、前述したような画像生成面の例えば右端や左端などの特定位置における動画の劣化が引き起こされることとなる。これは、画像信号が一定の周期で作成されたものであるのに対して、描画周期が一定ではなくなることが原因である。
Such positional shift and temporal shift are caused by a region where the drawing cycle is not constant. In general, when performing reciprocal scanning, the image update rate is constant at the center position of the image generation surface, but the image update rate is not constant as the center of the image generation surface is shifted in the scanning direction. This is shown in FIG. With respect to the position of each pixel from the center of the image generation surface, the drawing cycle at the time of reciprocating scanning becomes shorter as it goes to the end portion, and it is understood that the drawing cycle is shifted by about 6 times or more particularly near the end portion. .
In other words, when drawing an image by reciprocating scanning, if an image signal created according to the frame rate indicated by the broken lines R1 to R5 in FIG. 1 described above is drawn, there is a problem at the center of the image as in other types of image generation devices. Although it does not occur, as the image center shifts in the scanning direction, there is a discrepancy between the tracking of the eye movement that observes the movement of the moving object in the moving image and the generated image. Deterioration of the moving image at a specific position such as the left end is caused. This is because the image signal is created at a constant cycle, whereas the drawing cycle is not constant.
このような描画周期の違いによって生じるずれを補正する方法の一例を以下に説明する。先ず、画像をレンダリングする際にまずフレームレートを１／２とした条件、例えば目的とするフレームレート２４０ｆｐｓ（frame per second）の１／２である１２０ｆｐｓとしてレンダリングを行い、その画像を参照フレームと定義する。そして、参照フレームにおける動画中の移動体の移動速度と画像光の走査条件から、追従視における眼球運動と生成される画像とに矛盾が生じない画像信号を算出して求める。走査方向は、図４に示すように、往復走査とする。フレームｎ、ｎ＋２、ｎ＋４・・・において例えば右から左への往路走査、フレームｎ＋１、ｎ＋３、ｎ＋５・・・において例えば左から右への復路走査として、往路走査時に参照フレーム、復路走査時に参照フレームから算出した補間フレームの画像信号による画像光を描画する。この場合１フレームの描画時間ｔＦは１／２４０［ｓ］である。 An example of a method for correcting a shift caused by such a difference in drawing cycle will be described below. First, when rendering an image, the rendering is first performed under the condition that the frame rate is halved, for example, 120 fps which is ½ of the target frame rate 240 fps (frame per second), and the image is defined as a reference frame. To do. Then, from the moving speed of the moving object in the moving image in the reference frame and the scanning condition of the image light, an image signal that does not contradict the eye movement in the follow-up vision and the generated image is calculated and obtained. The scanning direction is reciprocating scanning as shown in FIG. For example, forward scanning from right to left in frames n, n + 2, n + 4..., For example, backward scanning from left to right in frames n + 1, n + 3, n + 5..., Reference frame during forward scanning, reference frame during backward scanning. The image light based on the image signal of the interpolation frame calculated from the above is drawn. Drawing time t F in this case one frame is 1/240 [s].
次に補間フレームの画像信号の算出方法の一例について説明する。この例においては、参照フレームにおいて描画される任意の画素（ピクセル）（ｎ，ｍ）が補間フレームにおいてどの位置に描画されるかを算出する。具体的な算出方法としては、参照フレームで表示される任意の点（移動体）が、実時間に沿って移動速度ｖｘで走査方向に移動した場合に、図５に示すように、補間フレームＦ２、Ｆ４において走査素子が実際に描画するタイミング（実線Ｓ２、Ｓ４）とこの移動体の移動軌跡（実線Ｍ）とが交わる位置Ｐ２、Ｐ４のピクセル座標（Ｐｘ、Ｐｙ）を算出することにより補間フレームの画像信号を作成する。図５において、図１及び図２と対応する部分には同一符号を付して重複説明を省略する。
なお、以下の説明では画像生成面上の走査方向をｘ方向、走査方向と直交する方向をｙ方向とする。計算パラメータを下記に示す。
Next, an example of an interpolation frame image signal calculation method will be described. In this example, it is calculated at which position an arbitrary pixel (pixel) (n, m) drawn in the reference frame is drawn in the interpolation frame. As a specific calculation method, when an arbitrary point (moving body) displayed in the reference frame moves in the scanning direction at the moving speed vx along the real time, as shown in FIG. , F4, the pixel coordinates (Px, Py) of the positions P2, P4 at which the scanning element actually draws (solid lines S2, S4) and the moving locus (solid line M) of the moving body intersect are calculated. Create an image signal. 5, parts corresponding to those in FIGS. 1 and 2 are denoted by the same reference numerals, and redundant description is omitted.
In the following description, the scanning direction on the image generation surface is the x direction, and the direction orthogonal to the scanning direction is the y direction. The calculation parameters are shown below.
ｖｘ：移動体の走査方向の移動速度［画素／ｓ］
ｖｓ：画像生成面上の走査位置の移動速度［画素／ｓ］
Ｔｆｂ：参照フレームのブランキング時間［ｓ］
Ｔｒｂ：補間フレームのブランキング時間［ｓ］
ｔｐ：１ピクセルを描画する時間［ｓ］
Ｎｆ：1秒間のフレーム数
Ｎｐ：ｘ方向（走査方向）の画素数
vx: moving speed of moving body in scanning direction [pixel / s]
vs: moving speed of the scanning position on the image generation surface [pixel / s]
Tfb: reference frame blanking time [s]
Trb: Interpolation frame blanking time [s]
tp: time to draw one pixel [s]
Nf: number of frames per second Np: number of pixels in the x direction (scanning direction)
図５に示す参照フレームＦ１、Ｆ３及びＦ５の移動体の位置Ｐｏは、実時間上では走査方向に対して下記の式（１）で表される軌跡上を移動する。
Ｐｏ＝ｖｘ×｛ｔ−（Ｔｆｂ＋ｔｐ×ｎ）｝＋ｎ ・・・（１）
一方、走査素子によって走査される描画位置は、補間フレームにおいては、下記の式（２）で表される。
Ｐｓ＝ｖｓ×｛ｔ−（１／Ｎｆ＋Ｔｒｂ）｝＋Ｎｐ ・・・（２）
なお、ここでｔは、１／Ｎｆ＋Ｔｒｂ≦ｔ≦１／（Ｎｆ／２）の範囲とする。１秒間のフレーム数Ｎｆとしては参照フレームと補間フレームを合わせた例えば２４０であり、１／Ｎｆは１フレームあたりの走査時間となる。
The position Po of the moving body of the reference frames F1, F3, and F5 shown in FIG. 5 moves on the locus represented by the following expression (1) with respect to the scanning direction in real time.
Po = vx × {t− (Tfb + tp × n)} + n (1)
On the other hand, the drawing position scanned by the scanning element is expressed by the following equation (2) in the interpolation frame.
Ps = vs × {t− (1 / Nf + Trb)} + Np (2)
Here, t is in the range of 1 / Nf + Trb ≦ t ≦ 1 / (Nf / 2). The number Nf of frames per second is, for example, 240 including the reference frame and the interpolation frame, and 1 / Nf is the scanning time per frame.
これらの軌跡が交わる時間ｔ（ｎ）に描画されている画素（ピクセル）が補間画像で表すべき位置Ｐｘとなる。ここで、Ｐｏ＝Ｐｓを満たす時間ｔ（ｎ）は、下記の数１で表される。 A pixel (pixel) drawn at a time t (n) at which these trajectories intersect is a position Px to be represented by the interpolation image. Here, the time t (n) that satisfies Po = Ps is expressed by the following formula 1.
なお、上記数１においては、ｖｘ≦ｖｓとする。 In Equation 1, vx ≦ vs.
そして、補間フレームにおけるピクセルと時間の関係は、下記の式（３）により表される。
ｔ＝１／Ｎｆ＋Ｔｒｂ＋ｔｐ×（Ｎｐ−Ｐｘ） ・・・（３）
上記式（３）を展開し、時間ｔにｔ（ｎ）を代入すると、下記数２となる。
The relationship between the pixel and time in the interpolation frame is expressed by the following equation (3).
t = 1 / Nf + Trb + tp × (Np−Px) (3)
When the above formula (3) is expanded and t (n) is substituted for time t, the following formula 2 is obtained.
上記数２のｔ(ｎ)に、上記数１により求めたＰｏ＝Ｐｓを満たす時間ｔ（ｎ）を導入することによって、補間フレームＦ２、Ｆ４におけるｘ軸上の位置Ｐｘを算出することができる。
一方、ｙ方向に関しては、上記数１により求めたｔ（ｎ）と速度ｖｙ［画素／ｓ］を用いて補間画像で表すべき位置Ｐｙを算出する。この位置Ｐｙは、下記の数３により表される。
By introducing the time t (n) that satisfies Po = Ps obtained by the above equation 1 into the t (n) of the above equation 2, the position Px on the x axis in the interpolation frames F2 and F4 can be calculated. .
On the other hand, for the y direction, the position Py to be represented in the interpolated image is calculated using t (n) and the speed vy [pixel / s] obtained by the above equation 1. This position Py is represented by the following formula 3.
以上の数１〜数３により求めた位置Ｐｘ、Ｐｙに補間画像を作成して信号を割り当てることによって、移動体の運動に対する眼球運動とのずれが殆どなく、滑らかに移動する移動体の表示を行うことが可能となる。
特に、ＣＧによる各種画像や文字情報、テロップの表示に際して、画像生成面上のどの位置でも明確な表示を行うことができることとなる。
By creating an interpolation image and assigning signals to the positions Px and Py obtained by the above equations 1 to 3, there is almost no deviation from the eye movement with respect to the movement of the moving body, and the display of the moving body that moves smoothly can be displayed. Can be done.
In particular, when various images, character information, and telops are displayed by CG, clear display can be performed at any position on the image generation surface.
なお、補間画像となる点を算出したときに、その位置が元の画像の画素位置と完全に一致するわけではないので、その場合は算出された補間画素位置から対応する各画素に対して画像情報（カラー表示の場合は色情報）を分配する形で画像データを作成することが望ましい。 Note that when calculating a point to be an interpolated image, the position does not completely match the pixel position of the original image, so in that case, an image for each corresponding pixel is calculated from the calculated interpolated pixel position. It is desirable to create image data in the form of distributing information (color information in the case of color display).
例えば、上記の演算により求めた位置Ｐｘ及びＰｙが小数点を含む数値であり、Ｐｘ（ｉｎ）及びＰｙ（ｉｎ）はそれぞれＰｘ及びＰｙの整数部、Ｐｘ（ｄｅ）及びＰｙ（ｄｅ）はそれぞれＰｘ及びＰｙの小数部とする。すなわち、
Ｐｘ＝Ｐｘ（ｉｎ）＋Ｐｘ（ｄｅ） ・・・（４）
Ｐｙ＝Ｐｙ（ｉｎ）＋Ｐｙ（ｄｅ） ・・・（５）
とする。
For example, the positions Px and Py obtained by the above calculation are numerical values including a decimal point, Px (in) and Py (in) are integer parts of Px and Py, respectively, and Px (de) and Py (de) are Px, respectively. And the decimal part of Py. That is,
Px = Px (in) + Px (de) (4)
Py = Py (in) + Py (de) (5)
And
補間フレーム中の画素位置におけるデータ、例えば輝度情報をdata［ｎ＊，ｍ＊］とし、すなわちｎ＊＝Ｐｘ（ｉｎ）、ｍ＊＝Ｐｙ（ｉｎ）として、元の画像フレーム中の画素位置［ｎ，ｍ］におけるデータをdata［ｎ，ｍ］とすると、以下の式（６）〜（９）に示すように小数部のデータを割り当てる。すなわち、
data［ｎ＊，ｍ＊］＝data［ｎ，ｍ］×〔{１−Ｐｘ(ｄｅ)}×{１−Ｐｙ(ｄｅ)}〕・・・（６）
data［ｎ＊＋１，ｍ＊］＝data［ｎ，ｍ］×〔Ｐｘ(ｄｅ)×{１−Ｐｙ（ｄｅ）}〕・・（７）
data［ｎ＊，ｍ＊＋１］＝data［ｎ，ｍ］×〔{１−Ｐｘ（ｄｅ）}×Ｐｙ（ｄｅ）〕・・（８）
data［ｎ＊＋１，ｍ＊＋１］＝data［ｎ，ｍ］×{Ｐｘ（ｄｅ）×Ｐｙ（ｄｅ）}・・（９）
とする。
Data at pixel positions in the interpolation frame, for example, luminance information is set to data [n * , m * ], that is, n * = Px (in), m * = Py (in), and the pixel position in the original image frame [ Assuming that data [n, m] is data [n, m], decimal part data is allocated as shown in the following equations (6) to (9). That is,
data [n * , m * ] = data [n, m] × [{1-Px (de)} × {1-Py (de)}] (6)
data [n * + 1, m * ] = data [n, m] × [Px (de) × {1-Py (de)}] (7)
data [n * , m * + 1] = data [n, m] × [{1-Px (de)} × Py (de)] (8)
data [n * + 1, m * + 1] = data [n, m] × {Px (de) × Py (de)} (9)
And
このように、求めた画素位置が小数点を有する場合に、隣接する画素に小数点以下の分のデータを割り当てる場合の一例を図６Ａ及びＢに示す。例えば図６Ａに示すように、求めた画素位置がｘ方向ではＰｍとＰｍ＋１の間、ｙ方向ではＰｎとＰｎ＋１との間であるとき、図６Ｂに示すように、画像信号を画素位置（Ｐｎ，Ｐｍ）、（Ｐｎ＋１，Ｐｍ）、（Ｐｎ，Ｐｍ＋１）、（Ｐｎ＋１，Ｐｍ＋１）に分配する。図示の例では、画素位置（Ｐｎ，Ｐｍ）が最も輝度が高く、次いで画素位置（Ｐｎ＋１，Ｐｍ）、（Ｐｍ＋１，Ｐｎ）の順に輝度が低くなり、画素位置（Ｐｎ+１，Ｐｍ+１）で最も輝度が低くなるように濃淡をもたせて表示する例を示す。図６Bにおいては輝度の高い画素を比較的濃く、輝度の低い画素を比較的薄い濃度をもって示す。このように、小数点以下の分のデータを隣接する画素に分散させてグラデーションをもたせて表示することによって、より自然に移動体の動きを表示して、スムーズな動画表示を行うことができることとなる。 FIGS. 6A and 6B show examples of assigning data for the fractional part to adjacent pixels when the obtained pixel position has a decimal point. For example, as shown in FIG. 6A, when the obtained pixel position is between Pm and Pm + 1 in the x direction and between Pn and Pn + 1 in the y direction, as shown in FIG. Pm), (Pn + 1, Pm), (Pn, Pm + 1), and (Pn + 1, Pm + 1). In the illustrated example, the pixel position (Pn, Pm) has the highest luminance, and then the luminance decreases in the order of the pixel position (Pn + 1, Pm), (Pm + 1, Pn), and the pixel position (Pn + 1, Pm + 1). Shows an example in which the display is shaded so that the luminance is the lowest. In FIG. 6B, pixels with high luminance are shown relatively dark, and pixels with low luminance are shown with a relatively low density. In this way, by displaying the data after the decimal point dispersed in adjacent pixels and providing a gradation, the movement of the moving body can be displayed more naturally and smooth moving image display can be performed. .
上記数１〜数３、更に式（６）〜式（９）による演算によって補間フレームの画像信号を作成することによって、移動体の動きが自然に表示され、動画の劣化を抑制することができる。なお、背景画像などの静止画像についてはこのような画像信号の較正は必要なく、動画部分を含む重ね合わせ画像の全画素に対して上記演算を行えばよい。背景画像などと重ね合わせることで最終的に一つの画像となる。 By creating the image signal of the interpolated frame by the calculation according to the above formulas 1 to 3 and further the formulas (6) to (9), the movement of the moving body is naturally displayed, and the degradation of the moving image can be suppressed. . For still images such as background images, such image signal calibration is not necessary, and the above calculation may be performed on all pixels of the superimposed image including the moving image portion. By overlapping with the background image, etc., it finally becomes one image.
また、ＣＧなどの画像のみならず通常のビデオ映像などの場合においても、例えば１２０ｆｐｓの動画像が入力された場合には、その入力画像を参照フレームとして、前（又は後）の参照フレームとの差分から動画部分を認識し移動速度を求める。求めた移動速度を用いて上記数１〜数３、式（６）〜（９）から補間フレームを算出することで、２４０ｆｐｓのフレームレートすなわち２倍の高フレームレートでかつ動画の劣化が抑制された、良好な画像を生成することが可能となる。 Further, in the case of not only an image such as CG but also a normal video image, for example, when a moving image of 120 fps is input, the input image is used as a reference frame, and the previous (or subsequent) reference frame is used. The moving part is recognized from the difference and the moving speed is obtained. By calculating the interpolation frame from the above equations 1 to 3 and equations (6) to (9) using the obtained moving speed, the frame rate of 240 fps, that is, the high frame rate that is twice as high, and the deterioration of the moving image are suppressed. In addition, a good image can be generated.
以上説明したように、本発明の画像信号の較正方法を用いて補間フレームを作成することにより、眼球運動と動画中の移動体の移動のずれが解消され、ＣＧ等で作成した画像、文字情報、テロップ等の解像度の劣化を抑え、往復走査等の描画周期の異なる走査を行う場合においても、臨場感のある良質な画像を提供することが可能となる。 As described above, by creating an interpolation frame using the image signal calibration method of the present invention, the displacement between the eye movement and the movement of the moving object in the moving image is eliminated, and the image and character information created by CG or the like Therefore, it is possible to provide a high-quality image with a sense of presence even when scanning with different drawing cycles such as reciprocating scanning is performed while suppressing degradation of resolution such as telop.
なお、往復走査により画像を描画する場合において、例えば往路では左目用画像、復路では右目用画像を描画して、シャッター機能を有する眼鏡を用いて画像を観察することによって立体画像を表示する場合においても、本発明を適用することが可能である。
この場合においても、参照フレームで例えばレンダリングにより左目用画像の画像信号を生成し、これに基づいて上記数１〜数３、式（６）〜（９）を用いて補間フレームの移動体の動きを補正するとともに、立体視用の視差を考慮して例えば右目用画像の画像信号を生成することによって、左右の目による画像で移動体の運動の矛盾が生じず、かつ立体視を実現する画像を提供することができ、立体画像における動画の表示特性の劣化を防ぐことも可能となる。
In the case of drawing an image by reciprocating scanning, for example, in the case of displaying a stereoscopic image by drawing an image for the left eye on the forward path and an image for the right eye on the backward path, and observing the image with glasses having a shutter function. In addition, the present invention can be applied.
Even in this case, the image signal of the image for the left eye is generated by, for example, rendering in the reference frame, and based on this, the motion of the moving body of the interpolated frame using the above Equations 1 to 3 and Equations (6) to (9) In addition, the image of the right eye image is generated in consideration of the parallax for stereoscopic viewing, for example. It is also possible to prevent deterioration of display characteristics of moving images in a stereoscopic image.
次に、このような画像信号の構成方法を利用した本発明の画像生成装置の一実施形態例について図７〜図１１を参照して説明する。この例においては、外部演算部において上述した数１〜数３、更には上記式（６）〜（９）を用いて画像信号を較正する演算を行い、画像生成装置の光変調装置にその画像信号を入力する構成とする例を示す。
図７に示すように、この画像生成装置は光源５１、照明光学系５２、光変調装置５、光選択部５３を含む光変調部２０、投射光学部３０、走査部２を有する走査光学部４０から構成される。光源５１には、例えば半導体レーザや固体レーザ等が用いられる。光源５１から射出された光Ｌｏは、照明光学系５２を経て例えば回折格子型構成の１次元型の光変調装置５に１次元状（線状）の光ビームとして照射される。照明光学系５２にはビーム整形やビーム拡大等のためのレンズ系が含まれる。
回折格子型の光変調装置５は外部演算部１５０において生成された画像信号をもとに、図示しない駆動回路からの信号Ｓｐを受けて動作する。光変調装置５を回折格子型構成とする場合、その回折光が光選択部５３に入射される。なお、例えば三原色の光を用いる場合は、各色の光源からそれぞれ照明光学系、各色用光変調装置を経てＬ字型プリズム等の色合成部により光束を重ね合わせて光選択部に出射される構成とすることができる。
光選択部５３はオフナーリレー光学系等より成り、シュリーレンフィルター等の空間フィルター（図示せず）を有し、ここにおいて例えば＋１次光が選択されて１次元画像光Ｌｍとして出射される。更に投射光学部３０によって拡大等を行い、走査光学部４０における走査素子２の矢印ｒで示す回転によりＬ１、Ｌ２、・・・Ｌｎ−１、Ｌｎで示すように走査され、スクリーン等の画像生成面１上に２次元像５４が生される。画像生成面１上において走査位置は矢印ｓで示すように往復走査される。なお、画像生成面１の走査方向の両端は非表示領域５５ａ及び５５ｂとなる。走査素子２としては、例えばガルバノミラー、ポリゴンミラーの他、例えば電磁石等によって共振して走査を行ういわゆるレゾナントスキャナを用いることも可能である。
Next, an embodiment of an image generation apparatus according to the present invention using such a method for constructing an image signal will be described with reference to FIGS. In this example, the external calculation unit performs the calculation for calibrating the image signal using the above-described equations 1 to 3, and further, the above equations (6) to (9), and the image modulation device of the image generation device receives the image. An example in which a signal is input is shown.
As shown in FIG. 7, the image generation apparatus includes a light source 51, an illumination optical system 52, a light modulation device 5, a light modulation unit 20 including a light selection unit 53, a projection optical unit 30, and a scanning optical unit 40 having a scanning unit 2. Consists of For the light source 51, for example, a semiconductor laser or a solid-state laser is used. The light Lo emitted from the light source 51 is irradiated as a one-dimensional (linear) light beam through the illumination optical system 52 to the one-dimensional light modulator 5 having a diffraction grating configuration, for example. The illumination optical system 52 includes a lens system for beam shaping and beam expansion.
The diffraction grating type light modulation device 5 operates in response to a signal Sp from a drive circuit (not shown) based on the image signal generated in the external calculation unit 150. When the light modulation device 5 has a diffraction grating configuration, the diffracted light enters the light selection unit 53. For example, when using light of the three primary colors, a configuration in which light beams are superposed by a color synthesis unit such as an L-shaped prism from each color light source through an illumination optical system and each color light modulation device and emitted to the light selection unit. It can be.
The light selector 53 includes an Offner relay optical system and the like, and includes a spatial filter (not shown) such as a schlieren filter. For example, + 1st order light is selected and emitted as one-dimensional image light Lm. Further, enlargement or the like is performed by the projection optical unit 30, and scanning is performed as indicated by L 1, L 2,... Ln−1, Ln by the rotation indicated by the arrow r of the scanning element 2 in the scanning optical unit 40 to generate an image such as a screen. A two-dimensional image 54 is produced on the surface 1. On the image generation surface 1, the scanning position is reciprocated as indicated by an arrow s. Note that both ends of the image generation surface 1 in the scanning direction are non-display areas 55a and 55b. As the scanning element 2, for example, a so-called resonant scanner that performs scanning by resonating with an electromagnet, for example, in addition to a galvanometer mirror and a polygon mirror can be used.
このような画像生成装置において利用可能な光変調装置の一例を図８〜図１０を参照して説明する。図８は、この実施形態例に係る光変調装置を構成する光変調素子の概略斜視構成図である。図８に示すように、この光変調素子６０は、シリコン等より成る基板（図示せず）上に、ポリシリコン薄膜などから成る共通電極６３が形成され、この共通電極６３と所定の間隔を保って、表面に反射膜が形成された条帯（ストリップ）状の第１の電極６１ａ〜６１ｃと、第２の電極６２ａ〜６２ｃとが交互に形成されている。第１の電極６１ａ〜６１ｃは、固定電位とされて例えば接地され、第２の電極６２ａ〜６２ｃは可動電極すなわち可動部とされ、駆動電圧電源６５に接続される。 An example of a light modulation device that can be used in such an image generation device will be described with reference to FIGS. FIG. 8 is a schematic perspective configuration diagram of a light modulation element constituting the light modulation device according to this embodiment. As shown in FIG. 8, in the light modulation element 60, a common electrode 63 made of a polysilicon thin film or the like is formed on a substrate (not shown) made of silicon or the like, and a predetermined distance from the common electrode 63 is maintained. Thus, strip-shaped first electrodes 61a to 61c having a reflective film formed on the surface and second electrodes 62a to 62c are alternately formed. The first electrodes 61 a to 61 c are set to a fixed potential and grounded, for example, and the second electrodes 62 a to 62 c are movable electrodes, that is, movable portions, and are connected to the drive voltage power supply 65.
このような構成とする場合、第１の電極６１ａ〜６１ｃは例えば固定されており、反射面の高さは不変である。そして第２の電極６２ａ〜６２ｃが駆動電圧に応じた静電力に起因する吸引力または反発力によって、共通電極６３に向かって移動又は屈曲可能であり、第２の電極６２ａ〜６２ｃの反射面の高さ（例えば基板との間隔）を変えることができる。第２の電極６２ａ〜６２ｃの移動又は屈曲によってピッチは一定で深さが変調可能な回折格子として機能させることができる。
なお、この光変調素子６０は、光変調装置内の１つの画素（ピクセル）に対応して第２の電極６２ａ〜６２ｃを１画素分の画素信号に対応して変調させるものであるが、この光変調素子に設ける第１の電極及び第２の電極の数は図８に示す例のように６本とする以外に、２本、４本等とすることができ、適宜変更可能である。また、この光変調素子６０を各電極の長手方向と直交する方向に画素数分並置配列して、所望の画素数に対応する光変調装置が構成される。すなわち光変調装置内に設ける電極の総数は、１画素あたりの電極の本数及び目的とする表示画像の画素数に対応して適宜選定される。
In the case of such a configuration, the first electrodes 61a to 61c are fixed, for example, and the height of the reflecting surface is unchanged. The second electrodes 62a to 62c can move or bend toward the common electrode 63 by the attractive force or the repulsive force caused by the electrostatic force corresponding to the driving voltage, and the second electrodes 62a to 62c The height (for example, the distance from the substrate) can be changed. The movement or bending of the second electrodes 62a to 62c can function as a diffraction grating whose pitch is constant and whose depth can be modulated.
The light modulation element 60 modulates the second electrodes 62a to 62c corresponding to a pixel signal corresponding to one pixel corresponding to one pixel (pixel) in the light modulation device. The number of first electrodes and second electrodes provided in the light modulation element can be two, four, etc., in addition to six as in the example shown in FIG. 8, and can be changed as appropriate. Further, the light modulation elements 60 are arranged side by side in the direction orthogonal to the longitudinal direction of each electrode by the number of pixels to constitute a light modulation device corresponding to a desired number of pixels. That is, the total number of electrodes provided in the light modulation device is appropriately selected according to the number of electrodes per pixel and the number of pixels of the target display image.
この光変調素子６０の代表的な寸法の一例として、例えば、第１及び第２の電極の幅は３〜４μｍ、隣接する電極間ギャップは約０．６μｍ、電極の長さは２００〜４００μｍ程度である。この場合、６本の電極で１画素分とすると、１画素分の光変調素子の幅は約２５μｍである。
実用化されつつある１０８０画素を表示する１次元光変調装置においては、図８の第１及び第２の電極の幅方向に沿って、１０８０画素分程度の電極が多数並置配列される。
As an example of typical dimensions of the light modulation element 60, for example, the width of the first and second electrodes is 3 to 4 μm, the gap between adjacent electrodes is about 0.6 μm, and the length of the electrodes is about 200 to 400 μm. It is. In this case, if six electrodes are used for one pixel, the width of the light modulation element for one pixel is about 25 μm.
In a one-dimensional light modulation device that displays 1080 pixels being put into practical use, a large number of electrodes of about 1080 pixels are juxtaposed along the width direction of the first and second electrodes in FIG.
なおこのような回折格子型の光変調装置としては、各電極が非動作時に表面がほぼ一平面上に配置される通常型構成と、各電極が基準面（例えば光変調装置の基板面）から所定の角度をもって傾斜されて配置されるいわゆるブレーズ型構成とが提案されている。これらの各タイプの光変調装置の一例の概略断面構成図を図９及び図１０に模式的に示す。図９及び図１０において、図８と対応する部分には同一符号を付して重複説明を省略する。図９及び図１０に示す例では、１画素に対応する第１及び第２の電極の数を３本ずつ、合計６本とした場合を示すが、これに限定されるものではない。 Note that, as such a diffraction grating type light modulation device, each electrode is arranged from a reference plane (for example, the substrate surface of the light modulation device), and a normal type configuration in which each electrode is arranged on a substantially flat surface when the electrodes are not in operation. A so-called blazed configuration has been proposed in which it is inclined and arranged at a predetermined angle. 9 and 10 schematically show schematic cross-sectional configuration diagrams of examples of these types of light modulation devices. 9 and 10, the same reference numerals are given to the portions corresponding to those in FIG. In the example shown in FIGS. 9 and 10, a case where the number of first and second electrodes corresponding to one pixel is three in total, which is six, is not limited to this.
通常型構成の光変調装置は、図９に動作時の一例を示すように、第２の電極６２ａ〜６２ｃの移動量Ｚ１を例えば入射光の波長λに対しλ／４とするときに、入射方向と逆向きに反射される０次回折光（図示せず）と、±１次回折光Ｌｒ（＋１）及びＬｒ（−１）が回折光として反射される。一例として、λ＝５３２ｎｍの場合は、第２の電極の移動量は最大λ／４＝１３３ｎｍである。例えば＋１次回折光のみを利用する場合、１本の回折光だけを空間フィルタを通してスクリーン上に結像し、画像表示用に利用することができる。非動作時（駆動電圧をゼロとする場合）には＋１次回折光は生じないため、このオフ状態は画面の暗状態に対応し、表示画面が黒になる。すなわち、第２の電極６２ａ〜６２ｃへの駆動電圧を外部からの画像情報に対応して調整して、移動量Ｚ１を制御することによって、画素のオン／オフとこの間の階調表示が可能となる。 As shown in an example of operation in FIG. 9, the normal type light modulation device is incident when the movement amount Z1 of the second electrodes 62a to 62c is, for example, λ / 4 with respect to the wavelength λ of incident light. Zero-order diffracted light (not shown) reflected in the direction opposite to the direction and ± 1st-order diffracted lights Lr (+1) and Lr (−1) are reflected as diffracted light. As an example, when λ = 532 nm, the maximum movement amount of the second electrode is λ / 4 = 133 nm. For example, when only + 1st order diffracted light is used, only one diffracted light can be imaged on a screen through a spatial filter and used for image display. Since no + 1st order diffracted light is generated during non-operation (when the drive voltage is zero), this off state corresponds to the dark state of the screen and the display screen is black. That is, by adjusting the driving voltage to the second electrodes 62a to 62c in accordance with the image information from the outside and controlling the movement amount Z1, it is possible to turn on / off the pixels and display the gradation between them. Become.
一方ブレーズ型構成の光変調装置は、図１０に示すように、基準面Ａ、すなわち光変調装置の基板（図示せず）の表面と平行な面から例えば角度θをもって各電極６１ａ〜６１ｃ、６２ａ〜６２ｃを傾斜して配置する。この角度θは好適には電極１本分の周期に対して隣接する電極間の高さの差がλ／４（λは用いる光の波長）となる角度とする。そして動作時には、隣接する一対の第１及び第２の電極６１ａ及び６２ａ、６１ｂ及び６２ｂ、６１ｃ及び６２ｃの各表面が一平面を成すように、第２の電極６２ａ〜６２ｃを移動させる。このときその移動量Ｚ２は、入射光の波長λに対してλ／４（つまり２本の電極周期毎にλ／２の段差）となるように動作させると、＋１次回折光のみが出射される。従って、この＋１次回折光を用いて、１本の回折光だけを空間フィルタを通してスクリーン上に結像することができる。すなわちブレーズ型の光変調装置を用いる場合は、反射回折光のうち１本の回折光を利用する構成とすることにより、光利用効率を高めることができる。 On the other hand, as shown in FIG. 10, the light modulation device of the blaze type configuration has electrodes 61a to 61c, 62a at an angle θ, for example, from the reference plane A, that is, a surface parallel to the surface of the substrate (not shown) of the light modulation device. .About.62c are inclined. This angle θ is preferably an angle at which the height difference between adjacent electrodes is λ / 4 (λ is the wavelength of light used) with respect to the period of one electrode. In operation, the second electrodes 62a to 62c are moved so that the surfaces of the pair of adjacent first and second electrodes 61a and 62a, 61b and 62b, 61c and 62c form a single plane. At this time, if the movement amount Z2 is λ / 4 with respect to the wavelength λ of the incident light (that is, a step of λ / 2 for every two electrode periods), only the + 1st order diffracted light is emitted. . Therefore, using this + 1st order diffracted light, only one diffracted light can be imaged on the screen through the spatial filter. That is, when a blaze type light modulation device is used, the light use efficiency can be increased by using one of the reflected diffracted lights.
このような光変調装置に対して、その画像信号に対応する駆動信号として、上述の図５において説明した本発明の画像信号の較正方法により外部演算部１５０において補間フレームの画像信号を算出しておく。そして、参照フレームの画像信号と交互に矢印Ｓｐで示すように入力することによって、図７中の画像生成面１において表示する動画の移動体の動きを良好に表示し、すなわち二重に見えることやぼやけてしまうことを抑制し、動画の劣化を抑制することができる。 For such a light modulation device, the external arithmetic unit 150 calculates an image signal of an interpolation frame as a drive signal corresponding to the image signal by the image signal calibration method of the present invention described above with reference to FIG. deep. Then, by alternately inputting the image signal of the reference frame as indicated by the arrow Sp, the motion of the moving body of the moving image displayed on the image generation surface 1 in FIG. 7 is displayed well, that is, it looks double. And blurring can be suppressed, and deterioration of the moving image can be suppressed.
次に、上述した本発明による画像信号の較正方法を行う演算部を内部に有する構成とした本発明の画像生成装置の一実施形態例について説明する。
図１１は、この実施形態に係わる画像生成装置の一例の概略構成図である。図１１に示す例では、スクリーン１、走査素子２と、この走査素子２の駆動部３とを有する走査光学部４０、投射光学部３０、例えば三原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の照射光を変調する１次元型の光変調装置５ａ、５ｂ、５ｃ、これら光変調装置５ａ、５ｂ、５ｃに駆動電圧を出力する駆動回路６ａ、６ｂ、６ｃ、インターフェイス回路７ａ、７ｂ、７ｃ、画像データ変換回路８ａ、８ｂ、８ｃ、走査素子駆動回路９、システム制御回路１０を有する。
光変調装置５ａ、５ｂ、５ｃには、例えば上述の図８〜図１０において説明したＧＬＶ型の回折格子型光変調装置を用いることができる。各光変調装置５ａ、５ｂ、５ｃとその駆動回路６ａ、６ｂ、６ｃより、図示しない光源からの各色光を１次元像に変換する光変調部１７ａ、１７ｂ、１７ｃが構成され、これらから光変調部２０が構成される。
Next, a description will be given of an embodiment of the image generation apparatus according to the present invention, which has an internal calculation unit that performs the above-described image signal calibration method according to the present invention.
FIG. 11 is a schematic configuration diagram of an example of an image generation apparatus according to this embodiment. In the example shown in FIG. 11, the scanning optical unit 40 and the projection optical unit 30 having the screen 1, the scanning element 2, and the driving unit 3 of the scanning element 2, for example, the three primary colors red (R), green (G), blue The one-dimensional type light modulators 5a, 5b, 5c for modulating the irradiation light of (B), drive circuits 6a, 6b, 6c for outputting drive voltages to these light modulators 5a, 5b, 5c, and interface circuits 7a, 7b. 7c, image data conversion circuits 8a, 8b, 8c, a scanning element driving circuit 9, and a system control circuit 10.
As the light modulation devices 5a, 5b, and 5c, for example, the GLV type diffraction grating light modulation device described in FIGS. 8 to 10 can be used. Each of the light modulators 5a, 5b, 5c and its drive circuits 6a, 6b, 6c constitute light modulators 17a, 17b, 17c that convert each color light from a light source (not shown) into a one-dimensional image. Part 20 is configured.
このような構成において、半導体レーザ等の複数の光源（図示せず）から出射される赤（Ｒ）、緑（Ｇ）、青（Ｂ）色の照明光束ＬＳ−Ｒ，ＬＳ−Ｇ，ＬＳ−Ｂは、不図示の照明光学系により平行光に変換され、光変調装置５ａ、５ｂ、５ｃに照射される。光変調装置５ａ、５ｂ、５ｃは、後述する画像信号に応じた駆動電圧が駆動回路６ａ、６ｂ、６ｃにより印加され、これに応じて入射された照明光を反射又は回折し、反射光又は回折光を投射光学部３０に射出する。
投射光学部３０では、光変調装置５ａ、５ｂ、５ｃから射出された反射光又は回折光を平行光に変換する。そして±１次回折光と０次光が分離され、例えば０次光は遮蔽されて±１次回折光が通過され、走査素子２に到達する。また、投射光学部３０においては、光変調装置５ａ、５ｂ、５ｃからの例えば主に±１次回折光により形成された１次元の像を拡大し、走査素子２を介して、スクリーン１に投射し、結像する。
In such a configuration, illumination light beams LS-R, LS-G, LS- of red (R), green (G), and blue (B) emitted from a plurality of light sources (not shown) such as semiconductor lasers. B is converted into parallel light by an illumination optical system (not shown), and is irradiated to the light modulation devices 5a, 5b, and 5c. In the light modulation devices 5a, 5b, and 5c, a driving voltage corresponding to an image signal to be described later is applied by the driving circuits 6a, 6b, and 6c, and incident illumination light is reflected or diffracted in accordance with the driving voltage. Light is emitted to the projection optical unit 30.
The projection optical unit 30 converts reflected light or diffracted light emitted from the light modulation devices 5a, 5b, and 5c into parallel light. Then, the ± 1st order diffracted light and the 0th order light are separated. For example, the 0th order light is shielded and the ± 1st order diffracted light is passed through to reach the scanning element 2. Further, in the projection optical unit 30, for example, a one-dimensional image formed mainly by ± first-order diffracted light from the light modulation devices 5 a, 5 b, and 5 c is enlarged and projected onto the screen 1 via the scanning element 2. , Image.
画像データ変換回路８ａ、８ｂ、８ｃとインターフェイス回路７ａ、７ｂ、７ｃは、画像生成装置１００に入力された赤（Ｒ）、緑（Ｇ）、青（Ｂ）色の画像データＶＤ−Ｒ，ＶＤ−Ｇ，ＶＤ−Ｂの形式を変換し、１ラインごとに駆動回路６ａ、６ｂ、６ｃに出力する。なお、この変換に加えて、上述した本発明の画像信号の較正によって、参照フレームの画像信号から補間フレームの画像信号を算出する。
走査素子２の駆動部３、例えばスキャナモータは、駆動回路９からのスキャナ駆動信号ＳＤＳに駆動されて、連動する走査素子２を往復回転させる。走査素子２が往復回転しながら、投射光学部３０から射出されている±１次回折光を走査して逐次画像生成面１に射出し、１次元画像を展開して２次元画像を形成する。走査素子２は、ガルバノミラー、ポリゴンミラー、上述のレゾナントスキャナ等を用いることも可能である。
The image data conversion circuits 8a, 8b, and 8c and the interface circuits 7a, 7b, and 7c are red (R), green (G), and blue (B) image data VD-R and VD that are input to the image generation apparatus 100. The format of -G, VD-B is converted and output to the drive circuits 6a, 6b, 6c line by line. In addition to this conversion, the image signal of the interpolation frame is calculated from the image signal of the reference frame by the above-described calibration of the image signal of the present invention.
The drive unit 3 of the scanning element 2, for example, a scanner motor, is driven by the scanner drive signal SDS from the drive circuit 9 to reciprocate and rotate the associated scanning element 2. While the scanning element 2 reciprocally rotates, the ± first-order diffracted light emitted from the projection optical unit 30 is scanned and sequentially emitted onto the image generation surface 1 to develop a one-dimensional image to form a two-dimensional image. As the scanning element 2, a galvanometer mirror, a polygon mirror, the above-described resonant scanner, or the like can be used.
駆動部３には角度センサ１６が内蔵されていてもよい。この場合、角度センサ１６で検出した走査素子２の駆動部３の回転角度に基づいて、駆動部３と連動する走査素子２の現在の角度を正確に求め、角度センサ１６で検出した角度信号ＳＡＳをシステム制御回路１０の角度データ補正部１３に出力し、角度信号ＳＡＳに基づいて往路像と復路像の適切な走査タイミングを生成する処理を行う。
システム制御回路１０は、例えば中央演算回路（ＣＰＵ）１１、メモリ１２、角度データ補正部１３を含み、画像データ変換回路８ａ、８ｂ、８ｃ、インターフェイス回路７ａ、７ｂ、７ｃは、光変調装置５ａ、５ｂ、５ｃと駆動回路６ａ、６ｂ、６ｃを含む光変調回路１７ａ、１７ｂ、１７ｃなどの同期を取るため、フレーム同期信号ＦＲＭｓｙｎｃを分配する。また、システム制御回路１０は、走査素子２を駆動するための基本データとそのデータに対して位相、振幅、及び周期情報を含むスキャナ指示信号ＳＩＳを出力する。また、システム制御回路１０は、各種データを用いて、光変調装置５ａ、５ｂ、５ｃの変調と投射タイミングを示す変調投射信号ＲＱＴ（発生タイミングＴ及び位相データψを含む）を生成する。
The drive unit 3 may include an angle sensor 16. In this case, based on the rotation angle of the drive unit 3 of the scanning element 2 detected by the angle sensor 16, the current angle of the scanning element 2 interlocked with the drive unit 3 is accurately obtained, and the angle signal SAS detected by the angle sensor 16. Is output to the angle data correction unit 13 of the system control circuit 10 and processing for generating appropriate scanning timings for the forward path image and the backward path image is performed based on the angle signal SAS.
The system control circuit 10 includes, for example, a central processing circuit (CPU) 11, a memory 12, and an angle data correction unit 13. The image data conversion circuits 8a, 8b, and 8c, and the interface circuits 7a, 7b, and 7c include the light modulation device 5a, In order to synchronize the optical modulation circuits 17a, 17b, and 17c including the drive circuits 6a, 6b, and 6c with 5b and 5c, the frame synchronization signal FRMsync is distributed. The system control circuit 10 outputs basic data for driving the scanning element 2 and a scanner instruction signal SIS including phase, amplitude, and period information for the data. Further, the system control circuit 10 generates a modulated projection signal RQT (including generation timing T and phase data ψ) indicating the modulation and projection timing of the light modulators 5a, 5b, and 5c using various data.
インターフェイス回路７ａ、７ｂ、７ｃでは、光変調装置５ａ、５ｂ、５ｃの変調タイミングを決定する変調投射信号ＲＱＴの発生タイミングと位相データ（Ｔとψ）を例えばメモリに保持する。図示しないがインターフェイス回路内の制御回路は、フレーム同期信号ＦＲＭｓｙｎｃを受け、インターフェイス回路７全体及び各構成成分の動作タイミングを調整する。また、メモリに記憶された変調投射信号ＲＱＴの発生タイミングと位相データ（Ｔとψ）に基づいて、光変調装置５ａ、５ｂ、５ｃの変調タイミングを決定する変調投射信号ＲＱＴを生成し、画像データ変換回路８ａ、８ｂ、８ｃに出力する。
画像データ変換回路８ａ、８ｂ、８ｃのうち、例えば、画像データ変換回路８ａは、基準回路として、フレーム同期信号ＦＲＭｓｙｎｃを生成し、システム制御回路１０へ出力する。画像データ変換回路８ａへ入力されるデータに基準となるフレーム同期信号が含まれており、画像データ変換回路８ａにおいて、そのフレーム同期信号のタイミングが、システム制御回路１０に設定されているタイミングに変換され、フレーム同期信号ＦＲＭｓｙｎｃとして出力される。
In the interface circuits 7a, 7b, and 7c, the generation timing and phase data (T and ψ) of the modulation projection signal RQT that determines the modulation timing of the light modulators 5a, 5b, and 5c are held in, for example, a memory. Although not shown, the control circuit in the interface circuit receives the frame synchronization signal FRMsync and adjusts the operation timing of the entire interface circuit 7 and each component. Further, based on the generation timing and phase data (T and ψ) of the modulation projection signal RQT stored in the memory, a modulation projection signal RQT for determining the modulation timing of the light modulation devices 5a, 5b, and 5c is generated, and image data is generated. The data is output to the conversion circuits 8a, 8b and 8c.
Of the image data conversion circuits 8a, 8b, and 8c, for example, the image data conversion circuit 8a generates a frame synchronization signal FRMsync as a reference circuit and outputs the frame synchronization signal FRMsync to the system control circuit 10. The data input to the image data conversion circuit 8a includes a reference frame synchronization signal. In the image data conversion circuit 8a, the timing of the frame synchronization signal is converted to the timing set in the system control circuit 10. And output as a frame synchronization signal FRMsync.
このようにしてフレーム同期信号により同期がとられた赤、緑及び青色の変調信号すなわち画像信号が光変調装置５ａ、５ｂ、５ｃの駆動回路６ａ、６ｂ、６ｃに入力される。画像信号は、上述したように例えば画像データ変換回路８ａ、８ｂ、８ｃにおいて、上述の本発明による画像信号の較正方法を用いて補間フレームの画像信号が算出され、参照フレームの画像信号とともに出力されて、投射光学部３０、走査光学部４０を経て画像生成面1に描画される。
このような構成とする本発明の画像生成装置によれば、動画における移動体の動きに合わせた追従視に対してスムーズな表示を行うことができ、二重表示やぼやけを抑制して、良好な動画表示特性を保持することができる。
The red, green, and blue modulation signals, that is, the image signals synchronized by the frame synchronization signal in this way are input to the drive circuits 6a, 6b, and 6c of the light modulation devices 5a, 5b, and 5c. As described above, for example, in the image data conversion circuits 8a, 8b, and 8c, the image signal of the interpolated frame is calculated using the image signal calibration method according to the present invention, and is output together with the image signal of the reference frame. Then, the image is drawn on the image generation surface 1 through the projection optical unit 30 and the scanning optical unit 40.
According to the image generating apparatus of the present invention having such a configuration, it is possible to perform smooth display for follow-up vision in accordance with the movement of a moving object in a moving image, and to suppress double display and blurring. It is possible to maintain a moving image display characteristic.
上述の画像生成装置に適用可能な画像信号の較正方法により画像信号を補正した例を図１２及び１３に示す。図１２中実線ｍ１は参照フレームの移動体の画像信号であり、図１３中実線ｍ２は較正後の補間フレームの移動体の画像信号を示す。この例では、走査方向に１９２０画素、走査方向と直交する方向に１０８０画素のＨＤ（High Definition）型の画素数とした場合であり、図１２に示す実線ｍ１の円が１／２４０秒後に移動速度ｖｓ＝−１２，０００［画素／ｓ］として矢印Ａで示すように左方向に移動する場合の補間画像の信号を算出する例を示す。なお、この例では補間フレームでの画像信号の説明のために、高速で移動する場合を示したものである。 An example in which an image signal is corrected by an image signal calibration method applicable to the above-described image generation apparatus is shown in FIGS. The solid line m1 in FIG. 12 is the image signal of the moving body of the reference frame, and the solid line m2 in FIG. 13 shows the image signal of the moving body of the interpolated frame after calibration. In this example, the number of HD (High Definition) pixels is 1920 pixels in the scanning direction and 1080 pixels in the direction orthogonal to the scanning direction, and the circle of the solid line m1 shown in FIG. 12 moves after 1/240 seconds. An example of calculating an interpolated image signal when moving in the left direction as indicated by an arrow A at a speed vs = −12,000 [pixel / s] is shown. In this example, the case of moving at a high speed is shown for explaining the image signal in the interpolation frame.
図１２の実線ｍ１はほぼ円形であるのに対し、図１３の実線ｍ２は横長の楕円形となっている。これは、実線ｍ１が参照フレームの画像信号であるので、走査方向のどの位置においても同一の時刻の画像を表示しているのに対し、実線ｍ２は補間フレームの画像信号であるので、走査方向の各位置において同一の時刻の画像を表示しているのではなく、各々別の時刻の画像を表示しているためである。すなわち、図１３中の右端部側では描画周期が比較的短く、図１２で示す実線ｍ１の位置からの移動量が比較的少ない。一方移動方向（左方向）にいくほど描画周期が長いので、より後の時刻の位置を示すこととなり、結果的に図１２で示す実線ｍ１の位置から、より左方向にずれていく。つまり補間フレームにおいては、描画周期の長い部分の位置をより大きく移動方向にずらすので、例えばほぼ円形の物体は、補間フレームでは図１３に示すように、移動方向に伸長した楕円形の画像信号となる。物体が逆方向（右方向）に移動する場合は、逆に左右が縮んだ形状の画像信号となる。これらの参照フレーム及び補間フレームの画像信号を用いて往復走査により表示することによって、ほぼ円形の物体がスムーズに左方向に移動する様子が表示され、二重表示やぼやけを抑制した良好な動画特性を保持することができる。 The solid line m1 in FIG. 12 is substantially circular, whereas the solid line m2 in FIG. 13 is a horizontally long ellipse. This is because the solid line m1 is the image signal of the reference frame, so that the image at the same time is displayed at any position in the scanning direction, whereas the solid line m2 is the image signal of the interpolation frame, so This is because images at the same time are not displayed at these positions, but images at different times are displayed. That is, the drawing cycle is relatively short on the right end side in FIG. 13, and the amount of movement from the position of the solid line m1 shown in FIG. 12 is relatively small. On the other hand, since the drawing cycle is longer in the moving direction (left direction), the position at a later time is indicated, and as a result, the position is shifted further to the left from the position of the solid line m1 shown in FIG. That is, in the interpolated frame, the position of the long drawing period is shifted in the moving direction to a greater extent. For example, an approximately circular object has an elliptical image signal extended in the moving direction and an elliptical image signal in the interpolated frame as shown in FIG. Become. When the object moves in the reverse direction (right direction), the left and right image signals are contracted. By displaying the image signals of these reference frames and interpolated frames by reciprocating scanning, it is possible to display a state in which an almost circular object moves smoothly to the left, and good video characteristics with reduced double display and blurring. Can be held.
以上説明したように、本発明による画像信号の較正方法、画像生成装置、画像生成システムによれば、ＣＧ、アニメーションなどの動画中の移動体が画像の特定領域付近で二重写しとなるとか、ぼやけてしまうことを抑制し、良好な動画表示特性を保持することができる。
また、本発明において、走査方法を往復走査とする場合は、復路における動画の不自然な動きを抑制して、良好に動画を表示することができる。
As described above, according to the image signal calibration method, the image generation apparatus, and the image generation system according to the present invention, a moving object in a moving image such as CG or animation is duplicated in the vicinity of a specific area of the image. Therefore, it is possible to suppress blurring and to maintain good moving image display characteristics.
Further, in the present invention, when the scanning method is reciprocal scanning, it is possible to suppress the unnatural movement of the moving image on the return path and display the moving image satisfactorily.
また、目的とするフレームレートの１／２のフレームレートで画像情報に対応して作成された参照フレームの画像信号に基づいて、移動体の画像信号を算出して補間フレームの画像信号を作成することによって、動画の表示特性を良好に保持するとともに、低フレームレートの画像情報を用いて２倍の高フレームレートでかつ動画表示を良好に行うことが可能な画像信号を提供することができる。 Also, based on the image signal of the reference frame created corresponding to the image information at a frame rate that is ½ of the target frame rate, the image signal of the moving body is calculated and the image signal of the interpolation frame is created. As a result, it is possible to provide an image signal that can maintain a good display characteristic of a moving image and can perform a moving image display at a high frame rate twice as high using image information of a low frame rate.
更に、本発明の画像信号の較正方法において、上記数１〜数３を用いて参照フレームの画像信号から補間フレームの画像信号を算出することによって、同様に、動画の表示を良好に行うことが可能となる。
また、上記数１〜数３で求めた補間フレームの表示画素位置が小数点以下の数値を含む場合に、走査方向に隣接する次の画素及び／又は走査方向と直交する方向に隣接する次の画素に、小数点以下の数値に対応して画像信号を例えば上記式（６）〜（９）を用いて分散することによって、より動画中の移動体の移動をスムーズに表示して、良好に動画を表示することが可能となる。
Further, in the image signal calibration method according to the present invention, by calculating the image signal of the interpolated frame from the image signal of the reference frame using the equations 1 to 3, the moving image can be displayed satisfactorily. It becomes possible.
Further, when the display pixel position of the interpolation frame obtained by the above formulas 1 to 3 includes a numerical value after the decimal point, the next pixel adjacent in the scanning direction and / or the next pixel adjacent in the direction orthogonal to the scanning direction In addition, by dispersing the image signal corresponding to the numerical value after the decimal point using, for example, the above equations (6) to (9), the movement of the moving body in the moving image can be displayed more smoothly, and the moving image can be displayed well. It is possible to display.
なお、本発明による画像信号の較正方法、画像生成装置、画像生成システム及び画像生成方法は上述の例に限定されるものではなく、その他種々の変形、変更が可能である。
例えば画像生成装置の走査光学部において用いる走査素子として、上述したレゾナントスキャナを用いる場合は、走査方向の走査速度ｖｓは一定でなく、共振周波数を周期とする正弦波状に変動する。したがって、上記数１中ｖｓを適切な関数等に変更して補間フレームの画像信号を算出することが望ましい。
The image signal calibration method, the image generation apparatus, the image generation system, and the image generation method according to the present invention are not limited to the above-described examples, and various other modifications and changes are possible.
For example, when the above-described resonant scanner is used as the scanning element used in the scanning optical unit of the image generation apparatus, the scanning speed vs in the scanning direction is not constant, but varies in a sine wave shape with the resonance frequency as a period. Therefore, it is desirable to calculate the image signal of the interpolation frame by changing vs in Equation 1 to an appropriate function or the like.
更に、上記特許文献３において提案されているように、例えば図１１に示す画像生成装置において、画像生成面１の前に位置感知型検出器を配置することによって、走査素子の回転角度が往路及び復路で変動することを検出することができ、この変動量に基づいて１画素を描画する時間ｔｐを随時算出することも可能である。この場合は、ｔｐが一定ではなくなるので、上記数１及び数２中のｔｐ×ｎを下記の数４に置き換えることが望ましい。 Further, as proposed in Patent Document 3 above, for example, in the image generation apparatus shown in FIG. 11, by arranging a position-sensitive detector in front of the image generation surface 1, the rotation angle of the scanning element is set to the forward path and the forward path. It is possible to detect fluctuations in the return path, and it is also possible to calculate the time tp for drawing one pixel as needed based on the fluctuation amount. In this case, since tp is not constant, it is desirable to replace tp × n in the above formulas 1 and 2 with the following formula 4.
また、移動体の移動速度が一定でない場合は、例えば上記数１及び数３において用いた移動体のｘ方向及びｙ方向の速度を関数ｖｘ（ｔ）、ｖｙ（ｔ）を求めて代入して画像信号を算出することにより、同様に移動体の動きを良好に表示する画像信号を生成することができる。
その他、本発明は、上述の各実施形態例において説明した構成に限定されることなく、光変調装置、照明光学系や光選択部、投射光学部及び走査光学部の各光学素子などの材料、構成等において、また、描画周期の異なる画像信号の演算以外の各種信号の演算、出力態様等において、本発明構成を逸脱しない範囲において、種々の変形、変更が可能であることはいうまでもない。
Further, when the moving speed of the moving body is not constant, for example, the functions vx (t) and vy (t) are obtained by substituting the speeds in the x direction and the y direction of the moving body used in the above equations 1 and 3. By calculating the image signal, it is possible to generate an image signal that displays the movement of the moving object in a similar manner.
In addition, the present invention is not limited to the configuration described in each of the above-described embodiments, but is a material such as a light modulation device, an illumination optical system, a light selection unit, a projection optical unit, and a scanning optical unit. It goes without saying that various modifications and changes can be made in the configuration and the like, and in the calculation and output modes of various signals other than the calculation of image signals with different drawing cycles, without departing from the configuration of the present invention. .
１．画像生成面、２．走査素子、３．駆動部、５．光変調装置、５ａ〜５ｃ．光変調装置、６ａ〜６ｃ．駆動回路、７ａ〜７ｃ．インターフェイス回路、８ａ〜８ｃ．画像データ変換回路、９．駆動回路、１０．システム制御回路、５１．光源、５２．照明光学系、５３．光選択部、５４．２次元像、５５ａ．非表示領域、５５ｂ．非表示領域、６０．光変調素子、６１ａ〜６１ｃ．第１の電極、６２ａ〜６２ｃ．第２の電極、６３．共通電極、６５．駆動電圧電源 1. 1. Image generation plane 2. scanning element; Drive unit, 5. Light modulator, 5a-5c. Light modulator 6a-6c. Drive circuit, 7a-7c. Interface circuits, 8a-8c. 8. image data conversion circuit; Drive circuit, 10. System control circuit, 51. Light source, 52. Illumination optical system, 53. Light selector, 54.2 dimensional image, 55a. Non-display area, 55b. Non-display area, 60. Light modulation elements 61a-61c. 1st electrode, 62a-62c. Second electrode, 63. Common electrode, 65. Drive voltage power supply
Claims (8)
前記画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、前記移動体の移動方向及び移動速度に対応して補正する
ことを特徴とする画像信号の較正方法。 An image signal calibration method for generating an image by scanning image light on an image generation surface,
A method for calibrating an image signal, wherein a displacement of a moving body caused by a difference in drawing cycle at a drawing position on the image generation surface is corrected in accordance with a moving direction and a moving speed of the moving body.
前記画像生成面上において走査位置の前記走査方向に沿う移動速度をｖｓ［画素／ｓ］、前記移動体の前記走査方向の移動速度をｖｘ［画素／ｓ］、前記参照フレームのブランキング時間をＴｆｂ［ｓ］、前記補間フレームのブランキング時間をＴｒｂ［ｓ］、１画素を描画する時間をｔｐ［ｓ］、1秒間のフレーム数をＮｆ、前記走査方向に沿う方向の画素数をＮｐとするとき、前記補間フレームにおける前記移動体の前記走査方向に沿う方向の表示画素位置Ｐｘは、下記数１を下記数２に代入して算出し、
前記画像生成面上における前記走査方向と直交する方向に関しては、この方向の前記移動体の速度をｖｙ［画素／ｓ］とすると、下記の数１を下記数３に代入して前記走査方向と直交する方向の表示画素位置Ｐｙを算出することを特徴とする請求項３記載の画像信号の較正方法。
On the image generation surface, the moving speed of the scanning position along the scanning direction is vs [pixel / s], the moving speed of the moving body in the scanning direction is vx [pixel / s], and the blanking time of the reference frame is Tfb [s], blanking time of the interpolated frame is Trb [s], time for drawing one pixel is tp [s], the number of frames per second is Nf, and the number of pixels in the direction along the scanning direction is Np The display pixel position Px in the direction along the scanning direction of the moving body in the interpolation frame is calculated by substituting the following formula 1 into the following formula 2.
Regarding the direction orthogonal to the scanning direction on the image generation surface, if the speed of the moving body in this direction is vy [pixel / s], the following formula 1 is substituted into the following formula 3 to obtain the scanning direction. 4. The image signal calibration method according to claim 3, wherein the display pixel position Py in the orthogonal direction is calculated.
前記走査光学部の走査により画像生成面に描画される画像光の画像信号に対して、前記画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、前記移動体の移動方向及び移動速度に対応して補正する演算部が設けられて成る
ことを特徴とする画像生成装置。 A light modulation unit that modulates light emitted from the light source in accordance with an image signal, a scanning optical unit that scans the image light modulated by the light modulation unit, and a projection optical unit,
With respect to the image signal of the image light drawn on the image generation surface by scanning of the scanning optical unit, the displacement of the moving body caused by the difference in the drawing cycle at the drawing position on the image generation surface is moved. An image generation apparatus comprising an arithmetic unit that performs correction according to a direction and a moving speed.
前記画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、前記移動体の移動方向及び移動速度に対応して補正する演算を行う演算部と、を有する
ことを特徴とする画像生成システム。 An image generation device that draws an image by scanning image light obtained by modulating light corresponding to an image signal on an image generation surface;
A calculation unit that performs a calculation for correcting a displacement of the moving body caused by a difference in a drawing cycle at a drawing position on the image generation surface in accordance with a moving direction and a moving speed of the moving body. Image generation system.
前記画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、前記移動体の移動方向及び移動速度に対応して補正した画像信号を用いる
ことを特徴とする画像生成方法。 When drawing an image by scanning image light, which is modulated light corresponding to the image signal, on the image generation surface,
An image generation method characterized by using an image signal in which a displacement of a moving body caused by a difference in drawing cycle at a drawing position on the image generation surface is corrected in accordance with a moving direction and a moving speed of the moving body.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006332091A JP2008077035A (en) | 2006-08-23 | 2006-12-08 | Calibration method of image signal, image forming device using the same, image forming system and image forming method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006226810 | 2006-08-23 | ||
| JP2006332091A JP2008077035A (en) | 2006-08-23 | 2006-12-08 | Calibration method of image signal, image forming device using the same, image forming system and image forming method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008077035A true JP2008077035A (en) | 2008-04-03 |
Family
ID=39349103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006332091A Pending JP2008077035A (en) | 2006-08-23 | 2006-12-08 | Calibration method of image signal, image forming device using the same, image forming system and image forming method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008077035A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010107071A1 (en) * | 2009-03-18 | 2010-09-23 | ブラザー工業株式会社 | Image display device |
| JP2012103399A (en) * | 2010-11-09 | 2012-05-31 | Sony Corp | Display device and display method |
| JP2014066777A (en) * | 2012-09-25 | 2014-04-17 | Mitsubishi Electric Corp | Image display device and image display method |
| JP2014095788A (en) * | 2012-11-08 | 2014-05-22 | Sony Corp | Driving control device and driving control method and video output device |
| JP2015084022A (en) * | 2013-10-25 | 2015-04-30 | セイコーエプソン株式会社 | Electro-optical device, electronic apparatus and image processing device |
-
2006
- 2006-12-08 JP JP2006332091A patent/JP2008077035A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010107071A1 (en) * | 2009-03-18 | 2010-09-23 | ブラザー工業株式会社 | Image display device |
| JP2010217736A (en) * | 2009-03-18 | 2010-09-30 | Brother Ind Ltd | Image display device |
| JP2012103399A (en) * | 2010-11-09 | 2012-05-31 | Sony Corp | Display device and display method |
| JP2014066777A (en) * | 2012-09-25 | 2014-04-17 | Mitsubishi Electric Corp | Image display device and image display method |
| JP2014095788A (en) * | 2012-11-08 | 2014-05-22 | Sony Corp | Driving control device and driving control method and video output device |
| JP2015084022A (en) * | 2013-10-25 | 2015-04-30 | セイコーエプソン株式会社 | Electro-optical device, electronic apparatus and image processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10205923B2 (en) | Apparatus and method for processing a projected image, and projection display system | |
| US8780096B2 (en) | Scanning image display apparatus | |
| US7052142B2 (en) | Enhanced resolution projector | |
| KR100998740B1 (en) | Optical scanning device, correction method of position of image, and image display device | |
| JP6779617B2 (en) | Laser projector system with graphic pointer | |
| US20070296645A1 (en) | Display apparatus using laser and method of using the same | |
| JP2009139968A (en) | Display system with scrolling color and wobble device | |
| JP2008187175A (en) | Speckle reduction laser and laser display apparatus having the same | |
| WO2009157379A1 (en) | Spatial image display apparatus | |
| JP2008249809A (en) | Three-dimensional image display device and three-dimensional image display method | |
| US20130120718A1 (en) | Image Display Device | |
| JP2007171228A (en) | Image display system | |
| JP6118913B2 (en) | Display device | |
| JP2008077035A (en) | Calibration method of image signal, image forming device using the same, image forming system and image forming method | |
| EP3596529A1 (en) | Laser scanning display with luminance adjustment | |
| US8115706B2 (en) | Improving displayed texture by changing brightness at particular points | |
| JP2011033805A (en) | Video controller, projection-type video display device, and video display system | |
| US20130076992A1 (en) | Video display apparatus | |
| KR20140000667A (en) | Image display device | |
| JP2009229597A (en) | Image display apparatus | |
| JP4910321B2 (en) | Image display device and control method of image display device | |
| US7810933B2 (en) | Image projection apparatus | |
| JP2010266824A (en) | Image display device | |
| JP5402567B2 (en) | Image display device | |
| JP4736341B2 (en) | Projector and display device |