JP2019193144A - Projection device and control method of the same - Google Patents
Projection device and control method of the same Download PDFInfo
- Publication number
- JP2019193144A JP2019193144A JP2018085314A JP2018085314A JP2019193144A JP 2019193144 A JP2019193144 A JP 2019193144A JP 2018085314 A JP2018085314 A JP 2018085314A JP 2018085314 A JP2018085314 A JP 2018085314A JP 2019193144 A JP2019193144 A JP 2019193144A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- reduced
- image
- pixel
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、投影面に画像を投影する投影装置およびその制御方法に関する。 The present invention relates to a projection apparatus that projects an image on a projection surface and a control method thereof.
近年、従来の画像よりも解像度の高い画像（高解像度画像）を表示したいという要求がある。 In recent years, there is a demand for displaying an image (high resolution image) having a higher resolution than a conventional image.
特許文献１の投影装置は、光源から照射された光を所定の解像度で変調可能な変調素子を有し、変調素子の位置を時間的にずらして画像を投影する。これにより、ユーザは、所定の解像度以上の画像のように投影面の画像を視認することが可能となる。すなわち、ユーザの解像感の向上を図ることが可能となる。
The projection apparatus of
一方、特許文献２の投影装置は、表示する画像が動画像である場合に、映像信号の連続する２つのフレームの間に、２つのフレームから生成された補間フレームを挿入する。また、補間フレームが挿入された映像信号を用いて、特許文献１にあるように変調素子の位置を時間的にずらす制御を行って画像を投影することにより、解像感向上と動画応答性とを両立している。
On the other hand, when the image to be displayed is a moving image, the projection device of
しかしながら、特許文献２の投影装置では、入力された映像信号のフレームを用いて補間フレームを生成することから、高解像度のフレームを高速で処理する必要がある。このような処理を実行するための処理負荷は高く、したがって、ハードウェアの規模が増大するという課題があった。
However, since the projection apparatus of
そこで、本発明は、上述の課題に鑑みて、解像感と動画視認性を両立しつつ、処理回路の処理負荷を低減可能な投影装置およびその制御方法を提供することを目的とする。 In view of the above-described problems, an object of the present invention is to provide a projection apparatus and a control method thereof that can reduce the processing load of the processing circuit while achieving both resolution and moving image visibility.
上記目的を達成するために、本発明の投影装置の一の形態は、光源と、第１の周波数で前記光源から照射した光を所定の解像度で変調して画像を出力する変調手段と、前記第１の周波数で前記変調手段から出力された画像の投影面における位置を移動する移動手段と、第２の周波数で入力される複数のフレームを取得する取得手段と、各フレームに基づいて前記所定の解像度の複数の縮小フレームを生成する生成手段と、前記複数の縮小フレームを記憶する記憶手段と、前記第１の周波数で前記記憶手段から前記縮小フレームを読み出して前記変調手段を制御する制御手段と、を備え、前記生成手段は、前記複数のフレームのうち第１フレームに基づいて、第１縮小フレームを生成し、前記第１フレームと前記第１フレームと連続する第２フレームとの間における動き量に基づいて、前記第１フレームに対応する第２縮小フレームを生成することを特徴とする。 In order to achieve the above object, one aspect of the projection apparatus of the present invention includes a light source, a modulation unit that modulates light emitted from the light source at a first frequency with a predetermined resolution, and outputs an image. Moving means for moving the position on the projection plane of the image output from the modulation means at the first frequency; acquisition means for acquiring a plurality of frames input at the second frequency; and the predetermined based on each frame Generating means for generating a plurality of reduced frames of the resolution, storage means for storing the plurality of reduced frames, and control means for controlling the modulation means by reading the reduced frames from the storage means at the first frequency. And the generation means generates a first reduced frame based on a first frame of the plurality of frames, and a second frame that is continuous with the first frame and the first frame. Based on the motion amount between the over arm, and generates a second reduced frame corresponding to the first frame.
本発明に係る投影装置およびその制御方法によれば、解像感と動画視認性を両立しつつ、処理回路の処理負荷を低減することが可能となる。 According to the projection device and the control method thereof according to the present invention, it is possible to reduce the processing load of the processing circuit while achieving both resolution and moving image visibility.
＜実施例１＞
投影装置１は、投影面に画像を投影することが可能なプロジェクタである。投影装置１は、光源２、光源制御部３、変調素子４、変調制御部５、画素移動部６、移動制御部７、制御部（ＣＰＵ）８、メモリ９、および画像処理部１００を備える。図１は、投影装置１の構成図を示す模式図である。
<Example 1>
The
投影装置１は、光源２から発せられた光を変調素子４で変調して画像を出力する。変調素子４から出力された画像は、そのまま投影面に投影されるか、画素移動部６により投影面における位置（投影位置）を制御されたのちに投影面に投影される。投影装置１は、画素移動部６を用いて予め定められた周期で投影位置を切り替えることにより、変調素子４から出力された画像の解像度よりも高い解像度の画像が投影されたように、ユーザに認識させる（解像感を向上させる）ことが可能である。このような制御を画素ずらし制御と呼称するとする。
The
画素ずらし制御を行うために、投影装置１の画像処理部１００は、入力されたフレームから、各投影位置に対応する複数の制御フレームを生成する。各制御フレームに基づいて変調制御部５は変調素子４を制御し、かつ、制御フレームに対応する位置に画像が投影されるようにレンズ制御部７は画素移動部６を制御する。
In order to perform pixel shift control, the
入力映像信号の１つのフレームに対して複数の制御フレームが生成され、各制御フレームに基づいて変調素子４と画素移動部６が制御される。したがって、入力映像信号のフレームレートよりも高い制御周波数で、変調素子４や画素移動部６を制御する必要がある。これらを制御するためには、制御周波数で制御フレームをメモリ９（フレームメモリ）から読み出す必要がある。例えば、６０Ｈｚのフレームレートで２Ｋ解像度（２０４８×１０８０）のフレームが連続する映像信号が入力されたとする。投影位置を、基準位置と、基準位置に対して水平方向および垂直方向に０．５画素ずつずらした位置とで制御フレームごとに切り換える場合、制御フレームは入力映像信号のフレームレートの２倍（１２０Ｈｚ）で読み出す必要がある。
A plurality of control frames are generated for one frame of the input video signal, and the
第１の実施例の投影装置１は、上述したように入力映像信号のフレームレートよりも高い制御周波数でフレームデータを処理する場合に、処理負荷の増加を抑制することを可能とするものである。以下で、投影装置１の構成、および動作の詳細について説明する。
The
光源２は、変調素子４へ光を照射するための光源である。光源２は、１以上の発光素子を備える。例えば、光源２は、ハロゲンランプ、キセノンランプ、高圧水銀ランプ等の既知の光源から選択することが可能である。光源２の発光量は、光源制御部３により制御される。
The
光源制御部３は、光源２の発光量を制御する制御回路である。光源制御部３は、光源２の発光のオン／オフを制御する信号を出力することにより、光源２の発光量を制御するとする。また、光源制御部３は、ユーザが設定した発光条件に基づいて、光源の発光量を制御することも可能である。さらに、光源制御部３は、入力された映像信号に付加されたメタデータに記載された画像の輝度を示す情報、または、映像信号を解析した結果に基づいて、光源２の発光量を制御してもよい。光源２、および光源制御部３を総称して、光源ユニットと呼称してもよい。
The light
変調素子４は、光源２から発せられた光を変調して、画像を出力する。変調素子４は、それぞれ個別に光の透過率を制御可能な複数の液晶素子が、所定の解像度で配置された液晶パネルであるとする。変調素子４は、変調制御部５の制御により各液晶素子の透過率を制御される。ここで、変調素子４の解像度は２Ｋ解像度（２０４８×１０８０）であるとする。
The
変調制御部５は、画像処理部１００から読み出された縮小フレームに基づいて、変調素子４を制御する。変調素子４が液晶パネルである場合、変調制御部１０６は、縮小フレームの各画素の画素値に基づいて、対応する液晶素子の透過率を制御する。
The
画素移動部６は、変調素子４から出力された画像が投影面に投影される際の位置を移動するための素子である。例えば、画素移動部６は、光の入射角に応じて、光の出射位置を制御可能な光学部材であるとする。
The
移動制御部７は、入力されたタイミング信号（同期信号）に基づいて、所定のタイミングで所定の位置に画像が投影されるように、画素移動部６を制御する。例えば、移動制御部７は、入力されたタイミング信号ごとに、基準投影位置と、基準投影位置に対して水平方向、および垂直方向それぞれにおいて０．５画素だけ移動した投影位置（移動投影位置）との間を交互に繰り返すように、画素移動部６を制御するとする。
Based on the input timing signal (synchronization signal), the
図２は、基準投影位置に投影された画像と、移動投影位置に投影された画像との関係を示す模式図である。図中の白四角はそれぞれ、基準投影位置に投影された画像（投影画像Ａ）の投影画素を示す。また、図中の斜線付四角はそれぞれ、移動投影位置に投影された画像（投影画像Ｂ）の投影画素を示す。投影面を視るユーザは、投影画像Ａと投影画像Ｂとを時間的に積算して認識することから、各投影画像よりもより滑らかな画像として認識することが可能となる。すなわち、ユーザは、各投影画像よりも高い解像感で画像を認識することが可能となる。 FIG. 2 is a schematic diagram illustrating a relationship between an image projected on the reference projection position and an image projected on the moving projection position. Each white square in the figure indicates a projection pixel of an image (projection image A) projected at the reference projection position. In addition, each hatched square in the figure indicates a projection pixel of an image (projected image B) projected at the moving projection position. Since the user who views the projection plane integrates and recognizes the projection image A and the projection image B over time, the user can recognize the image as a smoother image than each projection image. That is, the user can recognize an image with a higher resolution than each projected image.
制御部８は、上述の光源制御部３、変調制御部５、移動制御部７、および後述する画像処理部１００の動作を制御するためのプロセッサ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）である。制御部８は、メモリ９から動作に必要なプログラムを読み出して実行することにより、各機能ブロックの制御を行う。
The
メモリ９は、制御部８や他の機能ブロックが動作するために用いるプログラム、パラメータ、および設定情報等の各種のデータを記憶する記憶媒体である。また、メモリ９は、投影装置が画像を表示するための映像信号を記憶していてもよい。
The
画像処理部１００は、入力された映像信号に基づいて、変調素子４の制御に用いるためのフレームを出力する画像処理回路である。画像処理部１００は、入力された映像信号のフレームに基づいて、変調素子４の解像度の制御フレーム（縮小フレーム）を生成する。また、画像処理部１００は、フレーム間の動き量に基づいて、縮小フレームを生成する。ここで、入力された映像信号は、４Ｋ解像度（３８４０×２１６０）のフレームが、フレームレート６０Ｈｚで連続する信号であるとする。
The
図３は、画像処理部１００の機能ブロックを示すブロック図である。画像処理部１００は、入力部１０１とフレームメモリ１０２、１０６と動き検出部１０３と生成部１０４、１０５とを有する。
FIG. 3 is a block diagram illustrating functional blocks of the
入力部１０１は、メモリ９から画像の投影に用いる入力映像信号を取得する。入力映像信号は、複数のフレームが入力フレームレートで連続した映像信号である。入力部１０１は、入力映像信号の各フレームを、フレームメモリ１０２、動き検出部１０３、生成部１０５に出力する。
The
フレームメモリ１０２は、入力されたフレーム（現フレーム）を記憶し、入力されたフレームに対して１フレーム前のフレーム（前フレーム）を出力するメモリである。フレームメモリ１０２は、前フレームを、動き検出部１０３、生成部１０４、および生成部１０５にそれぞれ出力する。つまり、動き検出部１０３と生成部１０５とは、入力映像信号におけるＮ番目のフレームが現フレームである場合に、フレームＮと、フレームＮの１つ前のフレーム（Ｎ−１番目のフレーム、フレームＮ−１）とが入力される。
The
フレームメモリ１０６は、変調制御部５が用いる制御フレームを記憶するメモリである。制御フレームは、変調素子４の解像度に対応する解像度のフレームであり、入力された映像信号のフレームの解像度よりも低解像度のフレームである。制御フレームは、後述する生成部１０４、１０５が入力された映像信号のフレームに基づいて生成した縮小フレームである。縮小フレームは、入力映像信号のフレームレートに対応する周波数で、フレームメモリ１０６に書き込まれる。フレームメモリ１０６は、変調素子４、および画素移動部６の制御周波数で、縮小フレームを読み出して、変調制御部５、移動制御部７に出力する。
The
動き検出部１０３は、現フレームと前フレームとに基づいて、現フレームの前フレームに対する動き量に関連する情報（動き情報ＶＥＣ）を検出する。動き情報ＶＥＣは、動きベクトル情報であるとする。動き情報ＶＥＣは、画像の移動方向（水平、垂直）と移動量（水平移動画素数、垂直移動画素数）とから構成される。つまり、動いた方向と、どれだけ動いたかを示す情報とで構成される。
The
本実施例における動き検出の手法は、ブロックマッチング法を用いて行う。動き情報ＶＥＣは、所定のブロック単位で算出されるため、複数画素で構成される領域に１つ算出される値であるため、補間に用いる際には、領域に割り当てられた１つの動き情報ＶＥＣを、画素ごとにマッピングする必要がある。領域に割り当てられた１つの動き情報ＶＥＣは、領域の中心の動き情報を表すため、画素ごとにマッピングする際には、隣接領域の動き情報ＶＥＣを用いて線形補間にて算出する。 The motion detection method in this embodiment is performed using a block matching method. Since the motion information VEC is calculated in a predetermined block unit, it is a value calculated for one area composed of a plurality of pixels. Therefore, when used for interpolation, one motion information VEC assigned to the area is used. Must be mapped for each pixel. Since one piece of motion information VEC assigned to a region represents the motion information at the center of the region, when mapping for each pixel, it is calculated by linear interpolation using the motion information VEC of the adjacent region.
本実施例における移動量（水平移動画素数、垂直移動画素数）は、入力画像ＩＤ０の解像度に対して小数値で算出するものとする。これは、縮小分割画像Ｂ生成部１０４で縮小フレームＢを生成する際の、縮小後の補間位置の精度を保つためである。もちろんハード規模を削減するために整数値の算出精度でも構わないが、この場合は、補間位置の精度が低下する。また、本実施例では、縮小前に動き情報ＶＥＣを検出する構成としたが、縮小後に動き情報ＶＥＣを検出する構成を用いても良い。その場合は、縮小後画像の画素に対して、小数値で算出可能なビット数を持ち検出を行うことが必要である。
The amount of movement (the number of horizontally moving pixels and the number of vertically moving pixels) in this embodiment is calculated as a decimal value with respect to the resolution of the input image ID0. This is to maintain the accuracy of the reduced interpolation position when the reduced divided image
図４は、フレーム間で物体が動いている様子を示す模式図である。図４は、それぞれ時刻Ｔ１，Ｔ２，Ｔ３で時間的に連続して入力されたフレーム１００１、１００２、１００３で、物体Ｏｂｊが移動する様子を示す。時刻Ｔ１でフレーム１００１の左上の領域１００４にあった物体が、時刻Ｔ２時にはフレーム１００２内の中央の領域１００５に移動する。さらに、時刻Ｔ３時には、フレーム１００３内の右下の領域１００６に移動する。ここでは、フレーム１００１とフレーム１００２に注目し、フレーム１００１とフレーム１００２から動きベクトルを検出する。
FIG. 4 is a schematic diagram showing how an object moves between frames. FIG. 4 shows how the object Obj moves in
図５は、動き情報ＶＥＣを検出する動作を示す模式図である。図５において、フレーム１１０１は、上述の前フレーム（フレームＮ−１）に対応し、フレーム１１０２は、上述の現フレーム（フレームＮ）に対応する。フレーム１１０１は、物体の動きを検出する元となる画像（動き元画像）であるともいえる。同様に、フレーム１１０２は、物体が動いた先を検出するための画像（動き先画像）であるともいえる。
FIG. 5 is a schematic diagram showing an operation for detecting the motion information VEC. In FIG. 5, a
動き検出部１０３は、フレーム１１０１を格子状に複数のブロックに分割し、各ブロックの動きベクトルを検出する。例えば、動き検出部は、フレーム１１０１のブロック１１０６に対する動きベクトルを、フレーム１１０２の同じ位置のブロック１１０７を中心とした動き探索範囲１１０５の領域を参照して検出する。探索範囲１１０５は、広くすればするほど速い移動に対しても検出可能になる。
The
図５の例では、ブロック１１０６の移動先のブロックとしてブロック１１０８が検出される。ここで、ブロック１１０８が検出されるのは、探索範囲１１０５内で、ブロック１１０６と最も相関が高いブロックがブロック１１０８であるためである。ブロック１１０６からブロック１１０８への矢印１１０９が、ブロック１１０８に対応する動き情報ＶＥＣとなる。矢印１１０９の向きが「移動方向」、矢印１１０９の長さが「移動量」として動き情報ＶＥＣの情報となる。
In the example of FIG. 5, the
以上の処理を、画面全体に対してブロック毎に行う。ブロック単位で検出された動き情報から画素単位へのマッピングは、隣接ブロックのベクトル情報を用いて、線形補間にて求めることが出来る。 The above processing is performed for each block on the entire screen. Mapping from motion information detected in units of blocks to units of pixels can be obtained by linear interpolation using vector information of adjacent blocks.
なお、検出時に動き探索範囲を参照する格子状のブロックサイズは、大きいほど画像の情報量が増えるため、検出精度は向上する。但し、ブロック内の画素数が増えることで、動き探索範囲内においてブロックマッチングを行う際の演算量が増大し、ハード規模増大につながる。そのため、ブロックサイズは、ユーザが精度とハード規模を考慮し、適宜決定すればよい。また、動きベクトルの検出方法については、本実施例に限定されることなく、従来の別の方法を用いても構わない。 Note that the larger the grid-like block size that refers to the motion search range at the time of detection, the greater the amount of information in the image, so that the detection accuracy improves. However, the increase in the number of pixels in the block increases the amount of computation when performing block matching within the motion search range, leading to an increase in hardware scale. Therefore, the block size may be appropriately determined by the user in consideration of accuracy and hardware scale. The motion vector detection method is not limited to the present embodiment, and another conventional method may be used.
生成部１０４は、前フレームに基づいて変調素子４の制御に用いるための縮小フレームＡを生成する。また、生成部１０５は、動き情報ＶＥＣと、現フレームと、前フレームとに基づいて、縮小フレームＢを生成する。縮小フレームＢは、現フレームと前フレームとの間の動き量に基づいて生成された前フレームに対応する縮小フレームである。各縮小フレームの解像度は、変調素子４の解像度に対応し、もとのフレームの解像度よりも低い。
The
生成部１０４の縮小フレームＡの生成方法について説明する。縮小フレームＡは、基準投影位置に投影されるための画像である。図６は、縮小フレームＡの生成方法を説明するための模式図である。図６（ａ）は、縮小フレームＡを生成する際の画素参照位置を示す模式図である。図６（ｂ）は、縮小フレームＡの画素配列を示す模式図である。また、図６（ｂ）は、基準投影位置に投影された縮小フレームＡに基づく投影画像の画素配列を示す模式図でもある。図６（ｂ）に示すように、縮小フレームＡの画素は、入力された映像信号のフレームの画素の４倍の大きさとなる。つまり、フレームの４画素に、縮小フレームＡの１画素が対応する。
A method for generating the reduced frame A by the
生成部１０４は、縮小フレームＡの画素（ｘ，ｙ）の画素値を決定するために前フレームの参照座標に対応する画素の画素値を参照する。図６（ａ）の太枠で示した領域は、縮小フレームＡを生成する際に参照する前フレームの画素の位置（参照座標）を示す。参照座標とは、フレームから縮小フレームを生成するための縮小処理において、処理の中心として用いる画素を示す座標である。
The
生成部１０５は、図６（ａ）に示すように、水平方向、垂直方向共に偶数番目の画素の位置を参照座標とする。つまり、縮小フレームＡの画素（ｘ，ｙ）の画素値を決定するために参照する参照座標Ｍａ（ｘ，ｙ）は、（２ｘ、２ｙ）である。
As shown in FIG. 6A, the
したがって、生成部１０４は、縮小フレームＡの画素（０，０）の画素値を、前フレームの画素（０，０）の画素値とする。生成部１０４は、縮小フレームＡの画素（１，０）の画素値を、前フレームの画素（２，０）の画素値とする。生成部１０４は、縮小フレームＡの画素（２，０）の画素値を、前フレームの画素（４，０）の画素値とする。また、生成部１０４は、縮小フレームＡの画素（０，１）の画素値を、前フレームの画素（０，２）の画素値とする。生成部１０４は、縮小フレームＡの画素（０，２）の画素値を、前フレームの画素（０，４）の画素値とする。
Therefore, the
なお、生成部１０４は、フレームの参照座標に対応する画素の画素値を縮小フレームの各画素の画素値とするとする。なお、生成部１０４の縮小処理は上述の方法に限定されない。例えば、生成部１０４は、参照座標に対応する画素の周囲の画素の画素値も用いて補間処理（例えばバイキュービック補間）などで縮小処理を行っても構わない。
Note that the
生成部１０４が生成した縮小フレームＡは、フレームメモリ１０６に書き込まれる。生成部１０４は、フレームが入力されたタイミングで上述の処理を行う。つまり、フレームメモリ１０６には、入力フレームレートに対応する周波数で、変調素子４の解像度に対応する解像度のフレームが書き込まれる。
The reduced frame A generated by the
生成部１０５の縮小フレームＢの生成方法について説明する。縮小フレームＢは、移動投影位置に投影されるための画像である。生成部１０５は、動き検出部１０２で検出された動き情報ＶＥＣに基づいて前フレームを縮小処理して、縮小フレームＢを生成する。生成部１０５は、基準の参照座標を、動き情報ＶＥＣの「移動方向」「移動量」に従って補正することで、フレーム間の動きを補完した縮小フレームの生成を可能にする。
A method for generating the reduced frame B by the
図７は、中間フレームにおける動き量を示す模式図である、なお、動き情報ＶＥＣ（ベクトル情報）１１０９は、図５に示すように時刻Ｔ１のブロック１１０６が、時刻Ｔ２に遷移した際に、ブロック１１０８に動いた場合の例である。
FIG. 7 is a schematic diagram showing the amount of motion in the intermediate frame. Note that the motion information VEC (vector information) 1109 is a block when the
この場合、時刻Ｔ１→時刻Ｔ２の中間の時刻Ｔ１．５に位置するフレーム（中間フレーム）を仮想すると、前フレームに対する中間フレームの動き量は、前フレームに対する現フレームの動き量の半分になる。前フレームに対する中間フレームの動き量に関する動き情報ＶＥＣＭ１２０３は、動き情報ＶＥＣの半分の大きさとする。これは、時刻Ｔ１におけるブロック１１０６が、時刻Ｔ１．５におけるブロック１２０４へ移動したことを示している。
In this case, if a frame (intermediate frame) located at an intermediate time T1.5 between time T1 and time T2 is hypothesized, the motion amount of the intermediate frame with respect to the previous frame is half of the motion amount of the current frame with respect to the previous frame. The
生成部１０５は、動き情報ＶＥＣＭに基づいて縮小フレームＢの画素（ｘ，ｙ）の画素値を決定するために参照する画素の位置（参照座標Ｍｂ（ｘ，ｙ））を決定する。図８は、縮小フレームＢの生成方法を説明するための模式図である。図８（ａ）は、前フレームの画素の配置を示す模式図である。また、図８（ｂ）は、縮小フレームＢに基づいて変調素子４から出力された画像が、移動投影位置で投影された場合における投影面上の画素配置を示す模式図である。上述したように、移動投影位置で投影される投影画像は、基準投影位置で投影される投影画像に対して、投影面上で投影画像の画素の０．５画素（半画素）分ずつ、水平方向、および垂直方向にシフトする。
The
上述したように投影画像の１つの画素は、フレームの４つの画素に対応する。また、投影位置が水平方向、および垂直方向に０．５画素分ずれている。したがって、縮小フレームＢを生成するに当たり基準とする参照座標は、縮小フレームＡを生成するに当たり用いる参照座標に対して、水平方向、および垂直方向に１画素分シフトした位置とする。したがって、縮小フレームＢの画素（ｘ，ｙ）の画素値を決定するために参照する画素の基準座標ＢＡＳＥ（ｘ，ｙ）は、フレームにおける（２ｘ＋１、２ｙ＋１）の座標である。 As described above, one pixel of the projection image corresponds to four pixels of the frame. Further, the projection position is shifted by 0.5 pixels in the horizontal direction and the vertical direction. Therefore, the reference coordinates used as a reference for generating the reduced frame B are positions shifted by one pixel in the horizontal direction and the vertical direction with respect to the reference coordinates used for generating the reduced frame A. Accordingly, the reference coordinate BASE (x, y) of the pixel referred to for determining the pixel value of the pixel (x, y) of the reduced frame B is the coordinate of (2x + 1, 2y + 1) in the frame.
また、生成部１０５は、基準座標ＢＡＳＥ（ｘ，ｙ）を対応する動き情報ＶＥＣＭに基づいて補正して、参照座標Ｍｂ（ｘ，ｙ）を決定する。参照座標Ｍｂ（ｘ，ｙ）は、基準座標ＢＡＳＥ（ｘ，ｙ）と対応するブロックの動き情報ＶＥＣＭに基づいて、式１を用いて求められる。
Ｍ（ｘ，ｙ）＝ＢＡＳＥ（ｘ，ｙ）−ＶＥＣＭ（ｘ，ｙ）・・・（式１）
Further, the
M (x, y) = BASE (x, y) −VECM (x, y) (Formula 1)
基準座標ＢＡＳＥ（１，０）、すなわちフレームにおける座標（３，１）に対応するブロックの動き量がない（静止ブロック）の場合、対応する参照座標Ｍｂ（１，０）は、（３，１）（＝（３，１）−（０、０））となる。 When there is no motion amount of the block corresponding to the reference coordinate BASE (1, 0), that is, the coordinate (3, 1) in the frame (stationary block), the corresponding reference coordinate Mb (1, 0) is (3, 1 ) (= (3, 1)-(0, 0)).
図８（ｃ）は、基準座標ＢＡＳＥ（１，０）を対応する動き情報ＶＥＣＭに基づいて補正した参照座標を示す模式図である。基準座標ＢＡＳＥ（１，０）に対応するブロックの動き情報ＶＥＣＭが、水平方向に＋２、垂直方向に＋１であるとする。この場合、式１に従って計算すると、参照座標Ｍｂ（１、０）は、（１，０）（＝（３，１）−（２、１））と決定される。
FIG. 8C is a schematic diagram illustrating reference coordinates obtained by correcting the base coordinates BASE (1, 0) based on the corresponding motion information VECM. It is assumed that the motion information VECM of the block corresponding to the reference coordinate BASE (1, 0) is +2 in the horizontal direction and +1 in the vertical direction. In this case, when calculated according to
図７に示すように中間フレーム１２０１内のブロック１２０４の領域が動き領域である場合、縮小フレームＢのブロック１２０４に対応する領域の画素の画素値は、フレーム１１０１内のブロック１１０６の領域の画素を参照して決定される。ブロック１２０４の領域が静止領域である場合、縮小フレームＢのブロック１２０４に対応する領域は、フレーム１１０１内の同じ位相にあるブロック１１１０の領域の画素を参照して決定される。
As shown in FIG. 7, when the area of the
上述のようにして、各画素の参照座標を動き量に基づいて予め補正することによって、入力映像信号のフレームの解像度の動き補間フレームを生成することなく、動き量を反映した補完縮小フレーム（縮小フレームＢ）を生成することが可能となる。 As described above, by correcting the reference coordinates of each pixel based on the motion amount in advance, a complementary reduced frame (reduction that reflects the motion amount is generated without generating a motion interpolation frame having the resolution of the frame of the input video signal). Frame B) can be generated.
生成部１０５が生成した縮小フレームＢは、フレームメモリ１０６に書き込まれる。生成部１０５は、フレームが入力されたタイミングで上述の処理を行う。つまり、フレームメモリ１０６には、入力フレームレートに対応する周波数で、変調素子４の解像度に対応する解像度のフレームが書き込まれる。
The reduced frame B generated by the
フレームメモリ１０６は、上述した通り、書き込まれた縮小フレームを記憶する。つまり、フレームメモリ１０６には、入力フレームレートに対応する周波数（書き込み周波数）で、変調素子４の解像度に対応する縮小フレームが書き込まれる。
As described above, the
また、フレームメモリ１０６は、記憶した縮小フレームを、制御周波数で変調制御部５に出力する。これは、変調制御部５が縮小フレームを制御周波数で読み出すともいえる。上述した投影位置の移動制御を行う場合、制御周波数は書き込み周波数の２倍であり、書き込み周波数が６０Ｈｚである場合、制御周波数は１２０Ｈｚである。このとき、フレームメモリ１０６からは縮小フレームＡ，Ｂが交互に出力される。なお、制御周波数は、画素ずらし処理の制御に応じて、書き込み周波数の４倍とすることも可能である。制御周波数は、画素ずらし処理の制御に応じて書き込み周波数の整数倍である。
The
したがって、解像度の高い入力映像信号のフレームを、高速で処理する必要がなく、フレームメモリ１０６の帯域の増加を抑制することが可能となる。
Therefore, it is not necessary to process a frame of an input video signal having a high resolution at high speed, and an increase in the bandwidth of the
例えば、入力された映像信号のフレームと、フレーム間の動き量を補完した補間フレームを生成してフレームメモリに記憶するとする。この場合、フレームメモリから入力フレームレートよりも高いフレームレート（制御周波数）で各フレームを読み出して、縮小処理を行って変調制御部に入力する。このような制御を行うとすると、フレームメモリは、入力された映像信号のフレームの解像度のフレームを、制御周波数で処理する必要があり、大きい帯域や処理負荷を要求される。 For example, assume that an input video signal frame and an interpolation frame that complements the amount of motion between the frames are generated and stored in the frame memory. In this case, each frame is read from the frame memory at a frame rate (control frequency) higher than the input frame rate, reduced, and input to the modulation control unit. If such control is performed, the frame memory needs to process a frame having the resolution of the frame of the input video signal at the control frequency, and is required to have a large bandwidth and processing load.
本実施例に記載した構成によれば、入力された映像信号のフレームの解像度の補間フレームを生成する必要がないので、大きい帯域や処理負荷を必要としない。 According to the configuration described in the present embodiment, since it is not necessary to generate an interpolation frame having the resolution of the frame of the input video signal, a large bandwidth and a processing load are not required.
図９は、本実施例における画像生成の動作の詳細を説明するための模式図である。Ｆｒａｍｅ１とＦｒａｍｅ２とは、それぞれ前フレームと現フレームとに対応する。つまり、Ｆｒａｍｅ１はＦｒａｍｅ２に対して１フレーム遅延した画像を表している。
FIG. 9 is a schematic diagram for explaining the details of the image generation operation in the present embodiment.
Ｆｒａｍｅ１からＦｒａｍｅ２へは、時間的に１／６０秒だけ推移している。つまり、６０Ｈｚの周期で画像が更新されている画像であることを示している。Ｆｒａｍｅ１は、背景領域２０１とオブジェクト（山）２０２、及びオブジェクト（車）２０３とから構成されている。背景領域２０１とオブジェクト２０２は静止している領域であり、オブジェクト２０３は時間的に移動する移動領域である。
From
本実施例では、まず、Ｆｒａｍｅ１から、縮小フレーム１Ａを生成する。次に、Ｆｒａｍｅ１と、Ｆｒａｍｅ１に対するＦｒａｍｅ２の動き情報とから縮小フレーム１Ｂを生成する。 In this embodiment, first, a reduced frame 1A is generated from Frame1. Next, a reduced frame 1B is generated from Frame1 and the motion information of Frame2 with respect to Frame1.
具体的には、ここで、Ｆｒａｍｅ１の背景領域２０１とオブジェクト（山）２０２は静止している。したがって、対応する領域の動き情報ＶＥＣは（０，０）である。一方、オブジェクト（車）２０３は時間的に移動する。したがって、対応する領域の動き情報ＶＥＣは（ｍｘ、ｍｙ）である。
Specifically, the
動き情報ＶＥＣ（ｍｘ，ｍｙ）に基づいて、Ｆｒａｍｅ１とＦｒａｍｅ２との中間フレーム（Ｆｒａｍｅ１．５）における動き量を示す動き情報ＶＥＣＭを算出する。オブジェクト２０３に対応する領域の動き情報ＶＥＣＭは以下の式２により求められるとする。
ＶＥＣＭ（ｘ，ｙ）＝（ｍｘ／２、ｍｙ／２）・・・（式２）
Based on the motion information VEC (mx, my), motion information VECM indicating a motion amount in an intermediate frame (Frame 1.5) between
VECM (x, y) = (mx / 2, my / 2) (Expression 2)
したがって、背景２０１とオブジェクト２０２に対応する領域の動き情報ＶＥＣＭは、（０，０）であり、オブジェクト２０３に対応する領域の動き情報ＶＥＣＭは、（ｍｘ／２、ｍｙ／２）である。
Accordingly, the motion information VECM of the area corresponding to the
上述のように、縮小フレーム１Ｂを生成する場合に参照される画素の位置は、動き情報ＶＥＣＭに基づいて決定される。背景２０１とオブジェクト２０２は、移動がない（ＶＥＣＭ＝（０、０））ため、Ｆｒａｍｅ１から、水平、垂直方向に１画素分ずらした位置に補間され縮小される。これは、縮小分割画像の０．５画素シフトに対応する。また、オブジェクト２０３に対応する位置は、移動があるため、Ｆｒａｍｅ１に対して静止領域の基準座標から（ｍｘ／２、ｍｘ／２）画素分ずらした位置に補間され縮小される。
As described above, the position of the pixel referred to when generating the reduced frame 1B is determined based on the motion information VECM. Since the
縮小されたフレームが、図９に示した縮小フレーム（１／２倍）である。上記の処理を行うことで、静止した領域は０．５画素ずらした位相での画像が生成され、動き領域は物体の動きに基づいてずらした位相での画像が生成される。 The reduced frame is the reduced frame (1/2 times) shown in FIG. By performing the above processing, an image with a phase shifted by 0.5 pixels is generated for the stationary region, and an image with a phase shifted based on the motion of the object is generated for the motion region.
上記説明では、Ｆｒａｍｅ１とＦｒａｍｅ２とから、縮小フレーム１Ａ、１Ｂを生成するフローを説明した。Ｆｒａｍｅ２とＦｒａｍｅ３（Ｆｒａｍｅ２の次のフレーム）から縮小フレーム２Ａ、２Ｂを生成することが出来る。 In the above description, the flow of generating the reduced frames 1A and 1B from Frame1 and Frame2 has been described. Reduced frames 2A and 2B can be generated from Frame2 and Frame3 (the next frame after Frame2).
なお、オブジェクト２０３が移動した元の領域に対応する縮小フレーム１Ｂの領域の画素の画素値は、現フレーム（Ｆｒａｍｅ２）の基準座標に対応する画素を用いて決定してもよい。
Note that the pixel value of the pixel in the area of the reduced frame 1B corresponding to the original area to which the
以上説明したように、入力画像の動き情報に基づいて、縮小分割画像を生成しフレームメモリを介して倍速で読み出すことにより、コストを抑制しつつ解像感と動画視認性を両立した画像投影装置を提供することが可能になる。 As described above, based on the motion information of the input image, a reduced divided image is generated and read out at a double speed via the frame memory, thereby reducing the cost and achieving both resolution and moving image visibility. It becomes possible to provide.
＜実施例２＞
実施例２では、補間フレームに黒フレームを挿入する明暗駆動方式のプロジェクタへ適用する例を示す。明暗駆動方式とは、１フレームおきに黒画像を表示する駆動方式である。実施例２の投影装置１００１の装置構成は画像処理部１１００以外の構成が実施例１の投影装置１と同等であるとする。画像処理部１１００以外の構成については詳細な説明を省略する。
<Example 2>
In the second embodiment, an example is shown in which the present invention is applied to a light / dark drive type projector that inserts a black frame into an interpolation frame. The light / dark drive system is a drive system that displays a black image every other frame. Assume that the configuration of the
図１０は明暗駆動方式で駆動する場合の投影画像を示す模式図である。明暗駆動方式は、１フレームおきに黒画像を表示することで、見た目の動画応答性を改善する技術である。つまり、実施例１で示した制御において、縮小フレームＢの表示タイミングで黒画像フレームに基づいて変調素子４を制御する。図１０の時刻Ｔ１と時刻Ｔ２とにおけるフレームが、入力された映像信号のフレームであり、時刻Ｔ１．５と時刻Ｔ２．５とにおけるフレームが黒画像フレームである。
FIG. 10 is a schematic diagram showing a projected image in the case of driving by the light / dark drive system. The light / dark drive method is a technique for improving the apparent moving image response by displaying a black image every other frame. That is, in the control shown in the first embodiment, the
実施例２の投影装置は、上述した明暗駆動方式と、画素ずらし制御とを同時に実施する投影装置である。また、画素ずらし制御のための制御フレーム（縮小フレーム）を生成するに当たり、実施例１と同様に動き量に基づいて縮小したフレームをフレームメモリに書き込む。 The projection apparatus according to the second embodiment is a projection apparatus that simultaneously performs the above-described light and dark driving method and pixel shift control. Further, when generating a control frame (reduced frame) for pixel shift control, the reduced frame based on the amount of motion is written in the frame memory as in the first embodiment.
さらに、実施例２の投影装置は、入力された映像信号のフレーム間で動き量が所定以上である領域に対しては、対応する中間フレームにおいて画素値を黒に近づける。また、動き量が小さい静止領域に対して、ゲインを半分に近づけるような制御を行う。これにより、動きを有する領域に対しては、動画応答性改善効果を高め、静止領域に対しては、画素ずらし効果を高めて解像感向上を行うためることが可能となる。 Furthermore, the projection apparatus according to the second embodiment brings the pixel value closer to black in a corresponding intermediate frame for a region where the amount of motion is greater than or equal to a predetermined amount between frames of the input video signal. In addition, control is performed so that the gain is reduced to half in a still region where the amount of motion is small. As a result, it is possible to enhance the moving image response improvement effect for a region having movement, and enhance the resolution by increasing the pixel shifting effect for a still region.
図１１は、実施例２における画像処理部１１００の機能ブロックを示すブロック図である。画像処理部１１００は、入力部１１０１とフレームメモリ１１０２、１１０６と動き検出部１１０３と生成部１１０４、１１０５とゲイン決定部１１０８とを備える。
FIG. 11 is a block diagram illustrating functional blocks of the
入力部１１０１とフレームメモリ１１０２とは、実施例１の同名の機能ブロックと同様の動作を行うことから説明を省略する。
Since the
動き検出部１１０３は、前フレームに対する現フレームの動き量に関する動き情報ＭＶを検出する。動き検出部１１０３は、２つのフレーム（前フレームと現フレーム）の画素ごとに画素値の差分値の絶対値（差分値Ｄ）を閾値と比較することにより、画素ごとに動きの有無を判定する。
The
動き検出部１１０３は、差分値Ｄが閾値ＭＡＸＴＨより大きい画素は当該画素の動きがあるとして、当該画素の動き情報ＭＶを１６とする。動き検出部１１０３は、差分値Ｄが閾値ＭＩＮＴＨより小さい場合は、当該画素の動きがないとして、当該画素の動き情報ＭＶを０とする。なお、差分値Ｄが閾値ＭＩＮＴＨ以上、閾値ＭＡＸＴＨ以下である場合、差分値に対して０と１６との間を補間して求める。図１２は、差分値Ｄと動き情報ＭＶとの関係を示す模式図である。本実施例では、動き情報ＭＶは０〜１６までの５ビット程度の信号を想定しているが、もちろんこれより大きくてもよい。その際は精度が上がる。
The
ゲイン決定部１１０８で、ゲインＤＧを決定する。ここで、ゲインＤＧは、生成部１１０４、１１０５が実施例１と同様にして生成した縮小フレームＡおよび縮小フレームＢの画素値を補正するために用いるゲイン値である。
The
ゲインＤＧは、以下の式３で求められる。
ＤＧ＝（ＭＶ／３２）＋０．５・・・（式３）
The gain DG is obtained by the following
DG = (MV / 32) +0.5 (Expression 3)
動き情報ＭＶ＝０の時、つまり静止している画素は、ゲインＤＧ＝０．５となる。また、動き情報ＭＶ＝１６、動きのある画素はゲインＤＧ＝１．０となる。ゲインＤＧは、０．５〜１の範囲の値であり、値が小さいほど画素値のゲインが小さくなるように制御する。ＭＶ−ＤＧ変換の一例を図１２に示す。ゲイン決定部１１０８は、画素ごとにゲインＤＧを生成し、生成部１１０４、１１０５に出力する。
When the motion information MV = 0, that is, a stationary pixel has a gain DG = 0.5. Further, the motion information MV = 16, and the pixel having motion has a gain DG = 1.0. The gain DG is a value in the range of 0.5 to 1, and is controlled such that the smaller the value, the smaller the gain of the pixel value. An example of MV-DG conversion is shown in FIG. The
生成部１１０４では、ゲインＤＧに従って、縮小フレームＡを生成する。生成部１１０４は、実施例１と同様に生成した縮小フレームＡの各画素の画素値に対応するゲインＤＧを乗算して画素値を補正する。動き情報ＭＶが小さいほど、補正された縮小フレームＡに基づいて投影された画像の輝度レベルが下がる。
The
生成部１１０５では、ゲインＤＧに従って、縮小フレームＢを生成する。生成部１１０５は、参照座標を縮小フレームＡから１画素ずらして縮小処理を実行して生成した縮小フレームＢの各画素の画素値を対応するゲインＤＧを用いて補正する。補正前の縮小フレームＢの画素値Ｇ（ｘ、ｙ）と補正後の縮小フレームＢの画素値Ｇ’（ｘ、ｙ）との関係は式４で示されるとする。
Ｇ’（ｘ、ｙ）＝（１−ＤＧ（ｘ、ｙ））×Ｇ（ｘ、ｙ）・・・（４）
The
G ′ (x, y) = (1−DG (x, y)) × G (x, y) (4)
対応する動き情報ＭＶが大きいほどゲインＤＧが大きいことから、上述の補正により、対応する動き情報ＭＶが大きいほど補正後の縮小フレームＢの画素値が小さくなる。つまり、黒画像とのブレンド割合を増やす。動きがある領域に対しては縮小フレームＢの輝度が下がり、明暗駆動による黒画像挿入による動画視認性の改善が可能となる。また、動き情報が小さい領域は、補正前の縮小フレームＢにおける画素値の割合が高くなることから、画素ずらし制御による解像感向上の効果が得られる。 Since the gain DG increases as the corresponding motion information MV increases, the pixel value of the reduced frame B after correction decreases as the corresponding motion information MV increases as a result of the above-described correction. That is, the blend ratio with the black image is increased. The luminance of the reduced frame B decreases for a region where there is movement, and it becomes possible to improve moving image visibility by inserting a black image by light / dark driving. In the region where the motion information is small, the ratio of the pixel value in the reduced frame B before correction is high, so that the effect of improving the resolution can be obtained by the pixel shift control.
静止画素（ＭＶ＝０）におけるゲインＤＧを０．５とする理由を説明する。時刻Ｔ１に縮小フレームＡ、時刻Ｔ１．５に縮小フレームＢがそれぞれフレームメモリ１１０７から出力されるとする。フレーム間で静止している画素は、縮小フレームＡと縮小フレームＢとのどちらにおいても、縮小処理で得られた画素値の０．５倍が画素値と決定される。一方で、フレーム間で動きのある画素（ＭＶ＝１６）は、縮小フレームＡは１倍のゲインで補正される。すなわち縮小処理で得られた画素値で変調素子４が制御される。また、縮小フレームＢの当該画素の画素値は０倍、すなわち黒画素となる。このような制御を行うことで、動き領域、静止領域共に、明暗駆動を行わない場合と比較して、画面一律、表示輝度を０．５倍で表示することが可能になる。
The reason why the gain DG in the still pixel (MV = 0) is set to 0.5 will be described. It is assumed that the reduced frame A is output from the
以上説明したように、入力画像から検出した動き情報に応じて、動画応答性向上の明暗駆動レベルを決定することで、簡易な構成で解像感向上と動画視認性を両立した画像投影装置を提供することが可能になる。 As described above, an image projection apparatus that achieves both improved resolution and moving image visibility with a simple configuration by determining the brightness / darkness driving level for improving moving image response in accordance with motion information detected from an input image. It becomes possible to provide.
＜実施例３＞
実施例１の投影装置１は、投影位置を基準位置と基準位置に対して水平方向および垂直方向に０．５画素ずつずれた移動位置との２点間で制御する場合について説明した。実施例３の投影装置２００１は、投影位置を４点間で制御する場合について説明する。実施例３の投影装置２００１の投影位置は、基準位置と、基準位置に対して水平方向に０．５画素ずれた水平移動位置と、を含む。また、実施例３の投影装置２００１の投影位置は、基準位置に対して水平方向および垂直方向に０．５画素ずつずれた斜め移動位置と、基準位置に対して垂直方向に０．５画素ずれた垂直移動位置とを含む。
<Example 3>
The case where the
以下、実施例１と異なる構成や処理について詳しく説明し、実施例１と同様の構成や処理についての説明は省略する。実施例３の投影装置２００１の基本的な装置構成は、図１と同様であることから詳細な説明を省略する。実施例３の投影装置２００１の画素移動部６および移動制御部７は、基準位置、水平移動位置、斜め移動位置、垂直移動位置の順に投影位置がシフトするように、移動を制御する。
Hereinafter, configurations and processes different from those of the first embodiment will be described in detail, and descriptions of the same configurations and processes as those of the first embodiment will be omitted. Since the basic apparatus configuration of the projection apparatus 2001 of Example 3 is the same as that of FIG. 1, detailed description thereof is omitted. The
図１３は、各投影位置で投影される縮小フレームの画素を示す模式図である。図１３に示すように、入力フレームレートの１フレームに対して、４つのサブフレームで位置をずらして表示することになる。図１３（ａ）は、基準位置に投影された縮小フレームＣに基づく投影画像を示す。図１３（ｂ）は、水平移動位置に投影された縮小フレームＤに基づく投影画像を示す。図１３（ｃ）は、斜め移動位置に投影された縮小フレームＥに基づく投影画像を示す。図１３（ｄ）は、垂直移動位置に投影された縮小フレームＦに基づく投影画像を示す。 FIG. 13 is a schematic diagram showing pixels of a reduced frame projected at each projection position. As shown in FIG. 13, the position is shifted in four subframes with respect to one frame of the input frame rate. FIG. 13A shows a projected image based on the reduced frame C projected on the reference position. FIG. 13B shows a projected image based on the reduced frame D projected at the horizontal movement position. FIG. 13C shows a projected image based on the reduced frame E projected on the oblique movement position. FIG. 13D shows a projected image based on the reduced frame F projected on the vertical movement position.
図１３において、矩形領域は、各縮小フレームの画素を示す。また、矩形領域の内部の値は、各画素の座標を示す。また、点線で示された矩形領域が縮小フレームの画素に対応するフレームの画素を示す。縮小フレームＣを基準とすると、縮小フレームＤは水平方向へ０．５画素ずれた位置に投影される。同様に、縮小フレームＣに対して、縮小フレームＥは水平方向へ０．５画素、垂直方向へ０．５画素ずらした位置に、縮小フレームＦは垂直方向へ０．５画素ずれた位置に投影される。以上のような処理を行うことで、縦横４方向へ画素ずらしを行うことが可能になる。 In FIG. 13, a rectangular area indicates a pixel of each reduced frame. Further, the value inside the rectangular area indicates the coordinates of each pixel. A rectangular area indicated by a dotted line indicates a pixel of a frame corresponding to a pixel of a reduced frame. With the reduced frame C as a reference, the reduced frame D is projected at a position shifted by 0.5 pixels in the horizontal direction. Similarly, with respect to the reduced frame C, the reduced frame E is projected at a position shifted by 0.5 pixels in the horizontal direction and 0.5 pixels in the vertical direction, and the reduced frame F is projected at a position shifted by 0.5 pixels in the vertical direction. Is done. By performing the processing as described above, it becomes possible to shift pixels in four vertical and horizontal directions.
図１４は、投影装置１の画像処理部２１００の機能ブロックを示すブロック図である。画像処理部２１００は、入力部２１０１とフレームメモリ２１０２、２１０６と動き検出部２１０３と生成部２１０４、２１０５とを備える。
FIG. 14 is a block diagram illustrating functional blocks of the
入力部１１０１とフレームメモリ１１０２と動き検出部２１０３とは、それぞれ実施例１の同名の機能ブロックと同様の動作を行うことから説明を省略する。
Since the
生成部２１０４は、前フレームに基づいて、縮小フレームＣを生成する。縮小フレームＣの生成方法は、実施例１で縮小フレームＡを生成した場合と同様であるとする。すなわち、縮小フレームＣの画素（ｘ，ｙ）は、前フレームの画素（２ｘ，２ｙ）を参照して（参照座標として）、決定される。即ち、縮小フレームＣの画素（ｘ，ｙ）の参照座標Ｍｃ（ｘ，ｙ）＝（２ｘ，２ｙ）とする。
The
生成部２１０５は、前フレームと、前フレームと現フレームとの間の動き量に関する動き情報ＶＥＣに基づいて、縮小フレームＤ〜Ｆを生成する。
The
前フレームと現フレームとの間で動きがない場合、生成部２１０５は、縮小フレームＤ〜Ｆの画素（ｘ，ｙ）の参照座標Ｍ（ｘ，ｙ）を下記の式５に示す基準参照座標ＢＡＳＥ（ｘ，ｙ）対応関係とする。なお、各添え字は、対応する縮小フレームを示す。
ＢＡＳＥｄ（ｘ，ｙ）＝（２ｘ＋１，２ｙ）
ＢＡＳＥｅ（ｘ，ｙ）＝（２ｘ＋１，２ｙ＋１）・・・（式５）
ＢＡＳＥｆ（ｘ，ｙ）＝（２ｘ，２ｙ＋１）
When there is no movement between the previous frame and the current frame, the
BASEd (x, y) = (2x + 1,2y)
BASEe (x, y) = (2x + 1, 2y + 1) (Formula 5)
BASEf (x, y) = (2x, 2y + 1)
生成部２１０５は、前フレームと現フレームとの間で動きがある領域については、上述の基準参照座標を、動き量を示す動き情報ＶＥＣに基づいて補正する。上述のように４点間で投影位置を制御する場合、各縮小フレームが投影されるタイミングは、フレーム周期を１／４周期である。したがって縮小フレームＣを基準とすると、縮小フレームＤ〜Ｆでは、前フレームと現フレームとの間の動きの１／４ずつ、動き量が増加すると考えられる。
The
ある領域の動き情報ＶＥＣが（ｍｘ，ｍｙ）である場合、生成部２１０５は、縮小フレームＤ〜Ｆの画素（ｘ，ｙ）の参照座標Ｍ（ｘ，ｙ）をＢＡＳＥ（ｘ，ｙ）を補正して下記のように決定する。
Ｍｄ（ｘ，ｙ）＝ＢＡＳＥｄ（ｘ，ｙ）−（ｍｘ，ｍｙ）×１／４
Ｍｅ（ｘ，ｙ）＝ＢＡＳＥｅ（ｘ，ｙ）−（ｍｘ，ｍｙ）×２／４・・・（式６）
Ｍｆ（ｘ，ｙ）＝ＢＡＳＥｆ（ｘ，ｙ）−（ｍｘ，ｍｙ）×３／４
When the motion information VEC of a certain area is (mx, my), the
Md (x, y) = BASEd (x, y) − (mx, my) × 1/4
Me (x, y) = BASEe (x, y) − (mx, my) × 2/4 (Expression 6)
Mf (x, y) = BASEf (x, y) − (mx, my) × 3/4
生成部２１０５は、式６に基づいて、前フレームから縮小フレームＤ〜Ｆを生成する。
The
上述のようにして、入力映像信号のフレームと同解像度の動き補間フレームを生成することなく、動き量を考慮した縮小フレームを生成することが可能となる。 As described above, it is possible to generate a reduced frame in consideration of the amount of motion without generating a motion interpolation frame having the same resolution as the frame of the input video signal.
したがって、解像度の高いフレームを高速で処理する必要がないことから、画像処理回路の処理負荷を抑制することが可能となる。したがって、より省スペースの回路構成とすることが可能となり、投影装置１の小型化が容易となる。
Therefore, it is not necessary to process a high-resolution frame at a high speed, so that the processing load on the image processing circuit can be suppressed. Therefore, it is possible to achieve a circuit configuration that saves more space, and the
１ 投影装置
２ 光源
４ 変調素子
６ 画素移動部
８ 制御部
９ メモリ
１００ 画像処理部
１０１ 入力部
１０２、１０６ フレームメモリ
１０３ 動き検出部
１０４、１０５ 生成部
DESCRIPTION OF
Claims (11)
第１の周波数で前記光源から照射した光を所定の解像度で変調して画像を出力する変調手段と、
前記第１の周波数で前記変調手段から出力された画像の投影面における位置を移動する移動手段と、
第２の周波数で入力される複数のフレームを取得する取得手段と、
各フレームに基づいて前記所定の解像度の複数の縮小フレームを生成する生成手段と、
前記複数の縮小フレームを記憶する記憶手段と、
前記第１の周波数で前記記憶手段から前記縮小フレームを読み出して前記変調手段を制御する制御手段と、
を備え、
前記生成手段は、前記複数のフレームのうち第１フレームに基づいて、第１縮小フレームを生成し、前記第１フレームと前記第１フレームと連続する第２フレームとの間における動き量に基づいて、前記第１フレームに対応する第２縮小フレームを生成することを特徴とする投影装置。 A light source;
Modulation means for modulating light emitted from the light source at a first frequency with a predetermined resolution and outputting an image;
Moving means for moving the position on the projection plane of the image output from the modulating means at the first frequency;
Obtaining means for obtaining a plurality of frames inputted at the second frequency;
Generating means for generating a plurality of reduced frames of the predetermined resolution based on each frame;
Storage means for storing the plurality of reduced frames;
Control means for reading the reduced frame from the storage means at the first frequency and controlling the modulation means;
With
The generating means generates a first reduced frame based on a first frame of the plurality of frames, and based on a motion amount between the first frame and a second frame that is continuous with the first frame. A projection apparatus for generating a second reduced frame corresponding to the first frame.
前記生成手段は、前記動き量に基づいて、前記参照位置を補正して、前記第２縮小フレームを生成することを特徴とする請求項１に記載の投影装置。 The generating means generates the reduced frame by determining a pixel value of a pixel of the reduced frame based on a pixel value of a pixel at a reference position of the corresponding frame,
The projection apparatus according to claim 1, wherein the generation unit generates the second reduced frame by correcting the reference position based on the amount of motion.
前記変調制御手段は、前記画像の投影位置が前記第１の位置であるタイミングにおいて、前記第１縮小フレームで前記変調手段を制御し、前記画像の投影位置が前記第２の位置であるタイミングにおいて、前記第２縮小フレームで前記変調手段を制御し、
前記第２の周波数は、前記第１の周波数の２倍であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の投影装置。 The moving means sets the projection position of the image output from the modulation means to a first position and a half pixel of the image respectively in the horizontal direction and the vertical direction of the projection plane with respect to the first position. It switches alternately between two positions with a shifted second position,
The modulation control means controls the modulation means with the first reduced frame at a timing when the projection position of the image is the first position, and at a timing when the projection position of the image is the second position. Controlling the modulation means in the second reduced frame;
5. The projection apparatus according to claim 1, wherein the second frequency is twice the first frequency. 6.
前記生成手段は、前記第１フレームと前記第１フレームと連続する第２フレームとの間における動き量に基づいて、第３縮小フレームと第４縮小フレームとをさらに生成し、
前記変調制御手段は、前記画像の投影位置が前記第１の位置であるタイミングで前記第１縮小フレームを用いて前記変調手段を制御し、前記画像の投影位置が前記第２の位置であるタイミングで前記第２縮小フレームを用いて前記変調手段を制御し、前記画像の投影位置が前記第３の位置であるタイミングで前記第３縮小フレームを用いて前記変調手段を制御し、前記画像の投影位置が前記第４の位置であるタイミングで前記第４縮小フレームを用いて前記変調手段を制御することを特徴とする請求項１乃至請求項４のいずれか１項に記載の投影装置。 The moving means outputs a projection position of the image output from the modulation means to a first position and a second position that is shifted by a half pixel of the image in the horizontal direction of the projection plane with respect to the first position. Position, a third position shifted by half a pixel of the image in the horizontal and vertical directions of the projection plane with respect to the first position, and a direction perpendicular to the projection plane with respect to the first position. Sequentially switching the fourth position of the image shifted by half a pixel,
The generating means further generates a third reduced frame and a fourth reduced frame based on a motion amount between the first frame and a second frame that is continuous with the first frame;
The modulation control means controls the modulation means using the first reduced frame at a timing when the projection position of the image is the first position, and a timing when the projection position of the image is the second position. To control the modulation means using the second reduced frame, and to control the modulation means using the third reduced frame at a timing when the projection position of the image is the third position. 5. The projection apparatus according to claim 1, wherein the modulation unit is controlled using the fourth reduced frame at a timing when the position is the fourth position. 6.
第２の周波数で入力される複数のフレームを取得する取得工程と、
各フレームに基づいて前記所定の解像度の複数の縮小フレームを生成する生成工程と、
前記記憶手段に前記複数の縮小フレームを記憶する記憶工程と、
前記第１の周波数で前記記憶手段から前記縮小フレームを読み出して前記変調手段を制御する制御工程と、
を備え、
前記生成工程は、前記複数のフレームのうち第１フレームに基づいて、第１縮小フレームを生成し、前記第１フレームと前記第１フレームと連続する第２フレームとの間における動き量に基づいて、前記第１フレームに対応する第２縮小フレームを生成することを特徴とする投影装置の制御方法。 A light source, a modulation unit that modulates light emitted from the light source at a first frequency with a predetermined resolution, and outputs an image; and a position on the projection plane of the image output from the modulation unit at the first frequency. A control method of a projection apparatus comprising a moving means for moving and a storage means,
An acquisition step of acquiring a plurality of frames input at a second frequency;
Generating a plurality of reduced frames of the predetermined resolution based on each frame;
A storing step of storing the plurality of reduced frames in the storage means;
A control step of reading the reduced frame from the storage means at the first frequency and controlling the modulation means;
With
The generating step generates a first reduced frame based on a first frame of the plurality of frames, and based on a motion amount between the first frame and a second frame that is continuous with the first frame. A method for controlling a projection apparatus, comprising: generating a second reduced frame corresponding to the first frame.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018085314A JP2019193144A (en) | 2018-04-26 | 2018-04-26 | Projection device and control method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018085314A JP2019193144A (en) | 2018-04-26 | 2018-04-26 | Projection device and control method of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019193144A true JP2019193144A (en) | 2019-10-31 |
Family
ID=68391143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018085314A Pending JP2019193144A (en) | 2018-04-26 | 2018-04-26 | Projection device and control method of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019193144A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113740035A (en) * | 2021-08-26 | 2021-12-03 | 歌尔光学科技有限公司 | Projection quality detection method, device, equipment and readable storage medium |
| CN116916166A (en) * | 2023-09-12 | 2023-10-20 | 湖南湘银河传感科技有限公司 | Telemetry terminal based on AI image analysis |
-
2018
- 2018-04-26 JP JP2018085314A patent/JP2019193144A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113740035A (en) * | 2021-08-26 | 2021-12-03 | 歌尔光学科技有限公司 | Projection quality detection method, device, equipment and readable storage medium |
| CN116916166A (en) * | 2023-09-12 | 2023-10-20 | 湖南湘银河传感科技有限公司 | Telemetry terminal based on AI image analysis |
| CN116916166B (en) * | 2023-09-12 | 2023-11-17 | 湖南湘银河传感科技有限公司 | Telemetry terminal based on AI image analysis |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5744418B2 (en) | Projection apparatus and projection method | |
| JP4777675B2 (en) | Image processing apparatus, image display apparatus, image processing method, program for causing computer to execute the method, and recording medium | |
| US8922605B2 (en) | Projector, image display system, and image processing system | |
| US9224321B2 (en) | Projector for performing trapezoidal distortion correction and method of controlling projector | |
| JP6155717B2 (en) | Image processing apparatus, projector, and image processing method | |
| JP2003069961A (en) | Frame rate conversion | |
| JP2008141394A (en) | Interpolation frame generation method, and interpolation frame generation device | |
| US10171781B2 (en) | Projection apparatus, method for controlling the same, and projection system | |
| JP2019193144A (en) | Projection device and control method of the same | |
| JP2011193332A (en) | Projector and video projection method | |
| JP2010081024A (en) | Device for interpolating image | |
| JP2015138149A (en) | Video processing circuit, video processing method, electro-optical device, and electronic apparatus | |
| JP2008245135A (en) | Interpolation frame generating method and interpolation frame generating device | |
| JP4649956B2 (en) | Motion compensation | |
| JP2005208413A (en) | Image processor and image display device | |
| JP2013137350A (en) | Electro-optical device, driving method of the same and electronic apparatus | |
| JP2011199804A (en) | Image display apparatus, projector, and data acquiring method in image display apparatus | |
| JP2009288713A (en) | Display | |
| JP2009053516A (en) | Image display device | |
| JP2007251723A (en) | Projection type video display apparatus | |
| JP2020071485A (en) | Display, and method for controlling display | |
| JP2006145799A (en) | Movement compensation | |
| JP2004184457A (en) | Image processing apparatus and image display apparatus | |
| JP5507992B2 (en) | Display control apparatus and control method thereof | |
| JP5413265B2 (en) | Image display device and projector |