JP2020061662A - Video processing device, video processing method, and program - Google Patents
Video processing device, video processing method, and program Download PDFInfo
- Publication number
- JP2020061662A JP2020061662A JP2018191955A JP2018191955A JP2020061662A JP 2020061662 A JP2020061662 A JP 2020061662A JP 2018191955 A JP2018191955 A JP 2018191955A JP 2018191955 A JP2018191955 A JP 2018191955A JP 2020061662 A JP2020061662 A JP 2020061662A
- Authority
- JP
- Japan
- Prior art keywords
- image
- representative point
- coordinates
- representative
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、投射される映像を処理する技術に関する。 The present invention relates to a technique for processing a projected image.
近年、映像投射装置は、平面にとどまらず、円柱やドームなどの曲面に対しても映像を投射するユースケースが増えている。このような多様な投射面への投射がなされる場合でも、視聴者に投射映像の歪みを感じさせないようにする、画像変形機能を搭載した映像投射装置が商品化されている。この画像変形機能を備えた映像投射装置は、元画像を投射面に合わせるように変形し、その変形後の画像を投射する。これにより、視聴者は歪みを感じない映像を視聴できることになる。また、画像変形機能については、平面の投射面にだけ対応するのであれば原理的な変形演算機能のみ搭載すればよいが、円柱やドームなど全ての投写面に対応可能な変形演算機能を搭載する場合には回路規模が増大化するという問題が生ずる。 2. Description of the Related Art In recent years, video projectors have been increasingly used for projecting images not only on flat surfaces but also on curved surfaces such as cylinders and domes. Even when such various projection planes are projected, a video projecting device equipped with an image transforming function has been commercialized so that the viewer does not feel the distortion of the projected image. The video projection device having this image transformation function transforms the original image so as to match the projection surface, and projects the transformed image. As a result, the viewer can view the image without feeling any distortion. As for the image transformation function, if only the plane projection surface is supported, only the theoretical transformation calculation function may be installed, but the transformation calculation function that is compatible with all projection surfaces such as a cylinder and a dome is provided. In this case, there arises a problem that the circuit scale increases.
このような回路規模の増大を抑制しつつ変形演算を可能にする手法として、画像内の代表点の座標値のみをメモリに記憶しておき、そのメモリに記憶された座標値を用いて変形演算を行う手法（特許文献１）がある。特許文献１の場合、画像の座標系を均等分割した各ブロックの各頂点の座標値が、代表点の座標値としてメモリに記憶される。そして、メモリ内の代表点の座標値を用いた補間により着目画素の座標が算出され、その算出された座標値周辺の画素値から、当該着目画素の画素値が算出される。
As a method of enabling the deformation calculation while suppressing such an increase in the circuit scale, only the coordinate values of the representative points in the image are stored in the memory, and the deformation calculation is performed using the coordinate values stored in the memory. There is a method (Patent Document 1) for performing. In the case of
ところで、投射面は、平面や曲面の他に、四角柱などのような変曲点を持つ面の場合もある。このような変曲点を持つ投射面についても、前述同様に、画像内の代表点の座標値をメモリに記憶しておき、その座標値を投射面の形状に応じて変えるような画像変形を行うことができる。しかしながら、メモリに記憶されている代表点の位置と、実際の投射面における変曲点の位置とを合わせることができない場合、その変曲点周辺の画像変形の際に算出される座標値の精度が著しく低下してしまうことになる。これにより、視聴者の感じる歪みを軽減することが難しくなる。 By the way, the projection surface may be a surface having an inflection point such as a square pole in addition to a flat surface or a curved surface. As for the projection surface having such an inflection point, similarly to the above, the coordinate value of the representative point in the image is stored in the memory, and the image transformation is performed such that the coordinate value is changed according to the shape of the projection surface. It can be carried out. However, if the position of the representative point stored in the memory and the position of the inflection point on the actual projection surface cannot be matched, the accuracy of the coordinate value calculated when the image around the inflection point is deformed. Will be significantly reduced. This makes it difficult to reduce the distortion felt by the viewer.
そこで、本発明は、変曲点を有する投射面への投射が行われる場合でも、精度良く歪みを補正でき、視聴者の感じる歪みを良好に軽減可能にすることを目的とする。 Therefore, it is an object of the present invention to accurately correct distortion even when projection is performed on a projection surface having an inflection point, and it is possible to favorably reduce distortion felt by a viewer.
本発明の映像処理装置は、入力映像を含む領域について設定された代表点の位置を、映像が投射される投射面の形状における変曲点の位置に合わせるように調整する調整手段と、前記代表点の位置を基に、前記代表点の変形座標を算出する算出手段と、前記代表点の変形座標に基づいて前記入力映像を変形して、前記投射面に投射する映像を生成する変形手段と、を有することを特徴とする。 The image processing device of the present invention comprises adjusting means for adjusting the position of the representative point set for the area including the input image so as to match the position of the inflection point in the shape of the projection surface on which the image is projected; Calculation means for calculating the deformation coordinates of the representative point based on the position of the point; and deformation means for deforming the input image based on the deformation coordinates of the representative point to generate an image projected on the projection surface. , Are included.
本発明によれば、変曲点を有する投射面への投射が行われる場合でも、精度良く歪みを補正でき、視聴者の感じる歪みを良好に軽減可能となる。 According to the present invention, even when the projection is performed on the projection surface having the inflection point, the distortion can be accurately corrected, and the distortion felt by the viewer can be satisfactorily reduced.
以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。なお、以下に説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、本発明は以下の実施形態に限定されるものではない。
図１は、本発明に係る映像処理装置の一例である映像投射装置１０１が適用される映像投射システムの概略構成例を示す図である。
映像投射装置１０１は、例えばパーソナルコンピュータのような情報処理装置１００から、投影用の原画像のデータが供給され、その原画像に基づく映像を投射用表示パネル上に形成する。そして、映像投射装置１０１は、投射用表示パネル上に形成した映像を、光源および投射光学系を有する投影機構によりスクリーン１０２上に投射する。なお、本実施形態の映像投射装置１０１は、例えば反射型液晶プロジェクタでもよいし、透過型液晶プロジェクタでもよい。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that the embodiment described below shows an example of the case where the present invention is specifically implemented, and the present invention is not limited to the following embodiment.
FIG. 1 is a diagram showing a schematic configuration example of a video projection system to which a
The
スクリーン１０２は、投射面が例えば平面、円柱やドームなどの曲面の他、四角柱や部屋の角などのように変曲点を持つ面の場合もあり、本実施形態では、一例として図１に示すような折れ曲り箇所１０３が存在するスクリーンであるとする。本実施形態において、図１のようなスクリーン１０２上の折れ曲り箇所１０３は、投射面上で変曲点が集合した変曲線として扱われる。
In the
本実施形態の映像投射装置１０１は、投射面が、投射光学系の光軸に対して傾斜した平面、円柱などの曲面、変曲点を有する面であるような場合に、それらの投射面に合わせるように原画像を変形する画像変形機能部を備えている。すなわち画像変形機能部によれば、投射面上で生ずる映像歪みとは逆方向に原画像を変形させるような映像処理が行われる。そして、その変形後の映像を投射用表示パネル上に形成して投射面上に投影することにより、投射面上に投影された映像は、視聴者から見て歪みが軽減された映像となる。
In the case where the projection surface is a plane inclined with respect to the optical axis of the projection optical system, a curved surface such as a cylinder, or a surface having an inflection point, the
ここで、本実施形態の映像投射装置１０１は、実際に映像投射を行う前に、画像変形機能部に対する初期設定処理が行われる。初期設定処理では、投射面の形状を想定して予め用意された数種類のモデルパターンの中で、実際の投射面形状に合ったモデルパターンが選択されて照射され、投射面上でモデルパターン映像の歪みが少なくなるような調整が行われる。このような初期設定処理時のモデルパターンの選択や調整は、例えばユーザにより行われるが、その他にも、例えば撮像装置によりスクリーンを撮影した画像を基に自動的に行われる場合もある。そして、映像投射装置１０１は、このような初期設定処理で得られた情報を基に、画像変形機能部において原画像を変形させる際に用いる座標値等が算出される。また本実施形態の映像投射装置１０１では、原画像を含む領域について複数の代表点が設定され、それら各代表点の座標を基に原画像の変形処理が行われる。ただし、例えば投射面が変曲点を持つ面であり、後述するように代表点と投影面上の変曲点とが合っていない場合、その変曲点周辺の画像変形の際に算出される座標値の精度は著しく低下してしまうことになる。
Here, the
そこで、本実施形態の映像投射装置１０１では、原画像を含む領域に設定された代表点の位置を、後述するように投射面の変曲点の位置に合わせるような代表点座標調整処理を実行して、画像変形処理に用いる代表点の座標を算出する。そして、映像投射装置１０１は、代表点座標調整処理後の代表点の座標を基に、原画像に対する画像変形処理を実行する。
Therefore, the
以下、図２を参照して、本実施形態の映像投射装置１０１が備えている画像変形機能部について説明する。
図２の例の場合、映像投射装置１０１では、図１のスクリーン１０２のような折れ曲がり箇所１０３（つまり変曲点が集合した変曲線）を有する投射面上で、モデルパターン映像の歪みを少なくするような事前の初期設定処理が既に行われているとする。
Hereinafter, with reference to FIG. 2, the image transformation function unit included in the
In the case of the example of FIG. 2, in the
図２において、映像２０１は、映像投射装置１０１への入力映像２０１を表しており、画像変形前の映像であるとする。そして、入力映像２０１を含んだ変形前映像領域２００を変形した場合、入力映像２０１は変形後映像２０５のような形状になるとする。一方、変形後映像領域２０４は、変形後映像２０５を含んだ矩形の映像領域となる。また、図中の各白丸は、画像変形後の各代表点を表しているとする。なお、図中の一点鎖線は、変曲点の集合である変曲線２１１を表しており、図１のスクリーン１０２の折れ曲り箇所１０３に対応しているとする。
In FIG. 2, a
ここで、画像変形機能部は、変形後映像領域２０４内の着目画素の画素値を求める際には、まず、変形後映像領域２０４内の着目画素の座標（ｘo，ｙo）に対応した、変形前映像領域２００内の画素の座標（ｘi，ｙi）を、代表点の座標値を用いて算出する。例えば水平方向の代表点のインデックスをｈ、垂直方向の代表点のインデックスをｖとすると、画像変形機能部は、まず変形後映像領域２０４内の代表点座標（ｘoh，ｙov）に対応した、変形前映像領域２００内の代表点座標（ｘih，ｙiv）を決定する。図２の例の場合、画像変形機能部は、まず、変形後映像領域２０４内の代表点２０８の座標（ｘo0，ｙo0）に対応した、変形前映像領域２００内の代表点２０９の座標（ｘi00，ｙi00）を決定する。同様にして、画像変形機能部は、変形前映像領域２００内の他の各代表点についてもそれぞれ座標を決定する。なお、以下の説明では、変形後映像領域２０４内の代表点の座標（ｘoh，ｙov）を簡略的に変形後座標ｐｖｈと呼び、変形前映像領域２００内の代表点の座標（ｘih，ｙiv）を簡略的に変形前座標ｑｖｈと呼ぶことにする。図２中の各黒丸は、変形前映像領域２００内の各代表点を表しているとする。そして、画像変形機能部は、このようにして求めた各代表点の座標値を用いて、変形後映像領域内の着目画素に対応した、変形前映像領域内の画素の座標値を算出する。
Here, when obtaining the pixel value of the pixel of interest in the
より具体的な例として、変形後映像領域２０４内の着目画素２０７の画素値を求める場合、画像変形機能部は、まず、変形後映像領域２０４内の着目画素２０７の座標２０６に対応した、変形前映像領域２００内の画素の座標２０２を算出する。ここで変形前映像領域２００内の座標２０２の値は小数を含む座標値であるため、画像変形機能部は、変形前映像領域２００内の座標２０２の周囲の画素群の画素値を基に、変形後映像領域２０４の着目画素２０７の画素値を算出する。図２の場合、変形前映像領域２００内の座標２０２の周囲の画素群として、２×２画素の４個の画素群２０３を例に挙げている。画像変形機能部は、それら周囲の画素群２０３の各画素の値と座標２０２とを基に、補間演算などにより、変形後映像領域２０４の着目画素２０７の画素値を算出する。
As a more specific example, when obtaining the pixel value of the pixel of
図３は、本実施形態に係る映像投射装置１０１における画像変形機能部に関する構成例を示したブロック図である。
映像投射装置１０１は、画像変形機能部に関する構成として、入力部３００、映像変形部３０１、代表点算出部３０５、記憶部３０６、出力部３０２を有する。
入力部３００は、図１の情報処理装置１００から原画像（入力映像）を取得して、映像変形部３０１に送る。
FIG. 3 is a block diagram showing a configuration example regarding the image transformation function unit in the
The
The
代表点算出部３０５は、前述した初期設定処理後の代表点に対し、投射面の変曲点の位置に合わせるような後述する代表点座標調整処理を実行し、実際に画像変形処理を行う際に用いる代表点の変形前座標を算出する。すなわち代表点算出部３０５は、前述した図２の各代表点の変形後座標ｐｖｈから、各代表点の変形前座標ｑｖｈを算出するモジュールであり、調整部３０８と変形座標計算部３０９とを有する。詳細は後述するが、調整部３０８は、初期設定処理による代表点の位置を、投射面の変曲点の位置に合わせるような代表点座標調整処理を実行する。同じく詳細は後述するが、変形座標計算部３０９は、代表点座標調整処理後の各代表点の座標から、画像変形処理を行う際に用いる代表点の変形前座標を算出する。
記憶部３０６は、代表点算出部３０５により算出された各代表点の変形前座標を記憶する。この記憶部３０６に記憶された各代表点の変形前座標の情報は、映像変形部３０１により読み出される。
The representative
The
映像変形部３０１は、記憶部３０６から読み出した各代表点の変形前座標を基に、原画像（入力映像）に対する画像変形処理を実行する。すなわち映像変形部３０１は、映像変形部３０１は、実際に画像変形処理を行うモジュールであり、着目座標算出部３０３と画素算出部３０４とを有する。詳細は後述するが、着目座標算出部３０３は、記憶部３０６に記憶されている各代表点の変形前座標を基に、着目画素の変形前座標を補間により算出する。同じく詳細は後述するが、画素算出部３０４は、着目座標算出部３０３により算出された着目画素の変形前座標と、その周囲の画素群の画素値とから、着目画素の画素値を算出する。
出力部３０２は、映像変形部３０１による画像変形処理後の映像を、投射用表示パネルに出力する。
The
The
以下、図３に示した各構成についてさらに詳細に説明する。
代表点算出部３０５は、前述した初期設定処理による入力映像の変形量を計算する。より詳細には、代表点算出部３０５は、以下の式（１）により、変形後映像領域の各代表点の変形後座標ｐｖｈ（ｘovh，ｙovh）に対応した、変形前映像領域の各代表点の変形前座標ｑｖｈ（ｘivh，ｙivh）を算出する。
Hereinafter, each configuration shown in FIG. 3 will be described in more detail.
The representative
ｑｖｈ（ｘivh，ｙivh）＝ｆ（ｐｖｈ（ｘovh，ｙｏｖｈ）） 式（１） qvh (x ivh , y ivh ) = f (pvh (x ovh , yovh)) Expression (1)
ここで、式（１）のｆ（）は変形後映像領域の代表点の変形後座標を、変形前映像領域の代表点の変形前座標へ対応付ける作用素である。すなわち代表点算出部３０５が決定する座標は、各代表点における該作用素を使った、変形前座標である。なお、作用素は、映像投影がなされるスクリーンの形状に基づいたものである。
以下、作用素について、図１のスクリーン１０２を例に挙げて詳しく説明する。
Here, f () in Expression (1) is an operator that associates the post-deformation coordinates of the representative point of the post-deformation video region with the pre-deformation coordinates of the representative point of the pre-deformation video region. That is, the coordinates determined by the representative
Hereinafter, the operator will be described in detail by taking the
図１に示したスクリーン１０２は、前述したように折れ曲り箇所１０３で二つの平面が組み合わされたような投射面を有するものとなされている。図４は、スクリーン１０２に映像を投影する場合の各作用素算出の説明に用いる図である。作用素ｆ（）としては、図４に示すように、水平方向座標ｘwを境に、それぞれの平面に対応した台形補正を行う作用素を二つ組み合わせるのが適当である。これを式（２）で表すと、スクリーン１０２における作用素ｆ（）は以下の通りである。
The
ｘovh＜ｘwでは、
ｆ（ｐｖｈ（ｘovh，ｙovh））＝Ｇ１（ｐｖｈ（ｘovh，ｙovh））
ｘovh＞＝ｘwでは、
ｆ（ｐｖｈ（ｘovh，ｙovh））＝Ｇ２（ｐｖｈ（ｘovh，ｙovh））
式（２）
x ovh <x w ,
f (pvh (x ovh , y ovh )) = G1 (pvh (x ovh , y ovh ))
For x ovh > = x w ,
f (pvh (x ovh , y ovh )) = G2 (pvh (x ovh , y ovh ))
Equation (2)
なお、式（２）の作用素Ｇ１（）は、図４の４点ｍ1，ｍ2，ｍ5，ｍ4で示す四角形を、４点ｎ1，ｎ2，ｎ5，ｎ4で示す歪みのない基準四角形へ変形する台形補正の式である。また、作用素Ｇ２（）は、図４の４点ｍ2，ｍ3，ｍ6，ｍ5で示す四角形を、４点ｎ2，ｎ3，ｎ6，ｎ5で示す基準四角形へ変形する台形補正の式である。台形補正の演算は既存の演算式を用いることができその説明は省略する。なお、スクリーンの形状モデルは、スクリーン１０２のような平面を二つ組み合わせたものだけでなく、平面を三つ組み合わせたもの、円柱、円柱と平面を組み合わせたものなどいずれであってもよい。
Incidentally, operator G1 of the formula (2) (), the strain indicated by a rectangle shown by four points m 1, m 2, m 5 , m 4 in FIG. 4, four points n 1, n 2, n 5 , n 4 This is a trapezoidal correction formula that transforms into a standard quadrangle without. The operator G2 () is a trapezoid that transforms the quadrangle shown by the four points m 2 , m 3 , m 6 , and m 5 in FIG. 4 into a reference quadrangle shown by the four points n 2 , n 3 , n 6 , and n 5. This is a correction formula. An existing arithmetic expression can be used for the calculation of the trapezoidal correction, and the description thereof will be omitted. The shape model of the screen is not limited to a combination of two flat surfaces like the
調整部３０８は、代表点の始点座標を調整する。
図５は、代表点の始点座標の調整例の説明に用いる図である。
図５（ａ）および図５（ｂ）において、図中の白丸により表される各点がそれぞれ代表点である。
図５（ａ）中の太枠線で表される矩形は入力映像５２０を表しているとする。代表点は、水平方向にＷ画素間隔ごと、垂直方向にＨ画素間隔ごとに設定され、入力映像よりも広い領域に設定される。例えば、入力映像５２０が水平方向に６×Ｗ画素で垂直方向に４×Ｈ画素の大きさである場合、代表点が設定される領域の大きさは、例えば水平方向が９×Ｗ画素で垂直方向が７×Ｈ画素の大きさとする。すなわちこの例の場合、代表点は、水平方向が９個で、垂直方向が７個の、合計６３個が設定される。また、代表点の始点座標は左上端の代表点５０９の座標となされる。例えば入力映像５２０の左上端部の座標を（０，０）とし、当該入力映像５２０の左上端部が例えば代表点５００と一致しているとすると、代表点５０９の始点座標は（−Ｗ，−Ｈ）となる。また、図５（ｂ）は図５（ａ）とは別の例を示した図である。図５（ｂ）の例でも入力映像５２０の左上端部の座標を（０，０）とするが、当該入力映像５２０の左上端部は水平方向の代表点間隔（Ｗ画素）の１／２の位置である場合を示している。この図５（ｂ）の例の場合、代表点５０７の始点座標は（−Ｗ／２，−Ｈ）となる。
The adjusting
FIG. 5 is a diagram used to describe an example of adjusting the starting point coordinates of the representative point.
In FIGS. 5A and 5B, each point represented by a white circle in the figure is a representative point.
It is assumed that the rectangle represented by the thick frame line in FIG. 5A represents the
ここで、前述の図２に示したように、変曲点の集合である変曲線２１１が代表点の位置と合っていない場合、着目座標算出部３０３で算出される着目画素座標の算出精度は低下してしまうことになる。例えば図２の四つの代表点ｐ14，ｐ15，ｐ25，ｐ24からなる四角形内の着目画素を例にすると、その着目画素の座標は、それら四つの代表点の座標を用いた補間により算出されることになる。しかしながら、それら四つの代表点ｐ14，ｐ15，ｐ25，ｐ24の四角形内には変曲線２１１が存在しているため、補間により算出される着目画素の座標の精度が低くなってしまうことになる。例えば図５（ａ）で変曲点が代表点の位置に合っておらず、一方図５（ｂ）で変曲点が代表点の位置に合っていたとすると、図５（ａ）の例では着目座標の算出精度が低くなり、一方図５（ｂ）の例では着目画素の座標の算出精度は低下しないことになる。
Here, as shown in FIG. 2 above, when the inflection curve 211, which is a set of inflection points, does not match the position of the representative point, the calculation accuracy of the pixel-of-interest coordinates calculated by the coordinates-of-
前述した図２の例のように、変曲点が代表点の位置と合っていない場合、調整部３０８は、前述した式（２）の作用素ｆ（）に含まれる変曲点が代表点の位置と合うように、代表点の座標をオフセット調整させるような代表点座標調整処理を行う。代表点座標のオフセット調整の例として、調整部３０８は、代表点の始点座標を調整し、その始点座標の調整に合わせて他の全ての代表点の座標も調整する。前述の式（２）を例にすると、変曲点近傍の代表点の座標が、当該変曲点の水平方向座標ｘwに合うように、代表点の始点座標を調整する。より具体的に説明すると、調整部３０８は、水平方向座標ｘwが水平方向の代表点間隔Ｗで割り切れない場合、代表点の始点座標（Ｓｘ，Ｓｙ）を、式（３）を用いて調整する。
As in the example of FIG. 2 described above, when the inflection point does not match the position of the representative point, the adjusting
（Ｓｘ，Ｓｙ）＝（−Ｗ＋ｍｏｄ（ｘw，Ｗ），−Ｈ） 式（３）
ｍｏｄ（ｘ，ａ）は剰余、すなわちｘをａで割った余りである。このｍｏｄ（ｘ，ａ）により、代表点の始点座標を決めること、つまりオフセット調整における調整量が決められる。
(Sx, Sy) = (− W + mod (x w , W), −H) Formula (3)
mod (x, a) is a remainder, that is, a remainder obtained by dividing x by a. The mod (x, a) determines the starting point coordinates of the representative point, that is, the adjustment amount in the offset adjustment.
なお本実施形態では、調整部３０８において、代表点の始点座標である左上端の代表点座標をオフセット調整する例を挙げたが、これ以外にも、以下のように調整してもよい。
例えば、それぞれ四つの代表点により構成される全ての四角形のうち、変曲点を含む四角形のみについて、代表点が変曲点と合うように調整してもよい。この場合、後段の着目座標算出部３０３における着目座標算出の際に、当該調整後の代表点により構成される四角形のみ、調整量に応じた代表点間隔として計算する。
また本実施形態では、調整部３０８が代表点の左上端の始点位置を調整したが、例えばユーザが指定する形をとってもよい。すなわち例えば、情報処理装置１００を介して、左上端の代表点の始点位置をユーザが指定する。この始点位置を使って後段の変形座標計算部３０９が代表点の変形座標を計算してもよい。
また例えば、外部の撮像装置と連携し、撮像装置によってスクリーンおよび投影された映像を撮像し、該撮像画像を解析して、代表点の左上端の始点位置を補正するようにしてもよい。例えば、映像投射装置１０１が格子等のテストパターンをスクリーン１０２に投影した場合において、変曲線２１１が代表点に合っていない場合、撮像装置が撮像した画像には歪みが生じていることになる。このため、投影したテストパターンと撮像画像から解析される歪み量とを基に、代表点の左上端の始点位置の調整量を算出することができる。
In the present embodiment, the
For example, among all the quadrilaterals each constituted by four representative points, only the quadrangle including the inflection point may be adjusted so that the representative point matches the inflection point. In this case, at the time of calculating the target coordinates in the target coordinate calculating
Further, in the present embodiment, the adjusting
Further, for example, in cooperation with an external image pickup device, the screen and the image projected by the image pickup device may be picked up, the picked-up image may be analyzed, and the starting point position of the upper left end of the representative point may be corrected. For example, when the
次に、変形座標計算部３０９は、作用素ｆ（）を用い、調整部３０８で調整された全ての代表点に対応する変形前座標を算出し、それら代表点の変形前座標を記憶部３０６に記憶させる。
Next, the modified coordinate
記憶部３０６に記憶される変形前座標の個数は、例えば、代表点が水平垂直それぞれＮ画素間隔であった場合、変形後映像の水平方向の画素数がＡで、垂直方向の画素数がＢとすれば、（Ａ／Ｎ）×（Ｂ／Ｎ）個となる。また本実施形態において、前述した作用素ｆ（）は、ＬｏｏｋＵｐＴａｂｌｅ（ルックアップテーブル）に置き換えることができ、この場合、代表点の変形前座標ｑｖｈ（ｘih，ｙiv）は下記の式（４）のように表される。
Regarding the number of pre-deformation coordinates stored in the
ｑｖｈ（ｘih，ｙiv）＝ｆ（ｐｖｈ（ｘoh，ｙov））＝ＧＤ［ｖ］［ｈ］
式（４）
qvh (x ih , y iv ) = f (pvh (x oh , y ov )) = GD [v] [h]
Formula (4)
ここで、式（４）は、代表点の変形後座標ｐｖｈに対応した変形前座標は、座標ｑｖｈである、ことを表している。また、ＧＤ［］［］は作用素ｆ（）を表すＬｏｏｋＵｐＴａｂｌｅである。ＬｏｏｋＵｐＴａｂｌｅは、図２の例でいえば、代表点の変形後座標（ｘo0，ｙo0）に対応した変形前座標（ｘi00，ｙi00）が、ＧＤ［０］［０］に格納されているものとなる。 Here, the expression (4) represents that the pre-deformation coordinates corresponding to the post-deformation coordinates pvh of the representative point are the coordinates qvh. Further, GD [] [] is a LookUpTable representing the operator f (). In the LookUpTable, in the example of FIG. 2, the pre-deformation coordinates (x i00 , y i00 ) corresponding to the post-deformation coordinates (x o0 , y o0 ) of the representative point are stored in GD [0] [0]. Will be present.
次に、映像変形部３０１は、代表点算出部３０５が算出して記憶部３０６に格納した、代表点の座標を基に、入力映像に対する画像変形処理を行う。本実施形態では、画像変形処理として、台形補正などで用いられる逆変換型の再配列による画像変形を用いる。これは、逆変換型の再配列、すなわち変形後映像の各画素を着目画素とし、その着目画素の座標の変形前座標を座標変換によって求め、その変形前座標と、画像変形前の座標の周囲の画素値とを用いて、変形後映像の着目画素の画素値を算出する方式である。
Next, the
図６は、映像変形部３０１において、変形前映像６０１を変形後映像６０４に変形する画像変形処理を表した図である。
ここでは、変形前映像６０１を変形すると、台形６０５のような形状になるとする。一方、変形後映像６０４は、台形６０５を含んだ矩形である。この変形後映像６０４の各画素の画素値を求める際、変形後映像６０４内の着目画素６０７の座標６０６（ｘo，ｙo）に対応する変形前座標６０２（ｘi，ｙi）を算出する。この算出方法は、図６の例で言えば、台形に変換する作用素の逆変換になるのだが、ここでは説明を省略する。変形前座標６０２（ｘi，ｙi）は小数を含む座標であるため、その変形前座標６０２（ｘi，ｙi）の周囲画素群の画素値から、変形後映像６０４の着目画素６０７の画素値を算出する。図６の例では、周囲画素群として２×２画素の４個の画素群６０３を例に挙げている。この画素群６０３と、変形前座標６０２（ｘi，ｙi）を用いて、補間演算などにより、着目画素６０７の画素値を算出する。
FIG. 6 is a diagram showing an image transformation process of transforming the
Here, it is assumed that the
以上説明した映像変形部３０１についての詳細説明を、さらに着目座標算出部３０３、画素算出部３０４についての説明に置き換える。
着目座標算出部３０３は、記憶部３０６に記憶されている代表点の変形前座標を基に、変形後映像領域の着目画素に対応した変形前映像領域の画素の変形前座標を求める。この算出方法について図７を参照しながら説明する。
The detailed description of the
The target coordinate
図７（ａ）は、図２の変形前映像領域２００の一部を拡大した図であり、図７（ｂ）は変形後映像領域２０４の一部を拡大した図である。
この例では、変形後映像領域内の着目画素２０７の変形後座標２０６をｐd（ｘod，ｙod）とする。また、変形後映像領域内の着目画素２０７に対応した変形前映像領域内の着目画素の変形前座標２０２をｑd（ｘid，ｙid）としている。着目座標算出部３０３は、当該着目画素の変形前座標２０２を、着目画素２０７の変形後座標２０６の周囲の代表点の補正量から算出する。より具体的にいえば、着目座標算出部３０３は、周囲４点の代表点の中の着目画素の相対位置を、変形前座標２０２とその周囲の代表点の変形前座標との相対位置に適用することで、着目画素の変形前座標２０２を算出する。
7A is an enlarged view of a portion of the
In this example, the post-deformation coordinates 206 of the pixel of
ここで、１画素ずつ走査して着目画素の変形前座標２０２を求めるため、着目画素の変形後座標２０６（ｘod，ｙod）は既知である。また、何画素間隔で代表点を用意しているかについても既知のため、代表点ｐ11，ｐ12，ｐ21，ｐ22とそれらの座標（ｘo1，ｙo1），（ｘo2，ｙo1），（ｘo2，ｙo2），（ｘo1，ｙo2）も既知である。よって、それら四つの代表点ｐ11，ｐ12，ｐ21，ｐ22よりなる四角形を単位四角形とした場合の、着目画素２０７の変形後座標２０６（ｘo1，ｙo1）からの水平方向相対位置α、垂直方向相対位置βはそれぞれ以下の式（５）で算出できる。
Here, the pre-deformation coordinates 202 of the pixel of interest are obtained by scanning one pixel at a time, so the post-deformation coordinates 206 (x od , y od ) of the pixel of interest are known. Since it is also known how many pixel intervals the representative points are prepared, the representative points p 11 , p 12 , p 21 , p 22 and their coordinates (x o1 , y o1 ), (x o2 , y o1 ), (X o2 , y o2 ), (x o1 , y o2 ) are also known. Therefore, when the quadrangle composed of these four representative points p 11 , p 12 , p 21 , and p 22 is a unit quadrangle, the horizontal relative position from the post-deformation coordinates 206 (x o1 , y o1 ) of the pixel of
α＝（ｘod−ｘo1）／（ｘo2−ｘo1）
β＝（ｙod−ｙo1）／（ｙo2−ｙo1） 式（５）
α = (x od −x o1 ) / (x o2 −x o1 ).
β = (y od -y o1) / (y o2 -y o1) (5)
さらに、着目座標算出部３０３は、この相対位置を用いて、着目画素の変形前座標２０２（ｘid，ｙid）を以下の式（６）により算出する。なお、式中のＳｘ，Ｓｙは調整部３０８で決定した代表点の始点座標（Ｓｘ，Ｓｙ）である。
Further, the target coordinate
ｘid＝ｘi11＋｛α／（ｘi12−ｘi11）｝−Ｓｘ
ｙid＝ｙi11＋｛β／（ｙi21−ｙi11）｝−Ｓｙ 式（６）
x id = x i11 + {α / (x i12 −x i11 )} − Sx
y id = y i11 + {β / (y i21 −y i11 )} − Sy Formula (6)
そして、画素算出部３０４は、着目座標算出部３０３で算出された変形前座標とその周囲画素の画素値とから、変形後画素である着目画素の画素値を求める。図７の例でいえば、画素算出部３０４は、画素群７０３と変形前座標２０２（ｘi，ｙi）とから着目画素２０７の画素値を算出する。この算出方法は、一般的なバイリニア方式やバイキュービック方式など、いずれの方法を用いてもよい。
Then, the
図８と図９には本実施形態における画像変形処理のフローチャートを示す。
図８は、代表点の変形前座標を算出する処理フローチャートである。図８の処理は、映像が投射されるスクリーンの変更や、映像投射装置１０１（プロジェクタ）の位置の変更がなされた場合など、変形形状を変える必要が生じたときに実施されればよく、全ての画素に対して実施する必要はない。一方、図９は、映像変形部３０１が入力画像を変形した映像を生成する処理のフローチャートであり、全ての画素に対して実施する。なお、以下の説明では、処理ステップＳ８０１〜Ｓ８０３、処理ステップＳ９０１、処理ステップＳ９０３をそれぞれＳ８０１〜Ｓ８０３、Ｓ９０１、Ｓ９０３のように略記する。図８、図９のフローチャートの処理は、ハードウエア構成により行われてもよいし、本実施形態に係る画像変形処理のプログラムを例えばコンピュータやＣＰＵが実行することにより実現されてもよい。また、図８、図９のフローチャートの処理は、一部がソフトウェア構成で残りがハードウエア構成により実現されてもよい。なお、本実施形態に係る画像変形処理のプログラムは各種記録メディアやネットワークを介して供給され、ＲＡＭ等に展開されることによりＣＰＵにより実行可能となされる。
8 and 9 show flowcharts of the image transformation process in this embodiment.
FIG. 8 is a process flowchart for calculating the pre-deformation coordinates of the representative point. The process of FIG. 8 may be performed when it is necessary to change the deformed shape, such as when the screen on which the image is projected is changed or when the position of the image projection device 101 (projector) is changed. It is not necessary to carry out for each pixel. On the other hand, FIG. 9 is a flowchart of a process in which the
まず、図８のフローチャートのＳ８０１において、調整部３０８は、代表点の左上端の始点座標を決定する。
次にＳ８０２において、変形座標計算部３０９は、代表点の変形前座標を決定する。
そしてＳ８０３において、変形座標計算部３０９は、Ｓ８０２で決定した代表点の変形前座標を記憶部３０６に格納する。
First, in step S801 of the flowchart in FIG. 8, the
Next, in step S802, the modified coordinate
Then, in step S <b> 803, the modified coordinate
次に図９のフローチャートのＳ９０１において、着目座標算出部３０３は、記憶部３０６に格納されている代表点の変形前座標を用い、着目画素の変形前座標を算出する。
そしてＳ９０２において、画素算出部３０４は、着目画素の画素値を算出する。
Next, in step S <b> 901 of the flowchart of FIG. 9, the focused coordinate
Then, in S902, the
以上説明したように本実施形態の映像投射装置１０１によれば、変曲点を有する投射面に対する投射を行う場合でも、精度よく歪みを補正することが可能となる。
As described above, according to the
前述した例では、一台の映像投射装置を例に挙げたが、複数台の映像投射装置による合成投射が行われる場合も、それぞれの映像投射装置において本実施形態を適用可能である。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
In the above-mentioned example, one video projection device is taken as an example, but even when composite projection is performed by a plurality of video projection devices, the present embodiment can be applied to each video projection device.
<Other embodiments>
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of specific embodiments for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by these. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１０１：映像投射装置、３００：入力部、３０１：変形部、３０２：出力部、３０３：着目座標算出部、３０４：画素算出部、３０５：代表点算出部、３０６：記憶部、３０８：調整部、３０９：変形座標計算部 101: video projection device, 300: input unit, 301: transformation unit, 302: output unit, 303: coordinate calculation unit of interest, 304: pixel calculation unit, 305: representative point calculation unit, 306: storage unit, 308: adjustment unit , 309: deformation coordinate calculation unit
Claims (11)
前記代表点の位置を基に、前記代表点の変形座標を算出する算出手段と、
前記代表点の変形座標に基づいて前記入力映像を変形して、前記投射面に投射する映像を生成する変形手段と、
を有することを特徴とする映像処理装置。 Adjusting means for adjusting the position of the representative point set for the area including the input image so as to match the position of the inflection point in the shape of the projection surface on which the image is projected;
Based on the position of the representative point, a calculating means for calculating the deformation coordinates of the representative point,
Deforming means for deforming the input image based on the deformation coordinates of the representative point to generate an image projected on the projection surface;
An image processing apparatus comprising:
前記変形手段は、前記記憶手段に記憶されている前記変形座標を基に前記入力映像を変形することを特徴とする請求項１に記載の映像処理装置。 A storage means for storing the modified coordinates of the representative point,
The image processing apparatus according to claim 1, wherein the deforming unit deforms the input image based on the deformed coordinates stored in the storage unit.
前記表示された映像を、投射面に投射させる投影機構と、
を有することを特徴とする請求項１から８のいずれか１項に記載の映像処理装置。 A display panel for displaying the generated image,
A projection mechanism for projecting the displayed image on a projection surface;
The video processing device according to claim 1, further comprising:
入力映像を含む領域について設定された代表点の位置を、映像が投射される投射面の形状における変曲点の位置に合わせるように調整する調整工程と、
前記代表点の位置を基に、前記代表点の変形座標を算出する算出工程と、
前記代表点の変形座標に基づいて前記入力映像を変形して、前記投射面に投射する映像を生成する映像変形工程と、
を有することを特徴とする映像処理方法。 A video processing method executed by a video processing device, comprising:
An adjusting step of adjusting the position of the representative point set for the area including the input image to match the position of the inflection point in the shape of the projection surface on which the image is projected,
A calculation step of calculating deformation coordinates of the representative point based on the position of the representative point;
An image transformation step of transforming the input image based on the transformation coordinates of the representative point to generate an image projected on the projection surface;
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018191955A JP2020061662A (en) | 2018-10-10 | 2018-10-10 | Video processing device, video processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018191955A JP2020061662A (en) | 2018-10-10 | 2018-10-10 | Video processing device, video processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020061662A true JP2020061662A (en) | 2020-04-16 |
Family
ID=70220379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018191955A Pending JP2020061662A (en) | 2018-10-10 | 2018-10-10 | Video processing device, video processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020061662A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220141435A1 (en) * | 2020-10-30 | 2022-05-05 | Ali Corporation | Projection device and projection picture correction method thereof |
-
2018
- 2018-10-10 JP JP2018191955A patent/JP2020061662A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220141435A1 (en) * | 2020-10-30 | 2022-05-05 | Ali Corporation | Projection device and projection picture correction method thereof |
| US11877103B2 (en) * | 2020-10-30 | 2024-01-16 | Ali Corporation | Projection device and projection picture correction method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022528659A (en) | Projector keystone correction methods, devices, systems and readable storage media | |
| WO2018201652A1 (en) | Real-time virtual reality acceleration method and device | |
| JP5997882B2 (en) | Projector and projector control method | |
| JP2014131257A (en) | Image correction system, image correction method, and program | |
| JP5348022B2 (en) | Projector and projection conversion processing apparatus | |
| JP2009206800A (en) | Image processing apparatus, projector and image processing method | |
| JP4871820B2 (en) | Video display system and parameter generation method for the system | |
| JP2016085380A (en) | Controller, control method, and program | |
| TWI517094B (en) | Image calibration method and image calibration circuit | |
| JP2002014611A (en) | Video projecting method to planetarium or spherical screen and device therefor | |
| JP5348035B2 (en) | projector | |
| JP6549764B1 (en) | IMAGE PROJECTION SYSTEM, IMAGE PROJECTION METHOD, AND PROGRAM | |
| JP2011193332A (en) | Projector and video projection method | |
| JP2020061662A (en) | Video processing device, video processing method, and program | |
| JP2011103534A (en) | Video display system | |
| JPWO2012056982A1 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
| JP5533109B2 (en) | Image display device, projector, and data acquisition method in image display device | |
| JP2017162313A (en) | Image processing device, image processing method and program | |
| JP2013005393A (en) | Image processing method having wide-angle distortion correction processing, image processing apparatus and imaging apparatus | |
| JP2013005394A (en) | Image processing method having wide-angle distortion correction processing, image processing apparatus and imaging apparatus | |
| JPWO2011161746A1 (en) | Image processing method, program, image processing apparatus, and imaging apparatus | |
| JP5353772B2 (en) | projector | |
| CN114449233B (en) | Projection device and trapezoid correction method thereof | |
| JP5413265B2 (en) | Image display device and projector | |
| CN116684561B (en) | Startup image adjusting method and device, electronic equipment and storage medium |