JP4534992B2 - Pixel position acquisition method - Google Patents

Pixel position acquisition method Download PDF

Info

Publication number
JP4534992B2
JP4534992B2 JP2006009582A JP2006009582A JP4534992B2 JP 4534992 B2 JP4534992 B2 JP 4534992B2 JP 2006009582 A JP2006009582 A JP 2006009582A JP 2006009582 A JP2006009582 A JP 2006009582A JP 4534992 B2 JP4534992 B2 JP 4534992B2
Authority
JP
Japan
Prior art keywords
imaging
data
line
image
gradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006009582A
Other languages
Japanese (ja)
Other versions
JP2007194784A (en
Inventor
喜士 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006009582A priority Critical patent/JP4534992B2/en
Priority to US11/623,995 priority patent/US20070165197A1/en
Publication of JP2007194784A publication Critical patent/JP2007194784A/en
Application granted granted Critical
Publication of JP4534992B2 publication Critical patent/JP4534992B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画素位置取得方法、画像処理装置、画素位置取得方法をコンピュータ上で実行させるプログラム、及びこのプログラムが記録されたコンピュータ読み取り可能な記録媒体に関する。   The present invention relates to a pixel position acquisition method, an image processing apparatus, a program for executing the pixel position acquisition method on a computer, and a computer-readable recording medium on which the program is recorded.

液晶プロジェクタ等の固定画素方式ディスプレイにおいて、各画素に対して画素特性値(輝度、色度)補正処理を行うことにより固定画素方式ディスプレイの画像・映像の表示品質向上が大幅に向上する。
このような画素特性値補正処理の補正処理手法や補正量は、固定画素方式ディスプレイの表示原理や、製造工程・製造条件などに起因する画素の発光特性・透過特性に基づいて設定されるため、固定画素方式ディスプレイの画素の特性値(画素の発光特性,画素の透過特性の出力として現れる輝度や色度)を正確に取得する技術は重要である。
一般的には固定画素方式ディスプレイで適当な画像・映像を表示し、その表示画面をCCDカメラなどの撮像装置で撮影し、撮影データを解析することにより画素特性値を取得する。
In a fixed pixel type display such as a liquid crystal projector, by performing a pixel characteristic value (brightness, chromaticity) correction process on each pixel, the display quality improvement of the image / video of the fixed pixel type display is greatly improved.
Since the correction processing method and correction amount of such pixel characteristic value correction processing are set based on the display principle of the fixed pixel type display, the light emission characteristic / transmission characteristic of the pixel due to the manufacturing process and manufacturing conditions, etc. A technique for accurately acquiring pixel characteristic values (luminance and chromaticity appearing as output of pixel emission characteristics and pixel transmission characteristics) of a fixed pixel display is important.
In general, an appropriate image / video is displayed on a fixed pixel display, the display screen is photographed by an imaging device such as a CCD camera, and the pixel characteristic value is obtained by analyzing the photographed data.

このような固定画素方式ディスプレイの画素特性値の取得方法では、各画素の特性値を正確に取得できなければならない。
各画素の特性値を取得する際の正確さを左右する要因は様々であるが、その中でも固定画素方式ディスプレイの各画素が撮影データ上にマッピングされる位置を正確に取得することは、特に重要である。
このため、従来、特定の分布を持つマーカを表示画面に複数表示させた状態を撮像装置で撮影し、そのマーカの対応付けから表示画面上と撮影データ上との対応関係を算出し、これにより、表示画面の各画素位置が撮影データ上にマッピングされる位置を取得する方法が提案されている(例えば、特許文献1参照)。
また、画像表示装置上に表示された画像の輪郭を直線として取得し、その輪郭の直線の交点(つまりは表示画像の四隅)から表示画像と撮影データとの射影変換を算出し、その射影変換を用いて撮影データの幾何補正を実施する方法が提案されている(例えば、特許文献2参照)。
In such a method for acquiring the pixel characteristic value of the fixed pixel type display, it is necessary to accurately acquire the characteristic value of each pixel.
There are various factors that affect the accuracy of acquiring the characteristic value of each pixel, but it is particularly important to accurately acquire the position where each pixel of the fixed pixel display is mapped on the shooting data. It is.
For this reason, conventionally, a state in which a plurality of markers having a specific distribution are displayed on the display screen is photographed by the imaging device, and the correspondence between the display screen and the photographed data is calculated from the association of the markers. A method for acquiring a position where each pixel position on the display screen is mapped on the shooting data has been proposed (for example, see Patent Document 1).
Also, it obtains the contour of the image displayed on the image display device as a straight line, calculates the projective transformation between the display image and the shooting data from the intersection of the straight lines of the contour (that is, the four corners of the display image), and the projective transformation There has been proposed a method of performing geometric correction of photographing data using the method (for example, see Patent Document 2).

特開2001−356005号公報(図3)JP 2001-356005 A (FIG. 3) 特開2005−122323号公報(図10、図19)Japanese Patent Laying-Open No. 2005-122323 (FIGS. 10 and 19)

しかしながら、前記特許文献に記載の技術では、ドット状のマーカや表示画像の四隅の点に基づいて、表示画像の各画素位置と撮影データ上にマッピングされる位置との対応関係を算出しているに過ぎず、高精度に対応関係を導き出せるとは言い難い。
また、これらの特許文献に記載された技術において、高精度に画素位置と撮影データ上にマッピングされる位置との関係を得ようとすると、対応関係を導き出すためのサンプリング点の数が多くなり、その各々について射影変換等を行わなければならないので、演算処理の複雑化を招くという問題がある。
さらに、撮像装置により表示画像を撮像した際、撮像装置のサチレーション等によって撮影データ中に白飛び領域が生じることがあり、このような撮影データに基づいて処理を行うと、本来の表示画像とは異なってしまうため、安定した処理を行うことができないという問題がある。
However, in the technique described in the patent document, the correspondence between each pixel position of the display image and the position mapped on the photographing data is calculated based on the dot-shaped marker and the four corner points of the display image. However, it is hard to say that the correspondence can be derived with high accuracy.
Further, in the techniques described in these patent documents, when trying to obtain the relationship between the pixel position and the position mapped on the shooting data with high accuracy, the number of sampling points for deriving the correspondence increases. Since projective transformation or the like must be performed for each of them, there is a problem in that the computation processing becomes complicated.
Furthermore, when a display image is captured by the imaging device, a whiteout region may occur in the captured data due to saturation of the imaging device, and when processing is performed based on such captured data, the original display image is Since they differ, there is a problem that stable processing cannot be performed.

本発明の目的は、ディスプレイの各画素が撮影データ上にマッピングされる位置を正確に、しかも安定して取得することのできる画素位置取得方法、画像処理装置、画素位置取得方法をコンピュータ上で実行させるプログラム、及びこのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することにある。   An object of the present invention is to execute on a computer a pixel position acquisition method, an image processing apparatus, and a pixel position acquisition method capable of accurately and stably acquiring a position where each pixel of a display is mapped on photographing data. And a computer-readable recording medium on which the program is recorded.

本発明に係る画素位置取得方法は、
スクリーン上に表示された表示画像を撮像装置により撮像し、撮像された撮像データに基づいて、前記スクリーン上に表示される画像生成デバイスの画素位置と、前記画素位置が前記撮像データ上にマッピングされた位置との対応関係を取得する画素位置取得方法であって、
延出方向に沿ってグラデーションが施されたグラデーション線を含む画像を、前記スクリーン上に表示させる段階と、
前記スクリーン上に表示された表示画像を、前記撮像装置により撮像し、撮像された撮像データを取得する段階と、
前記スクリーン上に表示されたグラデーション線及び前記撮像データ上にマッピングされたグラデーション撮像線に基づいて、前記画像生成デバイスの画素位置と、前記画素位置が前記撮像データ上にマッピングされた位置との対応付けを行う段階とを備えていることを特徴とする。
The pixel position acquisition method according to the present invention includes:
A display image displayed on the screen is picked up by an image pickup device, and based on the picked-up image pickup data, the pixel position of the image generation device displayed on the screen and the pixel position are mapped onto the image pickup data. A pixel position acquisition method for acquiring a correspondence relationship with a determined position,
Displaying an image including a gradation line with gradation along the extending direction on the screen;
Capturing a display image displayed on the screen by the imaging device and acquiring the captured imaging data;
Correspondence between the pixel position of the image generating device and the position where the pixel position is mapped on the imaging data based on the gradation line displayed on the screen and the gradation imaging line mapped on the imaging data And a stage for performing attachment.

ここで、グラデーション線を含む画像は、後述する垂直方向に延びる複数のグラデーション線を含む画像、及び、水平方向に延びる複数のグラデーション線を含む画像の他、前記特許文献2に示されるような、表示画像の輪郭をグラデーション線として取得した画像も含むものである。
この発明によれば、撮像データがグラデーション線を含んで構成されているので、撮像装置のサチレーション等によって撮像データ中に白飛び領域等が生じても、誤って表示画像との対応を取るための線画像として認識することがなく、正確にかつ安定して表示画像の画素位置と、撮像データ上にマッピングされた位置との対応を取ることができる。
Here, the image including the gradation line includes an image including a plurality of gradation lines extending in the vertical direction, which will be described later, and an image including a plurality of gradation lines extending in the horizontal direction, as shown in the Patent Document 2, It also includes an image obtained by acquiring the contour of the display image as a gradation line.
According to the present invention, since the imaging data is configured to include gradation lines, even if a whiteout area or the like occurs in the imaging data due to the saturation of the imaging device, the correspondence with the display image is erroneously taken. Without being recognized as a line image, the correspondence between the pixel position of the display image and the position mapped on the imaging data can be taken accurately and stably.

本発明では、
前記グラデーション線を含む画像を、前記スクリーン上に表示させる段階は、
前記画像生成デバイスの垂直方向に沿って延びる複数のグラデーション線からなる第1の線画像を、前記スクリーン上に表示させる手順と、
前記画像生成デバイスの水平方向に沿って延びる複数のグラデーション線からなる第2の線画像を前記スクリーン上に表示させる手順とを備え、
前記撮像データを取得する段階は、
前記第1の線画像による表示画像を前記撮像装置により撮像し、撮像された第1の撮像データを取得する手順と、
前記第2の線画像による表示画像を前記撮像装置により撮像し、撮像された第2の撮像データを取得する手順とを備え、
前記画像生成デバイスの画素位置と、前記画素位置が前記撮像データ上にマッピングされた位置との対応付けを行う段階は、
前記第1の撮像データ上にマッピングされた複数のグラデーション撮像線を、各グラデーション撮像線を含む領域を単位として切り出す手順と、
切り出された各グラデーション撮像線の領域に基づいて、前記第1の撮像データにおける各グラデーション撮像線を表す近似関数を設定する手順と、
前記第2の撮像データ上にマッピングされた複数のグラデーション撮像線を、各グラデーション撮像線を含む領域を単位として切り出す手順と、
切り出された各グラデーション撮像線の領域に基づいて、前記第2の撮像データにおける各グラデーション撮像線を表す近似関数を設定する手順と、
前記第1の撮像データ及び第2の撮像データで設定された近似関数に基づいて、前記画像生成デバイスの画素位置と、前記画素位置が前記撮像データ上にマッピングされた位置との対応付けを求める手順とを備えているのが好ましい。
In the present invention,
Displaying the image including the gradation line on the screen;
Displaying a first line image consisting of a plurality of gradation lines extending along the vertical direction of the image generating device on the screen;
And displaying a second line image consisting of a plurality of gradation lines extending along the horizontal direction of the image generating device on the screen,
The step of acquiring the imaging data includes
A procedure of capturing a display image based on the first line image by the imaging device and acquiring the captured first imaging data;
A procedure for capturing a display image based on the second line image by the imaging device and acquiring the captured second imaging data;
The step of associating the pixel position of the image generation device with the position where the pixel position is mapped on the imaging data,
A procedure for cutting out a plurality of gradation imaging lines mapped on the first imaging data in units of regions including the gradation imaging lines;
A procedure for setting an approximation function representing each gradation imaging line in the first imaging data based on the area of each extracted gradation imaging line;
A procedure for cutting out a plurality of gradation imaging lines mapped on the second imaging data in units of regions including the gradation imaging lines;
A procedure for setting an approximation function representing each gradation imaging line in the second imaging data based on the area of each gradation imaging line cut out;
Based on the approximate function set by the first imaging data and the second imaging data, an association between the pixel position of the image generation device and the position where the pixel position is mapped on the imaging data is obtained. And a procedure.

この発明によれば、テストパターンとなる第1の線画像及び第2の線画像が垂直又は水平方向に延びる複数のグラデーション線から構成され、撮像データ上にマッピングされたグラデーション撮像線を表す近似関数を設定し、これに基づいて、画像生成デバイスの画素位置と、その画素位置が撮像データ上にマッピングされた位置との対応付けを行うことにより、スクリーンと画像生成デバイスからなる画像表示装置に対する撮像装置の位置や、撮像装置を構成するレンズ等の光学素子に起因する撮像データの歪みを、近似関数という形で考慮しながら対応付けを行うことができるため、画像生成デバイスの画素位置と、その画素位置が撮像データ上へマッピングされる位置との対応付けを高精度に取得することができる。
また、第1の線画像及び第2の線画像を表示させるだけで、画像生成デバイスの画素位置と、その画素位置が撮像データ上へマッピングされる位置との対応付けを高精度に実行できるため、高速にその対応付けを取得することができる。
According to the present invention, the first line image and the second line image serving as the test pattern are composed of a plurality of gradation lines extending in the vertical or horizontal direction, and the approximate function representing the gradation imaging line mapped on the imaging data. Based on this, the pixel position of the image generation device and the position where the pixel position is mapped on the imaging data are associated with each other, thereby capturing an image on the image display device including the screen and the image generation device. Since it is possible to perform matching while taking into account the distortion of the imaging data due to the position of the apparatus and optical elements such as lenses constituting the imaging apparatus in the form of an approximate function, the pixel position of the image generation device, The association between the pixel position and the position where the pixel position is mapped onto the imaging data can be obtained with high accuracy.
In addition, since only the first line image and the second line image are displayed, the pixel position of the image generation device and the position where the pixel position is mapped onto the imaging data can be executed with high accuracy. The correspondence can be acquired at high speed.

本発明では、
前記第1の線画像及び前記第2の線画像は、それぞれの撮像データとの対応を与える少なくとも4つのマーカを含んで構成され、
前記第1又は第2の撮像データ上にマッピングされた複数のグラデーション撮像線を、各グラデーション撮像線を含む領域として切り出す手順は、
前記第1の線画像及び前記第1の撮像データのマーカの対応関係に基づいて、前記第1の線画像及び前記第1の撮像データの変換式を設定するステップと、
前記第2の線画像及び前記第2の撮像データのマーカの対応関係に基づいて、前記第2の線画像及び前記第2の撮像データの変換式を設定するステップと、
前記第1又は第2の線画像中の各グラデーション線を囲む領域を設定するステップと、
前記第1又は第2の線画像中の各グラデーション線を囲む領域を、前記設定された変換式によって変換するステップと、
変換された領域に基づいて、前記第1の撮像データ又は前記第2の撮像データの各グラデーション撮像線を切り出すステップとを備えているのが好ましい。
ここで、第1の線画像及び第1の撮像データ、又は第2の線画像及び第2の撮像データの変換式の設定は、例えば、射影変換式を用いて簡単に行うことができ、具体的には、撮像データのマッピング位置を与えるベクトルを(x,y)とし、表示画像の画素位置を与えるベクトルを(X,Y)とすると、次の変換式(1)により求めることができる。
In the present invention,
The first line image and the second line image are configured to include at least four markers that give correspondence with respective imaging data,
The procedure of cutting out a plurality of gradation imaging lines mapped on the first or second imaging data as an area including each gradation imaging line,
Setting a conversion formula between the first line image and the first imaging data based on a correspondence relationship between the first line image and the marker of the first imaging data;
Setting a conversion formula between the second line image and the second imaging data based on a correspondence relationship between the second line image and the marker of the second imaging data;
Setting an area surrounding each gradation line in the first or second line image;
Converting a region surrounding each gradation line in the first or second line image by the set conversion formula;
Preferably, the method includes a step of cutting out each gradation imaging line of the first imaging data or the second imaging data based on the converted area.
Here, the setting of the conversion formula between the first line image and the first imaging data, or the second line image and the second imaging data can be easily performed using, for example, a projective conversion formula. Specifically, when the vector that gives the mapping position of the imaging data is (x, y) T and the vector that gives the pixel position of the display image is (X, Y) T , the following conversion equation (1) can be used. it can.

Figure 0004534992
Figure 0004534992

この発明によれば、マーカによって設定された変換式によって、各グラデーション撮像線を切り出すための領域を第1の線画像又は第2の線画像で設定すれば、第1の撮像データ又は第2の撮像データ上の切り出す領域を変換式によって簡単に求められるので、複雑な演算処理を行うことなく、第1の撮像データ又は第2の撮像データ上にマッピングされた各グラデーション撮像線の切り出しを行うことができる。特に、前記変換式(1)のような射影変換行列を用いることにより、変換をより簡単に行うことができる。   According to this invention, if the area for cutting out each gradation imaging line is set in the first line image or the second line image by the conversion formula set by the marker, the first imaging data or the second imaging data is set. Since the area to be cut out on the imaging data can be easily obtained by the conversion formula, each gradation imaging line mapped on the first imaging data or the second imaging data can be cut out without performing complicated calculation processing. Can do. In particular, the conversion can be performed more easily by using a projective transformation matrix such as the conversion equation (1).

本発明では、
各グラデーション撮像線を表す近似関数を設定する手順は、第1の撮像データ又は第2の撮像データの垂直方向をy軸、水平方向をx軸としたときに、
第1の撮像データ上にマッピングされた各グラデーション撮像線は、xをyの多項式として表した近似関数として設定され、
第2の撮像データ上にマッピングされた各グラデーション撮像線は、yをxの多項式として表した近似関数として設定されるのが好ましい。
In the present invention,
The procedure for setting an approximate function representing each gradation imaging line is as follows. When the vertical direction of the first imaging data or the second imaging data is the y axis and the horizontal direction is the x axis,
Each gradation imaging line mapped on the first imaging data is set as an approximate function in which x is expressed as a polynomial of y,
Each gradation imaging line mapped on the second imaging data is preferably set as an approximate function in which y is expressed as a polynomial of x.

この発明によれば、第1の撮像データ又は第2の撮像データ上にマッピングされた各グラデーション撮像線が多項式で与えられる近似関数として設定されているので、撮像データ上にマッピングされた各グラデーション撮像線が曲線であったとしても、第1、第2の線画像と、第1、第2の撮像データとの対応を高精度に取ることができる。また、グラデーション撮像線に応じた多項式を近似関数として設定することにより、近似関数を求めるのに複雑な演算処理を要することなく、これらの対応関係を求めることができる。   According to the present invention, since each gradation imaging line mapped on the first imaging data or the second imaging data is set as an approximation function given by a polynomial, each gradation imaging mapped on the imaging data Even if the line is a curve, the correspondence between the first and second line images and the first and second imaging data can be taken with high accuracy. Further, by setting a polynomial corresponding to the gradation imaging line as an approximate function, it is possible to obtain the correspondence relationship without requiring a complicated calculation process to obtain the approximate function.

本発明では、
前記第1の撮像データ上にマッピングされた各グラデーション撮像線は、前記グラデーション撮像線に応じた重み係数を用いて、xをyの多項式として表した近似関数として設定され、
前記第2の撮像データ上にマッピングされた各グラデーション撮像線は、前記グラデーション撮像線に応じた重み係数を用いて、yをxの多項式として表した近似関数として設定されるのが好ましい。
この発明によれば、重み付けを行いながら近似関数が設定されるため、より高精度に近似関数を求めることができる。
In the present invention,
Each gradation imaging line mapped on the first imaging data is set as an approximate function in which x is expressed as a polynomial of y using a weighting factor corresponding to the gradation imaging line,
Each gradation imaging line mapped on the second imaging data is preferably set as an approximate function in which y is expressed as a polynomial of x, using a weighting factor corresponding to the gradation imaging line.
According to the present invention, since the approximate function is set while performing weighting, the approximate function can be obtained with higher accuracy.

本発明では、
画像生成デバイスの画素位置と、その画素位置が撮像データ上にマッピングされた位置との対応付けを求める手順は、
第1の線画像上の各グラデーション線と第1の撮像データ上の各グラデーション撮像線との対応付け、並びに、第2の線画像上の各グラデーション線と第2の撮像データ上の各グラデーション撮像線との対応付けを行うステップと、
対応付けされた各グラデーション撮像線に応じて設定された近似関数に基づいて、第1の撮像データ上の複数のグラデーション撮像線及び第2の撮像データ上の複数のグラデーション撮像線の交点を求めるステップと、
求められた各交点に基づいて、第1の撮像データ上の隣り合う2本のグラデーション撮像線と、第2の撮像データ上の隣り合う2本のグラデーション撮像線とによって囲まれる領域内の任意の点を与える補間関数を設定するステップとを備えているのが好ましい。
In the present invention,
The procedure for obtaining the correspondence between the pixel position of the image generation device and the position where the pixel position is mapped on the imaging data is as follows:
Correspondence between each gradation line on the first line image and each gradation imaging line on the first imaging data, and each gradation imaging on the second line image and each gradation imaging on the second imaging data Associating with a line;
A step of obtaining intersection points of a plurality of gradation imaging lines on the first imaging data and a plurality of gradation imaging lines on the second imaging data based on an approximate function set in accordance with each associated gradation imaging line. When,
Based on the obtained intersections, an arbitrary area within a region surrounded by two adjacent gradation imaging lines on the first imaging data and two adjacent gradation imaging lines on the second imaging data. Preferably comprising an interpolation function for providing points.

この発明によれば、近似関数により線画像上の各グラデーション線と高精度に対応関係が求められた撮像線に基づいて、補間関数を設定することができるので、画像生成デバイスの任意の画素位置と、その画素位置が撮像データ上にマッピングされた位置との対応関係を高精度に求めることができる。   According to the present invention, since the interpolation function can be set based on the imaging line whose correspondence with the gradation line on the line image is obtained with high accuracy by the approximation function, any pixel position of the image generation device can be set. And a correspondence relationship between the pixel position and the position where the pixel position is mapped on the imaging data can be obtained with high accuracy.

本発明では、
画像生成デバイスの画素位置と、その画素位置が撮像データ上にマッピングされた位置との対応付けを求める手順の後に、
既に算出された画像生成デバイスの画素位置と、その画素位置が撮像データ上にマッピングされた位置との対応関係、並びに、再度算出された画像生成デバイスの画素位置と、その画素位置が撮像データ上にマッピングされた位置との対応関係に基づいて、良否評価を行う手順を備え、
否と評価された場合、再度第1の線画像をスクリーン上に表示させる手順から画像生成デバイスの画素位置とその画素位置が撮像データ上にマッピングされた位置との対応付けを求める手順までを繰り返すのが好ましい。
In the present invention,
After the procedure for obtaining the correspondence between the pixel position of the image generation device and the position where the pixel position is mapped on the imaging data,
The correspondence between the pixel position of the image generation device already calculated and the position where the pixel position is mapped on the imaging data, and the pixel position of the image generation device calculated again and the pixel position on the imaging data. Based on the correspondence with the position mapped to
If not, the procedure from displaying the first line image again on the screen to the procedure for determining the correspondence between the pixel position of the image generation device and the position where the pixel position is mapped on the imaging data is repeated. Is preferred.

この発明によれば、良否評価を行って、画素位置とその画素位置が撮像データ上にマッピングされた位置との対応関係を評価しているので、否と評価された場合、再度、画素位置とその画素位置が撮像データ上にマッピングされた位置との対応関係を求めることで、その対応関係を一層高精度に求めることができる。   According to the present invention, the pass / fail evaluation is performed, and the correspondence between the pixel position and the position where the pixel position is mapped on the imaging data is evaluated. By obtaining the correspondence between the pixel position and the position mapped on the imaging data, the correspondence can be obtained with higher accuracy.

本発明では、
繰り返す際の第1の線画像を表示させる手順及び第2の線画像を表示させる手順の少なくともいずれかは、前回よりも各グラデーション線の間隔を狭めて更新された線画像を表示させるのが好ましい。
この発明によれば、グラデーション線の間隔を狭めて更新された線画像を用いて再度対応関係を求めることにより、第1の撮像データ上にマッピングされた隣り合う2本の撮像線と、第2の撮像データ上にマッピングされた隣り合う2本の撮像線とにより囲まれた領域が前回よりも小さくなるので、その領域内の任意の画素位置とその画素位置が撮像データ上にマッピングされた領域内の位置との対応を、より一層高精度に求めることができる。
In the present invention,
It is preferable that at least one of the procedure for displaying the first line image and the procedure for displaying the second line image at the time of repetition display the updated line image by narrowing the interval between the gradation lines as compared to the previous time. .
According to the present invention, two adjacent imaging lines mapped on the first imaging data are obtained by obtaining the correspondence relationship again using the updated line image with the interval of the gradation lines being reduced, and the second Since an area surrounded by two adjacent imaging lines mapped on the imaging data is smaller than the previous area, an arbitrary pixel position in the area and an area where the pixel position is mapped on the imaging data Correspondence with the position inside can be determined with higher accuracy.

本発明では、
繰り返す際の第1の線画像を表示させる手順及び第2の線画像を表示させる手順の少なくともいずれかは、前回とは異なる位置に各グラデーション線を配置した線画像を表示させるのが好ましい。
この発明によれば、撮像データ上にマッピングされるグラデーション撮像線が前回とは異なる位置に配置された状態で対応付けを改めて行うことができるので、前回では検出できなかった撮像データの歪みを検出する可能性が高くなり、領域内の任意の画素位置とその画素位置が撮像データ上にマッピングされた領域内の位置との対応を、高精度に求めることができる。また、線画像中の撮像線の本数は同じなので、演算処理が複雑になることもなく、前回と同様の負荷で対応付けを求めることができる。
In the present invention,
It is preferable that at least one of the procedure of displaying the first line image and the procedure of displaying the second line image at the time of repetition displays a line image in which each gradation line is arranged at a position different from the previous time.
According to the present invention, since the gradation imaging line mapped on the imaging data can be associated again with the gradation imaging line arranged at a position different from the previous time, the distortion of the imaging data that could not be detected the previous time is detected. Therefore, the correspondence between an arbitrary pixel position in the area and the position in the area where the pixel position is mapped on the imaging data can be obtained with high accuracy. Further, since the number of imaging lines in the line image is the same, the calculation process is not complicated, and the association can be obtained with the same load as the previous time.

本発明は、前述した画素位置取得方法としてのみならず、前記各発明に係る方法を構成する各手順を実行することを特徴とする画像処理装置、コンピュータが前記各発明に係る画素位置取得方法を実行するプログラム、及びこのプログラムが記録されたコンピュータ読み取り可能な記録媒体として成立するものであり、これらの発明によれば、前述した作用及び効果と同様の作用及び効果を享受できる画像処理装置、コンピュータを得ることができる。   The present invention is not limited to the pixel position acquisition method described above, but also executes an image processing apparatus and a computer that execute the respective steps constituting the method according to each of the inventions. A program to be executed, and a computer-readable recording medium on which the program is recorded. According to these inventions, an image processing apparatus and a computer that can enjoy the same operations and effects as those described above Can be obtained.

以下、本発明の実施の形態を図面に基づいて説明する。
〔第1実施形態〕
図1には、本発明の第1実施形態に係る画素位置取得方法を実施するための画素特性値取得システム1が示されている。この画素特性値取得システム1は、プロジェクタ100を構成する液晶パネル等の固定画素方式ディスプレイの各画素についての画素特性値、例えば、輝度、色度等を取得し、取得された画素特性値に基づいて、各画素についての補正データを生成するものであり、撮像装置2及びコンピュータ3を備えて構成される。
撮像装置2は、CCDカメラやCMOSセンサ等が採用され、スクリーン101に対して定点位置に配置され、スクリーン101上に投射された画像データに基づく投射画像を撮像して取得された撮像データをコンピュータ3に出力する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 shows a pixel characteristic value acquisition system 1 for performing the pixel position acquisition method according to the first embodiment of the present invention. The pixel characteristic value acquisition system 1 acquires pixel characteristic values, such as luminance and chromaticity, for each pixel of a fixed pixel type display such as a liquid crystal panel constituting the projector 100, and based on the acquired pixel characteristic values. Thus, correction data for each pixel is generated, and the image pickup apparatus 2 and the computer 3 are provided.
The imaging device 2 employs a CCD camera, a CMOS sensor, or the like, is placed at a fixed point position with respect to the screen 101, and takes image data acquired by imaging a projection image based on the image data projected on the screen 101. 3 is output.

コンピュータ3は、演算処理装置及び記憶装置を備え、撮像装置2から出力された撮像データを処理して、プロジェクタ100を構成する液晶パネル等により表示された表示画像上の画素位置と、その画素位置が撮像データ上にマッピングされた位置との対応を求め、各画素についての画素特性値を取得する。具体的には、このコンピュータ3は、表示画像取込手段31、表示画像形成手段32、マッピング領域取得手段33、近似関数設定手段34、画素マッピング算出手段35、及び画素特性値取得手段36を備えて構成され、記憶装置には、予め準備された縦線画像データ蓄積部37、横線画像データ蓄積部38、特性値取得用画像データ蓄積部39の他、各機能的手段による取得又は生成データを蓄積する、縦線画像撮像データ蓄積部40、横線画像撮像データ蓄積部41、特性値取得用撮像データ蓄積部42、縦線マッピング領域データ蓄積部43、横線マッピング領域データ蓄積部44、縦線マッピングデータ蓄積部45、横線マッピングデータ蓄積部46、画素マッピングデータ蓄積部47、及び画素特性値データ蓄積部48が確保されている。以下、これらの各機能的手段で行われる処理について詳述する。   The computer 3 includes an arithmetic processing unit and a storage device, processes the imaging data output from the imaging device 2, and a pixel position on a display image displayed by a liquid crystal panel or the like constituting the projector 100, and the pixel position Is determined to correspond to the position mapped on the imaging data, and a pixel characteristic value for each pixel is obtained. Specifically, the computer 3 includes a display image capturing unit 31, a display image forming unit 32, a mapping area acquisition unit 33, an approximate function setting unit 34, a pixel mapping calculation unit 35, and a pixel characteristic value acquisition unit 36. In addition to the vertical line image data storage unit 37, the horizontal line image data storage unit 38, and the characteristic value acquisition image data storage unit 39 prepared in advance, the storage device stores data acquired or generated by each functional means. The vertical line imaging data storage unit 40, the horizontal line imaging data storage unit 41, the characteristic value acquisition imaging data storage unit 42, the vertical line mapping region data storage unit 43, the horizontal line mapping region data storage unit 44, and the vertical line mapping are stored. Data storage unit 45, horizontal line mapping data storage unit 46, pixel mapping data storage unit 47, and pixel characteristic value data storage unit 48 are secured. To have. Hereinafter, processing performed by each of these functional means will be described in detail.

〔1〕表示画像取込手段31及び表示画像形成手段32における処理
表示画像取込手段31及び表示画像形成手段32は、画素特性値取得対象となるプロジェクタ100に対して所定の画像データを出力し、プロジェクタ100に所定の表示画像をスクリーン101上に表示させ、スクリーン101上に表示された表示画像を、撮像装置2によって撮像し、撮像データとして取り込む手段であり、両手段は協働して図2に示されるような一連の処理を実行する。
(1) まず、表示画像形成手段32は、縦線画像データ蓄積部37に蓄積された縦線画像データを読み出して取得し(処理S1)、プロジェクタ100に取得したデータを送信する(処理S2)。ここで、縦線画像データは、図3に示されるように、表示画像上で垂直方向に延び、延出方向にグラデーションが施された複数の縦線が、水平方向に所定間隔を設けて配置された画像A1であり、実際には、画像データの幅W、高さH、0番目の縦線位置w、1番目の縦線位置w、2番目の縦線位置w…からなるメタデータA2として縦線画像データ蓄積部37に記録されている。
[1] Processing in Display Image Capturing Unit 31 and Display Image Forming Unit 32 The display image capturing unit 31 and the display image forming unit 32 output predetermined image data to the projector 100 that is a pixel characteristic value acquisition target. The projector 100 is a means for displaying a predetermined display image on the screen 101, and the display image displayed on the screen 101 is picked up by the image pickup apparatus 2 and captured as image pickup data. A series of processes as shown in FIG.
(1) First, the display image forming unit 32 reads and acquires the vertical line image data stored in the vertical line image data storage unit 37 (process S1), and transmits the acquired data to the projector 100 (process S2). . Here, as shown in FIG. 3, the vertical line image data includes a plurality of vertical lines that extend in the vertical direction on the display image and are gradationally provided in the extending direction, with predetermined intervals in the horizontal direction. Actually, the image A1 includes the width W and height H of the image data, the zeroth vertical line position w 0 , the first vertical line position w 1 , the second vertical line position w 2 . It is recorded in the vertical line image data storage unit 37 as metadata A2.

(2) 表示画像形成手段32は、続けてプロジェクタ100で縦線画像データの表示を開始したことを表示画像取込手段31に知らせる(処理S3)。表示画像取込手段31は、表示画像形成手段32からの画像表示が開始された旨の情報を取得すると(処理S4)、撮像装置2によって表示画像の撮像を行い(処理S5)、縦線画像撮像データをコンピュータ3内に取り込んで、縦線画像撮像データ蓄積部40に保存する(処理S6)。
(3) 撮像データの保存が終了したら、表示画像取込手段31は、その旨を表示画像形成手段32に知らせる(処理S7)。表示画像形成手段32は、撮像終了の旨の情報を取得したら(処理S8)、次の横線画像データの取得を開始する(処理S9)。
(2) The display image forming unit 32 notifies the display image capturing unit 31 that the projector 100 has started to display vertical line image data (step S3). When the display image capturing unit 31 acquires information indicating that the image display from the display image forming unit 32 is started (processing S4), the display image capturing unit 31 captures the display image by the imaging device 2 (processing S5), and the vertical line image is acquired. The captured image data is taken into the computer 3 and stored in the vertical line image captured data storage unit 40 (processing S6).
(3) When the storage of the imaging data is completed, the display image capturing unit 31 notifies the display image forming unit 32 to that effect (processing S7). When the display image forming unit 32 acquires the information indicating the end of imaging (processing S8), it starts acquiring the next horizontal line image data (processing S9).

(4) 以後、表示画像形成手段32は、横線画像データ、画素特性値取得用画像データの取得、表示を繰り返し、これに合わせて表示画像取込手段31は、各画像の撮像データを、順次、横線画像撮像データ蓄積部41、特性値取得用撮像データ蓄積部42に保存していく。尚、横線画像データは、図4に示されるように、水平方向に延び、延出方向にグラデーションが施された複数の横線が、垂直方向に所定間隔を設けて配置された画像A3であり、横線画像データ蓄積部38に保存されているのは、画像データの幅W、高さH、0番目の横線位置h、1番目の横線位置h、2番目の横線位置h…というメタデータA4である。また、図示を略したが、画素特性値取得用画像データは、すべての画素に一定の輝度、色等を表示させる輝度信号、色信号等から構成され、例えば、各画素の電圧透過特性(VT−γ)のバラツキが判るようなデータとして特性値取得用画像データ蓄積部39に蓄積されている。 (4) Thereafter, the display image forming unit 32 repeats the acquisition and display of the horizontal line image data and the pixel characteristic value acquisition image data, and the display image capturing unit 31 sequentially captures the image data of each image accordingly. The horizontal line image data storage unit 41 and the characteristic value acquisition data storage unit 42 are stored. As shown in FIG. 4, the horizontal line image data is an image A3 in which a plurality of horizontal lines extending in the horizontal direction and gradationd in the extending direction are arranged at predetermined intervals in the vertical direction. The horizontal line image data storage unit 38 stores the meta data of the width W, the height H, the zeroth horizontal line position h 0 , the first horizontal line position h 1 , the second horizontal line position h 2 . Data A4. Although not shown, the pixel characteristic value acquisition image data includes a luminance signal, a color signal, and the like that display a certain luminance, color, etc. on all the pixels. For example, the voltage transmission characteristic (VT) of each pixel is displayed. -Γ) is stored in the characteristic value acquisition image data storage unit 39 as data that can be understood.

(5) 表示画像取込手段31は、横線画像データに基づいて表示された表示画像を撮像装置2で撮像し、横線画像撮像データとして取り込んで横線画像撮像データ蓄積部41に蓄積し、画素特性値取得用画像データに基づいて表示された表示画像を撮像装置2で撮像し、特性値取得用撮像データとして取り込んで特性値取得用撮像データ蓄積部42に蓄積する。
(6) 表示画像形成手段32は、前述したすべての画像データに基づいて、プロジェクタ100に表示させたか否かを判定し(処理S9)、すべての画像表示が終了したと判定されたら、その旨を表示画像取込手段31に知らせ(処理S10)、処理を終了する。
(7) 表示画像取込手段31は、表示画像形成手段32から画像表示が終了した旨の情報を取得したか否かを判定し(処理S11)、終了した旨の情報を取得したら、処理を終了する。
(5) The display image capturing means 31 captures a display image displayed based on the horizontal line image data with the imaging device 2, captures it as horizontal line image captured data, stores it in the horizontal line image captured data storage unit 41, and pixel characteristics. A display image displayed based on the image data for value acquisition is captured by the imaging device 2, captured as characteristic value acquisition image data, and stored in the characteristic value acquisition image data storage unit 42.
(6) The display image forming unit 32 determines whether or not the image has been displayed on the projector 100 based on all the image data described above (processing S9). Is displayed to the display image capturing means 31 (process S10), and the process is terminated.
(7) The display image capturing unit 31 determines whether or not the information indicating that the image display has been completed is acquired from the display image forming unit 32 (processing S11). finish.

〔2〕マッピング領域取得手段33における処理
マッピング領域取得手段33は、前述した縦線画像データA1及び横線画像データA3と、これらの表示画像を撮像装置2で撮像した縦線画像撮像データ及び横線画像撮像データとの大まかな対応関係を求め、これに基づいて、縦線画像撮像データ及び横線画像撮像データ上の各撮像線を切り出す手段であり、具体的には、図5に示される処理を行う。
(1) まず、マッピング領域取得手段33は、縦線画像データ蓄積部37に蓄積された縦線画像データA1、及び横線画像データ蓄積部38に蓄積された横線画像データA3を取得する(処理S12)。取得された縦線画像データ及び横線画像データを重ね合わせると、図6に示されるように、格子状の画像A5となる。
[2] Processing in Mapping Area Acquisition Unit 33 The mapping area acquisition unit 33 includes the above-described vertical line image data A1 and horizontal line image data A3, and vertical line image imaging data and horizontal line images obtained by capturing these display images with the imaging device 2. This is means for obtaining a rough correspondence with the imaging data and cutting out each imaging line on the vertical line image imaging data and the horizontal line image imaging data based on this, and specifically, the processing shown in FIG. 5 is performed. .
(1) First, the mapping area acquisition unit 33 acquires the vertical line image data A1 stored in the vertical line image data storage unit 37 and the horizontal line image data A3 stored in the horizontal line image data storage unit 38 (processing S12). ). When the acquired vertical line image data and horizontal line image data are superimposed, a lattice-shaped image A5 is obtained as shown in FIG.

(2) 次に、マッピング領域取得手段33は、縦線画像撮像データ蓄積部40に保存された縦線画像撮像データ、及び横線画像撮像データ蓄積部41に蓄積された横線画像撮像データを取得する(処理S13)。取得された縦線画像撮像データ及び横線画像撮像データを重ね合わせると、図6に示されるように、格子状の画像A5が撮像装置2のスクリーン101に対する撮像位置に応じて変形した画像A6として取得される。
(3) マッピング領域取得手段33は、予め設定された縦線画像データ及び横線画像データとなる画像A5の四隅部分のマーカC、C、C、Cの位置を取得する(処理S14)。
(4) 続けてマッピング領域取得手段33は、画像A5のマーカC、C、C、Cが撮像データとなる画像A6上にマッピングされたマッピング位置c、c、c、cを取得する(処理S15)。
(2) Next, the mapping area acquisition unit 33 acquires the vertical line image imaging data stored in the vertical line image imaging data storage unit 40 and the horizontal line image imaging data stored in the horizontal line image imaging data storage unit 41. (Process S13). When the acquired vertical line image capturing data and horizontal line image capturing data are superimposed, a grid-like image A5 is acquired as an image A6 deformed according to the image capturing position with respect to the screen 101 of the image capturing apparatus 2, as shown in FIG. Is done.
3 mapping region acquiring unit 33, the marker C A of the four corners of the image A5 as a preset vertical line image data and the horizontal line image data, C B, C C, acquires the position of the C D (step S14 ).
(4) continued mapping region acquiring unit 33, the marker C A of the image A5, C B, C C, C D mapping positions are mapped on the image A6 as the imaging data c A, c B, c C , c D is acquired (step S15).

(5) マッピング領域取得手段33は、マーカC、C、C、C及びマッピング位置c、c、c、cの対応関係に基づいて、射影変換行列を算出する(処理S16)。具体的には、ベクトル(x,y)について、座標軸を一つ増やして任意定数wを設定し、ベクトル(wx,wy,w)とすると、射影変換は、以下の式(2)に示される変換式によって表現できる。 (5) The mapping area acquisition means 33 calculates a projective transformation matrix based on the correspondence between the markers C A , C B , C C , C D and the mapping positions c A , c B , c C , c D ( Process S16). Specifically, for the vector (x, y) T , the coordinate axis is increased by one and an arbitrary constant w is set. When the vector (wx, wy, w) T is used, the projective transformation is expressed by the following equation (2). It can be expressed by the conversion formula shown.

Figure 0004534992
Figure 0004534992

この変換式(2)を通常の方程式に整理し、両辺を整理すると、マッピング位置c、c、c、cのそれぞれのマッピング位置座標(x,y)は、マーカ座標(X,Y)によって次の式(3)、式(4)で与えられる。 When this transformation formula (2) is arranged into a normal equation and both sides are arranged, the mapping position coordinates (x, y) of the mapping positions c A , c B , c C , c D are respectively expressed as marker coordinates (X, Y) is given by the following equations (3) and (4).

Figure 0004534992
Figure 0004534992

(6) マッピング位置座標(x,y)及びマーカ座標(X,Y)の対応関係が求められたら、マッピング領域取得手段33は、例えば、図7に示される縦線画像データを表す画像A7上の縦線を、点R、R、R、Rで囲むことで縦線画像データから切り出す処理を行い、さらに、この各点R、R、R、Rの座標(X,Y)から、式(3)、式(4)によって縦線画像撮像データとなる画像A8上にマッピングされた点r、r、r、rの座標(x,y)を求め、求められた各座標に基づいて、画像A8上の撮像線の切り出しを行い、縦線マッピング領域データを取得する(処理S17)。取得された縦線マッピング領域データは、例えば、図7の縦線画像データの左端から3本目の寸法wの縦線であれば、画像A9に示されるように、縦線画像データ上での位置wと、縦線画像撮像データへのマッピングにより生じる撮像線を含む領域の左上位置(x、y)、この撮像線を含む領域の幅Δx、この撮像線を含む領域の高さΔy、及びこの撮像線を点r、r、r、rで取り囲んだ領域の撮像データから構成され、縦線マッピング領域データ蓄積部43に各撮像線毎に蓄積される。尚、横線マッピング領域も縦線の場合と同様の手順で求められ、同様のデータ構造で横線マッピング領域データ蓄積部44に蓄積される。 (6) When the correspondence between the mapping position coordinates (x, y) and the marker coordinates (X, Y) is obtained, the mapping area acquisition unit 33, for example, on the image A7 representing the vertical line image data shown in FIG. Is surrounded by points R A , R B , R C , and R D to cut out from the vertical line image data, and the coordinates of the points R A , R B , R C , and R D ( X, Y), the coordinates (x, y) of the points r A , r B , r C , r D mapped on the image A8 that is the vertical line image pickup data by the equations (3) and (4) are obtained. Based on the obtained coordinates, the imaging line on the image A8 is cut out, and vertical line mapping area data is obtained (processing S17). Vertical line mapping region data acquired, for example, if the three first vertical line dimension w 2 from the left end of the vertical line image data of FIG. 7, as shown in the image A9, on the vertical line image data The position w 2 , the upper left position (x 2 , y 2 ) of the area including the imaging line generated by mapping to the vertical line image imaging data, the width Δx 2 of the area including the imaging line, the height of the area including the imaging line Δy 2 , and imaging data of an area surrounding the imaging line by points r A , r B , r C , and r D , and stored in the vertical line mapping area data storage unit 43 for each imaging line. The horizontal line mapping area is also obtained in the same procedure as that for the vertical line, and is stored in the horizontal line mapping area data storage unit 44 with the same data structure.

〔3〕近似関数設定手段34における処理
近似関数設定手段34は、縦線マッピング領域データ蓄積部43及び横線マッピング領域データ蓄積部44に蓄積された各マッピング領域データに基づいて、各撮像線を表す近似関数を設定する部分であり、例えば縦線マッピング領域データであれば、図8に示されるフローチャートに示される処理を行って近似関数の設定を行う。
(1) まず、近似関数設定手段34は、縦線マッピング領域データ蓄積部43より縦線マッピング領域データを取得する(処理S18)。
[3] Processing in Approximate Function Setting Unit 34 The approximate function setting unit 34 represents each imaging line based on the mapping area data stored in the vertical line mapping area data storage unit 43 and the horizontal line mapping area data storage unit 44. For example, in the case of vertical line mapping area data, the approximation function is set by performing the processing shown in the flowchart shown in FIG.
(1) First, the approximate function setting unit 34 acquires vertical line mapping area data from the vertical line mapping area data storage unit 43 (processing S18).

(2) 次に、近似関数設定手段34は、縦線画像データの縦線が縦線画像撮像データへマッピングされることにより生じる撮像線の位置を取得する(処理S19)。この撮像線の位置の取得は、図9に示されるように、画像A10のような縦線マッピング領域データについて、ある垂直方向位置yにおける縦線画像撮像データの水平方向位置xの広がりの範囲を求め、これに基づいて、各垂直方向位置yにおける水平方向位置xの代表値を求めることにより行われる。ここで、水平方向位置xの代表値を求めるに際しては、撮像線に応じた重み係数ρijを用いて、以下の式(5)によって算出される。 (2) Next, the approximate function setting unit 34 acquires the position of the imaging line generated by mapping the vertical line of the vertical line image data to the vertical line image imaging data (processing S19). As shown in FIG. 9, the acquisition of the position of the imaging line is performed by setting the range of the horizontal position x of the vertical line image imaging data at a certain vertical position y for the vertical line mapping area data such as the image A10. This is performed by obtaining a representative value of the horizontal position x at each vertical position y based on this. Here, when obtaining the representative value of the horizontal position x, it is calculated by the following equation (5) using the weighting coefficient ρ ij corresponding to the imaging line.

Figure 0004534992
Figure 0004534992

重み係数ρijは、適宜設定することが可能であり、例えば、図10(a)に示されるグラフG1のように、グラデーションの程度によって線形的に重み係数が大きくなるように設定してもよいし、図10(b)に示されるグラフG2のようにある特定の濃淡度合いの部分で重み係数が大きくなるように設定してもよい。後者の場合には、ある特定の濃淡度合いの重み係数が大きくなっているため、撮像装置2のサチレーション等に起因する撮像データ中の白飛び領域が発生しても、これを縦線として認識することがない。
そして、このようにして縦線画像撮像データ中のすべての垂直方向位置yに対して図9のA12のような撮像線を与える(x,y)のデータ群を取得する。
The weighting coefficient ρ ij can be set as appropriate. For example, as shown in the graph G1 shown in FIG. 10A, the weighting coefficient ρ ij may be set so that the weighting coefficient increases linearly depending on the degree of gradation. However, the weight coefficient may be set so as to increase at a certain shaded portion as in the graph G2 shown in FIG. In the latter case, since the weighting coefficient for a specific shading degree is large, even if a whiteout region in the imaged data due to the saturation of the imaging device 2 or the like occurs, this is recognized as a vertical line. There is nothing.
In this way, a data group of (x, y) that gives an imaging line like A12 in FIG. 9 is acquired for all vertical position y in the vertical line image imaging data.

(3) そして、近似関数設定手段34は、縦線のマッピング領域データ中の縦線画像データの縦線が縦線画像撮像データへマッピングされることにより生じる撮像線の位置を、縦線画像撮像データの垂直方向Yに関する多項式で縦線画像撮像データの水平方向位置Xを表す近似関数に当てはめる(処理S20)。具体的には、この近似関数では、水平方向位置Xを垂直位置Yの多項式で表し、多項式の次数をM、撮像線上の位置座標の数をN、撮像線上の位置座標の撮像データ水平方向成分をx、撮像線上の位置座標の撮像データの垂直方向成分をy、撮像線上の位置座標の撮像データの水平方向成分の平均値をμx、撮像線上の撮像データの垂直方向成分の平均値をμy、撮像線上の位置座標の撮像データ水平方向成分の標準偏差をσx、撮像線上の撮像データの垂直方向成分の標準偏差をσyとすると、水平方向位置X及び垂直方向位置Yの関係は、以下の式(6)で与えられる。

(3) Then, the approximation function setting unit 34 determines the position of the imaging line generated by mapping the vertical line of the vertical line image data in the vertical line mapping area data to the vertical line image imaging data, This is applied to an approximation function representing the horizontal position X of the vertical line image pickup data by a polynomial related to the vertical direction Y of data (processing S20). Specifically, in this approximate function, the horizontal position X is represented by a polynomial of the vertical position Y, the degree of the polynomial is M, the number of position coordinates on the imaging line is N, and the imaging data horizontal component of the position coordinates on the imaging line X, y is the vertical component of the imaging data at the position coordinate on the imaging line, μx is the average value of the horizontal component of the imaging data at the position coordinate on the imaging line, and μy is the average value of the vertical component of the imaging data on the imaging line If the standard deviation of the horizontal component of the imaging data at the position coordinates on the imaging line is σx and the standard deviation of the vertical component of the imaging data on the imaging line is σy, the relationship between the horizontal position X and the vertical position Y is as follows: It is given by equation (6).

Figure 0004534992
Figure 0004534992

(4) 最後に近似関数設定手段34は、得られた近似式(6)を縦線画像データ上の縦線位置wとともに、縦線マッピングデータとして取得し、縦線マッピングデータ蓄積部45に蓄積する(処理S21)。
横線マッピング領域データの場合も、上記縦線マッピング領域データと同様の手順によって横線マッピングデータを取得することとなるが、この場合、画像A10に相当するデータ群の取得に際しては、各水平方向位置xに対する垂直方向位置yの広がりの範囲を求め、垂直方向位置yの代表値を撮像線に応じた重み係数に基づく重み付き平均で求めることにより、垂直位置Yを水平位置Xの多項式で表す。具体的には、以下の式(7)で与えられ、得られた近似式(7)は、横線画像データの横線位置hとともに横線マッピングデータ蓄積部46に蓄積される。
(4) Finally, the approximate function setting means 34 acquires the obtained approximate expression (6) as vertical line mapping data together with the vertical line position w on the vertical line image data, and stores it in the vertical line mapping data storage unit 45. (Processing S21).
In the case of the horizontal line mapping area data, the horizontal line mapping data is acquired by the same procedure as the vertical line mapping area data. In this case, when acquiring the data group corresponding to the image A10, each horizontal position x The vertical position Y is expressed by a polynomial of the horizontal position X by obtaining a range of the spread of the vertical position y with respect to, and obtaining a representative value of the vertical position y by a weighted average based on a weighting coefficient corresponding to the imaging line. Specifically, the approximate expression (7) obtained by the following expression (7) is stored in the horizontal line mapping data storage unit 46 together with the horizontal line position h of the horizontal line image data.

Figure 0004534992
Figure 0004534992

〔4〕画素マッピング算出手段35における処理
画素マッピング算出手段35は、近似関数設定手段34により得られた縦線マッピングデータ及び横線マッピングデータに基づいて、プロジェクタ1を構成する液晶パネル等により表示された表示画像の画素位置が、これを撮像した撮像データのどこにマッピングされているかを算出する部分であり、具体的には、図11のフローチャートに示されるような処理を行う。
(1) まず、画素マッピング算出手段35は、縦線マッピングデータ蓄積部45に蓄積された縦線マッピングデータを取得し(処理S22)、続けて横線マッピングデータ蓄積部46に蓄積された横線マッピングデータを取得する(処理S23)。
[4] Processing in Pixel Mapping Calculation Unit 35 The pixel mapping calculation unit 35 is displayed on the liquid crystal panel or the like constituting the projector 1 based on the vertical line mapping data and the horizontal line mapping data obtained by the approximate function setting unit 34. This is a part for calculating where the pixel position of the display image is mapped in the imaging data obtained by imaging the pixel position. Specifically, the processing shown in the flowchart of FIG. 11 is performed.
(1) First, the pixel mapping calculation unit 35 acquires the vertical line mapping data stored in the vertical line mapping data storage unit 45 (processing S22), and subsequently the horizontal line mapping data stored in the horizontal line mapping data storage unit 46. Is acquired (step S23).

(2) 次に、画素マッピング算出手段35は、縦線マッピングデータと横線マッピングデータの交点を算出し(処理S24)、横線マッピングデータ、縦線マッピングデータ、及び両者のデータの交点から、縦線マッピングデータと横線マッピングデータによって構成される四辺形領域内で、固定画素型ディスプレイの液晶パネル等により表示された表示画像の各画素位置が撮像データ上にマッピングされる位置を算出する(処理S25)。具体的には、本実施形態では、図12に示されるように、横線画像撮像データ上の撮像線p、p、縦線画像撮像データ上の撮像線q、qの交点caa、cab、cba、cbb(画像A13)と、固定画素型ディスプレイの液晶パネル等によって表示された横線画像データ上の横線P、P、縦線画像データ上の縦線Q、Qの交点Caa、Cab、Cba、Cbb(画像A14)の対応付けを行い(A15)、各交点の対応関係から撮像データの位置(x,y)が、表示画像の画素位置(X,Y)へとどのような補間関数でマッピングされるかを算出する(A16)。 (2) Next, the pixel mapping calculating means 35 calculates the intersection of the vertical line mapping data and the horizontal line mapping data (processing S24), and from the horizontal line mapping data, the vertical line mapping data, and the intersection of the two data, A position where each pixel position of the display image displayed by the liquid crystal panel of the fixed pixel type display is mapped on the imaging data within the quadrangular region constituted by the mapping data and the horizontal line mapping data is calculated (processing S25). . Specifically, in the present embodiment, as shown in FIG. 12, the intersection c aa of the imaging lines p a and p b on the horizontal line imaging data and the imaging lines q a and q b on the vertical imaging data. , C ab , c ba , c bb (image A13), horizontal lines P a , P b on the horizontal line image data displayed by the liquid crystal panel of the fixed pixel type display, etc., vertical lines Q a on the vertical line image data, Q b of intersection C aa, C ab, C ba , C bb performs association (image A14) (A15), position of the imaging data from the correspondence between each intersection (x, y) is the pixel position of the display image The interpolation function to be mapped to (X, Y) is calculated (A16).

(3) 画素マッピング算出手段35による補間関数の算出は、具体的には、画像A13における四辺形領域内の任意の点cαβの座標(x,y)は、交点caaの座標(xaa,yaa)、交点cabの座標(xab,yab)、交点cbaの座標(xba,yba)、交点cbbの座標
(xbb,ybb)を用いて次の式(8)、式(9)で表現することができる。
(3) The interpolation function is calculated by the pixel mapping calculating means 35. Specifically, the coordinates (x, y) of an arbitrary point c αβ in the quadrilateral region in the image A13 are the coordinates of the intersection c aa (x aa , y aa), intersection c ab coordinates (x ab, y ab), intersection c ba coordinates (x ba, y ba), the coordinates of the intersection point c bb (x bb, using y bb) the following formula ( 8) and can be expressed by equation (9).

Figure 0004534992
Figure 0004534992

ここで、各係数Naa、Nba、Nab、Nbbは、表示画像の四辺形領域における交点
aa、Cba間の水平方向距離をΔW、交点Cba、Cbb間の垂直方向距離をΔHとすると、次の式(10)〜(13)で与えられる。つまり、これにより、画像A13に示される撮像データ上にマッピングされた四辺形領域の任意の点cαβの座標(x,y)は、画像A14に示される表示画像上の四辺形領域の対応する点Cαβの座標(X、Y)として表現することができ、表示画像上の画素位置とその画素位置が撮像データ上にマッピングされたマッピング位置との対応を与える補間関数が算出できる。
Here, the coefficients N aa , N ba , N ab , and N bb are the horizontal distance between the intersection points C aa and C ba in the quadrilateral region of the display image, and the vertical direction distance between the intersection points C ba and C bb. Is given by the following equations (10) to (13). That is, as a result, the coordinates (x, y) of an arbitrary point c αβ of the quadrilateral area mapped on the imaging data shown in the image A13 correspond to the quadrilateral area on the display image shown in the image A14. It can be expressed as the coordinates (X, Y) of the point C αβ , and an interpolation function that gives a correspondence between the pixel position on the display image and the mapping position where the pixel position is mapped on the imaging data can be calculated.

Figure 0004534992
Figure 0004534992

(4) 画素マッピング算出手段35は、上記の手順により、撮像データ上にマッピングされたすべての四辺形領域内の任意のマッピング位置と、表示画像上のすべての四辺形領域内の任意の画素位置との対応を与える補間関数を算出し、画素マッピングデータとして画素マッピングデータ蓄積部47に保存する(処理S26)。 (4) The pixel mapping calculation means 35 performs an arbitrary mapping position in all quadrilateral areas mapped on the imaging data and an arbitrary pixel position in all quadrilateral areas on the display image by the above procedure. An interpolation function that gives a correspondence with is calculated and stored in the pixel mapping data storage unit 47 as pixel mapping data (processing S26).

〔5〕画素特性値取得手段36における処理
画素特性値取得手段36は、特性値取得用撮像データ蓄積部42に蓄積された特性値取得用撮像データと、画素マッピングデータ蓄積部47に蓄積された画素マッピングデータに基づいて、表示画像上の各画素の特性値を取得する部分であり、次のような手順で画素特性値の取得を行う。
(1) まず、画素特性値取得手段36は、特性値取得用撮像データ蓄積部42より特性値取得用撮像データを取得し、撮像データ上で特性値を取得する。特性値としては、例えば、輝度値、色度等の数値データが与えられる。
[5] Process in Pixel Characteristic Value Acquisition Unit 36 The pixel characteristic value acquisition unit 36 stores the characteristic value acquisition imaging data stored in the characteristic value acquisition imaging data storage unit 42 and the pixel mapping data storage unit 47. This is a part for acquiring the characteristic value of each pixel on the display image based on the pixel mapping data, and the pixel characteristic value is acquired in the following procedure.
(1) First, the pixel characteristic value acquisition unit 36 acquires characteristic value acquisition imaging data from the characteristic value acquisition imaging data storage unit 42, and acquires characteristic values on the imaging data. As the characteristic value, for example, numerical data such as a luminance value and chromaticity is given.

(2) 次に、画素特性値取得手段36は、画素マッピングデータ蓄積部47より画素マッピングデータを取得し、表示画像上の各画素位置と、その画素位置が撮像データ上にマッピングされたマッピング位置との対応に基づいて、表示画像上の各画素位置について、その画素位置が撮像データ上にマッピングされた位置の輝度値、色度等の特性値データを取得する。
(3) 最後に、画素特性値取得手段36は、表示画像上のすべての画素位置に応じた特性値データを画素特性値データとして画素特性値データ蓄積部48に蓄積する。
(2) Next, the pixel characteristic value acquisition unit 36 acquires pixel mapping data from the pixel mapping data storage unit 47, and each pixel position on the display image and a mapping position where the pixel position is mapped on the imaging data For each pixel position on the display image, characteristic value data such as a luminance value and chromaticity at the position where the pixel position is mapped on the imaging data is acquired.
(3) Finally, the pixel characteristic value acquisition unit 36 accumulates characteristic value data corresponding to all pixel positions on the display image in the pixel characteristic value data accumulation unit 48 as pixel characteristic value data.

〔6〕本実施形態の作用
次に、前述した各機能的手段によって実施される画素特性値取得方法の全体の流れを、図13に示されるフローチャートに基づいて説明する。
(1) 表示画像形成手段32は、プロジェクタ100に縦線画像データ、横線画像データ、及び特性値取得用画像データに基づく画像を順次表示させ(処理S27)、各画像データによりスクリーン101上に表示された表示画像を撮像装置2によって撮像し、表示画像取込手段31により撮像データとして順次取り込み(処理S28)、縦線画像撮像データ蓄積部40、横線画像撮像データ蓄積部41、及び特性値取得用撮像データ蓄積部42に記録保存する(処理S29)。
(2) 表示画像取込手段31により、すべての撮像データの取り込みが終了したと判定されたら(処理S30)、マッピング領域取得手段33は、縦線画像データ及び横線画像データを取得し(処理S31)、さらに縦線画像撮像データ及び横線画像撮像データを取得する(処理S32)。
[6] Operation of this embodiment Next, the overall flow of the pixel characteristic value acquisition method implemented by the above-described functional means will be described based on the flowchart shown in FIG.
(1) The display image forming unit 32 causes the projector 100 to sequentially display the image based on the vertical line image data, the horizontal line image data, and the characteristic value acquisition image data (processing S27), and displays the image data on the screen 101. The displayed display image is picked up by the image pickup device 2, and sequentially taken as picked-up data by the display image pick-up means 31 (processing S28), the vertical line image pick-up data storage unit 40, the horizontal line image pick-up data storage unit 41, and the characteristic value acquisition Recorded and stored in the imaging data storage unit 42 (process S29).
(2) When it is determined by the display image capturing means 31 that the capturing of all the imaging data has been completed (processing S30), the mapping area acquiring means 33 acquires the vertical line image data and the horizontal line image data (processing S31). In addition, vertical line image capturing data and horizontal line image capturing data are acquired (step S32).

(3) マッピング領域取得手段33は、まず、縦線画像データ上に設定されたマーカ位置が縦線画像撮像データ上のどこにマッピングされているかを把握して、マーカ位置とマッピング位置との対応を表す式(3)、式(4)を算出する(処理S33)。そして、式(3)、式(4)が算出されたら、マッピング領域取得手段33は、縦線画像データ上で設定される直線を囲む領域を設定し、これに基づいて、式(3)、式(4)によって変換された撮像データ上にマッピングされた領域により、各撮像線の切り出しを行い(処理S34)、得られた縦線マッピング領域データを縦線マッピング領域データ蓄積部43に蓄積する(処理S35)。
(4) 同様に横線画像データ及び横線画像撮像データについても、式(3)、式(4)に基づいて撮像データ中の各撮像線の切り出しを行い、横線マッピング領域データとして蓄積し、縦線及び横線のすべての撮像線についてマッピング領域データが取得されるまで、処理を繰り返す(処理S36)。
(3) The mapping area acquisition unit 33 first grasps where the marker position set on the vertical line image data is mapped on the vertical line image imaging data, and determines the correspondence between the marker position and the mapping position. Expressions (3) and (4) are calculated (step S33). Then, when Expression (3) and Expression (4) are calculated, the mapping area acquisition unit 33 sets an area surrounding a straight line set on the vertical line image data, and based on this, Expression (3), Each imaging line is cut out by the area mapped on the imaging data converted by Expression (4) (processing S34), and the obtained vertical line mapping area data is stored in the vertical line mapping area data storage unit 43. (Processing S35).
(4) Similarly, with respect to horizontal line image data and horizontal line image imaging data, each imaging line in the imaging data is cut out based on Expression (3) and Expression (4), and is stored as horizontal line mapping area data. The process is repeated until mapping area data is acquired for all the imaging lines of the horizontal line (process S36).

(5) マッピング領域取得手段33によるマッピング領域データの取得が終了したら、近似関数設定手段34は、縦線マッピング領域データ及び横線マッピング領域データを取得する(処理S37)。
(6) マッピング領域取得手段33は、縦線マッピング領域データとして格納された各撮像線を与える曲線の位置を取得し(処理S38)、続けてこの曲線を近似する、式(6)、式(7)で与えられる多項式の近似関数の当てはめを行う(処理S39)。
(7) 得られた近似関数を縦線マッピングデータとして縦線マッピングデータ蓄積部45に蓄積する(処理S40)。
(8) マッピング領域取得手段33は、横線マッピング領域データについても、横線マッピングデータ中の撮像線を当てはめる式(7)を用いて、同様の手順で近似関数の設定を行い、マッピング領域データ上の撮像線すべてについて近似関数の設定及びマッピングデータの蓄積が終了したら(処理S41)、処理を終了する。
(5) When the mapping area data acquisition by the mapping area acquisition unit 33 is completed, the approximate function setting unit 34 acquires the vertical line mapping area data and the horizontal line mapping area data (processing S37).
(6) The mapping area acquisition means 33 acquires the position of the curve that gives each imaging line stored as the vertical line mapping area data (processing S38), and subsequently approximates this curve. The polynomial approximation function given in 7) is applied (step S39).
(7) The obtained approximate function is stored in the vertical line mapping data storage unit 45 as vertical line mapping data (processing S40).
(8) For the horizontal line mapping area data, the mapping area acquisition unit 33 sets an approximation function in the same procedure using Expression (7) for applying the imaging line in the horizontal line mapping data, and the mapping area data When the setting of the approximation function and the accumulation of the mapping data are completed for all the imaging lines (processing S41), the processing is ended.

(9) 次に、画素マッピング算出手段35は、縦線マッピングデータ及び横線マッピングデータを取得し(処理S42)、各縦線マッピングデータを与える近似関数及び各横線マッピングデータを与える近似関数に基づいて、縦線撮像線と横線撮像線との交点を算出する(処理S43)。
(10) 画素マッピング算出手段35は、縦線マッピングデータ及び横線マッピングデータにより生成される四辺形領域内の任意の点と、この点に対応する縦線画像データ及び横線画像データによる四辺形領域内の点との対応関係を与える補間関数を式(8)及び式(9)に基づいて算出する(処理S44)。
(11) 画素マッピング算出手段35は、算出された補間関数を画素マッピングデータとして蓄積し(処理S45)、すべての縦線及び横線内の領域についての補間関数が求められるまで繰り返す(処理S46)。
(9) Next, the pixel mapping calculation means 35 acquires the vertical line mapping data and the horizontal line mapping data (processing S42), and based on the approximate function that gives each vertical line mapping data and the approximate function that gives each horizontal line mapping data. The intersection of the vertical line imaging line and the horizontal line imaging line is calculated (processing S43).
(10) The pixel mapping calculating means 35 is configured to select an arbitrary point in the quadrilateral area generated by the vertical line mapping data and the horizontal line mapping data, and the quadrilateral area by the vertical line image data and the horizontal line image data corresponding to this point. An interpolation function that gives a correspondence relationship with the point is calculated based on the equations (8) and (9) (processing S44).
(11) The pixel mapping calculation means 35 accumulates the calculated interpolation function as pixel mapping data (process S45), and repeats until the interpolation functions for all the vertical line and horizontal line areas are obtained (process S46).

(12) 画素マッピング算出手段35による補間関数の算出が終了したら、画素特性値取得手段36は、特性値取得用撮像データ蓄積部42から特性値取得用撮像データを取得し(処理S47)、画素マッピングデータ蓄積部47から画素マッピングデータを取得し(処理S48)、表示画像上の各画素と特性値との関連づけを行い(処理S49)、画素特性値データ蓄積部48に画素特性値データとして蓄積する(処理S50)。
このような本実施形態によれば、画素位置取得用の画像データとして縦線データ及び横線データを採用しているので、撮像装置2に起因する、表示画像上の画素位置とその画素位置が撮像データ上にマッピングされる位置との間に生じる複雑な歪みを、近似関数という形で精度よく把握でき、表示画像の画素位置と、その画素位置が撮像データにマッピングされた位置との対応を高精度に取得することができる。
また、前述した式(1)〜(13)によって高精度な対応関係を把握できるので、複雑な演算処理を行う必要もなく、簡単に高精度な対応関係を求めることができる。
(12) When the calculation of the interpolation function by the pixel mapping calculation unit 35 is completed, the pixel characteristic value acquisition unit 36 acquires the characteristic value acquisition imaging data from the characteristic value acquisition imaging data storage unit 42 (processing S47). Pixel mapping data is acquired from the mapping data storage unit 47 (processing S48), each pixel on the display image is associated with the characteristic value (processing S49), and stored in the pixel characteristic value data storage unit 48 as pixel characteristic value data. (Processing S50).
According to the present embodiment, since vertical line data and horizontal line data are employed as image data for pixel position acquisition, the pixel position on the display image and the pixel position caused by the imaging device 2 are imaged. It is possible to accurately grasp the complex distortion that occurs between the position mapped on the data in the form of an approximate function and enhance the correspondence between the pixel position of the display image and the position where the pixel position is mapped to the imaging data. It can be obtained with accuracy.
Further, since the high-accuracy correspondence can be grasped by the above formulas (1) to (13), it is not necessary to perform complicated arithmetic processing, and the high-precision correspondence can be easily obtained.

〔第2実施形態〕
次に、本発明の第2実施形態について説明する。尚、以下の説明では既に説明した部分と同一の部分等については、その説明を省略する。
前述の第1実施形態では、画素マッピング算出手段35による画素マッピングデータを算出した後、直ちに画素特性値取得手段36によって画素特性値の取得を行うように構成されていた。
これに対して、第2実施形態に係る画素特性値取得システム4では、図14に示されるように、コンピュータ4内に処理終了判定手段49が設けられ、画素マッピングデータが適切でないと判定された場合、再度画像データの表示から取り込みを行い、画素マッピング算出手段50による画素マッピングデータの算出を行い、適切な画素マッピングデータが得られるまで処理を繰り返す点が相違する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the following description, the description of the same parts as those already described is omitted.
In the first embodiment described above, the pixel mapping value is obtained by the pixel characteristic value obtaining unit 36 immediately after the pixel mapping data is calculated by the pixel mapping calculating unit 35.
On the other hand, in the pixel characteristic value acquisition system 4 according to the second embodiment, as shown in FIG. 14, processing end determination means 49 is provided in the computer 4 and it is determined that the pixel mapping data is not appropriate. In this case, image data is displayed again from the display, pixel mapping data is calculated by the pixel mapping calculation means 50, and the processing is repeated until appropriate pixel mapping data is obtained.

また、前述した第1実施形態では、画素マッピング算出手段35は、四辺形領域内の任意の点の座標を縦線及び横線の交点のみを用いて算出していた。これに対して、第2実施形態に係る画素マッピング算出手段50は、図15に示されるように、四辺形領域内の任意の点の座標を算出するのに、交点及び縦線及び横線の中点を用いている点が相違する。
以下、これらの相違点について詳述する。
In the first embodiment described above, the pixel mapping calculation unit 35 calculates the coordinates of an arbitrary point in the quadrilateral region using only the intersection of the vertical line and the horizontal line. On the other hand, as shown in FIG. 15, the pixel mapping calculation unit 50 according to the second embodiment calculates the coordinates of an arbitrary point in the quadrilateral area. The difference is that points are used.
Hereinafter, these differences will be described in detail.

まず、画素マッピング算出手段50は、図15に示されるように、画像A18に示される撮像データ上の四辺形領域内の任意の点cαβと、これに対応する画像A19に示される画像データ上の点Cαβとの対応関係を与える補間関数を算出する際に、第1実施形態と同様の交点caa、cab、cba、cbb(A20)の他、各交点の中点cpa、cpb、cqa、cqbを利用し、これと対応する画像データ上の点Cpa、Cpb、Cqa、Cqb、との対応関係を求めた上で補間関数を算出している(A21)。

First, as shown in FIG. 15, the pixel mapping calculation unit 50 selects an arbitrary point c αβ in the quadrilateral area on the imaging data shown in the image A18 and the image data shown in the image A19 corresponding thereto. When calculating the interpolation function that gives the corresponding relationship with the point C αβ , the intersection point c aa , c ab , c ba , c bb (A20) as in the first embodiment, and the middle point c pa of each intersection point , C pb , c qa , c qb are used, and the interpolation function is calculated after obtaining the corresponding relationship with the points C pa , C pb , C qa , C qb on the corresponding image data. (A21).

ここで、点cpaのx座標は、交点caa及びcbaのx座標を等分する値とし、y座標は横線マッピングデータの近似関数から算出し、点cpb、cqa、cqbも同様に算出している。
このような交点及び中点を用いて撮像データ中の四辺形領域内の任意の点cαβの位置座標(x、y)は、各点cijの座標値を(xij,yij)とすると、補間関数は、次の式(14)、式(15)で与えられる。
Here, the x coordinate of the point c pa is a value that equally divides the x coordinates of the intersections c aa and c ba , the y coordinate is calculated from an approximate function of the horizontal line mapping data, and the points c pb , c qa , and c qb are also It is calculated similarly.
Such intersection and any point c .alpha..beta coordinates of a quadrilateral area in the captured data using the midpoint (x, y) is the coordinate value of each point c ij (x ij, y ij ) and Then, the interpolation function is given by the following equations (14) and (15).

Figure 0004534992
Figure 0004534992

式(14)、式(15)における係数Naa、Nba、Nab、Nbb、Npa、Npb、Nqa、Nqbは、画像A19に示される画像データの交点Caa、Cba間の距離をΔW、Caa、Cab間の距離をΔHとすると、次の式(16)〜式(23)で求められる。 The coefficients N aa , N ba , N ab , N bb , N pa , N pb , N qa , N qb in the equations (14) and (15) are the intersection points C aa , C ba of the image data shown in the image A19. When the distance between them is ΔW, C aa , and the distance between C ab is ΔH, the following equations (16) to (23) are obtained.

Figure 0004534992
Figure 0004534992

画素マッピング算出手段50がこのようにして撮像データ上にマッピングされた四辺形領域内の任意の位置と、表示画像の画素位置との対応を与える補間関数を求めることにより、対比するサンプル点が増加するので、任意の位置の対応関係をより高精度に求めることができる。   The pixel mapping calculation means 50 obtains an interpolation function that gives a correspondence between an arbitrary position in the quadrilateral area mapped on the imaging data in this way and the pixel position of the display image, thereby increasing the number of sample points to be compared. Therefore, it is possible to obtain the correspondence between arbitrary positions with higher accuracy.

次に、処理終了判定手段49は、画素マッピング算出手段50によって求められた画素マッピングデータの精度が十分でないと判定されたら、再度の画素マッピングデータを生成させる部分であり、具体的には、次の式(24)で与えられる評価値Errorに基づいて、処理終了の判定を行っている。評価値Errorは、すべての画素について行ってもよいが、予め代表点をN個設定しておき、その代表点で評価値がどのように変化するかを判定すればよい。   Next, the processing end determination unit 49 is a part that generates pixel mapping data again when it is determined that the accuracy of the pixel mapping data obtained by the pixel mapping calculation unit 50 is not sufficient. The end of processing is determined based on the evaluation value Error given by equation (24). The evaluation value Error may be performed for all pixels, but N representative points may be set in advance, and it may be determined how the evaluation value changes at the representative point.

Figure 0004534992
Figure 0004534992

ここで評価値Errorは、複数回取得された画素マッピングデータ間の差分として算出されており、処理終了判定手段49は、評価値Errorが十分に小さくなったか、前回の処理後の評価値Errorと、最新の処理後の評価値Errorとの差が十分に小さくなれば処理を終了する。
一方、処理終了判定手段49が、評価値Errorが十分に小さくなっていない、前回との差が大きいと判定した場合、処理終了判定手段49は、図16に示されるように、最初の縦線表示画像A22の縦線のピッチを、画像A23のように倍に設定した画像データや、縦線のピッチを、画像A24のように不等間隔に設定した画像データを再構成し、プロジェクタ100に入力し、これに基づく表示画像を表示させる。横線画像データも同様にして再構成を行う。
Here, the evaluation value Error is calculated as a difference between the pixel mapping data acquired a plurality of times, and the processing end determination unit 49 determines whether the evaluation value Error has become sufficiently small or the evaluation value Error after the previous processing. If the difference from the latest evaluation value Error after processing becomes sufficiently small, the processing is terminated.
On the other hand, when the processing end determination unit 49 determines that the evaluation value Error is not sufficiently small and the difference from the previous time is large, the processing end determination unit 49 sets the first vertical line as shown in FIG. The image data in which the vertical line pitch of the display image A22 is set to double as in the image A23, or the image data in which the vertical line pitch is set to unequal intervals as in the image A24 is reconfigured, and the projector 100 is reconfigured. Input and display a display image based on this. The horizontal line image data is similarly reconstructed.

次に、前述した第2実施形態に係る画素特性値取得システム4の作用について、図17に示されるフローチャートに基づいて説明する。
(1) まず、表示画像形成手段32は、プロジェクタ100に縦線画像データ、横線画像データ、及び特性値取得用画像データを入力し、スクリーン101上にそれぞれの表示画像を表示させつつ(処理S51)、表示画像取込手段31によって各表示画像の撮像及び取り込みを行う(処理S52)。
Next, the operation of the pixel characteristic value acquisition system 4 according to the second embodiment will be described based on the flowchart shown in FIG.
(1) First, the display image forming unit 32 inputs the vertical line image data, the horizontal line image data, and the characteristic value acquisition image data to the projector 100 and displays each display image on the screen 101 (processing S51). ) The display image capturing means 31 captures and captures each display image (processing S52).

(2) 次に、マッピング領域取得手段33は、マッピング領域の取得を行い(処理S53)、さらに取得されたマッピング領域に基づいて、近似関数設定手段34は、マッピングデータを取得する(処理S54)。
(3) そして、画素マッピング算出手段50は、前述した処理によって画素マッピングデータの算出を行う(処理S55)。ここまでは、第1実施形態と同様の手順である。
(4) 処理終了判定手段49は、前回算出された画素マッピングデータが存在しているか否かを判定し(処理S56)、ない場合は、画像A23又は画像A24のような画像データの再構成を行って(処理S57)、これをプロジェクタ100に入力して前記の処理S51〜処理S55までを繰り返す。
(2) Next, the mapping area acquisition unit 33 acquires a mapping area (process S53), and based on the acquired mapping area, the approximate function setting unit 34 acquires mapping data (process S54). .
(3) Then, the pixel mapping calculating unit 50 calculates pixel mapping data by the above-described processing (processing S55). Up to this point, the procedure is the same as in the first embodiment.
(4) The processing end determination means 49 determines whether or not the previously calculated pixel mapping data exists (processing S56). If there is no processing, the reconfiguration of the image data such as the image A23 or the image A24 is performed. (Step S57), this is input to the projector 100, and the above-described Steps S51 to S55 are repeated.

(5) 処理終了判定手段49は、処理S51〜処理S55を繰り返して得られた再構成画像データに基づく画素マッピングデータと、前回の画素マッピングデータに基づいて、式(23)に基づく評価値Errorを算出し(処理S58)、評価値Errorが所定の閾値以下かどうか判定する(処理S59)。
(6) 評価値Errorが所定の閾値以下となっていないと判定された場合、処理終了判定手段49は、画像A23又は画像A24のような画像データの再構成を行って、これをプロジェクタ100に入力して処理S51〜S55を繰り返し、新たな画素マッピングデータの算出を行う。一方、所定の閾値以下となっていると判定された場合、処理を終了し、画素特性値取得手段36による最新の画素マッピングデータに基づく画素特性値の取得を開始する(処理S60)。
(5) The processing end determination means 49 uses the pixel mapping data based on the reconstructed image data obtained by repeating the processes S51 to S55 and the evaluation value Error based on the equation (23) based on the previous pixel mapping data. Is calculated (process S58), and it is determined whether or not the evaluation value Error is equal to or less than a predetermined threshold (process S59).
(6) If it is determined that the evaluation value Error is not less than or equal to the predetermined threshold value, the processing end determination unit 49 reconstructs image data such as the image A23 or the image A24 and supplies it to the projector 100. The input is repeated and processing S51 to S55 is repeated to calculate new pixel mapping data. On the other hand, if it is determined that the threshold value is equal to or less than the predetermined threshold value, the process ends, and the pixel characteristic value acquisition unit 36 starts acquiring pixel characteristic values based on the latest pixel mapping data (process S60).

〔実施形態の変形〕
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記実施形態では、プロジェクタ100による表示画像の画素特性値取得のために、本発明に係る画素位置取得方法を採用していたが、これに限らず、直視型の液晶ディスプレイや、プラズマディスプレイ、有機ELディスプレイ等の画素特性値を高精度に取得するために、本発明に係る画素位置取得方法を採用してもよい。
その他、本発明の実施の際の具体的な構造及び形状等は、本発明の目的を達成できる範囲で他の構造等としてもよい。
[Modification of Embodiment]
It should be noted that the present invention is not limited to the above-described embodiments, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention.
In the above-described embodiment, the pixel position acquisition method according to the present invention is used to acquire the pixel characteristic value of the display image by the projector 100. However, the present invention is not limited to this, and a direct-view type liquid crystal display, plasma display, organic display, etc. In order to acquire pixel characteristic values of an EL display or the like with high accuracy, the pixel position acquisition method according to the present invention may be employed.
In addition, the specific structure, shape, and the like in the implementation of the present invention may be other structures as long as the object of the present invention can be achieved.

本発明の第1実施形態に係る画素特性値取得システムの構成を表す模式図。The schematic diagram showing the structure of the pixel characteristic value acquisition system which concerns on 1st Embodiment of this invention. 前記実施形態における表示画像取込手段及び表示画像形成手段における処理を表すフローチャート。6 is a flowchart showing processing in a display image capturing unit and a display image forming unit in the embodiment. 縦線画像データの構成を表す模式図。The schematic diagram showing the structure of vertical line image data. 横線画像データの構成を表す模式図。The schematic diagram showing the structure of horizontal line image data. マッピング領域取得手段における処理を表すフローチャート。The flowchart showing the process in a mapping area | region acquisition means. マッピング領域取得手段による処理を説明するための模式図。The schematic diagram for demonstrating the process by a mapping area | region acquisition means. マッピング領域取得手段による処理を説明するための模式図。The schematic diagram for demonstrating the process by a mapping area | region acquisition means. 近似関数設定手段における処理を表すフローチャート。The flowchart showing the process in an approximate function setting means. 近似関数設定手段による処理を説明するための模式図。The schematic diagram for demonstrating the process by an approximate function setting means. 重み係数の設定を説明するためのグラフ。The graph for demonstrating the setting of a weighting coefficient. 画素マッピング算出手段における処理を表すフローチャート。The flowchart showing the process in a pixel mapping calculation means. 画素マッピング算出手段による処理を説明するための模式図。The schematic diagram for demonstrating the process by a pixel mapping calculation means. 前記実施形態の作用を表すフローチャート。The flowchart showing the effect | action of the said embodiment. 本発明の第2実施形態に係る画素特性値取得システムの構成を表す模式図。The schematic diagram showing the structure of the pixel characteristic value acquisition system which concerns on 2nd Embodiment of this invention. 前記実施形態における画素マッピング算出手段による処理を説明するための模式図。The schematic diagram for demonstrating the process by the pixel mapping calculation means in the said embodiment. 前記実施形態における画像データの再構成を説明するための模式図。The schematic diagram for demonstrating the reconstruction of the image data in the said embodiment. 前記実施形態の作用を表すフローチャート。The flowchart showing the effect | action of the said embodiment.

符号の説明Explanation of symbols

1…画素特性値取得システム、31…表示画像取込手段、32…表示画像形成手段、33…マッピング領域取得手段、34…近似関数設定手段、35、50…画素マッピング算出手段、49…処理終了判定手段   DESCRIPTION OF SYMBOLS 1 ... Pixel characteristic value acquisition system, 31 ... Display image capture means, 32 ... Display image formation means, 33 ... Mapping area acquisition means, 34 ... Approximation function setting means, 35, 50 ... Pixel mapping calculation means, 49 ... Processing end Judgment means

Claims (1)

スクリーン上に表示された表示画像を撮像装置により撮像し、撮像された撮像データに基づいて、前記スクリーン上に表示される画像生成デバイスの画素位置と、前記画素位置が前記撮像データ上にマッピングされた位置との対応関係を取得する画素位置取得方法であって、
線の延出方向に沿ってグラデーションが施されたグラデーション線が、前記画像生成デバイスの垂直方向に沿って複数延びる第1の線画像を前記スクリーン上に表示させる手順と、
前記グラデーション線が、前記画像生成デバイスの水平方向に沿って複数延びる第2の線画像を前記スクリーン上に表示させる手順と、
前記第1の線画像が前記スクリーン上に表示された表示画像を前記撮像装置により撮像し、撮像された第1の撮像データを取得する手順と、
前記第2の線画像が前記スクリーン上に表示された表示画像を前記撮像装置により撮像し、撮像された第2の撮像データを取得する手順と、
前記第1の撮像データ上にマッピングされた複数のグラデーション撮像線を、各グラデーション撮像線を含む領域を単位として切り出す手順と、
前記第2の撮像データ上にマッピングされた複数のグラデーション撮像線を、各グラデーション撮像線を含む領域を単位として切り出す手順と、
前記第1の撮像データ又は前記第2の撮像データの垂直方向をy軸、水平方向をx軸とするxy座標系を設定した場合に、
切り出された各グラデーション撮像線の領域に基づいて、前記第1の撮像データにおける各グラデーション撮像線を表す近似関数を下記式(6)により設定する手順と、
切り出された各グラデーション撮像線の領域に基づいて、前記第2の撮像データにおける各グラデーション撮像線を表す近似関数を下記式(7)により設定する手順と、
前記第1の撮像データにおける各グラデーション撮像線に応じて設定された近似関数及び前記第2の撮像データにおける各グラデーション撮像線に応じて設定された近似関数に基づいて、前記第1の撮像データ上の複数のグラデーション撮像線と、前記第2の撮像データ上の複数のグラデーション撮像線との交点を求める手順と、
求められた交点に基づいて、前記第1の撮像データ上の隣り合う2本のグラデーション撮像線と、前記第2の撮像データ上の隣り合う2本のグラデーション撮像線とによって囲まれる領域内の任意の点を与える補間関数を下記式(8)、(9)により設定する手順とを備えていることを特徴とする画素位置取得方法。
Figure 0004534992
(式(6)、(7)中において、前記第1の撮像データ上にマッピングされたグラデーション撮像線および前記第2の撮像データ上にマッピングされたグラデーション撮像線の前記垂直方向の位置をX、前記水平方向の位置をY、近似関数の次数をM、撮像線上の位置座標の数をN、撮像線上の位置座標の撮像データ水平方向成分をx、撮像線上の位置座標の撮像データ垂直方向成分をy、撮像線上の位置座標の撮像データの水平方向成分の平均値をμx、撮像線上の撮像データの垂直方向成分の平均値をμy、撮像線上の位置座標の撮像データ水平方向成分の標準偏差をσx、撮像線上の撮像データの垂直方向成分の標準偏差をσyとする。
Figure 0004534992
ここで、
Figure 0004534992
(式(8)、(9)中において、前記任意の点の座標を(x、y)、前記領域の4つの頂点の座標をそれぞれ(xaa,yaa)、(xab,yab)、(xba,yba)、(xbb、ybb)、前記4つの頂点のうちの1点と、前記1点を通る前記第1の撮像データ上のグラデーション撮像線上の、前記4つの頂点のうち前記1点とは異なる点との垂直方向距離を ΔH、前記1点を通る前記第2の撮像データ上のグラデーション撮像線上の、前記4つの頂点のうち前記1点とは異なる点との水平方向距離を ΔW、表示画像上において前記任意の点に対応する点の座標を(X,Y)とする。
A display image displayed on the screen is picked up by an image pickup device, and based on the picked-up image pickup data, the pixel position of the image generation device displayed on the screen and the pixel position are mapped onto the image pickup data. A pixel position acquisition method for acquiring a correspondence relationship with a determined position,
A step of gradient lines gradient has been performed, and displays the plurality extending first line image along the vertical direction of the image generating device on the screen along the extending direction of the line,
Displaying a second line image on the screen, wherein the gradation line extends a plurality along the horizontal direction of the image generation device;
A procedure of capturing a display image in which the first line image is displayed on the screen by the imaging device and acquiring the captured first imaging data;
A procedure of capturing a display image in which the second line image is displayed on the screen by the imaging device and acquiring the captured second imaging data;
A procedure for cutting out a plurality of gradation imaging lines mapped on the first imaging data in units of regions including the gradation imaging lines;
A procedure for cutting out a plurality of gradation imaging lines mapped on the second imaging data in units of regions including the gradation imaging lines;
When an xy coordinate system in which the vertical direction of the first imaging data or the second imaging data is the y axis and the horizontal direction is the x axis is set,
A procedure for setting an approximate function representing each gradation imaging line in the first imaging data based on the region of each gradation imaging line cut out by the following equation (6);
A procedure for setting an approximate function representing each gradation imaging line in the second imaging data based on the area of each extracted gradation imaging line by the following equation (7);
On the first imaging data, based on the approximation function set according to each gradation imaging line in the first imaging data and the approximation function set according to each gradation imaging line in the second imaging data. A procedure for obtaining intersection points between the plurality of gradation imaging lines and the plurality of gradation imaging lines on the second imaging data;
Based on the obtained intersection point, an arbitrary area within a region surrounded by two adjacent gradation imaging lines on the first imaging data and two adjacent gradation imaging lines on the second imaging data A method for obtaining a pixel position, comprising: a step of setting an interpolation function for giving a point by the following formulas (8) and (9) :
Figure 0004534992
(In the formulas (6) and (7), the vertical position of the gradation imaging line mapped onto the first imaging data and the gradation imaging line mapped onto the second imaging data is represented by X, The horizontal position is Y, the order of the approximation function is M, the number of position coordinates on the imaging line is N, the imaging data horizontal component of the position coordinates on the imaging line is x, and the imaging data vertical component of the position coordinates on the imaging line is Y, the average value of the horizontal component of the imaging data at the position coordinate on the imaging line is μx, the average value of the vertical component of the imaging data on the imaging line is μy, and the standard deviation of the horizontal component of the imaging data at the position coordinate on the imaging line Σx, and the standard deviation of the vertical component of the imaging data on the imaging line as σy.
Figure 0004534992
here,
Figure 0004534992
(In the equations (8) and (9), the coordinates of the arbitrary point are (x, y), and the coordinates of the four vertices of the region are (xaa, yaa), (xab, yab), (xba, yba), (xbb, ybb), one of the four vertices is different from the one of the four vertices on the gradation imaging line on the first imaging data passing through the one point A vertical distance from a point is ΔH, a horizontal distance from a point different from the one of the four vertices on the gradation imaging line on the second imaging data passing through the one point is ΔW, and a display image In the above, the coordinates of the point corresponding to the arbitrary point are (X, Y).
JP2006009582A 2006-01-18 2006-01-18 Pixel position acquisition method Expired - Fee Related JP4534992B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006009582A JP4534992B2 (en) 2006-01-18 2006-01-18 Pixel position acquisition method
US11/623,995 US20070165197A1 (en) 2006-01-18 2007-01-17 Pixel position acquiring method, image processing apparatus, program for executing pixel position acquiring method on computer, and computer-readable recording medium having recorded thereon program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006009582A JP4534992B2 (en) 2006-01-18 2006-01-18 Pixel position acquisition method

Publications (2)

Publication Number Publication Date
JP2007194784A JP2007194784A (en) 2007-08-02
JP4534992B2 true JP4534992B2 (en) 2010-09-01

Family

ID=38450144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006009582A Expired - Fee Related JP4534992B2 (en) 2006-01-18 2006-01-18 Pixel position acquisition method

Country Status (1)

Country Link
JP (1) JP4534992B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5577023B2 (en) 2008-02-22 2014-08-20 日立コンシューマエレクトロニクス株式会社 Display device
JP6155717B2 (en) * 2013-03-14 2017-07-05 セイコーエプソン株式会社 Image processing apparatus, projector, and image processing method
JP6784944B2 (en) 2018-03-26 2020-11-18 カシオ計算機株式会社 Projection control device, marker detection method and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057941A1 (en) * 2003-12-10 2005-06-23 Nec Corporation Projector color correcting method
JP2005326247A (en) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> Calibrator, calibration method, and calibration program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057941A1 (en) * 2003-12-10 2005-06-23 Nec Corporation Projector color correcting method
JP2005326247A (en) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> Calibrator, calibration method, and calibration program

Also Published As

Publication number Publication date
JP2007194784A (en) 2007-08-02

Similar Documents

Publication Publication Date Title
JP5222472B2 (en) Image processing apparatus, image restoration method, and program
JP5906493B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium
US20110033132A1 (en) Image correction apparatus and image correction method
JP5984493B2 (en) Image processing apparatus, image processing method, imaging apparatus, and program
JP5911296B2 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program
JP4501847B2 (en) Image display device, correction value creation method for image display device, correction value creation program for image display device, and recording medium on which this program is recorded
JP2011188083A (en) Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope
JP2011124948A (en) Information processor, method of processing information, program and image pickup device with optical microscope mounted thereon
JP5259291B2 (en) White balance correction device and signal processing program
JP6656035B2 (en) Image processing apparatus, imaging apparatus, and control method for image processing apparatus
JP6045523B2 (en) Image processing apparatus and control method thereof
JP5735846B2 (en) Image processing apparatus and method
JP5082856B2 (en) Image processing method, image processing program, image processing apparatus, and imaging apparatus
JP4534992B2 (en) Pixel position acquisition method
JP5970012B2 (en) Image processing apparatus and control method thereof
JP2007288724A (en) Method and device for correcting strain
JP2019096222A (en) Image processor, method for processing image, and computer program
JP2001148012A (en) Method and device for searching corresponding point
JP2007081611A (en) Method of setting display screen correction parameter
JP5527035B2 (en) Image processing program, image processing apparatus, and imaging apparatus
US20070165197A1 (en) Pixel position acquiring method, image processing apparatus, program for executing pixel position acquiring method on computer, and computer-readable recording medium having recorded thereon program
JP4293191B2 (en) Pixel position acquisition method, image processing apparatus, program for executing pixel position acquisition method on a computer, and computer-readable recording medium on which the program is recorded
JP6371515B2 (en) X-ray image processing apparatus, X-ray image processing method, and program
JP4466584B2 (en) Illuminance acquisition device, illuminance acquisition method, and illuminance acquisition program
JP2014109832A (en) Image processing apparatus, imaging apparatus, imaging system, image processing method, image processing program, and storage medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4534992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees