JP2012128113A - Projection correcting method, projection correcting device, and projection correcting program - Google Patents
Projection correcting method, projection correcting device, and projection correcting program Download PDFInfo
- Publication number
- JP2012128113A JP2012128113A JP2010278493A JP2010278493A JP2012128113A JP 2012128113 A JP2012128113 A JP 2012128113A JP 2010278493 A JP2010278493 A JP 2010278493A JP 2010278493 A JP2010278493 A JP 2010278493A JP 2012128113 A JP2012128113 A JP 2012128113A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- correction
- image
- image data
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、投影補正方法、投影補正装置、及び投影補正プログラムに関する。 The present invention relates to a projection correction method, a projection correction apparatus, and a projection correction program.
複数のプロジェクタを使用して画像を投影するマルチプロジェクタシステムは、様々な用途に利用されている。例えば、各プロジェクタからの画像を繋ぎ合わせて巨大な画像を生成するタイリング法を用いたシステムが知られている。非特許文献1には、スクリーンに発生した影を消すため、２つのプロジェクタのうち、どちらのプロジェクタから投影された光が隠蔽されたかを判定し、スクリーン上に現れた影による欠損した輝度を補償する方法が記載されている。これらの例では、複数のプロジェクタを使うことの利点が発揮されている。 A multi-projector system that projects an image using a plurality of projectors is used in various applications. For example, a system using a tiling method that connects images from projectors to generate a huge image is known. In Non-Patent Document 1, in order to erase the shadow generated on the screen, it is determined which of the two projectors the light projected from the projector is concealed, and the missing luminance due to the shadow appearing on the screen is compensated How to do is described. In these examples, the advantage of using a plurality of projectors is demonstrated.
非特許文献1に記載の方法を含め、一般的に、プロジェクタを使ったフロント・プロジェクション、又はリア・プロジェクションでは、スクリーンを取り巻く照明環境に変化があると、スクリーン上の光学輝度が変化して、所望の画像が投影されないという問題があった。例えば、照明を消した暗室状態と蛍光灯を照らした環境では、スクリーン上の投影像においてそれぞれの輝度は異なる。また、スライドを使ったプレゼンテーションや遠隔会議システム等の環境では、スライドを投影した初期状態から照明状態が変化すると、スクリーン上での見え方が変化してしまう。 In general, including the method described in Non-Patent Document 1, in front projection using a projector or rear projection, if there is a change in the lighting environment surrounding the screen, the optical brightness on the screen changes, There is a problem that a desired image is not projected. For example, in a dark room state where the illumination is turned off and in an environment where a fluorescent lamp is illuminated, the luminances of the projected images on the screen are different. Also, in an environment such as a presentation using slides or a teleconference system, when the lighting state changes from the initial state in which the slide is projected, the appearance on the screen changes.
これに対して、非特許文献２には、１台のプロジェクタとカメラからなるシステムを使った輝度補正方法が記載されている。この方法では、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値との間の相関関係に着目する。この方法はカラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを使って、予め定めたＲＧＢ輝度値Ｃ=(ＣＲ，ＣＧ，ＣＢ)をカメラが観測するように、プロジェクタからのＲＧＢ出力値Ｐ=(ＰＲ，ＰＧ，ＰＢ) を補正する。
On the other hand, Non-Patent
しかしながら、非特許文献２に記載の技術では、スクリーンに発生した影を消去できないという欠点があった。以上のように、非特許文献１、２に記載の技術では、所望の画像を投影できないという欠点があった。
However, the technique described in Non-Patent
本発明は、上記の点に鑑みてなされたものであり、所望の画像を投影できる投影補正方法、投影補正装置、及び投影補正プログラムを提供する。 The present invention has been made in view of the above points, and provides a projection correction method, a projection correction apparatus, and a projection correction program capable of projecting a desired image.
（１）本発明は、上記の課題を解決するためになされたものであり、本発明の一態様は、第１の投影装置と第２の投影装置が同一の内容の被投影画像データを同一の場所に重なるように投影し、投影画像を撮像する第１のステップと、前記第１のステップで撮像された画像の画像データと前記被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正して投影する第２のステップと、前記第２のステップで投影された投影画像を撮像する第３のステップと、前記第３のステップで撮像された画像の画像データと被投影画像データに基づいて、前記第２の投影装置が投影する投影画像を補正して投影する第４のステップと、を有することを特徴とする投影補正方法である。 (1) The present invention has been made in order to solve the above-described problems. In one embodiment of the present invention, the first projection apparatus and the second projection apparatus share the same projected image data with the same contents. The first projection device based on the first step of projecting so as to overlap the location of the image and capturing the projection image, the image data of the image captured in the first step, and the projection image data The second step of correcting and projecting the projected image projected by the camera, the third step of capturing the projected image projected in the second step, and the image data of the image captured in the third step And a fourth step of correcting and projecting the projection image projected by the second projection device based on the projection image data.
（２）また、本発明の一態様は、上記の投影補正方法において、前記第１のステップと前記第２のステップを予め定めた回数繰り返した後、前記第３のステップと前記第４のステップを行うことを特徴とする。 (2) Further, according to one aspect of the present invention, in the projection correction method, the first step and the second step are repeated a predetermined number of times, and then the third step and the fourth step are performed. It is characterized by performing.
（３）また、本発明の一態様は、上記の投影補正方法において、前記第２のステップ、及び第４のステップで、画像の明るさを補正することを特徴とする。 (3) Further, according to one aspect of the present invention, in the above-described projection correction method, the brightness of the image is corrected in the second step and the fourth step.
（４）また、本発明の一態様は、同一の内容の被投影画像を同一の場所に重なるように投影する第１の投影装置、第２の投影装置と、前記第１の投影装置と前記第２の投影装置によって投影された投影画像を撮像する撮像部と、前記撮像部によって撮像された前記投影画像の画像データと被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正する第１の補正部と、前記第１の補正部が補正した投影画像を前記第１の投影装置が投影した後に、前記撮像部によって撮像された前記投影画像の画像データと被投影画像データとに基づいて、前記第２の投影装置が投影する投影画像を補正する第２の補正部と、を有することを特徴とする投影補正装置である。 (4) Further, according to one embodiment of the present invention, the first projection device, the second projection device, the first projection device, and the first projection device that project projected images having the same contents so as to overlap each other at the same place The first projection device projects based on an imaging unit that captures a projection image projected by the second projection device, and image data and projection image data of the projection image captured by the imaging unit. A first correction unit that corrects the projected image, and image data of the projection image captured by the imaging unit after the first projection device projects the projection image corrected by the first correction unit A projection correction apparatus comprising: a second correction unit that corrects a projection image projected by the second projection apparatus based on projection image data.
（５）また、本発明の一態様は、投影補正装置のコンピュータに、同一の内容の被投影画像データを同一の場所に重なるように投影し、投影画像を撮像する第１の手順、第１の手順で撮像された画像の画像データと前記被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正して投影する第２の手順、前記第２の手順で投影された投影画像を撮像する第３の手順、前記第３の手順で撮像された画像の画像データと被投影画像データに基づいて、前記第２の投影装置が投影する投影画像を補正して投影する第４の手順、を実行させる投影補正プログラムである。 (5) Further, according to one aspect of the present invention, a first procedure for projecting projected image data having the same contents on a computer of a projection correction apparatus so as to overlap the same location and capturing a projected image is provided. The second procedure for correcting and projecting the projection image projected by the first projection device based on the image data of the image captured by the procedure and the projection image data, and projecting by the second procedure A third procedure for capturing the projected image, and correcting and projecting the projection image projected by the second projection device based on the image data of the image captured in the third procedure and the projection image data This is a projection correction program for executing the fourth procedure.
本発明によれば、所望の画像を投影できる。 According to the present invention, a desired image can be projected.
（第１の実施形態）
以下、図面を参照しながら、本発明の第１の実施形態について詳しく説明する。
図１は、本発明の第１の実施形態に係る投影補正装置１の構成を示すブロック図である。図示する例では、投影補正装置１は、カメラ（撮像部）１０１、画像入力部１０２、フレーム処理部１０３、適応輝度補正部１０４−１（第１の補正部）、１０４−２（第２の補正部）（適応輝度補正部１０４−１、適応輝度補正部１０４−２を、適応輝度補正部１０４とも称す）、プロジェクタ１０５−１（第１の投影装置）、１０５−２（第２の投影装置）プロジェクタ１０５−１、プロジェクタ１０５−２を、プロジェクタ１０５とも称す）、コンテンツＤＢ（データベース）１０６、及び輝度補正ＤＢ（データベース）１０７を備える。
(First embodiment)
Hereinafter, the first embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a projection correction apparatus 1 according to the first embodiment of the present invention. In the illustrated example, the projection correction apparatus 1 includes a camera (imaging unit) 101, an
カメラ１０１は、スクリーンに投影された投影画像を撮像する。カメラ１０１は、撮像した画像の撮像画像データを画像入力部１０２に出力する。例えば、カメラ１０１は、天井付近等の上方に設置し、スクリーンのみが写るように撮像する。これにより、投影補正装置１では、スクリーン全体が隠れることなく投影画像全体を撮像できる。
画像入力部１０２は、カメラ１０１から入力された撮像画像データをフレーム処理部１０３へ出力する。
The
The
フレーム処理部１０３は、処理の開始時に、初期状態であることを示す初期化信号を適応輝度補正部１０４に出力する。ここで、処理の開始時とは、例えば、システムの起動時や、別の画像へ切り替えたとき、ユーザがリセット操作を行ったときなどである。
フレーム処理部１０３は、画像入力部１０２から入力された撮像画像データを適応輝度補正部１０４に出力する。フレーム処理部１０３は、撮像画像データと共に、後述するSＷ信号を適応輝度補正部１０４に出力する。SＷ信号とは、撮像画像データを適応輝度補正部１０４に出力したことを示す信号であり、複数ある適応輝度補正部１０４のうち、輝度信号の補正を行う適応輝度補正部１０４を示す情報である。輝度信号とは、フレーム処理部１０３によって、コンテンツＤＢ１０６から読み出されたオリジナル画像データの画素毎の輝度（明るさ）を示す信号である。フレーム処理部１０３が出力するＳＷ信号には、フレーム番号が付される。フレーム番号とは、フレーム処理部１０３が、入力された画像に対して、入力された順に付す番号であり、１から始まる自然数である。
フレーム処理部１０３は、フレーム番号が、予め定めた値になったときに、処理を終了する。
The
The
The
適応輝度補正部１０４は、入力された初期化信号に応じて、輝度補正ＤＢ１０７に記録されたパラメータの初期化を行う。なお、この初期化の詳細については、後述する。
適応輝度補正部１０４は、フレーム処理部１０３から入力されたＳＷ信号に基づいて、輝度信号の補正を行うか否かを判定する。適応輝度補正部１０４は、輝度信号の補正を行うと判定した場合には、コンテンツＤＢ１０５から、投影される画像データであるオリジナル画像データを読み出す。適応輝度補正部１０４は、読み出したオリジナル画像データと、フレーム処理部１０３から入力された撮像画像データとに基づいて、読み出したオリジナル画像データの輝度信号を補正し、補正した輝度信号をプロジェクタ１０５に出力する。
一方、適応輝度補正部１０４は、輝度信号の補正を行わないと判定した場合には、補正を行わずに輝度信号をプロジェクタ１０５に出力する。
適応輝度補正部１０４は、後述する、輝度補正に使用する補助補正量を輝度補正ＤＢ１０７に書き込み、読み出される。適応輝度補正部１０４は、後述する、ブレンディング・パラメータα、βを適応輝度補正部１０４から読み出す。
The adaptive
The adaptive
On the other hand, when it is determined that the luminance signal correction is not performed, the adaptive
The adaptive
プロジェクタ１０５は、適応輝度補正部１０４から入力された輝度信号に基づき、画像をスクリーンに投影する。
コンテンツＤＢ１０６は、スクリーンに投影されるオリジナル画像データ（被投影画像データ）を保存する。輝度補正ＤＢ１０７は、適応輝度補正部１０４から、輝度補正に使用する補助補正量やブレンディング・パラメータを書き込まれ、記憶する。
The
The
次に、図２を参照して、本実施形態に係る投影補正装置１の動作を説明する。
ここでは、本実施形態における投影補正装置１で行われる各処理の詳細について説明する。
＜ＳＷ信号の生成処理とフレーム判定について＞
ここでは、フレーム処理部１０３において生成されるＳＷ信号の例について説明する。本実施形態では、ＳＷ信号は、フレーム番号に基づいて生成される。フレーム番号とは、フレーム処理部１０３が、入力された画像に対して、入力された順に付す番号であり、１から始まる自然数である。フレーム処理部１０３は、ＳＷ信号を、フレーム番号を用いて、例えば、以下のようにして生成する。
Next, the operation of the projection correction apparatus 1 according to the present embodiment will be described with reference to FIG.
Here, details of each process performed by the projection correction apparatus 1 in the present embodiment will be described.
<About SW signal generation processing and frame determination>
Here, an example of the SW signal generated in the
フレーム処理部１０３は、フレーム番号１からフレーム番号Ｆまでの撮像画像データに対しては、プロジェクタ１０５−１の補助補正量Ｄ１を更新するために用いられることを示すＳＷ信号を生成する。フレーム番号Ｆ＋１から２Ｆまでの撮像画像データに対しては、プロジェクタ１０５−２の補助補正量Ｄ２を更新するために用いられることを示すＳＷ信号を生成する。適応輝度補正部１０４が入力されたＳＷ信号に基づいてプロジェクタ１０５−１、２が行う２Ｆ回の画像に対する補正をフレーム判定と呼ぶ。
次回以降のフレーム判定でも、フレーム番号（ｍ）×Ｆ＋１から（ｍ＋１）×Ｆまでの撮像画像データに対しては、プロジェクタ１０５−１の補助補正量Ｄ１を更新するために用いられることを示すＳＷ信号を生成する。フレーム番号（ｍ＋１）×Ｆ＋１から（ｍ＋２）×Ｆまでの撮像画像データに対しては、プロジェクタ１０５−１の補助補正量Ｄ２を更新するために用いられることを示すＳＷ信号を生成する（ｍ＝０、１、・・・、Ｎ−２）。
Be a frame determined next time, with respect to the captured image data from the frame number (m) × F + 1 to (m + 1) × F, indicating that the used to update the auxiliary correction amount D 1 of the projector 105 - An SW signal is generated. For frame number (m + 1) × F from + 1 (m + 2) × image data to F, generates a SW signal indicating that used to update the auxiliary correction amount D 2 of the projector 105-1 (m = 0, 1, ..., N-2).
フレーム処理部１０３は、上記の例では、撮像画像データに対して、最大でＮ×Ｆのフレーム番号を付す。適応輝度補正部１０４は、それぞれのフレーム番号に対応する撮像画像データを用いて補正処理を行う。例として、Ｆ＝２、Ｎ＝３の場合を例示する。フレーム番号１、２には、プロジェクタ１０５−１で補正処理を行うことを示すＳＷ信号を出力し、フレーム番号３、４には、プロジェクタ１０５−２で補正処理を行うことを示すＳＷ信号を出力する。ここまでが、第１回目のフレーム判定である。
フレーム番号５、６には、プロジェクタ１０５−１で補正処理を行うことを示すＳＷ信号を出力し、フレーム番号７、８には、プロジェクタ１０５−２で補正処理を行うことを示すＳＷ信号を出力する。ここまでが、第２回目のフレーム判定である。
In the above example, the
SW signals indicating that correction processing is performed by the projector 105-1 are output to frame numbers 5 and 6, and SW signals indicating that correction processing is performed by the projector 105-2 are output to frame numbers 7 and 8. To do. This is the second frame determination.
＜補正に用いるパラメータの計算について＞
本実施形態において、カメラにより観測される輝度値Ｃは、式（１）に示すように、複数のプロジェクタから投影されるＲＧＢ輝度値の和で表される。
<Calculation of parameters used for correction>
In the present embodiment, the luminance value C observed by the camera is represented by the sum of RGB luminance values projected from a plurality of projectors, as shown in Expression (1).
ここで、Ｐ１は式（２）で表される、適応輝度補正部１０４−１から出力されるＲＧＢ輝度値であり、Ｐ２は式（３）で表される、適応輝度補正部１０４−２から出力されるＲＧＢ輝度値である。また、Ｖ１は式（４）で表されるプロジェクタ１０５−１のカラー混合行列であり、Ｖ２は式（５）で表されるプロジェクタ１０５−２のカラー混合行列である。また、α、βは、投影画像の輝度を、プロジェクタ１０５−１、２双方のプロジェクタで分配するためのブレンディング・パラメータであり、１より小さな正の定数である。 Here, P 1 is expressed by Equation (2), an RGB luminance values outputted from the adaptive luminance correcting unit 104-1, P 2 is expressed by Equation (3), the adaptive luminance correcting unit 104- RGB luminance values output from 2. Further, V 1 is a color mixing matrix projector 105-1 of the formula (4), V 2 is a color mixing matrix projector 105-2 of the formula (5). Α and β are blending parameters for distributing the brightness of the projected image between the projectors 105-1 and 105-2, and are positive constants smaller than 1.
式（１）に示されるＣは、撮像画像データの輝度値であり、式（６）のように表される。また、Ｆは、室内の照明などによる環境光成分を表し、式（７）のように表される。 C shown in Expression (1) is a luminance value of the captured image data, and is expressed as Expression (6). F represents an ambient light component due to indoor lighting or the like, and is expressed as in Expression (7).
適応輝度補正部１０４は、フレーム処理部１０３から初期化信号を入力されたときに、Ｖ１、Ｖ２、及びＦを計算し、その値は、輝度補正ＤＢ１０７に書き込まれる。Ｖ１、Ｖ２、及びＦの計算方法の一例について説明する。ここで、パラメータＶ１、Ｖ２、Ｆを計算するにあたっては、α＝β＝１とする。まず、適応輝度補正部１０４−１は、全画素が０のＲＧＢ値を持つサンプル画像のＲＧＢ輝度値Ｐ１を、プロジェクタ１０５−１、２に出力し、スクリーンに投影する。式（１）に従えば、撮像画像データの輝度値Ｃ＝Ｆとなり、Ｆが求まる。
When the initialization signal is input from the
次に、適応輝度補正部１０４−１は、別のサンプル画像を用い、プロジェクタ１０５−１に出力する。カメラ１は、投影された画像を撮像する。適応輝度補正部１０４−１は、フレーム処理部１０３から撮像画像データを入力され、撮像画像データの輝度値（Ｃ０と呼ぶ）を得る。
続いて、適応輝度補正部１０４−１は、Ｃ０を取得したのと同じサンプル画像を用い、ＲＧＢのうちＲ（赤）チャネルの出力をΔＰＲだけ変化させ、プロジェクタ１０５−１に出力する。カメラ１は、投影された画像を撮像する。適応輝度補正部１０４−１は、フレーム処理部１０３から撮像画像データを入力され、撮像画像データの輝度値（Ｃ１と呼ぶ）を得る。
Next, adaptive brightness correction section 104-1 uses another sample image and outputs it to projector 105-1. The camera 1 captures the projected image. Adaptive luminance correcting unit 104-1 is input captured image data from the
Then, the adaptive luminance correcting unit 104-1, using the same sample image that was acquired the C 0, the output of the R (red) channel is changed by [Delta] P R of RGB, and outputs to the projector 105-1. The camera 1 captures the projected image. Adaptive luminance correcting unit 104-1 is input captured image data from the
適応輝度補正部１０４−１は、ΔＣ＝Ｃ１−Ｃ０を計算する。ΔＣのＲ、Ｇ、Ｂ、成分はそれぞれ、ΔＣＲ＝ＶＲＲ１ΔＰＲ、ΔＣＧ＝ＶＧＲ１ΔＰＲ、ΔＣＢ＝ＶＢＲ１ΔＰＲと表されるため、適応輝度補正部１０４−１は、ＶＲＲ１＝ΔＣＲ／ΔＰＲ、ＶＧＲ１＝ΔＣＧ／ΔＰＲ、ＶＢＲ１＝ΔＣＢ／ΔＰＲを計算する。適応輝度補正部１０４-１は、Ｇ（緑）、Ｂ（青）チャネルに対しても同様に計算する。また、適応輝度補正部１０４−２も同様に計算する。 The adaptive brightness correction unit 104-1 calculates ΔC = C 1 −C 0 . [Delta] C of R, G, B, respectively component, since represented ΔC R = V RR1 ΔP R, ΔC G = V GR1 ΔP R, and ΔC B = V BR1 ΔP R, the adaptive luminance correcting unit 104-1, Calculate V RR1 = ΔC R / ΔP R , V GR1 = ΔC G / ΔP R , and V BR1 = ΔC B / ΔP R. The adaptive luminance correction unit 104-1 performs the same calculation for the G (green) and B (blue) channels. The adaptive luminance correction unit 104-2 performs the same calculation.
＜輝度補正処理について＞
適応輝度補正部１０４−１、２から出力されるＲＧＢ輝度値Ｐ１、Ｐ２を次の式（８）、（９）のように表す。
<About brightness correction processing>
The RGB luminance values P 1 and P 2 output from the adaptive luminance correction units 104-1 and 104-2 are expressed as in the following equations (8) and (9).
ここで、補助補正量Ｄ１、Ｄ２は、補正のために導入されたパラメータであり、処理開始時に、適応輝度補正部１０４により、式（１０）、（１１）のように初期化される。補助補正量Ｄ１、Ｄ２は、補正を行う過程で適応輝度補正部１０４により変更されていく。
Here, the auxiliary correction amounts D 1 and D 2 are parameters introduced for correction, and are initialized by the adaptive
適応輝度補正部１０４は、式（８）、（９）に補助補正量Ｄ１、Ｄ２を代入することにより計算されたＲＧＢ輝度値Ｐ１、Ｐ２を計算する。適応輝度補正部１０４は、続いて、Ｐ１、Ｐ２に、ある正の定数α、β（以下ではブレンディング・パラメータと称する）を乗じた輝度値で表される画像データをそれぞれのプロジェクタ１０５−１、２に出力する。プロジェクタ１０５−１、２は、入力された該輝度値に基づいて、画像をスクリーンに投影する。ＲＧＢカメラ１０１は、画像がスクリーンに投影されたとき、式（１２）で表される輝度値Ｃ’を観測する。
The adaptive
適応輝度補正部１０４は、観測された輝度値Ｃ’が、オリジナル画像の輝度値である所望の輝度値Ｃとなるように、すなわち、式（１３）で示したΔＣの絶対値がある閾値よりも小さくなるように、プロジェクタから出力されるＲＧＢ輝度値Ｐ１、Ｐ２を逐次的に補正する。
The adaptive
具体的には、以下の（ア）、（イ）の処理を繰り返し行う。
処理（ア）：適応輝度補正部１０４−１は、式（１４）に示すように、Ｄ１にΔＣ１（ここでは、ΔＣを、Ｄ１にのみ補正を加え、Ｄ２には補正を加えないということを明確にするために、ΔＣ１と表記する。）を加えることにより、補正後の補助補正量Ｄ１を求める。
Specifically, the following processes (a) and (b) are repeated.
Process (A): the adaptive luminance correcting unit 104-1, as shown in equation (14), [Delta] C 1 (in this case the D 1, the [Delta] C, adding only the correction to D 1, corrects the addition to the D 2 In order to clarify that there is not, it is expressed as ΔC 1 ) to obtain the corrected auxiliary correction amount D 1 .
適応輝度補正部１０４−１は、このＤ１を式（８）に代入し、Ｐ１を求める。一方のプロジェクタ１０５−２は、補助補正値Ｄ２にΔＣ１を加えることなく、Ｄ２をそのまま用い、Ｄ２を、式（９）に代入することによりＰ２を求める。適応輝度補正部１０４−１、２は、このようにして求められたＰ１、Ｐ２に、ブレンディング・パラメータα、βそれぞれを乗じて生成したＲＧＢ輝度値を持つ画像データを、プロジェクタ１０５−１、２を通じて投影する。カメラ１０１は、投影画像を撮像し、輝度値Ｃ’を得る。式（１３）にＣ’を代入することにより、ΔＣを求める。以上が、処理（ア）である。
Adaptive luminance correcting unit 104-1 assigns the D 1 in the formula (8), determine the P 1. One projector 105-2, the auxiliary correction value D 2 to without adding [Delta] C 1, used as a D 2, the D 2, obtaining the P 2 by substituting the equation (9). The adaptive luminance correction units 104-1 and 104-2, image data having RGB luminance values generated by multiplying P 1 and P 2 thus obtained by the blending parameters α and β, respectively, are used as the projector 105-1. 2 through. The
処理（イ）：適応輝度補正部１０４−２は、式（１５）に示すように、Ｄ２にΔＣ２（ここでは、ΔＣを、Ｄ２にのみ補正を加え、Ｄ１には補正を加えないということを明確にするために、ΔＣ２と表記する。）を加えることにより、補正後の補助補正量Ｄ２を求める。 Process (b): the adaptive luminance correcting unit 104-2, as shown in equation (15), [Delta] C 2 (here, the D 2, the [Delta] C, adding only correction D 2, the correction is added to D 1 In order to clarify that there is not, it is expressed as ΔC 2 ), thereby obtaining the corrected auxiliary correction amount D 2 .
適応輝度補正部１０４−２は、このＤ２を式（９）に代入し、Ｐ２を求める。一方のプロジェクタ１０５−１は、補助補正値Ｄ１にΔＣ２を加えることなく、Ｄ１をそのまま用い、Ｄ１を、式（８）に代入することによりＰ1を求める。適応輝度補正部１０４−１、２は、このようにして求められたＰ１、Ｐ２に、ブレンディング・パラメータα、βそれぞれを乗じて生成したＲＧＢ輝度値を持つ画像データを、プロジェクタ１０５−１、２を通じて投影することにより、ΔＣを求める。以上が、処理（イ）である。
以後、（ア）、（イ）の処理を繰り返し行うことにより、Ｐ１、Ｐ２を更新していく。
Adaptive luminance correcting unit 104-2 assigns the D 2 in the formula (9), determining the P 2. One projector 105-1, the auxiliary correction values D 1 to without adding [Delta] C 2, used as a D 1, the D 1, obtaining the P 1 by substituting the equation (8). The adaptive luminance correction units 104-1 and 104-2, image data having RGB luminance values generated by multiplying P 1 and P 2 thus obtained by the blending parameters α and β, respectively, are used as the projector 105-1. 2 to obtain ΔC. The above is the processing (A).
Thereafter, P 1 and P 2 are updated by repeatedly performing the processes (a) and (b).
＜画像収束判定について＞
上記の（ア）、（イ）の操作を、繰り返し行い、式（１６）に示すように｜ΔＣ｜が、予め定めた閾値Ａよりも小さくなったとき、Ｐ１、Ｐ２に基づいてスクリーンに投影される画像は収束したと判定する。
<About image convergence judgment>
The above operations (a) and (b) are repeated, and when | ΔC | becomes smaller than a predetermined threshold A as shown in the equation (16), the screen is based on P 1 and P 2. It is determined that the image projected onto is converged.
図２は、本実施形態に係る投影補正装置１の動作を示すフローチャートである。
（ステップＳ１１）フレーム処理部１０３は、初期化信号を、適応輝度補正部１０４に出力する。適応輝度補正部１０４は、フレーム処理部１０３から初期化信号を入力されたときに、輝度補正ＤＢ１０７内に保存された、カラー混合行列Ｖ１、Ｖ２、Ｆ、補助補正量Ｄ１、Ｄ２、及びブレンディング・パラメータα、βを初期化する。具体的には、適応輝度補正部１０４は、カラー混合行列Ｖ１、Ｖ２、及び環境光のＲＧＢ成分を表すＦを、上述したように計算し、計算した値を代入する。なお、Ｖ１、Ｖ２、及びＦは、投影補正装置１を起動するときに一度だけ計算する。計算された、Ｖ１、Ｖ２、及びＦは、輝度補正ＤＢ１０７内に保存しておき、次回以降にステップＳ１１で適応輝度補正部１０４が初期化を行う場合は、Ｖ１、Ｖ２、及びＦは、再度計算する必要はなく、輝度補正ＤＢ１０７内に保存してあるＶ１、Ｖ２、及びＦをそのまま用いる。適応輝度補正部１０４は、補助補正量Ｄ１、Ｄ２に「０」を代入し、ブレンディング・パラメータα、βに、１以下の正の値を代入する。その後ステップＳ１２に進む。
FIG. 2 is a flowchart showing the operation of the projection correction apparatus 1 according to this embodiment.
(Step S11) The
（ステップS１２）カメラ１０１は、プロジェクタ１０５−１、２によってスクリーンに投影された投影画像を撮像する。カメラ１０１は撮像した撮像画像データを画像入力部１０２に出力する。その後ステップS１３に進む。
（ステップS１３）フレーム処理部１０３は、フレーム処理を行う。本ステップS１３の処理の詳細は、図３を用いて後述する。その後ステップS１４に進む。
(Step S12) The
(Step S13) The
（ステップS１４）適応輝度補正部１０４は、輝度補正処理を行う。本ステップS１４の処理の詳細は、図４を用いて後述する。その後ステップS１５に進む。
(Step S14) The adaptive
（ステップS１５）適応輝度補正部１０４は、上述したように、式（１６）に基づいて、画像収束判定を行う。画像が収束したと判定されたときは、終了処理に進む。画像が収束していないと判定されたときは、ステップS１６に進む。
（ステップS１６）適応輝度補正部１０４は、処理開始からの経過時間が、予め定めた値（例えば、１ｓ）より大きいか否かを判定する。予め定めた値より大きいと判定された場合（Ｙｅｓ）は、終了処理に進む。予め定めた値より大きくないと判定された場合（Ｎｏ）は、ステップS１７に進む。
（ステップS１７）フレーム処理部１０３は、フレーム番号が、予め定められた値であるか否かを判定する。予め定めた値である場合（Ｙｅｓ）は、終了処理に進む。予め定めた値でない場合（Ｎｏ）は、ステップS１２に進む。
(Step S15) As described above, the adaptive
(Step S16) The adaptive
(Step S17) The
次に、図３を参照して、図２に示したステップS１３の処理について詳細に説明する。
図３は、本実施形態に係るフレーム処理（ステップS１３）の処理を示すフローチャートである。
（ステップＳ１３１）フレーム処理部１０３は、画像入力部１０２から撮像画像データを入力されたか否かを判定する。撮像画像データを入力されたと判定された場合は、ステップＳ１３２に進む。撮像画像データを入力されなかったと判定された場合は、ステップＳ１３１に戻る。
（ステップＳ１３２）フレーム処理部１０３は、画像入力部１０２から入力された撮像画像データを、適応輝度補正部１０４−１、２に出力する。その後ステップＳ１３３に進む。
（ステップＳ１３３）フレーム処理部１０３は、ＳＷ信号を適応輝度補正部１０４−１、２に出力する。なお、このＳＷ信号には、上述したように、画像のフレーム番号を付加してもよい。その後、終了処理に進む。
Next, the process of step S13 shown in FIG. 2 will be described in detail with reference to FIG.
FIG. 3 is a flowchart showing the frame process (step S13) according to the present embodiment.
(Step S131) The
(Step S132) The
(Step S133) The
次に、図４を参照して、図２に示したステップS１４の処理について詳細に説明する。ステップS１４は、プロジェクタの前方にある物体の影や、照明状態の変化などに起因するスクリーン上の投影画像の輝度の変化に応じて、プロジェクタに出力する輝度信号を補正する処理を行う。 Next, the process of step S14 shown in FIG. 2 will be described in detail with reference to FIG. Step S14 performs a process of correcting the luminance signal output to the projector in accordance with the change in the luminance of the projected image on the screen due to the shadow of the object in front of the projector or the change in the illumination state.
図４は、本実施形態に係る補正処理（ステップS１４）を示すフローチャートである。
（ステップＳ１４１）適応輝度処理部１０４は、フレーム処理部１０３からＳＷ信号が入力されたか否かを判定する。ＳＷ信号が入力されたと判定された場合（Ｙｅｓ）は、ステップＳ１４２に進む。ＳＷ信号が入力されなかったと判定された場合（Ｎｏ）は、ステップＳ１４１に戻る。
（ステップＳ１４２）適応輝度処理部１０４は、フレーム処理部１０３から入力されたＳＷ信号に基づいて、輝度補正を行うか否かを判定する。輝度補正を行うと判定された場合（Ｙｅｓ）は、ステップＳ１４３に進む。輝度補正を行わないと判定された場合（Ｎｏ）は、ステップＳ１４５に進む。
FIG. 4 is a flowchart showing the correction process (step S14) according to the present embodiment.
(Step S141) The adaptive
(Step S142) The adaptive
（ステップＳ１４３）適応輝度処理部１０４は、コンテンツＤＢ１０６から、オリジナル画像データを読み出す。
適応輝度処理部１０４は、撮像画像データに対応する輝度値Ｃ’と、オリジナル画像データに対応する輝度値Ｃを用いて、式（１３）に示したΔＣを計算する。その後ステップＳ１４４に進む。
（ステップＳ１４４）適応輝度処理部１０４は、ステップＳ１４３で計算されたΔＣを用いて、式（１４）、又は式（１５）で示すように、補助補正値Ｄ１又はＤ２を更新する。その後ステップＳ１４５に進む。
(Step S143) The adaptive
The adaptive
(Step S144) adaptive
（ステップＳ１４５）適応輝度処理部１０４は、Ｄ１、及びＤ２を用いて、式（８）又は（９）で示すように、ＲＧＢ輝度値Ｐ１、Ｐ２を計算する。その後ステップＳ１４６に進む。
（ステップＳ１４６）適応輝度処理部１０４−１は、ステップＳ１４５で計算したＰ１に基づいて、輝度信号αＰ１を計算し、αＰ１をプロジェクタ１０５−１に出力する。適応輝度処理部１０４−２は、ステップＳ１４５で計算したＰ２に基づいて、輝度信号βＰ２を計算し、βＰ２をプロジェクタ１０５−２に出力する。プロジェクタ１０５−１、２は、入力された輝度信号に基づいて、画像をスクリーンに投影する。その後終了処理に進む。
(Step S145) The adaptive
(Step S146) adaptive luminance processing section 104-1, based on P 1 calculated in step S145, calculates the luminance signal .alpha.P 1, and outputs the .alpha.P 1 to the projector 105-1. Adaptive luminance processing section 104-2, based on P 2 calculated in step S145, calculates the luminance signal .beta.P 2, and outputs the .beta.P 2 to the projector 105-2. The projectors 105-1 and 105-2 project an image on a screen based on the input luminance signal. Thereafter, the process proceeds to an end process.
上述した構成によれば、投影補正装置１は、例えば、以下のように動作する。
フレーム処理部１０３は、パラメータを初期化する。(ステップＳ１１)カメラ１０１は、投影画像を撮像する。（ステップＳ１２）フレーム処理部１０３は、投影画像を適応輝度補正部１０４−１、２に出力する(ステップＳ１３２)。フレーム処理部１０３は、適応輝度補正部１０４−１が輝度信号の補正を行うことを示すSＷ信号を適応輝度補正部１０４−１、２に出力する（ステップＳ１３３）。
According to the configuration described above, the projection correction apparatus 1 operates as follows, for example.
The
適応輝度補正部１０４−１は、式（１３）に示したΔＣ（ここでは、ΔＣ１）を計算し（ステップＳ１４３）、式（１４）で示した補助補正値Ｄ１を更新する（ステップＳ１４４）。適応輝度補正部１０４−１は、式（８）で与えられるＰ１に、αを乗じた輝度信号をプロジェクタ１０５−１に出力する。プロジェクタ１０５−１は、入力された輝度信号αＰ１に基づいて、画像をスクリーンに投影する（ステップＳ１４５、１４６）。適応輝度補正部１０４−２は、式（９）で与えられるＰ２に、βを乗じた輝度信号をプロジェクタ１０５−２に出力する。プロジェクタ１０５−２は、入力された輝度信号βＰ２に基づいて、画像をスクリーンに投影する（ステップＳ１４６）。 Adaptive luminance correction section 104-1 calculates ΔC (here, ΔC 1 ) shown in equation (13) (step S143), and updates auxiliary correction value D 1 shown in equation (14) (step S144). ). Adaptive luminance correcting unit 104-1, and outputs the P 1 given by Equation (8), a luminance signal obtained by multiplying the α projector 105-1. Projector 105-1, based on the luminance signal .alpha.P 1 input, to project an image on the screen (step S145,146). Adaptive luminance correcting unit 104-2, and outputs the P 2 given by equation (9), a luminance signal obtained by multiplying the β projector 105-2. Projector 105-2, based on the luminance signal .beta.P 2 input, to project an image on the screen (step S146).
適応輝度補正部１０４−１は、ΔＣ１が、予め定めた閾値より小さいか否かを判定する（ステップＳ１５）。適応輝度補正部１０４−１は、ΔＣ１が、予め定めた閾値より小さいと判定した場合は、終了処理に進む。適応輝度補正部１０４−１は、ΔＣ１が、予め定めた閾値より小さくないと判定した場合は、次いで、処理開始からの時間の値が、予め定めた閾値よりも大きいか否かを判定する（ステップＳ１６）。適応輝度補正部１０４−１は、処理開始からの時間の値が、予め定めた閾値よりも大きいと判定した場合は、終了処理に進む。適応輝度補正部１０４−１は、処理開始からの時間の値が、予め定めた閾値よりも大きくないと判定した場合は、フレーム処理部１０３は、フレーム番号が、予め定めた値であるか否かを判定する（ステップＳ１７）。フレーム番号が、予め定めた値であると判定された場合は、終了処理に進む。フレーム番号が、予め定めた値でないと判定した場合は、カメラ１０１は、新たに投影画像を撮像する（ステップＳ１２）。
Adaptive luminance correcting unit 104-1, [Delta] C 1 is determined whether less or not than a predetermined threshold value (step S15). Adaptive luminance correcting unit 104-1, [Delta] C 1 is, if it is determined to be smaller than the predetermined threshold value, the process proceeds to end process. When it is determined that ΔC 1 is not smaller than the predetermined threshold, the adaptive luminance correction unit 104-1 then determines whether or not the value of the time from the start of processing is larger than the predetermined threshold. (Step S16). When it is determined that the time value from the start of processing is greater than a predetermined threshold value, adaptive luminance correction section 104-1 proceeds to end processing. If adaptive luminance correction section 104-1 determines that the value of the time from the start of processing is not greater than a predetermined threshold value,
フレーム処理部１０３は、投影画像を適応輝度補正部１０４−１、２に出力する(ステップＳ１３２)。フレーム処理部１０３は、適応輝度補正部１０４−２が輝度信号の補正を行うことを示すSＷ信号を適応輝度補正部１０４−１、２に出力する（ステップＳ１３３）。
The
適応輝度補正部１０４−２は、式（１３）に示したΔＣ（ここでは、ΔＣ２）を計算し（ステップＳ１４３）、式（１５）で示した補助補正値Ｄ２を更新する（ステップＳ１４４）。適応輝度補正部１０４−２は、式（９）で与えられるＰ２に、βを乗じた輝度信号をプロジェクタ１０５−２に出力する。プロジェクタ１０５−２は、入力された輝度信号βＰ２に基づいて、画像をスクリーンに投影するステップＳ１４５、１４６）。適応輝度補正部１０４−１は、式（８）で与えられるＰ１に、αを乗じた輝度信号をプロジェクタ１０５−１に出力する。プロジェクタ１０５−１は、入力された輝度信号βＰ２に基づいて、画像をスクリーンに投影する（ステップＳ１４６）。 The adaptive luminance correction unit 104-2 calculates ΔC (here, ΔC 2 ) shown in Expression (13) (Step S143), and updates the auxiliary correction value D 2 shown in Expression (15) (Step S144). ). Adaptive luminance correcting unit 104-2, and outputs the P 2 given by equation (9), a luminance signal obtained by multiplying the β projector 105-2. Projector 105-2, based on the luminance signal .beta.P 2 input, step S145,146 for projecting an image onto a screen). Adaptive luminance correcting unit 104-1, and outputs the P 1 given by Equation (8), a luminance signal obtained by multiplying the α projector 105-1. Projector 105-1, based on the luminance signal .beta.P 2 input, to project an image on the screen (step S146).
適応輝度補正部１０４−２は、ΔＣ２が、予め定めた閾値より小さいか否かを判定する（ステップＳ１５）。適応輝度補正部１０４−２は、ΔＣ２が、予め定めた閾値より小さいと判定した場合は、終了処理に進む。適応輝度補正部１０４−２は、ΔC２が、予め定めた閾値より小さくないと判定した場合は、処理開始からの時間の値が、予め定めた閾値よりも大きいか否かを判定する（ステップＳ１６）。適応輝度補正部１０４−２は、処理開始からの時間の値が、予め定めた閾値よりも大きいと判定された場合は、終了処理に進む。適応輝度補正部１０４−２は、処理開始からの時間の値が、予め定めた閾値よりも大きくないと判定した場合は、フレーム処理部１０３は、フレーム番号が、予め定めた値であるか否かを判定する（ステップＳ１７）。フレーム番号が、予め定めた値であると判定された場合は、終了処理に進む。フレーム番号が、予め定めた値でないと判定した場合は、カメラ１０１は、新たに投影画像を撮像する（ステップＳ１２）。
以後、適応輝度補正部１０４−１、２は、交互に補助補正値Ｄ１及びＤ２の更新を繰り返す。この動作により、適応輝度補正部１０４−１、２は、オリジナル画像データと撮像画像データとの差が小さくなるように、順次補正された輝度値Ｐ１、Ｐ２を計算する。
Adaptive luminance correcting unit 104-2, [Delta] C 2 is determined or smaller or not than a predetermined threshold value (step S15). Adaptive luminance correcting unit 104-2, [Delta] C 2 is, when it is determined to be smaller than the predetermined threshold value, the process proceeds to end process. If it is determined that ΔC 2 is not smaller than the predetermined threshold value, adaptive luminance correction section 104-2 determines whether or not the value of the time from the start of processing is larger than the predetermined threshold value (Step S1). S16). If it is determined that the time value from the start of processing is greater than a predetermined threshold value, adaptive luminance correction section 104-2 proceeds to end processing. If adaptive brightness correction section 104-2 determines that the value of the time from the start of processing is not greater than a predetermined threshold,
Thereafter, the adaptive luminance correction units 104-1 and 104-2 repeatedly update the auxiliary correction values D 1 and D 2 alternately. By this operation, the adaptive brightness correction units 104-1 and 104-2 calculate the brightness values P 1 and P 2 that are sequentially corrected so that the difference between the original image data and the captured image data becomes small.
このように、本実施形態によれば、プロジェクタ１０５−１とプロジェクタ１０５−２は、コンテンツＤＢ１０６に記録された画像データに基づいて、画像を同一の場所に重なるように投影する。カメラ１０１は、投影された投影画像を撮像する。適応輝度補正部１０４−１は、輝度補正を行い、輝度補正後の輝度信号をプロジェクタ１０５−１に出力し、プロジェクタ１０５−１は、画像を投影する。一方、適応輝度補正部１０４−２は、D2を更新せずに，式（９）により輝度補正を行い、輝度信号をプロジェクタ１０５−２に出力し、プロジェクタ１０５−２は、画像を投影する。つまり、撮像された画像データと被投影画像データとに基づいて、投影装置が投影する投影画像を補正して投影する。
カメラ１０１は、投影された投影画像を撮像する。適応輝度補正部１０４−２は、輝度補正を行い、輝度補正後の輝度信号をプロジェクタ１０５−２に出力し、プロジェクタ１０５−２は、画像を投影する。一方、適応輝度補正部１０４−１は、D1を更新せずに，式（８）により輝度補正を行い、輝度信号をプロジェクタ１０５−１に出力し、プロジェクタ１０５−１は、画像を投影する。つまり、撮像された画像データと被投影画像データとに基づいて、投影装置が投影する投影画像を補正して投影する。
これにより、本実施形態では、投影補正装置１は、投影装置とスクリーンの間に人などが入って投影画像に影ができたときや、環境の明るさが変化した場合など、撮像画像とオリジナル画像との間に差が生じた場合に、自動的に各プロジェクタの出力を調整し、その差を小さくできる。すなわち、所望の画像を投影できる。また、高品質で高コントラストな投影像を維持することができる。
As described above, according to the present embodiment, the projector 105-1 and the projector 105-2 project images so as to overlap each other based on the image data recorded in the
The
As a result, in this embodiment, the projection correction apparatus 1 is configured such that when a person or the like enters between the projection apparatus and the screen and a shadow is formed on the projection image, or when the brightness of the environment changes, the captured image and the original When there is a difference between the images, the output of each projector can be automatically adjusted to reduce the difference. That is, a desired image can be projected. In addition, a high-quality and high-contrast projection image can be maintained.
また、本実施形態によれば、プロジェクタ１０５−１とプロジェクタ１０５−２が投影した画像データに基づいて、適応輝度補正部１０４−１は輝度補正を行い、適応輝度補正部１０４−２はD2を更新せずに，式（９）により輝度補正を行い、輝度信号をプロジェクタ１０５−１、２に出力し、プロジェクタ１０５−１、２は、画像を投影する。
上記の動作を予め定めた回数を繰り返した後に、プロジェクタ１０５−１とプロジェクタ１０５−２が投影した画像データに基づいて、適応輝度補正部１０４−２は、輝度補正を行い適応輝度補正部１０４−１はD1を更新せずに，式（８）により輝度補正を行い、で、輝度信号をプロジェクタ１０５−１、２に出力し、プロジェクタ１０５−１、２は、画像を投影する。
これにより、本実施形態では、一方のプロジェクタを複数の撮像画像データに基づいて補正を行った後に、他方のプロジェクタを複数の撮像画像データに基づいて補正を行うため、補正が収束するまでの時間を短縮することができる。
Further, according to the present embodiment, the adaptive luminance correction unit 104-1 performs luminance correction based on the image data projected by the projector 105-1 and the projector 105-2, and the adaptive luminance correction unit 104-2 performs D 2. Without updating the brightness, the brightness is corrected by the equation (9), and the brightness signal is output to the projectors 105-1 and 105-2. The projectors 105-1 and 105-2 project the image.
After repeating the above operation a predetermined number of times, the adaptive brightness correction unit 104-2 performs brightness correction based on the image data projected by the projector 105-1 and the projector 105-2, and the adaptive brightness correction unit 104- No. 1 does not update D 1 but performs luminance correction according to equation (8), and outputs a luminance signal to the projectors 105-1 and 105-2, and the projectors 105-1 and 105-2 project an image.
Thereby, in this embodiment, since one projector is corrected based on a plurality of captured image data, and the other projector is corrected based on a plurality of captured image data, the time until the correction converges Can be shortened.
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
上記第１の実施形態では、プロジェクタを２台用いる場合について説明した。本実施形態では、プロジェクタをＮ台（Ｎ＞２）用いる場合について説明をする。
図５は、Ｎ台のプロジェクタを使った投影補正装置２の構成を示すブロック図である。本実施形態に係る投影補正装置２は、適応輝度補正部２０４、及びプロジェクタ２０５がそれぞれN台であることを除いて、第１の実施形態における投影補正装置１と同様であるため、説明は省略する。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described in detail with reference to the drawings.
In the first embodiment, the case where two projectors are used has been described. In this embodiment, a case where N projectors (N> 2) are used will be described.
FIG. 5 is a block diagram showing a configuration of the
次に、図６を参照して、本実施形態に係る投影補正装置２の動作を説明する。
図６は、本実施形態に係る投影補正装置２の動作を示すフローチャートである。
Next, the operation of the
FIG. 6 is a flowchart showing the operation of the
（ステップＳ２１）フレーム処理部１０３は、初期化命令を、適応輝度補正部１０４に出力する。適応輝度補正部１０４は、フレーム処理部１０３から初期化命令を入力されたときに、輝度補正ＤＢ１０７内に保存された、カラー混合行列Ｖ１、Ｖ２、・・・、ＶＮ、環境光のＲＧＢ成分であるＦ、補助補正量Ｄ１、Ｄ２、・・・、ＤＮ、及びブレンディング・パラメータα１、α２、・・・、αＮを初期化する。具体的には、適応輝度補正部１０４は、カラー混合行列Ｖ１、Ｖ２、・・・、ＶＮ、及び環境光のＲＧＢ成分であるＦを、上述したように計算し、計算した値を代入する。なお、Ｖ１、Ｖ２、・・・ＶＮ及びＦは、投影補正装置１を起動するときに一度だけ計算する。計算された、Ｖ１、Ｖ２、・・・ＶＮ及びＦは、輝度補正ＤＢ１０７内に保存しておき、次回以降にステップＳ１１で適応輝度補正部１０４が初期化を行う場合は、Ｖ１、Ｖ２、・・・ＶＮ及びＦは、再度計算する必要はなく、輝度補正ＤＢ１０７内に保存してあるＶ１、Ｖ２、及びＦをそのまま用いる。補助補正量Ｄ１、Ｄ２、・・・、ＤＮに「０」を代入し、ブレンディング・パラメータα１、α２、・・・、αＮに、１以下の正の値αを代入される。その後ステップS２２に進む。
ステップＳ２２の処理は、図２に示した第１の実施形態におけるステップＳ１２の処理と同様である。
（ステップS２３）フレーム処理部１０３は、フレーム処理を行う。本ステップS２３の処理の詳細は、図７を用いて後述する。その後ステップS２４に進む。
(Step S <b> 21) The
The process of step S22 is the same as the process of step S12 in the first embodiment shown in FIG.
(Step S23) The
（ステップS２４）適応輝度補正部１０４は、輝度補正処理を行う。本ステップS２４の処理の詳細は、図８を用いて後述する。その後ステップS２５に進む。
ステップＳ２５〜ステップＳ２７の処理は、図２に示した第１の実施形態におけるステップＳ１５〜Ｓ１７の処理と同様である。
(Step S24) The adaptive
The processes in steps S25 to S27 are the same as the processes in steps S15 to S17 in the first embodiment shown in FIG.
次に、図７を参照して、図６に示したフレーム処理（ステップS２３）について詳細に説明する。
図７は、本実施形態に係るフレーム処理（ステップS２３）を示すフローチャートである。
ステップＳ２３１の処理は、図３に示した第１の実施形態におけるステップＳ１３１の処理と同様である。
（ステップＳ２３２）フレーム処理部１０３は、画像入力部１０２から入力された撮像画像データを、適応輝度補正部１０４−１、２、・・・、Ｎに出力する。その後ステップＳ２３３に進む。
（ステップＳ２３３）フレーム処理部１０３は、輝度補正を行うプロジェクタを指定するＳＷ信号を適応輝度補正部１０４−１、２・・・、Ｎに出力する。なお、このＳＷ信号には、画像のフレーム番号を付加してもよい。その後、終了処理に進む。
Next, the frame process (step S23) shown in FIG. 6 will be described in detail with reference to FIG.
FIG. 7 is a flowchart showing the frame processing (step S23) according to the present embodiment.
The process of step S231 is the same as the process of step S131 in the first embodiment shown in FIG.
(Step S232) The
(Step S233) The
次に、図８を参照して、図６に示した補正処理（ステップS２４）について詳細に説明する。
図８は、本実施形態に係る補正処理（ステップS２４）を示すフローチャートである。
ステップＳ２４１〜Ｓ２４３の処理は、図４に示した第１の実施形態におけるステップＳ１４１〜Ｓ１４３の処理と同様である。
（ステップＳ２４４）適応輝度処理部１０４―ｋは、ステップＳ２４３で計算されたΔＣ（ΔＣｋと呼ぶ）を用いて、式（１７）で示すように、補助補正値Ｄｋを更新する。その後ステップＳ２４５に進む。
Next, the correction process (step S24) shown in FIG. 6 will be described in detail with reference to FIG.
FIG. 8 is a flowchart showing the correction process (step S24) according to the present embodiment.
The processing of steps S241 to S243 is the same as the processing of steps S141 to S143 in the first embodiment shown in FIG.
(Step S244) adaptive luminance processing unit 104-k, using the [Delta] C calculated in step S243 (referred to as [Delta] C k), as shown in equation (17), updates the auxiliary correction value D k. Thereafter, the process proceeds to step S245.
（ステップＳ２４５）適応輝度処理部１０４は、Ｄ１、Ｄ２、・・・、ＤＮを用いて、式（１８）で示すように、ＲＧＢ輝度値Ｐ１、Ｐ２、・・・、ＰＮを計算する。その後ステップＳ２４６に進む。
(Step S245) The adaptive
（ステップＳ２４６）適応輝度処理部１０４−ｋ（ｋ＝１、２、・・・、Ｎ）は、ステップＳ６０５で計算したＰｋに基づいて、輝度信号αｋＰｋをプロジェクタ１０５−ｋに出力する。プロジェクタ１０５−ｋ（ｋ＝１、２、・・・、Ｎ）は、入力された輝度信号に基づいて、画像をスクリーンに投影する。その後終了処理に進む。 (Step S246) The adaptive luminance processing unit 104-k (k = 1, 2,..., N) outputs the luminance signal α k P k to the projector 105-k based on P k calculated in Step S605. To do. The projector 105-k (k = 1, 2,..., N) projects an image on the screen based on the input luminance signal. Thereafter, the process proceeds to an end process.
このように、本実施形態によれば、プロジェクタ１０５−ｋ（ｋ＝１、２、・・・、Ｎ）は、コンテンツＤＢ１０６に記録された画像データに基づいて、画像を同一の場所に重なるように投影する。カメラ１０１は、投影された投影画像を撮像する。適応輝度補正部１０４−ｋは、輝度補正を行い、輝度補正後の輝度信号をプロジェクタ１０５−ｋに出力し、プロジェクタ１０５−ｋは、画像を投影する。一方、適応輝度補正部１０４−ｊ（ｊ≠ｋ）は、Ｄｊを更新しないで輝度補正を行い、輝度信号をプロジェクタ１０５−ｊ（ｊ≠ｋ）に出力し、プロジェクタ１０５−ｊ（ｊ≠ｋ）は、画像を投影する。
カメラ１０１は、投影された投影画像を撮像する。適応輝度補正部１０４−ｊ（ｊ≠ｋ）は、輝度補正を行い、輝度補正後の輝度信号をプロジェクタ１０５−ｊに出力し、プロジェクタ１０５−ｊは、画像を投影する。一方、適応輝度補正部１０４−ｋ（ｋ≠ｊ）は、Ｄｋを更新しないで輝度補正を行い、輝度信号をプロジェクタ１０５−ｋ（ｋ≠ｊ）に出力し、プロジェクタ１０５−１は、画像を投影する。
Thus, according to the present embodiment, the projector 105-k (k = 1, 2,..., N) overlaps images in the same place based on the image data recorded in the
The
これにより、本実施形態では、投影補正装置１は、複数のプロジェクタの前に人が入るなどして投影画像に影ができたときや、環境の明るさが変化した場合など、撮像画像とオリジナル画像との間に差が生じた場合に、自動的に各プロジェクタの出力を調整し、その差を小さくできる。すなわち、所望の画像を投影できる。また、高品質で高コントラストな投影像を維持することができる。 As a result, in this embodiment, the projection correction apparatus 1 uses the captured image and the original when, for example, a shadow is formed on the projection image due to a person entering before a plurality of projectors, or when the brightness of the environment changes. When there is a difference between the images, the output of each projector can be automatically adjusted to reduce the difference. That is, a desired image can be projected. In addition, a high-quality and high-contrast projection image can be maintained.
なお、上述した実施形態において、ＳＷ信号は、撮像画像データのフレーム番号に基づいて生成したが、ＳＷ信号はこれに限られることはなく、補正を行う適応輝度処理部１０４を特定できるものであれば、いかなるものでもかまわない。
In the above-described embodiment, the SW signal is generated based on the frame number of the captured image data. However, the SW signal is not limited to this, and it is possible to identify the adaptive
なお、上述した実施形態において、輝度とは、明度などの他の明るさを示すものでもよい。また、補正の対象とするものは、色、彩度などでもよい。 In the above-described embodiment, the luminance may indicate other brightness such as brightness. Further, the correction target may be color, saturation, or the like.
なお、上述した実施形態において、プロジェクタ、カメラ、及びコンテンツDBは必ずしも構成要素として接続している必要はなく、画像入力部、フレーム処理部、適応輝度補正部間のそれぞれのデータの流れは、ハードディスク、RAID装置、CD−ROMなどの記憶媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもかまわない。 In the above-described embodiment, the projector, the camera, and the content DB do not necessarily have to be connected as components, and the data flow between the image input unit, the frame processing unit, and the adaptive luminance correction unit is a hard disk. In addition, a storage medium such as a RAID device or a CD-ROM may be used, or a remote data resource may be used via a network.
なお、ブレンディング・パラメータα、βは、必ずしも同じ値にする必要はないが、同程度の値にすることが望ましい。例えば、α＞β、かつβの値が非常に小さいとする。この場合、２代目のプロジェクタの輝度を補正しても補正結果を出力するときにβ倍され、輝度補正が有効に機能しない。α、βは、α＝βを規定値とし、規定値としては、プロジェクタを２台使った場合は、０．４〜０．７程度、プロジェクタを３台使った場合は、０．５〜０．８程度に設定すると収束が速い。ただし、α、βの最適な値は、投影環境、特にスクリーンの材質や使用するプロジェクタによって代わるため、装置の設定環境に応じて設定する。 The blending parameters α and β are not necessarily set to the same value, but are preferably set to the same value. For example, it is assumed that α> β and the value of β is very small. In this case, even if the brightness of the second-generation projector is corrected, it is multiplied by β when outputting the correction result, and the brightness correction does not function effectively. For α and β, α = β is a specified value, and the specified value is about 0.4 to 0.7 when two projectors are used, and 0.5 to 0 when three projectors are used. When set to about .8, convergence is fast. However, the optimum values of α and β are set according to the setting environment of the apparatus because they change depending on the projection environment, particularly the material of the screen and the projector to be used.
なお、上述した各実施形態における投影補正装置が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Note that all or some of the functions of the units included in the projection correction apparatus in each of the embodiments described above are recorded on a computer-readable recording medium and a program for realizing these functions is recorded on the recording medium. Alternatively, the program may be read by a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line, In such a case, a volatile memory inside a computer system serving as a server or a client may be included and a program that holds a program for a certain period of time. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to
１、２・・・投影補正装置、１０１・・・カメラ、１０２・・・画像入力部、１０３・・・フレーム処理部、１０４（１０４−１、１０４−２、・・・、１０４−Ｎ）・・・適応輝度補正部、１０５（１０５−１、１０５−２、・・・、１０５−Ｎ）・・・プロジェクタ、１０６・・・コンテンツＤＢ、１０７・・・輝度補正ＤＢ
DESCRIPTION OF
Claims (5)
前記第１のステップで撮像された画像の画像データと前記被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正して投影する第２のステップと、
前記第２のステップで投影された投影画像を撮像する第３のステップと、
前記第３のステップで撮像された画像の画像データと被投影画像データに基づいて、前記第２の投影装置が投影する投影画像を補正して投影する第４のステップと、
を有することを特徴とする投影補正方法。 A first step in which the first projection device and the second projection device project projected image data having the same contents so as to overlap each other at the same location, and capture a projected image;
A second step of correcting and projecting the projection image projected by the first projection device based on the image data of the image captured in the first step and the projection image data; and
A third step of capturing the projection image projected in the second step;
A fourth step of correcting and projecting the projection image projected by the second projection device based on the image data of the image captured in the third step and the projection image data;
A projection correction method comprising:
を特徴とする請求項１に記載の投影補正方法。 2. The projection correction method according to claim 1, wherein the third step and the fourth step are performed after the first step and the second step are repeated a predetermined number of times.
を特徴とする請求項１又は２のいずれか１項に記載の投影補正方法。 The projection correction method according to claim 1, wherein the brightness of the image is corrected in the second step and the fourth step.
前記第１の投影装置と前記第２の投影装置によって投影された投影画像を撮像する撮像部と、
前記撮像部によって撮像された前記投影画像の画像データと被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正する第１の補正部と、
前記第１の補正部が補正した投影画像を前記第１の投影装置が投影した後に、前記撮像部によって撮像された前記投影画像の画像データと被投影画像データとに基づいて、前記第２の投影装置が投影する投影画像を補正する第２の補正部と、
を有することを特徴とする投影補正装置。 A first projection device, a second projection device, which project projected images having the same contents so as to overlap each other at the same location;
An imaging unit that captures a projection image projected by the first projection device and the second projection device;
A first correction unit that corrects a projection image projected by the first projection device based on image data and projection image data of the projection image captured by the imaging unit;
After the first projection device projects the projection image corrected by the first correction unit, based on the image data and the projection image data of the projection image captured by the imaging unit, the second A second correction unit for correcting a projection image projected by the projection device;
A projection correction apparatus comprising:
同一の内容の被投影画像データを同一の場所に重なるように投影し、投影画像を撮像する第１の手順、
第１の手順で撮像された画像の画像データと前記被投影画像データとに基づいて、前記第１の投影装置が投影する投影画像を補正して投影する第２の手順、
前記第２の手順で投影された投影画像を撮像する第３の手順、
前記第３の手順で撮像された画像の画像データと被投影画像データに基づいて、前記第２の投影装置が投影する投影画像を補正して投影する第４の手順、
を実行させる投影補正プログラム。
In the computer of the projection correction device,
A first procedure of projecting projected image data having the same contents so as to overlap each other at the same location and capturing a projected image;
A second procedure for correcting and projecting the projection image projected by the first projection device based on the image data of the image captured in the first procedure and the projection target image data;
A third procedure for capturing a projection image projected in the second procedure;
A fourth procedure for correcting and projecting the projection image projected by the second projection device based on the image data of the image captured in the third procedure and the projection image data;
Projection correction program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010278493A JP5654337B2 (en) | 2010-12-14 | 2010-12-14 | Projection correction method, projection correction apparatus, and projection correction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010278493A JP5654337B2 (en) | 2010-12-14 | 2010-12-14 | Projection correction method, projection correction apparatus, and projection correction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012128113A true JP2012128113A (en) | 2012-07-05 |
| JP5654337B2 JP5654337B2 (en) | 2015-01-14 |
Family
ID=46645225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010278493A Expired - Fee Related JP5654337B2 (en) | 2010-12-14 | 2010-12-14 | Projection correction method, projection correction apparatus, and projection correction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5654337B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017058628A (en) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | Spatial image performance device, control method of the spatial image performance device, and video system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07162743A (en) * | 1993-12-03 | 1995-06-23 | Matsushita Electric Ind Co Ltd | Image processor for projector, and projector |
| JP2001051346A (en) * | 1999-08-05 | 2001-02-23 | Nippon Telegr & Teleph Corp <Ntt> | Automatic pixel position adjusting device |
| JP2004228824A (en) * | 2003-01-22 | 2004-08-12 | Hitachi Ltd | Stack projection device and its adjusting method |
| JP2006245737A (en) * | 2005-03-01 | 2006-09-14 | Casio Comput Co Ltd | Projection image correction device and method for projection image correction and program |
| JP2008116565A (en) * | 2006-11-01 | 2008-05-22 | Seiko Epson Corp | Image correction device, projection system, image correction method, image correction program and recording medium |
| JP2009258205A (en) * | 2008-04-14 | 2009-11-05 | Sharp Corp | Projector device, image projection method, program, recording medium, and portable telephone terminal |
-
2010
- 2010-12-14 JP JP2010278493A patent/JP5654337B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07162743A (en) * | 1993-12-03 | 1995-06-23 | Matsushita Electric Ind Co Ltd | Image processor for projector, and projector |
| JP2001051346A (en) * | 1999-08-05 | 2001-02-23 | Nippon Telegr & Teleph Corp <Ntt> | Automatic pixel position adjusting device |
| JP2004228824A (en) * | 2003-01-22 | 2004-08-12 | Hitachi Ltd | Stack projection device and its adjusting method |
| JP2006245737A (en) * | 2005-03-01 | 2006-09-14 | Casio Comput Co Ltd | Projection image correction device and method for projection image correction and program |
| JP2008116565A (en) * | 2006-11-01 | 2008-05-22 | Seiko Epson Corp | Image correction device, projection system, image correction method, image correction program and recording medium |
| JP2009258205A (en) * | 2008-04-14 | 2009-11-05 | Sharp Corp | Projector device, image projection method, program, recording medium, and portable telephone terminal |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017058628A (en) * | 2015-09-18 | 2017-03-23 | 日本電信電話株式会社 | Spatial image performance device, control method of the spatial image performance device, and video system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5654337B2 (en) | 2015-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8605106B2 (en) | Projector and color improvement method of the projector | |
| JP5590668B2 (en) | Projector apparatus, video signal correction apparatus, video signal correction method, and program | |
| JP2017049992A (en) | High dynamic range tone mapping | |
| CN105144688A (en) | Imaging device and imaging system | |
| JP5123713B2 (en) | Image processing apparatus and image processing method | |
| KR102144390B1 (en) | Image processing device and method to perform local contrast enhancement | |
| JP5804856B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5596427B2 (en) | Optical projection control method, optical projection control apparatus, optical projection control system, and program | |
| US9672650B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2016133799A (en) | Illumination system | |
| US8619151B2 (en) | Photographing method and apparatus providing correction of object shadows, and a recording medium storing a program for executing the method | |
| JP5654337B2 (en) | Projection correction method, projection correction apparatus, and projection correction program | |
| US11010882B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2010237633A (en) | Projector | |
| EP2744209A1 (en) | Content processing device, content processing method, and recording medium | |
| JP2005117616A (en) | Method, device, and medium for video image recording and method and device for video image display | |
| JP2010010754A (en) | Display device | |
| JP6210772B2 (en) | Information processing apparatus, imaging apparatus, control method, and program | |
| JP2019033339A (en) | Information processing apparatus, projection apparatus, information processing method, and program | |
| WO2019158129A1 (en) | Method and device for augmented reality visual element display | |
| KR20110095556A (en) | Image projection apparatus and image correcting method thereof | |
| JP5339299B2 (en) | Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program | |
| KR20170059310A (en) | Device for transmitting tele-presence image, device for receiving tele-presence image and system for providing tele-presence image | |
| JP2007101837A (en) | Load information acquisition device for optical modulating element, and image display apparatus | |
| JP7309352B2 (en) | Electronic equipment and its control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130122 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131010 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5654337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |