JP6665543B2 - Projector and method of correcting captured image - Google Patents
Projector and method of correcting captured image Download PDFInfo
- Publication number
- JP6665543B2 JP6665543B2 JP2016008536A JP2016008536A JP6665543B2 JP 6665543 B2 JP6665543 B2 JP 6665543B2 JP 2016008536 A JP2016008536 A JP 2016008536A JP 2016008536 A JP2016008536 A JP 2016008536A JP 6665543 B2 JP6665543 B2 JP 6665543B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- unit
- correction value
- captured image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、プロジェクター、及び、撮像画像の補正方法に関する。 The present invention is a projector,及 Beauty relates captured image correcting process.
従来、投射部により投射される投射画像を撮像装置で撮像し、撮像された撮像画像を用いて投射画像を補正する技術が知られている（例えば、特許文献１参照）。特許文献１に開示の画像処理システムは、表示手段に表示されたキャリブレーション画像を撮像手段で撮像し、撮像された撮像情報に基づいて画像の色むらを、表示手段の分割された領域ごとに補正する。
2. Description of the Related Art Conventionally, there has been known a technique in which a projection image projected by a projection unit is captured by an imaging device, and the projection image is corrected using the captured image (for example, see Patent Literature 1). The image processing system disclosed in
投射画像の撮像に使用される撮像装置は、レンズ収差等の影響により、撮像装置の撮像素子が出力する画素値が、撮像素子の位置によって異なるという現象（以下、感度分布という）が生じる。このため撮像装置が撮像した撮像画像データに基づいて、投射対象に投射される画像を補正する場合に、投射された画像の輝度や色度の差を正確に測定することができず、誤差が生じる場合がある。
このような問題に対し、特許文献２の撮像手段の出力値補正方法は、所定光量の入力値に対する出力値を露光時間ごとに算出し、入力値と出力値との差分を撮像手段における感度特性として予め設定しておき、対象を撮像した出力輝度値を感度特性に基づいて補正する。
また、特許文献３のカラー表示装置の測色装置は、スクリーン上の計測対象領域に表示されたパターン内の任意点の色情報を測定する色情報測定手段と、スクリーン上の計測対象領域を撮像する撮像手段と、色情報測定手段により得られたパターンの色情報値と、撮像手段による同パターンの撮像結果との関係から撮像手段の特性補正を行う特性補正値算出手段とを備える。
In an imaging device used for imaging a projection image, a phenomenon (hereinafter, referred to as sensitivity distribution) occurs that a pixel value output by an imaging device of the imaging device differs depending on a position of the imaging device due to an influence of a lens aberration or the like. For this reason, when correcting the image projected on the projection target based on the image data captured by the image capturing apparatus, the difference in luminance and chromaticity of the projected image cannot be accurately measured, and an error occurs. May occur.
To cope with such a problem, the output value correction method of the imaging unit of
Further, the color measurement device of the color display device disclosed in Patent Document 3 includes a color information measurement unit that measures color information of an arbitrary point in a pattern displayed in a measurement target area on a screen, and an image of the measurement target area on the screen. And a characteristic correction value calculating unit for performing characteristic correction of the imaging unit based on a relationship between a color information value of the pattern obtained by the color information measuring unit and an imaging result of the same pattern by the imaging unit.
ところで、撮像装置の感度分布は、レンズ表面にコーティングされた紫外線や、赤外線のカットフィルターの影響を受け、撮像装置が撮像する画像の色によっても異なる。従って、撮像装置の感度分布を補正する補正値は、撮像画像を構成する複数の原色ごとに算出する必要があるため、補正値はできるだけ簡易に算出できるのが望ましい。
本発明は上記事情に鑑みてなされたものであり、撮像装置の感度分布を補正する補正値を簡易に算出し、撮像装置を用いた補正の精度を維持することを目的とする。
By the way, the sensitivity distribution of the imaging device is affected by the ultraviolet or infrared cut filter coated on the lens surface, and varies depending on the color of the image captured by the imaging device. Therefore, since a correction value for correcting the sensitivity distribution of the imaging device needs to be calculated for each of a plurality of primary colors constituting the captured image, it is desirable that the correction value can be calculated as simply as possible.
The present invention has been made in view of the above circumstances, and has as its object to easily calculate a correction value for correcting the sensitivity distribution of an imaging device and maintain the accuracy of correction using the imaging device.
上記目的を達成するために本発明のプロジェクターは、撮像部と、前記撮像部により校正用の被写体を撮像した第１の撮像画像に基づいて、前記撮像部の撮像画像を補正する補正値を算出する補正値算出部と、画像を投射する投射部と、前記投射部が投射する投射画像を前記撮像部で撮像した第２の撮像画像を、前記補正値算出部が算出した前記補正値を用いて補正する補正部と、を備え、前記補正値算出部は、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて前記補正値を算出することを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。
To achieve the above object, a projector according to the present invention calculates a correction value for correcting an image captured by the image capturing unit based on an image capturing unit and a first captured image obtained by capturing an object for calibration by the image capturing unit. A correction value calculation unit, a projection unit that projects an image, and a second captured image of the projection image projected by the projection unit captured by the imaging unit using the correction value calculated by the correction value calculation unit. A correction unit that corrects the pixel value of the reference pixel selected in the first captured image and another pixel different from the reference pixel in the first captured image. The correction value is calculated based on the pixel values of the above.
According to the present invention, the correction value calculated by the correction value calculation unit is calculated based on the pixel value of the reference pixel selected in the first captured image and the pixel value of another pixel different from the reference pixel. You. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated. In addition, by correcting the sensitivity distribution of the imaging device using the correction value, it is possible to maintain the accuracy of the correction using the captured image captured by the imaging device.
また、本発明は、上記プロジェクターにおいて、前記補正値算出部は、前記基準画素の画素値と、前記他の画素の画素値との比に基づいて前記補正値を算出することを特徴とする。
本発明によれば、基準画素の画素値と、他の画素の画素値との比に基づいて補正値が算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。
Further, according to the invention, in the projector, the correction value calculation unit calculates the correction value based on a ratio between a pixel value of the reference pixel and a pixel value of the another pixel.
According to the present invention, the correction value is calculated based on the ratio between the pixel value of the reference pixel and the pixel values of the other pixels. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated.
また、本発明は、上記プロジェクターにおいて、前記補正値算出部は、前記基準画素及び前記他の画素の画素値と、前記基準画素と前記他の画素との撮像画像における画素位置とに基づいて、前記他の画素の画素値の前記基準画素の画素値からの低下率を算出し、算出した低下率を用いて前記補正値を算出することを特徴とする。
本発明によれば、他の画素の画素値の基準画素の画素値からの低下率に基づいて補正値を算出することができる。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができ、補正値のデータ量を削減することができる。
Further, in the projector according to the above projector, the correction value calculation unit may be configured to determine a pixel value of the reference pixel and the other pixel, and a pixel position in a captured image of the reference pixel and the other pixel. A reduction rate of a pixel value of the other pixel from a pixel value of the reference pixel is calculated, and the correction value is calculated using the calculated reduction rate.
According to the present invention, it is possible to calculate the correction value based on the rate of decrease in the pixel value of another pixel from the pixel value of the reference pixel. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated, and the data amount of the correction value can be reduced.
また、本発明は、上記プロジェクターにおいて、前記撮像部は、均一光源から射出される均一光が投射された投射対象を、前記校正用の被写体として撮像して前記第１の撮像画像を生成し、前記補正値算出部は、前記第１の撮像画像に基づいて前記補正値を算出することを特徴とする。
本発明によれば、均一光を撮像して第１の撮像画像が生成される。従って、撮像装置が撮像する撮像画像データが、撮像装置の感度分布を反映した画像データとなり、撮像装置の感度分布を補正する補正値の補正精度を高めることができる。
Further, according to the invention, in the projector, the imaging unit generates a first captured image by capturing an image of a projection target on which uniform light emitted from a uniform light source is projected as the calibration subject, The correction value calculation unit may calculate the correction value based on the first captured image.
According to the present invention, a first captured image is generated by capturing uniform light. Therefore, the captured image data captured by the imaging device becomes image data reflecting the sensitivity distribution of the imaging device, and the correction accuracy of the correction value for correcting the sensitivity distribution of the imaging device can be improved.
また、本発明は、上記プロジェクターにおいて、前記撮像部は、複数の原色で構成される撮像画像を生成し、前記投射部は、複数の色光を変調して生成される画像光を投射し、前記撮像部によって、前記投射部の複数の色光のそれぞれに対応する色の前記均一光が投射された前記投射対象を撮像して、前記複数の色光に対応する複数の前記第１の撮像画像が生成され、前記補正値算出部は、前記複数の色光に対応する複数の前記第１の撮像画像に基づいて、前記撮像部の前記撮像画像を構成する複数の原色の各々に対応した前記補正値を算出することを特徴とする。
本発明によれ、複数の色光に対応する複数の第１の撮像画像に基づいて、撮像部の撮像画像を構成する複数の原色の各々に対応した補正値が算出される。従って、補正値を用いた第２の撮像画像の補正精度を高めることができる。
Further, in the projector according to the aspect of the invention, in the projector, the imaging unit may generate a captured image including a plurality of primary colors, and the projection unit may project image light generated by modulating a plurality of color lights. The imaging unit captures the projection target on which the uniform light of the color corresponding to each of the plurality of color lights of the projection unit is projected, and generates the plurality of first captured images corresponding to the plurality of color lights. The correction value calculation unit, based on the plurality of first captured images corresponding to the plurality of color lights, the correction value corresponding to each of a plurality of primary colors constituting the captured image of the imaging unit It is characterized in that it is calculated.
According to the present invention, a correction value corresponding to each of a plurality of primary colors forming an image captured by an imaging unit is calculated based on a plurality of first captured images corresponding to a plurality of color lights. Therefore, the correction accuracy of the second captured image using the correction value can be improved.
本発明の撮像装置は、撮像部と、前記撮像部の撮像画像を補正する補正値であって、校正用の被写体を前記撮像部により撮像した第１の撮像画像に基づいて算出された前記補正値を記憶する記憶部と、前記撮像部が撮像した第２の撮像画像を、前記記憶部が記憶する前記補正値を用いて補正する補正部と、を備え、前記補正値は、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて算出されることを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。
The image pickup apparatus according to the present invention includes an image pickup section and a correction value for correcting a picked-up image of the image pickup section, the correction value being calculated based on a first picked-up image picked up by the image pickup section of a calibration subject. A storage unit that stores a value, and a correction unit that corrects a second captured image captured by the imaging unit using the correction value stored in the storage unit. Is calculated based on the pixel value of the reference pixel selected in the captured image and the pixel value of another pixel different from the reference pixel in the first captured image.
According to the present invention, the correction value calculated by the correction value calculation unit is calculated based on the pixel value of the reference pixel selected in the first captured image and the pixel value of another pixel different from the reference pixel. You. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated. In addition, by correcting the sensitivity distribution of the imaging device using the correction value, it is possible to maintain the accuracy of the correction using the captured image captured by the imaging device.
本発明の撮像画像の補正方法は、校正用の被写体を撮像部により撮像した第１の撮像画像に基づいて、前記撮像部により撮像される撮像画像を補正する補正値を算出するステップと、投射された投射画像を前記撮像部により撮像した第２の撮像画像を、前記補正値を用いて補正するステップと、を有し、前記補正値を算出するステップは、前記第１の撮像画像において選択される基準画素の画素値と、前記第１の撮像画像における前記基準画素とは異なる他の画素の画素値とに基づいて前記補正値を算出することを特徴とする。
本発明によれば、補正値算出部が算出する補正値が、第１の撮像画像において選択された基準画素の画素値と、基準画素とは異なる他の画素の画素値とに基づいて算出される。従って、撮像装置の感度分布を補正する補正値を、簡易に算出することができる。また、補正値を用いて撮像装置の感度分布を補正することで、撮像装置により撮像される撮像画像を用いた補正の精度を維持することができる。
In the method for correcting a captured image according to the present invention, a correction value for correcting a captured image captured by the imaging unit is calculated based on a first captured image of a calibration subject captured by the imaging unit; Correcting the second captured image obtained by capturing the projected image obtained by the imaging unit using the correction value. The step of calculating the correction value includes selecting the correction value in the first captured image. The correction value is calculated based on a pixel value of the reference pixel to be calculated and a pixel value of another pixel different from the reference pixel in the first captured image.
According to the present invention, the correction value calculated by the correction value calculation unit is calculated based on the pixel value of the reference pixel selected in the first captured image and the pixel value of another pixel different from the reference pixel. You. Therefore, a correction value for correcting the sensitivity distribution of the imaging device can be easily calculated. In addition, by correcting the sensitivity distribution of the imaging device using the correction value, it is possible to maintain the accuracy of the correction using the captured image captured by the imaging device.
［第１実施形態］
以下、図面を参照して本発明の実施形態について説明する。
図１は、プロジェクター１００の構成を示す構成図である。
プロジェクター１００は、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置２００に接続され、画像供給装置２００から供給される画像信号に基づく画像を投射対象に投射する装置である。
画像供給装置２００には、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム装置等の映像出力装置、パーソナルコンピューター等を用いることができる。
また、投射対象は、建物や物体など、一様に平らではない物体であってもよいし、スクリーンＳＣや、建物の壁面等の平らな投射面を有するものであってもよい。本実施形態では平面のスクリーンＳＣに投射する場合を例示する。
[First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram illustrating a configuration of the
The
As the
The projection target may be an object that is not uniformly flat, such as a building or an object, or may have a flat projection surface such as a screen SC or a wall surface of a building. In the present embodiment, a case where the light is projected on a flat screen SC will be exemplified.
プロジェクター１００は、画像入力インターフェース部（以下、画像入力Ｉ／Ｆ部と略記する）１５１を備える。画像入力Ｉ／Ｆ部１５１は、ケーブルを接続するコネクター及びインターフェース回路（いずれも図示略）を備え、ケーブルを介して接続された画像供給装置２００から供給される画像信号を入力する。画像入力Ｉ／Ｆ部１５１は、入力された画像信号を画像データに変換して画像処理部１５３に出力する。
画像入力Ｉ／Ｆ部１５１が備えるインターフェースは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、ＩＥＥＥ１３９４、ＵＳＢ等のデータ通信用のインターフェースであってもよい。また、画像入力Ｉ／Ｆ部１５１のインターフェースは、ＭＨＬ（登録商標）、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ等の画像データ用のインターフェースであってもよい。
また、画像入力Ｉ／Ｆ部１５１は、コネクターとして、アナログ映像信号が入力されるＶＧＡ端子や、デジタル映像データが入力されるＤＶＩ（Digital Visual Interface）端子を備える構成であってもよい。さらに、画像入力Ｉ／Ｆ部１５１は、Ａ／Ｄ変換回路を備え、ＶＧＡ端子を介してアナログ映像信号が入力された場合、Ａ／Ｄ変換回路によりアナログ映像信号を画像データに変換し、画像処理部１５３に出力する。
The
The interface provided in the image input I /
Further, the image input I /
プロジェクター１００は、光学的な画像の形成を行い、スクリーンＳＣに画像を投射（表示）する表示部１１０を備える。表示部１１０は、光源部１１１、光変調装置１１２及び投射光学系１１３を備える。表示部１１０は、本発明の「投射部」に相当する。
The
光源部１１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）又はレーザー光源等の光源を備える。また、光源部１１１は、光源が発した光を光変調装置１１２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、光源部１１１は、投射光の光学特性を高めるためのレンズ群、偏光板、又は光源が発した光の光量を光変調装置１１２に至る経路上で低減させる調光素子等（いずれも図示略）を備えていてもよい。
The light source unit 111 includes a light source such as a xenon lamp, an ultra-high pressure mercury lamp, an LED (Light Emitting Diode), or a laser light source. Further, the light source unit 111 may include a reflector and an auxiliary reflector that guide light emitted from the light source to the
光源部１１１は、光源駆動部１２１により駆動される。光源駆動部１２１は、内部バス１８０に接続される。光源駆動部１２１は、制御部１７０の制御に従って、光源部１１１の光源を点灯及び消灯させる。
The light source unit 111 is driven by the light
光変調装置１１２は、例えば赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の三原色に対応した３枚の液晶パネルを備える。光源部１１１が発する光はＲＧＢの３色の色光に分離され、対応する液晶パネルに入射される。３枚の液晶パネルは、透過型の液晶パネルであり、透過する光を変調して画像光を生成する。各液晶パネルを通過して変調された画像光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１１３に射出される。
The
光変調装置１１２には、光変調装置駆動部１２２が接続される。光変調装置駆動部１２２は、内部バス１８０に接続される。
光変調装置駆動部１２２は、画像処理部１５３から入力される表示画像信号（後述する）に基づいてＲ，Ｇ，Ｂの画像信号を生成する。光変調装置駆動部１２２は、生成したＲ，Ｇ，Ｂの画像信号に基づいて、光変調装置１１２の対応する液晶パネルを駆動し、各液晶パネルに画像光を描画する。
The light modulation
The light
投射光学系１１３は、光変調装置１１２により変調された画像光をスクリーンＳＣに投射して、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系１１３は、スクリーンＳＣの投射画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。
The projection
プロジェクター１００は、操作パネル１３１及び入力処理部１３３を備える。入力処理部１３３は、内部バス１８０に接続される。
ユーザーインターフェースとして機能する操作パネル１３１には、各種の操作キーや、液晶パネルにて構成された表示画面が表示される。入力処理部１３３は、操作パネル１３１に表示された操作キーが操作されると、操作されたキーに対応したデータを制御部１７０に出力する。また、入力処理部１３３は、制御部１７０の制御に従って、操作パネル１３１に各種画面を表示させる。
また、操作パネル１３１には、操作パネル１３１への接触を検出するタッチセンサーが重ね合わされて一体形成される。入力処理部１３３は、ユーザーの指等が接触した操作パネル１３１の位置を入力位置として検出し、検出した入力位置に対応したデータを制御部１７０に出力する。
The
On the
In addition, a touch sensor for detecting contact with the
また、プロジェクター１００は、ユーザーが使用するリモコン５から送信される赤外線信号を受光するリモコン受光部１３２を備える。リモコン受光部１３２は、入力処理部１３３に接続される。
リモコン受光部１３２は、リモコン５から送信される赤外線信号を受光する。入力処理部１３３は、リモコン受光部１３２が受光した赤外線信号をデコードして、リモコン５における操作内容を示すデータを生成し、制御部１７０に出力する。
Further, the
Remote control
プロジェクター１００は、撮像部１４０を備える。
撮像部１４０は、撮像光学系、撮像素子及びインターフェース回路等を有するカメラを備え、制御部１７０の制御に従って投射光学系１１３の投射方向を撮像し、撮像画像データを生成する。
撮像部１４０の撮像範囲、すなわち画角は、スクリーンＳＣとその周辺部とを含む範囲である。撮像部１４０は、生成した撮像画像データを制御部１７０に出力する。
The
The
The imaging range of the
プロジェクター１００は、無線通信部１４５を備える。無線通信部１４５は、内部バス１８０に接続される。無線通信部１４５は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部１７０の制御の下、外部の装置との間で無線通信を実行する。無線通信部１４５の無線通信方式は、例えば無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band）、赤外線通信等の近距離無線通信方式、又は携帯電話回線を利用した無線通信方式を採用できる。
The
プロジェクター１００は、画像処理系を備える。画像処理系は、プロジェクター１００の全体を統括的に制御する制御部１７０を中心に構成され、この他に、画像処理部１５３、フレームメモリー１５５及び記憶部１６０を備える。制御部１７０、画像処理部１５３及び記憶部１６０は、内部バス１８０に接続される。
The
画像処理部１５３は、制御部１７０の制御に従って、画像入力Ｉ／Ｆ部１５１から入力される画像データをフレームメモリー１５５に展開し、展開した画像データに対して画像処理を実行する。画像処理部１５３が実行する画像処理には、例えば、解像度変換（スケーリング）処理、フレームレート変換処理、形状補正処理、ズーム処理、色調補正処理、輝度補正処理等が含まれる。また、これらのうち複数の処理を組み合わせて実行することも勿論可能である。
The
解像度変換処理は、画像処理部１５３が、画像データの解像度を、制御部１７０により指定された解像度、例えば光変調装置１１２の液晶パネルの表示解像度に合わせて変換する処理である。
フレームレート変換処理は、画像処理部１５３が、画像データのフレームレートを、制御部１７０により指定されたフレームレートに変換する処理である。
形状補正処理は、画像処理部１５３が、制御部１７０から入力される補正パラメーターに従って画像データを変換して、スクリーンＳＣに投射する画像の形状を補正する処理である。
ズーム処理は、リモコン５や操作パネル１３１の操作によりズームが指示された場合に、画像処理部１５３が、画像を拡大／縮小する処理である。
色調補正処理は、画像データの色調を変換する処理であり、画像処理部１５３は、制御部１７０により指定された色調に合わせて画像データに含まれる各画素のデータを変更する。この処理において、プロジェクター１００は、映画鑑賞に適した色調、スクリーンＳＣが明るい環境に設置された場合に適した色調、黒板などの非白色のスクリーンＳＣに投射する場合に適した色調等を実現できる。色調補正処理に加え、コントラスト調整等を行ってもよい。
輝度補正処理は、画像処理部１５３が、画像データの輝度を補正する処理である。輝度補正処理により、画像データの輝度が、光源部１１１の発光状態やプロジェクター１００が設置された環境の明るさ等に対応した輝度に補正される。
画像処理部１５３が実行する上記の処理の内容、パラメーター、及び処理の開始、終了のタイミングは制御部１７０により制御される。
画像処理部１５３は、処理後の画像データをフレームメモリー１５５から読み出し、表示画像信号として光変調装置駆動部１２２に出力する。
The resolution conversion process is a process in which the
The frame rate conversion process is a process in which the
The shape correction process is a process in which the
The zoom process is a process in which the
The color tone correction process is a process of converting the color tone of the image data, and the
The brightness correction process is a process in which the
The content and parameters of the above-described processing executed by the
The
記憶部１６０は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーにより構成される。記憶部１６０は、制御部１７０が処理するデータや制御部１７０が実行する制御プログラムを不揮発的に記憶する。また、記憶部１６０は、画像処理部１５３が実行する各種処理の設定値や、制御部１７０が参照するテーブルを記憶する。
また、記憶部１６０は、制御部１７０により生成された補正値を記憶する。この補正値は、撮像部１４０により撮像された撮像画像データを補正する補正値である。補正値の詳細については後述する。
さらに、記憶部１６０は、補正値の算出の際にスクリーンＳＣ等の投射対象に投射されるキャリブレーション画像データを記憶する。キャリブレーション画像データには、例えば、Ｒ，Ｇ，Ｂ単色のラスター画像データを用いることができる。
The
The
Further, the
制御部１７０は、ＣＰＵ、ＲＯＭ及びＲＡＭ（いずれも図示略）等のハードウェアを備える。ＲＯＭは、フラッシュＲＯＭ等の不揮発性の記憶装置であり、制御プログラムやデータを格納する。ＲＡＭは、ＣＰＵのワークエリアを構成する。ＣＰＵは、ＲＯＭや記憶部１６０から読み出した制御プログラムをＲＡＭに展開し、ＲＡＭに展開された制御プログラムを実行してプロジェクター１００の各部を制御する。
The
また、制御部１７０は、機能ブロックとして、投射制御部１７１と、撮像制御部１７２と、補正値算出部１７３とを備える。これらの機能ブロックは、ＲＯＭや記憶部１６０に記憶された制御プログラムをＣＰＵが実行することで実現される。
Further, the
投射制御部１７１は、表示部１１０における画像の表示態様を調整し、スクリーンＳＣへの画像の投射を実行する。
具体的には、投射制御部１７１は、画像処理部１５３を制御して、画像入力Ｉ／Ｆ部１５１により変換された画像データに対する画像処理を実施させる。この際、投射制御部１７１は、画像処理部１５３が処理に必要なパラメーターを記憶部１６０から読み出して、画像処理部１５３に出力してもよい。
また、投射制御部１７１は、光源駆動部１２１を制御して光源部１１１の光源を点灯させ、光源の輝度を調整させる。これにより、光源が発光し、光変調装置１１２が変調する画像光が投射光学系１１３によりスクリーンＳＣに投射される。
The
Specifically, the
Further, the
撮像制御部１７２は、撮像部１４０に撮像を実行させ、撮像部１４０が生成した撮像画像データを取得する。撮像制御部１７２は、取得した撮像画像データを補正値算出部１７３に出力する。
The
補正値算出部１７３は、撮像部１４０により撮像される撮像画像データを補正する補正値を生成する。
補正値算出部１７３が生成する補正値は、撮像部１４０の感度分布の補正に用いられる。撮像部１４０は、レンズ収差等の影響により、撮像部１４０の撮像素子が出力する画素値が、撮像素子の位置によって異なるという感度分布が生じる。この感度分布は、特に、撮像画素の中心部よりも周辺部において、撮像画素から出力される画素値が低下する。このため、撮像部１４０が撮像した撮像画像データに基づいて投射対象に投射される画像を補正する場合に、投射された画像の輝度や色度の差を正確に測定することができず、誤差が生じる場合がある。また、撮像部１４０の感度分布は、レンズ表面にコーティングされた紫外線や、赤外線のカットフィルターの影響を受け、撮像部１４０が撮像する画像の色によっても異なる。従って、撮像部１４０の感度分布を補正する補正値は、撮像画像データを構成する複数の原色ごとに算出する必要がある。
そこで、本実施形態では、補正値算出部１７３が、投射制御部１７１及び撮像制御部１７２を制御してキャリブレーションを実行し、撮像部１４０が生成する撮像画像データの画素値を補正する補正値を生成する。
The correction
The correction value generated by the correction
Therefore, in the present embodiment, the correction
キャリブレーションが開始されると、補正値算出部１７３は、投射制御部１７１を制御して、スクリーンＳＣ等の投射対象にキャリブレーション画像（校正用の被写体）を投射させる。このキャリブレーション画像は、記憶部１６０に記憶されたキャリブレーション画像データに基づく画像であり、Ｒ，Ｇ，Ｂの単色のラスター画像である。
When the calibration is started, the correction
補正値算出部１７３は、キャリブレーション画像がスクリーンＳＣに投射されると、撮像制御部１７２に撮像を実行させ、キャリブレーション画像を撮像した撮像画像データ（第１の撮像画像）を生成する。補正値算出部１７３は、生成された撮像画像データに基づいて、撮像部１４０の撮像画像データを補正する補正値を生成する。補正値算出部１７３は、生成した補正値を記憶部１６０に記憶させる。
When the calibration image is projected on the screen SC, the correction
補正処理部１７４は、撮像制御部１７２により生成された撮像画像データを、補正値算出部１７３により生成された補正値を用いて補正する。補正処理部１７４は、本発明の「補正部」に相当する。
The
撮像部１４０、記憶部１６０及び制御部１７０は、撮像装置３００を構成する。また、撮像装置３００として撮像部１４０、記憶部１６０及び制御部１７０以外の他の構成を備えていてもよい。
The
図２は、制御部１７０の動作を示すフローチャートである。
制御部１７０は、入力処理部１３３からの入力を監視し、キャリブレーションの実行指示が入力されたか否かを判定する（ステップＳ１）。入力処理部１３３は、操作パネル１３１又はリモコン５に設けられたスイッチやボタンが押下されると、押下されたスイッチ又はボタンに対応した操作信号を制御部１７０に出力する。
制御部１７０は、入力処理部１３３から入力される操作信号に基づいて、キャリブレーションの実行指示が入力されたか否かを判定する。
FIG. 2 is a flowchart showing the operation of the
The
The
制御部１７０は、キャリブレーションの実行指示が入力されていないと判定した場合（ステップＳ１／ＮＯ）、入力処理部１３３から入力された操作信号に対応した処理を実行して、ステップＳ１の判定に戻る。
また、キャリブレーションの実行指示が入力された場合（ステップＳ１／ＹＥＳ）、補正値算出部１７３が、投射制御部１７１にキャリブレーション画像のスクリーンＳＣへの投射を指示する。
When determining that the calibration execution instruction has not been input (step S1 / NO), the
When a calibration execution instruction is input (step S1 / YES), the correction
投射制御部１７１は、スクリーンＳＣに投射するキャリブレーション画像の色を選択する。次に、投射制御部１７１は、選択した色のキャリブレーション画像データを記憶部１６０から読み出し、画像処理部１５３に出力する。画像処理部１５３は、入力されるキャリブレーション画像データをフレームメモリー１５５に展開し、展開したキャリブレーション画像に基づいて表示画像信号を生成する。画像処理部１５３は、生成した表示画像信号を表示部１１０に出力する。
The
表示部１１０は、画像処理部１５３から入力される表示画像信号に基づく画像光を生成する。表示部１１０により生成された画像光は、投射光学系１１３により投射され、プロジェクター１００の前面に配置された積分球（図示略）に入射される。積分球は、本発明の「均一光源」に相当する。
積分球は、内面に拡散反射面が形成され、入射された投射光を拡散反射面で繰り返し拡散反射して、輝度及び色度が均一化された投射光を生成する（ステップＳ２）。積分球により輝度及び色度が均一化された投射光は、積分球から出射され、投射対象であるスクリーンＳＣに投射される（ステップＳ２）。
The
The integrating sphere has a diffuse reflection surface formed on the inner surface, and repeatedly diffuses and reflects the incident projection light on the diffusion reflection surface to generate projection light with uniform luminance and chromaticity (step S2). The projection light whose luminance and chromaticity have been made uniform by the integrating sphere is emitted from the integrating sphere and projected on the screen SC to be projected (step S2).
次に、補正値算出部１７３は、撮像制御部１７２に撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、投射対象に投射された投射画像を撮像し、撮像画像データを生成する（ステップＳ３）。撮像制御部１７２は、生成した撮像画像データを記憶部１６０に記憶させる。
Next, the correction
次に、補正値算出部１７３は、Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成したか否かを判定する（ステップＳ４）。すなわち、補正値算出部１７３は、Ｒ，Ｇ，Ｂの各色に対応したキャリブレーション画像をスクリーンＳＣに投射し、撮像部１４０で撮像して撮像画像データを生成したか否かを判定する。
Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成していないと判定した場合（ステップＳ４／ＮＯ）、補正値算出部１７３は、ステップＳ２及びＳ３の処理を繰り返し行って撮像画像データを生成する。Ｒ，Ｇ，Ｂの各色に対応した撮像画像データを生成したと判定した場合（ステップＳ４／ＹＥＳ）、補正値算出部１７３は、撮像画像データに基づいて補正値を算出する（ステップＳ５）。
Next, the correction
If it is determined that the captured image data corresponding to each of the colors R, G, and B has not been generated (step S4 / NO), the correction
まず、補正値算出部１７３は、Ｒ，Ｇ，Ｂの撮像画像データからいずれか１つを選択し、選択した撮像画像データを読み出す。以下では、Ｒのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｒ）と表記し、Ｇのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｇ）と表記する。また、Ｂのキャリブレーション画像を撮像した撮像画像データを撮像画像データ（Ｂ）と表記する。以下では、撮像画像データ（Ｒ）が選択された場合について説明する。
First, the correction
補正値算出部１７３は、まず、選択した撮像画像データ（Ｒ）の中心に位置する画素（以下、中心画素という）を基準画素として選択する。補正値算出部１７３は、選択した中心画素のＲ，Ｇ，Ｂの色ごとの画素値を取得する。画素値は、画素のＲ，Ｇ，Ｂの色ごとの輝度を示す値である。また、以下では、Ｒの画素値をＲ値、Ｇの画素値をＧ値、Ｂの画素値をＢ値と表記する。次に、補正値算出部１７３は、撮像画像データ（Ｒ）を構成する画素から処理の対象となる画素（以下、処理画素という）を選択し、選択した処理画素のＲ，Ｇ，Ｂの色ごとの画素値を取得する。処理画素は、基準画素として選択した中心画素とは異なる画素である。
処理画素の画素値を取得すると、補正値算出部１７３は、中心画素の画素値と、処理画素の画素値とに基づいて補正値を算出する。具体的には、補正値算出部１７３は、中心画素の画素値と、処理画素の画素値とのＲ，Ｇ，Ｂの色ごとの比を求める。
補正値算出部１７３は、撮像画像データ（Ｒ）を構成し、中心画素以外のすべての画素を処理画素として選択し、中心画素と処理画素との画素値の比をＲ，Ｇ，Ｂの色ごとの比を求める。
First, the correction
Upon acquiring the pixel value of the processing pixel, the correction
The correction
図３は、撮像画像データの画素値の分布を示す図である。より詳細には、撮像画像データのＹ軸方向の中心（Ｙｃ）を通り、Ｘ軸に平行する方向での画素値の分布を示す。撮像画像データの水平方向をＸ軸方向といい、撮像画像データの垂直方向をＹ軸方向という。
図３には、中心画素のＲ，Ｇ，Ｂ値と、処理画素のＲ，Ｇ，Ｂ値とを示す。中心画素のＲ，Ｇ，Ｂ値をそれぞれＲｒ（Ｘｃ，Ｙｃ）、Ｇｒ（Ｘｃ，Ｙｃ）、Ｂｒ（Ｘｃ，Ｙｃ）と表記する。また、図３において、処理画素の座標を（Ｘ１，Ｙｃ）と表記し、処理画素のＲ，Ｇ，Ｂ値をそれぞれＲｒ（Ｘ１，Ｙｃ）、Ｇｒ（Ｘ１，Ｙｃ）、Ｂｒ（Ｘ１，Ｙｃ）と表記する。
FIG. 3 is a diagram illustrating a distribution of pixel values of captured image data. More specifically, the distribution of pixel values in a direction passing through the center (Yc) of the captured image data in the Y-axis direction and parallel to the X-axis is shown. The horizontal direction of the captured image data is called an X-axis direction, and the vertical direction of the captured image data is called a Y-axis direction.
FIG. 3 shows the R, G, B values of the center pixel and the R, G, B values of the processing pixel. The R, G, and B values of the central pixel are denoted by Rr (Xc, Yc), Gr (Xc, Yc), and Br (Xc, Yc), respectively. In FIG. 3, the coordinates of the processing pixel are represented by (X1, Yc), and the R, G, and B values of the processing pixel are Rr (X1, Yc), Gr (X1, Yc), and Br (X1, Yc), respectively. ).
投射対象には、積分球により輝度及び色度が均一化された画像光が投射され、撮像部１４０は、輝度及び色度が均一化された画像光を撮像する。従って、撮像部１４０が撮像する画像光の光量及び波長は、投射対象の領域によらず一定となる。従って、撮像部１４０が撮像する撮像画像データの画素値は、撮像部１４０の感度分布を反映させた値となる。
補正値算出部１７３は、基準画素として選択した中心画素と、処理対象として選択した処理画素との画素値の比をＲ，Ｇ，Ｂの色成分ごとに算出して、算出した画素値の比を処理画素における補正値とする。
Image light whose luminance and chromaticity are uniformed by the integrating sphere is projected onto the projection target, and the
The correction
撮像画像データ（Ｒ）から選択した処理画素のＲ，Ｇ，Ｂ値をＲｒ（Ｘ，Ｙ）、Ｇｒ（Ｘ，Ｙ）、Ｂｒ（Ｘ，Ｙ）と表記し、中心画素のＲ値と、処理画素のＲ値との比をＫｒ（Ｒ）と表記する。
中心画素のＲ値と、処理画素のＲ値との比Ｋｒ（Ｒ）は、以下の式（１）により表される。
Ｋｒ（Ｒ）＝Ｒｒ（Ｘｃ，Ｙｃ）／Ｒｒ（Ｘ，Ｙ）・・・（１）
The R, G, and B values of the processing pixel selected from the captured image data (R) are denoted as Rr (X, Y), Gr (X, Y), and Br (X, Y). The ratio of the processing pixel to the R value is denoted as Kr (R).
The ratio Kr (R) between the R value of the central pixel and the R value of the processing pixel is represented by the following equation (1).
Kr (R) = Rr (Xc, Yc) / Rr (X, Y) (1)
同様に中心画素のＧ値と、処理画素のＧ値との比をＫｒ（Ｇ）と表記し、中心画素のＢ値と、処理画素のＢ値との比をＫｒ（Ｂ）と表記すると、Ｋｒ（Ｇ）及びＫｒ（Ｂ）は、以下の式（２）及び（３）により表される。
Ｋｒ（Ｇ）＝Ｇｒ（Ｘｃ，Ｙｃ）／Ｇｒ（Ｘ，Ｙ）・・・（２）
Ｋｒ（Ｂ）＝Ｂｒ（Ｘｃ，Ｙｃ）／Ｂｒ（Ｘ，Ｙ）・・・（３）
Similarly, when the ratio between the G value of the center pixel and the G value of the processing pixel is expressed as Kr (G), and the ratio between the B value of the center pixel and the B value of the processing pixel is expressed as Kr (B), Kr (G) and Kr (B) are represented by the following equations (2) and (3).
Kr (G) = Gr (Xc, Yc) / Gr (X, Y) (2)
Kr (B) = Br (Xc, Yc) / Br (X, Y) (3)
補正値算出部１７３は、選択していない他の撮像画像データ（Ｇ）、撮像画像データ（Ｂ）についても同様に補正値を算出する。撮像画像データ（Ｇ）から算出される補正値を以下の式（４）〜（６）に示し、撮像画像データ（ｂ）から算出される補正値を以下の式（７）〜（９）に示す。
Ｋｇ（Ｒ）＝Ｒｇ（Ｘｃ，Ｙｃ）／Ｒｇ（Ｘ，Ｙ）・・・（４）
Ｋｇ（Ｇ）＝Ｇｇ（Ｘｃ，Ｙｃ）／Ｇｇ（Ｘ，Ｙ）・・・（５）
Ｋｇ（Ｂ）＝Ｂｇ（Ｘｃ，Ｙｃ）／Ｂｇ（Ｘ，Ｙ）・・・（６）
Ｋｂ（Ｒ）＝Ｒｂ（Ｘｃ，Ｙｃ）／Ｒｂ（Ｘ，Ｙ）・・・（７）
Ｋｂ（Ｇ）＝Ｇｂ（Ｘｃ，Ｙｃ）／Ｇｂ（Ｘ，Ｙ）・・・（８）
Ｋｂ（Ｂ）＝Ｂｂ（Ｘｃ，Ｙｃ）／Ｂｂ（Ｘ，Ｙ）・・・（９）
The correction
Kg (R) = Rg (Xc, Yc) / Rg (X, Y) (4)
Kg (G) = Gg (Xc, Yc) / Gg (X, Y) (5)
Kg (B) = Bg (Xc, Yc) / Bg (X, Y) (6)
Kb (R) = Rb (Xc, Yc) / Rb (X, Y) (7)
Kb (G) = Gb (Xc, Yc) / Gb (X, Y) (8)
Kb (B) = Bb (Xc, Yc) / Bb (X, Y) (9)
補正値算出部１７３は、すべての撮像画像データ（Ｒ），（Ｇ），（Ｂ）で補正値を算出すると、算出した補正値を記憶部１６０に記憶させる（ステップＳ６）。
After calculating the correction values for all the captured image data (R), (G), and (B), the correction
上述の説明では、撮像画像データを構成するすべての画素で補正値を算出する場合を説明したが、撮像画像データを構成するすべての画素で補正値を算出しなくもてよい。
例えば、撮像画像データを構成する画素から、処理画素を所定画素の間隔で選択して補正値を算出してもよい。補正値を算出していない画素については、隣接する画素の補正値に基づく線形補間により、補正値を算出してもよい。
例えば、撮像部１４０が生成する撮像画像データの解像度がフルＨＤ（１９２０×１０８０）であった場合、撮像画像データの１画素につき９個（３×３）の補正値を持つことになるが、所定画素ごとに補正値を算出することで、キャリブレーション値として記憶部１６０に記憶させるデータ量を削減することができる。
また、上述した説明では、基準画素として撮像画像データの中心に位置する中心画素を選択したが、基準画素は中心画素に限定されるものではない。また、例えば、基準画素として複数の画素を選択してもよい。例えば、撮像画像データを複数の領域に分割し、分割した各領域の中心画素を基準画素として選択してもよい。
In the above description, the case where the correction values are calculated for all the pixels constituting the captured image data has been described, but the correction values need not be calculated for all the pixels constituting the captured image data.
For example, a correction value may be calculated by selecting processing pixels at predetermined pixel intervals from the pixels constituting the captured image data. For pixels for which a correction value has not been calculated, the correction value may be calculated by linear interpolation based on the correction values of adjacent pixels.
For example, when the resolution of the captured image data generated by the
In the above description, the center pixel located at the center of the captured image data is selected as the reference pixel, but the reference pixel is not limited to the center pixel. Further, for example, a plurality of pixels may be selected as reference pixels. For example, the captured image data may be divided into a plurality of regions, and a central pixel of each divided region may be selected as a reference pixel.
補正処理部１７４は、リモコン５又は操作パネル１３１が操作され、スクリーンＳＣに投射された投射画像の画質を補正する画質補正の指示が入力されると、撮像制御部１７２に、撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、スクリーンＳＣに投射された投射画像を撮像し、撮像画像データ（第２の撮像画像）を生成する。撮像制御部１７２は、生成した撮像画像データを補正処理部１７４に出力する。
When the remote controller 5 or the
補正処理部１７４は、撮像制御部１７２から撮像画像データが入力されると、記憶部１６０から補正値を読み出して、入力された撮像画像データを構成する各画素の画素値を補正する。
補正処理部１７４は、撮像画像データを構成する画素のＲ値を、上述した式（１）に示すＫｒ（Ｒ）と、式（４）に示すＫｇ（Ｒ）と、式（７）に示すＫｂ（Ｒ）とを用いて補正する。同様に、補正処理部１７４は、撮像画像データを構成する画素のＧ値を、上述した式（２）に示すＫｒ（Ｇ）と、式（５）に示すＫｇ（Ｇ）と、式（８）に示すＫｂ（Ｇ）とを用いて補正する。また、補正処理部１７４は、撮像画像データを構成する画素のＢ値を、上述した式（３）に示すＫｒ（Ｂ）と、式（６）に示すＫｇ（Ｂ）と、式（９）に示すＫｂ（Ｂ）とを用いて補正する。
When the captured image data is input from the
The
補正処理部１７４により補正された撮像画像データは、制御部１７０の他の機能ブロック（図示略）に入力され、撮像画像データの輝度や色度が画素単位、又は所定サイズの領域ごとに算出される。そして制御部１７０は、算出した撮像画像データの輝度や色度に基づいて、画像処理部１５３が補正に使用するパラメーターを選択し、画像処理部１５３に出力する。
The captured image data corrected by the
以上説明したように本発明のプロジェクター及び撮像画像の補正方法を適用した第１実施形態は、補正値算出部１７３が、撮像部１４０により校正用の被写体としてのキャリブレーション画像を撮像した撮像画像データに基づいて、撮像部１４０の撮像画像データを補正する補正値を算出する。また、補正値算出部１７３は、キャリブレーション画像を撮像した撮像画像データにおいて選択される基準画素の画素値と、撮像画像データにおける基準画素とは異なる他の処理画素の画素値とに基づいて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができる。
プロジェクター１００は、表示部１１０が投射する投射画像を撮像部１４０で撮像した撮像画像データを、補正値算出部１７３が算出した補正値を用いて補正する補正処理部１７４を備える。撮像部１４０により撮像される撮像画像を用いた補正の精度を維持することができる。
As described above, in the first embodiment to which the projector and the captured image correction method of the present invention are applied, the correction
The
また、補正値算出部１７３は、基準画素の画素値と、処理画素の画素値との比に基づいて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができる。
Further, the correction
また、撮像部１４０は、均一光源としての積分球から射出される均一光が投射された投射対象を撮像して撮像画像データを生成する。補正値算出部１７３は、撮像された撮像画像データに基づいて補正値を算出する。従って、撮像部１４０が撮像する撮像画像データが、撮像部１４０の感度分布を反映した画像データとなり、撮像部１４０の感度分布を補正する補正値の補正精度を高めることができる。
Further, the
また、投射対象に投射されたＲ，Ｇ，Ｂそれぞれの色光を撮像部１４０で撮像して撮像画像データ（Ｒ）、（Ｇ）及び（Ｂ）をそれぞれに生成する。生成した撮像画像データ（Ｒ）、（Ｇ）及び（Ｂ）のそれぞれから、撮像画像データを構成するＲ，Ｇ，Ｂの各々に対応する補正値を算出する。従って、撮像部により撮像される撮像画像データの補正精度を高めることができる。
Further, the R, G, and B color lights projected on the projection target are captured by the
［第２実施形態］
第２実施形態の構成は、上述した第１実施形態の構成と同一であるため、構成の説明は省略する。
上述した第１実施形態では、撮像画像データから基準画素を選択し、選択した基準画素の画素値と、撮像画像データを構成する各画素の画素値との比を補正値として算出した。
第２実施形態の補正値算出部１７３は、Ｒ，Ｇ，Ｂの色ごとに撮像画像データを生成すると、基準画素と、撮像画像データを構成する処理画素との画素値に基づいて、画素値の低下率（以下、低下率をαと表記する）を算出する。なお、第２実施形態においても、撮像画像データの中心画素を基準画素として選択する場合について説明する。
[Second embodiment]
The configuration of the second embodiment is the same as the configuration of the above-described first embodiment, and a description of the configuration will be omitted.
In the first embodiment described above, the reference pixel is selected from the captured image data, and the ratio between the pixel value of the selected reference pixel and the pixel value of each pixel constituting the captured image data is calculated as the correction value.
When generating the captured image data for each of the R, G, and B colors, the correction
補正値算出部１７３は、例えば、中心画素のＲ，Ｇ，Ｂ値と、処理画素として選択した各画素のＲ，Ｇ，Ｂ値との比をそれぞれに算出して、Ｒ，Ｇ，Ｂの色ごとに画素値の低下率αを算出する。低下率αは、例えば、処理画素の画素値を、中心画素の画素値で除算した値である。
The correction
次に、補正値算出部１７３は、算出した低下率αと、中心画素と処理画素との距離（以下、ｒと表記する）とに基づいて、低下係数（以下、Ｌと表記する）を算出する。低下係数Ｌの算出式を以下の式（１０）に示す。補正値算出部１７３は、Ｒ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。また、距離ｒは、撮像画像データにおける中心画素及び処理画素の座標に基づいて算出される。
Ｌ＝α／ｒ２・・・（１０）
Next, the correction
L = α / r 2 (10)
補正値算出部１７３は、上述した第１実施形態と同様に、撮像画像データ（Ｒ）からＲ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。また、補正値算出部１７３は、他の撮像画像データ（Ｇ）及（Ｂ）についてもＲ，Ｇ，Ｂの色ごとに低下係数Ｌを算出する。すなわち、補正値算出部１７３は、投射画像の原色数と、撮像画像データの原色数との積である９個の低下係数Ｌを算出する。
補正値算出部１７３は、この低下係数Ｌを撮像画像データの画素ごとに算出してもよいし、所定画素ごとに算出してもよい。補正値算出部１７３は、算出した低下係数Ｌを、撮像画像データにおける各画素の座標に対応付けて記憶部１６０に記憶させる。
The correction
The correction
補正処理部１７４は、リモコン５又は操作パネル１３１が操作され、スクリーンＳＣに投射された投射画像の画質を補正する画質補正の指示が入力されると、撮像制御部１７２に、撮像画像データの生成を指示する。撮像制御部１７２は、撮像部１４０を制御して、スクリーンＳＣに投射された投射画像を撮像し、撮像画像データを生成する。撮像制御部１７２は、生成した撮像画像データを補正処理部１７４に出力する。
When the remote controller 5 or the
補正処理部１７４は、撮像制御部１７２から撮像画像データが入力されると、入力された撮像画像データを構成する各画素の画素値を補正する補正値を算出する。
まず、補正処理部１７４は、撮像画像データを構成する画素の中から処理対象となる画素を選択する。選択された画素を選択画素という。
補正処理部１７４は、撮像画像データにおける中心画素と選択画素との座標に基づいて、中心画素と選択画素との距離ｒを算出する。補正値算出部１７３は、上述した式（１０）に、算出した距離ｒと、記憶部１６０から読み出した選択画素の低下係数Ｌとを代入し、選択画素における低下率αを算出する。補正値算出部１７３は、算出した低下率αの逆数（１／α）を、補正値として算出する。
When the captured image data is input from the
First, the
The
補正処理部１７４により補正された撮像画像データは、制御部１７０の他の機能ブロック（図示略）に入力され、撮像画像データの輝度や色度が画素単位、又は所定サイズの領域ごとに算出される。そして制御部１７０は、算出した撮像画像データの輝度や色度に基づいて、画像処理部１５３が補正に使用するパラメーターを選択し、画像処理部１５３に出力する。
The captured image data corrected by the
以上説明したように第２実施形態の補正値算出部１７３は、中心画素及び処理画素の画素値と、中心画素と処理画素との撮像画像における画素位置とに基づいて、処理画素の画素値の中心画素の画素値からの低下率αを算出する。補正値算出部１７３は、算出した低下率αを用いて補正値を算出する。従って、撮像部１４０の感度分布を補正する補正値を、簡易に算出することができ、補正値のデータ量を削減することができる。
As described above, the correction
上述した第１及び第２実施形態は、本発明の好適な実施の形態である。ただし、上述した第１及び第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した第１及び第２実施形態では、撮像装置３００として、プロジェクター１００内に搭載された撮像装置を例に説明したが、撮像装置３００は、プロジェクター１００に搭載されている必要はなく、プロジェクター１００とは別個の装置として構成することもできる。
The first and second embodiments described above are preferred embodiments of the present invention. However, the present invention is not limited to the above-described first and second embodiments, and various modifications can be made without departing from the gist of the present invention.
For example, in the first and second embodiments described above, the
また、上述した第１及び第２実施形態は、校正用の被写体として、表示部１１０が投射対象に投射したキャリブレーション画像を例に説明したが、校正用の被写体は、キャリブレーション画像に限定されない。例えば、スクリーンＳＣや部屋の壁を校正用の被写体として撮像し、撮像画像データを生成してもよい。
In the above-described first and second embodiments, the calibration image projected on the projection target by the
また、上述した第１及び第２実施形態では、１台のプロジェクター１００によりキャリブレーション画像の投射と、撮像画像データの生成とを行ったが、キャリブレーション画像の投射を別のプロジェクター１００により行ってもよい。
この場合、キャリブレーション画像を投射するプロジェクター１００が備える光源を、撮像画像データを生成するプロジェクター１００が備える光源に一致させる必要がある。すなわち、光源から射出される光のスペクトルを、撮像画像データを生成するプロジェクター１００が備える光源と同一にする必要がある。光源から射出される光のスペクトルが同一でないと、投射光学系１１３のレンズによるレンズ収差によって生じる誤差が一致しないからである。また、キャリブレーション画像を投射するプロジェクター１００が備える投射レンズを、撮像画像データを生成するプロジェクター１００が備える投射レンズに一致させる必要がある。投射光学系１１３のレンズによるレンズ収差を一致させるためである。
In the first and second embodiments described above, the projection of the calibration image and the generation of the captured image data are performed by one
In this case, it is necessary to match the light source of the
また、上述した第１及び第２実施形態では、光源が発した光を変調する光変調装置１１２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
In the first and second embodiments described above, a configuration using three transmissive liquid crystal panels corresponding to each color of RGB as the
また、上述した第１及び第２実施形態では、プロジェクター１００として、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１００を示したが、本発明はこれに限定されない。
また、図１に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
In the first and second embodiments described above, the front
Each functional unit shown in FIG. 1 shows a functional configuration, and a specific mounting form is not particularly limited. That is, it is not always necessary to implement hardware corresponding to each functional unit individually, and it is of course possible to adopt a configuration in which one processor executes a program to realize the functions of a plurality of functional units. In the above-described embodiment, some of the functions realized by software may be realized by hardware, or some of the functions realized by hardware may be realized by software. In addition, the specific detailed configuration of other parts of the
５…リモコン、１００…プロジェクター、１１０…表示部、１１１…光源部、１１２…光変調装置、１１３…投射光学系、１２１…光源駆動部、１２２…光変調装置駆動、１３１…操作パネル、１３２…リモコン受光部、１３３…入力処理部、１４０…撮像部、１４５…無線通信部、１５１…画像入力Ｉ／Ｆ部、１５３…画像処理部、１５５…フレームメモリー、１６０…記憶部、１７０…制御部、１７１…投射制御部、１７２…撮像制御部、１７３…補正値算出部、１７４…補正処理部（補正部）、１８０…内部バス、２００…画像供給装置、３００…撮像装置、ＳＣ…スクリーン。
5 remote controller, 100 projector, 110 display unit, 111 light source unit, 112 light modulation device, 113 projection optical system, 121 light source drive unit, 122 light drive device drive, 131 operation panel, 132 Remote control light receiving unit, 133: input processing unit, 140: imaging unit, 145: wireless communication unit, 151: image input I / F unit, 153: image processing unit, 155: frame memory, 160: storage unit, 170: control unit , 171: projection control unit, 172: imaging control unit, 173: correction value calculation unit, 174: correction processing unit (correction unit), 180: internal bus, 200: image supply device, 300: imaging device, SC: screen.
Claims (2)
前記投射部により出力され、積分球により輝度及び色度が均一化された色光を撮像して第１の撮像画像を生成する撮像部と、
前記第１の撮像画像に基づいて、前記撮像部の撮像画像を補正する補正値を算出する補正値算出部と、
前記投射部により投射された画像光を前記撮像部で撮像した第２の撮像画像を、前記補正値算出部が算出した前記補正値を用いて補正する補正部と、を備え、
前記補正値算出部は、前記投射部に投射させる色光の原色を選択し、選択した前記原色の色光を前記投射部に投射させて、前記第１の撮像画像を、複数の原色ごとに生成し、
前記第１の撮像画像の各々について、前記第１の撮像画像の中心に位置する中心画素と、前記中心画素とは異なる選択画素の画素値との比に基づき、前記補正値を、原色ごとに算出し、
前記補正部は、前記選択画素として選択されず、前記補正値が算出されていない画素について、前記画素に隣接する前記選択画素の前記補正値に基づく補間演算により前記補正値を算出し、算出した前記補正値により前記第２の撮像画像の対応画素の画素値を補正する、ことを特徴とするプロジェクター。 A projection unit for projecting the primary color light ;
An imaging unit configured to generate a first captured image by capturing color light output by the projection unit and having uniform luminance and chromaticity by an integrating sphere ;
Before SL based on the first captured image, and the correction value calculation unit for calculating a correction value for correcting a captured image of the imaging unit,
A correction unit that corrects a second captured image obtained by capturing the image light projected by the projection unit with the imaging unit using the correction value calculated by the correction value calculation unit,
The correction value calculation unit selects a primary color of color light to be projected on the projection unit, projects the selected primary color light on the projection unit, and generates the first captured image for each of a plurality of primary colors. ,
For each of the first captured images, the correction value is calculated for each primary color based on a ratio between a central pixel located at the center of the first captured image and a pixel value of a selected pixel different from the central pixel. Calculate,
The correction unit is not selected as the selected pixel, for the pixel for which the correction value has not been calculated, calculated the correction value by interpolation based on the correction value of the selected pixel adjacent to the pixel, calculated A projector , wherein a pixel value of a corresponding pixel of the second captured image is corrected by the correction value .
前記投射部により出力され、積分球により輝度及び色度が均一化された色光を撮像部により撮像して第１の撮像画像を生成するステップと、
前記第１の撮像画像に基づいて、前記撮像部の撮像画像を補正する補正値を算出するステップと、
前記投射部により投射された画像光を前記撮像部で撮像した第２の撮像画像を、前記補正値を算出するステップにより算出した前記補正値を用いて補正するステップと、を有し、
前記補正値を算出するステップは、前記投射部に投射させる色光の原色を選択し、選択した前記原色の色光を前記投射部に投射させて、前記第１の撮像画像を、複数の原色ごとに生成し、
前記第１の撮像画像の各々について、前記第１の撮像画像の中心に位置する中心画素と、前記中心画素とは異なる選択画素の画素値との比に基づき、前記補正値を、原色ごとにそれぞれ算出し、
前記補正するステップは、前記選択画素として選択されず、前記補正値が算出されていない画素について、前記画素に隣接する前記選択画素の前記補正値に基づく補間演算により前記補正値を算出し、算出した前記補正値により前記第２の撮像画像の対応画素の画素値を補正する、ことを特徴とする撮像画像の補正方法。 Projecting the primary color light by the projection unit;
Generating a first captured image by capturing, by an imaging unit, color light output by the projection unit and having uniform luminance and chromaticity by an integrating sphere;
Before SL based on the first captured image, and calculating a correction value for correcting a captured image of the imaging unit,
Correcting a second captured image obtained by capturing the image light projected by the projection unit with the imaging unit using the correction value calculated in the step of calculating the correction value,
The step of calculating the correction value includes selecting a primary color of color light to be projected on the projection unit, projecting the selected color light of the primary color on the projection unit, and converting the first captured image into a plurality of primary colors. Generate
For each of the first captured images, the correction value is calculated for each primary color based on a ratio between a central pixel located at the center of the first captured image and a pixel value of a selected pixel different from the central pixel. Calculate each,
The step of correcting, for a pixel that is not selected as the selected pixel and for which the correction value has not been calculated, calculates the correction value by interpolation based on the correction value of the selected pixel adjacent to the pixel, and calculates And correcting a pixel value of a corresponding pixel of the second captured image using the corrected value .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016008536A JP6665543B2 (en) | 2016-01-20 | 2016-01-20 | Projector and method of correcting captured image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016008536A JP6665543B2 (en) | 2016-01-20 | 2016-01-20 | Projector and method of correcting captured image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017130779A JP2017130779A (en) | 2017-07-27 |
| JP6665543B2 true JP6665543B2 (en) | 2020-03-13 |
Family
ID=59395820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016008536A Active JP6665543B2 (en) | 2016-01-20 | 2016-01-20 | Projector and method of correcting captured image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6665543B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019078786A (en) | 2017-10-20 | 2019-05-23 | セイコーエプソン株式会社 | Image projection system, projector, and control method of image projection system |
| CN115278184B (en) * | 2022-07-18 | 2024-03-15 | 峰米(重庆)创新科技有限公司 | Projection picture correction method and device |
-
2016
- 2016-01-20 JP JP2016008536A patent/JP6665543B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017130779A (en) | 2017-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10341626B2 (en) | Image projection system, projector, and control method for image projection system | |
| US10681319B2 (en) | Image projection system, projector, and method for controlling image projection system | |
| JP6657987B2 (en) | Projector and projector control method | |
| US10616541B2 (en) | Image projection system, projector, and method for controlling image projection system | |
| US10431131B2 (en) | Projector and control method for projector | |
| JP6019859B2 (en) | Projector and light emission control method in projector | |
| JP3852456B2 (en) | Projector and pattern image display method | |
| US9621863B2 (en) | Projector and light emission control method in the projector | |
| US11323673B2 (en) | Method for operating control apparatus, and projector | |
| JP6707871B2 (en) | Image quality correction method and image projection system | |
| JP2009159372A (en) | Multiprojector system and method of adjusting image | |
| JP2009159371A (en) | Device and method for adjusting image, and image display system | |
| JP6665543B2 (en) | Projector and method of correcting captured image | |
| JP2010085563A (en) | Image adjusting apparatus, image display system and image adjusting method | |
| JP6665545B2 (en) | Image projection system, projector, and image correction method | |
| JP2017129704A (en) | Display device, projector, and method for controlling display device | |
| JP2018032922A (en) | Projector device and method for controlling projector device | |
| JP2009231853A (en) | Image adjusting device, image display system, and image adjusting method | |
| JP2010130481A (en) | Image projection apparatus | |
| JP2020113812A (en) | Projector, display system, projector control method, and image correction method | |
| US20170289507A1 (en) | Display apparatus, image processing apparatus, and display method | |
| JP2018032923A (en) | Projector device and method for controlling projector device | |
| JP7309352B2 (en) | Electronic equipment and its control method | |
| JP6866915B2 (en) | Image projection system and control method of image projection system | |
| JP2016184849A (en) | Projector, projection system, and projector control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6665543 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |