JP2009171012A - Projector - Google Patents

Projector Download PDF

Info

Publication number
JP2009171012A
JP2009171012A JP2008004221A JP2008004221A JP2009171012A JP 2009171012 A JP2009171012 A JP 2009171012A JP 2008004221 A JP2008004221 A JP 2008004221A JP 2008004221 A JP2008004221 A JP 2008004221A JP 2009171012 A JP2009171012 A JP 2009171012A
Authority
JP
Japan
Prior art keywords
projection
image
correction coefficient
projected
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008004221A
Other languages
Japanese (ja)
Other versions
JP5205978B2 (en
Inventor
Takayuki Uchiyama
貴之 内山
Nobuhiro Fujinawa
展宏 藤縄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008004221A priority Critical patent/JP5205978B2/en
Priority to US12/812,459 priority patent/US8807762B2/en
Priority to PCT/JP2009/050241 priority patent/WO2009088080A1/en
Publication of JP2009171012A publication Critical patent/JP2009171012A/en
Application granted granted Critical
Publication of JP5205978B2 publication Critical patent/JP5205978B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a projector capable of correcting a projection image appropriately even if the projector is moved during projection by some reasons. <P>SOLUTION: The projector has: a control circuit 101 for calculating a correction coefficient for correcting a projection image and correcting the projection image by the calculated correction coefficient by the use of a photographed image obtained by photographing a projection surface on which a prescribed projection image is projected by an imaging unit 120; a projection unit 110 for projecting the corrected projection image; and an acceleration sensor 106 for detecting the deviation of the projection surface. When the acceleration sensor 106 detects the deviation of the projection surface, the control circuit 101 calculates the correction coefficient again, corrects the projection image by the prescribed correction coefficient until the correction coefficient is calculated again, and corrects the projection image by the calculated correction coefficient again after the correction coefficient is calculated. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、プロジェクタに関する。   The present invention relates to a projector.

プロジェクタで画像を投影するとき、投影面に模様や反射率のムラがある場合、プロジェクタに照明ムラがある場合、または投影画像に対して周囲の照明環境の影響が無視できない場合がある。このような場合、投影面の模様やムラなどが投影画像に重なるため、投影画像は正確に表示されない。このような模様の影響などを相殺して投影画像を正確に表示するために、所定の投影画像を投影した投影面を撮影し、撮影画像の投影面内における各画素の最小輝度の中の最大値と、各画素の最大輝度の中の最小値との間に投影画像のダイナミックレンジが収まるように投影画像を補正する技術が特許文献1に開示されている。
特開2004−158941号公報
When projecting an image with a projector, there may be a case where there is a pattern or reflectance unevenness on the projection surface, a lighting unevenness on the projector, or an influence of the surrounding illumination environment on the projected image. In such a case, the projection image is not accurately displayed because the pattern or unevenness of the projection surface overlaps the projection image. In order to offset the influence of the pattern and display the projection image accurately, the projection plane on which the predetermined projection image is projected is photographed, and the maximum of the minimum luminance of each pixel in the projection plane of the photographed image is taken. Japanese Patent Application Laid-Open No. 2004-151820 discloses a technique for correcting a projected image so that the dynamic range of the projected image falls between the value and the minimum value of the maximum luminance of each pixel.
JP 2004-158941 A

投影中に何らかの原因でプロジェクタが動いてしまう場合がある。このような場合、投影画像を投影する投影面と、投影画像を補正するために撮影した投影面とが異なることになる。このような場合、投影画像を補正しても投影面の模様などの影響を相殺できないという問題点がある。   The projector may move for some reason during projection. In such a case, the projection plane on which the projection image is projected is different from the projection plane taken to correct the projection image. In such a case, there is a problem that even if the projection image is corrected, the influence of the pattern on the projection surface cannot be offset.

(1)請求項1の発明のプロジェクタは、所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正するための補正係数を算出する補正係数算出手段と、補正係数算出手段によって算出された補正係数を用いて投影画像を補正する補正手段と、補正手段により補正された投影画像を投影する投影手段と、投影面のずれを検出するずれ検出手段とを備え、補正係数算出手段は、ずれ検出手段により投影面のずれを検出すると、改めて補正係数を算出し、補正手段は、改めて補正係数が算出されるまで、所定の補正係数を用いて投影画像を補正し、改めて補正係数が算出されると、補正係数算出手段により改めて算出された補正係数を用いて投影画像を補正することを特徴とする。
(2)請求項2の発明は、請求項1に記載のプロジェクタにおいて、補正係数算出手段は、投影手段により投影される投影画像が切り替わる間を利用して、所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、改めて補正係数を算出することを特徴とする。
(3)請求項3の発明は、請求項1または2に記載のプロジェクタにおいて、ずれ検出手段は、プロジェクタが動いたことを検出することによってずれを検出することを特徴とする。
(4)請求項4の発明は、請求項1または2に記載のプロジェクタにおいて、補正手段により補正された投影画像を投影した投影面を撮像して得られる撮影画像を算出する撮影画像算出手段とを備え、ずれ検出手段は、補正手段により補正された投影画像を投影した投影面を撮像して得られる撮影画像と、撮影画像算出手段により算出された撮影画像とに基づいて、ずれを検出することを特徴とする。
(5)請求項5の発明のプロジェクタは、所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正するための補正係数を算出する補正係数算出手段と、補正係数算出手段によって算出された補正係数を用いて投影画像を補正する補正手段と、補正手段により補正された投影画像を投影する投影手段と、本体が動いたことを検出する動き検出手段とを備え、投影手段は、動き検出手段により本体が動いたことを検出すると、補正手段による補正を行わないで投影画像を投影することを特徴とする。
(6)請求項6の発明は、請求項5に記載のプロジェクタにおいて、投影手段は、動き検出手段により本体が動いたことを連続して検出した場合に、補正手段による補正を行わないで投影画像を投影することを特徴とする。
(7)請求項7の発明のプロジェクタは、所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正するための補正係数を算出する補正係数算出手段と、補正係数算出手段によって算出された補正係数を用いて投影画像を補正する補正手段と、補正手段により補正された投影画像を投影する投影手段と、補正手段により補正された投影画像を投影した投影面を撮像して得られる撮影画像を算出する撮影画像算出手段とを備え、補正係数算出手段は、補正手段により補正された投影画像を投影した投影面を撮像して得られる撮影画像と、撮影画像算出手段により算出された撮影画像とに基づいて、改めて補正係数を算出することを特徴とする。
(1) The projector according to the first aspect of the invention is a correction coefficient calculation means for calculating a correction coefficient for correcting a projection image using a photographed image obtained by photographing a projection surface on which a predetermined projection image is projected. A correction unit that corrects the projection image using the correction coefficient calculated by the correction coefficient calculation unit, a projection unit that projects the projection image corrected by the correction unit, and a shift detection unit that detects a shift in the projection plane The correction coefficient calculation means calculates the correction coefficient again when the deviation detection means detects the deviation of the projection plane, and the correction means uses the predetermined correction coefficient until the correction coefficient is calculated again. When the correction coefficient is calculated again, the projection image is corrected using the correction coefficient calculated again by the correction coefficient calculation means.
(2) The invention according to claim 2 is the projector according to claim 1, wherein the correction coefficient calculation means is a projection in which a predetermined projection image is projected while the projection image projected by the projection means is switched. A correction coefficient is calculated anew using a photographed image obtained by photographing a surface.
(3) The invention of claim 3 is characterized in that, in the projector according to claim 1 or 2, the deviation detecting means detects the deviation by detecting that the projector has moved.
(4) According to a fourth aspect of the present invention, in the projector according to the first or second aspect, a photographic image calculation unit that calculates a photographic image obtained by imaging a projection plane on which the projection image corrected by the correction unit is projected. The deviation detection means detects deviation based on a photographed image obtained by imaging a projection plane on which the projection image corrected by the correction means is projected, and a photographed image calculated by the photographed image calculation means. It is characterized by that.
(5) The projector according to the invention of claim 5 is a correction coefficient calculation means for calculating a correction coefficient for correcting a projection image using a photographed image obtained by photographing a projection surface on which a predetermined projection image is projected. A correction unit that corrects the projection image using the correction coefficient calculated by the correction coefficient calculation unit, a projection unit that projects the projection image corrected by the correction unit, and a motion detection unit that detects that the main body has moved. The projecting means projects the projected image without performing correction by the correcting means when detecting that the main body has been moved by the motion detecting means.
(6) According to a sixth aspect of the present invention, in the projector according to the fifth aspect, when the projection means continuously detects that the main body has moved by the motion detection means, the projection is performed without performing correction by the correction means. An image is projected.
(7) According to a seventh aspect of the present invention, there is provided a correction coefficient calculating means for calculating a correction coefficient for correcting a projection image using a photographed image obtained by photographing a projection surface on which a predetermined projection image is projected. A correction unit that corrects the projection image using the correction coefficient calculated by the correction coefficient calculation unit, a projection unit that projects the projection image corrected by the correction unit, and a projection image corrected by the correction unit A photographic image calculation unit that calculates a photographic image obtained by imaging the projection surface, and the correction coefficient calculation unit includes a photographic image obtained by imaging the projection surface on which the projection image corrected by the correction unit is projected; The correction coefficient is calculated anew based on the captured image calculated by the captured image calculation means.

本発明によれば、投影中に何らかの原因でプロジェクタが動いてしまっても、投影画像を適切に補正することができる。   According to the present invention, even if the projector moves for some reason during projection, the projected image can be corrected appropriately.

−第1の実施の形態−
以下、図面を参照して本発明を実施するための第1の実施の形態について説明する。図1は、本発明の第1の実施の形態による投射機能付きカメラ1を前方から見た図である。図1において、投射機能付きカメラ1の正面には、撮像光学系121(図2参照)を構成する撮影レンズ121Aと、投影光学系111(図2参照)を構成する投影レンズ111Aとが設けられている。投射機能付きカメラ1は、机上などに載置された状態、または手に持った状態で、前方のスクリーンなどに向けて、内蔵する投射ユニット110によって画像などの投影情報を投影する。投射機能付きカメラ1の上面には、レリーズスイッチ103Aが設けられている。投射機能付きカメラ1において、投射ユニット110の投影光学系111は縦方向に配設される。
-First embodiment-
Hereinafter, a first embodiment for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a front view of a camera 1 with a projection function according to a first embodiment of the present invention. In FIG. 1, a photographing lens 121A constituting an imaging optical system 121 (see FIG. 2) and a projection lens 111A constituting a projection optical system 111 (see FIG. 2) are provided in front of the camera 1 with a projection function. ing. The camera 1 with a projection function projects projection information such as an image by a built-in projection unit 110 toward a front screen or the like while being placed on a desk or the like or held in a hand. A release switch 103A is provided on the upper surface of the camera 1 with a projection function. In the camera 1 with a projection function, the projection optical system 111 of the projection unit 110 is arranged in the vertical direction.

図2は、投射機能付きカメラ1の構成を説明するブロック図である。図2において投射機能付きカメラ1は、投射ユニット110と、撮像ユニット120と、制御回路101と、メモリ102と、操作部103と、外部インターフェイス(I/F)回路104と、メモリカードインターフェイス(I/F)105と、加速度センサ106とを備え、メモリカードインターフェイス105にはメモリカード150が接続される。   FIG. 2 is a block diagram illustrating a configuration of the camera 1 with a projection function. In FIG. 2, the camera with a projection function 1 includes a projection unit 110, an imaging unit 120, a control circuit 101, a memory 102, an operation unit 103, an external interface (I / F) circuit 104, and a memory card interface (I / F) 105 and an acceleration sensor 106, and a memory card 150 is connected to the memory card interface 105.

制御回路101は、マイクロプロセッサ及びその周辺回路からなる。制御回路101は、制御プログラムに基づいて、投射機能付きカメラ内各部から入力される信号を用いて所定の演算を行う。そして、制御回路101は、演算結果を制御信号として投射機能付きカメラ内各部に送出し、投射機能付きカメラ1の投影動作および撮影動作を制御する。なお、制御プログラムは制御101内の不図示のROMに格納される。   The control circuit 101 includes a microprocessor and its peripheral circuits. Based on the control program, the control circuit 101 performs a predetermined calculation using signals input from each part in the camera with a projection function. Then, the control circuit 101 sends the calculation result as a control signal to each part in the camera with the projection function, and controls the projection operation and the photographing operation of the camera 1 with the projection function. The control program is stored in a ROM (not shown) in the control 101.

制御回路101は画像処理部101Aを有する。画像処理部101Aでは、外部インターフェイス104を介して取得した画像データまたはメモリカード150より取得した画像データに対して画像処理を行う。画像処理部101Aで行う画像処理の詳細については後述する。   The control circuit 101 includes an image processing unit 101A. The image processing unit 101A performs image processing on image data acquired via the external interface 104 or image data acquired from the memory card 150. Details of the image processing performed by the image processing unit 101A will be described later.

メモリ102は制御回路101の作業用メモリとして使用される。操作部103はレリーズスイッチ103Aを含み、操作されたボタンやスイッチに対応する操作信号を制御回路101へ送出する。メモリカード150は、制御回路101の指示によりデータの書き込み、保存および読み出しが可能である。   The memory 102 is used as a working memory for the control circuit 101. The operation unit 103 includes a release switch 103A, and sends an operation signal corresponding to the operated button or switch to the control circuit 101. The memory card 150 can write, store, and read data according to instructions from the control circuit 101.

投射ユニット110は、投影光学系111、液晶パネル112、LED光源113、および投射制御回路114を含む。LED光源113は、供給電流に応じた明るさで液晶パネル112を照明する。液晶パネル112は、投射制御回路114からの駆動信号に応じて光像を生成する。投影光学系111は、液晶パネル112から射出される光像を投射する。投射制御回路114は、制御回路101からの指示により、LED光源113および液晶パネル112へ制御信号を送出する。   The projection unit 110 includes a projection optical system 111, a liquid crystal panel 112, an LED light source 113, and a projection control circuit 114. The LED light source 113 illuminates the liquid crystal panel 112 with brightness according to the supply current. The liquid crystal panel 112 generates a light image according to the drive signal from the projection control circuit 114. The projection optical system 111 projects a light image emitted from the liquid crystal panel 112. The projection control circuit 114 sends a control signal to the LED light source 113 and the liquid crystal panel 112 according to an instruction from the control circuit 101.

投射ユニット110は、メモリカード150内に保存されている画像データの他、外部インターフェイス回路104を介して外部機器から供給される画像データによる画像を投影可能に構成され、制御回路101から指示された画像を投影する。   The projection unit 110 is configured to be able to project an image based on image data supplied from an external device via the external interface circuit 104 in addition to the image data stored in the memory card 150, and is instructed by the control circuit 101. Project an image.

撮像ユニット120は撮像光学系121、撮像素子122および撮像制御回路123を有し、制御回路101からの指示に応じて投影面の撮像を行う。撮像光学系121は、撮像素子122の撮像面上に被写体像を結像させる。撮像素子122としては、CCDやCMOS撮像素子などが用いられる。撮像制御回路123は、制御回路101からの指示により撮像素子122を駆動制御するとともに、撮像素子122から出力される画像信号に対して所定の信号処理を行う。信号処理後の画像のデータは、所定形式の画像ファイルとしてメモリカード150に記録される。   The imaging unit 120 includes an imaging optical system 121, an imaging element 122, and an imaging control circuit 123, and takes an image of the projection plane in response to an instruction from the control circuit 101. The imaging optical system 121 forms a subject image on the imaging surface of the imaging element 122. As the image sensor 122, a CCD, a CMOS image sensor, or the like is used. The imaging control circuit 123 drives and controls the imaging element 122 according to an instruction from the control circuit 101 and performs predetermined signal processing on the image signal output from the imaging element 122. The image data after the signal processing is recorded in the memory card 150 as an image file in a predetermined format.

加速度センサ106は、投射機能付きカメラ1の加速度を検出することができる。これにより、投射機能付きカメラ1が動いたことを検出することができる。   The acceleration sensor 106 can detect the acceleration of the camera 1 with a projection function. Thereby, it can detect that the camera 1 with a projection function moved.

制御回路101の画像処理部101Aで行われる画像処理を説明する。本発明の実施形態の画像処理は、投影面を撮影した撮影画像に基づいて投影画像の色補正を行う。また、画像処理部101Aは、投射光学系111の光軸と撮像光学系121の光軸とが一致していないことによる投影画像の歪や、投影光学系111の光軸が投影面に対して垂直でないことに起因する投影画像のあおりや歪に対する補正も行うことができる。本発明の実施形態の画像処理は、投影画像の色補正に特徴を有するので、色補正について主に説明する。   Image processing performed by the image processing unit 101A of the control circuit 101 will be described. In the image processing according to the embodiment of the present invention, color correction of a projection image is performed based on a photographed image obtained by photographing the projection plane. Further, the image processing unit 101 </ b> A is configured such that the distortion of the projection image due to the optical axis of the projection optical system 111 and the optical axis of the imaging optical system 121 not matching or the optical axis of the projection optical system 111 with respect to the projection surface. It is also possible to correct the tilt and distortion of the projected image due to non-verticality. Since the image processing according to the embodiment of the present invention is characterized by color correction of a projected image, color correction will be mainly described.

図3および図4を参照して、本発明の実施形態における画像処理によって投影画像の画像処理を行い、その処理された投影画像を投影したときに視認される投影画像について説明する。図3(a)は、投影画像を投影する投影面30を説明するための図である。投影面30には、丸いシミ31が付着しているものとして説明する。図3(b)は、投影面30に投影する投影画像32を示す図である。   With reference to FIG. 3 and FIG. 4, a projection image that is visually recognized when image processing of a projection image is performed by image processing according to an embodiment of the present invention and the processed projection image is projected will be described. FIG. 3A is a diagram for explaining a projection surface 30 on which a projection image is projected. It is assumed that a round spot 31 is attached to the projection surface 30. FIG. 3B is a diagram showing a projection image 32 projected on the projection plane 30.

図4(a)は、本発明の実施形態における画像処理によって投影画像32を処理した投影画像を投影面30に投影したときに視認される投影画像33を示す図である。投影画像33には、シミ31が目立たたず、投影画像33の視認性も良好である。図4(b)は、投影面がずれたときに、投影画像32を処理した投影画像を投影面30に投影したときに視認される投影画像34を示す図である。投影面30におけるシミ31の位置がずれているので、投影画像34の一部34aでは、シミ31が目立つように表示され、他の一部34bでは、シミ31がないにもかかわらず輝度が高く補正されて表示される。このように投影面がずれた場合、本発明の第1の実施の形態では、再び投影面を撮影し、投影画像を補正するために使用する補正係数を算出し直す。そして、その補正係数を用いて投影画像32を補正し、図4(c)に示すように、シミ31が目立たたず、視認性が良好な投影画像35を再び表示することができる。   FIG. 4A is a diagram showing a projected image 33 that is visually recognized when a projected image obtained by processing the projected image 32 by image processing according to the embodiment of the present invention is projected onto the projection plane 30. In the projected image 33, the stain 31 is not conspicuous, and the visibility of the projected image 33 is also good. FIG. 4B is a diagram illustrating a projection image 34 that is visually recognized when a projection image obtained by processing the projection image 32 is projected onto the projection plane 30 when the projection plane is deviated. Since the position of the spot 31 on the projection plane 30 is shifted, the spot 31 is displayed prominently in the part 34a of the projection image 34, and the brightness is high in the other part 34b despite the absence of the spot 31. Corrected and displayed. When the projection plane deviates as described above, in the first embodiment of the present invention, the projection plane is captured again, and the correction coefficient used for correcting the projection image is recalculated. Then, the projection image 32 is corrected using the correction coefficient, and as shown in FIG. 4C, the spot 31 is not conspicuous and the projection image 35 with good visibility can be displayed again.

図5のフローチャートを参照して、本発明の第1の実施の形態における画像処理について説明する。この画像処理は、投影面である壁の模様やシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量に調整することができる。図5の処理は、投射機能付きカメラ1が、投影を開始するための処理を開始するとスタートするプログラムにより制御回路101において実行される。   Image processing in the first embodiment of the present invention will be described with reference to the flowchart of FIG. This image processing can be adjusted to an appropriate correction amount so that the wall pattern and spots on the projection surface are not noticeable and the dynamic range of the projection image is not too narrow. The process of FIG. 5 is executed in the control circuit 101 by a program that starts when the camera with a projection function 1 starts a process for starting projection.

なお、制御回路101は、投影画像の画像数がプロジェクタ1の解像度に一致するように補間処理を行い、撮像ユニット120により撮影された画像を、プロジェクタ1の解像度と一致するように補間処理を行う。そして、補間処理を行った撮影画像を使用して、補間処理を行った投影画像を以下のように補正し、補正した画像を投影するものとする。投影画像の画素と撮影画像の画素との間の対応関係が明確になるので、処理速度が速くなる。   The control circuit 101 performs an interpolation process so that the number of projected images matches the resolution of the projector 1, and performs an interpolation process so that an image captured by the imaging unit 120 matches the resolution of the projector 1. . Then, using the captured image on which the interpolation processing has been performed, the projection image on which the interpolation processing has been performed is corrected as follows, and the corrected image is projected. Since the correspondence between the pixels of the projected image and the pixels of the captured image is clarified, the processing speed is increased.

ステップS1では、投射ユニット110の投影特性の算出を行う。投影特性とは、入力画像の画素値(R,G,B)と、投影面で再現される投影画像の測色値(X,Y,Z)との間の関係を示す特性である。測色値は、投射ユニット110の照明ムラ、投影面の色や模様、周囲照明による投影面の明るさに影響を受ける。そこで、投射ユニット110から、既知の画素値(R,G,B)で表される所定の投影画像(後述するように、黒画像、R画像、G画像、B画像)をそれぞれ投影して投影面上の投影画像を撮影ユニット120で撮影し、撮影した画像から測色値(X,Y,Z)を検出して投影特性を算出する。そして、投影特性に基づいて決定する補正係数により入力画像を補正して投影することにより、投射ユニット110の照明ムラ、投影面の色や模様、周囲照明による投影面の明るさに依存することなく、入力画像の見た目が近くなるより表現された投影画像を鑑賞することができる。投影特性の具体的な処理については後述する。   In step S1, the projection characteristics of the projection unit 110 are calculated. The projection characteristics are characteristics indicating the relationship between the pixel values (R, G, B) of the input image and the colorimetric values (X, Y, Z) of the projection image reproduced on the projection plane. The colorimetric value is affected by illumination unevenness of the projection unit 110, the color and pattern of the projection surface, and the brightness of the projection surface by ambient illumination. Therefore, the projection unit 110 projects and projects a predetermined projection image (a black image, an R image, a G image, and a B image as described later) represented by known pixel values (R, G, B). The projected image on the surface is photographed by the photographing unit 120, and the colorimetric values (X, Y, Z) are detected from the photographed image to calculate the projection characteristics. Then, by correcting and projecting the input image with a correction coefficient determined based on the projection characteristics, the projection unit 110 does not depend on uneven illumination, the color or pattern of the projection surface, and the brightness of the projection surface due to ambient illumination. It is possible to appreciate the projected image that is more expressed than the appearance of the input image. Specific processing of the projection characteristics will be described later.

ステップS2では、投影画像の補正係数を決定する。すなわち、ステップS1で得られた投影特性を用いて、投影面の状態や周囲照明環境等に影響されることなく投影画像が入力画像(投影画像)を再現するように、入力画像に施す補正係数を決定する。投射ユニット110から投影された投影画像を撮影ユニット120で撮影し、撮影した画像を解析して投影画像の補正係数を決定する。この補正係数が投影画像の補正量となる。この処理の詳細についても後述する。   In step S2, a correction coefficient for the projection image is determined. That is, using the projection characteristics obtained in step S1, the correction coefficient applied to the input image so that the projection image reproduces the input image (projected image) without being affected by the state of the projection surface, the ambient illumination environment, or the like. To decide. A projection image projected from the projection unit 110 is photographed by the photographing unit 120, and the photographed image is analyzed to determine a correction coefficient of the projection image. This correction coefficient becomes the correction amount of the projected image. Details of this processing will also be described later.

ステップS3では、投影面のずれの有無を判定する。投射機能付きカメラ1が動くと、投影面はずれる。したがって、投射機能付きカメラ1の動きを検出することにより、投影面のずれの有無を判定する。投射機能付きカメラ1の動きは加速度センサ106により検出される。投射機能付きカメラ1が動いたことを検出した場合、投影面はずれたと判定する。投射機能付きカメラ1が動いたことを検出しない場合、投影面はずれていないと判定する。投影面のずれがあった場合はステップS3が肯定判定され、ステップS4に進む。投影面のずれがない場合はステップS3が否定判定され、ステップS1に戻る。これにより、投影画像の補正係数の決定をやり直すことができる。   In step S3, it is determined whether or not there is a deviation of the projection plane. When the camera 1 with a projection function moves, the projection plane is off. Accordingly, by detecting the movement of the camera 1 with a projection function, it is determined whether or not there is a deviation of the projection plane. The motion of the camera 1 with a projection function is detected by the acceleration sensor 106. When it is detected that the camera 1 with a projection function has moved, it is determined that the projection plane has shifted. When it is not detected that the camera 1 with a projection function has moved, it is determined that the projection plane is not displaced. If there is a deviation of the projection plane, an affirmative determination is made in step S3 and the process proceeds to step S4. If there is no deviation of the projection plane, a negative determination is made in step S3, and the process returns to step S1. Thereby, the correction coefficient of the projection image can be determined again.

ステップS4では、投影画像の画像データを、外部インターフェイス回路104を介して、またはメモリカード150より読み込み、メモリ102に記憶する。ステップS5では、ステップS2で決定した補正係数で、ステップS4で読み込んだ投影画像データを補正する。この処理の詳細についても後述する。ステップS6では、ステップS4で補正した投影画像データをアナログ変換し、投影画像を投影する。   In step S <b> 4, the image data of the projected image is read from the external interface circuit 104 or from the memory card 150 and stored in the memory 102. In step S5, the projection image data read in step S4 is corrected with the correction coefficient determined in step S2. Details of this processing will also be described later. In step S6, the projection image data corrected in step S4 is converted into an analog signal, and a projection image is projected.

ステップS7では、次に投影する投影画像データがあるか否かを判定する。次に投影する投影画像データがある場合はステップS7が肯定判定され、ステップS3に戻る。次に投影する投影画像データがない場合はステップS7が否定判定され、処理を終了する。   In step S7, it is determined whether there is projection image data to be projected next. If there is projection image data to be projected next, step S7 is affirmatively determined, and the process returns to step S3. If there is no projection image data to be projected next, a negative determination is made in step S7, and the process ends.

次に、ステップS1、S2、S5について、さらに詳細に説明する。   Next, steps S1, S2, and S5 will be described in more detail.

−投影特性の算出−
ステップS1で行う投影特性の算出について説明する。
i番目の画素値が(R,G,B)で与えられる入力画像データにより投影画像を生成して投射ユニット110で投影したとき、i番目の画素値に対応する投影面の測色値(X,Y,Z)は以下の(1)式で表される。

Figure 2009171012
ただし、
Figure 2009171012
-Calculation of projection characteristics-
The calculation of the projection characteristics performed in step S1 will be described.
When a projection image is generated from the input image data whose i-th pixel value is given by (R, G, B) i and projected by the projection unit 110, the colorimetric values (i.e., colorimetric values of the projection plane corresponding to the i-th pixel value) X, Y, Z) i is expressed by the following equation (1).
Figure 2009171012
However,
Figure 2009171012

ここで、γは投射ユニット110の階調特性を表す。Mpiは、投射ユニット110の画素値(Rγ,Gγ,Bγから投射ユニット110の照明の測色値へ変換する色変換マトリックスを表す。(Xkp,Ykp,Zkpは、投射ユニット110で黒画像を投影した時の周囲照明も含めた投影面の照明条件を表す。R*は、投影面の反射率特性を表す。 Here, γ represents the gradation characteristic of the projection unit 110. M pi represents a color conversion matrix for converting the pixel values (R γ , G γ , B γ ) i of the projection unit 110 into the colorimetric values of the illumination of the projection unit 110. (X kp , Y kp , Z kp ) i represents the illumination condition of the projection plane including ambient illumination when a black image is projected by the projection unit 110. R * i represents the reflectance characteristic of the projection surface.

なお、添字iは次の意味を有している。この実施の形態のプロジェクタでは、白画像や黒画像など既知の画像を投射して投影面を撮像し、その撮像画像に基づいて、投影面の模様などによる反射率のムラだけではなく、投射ユニット110の照明ムラ、周囲照明や黒点の面内ムラも合わせて補正する。したがって、投影面の各画素領域に異なる投影特性を表現するため、添え字iを使用する。   The subscript i has the following meaning. In the projector according to this embodiment, the projection surface is imaged by projecting a known image such as a white image or a black image, and based on the captured image, not only the unevenness of the reflectance due to the pattern of the projection surface, but also the projection unit 110 illumination unevenness, ambient illumination and in-plane unevenness of black spots are also corrected. Therefore, the subscript i is used to express different projection characteristics for each pixel area on the projection plane.

(1)式において、(X,Y,Z)は、黒画像((R,G,B)=(0,0,0))を投影した時の投影面撮影画像に基づいて決定する。なお、投影面上の投影画像の測色値は、撮影画像の画素値から予め決まった色変換処理を用いることで算出できる。すなわち、撮影画像のプロファイルがsRGBであれば、画素値に対して通常のsRGB変換処理を適用して(X,Y,Zを決定することができる。 In the equation (1), (X k , Y k , Z k ) is based on a projection plane photographed image when a black image ((R, G, B) i = (0, 0, 0) i ) is projected. To decide. Note that the colorimetric value of the projected image on the projection plane can be calculated by using a color conversion process determined in advance from the pixel value of the captured image. That is, if the profile of the captured image is sRGB, (X k , Y k , Z k ) i can be determined by applying normal sRGB conversion processing to the pixel values.

同様に、R画像((R,G,B)=(255,0,0))、G画像((R,G,B)=(0,255,0))、およびB画像((R,G,B)=(0,0,255))をそれぞれ投影した投影面を撮影した各撮影画像から、色変換マトリックスMの3×3のマトリックス係数を決定する。具体的には、R画像、G画像およびB画像をそれぞれ投影した投影面の撮像画像(以下、投影面撮影画像と呼ぶ)の測色値をそれぞれ、(X,Y,Z)、(X,Y,Z)および(X,Y,Z)とすると、色変換マトリックスMは以下の(3)式で表される。

Figure 2009171012
Similarly, an R image ((R, G, B) i = (255, 0, 0) i ), a G image ((R, G, B) i = (0, 255, 0) i ), and a B image A 3 × 3 matrix coefficient of the color conversion matrix M i is determined from each captured image obtained by capturing the projection plane on which ((R, G, B) i = (0, 0, 255) i ) is projected. Specifically, the colorimetric values of the captured images (hereinafter referred to as projection plane captured images) on which the R image, G image, and B image are projected are respectively (X r , Y r , Z r ), Assuming (X g , Y g , Z g ) and (X b , Y b , Z b ), the color conversion matrix M i is expressed by the following equation (3).
Figure 2009171012

−投影画像補正係数の決定−
ステップS2で行う投影画像補正係数の決定について説明する。
投影面にムラ(以後、投影面の反射率のムラや照明ムラを含めて、単に「ムラ」と表現する)や模様がある場合、投影面を撮影して得た撮像画像の画素値は均一ではなく、ムラや模様に応じた画素値となる。換言すると、各画素で最大表示可能な色域は変化する。この実施の形態では、まずこの最大表示可能な色域範囲を決定する。投影面での輝度Yは、(1)式より、

Figure 2009171012
-Determination of projection image correction coefficient-
The determination of the projection image correction coefficient performed in step S2 will be described.
If the projection surface has unevenness (hereinafter simply referred to as “unevenness”, including unevenness in the reflectance of the projection surface or illumination unevenness) or a pattern, the pixel values of the captured image obtained by photographing the projection surface are uniform. Instead, the pixel values correspond to the unevenness and the pattern. In other words, the maximum displayable color gamut varies with each pixel. In this embodiment, first, the maximum displayable color gamut range is determined. The luminance Y i on the projection plane is calculated from the equation (1):
Figure 2009171012

したがって、表示可能な輝度範囲は、(4)式において、0≦R,G,B≦255の範囲で振ったときにYがとり得る範囲で決まる。通常、Y,Y,Y>Yであるから、各画素の表示可能な輝度範囲は、白画像((R,G,B)=(255,255,255))を投影したときの表示輝度を表示可能な最大輝度YMAX,i、黒画像を投影したときの表示輝度をYMIN,iとして求めることができる。 Therefore, the displayable luminance range is determined by the range that Y i can take when it is shaken in the range of 0 ≦ R i , G i , B i ≦ 255 in the equation (4). Usually, Y r, Y g, since a Y b> Y k, displayable intensity range of each pixel is a white image ((R, G, B) i = (255,255,255) i) a projection The maximum displayable brightness Y MAX, i can be obtained as the display brightness when the image is projected, and the display brightness when the black image is projected can be obtained as Y MIN, i .

ここで、投影面のムラや模様が投影画像の視認性に対する影響を低減するためには、投影面撮影画像の投影面での最大輝度YMAXがMIN(YMAX,i)、最小輝度YMINがMAX(YMIN,i)になるように投影画像データを補正する必要がある。すなわち、補正対象投影画像を投影したときの最大輝度YMAXが、白画像投影時の撮影画像を構成する複数画素の中で最小の輝度値MIN(YMAX,i)になるように補正する必要がある。また、補正対象投影画像を投影したときの最小輝度YMINが、黒画像投影時の撮影画像を構成する複数画素の中で最大の輝度値MAX(YMIN,i)になるように補正する必要がある。 Here, in order to reduce the influence of the unevenness or pattern of the projection surface on the visibility of the projection image, the maximum luminance Y MAX on the projection surface of the projection surface captured image is MIN (Y MAX, i ), and the minimum luminance Y MIN. It is necessary to correct the projection image data so that becomes MAX (Y MIN, i ). That is, it is necessary to correct so that the maximum luminance Y MAX when the correction target projection image is projected becomes the minimum luminance value MIN (Y MAX, i ) among a plurality of pixels constituting the captured image at the time of projecting the white image. There is. Further, it is necessary to correct the minimum luminance Y MIN when the correction target projection image is projected so as to be the maximum luminance value MAX (Y MIN, i ) among a plurality of pixels constituting the captured image at the time of black image projection. There is.

しかし、極端に暗い部分が投影面にある場合などに、上述した補正を全画素に対して行うと、ダイナミックレンジが非常に狭くなり、補正後の投影画像そのものの視認性が悪くなる。そこで、輝度閾値Ythを設定し、投影画像の画素のうち、投影したときの輝度が輝度閾値Ythより低い輝度の画素に対しては、補正量を緩和し、最大輝度YMAXを以下の(5)式のように決定する。

Figure 2009171012
すなわち、最大輝度YMAXをMIN(YMAX,i)まで補正せず、閾値Yth(<MIN(YMAX,i)まで補正することにより、低輝度側の画素値の補正量を抑制する。 However, when the above-described correction is performed on all the pixels when an extremely dark portion is on the projection surface, the dynamic range becomes very narrow, and the visibility of the corrected projected image itself is deteriorated. Therefore, to set the luminance threshold Yth, among the pixels of the projected image, for low luminance of the pixel from the luminance brightness threshold value Y th when projected, mitigate the correction amount, the following maximum luminance Y MAX ( 5) Determine as shown in the equation.
Figure 2009171012
That is, without correcting the maximum brightness Y MAX to MIN (Y MAX, i), by correcting to a threshold Y th (<MIN (Y MAX , i), suppressing the correction amount of the pixel value of the low luminance side.

−投影画像の補正−
ステップS5で行う投影画像の補正について説明する。
投影画像(入力画像)の色空間がsRGBとすれば、投影画像の画素値(R,G,B)に対して、投影面での測色値(X,Y,Z)は以下のようになればよい。

Figure 2009171012
ここで、黒画像を投影したときの画素の最大輝度、すなわち、YMIN=MAX(YMIN,i)となる画素値を投影画面の黒点(Xk0,Yk0,Zk0)とする。なお、MsRGB→XYZはsRGB色空間からXYZ色空間への変換マトリックスである。 -Correction of projected image-
The correction of the projection image performed in step S5 will be described.
If the color space of the projection image (input image) is sRGB, the colorimetric values (X, Y, Z) i on the projection plane with respect to the pixel values (R 0 , G 0 , B 0 ) of the projection image are It should be as follows.
Figure 2009171012
Here, the maximum luminance of a pixel when a black image is projected, that is, a pixel value satisfying Y MIN = MAX (Y MIN, i ) is defined as a black point (X k0 , Y k0 , Z k0 ) on the projection screen. M sRGB → XYZ is a conversion matrix from the sRGB color space to the XYZ color space.

したがって、(1)式を用いて、補正後の投射ユニット110への入力画素値(R,G,B)は以下の(7)式で算出できる。

Figure 2009171012
Therefore, using the equation (1), the corrected input pixel value (R, G, B) i to the projection unit 110 can be calculated by the following equation (7).
Figure 2009171012

(7)式は簡単のため、sRGBのγ=2.2として記述した。しかし、定義どおり線形関数とγ=2.4の組み合わせで算出してもよい。   Since equation (7) is simple, sRGB is described as γ = 2.2. However, it may be calculated as a combination of a linear function and γ = 2.4 as defined.

以上説明した第1の実施の形態によれば、次の作用効果が得られる。
(1)投影面30のずれを検出したとき、投影画像の補正係数の算出をやり直すようにした。したがって、投影中に何らかの原因で投射機能付きカメラ1が動いてしまっても、投影画像を適切に補正することができる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) When the deviation of the projection plane 30 is detected, the calculation of the correction coefficient of the projection image is performed again. Therefore, even if the camera with a projection function 1 moves for some reason during projection, the projected image can be corrected appropriately.

(2)加速度センサ106のように投射機能付きカメラ1が動いたことを検出するセンサによって、投影面30のずれを検出したので、投影面30のずれを確実に検出することができる。 (2) Since the displacement of the projection surface 30 is detected by a sensor that detects that the camera with projection function 1 has moved, such as the acceleration sensor 106, the displacement of the projection surface 30 can be reliably detected.

−第2の実施の形態−
第1の実施の形態では、投影画像の補正係数を算出するのに時間がかかる場合がある。このような場合、投影画像の補正係数を算出し直してから投影を再開すると、投影が再開されるまでの時間が長くなる。そこで、第2の実施の形態では、投影画像が切り替わる間に、所定の投影画像(白画像、黒画像、R画像、G画像、B画像)を投影し、その投影画像を投影した投影面を撮影する。これにより、ユーザは、投影が再開されるまで長い時間待つ必要がない。
-Second Embodiment-
In the first embodiment, it may take time to calculate the correction coefficient of the projection image. In such a case, if the projection is resumed after recalculating the correction coefficient of the projection image, the time until the projection is resumed increases. Therefore, in the second embodiment, a predetermined projection image (white image, black image, R image, G image, B image) is projected while the projection image is switched, and a projection plane on which the projection image is projected is displayed. Take a picture. Thereby, the user does not have to wait for a long time until the projection is resumed.

図6に示すように、投影面30に投影される投影画像が投影画像35から投影画像37に切り替わる間に、白画像36を投影して撮影する。同様に、投影面30に投影される投影画像が切り替わる度に、黒画像、R画像、G画像およびB画像を投影し、投影面を撮影する。そして、新たな投影画像の補正係数が算出されたとき、新たな投影画像の補正係数で補正した投影画像を投影する。   As shown in FIG. 6, while the projection image projected on the projection plane 30 is switched from the projection image 35 to the projection image 37, the white image 36 is projected and photographed. Similarly, every time the projection image projected on the projection plane 30 is switched, a black image, an R image, a G image, and a B image are projected to photograph the projection plane. Then, when the correction coefficient for the new projection image is calculated, the projection image corrected with the correction coefficient for the new projection image is projected.

−第3の実施の形態−
第1の実施の形態では、投射機能付きカメラ1が動いたことを検出することによって、投影面のずれを検出した。第3の実施の形態では、投影画像が投影面に投影されたときの投影面を撮影した撮影画像と、補正した投影画像を投影面に投影し、その投影した投影画像を撮影して得られるであろうと推定される推定撮影画像とを比較することにより、投影面のずれを検出する。これにより、加速度センサ106などのセンサ類を設けなくても投影面のずれを検出することができる。
-Third embodiment-
In the first embodiment, the displacement of the projection plane is detected by detecting that the camera 1 with a projection function has moved. In the third embodiment, a photographed image obtained by photographing the projection surface when the projection image is projected onto the projection surface and a corrected projection image are projected onto the projection surface, and the projected image obtained by photographing is projected. The deviation of the projection plane is detected by comparing the estimated captured image that is estimated to be. Thereby, it is possible to detect the deviation of the projection plane without providing sensors such as the acceleration sensor 106.

撮影画像と、推定撮影画像との間の比較は以下のように行う。図7に示すように推定撮影画像41の輝度分布と撮影画像34の輝度分布を比較する。その結果、撮影画像41には、推定撮影画像41には見られない輝度の低い部分34aや輝度の高い部分34bが検出される。このような輝度の異常部分が検出された場合、投影面30がずれたものと判定する。以上のように、撮影画像34と推定撮影画像41とを比較して輝度の高い部分および輝度の低い部分を検出することにより、投影面30のずれを検出する。   Comparison between the captured image and the estimated captured image is performed as follows. As shown in FIG. 7, the luminance distribution of the estimated captured image 41 and the luminance distribution of the captured image 34 are compared. As a result, a low-luminance portion 34a and a high-luminance portion 34b that are not seen in the estimated captured image 41 are detected in the captured image 41. If such an abnormal portion of brightness is detected, it is determined that the projection plane 30 has shifted. As described above, the deviation of the projection plane 30 is detected by comparing the photographed image 34 with the estimated photographed image 41 and detecting a portion with high luminance and a portion with low luminance.

推定撮影画像は、たとえば、白画像などを投影して撮影した投影面の撮影画像に、補正した投影画像を合わせることにより算出する。   The estimated captured image is calculated by, for example, combining the corrected projection image with the captured image of the projection plane captured by projecting a white image or the like.

第3の実施の形態を次のように変形することができる。
(1)投影面の模様が顕著で投影画像の補正を行っても投影面の模様を完全に目立たないようにすることができないと判断される場合、推定撮影画像の代わりに、白画像で撮影された投影面内の輝度の変化に応じて投影画像内の輝度を変化させた画像を、撮影画像と比較して投影面のずれを検出するようにしてもよい。推定撮影画像を算出するよりも白画像で撮影された投影面内の輝度の変化に応じて投影画像内の輝度を変化させた画像を算出する方が容易だからである。
The third embodiment can be modified as follows.
(1) When it is determined that the projection surface pattern is remarkable and the projection image correction cannot be made completely inconspicuous even if the projection image is corrected, a white image is taken instead of the estimated photographed image. The deviation of the projection plane may be detected by comparing an image obtained by changing the luminance in the projection image in accordance with the change in the luminance in the projection plane, with the captured image. This is because it is easier to calculate an image in which the brightness in the projection image is changed in accordance with the change in the brightness in the projection plane captured with the white image than to calculate the estimated captured image.

(2)投影面の模様が目立たないため、投影画像の補正により投影面の模様を完全に目立たないようにすることができると判断される場合、推定撮影画像の代わりに、補正を行わない元の投影画像を、撮影画像と比較する画像として使用してもよい。推定撮影画像は、補正を行わない元の投影画像とほとんど変わらないからである。 (2) Since it is determined that the projection surface pattern can be made completely inconspicuous by correcting the projection image because the projection surface pattern is inconspicuous, the correction is not performed instead of the estimated photographed image. The projected image may be used as an image to be compared with the captured image. This is because the estimated captured image is almost the same as the original projection image without correction.

(3)撮影画像と推定撮影画像との比較は、対応する各画素の差分や比を取るなど、2つの画像の違いを取得できる方法であれば上記の比較方法に限定されない。たとえば、各画素の輝度Y値について差分を算出し、その画像内の最大値が所定値(たとえば、最大輝度Y値の10%)を超えた場合、投影面30のずれありと判定してもよい。また、対応する各画素の差分の平均値が所定値を超えた場合、投影面30のずれありと判定してもよい。さらに、輝度Y値の代りに画素値RGBの値を使用してもよい。また、投影面上で特徴的な模様がある部分を中心とした一部分において、撮影画像と推定撮影画像とを比較するようにしてもよい。 (3) The comparison between the captured image and the estimated captured image is not limited to the above-described comparison method as long as the difference between the two images can be acquired, such as taking the difference or ratio of the corresponding pixels. For example, if a difference is calculated for the luminance Y value of each pixel and the maximum value in the image exceeds a predetermined value (for example, 10% of the maximum luminance Y value), it may be determined that there is a deviation of the projection plane 30. Good. Further, when the average value of the differences between the corresponding pixels exceeds a predetermined value, it may be determined that there is a deviation of the projection plane 30. Further, the pixel value RGB may be used instead of the luminance Y value. Further, the captured image and the estimated captured image may be compared in a part centered on a part having a characteristic pattern on the projection surface.

−第4の実施の形態−
第3の実施の形態では、撮影画像と推定撮影画像とを比較することにより投影面のずれを検出した。第4の実施の形態では、さらに、撮影画像と推定撮影画像とを比較することにより投影面のずれの方向やずれの程度を検出する。
-Fourth embodiment-
In the third embodiment, the deviation of the projection plane is detected by comparing the captured image with the estimated captured image. In the fourth embodiment, the direction and degree of deviation of the projection plane are further detected by comparing the captured image with the estimated captured image.

投影面のずれの方向やずれの程度の検出は、以下のように行う。まず、図8(a)に示すように、投影特性の決定や投影画像の補正係数の決定を行うとき、投影画像と投影する投影面30よりも広い領域50(以下、広域領域と呼ぶ)に所定の投影画像(白画像、黒画像、R画像、G画像、B画像)を投影し、撮影を行う。そして、広域領域50の撮影画像うち、投影面30の部分の画像を用いて、投影特性の決定や投影画像の補正係数の決定を行う。   Detection of the direction and degree of deviation of the projection plane is performed as follows. First, as shown in FIG. 8A, when determining the projection characteristic and the correction coefficient of the projection image, the projection image and the projection area 30 wider than the projection plane 30 (hereinafter referred to as a wide area) are projected. A predetermined projection image (white image, black image, R image, G image, B image) is projected and shot. Then, the projection characteristics and the correction coefficient of the projection image are determined using the image of the portion of the projection plane 30 among the captured images of the wide area 50.

次に、図7の撮影画像34と推定撮影画像41とを比較して、図9(a)に示すように、輝度の暗い部分34aと輝度の明るい部分34bとを抽出する。図9(b)に示すように、白画像を投射したときの投影面30における撮影画像により輝度の暗い部分31を抽出する。   Next, the captured image 34 of FIG. 7 and the estimated captured image 41 are compared, and a dark portion 34a and a bright portion 34b are extracted as shown in FIG. 9A. As shown in FIG. 9B, a dark portion 31 is extracted from the captured image on the projection plane 30 when a white image is projected.

ところで、撮影画像34の中で、投影面30がずれる前に暗い部分31が存在し、投影面30がずれた後、暗い部分31が存在しなくなった部分の輝度は、推定撮影画像の輝度に比べて高くなる。一方、撮影画像34の中で、投影面30がずれる前に暗い部分31が存在せず、投影面30がずれた後、暗い部分31が存在するようになった部分の輝度は推定撮影画像の輝度に比べて低くなる。このような輝度の関係と、輝度の暗い部分31の形状とから、図9(c)に示すように、投影面のずれに起因する投影面上における暗い部分31の移動(矢印61)を検出することができる。   By the way, in the captured image 34, the dark portion 31 exists before the projection plane 30 is deviated, and the luminance of the portion where the dark portion 31 does not exist after the projection plane 30 is displaced is the luminance of the estimated captured image. Compared to higher. On the other hand, in the captured image 34, the dark portion 31 does not exist before the projection plane 30 is deviated, and the luminance of the portion in which the dark portion 31 is present after the projection plane 30 is displaced is the luminance of the estimated captured image. It becomes lower than the brightness. From such a luminance relationship and the shape of the dark portion 31, as shown in FIG. 9C, the movement (arrow 61) of the dark portion 31 on the projection plane due to the deviation of the projection plane is detected. can do.

それに合わせて、図8(b)に示すように、広域領域50の中で投影特性の決定や投影画像の補正係数の決定を行うため使用する画像の領域を投影面30から投影面30Aに移動する(矢印51の方向)。そして、投影面30Aの部分の画像を用いて投影特性の決定や投影画の像補正係数の決定を行い、その投影画像の補正係数で投影画像の補正を行う。   Accordingly, as shown in FIG. 8B, the image area used for determining the projection characteristics and the correction coefficient of the projection image in the wide area 50 is moved from the projection plane 30 to the projection plane 30A. (Direction of arrow 51). Then, the projection characteristics and the image correction coefficient of the projection image are determined using the image of the projection surface 30A, and the projection image is corrected with the correction coefficient of the projection image.

これにより、再度、投影面に投影画像(白画像、黒画像、R画像、G画像、B画像)を投影し、投影した投影面を撮影する必要がないので、投影画像の補正係数を速やかに算出することができる。   As a result, it is not necessary to project the projected image (white image, black image, R image, G image, B image) again on the projection surface and photograph the projected projection surface. Can be calculated.

−第5の実施の形態−
投影面のずれを検出したということは、投射機能付きカメラ1を手で持って投影していると考えられる。このような場合、再び投影面がずれる可能性があるので、投影面を撮影した撮影画像に基づいて投影画像を補正しない方がよい。以上より、第5の実施の形態では、投影面のずれを検出した後は、投影画像の補正を行わない。
-Fifth embodiment-
The fact that the deviation of the projection plane is detected is considered that the camera 1 with a projection function is being held and projected. In such a case, since the projection plane may be shifted again, it is better not to correct the projection image based on the captured image obtained by photographing the projection plane. As described above, in the fifth embodiment, the projection image is not corrected after the deviation of the projection plane is detected.

図10のフローチャートを参照して、投影面のずれを検出した場合、投影画像の補正を行わない画像処理について説明する。図10の処理は、投射機能付きカメラ1が、投影を開始するための処理を開始するとスタートするプログラムにより制御回路101において実行される。図5の画像処理に共通するステップには共通の符号を付し、図5の画像処理と異なる部分を主に説明する。   With reference to the flowchart of FIG. 10, image processing that does not correct the projection image when a deviation of the projection plane is detected will be described. The processing in FIG. 10 is executed in the control circuit 101 by a program that starts when the camera with a projection function 1 starts processing for starting projection. Steps common to the image processing of FIG. 5 are denoted by common reference numerals, and different portions from the image processing of FIG. 5 will be mainly described.

ステップS11では、投影面のずれの有無を判断するためのフラグfの値を0にする。ここで、フラグfの値が0のとき、投影面のずれなしと判断し、フラグfの値が1のとき、投影面のずれありと判断する。そして、ステップS1に進む。   In step S11, the value of the flag f for determining whether or not the projection plane is shifted is set to zero. Here, when the value of the flag f is 0, it is determined that there is no deviation of the projection plane, and when the value of the flag f is 1, it is determined that there is a deviation of the projection plane. Then, the process proceeds to step S1.

ステップS3が否定判定されるとステップS12に進む。ステップS12では、フラグfの値を1にする。そして、ステップS13に進む。また、ステップS4の次もステップS13に進む。   If a negative determination is made in step S3, the process proceeds to step S12. In step S12, the value of the flag f is set to 1. Then, the process proceeds to step S13. Also after step S4, the process proceeds to step S13.

ステップS13では、フラグfの値が0であるか否かを判定する。フラグfの値が0である場合はステップS13が肯定判定され、ステップS5に進む。フラグfの値が1である場合はステップS13が否定判定され、ステップS6に進む。これにより投影画像は補正されない。なお、投射機能付きカメラ1の動きを連続して検出した場合のみ、投影画像の補正を停止するようにしてもよい。投射機能付きカメラ1を手で持って投影していることを確実に検出するためである。   In step S13, it is determined whether or not the value of the flag f is zero. If the value of the flag f is 0, step S13 is affirmed and the process proceeds to step S5. If the value of the flag f is 1, a negative determination is made in step S13, and the process proceeds to step S6. As a result, the projected image is not corrected. The correction of the projected image may be stopped only when the movement of the camera with a projection function 1 is continuously detected. This is for reliably detecting that the camera 1 with the projection function is being held by hand.

プロジェクタであれば、投射機能付きカメラ1に限定されない。   If it is a projector, it is not limited to the camera 1 with a projection function.

以上の説明はあくまで一例であり、本発明は上記実施形態の構成に何ら限定されるものではない。   The above description is merely an example, and the present invention is not limited to the configuration of the above embodiment.

本発明の第1の実施の形態による投射機能付きカメラの外観図である。1 is an external view of a camera with a projection function according to a first embodiment of the present invention. 本発明の第1の実施の形態における投射機能付きカメラの構成を説明するブロック図である。It is a block diagram explaining the structure of the camera with a projection function in the 1st Embodiment of this invention. 投影面と投影画像を説明するための図である。It is a figure for demonstrating a projection surface and a projection image. 本発明の第1の実施形態における画像処理によって処理された投影画像を投影したときに視認される投影画像について説明する図である。It is a figure explaining the projection image visually recognized when projecting the projection image processed by the image processing in the 1st Embodiment of this invention. 本発明の第1の実施の形態における画像処理を説明するためのフローチャートである。It is a flowchart for demonstrating the image processing in the 1st Embodiment of this invention. 本発明の第2の実施の形態における投影画像が切り替わる間に、所定の投影画像を投影し、その投影画像を投影した投影面を撮影する処理を説明するための図である。It is a figure for demonstrating the process which projects a predetermined projection image and image | photographs the projection surface which projected the projection image while the projection image in the 2nd Embodiment of this invention switches. 本発明の第3の実施の形態における撮影画像と推定撮影画像との比較を説明するための図である。It is a figure for demonstrating the comparison with the picked-up image and the presumed picked-up image in the 3rd Embodiment of this invention. 本発明の第4の実施の形態における広域領域と投影面との間の関係を説明するための図である。It is a figure for demonstrating the relationship between the wide area | region and projection surface in the 4th Embodiment of this invention. 本発明の第4の実施の形態における撮影画像と推定撮影画像とを比較することによる投影面のずれの方向やずれの程度の検出を説明するための図である。It is a figure for demonstrating the detection of the direction of a shift | offset | difference of a projection surface, and the grade of a shift | offset | difference by comparing the picked-up image and the estimated picked-up image in the 4th Embodiment of this invention. 本発明の第5の実施の形態における投影面のずれを検出した場合、投影画像の補正を行わない画像処理を説明するためのフローチャートである。It is a flowchart for demonstrating the image process which does not correct | amend a projection image, when the shift | offset | difference of the projection surface in the 5th Embodiment of this invention is detected.

符号の説明Explanation of symbols

1 投射機能付きカメラ1
30,30A 投影面
31 投影面のシミ
32〜35,37 投影画像
41 推定撮影画像
50 広域領域
101 制御回路
102 メモリ
103 操作部
104 外部インターフェイス
105 メモリカードインターフェイス
110 投射ユニット
120 撮像ユニット
1 Camera with projection function 1
30, 30A Projection surface 31 Projection surface spots 32 to 35, 37 Projected image 41 Estimated photographed image 50 Wide area 101 Control circuit 102 Memory 103 Operation unit 104 External interface 105 Memory card interface 110 Projection unit 120 Imaging unit

Claims (7)

所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正するための補正係数を算出する補正係数算出手段と、
前記補正係数算出手段によって算出された補正係数を用いて投影画像を補正する補正手段と、
前記補正手段により補正された投影画像を投影する投影手段と、
投影面のずれを検出するずれ検出手段とを備え、
前記補正係数算出手段は、前記ずれ検出手段により投影面のずれを検出すると、改めて補正係数を算出し、
前記補正手段は、改めて補正係数が算出されるまで、所定の補正係数を用いて投影画像を補正し、改めて補正係数が算出されると、前記補正係数算出手段により改めて算出された補正係数を用いて投影画像を補正することを特徴とするプロジェクタ。
Correction coefficient calculation means for calculating a correction coefficient for correcting the projection image using a captured image obtained by capturing a projection plane on which the predetermined projection image is projected;
Correction means for correcting the projected image using the correction coefficient calculated by the correction coefficient calculation means;
Projection means for projecting the projection image corrected by the correction means;
A displacement detecting means for detecting a displacement of the projection plane;
The correction coefficient calculation means calculates a correction coefficient again when detecting the deviation of the projection plane by the deviation detection means,
The correction means corrects the projected image using a predetermined correction coefficient until the correction coefficient is calculated again. When the correction coefficient is calculated again, the correction coefficient calculated again by the correction coefficient calculation means is used. A projector for correcting a projected image.
請求項1に記載のプロジェクタにおいて、
前記補正係数算出手段は、前記投影手段により投影される投影画像が切り替わる間を利用して、前記所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、改めて補正係数を算出することを特徴とするプロジェクタ。
The projector according to claim 1, wherein
The correction coefficient calculation means uses the captured image obtained by photographing the projection surface on which the predetermined projection image is projected, using the period during which the projection image projected by the projection means is switched. A projector characterized by calculating
請求項1または2に記載のプロジェクタにおいて、
前記ずれ検出手段は、前記プロジェクタが動いたことを検出することによってずれを検出することを特徴とするプロジェクタ。
The projector according to claim 1 or 2,
The deviation detecting means detects a deviation by detecting that the projector has moved.
請求項1または2に記載のプロジェクタにおいて、
前記補正手段により補正された投影画像を投影した投影面を撮像して得られる撮影画像を算出する撮影画像算出手段とを備え、
前記ずれ検出手段は、前記補正手段により補正された投影画像を投影した投影面を撮像して得られる撮影画像と、前記撮影画像算出手段により算出された撮影画像とに基づいて、ずれを検出することを特徴とするプロジェクタ。
The projector according to claim 1 or 2,
A photographic image calculation unit that calculates a photographic image obtained by imaging a projection plane on which the projection image corrected by the correction unit is projected;
The deviation detecting unit detects a deviation based on a photographed image obtained by imaging a projection plane on which the projection image corrected by the correcting unit is projected and a photographed image calculated by the photographed image calculating unit. A projector characterized by that.
所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正するための補正係数を算出する補正係数算出手段と、
前記補正係数算出手段によって算出された補正係数を用いて投影画像を補正する補正手段と、
前記補正手段により補正された投影画像を投影する投影手段と、
本体が動いたことを検出する動き検出手段とを備え、
前記投影手段は、前記動き検出手段により本体が動いたことを検出すると、前記補正手段による補正を行わないで投影画像を投影することを特徴とするプロジェクタ。
Correction coefficient calculation means for calculating a correction coefficient for correcting the projection image using a captured image obtained by capturing a projection plane on which the predetermined projection image is projected;
Correction means for correcting the projected image using the correction coefficient calculated by the correction coefficient calculation means;
Projection means for projecting the projection image corrected by the correction means;
Motion detection means for detecting that the main body has moved,
The projection unit projects a projected image without performing correction by the correction unit when detecting that the main body has been moved by the motion detection unit.
請求項5に記載のプロジェクタにおいて、
前記投影手段は、前記動き検出手段により本体が動いたことを連続して検出した場合に、前記補正手段による補正を行わないで投影画像を投影することを特徴とするプロジェクタ。
The projector according to claim 5, wherein
The projection unit projects a projected image without performing correction by the correction unit when the movement detection unit continuously detects that the main body has moved.
所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正するための補正係数を算出する補正係数算出手段と、
前記補正係数算出手段によって算出された補正係数を用いて投影画像を補正する補正手段と、
前記補正手段により補正された投影画像を投影する投影手段と、
前記補正手段により補正された投影画像を投影した投影面を撮像して得られる撮影画像を算出する撮影画像算出手段とを備え、
前記補正係数算出手段は、前記補正手段により補正された投影画像を投影した投影面を撮像して得られる撮影画像と、前記撮影画像算出手段により算出された撮影画像とに基づいて、改めて補正係数を算出することを特徴とするプロジェクタ。
Correction coefficient calculation means for calculating a correction coefficient for correcting the projection image using a captured image obtained by capturing a projection plane on which the predetermined projection image is projected;
Correction means for correcting the projected image using the correction coefficient calculated by the correction coefficient calculation means;
Projection means for projecting the projection image corrected by the correction means;
A photographic image calculation unit that calculates a photographic image obtained by imaging a projection plane on which the projection image corrected by the correction unit is projected;
The correction coefficient calculating means revises the correction coefficient based on a photographed image obtained by capturing a projection plane on which the projection image corrected by the correcting means is projected and a photographed image calculated by the photographed image calculating means. A projector characterized by calculating
JP2008004221A 2008-01-11 2008-01-11 projector Active JP5205978B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008004221A JP5205978B2 (en) 2008-01-11 2008-01-11 projector
US12/812,459 US8807762B2 (en) 2008-01-11 2009-01-09 Projector
PCT/JP2009/050241 WO2009088080A1 (en) 2008-01-11 2009-01-09 Projector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008004221A JP5205978B2 (en) 2008-01-11 2008-01-11 projector

Publications (2)

Publication Number Publication Date
JP2009171012A true JP2009171012A (en) 2009-07-30
JP5205978B2 JP5205978B2 (en) 2013-06-05

Family

ID=40971756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008004221A Active JP5205978B2 (en) 2008-01-11 2008-01-11 projector

Country Status (1)

Country Link
JP (1) JP5205978B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239598A (en) * 2008-03-27 2009-10-15 Casio Comput Co Ltd Camera built-in projector
JP2011064777A (en) * 2009-09-15 2011-03-31 Konica Minolta Business Technologies Inc Image projection system, image projection method and image projection program
JP2013088802A (en) * 2012-01-30 2013-05-13 Tetsuya Akiba System and method of displaying content
JP2016073365A (en) * 2014-10-03 2016-05-12 株式会社三共 Game machine
WO2018135141A1 (en) * 2017-01-17 2018-07-26 ソニー株式会社 Information processing device, information processing method, and projection system
JP2019139206A (en) * 2018-02-07 2019-08-22 ニンテンドー ヨーロピアン リサーチ アンド ディヴェロップメント Method and apparatus for compensating colorimetry of projected image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032207A (en) * 2002-06-24 2004-01-29 Seiko Epson Corp Image display, projector, program and storage medium
JP2005148381A (en) * 2003-11-14 2005-06-09 Nec Viewtechnology Ltd Projector, movement detecting method, and video adjusting method
JP2007208698A (en) * 2006-02-02 2007-08-16 Oki Electric Ind Co Ltd Video projection equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032207A (en) * 2002-06-24 2004-01-29 Seiko Epson Corp Image display, projector, program and storage medium
JP2005148381A (en) * 2003-11-14 2005-06-09 Nec Viewtechnology Ltd Projector, movement detecting method, and video adjusting method
JP2007208698A (en) * 2006-02-02 2007-08-16 Oki Electric Ind Co Ltd Video projection equipment

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239598A (en) * 2008-03-27 2009-10-15 Casio Comput Co Ltd Camera built-in projector
JP2011064777A (en) * 2009-09-15 2011-03-31 Konica Minolta Business Technologies Inc Image projection system, image projection method and image projection program
US8427507B2 (en) 2009-09-15 2013-04-23 Konica Minolta Business Technologies, Inc. Image projection system able to emphasize or cancel objects drawn on a surface
JP2013088802A (en) * 2012-01-30 2013-05-13 Tetsuya Akiba System and method of displaying content
JP2016073365A (en) * 2014-10-03 2016-05-12 株式会社三共 Game machine
WO2018135141A1 (en) * 2017-01-17 2018-07-26 ソニー株式会社 Information processing device, information processing method, and projection system
JP2019139206A (en) * 2018-02-07 2019-08-22 ニンテンドー ヨーロピアン リサーチ アンド ディヴェロップメント Method and apparatus for compensating colorimetry of projected image

Also Published As

Publication number Publication date
JP5205978B2 (en) 2013-06-05

Similar Documents

Publication Publication Date Title
JP5772991B2 (en) Electronics
WO2009088080A1 (en) Projector
US8089524B2 (en) Flicker correction apparatus, flicker correction method, and image sensing apparatus
US9443323B2 (en) Image processing apparatus, image processing method and recording medium
JP5205978B2 (en) projector
US20100265403A1 (en) Projector apparatus and projection image correcting program product
JP5141259B2 (en) projector
JP2007271771A (en) Image display system and control method therefor
JP6679811B1 (en) Correction image generation system, image control program, and recording medium
JP5371135B2 (en) Luminance correction apparatus, luminance correction system, and luminance correction method
JP2022160498A (en) Projection controller, projector, projection control method, and program
JP2008177972A (en) Imaging apparatus
JP5103984B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP5211703B2 (en) projector
JP5444720B2 (en) projector
JP5344152B2 (en) Electronics
JP2009060393A (en) Document camera device, image processing device, image processing method, and program
JP6727917B2 (en) Projection device, electronic device, and image processing method
JPWO2020136731A1 (en) Corrected image generation system, image control method, image control program, and recording medium
JP2020076815A (en) Image display device
JP2006201548A (en) Device and method for projecting image
JP6732144B1 (en) Correction image generation system, image control method, image control program, and recording medium
JP5187351B2 (en) Projector and projected image correction program
JP3852453B2 (en) Projector and exposure adjustment method
JP2020112812A (en) Correction image generation system, image control program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130104

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5205978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250