JP2019114887A - Projection type image display device and control method thereof - Google Patents
Projection type image display device and control method thereof Download PDFInfo
- Publication number
- JP2019114887A JP2019114887A JP2017245862A JP2017245862A JP2019114887A JP 2019114887 A JP2019114887 A JP 2019114887A JP 2017245862 A JP2017245862 A JP 2017245862A JP 2017245862 A JP2017245862 A JP 2017245862A JP 2019114887 A JP2019114887 A JP 2019114887A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- unit
- calibration pattern
- shift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、投射を中断せずに調整できる投射型画像表示装置に関する。 The present invention relates to a projection type image display apparatus capable of adjusting projection without interruption.
投射型画像表示装置を用いて画像を投影するとき、投射型画像表示装置と投影面が正対していないとき、投影画像にいわゆる台形変形が発生する。しかし投影面に正対した位置に投射型画像表示装置を設置できない場合がある。 When an image is projected using a projection type image display apparatus, so-called trapezoidal deformation occurs in the projection image when the projection type image display apparatus and the projection surface do not face each other. However, there are cases where the projection type image display apparatus can not be installed at a position facing the projection plane.
また、それらの設置条件において、複数の投射型画像表示装置を用いて一つの高解像度画像を投影するときには、台形補正と同時に位置調整も必要となる。 In addition, when projecting one high-resolution image using a plurality of projection type image display devices under these installation conditions, it is also necessary to perform position adjustment simultaneously with trapezoidal correction.
このように投射型画像表示装置の設置時には、投射型画像表示装置の持つ電気的もしくは光学的な台形補正機能や位置調整機能や、もしくは投射型画像表示装置自体の設置位置を調整して投影画像位置の調整を行うなど、複雑で煩雑で専門的な較正技術を持った設置者が必要であった。 As described above, when the projection type image display device is installed, the projection image is adjusted by adjusting the installation position of the projection type image display device itself or the electrical or optical keystone correction function or position adjustment function of the projection type image display device. There was a need for installers with complicated, complicated and specialized calibration techniques, such as position adjustment.
本課題を解決するために、投影形状が投影装置から投影する較正パターンをカメラで撮影し、調整パラメータを生成してスクリーン上での投影画像の形状を補正する技術が開示されている（特許文献１）。 In order to solve the problem, there is disclosed a technique for photographing a calibration pattern projected by a projection device with a projection device with a camera, generating adjustment parameters, and correcting the shape of the projection image on the screen (Patent Document 1) 1).
しかしながら、特許文献１で開示されている技術は、自動較正のためのパターンを投射するため、投影システムの使用を一旦停止する必要があり、その間は投影システムが使用できなくなるという課題が残っている。本課題を解決するために、較正パターンを非可視光で投射する技術が開示されている（特許文献２）。 However, since the technique disclosed in Patent Document 1 needs to temporarily stop the use of the projection system in order to project a pattern for automatic calibration, the problem remains that the projection system can not be used during that time. . In order to solve this subject, the technique which projects a calibration pattern by non-visible light is disclosed (patent document 2).
特許文献２に開示される技術では、非可視光で較正パターンを投影、検出するための構成が必用となり、投影システムが高価となってしまうという課題がある。 The technique disclosed in Patent Document 2 has a problem that a configuration for projecting and detecting a calibration pattern with non-visible light is required, and the projection system becomes expensive.
入力画像を倍速化し、倍速化した二つのフレームに対して視覚的に視認できないようにテストパターンを埋め込む方法がある。例えばテストパターンを挿入する画素において、倍速化したペアの一方のフレームでは画素にある値を加算し、もう一方のフレームでは画素からある値を減算する。このとき加減算する値が同じならば、倍速化後のフレームレートが１２０−２４０Ｈｚ程度になると視覚的には平均化されてほとんど視認できない。 There is a method of embedding a test pattern so that the input image is doubled and the two doubled frames can not be visually recognized visually. For example, in a pixel into which a test pattern is inserted, a certain value is added to the pixel in one frame of the doubled pair, and a certain value is subtracted from the pixel in the other frame. At this time, if the values to be added and subtracted are the same, when the frame rate after double-speeding becomes about 120 to 240 Hz, it is visually averaged and hardly visible.
そして、投影画像を撮像してペアのフレーム同士を減算することにより、画素信号は全て打ち消しあってレベルが０となり、テストパターンのみを抽出することができる。それにより、通常の使用時に投影を中止してテストパターンを投影しなくとも、不可視のテストパターンとして投影画像に重畳することにより位置調整が行える。 Then, by imaging the projection image and subtracting the frames of the pair, all the pixel signals cancel each other, the level becomes 0, and only the test pattern can be extracted. Thus, even if the projection is not used and the test pattern is not projected at the time of normal use, the position adjustment can be performed by superimposing on the projection image as an invisible test pattern.
しかし、投影している最中にレンズシフトにより投影位置の調整を行なうなどして、撮像したペアのフレーム間でシフトが発生した場合には、両ペアフレーム間での投影画像が撮像された画素の位置関係がずれてしまうために、テストパターンの抽出ができなってしまう。 However, if a shift occurs between the frames of the captured pair, for example, by adjusting the projection position by lens shift during projection, the pixel at which the projected image is captured between the pair of frames Because the positional relationship between the two is shifted, the test pattern can be extracted.
上記の課題を解決するために、本出願に係る投射型画像表示装置は、
入力された映像信号のフレームレートを変換するフレームレート変換手段と、投影画像の投影位置若しくは形状の較正のための較正パターンを生成する較正パターン生成手段と、前記フレームレート変換手段が倍速化したフレームに対し、前記較正パターンを加算もしくは減算して合成する合成手段と、前記合成手段により較正パターンが合成された画像を投影する投影手段と前記投影手段によって投影された投影画像を撮影して取得する撮像手段と、前記撮像手段で撮像した投影画像のシフトを検出し、前記撮像工程で得られた撮影画像補正するシフト検出補正手段と、前記シフト検出補正手段が補正した前記撮影画像から前記較正パターンを検出する較正パターン検出手段と、を備え、前記シフト検出補正手段は、前記フレームレート変換手段が変換した一つのフレームから生成した対となるフレーム間でシフト補正を行うことを特徴とする。
In order to solve the above-mentioned subject, a projection type image display device concerning the present application is:
A frame rate conversion means for converting a frame rate of an input video signal, a calibration pattern generation means for generating a calibration pattern for calibration of a projection position or shape of a projection image, and a frame doubled by the frame rate conversion means And combining means for adding or subtracting the calibration pattern and combining, projecting means for projecting an image on which the calibration pattern is combined by the combining means, and capturing and acquiring a projected image projected by the projecting means An imaging unit, a shift detection / correction unit for detecting a shift of a projected image captured by the imaging unit, and correcting a photographed image obtained in the imaging step; and the calibration pattern from the photographed image corrected by the shift detection / correction unit Calibration pattern detection means for detecting the shift of the frame rate It means and performs the shift correction between frames forming a pair generated from one frame which has been converted.
本発明に係る投射型画像表示装置によれば、画像の投影を中断することなく設置位置の較正を行うことができる。 According to the projection type image display apparatus of the present invention, the installation position can be calibrated without interrupting the projection of the image.
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。 Hereinafter, although the example of the present invention is described in detail with reference to the drawings, the present invention is not limited to the following embodiments.
本実施例では、投影装置の一例として、液晶素子を用いたプロジェクタについて説明する。 In this embodiment, a projector using a liquid crystal element will be described as an example of a projection apparatus.
＜全体構成＞
まず、図１を用いて、本実施例のフロントプロジェクタの全体構成を説明する。図１は、本実施例のフロントプロジェクタ１００の全体の構成を示す図である。
<Overall configuration>
First, the overall configuration of the front projector of this embodiment will be described using FIG. FIG. 1 is a diagram showing an entire configuration of a front projector 100 of the present embodiment.
本実施例のフロントプロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、フロントプロジェクタ１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、フロントプロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。 The front projector 100 of the present embodiment includes a CPU 110, a ROM 111, a RAM 112, an operation unit 113, an image input unit 130, and an image processing unit 140. The front projector 100 further includes a liquid crystal control unit 150, liquid crystal elements 151R, 151G, and 151B, a light source control unit 160, a light source 161, a color separation unit 162, a color synthesis unit 163, an optical system control unit 170, and a projection optical system 171. Have. The front projector 100 may further include a recording / reproducing unit 191, a recording medium 192, a communication unit 193, an imaging unit 194, a display control unit 195, and a display unit 196.
ＣＰＵ１１０は、フロントプロジェクタ１００の各動作ブロックを制御するものあり、ＲＯＭ１１１は、ＣＵＰ１１０の処理手順を記述した制御プログラムを記憶するためのものであり、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納するものである。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体１９２に記録させることもできる。 The CPU 110 controls each operation block of the front projector 100, the ROM 111 is for storing a control program in which the processing procedure of the CUP 110 is described, and the RAM 112 temporarily serves as a work memory as a control program or data. To store Further, the CPU 110 temporarily stores still image data and moving image data reproduced from the recording medium 192 by the recording and reproducing unit 191, and reproduces respective images and videos using a program stored in the ROM 111. It can also be done. The CPU 110 can also temporarily store still image data and moving image data received from the communication unit 193, and reproduce the respective images and videos using the program stored in the ROM 111. Alternatively, the image or video obtained by the imaging unit 194 can be temporarily stored in the RAM 112, converted to still image data or moving image data, and recorded in the recording medium 192 using a program stored in the ROM 111. .
また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、フロントプロジェクタ１００の各動作ブロックを制御する。 The operation unit 113 receives an instruction from the user and transmits an instruction signal to the CPU 110. The operation unit 113 includes, for example, a switch, a dial, and a touch panel provided on the display unit 196. Further, the operation unit 113 may be, for example, a signal receiving unit (such as an infrared receiving unit) that receives a signal from a remote control, and may transmit a predetermined instruction signal to the CPU 110 based on the received signal. The CPU 110 also receives control signals input from the operation unit 113 or the communication unit 193 to control each operation block of the front projector 100.
ここで、外部装置は、映像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。 Here, the external device may be any device such as a personal computer, a camera, a mobile phone, a smartphone, a hard disk recorder, and a game machine as long as it can output a video signal.
画像処理部１４０は、映像入力部１３０から受信した映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。また、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）といった機能を実行することが可能である。また、画像処理部１４０は、映像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。 The image processing unit 140 performs processing for changing the number of frames, the number of pixels, the image shape, etc. on the video signal received from the video input unit 130, and transmits the processed signal to the liquid crystal control unit 150. It consists of Further, the image processing unit 140 does not have to be a dedicated microprocessor, and for example, the CPU 110 may execute the same processing as the image processing unit 140 by a program stored in the ROM 111. The image processing unit 140 can execute functions such as frame thinning processing, frame interpolation processing, resolution conversion (scaling) processing, and distortion correction processing (keystone correction processing). In addition to the video signal received from the video input unit 130, the image processing unit 140 can also perform the above-described change process on an image or video reproduced by the CPU 110.
液晶制御部１５０は、画像処理部１４０で処理の施された映像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。 The liquid crystal control unit 150 controls the voltage applied to the liquid crystals of the pixels of the liquid crystal elements 151R, 151G, and 151B based on the video signal processed by the image processing unit 140, thereby controlling the voltages of the liquid crystal elements 151R, 151G, and 151B. Adjust the transmittance.
液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。 The liquid crystal element 151R is a liquid crystal element corresponding to red, and among the light output from the light source 161, of the light separated into red (R), green (G) and blue (B) by the color separation unit 162 Among them, it is for adjusting the transmittance of red light. The liquid crystal element 151 G is a liquid crystal element corresponding to green, and among the light output from the light source 161, of the light separated into red (R), green (G) and blue (B) by the color separation unit 162 Among them, it is for adjusting the transmittance of green light. The liquid crystal element 151 B is a liquid crystal element corresponding to blue, and of the light output from the light source 161, the light separated into red (R), green (G), and blue (B) by the color separation unit 162. Among them, it is for adjusting the transmittance of blue light.
光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。 The light source control unit 160 controls on / off of the light source 161 and controls the light amount, and is formed of a control microprocessor. The light source control unit 160 does not have to be a dedicated microprocessor. For example, the CPU 110 may execute the same processing as the light source control unit 160 according to a program stored in the ROM 111. The light source 161 outputs light for projecting an image on a screen (not shown), and may be, for example, a halogen lamp, a xenon lamp, a high pressure mercury lamp, or the like. The color separation unit 162 separates the light output from the light source 161 into red (R), green (G), and blue (B), and is made of, for example, a dichroic mirror or a prism. In addition, when using LED etc. corresponding to each color as the light source 161, the color separation part 162 is unnecessary.
また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。 The color combining unit 163 combines red (R), green (G), and blue (B) light transmitted through the liquid crystal elements 151R, 151G, and 151B, and includes, for example, a dichroic mirror or a prism. . Then, light obtained by combining the components of red (R), green (G), and blue (B) by the color combining unit 163 is sent to the projection optical system 171. At this time, the liquid crystal elements 151R, 151G, and 151B are controlled by the liquid crystal control unit 150 so as to have the transmittance of light corresponding to the image input from the image processing unit 140. Therefore, when the light combined by the color combining unit 163 is projected on the screen by the projection optical system 171, an image corresponding to the image input by the image processing unit 140 is displayed on the screen.
光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。 The optical system control unit 170 controls the projection optical system 171, and includes a control microprocessor. The optical system control unit 170 does not have to be a dedicated microprocessor, and the CPU 110 may execute the same process as the optical system control unit 170 according to a program stored in the ROM 111, for example. Further, the projection optical system 171 is for projecting the combined light output from the color combining unit 163 onto the screen, and includes a plurality of lenses and an actuator for driving the lens, and the lens is driven by the actuator. It is possible to perform enlargement, reduction, focus adjustment, etc. of the projected image.
撮像部１８０は、フロントプロジェクタ１００の投影映像を撮影する。 The imaging unit 180 captures a projection image of the front projector 100.
シフト検出補正部１８１は、撮像部１８０で取得した画像において、較正パターンが付加されたペアフレーム間のシフトを検出し、過去フレームを現行フレームの位置へ補正する。 The shift detection / correction unit 181 detects the shift between the pair frames to which the calibration pattern is added in the image acquired by the imaging unit 180, and corrects the past frame to the position of the current frame.
較正パターン検出部１８２は、シフト検出補正部１８１で補正したペアフレーム画像から較正パターンを抽出する。 The calibration pattern detection unit 182 extracts a calibration pattern from the pair frame image corrected by the shift detection / correction unit 181.
補正パラメータ決定部１８３は、較正パターン検出部１８２で検出した較正パターンから、投影画像の形状を補正するための補正パラメータを決定する。 The correction parameter determination unit 183 determines a correction parameter for correcting the shape of the projection image from the calibration pattern detected by the calibration pattern detection unit 182.
記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生したり、また、撮像部１９４により得られた画像や映像の静止画データや動画データをＣＰＵ１１０から受信して記録媒体１９２に記録したりするものである。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録しても良い。 The recording / reproducing unit 191 reproduces still image data and moving image data from the recording medium 192, receives still image data and moving image data of an image and video obtained by the imaging unit 194 from the CPU 110, and It is something to record. Still image data or moving image data received from the communication unit 193 may be recorded in the recording medium 192.
記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するためのマイクロプロセッサからなる。また、記録再生部１９１には、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行しても良い。 The recording / reproducing unit 191 includes, for example, an interface electrically connected to the recording medium 192 and a microprocessor for communicating with the recording medium 192. Further, the recording and reproducing unit 191 does not have to include a dedicated microprocessor, and for example, the CPU 110 may execute the same processing as the recording and reproducing unit 191 by a program stored in the ROM 111.
また、記録媒体１９２は、静止画データや動画データ、その他、本実施例のフロントプロジェクタに必要な制御データなどを記録することができるものであり、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。 The recording medium 192 is capable of recording still image data, moving image data, and other control data necessary for the front projector of the present embodiment, and may be any of magnetic disks, optical disks, semiconductor memories, etc. It may be a recording medium of the type, or it may be a removable recording medium or a built-in recording medium.
通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、フロントプロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。 The communication unit 193 is for receiving control signals from external devices, still image data, moving image data, etc. For example, the communication unit 193 may be a wireless LAN, wired LAN, USB, Bluetooth (registered trademark), etc. The method is not particularly limited. Further, if the terminal of the image input unit 130 is, for example, an HDMI (registered trademark) terminal, CEC communication may be performed via the terminal. Here, the external device may be any device such as a personal computer, a camera, a mobile phone, a smartphone, a hard disk recorder, a game machine, a remote control, etc. as long as it can communicate with the front projector 100. .
撮像部１９４は、本実施例のフロントプロジェクタ１００の周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。また、撮像部１９４は、スクリーン方向を撮影するものに限られず、例えば、スクリーンと逆方向の視聴者側を撮影しても良い。 The imaging unit 194 captures an image signal by capturing the periphery of the front projector 100 according to the present embodiment, and can capture an image projected through the projection optical system 171 (capture the screen direction). . The imaging unit 194 transmits the obtained image or video to the CPU 110, and the CPU 110 temporarily stores the image or video in the RAM 112, and based on the program stored in the ROM 111, still image data or moving image data. Convert. An imaging unit 194 is obtained by a lens for acquiring an optical image of an object, an actuator for driving the lens, a microprocessor for controlling the actuator, an imaging element for converting an optical image acquired through the lens into an image signal, and an imaging element. It comprises an AD converter for converting an image signal into a digital signal. Furthermore, the imaging unit 194 is not limited to one that captures the screen direction, and may capture, for example, the viewer in the direction opposite to the screen.
表示制御部１９５は、フロントプロジェクタ１００に備えられた表示部１９６にフロントプロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をするものであり、表示制御を行うマイクロプロセッサなどからなる。また、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行しても良い。また、表示部１９６は、フロントプロジェクタ１００を操作するための操作画面やスイッチアイコンを表示するものである。表示部１９６は、画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。 A display control unit 195 controls the display unit 196 provided in the front projector 100 to display an operation screen for operating the front projector 100 and an image such as a switch icon. It consists of a processor etc. The microprocessor does not need to be a dedicated display control unit 195. For example, the CPU 110 may execute the same processing as the display control unit 195 by a program stored in the ROM 111. The display unit 196 also displays an operation screen for operating the front projector 100 and a switch icon. The display unit 196 may be anything as long as it can display an image. For example, it may be a liquid crystal display, a CRT display, an organic EL display, or an LED display. In addition, in order to display a specific button in a recognizable manner for the user, an LED or the like corresponding to each button may be made to emit light.
なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。 The image processing unit 140, the liquid crystal control unit 150, the light source control unit 160, the optical system control unit 170, the recording and reproducing unit 191, and the display control unit 195 of this embodiment perform the same processing as those of these blocks. There may be one or more microprocessors capable. Alternatively, for example, the CPU 110 may execute the same processing as each block by a program stored in the ROM 111.
＜基本動作＞
次に、図１、図２を用いて、本実施例のフロントプロジェクタ１００の基本動作を説明する。図２は、本実施例のフロントプロジェクタ１００の基本動作の制御を説明するためのフロー図である。
<Basic operation>
Next, the basic operation of the front projector 100 of the present embodiment will be described using FIGS. 1 and 2. FIG. 2 is a flowchart for explaining control of the basic operation of the front projector 100 of the present embodiment.
図２の動作は、基本的にＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各機能ブロックを制御することにより実行されるものである。図２のフロー図は、操作部１１３や不図示のリモコンによりユーザがフロントプロジェクタ１００の電源のオンを指示した時点をスタートとしている。 The operation of FIG. 2 is basically performed by the CPU 110 controlling each functional block based on a program stored in the ROM 111. In the flowchart of FIG. 2, the time when the user instructs to turn on the power of the front projector 100 by using the operation unit 113 or a remote controller (not shown) is taken as a start.
操作部１１３や不図示のリモコンによりユーザがフロントプロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部からプロジェクタ１００の各部に不図示の電源回路から電源を供給が供給する。 When the user instructs to turn on the power of the front projector 100 using the operation unit 113 or a remote control (not shown), the CPU 110 supplies power from the power supply circuit (not shown) to each part of the projector 100 from the power supply unit (not shown).
次に、ＣＰＵ１１０は、ユーザによる操作部１１３やリモコンの操作により選択された表示モードを判定する（Ｓ２１０）。本実施例のプロジェクタ１００の表示モードの一つは、画像入力部１３０より入力された映像を表示する「入力画像表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データの画像や映像を表示する「ファイル再生表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、通信部１９３から受信した静止画データや動画データの画像や映像を表示する「ファイル受信表示モード」である。 Next, the CPU 110 determines the display mode selected by the operation of the operation unit 113 or the remote control by the user (S210). One of the display modes of the projector 100 of the present embodiment is an “input image display mode” for displaying an image input from the image input unit 130. In addition, one of the display modes of the projector 100 according to the present embodiment is a “file reproduction display mode” for displaying an image or a video of still image data or moving image data read from the recording medium 192 by the recording / reproducing unit 191 . Further, one of the display modes of the projector 100 according to the present embodiment is a “file reception display mode” for displaying an image or a video of still image data or moving image data received from the communication unit 193.
なお、本実施例では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、前回終了時の表示モードになっていてもよく、また、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ２１０の処理は省略可能である。 In the present embodiment, the case where the display mode is selected by the user will be described. However, the display mode at the time of turning on the power may be the display mode at the time of the previous termination. The display mode of some may be the default display mode. In that case, the process of S210 can be omitted.
ここでは、Ｓ２１０で、「入力画像表示モード」が選択されたものとして説明する。 Here, it is assumed that the “input image display mode” is selected in S210.
「入力画像表示モード」が選択されると、ＣＰＵ１１０は、画像入力部１３０から映像が入力されているか否かを判定する（Ｓ２２０）。入力されていない場合（Ｓ２２０でＮｏ）には、入力が検出されるまで待機し、入力されている場合（Ｓ２２０でＹｅｓ）には、制御部は、投影処理（Ｓ２３０）を実行する。 When the “input image display mode” is selected, the CPU 110 determines whether a video is input from the image input unit 130 (S220). If it is not input (No in S220), the process waits until an input is detected, and if it is input (Yes in S220), the control unit executes a projection process (S230).
ＣＰＵ１１０は、投影処理として、画像入力部１３０より入力された映像を画像処理部１４０に送信し、画像処理部１４０に、映像の画素数、フレームレート、形状の変形を実行させ、処理の施された１画面分の画像を液晶制御部１５０に送信する。そして、ＣＰＵ１１０は、液晶制御部１５０に、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御させる。そして、ＣＰＵ１１０は、光源制御部１６０に光源１６１からの光の出力を制御させる。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、それぞれの光を、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。 The CPU 110 transmits the video input from the image input unit 130 to the image processing unit 140 as projection processing, and causes the image processing unit 140 to execute the transformation of the number of pixels of the video, the frame rate, and the shape. The image for one screen is transmitted to the liquid crystal control unit 150. Then, the CPU 110 causes the liquid crystal control unit 150 to obtain the transmittance according to the gradation level of each color component of red (R), green (G) and blue (B) of the received image of one screen. The transmittance of the liquid crystal panels 151R, 151G, and 151B is controlled. Then, the CPU 110 causes the light source control unit 160 to control the output of the light from the light source 161. The color separation unit 162 separates the light output from the light source 161 into red (R), green (G), and blue (B), and supplies the light to the liquid crystal panels 151R, 151G, and 151B.
液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給された、各色の光は、各液晶パネルの画素毎に透過する光量が制限される。そして、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの光は、色合成部１６３に供給され再び合成される。そして、色合成部１６３で合成された光は、投影光学系１７１を介して、不図示のスクリーンに投影される。 The light of each color supplied to the liquid crystal panels 151R, 151G, and 151B has a limited amount of light transmitted through each pixel of each liquid crystal panel. The light of red (R), green (G) and blue (B) transmitted through the liquid crystal panels 151R, 151G and 151B is supplied to the color synthesis unit 163 and synthesized again. Then, the light combined by the color combining unit 163 is projected on a screen (not shown) via the projection optical system 171.
この投影処理は、画像を投影している間、１フレームの画像毎に順次、実行されている。 This projection process is sequentially performed for each image of one frame while projecting an image.
なお、このとき、ユーザにより投影光学系１７１の操作をする指示が指示部１１１から入力されると、ＣＰＵ１１０は、光学系制御部１７０に、投影画像の焦点を変更したり、光学系の拡大率を変更したりするように投影光学系１７１のアクチュエータを制御させる。 At this time, when an instruction to operate the projection optical system 171 is input from the instruction unit 111 by the user, the CPU 110 causes the optical system control unit 170 to change the focus of the projection image or the enlargement ratio of the optical system. The actuator of the projection optical system 171 is controlled to change the
この表示処理実行中に、ＣＰＵ１１０は、ユーザにより表示モードを切り替える指示が指示部１１１から入力されたか否かを判定する（Ｓ２４０）。ここで、ユーザにより表示モードを切り替える指示が指示部１１１から入力されると（Ｓ２４０でＹｅｓ）、ＣＰＵ１１０は、再びＳ２１０に戻り、表示モードの判定を行う。このとき、ＣＰＵ１１０は、画像処理部１４０に、表示モードを選択させるためのメニュー画面をＯＳＤ画像として送信し、投影中の画像に対して、このＯＳＤ画面を重畳させるように画像処理部１４０を制御する。ユーザは、この投影されたＯＳＤ画面を見ながら、表示モードを選択するのである。 While this display process is being performed, the CPU 110 determines whether the user has input an instruction to switch the display mode from the instruction unit 111 (S240). Here, when an instruction to switch the display mode is input from the instruction unit 111 by the user (Yes in S240), the CPU 110 returns to S210 again to determine the display mode. At this time, the CPU 110 transmits a menu screen for selecting the display mode to the image processing unit 140 as an OSD image, and controls the image processing unit 140 so that the OSD screen is superimposed on the image being projected. Do. The user selects the display mode while looking at the projected OSD screen.
一方、表示処理実行中に、ユーザにより表示モードを切り替える指示が指示部１１１から入力されない場合は（Ｓ２４０でＮｏ）、ＣＰＵ１１０は、ユーザにより投影終了の指示が指示部１１１から入力されたか否かを判定する（Ｓ２５０）。ここで、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＹｅｓ）、ＣＰＵ１１０は、プロジェクタ１００の各ブロックに対する電源供給を停止させ、画像投影を終了させる。一方、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＮｏ）、ＣＰＵ１１０は、Ｓ２２０へ戻り、以降、ユーザにより投影終了の指示が指示部１１１から入力されるまでの間Ｓ２２０からＳ２５０までの処理を繰り返す。 On the other hand, when an instruction to switch the display mode is not input from the instruction unit 111 by the user during the display processing (No in S240), the CPU 110 determines whether the instruction to end the projection is input from the instruction unit 111 by the user. It determines (S250). Here, if the user inputs a projection end instruction from the instruction unit 111 (Yes in S250), the CPU 110 stops the power supply to each block of the projector 100, and ends the image projection. On the other hand, when the user inputs an instruction to end projection from the instruction unit 111 (No in S250), the CPU 110 returns to S220, and thereafter, until the user inputs an instruction to end projection from the instruction unit 111 The processing from S220 to S250 is repeated.
以上のように、本実施例のフロントプロジェクタ１００は、スクリーンに対して画像を投影する。 As described above, the front projector 100 of the present embodiment projects an image on the screen.
なお、「ファイル再生表示モード」では、ＣＰＵ１１０は、記録再生部１９１に、記録媒体１９２から静止画データや動画データのファイルリストや各ファイルのサムネイルデータを読み出させ、ＲＡＭ１１２に一時的に記憶する。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時記憶されたファイルリストに基づく文字画像や各ファイルのサムネイルデータに基づく画像を生成し、画像処理部１４０に送信する。そして、ＣＰＵ１１０は、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。 In the “file reproduction display mode”, the CPU 110 causes the recording and reproducing unit 191 to read the file list of still image data and moving image data and the thumbnail data of each file from the recording medium 192 and temporarily store them in the RAM 112 . Then, the CPU 110 generates a character image based on the file list temporarily stored in the RAM 112 and an image based on thumbnail data of each file based on the program stored in the ROM 111, and transmits the image to the image processing unit 140. Then, the CPU 110 controls the image processing unit 140, the liquid crystal control unit 150, and the projection control unit 160 as in the normal projection process (S230).
次に、投影画面上において、記録媒体１９２に記録された静止画データや動画データにそれぞれ対応する文字や画像を選択する指示が指示部１１１を通して入力される。そうすると、ＣＰＵ１１０は、選択された静止画データや動画データを記録媒体１９２から読み出すように記録再生部１９１を制御する。そして、ＣＰＵ１１０は、読み出された静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。 Next, on the projection screen, an instruction to select characters and images respectively corresponding to still image data and moving image data recorded on the recording medium 192 is input through the instruction unit 111. Then, the CPU 110 controls the recording and reproducing unit 191 to read out the selected still image data and moving image data from the recording medium 192. Then, the CPU 110 temporarily stores the read still image data and moving image data in the RAM 112, and reproduces the image and video of the still image data and the moving image data based on the program stored in the ROM 111.
そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。 Then, the CPU 110 sequentially transmits, for example, the video of the reproduced moving image data to the image processing unit 140, and controls the image processing unit 140, the liquid crystal control unit 150, and the projection control unit 160 as in the normal projection process (S230). Do. When the still image data is reproduced, the reproduced image is transmitted to the image processing unit 140, and the image processing unit 140, the liquid crystal control unit 150, and the projection control unit 160 are transmitted as in the normal projection process (S230). Control.
また、「ファイル受信表示モード」では、ＣＰＵ１１０は、通信部１９３から受信した静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。 In the “file reception display mode”, the CPU 110 temporarily stores still image data and moving image data received from the communication unit 193 in the RAM 112, and based on the program stored in the ROM 111, the still image data and moving image data Play images and videos. Then, the CPU 110 sequentially transmits, for example, the video of the reproduced moving image data to the image processing unit 140, and controls the image processing unit 140, the liquid crystal control unit 150, and the projection control unit 160 as in the normal projection process (S230). Do. When the still image data is reproduced, the reproduced image is transmitted to the image processing unit 140, and the image processing unit 140, the liquid crystal control unit 150, and the projection control unit 160 are transmitted as in the normal projection process (S230). Control.
次に本実施例の特徴的な構成について詳しく説明する。図３は画像処理部１４０の内部構成を示した図である。 Next, the characteristic configuration of the present embodiment will be described in detail. FIG. 3 is a diagram showing an internal configuration of the image processing unit 140. As shown in FIG.
画像処理部１４０は、前処理部１４１、メモリ制御部１４２、画像メモリ１４３、後処理部１４４、出力同期信号生成部１４５から構成される。 The image processing unit 140 includes a pre-processing unit 141, a memory control unit 142, an image memory 143, a post-processing unit 144, and an output synchronization signal generation unit 145.
前処理部１４１、メモリ制御部１４２、後処理部１４４、出力同期信号生成部１４５は、レジスタバス１４６を介してＣＰＵ１１０と接続されている。また、前処理部１４１、メモリ制御部１４２には、画像入力部１３０からの入力垂直同期信号（以下、ＩＶＤと略す）を含んだタイミング信号が入力されている。更には、メモリ制御部１４２、後処理部１４４には、液晶制御部１５０からの出力垂直同期信号（以下、ＯＶＤと略す）を含んだタイミング信号が入力されている。 The preprocessing unit 141, the memory control unit 142, the post-processing unit 144, and the output synchronization signal generation unit 145 are connected to the CPU 110 via the register bus 146. Further, to the preprocessing unit 141 and the memory control unit 142, a timing signal including an input vertical synchronization signal (hereinafter abbreviated as IVD) from the image input unit 130 is input. Furthermore, a timing signal including an output vertical synchronization signal (hereinafter abbreviated as OVD) from the liquid crystal control unit 150 is input to the memory control unit 142 and the post-processing unit 144.
前処理部１４１は、画像入力部１３０から入力された画像を、液晶素子１５１に適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理を含む表示レイアウトの変換処理を行う。 The preprocessing unit 141 converts the image input from the image input unit 130 into a color space and resolution suitable for the liquid crystal element 151. Specifically, conversion processing of display layout including color space conversion and scaling processing is performed.
メモリ制御部１４２は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ１４３のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。 The memory control unit 142 performs conversion processing on the time axis such as IP conversion and frame rate conversion, issues a memory address of the image memory 143 used for shape correction of a projected image, and controls writing / reading of an image. .
ここではフレームレート変換として、入力フレームレートが６０Ｈｚならば、出力フレームレートが１２０Ｈｚとなるように倍速変換を行う。すなわち画像メモリ１４３に書き込んだフレーム信号を、次の１フレーム期間中に倍速で２度読み出しをする。これ以降、画像メモリ１４３に書き込まれた一つのフレーム信号から倍速で読み出された二つのフレーム信号のセットをペアフレームと呼ぶ。 Here, as the frame rate conversion, if the input frame rate is 60 Hz, double speed conversion is performed so that the output frame rate is 120 Hz. That is, the frame signal written to the image memory 143 is read twice at double speed during the next one frame period. Hereinafter, a set of two frame signals read at double speed from one frame signal written in the image memory 143 is called a pair frame.
いずれのケースにおいても、画像メモリ１４３に対して、ＩＶＤに同期して画像の書き込み制御を行い、ＯＶＤに同期して画像の読み出し制御を行う。 In any case, image writing control is performed on the image memory 143 in synchronization with IVD, and image reading control is performed in synchronization with OVD.
図５はフレームレート変換を示した図である。ここでＩＶＤに同期して入力フレーム信号がメモリ制御部１４２を通して画像メモリ１４３に書き込まれる。そして次のフレーム期間でＯＶＤに同期してメモリ制御部１４２を通して画像メモリ１４３から書き込みの倍速で読み出す。このとき出力同期信号生成部１４５はＯＶＤを生成するとともに、倍速フレーム識別信号も生成する。 FIG. 5 is a diagram showing frame rate conversion. Here, the input frame signal is written to the image memory 143 through the memory control unit 142 in synchronization with the IVD. Then, in the next frame period, in synchronization with OVD, the image is read from the image memory 143 at the double speed of writing through the memory control unit 142. At this time, the output synchronization signal generation unit 145 generates an OVD and also generates a double-speed frame identification signal.
後処理部１４４は、階調置換部１４６、較正パターン生成部１４７、合成部１４８、画像補正部１４９で構成されている。 The post-processing unit 144 is configured of a gradation replacement unit 146, a calibration pattern generation unit 147, a combining unit 148, and an image correction unit 149.
階調置換部１４６は、自身の入力画像の階調を任意の値に置換する。 The tone replacing unit 146 replaces the tone of its own input image with an arbitrary value.
較正パターン生成部１４７は、投影映像の投影位置もしくは形状の較正のために必要なパターンを生成する。このパターンは公知のものであってよく、例えば図５に示すようなパターンであってもよく、またはＵＳ８９０７７９５で開示されている技術を用いて生成される２次元座標情報をコード化したパター０ンであってもよい
合成部１４８は、較正パターン生成部１４７が生成した較正パターンを入力画像に合成する。また、合成の際には階調のオーバーフロー、アンダーフローが発生しないように、較正パターンの階調を補正する。
The calibration pattern generator 147 generates a pattern necessary for calibration of the projection position or shape of the projection image. This pattern may be known, for example, as shown in FIG. 5, or a pattern encoding two-dimensional coordinate information generated using the technique disclosed in US Pat. No. 8,907,795. The combining unit 148 may combine the calibration pattern generated by the calibration pattern generation unit 147 with the input image. In addition, the gradation of the calibration pattern is corrected so that gradation overflow and underflow do not occur during synthesis.
画像補正部１４９は、液晶素子１５１と投影光学系１７１起因の表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶素子１５１の階調性に合わせた、ディザを代表とする階調変換やガンマ変換などの画像処理を行う。 The image correction unit 149 performs correction processing such as display unevenness (color unevenness, luminance unevenness) and disclination caused by the liquid crystal element 151 and the projection optical system 171. Furthermore, image processing such as gradation conversion or gamma conversion, which is represented by dithering, is performed in accordance with the gradation of the liquid crystal element 151.
出力同期信号生成部１４５は、出力垂直同期信号（ＯＶＤ）を生成するブロックである。出力同期信号生成部１４５は、自身に入力されている不図示のドットクロックのベースとなる基準クロックをカウントしてＯＶＤを生成する。このＯＶＤは、メモリ制御部１４２による画像メモリ１４３の読み出しから後処理部１４４、更には液晶制御部１５０までの処理ブロックを同期化するための基準信号として扱われる。 The output synchronization signal generation unit 145 is a block that generates an output vertical synchronization signal (OVD). The output synchronization signal generation unit 145 generates a OVD by counting a reference clock which is a base of a dot clock (not shown) input thereto. The OVD is treated as a reference signal for synchronizing processing blocks from the reading of the image memory 143 by the memory control unit 142 to the post-processing unit 144 and further to the liquid crystal control unit 150.
ここで、図４を用いて、本実施例のフロントプロジェクタ１００の特徴である、投影画像に較正パターンを合成した画像を投影し、更にフロントプロジェクタ１００の位置を調整しているときでも、投影された較正パターンを検出して投影画像の形状補正を行う動作フローについて説明する。 Here, as shown in FIG. 4, which is a feature of the front projector 100 of the present embodiment, an image obtained by combining a calibration pattern with a projected image is projected, and even when the position of the front projector 100 is adjusted, An operation flow of detecting the calibration pattern and correcting the shape of the projection image will be described.
まず、Ｓ４０１では、較正パターン生成部１４７は、較正パターンを生成し、合成部１４８に送る。 First, in S401, the calibration pattern generation unit 147 generates a calibration pattern and sends it to the synthesis unit 148.
Ｓ４０２では、合成部１４８は、Ｓ４０１で生成された較正パターンを、自身に入力される画像のどのフレームに加算して合成し、どのフレームには減算して合成するかを決定する。本実施例においては、出力同期信号生成部１４５が生成した倍速フレーム識別信号に従って、倍速変換されたペアフレームのうち最初のフレームに対しては較正パターンを減算して合成し、２番目のフレームに対しては較正パターンを加算して合成するよう決定する。もしくは３倍速、４倍速以上のフレームレート変換の際には、最後に出力される二つのフレームに対して、それぞれ較正パターンを減算・加算して合成するよう決定する。 In step S402, the combining unit 148 determines to which frame of the image input to itself the combining unit 148 adds and combines the calibration pattern, and determines which frame to combine for subtraction. In this embodiment, according to the double-speed frame identification signal generated by the output synchronization signal generation unit 145, the calibration pattern is subtracted from the first frame of the pair frames subjected to double-speed conversion and synthesized, and a second frame is generated. On the other hand, it is decided to add and combine the calibration patterns. Alternatively, at the time of frame rate conversion at triple speed, quadruple speed or higher, it is decided to combine the subtraction and addition of the calibration pattern to the two frames outputted last.
Ｓ４０３では、合成部１４８は、自身に入力される画像に較正パターンを加算および減算した際に階調のオーバーフローもしくはアンダーフローが発生するか否かを判断する。 In S403, the combining unit 148 determines whether gradation overflow or underflow occurs when the calibration pattern is added and subtracted from the image input to the combining unit 148.
例えば、画像バスが１２ビット（０〜４０９５階調）とすると、以下の関係に当てはまる場合はオーバーフロー若しくはアンダーフローが発生すると判断する。
・オーバーフローの判定条件
オーバーフロー値α＝（入力画像の階調）＋（較正パターンの階調）−４０９５＞０
・アンダーフローの判定条件
アンダーフロー値β＝（入力画像の階調）−（較正パターンの階調）＜０
合成部１４８が、オーバーフロー若しくはアンダーフローが発生すると判断すると、Ｓ４０４に進む。一方、合成手段１４８が、オーバーフロー若しくはアンダーフローが発生しないと判断すると、Ｓ４０５に進む。
For example, assuming that the image bus has 12 bits (0 to 4095 gradations), it is determined that an overflow or underflow will occur if the following relationship is satisfied.
Overflow determination condition Overflow value α = (tone of input image) + (tone of calibration pattern) −4095> 0
Underflow determination condition underflow value β = (tone of input image) − (tone of calibration pattern) <0
If the combining unit 148 determines that an overflow or underflow occurs, the process proceeds to S404. On the other hand, when the combining unit 148 determines that the overflow or the underflow does not occur, the process proceeds to S405.
Ｓ４０４では、合成手段１４８は、自身に入力される画像に較正パターンを加算および減算した際に階調のオーバーフローもしくはアンダーフローが発生しないように、較正パターンの階調を補正する。例えば、ある画素におけるオーバーフロー値がα、アンダーフロー値がβだった際は、較正パターンに次の値を減算する。
ＭＡＸ（オーバーフロー値αの絶対値、アンダーフロー値βの絶対値）
※ＭＡＸ（Ａ、Ｂ）とは、パラメータＡとＢのうち値の大きいものを表す。
In step S404, the combining unit 148 corrects the tone of the calibration pattern so that the overflow or underflow of the tone does not occur when the calibration pattern is added to and subtracted from the image input to the unit. For example, when the overflow value at a certain pixel is α and the underflow value is β, the calibration pattern is subtracted the next value.
MAX (absolute value of overflow value α, absolute value of underflow value β)
* MAX (A, B) represents the parameter A or B with the larger value.
Ｓ４０５では、合成部１４８は、入力画像に対して較正パターンをＳ４０２で決定したとおりに加算・減算して合成する。 In S405, the combining unit 148 adds and subtracts a calibration pattern to the input image as determined in S402 and combines them.
Ｓ４０６では、合成部１４８にて較正パターンが出力された画像は、画像補正部１４９および液晶駆動部１５０を通って液晶素子１５１上に形成され、投影光学系１７１を通して投影される。 In S406, the image for which the calibration pattern is output by the combining unit 148 is formed on the liquid crystal element 151 through the image correction unit 149 and the liquid crystal drive unit 150, and is projected through the projection optical system 171.
以上の手順にて画像に合成された較正パターンは、投影画像のフレームレートが例えば１２０Ｈｚや２４０Ｈｚなど十分に速い場合には、人間の目には倍速変換後のペアフレームである２フレーム間の積分効果により打ち消されて視認されない。そして、投影画像のみが視認される。 When the frame rate of the projected image is sufficiently fast, such as 120 Hz or 240 Hz, for example, the calibration pattern synthesized into the image by the above procedure integrates two frames which are pair frames after double speed conversion for human eyes. It is canceled by the effect and it is not visible. Then, only the projected image is viewed.
なお、ここまでの説明において、画像に較正パターンを合成する際にオーバーフローおよびアンダーフローが発生する場合は、較正パターンの階調を補正する例について説明してきたが、本発明における実施形態これに限るものではない。例えば、合成部１４８は、オーバーフロー若しくはアンダーフローが発生すると判断すると、自身の入力画像の階調に対してＳ６０５と同様の値を減算若しくは加算するように動作して補正してもよい。他の例としては、合成部１４８は、オーバーフロー若しくはアンダーフローが発生すると判断すると、合成後の画像の階調に対してＳ６０５と同様の値を減算若しくは加算するように動作して補正してもよい。 In the above description, when overflow and underflow occur when combining the calibration pattern with the image, the example of correcting the gradation of the calibration pattern has been described, but the embodiment of the present invention is limited to this It is not a thing. For example, when the combining unit 148 determines that an overflow or an underflow occurs, the combining unit 148 may operate so as to subtract or add a value similar to that of S605 to the gradation of its own input image. As another example, if the combining unit 148 determines that an overflow or underflow occurs, the combining unit 148 operates so as to subtract or add a value similar to that of S605 to the tone of the combined image. Good.
Ｓ４０７では、撮像部１８０は、Ｓ４０８にて投影された画像を撮影する。撮像した画像はシフト検出補正部１８１に送る。 In S407, the imaging unit 180 captures the image projected in S408. The captured image is sent to the shift detection / correction unit 181.
Ｓ４０８では、シフト検出補正部１８１において較正パターンが合成されたペアフレーム間のシフトを検知する。具体的にはパターンマッチング等の手法によりペアフレーム間のシフトを検知する。 In S408, the shift detection / correction unit 181 detects a shift between the paired frames combined with the calibration pattern. Specifically, a shift between paired frames is detected by a method such as pattern matching.
Ｓ４０９では、ペアフレームの最初のフレーム信号による画像を、２番目のフレーム信号による画像と同じ位置に補正する。 In S409, the image by the first frame signal of the pair frame is corrected to the same position as the image by the second frame signal.
Ｓ４１０では、Ｓ４０９でシフト補正したペアフレームより較正パターンを取得する。すなわち、Ｓ４０２で決定したように最初のフレームに対しては較正パターンを減算して合成し、２番目のフレームに対しては較正パターンを加算して合成されている。そのため、
（２番目のフレーム信号＋較正パターン）−（最初のフレーム信号−較正パターン）
を計算することにより、ペアフレームのシフトを補正しているため同じ位置にあることから、減算処理によりフレームの画素信号は０となり、２倍のレベルの較正パターンのみが残ることになる。
In S410, a calibration pattern is acquired from the pair frame which has been shift-corrected in S409. That is, as determined in S402, the calibration pattern is subtracted and synthesized for the first frame, and the calibration pattern is added and synthesized for the second frame. for that reason,
(Second frame signal + calibration pattern)-(first frame signal-calibration pattern)
The pixel signal of the frame becomes 0 by subtraction processing because only the correction pattern of the pair frame is corrected since the shift of the pair frame is corrected.
Ｓ４１１では、補正パラメータ生成部１８２は、Ｓ４１０で検出されたパターン情報を基にメモリ制御部１４２による画像形状および投影位置の補正パラメータを生成する。１例としては、検出された較正パターンの形状の４頂点の座標から投影画像の補正に必要な射影変換パラメータを生成する方法が挙げられる。ただし、ここでの制御パラメータの生成方法はこれに限るものではなく、公知の技術を含め、どのような手法を使用してもよい。 In S411, the correction parameter generation unit 182 generates correction parameters of the image shape and the projection position by the memory control unit 142 based on the pattern information detected in S410. One example is a method of generating projection transformation parameters required to correct a projection image from the coordinates of four vertices of the detected calibration pattern shape. However, the method of generating the control parameters here is not limited to this, and any method may be used including a known technique.
Ｓ４１２では、メモリ制御部１４２は、Ｓ４１１で生成された補正パラメータに基づいて画像メモリ１４３へのアクセスアドレスを発行し、画像を変形させる。 In S412, the memory control unit 142 issues an access address to the image memory 143 based on the correction parameter generated in S411, and deforms the image.
以上が、本実施例のフロントプロジェクタ１００の特徴である、投影画像に較正パターンを合成した画像を投影し、更に投影された較正パターンを検出して投影画像の形状補正を行う動作フローである。ここでフロントプロジェクタ１００の設置時に投影しながら位置や投影画像の大きさを調整して投影画像が動いているときにも、シフト検出補正部１８１でペアフレーム間のシフトを検知・補正するため、リアルタイムで投影画像の形状補正を行うことができる。 The above is a feature of the front projector 100 according to the present embodiment, which is an operation flow of projecting an image obtained by combining a calibration pattern on a projection image, detecting the projected calibration pattern, and correcting the shape of the projection image. Here, even when the projected image is moving by adjusting the position and the size of the projected image while projecting with the front projector 100 installed, the shift detection / correction unit 181 detects and corrects the shift between the pair frames, The shape correction of the projection image can be performed in real time.
合成部１４８は、較正パターンをフレームごとに加算・減算して合成することで、人間の目には積分効果で視認させずに較正パターンを投影画像に合成することができる。またこの非可視な較正パターンを検出して形状補正に用いる較正を備えており、投影装置の運用を停止することなく形状補正を行うことができる。 The combining unit 148 adds and subtracts the calibration pattern for each frame, and can combine the calibration pattern with the projection image without making it visible to the human eye by the integration effect. In addition, this non-visible calibration pattern is detected and calibration is used for shape correction, so that shape correction can be performed without stopping the operation of the projection apparatus.
＜以下定型文＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
<Following fixed form>
As mentioned above, although the preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１００ フロントプロジェクタ、１１０ ＣＰＵ、１４０ 画像処理部、
１４１ 前処理部、１４４ 後処理部、１４５ 出力同期信号生成部、
１４６ 階調置換部、１４７ 較正パターン生成部、１４８ 合成部、
１４９ 画像補正部、１５０ 液晶制御部、１５１ 液晶素子、１６１ 光源、
１７１ 投影光学系、１８１ シフト検出補正部、１８２ 較正パターン検出部、
１８３ 補正パラメータ決定部
100 front projector, 110 CPU, 140 image processing unit,
141 pre-processing unit, 144 post-processing unit, 145 output synchronization signal generating unit,
146 gradation replacement unit, 147 calibration pattern generation unit, 148 synthesis unit,
149 image correction unit, 150 liquid crystal control unit, 151 liquid crystal element, 161 light source,
171 projection optical system, 181 shift detection and correction unit, 182 calibration pattern detection unit,
183 Correction Parameter Determination Unit
Claims (3)
投影画像の投影位置若しくは形状の較正のための較正パターンを生成する較正パターン生成手段と、
前記フレームレート変換手段が倍速化したフレームに対し、前記較正パターンを加算もしくは減算して合成する合成手段と、
前記合成手段により較正パターンが合成された画像を投影する投影手段と
前記投影手段によって投影された投影画像を撮影して取得する撮像手段と、
前記撮像手段で撮像した投影画像のシフトを検出し、前記撮像工程で得られた撮影画像補正するシフト検出補正手段と、
前記シフト検出補正手段が補正した前記撮影画像から前記較正パターンを検出する較正パターン検出手段と、
を備え、
前記シフト検出補正手段は、前記フレームレート変換手段が変換した一つのフレームから生成した対となるフレーム間でシフト補正を行うことを特徴とする投射型画像表示装置。 Frame rate conversion means for converting the frame rate of the input video signal;
Calibration pattern generation means for generating a calibration pattern for calibration of the projection position or shape of the projection image;
Combining means for adding or subtracting the calibration pattern to a frame doubled by the frame rate conversion means;
A projection unit that projects an image on which the calibration pattern is synthesized by the synthesis unit; an imaging unit that captures and acquires a projection image projected by the projection unit;
Shift detection / correction means for detecting a shift of a projected image picked up by the image pickup means and correcting a photographed image obtained in the image pickup step;
Calibration pattern detection means for detecting the calibration pattern from the photographed image corrected by the shift detection correction means;
Equipped with
The projection type image display apparatus characterized in that the shift detection / correction unit performs shift correction between pairs of frames generated from one frame converted by the frame rate conversion unit.
投影画像の投影位置若しくは形状の較正のための較正パターンを生成する較正パターン生成工程と、
前記フレームレート変換工程で倍速化したフレームに対し、前記較正パターンを加算もしくは減算して合成する合成工程と、
前記合成工程により較正パターンが合成された画像を投影する投影工程と
前記投影工程によって投影された投影画像を撮影して取得する撮像工程と、
前記撮像工程で撮像した投影画像のシフトを検出し、前記撮像工程で得られた撮影画像を補正するシフト検出補正手段と、
前記シフト検出補正手段が補正した前記撮影画像から前記較正パターンを検出する較正パターン検出工程と、
を備え、
前記シフト検出補正工程は、前記フレームレート変換手段が変換した一つのフレームから生成した対となるフレーム間でシフト補正を行うことを特徴とする投射型画像表示装置の制御方法。 A frame rate conversion step of converting a frame rate of the input video signal;
A calibration pattern generation step of generating a calibration pattern for calibration of the projection position or shape of the projection image;
A combining step of adding or subtracting the calibration pattern with respect to the frame doubled in the frame rate conversion step;
A projection step of projecting an image on which a calibration pattern is synthesized by the synthesis step; and an imaging step of photographing and acquiring a projection image projected by the projection step;
Shift detection / correction means for detecting a shift of a projected image taken in the imaging step, and correcting the photographed image obtained in the imaging step;
A calibration pattern detection step of detecting the calibration pattern from the photographed image corrected by the shift detection correction means;
Equipped with
The control method of a projection-type image display apparatus, wherein the shift detection / correction step performs shift correction between pairs of frames generated from one frame converted by the frame rate conversion means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017245862A JP2019114887A (en) | 2017-12-22 | 2017-12-22 | Projection type image display device and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017245862A JP2019114887A (en) | 2017-12-22 | 2017-12-22 | Projection type image display device and control method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019114887A true JP2019114887A (en) | 2019-07-11 |
Family
ID=67221662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017245862A Pending JP2019114887A (en) | 2017-12-22 | 2017-12-22 | Projection type image display device and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019114887A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022191410A1 (en) * | 2021-03-10 | 2022-09-15 | 삼성전자주식회사 | Eelectronic device and control method of same |
-
2017
- 2017-12-22 JP JP2017245862A patent/JP2019114887A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022191410A1 (en) * | 2021-03-10 | 2022-09-15 | 삼성전자주식회사 | Eelectronic device and control method of same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6757157B2 (en) | Projection device and its control method | |
| US20170244941A1 (en) | Projector and control method thereof | |
| US10171781B2 (en) | Projection apparatus, method for controlling the same, and projection system | |
| JP6208930B2 (en) | Projection apparatus, control method therefor, program, and storage medium | |
| JP6271837B2 (en) | Projection apparatus and control method thereof | |
| JP2013083755A (en) | Display device, method of controlling display device, and program | |
| JP2017156365A (en) | Liquid crystal display device | |
| JP6635748B2 (en) | Display device, display device control method, and program | |
| JP2019114887A (en) | Projection type image display device and control method thereof | |
| JP2019134206A (en) | Projection device and control method therefor | |
| JP6700955B2 (en) | Projection apparatus and projection method | |
| US20180376031A1 (en) | Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium | |
| JP2020072357A (en) | Projection apparatus and projection method | |
| JP2018054912A (en) | Projection-type display device and method for controlling the same | |
| JP2020071354A (en) | Projection system and projection method | |
| JP2014142466A (en) | Projection device and control method of the same, program, and storage medium | |
| JP2014137386A (en) | Projector, control method therefor, and image projection system | |
| JP6103855B2 (en) | Projection apparatus, control method therefor, program, and storage medium | |
| JP2019114889A (en) | Projection device and calibration method of projection device | |
| JP2019057858A (en) | Projection apparatus and control method thereof | |
| JP2019109269A (en) | Projector and mean of auto calibration of projector | |
| JP2017198779A (en) | Projection type display device and control method thereof | |
| JP6704722B2 (en) | Image processing apparatus and image processing method | |
| JP2014138411A (en) | Projection device, control method therefor, program, and storage medium | |
| JP2014036394A (en) | Distortion correction method of projection image and projection display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |