JP6846618B2 - Projection system and calibration equipment - Google Patents
Projection system and calibration equipment Download PDFInfo
- Publication number
- JP6846618B2 JP6846618B2 JP2017033071A JP2017033071A JP6846618B2 JP 6846618 B2 JP6846618 B2 JP 6846618B2 JP 2017033071 A JP2017033071 A JP 2017033071A JP 2017033071 A JP2017033071 A JP 2017033071A JP 6846618 B2 JP6846618 B2 JP 6846618B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- projection
- projected
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本開示は、画像を投影する投影システム及び投影システムの初期調整を行うキャリブレーション装置に関する。 The present disclosure relates to a projection system that projects an image and a calibration device that performs initial adjustment of the projection system.
特許文献１は、液晶パネル等の表示画像を投影レンズにより拡大し、角度可変のミラーを介してスクリーンに投影するプロジェクタを開示している。特許文献１のプロジェクタは、ミラーによる画像光の中心軸とスクリーン法線との間の角度を検出する角度センサと、プロジェクタとスクリーンとの間の距離を検出する超音波センサ等の距離センサとを備えている。特許文献１のプロジェクタでは、角度センサ及び距離センサの検出結果に基づいて、投影面上に表示された画像の歪みを調整している。
この種のプロジェクタでは、プロジェクタとミラーとの距離は既知であり、また、プロジェクタとスクリーンの距離を検出するセンサを搭載しているため、プロジェクタの投影画像の位置を調整すること、すなわちキャリブレーションは容易である。本開示は、プロジェクタとミラーが別体として構成され、両者の距離が既知ではない投影システムにおけるキャリブレーションを容易に行うことができる投影システム及びキャリブレーション装置を提供する。 In this type of projector, the distance between the projector and the mirror is known, and since it is equipped with a sensor that detects the distance between the projector and the screen, adjusting the position of the projected image of the projector, that is, calibration is not possible. It's easy. The present disclosure provides a projection system and a calibration device in which a projector and a mirror are configured as separate bodies, and calibration can be easily performed in a projection system in which the distance between the two is unknown.
本開示の一態様における投影システムは、投影部と、光路変更部と、撮像部と、制御部とを備える。投影部は、所定の画像を表示するための投影光を出射する。光路変更部は、投影部からの投影光の光路を変更し、投影光を所定の投影面に導光する。撮像部は、所定の画像に基づき光路変更部から投影面上に投影された投影画像を撮像する。制御部は、投影画像を制御する。制御部は、撮像部が投影画像を撮像した撮像画像に基づいて、投影部から光路変更部までの光路に沿った長さである第１の距離、及び投影部から投影面までの鉛直方向に沿った長さである第２の距離を算出し、算出した第１の距離及び第２の距離に基づいて投影画像を制御する。 The projection system in one aspect of the present disclosure includes a projection unit, an optical path changing unit, an imaging unit, and a control unit. The projection unit emits projected light for displaying a predetermined image. The optical path changing unit changes the optical path of the projected light from the projection unit and guides the projected light to a predetermined projection surface. The imaging unit captures a projected image projected onto the projection surface from the optical path changing unit based on a predetermined image. The control unit controls the projected image. Based on the captured image captured by the imaging unit, the control unit is in the first distance, which is the length along the optical path from the projection unit to the optical path changing unit, and in the vertical direction from the projection unit to the projection surface. A second distance, which is the length along the line, is calculated, and the projected image is controlled based on the calculated first distance and the second distance.
本開示の一態様におけるキャリブレーション装置は、投影画像を投影する投影システムのキャリブレーションを行う。 The calibration device in one aspect of the present disclosure calibrates a projection system that projects a projected image.
本開示における投影システム及びキャリブレーション装置によれば、投影画像を投影する投影システムにおけるキャリブレーションを容易に行うことができる。 According to the projection system and the calibration device in the present disclosure, calibration in the projection system for projecting the projected image can be easily performed.
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed explanation than necessary may be omitted. For example, detailed explanations of already well-known matters and duplicate explanations for substantially the same configuration may be omitted. This is to avoid unnecessary redundancy of the following description and to facilitate the understanding of those skilled in the art.
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 It should be noted that the applicant is not intended to limit the subject matter described in the claims by those skilled in the art by providing the accompanying drawings and the following description in order to fully understand the present disclosure. Absent.
（実施形態１）
１．構成
１−１．概要
実施形態１に係る投影システムの概要について、図１を参照して説明する。図１は、本実施形態に係る投影システムの概要を説明するための図である。
(Embodiment 1)
1. 1. Configuration 1-1. Outline An outline of the projection system according to the first embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining an outline of the projection system according to the present embodiment.
本実施形態に係る投影システムは、図１に示すように、プロジェクタ１と、全方位カメラ２と、ミラーユニット３と、制御ＰＣ（パーソナルコンピュータ）４とを備える。本実施形態に係る投影システムは、天井等に吊したプロジェクタ１から出射する投影光を、ミラーユニット３において反射させることにより、投影光に基づく投影画像５を、床面、壁面及び机面等の任意の投影面に投影するシステムである。
As shown in FIG. 1, the projection system according to the present embodiment includes a
本システムでは、プロジェクタ１の底面に全方位カメラ２が設置されている。制御ＰＣ４は、床面及び壁面にわたる全方位カメラ２の撮像画像に基づき、投影面上の投影画像５を制御する。例えば、制御ＰＣ４は、撮像画像に基づき床面上の人６を検出し、人６に追従して種々の提示情報および演出内容を含む投影画像５を投影する。
In this system, the
ここで、プロジェクタ１及びミラーユニット３が一体的に構成された場合、双方の総重量を有する装置を天井に吊るすこととなり、容易に本装置を設置することができない。また、特定の機種のプロジェクタとミラーユニットを一体で設計するため、多機種のプロジェクタへのミラーユニットの展開が容易ではない。そこで、本実施形態に係る投影システムでは、プロジェクタ１とミラーユニット３とを別体で構成している。これにより、プロジェクタ１とミラーユニット３とを一つずつ設置でき、また、多機種のプロジェクタに対してミラーユニットを展開でき、本システムの導入および取扱いを容易にすることができる。
Here, when the
以下、図１に示すように、プロジェクタ１が吊るされた鉛直方向をＺ方向とし、Ｚ方向と直交する水平面をＸＹ平面とする。また、プロジェクタ１から投影光を出射する投影方向をＹ方向とし、Ｙ，Ｚ方向と直交するプロジェクタ１の幅方向をＸ方向とする。
Hereinafter, as shown in FIG. 1, the vertical direction in which the
１−２．システム構成
本実施形態に係る投影システムの構成について、図１及び図２を参照して説明する。
1-2. System Configuration The configuration of the projection system according to this embodiment will be described with reference to FIGS. 1 and 2.
図２は、本システムの構成を示すブロック図である。 FIG. 2 is a block diagram showing the configuration of this system.
図２に示すように、本システムにおいて、プロジェクタ１、全方位カメラ２及びミラーユニット３は、それぞれ制御ＰＣ４に接続されている。制御ＰＣ４は、本システムにおける制御部の一例である。本システムにおける各部の構成について、それぞれ説明する。
As shown in FIG. 2, in this system, the
１−２−１．プロジェクタの構成
プロジェクタ１は、図２に示すように、投影光源１１と、画像形成部１２と、投影光学系１３とを備える。プロジェクタ１は、例えばＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式、３ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）方式又はＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）方式などのプロジェクタ装置である。プロジェクタ１は、制御ＰＣ４から入力される映像信号に基づく投影画像５を生成する投影光を出射する。プロジェクタ１は、本システムにおける投影部の一例である。
1-2-1. Projector Configuration As shown in FIG. 2, the
投影光源１１は、例えばＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）又はハロゲンランプなどで構成される。投影光源１１は、可視光を画像形成部１２に照射する。投影光源１１は、プロジェクタ１の投影方式に応じて適宜、ＲＧＢ等の複数色の光源素子、或いは白色の光源素子を有してもよいし、単色の光源素子のみを有してもよい。
The
画像形成部１２は、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）又はＬＣＤなどの空間光変調素子を備える。画像形成部１２は、空間光変調素子における画像形成面に、制御ＰＣ４からの映像信号に基づく画像を形成する。投影光源１１からの光が、画像形成部１２に形成された画像に応じて空間的に変調されることにより、投影光が生成される。
The
投影光学系１３は、プロジェクタ１の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。投影光学系１３には、各種のレンズを駆動するためのモータ等の駆動機構が組み込まれている。
The projection
なお、プロジェクタ１は、例えば台形補正、デジタルズームおよび光学ズームなどのプロジェクタ１特有の機能を実現する投影制御部（例えばマイコン、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）など）を有してもよい。また、上記の各機能は、制御ＰＣ４において実現されてもよい。
The
また、プロジェクタ１は、レーザ走査式であってもよく、走査方向に駆動可能なＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー或いはガルバノミラーを備えて構成されてもよい。本システムでは、プロジェクタ１とミラーユニット３とは別体であるため、プロジェクタ１として、ミラーユニット３を介して投影画像を投影する用途の専用装置に限らず、汎用的なプロジェクタ装置を用いることができる。
Further, the
１−２−２．全方位カメラの構成
全方位カメラ２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子及び画角１８０°を有する全方位レンズ（魚眼レンズ）を備える。全方位カメラ２は、全方位カメラ２の設置位置からの全方位にわたる画像を撮像し、例えば全方位画像を構成する撮像画像を生成して制御ＰＣ４に送信する。また、全方位カメラ２は、例えば全方位画像を展開して、パノラマ画像を生成してもよい。全方位カメラ２は、所定の周期において撮像動作を行ってもよいし、制御ＰＣ４の制御により撮像動作を行ってもよい。全方位カメラ２は、本システムにおける撮像部の一例である。
1-2-2. Configuration of Omnidirectional Camera The
１−２−３．ミラーユニットの構成
ミラーユニット３の構成について、図２及び図３を用いて説明する。図３は、本システムにおけるミラーユニット３の配置状態を示す斜視図である。
1-2-3. Configuration of Mirror Unit The configuration of the
ミラーユニット３は、ミラー３０と、パン駆動部３１と、チルト駆動部３２と、ミラー制御部３３とを備える。ミラーユニット３は、ミラー３０を二軸の回転軸において駆動する装置である。ミラーユニット３は、本システムにおいて、プロジェクタ１からの投影光の光路をミラー３０により変更して種々の投影面に投影光を導光する光路変更部の一例である。
The
ミラー３０は、図３に示すように、プロジェクタ１からの投影光を反射する反射面３０ａを有する。反射面３０ａの形状は、例えば水平サイズ及び垂直サイズによって規定される矩形状である。
As shown in FIG. 3, the
パン駆動部３１は、例えばモータ及びモータの回転角度の変位量を測定するロータリエンコーダを備えて構成される。パン駆動部３１は、図３に示すように、プロジェクタ１の光軸と平行な回転軸Ｊ１においてミラー３０を回転駆動する。以下、回転軸Ｊ１による回転方向を「パン方向」といい、パン方向の回転角度を「パン角度」という。
The
チルト駆動部３２は、例えばモータ及びモータの回転角度の変位量を測定するロータリエンコーダを備えて構成される。チルト駆動部３２は、図３に示すように、ミラー３０の反射面３０ａ上でプロジェクタ１の光軸と直交する方向の回転軸Ｊ２においてミラー３０を回転駆動する。以下、回転軸Ｊ２による回転方向を「チルト方向」といい、チルト方向の回転角度を「チルト角度」という。チルト方向の回転軸Ｊ２は、パン方向の回転に応じてミラー３０と共に回転する。
The
本実施形態におけるミラーユニット３では、反射面３０ａが水平面（ＸＹ平面）となるミラー３０の角度をパン角度０°及びチルト角度９０°として、該角度を基準にパン方向及びチルト方向に駆動することにより、反射面３０ａを種々の傾斜角度で傾斜させる。
In the
図２に戻り、ミラー制御部３３は、例えばマイコンで構成され、ミラーユニット３の動作を制御する。例えば、ミラー制御部３３は、パン駆動部３１及びチルト駆動部３２を制御して、パン角度及びチルト角度を変更する。また、ミラー制御部３３は、例えばフラッシュメモリで構成される内部メモリを有し、内部メモリに反射面３０ａのサイズ等を格納している。ミラー制御部３３は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよいし、ソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成されてもよい。
Returning to FIG. 2, the
１−２−４．制御ＰＣの構成
制御ＰＣ４の構成について、図２、図４Ａ及びＡ４Ｂを用いて説明する。図４Ａは、本システムにおける制御ＰＣ４の構成を示すブロック図である。図４Ｂは、本システムにおけるキャリブレーション装置４６の構成を示すブロック図である。
1-2-4. Configuration of Control PC The configuration of the
制御ＰＣ４は、本システムを構成する各部（プロジェクタ１、全方位カメラ２及びミラーユニット３）の動作を制御するパーソナルコンピュータである。制御ＰＣ４は、本システムのキャリブレーションを行うキャリブレーション装置４６を備える制御部の一例である。
The
図４Ａに示すように、制御ＰＣ４は、ＰＣ制御部４０と、記憶部４１と、ユーザインタフェース４２と、表示部４３と、機器インタフェース４４と、ネットワークインタフェース４５とを備える。以下、「インタフェース」を「Ｉ／Ｆ」と略記する。
As shown in FIG. 4A, the
ＰＣ制御部４０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵで構成され、制御ＰＣ４の全体動作を制御する。ＰＣ制御部４０は、記憶部４１に格納されたデータやプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、ＰＣ制御部４０は、投影システムのキャリブレーション動作を実行する。キャリブレーション動作を実行するためのプログラムは、ネットワークから提供されてもよいし、所定の記憶媒体から提供されてもよいし、ＰＣ制御部４０に組み込まれていてもよい。また、ＰＣ制御部４０は、所定の機能を実現するように設計された専用の電子回路や再構成可能な電子回路などのハードウェア回路であってもよい。ＰＣ制御部４０は、ＣＰＵ，ＭＰＵ，マイコン、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の種々の半導体集積回路で構成されてもよい。
The
記憶部４１は、制御ＰＣ４の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばハードディスク（ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））や半導体記憶装置（ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））を備える。また、記憶部４１は、さらに、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体デバイスを備えてもよく、データを一時的に記憶するとともにＰＣ制御部４０の作業エリアとしても機能する。例えば、記憶部４１は、全方位カメラ２による撮像画像の画像データ、種々の投影画像の画像データ、及び本システムの各種パラメータ（例えば後述の距離Ｌ及び高さＨ）などを格納する。
The
ユーザＩ／Ｆ４２は、ユーザが操作を行う操作部材を備える。ユーザＩ／Ｆ４２は、例えば、キーボード、タッチパッド、タッチパネル、ボタン、スイッチ、又はこれらの組み合わせを含む。ユーザＩ／Ｆ４２は、ユーザによって入力される種々の情報を取得する取得部の一例である。
The user I /
表示部４３は、例えば、液晶ディスプレイや有機ＥＬディスプレイで構成される。表示部４３は、例えばユーザＩ／Ｆ４２から入力された情報など、種々の情報を表示する。
The
機器Ｉ／Ｆ４４は、制御ＰＣ４に他の機器を接続するための回路（モジュール）である。機器Ｉ／Ｆ４４は、所定の通信規格にしたがい通信を行う。所定の規格には、ＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。
The device I / F44 is a circuit (module) for connecting another device to the
ネットワークＩ／Ｆ４５は、無線または有線の通信回線を介して制御ＰＣ４をネットワークに接続するための回路（モジュール）である。ネットワークＩ／Ｆ４５は所定の通信規格に準拠した通信を行う。所定の通信規格には、ＩＥＥＥ８０２．３，ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ等の通信規格が含まれる。
The network I / F45 is a circuit (module) for connecting the
上述したように、制御ＰＣ４は、投影システム（プロジェクタ１、ミラーユニット３及び全方位カメラ２）のキャリブレーションを行う。すなわち、図２に示すように、制御ＰＣ４は、投影システムのキャリブレーションを行うキャリブレーション装置４６を備える。
As described above, the
図４Ｂに示すように、キャリブレーション装置４６は、第１算出部４７と、第２算出部４８と、キャリブレーション部４９とを備える。第１算出部４７は、全方位カメラ２が投影画像５０を撮像した撮像画像に基づいて、プロジェクタ１からミラーユニット３までの光路に沿った長さである距離Ｌを算出する。第２算出部４８は、全方位カメラ２が投影画像５０を撮像した撮像画像に基づいて、プロジェクタ１から床面７１までの鉛直方向に沿った長さである高さＨを算出する。キャリブレーション部４９は、算出した距離Ｌ及び高さＨに基づいて投影画像５０のキャリブレーションを行う。第１算出部４７と、第２算出部４８と、キャリブレーション部４９とは、制御ＰＣ４を構成するＰＣ制御部４０と、記憶部４１と、ユーザＩ／Ｆ４２と、表示部４３と、機器Ｉ／Ｆ４４と、ネットワークＩ／Ｆ４５とによって実現される。
As shown in FIG. 4B, the
２．動作
以下、本実施形態に係る投影システムの動作について説明する。
2. Operation The operation of the projection system according to this embodiment will be described below.
２−１．動作の概要
本実施形態に係る投影システムの動作の概要について、図５を参照して説明する。
2-1. Outline of Operation An outline of the operation of the projection system according to the present embodiment will be described with reference to FIG.
図５は、本システムの画像投影動作を説明するための図である。図５において、プロジェクタ１及びミラーユニット３が天井７０から吊るされて設置される。プロジェクタ１は、床面７１を投影面として投影画像５０を投影する。
FIG. 5 is a diagram for explaining an image projection operation of this system. In FIG. 5, the
本システムの画像投影時において、全方位カメラ２は床面７１を撮像し、撮像画像を制御ＰＣ４（図１）に送信する。制御ＰＣ４は、全方位カメラ２からの撮像画像に基づき、投影面である床面７１上に投影画像５０を投影する投影位置Ｐ１、投影画像５０のサイズ及び投影画像５０の向き等を決定する。例えば、制御ＰＣ４は、撮像画像中で人６（図１）などの特定の被写体の位置を判断し、被写体の近傍等に投影位置Ｐ１を設定する。
At the time of image projection of this system, the
制御ＰＣ４は、プロジェクタ１に映像信号を送信して、投影画像５０を生成する投影光５０ａを出射させる。また、制御ＰＣ４は、投影画像５０が投影位置Ｐ１に投影されるように、ミラーユニット３のパン角度ψ及びチルト角度αを制御する。制御ＰＣ４は、適宜、プロジェクタ１の光学ズーム及びピント位置の制御も行う。
The
以上のように、本システムは、投影面である床面７１上の所望の投影位置Ｐ１等に投影画像５０を投影する。
As described above, this system projects the projected
制御ＰＣ４は、プロジェクタ１とミラーユニット３との間の距離Ｌ、及び床面７１からプロジェクタ１の光軸までの高さＨを用いて種々の制御を行う。すなわち、距離Ｌ及び高さＨは、投影画像５０の投影位置Ｐ１、投影サイズ及びピント位置等を決定するために必要なパラメータであり、画像投影動作の開始前に距離Ｌ及び高さＨを認識しておく必要がある。ここで、距離Ｌとは、プロジェクタ１からミラーユニット３までの投影光５０ａの光路に沿った距離のことである。また、高さＨとは、投影面である床面７１からプロジェクタ１までの鉛直方向に沿った長さである。
The
ここで、距離Ｌ及び高さＨを知るためには、通常、作業者がメジャー等を用いて直接、距離Ｌ及び高さＨを測定する必要があり、作業者にとって非常に手間が掛かる作業となる。このとき、メジャー等による測定は、精度が低いことが懸念される。また、測定結果を本システムの制御ＰＣ４等に設定することも、専門知識のない者にとって困難になる。そこで、本実施形態の投影システムは、キャリブレーション動作において、距離Ｌ及び高さＨを、専用の測定センサを搭載することなく自動で算出する。これにより、調整作業者等の手間を掛けることなく距離Ｌ及び高さＨを特定でき、本システムのキャリブレーションを容易に行うことができる。以下、本システムのキャリブレーション動作について説明する。 Here, in order to know the distance L and the height H, it is usually necessary for the worker to directly measure the distance L and the height H using a measure or the like, which is a very laborious work for the worker. Become. At this time, there is a concern that the accuracy of the measurement by a measure or the like is low. It is also difficult for a person without specialized knowledge to set the measurement result on the control PC4 or the like of this system. Therefore, the projection system of the present embodiment automatically calculates the distance L and the height H in the calibration operation without mounting a dedicated measurement sensor. As a result, the distance L and the height H can be specified without the trouble of an adjustment worker or the like, and the calibration of this system can be easily performed. The calibration operation of this system will be described below.
２−２．キャリブレーション動作
本実施形態に係る投影システムのキャリブレーション動作について、図６及び図７を参照して説明する。図６は、本システムのキャリブレーション動作を示すフローチャートである。図７は、本システムのキャリブレーション動作を説明するための図である。
2-2. Calibration operation The calibration operation of the projection system according to the present embodiment will be described with reference to FIGS. 6 and 7. FIG. 6 is a flowchart showing the calibration operation of this system. FIG. 7 is a diagram for explaining the calibration operation of this system.
図６のフローチャートは、制御ＰＣ４のＰＣ制御部４０によって実行される。以下、プロジェクタ１及びミラーユニット３が、図５に示すように設置された状態において、本フローチャートによる処理が開始される例について説明する。
The flowchart of FIG. 6 is executed by the
まず、制御ＰＣ４は、ミラーユニット３におけるミラー３０の角度位置を、キャリブレーション動作のための初期位置に設定する（Ｓ１）。本実施形態では、ミラー３０の初期位置として、パン角度ψ＝０°及びチルト角度α＝４５°に設定する（図７（ａ）参照）。また、本実施形態において、パン角度ψ＝０°はミラー３０の水平方向がＸ方向と平行になる角度位置とし、チルト角度α＝０°はミラー３０の反射面３０ａがＸＺ平面と平行になる角度位置とする（図５参照）。ステップＳ１の処理の詳細については後述する。
First, the
次に、制御ＰＣ４は、初期位置のミラーユニット３を介してプロジェクタ１から床面７１に投影される投影画像５０を制御し、全方位カメラ２による床面７１の撮像画像に基づいて、距離Ｌ及び高さＨをそれぞれ算出する（Ｓ２，Ｓ３）。図７（ａ）〜（ｅ）を用いて、距離Ｌの算出方法の概要について説明する。
Next, the
図７（ａ）は、プロジェクタ１から種々の距離Ｌ＝Ｌ０，Ｌ１，Ｌ２に設置されたミラーユニット３に投影光５０ａが出射された状態を示している。図７（ｂ）は、プロジェクタ１が投影する測定用画像Ｄ５０を示している。図７（ａ）に示すように、投影光５０ａは、プロジェクタ１からＹ方向に出射され、チルト角度α＝４５°のミラーユニット３に達すると、Ｚ方向に反射して床面７１に投影される。この際、プロジェクタ１から出射された投影光５０ａによる測定用画像Ｄ５０（図７（ｂ））の上端（Ａ）と下端（Ｂ）は、ミラーユニット３の反射により、床面７１上ではＹ方向において下端と上端が反転して投影される（図７（ｃ））。ミラー３０の角度位置を上記の初期位置（パン角度ψ＝０°及びチルト角度α＝４５°）に設定することにより、測定用画像Ｄ５０の床面７１上での歪みを低減できる。
FIG. 7A shows a state in which the projected light 50a is emitted from the
図７（ａ）において距離Ｌ０は、プロジェクタ１からの投影光５０ａが、ミラー３０において漏れなく反射されるような距離である。距離Ｌ０に設置されたミラーユニット３によれば、図７（ｃ）に示すように、測定用画像Ｄ５０に基づき床面７１上に形成される投影画像５０には、測定用画像Ｄ５０の全体が投影される。
In FIG. 7A, the distance L0 is a distance such that the projected light 50a from the
一方、図７（ａ）において距離Ｌ１（＞Ｌ０）はプロジェクタ１からの投影光５０ａがミラー３０の一端から漏れるような距離である。このとき、距離Ｌ０の場合よりもプロジェクタ１から出射される投影光５０ａは広がり、測定用画像Ｄ５０の下端（Ｂ）部分の投影光５０ａがミラー３０からはみ出している。つまり、距離Ｌ１に設置されたミラーユニット３によれば、図７（ｄ）に示すように、床面７１上の投影画像５０’は、上端（Ｂ）の一部が欠けた形状になる。
On the other hand, in FIG. 7A, the distance L1 (> L0) is such that the projected light 50a from the
また、図７（ａ）において距離Ｌ２（＞Ｌ１）はプロジェクタ１からの投影光５０ａがミラー３０の周囲から漏れるような距離である。このとき、プロジェクタ１から出射される投影光５０ａは更に広がり、測定用画像Ｄ５０の上端（Ａ）及び下端（Ｂ）部分の投影光５０ａがミラー３０からはみ出している。つまり、距離Ｌ２に設置されたミラーユニット３によれば、図７（ｅ）に示すように、床面７１上の投影画像５０”は、ミラーユニット３のミラー３０の形状に応じた形状になる。
Further, in FIG. 7A, the distance L2 (> L1) is a distance such that the projected light 50a from the
本実施形態では、以上のように距離Ｌに応じて変化する投影画像５０、５０’、５０”の撮像画像を全方位カメラ２で画像解析することにより距離Ｌを算出する（Ｓ２）。ステップＳ２の処理の詳細については後述する。
In the present embodiment, the distance L is calculated by analyzing the captured images of the projected
また、撮像画像中の投影画像５０の位置は、距離Ｌと高さＨとの間の特定の関係に基づき、規則的に変化する（図１４参照）。本実施形態では、制御ＰＣ４が上記の関係を特定することにより、高さＨを算出する（Ｓ３）。ステップＳ３の処理の詳細については後述する。
Further, the position of the projected
制御ＰＣ４は、算出した距離Ｌ及び高さＨを記憶部４１（図４Ａ）に格納することにより、本処理を終了する。
The
以上の処理により、全方位カメラ２が撮像した投影画像５０の画像解析によって距離Ｌ及び高さＨが算出され、自動的に投影システムのキャリブレーションを行うことができる。また、以上の処理は本システムの通常の使用時に用いる全方位カメラ２の撮像画像に基づき実行され、他のハードウェア構成を追加することなく、容易にキャリブレーションを行うことができる。以下、ステップＳ１，Ｓ２，Ｓ３の各処理の詳細について説明する。
By the above processing, the distance L and the height H are calculated by the image analysis of the projected
２−２−１．ミラーの角度の設定処理（ステップＳ１）について
本実施形態に係る投影システムでは、キャリブレーション前の初期状態において、ミラーユニット３におけるミラー３０のパン角度ψ及びチルト角度αの角度位置が判別できない場合が想定される。本実施形態では、図６のステップＳ１において、ミラーユニット３の駆動時の全方位カメラ２による撮像画像に基づき、パン角度ψ及びチルト角度αを角度位置ψ＝０°，α＝４５°に設定する。
2-2-1. Mirror angle setting process (step S1) In the projection system according to the present embodiment, the angle positions of the pan angle ψ and the tilt angle α of the
本実施形態では、プロジェクタ１から基準スポットを床面７１に投影し、ミラーユニット３をパン駆動させたときの基準スポットの軌跡に基づき、ミラー３０の角度を設定する（図９Ａ及び図９Ｂ参照）。以下、図６のステップＳ１の処理について、図８、図９Ａ及び図９Ｂを用いて説明する。図８は、ミラー３０の角度を設定する処理を説明するためのフローチャートである。図９Ａは、投影画像における基準スポットを説明するための図である。図９Ｂは、撮像画像における基準スポットの軌跡を説明するための図である。
In the present embodiment, the reference spot is projected from the
まず、制御ＰＣ４は、プロジェクタ１を制御して、例えば図９Ａに示すような基準スポット５１を含む投影画像５０Ａを床面７１に投影させる（Ｓ１１）。基準スポット５１は、図９Ａに示すように、投影画像５０Ａの中心位置を示す基準マークの一例である。
First, the
次に、制御ＰＣ４は、ミラーユニット３に、パン駆動部３１を駆動する駆動命令を送信する（Ｓ１２）。制御ＰＣ４からの駆動命令に基づき、パン駆動部３１は、例えば、パン角度ψを所定ピッチで順次、増大させるようにミラー３０を回転駆動し、パン角度ψの変位量を随時、制御ＰＣ４に送信する。このとき、チルト駆動部３２は動作せず、チルト角度αは固定される。
Next, the
次に、制御ＰＣ４は、ミラーユニット３がパン方向に駆動される期間中、全方位カメラ２に床面７１を撮像させ（図５参照）、全方位カメラ２から撮像画像を取得する（Ｓ１３）。制御ＰＣ４は、パン駆動に同期して複数フレームの撮像画像を取得し、それぞれパン角度ψの変位量と関連付けて記憶部４１に記録する。
Next, the
次に、制御ＰＣ４は、取得した複数フレームの撮像画像において、床面７１上に投影される基準スポット５１の軌跡を解析する（Ｓ１４）。図９Ｂに、基準スポット５１の軌跡の解析結果を示す。図９Ｂにおいて、横軸は床面７１のＸ方向であり、縦軸は床面７１のＹ方向である。
Next, the
図９Ｂに示すように、基準スポット５１の位置は、パン角度ψの増大に応じてＸ方向に進むように移動する。また、基準スポット５１の軌跡は、パン駆動時のチルト角度αに応じて変化している。図９Ｂに示すように、基準スポット５１の軌跡は、チルト角度αの増大に応じて、ＸＹ平面において上に凸の曲線、Ｘ軸と平行な直線、及び下に凸の曲線と移り変わっている。上に凸から下に凸へと変曲する直線状の軌跡において、チルト角度αは角度範囲０°〜９０°の中心の角度位置４５°であることが特定できる。また、図９Ｂに示すように、曲線状の軌跡はそれぞれ曲線の頂点を基準として対称であり、曲線の頂点のパン角度ψが角度位置０°であることが特定できる。ステップＳ１４において、制御ＰＣ４は、全方位カメラ２からの撮像画像を画像解析することにより、例えば基準スポット５１の軌跡の曲率を計算したり、曲線状の軌跡の頂点を特定したりする。
As shown in FIG. 9B, the position of the
次に、制御ＰＣ４は、上記のパン駆動中の撮像画像の解析結果（図９Ｂ）に基づいて、床面７１上の基準スポット５１の軌跡が直線的であるか否かを判断する（Ｓ１５）。
Next, the
制御ＰＣ４は、基準スポット５１の軌跡が直線的でないと判断した場合（Ｓ１５でＮｏ）、ミラーユニット３にチルト駆動命令を送信して、基準スポット５１の軌跡が直線状に近づくようにチルト角度αを変更する（Ｓ１６）。例えば、制御ＰＣ４は、基準スポット５１の軌跡の曲率に基づき曲線が上に凸であるか下に凸であるかを判断し、上に凸の場合にはチルト角度αを増大させ、下に凸の場合にはチルト角度αを減少させる。制御ＰＣ４は、変更後のチルト角度αにおいて、ステップＳ１１以降の処理を繰り返す。
When the
制御ＰＣ４が、基準スポット５１の軌跡が直線的であると判断した場合（Ｓ１５でＹｅｓ）、上記の通り、チルト角度αが角度位置４５°であると考えられる。制御ＰＣ４は、直線的と判断した基準スポット５１の軌跡が得られた際のチルト角度αを角度位置４５°として特定し、チルト角度の初期位置に設定する（Ｓ１７）。
When the
また、制御ＰＣ４は、曲線状の軌跡の頂点に応じたパン角度ψを角度位置０°に特定し、パン角度の初期角度に設定する（Ｓ１７）。これにより、制御ＰＣ４は、図６のステップＳ１の処理を終了し、ステップＳ２に進む。
Further, the
以上の処理によると、ミラーユニット３の駆動中に投影される基準スポット５１の軌跡に基づいて、ミラーユニット３が所定の角度位置である状態を特定し、ミラー３０を所定の角度位置に設定することができる。
According to the above processing, based on the locus of the
以上の処理では、パン角度ψ及びチルト角度αそれぞれの角度位置を特定したが、例えばミラーユニット３がパン角度ψ又はチルト角度αの角度位置を特定の角度位置に設定する機能を有する場合、パン角度ψ及びチルト角度αのいずれか一方の角度を特定してもよい。また、ミラーユニット３がパン角度ψ及びチルト角度αの角度位置を特定の角度位置に設定する機能を有する場合、ステップＳ１１〜Ｓ１６の処理を省略し、直接、パン角度ψ及びチルト角度αが初期位置に設定されてもよい。
In the above processing, the angle positions of the pan angle ψ and the tilt angle α are specified. For example, when the
２−２−２．距離Ｌの算出処理（ステップＳ２）について
図６の距離Ｌを算出する処理（ステップＳ２）について、図１０及び図１１を用いて説明する。図１０は、距離Ｌを算出する処理を説明するためのフローチャートである。図１１は、距離Ｌを算出する方法を説明するための図である。
2-2-2. About the process of calculating the distance L (step S2) The process of calculating the distance L of FIG. 6 (step S2) will be described with reference to FIGS. 10 and 11. FIG. 10 is a flowchart for explaining the process of calculating the distance L. FIG. 11 is a diagram for explaining a method of calculating the distance L.
以下では、ステップＳ２の一例として、デジタルズームを用いて測定用画像Ｄ５０に基づく投影画像５０のサイズを制御し、投影画像５０の形状の変化を判断して距離Ｌを算出する方法について説明する。
Hereinafter, as an example of step S2, a method of controlling the size of the projected
まず、制御ＰＣ４は、プロジェクタ１の投影光学系１３を制御して光学ズームを行い、図１１（ａ）に示すように、プロジェクタ１の画角をワイド端（広角端）の画角βｗに設定する（Ｓ２１）。以下、図１１（ａ）に示すように、プロジェクタ１の画角がワイド端の状態において、ミラーユニット３の反射面３０ａの周囲にわたり投影光５０ａがはみ出す場合について説明する（図７（ｅ）参照）。
First, the
次に、制御ＰＣ４は、図１１（ｂ）に示すように、測定用画像Ｄ５０の画像全体を例えば白色等で表示する矩形領域５２をプロジェクタ１に投影させる（Ｓ２２）。すると、図７（ｅ）に示すように、床面７１上に形成される投影画像５０”の形状は、ミラーユニット３の反射面３０ａに応じて、矩形領域５２の上部及び下部が欠けた形状になる。
Next, as shown in FIG. 11B, the
次に、制御ＰＣ４は、全方位カメラ２に床面７１を撮像させ、全方位カメラ２から床面７１における投影画像５０”の撮像画像を取得する（Ｓ２３）。
Next, the
次に、制御ＰＣ４は、取得した全方位カメラ２からの撮像画像の画像解析を行い、投影画像５０”の形状が、反射面３０ａに応じた形状であるか否かを判断する（Ｓ２４）。
Next, the
制御ＰＣ４は、投影画像５０”の形状が反射面３０ａに応じた形状であると判断した場合（Ｓ２４でＹｅｓ）、図１１（ｂ），（ｃ）に示すように、測定用画像Ｄ５０内で矩形領域５２を縮小するデジタルズームを行う（Ｓ２５）。デジタルズームは、矩形領域５２のアスペクト比を維持するように行われる。
When the
制御ＰＣ４は、縮小した矩形領域５２’の測定用画像Ｄ５０’に基づき、ステップＳ２２以降の処理を繰り返す。このとき、投影光５０ａにおいて縮小した矩形領域５２’に対応する部分の投影光５０ｂが、縮小前と同様に、反射面３０ａの周囲においてはみ出している場合、床面７１上では、形状及び大きさが同じ投影画像５０”が投影されている。一方、反射面３０ａの周囲において、縮小した矩形領域５２’に対応する投影光５０ｂが反射面３０ａの周囲をはみ出さない部分が生じると、床面７１上の投影画像は、図７（ｄ）の投影画像５０’のように上端の一部が欠けた形状の投影画像に変化する。
The
制御ＰＣ４は、測定用画像Ｄ５０’に基づく投影画像５０’の形状が反射面３０ａに応じた形状でないと判断した場合（Ｓ２４でＮｏ）、反射面３０ａのサイズ、画角βｗ及び矩形領域５２’のサイズに基づき、距離Ｌを算出する（Ｓ２６）。例えば、図１１（ａ）に示すように、反射面３０ａの上部において矩形領域５２’に対応する投影光５０ｂがはみ出さなくなった場合、制御ＰＣ４は、撮像画像中の投影画像５０’の下部の形状が反射面３０ａに応じた形状でないことを判断する（Ｓ２４でＮｏ）。この場合、制御ＰＣ４は、例えば次式によって距離Ｌを算出する。
Ｌ＝２−３／２Ｖ（ｃｏｔ（β／２）＋１） （１）
上式（１）において、βは矩形領域５２’に対応する有効画角であり、Ｖは反射面３０ａの垂直方向のサイズであり、ｃｏｔ（β／２）＝１／ｔａｎ（β／２）である。制御ＰＣ４は、プロジェクタ１内部の投影光５０ａの光路長などにより、上式を適宜、補正して用いてもよい。
When the
L = 2 -3/2 V (cot ( β / 2) +1) (1)
In the above equation (1), β is an effective angle of view corresponding to the rectangular region 52', V is the vertical size of the reflecting
制御ＰＣ４は、ステップＳ２６において距離Ｌを算出することにより、図６のステップＳ２の処理を終了し、ステップＳ３に進む。
By calculating the distance L in step S26, the
以上の処理によると、プロジェクタ１からミラーユニット３までの、投影光５０ａの光路に沿った長さである距離Ｌに応じて変化する投影画像５０の形状、及び反射面３０ａのサイズに基づいて、距離Ｌを算出することができる。
According to the above processing, based on the shape of the projected
上記の説明では、反射面３０ａの上部（Ｚ方向）において投影光５０ｂがはみ出さなくなった場合の投影画像５０’の形状に基づき距離Ｌを算出する例を説明した。反射面３０ａの下部（Ｚ方向）において投影光５０ｂがはみ出さなくなった場合についても同様に、所定の式を用いて距離Ｌを算出することができる。
In the above description, an example of calculating the distance L based on the shape of the projected image 50'when the projected light 50b does not protrude from the upper part (Z direction) of the reflecting
また、上記の説明では、ステップＳ２１においてミラーユニット３の反射面３０ａの周囲にわたり投影光５０ａがはみ出す場合について説明したが、ミラーユニット３の反射面３０ａの一部において投影光５０ａがはみ出す場合についても、適宜、投影画像５０”から投影画像５０’への形状の変化を判断し、変化した部分に対応する式を用いることにより、距離Ｌを算出することができる。
Further, in the above description, the case where the projected light 50a protrudes around the reflecting
また、上記の説明では、デジタルズームを用いて矩形領域５２のサイズを変更したが、これに加えて、又は代えて、光学ズームを用いてもよい。
Further, in the above description, the size of the
また、上記の説明では、制御ＰＣ４は、矩形領域５２のサイズを変更することにより、投影画像５０”の形状の変化を判断して距離Ｌを算出した。制御ＰＣ４は、矩形領域５２のサイズを変更せずに投影画像５０”の形状に基づき距離Ｌを算出してもよい。例えば制御ＰＣ４は、ワイド端で全画面にクロスハッチを表示した測定用画像Ｄ５０に基づく投影画像５０”の撮像画像の画像解析により、反射面３０ａの形状に応じて投影画像５０”において欠けている部分を抽出し、抽出した部分の形状に基づき距離Ｌを算出してもよい。
Further, in the above description, the
２−２−３．高さＨの算出処理（ステップＳ３）について
図６の高さＨを算出する処理（ステップＳ３）について、図１２、図１３Ａ，図１３Ｂ及び図１４を用いて説明する。図１２は、高さＨを算出する処理を説明するためのフローチャートである。図１３Ａは、高さＨを算出するための基準マークを説明するための図である。図１３Ｂは、高さＨを算出するための基準マークの撮像画像を説明するための図である。図１４は、距離Ｌと高さＨとの関係を説明するための図である。
2-2-3. About the height H calculation process (step S3) The process of calculating the height H in FIG. 6 (step S3) will be described with reference to FIGS. 12, 13A, 13B, and 14. FIG. 12 is a flowchart for explaining the process of calculating the height H. FIG. 13A is a diagram for explaining a reference mark for calculating the height H. FIG. 13B is a diagram for explaining a captured image of a reference mark for calculating the height H. FIG. 14 is a diagram for explaining the relationship between the distance L and the height H.
まず、制御ＰＣ４は、例えば図１３Ａに示すような十字マーク５３を含む投影画像５０Ｂをプロジェクタ１に投影させる（Ｓ３１）。十字マーク５３は、図１３Ａに示すように、投影画像５０Ｂにおける中心位置を示している。十字マーク５３は基準マークの一例であり、十字マークに代えて種々のマークを用いてもよく、図９Ａの基準スポット５１を用いてもよい。
First, the
次に、制御ＰＣ４は、十字マーク５３が投影された床面７１を全方位カメラ２に撮像させ、全方位カメラ２から撮像画像２０を取得する（Ｓ３２）。図１３Ｂに、ステップＳ３２において取得される撮像画像２０の一例を示す。
Next, the
次に、制御ＰＣ４は、取得した撮像画像２０に基づき、図１４に示すように、全方位カメラ２から十字マーク５３の投影位置に向く方向Ｄ１（第１の方向）とＺ方向（第２の方向）とでなす角度θを算出する（Ｓ３３）。
Next, based on the acquired captured
ステップＳ３３において、本実施形態では全方位画像を構成する撮像画像２０を用いる。図１３Ｂに示すように撮像画像２０では、中心位置から同心円状の位置に応じて特定の角度位置が対応しており、例えば中心位置に十字マーク５３があれば角度θ＝０°である。制御ＰＣ４は、撮像画像２０において中心位置を基準とする十字マーク５３の位置に基づき角度θを算出する。
In step S33, in this embodiment, the captured
次に、制御ＰＣ４は、算出した角度θに基づく距離Ｌと高さＨとの関係式を取得する（Ｓ３４）。図１４に示すように、距離Ｌと高さＨとは、角度θに基づき以下の関係式を満たす。
Ｌ／Ｈ＝ｔａｎθ （２）
上式（２）によると、角度θに基づく関係式（２）を満たす距離Ｌと高さＨの組み合わせは、図１４に示すように、（Ｌ１，Ｈ１），（Ｌ２，Ｈ２）など、種々の候補が考えられる。距離Ｌと高さＨの内の一方の値が特定されると、関係式（２）に基づき他方の値を算出できる。
Next, the
L / H = tanθ (2)
According to the above equation (2), there are various combinations of the distance L and the height H that satisfy the relational expression (2) based on the angle θ, such as (L1, H1), (L2, H2), as shown in FIG. Candidates are possible. When one of the values of the distance L and the height H is specified, the other value can be calculated based on the relational expression (2).
次に、制御ＰＣ４は、取得した関係式（２）に、図６のステップＳ２において算出した距離Ｌを代入することによって、高さＨを算出し（Ｓ３５）、図６のステップＳ３の処理を終了する。
Next, the
以上の処理によると、角度θを算出することにより、距離Ｌと高さＨとの２変数に対して、一つの独立条件（式（２））を得ることができる。ステップＳ２の算出結果と併せて、二つの独立条件が得られ、距離Ｌと高さＨとを算出することができる。 According to the above processing, by calculating the angle θ, one independent condition (Equation (2)) can be obtained for the two variables of the distance L and the height H. Together with the calculation result of step S2, two independent conditions can be obtained, and the distance L and the height H can be calculated.
以上の説明では、図６のステップＳ２の後に距離Ｌと高さＨとの関係式（２）を取得したが、ステップＳ２の前に距離Ｌと高さＨとの関係式（２）を取得してもよい。この場合、図１２のステップＳ３１〜Ｓ３４の処理を図６のステップＳ２よりも前に行い、ステップＳ２の後に高さＨの算出（Ｓ３５）を行う。 In the above description, the relational expression (2) between the distance L and the height H was acquired after step S2 in FIG. 6, but the relational expression (2) between the distance L and the height H was acquired before step S2. You may. In this case, the processes of steps S31 to S34 of FIG. 12 are performed before step S2 of FIG. 6, and the height H is calculated (S35) after step S2.
以上のようにして、本実施形態に係る投影システムのキャリブレーション動作により、距離Ｌ及び高さＨを求めることができる。 As described above, the distance L and the height H can be obtained by the calibration operation of the projection system according to the present embodiment.
３．効果等
以上のように、本実施形態において投影システムは、プロジェクタ１と、ミラーユニット３と、全方位カメラ２と、制御ＰＣ４とを備える。プロジェクタ１は、測定用画像Ｄ５０を表示するための投影光５０ａを出射する。ミラーユニット３は、プロジェクタ１からの投影光５０ａの光路を変更し、投影光５０ａを床面７１に導光する。全方位カメラ２は、測定用画像Ｄ５０に基づきミラーユニット３から床面７１上に投影された投影画像５０を撮像する。制御ＰＣ４は、投影画像５０を制御する。制御ＰＣ４は、全方位カメラ２が投影画像５０を撮像した撮像画像に基づいて、プロジェクタ１からミラーユニット３までの光路に沿った長さである距離Ｌ（第１の距離）、及びプロジェクタ１から床面７１までの鉛直方向に沿った長さである高さＨ（第２の距離）を算出し、算出した距離Ｌ及び高さＨに基づいて投影画像５０を制御する。
3. 3. Effects and the like As described above, in the present embodiment, the projection system includes a
以上の投影システムによると、制御ＰＣ４によって、全方位カメラ２が投影画像５０を撮像した撮像画像に基づき距離Ｌ及び高さＨが算出され、投影システムのキャリブレーションを容易に行うことができる。また、キャリブレーション後の本システムにおいて、適切に投影画像５０を制御することができる。
According to the above projection system, the
また、本実施形態において、制御ＰＣ４は、投影画像５０を投影する投影システム（プロジェクタ１、ミラーユニット３及び全方位カメラ２）のキャリブレーションを行うキャリブレーション装置４６である。
Further, in the present embodiment, the
また、本実施形態において、ミラーユニット３は、投影光５０ａを反射する反射面３０ａを備える。制御ＰＣ４は、反射面３０ａのチルト角度αが所定の初期位置（α＝４５°）である場合に投影された投影画像５０の撮像画像に基づいて、距離Ｌと高さＨとを算出する（Ｓ１）。初期位置の反射面３０ａに対する投影画像５０の撮像画像に基づいて、制御ＰＣ４は、キャリブレーションを容易に行うことができる。
Further, in the present embodiment, the
なお、チルト角度αの初期位置は４５°でなくてもよい。図１５を用いて、任意のチルト角度α（０°＜α＜９０°）に基づくキャリブレーション動作について説明する。図１５は、距離Ｌと高さＨとの関係の変形例を説明するための図である。 The initial position of the tilt angle α does not have to be 45 °. The calibration operation based on an arbitrary tilt angle α (0 ° <α <90 °) will be described with reference to FIG. FIG. 15 is a diagram for explaining a modified example of the relationship between the distance L and the height H.
図１５に示すように、任意のチルト角度α（０°＜α＜９０°）において、距離Ｌと高さＨとは、以下の関係式を満たす。
Ｌ／Ｈ＝（ｔａｎθ＋ｃｏｔ（２α）） （３）
このため、種々の初期位置のチルト角度αに対して、図６のステップＳ３において式（２）に代えて上式（３）を用いることにより、距離Ｌと高さＨとの関係式を得ることができる。また、ステップＳ１，Ｓ２においても、適宜、チルト角度αの初期位置を変更することができる。
As shown in FIG. 15, at an arbitrary tilt angle α (0 ° <α <90 °), the distance L and the height H satisfy the following relational expression.
L / H = (tanθ + cot (2α)) (3)
Therefore, for the tilt angles α at various initial positions, the relational expression between the distance L and the height H is obtained by using the above equation (3) instead of the equation (2) in step S3 of FIG. be able to. Further, also in steps S1 and S2, the initial position of the tilt angle α can be changed as appropriate.
また、本実施形態において、全方位カメラ２は、反射面３０ａによって反射された投影光５０ａが床面７１に形成した投影画像５０を撮像する。制御ＰＣ４は、全方位カメラ２による撮像画像における投影画像５０，５０’，５０”の形状又はサイズの少なくとも一方と、反射面３０ａのサイズに基づいて、距離Ｌを算出する（Ｓ２）。これにより、全方位カメラ２以外のハードウェア構成を追加することなく制御ＰＣ４は、距離Ｌを算出することができる。
Further, in the present embodiment, the
また、本実施形態において、プロジェクタ１は、基準スポット５１を含む投影画像５０Ａを床面７１上に投影する（Ｓ１１）。全方位カメラ２は、床面７１上に投影された基準スポット５１を含む投影画像５０Ａを撮像する。制御ＰＣ４は、ミラーユニット３を制御して床面７１上で基準スポット５１を移動させる（Ｓ１２）。制御ＰＣ４は、全方位カメラ２が基準スポット５１を含む投影画像５０Ａを撮像した撮像画像における基準スポット５１の軌跡（図９Ｂ）に基づいて、反射面３０ａのチルト角度α及びパン角度ψを特定する（Ｓ１５，Ｓ１７）。これにより、初期状態ではチルト角度α及びパン角度ψが判別されない場合であっても、制御ＰＣ４は、容易にキャリブレーションを行うことができる。なお、基準スポット５１に限らず種々の基準マークを用いてもよい。
Further, in the present embodiment, the
また、本実施形態において、プロジェクタ１は十字マーク５３を含む投影画像５０Ｂを床面７１上に投影する（Ｓ３１）。全方位カメラ２は、床面７１上に投影された十字マーク５３を含む投影画像５０Ｂを撮像する（Ｓ３２）。制御ＰＣ４は、全方位カメラ２が十字マーク５３を含む投影画像５０Ｂを撮像した撮像画像２０に基づいて、全方位カメラ２から投影画像５０Ｂが投影された位置に向く方向Ｄ１（第１の方向）と高さＨを規定するＺ方向（第２の方向）とでなす角度θを算出する（Ｓ３３）。制御ＰＣ４は、算出した角度θ及び距離Ｌに基づいて、高さＨを算出する（Ｓ３５）。これにより、算出した角度θ及び距離Ｌに基づき、容易に高さＨを特定することができる。
Further, in the present embodiment, the
また、本実施形態において、全方位カメラ２は、人６などの所定の被写体を撮像する。制御ＰＣ４は、全方位カメラ２が被写体を撮像した撮像画像に基づいて投影画像５を制御する。これにより、通常の使用時に被写体を撮像するための全方位カメラ２を用いて、他のハードウェア構成を追加することなくキャリブレーションを行うことができる。
Further, in the present embodiment, the
また、本実施形態において、プロジェクタ１から出射される投影光５０ａの光路は水平である。
Further, in the present embodiment, the optical path of the projected light 50a emitted from the
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
(Other embodiments)
As described above, the first embodiment has been described as an example of the technology disclosed in the present application. However, the technique in the present disclosure is not limited to this, and can be applied to embodiments in which changes, substitutions, additions, omissions, etc. are appropriately made. It is also possible to combine the components described in each of the above embodiments into a new embodiment. Therefore, other embodiments will be illustrated below.
上記の実施形態では、図６のステップＳ２，Ｓ３の処理により、距離Ｌ及び高さＨを算出した。本開示における投影システムでは、ステップＳ２，Ｓ３のいずれか一方に代えて、例えば床面７１等の投影面に投影した投影画像の合焦距離に基づいて、総距離（Ｌ＋Ｈ）を算出してもよい。この場合、例えばプロジェクタ１が投影光学系１３においてレンズ位置の位置センサを備えることにより、合焦距離を測定することができる。
In the above embodiment, the distance L and the height H are calculated by the processing of steps S2 and S3 of FIG. In the projection system of the present disclosure, instead of either one of steps S2 and S3, the total distance (L + H) may be calculated based on the focusing distance of the projected image projected on the projection surface such as the
また、上記の実施形態では、プロジェクタ１及びミラーユニット３は天井７０等から吊るように設置したが、例えば壁等に固定してもよいし、床又は机等に置いて用いてもよい。この場合、第１の距離は、距離Ｌと同様に、それぞれ設置されたプロジェクタ１とミラーユニットとの間の距離である。また、第２の距離は、高さＨに代えて、種々の設置場所に応じて適宜、設定される投影面からプロジェクタ１までの距離である。
Further, in the above embodiment, the
また、上記の実施形態では、投影システムにおける撮像部の一例として、全方位カメラ２について説明した。本開示における撮像部は、全方位カメラ２に限らず、画角１８０°未満の画角を有するカメラを用いてもよい。この場合、例えば、図１２のＳ３３において、制御ＰＣ４は、全方位画像ではなく通常の平面画像から、角度θを算出する。また、撮像部は、ＲＧＢカメラであってもよいし、赤外カメラでもあってもよい。
Further, in the above embodiment, the
また、上記の実施形態では、投影システムにおける光路変更部の一例として、ミラーユニット３について説明したが、光路変更部はミラーユニット３に限定されない。例えば、ミラー３０を用いずに、プリズム等の種々の光学系を用いて光路変更部が構成されてもよい。
Further, in the above embodiment, the
また、ミラーユニット３の回転軸はＪ１，Ｊ２（図３）に限らない。例えば回転軸Ｊ１に代えて、Ｚ方向を回転軸としてもよいし、反射面３０ａの垂直方向を回転軸としてもよい。この場合、適宜、所定の角度位置に対応する軌跡を予め設定しておくことで、図８のフローチャートと同様の処理を行うことができる。
Further, the rotation axes of the
また、上記の実施形態における制御ＰＣ４に代えて、種々の情報処理装置を用いてもよい。また、上記の実施形態では制御ＰＣ４とプロジェクタ１とは別体であったが、本開示における制御部及びキャリブレーション装置４６は、投影部と一体的に構成されてもよい。
Further, various information processing devices may be used instead of the
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, an embodiment has been described as an example of the technique in the present disclosure. To that end, the accompanying drawings and detailed description are provided.
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Therefore, among the components described in the attached drawings and the detailed description, not only the components essential for problem solving but also the components not essential for problem solving in order to exemplify the above technology. Can also be included. Therefore, the fact that these non-essential components are described in the accompanying drawings or detailed description should not immediately determine that those non-essential components are essential.
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。 Further, since the above-described embodiment is for exemplifying the technique in the present disclosure, various changes, substitutions, additions, omissions, etc. can be made within the scope of claims or the equivalent thereof.
本開示における投影システムは、投影面に画像を投影する種々の用途に適用可能である。 The projection system in the present disclosure is applicable to various uses for projecting an image on a projection surface.
１ プロジェクタ
２ 全方位カメラ
３ ミラーユニット
４ 制御ＰＣ
４０ ＰＣ制御部
４１ 記憶部
４６ キャリブレーション装置
４７ 第１算出部
４８ 第２算出部
４９ キャリブレーション部
Ｌ 距離（第１の距離）
Ｈ 高さ（第２の距離）
1
40
H height (second distance)
Claims (9)
前記投影部からの投影光の光路を変更し、投影光を所定の投影面に導光する光路変更部と、
前記所定の画像に基づいて前記光路変更部から前記投影面上に投影された投影画像を撮像する撮像部と、
前記投影画像を制御する制御部とを備え、
前記制御部は、前記撮像部が前記投影画像を撮像した撮像画像に基づいて、前記投影部から前記光路変更部までの前記光路に沿った長さである第１の距離、及び前記投影部から前記投影面までの鉛直方向に沿った長さである第２の距離を算出し、算出した前記第１の距離及び前記第２の距離に基づいて前記投影画像を制御する
投影システム。 A projection unit that emits projected light to display a predetermined image,
An optical path changing unit that changes the optical path of the projected light from the projection unit and guides the projected light to a predetermined projection surface.
An imaging unit that captures a projected image projected onto the projection surface from the optical path changing unit based on the predetermined image, and an imaging unit.
A control unit that controls the projected image is provided.
The control unit is a first distance along the optical path from the projection unit to the optical path changing unit, and from the projection unit, based on the image captured by the imaging unit. A projection system that calculates a second distance, which is a length along the vertical direction to the projection surface, and controls the projected image based on the calculated first distance and the second distance.
前記制御部は、前記反射面の傾斜角度及び前記撮像画像に基づいて前記第１及び前記第２の距離を算出する
請求項１に記載の投影システム。 The optical path changing portion includes a reflecting surface that reflects the projected light.
The projection system according to claim 1, wherein the control unit calculates the first and second distances based on the inclination angle of the reflection surface and the captured image.
前記制御部は、前記撮像部による前記撮像画像における前記投影画像の形状又はサイズの少なくとも一方と、前記反射面のサイズに基づいて、前記第１の距離を算出する
請求項２に記載の投影システム。 The imaging unit captures the projected image formed on the projected surface by the projected light reflected by the reflecting surface.
The projection system according to claim 2, wherein the control unit calculates the first distance based on at least one of the shape or size of the projected image in the captured image by the imaging unit and the size of the reflecting surface. ..
前記撮像部は、前記投影面上に投影された前記基準マークを含む投影画像を撮像し、
前記制御部は、
前記光路変更部を制御して前記投影面上で前記基準マークを移動させ、
前記撮像部が前記基準マークを含む投影画像を撮像した撮像画像における基準マークの軌跡に基づいて、前記反射面の傾斜角度を特定する
請求項２に記載の投影システム。 The projection unit projects an image including a reference mark on the projection surface, and then
The imaging unit captures a projected image including the reference mark projected on the projection surface.
The control unit
The reference mark is moved on the projection surface by controlling the optical path changing unit.
The projection system according to claim 2, wherein the imaging unit specifies an inclination angle of the reflection surface based on the locus of the reference mark in the captured image obtained by capturing the projected image including the reference mark.
前記撮像部は、前記投影面上に投影された前記基準マークを含む投影画像を撮像し、
前記制御部は、前記撮像部が前記基準マークを含む投影画像を撮像した撮像画像に基づいて、前記撮像部から前記基準マークが投影された位置に向く第１の方向と、前記第２の距離を規定する第２の方向とでなす角度を算出し、
前記角度及び前記第１の距離に基づいて、前記第２の距離を算出する
請求項１に記載の投影システム。 The projection unit projects an image including a reference mark on the projection surface, and then
The imaging unit captures a projected image including the reference mark projected on the projection surface.
The control unit has a first direction toward a position where the reference mark is projected from the imaging unit and a second distance based on the captured image obtained by the imaging unit capturing the projected image including the reference mark. Calculate the angle between the second direction and
The projection system according to claim 1, wherein the second distance is calculated based on the angle and the first distance.
前記制御部は、前記撮像部が前記被写体を撮像した撮像画像に基づいて前記投影画像を制御する
請求項１に記載の投影システム。 The imaging unit captures a predetermined subject and
The projection system according to claim 1, wherein the control unit controls the projection image based on an image captured by the imaging unit.
請求項１に記載の投影システム。 The projection system according to claim 1, wherein the imaging unit includes an omnidirectional camera.
請求項１に記載の投影システム。 The projection system according to claim 1, wherein the optical path is horizontal.
前記投影システムは、
所定の画像を表示するための投影光を出射する投影部と、
前記投影部からの投影光の光路を変更し、前記投影光を所定の投影面に導光する光路変更部と、
前記所定の画像に基づいて前記光路変更部から前記投影面上に投影された投影画像を撮像する撮像部とを備え、
前記キャリブレーション装置は、
前記撮像部が前記投影画像を撮像した撮像画像に基づいて、前記投影部から前記光路変更部までの前記光路に沿った長さである第１の距離を算出する第１算出部と、
前記撮像部が前記投影画像を撮像した撮像画像に基づいて、前記投影部から前記投影面までの鉛直方向に沿った長さである第２の距離を算出する第２算出部と、
算出した前記第１の距離及び前記第２の距離に基づいて前記投影画像のキャリブレーションを行うキャリブレーション部とを備える
キャリブレーション装置。 A calibration device that calibrates the projection system.
The projection system
A projection unit that emits projected light to display a predetermined image,
An optical path changing unit that changes the optical path of the projected light from the projection unit and guides the projected light to a predetermined projection surface.
It is provided with an imaging unit that captures a projected image projected onto the projection surface from the optical path changing unit based on the predetermined image.
The calibration device is
A first calculation unit that calculates a first distance, which is a length along the optical path, from the projection unit to the optical path changing unit based on the captured image obtained by the imaging unit.
A second calculation unit that calculates a second distance, which is a length along the vertical direction from the projection unit to the projection surface, based on the captured image obtained by the imaging unit.
A calibration device including a calibration unit that calibrates the projected image based on the calculated first distance and the second distance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/452,953 US10104351B2 (en) | 2016-03-10 | 2017-03-08 | Projection system and calibration apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016047628 | 2016-03-10 | ||
| JP2016047628 | 2016-03-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017169195A JP2017169195A (en) | 2017-09-21 |
| JP6846618B2 true JP6846618B2 (en) | 2021-03-24 |
Family
ID=59914087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017033071A Active JP6846618B2 (en) | 2016-03-10 | 2017-02-24 | Projection system and calibration equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6846618B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7417935B2 (en) * | 2020-03-11 | 2024-01-19 | パナソニックＩｐマネジメント株式会社 | Projection direction changing device and image projection system |
| CN115576163A (en) * | 2021-07-06 | 2023-01-06 | 华为技术有限公司 | Display device and imaging method |
| CN113923428B (en) * | 2021-11-23 | 2024-01-30 | 中国航空工业集团公司洛阳电光设备研究所 | Terminal and method for rapidly calibrating projection precision of head-up projection device |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000171897A (en) * | 1998-12-04 | 2000-06-23 | Toshiba Corp | Liquid crystal projector |
| JP3646658B2 (en) * | 2001-03-01 | 2005-05-11 | セイコーエプソン株式会社 | Image distortion correction |
| JP2004260785A (en) * | 2002-07-23 | 2004-09-16 | Nec Viewtechnology Ltd | Projector with distortion correction function |
| JP2004248126A (en) * | 2003-02-17 | 2004-09-02 | Nippon Telegr & Teleph Corp <Ntt> | Arbitrary direction information projector, control program for it, and recording medium recorded with the program |
| JP2005064667A (en) * | 2003-08-08 | 2005-03-10 | Nec Viewtechnology Ltd | Projection apparatus and method |
| US7134756B2 (en) * | 2004-05-04 | 2006-11-14 | Microsoft Corporation | Selectable projector and imaging modes of display table |
| JP2005331585A (en) * | 2004-05-18 | 2005-12-02 | Nec Viewtechnology Ltd | Projector having device for measuring distance and tilt angle |
| JP2008089841A (en) * | 2006-09-29 | 2008-04-17 | Brother Ind Ltd | Projection device |
| JP2008203393A (en) * | 2007-02-19 | 2008-09-04 | Seiko Epson Corp | Projection system |
| JP2009002982A (en) * | 2007-06-19 | 2009-01-08 | Seiko Epson Corp | Display device |
| JP5370176B2 (en) * | 2010-01-22 | 2013-12-18 | セイコーエプソン株式会社 | Projector system |
| JP6238059B2 (en) * | 2013-12-18 | 2017-11-29 | カシオ計算機株式会社 | Projection apparatus and projection method |
-
2017
- 2017-02-24 JP JP2017033071A patent/JP6846618B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017169195A (en) | 2017-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10104351B2 (en) | Projection system and calibration apparatus | |
| JP6369810B2 (en) | Projection image display system, projection image display method, and projection display device | |
| US9726965B2 (en) | Projection device, image correction method, and computer-readable recording medium | |
| JP6244638B2 (en) | Projection apparatus, projection method, and projection program | |
| WO2014171136A1 (en) | Projection-type video display apparatus | |
| JP6846618B2 (en) | Projection system and calibration equipment | |
| US9811876B2 (en) | Display apparatus and control method | |
| JP6201359B2 (en) | Projection system, projection method, and projection program | |
| US20210302753A1 (en) | Control apparatus, control method, and program | |
| CN110463191B (en) | Projector and control method of projector | |
| JP2010122273A (en) | Method of measuring zoom ratio of projection optical system, method of correcting projection image using the method, and projector executing the correction method | |
| JP2014206634A (en) | Electronic apparatus | |
| JP6191019B2 (en) | Projection apparatus and projection method | |
| JP2015026219A (en) | Electronic device | |
| JP7147617B2 (en) | Projector and projector control method | |
| US20230037686A1 (en) | Electronic device, contents searching system and searching method thereof | |
| US10437139B2 (en) | Projector apparatus, projection method, and storage medium | |
| JP2016122179A (en) | Projection device and projection method | |
| JP6197322B2 (en) | Projection device, image output device, projection method, and projection program | |
| JP6146038B2 (en) | Projection device and projection method | |
| JP2013083985A (en) | Projection device, projection method, and program | |
| JP7031191B2 (en) | Projector, projection method and program | |
| JP6347126B2 (en) | Projector and projector control method | |
| JP5630799B2 (en) | Projection apparatus, projection method, and program | |
| US20230276032A1 (en) | Electronic apparatus and method for controlling thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210125 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6846618 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |