JP3709395B2

JP3709395B2 - Image projection system

Info

Publication number: JP3709395B2
Application number: JP2002381489A
Authority: JP
Inventors: 正樹日暮; 達夫長崎; 康宏小宮; 健井岡; 康達大浦
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-12-27
Filing date: 2002-12-27
Publication date: 2005-10-26
Anticipated expiration: 2016-06-06
Also published as: JP2004032665A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のプロジェクタの画像をスクリーン上で合成して高精細な画像の投影を実現する画像投影システムに関する。
【０００２】
【従来の技術】
従来、大人数向けに行うプレゼンテーションでは、オーバーヘッドプロジェクタ(OHP;Over Head Projector) やスライドが使用されてきた。
【０００３】
一方、最近のパーソナルコンピュータの普及とアプリケーションソフトの充実に伴い、パーソナルコンピュータとプロジェクション・ディスプレイ（以下、プロジェクタと称する）を組み合わせたプレゼンテーション・システムが採用されるようになってきた。このシステムの特徴は、パーソナルコンピュータ上で作成した画像や原稿をＯＨＰシートに印刷したりスライド用フィルムに撮影する手間が省けること、特に自然画像の場合には作成段階で見ている色がそのまま得られることにある。このようなプロジェクタでは、特に従来のＣＲＴディスプレイ(Cathode Ray Tube dislay monitor) に比して、より軽量で設置の煩雑さの少ない液晶パネルを用いたプロジェクタが中心に利用されている。
【０００４】
ここで、図２３にはパーソナルコンピュータと液晶プロジェクタとを組み合わせたプレゼンテーション・システムの一例を示し説明する。
【０００５】
同図に於いて、パーソナルコンピュータ２０１上で作成された画像・原稿データは、モニタ出力から分岐して液晶プロジェクタ２０２の処理制御部２０６に出力される。液晶プロジェクタ２０２の処理制御部２０６では、この入力されたデータが処理され、液晶パネル（ＬＣＰ）２０４に出力される。液晶パネル２０４では、この入力画像データに応じた画像が表示される。そして、光源２０３からの光は、液晶パネル２０４に表示した画像の階調によってその透過量が決定された後、投射レンズ２０７を介してスクリーン２０８に投影される。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記液晶プロジェクタによって投影された画像の解像度は液晶パネルの画素数によって決定される。現在、液晶パネルの解像度を超えた画像信号を入力できるプロジェクタは存在するものの、液晶パネルの画素数に合わせるべく原画像データを間引いている為に原画像の解像度を生かしていない。
【０００７】
更に、原画像の１部分を表示しスクロールで全体を投影するプロジェクタもあるものの、１度に全体を見ることができないといった欠点がある。かかる問題を解決する為には、より高精細な投影画像を得る場合には液晶パネルの画素数を増やさなくてはならないが、そのような高精細な液晶プロジェクタは非常に高価なものとなる為、一般に汎用されるには適していない。
【０００８】
また、高解像度の液晶パネルを用いた場合、処理制御部の負荷も増大する。さらに、パネル上の制御部分の面積が広くなり、結果として光源光の利用効率が落ちて投影画像は暗いものになるといった欠点がある。
【０００９】
さらに、正確な画像を投影するには、プロジェクタ本体を正確に水平に設置することや、スクリーンに正対していなければならない等の条件が必要とされる為、プロジェクタの設置が正確でない場合、投影画像は回転してしまったり、一般に言われる「あおり」といった現象が生じたものとなってしまう。
【００１０】
また、特開平２−３０６７８２号公報では、ＴＶカメラで撮影したセットの一部に予め用意した画像（はめ込み画像）を挿入する技術が開示されている。この技術は、はめ込み画像に対して、カメラ方向に応じたあおりを人工的に生じさせて（この変換を一次透視変換と称する）ＴＶカメラの画像に挿入するものである。この技術では、はめ込み画像の上の座標を（ｘ，ｙ）、ＴＶカメラの画像内の座標を（Ｘ，Ｙ）としたとき、一次透視変換を次式（１）で表現している。
【００１１】
Ｘ＝ｍ・（ｄ・ｘ＋ｅ・ｙ＋ｆ）／（ａ・ｘ＋ｂ・ｙ＋ｃ）
Ｙ＝ｍ・（ｇ・ｘ＋ｈ・ｙ＋ｉ）／（ａ・ｘ＋ｂ・ｙ＋ｃ）（１）
しかしながら、この技術をプロジェクタの投影画像に対して応用しようとした場合には、上記（１）式の変換に関して画像の回転を考慮していない、プロジェクタの投影方向を検出する手段を必要とするといった問題が生じてしまう。
【００１２】
本発明は、上記問題に鑑みてなされたもので、その目的とするところは、パーソナルコンピュータと複数のプロジェクタ、高精細な入力画像を分割して各プロジェクタに画像信号を出力するコントローラ部を組み合わせ、入力データの解像度を生かした高精細な投影画像を得ることにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の態様による画像投影システムは、複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれかを記憶するパラメータ記憶手段と、上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、基準画像を生成する基準画像生成手段と、観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段とを具備し、上記撮像手段は、上記スクリーンに投影される基準画像を連続的に撮像し、上記基準画像生成手段は、プロジェクタとスクリーンとの位置関係による歪みと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係による歪みとが少なくなるように、上記算出手段が算出したパラメータに基づき基準画像を変形させ、上記パラメータ記憶手段が記憶するパラメータは、変化させた上記第１又は第２のパラメータによって逐次的に書き換えたものである、ことを特徴とする。
本発明の第２の態様による画像投影システムは、複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれかを記憶するパラメータ記憶手段と、上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、基準画像を生成する基準画像生成手段と、観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段とを具備し、上記複数のプロジェクタが投影した全体画像を上記撮像手段が撮像する際には、上記パラメータ算出手段は、上記撮像手段が撮像した全体画像データに基づき大雑把な第２のパラメータを算出し、上記複数のプロジェクタが投影した全体画像のうちオーバーラップ部分を拡大して上記撮像手段が撮像する際には、上記パラメータ算出手段は、上記撮像手段が撮像した部分拡大画像データに基づき正確な第２のパラメータを算出する、ことを特徴とする。
本発明の第３の態様による画像投影システムは、複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれを記憶するパラメータ記憶手段と、上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、基準画像を生成する基準画像生成手段と、観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段とを具備し、上記撮像手段は、レーザポインタによって上記スクリーン上に形成された輝点を撮像し、上記パラメータ算出手段は、上記撮像手段が投影した上記輝点を特徴点として用いて第１及び第２のパラメータの少なくともいずれかを算出する、ことを特徴とする。
本発明の第４の態様による画像投影システムは、複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれを記憶するパラメータ記憶手段と、上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、基準画像を生成する基準画像生成手段と、観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段とを具備し、上記撮像手段は、半導体発光素子によって上記スクリーン上に形成された輝点を撮像し、上記パラメータ算出手段は、上記撮像手段が投影した上記輝点を特徴点として用いて第１及び第２のパラメータの少なくともいずれかを算出する、ことを特徴とする。
本発明の第５の態様による画像投影システムは、複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれかを記憶するパラメータ記憶手段と、上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、基準画像を生成する基準画像生成手段と、観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段と、上記各プロジェクタはレーザ光線による輝点を上記スクリーンに投影するレーザ光線投影手段とを具備し、上記撮像手段は、上記レーザ光線投影手段によって投影された輝点を撮像し、上記パラメータ算出手段は、上記撮像手段が撮像した上記輝点を特徴点として用いて第１及び第２のパラメータの少なくともいずれかを算出する、ことを特徴とする。
【００２９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３０】
先ず本発明の第１の実施の形態に係る画像投影システムを説明する。
【００３１】
図１は第１の実施の形態に係る画像投影システムの構成を示す図である。
【００３２】
同図に示されるように、本実施の形態に係る画像投影システムは、大きく別けて、画像・原稿を作成して高精細画像データ２を出力するパーソナルコンピュータ（以下、パソコンと略記する）１と、パソコン１からの高精細画像データ２を処理・分割して出力する高精細プロジェクタ・コントローラ部３と、複数のプロジェクタ７ａ乃至７ｄとで構成されている。
【００３３】
上記高精細プロジェクタ・コントローラ部３は、更に画像処理・分割部４と、プロジェクタ配置記憶部５、Ｄ／Ａ変換部６からなる。更に、ここでは図示していないが各機能をコントロールする制御部も含まれている。
【００３４】
このような構成において、パソコン１で作成・出力された高精細画像データ２はコントローラ部３の画像処理・分割部４へと出力される。該画像処理・分割部４では、予めプロジェクタ配置記憶部５に記憶されたパラメータに基づいて各プロジェクタに高精細画像データ２のどの部分を出力するかが決定され、所定の処理が行われる。このプロジェクタ配置記憶部５に記憶されたパラメータ及び画像処理・分割部４等の各構成要素の機能又は作用についての詳細は後述する。
【００３５】
上記画像処理・分割部４の信号は複数のＤ／Ａ変換部６へと出力され、該Ｄ／Ａ変換部６にてアナログ信号に変換された後、各プロジェクタ７ａ乃至７ｄにより画像がスクリーン８上に投影される。こうしてスクリーン８上に投影された投影像は、各画像が正確に位置合わせされた高精細な画像となる。
【００３６】
ここで、図２を参照して上記液晶プロジェクタ７とスクリーン８が正対していない場合に、投影画像全体をあおりがなく正確なものとする手法を説明する。
【００３７】
上記プロジェクタ７とスクリーン８が正対していない場合には、投影像の各部分で倍率が異なり、図２（ａ）に示されるような「あおり」のある画像になってしまう。スクリーン８上でどの様に投影されるかは、プロジェクタ７の光軸に沿ったプロジェクタ７とスクリーン８との距離ｄ、光軸を回転軸としたときのプロジェクタ７の回転角ω、プロジェクタ７の基準点Ｃからスクリーン８に降ろした垂線Ｃ−Ｓとプロジェクタの光軸で決定される平面がＺＸ平面となす角度（あおりの生じる方向）θ、垂線Ｃ−Ｓとプロジェクタ７の光軸のなす角度（あおり角）φで決定される。
【００３８】
いま、プロジェクタ７に入力する画像上で画像中心を原点ｏとした座標を（ｘ，ｙ）、図２のようにスクリーンとプロジェクタの光軸が交差する点を原点Ｏとし、スクリーン上水平方向にＸ軸・垂直方向にＹ軸、スクリーンの法線方向にＺ軸を取った座標を（Ｘ，Ｙ，０）としたとき、（ｘ，ｙ）と（Ｘ，Ｙ）の関係は以下の（２），（３），（４）式に表される。
【００３９】
【数１】

【００４０】
上記式において、行列右肩のＴは転置を示し、ｍはスクリーンとの距離ｄできまるスケーリングファクタである。Ｒはθ，φ，ωによる回転を表す行列で、座標Ｃはプロジェクタの基準点の上記ＸＹＺ座標系における位置である。
【００４１】
このｄ，θ，φ，ωから逆算し、予め図２（ｂ）に示されるようにあおりを補正した画像を生成・出力することで、投影された画像は全体が等倍率で正確なものとなる。この様子は後述する。また、ここではｄ，θ，φ，ωから投影状態を決定するとして説明したが、投影状態が正確に記述・補正できれば他のパラメータの組でもよいことは勿論である。
【００４２】
図３は原画像と各プロジェクタへの出力画像の関係を示す図である。
【００４３】
図３（ａ）はプロジェクタの解像度に比べて高精細な原画像であり、この画像をスクリーン上に図３（ｂ）に示されるような位置関係で投影する２台のプロジェクタに出力する。この場合、図３（ｃ）に示されるように右側のプロジェクタには、左側のプロジェクタの画像から下にずれた部分の画像を出力すると、スクリーン上では図３（ｄ）のように全体として原画像と略同じ画像が投影される。
【００４４】
また、オーバーラップする部分は、例えば特開平６−１４１２４６号公報に開示された画像の貼合わせ技術を採用して整合を取る。複数の画像の重複部分の処理技術を応用して、原画像の値に図３（ｅ）に示されるような係数を乗じてプロジェクタに出力することで、接合部分をスムーズに接続することができる。
【００４５】
こうして接合された例を図３（ｆ）に示す。この図３（ｆ）では、２枚の画像の１ライン（例えば図３中のＡ−Ｂを結ぶ線）がそれぞれ破線で示されている。実線は、それぞれのデータ値に図３（ｅ）に示した係数を掛けて出力したときの投影された画像の値である。図３（ｂ）では、プロジェクタの倍率は同じとして説明したが、倍率が異なる場合は図３（ｃ）で選択する部分の大きさを変えることで対応可能である。
【００４６】
以上の方法は、２台以上のプロジェクタを用いる場合にも同様に適用可能である。更に、液晶パネルの画素が比較的粗いため、投影画像に液晶の画素がはっきり投影されて見にくい画像となる場合や、それぞれのプロジェクタの倍率の違いからオーバーラップ部分でモアレ現象が起こる場合もあるが、これら現象は、投影像のピントを少し甘くして画素をボケさせる等により防止することができる。また、図３ではオーバーラップ部分で乗じる係数を線形に変化させたが、スムーズに接合できるのであれば、例えばｓｉｎ関数のように非線形に変化させてもよい。
【００４７】
図４には、あおり補正画像生成の手法を示し説明する。
【００４８】
図４（ａ）は投影画像を示し、図４（ｂ）はプロジェクタに入力する画像データを示している。図４（ｂ）のｑ０，ｑ１，ｑ２，ｑ３で囲まれる領域Ｓq はプロジェクタに入力できる最大の画像を示し、その投影像が図４（ａ）のＱ０，Ｑ１，Ｑ２，Ｑ３で囲まれる領域ＳQ に相当する。
【００４９】
図４（ａ）で網掛けしたＰ０，Ｐ１，Ｐ２，Ｐ３で囲まれた領域ＳP は実際の投影に利用される領域で、プロジェクタ入力画像ではＰ０，Ｐ１，Ｐ２，Ｐ３で囲まれた領域ＳP に対応する。ＳP の基準点は２辺のなす角度が最大となる点Ｐ０とし、Ｐ１，Ｐ３はそれぞれ水平、垂直に引いた直線がＳQ の各辺と交差する点で、Ｐ２は他の３点と長方形をなす点である。また、図４（ｂ）のＰ０，Ｐ１，Ｐ２，Ｐ３で囲まれる領域Ｓｐはプロジェクタに入力する画像のうちＳｐに対応する部分である。
【００５０】
プロジェクタ入力画像の画像中心から数えた画素位置（ｉ，ｊ）は、上記（２）式によって（Ｘｉ，Ｙｊ）に変換される。そこで、画素位置（ｉ，ｊ）の値は図３（ｃ）のように各プロジェクタ用に選択された原画像中（Ｘｉ，Ｙｊ）に対応するピクセルの値を用いる。このとき（Ｘｉ，Ｙｊ）が整数でない場合には線形補間、双三次補間等の公知の補間手法によって値を求める。また、変換後、（Ｘｉ，Ｙｊ）がＳP 外に出てしまう場合は画素値をゼロとする。ここでは、Ｓｐを上記のように決定したが、ＳQ 内であればＳｐを任意の位置、大きさで設定することができる。
【００５１】
図５には上記変換を実現する画像処理・分割部４の詳細な構成を示して説明する。同図において、画像処理・分割部４は、更に表示画像選択部９、補間部１０、係数設定部１１からなる。この表示画像選択部９は、図３で説明したように、原画像中で本システムで投影できる部分を決定するパラメータをパラメータ記憶部１２から参照して各プロジェクタで投影する部分を決定し、複数のプロジェクタ用の画像を出力する。
【００５２】
補間部１０では、パラメータ記憶部１２から各プロジェクタの回転、シフト、あおりのパラメータを読み出し、表示画像選択部９の各出力画像がスクリーン上で正確な投影像が結ぶように変形・補間して出力する。さらに、係数設定部１１は、パラメータ記憶部１２から各プロジェクタの投影画像のオーバーラップ・パラメータを読み出し、スムーズに接合されるように先に図３（ｆ）に示した係数を設定する。この係数は、補間部１０の出力画像に乗じられ、最終画像としてＤ／Ａ変換部６を通って各プロジェクタに出力される。
【００５３】
図６は図３に加えて左右のプロジェクタにあおりがある場合、画像分割・処理部４で投影画像を決定する過程を示したものである。
【００５４】
この例では、右の画像には横方向にあおりが生じ、左の画像には右上方斜めにあおりが生じている。この状態で図３（ｃ）と同じ画像を投影すると、図６（ａ）のように原画像とは異なり、歪んだために両方の投影がずれた画像が観察されるてしまう。そこで、かかる問題を解決すべく、パラメータ記憶部１２に記憶したあおりパラメータによって変換し、図６（ｂ）のような画像を投影する。これにより、図６（ｃ）のようにスクリーン上で原画像に忠実な高精細画像が得られる。
【００５５】
尚、本実施の形態では、アナログ信号でプロジェクタにデータを送るとして説明しているが、プロジェクタにデジタル信号の入力端子がある場合はデジタルデータで出力することが可能で、Ｄ／Ａ変換部が不要であることは勿論である。
【００５６】
次に本発明の第２実施の形態に係る画像投影システムを説明する。この第２の実施の形態は、第１実施の形態にプロジェクタの配置を決定するパラメータを算出する部分を更に付加したものである。
【００５７】
図７は第２の実施の形態に係る画像投影システムの構成を示す図である。
【００５８】
同図に示されるように、本実施の形態は大きくコントローラ部２１、プロジェクタ２８、デジタルカメラ２９からなる。上記デジタルカメラ２９は、実際にプレゼンテーション等を見る人の位置近くに配置され、投影像３０を撮影できるようになっている。設定の際には、画像切替部２６を切り替えて、基準画像生成部２５で生成した基準画像を投影する。
【００５９】
この投影された基準画像はデジタルカメラ２９で撮影され、その画像はコントローラ部２１のプロジェクタ配置パラメータ算出部２４に入力された後、プロジェクタの配置を決定するパラメータ（ｄ，θ，φ，ω）が算出される。
【００６０】
こうして算出されたパラメータはプロジェクタ配置記憶部２３に記憶され、必要なときに画像処理・分割部２２に読み出される。画像処理・分割部２２は、読み出されたパラメータを用いて、プロジェクタ２８にＤ／Ａ変換部２７を通して出力する画像を作成する。尚、ここでは基準画像をセッティングの際に生成することしているが、基準画像生成部２５を基準画像記憶部として構成しても良いことは勿論である。
【００６１】
図８には上記パラメータ算出部２４の詳細な構成を示し説明する。
【００６２】
同図において、パラメータ算出部２４は、あおり量算出部３０、オーバーラップ・回転量算出部３１、あおり補正部３２、画像メモリ部３３からなる。
【００６３】
このような構成において、デジタルカメラ２９で撮影された画像は、画像メモリ部３３で一時的に記憶され、必要なときに読み出されて、あおり量算出部３０で基準画像と比較され、あおりパラメータが決定される。あおりパラメータはパラメータ記憶部に出力されると共に、あおり補正部３２に入力される。
【００６４】
あおり補正部３２では、あおりパラメータに基づいてデジタルカメラ２９で撮影された画像をあおりが補正された投影像を撮影した画像に補正する。オーバーラップ・回転量算出部３１では、この画像から各プロジェクタの投影像同士の回転・オーバーラップを算出し、パラメータ記憶部２３に出力する。
【００６５】
パラメータを算出するためにデジタルカメラ２９で撮影する際に投影される投影像３０は、例えば一定間隔に輝点や十字を並べたもの、格子模様等既知の画像で上記パラメータが正確に求められるものであればその形態は問わない。
【００６６】
このとき、複数のプロジェクタ２８で順番に参照画像を投影して１台毎にパラメータを決定する方法や、投影する画像の色をそれぞれのプロジェクタ用に変えて投影し、デジタルカメラ２９で取り込んだ画像から色を指定して各プロジェクタのパラメータを決定することもできる。
【００６７】
以下、図９を参照して、第２の実施の形態において、角度を変えた直線を複数回に別けて表示することでパラメータを算出する手法を説明する。
【００６８】
プロジェクタ２８に画像中心を通り長さＬの線分を水平からの角度αm を変えてｍ＝０，１，２，...と表示したとき（図９（ａ）参照）、撮影した画像上の線分が長さＬ'm 、角度α'm で観測されたとする。ここで、α'm は撮影した画像中で水平からの角度、Ｌ'm は中心から端点までの距離Ｌ1m，Ｌ2mに分ける（Ｌ'm ＝Ｌ1m＋Ｌ2m）。このとき、画像の回転角ωは以下の（５）式で表される。
【００６９】
ω＝α'm −αm （５）
また、ここでは線分２がＬ'm のうち最大になったとすると、あおりの生じる方向θは次式で示される。
【００７０】
θ＝α2 （６）
さらに、線分２と直交する方向をｋとして、Ｌ1m，Ｌ2mを（Ｌ／Ｌ'k ）で規格化する。
【００７１】
１1m＝Ｌ1m *（Ｌ／Ｌ'k ）
１2m＝Ｌ1m *（Ｌ／Ｌ'k ）（７）
これらからパラメータφ，ｄは以下の（８）式で求められる。
【００７２】
【数２】

【００７３】
次に図１０を参照して、パラメータを算出する際に投影される投影像３０の例として格子点の場合を説明する。
【００７４】
同図に於いて、点線で囲まれた領域はプロジェクタの投影像、実線で囲まれた部分がデジタルカメラ２９の撮影範囲をそれぞれ示す。また、左右の投影像が一部オーバーラップし、左の画像は上下方向にあおりが生じている。
【００７５】
先ず、デジタルカメラで撮影された画像１０１から、２値化、パターンマッチング等の方法で左右の格子点に対応する位置を算出する。
【００７６】
また、片方の投影像内（図１０では左投影像）で、デジタルカメラの画像上での位置と間隔ｄ1 ，ｄ2 ・・・の比と実際にプロジェクタに入力される画像データ上での格子点位置・間隔ｗ［pixel ］から、上記（２）式の各パラメータを求め、あおりを補正することができる。
【００７７】
また、格子点は、プロジェクタに入力された時の位置は既知であるので、デジタルカメラの画像１０１上のシフト量ｓからスクリーン上での両投影像の位置関係が計算できる。
【００７８】
この図１０では、両プロジェクタのオーバーラップ付近をデジタルカメラで撮影するように説明しているが、解像度が十分であれば全体を撮影するようにしても良い。また、カメラの制御部も組み込み、始め全体を撮影した画像で大雑把な計算をし、次にある部分を拡大して撮影した画像で正確にパラメータを決定することもできる。更に、投影する画像を少しづつ変形し、その投影像を撮影した画像が理想的な撮影画像に近付く様にフィードバックをかける逐次的な方法（例えば最急降下法）を用いることもできる。
【００７９】
また、上記あおりが大きくなった場合にはピントはずれの影響が大きくなるが、その場合には、あおり補正レンズと呼ばれる光学系を投射レンズに組み込むことで回避することができる。
【００８０】
次に図１１にはパラメータ算出部２４の他の構成を示し説明する。
【００８１】
これは、デジタルカメラの画像の歪みを補正する歪み補正部３５を新たに加えたものである。その他の構成は図８と同様であるため、説明を省略する。
【００８２】
一般に、カメラレンズはスペースバリアントな歪みが生じることが多い。
【００８３】
ところが、本発明のシステムでは投影像を撮影した画像からパラメータを決定するため、上記歪みが存在するのは望ましくない。そこで、パラメータ算出に用いる前に画像の歪みを補正することで、正確にパラメータを算出することができる。歪みの補正は、デジタルカメラがレンズの焦点位置を記録するようなフォーマットになっていれば容易に実現できる。
【００８４】
この第２の実施例では、投影画像を撮影した画像データを、デジタルカメラ２９から直接プロジェクタ配置パラメータ算出部２４に入力しているが、フロッピーディスク、ＰＣカードなどの媒体を用いてオフラインにプロジェクタ配置パラメータ算出部２４へ入力することも可能である。
【００８５】
また、投影画像を撮影するのにデジタルカメラを用いて説明したが、一般のＣＣＤカメラ、ビデオカメラ等でも画像入力ボードやＡ／Ｄ変換部を設けることで、本発明のシステムは実現される。
【００８６】
次に第３の実施の形態に係る画像投影システムを説明する。
【００８７】
図１２には先端に高輝度ＬＥＤを設けた差し棒で頂点、格子点などスクリーン上における投影画像の特徴点をポインティングして撮像する例を示し説明する。
【００８８】
この例では、投影像に比べてポインティングした点は非常に明るくできる為、デジタルカメラの撮影画像から特徴点の抽出が容易になる。また、高輝度ＬＥＤの代わりにレーザーポインタでポインティングしてもよい。
【００８９】
図１３は、プロジェクタ内にポインティングデバイスを設けた例を示して説明する。同図に示されるように、画像はＬＣＰ４３上に表示され、光源４２からの光がＬＣＰ４３、光学系４４、投射レンズ４５を通してスクリーン５０に投影される。半導体レーザ（ＬＤ）４６から出たレーザ光線（図では点線で示す）はミラー４８，４９で反射されスクリーン上に投影される。
【００９０】
上記ミラー４９は可倒式であり、投影状態を決定する為にポインティングする場合は図のように光軸上に置き、画像を投影する場合は倒して光軸上から除く。処理制御部４７は画像表示のためにＬＣＰ４３を制御すると共に、ミラー４８の角度を調整し、特徴点位置にレーザの輝点を投影する。
【００９１】
ポインティングデバイスをプロジェクタ内に置くことで、特徴点を正確かつ自動的に指定することができる。また、ミラー４９を可倒式にすることで光源４２、ＬＤ４６からの光の利用効率を上げることができる。
【００９２】
なお、ここでは、レーザ光線がＬＣＰ４３を通ってスクリーンに投影するように説明しているが、ＬＣＰ４３よりスクリーン側にミラー４９を設けても良いことは勿論である。さらに、デジタルカメラ２９の撮影画像データをパソコンで表示しながらマウス等を用いて指示するなども可能であり、正確に指定できれば特徴点の抽出方法は問わない。
【００９３】
図１４はスクリーン上に微小な光センサを多数配置することで投影状態を決定する例である。同図に於いては、投影画像のかかるセンサを黒丸で、かからないセンサを白丸で示している。このように、光の照射されているセンサを検出することでスクリーン上への投影状態が分かる。重要なのはパラメータが正確にできるようなパラメータが算出されることであり、上記以外の方法でも本発明のシステムは構成できることは勿論である。
【００９４】
次に第４の実施の形態に係る画像投影システムを説明する。
【００９５】
第４の実施例は、複数のプロジェクタを用いた高輝度・多階調プロジェクタである。以下、図１５を参照して本実施例を説明する。
【００９６】
同図に於いて、複数のプロジェクタ５１の画像を正確に重ねて投影画像５２を投影する。このとき、両方のプロジェクタから全く同じ画像を出力すれば、スクリーン上では１台で投影する場合の２倍の輝度で観測されるので、本発明のシステムは高輝度なプロジェクタとして機能する。
【００９７】
また、一般に画像データは各色０から２５５までの２５６階調で表現されるが、本発明のシステムではＮ台のプロジェクタを用いて２５５×Ｎ＋１階調の画像を表現できる。例えば二台のプロジェクタを使用した場合、１１４の値のデータはそれぞれのプロジェクタに５７，５７を入力し、データ値３１７は１５９，１５８を入力するといったようにすれば、最大５１０階調（両プロジェクタに２５５を入力）のデータを考慮できる。
【００９８】
本発明は第２の実施の形態にある通り、見る人の視点で投影画像を撮影した画像データから自動的に位置合わせしてプロジェクタに補正画像が出力されるので、本実施例のシステムが非常に簡単に実現される。
【００９９】
また、各プロジェクタの出力画像に視差を付けることで立体画像の表示も可能である。本発明のシステムではプロジェクタの解像度が全て生かせるので、従来に比べ高解像度な立体画像を表示できる。
【０１００】
次に第５の実施の形態に係る画像投影システムを説明する。
【０１０１】
上記各実施例では平面上のスクリーンを想定したが、本実施の形態のように、図１６に示される円球状のスクリーンを用いても本発明は有効である。
【０１０２】
即ち、図１６（ａ）は多人数を対象にした投影システムである。このようなシステムは視界の広い範囲に映像を表示できるため、高い臨場感を得ることができる。本発明を利用して、このような投影システムを非常に簡単にセッティングすることができる。
【０１０３】
また、図１６（ｂ）に示されるように、個人用の投影装置への応用も考えられる。個人用として、ＨＭＤ（Head Mounted Display）と呼ばれる装置を装着して高い臨場感のディスプレイを実現する例があるが、本例はＨＭＤとは異なり特殊な装置を装着する必要がないので圧迫感等が無く楽に見ることができる。更に、至近距離でディスプレイを見る必要が無く目への負担が小さい、ＨＭＤより高解像度の画像が得られる等の効果がある。
【０１０４】
プロジェクタの設置は図１６（ｃ），（ｄ）のように観客の下から投影しても良く、上下から投影することもできる。また、図１６（ｅ）のようにリアプロジェクション型のディスプレイも可能である。
【０１０５】
この第５の実施の形態に係る画像投影システムは、見る人の視点で投影状態を補正できる為、平面形状以外のスクリーンへの投影も簡単にセッティングできる点が特徴である。
【０１０６】
次に第６の実施の形態に係る画像投影システムを説明する。
【０１０７】
図１７は各プロジェクタへの出力画像を記憶する記憶媒体を組み合わせた例である。同図に示されるように、コントローラ部６１は画像処理・分割部６２、プロジェクタ配置記憶部６３、プロジェクタ配置パラメータ算出部６４、Ｄ／Ａ変換部６５に出力画像記憶部６６を加えて構成される。
【０１０８】
このような構成において、画像処理・分割部６２で作成された各プロジェクタへの出力画像は一旦出力画像記憶部６６に記憶される。プロジェクタに出力する際は、出力画像記憶部６６から順次読み出される。
【０１０９】
この出力画像記憶部６６はコントローラ部６１の外部に設けても良い。これらの記憶媒体は、ＨＤＤ（Hard Disk Drive ），ＣＤ−ＲＯＭ，ＤＶＤ（DigitalVideo Disc）等で構成することができる。この第６の実施の形態に係る画像投影システムは、何回も同じ画像を使用する場合に有効である。
【０１１０】
次に第７の実施の形態に係る画像投影システムを説明する。図１８に示されるようにソフトウェアで処理することも可能である。同図に於いて、ＣＰＵ７５は、ハードディスク等記憶媒体に記憶された画像処理・分割ソフトウェア７２、プロジェクタ配置パラメータ７３を読み込み画像・原稿データ７１を補正・分割し、投影データ７７ａ，７７ｂ・・・を作成する。
【０１１１】
こうして作成された投影データ７７は画像入出力ボード７６を通してプロジェクタ７９ａ，７９ｂ・・・に出力される。また、ビデオカメラ８０で投影画像を撮影したプロジェクタ配置決定用画像データ７８とプロジェクタ配置パラメータ算出ソフトウェア７４を読み込んでプロジェクタ配置パラメータを計算し、記憶媒体に記憶する。この第７の実施の形態に係る画像投影システムは、ハードウェアの場合に比べて安価に実現でき、動画を必要としない場合や予め画像を用意できる場合に有効である。
【０１１２】
次に第８の実施の形態に係る画像投影システムを説明する。
【０１１３】
先に第５の実施の形態で、リアプロジェクションタイプのディスプレイの例を示したが、本実施の形態は、小さなプロジェクタ（マイクロプロジェクタ）を多数並べて高精細かつ薄型のディスプレイを実現するものである。
【０１１４】
図１９は本システムを薄型ディスプレイに応用した実施の形態を説明する図である。同図の構成のうち、画像分割・処理部９１、パラメータ記憶部９２、パラメータ算出部９３、基準画像生成部９４、画像切替部９５は上記実施例と同じである。また、観客に視点付近で投影像を撮影した画像はパラメータ算出部９３に入力される。この例では、スクリーン９７に後ろから投影するリアプロジェクションタイプのディスプレイを想定している。
【０１１５】
第８の実施の形態の特徴は、前記実施例で用いたプロジェクタより非常に小型のマイクロプロジェクタ９６を用い、各プロジェクタの投影範囲は限定されるが多数並べることで大型のディスプレイを構成することにある。
【０１１６】
また、ディスプレイ本体は小型であるため、各光源はあまり高出力のものを必要としない。そのため、奥行きは小さいが、多数のディスプレイを並べているため、従来に比べて非常に高精細な画像を見ることができる。
【０１１７】
図２０はマイクロプロジェクタ９６を赤、緑、青色の３原色のレーザーで構成した例である。メモリ１０６の画像に応じてドライバ１０５がミラー１０４ａ乃至１０４ｃの角度と各レーザー１０１乃至１０３の出力強度を調整し、所望の方向をスキャンする。ミラーの角度は、ミラーの中央部をフレキシブルな支柱に固定し、２方向から電磁石で変化させることができる。
【０１１８】
この図２０では、一色を１枚のミラーで受け持たせているが、各色２枚のミラーで、それぞれｘ方向、ｙ方向のスキャンを制御することもできる。最近赤色に続き、緑、青色の半導体レーザーも実用化されるようになってきているので、これらの半導体レーザーを用いた非常に小型のスキャン型プロジェクタを出力装置とすれば、画面サイズに比べて奥行きの短いディスプレイが実現できる。
【０１１９】
また、マイクロプロジェクタはＬＥＤアレイや、Digital Micromirror Device（ＤＭＤ）と呼ばれる素子を用いて構成することも可能である。
【０１２０】
次に第９の実施の形態に係る画像投影システムを説明する。
【０１２１】
画像の補正はプロジェクタの前に調整用の光学系を用いることも可能である。
【０１２２】
以下、図２２を参照して第９の実施の形態を説明する。
【０１２３】
同図に於いて、コントローラ部１２１は、画像分割・処理部１２２、パラメータ記憶部１２３、パラメータ算出部１２４、画像切替部１２６、Ｄ／Ａ変換部１２７からなり、デジタルカメラ１２５で投影像を撮影した画像から正確な投影に必要なパラメータを算出するのは前記の各実施例と同様である。
【０１２４】
第９の実施の形態では、それに加えて調整光学系１２８、調整光学系コントロール部１２９が新たに加えられている。調整光学系コントロール部１２９は、スクリーン上に正確な投影像を結ぶように、パラメータ記憶部に記憶されたパラメータを元にしてプロジェクタのレンズ前面に新たに設けられた調整光学系を駆動する。調整光学系１２８は正の屈折力を持つレンズ群と負の屈折力を持つレンズ群からなり、シフト、チルトの機構があれば本システムに必要な画像のシフト、あおり、ピント外れを調整可能である。
【０１２５】
ここで、図２１には一例として画像シフト調整例を示す。
【０１２６】
始め網掛けをした位置にレンズがあり、光軸上にＬＣＤ面があると、スクリーン上では１１３の位置に投影像を結ぶ。この状態からレンズを上方にシフトさせると、スクリーン上の１１４の位置に投影像ができる。また、図には示さないが、あおり、ピント外れはチルトや２つのレンズ群間隔の調整で補正できる。
【０１２７】
この第９の実施の形態では、光学系のみで補正するように説明したが、画像分割・処理部での補正処理と組み合わせることも可能である。
【０１２８】
以上の実施の形態の説明では述べなかったが、ＬＣＤの代わりにＣＲＴを使ったプロジェクタにも応用できる。
【０１２９】
以上説明した実施の形態は以下の効果を得る。
【０１３０】
即ち、第１に本システムでは、高精細画像データを複数のプロジェクタに分割して投影することで、プロジェクタに用いられている液晶パネルより高解像度な原稿・画像を表示することができる。第２に高精細画像データを複数のプロジェクタに分割して投影することは、予め記憶した投影状態を基に各プロジェクタへの出力画像を作成するため、調整後の投影は自動的に行うことができる。第３に各プロジェクタで投影する画像としてあおり等を補正した画像を出力するため、原画像に忠実な投影画像が得られる。
【０１３１】
第４に複数のプロジェクタの投影画像を観客の視点位置付近に置いた撮像装置で撮影し、得られた画像データから自動的にプロジェクタ同士の位置関係や投影画像の変形を補正するパラメータを算出することができる。そのため、複数のプロジェクタを用いた高精細プロジェクタを非常に簡単にセッティングすることができる。第５に高輝度ＬＥＤ、レーザーポインタ等画像データより十分高い輝度をもつポインティングデバイスで投影画像の特徴点を指示した画像を取り込むことで、プロジェクタ配置パラメータの算出が容易になる。
【０１３２】
第６にプロジェクタ内にポインティングデバイスを設けることで、投影画像上の特徴点を正確かつ自動的に指定することが出来る。第７に複数のプロジェクタの投影画像を正確に重ねることが容易にできるので、高輝度プロジェクタ又は多階調プロジェクタとして利用できる。第８に本発明のシステムは、見る人の視点で投影像を評価できるため、平面以外の形状をしたスクリーンへ投影するセッティングも容易に行える。第９に透過型のスクリーンを持ち、投影装置として半導体レーザーを用いたスキャン型のプロジェクタを用いることで、非常に薄型なディスプレイを、非常に簡単なセッティングで実現できる。
【０１３３】
第１０に一旦作成した各プロジェクタへの出力画像を記憶する出力画像記憶部を備えることで、複数回にわたって利用する場合、そのたびに計算し直す必要がない。第１１に画像投影手段に調整光学系を組み込むことで、投影像のピント外れを含めて各プロジェクタからの投影像を、正確にスクリーン上で合成することが可能になる。
【０１３４】
尚、本発明の要旨をまとめると以下の通りである。
【０１３５】
（１）高精細画像データを生成する画像生成手段と、
前記高精細画像データの少なくとも一部を投影する複数のプロジェクタを含む画像投影手段と、
前記複数のプロジェクタへ前記高精細画像データの少なくとも一部を選択・処理して出力するための画像処理手段と、
からなることを特徴とする画像投影システム。
【０１３６】
この態様は第１実施の形態に対応する。
【０１３７】
このシステムによれば、本発明のシステムでは、高精細画像データを複数のプロジェクタに分割して投影することで、プロジェクタに用いられている液晶パネルＣＲＴより高解像度な原稿・画像を表示することができる。さらに、高精細画像データを複数のプロジェクタに分割して投影することは、予め記憶した投影状態を基に各プロジェクタへの出力画像を作成するため、調整後の投影は自動的に行うことができる。
【０１３８】
（２）前記画像処理手段は、
前記複数のプロジェクタによって歪みのない画像を投影するための処理に必要なパラメータを記憶するパラメータ記憶手段と、
前記パラメータに基づいて前記画像データを分割・処理し前記複数のプロジェクタへ出力する画像分割・処理手段と、
からなることを特徴とする上記（１）に記載の画像投影システム。
【０１３９】
この態様は第１の実施の形態に対応する。
【０１４０】
このシステムによれば、本発明のシステムでは、高精細画像データを複数のプロジェクタに分割して投影することで、プロジェクタに用いられている液晶パネルＣＲＴより高解像度な原稿・画像を表示することができる。さらに、高精細画像データを複数のプロジェクタに分割して投影することは、予め記憶した投影状態を基に各プロジェクタへの出力画像を作成するため、調整後の投影は自動的に行うことができる。
【０１４１】
（３）前記画像投影手段が投影したスクリーン上の投影画像を観客の視点近傍で撮影する撮像手段と、
投影画像を前記撮像手段で撮影した画像データから前記プロジェクタのスクリーンに対する配置情報であるところの配置パラメータを算出するパラメータ算出手段と、
を更に備えたことを特徴とする上記（１）又は（２）に記載の画像投影システム。
【０１４２】
この態様は第２の実施の形態に対応する。
【０１４３】
このシステムによれば、各プロジェクタで投影する画像としてあおり等を補正した画像を出力するため、原画像に忠実な投影画像が得られる。さらに、複数のプロジェクタの投影画像を観客の視点位置付近に置いた撮像装置で撮影し、得られた画像データから自動的にプロジェクタ同士の位置関係や投影画像の変形を補正するパラメータを算出することができる。そのため、複数のプロジェクタを用いた高精細プロジェクタを非常に簡単にセッティングすることができる。
【０１４４】
（４）前記プロジェクタ配置パラメータは、前記複数のプロジェクタのうち１台もしくはそれ以上から投影された既知のパターンを前記撮像装置で撮影した画像データから算出されることを特徴とする上記（３）に記載の画像投影システム。
【０１４５】
この態様は第２の実施の形態に対応する。
【０１４６】
このシステムによれば、各プロジェクタで投影する画像としてあおり等を補正した画像を出力するため、原画像に忠実な投影画像が得られる。さらに、複数のプロジェクタの投影画像を観客の視点位置付近に置いた撮像装置で撮影し、得られた画像データから自動的にプロジェクタ同士の位置関係や投影画像の変形を補正するパラメータを算出することができる。そのため、複数のプロジェクタを用いた高精細プロジェクタを非常に簡単にセッティングすることができる。
【０１４７】
（５）前記プロジェクタ配置パラメータは、スクリーン上で特徴点をポインティングされた画像を前記撮像装置で撮影した画像データから算出されることを特徴とする上記（３）に記載の画像投影システム。
【０１４８】
この態様は第３の実施の形態に対応する。
【０１４９】
このシステムによれば、高輝度ＬＥＤ、レーザーポインタ等画像データより十分高い輝度をもつポインティングデバイスで投影画像の特徴点を指示した画像を取り込むことで、プロジェクタ配置パラメータの算出が容易になる。さらに、プロジェクタ内にポインティングデバイスを設けることで、投影画像上の特徴点を正確かつ自動的に指定することが出来る。
【０１５０】
（６）前記プロジェクタ配置パラメータは、スクリーン上に配置した光センサによって算出されることを特徴とする上記（３）に記載の画像投影システム。
【０１５１】
この態様は第３の実施の形態に対応する。
【０１５２】
このシステムによれば、スクリーン上の光センサで投影像を感知することで投影画像上の特徴点を正確かつ自動的に指定することが出来る。
【０１５３】
（７）前記複数のプロジェクタの投影画像は、前記画像データ中の空間的に全く同一な部分をスクリーンの同一の場所に投影することを特徴とする上記（２）又は（３）に記載の画像投影システム。この態様は第４の実施の形態に対応する。
【０１５４】
このシステムは、複数のプロジェクタの投影画像を正確に重ねることが容易にできるので、高輝度プロジェクタ又は多階調プロジェクタとして利用することができる。
【０１５５】
（８）前記複数のプロジェクタの投影画像は、平面以外の形状をしたスクリーンに投影されることを特徴とする上記（２）又は（３）に記載の画像投影システム。この態様は第８の実施の形態に対応する。
【０１５６】
本システムは、見る人の視点で投影像を評価できるため、平面以外の形状をしたスクリーンへ投影するセッティングも容易に行える。
【０１５７】
（９）前記複数のプロジェクタの投影画像は、透過型のスクリーンに投影することを特徴とする上記（２）又は（３）に記載の画像投影システム。
【０１５８】
この態様は第５の実施の形態に対応する。
【０１５９】
本システムは、見る人の視点で投影像を評価できるため、反射型以外の形状をしたスクリーンへ投影するセッティングも容易に行える。
【０１６０】
（１０）画像処理・分割部で作成された前記複数のプロジェクタへの出力画像を記憶する出力画像記憶部をさらに備えたことを特徴とする特許請求項２又は３に記載の画像投影システム。
【０１６１】
この態様は第６の実施の形態に対応する。
【０１６２】
このシステムによれば、一旦作成した各プロジェクタへの出力画像を記憶する出力画像記憶部を備えることで、複数回にわたって利用する場合、そのたびに計算し直す必要がない。
【０１６３】
（１１）前記画像投影手段は、前記複数のプロジェクタの投影状態を調整しスクリーン上で各プロジェクタの投影像を正確に合成する働きを持つ調整光学系と、前記調整光学系をコントロールする調整光学系コントロール部と、を更に含むことを特徴とする上記（２）又は（３）に記載の画像投影システム。
【０１６４】
この態様は第９の実施の形態に対応する。
【０１６５】
このシステムによれば、画像投影手段に調整光学系を組み込むことで、投影像のピント外れを含めて各プロジェクタからの投影像を、正確にスクリーン上で合成することが可能になる。
【０１６６】
【発明の効果】
本発明によれば、パーソナルコンピュータと複数のプロジェクタ、高精細な入力画像を分割して各プロジェクタに画像信号を出力するコントローラ部を組み合わせ、入力データの解像度を生かした高精細な投影画像を得る画像投影システムを提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る画像投影システムの構成を示す図である。
【図２】液晶プロジェクタ７とスクリーン８が正対していない場合に、投影画像全体を等倍率で正確なものとする手法を説明するための図である。
【図３】原画像と各プロジェクタへの出力画像の関係を示す図である。
【図４】あおり補正画像生成の手法を示す図である。
【図５】画像処理・分割部４の詳細な構成を示す図である。
【図６】左右のプロジェクタの画像にあおりがある場合、画像分割・処理部４で投影画像を決定する過程を示す図である。
【図７】第２の実施の形態に係る画像投影システムの構成を示す図である。
【図８】パラメータ算出部２４の詳細な構成を示す図である。
【図９】第２の実施の形態において、角度を変えた直線を複数回に別けて表示することでパラメータを算出する手法を説明するための図である。
【図１０】パラメータを算出する際に投影される投影像３０の例として格子点の場合を説明するための図である。
【図１１】パラメータ算出部２４の他の構成を示す図である。
【図１２】第３の実施の形態において、先端に高輝度ＬＥＤを設けた差し棒で頂点、格子点などスクリーン上における投影画像の特徴点をポインティングして撮像する例を示す図である。
【図１３】第３の実施の形態において、プロジェクタ内にポインティングデバイスを設けた例を示す図である。
【図１４】第３の実施の形態において、スクリーン上に微小な光センサを多数配置することで投影状態を決定する例である。
【図１５】第４の実施の形態に係る画像投影システムを説明するための図である。
【図１６】第５の実施の形態に係る画像投影システムを説明するための図である。
【図１７】第６の実施の形態において、各プロジェクタへの出力画像を記憶する記憶媒体を組み合わせた例を示す図である。
【図１８】第７の実施の形態に係る画像投影システムを説明するための図である。
【図１９】第８の実施の形態にかかるシステムを薄型ディスプレイに応用した実施の形態を説明する図である。
【図２０】マイクロプロジェクタ９６を赤、緑、青色の３原色のレーザーで構成した例を示す図である。
【図２１】第９の実施の形態による画像シフト調整例を説明するための図である。
【図２２】第９の実施の形態に係る画像投影システムの構成を示す図である。
【図２３】従来技術に係る画像投影システムの構成を示す図である。
【符号の説明】
１パーソナルコンピュータ
２高精細画像データ
３プロジェクタ・コントローラ
４画像処理分割部
５プロジェクタ配置記憶部
６Ｄ／Ａ変換部
７液晶プロジェクタ
８スクリーン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image projection system that realizes projection of a high-definition image by combining images of a plurality of projectors on a screen.
[0002]
[Prior art]
Conventionally, overhead projectors (OHP) and slides have been used in presentations for large groups.
[0003]
On the other hand, with the recent spread of personal computers and enhancement of application software, presentation systems combining personal computers and projection displays (hereinafter referred to as projectors) have come to be adopted. The feature of this system is that it saves the trouble of printing images and originals created on a personal computer on an OHP sheet or shooting them on a slide film. In particular, in the case of natural images, the colors seen at the creation stage can be obtained as they are. It is to be done. In such a projector, a projector using a liquid crystal panel that is lighter and less complicated to install than a conventional CRT display (Cathode Ray Tube dislay monitor) is mainly used.
[0004]
Here, FIG. 23 shows an example of a presentation system in which a personal computer and a liquid crystal projector are combined.
[0005]
In the figure, image / document data created on the personal computer 201 is branched from the monitor output and output to the processing control unit 206 of the liquid crystal projector 202. The processing control unit 206 of the liquid crystal projector 202 processes the input data and outputs it to the liquid crystal panel (LCP) 204. On the liquid crystal panel 204, an image corresponding to the input image data is displayed. The light from the light source 203 is projected on the screen 208 via the projection lens 207 after the amount of transmission is determined by the gradation of the image displayed on the liquid crystal panel 204.
[0006]
[Problems to be solved by the invention]
However, the resolution of the image projected by the liquid crystal projector is determined by the number of pixels of the liquid crystal panel. Currently, there are projectors that can input an image signal exceeding the resolution of the liquid crystal panel, but the original image data is thinned out to match the number of pixels of the liquid crystal panel, so the resolution of the original image is not utilized.
[0007]
Furthermore, although there is a projector that displays a part of an original image and projects the whole by scrolling, there is a disadvantage that the whole cannot be seen at a time. In order to solve such a problem, the number of pixels of the liquid crystal panel must be increased when obtaining a higher-definition projection image, but such a high-definition liquid crystal projector becomes very expensive. It is not suitable for general use.
[0008]
In addition, when a high-resolution liquid crystal panel is used, the load on the processing control unit also increases. Furthermore, there is a drawback that the area of the control part on the panel is widened, and as a result, the utilization efficiency of the light source light is reduced and the projected image becomes dark.
[0009]
In addition, in order to project an accurate image, it is necessary to install the projector body horizontally and to face the screen. The image may be rotated or a phenomenon such as “aori”, which is generally called, has occurred.
[0010]
Japanese Patent Laid-Open No. 2-306782 discloses a technique for inserting an image (inset image) prepared in advance into a part of a set photographed by a TV camera. In this technique, a tilt corresponding to the camera direction is artificially generated in the inset image (this conversion is referred to as primary perspective conversion) and inserted into the TV camera image. In this technique, the primary perspective transformation is expressed by the following expression (1), where the coordinates on the inset image are (x, y) and the coordinates in the image of the TV camera are (X, Y).
[0011]
X = m · (d · x + e · y + f) / (a · x + b · y + c)
Y = m · (g · x + h · y + i) / (a · x + b · y + c) (1)
However, when this technique is applied to the projection image of the projector, a means for detecting the projection direction of the projector is required, which does not consider the rotation of the image with respect to the conversion of the above formula (1). Problems arise.
[0012]
The present invention has been made in view of the above problems, and its object is to combine a personal computer and a plurality of projectors, a controller unit that divides a high-definition input image and outputs an image signal to each projector, The object is to obtain a high-definition projection image utilizing the resolution of input data.
[0013]
[Means for Solving the Problems]
  In order to achieve the above object, an image projection system according to a first aspect of the present invention is an image projection system in which one image is displayed on a screen by images projected by a plurality of projectors. As parameters necessary for processing for projecting an image, a first parameter for correcting distortion due to the positional relationship between the projector and the screen, and a second parameter describing the positional relationship between the projected images projected by the plurality of projectors on the screen. Parameter storage means for storing at least one of the parameters, and correction of distortion of the projected image for each projector based on the parameters stored in the parameter storage means, and images projected by a plurality of projectors can be smoothly displayed. Processing means for performing correction so as to be joined to An image output means for outputting the corrected image by the image processing means to the plurality of projectors,A reference image generating means for generating a reference image; an image pickup means for picking up the reference image projected near the viewpoint of the spectator and projected by the projector; a first parameter from the reference image data picked up by the image pickup means; Parameter calculating means for calculating at least one of the second parameters, the imaging means continuously images a reference image projected on the screen, and the reference image generating means includes a projector and The reference image is deformed based on the parameter calculated by the calculation means so that distortion due to the positional relationship with the screen and distortion due to the positional relationship between the projected images projected by the plurality of projectors on the screen are reduced, and the parameter storage is performed. The parameters stored by the means are sequentially written according to the changed first or second parameter. One in which was changed, itIt is characterized by.
  An image projection system according to a second aspect of the present invention is an image projection system that displays one image on a screen by images projected by a plurality of projectors, and performs processing for accurately projecting images by the plurality of projectors. As a necessary parameter, at least one of a first parameter that corrects distortion due to the positional relationship between the projector and the screen, and a second parameter that describes the positional relationship between the projected images projected by the plurality of projectors on the screen. A parameter storage unit that stores the image, and correction of distortion of the projection image for each projector based on the parameters stored in the parameter storage unit, and correction that smoothly projects the images projected by the plurality of projectors. Image processing means to perform and correction by the image processing means Image output means for outputting the obtained image to the plurality of projectors, reference image generation means for generating a reference image, imaging means for arranging the reference image projected by the projector, arranged near the viewpoint of the audience, Parameter calculating means for calculating at least one of the first parameter and the second parameter from the reference image data imaged by the imaging means, and the imaging means projects the entire image projected by the plurality of projectors. When imaging, the parameter calculation means calculates a rough second parameter based on the whole image data imaged by the imaging means, and enlarges the overlap portion of the whole images projected by the plurality of projectors. Then, when the imaging unit captures an image, the parameter calculation unit calculates the partial enlargement captured by the imaging unit. To accurately calculate the second parameter based on the image data, and wherein the.
  An image projection system according to a third aspect of the present invention is an image projection system that displays an image on a screen by images projected by a plurality of projectors, and performs processing for accurately projecting images by the plurality of projectors. As a necessary parameter, at least one of a first parameter that corrects distortion due to the positional relationship between the projector and the screen, and a second parameter that describes the positional relationship between the projected images projected by the plurality of projectors on the screen is selected. Based on the parameter storage means to be stored and the parameters stored in the parameter storage means, the distortion of the projection image for each projector is corrected, and correction is performed so that the images projected by the plurality of projectors are smoothly joined together. Corrected by the image processing means and the image processing means. Image output means for outputting the captured image to the plurality of projectors, reference image generation means for generating a reference image, imaging means for imaging the reference image projected by the projector, arranged near the viewpoint of the audience, The base imaged by the imaging means Parameter calculating means for calculating at least one of the first parameter and the second parameter from the quasi-image data, wherein the imaging means images a bright spot formed on the screen by a laser pointer. The parameter calculation means calculates at least one of the first and second parameters using the bright spot projected by the imaging means as a feature point.
  An image projection system according to a fourth aspect of the present invention is an image projection system that displays one image on a screen by images projected by a plurality of projectors, and performs processing for accurately projecting images by the plurality of projectors. As a necessary parameter, at least one of a first parameter that corrects distortion due to the positional relationship between the projector and the screen, and a second parameter that describes the positional relationship between the projected images projected by the plurality of projectors on the screen is selected. Based on the parameter storage means to be stored and the parameters stored in the parameter storage means, the distortion of the projection image for each projector is corrected, and correction is performed so that the images projected by the plurality of projectors are smoothly joined together. Corrected by the image processing means and the image processing means. Image output means for outputting the captured image to the plurality of projectors, reference image generation means for generating a reference image, imaging means for imaging the reference image projected by the projector, arranged near the viewpoint of the audience, Parameter calculating means for calculating at least one of the first parameter and the second parameter from the reference image data imaged by the imaging means, the imaging means being formed on the screen by a semiconductor light emitting element; Then, the parameter calculating means calculates at least one of the first and second parameters using the bright spot projected by the imaging means as a feature point.
  An image projection system according to a fifth aspect of the present invention is an image projection system that displays an image on a screen by images projected by a plurality of projectors, and performs processing for accurately projecting images by the plurality of projectors. As a necessary parameter, at least one of a first parameter that corrects distortion due to the positional relationship between the projector and the screen, and a second parameter that describes the positional relationship between the projected images projected by the plurality of projectors on the screen. A parameter storage unit that stores the image, and correction of distortion of the projection image for each projector based on the parameters stored in the parameter storage unit, and correction that smoothly projects the images projected by the plurality of projectors. Image processing means to perform and correction by the image processing means Image output means for outputting the obtained image to the plurality of projectors, reference image generation means for generating a reference image, imaging means for arranging the reference image projected by the projector, arranged near the viewpoint of the audience, Parameter calculating means for calculating at least one of the first parameter and the second parameter from the reference image data picked up by the image pickup means, and each of the projectors is a laser that projects a bright spot by a laser beam on the screen. Ray projection means, wherein the imaging means takes an image of the bright spot projected by the laser beam projection means, and the parameter calculation means uses the bright spot imaged by the imaging means as a feature point. At least one of the first parameter and the second parameter is calculated.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0030]
First, an image projection system according to a first embodiment of the present invention will be described.
[0031]
FIG. 1 is a diagram showing a configuration of an image projection system according to the first embodiment.
[0032]
As shown in the figure, the image projection system according to the present embodiment is roughly divided into a personal computer (hereinafter abbreviated as a personal computer) 1 that creates an image / original and outputs high-definition image data 2. The high-definition image data 2 from the personal computer 1 is processed / divided to output a high-definition projector / controller unit 3 and a plurality of projectors 7a to 7d.
[0033]
The high-definition projector / controller unit 3 further includes an image processing / dividing unit 4, a projector arrangement storage unit 5, and a D / A conversion unit 6. Furthermore, although not shown here, a control unit for controlling each function is also included.
[0034]
In such a configuration, the high-definition image data 2 created and output by the personal computer 1 is output to the image processing / dividing unit 4 of the controller unit 3. The image processing / dividing unit 4 determines which portion of the high-definition image data 2 is output to each projector based on parameters stored in the projector arrangement storage unit 5 in advance, and performs predetermined processing. Details of the parameters stored in the projector arrangement storage unit 5 and the function or operation of each component such as the image processing / dividing unit 4 will be described later.
[0035]
The signals of the image processing / dividing unit 4 are output to a plurality of D / A converting units 6, converted into analog signals by the D / A converting unit 6, and then images are displayed on the screen 8 by the projectors 7 a to 7 d. Projected on top. The projected image projected on the screen 8 in this way becomes a high-definition image in which each image is accurately aligned.
[0036]
Here, with reference to FIG. 2, a method for making the entire projected image accurate without distortion when the liquid crystal projector 7 and the screen 8 are not directly facing each other will be described.
[0037]
When the projector 7 and the screen 8 do not face each other, the magnification is different in each part of the projected image, resulting in an image with “tilt” as shown in FIG. How the image is projected on the screen 8 depends on the distance d between the projector 7 and the screen 8 along the optical axis of the projector 7, the rotation angle ω of the projector 7 when the optical axis is the rotation axis, The angle (the direction in which the tilt occurs) θ formed by the perpendicular line CS drawn from the reference point C to the screen 8 and the optical axis of the projector and the ZX plane (the direction in which the tilt occurs), the angle formed by the perpendicular line CS and the optical axis of the projector (Tilting angle) is determined by φ.
[0038]
Now, on the image input to the projector 7, the coordinates with the image center as the origin o are (x, y), and the point where the screen and the optical axis of the projector intersect as shown in FIG. When the coordinates of the X axis, the Y axis in the vertical direction, and the Z axis in the normal direction of the screen are (X, Y, 0), the relationship between (x, y) and (X, Y) is as follows: 2), (3), and (4).
[0039]
[Expression 1]

[0040]
In the above equation, T on the right side of the matrix indicates transposition, and m is a scaling factor determined by the distance d from the screen. R is a matrix representing rotation by θ, φ, and ω, and the coordinate C is the position of the reference point of the projector in the XYZ coordinate system.
[0041]
By calculating backward from these d, θ, φ, and ω, and generating and outputting an image in which the tilt is corrected in advance as shown in FIG. 2 (b), the entire projected image is accurate at the same magnification. Become. This will be described later. Although the description has been given here assuming that the projection state is determined from d, θ, φ, and ω, other parameter sets may be used as long as the projection state can be accurately described and corrected.
[0042]
FIG. 3 is a diagram showing the relationship between the original image and the output image to each projector.
[0043]
FIG. 3A shows a high-definition original image compared to the resolution of the projector, and this image is output to two projectors that project on the screen in a positional relationship as shown in FIG. 3B. In this case, as shown in FIG. 3C, when an image of a portion shifted downward from the image of the left projector is output to the right projector, the entire original image is displayed on the screen as shown in FIG. An image that is substantially the same as the image is projected.
[0044]
In addition, the overlapping part is, for example, specialOpenMatching is achieved by employing the image laminating technique disclosed in Japanese Patent Laid-Open No. 6-141246. By applying the processing technology for overlapping portions of a plurality of images and multiplying the value of the original image by a coefficient as shown in FIG. 3E and outputting it to the projector, the joint portions can be smoothly connected. .
[0045]
An example of joining in this manner is shown in FIG. In FIG. 3F, one line of two images (for example, a line connecting AB in FIG. 3) is indicated by a broken line. The solid line is the value of the projected image when each data value is multiplied by the coefficient shown in FIG. In FIG. 3B, it has been described that the projectors have the same magnification. However, if the magnifications are different, it can be dealt with by changing the size of the portion selected in FIG.
[0046]
The above method is also applicable to the case where two or more projectors are used. Furthermore, because the pixels of the liquid crystal panel are relatively coarse, the liquid crystal pixels are clearly projected onto the projected image, resulting in an image that is difficult to see, or the moiré phenomenon may occur in the overlap portion due to the difference in magnification between the projectors. These phenomena can be prevented by slightly defocusing the projected image and blurring the pixels. In FIG. 3, the coefficient multiplied by the overlap portion is linearly changed. However, if it can be smoothly joined, the coefficient may be changed nonlinearly, for example, as a sin function.
[0047]
FIG. 4 shows and describes a tilt correction image generation method.
[0048]
4A shows a projected image, and FIG. 4B shows image data input to the projector. An area Sq surrounded by q0, q1, q2, and q3 in FIG. 4B indicates the maximum image that can be input to the projector, and the projected image is an area surrounded by Q0, Q1, Q2, and Q3 in FIG. Corresponds to SQ.
[0049]
A region SP surrounded by P0, P1, P2, and P3 shaded in FIG. 4A is a region used for actual projection. In the projector input image, a region SP surrounded by P0, P1, P2, and P3. Corresponding to The reference point of SP is the point P0 where the angle between the two sides is the maximum, P1 and P3 are points where the horizontal and vertical straight lines intersect with each side of SQ, and P2 is a rectangle with the other three points. It is a point to make. Also, a region Sp surrounded by P0, P1, P2, and P3 in FIG. 4B is a portion corresponding to Sp in the image input to the projector.
[0050]
The pixel position (i, j) counted from the image center of the projector input image is converted into (Xi, Yj) by the above equation (2). Therefore, as the value of the pixel position (i, j), the value of the pixel corresponding to (Xi, Yj) in the original image selected for each projector is used as shown in FIG. At this time, if (Xi, Yj) is not an integer, a value is obtained by a known interpolation method such as linear interpolation or bicubic interpolation. If (Xi, Yj) goes out of SP after conversion, the pixel value is set to zero. Here, Sp is determined as described above, but Sp can be set at an arbitrary position and size within SQ.
[0051]
FIG. 5 shows and describes the detailed configuration of the image processing / dividing unit 4 that realizes the above conversion. In the figure, the image processing / dividing unit 4 further includes a display image selection unit 9, an interpolation unit 10, and a coefficient setting unit 11. As described with reference to FIG. 3, the display image selection unit 9 refers to the parameter storage unit 12 for determining a portion that can be projected by the present system in the original image, determines a portion to be projected by each projector, and determines a plurality of portions. The image for the projector is output.
[0052]
The interpolation unit 10 reads the rotation, shift, and tilt parameters of each projector from the parameter storage unit 12 and outputs the output images of the display image selection unit 9 by transforming and interpolating so that accurate projection images are connected on the screen. To do. Further, the coefficient setting unit 11 reads the overlap parameter of the projection image of each projector from the parameter storage unit 12, and sets the coefficient shown in FIG. This coefficient is multiplied by the output image of the interpolation unit 10 and is output to each projector through the D / A conversion unit 6 as a final image.
[0053]
FIG. 6 shows a process of determining a projected image by the image dividing / processing unit 4 when the left and right projectors have a tilt in addition to FIG.
[0054]
In this example, the right image has a horizontal sway, and the left image has a sway upward and diagonally to the right. When the same image as FIG. 3C is projected in this state, unlike the original image as shown in FIG. 6A, an image in which both projections are shifted due to distortion is observed. Therefore, in order to solve such a problem, conversion is performed by the tilt parameter stored in the parameter storage unit 12, and an image as shown in FIG. 6B is projected. Thereby, a high-definition image faithful to the original image is obtained on the screen as shown in FIG.
[0055]
In this embodiment, it is described that data is sent to the projector as an analog signal. However, if the projector has an input terminal for a digital signal, it can be output as digital data. Of course, it is unnecessary.
[0056]
Next, an image projection system according to a second embodiment of the present invention will be described. In the second embodiment, a part for calculating a parameter for determining the arrangement of the projectors is further added to the first embodiment.
[0057]
FIG. 7 is a diagram showing a configuration of an image projection system according to the second embodiment.
[0058]
As shown in the figure, the present embodiment mainly includes a controller unit 21, a projector 28, and a digital camera 29. The digital camera 29 is arranged near the position of a person who actually views a presentation or the like, and can capture a projection image 30. At the time of setting, the image switching unit 26 is switched to project the reference image generated by the reference image generating unit 25.
[0059]
The projected reference image is taken by the digital camera 29, and the image is input to the projector arrangement parameter calculation unit 24 of the controller unit 21, and then parameters (d, θ, φ, ω) for determining the arrangement of the projector are used. Calculated.
[0060]
The parameters thus calculated are stored in the projector arrangement storage unit 23 and read out to the image processing / division unit 22 when necessary. The image processing / dividing unit 22 creates an image to be output to the projector 28 through the D / A conversion unit 27 using the read parameters. Here, although the reference image is generated at the time of setting, it is needless to say that the reference image generation unit 25 may be configured as a reference image storage unit.
[0061]
FIG. 8 shows a detailed configuration of the parameter calculation unit 24 and will be described.
[0062]
In the figure, the parameter calculation unit 24 includes a tilt amount calculation unit 30, an overlap / rotation amount calculation unit 31, a tilt correction unit 32, and an image memory unit 33.
[0063]
In such a configuration, an image photographed by the digital camera 29 is temporarily stored in the image memory unit 33, read out when necessary, and compared with the reference image by the tilt amount calculation unit 30, and the tilt parameter. Is determined. The tilt parameter is output to the parameter storage unit and also input to the tilt correction unit 32.
[0064]
The tilt correction unit 32 corrects an image captured by the digital camera 29 based on the tilt parameter to an image obtained by capturing a projected image with corrected tilt. The overlap / rotation amount calculation unit 31 calculates the rotation / overlap between the projection images of the projectors from this image, and outputs them to the parameter storage unit 23.
[0065]
The projected image 30 projected when shooting with the digital camera 29 in order to calculate the parameters is, for example, a bright image or a cross arranged at regular intervals, or a known image such as a lattice pattern in which the above parameters are accurately obtained. If so, the form is not limited.
[0066]
At this time, a method of projecting reference images in order by a plurality of projectors 28 and determining parameters for each projector, or an image captured by changing the color of the projected image for each projector and captured by the digital camera 29 The parameters of each projector can also be determined by designating the color.
[0067]
Hereinafter, with reference to FIG. 9, a method of calculating parameters by displaying a straight line with a different angle divided into a plurality of times in the second embodiment will be described.
[0068]
When a line segment passing through the center of the image and having a length L is displayed as m = 0, 1, 2,... By changing the angle αm from the horizontal (see FIG. 9A), Is observed at a length L′ m and an angle α′m. Here, α′m is an angle from the horizontal in the photographed image, and L′ m is divided into distances L1m and L2m from the center to the end points (L′ m = L1m + L2m). At this time, the rotation angle ω of the image is expressed by the following equation (5).
[0069]
ω = α'm -αm (5)
Here, if the line segment 2 is the maximum of L′ m, the direction θ in which the tilt occurs is expressed by the following equation.
[0070]
θ = α2 (6)
Further, assuming that the direction orthogonal to the line segment 2 is k, L1m and L2m are normalized by (L / L′ k).
[0071]
11m = L1m * (L / L'k)
12m = L1m * (L / L'k) (7)
From these, the parameters φ and d are obtained by the following equation (8).
[0072]
[Expression 2]

[0073]
Next, with reference to FIG. 10, a case of a lattice point will be described as an example of the projection image 30 projected when calculating the parameters.
[0074]
In the drawing, a region surrounded by a dotted line indicates a projected image of the projector, and a portion surrounded by a solid line indicates a photographing range of the digital camera 29. Further, the left and right projected images partially overlap, and the left image has a vertical tilt.
[0075]
First, the positions corresponding to the left and right grid points are calculated from the image 101 taken by the digital camera by a method such as binarization and pattern matching.
[0076]
Further, within one projection image (left projection image in FIG. 10), the ratio of the position on the digital camera image and the distances d1, d2,... And the grid points on the image data actually input to the projector. From the position / interval w [pixel], each parameter of the above equation (2) is obtained, and the tilt can be corrected.
[0077]
Since the position of the grid point when it is input to the projector is known, the positional relationship between the two projected images on the screen can be calculated from the shift amount s on the image 101 of the digital camera.
[0078]
In FIG. 10, it is described that the vicinity of the overlap of both projectors is photographed with a digital camera. However, if the resolution is sufficient, the whole may be photographed. It is also possible to incorporate a camera control unit, perform rough calculations on the first image of the entire image, and then accurately determine the parameters based on the image of the next enlarged image. Further, it is possible to use a sequential method (for example, steepest descent method) in which an image to be projected is gradually changed and feedback is performed so that an image obtained by capturing the projected image approaches an ideal captured image.
[0079]
Further, when the tilt becomes large, the influence of defocusing becomes large, but in that case, it can be avoided by incorporating an optical system called a tilt correction lens in the projection lens.
[0080]
Next, FIG. 11 shows another configuration of the parameter calculation unit 24 and will be described.
[0081]
This is a new addition of a distortion correction unit 35 for correcting distortion of an image of a digital camera. Other configurations are the same as those in FIG.
[0082]
In general, a camera lens often has a space variant distortion.
[0083]
However, in the system of the present invention, since the parameter is determined from an image obtained by photographing the projection image, it is not desirable that the distortion exists. Therefore, the parameters can be accurately calculated by correcting the distortion of the image before being used for parameter calculation. Distortion correction can be easily realized if the digital camera has a format that records the focal position of the lens.
[0084]
In the second embodiment, the image data obtained by capturing the projection image is directly input from the digital camera 29 to the projector arrangement parameter calculation unit 24. However, the projector arrangement is offline using a medium such as a floppy disk or a PC card. It is also possible to input to the parameter calculation unit 24.
[0085]
Further, the digital camera is used to capture the projected image. However, the system of the present invention can be realized by providing an image input board and an A / D converter even with a general CCD camera, video camera, or the like.
[0086]
Next, an image projection system according to a third embodiment will be described.
[0087]
FIG. 12 illustrates an example in which a characteristic point of a projected image on the screen, such as a vertex and a lattice point, is pointed and imaged with a bar provided with a high brightness LED at the tip.
[0088]
In this example, since the point pointed compared with the projected image can be made very bright, the feature point can be easily extracted from the photographed image of the digital camera. Moreover, you may point with a laser pointer instead of high-intensity LED.
[0089]
FIG. 13 illustrates an example in which a pointing device is provided in the projector. As shown in the figure, the image is displayed on the LCP 43, and the light from the light source 42 is projected onto the screen 50 through the LCP 43, the optical system 44, and the projection lens 45. A laser beam (indicated by a dotted line in the figure) emitted from a semiconductor laser (LD) 46 is reflected by mirrors 48 and 49 and projected onto a screen.
[0090]
The mirror 49 is tiltable. When pointing to determine the projection state, the mirror 49 is placed on the optical axis as shown in the figure, and when projecting an image, it is tilted and removed from the optical axis. The processing control unit 47 controls the LCP 43 for image display, adjusts the angle of the mirror 48, and projects the bright spot of the laser at the feature point position.
[0091]
By placing the pointing device in the projector, the feature points can be specified accurately and automatically. Further, the use efficiency of light from the light source 42 and the LD 46 can be increased by making the mirror 49 tiltable.
[0092]
Here, the laser beam is described as being projected onto the screen through the LCP 43, but it is needless to say that the mirror 49 may be provided on the screen side from the LCP 43. Furthermore, it is possible to instruct the image data of the digital camera 29 using a mouse or the like while displaying it on a personal computer, and any feature point extraction method can be used as long as it can be specified accurately.
[0093]
FIG. 14 shows an example in which the projection state is determined by arranging a large number of minute optical sensors on the screen. In the figure, such a sensor of the projected image is indicated by a black circle, and a sensor that does not apply is indicated by a white circle. In this way, the projection state on the screen can be known by detecting the sensor irradiated with light. What is important is that the parameters are calculated so that the parameters can be accurately calculated. Of course, the system of the present invention can be configured by methods other than those described above.
[0094]
Next, an image projection system according to a fourth embodiment will be described.
[0095]
The fourth embodiment is a high-intensity, multi-gradation projector using a plurality of projectors. Hereinafter, this embodiment will be described with reference to FIG.
[0096]
In the figure, a projected image 52 is projected by accurately overlapping the images of a plurality of projectors 51. At this time, if exactly the same image is output from both projectors, it is observed on the screen at twice the brightness as projected by one projector, so the system of the present invention functions as a projector with high brightness.
[0097]
In general, image data is expressed with 256 gradations of 0 to 255 for each color. In the system of the present invention, an image of 255 × N + 1 gradations can be expressed using N projectors. For example, when two projectors are used, if the data of 114 is input 57, 57 to each projector and the data value 317 is 159, 158, a maximum of 510 gradations (both projectors). Can be considered.
[0098]
As described in the second embodiment, the present invention automatically aligns the projected image from the viewpoint of the viewer and outputs the corrected image to the projector. Easy to realize.
[0099]
A stereoscopic image can also be displayed by adding parallax to the output image of each projector. Since all the resolutions of the projector can be utilized in the system of the present invention, it is possible to display a stereoscopic image with a higher resolution than in the past.
[0100]
Next, an image projection system according to a fifth embodiment will be described.
[0101]
In each of the above embodiments, a flat screen is assumed. However, the present invention is effective even when a spherical screen shown in FIG. 16 is used as in this embodiment.
[0102]
That is, FIG. 16A shows a projection system for a large number of people. Since such a system can display an image in a wide range of field of view, a high presence can be obtained. Utilizing the present invention, such a projection system can be set up very easily.
[0103]
Further, as shown in FIG. 16B, application to a personal projection apparatus is also conceivable. For personal use, there is an example in which a device called HMD (Head Mounted Display) is mounted to realize a highly realistic display, but unlike this HMD, there is no need to wear a special device, so there is a feeling of pressure, etc. There is no, you can see easily. Furthermore, there is an effect that it is not necessary to look at the display at a close distance, the burden on the eyes is small, and an image having a higher resolution than that of the HMD can be obtained.
[0104]
The projector may be installed from below the audience as shown in FIGS. 16C and 16D, or from above and below. Further, a rear projection type display as shown in FIG.
[0105]
The image projection system according to the fifth embodiment is characterized in that since the projection state can be corrected from the viewpoint of the viewer, projection onto a screen other than a planar shape can be easily set.
[0106]
Next, an image projection system according to a sixth embodiment will be described.
[0107]
FIG. 17 shows an example in which storage media for storing output images to the projectors are combined. As shown in the figure, the controller unit 61 is configured by adding an output image storage unit 66 to an image processing / dividing unit 62, a projector arrangement storage unit 63, a projector arrangement parameter calculation unit 64, and a D / A conversion unit 65. .
[0108]
In such a configuration, the output image to each projector created by the image processing / dividing unit 62 is temporarily stored in the output image storage unit 66. When outputting to the projector, the output image storage unit 66 sequentially reads.
[0109]
The output image storage unit 66 may be provided outside the controller unit 61. These storage media can be composed of HDD (Hard Disk Drive), CD-ROM, DVD (Digital Video Disc) or the like. The image projection system according to the sixth embodiment is effective when the same image is used many times.
[0110]
Next, an image projection system according to a seventh embodiment will be described. It is also possible to process with software as shown in FIG. In the figure, the CPU 75 reads the image processing / division software 72 and the projector arrangement parameter 73 stored in a storage medium such as a hard disk, corrects and divides the image / original data 71, and obtains projection data 77a, 77b,. create.
[0111]
The projection data 77 created in this way is output to the projectors 79a, 79b... Through the image input / output board 76. Further, the projector arrangement parameter calculation software 74 is read by reading the projector arrangement determination image data 78 obtained by photographing the projection image with the video camera 80, and the projector arrangement parameter is calculated and stored in the storage medium. The image projection system according to the seventh embodiment can be realized at a lower cost than in the case of hardware, and is effective when a moving image is not required or when an image can be prepared in advance.
[0112]
Next, an image projection system according to an eighth embodiment will be described.
[0113]
In the fifth embodiment, an example of a rear projection type display has been described. However, in this embodiment, a high-definition and thin display is realized by arranging a large number of small projectors (microprojectors).
[0114]
FIG. 19 is a diagram for explaining an embodiment in which the present system is applied to a thin display. Of the configuration shown in FIG. 1, the image segmentation / processing unit 91, the parameter storage unit 92, the parameter calculation unit 93, the reference image generation unit 94, and the image switching unit 95 are the same as those in the above embodiment. In addition, an image obtained by capturing a projected image near the viewpoint by the audience is input to the parameter calculation unit 93. In this example, a rear projection type display that projects onto the screen 97 from behind is assumed.
[0115]
A feature of the eighth embodiment is that a micro projector 96 that is much smaller than the projector used in the above embodiment is used, and a large display is configured by arranging a large number of projectors although the projection range of each projector is limited. is there.
[0116]
Moreover, since the display main body is small, each light source does not require a very high output. Therefore, although the depth is small, since a large number of displays are arranged, a very high-definition image can be seen as compared with the conventional case.
[0117]
FIG. 20 shows an example in which the micro projector 96 is configured by lasers of three primary colors of red, green, and blue. The driver 105 adjusts the angles of the mirrors 104a to 104c and the output intensities of the lasers 101 to 103 according to the image in the memory 106, and scans a desired direction. The angle of the mirror can be changed by an electromagnet from two directions while fixing the central portion of the mirror to a flexible column.
[0118]
In FIG. 20, one color is handled by one mirror, but scanning in the x and y directions can also be controlled by two mirrors of each color. Recently, green and blue semiconductor lasers are also being put into practical use following red, so if a very small scanning projector using these semiconductor lasers is used as an output device, it will be smaller than the screen size. A display with a short depth can be realized.
[0119]
The microprojector can also be configured using an LED array or an element called Digital Micromirror Device (DMD).
[0120]
Next, an image projection system according to a ninth embodiment will be described.
[0121]
For image correction, an optical system for adjustment can be used in front of the projector.
[0122]
Hereinafter, the ninth embodiment will be described with reference to FIG.
[0123]
In the figure, a controller unit 121 includes an image division / processing unit 122, a parameter storage unit 123, a parameter calculation unit 124, an image switching unit 126, and a D / A conversion unit 127, and takes a projected image with the digital camera 125. The parameters necessary for accurate projection are calculated from the obtained images in the same manner as in the above embodiments.
[0124]
In the ninth embodiment, an adjustment optical system 128 and an adjustment optical system control unit 129 are newly added in addition to the above. The adjustment optical system control unit 129 drives the adjustment optical system newly provided on the lens front surface of the projector based on the parameters stored in the parameter storage unit so as to form an accurate projection image on the screen. The adjustment optical system 128 is composed of a lens group having a positive refractive power and a lens group having a negative refractive power. If there is a shift / tilt mechanism, the shift, tilt, and out-of-focus necessary for this system can be adjusted. is there.
[0125]
Here, FIG. 21 shows an example of image shift adjustment as an example.
[0126]
If there is a lens at the first shaded position and the LCD surface is on the optical axis, a projected image is formed at the position 113 on the screen. If the lens is shifted upward from this state, a projected image is formed at a position 114 on the screen. Although not shown in the figure, tilting and defocusing can be corrected by adjusting the tilt or the distance between the two lens groups.
[0127]
In the ninth embodiment, the correction has been described using only the optical system, but it is also possible to combine the correction processing with the image division / processing unit.
[0128]
Although not described in the above description of the embodiment, the present invention can be applied to a projector using a CRT instead of the LCD.
[0129]
The embodiment described above has the following effects.
[0130]
That is, firstly, in this system, by dividing and projecting high-definition image data to a plurality of projectors, it is possible to display a document / image having a higher resolution than a liquid crystal panel used in the projector. Second, dividing and projecting high-definition image data into a plurality of projectors creates an output image to each projector based on a pre-stored projection state, so that the adjusted projection can be performed automatically. it can. Third, since an image in which tilt and the like are corrected is output as an image projected by each projector, a projection image faithful to the original image can be obtained.
[0131]
Fourth, the projection images of a plurality of projectors are photographed by an imaging device placed near the viewpoint position of the audience, and parameters for automatically correcting the positional relationship between the projectors and deformation of the projection images are calculated from the obtained image data. be able to. Therefore, a high-definition projector using a plurality of projectors can be set very easily. Fifth, it is easy to calculate the projector arrangement parameters by capturing an image instructing the feature points of the projected image with a pointing device having a brightness sufficiently higher than that of the image data, such as a high brightness LED and a laser pointer.
[0132]
Sixth, by providing a pointing device in the projector, it is possible to accurately and automatically specify feature points on the projected image. Seventh, since it is possible to easily superimpose projection images of a plurality of projectors, it can be used as a high-intensity projector or a multi-tone projector. Eighth, since the system of the present invention can evaluate a projected image from the viewpoint of a viewer, it can be easily set to project onto a screen having a shape other than a plane. Ninth, by using a scanning projector having a transmission screen and using a semiconductor laser as a projection device, a very thin display can be realized with a very simple setting.
[0133]
Tenth, by providing an output image storage unit that stores an output image to each projector once created, when used multiple times, there is no need to recalculate each time. Eleventh, by incorporating the adjustment optical system into the image projection means, it becomes possible to accurately synthesize the projected images from the projectors including the out of focus of the projected images on the screen.
[0134]
The summary of the present invention is summarized as follows.
[0135]
(1) image generation means for generating high-definition image data;
Image projection means including a plurality of projectors for projecting at least a part of the high-definition image data;
Image processing means for selecting, processing and outputting at least a part of the high-definition image data to the plurality of projectors;
An image projection system comprising:
[0136]
This aspect corresponds to the first embodiment.
[0137]
According to this system, in the system of the present invention, by dividing and projecting high-definition image data to a plurality of projectors, it is possible to display a document / image having a higher resolution than the liquid crystal panel CRT used in the projector. it can. Furthermore, dividing and projecting high-definition image data into a plurality of projectors creates an output image to each projector based on a pre-stored projection state, so that the adjusted projection can be performed automatically. .
[0138]
(2) The image processing means includes:
Parameter storage means for storing parameters necessary for processing for projecting an image without distortion by the plurality of projectors;
Image dividing / processing means for dividing / processing the image data based on the parameters and outputting the divided image data to the plurality of projectors;
The image projection system according to (1) above, characterized by comprising:
[0139]
This aspect corresponds to the first embodiment.
[0140]
According to this system, in the system of the present invention, by dividing and projecting high-definition image data to a plurality of projectors, it is possible to display a document / image having a higher resolution than the liquid crystal panel CRT used in the projector. it can. Furthermore, dividing and projecting high-definition image data into a plurality of projectors creates an output image to each projector based on a pre-stored projection state, so that the adjusted projection can be performed automatically. .
[0141]
(3) imaging means for photographing a projected image projected on the screen projected by the image projecting means in the vicinity of the audience's viewpoint;
Parameter calculation means for calculating an arrangement parameter which is arrangement information on the screen of the projector from image data obtained by photographing the projected image by the imaging means;
The image projection system according to (1) or (2), further comprising:
[0142]
This aspect corresponds to the second embodiment.
[0143]
According to this system, an image in which tilt and the like are corrected is output as an image projected by each projector, so that a projection image faithful to the original image can be obtained. Furthermore, the projection images of a plurality of projectors are photographed by an imaging device placed near the viewpoint position of the audience, and parameters for automatically correcting the positional relationship between the projectors and the deformation of the projection images are calculated from the obtained image data. Can do. Therefore, a high-definition projector using a plurality of projectors can be set very easily.
[0144]
(4) In the above (3), the projector arrangement parameter is calculated from image data obtained by photographing a known pattern projected from one or more of the plurality of projectors with the imaging device. The image projection system described.
[0145]
This aspect corresponds to the second embodiment.
[0146]
According to this system, an image in which tilt and the like are corrected is output as an image projected by each projector, so that a projection image faithful to the original image can be obtained. Furthermore, the projection images of a plurality of projectors are photographed by an imaging device placed near the viewpoint position of the audience, and parameters for automatically correcting the positional relationship between the projectors and the deformation of the projection images are calculated from the obtained image data. Can do. Therefore, a high-definition projector using a plurality of projectors can be set very easily.
[0147]
(5) The image projection system according to (3), wherein the projector arrangement parameter is calculated from image data obtained by photographing an image with a feature point pointed on a screen by the imaging device.
[0148]
This aspect corresponds to the third embodiment.
[0149]
According to this system, it is possible to easily calculate the projector arrangement parameter by capturing an image instructing the feature point of the projection image with a pointing device having a luminance sufficiently higher than that of image data such as a high luminance LED and a laser pointer. Furthermore, by providing a pointing device in the projector, it is possible to accurately and automatically specify feature points on the projection image.
[0150]
(6) The image projection system according to (3), wherein the projector arrangement parameter is calculated by an optical sensor arranged on a screen.
[0151]
This aspect corresponds to the third embodiment.
[0152]
According to this system, the feature point on the projected image can be specified accurately and automatically by sensing the projected image with the optical sensor on the screen.
[0153]
(7) The image according to (2) or (3), wherein the projected images of the plurality of projectors project a spatially identical portion in the image data to the same location on the screen. Projection system. This aspect corresponds to the fourth embodiment.
[0154]
Since this system can easily superimpose the projection images of a plurality of projectors, it can be used as a high-intensity projector or a multi-tone projector.
[0155]
(8) The image projection system according to (2) or (3), wherein the projection images of the plurality of projectors are projected onto a screen having a shape other than a plane. This aspect corresponds to the eighth embodiment.
[0156]
Since this system can evaluate the projected image from the viewpoint of the viewer, it can be easily set to project onto a screen with a shape other than a plane.
[0157]
(9) The image projection system according to (2) or (3), wherein the projection images of the plurality of projectors are projected onto a transmissive screen.
[0158]
This aspect corresponds to the fifth embodiment.
[0159]
Since this system can evaluate the projected image from the viewpoint of the viewer, it can be easily set to project onto a screen with a shape other than the reflective type.
[0160]
(10) The image projection system according to (2) or (3), further comprising an output image storage unit that stores output images to the plurality of projectors created by the image processing / dividing unit.
[0161]
This aspect corresponds to the sixth embodiment.
[0162]
According to this system, by providing the output image storage unit that stores the output image to each projector once created, there is no need to recalculate each time when it is used multiple times.
[0163]
(11) The image projecting unit adjusts the projection state of the plurality of projectors and accurately synthesizes the projection images of the projectors on the screen, and the adjustment optical system that controls the adjustment optical system The image projection system according to (2) or (3), further including a control unit.
[0164]
This aspect corresponds to the ninth embodiment.
[0165]
According to this system, by incorporating the adjustment optical system into the image projection means, it becomes possible to accurately synthesize the projected images from the projectors including the out-of-focus of the projected images on the screen.
[0166]
【The invention's effect】
According to the present invention, a personal computer, a plurality of projectors, and a controller unit that divides a high-definition input image and outputs an image signal to each projector are combined to obtain a high-definition projection image utilizing the resolution of the input data. A projection system can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an image projection system according to a first embodiment.
FIG. 2 is a diagram for explaining a technique for making the entire projected image accurate at the same magnification when the liquid crystal projector 7 and the screen 8 are not facing each other.
FIG. 3 is a diagram illustrating a relationship between an original image and an output image to each projector.
FIG. 4 is a diagram showing a tilt correction image generation method.
FIG. 5 is a diagram showing a detailed configuration of an image processing / dividing unit 4;
FIG. 6 is a diagram illustrating a process of determining a projection image by the image division / processing unit 4 when there is a tilt in the images of the left and right projectors.
FIG. 7 is a diagram illustrating a configuration of an image projection system according to a second embodiment.
8 is a diagram showing a detailed configuration of a parameter calculation unit 24. FIG.
FIG. 9 is a diagram for explaining a method for calculating a parameter by displaying a straight line with a changed angle divided into a plurality of times in the second embodiment.
FIG. 10 is a diagram for explaining a case of lattice points as an example of a projection image 30 projected when calculating a parameter.
11 is a diagram showing another configuration of the parameter calculation unit 24. FIG.
FIG. 12 is a diagram illustrating an example in which feature points of a projected image on a screen such as vertices and lattice points are pointed and imaged with a bar with a high-brightness LED provided at the tip in the third embodiment.
FIG. 13 is a diagram showing an example in which a pointing device is provided in a projector in the third embodiment.
FIG. 14 is an example in which a projection state is determined by arranging a large number of minute optical sensors on a screen in the third embodiment.
FIG. 15 is a diagram for explaining an image projection system according to a fourth embodiment;
FIG. 16 is a diagram for explaining an image projection system according to a fifth embodiment;
FIG. 17 is a diagram illustrating an example in which storage media for storing output images to the projectors are combined in the sixth embodiment.
FIG. 18 is a diagram for explaining an image projection system according to a seventh embodiment;
FIG. 19 is a diagram for explaining an embodiment in which a system according to an eighth embodiment is applied to a thin display;
20 is a diagram illustrating an example in which a micro projector 96 is configured by lasers of three primary colors of red, green, and blue. FIG.
FIG. 21 is a diagram for explaining an example of image shift adjustment according to the ninth embodiment;
FIG. 22 is a diagram showing a configuration of an image projection system according to a ninth embodiment.
FIG. 23 is a diagram illustrating a configuration of an image projection system according to a conventional technique.
[Explanation of symbols]
1 Personal computer
2 High-definition image data
3 Projector controller
4 Image processing division
5 Projector arrangement storage unit
6 D / A converter
7 LCD projector
8 screens

Claims

複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、
上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれかを記憶するパラメータ記憶手段と、
上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、
上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、
基準画像を生成する基準画像生成手段と、
観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、
上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段とを具備し、
上記撮像手段は、上記スクリーンに投影される基準画像を連続的に撮像し、上記基準画像生成手段は、プロジェクタとスクリーンとの位置関係による歪みと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係による歪みとが少なくなるように、上記算出手段が算出したパラメータに基づき基準画像を変形させ、上記パラメータ記憶手段が記憶するパラメータは、変化させた上記第１又は第２のパラメータによって逐次的に書き換えたものである、ことを特徴とする画像投影システム。In an image projection system for displaying one image on a screen by images projected by a plurality of projectors,
The first parameter for correcting distortion due to the positional relationship between the projector and the screen, and the projection image projected on the screen by the plurality of projectors are parameters necessary for the process for accurately projecting the image by the plurality of projectors. Parameter storage means for storing at least one of the second parameters describing the positional relationship;
An image processing unit that corrects distortion of a projection image for each projector based on the parameters stored in the parameter storage unit, and performs correction so that images projected by a plurality of projectors are smoothly joined together;
Image output means for outputting the image corrected by the image processing means to the plurality of projectors;
Reference image generation means for generating a reference image;
An imaging unit that is arranged near the viewpoint of the audience and that captures the reference image projected by the projector;
Parameter calculating means for calculating at least one of the first parameter and the second parameter from the reference image data imaged by the imaging means;
The imaging unit continuously captures a reference image projected onto the screen, and the reference image generation unit includes distortion caused by a positional relationship between the projector and the screen, and projection images projected onto the screen by a plurality of projectors. The reference image is deformed based on the parameter calculated by the calculation means so that distortion due to the positional relationship is reduced, and the parameter stored in the parameter storage means is sequentially changed according to the changed first or second parameter. An image projection system characterized by having been rewritten .

複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、In an image projection system for displaying one image on a screen by images projected by a plurality of projectors,
上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれかを記憶するパラメータ記憶手段と、  The first parameter for correcting distortion due to the positional relationship between the projector and the screen, and the projection image projected on the screen by the plurality of projectors are parameters necessary for the process for accurately projecting the image by the plurality of projectors. Parameter storage means for storing at least one of the second parameters describing the positional relationship;
上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、  An image processing unit that corrects distortion of a projection image for each projector based on the parameters stored in the parameter storage unit, and performs correction so that images projected by a plurality of projectors are smoothly joined together;
上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、  Image output means for outputting the image corrected by the image processing means to the plurality of projectors;
基準画像を生成する基準画像生成手段と、  A reference image generating means for generating a reference image;
観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、  An imaging unit that is arranged near the viewpoint of the audience and that captures the reference image projected by the projector;
上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段とを具備し、  Parameter calculating means for calculating at least one of the first parameter and the second parameter from the reference image data imaged by the imaging means;
上記複数のプロジェクタが投影した全体画像を上記撮像手段が撮像する際には、上記パラメータ算出手段は、上記撮像手段が撮像した全体画像データに基づき大雑把な第２のパラメータを算出し、上記複数のプロジェクタが投影した全体画像のうちオーバーラップ部分を拡大して上記撮像手段が撮像する際には、上記パラメータ算出手段は、上記撮像手段が撮像した部分拡大画像データに基づき正確な第２のパラメータを算出する、ことを特徴とする画像投影システム。  When the imaging unit captures the entire image projected by the plurality of projectors, the parameter calculation unit calculates a rough second parameter based on the entire image data captured by the imaging unit, and When the imaging means captures an image of the overlapped portion of the entire image projected by the projector, the parameter calculation means calculates an accurate second parameter based on the partial enlarged image data captured by the imaging means. An image projection system characterized by calculating.

複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、In an image projection system for displaying one image on a screen by images projected by a plurality of projectors,
上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれを記憶するパラメータ記憶手段と、  The first parameter for correcting distortion due to the positional relationship between the projector and the screen as a parameter necessary for the process for accurately projecting the image by the plurality of projectors, and the projection images projected on the screen by the plurality of projectors Parameter storage means for storing at least one of the second parameters describing the positional relationship;
上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、  An image processing unit that corrects the distortion of the projection image for each projector based on the parameters stored in the parameter storage unit, and performs correction so that the images projected by the plurality of projectors are smoothly joined together;
上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、  Image output means for outputting the image corrected by the image processing means to the plurality of projectors;
基準画像を生成する基準画像生成手段と、A reference image generating means for generating a reference image;
観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、  An imaging unit that is arranged near the viewpoint of the audience and that captures the reference image projected by the projector;
上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段とを具備し、  Parameter calculating means for calculating at least one of the first parameter and the second parameter from the reference image data imaged by the imaging means;
上記撮像手段は、レーザポインタによって上記スクリーン上に形成された輝点を撮像し、上記パラメータ算出手段は、上記撮像手段が投影した上記輝点を特徴点として用いて第１及び第２のパラメータの少なくともいずれかを算出する、ことを特徴とする画像投影システム。  The imaging means images a bright spot formed on the screen by a laser pointer, and the parameter calculation means uses the bright spot projected by the imaging means as a feature point and sets the first and second parameters. An image projection system characterized in that at least one of them is calculated.

複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、In an image projection system for displaying one image on a screen by images projected by a plurality of projectors,
上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれを記憶するパラメータ記憶手段と、  The first parameter for correcting distortion due to the positional relationship between the projector and the screen, and the projection image projected on the screen by the plurality of projectors are parameters necessary for the process for accurately projecting the image by the plurality of projectors. Parameter storage means for storing at least one of the second parameters describing the positional relationship;
上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、  An image processing unit that corrects distortion of a projection image for each projector based on the parameters stored in the parameter storage unit, and performs correction so that images projected by a plurality of projectors are smoothly joined together;
上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段と、  Image output means for outputting the image corrected by the image processing means to the plurality of projectors;
基準画像を生成する基準画像生成手段と、  A reference image generating means for generating a reference image;
観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、  An imaging unit that is arranged near the viewpoint of the audience and that captures the reference image projected by the projector;
上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段とを具備し、  Parameter calculating means for calculating at least one of the first parameter and the second parameter from the reference image data imaged by the imaging means;
上記撮像手段は、半導体発光素子によって上記スクリーン上に形成された輝点を撮像し、上記パラメータ算出手段は、上記撮像手段が投影した上記輝点を特徴点として用いて第１及び第２のパラメータの少なくともいずれかを算出する、ことを特徴とする画像投影システム。  The imaging means images a bright spot formed on the screen by a semiconductor light emitting element, and the parameter calculation means uses the bright spot projected by the imaging means as a feature point to provide first and second parameters. An image projection system characterized by calculating at least one of the following.

複数のプロジェクタが投影する画像によって一つの画像をスクリーン上に表示する画像投影システムにおいて、In an image projection system for displaying one image on a screen by images projected by a plurality of projectors,
上記複数のプロジェクタによって正確に画像を投影する為の処理に必要なパラメータとして、プロジェクタとスクリーンとの位置関係による歪みを補正する第１のパラメータと、複数のプロジェクタがスクリーンに投影した投影像同士の位置関係を記述する第２のパラメータとのうち少なくともいずれかを記憶するパラメータ記憶手段と、  The first parameter for correcting distortion due to the positional relationship between the projector and the screen, and the projection image projected on the screen by the plurality of projectors are parameters necessary for the process for accurately projecting the image by the plurality of projectors. Parameter storage means for storing at least one of the second parameters describing the positional relationship;
上記パラメータ記憶手段が記憶するパラメータに基づいてプロジェクタ毎の投影像の歪みを補正するとともに、複数のプロジェクタにより投影された画像同士がスムーズに接合されるような補正を行う画像処理手段と、  An image processing unit that corrects distortion of a projection image for each projector based on the parameters stored in the parameter storage unit, and performs correction so that images projected by a plurality of projectors are smoothly joined together;
上記画像処理手段で補正された画像を上記複数のプロジェクタに出力する画像出力手段  Image output means for outputting the image corrected by the image processing means to the plurality of projectors と、When,
基準画像を生成する基準画像生成手段と、  A reference image generating means for generating a reference image;
観客の視点付近に配置し、上記プロジェクタによって投影された上記基準画像を撮像する撮像手段と、  An imaging unit that is arranged near the viewpoint of the audience and that captures the reference image projected by the projector;
上記撮像手段が撮像した基準画像データから第１のパラメータと第２のパラメータとのうち少なくともいずれかを算出するパラメータ算出手段と、  Parameter calculating means for calculating at least one of the first parameter and the second parameter from the reference image data imaged by the imaging means;
上記各プロジェクタはレーザ光線による輝点を上記スクリーンに投影するレーザ光線投影手段とを具備し、  Each projector includes laser beam projection means for projecting a bright spot by a laser beam onto the screen,
上記撮像手段は、上記レーザ光線投影手段によって投影された輝点を撮像し、  The imaging unit images the bright spot projected by the laser beam projection unit,
上記パラメータ算出手段は、上記撮像手段が撮像した上記輝点を特徴点として用いて第１及び第２のパラメータの少なくともいずれかを算出する、ことを特徴とする画像投影システム。  The image projection system, wherein the parameter calculation means calculates at least one of a first parameter and a second parameter using the bright spot imaged by the imaging means as a feature point.