JP2004336225A

JP2004336225A - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法

Info

Publication number: JP2004336225A
Application number: JP2003126876A
Authority: JP
Inventors: Osamu Wada; 修和田; Masanobu Kobayashi; 雅暢小林
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-05-02
Filing date: 2003-05-02
Publication date: 2004-11-25
Anticipated expiration: 2023-05-02
Also published as: JP3620537B2; US20040227908A1; CN1543207A; EP1473933A3; TW200427338A; US7114813B2; TWI242381B; EP1473933B1; EP1473933A2; DE602004016245D1; CN100379281C

Abstract

【課題】複数の投写手段を用いて画像を重ね合わせて投写する場合に、画像の歪みを補正して適切に画像を重ね合わせることが可能な画像処理システム等を提供すること。
【解決手段】投写面で他のプロジェクタからの投写画像と重ねて画像を表示するために画像信号に基づいて画像を投写する画像投写部１９０と、投写画像を撮像して撮像情報を出力する撮像部１４０と、当該撮像情報に基づき、投写面における投写領域を抽出するとともに、複数の投写領域が重複する重複領域を抽出する重複領域抽出部１５６と、当該重複領域と投写領域の差異を示す補正用情報を生成する補正用情報生成部１５８と、当該補正用情報に基づき、重複領域に画像が投写されるように、画像信号を補正する投写領域補正部１３０とをプロジェクタに設ける。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の投写手段を用いて投写面で画像が重なるように投写するために、画像信号の補正を行う画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
【０００２】
【背景技術】
画像の明るさを確保したり、画像のダイナミックレンジや色調を改善したりするため、複数のプロジェクタを用いてスクリーン等の投写面で画像が重なるように投写（スタック投写とも呼ばれる。）する画像表示システムが実現されている。
【０００３】
しかし、このような画像表示を行う場合、各プロジェクタの投写角度は異なっており、画像に歪みが発生する。このような画像の歪みを補正する場合、１台のプロジェクタであれば、画像の歪みを調整するだけでよいが、複数台のプロジェクタを用いる場合、画像の歪みを調整するだけでなく、各画像が適切な位置に表示されるように、画像の位置も調整する必要がある。
【０００４】
このため、スタック投写を行うためには、専門的知識と多大な労力が必要となる。
【０００５】
このような画像の位置合わせを容易にする目的に対し、例えば、特許文献１では、検査パターン用の検査信号と映像信号を合成し、あるいは、検査信号を間欠的に発生してスクリーンに投写し、スクリーンに投写された検査パターンの位置を検出し、位置ずれ量がなくなるように投写位置を制御する投写型表示システムが開示されている。
【０００６】
【特許文献１】
特開平８−１６８０３９号公報
【０００７】
【発明が解決しようとする課題】
しかし、特許文献１では、画像が長方形状で投写されることが前提となっており、単に検査パターンの位置を検出して位置ずれ量を把握してハードウェア的に投写光軸を変更しているに過ぎない。
【０００８】
このため、特許文献１の手法では、プロジェクタの台数が多い場合や、プロジェクタとスクリーンとが正対していない場合等における画像の歪みが発生する状態で適切に画像の位置合わせを行うことは困難である。
【０００９】
また、特許文献１では、画像を重ね合わせることによって画像の色が変わってしまうことについては全く記載されていない。
【００１０】
本発明は、上記の課題に鑑みなされたものであり、その目的は、複数の投写手段を用いて画像を重ね合わせて投写する場合に、画像の歪みを補正して適切に画像を重ね合わせることが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムは、異なる位置に配置され、投写面で画像を重ねて表示するために画像信号に基づいて画像を投写する複数の画像投写手段と、
各画像投写手段によって投写された所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各画像投写手段によって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と各画像投写手段の投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像が投写されるように、各画像投写手段に入力する画像信号を補正する投写領域補正手段と、
を含むことを特徴とする。
【００１２】
また、本発明に係るプロジェクタは、異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段と、
を含むことを特徴とする。
【００１３】
また、本発明に係るプロジェクタは、異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と各プロジェクタの投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段と、
他のプロジェクタ用の補正用情報を他のプロジェクタへ向け送信する通信手段と、
を含むことを特徴とする。
【００１４】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムにおいて、
コンピュータを、
異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段として機能させることを特徴とする。
【００１５】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムにおいて、
コンピュータを、
異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と各プロジェクタの投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段と、
他のプロジェクタ用の補正用情報を他のプロジェクタへ向け送信する通信手段として機能させることを特徴とする。
【００１６】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体において、
コンピュータを、
異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段として機能させるためのプログラムを記憶したことを特徴とする。
【００１７】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体において、
コンピュータを、
異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と各プロジェクタの投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段と、
他のプロジェクタ用の補正用情報を他のプロジェクタへ向け送信する通信手段として機能させるためのプログラムを記憶したことを特徴とする。
【００１８】
また、本発明に係る画像処理方法は、複数の投写手段からの画像を重ね合わせて画像を表示するための画像処理方法において、
投写領域のキャリブレーションの際に、前記複数の投写手段を用いて異なる時点において各画像投写手段から投写領域キャリブレーション画像を投写し、
各画像投写手段によって投写された投写領域キャリブレーション画像を撮像して撮像情報を出力し、
当該撮像情報に基づき、撮像座標における撮像情報を、投写面座標における撮像情報に変換し、
当該撮像情報に基づき、各画像投写手段によるすべての投写画像における画素ごとの輝度値の合計値を演算し、
当該合計値に基づき、すべての投写画像が重なる重複領域を導出し、当該重複領域のうち投写画像と同一形状のスタック投写領域のスタック投写領域座標情報を導出し、
前記スタック投写領域の形状で画像を投写するために、当該スタック投写領域座標情報に基づき、投写画像の歪み補正用の歪み補正量を演算し、
当該歪み補正量に基づき、画像信号を補正して画像を投写することを特徴とする。
【００１９】
本発明によれば、画像処理システム等は、複数のプロジェクタ等の画像投写手段を用いて画像を重ね合わせて投写する場合に、投写画像の重複領域を抽出して補正用情報を生成し、当該補正用情報に基づいて画像信号を補正することにより、画像の歪みを補正して適切に画像を重ね合わせることができる。
【００２０】
また、前記画像処理システムにおいて、前記複数の投写手段は、異なる時点においてそれぞれ投写領域キャリブレーション画像を投写し、
前記重複領域抽出手段は、当該投写領域キャリブレーション画像の撮像情報に基づき、投写された投写領域キャリブレーション画像において最も明るい位置であるピーク位置を把握し、当該ピーク位置に基づき、前記投写面における投写領域を抽出してもよい。
【００２１】
また、前記プロジェクタにおいて、前記画像投写手段は、前記他のプロジェクタとは、異なる時点において投写領域キャリブレーション画像を投写し、
前記重複領域抽出手段は、各プロジェクタによって投写された投写領域キャリブレーション画像の撮像情報に基づき、投写された投写領域キャリブレーション画像において最も明るい位置であるピーク位置を把握し、当該ピーク位置に基づき、前記投写面における投写領域を抽出してもよい。
【００２２】
また、前記画像処理方法において、投写領域キャリブレーション画像の撮像情報に基づき、投写された投写領域キャリブレーション画像において最も明るい位置であるピーク位置を把握し、当該ピーク位置に基づき、撮像座標における撮像情報を、投写面座標における撮像情報に変換してもよい。
【００２３】
これによれば、画像処理システム等は、投写画像の色合いではなく、投写画像の明るさの分布に基づいて画像の歪みを把握することができるため、投写面の色の影響を低減して投写画像の歪みをより正確に検出することができる。
【００２４】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記重複領域抽出手段は、抽出した投写領域における画素ごとまたは画素ブロックごとの明るさ指標値を、各画像投写手段の投写領域ごとに加算することにより前記重複領域を抽出してもよい。
【００２５】
また、前記画像処理方法において、抽出した投写領域における画素ごとまたは画素ブロックごとの明るさ指標値を、各画像投写手段の投写領域ごとに加算することにより前記重複領域を抽出してもよい。
【００２６】
これによれば、画像処理システム等は、異なる時点で投写領域キャリブレーション画像を投写して当該画像を撮像した場合であっても、明るさ指標値の違いを把握することにより、重複領域を適切に抽出することができる。
【００２７】
なお、ここで、明るさ指標値としては、例えば、輝度値（演算によって変形した輝度値も含む。）、照度値、明度値等が該当する。
【００２８】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記重複領域抽出手段は、縦横の比率を調整した矩形状の重複領域を抽出し、
前記補正用情報生成手段は、前記補正用情報として、当該重複領域の４隅の位置と各画像投写手段の投写領域の４隅の位置を示す補正用情報、当該重複領域の４隅の位置を示す補正用情報、当該重複領域の４隅の位置と各画像投写手段の投写領域の４隅の位置との差分値を示す補正用情報のうちいずれかの補正用情報を生成してもよい。
【００２９】
また、前記画像処理方法は、縦横の比率を調整した矩形状の重複領域を抽出し、
前記補正用情報として、当該重複領域の４隅の位置と各画像投写手段の投写領域の４隅の位置を示す補正用情報、当該重複領域の４隅の位置を示す補正用情報、当該重複領域の４隅の位置と各画像投写手段の投写領域の４隅の位置との差分値を示す補正用情報のうちいずれかの補正用情報を生成してもよい。
【００３０】
これによれば、画像処理システム等は、矩形状の投写領域の４隅と、矩形状の重複領域の４隅との差分値等を求めることにより、投写領域が重複領域となるように画像信号を補正することができる。
【００３１】
また、前記画像処理システムは、色再現用情報に基づき、目標とする画像の色と明るさを再現するために、画像の色と明るさを補正する色再現手段を含み、
前記複数の画像投写手段は、前記投写領域補正手段によって画像信号が補正されることにより、前記重複領域に画像を投写可能となった状態で、画像の色と明るさを補正するための色再現用キャリブレーション画像を前記重複領域に重ね合わせて投写し、
前記撮像手段は、前記重複領域に重ね合わされた色再現用キャリブレーション画像を撮像し、
前記補正用情報生成手段は、当該色再現用キャリブレーション画像の撮像情報に基づき、色再現用情報を生成し、
前記色再現手段は、当該色再現用情報に基づき、画像信号を補正してもよい。
【００３２】
また、前記プロジェクタは、色再現用情報に基づき、目標とする画像の色と明るさを再現するために、画像の色と明るさを補正する色再現手段を含み、
前記画像投写手段は、前記投写領域補正手段によって画像信号が補正されることにより、前記重複領域に画像を投写可能となった状態で、画像の色と明るさを補正するための色再現用キャリブレーション画像を前記重複領域に重ね合わせて投写し、
前記撮像手段は、前記重複領域に重ね合わされた色再現用キャリブレーション画像を撮像し、
前記補正用情報生成手段は、当該色再現用キャリブレーション画像の撮像情報に基づき、色再現用情報を生成し、
前記色再現手段は、当該色再現用情報に基づき、画像信号を補正してもよい。
【００３３】
また、前記プログラムおよび前記情報記憶媒体は、色再現用情報に基づき、目標とする画像の色と明るさを再現するために、画像の色と明るさを補正する色再現手段としてコンピュータを機能させ、
前記画像投写手段は、前記投写領域補正手段によって画像信号が補正されることにより、前記重複領域に画像を投写可能となった状態で、画像の色と明るさを補正するための色再現用キャリブレーション画像を前記重複領域に重ね合わせて投写し、
前記撮像手段は、前記重複領域に重ね合わされた色再現用キャリブレーション画像を撮像し、
前記補正用情報生成手段は、当該色再現用キャリブレーション画像の撮像情報に基づき、色再現用情報を生成し、
前記色再現手段は、当該色再現用情報に基づき、画像信号を補正してもよい。
【００３４】
また、前記画像処理方法は、画像信号が補正されることにより、前記重複領域に画像を投写可能となった状態で、画像の色と明るさを補正するための色再現用キャリブレーション画像を前記重複領域に重ね合わせて投写し、
前記重複領域に重ね合わされた色再現用キャリブレーション画像を撮像し、
当該色再現用キャリブレーション画像の撮像情報に基づき、色再現用情報を生成し、
当該色再現用情報に基づき、目標とする画像の色と明るさに調整するために、画像信号を補正してもよい。
【００３５】
これによれば、画像処理システム等は、投写画像が重複領域に重なった状態の投写画像を撮像して画像の色と明るさを補正することにより、画像の色と明るさを適切に補正することができる。
【００３６】
【発明の実施の形態】
以下、本発明を、他のプロジェクタと画像を重ねて投写するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００３７】
（全体の説明）
図１は、画像投写時の状態を示す模式図である。また、図２（Ａ）は、撮像座標における撮像画像ＡＢＣＤを示す模式図であり、図２（Ｂ）は、投写面座標における撮像画像Ａ’Ｂ’Ｃ’Ｄ’を示す模式図である。また、図３（Ａ）は、左側のプロジェクタ２０−１による投写領域５２の模式図であり、図３（Ｂ）は、右側のプロジェクタ２０−２による投写領域５４の模式図である。
【００３８】
本実施例におけるプロジェクタ２０−１は、他のプロジェクタ２０−２と協調して画像を重ね合わせて表示する。このため、プロジェクタ２０−１は、スクリーン１０に向かって左側に配置され、プロジェクタ２０−２は、スクリーン１０に向かって右側に配置されている。
【００３９】
そして、プロジェクタ２０−１がスクリーン１０に画像を投写することにより、スクリーン１０上に投写領域５２が形成される。また、プロジェクタ２０−２がスクリーン１０に画像を投写することにより、スクリーン１０上に投写領域５４が形成される。また、投写領域５２と投写領域５４が重なる部分に重複領域６０が形成される。なお、投写領域５２、５４は、同じ大きさでなくてもよい。
【００４０】
このように、プロジェクタ２０−１、２０−２は、重複領域６０を形成することにより、画像の明るさを十分に確保することができる。
【００４１】
また、図１に示すように、プロジェクタ２０−１、２０−２はスクリーン１０に対して斜めの位置から投写しているため、図２（Ｂ）に示すように、投写領域５２、５４は、台形状に歪んでいる。
【００４２】
このような台形歪みを補正するため、図１に示すように、プロジェクタ２０−１は、センサー３０を搭載している。センサー３０は、投写領域５２および投写領域５４を含むスクリーン１０上の領域を撮像する。
【００４３】
センサー３０は、投写領域５２を撮像することにより、図２（Ａ）に示す撮像座標における撮像画像ＡＢＣＤを把握することができる。また、プロジェクタ２０−１は、当該撮像画像の撮像情報を、図２（Ｂ）に示す投写面座標における撮像画像Ａ’Ｂ’Ｃ’Ｄ’の撮像情報に変換する。
【００４４】
図２（Ａ）と図２（Ｂ）を比較すればわかるように、プロジェクタ２０−１に搭載されたセンサー３０から見た場合は投写領域５２は歪んでいないが、プロジェクタ２０−１は、撮像座標をスクリーン１０の正面から見た投写面座標に変換することにより、投写領域５２の歪みを適切に把握することができる。
【００４５】
また、プロジェクタ２０−１は、投写面座標における撮像画像Ａ’Ｂ’Ｃ’Ｄ’の撮像情報に基づき、投写領域５２、５４の輝度分布を把握することができる。例えば、投写領域５２は、図３（Ａ）のように左側が明るく右側が暗い輝度分布となり、投写領域５４は、図３（Ｂ）のように右側が明るく左側が暗い輝度分布となる。これは、図１に示す配置では、投写領域５２の左側のほうがプロジェクタ２０−１の光源に近く、投写領域５４の右側のほうがプロジェクタ２０−２の光源に近いからである。
【００４６】
本実施の形態では、プロジェクタ２０は、このような輝度分布を把握することにより、投写領域５２、５４の歪みを把握し、画像の歪みを補正する。
【００４７】
また、本実施の形態では、プロジェクタ２０は、重複領域６０に画像が形成されるように、画像の表示位置や大きさを調整する。
【００４８】
このような調整を行うことにより、画像の明るさを十分に確保することができる。
【００４９】
（ブロック図の説明）
次に、このような機能を実現するためのプロジェクタ２０の機能ブロックについて説明する。
【００５０】
図４は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。
【００５１】
プロジェクタ２０は、画像信号を入力する信号入力部１１０と、目標色に適合した画像の色を再現できるように、当該画像信号を補正する色再現部１２０と、重複領域６０に投写領域が形成されるように、色再現部１２０からの画像信号を補正する投写領域補正部１３０と、補正された画像信号を出力する信号出力部１６０と、画像信号に基づき、画像を投写する画像投写部１９０とを含んで構成されている。
【００５２】
また、プロジェクタ２０は、投写領域キャリブレーション画像と色再現用キャリブレーション画像を表示するためのキャリブレーション信号を発生する情報生成部１１２と、投写された投写画像を含むスクリーン１０上の領域を撮像する撮像部１４０と、撮像情報に基づき、色再現部１２０や投写領域補正部１３０が使用する補正用情報を生成する情報生成部１５０と、他のプロジェクタ２０と補正用情報等を送受信する通信部１８０とを含んで構成されている。
【００５３】
また、色再現部１２０は、目標色に適合した画像の色になるように画像信号を補正する色補正部１２２と、目標色に適合した画像の明るさになるように画像信号を補正する明るさ補正部１２４とを含んで構成されている。
【００５４】
また、情報生成部１５０は、目標色プロファイル、プロジェクタ２０のハードウェアプロファイル等を記憶するプロファイル記憶部１５４と、目標色プロファイルおよびプロジェクタ２０のハードウェアプロファイルに基づき色再現用情報を生成する色再現用情報生成部１５２と、スクリーン１０における投写領域を抽出するとともに、重複領域６０を抽出する重複領域抽出部１５６と、重複領域６０と投写領域の差異を示す補正用情報を生成する補正用情報生成部１５８とを含んで構成されている。
【００５５】
さらに、情報生成部１５０は、撮像情報記憶部１５１と、他のプロジェクタ２０を制御するための制御情報を生成する制御情報生成部１５９とを含んで構成されている。
【００５６】
また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。
【００５７】
駆動部１９４は、信号出力部１６０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。
【００５８】
なお、本実施例では、プロジェクタ２０−１のみが撮像、補正用情報の生成、画像の色と明るさの調整を行うため、プロジェクタ２０−２においては、撮像部１４０、撮像情報記憶部１５１、色再現用情報生成部１５２、補正用情報生成部１５８は不要である。
【００５９】
また、上述したプロジェクタ２０の各部を実現するためのハードウェアとしては、例えば、以下のものを適用できる。
【００６０】
図５は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。
【００６１】
例えば、信号入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、色再現部１２０、投写領域補正部１３０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、信号出力部１６０としては、例えばＤ／Ａコンバーター９４０等、キャリブレーション信号発生部１１２および情報生成部１５０としては、例えば画像処理回路９７０、ＲＡＭ９５０等、撮像部１４０としては、例えばＣＣＤカメラ等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実現できる。
【００６２】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。また、センサー３０は、撮像部１４０の一部である。
【００６３】
また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。
【００６４】
さらに、投写領域補正部１３０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って投写領域補正部１３０等の機能をコンピュータに実現させてもよい。
【００６５】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００６６】
また、情報記憶媒体９００に代えて、上述した各機能を実現するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。
【００６７】
（画像処理の説明）
次に、これらの各部を用いた画像処理の流れについて説明する。
【００６８】
図６は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。
【００６９】
まず、ユーザーは、プロジェクタ２０−１、２０−２を起動し、プロジェクタ２０−１は、単一色（例えば、白等）で構成されている投写領域キャリブレーション画像を投写する（ステップＳ１）。より具体的には、キャリブレーション信号発生部１１２は、制御情報生成部１５９による制御情報に基づき、投写領域キャリブレーション画像を投写するための画像信号を生成する。そして、画像投写部１９０は、色再現部１２０および投写領域補正部１３０によって補正された画像信号に基づき、画像を投写する。
【００７０】
なお、この投写領域キャリブレーション画像は、後述する色再現用キャリブレーション画像のうちの１つを用いてもよい。
【００７１】
そして、プロジェクタ２０−１の撮像部１４０は、投写領域キャリブレーション画像を含むスクリーン１０上の領域を撮像して撮像情報を出力し、撮像情報記憶部１５１は、撮像部１４０からの撮像情報を記憶する（ステップＳ２）。
【００７２】
そして、重複領域抽出部１５６は、輝度分布解析（ステップＳ３）を行う。
【００７３】
具体的には、重複領域抽出部１５６は、撮像情報に含まれる画素ごとの輝度値のうち最も高い輝度値を有する画素の位置をピーク位置として検出する。この画素の位置の検出手法としては、例えば、隣接画素の輝度値の変化率が１となる画素付近をピーク位置として検出してもよいし、全画素の輝度値をメモリに記憶しておいて最も輝度値が高い画素をピーク位置として検出してもよい。
【００７４】
例えば、投写領域の中心の輝度値が最も高い場合、プロジェクタ２０は、スクリーン１０と正対しており、投写領域の左側の輝度値が最も高い場合、プロジェクタ２０は、スクリーン１０に対して左に傾いている。
【００７５】
そして、重複領域抽出部１５６は、ピーク位置と、変換用データに基づき、撮像情報を投写面での座標系における変換撮像情報に変換し、撮像情報記憶部１５１に記憶する（ステップＳ４）。
【００７６】
図８は、本実施形態の一例に係る変換用データのデータ構造を示す模式図である。
【００７７】
例えば、図８において、Ｈは、水平方向の位置を示す数値であり、０．５が中心位置である。また、Ｖは、垂直方向の位置を示す数値であり、０．５が中心である。
【００７８】
このように、ピーク位置が変化した場合には、投写面座標における撮像画像Ａ’Ｂ’Ｃ’Ｄ’の各座標が変化することにより、重複領域抽出部１５６は、変化の度合いに応じて変換撮像情報を導出することができる。
【００７９】
そして、制御情報生成部１５９は、すべてのプロジェクタ２０の投写領域キャリブレーション画像の投写が終了したかどうかを判定し（ステップＳ５）、終了していない場合、制御情報を次のプロジェクタ２０−２へ向け送信する（ステップＳ６）。
【００８０】
プロジェクタ２０−２は、プロジェクタ２０−１と同様の手順で投写領域キャリブレーション画像を投写する。
【００８１】
撮像部１４０は、当該投写領域キャリブレーション画像を撮像し、撮像情報記憶部１５１は、当該投写領域キャリブレーション画像の撮像情報を記憶し、重複領域抽出部１５６は、撮像情報を投写面の座標系に変換した変換撮像情報を撮像情報記憶部１５１に記憶する。
【００８２】
このようにして撮像部１４０は、すべてのプロジェクタ２０からの投写領域キャリブレーション画像の投写、撮像、変換が終了したかどうかを判定し（ステップＳ５）、すべてのプロジェクタ２０からの投写領域キャリブレーション画像の投写、撮像、変換が終了した場合、撮像を終了する。
【００８３】
そして、重複領域抽出部１５６は、撮像情報記憶部１５１に記憶されたプロジェクタ２０ごとの変換撮像情報に基づき、図２（Ｂ）に示すような投写領域５２、５４の座標と、投写領域５２、５４が重なる重複領域６０の座標を検出する（ステップＳ７）。
【００８４】
より具体的には、重複領域抽出部１５６は、このようにしてスクリーン１０面（投写面）上の座標系で取り扱えるように変換した撮像情報に基づき、投写領域５２と投写領域５４との仮重複領域を抽出する。そして、重複領域抽出部１５６は、仮重複領域を、所望のアスペクト比（例えば、横と縦の比率が４：３、１６：９等）に調整した重複領域６０を抽出する。
【００８５】
なお、仮重複領域から重複領域６０を抽出する手法としては、例えば、仮重複領域の頂点から領域を広げていってもよいし、仮重複領域の中心から領域を広げていってもよい。
【００８６】
そして、補正用情報生成部１５８は、すべてのプロジェクタ２０の領域伝達処理が終了したかどうかを判定し（ステップＳ８）、終了していない場合、投写領域５４の座標と重複領域６０の座標を示す補正用情報を生成し、通信部１８０は、当該補正用情報をプロジェクタ２０−２へ向け送信する（ステップＳ９）。
【００８７】
プロジェクタ２０−１、２０−２の投写領域補正部１３０は、当該補正用情報に基づいて重複領域６０に画像が投写されるように画像信号を補正する。
【００８８】
以上の手順により、プロジェクタ２０−１、２０−２は、重複領域６０に画像が投写されるように画像信号を補正することができる。
【００８９】
このようにしてプロジェクタ２０−１、２０−２が重複領域６０に画像を投写可能となった状態で、プロジェクタ２０−１は、目標とする画像の色と明るさになるように、画像の色と明るさを補正する（ステップＳ１０）。
【００９０】
図７は、本実施形態の一例に係る画像の色と明るさを補正する処理の流れを示すフローチャートである。
【００９１】
制御情報生成部１５９は、キャリブレーション信号発生部１１２に第１のキャリブレーション画像用のキャリブレーション信号を発生するように、制御情報を送信する。プロジェクタ２０−１、２０−２のキャリブレーション信号発生部１１２は、当該制御情報に基づき、第１の色再現用キャリブレーション画像用のキャリブレーション信号を発生する。なお、色再現用キャリブレーション画像としては、例えば、赤、緑、青、白の原色の単色画像を適用してもよい。
【００９２】
そして、プロジェクタ２０−１、２０−２の画像投写部１９０は、当該キャリブレーション信号に基づき、第１の色再現用キャリブレーション画像を投写する（ステップＳ３１）。
【００９３】
これにより、スクリーン１０の重複領域６０には、プロジェクタ２０−１、２０−２から第１の色再現用キャリブレーション画像が投写された状態となる。
【００９４】
そして、センサー３０は、スクリーン１０を撮像し、撮像情報記憶部１５１は、第１の色再現用キャリブレーション画像の撮像情報を記憶する（ステップＳ３２）。
【００９５】
制御情報生成部１５９は、すべての色再現用キャリブレーション画像の撮像情報の記憶が終了したかどうかを判定し（ステップＳ３３）、終了していない場合、次の色再現用キャリブレーション画像が投写されるように、キャリブレーション信号発生部１１２に制御情報を出力する（ステップＳ３４）。
【００９６】
このようにして、第１〜第４の４色（４色には限定されない。）の色再現用キャリブレーション画像の撮像情報の記憶が終了した場合、色再現用情報生成部１５２は、当該撮像情報のＸＹＺ値と、プロファイル記憶部１５４に記憶されている目標色プロファイルとプロジェクタ２０のハードウェアプロファイルとに基づいて色と明るさの補正量を求める。
【００９７】
色補正部１２２は、色再現用情報生成部１５２によって生成された色の補正量情報に基づき、色補正用データの一種である３Ｄ−ＬＵＴ（３次元ルックアップテーブル）を更新し、明るさ補正部１２４は、色再現用情報生成部１５２によって生成された明るさの補正量情報に基づき、明るさ補正用データの一種である１Ｄ−ＬＵＴ（１次元ルックアップテーブル）を更新する（ステップＳ３５）。
【００９８】
そして、色補正部１２２は、更新した３Ｄ−ＬＵＴに基づき、画像信号を補正し、明るさ補正部１２４は、更新した１Ｄ−ＬＵＴに基づき、画像信号を補正する（ステップＳ３６）。これにより、画像の色と明るさが目標色に適合する。
【００９９】
そして、投写領域補正部１３０は、色再現部１２０からの画像信号を、重複領域６０に画像が投写されるように補正し、信号出力部１６０は、投写領域補正部１３０からの画像信号をアナログ変換して画像投写部１９０に出力する。
【０１００】
画像投写部１９０は、信号出力部１６０からの画像信号に基づき、画像の投写位置、画像の歪み、画像の色、画像の明るさが補正された画像を投写する（ステップＳ３７）。
【０１０１】
以上の手順により、プロジェクタ２０−１、２０−２は、画像の位置、画像の歪み、画像の色、画像の明るさが適切に補正された画像を表示することができる。
【０１０２】
以上のように、本実施形態によれば、プロジェクタ２０−１、２０−２は、複数の画像投写部１９０を用いて画像を重ね合わせて投写する場合に、投写画像の重複領域６０を抽出して補正用情報を生成し、当該補正用情報に基づいて画像信号を補正することにより、画像の歪みを自動的に補正して適切に画像を重ね合わせることができる。
【０１０３】
また、このような自動的な補正が可能となることにより、専門的知識を持たないユーザーであっても、容易に画像を重ね合わせて投写することができる。
【０１０４】
さらに、プロジェクタ２０を適用する投写面の大きさに応じてプロジェクタ２０を２台、４台と増加していった場合であっても、プロジェクタ２０は、効率的に画像を重ね合わせて投写することができる。
【０１０５】
また、本実施形態によれば、プロジェクタ２０は、投写画像の色合いではなく、投写画像の明るさの分布に基づいて画像の歪みを把握することができるため、スクリーン１０の色の影響を低減して投写画像の歪みをより正確に検出することができる。
【０１０６】
また、本実施形態によれば、プロジェクタ２０−１、２０−２は、異なる時点で投写領域キャリブレーション画像を投写して当該画像を撮像した場合であっても、輝度値の違いを把握することにより、重複領域６０を適切に抽出することができる。
【０１０７】
また、本実施形態によれば、プロジェクタ２０−１、２０−２は、矩形状の投写領域５２、５４の４隅と、矩形状の重複領域６０の４隅との差分値等を求めることにより、投写領域５２、５４が重複領域６０となるように画像信号を補正することができる。
【０１０８】
さらに、本実施形態によれば、プロジェクタ２０は、投写画像が重複領域６０に重なった状態の投写画像を撮像して画像の色と明るさを補正することにより、画像の色と明るさを適切に補正することができる。
【０１０９】
また、プロジェクタ２０−１は、センサー３０の撮像情報に基づくことにより、照明光や外光等の環境光の影響も反映して適切に画像の色や明るさを補正することができる。
【０１１０】
また、プロジェクタ２０は、投写画像の形状を直接把握するわけではないので、センサー３０の光軸と画像投写部１９０のレンズ１９８の光軸とが一致してもよいため、センサー３０をプロジェクタ２０と一体化しやすい（センサー３０をプロジェクタ２０に内蔵してもよい）。
【０１１１】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【０１１２】
例えば、上述した実施例では、補正用情報生成部１５８は、補正用情報として投写領域５４の４隅の座標情報と重複領域６０の４隅の座標情報を含む情報を生成したが、例えば、プロジェクタ２０−２がズームや投写角度変更を行わずに投写領域５４の４隅の座標を把握している場合、投写領域５４の４隅の座標と重複領域６０の４隅の座標との差分値を示す情報や、重複領域６０の４隅の座標情報のみを生成してもよい。これによっても、プロジェクタ２０−２は、投写領域５４を調整することができる。
【０１１３】
また、必ずしもプロジェクタ２０に通信部１８０を設ける必要はない。例えば、各プロジェクタ２０に撮像部１４０、情報生成部１５０を設け、各プロジェクタ２０が独立に投写領域、画像の色および明るさを補正してもよい。
【０１１４】
さらに、複数の画像投写部１９０が異なる位置に設けられ、撮像部１４０、情報生成部１５０等を含む画像処理装置を有する画像処理システムに本発明を適用してもよい。
【０１１５】
また、上述した実施例では、複数のプロジェクタ２０−１、２０−２が異なる時点においてそれぞれ投写領域キャリブレーション画像を投写し、各投写領域キャリブレーション画像の輝度値を合計することにより、重複領域６０を抽出したが、例えば、投写領域と重複領域の座標を直接検出する手法等を採用することにより、輝度値の差異に基づかないで重複領域６０を抽出する場合、複数のプロジェクタ２０−１、２０−２は、同時に投写領域キャリブレーション画像を投写してもよい。
【０１１６】
なお、この場合、各投写領域キャリブレーション画像は、それぞれ色や模様等が異なっていれば、各投写領域キャリブレーション画像を識別しやすい。
【０１１７】
また、上述した実施例では、プロジェクタ２０は、投写領域のキャリブレーションを実行した後に、画像の色と明るさのキャリブレーションを実行したが、逆の順番でもよい。
【０１１８】
また、上述した実施例では、プロジェクタ２０は、明るさ指標値として輝度値を用いたが、輝度値以外にも、例えば、照度値、明度値等の種々の明るさの指標となる明るさ指標値を適用してもよい。
【０１１９】
また、上述した実施例では、投写面は、スクリーン１０であってが、投写面として、例えば、壁等を適用してもよい。本実施形態では、スクリーン１０の４隅の座標を直接検出する手法ではなく、輝度分布に基づいてスクリーン１０の４隅の座標を検出する手法を採用することにより、種々の投写面に対して本発明を適用することができる。
【０１２０】
また、上述した実施例では、画像処理システムとしてプロジェクタ２０を用いたが、本発明は、プロジェクタ２０以外にもＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）等の種々の画像処理システムに有効である。
【０１２１】
また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ（ＤｉｇｉｔａｌＭｉｃｒｏｍｉｒｒｏｒＤｅｖｉｃｅ）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。
【０１２２】
また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実現してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実現してもよい。
【図面の簡単な説明】
【図１】画像投写時の状態を示す模式図である。
【図２】図２（Ａ）は、撮像座標における撮像画像を示す模式図であり、図２（Ｂ）は、投写面座標における撮像画像を示す模式図である。
【図３】図３（Ａ）は、左側のプロジェクタによる投写画像の模式図であり、図３（Ｂ）は、右側のプロジェクタによる投写画像の模式図である。
【図４】本実施形態の一例に係るプロジェクタの機能ブロック図である。
【図５】本実施形態の一例に係るプロジェクタのハードウェアブロック図である。
【図６】本実施形態の一例に係る画像処理の流れを示すフローチャートである。
【図７】本実施形態の一例に係る画像の色と明るさを補正する処理の流れを示すフローチャートである。
【図８】本実施形態の一例に係る変換用データのデータ構造を示す模式図である。
【符号の説明】
１０スクリーン、２０プロジェクタ、３０センサー、１２０色再現部、１２２色補正部、１２４明るさ補正部、１３０投写領域補正部、１４０撮像部、１５０情報生成部、１５１撮像情報記憶部、１５２色再現用情報生成部、１５４プロファイル記憶部、１５６重複領域抽出部、１５８補正用情報生成部、１５９制御情報生成部、１９０画像投写部、１８０通信部、９００情報記憶媒体

Claims

異なる位置に配置され、投写面で画像を重ねて表示するために画像信号に基づいて画像を投写する複数の画像投写手段と、
各画像投写手段によって投写された所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各画像投写手段によって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と各画像投写手段の投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像が投写されるように、各画像投写手段に入力する画像信号を補正する投写領域補正手段と、
を含むことを特徴とする画像処理システム。
請求項１において、
前記複数の投写手段は、異なる時点においてそれぞれ投写領域キャリブレーション画像を投写し、
前記重複領域抽出手段は、当該投写領域キャリブレーション画像の撮像情報に基づき、投写された投写領域キャリブレーション画像において最も明るい位置であるピーク位置を把握し、当該ピーク位置に基づき、前記投写面における投写領域を抽出することを特徴とする画像処理システム。
請求項２において、
前記重複領域抽出手段は、抽出した投写領域における画素ごとまたは画素ブロックごとの明るさ指標値を、各画像投写手段の投写領域ごとに加算することにより前記重複領域を抽出することを特徴とする画像処理システム。
請求項１〜３のいずれかにおいて、
前記重複領域抽出手段は、縦横の比率を調整した矩形状の重複領域を抽出し、
前記補正用情報生成手段は、前記補正用情報として、当該重複領域の４隅の位置と各画像投写手段の投写領域の４隅の位置を示す補正用情報、当該重複領域の４隅の位置を示す補正用情報、当該重複領域の４隅の位置と各画像投写手段の投写領域の４隅の位置との差分値を示す補正用情報のうちいずれかの補正用情報を生成することを特徴とする画像処理システム。
請求項１〜４のいずれかにおいて、
色再現用情報に基づき、目標とする画像の色と明るさを再現するために、画像の色と明るさを補正する色再現手段を含み、
前記複数の画像投写手段は、前記投写領域補正手段によって画像信号が補正されることにより、前記重複領域に画像を投写可能となった状態で、画像の色と明るさを補正するための色再現用キャリブレーション画像を前記重複領域に重ね合わせて投写し、
前記撮像手段は、前記重複領域に重ね合わされた色再現用キャリブレーション画像を撮像し、
前記補正用情報生成手段は、当該色再現用キャリブレーション画像の撮像情報に基づき、色再現用情報を生成し、
前記色再現手段は、当該色再現用情報に基づき、画像信号を補正することを特徴とする画像処理システム。
異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段と、
を含むことを特徴とするプロジェクタ。
異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と各プロジェクタの投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段と、
他のプロジェクタ用の補正用情報を他のプロジェクタへ向け送信する通信手段と、
を含むことを特徴とするプロジェクタ。
コンピュータにより読み取り可能なプログラムにおいて、
コンピュータを、
異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段として機能させることを特徴とするプログラム。
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体において、
コンピュータを、
異なる位置に配置され、投写面で他のプロジェクタによる投写画像と重ねて表示するために、画像信号に基づいて画像を投写する画像投写手段と、
所定の投写画像を撮像して撮像情報を出力する撮像手段と、
当該撮像情報に基づき、前記投写面における投写領域を抽出するとともに、各プロジェクタによって形成された複数の投写領域が重複する重複領域を抽出する重複領域抽出手段と、
当該重複領域と投写領域の差異を示す補正用情報を生成する補正用情報生成手段と、
当該補正用情報に基づき、前記重複領域に画像を投写するために、画像信号を補正する投写領域補正手段として機能させるためのプログラムを記憶したことを特徴とする情報記憶媒体。
複数の投写手段からの画像を重ね合わせて画像を表示するための画像処理方法において、
投写領域のキャリブレーションの際に、前記複数の投写手段を用いて異なる時点において各画像投写手段から投写領域キャリブレーション画像を投写し、
各画像投写手段によって投写された投写領域キャリブレーション画像を撮像して撮像情報を出力し、
当該撮像情報に基づき、撮像座標における撮像情報を、投写面座標における撮像情報に変換し、
当該撮像情報に基づき、各画像投写手段によるすべての投写画像における画素ごとの輝度値の合計値を演算し、
当該合計値に基づき、すべての投写画像が重なる重複領域を導出し、当該重複領域のうち投写画像と同一形状のスタック投写領域のスタック投写領域座標情報を導出し、
前記スタック投写領域の形状で画像を投写するために、当該スタック投写領域座標情報に基づき、投写画像の歪み補正用の歪み補正量を演算し、
当該歪み補正量に基づき、画像信号を補正して画像を投写することを特徴とする画像処理方法。
請求項１０において、
投写領域キャリブレーション画像の撮像情報に基づき、投写された投写領域キャリブレーション画像において最も明るい位置であるピーク位置を把握し、当該ピーク位置に基づき、撮像座標における撮像情報を、投写面座標における撮像情報に変換することを特徴とする画像処理方法。
請求項１１において、
抽出した投写領域における画素ごとまたは画素ブロックごとの明るさ指標値を、各画像投写手段の投写領域ごとに加算することにより前記重複領域を抽出することを特徴とする画像処理方法。
請求項１０〜１２のいずれかにおいて、
縦横の比率を調整した矩形状の重複領域を抽出し、
前記補正用情報として、当該重複領域の４隅の位置と各画像投写手段の投写領域の４隅の位置を示す補正用情報、当該重複領域の４隅の位置を示す補正用情報、当該重複領域の４隅の位置と各画像投写手段の投写領域の４隅の位置との差分値を示す補正用情報のうちいずれかの補正用情報を生成することを特徴とする画像処理方法。