JP6914969B2 - 投射型映像表示装置 - Google Patents

Description

本発明は、プロジェクタによる映像投射装置に関する。

プロジェクタから投影面に映像を投射する際に、使用者が投射される映像を見た時に視環境に影響されず色をより正確に知覚できるよう映像の色を補正する技術として、特許第４１２０８４１号公報（特許文献１）がある。特許文献１では「予め設定された第１色情報と、投影面上に投影された画像の第２色情報とに基づいて、投影面上に投影された前記画像の画素又はブロック毎に、色の見えを一致させる色変換を生成する色変換生成ステップと、入力画像の画素あるいはブロック毎に前記色変換を用いて色補正する色補正ステップとを備えたプロジェクタの色補正方法において、前記色変換は、色順応モデルあるいはカラーアピアランスモデルを用いて、投影面上に投影される画像の色を、その画像に想定された色情報における色の見えを保持する色変換であり、かつ、前記画素また前記ブロック毎に設定可能であることを特徴とするプロジェクタの色補正方法」が開示されている。

特許第４１２０８４１号公報

プロジェクタから投射される投射映像は、投射面の色、投射環境の環境照明の色、プロジェクタ内の光源の経年劣化などにより色が変化して見えてしまう。これに対し、上記特許文献１に係る手法では、投影面に投射した映像をカメラで撮影して色情報を取得し、投影面の色や模様、環境光の影響を低減するように投射映像の色を補正する技術が開示されている。ただし、プロジェクタがＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ：米国ＴＩ社の登録商標）もしくはＬＥＤ光源のように複数の原色を時分割で投射する方式（以降、色時分割プロジェクタと呼ぶ）であった場合、投射映像の時分割周期と投射映像を撮影するカメラの露光時間とが同期されていないと各原色で露光時間の過不足が発生し、投射映像の色を正確に取得することができない。一方、カメラがローリングシャッター方式（以降、ローリングシャッターカメラと呼ぶ）であった場合、イメージングセンサの上部と下部とで露光開始に時間差が生じる。よって、色時分割プロジェクタの投射映像をローリングシャッターカメラで撮影すると、撮影画像において上部と下部とで色が異なってしまう。特許文献１では、色時分割プロジェクタを用いた時、もしくは色時分割プロジェクタとローリングシャッターカメラを用いた時に色情報を取得する手法については開示されていない。

本発明は上記実情に鑑みてなされたものであり、より好適に投射映像の色を補正する技術を提供することを目的とする。

上記課題を解決するため、本発明は、その一例を挙げるならば、複数の色を時分割で表示し表示される映像を投射する映像投射ユニットと、映像投射ユニットからの投射映像について色補正を行う色補正部とを備え、内蔵の撮像装置または有線または無線で接続された外部の撮影装置により映像投射ユニットが投射した投射映像を撮像し、撮像した画像から検出した投射映像の時分割１周期に相当する映像または時分割１周期のＮ倍周期に相当する映像の色情報にもとづいて色補正部が色補正を行なう構成とする。

本発明によれば、より好適に投射映像の色を補正する技術を提供することができる。

実施例１における投射型映像表示装置の構成ブロック図である。 実施例１における投射型映像表示装置の使用状況を示す図である。 実施例１における映像投射ユニットのＤＬＰ方式の動作原理を示す図である。 実施例１における複数の原色を時分割で表示する投射型映像表示装置から投射される映像をローリングシャッター方式である撮像部により撮影した画像の一例を示す図である。 実施例１における投射映像の色補正を行うフローチャートである。 実施例２における撮影画像中の同じ座標の小領域を複数フレームについて積分する時間積分方式による色情報検出の説明図である。 実施例２における投射映像の色補正を行うフローチャートである。 実施例３における投射映像の色補正を行うフローチャートである。

以下、本発明に係る実施例について、図面を参照して説明する。

図１は、本実施例における投射型映像表示装置の構成ブロック図である。図１に示すように、投射型映像表示装置１００は、画像入力部１０１、色補正部１０２、撮像制御部１０３、撮像部１０４、画像解析部１０５、時分割周期取得部１０６、映像表示部１０７、映像投射ユニット１０８、及びバス１１０から構成される。

画像入力部１０１は、映像再生機やＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの外部接続機器から入力する画像の処理を行う。例えば入力画像がアナログ画像であった場合にはデコード処理により量子化し、以降の処理で扱うためのデジタル画像に変換する。

色補正部１０２は、画像入力部１０１から入力する画像に対して、画像解析部１０５により解析された色情報に基づき色を補正する。補正方法の一例として、映像投射ユニット１０８から投射される映像（以降、投射映像と呼ぶ）の色について、投射先のスクリーンの色または環境光の色により受ける影響を低減させるように、画像中各画素のＲＧＢまたはＹＣｂＣｒまたはＨＳＶ（色相、彩度、明度）を調整する。

撮像制御部１０３は、撮像部１０４の露光及びホワイトバランスが投射先のスクリーン及び環境光の色により影響されないように、露光条件及びホワイトバランスを設定する。また、撮像部１０４により撮影される画像が、映像投射ユニット１０８から投射される映像について、時分割で投射される色を1周期以上取得することができるように、静止画像もしくは動画像の撮影を制御する。制御方法の一例として、時分割周期取得部１０６により取得される時分割表示の１周期またはＮ倍周期に相当する時間だけ動画像を撮影するよう撮像部１０４を制御する。

撮像部１０４は、撮像制御部１０３の制御情報に基づき映像投射ユニット１０８から投射される映像を撮影する。撮像部１０４は、映像投射ユニット１０８から投射される映像を撮影するように設置され、または撮影範囲を設定される。撮像部１０４は、図１では投射型映像表示装置１００に内蔵された構成で示しているが、投射型映像表示装置１００と独立な構成であっても良く、この場合、撮像部１０４と撮像制御部１０３及び画像解析部１０５との間は有線もしくは無線で接続される。なお、本実施例において、撮像部１０４は、撮影される映像の上部と下部とで露光開始の時間差があるローリングシャッター方式のカメラを想定する。

画像解析部１０５は、撮像部１０４により撮影される画像を解析し、映像投射ユニット１０８から投射される映像の色情報を取得する。撮像部１０４により撮影される画像が、その一部に投射映像を含むような構成だった場合は、撮影画像中から投射映像の範囲を推定し、投射映像の範囲内で色情報を取得する。すなわち、撮像した映像の面内について色情報の分布を画像認識で検出することにより投射映像の時分割1周期またはＮ倍周期の範囲を推定する。具体的には、投射映像の範囲を推定する方法としては、映像投射ユニット１０８から投射する映像に形状もしくは模様が既知であるパターンを与えて撮像部１０４で撮影し検出するものでも良いし、映像投射ユニット１０８から適当な画像を投射した時と投射しない時それぞれについて撮像部１０４で撮影し、その差分より投射映像の範囲を求めるものでも良い。さらに画像解析部１０５は、時分割周期取得部１０６により取得される時分割表示の周期情報に基づき、複数の画素の色情報を積分し、時分割周期の１周期に相当する色情報を求める。具体的には、静止画像1枚について、画像面内の適当な範囲内の画素値を積分する面内積分モード、もしくは、複数撮影される動画像のうち、特定の画素位置について適当なフレーム範囲内で画素値を積分する時間積分モードがある。

時分割周期取得部１０６は、映像表示部１０７及び映像投射ユニット１０８から投射される映像の時分割周期を検出する。映像投射ユニット１０８は、例えば高速で回転するカラーホイールを備え、当該カラーホイールを用いて異なる色を時間方向に分離して投射することにより人の目では混色して見える表示方法を有しており、映像表示部１０７ではカラーホイールのモーター制御情報と同期して、各色に対応した画像を表示させる。時分割周期取得部１０６は、映像表示部１０７と同様にカラーホイールのモーター制御情報を用いてもよいし、後述するように、撮像部１０４により撮影される投射映像から分離した色情報の周期を検出しても良い。また、時分割周期取得部１０６は、画像解析部１０５で画像分析して時分割周期を検出し、その値を取得しても良いし、時分割周期が既知の場合は、それを記憶しているメモリから読み出しても良い。

映像表示部１０７は、映像投射ユニット１０８内の光学系光路上に配置されており、画像入力部１０１より入力される表示用画像について、映像投射ユニット１０８の色時分割表示の周期やタイミングと同期して画像を表示させる。映像投射ユニット１０８は、例えばカラーホイールが備える各セグメントを用いて全ての色のうち一部の色のみを透過させており、時分割方法が例えば赤・緑・青だった場合は、映像表示部１０７は画像入力部１０１から入力した画像を赤・緑・青の各色に色分離させる。また、例えば、映像投射ユニット１０８の光源がＬＥＤ光源であって、例えば赤・緑・青の点灯を高速に切り替えている場合であっても、映像表示部１０７は前述したのと同様に、映像投射ユニット１０８の色時分割表示の周期やタイミングと同期して赤・緑・青の画像に分離して表示させる。

映像投射ユニット１０８は、映像表示部１０７により作成される時分割映像を表示し、人の目では混色して見えるように映像を投射する。例えば、図３に、カラーホイールを備えたＤＬＰ方式のプロジェクタの構成例を示している。しかしながら、各色を時分割で切り替える方法としては、カラーホイールを用いずに、映像投射ユニット１０８の光源を例えば複数色のそれぞれの色が独立した光源とし、当該複数色の独立光源の点灯を高速に切り替えるものであっても良い。ＬＥＤ光源やレーザー光源などを用いればこれを実現することができる。

バス１１０は、接続されている各処理部で扱う画像データ及び、制御情報、解析情報を仲介する。

図２は、本実施例における投射型映像表示装置の使用状況を示す図である。図２は、図１における投射型映像表示装置１００から、スクリーン２００に画像を投射している状況を示している。図２において、スクリーン２００は、白色ではなく、可視光波長の一部において反射率が低いもしくは高い色味を持つものとする。また、撮像部１０４は、映像投射ユニット１０８からスクリーン２００に投射された投射映像２０１を撮像できる条件にて設置されている。伝送線２０２は、投射型映像表示装置１００に画像入力するデータ線であり、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）再生機やＰＣから出力される画像が伝送される。伝送線２０２は有線でも無線でも構わない。

図２に示すような構成においては、投射型映像表示装置１００は、後述する色情報取得に適した画像を映像投射ユニット１０８から投射し、スクリーン２００に投射された投射映像２０１を撮像部１０４により撮影し、画像解析部１０５により色情報を解析する。その後、伝送線２０２から入力する画像に対して色補正部１０２により色情報を補正することにより、スクリーン２００の色味の影響を低減し、使用者が見て自然な色となるよう画像を補正する。

図３は、複数の原色を時分割で表示する映像投射ユニット１０８の一例として、カラーホイール及びＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を用いたＤＬＰ方式のプロジェクタの動作原理を示す図である。まず、白色の光源３００は白色光を放射する。放射された白色光は照明光学系３１０−１によりカラーホイール３０１へ照射される。カラーホイール３０１は、高速で回転する円盤状のカラーフィルタであり、特定の波長の光線のみを透過させる特性を持つ。図３では赤・緑・青の３原色に分割されているものとして示しており、カラーホイール３０１の回転のタイミングにより、照明光学系３１０−１を経由した白色光のうち赤・緑・青のいずれかの色のみを透過させる。投射型映像表示装置の表示映像のフレームレートに応じてカラーホイール３０１の回転速度が決定され、例えば、６０フレーム／秒で映像表示する場合には、少なくとも６０回転／秒でカラーホイールが回転する必要がある。カラーホイール３０１を透過した光は、照明光学系３１０−２によりＤＭＤ３０２に照射される。ＤＭＤ３０２は、傾斜角度を高速で可変制御することができるマイクロミラーであり、表示素子の１画素に相当する。すなわち、表示画素数分だけマイクロミラーを配置し個別に傾斜角度を制御する。具体的には、マイクロミラーの反射光が投射光学系３１０−３を経てスクリーン２００に達する角度(スクリーン上で当該マイクロミラーに対応する画素の発光がＯＮになる角度)と、マイクロミラーの反射光がスクリーン２００に達しない角度(スクリーン上で当該マイクロミラーに対応する画素の発光がＯＦＦになる角度)とで切り替えに傾斜角度を可変する。これにより、角度傾斜制御による画素発光ＯＮ／ＯＦＦの時間比でスクリーン２００に投射する時間比を制御し、表示映像の濃淡を変化させることが可能である。例えば、カラーホイール３０１が６０回転／秒で回転し、１つの原色が回転角の１／３を占めているとすると、１つの原色の光がＤＭＤ３０２に照射されている時間は１／１８０秒となる。ＤＭＤ３０２は、１／１８０秒毎に赤・緑・青いずれかの色の階調を制御し、表示映像の階調が各原色で８ｂｉｔだとすると、ＤＭＤ３０２は（１／１８０）÷２５６秒の時間分解能で角度傾斜を制御する必要がある。スクリーン２００に投射される光は、十分に微小な時間では赤・緑・青のいずれかの色の明滅が発生しており、時変化で混色されることにより人の目で色を知覚することができる。

なお、照明光学系３１０−１、照明光学系３１０−２、投射光学系３１０−３の具体的な構成は従来の光学系の技術を採用すればよく、特定の光学系に限定されるものではない。図３においては説明を簡略化するために、これらの光学系を示す記号として単に凸レンズを表記したが、具体的にはさまざまな光学要素を組み合わせた光学系を採用すれば良い。また、カラーホイール３０１は、赤・緑・青の３原色に加えて、白のセグメントがあっても良い。

図４は、複数の原色を時分割で表示する映像投射ユニット１０８から投射される投射映像２０１を、ローリングシャッター方式である撮像部１０４により撮影した画像の一例を示す図である。図４において、撮影画像４０１−１〜４０１−３は、映像投射ユニット１０８から全画面白色を投射し、実際に投射映像を撮影した画像の一例を示し、撮像部１０４により複数フレームを連続して撮影した画像としてｔ＝ｎ、ｎ＋１、ｎ＋２フレームを撮影したものである。なお、全画面白色ではなく、既知の中間調の色でも良い。また、説明図４０２−１〜４０２−３は、撮影画像４０１−１〜４０１−３に写っている帯状の像を模式的に示したものであり、図中のＲ、Ｇ、Ｂはそれぞれ、赤色の帯、緑色の帯、青色の帯を示している。前述の通り、ローリングシャッター方式のカメラでは、撮像素子の垂直方向（撮影画像４０１−１〜４０１−３における上下方向）において、露光時間にズレが発生する。一方、図３にて既述した通り、色時分割プロジェクタによる投射映像２０１は高速にカラーホイールを回転させてスクリーン２００に投射する映像の色を高速に切り替えることにより色を表現している。このため、撮像部１０４における面内の露光時間のズレと映像投射ユニット１０８により表示される時分割周期に起因して、撮影画像において色が分離した状態で写ることとなる。図４では、赤・緑・青が比較的鮮明に分離しているが、色の見え方はカラーホイール３０１の仕様に依存して異なる。また図４では、ｔ＝ｎ、ｎ＋１、ｎ＋２と撮影フレームによって帯状の色が上下方向に動いて撮影されているが、フレーム間の変化量は、映像投射ユニット１０８におけるカラーホイール回転速度と、撮像部１０４の面内の露光時間のズレに依存して異なる。４０３は、撮影画像中で分離して写る色の時分割１周期分の領域を示しており、この領域内で色情報を積分（面内積分）することにより、色時分割プロジェクタの表示周期及び撮像部１０４の露光時間に起因する色のズレの影響を受けること無く、撮影対象であるスクリーン２００の色を取得することができる。

図５に、本実施例における、色を時分割で表示するプロジェクタにおいて撮影される投射映像から高精度に色情報を抽出して投射映像の色を補正するフローチャートを示す。本実施例は、時分割１周期（もしくはそのＮ倍）の範囲にて色情報を積分する面内積分による色情報検出の例である。

図５において、まず、Ｓ５０１で、色情報を取得・推定するための画像を映像投射ユニット１０８から投射させ、撮像部１０４により撮影する。スクリーン２００に投射される映像を見るとき、スクリーン２００の表面反射率をＲｒｅｆ、映像投射ユニット１０８から投射される映像の分光特性をＥｐｒｊ、その他照明などの環境光の分光特性をＥｅｎｖとすると、スクリーン２００から反射する光の分光特性Ｃｒｅｆは数式１のように表すことができる。ただし、数式１においてλは光の波長を示す。
[数１]

使用者の知覚する色Ｃｒｅｆが照明光とスクリーン２００の色に影響されず正確となるようにＥｐｒｊの色を補正するため、照明光Ｅｅｎｖ及びスクリーン２００の表面反射率Ｒｒｅｆを推定する必要がある。映像投射ユニット１０８から投射する映像の例として、赤・緑・青の３原色の組合せとして、黒、赤、緑、青、赤＋緑、緑＋青、青＋赤、白それぞれを投射し撮影する。撮像部１０４により撮影される画像は、図４で示したとおり面内で帯状の色が見られる。

Ｓ５０２では、Ｓ５０１で撮影される画像について、画像解析部１０５により単一フレームの画像の面内で時分割周期を検出する。撮影画像は図４に示すように、帯状の色が面内で周期的に繰り返し見られており、垂直方向の色情報が変化する周期を検出する。撮影画像４０１−１及び説明図４０２−１においては、撮影画像の面内でＲ及びＢが周期的に撮像されていることが判定でき、このとき、精度高く周期を検出するため、例えば撮影画像をＨＳＶ変換しＨ成分の変化について解析しても良い。また、時分割周期を初期設定で設定しても良い。

Ｓ５０３では、Ｓ５０２における時分割周期の検出が正常に完了したかを判定し、正常完了していない場合には、Ｓ５０４にて１フレーム待機しＳ５０１から処理を繰り返す。例えば、撮影画像４０１−３及び説明図４０２−３に示す撮影画像においては、Ｒ、Ｂの繰り返しを判定できず、周期を検出することができない。この場合は、撮影フレームを変えて再度判定処理を繰り返す。

Ｓ５０５では、Ｓ５０１〜Ｓ５０４で取得した撮影画像及び検出した時分割周期を用いて、時分割１周期分の色情報を積分してスクリーン２００の表面反射率Ｒｒｅｆ及び照明光Ｅｅｎｖを推定する。

Ｓ５０６では、Ｓ５０５により推定されたスクリーン２００の表面反射率Ｒｒｅｆ及び照明光Ｅｅｎｖに基づき、色補正部１０２による色補正量を算出する。

以上より、色時分割プロジェクタにおいて投射条件に応じた色補正を実施する際、投射映像を撮影した時に色の分離が見られる場合であっても、映像を投射する投影面の色、環境光の色、プロジェクタ光源の劣化などによる投射映像の見え方の変化を低減し、色情報を高精度検出し補正することが可能となる。

本実施例は、撮影画像中の同じ座標の小領域を複数フレームについて積分する時間積分方式による色情報検出の例について説明する。

図６に、図４で示す撮影画像４０１−１〜４０１−３のうち固定の座標で設定される小領域５０１（５０１−１〜５０１−３）を示し、小領域で取得される色情報Ｒ、Ｇ、Ｂを複数のフレームで計測したグラフを５０２に示す。小領域５０１は、単一の画素としても良いし複数画素からなる領域でも良い。また、撮影画像中に複数個設定するものでも良い。グラフ５０２は、撮影画像の撮影時刻を横軸とし、Ｒ、Ｇ、Ｂそれぞれ色情報の信号値を縦軸としている。

撮影画像は、ローリングシャッター方式である撮像部により撮影した場合は、図４に示すように、帯状の色が撮影時刻によって垂直方向に移動し、小領域５０１において周期的に色情報が変化する。一方、撮像部１０４が、ローリングシャッター方式でなく全ての撮像素子で同時に露光するグローバルシャッター方式である場合、図４に示すような撮影画像の面内での色のズレが生じず、撮影した瞬間の色時分割プロジェクタの投影色のみが撮像されてしまう。このため、撮像画像の面内が全て同じ色となるので、領域内で色情報を積分する面内積分方式では正確な色情報を取得できない。そこで、本実施例では、複数フレームについて、投影画像の色の時分割周期を検出し、撮影画像中の同じ座標の小領域（1画素または複数画素）を積分（時間積分）することにより、色時分割プロジェクタの表示周期に起因する色のズレの影響を受けること無く、撮影対象であるスクリーン２００の色を取得することができる。

図７に、本実施例における、色を時分割で表示するプロジェクタにおいて撮影される投射映像から高精度に色情報を抽出して投射映像の色を補正するフローチャートを示す。

図７において、まず、Ｓ７０１では、図５のＳ５０１と同様に、色情報を取得・推定するための画像を映像投射ユニット１０８から投射させ、撮像部１０４により撮影する。

Ｓ７０２では、Ｓ５０１で撮影される撮影画像中の規定の小領域について、画像解析部１０５により複数フレームで時分割周期を検出する。撮影画像の小領域は、図６に示す色情報Ｒ、Ｇ、Ｂのグラフ５０２のように変化するので、色情報の時間変化から時分割周期を検出する。このとき、精度高く周期を検出するため、例えば撮影画像をＨＳＶ変換しＨ成分の変化について解析しても良い。

Ｓ７０３では、図５のＳ５０３と同様に、Ｓ７０２における時分割周期の検出が正常に完了したかを判定し、正常完了していない場合には、Ｓ７０４にて１フレーム待機しＳ７０２からの処理を繰り返す。

Ｓ７０５では、Ｓ７０１〜Ｓ７０４で取得した撮影画像及び検出した時分割周期を用いて、時分割1周期分の色情報を積分してスクリーン２００のＲｒｅｆ及び照明光Ｅｅｎｖを推定する。

その後、図５のＳ５０６と同様に、Ｓ５０６で、Ｓ７０５により推定されたスクリーン２００の表面反射率Ｒｒｅｆ及び照明光Ｅｅｎｖに基づき、色補正部１０２による色補正量を算出する。

以上より、色時分割プロジェクタにおいて投射条件に応じた色補正を実施する際、撮像部がグローバルシャッター方式であり、投射映像を撮影した時に色の分離が見られる場合であっても、色情報を高精度検出し補正することが可能となる。

本実施例は、色情報検出方式として、実施例１の面内積分方式と、実施例２の時間積分方式とを選択可能とした例について説明する。

図８に、本実施例における、色を時分割で表示するプロジェクタにおいて撮影される投射映像から高精度に色情報を抽出して投射映像の色を補正するフローチャートを示す。

図８において、まず本処理が開始されると、撮像部１０４によりスクリーン２００を撮影し、画像解析部１０５により撮影画像中の投射映像２０１を検出する（Ｓ８０１）。検出方法として、映像投射部から映像を投射していない状態と、映像投射部から適当な映像を投射している状態それぞれを撮影し、これらの撮影画像の差分を求めることにより、投射映像部分を検出する。ただし、投射映像部分の検出方法はこれに限らず、例えば光源３００が赤外光を含む光を照射しかつ撮像部１０４が赤外光に感度を持っているとき、撮影される画像から赤外成分を検出するものでも良いし、映像投射部から投射する映像の一部または全体に形状が既知であるパターンを表示させ、撮影される画像のうちパターンを検出することにより投射映像部分を検出するものでも良い。または、投射型映像表示装置１００に手動操作用のＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）もしくは操作パネルを追加し、使用者の指定により撮影画像中の投射映像部分を選択させて検出結果とするものでも良い。

Ｓ８０２では撮像部１０４がローリングシャッター方式であるかを判定する。判定方法としては、使用者が手動で設定するものでも良いし、撮像部により撮影する画像から、例えば蛍光灯のフリッカーや移動物体を検出し、面内で露光時間のズレに起因する像の位置ズレもしくは色情報のズレの有無を判定するものでも良い。特に、撮像部１０４が外付けの場合に、この判定は必要である。また、既知の場合は、この判定は不要である。撮像部１０４がローリングシャッター方式でなく、例えばグローバルシャッター方式だった場合、前述したように、図４で例示したような撮影画像中においては帯状の色は見られず、カラーホイール３０１により分離された色が全画面に見られるような画像が得られる。このときは、撮影画像の面内で時分割周期の１周期分の色情報を積分することができず、複数のフレーム画像について色情報を時間積分し推定することが必要となる。

Ｓ８０３では、色情報の推定方法として、撮影画像の面内で色情報を積分し推定する面内積分モードもしくは複数のフレーム画像について色情報を積分し推定する時間積分モードを使用者が選択し、モードを決定する。

以降、面内積分モードの場合は、実施例１の図５で説明したように、Ｓ５０１〜Ｓ５０５を実施し色情報を推定する。また、時間積分モードの場合は、実施例２の図７で説明したように、Ｓ７０１〜Ｓ７０５を実施し色情報を推定する。そして、Ｓ５０６で、推定した色情報に基づき、色補正部１０２による色補正量を算出する。

以上より、撮像部がローリングシャッター方式かグローバルシャッター方式かに係わらず、色時分割プロジェクタにおいて投射条件に応じた色補正を実施する際、投射映像を撮影した時に色の分離が見られる場合であっても、色情報を高精度検出し補正することが可能とできる。

なお、前述した実施例においては、投射映像の面内を均一に色補正するよう説明したが、以下の方法に則って、面内の小領域もしくは画素毎に色補正することが可能である。すなわち、Ｓ８０３にて時間積分モードを選択し、撮像部１０４により投射映像を撮影した後、投射映像部分の小領域ごともしくは全画素について色情報を取得することにより、小領域もしくは画素毎で色補正値を算出することができ、例えば模様のある壁をスクリーンとして映像を投射する場合であっても、壁の色及び模様の影響を低減し、投射映像の視認性を向上させる色補正を実現することができる。

また、前述した撮像部１０４における面内の露光時間のズレと映像投射ユニット１０８により表示される時分割周期に起因する撮影画像における色の分離について、撮像部１０４の撮像条件として例えば露光設定を変更することで露光時間のズレを変化させ、撮影画像における色分離の分布、周期を変えることもできる。具体例としては、撮影画像の輝度を維持したままカメラの露光時間を変化させるために、ゲインもしくは絞りなどを調整する。これにより、例えばＳ５０３もしくはＳ７０３において時分割周期が正常に検出できない場合に、時分割周期の推定精度を向上することを目的として、露光設定を調整することにより撮影画像における色分離の分布、周期を変えることができる。

１００…投射型映像表示装置、１０１…画像入力部、１０２…色補正部、１０３…撮像制御部、１０４…撮像部、１０５…画像解析部、１０６…時分割周期取得部、１０７…映像表示部、１０８…映像投射ユニット、２００…スクリーン、２０１…投射映像、４０１−１〜４０１−３…撮影画像、４０２−１〜４０２−３…説明図、４０３…時分割１周期分の領域、５０１（５０１−１〜５０１−３）…小領域、５０２…小領域で取得される色情報Ｒ、Ｇ、Ｂを複数のフレームで計測したグラフ

Claims (6)

1. 投射型映像表示装置において、
   入力画像に基づいて複数の色の映像を時分割で表示し、該表示される映像を投射する映像投射ユニットと、
   前記入力画像について色補正を行う色補正部と、
   内蔵の撮像装置または有線または無線で接続された外部の撮影装置により撮像された前記映像投射ユニットが投射した投射映像に基づいて、前記投射映像の時分割１周期または時分割１周期のＮ倍周期を検出する時分割周期取得部と、を備え、
   前記色補正部は、前記検出された時分割１周期または時分割１周期のＮ倍周期に相当する映像の色情報にもとづいて前記入力画像について色補正を行い、
   前記撮像装置がローリングシャッター方式であり、前記時分割周期取得部は、前記投射映像を撮像した画像の単一フレームにおいて、垂直方向の色情報が変化する周期を検出することにより、前記時分割１周期または時分割１周期のＮ倍周期を検出することを特徴とする投射型映像表示装置。
2. 投射型映像表示装置において、
   入力画像に基づいて複数の色の映像を時分割で表示し、該表示される映像を投射する映像投射ユニットと、
   前記入力画像について色補正を行う色補正部と、
   内蔵の撮像装置または有線または無線で接続された外部の撮影装置により撮像された前記映像投射ユニットが投射した投射映像に基づいて、前記投射映像の時分割１周期または時分割１周期のＮ倍周期を検出する時分割周期取得部と、を備え、
   前記色補正部は、前記検出された時分割１周期または時分割１周期のＮ倍周期に相当する映像の色情報にもとづいて前記入力画像について色補正を行い、
   前記撮像装置がグローバルシャッター方式であり、前記時分割周期取得部は、前記投射映像を撮像した画像の複数フレーム間の、同じ座標の所定領域の色情報の変化を検出することにより、前記時分割１周期または時分割１周期のＮ倍周期を検出することを特徴とする投射型映像表示装置。
3. 請求項１または２に記載の投射型映像表示装置であって、
   更に、前記撮像装置により撮像される画像１フレームに、前記投射映像のうち時分割周期の１周期に相当する映像が含まれるように、前記撮像装置の撮像条件を制御する撮像制御部を備えることを特徴とする投射型映像表示装置。
4. 請求項３に記載の投射型映像表示装置であって、
   前記時分割周期取得部は、前記撮像した画像を画像分析して前記時分割１周期または時分割１周期のＮ倍周期を検出することを特徴とする投射型映像表示装置。
5. 投射型映像表示装置において、
   入力画像に基づいて複数の色の映像を時分割で表示し、該表示される映像を投射する映像投射ユニットと、
   前記入力画像について色補正を行う色補正部と、
   内蔵の撮像装置または有線または無線で接続された外部の撮影装置により撮像された前記映像投射ユニットが投射した投射映像に基づいて、前記投射映像の時分割１周期または時分割１周期のＮ倍周期を検出する時分割周期取得部と、を備え、
   前記色補正部は、前記検出された時分割１周期または時分割１周期のＮ倍周期に相当する映像の色情報にもとづいて前記入力画像について色補正を行い、
   前記時分割周期取得部は、
   ローリングシャッター方式の前記撮像装置に対応したモードであって、前記投射映像を撮像した画像の単一フレームにおいて、垂直方向の色情報が変化する周期を検出することにより、前記時分割１周期または時分割１周期のＮ倍周期を検出する第１のモードと、
   グローバルシャッター方式の前記撮像装置に対応したモードであって、前記投射映像を撮像した画像の複数フレーム間の、同じ座標の所定領域の色情報の変化を検出することにより、前記時分割１周期または時分割１周期のＮ倍周期を検出する第２のモードと、を有し、
   前記投射型映像表示装置の使用者により前記第１のモード又は前記第２のモードのいずれかが選択されるように構成されることを特徴とする投射型映像表示装置。
6. 請求項１乃至５のいずれか１項に記載の投射型映像表示装置であって、
   前記色補正部は、前記検出された時分割１周期または時分割１周期のＮ倍周期分の色情報を積分して前記投射映像が投射されるスクリーンの表面反射率と環境光の分光特性を推定し、該推定したスクリーンの表面反射率と環境光の分光特性に基づき色補正量を算出すし、該算出した色補正量を用いて色補正を行うことを特徴とする投射型映像表示装置。

Images