JP6700731B2 - 投影装置および投影システム - Google Patents

Description

本発明は、投影装置および投影システムに関する。

近年、アミューズメント施設やフライトシミュレータなどのシミュレーション用途において、投影装置を使ったシミュレーションシステムが常設されるようになってきている。このような常設の投影システムにおける１つの課題は、投影画像の投影位置、形状あるいは画質を維持することである。

投影装置の振動などの要因によって投影位置がずれた場合、投影を一旦中断して手動で較正するためには、多大な時間と労力が発生してしまうという課題がある。特に、複数の投影装置を組み合わせて使用するシステムにおいては、互いの投影位置の較正は極めて難しく、専門的な較正技術を持った人が必要であった。

上記の課題を解決するために、特許文献１には、投影装置から投影する較正パターンをカメラで撮影し、調整パラメータを生成して、スクリーン上での較正パターンの形状を補正する技術が開示されている。また、特許文献２には非可視光で投影された較正パターンをカメラで撮影することで、較正パターンが投影画像の視聴を妨げることを防ぐ技術が開示されている。

特許第３９０８２５５号公報 特開２０１１−２１１６９３号公報

しかしながら、特許文献１及び２では、投影画像の撮影タイミングについて特別な言及がなされていない。そのため、例えば、投影画像が線順次に更新されていく投影装置においては、フレーム毎に異なる較正パターンを重畳した投影画像を撮影する場合、撮影するタイミングによっては、１枚の画像に複数のフレームのパターンが混在してしまうことがある。このような画像からは、適切な調整パラメータを得ることができないという課題があった。

この課題について図１２を用いて説明する。図１２（ａ）は投影装置のパネル上に描画される画像の更新タイミングの一例を示した図である。図１２（ｂ）は、フレーム１の投影画像、図１２（ｃ）はその次のフレーム２の投影画像を表している。

ここで、投影画像を表示するパネルは、水平同期信号（ＨＤ）に同期して、ライン毎に描画更新を行う。時間ｔ１２１〜ｔ１２２間では、フレーム１の１ライン目の画像が描画される。時間ｔ１２２〜ｔ１２３間では、フレーム１の２ライン目の画像が描画される。同様にして、パネルの全ライン（ここではＮライン）が順に更新されていく。更新が終わったラインの画像は次の更新まで保持される。

図１２（ｄ）は時間ｔ１２４においてパネル上に描画されている画像を示した図である。時間ｔ１２４においては、フレーム２の画像の１／３にあたるｋライン目までが更新されており、（ｋ＋１）〜Ｎライン目はフレーム１の画像が引き続き描画されている。このタイミングで投影画像を撮影した場合、フレーム１と２が混ざった図１２（ｄ）の様な画像が撮影されてしまう。このような画像を使って投影画像の補正を行うと誤補正の原因となってしまう。

本発明は上記問題点を鑑みてなされたものであり、投影画像の補正パラメータを得るためのより適切な画像を撮影することを目的とする。

上記目的を達成するために、本発明の投影装置は、入力された動画のフレーム画像に予め決められた較正パターンを合成して、合成したフレーム画像の画像信号を出力する合成手段と、前記合成手段から出力された画像信号に基づいて、表示手段の透過率または反射率を制御して画像を形成する表示制御手段と、前記表示手段に光を照射することにより、前記表示手段に形成された画像を投影する投影手段と、前記投影手段により投影された画像を撮影する撮像手段と、前記撮像手段により撮影された画像から前記較正パターンを抽出し、該抽出した較正パターンの状態に応じて、前記表示手段に形成する画像を補正するための補正パラメータを生成する生成手段と、前記表示手段の透過率または反射率が更新されるタイミングに基づいて、前記撮像手段により撮影された画像に、前記表示手段の透過率または反射率の更新前後の画像が混在しないように、撮像タイミングを制御する撮像制御手段と、を有し、前記撮像手段は、撮像素子を有し、前記撮像制御手段は、前記動画のフレームレートの変更に応じて、前記撮像素子の電荷蓄積時間を変更し、前記合成手段は、前記フレーム画像に対して、前記較正パターンを加算することにより合成した加算画像と、前記較正パターンを減算することにより合成した減算画像の画像信号を出力し、前記生成手段は、前記投影手段により投影された前記加算画像を撮影した画像から、前記投影手段により投影された前記減算画像を撮影した画像を差分することにより、前記較正パターンを抽出する。

本発明によれば、投影画像の補正パラメータを得るためのより適切な画像を撮影することが可能となる。

本発明の実施形態における液晶プロジェクタの全体構成を示すブロック図。 実施形態における液晶プロジェクタの基本動作の制御を説明するためのフローチャート。 第１の実施形態における画像処理部、液晶制御部および撮像部の内部構成を示すブロック図。 第１の実施形態における較正パターンの一例と、その較正パターンの投影画像への合成例を示した図。 第１の実施形態における液晶パネルの更新タイミングを示したタイミング図。 第１の実施形態における撮像センサの電荷蓄積および読み出しタイミングの一例を示したタイミング図。 第１の実施形態における撮像センサの電荷蓄積および読み出しタイミングの一例を示したタイミング図。 第１の実施形態における液晶プロジェクタの動作を示すフローチャート。 第２の実施形態における撮像センサの電荷蓄積および読み出しタイミングの一例を示したタイミング図。 第３の実施形態における画像処理部および液晶制御部と、液晶パネルの領域との関係を説明するための図。 第３の実施形態における液晶パネルの更新タイミングの一例と、撮像センサの電荷蓄積および読み出しタイミングの一例を示した図。 従来の線順次更新方式のパネルの更新タイミングの例と、液晶パネルに形成される画像について説明した図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明するが、本発明は以下の実施の形態に限定されるものではない。本実施形態では、投影装置の一例として、液晶パネルを用いたプロジェクタについて説明する。

＜全体構成＞
まず、図１を用いて、第１の実施形態における液晶プロジェクタの全体構成について説明する。本実施形態の液晶プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、液晶プロジェクタ１００は、さらに、液晶制御部１５０、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、液晶プロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１８０、表示制御部１９５、表示部１９６を有していてもよい。

ＣＰＵ１１０は、液晶プロジェクタ１００の各動作ブロックを制御する。ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶し、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納する。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生することもできる。また、ＣＰＵ１１０は、不図示の外部装置から通信部１９３を介して受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生することもできる。また、撮像部１８０により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体１９２に記録させることもできる。

操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３により外部装置から入力された制御信号を受信して、液晶プロジェクタ１００の各動作ブロックを制御する。ここで、外部装置は、液晶プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

画像処理部１４０は、外部装置から画像入力部１３０を介して受信した映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用の単数または複数のマイクロプロセッサからなる。なお、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。また、画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）といった機能を実行することが可能である。更に、画像処理部１４０は、画像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。

光源１６１は、不図示のスクリーンに画像を投影するための光を照射するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。光源制御部１６０は、光源１６１のオン／オフや光量の制御をするものであり、制御用の単数または複数のマイクロプロセッサからなる。なお、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。

液晶制御部１５０（表示制御手段）は、画像処理部１４０で処理の施された映像信号に基づいて、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの画素毎の液晶に印加する電圧を制御して、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率または反射率を調整する。なお、以下においては、透過型のプロジェクタとして説明するため、液晶制御部１５０は液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整するが、反射型のプロジェクタの場合には、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの反射率を調整する。液晶制御部１５０は、例えば液晶制御用の単数または複数のマイクロプロセッサからなる。また、液晶制御部１５０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が液晶制御部１５０と同様の処理を実行しても良い。

液晶パネル１５１Ｒは、赤色に対応する液晶パネルであって、光源１６１から出力され、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、液晶制御部１５０の制御により調整された透過率で、赤色（Ｒ）の光を透過する。液晶パネル１５１Ｇは、緑色に対応する液晶パネルであって、色分離部１６２で分離された光のうち、液晶制御部１５０の制御により調整された透過率で、緑色（Ｇ）の光を透過する。液晶パネル１５１Ｂは、青色に対応する液晶パネルであって、色分離部１６２で分離された光のうち、液晶制御部１５０の制御により調整された透過率で、青色（Ｂ）の光を透過する。なお、以下の説明においては、適宜、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂをまとめて、液晶パネル１５１と表記する。

色合成部１６３は、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂをそれぞれ透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するもので、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分が合成された光は、投影光学系１７１を介して、スクリーンに投影される。このとき、液晶パネル１５１（表示手段）は、画像処理部１４０から入力された画像に対応する光の透過率または反射率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

光学系制御部１７０は、投影光学系１７１を制御するものであり、単数または複数の制御用のマイクロプロセッサからなる。なお、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズおよびレンズ駆動用のアクチュエータからなる。そして、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。

記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生したり、また、撮像部１８０により得られた画像や映像の静止画データや動画データをＣＰＵ１１０から受信して記録媒体１９２に記録したりするものである。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録しても良い。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するための単数または複数のマイクロプロセッサからなる。なお、記録再生部１９１は、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行しても良い。

記録媒体１９２は、静止画データや動画データ、その他、本実施形態の液晶プロジェクタに必要な制御データなどを記録する。記録媒体１９２としては、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。

通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。

撮像部１８０は、本実施形態の液晶プロジェクタ１００やその周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１８０は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１８０は、被写体の光学像を結像するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサを含む。更に、撮像部１８０は、レンズを介して入射した光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。また、撮像部１８０は、スクリーンと逆方向の視聴者側を撮影できるようなものであっても良い。

表示制御部１９５は、液晶プロジェクタ１００に備えられた表示部１９６に液晶プロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御を行う。また、表示制御部１９５は、表示制御を行う単数または複数のマイクロプロセッサなどからなる。なお、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行しても良い。また、表示部１９６は、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示する。表示部１９６は、画像を表示できればどのようなものであっても良く、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

＜基本動作＞
次に、図１および図２を用いて、本実施形態における液晶プロジェクタ１００の基本動作について説明する。

図２は、本実施形態の液晶プロジェクタ１００の基本動作の制御を説明するためのフローチャートである。図２の動作は、基本的にＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各機能ブロックを制御することにより実行される。また、図２のフローチャートは、操作部１１３や不図示のリモコンにより、ユーザが液晶プロジェクタ１００の電源のオンを指示した時点をスタートとしている。

操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部から液晶プロジェクタ１００の各部に電力を供給する。

次に、ＣＰＵ１１０は、ユーザによる操作部１１３やリモコンの操作により選択された表示モードを判定する（Ｓ２１０）。本実施形態では、液晶プロジェクタ１００の表示モードとして、「入力画像表示モード」、「ファイル再生表示モード」、「ファイル受信表示モード」の３つの表示モードを想定する。「入力画像表示モード」では、画像入力部１３０より入力された映像を表示する。「ファイル再生表示モード」では、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データの画像や映像を表示する。「ファイル受信表示モード」では、通信部１９３から受信した静止画データや動画データの画像や映像を表示する。なお、本実施形態では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、前回終了時の表示モードになっていてもよく、また、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ２１０の処理は省略可能である。

Ｓ２１０で、「入力画像表示モード」が選択されると、ＣＰＵ１１０は、画像入力部１３０から映像が入力されているか否かを判定する（Ｓ２２０）。入力されていない場合（Ｓ２２０でＮｏ）には、入力が検出されるまで待機し、入力されている場合（Ｓ２２０でＹｅｓ）には、ＣＰＵ１１０は、投影処理を実行する（Ｓ２３０）。

ＣＰＵ１１０は、投影処理として、画像入力部１３０より入力された映像を画像処理部１４０に送信し、画像処理部１４０に、映像の画素数、フレームレート、形状の変形を実行させ、処理の施された１画面分の画像を液晶制御部１５０に送信する。そして、ＣＰＵ１１０は、液晶制御部１５０に、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御させる。そして、ＣＰＵ１１０は、光源制御部１６０に光源１６１からの光の出力を制御させる。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、それぞれの光を、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給された各色の光は、各液晶パネル１５１の画素毎に透過する光量が透過率に応じて制限される。そして、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のそれぞれの光は、色合成部１６３に供給され再び合成される。そして、色合成部１６３で合成された光は、投影光学系１７１を介して、不図示のスクリーンに投影される。この投影処理は、画像を投影している間、１フレームの画像毎に順次、実行される。

このとき、ユーザにより投影光学系１７１を操作する指示が操作部１１３から入力されると、ＣＰＵ１１０は、光学系制御部１７０に、投影画像の焦点を変更したり、光学系の拡大率を変更したりするように、投影光学系１７１のアクチュエータを制御させる。

上述した画像の投影中に、ＣＰＵ１１０は、ユーザにより表示モードを切り替える指示が操作部１１３から入力されたか否かを判定する（Ｓ２４０）。ここで、ユーザにより表示モードを切り替える指示が操作部１１３から入力されると（Ｓ２４０でＹｅｓ）、再びＳ２１０に戻り、表示モードの判定を行う。このとき、ＣＰＵ１１０は、画像処理部１４０に、表示モードを選択させるためのメニュー画面をオンスクリーンディスプレイ（ＯＳＤ）画像として送信し、投影中の画像にこのＯＳＤ画像を重畳させるように画像処理部１４０を制御する。ユーザは、この投影されたＯＳＤ画像を見ながら、表示モードを選択することができる。

一方、画像の投影中に、ユーザにより表示モードを切り替える指示が操作部１１３から入力されない場合は（Ｓ２４０でＮｏ）、ＣＰＵ１１０は、ユーザにより投影終了の指示が操作部１１３から入力されたか否かを判定する（Ｓ２５０）。ここで、ユーザにより投影終了の指示が操作部１１３から入力された場合には（Ｓ２５０でＹｅｓ）、ＣＰＵ１１０は、液晶プロジェクタ１００の各ブロックに対する電源供給を停止させ、画像投影を終了させる。一方、ユーザにより投影終了の指示が操作部１１３から入力されない場合には（Ｓ２５０でＮｏ）、Ｓ２２０へ戻り、以降、ユーザにより投影終了の指示が操作部１１３から入力されるまでの間、Ｓ２２０からＳ２５０までの処理を繰り返す。

以上のように、本実施形態の液晶プロジェクタ１００は、スクリーンに対して画像を投影する。

一方、Ｓ２１０において、「ファイル再生表示モード」または「ファイル受信表示モード」が選択されると、Ｓ２６０に移る。Ｓ２６０では、「ファイル再生表示モード」が選択されている場合、ＣＰＵ１１０は、記録再生部１９１に記録媒体１９２から静止画データや動画データのファイルリストや各ファイルのサムネイルデータを読み出させ、ＲＡＭ１１２に一時的に記憶する。また、「ファイル受信表示モード」が選択されている場合には、ＣＰＵ１１０は、通信部１９３から受信した静止画データや動画データのファイルリストや各ファイルのサムネイルデータを、ＲＡＭ１１２に一時的に記憶する。そして、Ｓ２７０において、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時記憶されたファイルリストに基づく文字画像や各ファイルのサムネイルデータに基づく画像一覧を生成し、画像処理部１４０に送信する。ＣＰＵ１１０は、「入力画像表示モード」におけるＳ２３０の投影処理と同様にして、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御し、画像一覧を投影する。

次に、Ｓ２８０において、表示された画像一覧から、操作部１１３により表示された文字や画像を選択する指示が入力されると、画像データを取得する処理を行う。より具体的には、「ファイル再生表示モード」の場合、ＣＰＵ１１０は、選択された静止画データや動画データを記録媒体１９２から読み出すように記録再生部１９１を制御する。また、「ファイル受信表示モード」の場合、通信部１９３を介して、外部装置に選択された静止画データや動画データを送信するようにリクエストする。そして、ＣＰＵ１１０は、得られた静止画データや動画データをＲＡＭ１１２に一時的に記憶する。そして、Ｓ２９０において、ＣＰＵ１１０は、「入力画像表示モード」におけるＳ２３０の投影処理と同様に、記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を投影する。

動画データを再生した時には、再生した動画データの映像を順次画像処理部１４０に送信し、「入力画像表示モード」におけるＳ２３０の投影処理と同様にして、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御し、動画を投影する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、「入力画像表示モード」におけるＳ２３０の投影処理と同様にして、画像処理部１４０、液晶制御部１５０、光源制御部１６０を制御して、静止画を投影する。

＜第１の実施形態＞
次に、図３を参照して、上述した構成を有する第１の実施形態の液晶プロジェクタ１００における画像処理部１４０、液晶制御部１５０および撮像部１８０の構成について詳しく説明する。

●画像処理部１４０の構成
画像処理部１４０は、前処理部１４１、メモリ制御部１４２、画像メモリ１４３、後処理部１４４、出力同期信号生成部１４５で構成され、投影する画像データに、較正パターンを付加する。

前処理部１４１、メモリ制御部１４２、後処理部１４４、出力同期信号生成部１４５は、レジスタバス１９９を介してＣＰＵ１１０と接続されている。また、前処理部１４１、メモリ制御部１４２には、画像入力部１３０からの入力垂直同期信号ＩＶＤおよび入力水平同期信号ＩＨＤを含んだタイミング信号が入力されている。更には、メモリ制御部１４２、後処理部１４４には、液晶制御部１５０からの出力垂直同期信号ＯＶＤおよび出力水平同期信号ＯＨＤを含んだタイミング信号が入力されている。なお、以下の説明では、入力垂直同期信号ＩＶＤおよび入力水平同期信号ＩＨＤをまとめて入力同期信号、また、出力垂直同期信号ＯＶＤおよび出力水平同期信号ＯＨＤをまとめて、出力同期信号と呼ぶ。

前処理部１４１は、画像入力部１３０から入力された画像を、液晶パネル１５１に適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理を含む表示レイアウトの変換処理を行う。

メモリ制御部１４２は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ１４３のメモリアドレスの発行、画像の書き込みおよび読み出し制御を行う。ここでは、同じ画像を画像メモリ１４３から２度読み出すことによりフレームレートを倍速化する処理も行う。いずれのケースにおいても、画像メモリ１４３に対して、ＩＶＤおよびＩＨＤに同期して画像の書き込み制御を行い、ＯＶＤおよびＯＨＤに同期して画像の読み出し制御を行う。

後処理部１４４は、較正パターン生成部１４７、合成部１４８、画像補正部１４９を有する。較正パターン生成部１４７は、投影映像の投影位置もしくは形状の較正のために必要なパターンを生成する。このパターンは、例えば図４（ａ）に示すような複数の矩形からなる公知のパターンや、または米国特許第８９０７７９５号で開示されている技術を用いて生成される２次元座標情報をコード化したパターンであってもよく、限定されるものではない。

合成部１４８は、較正パターン生成部１４７が生成した較正パターンを入力画像に合成する。また、合成の際には階調のオーバーフロー、アンダーフローが発生しないように、較正パターンの階調を補正する。

なお、投影画像に合成された較正パターンは、液晶プロジェクタ１００の視聴者に視認されないことが望ましい。そこで、合成部１４８は較正パターンを常に画像に合成するのではなく、必要に応じて、例えば数分に１回１フレームだけ合成してもよい。また、前述した様に、メモリ制御部１４２が画像メモリ１４３から同じ画像を２度読み出すことによって倍速化した場合、較正パターンを次のように合成しても良い。即ち、先に読み出したフレームでは、図４（ｂ）の様に較正パターンを減算して合成し、後に読み出したフレームでは、図４（ｃ）の様に較正パターンを加算して合成する。この方法では、２フレームを使って視覚的な積分効果を利用することで、パターンを視認されにくくすることができる。

画像補正部１４９は、液晶パネル１５１と投影光学系１７１に起因する表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶パネル１５１の階調性に合わせた、ディザリングを代表とする階調変換やガンマ変換などの画像処理を行う。

出力同期信号生成部１４５は、出力同期信号（ＯＶＤ、ＯＨＤ）を生成する。出力同期信号生成部１４５は、自身に入力されている不図示のドットクロックのベースとなる基準クロックをカウントしてＯＶＤ、ＯＨＤを生成する。このＯＶＤ、ＯＨＤは、メモリ制御部１４２による画像メモリ１４３の読み出しから後処理部１４４、更には液晶制御部１５０によって駆動される液晶パネル１５１の更新タイミングを同期化するための基準信号として扱われる。

●液晶制御部１５０の構成
液晶制御部１５０は、デジタルアナログ変換部（ＤＡＣ）１５２およびパネルタイミングコントローラ１５３で構成される。ＤＡＣ１５２は、画像処理部１４０で処理されたデジタルの画像信号をアナログ信号に変換して液晶パネル１５１に送信する。

パネルタイミングコントローラ１５３は、画像処理部１４０から受信した出力同期信号に同期して、液晶パネル１５１を駆動するために必要な制御信号や走査電圧信号を生成する。また、ＣＰＵ１１０からの上下反転指示に従って、液晶パネル１５１に対して、画像信号に対して描画のスキャン順を指示する制御信号を生成する。パネルタイミングコントローラ１５３は、ＣＰＵ１１０から投影画像を上下反転するように指示されると、液晶パネル１５１に対して映像データを下ラインから上に向かって順に描画を行うように制御信号を送信する。本動作により、液晶パネル１５１に形成される画像が上下反転される。

（液晶パネル１５１の各ラインの更新タイミング）
第１の実施形態における液晶パネル１５１の駆動方式は、線順次のアクティブマトリクス駆動方式である。液晶パネル１５１を構成する各画素の更新タイミングについて説明する。なお、液晶パネル１５１のライン数はＮライン（Ｎは整数）として説明する。

パネルタイミングコントローラ１５３は、出力水平同期信号ＯＨＤに同期して、液晶パネル１５１の所定のラインに走査電圧を印加することで、そのラインを更新可能状態とする。この状態で、走査電圧が印加されている液晶パネル１５１のラインの画素電極に対して、ＤＡＣ１５２から出力されるアナログ信号が順次印加されると、更新可能状態にあるラインの画素が駆動され、表示画像が更新される。なお、一度更新された画素は次のフレームの更新タイミングまで保持される。この走査電圧を印加するラインを、１フレーム期間にわたって順に変化させていくため、画素の更新もライン毎に行われる。以上が、液晶パネル１５１の更新タイミングの概略である。

次に、図５および図６を用いて、液晶パネル１５１の更新タイミングについて詳細に説明する。

図５（ａ）は画像を上下反転せずに投影する、通常投影時の液晶パネル１５１の更新タイミングを示した図である。まず、液晶パネル１５１の更新タイミングを制御するパネルタイミングコントローラ１５３は、ｔ５−１においてＯＶＤの立ち上がりを検出して、フレーム１の画像の描画処理の開始を認識する。

次に、パネルタイミングコントローラ１５３は、ＯＨＤを予め定められた回数（本例では２回）カウントし、所定回数目のＯＨＤの立ち上がり（ｔ５−２）にて液晶パネル１５１の先頭ラインである１ライン目に対して走査電圧を印加する。この状態において、液晶パネル１５１の画素電極に入力されるＤＡＣ１５２からのアナログ信号に応じて１ライン目の各画素の更新が行われる。次に、パネルタイミングコントローラ１５３は、次のＯＨＤの立ち上がり（ｔ５−３）にて、液晶パネル１５１の１ライン目の走査電圧の印加を終了することで、液晶パネル１５１の１ライン目の更新が終了する。またｔ５−３にて、パネルタイミングコントローラ１５３は、液晶パネル１５１の２ライン目に対して走査電圧を印加して２ライン目の画素の更新を始め、次のＯＨＤの立ち上がり（ｔ５−４）にて走査電圧の印加を終了して更新を終了する。

パネルタイミングコントローラ１５３は、以上の手順で液晶パネル１５１を１ライン目からＮライン目まで昇順に更新していき、ｔ５−５の時点で全ての画素にフレーム１の画像が描画される。

次に、パネルタイミングコントローラ１５３は、ｔ５−６の時点でＯＶＤを検出することでフレーム２の画像の描画処理を指示されたことを認識する。フレーム２における２回目のＯＨＤの立ち上がりタイミング（ｔ５−７）から、フレーム１の描画処理と同様に１ライン目からＮライン目まで昇順に更新を行う。

以上が、画像を上下反転せずに投影する際の液晶パネル１５１の更新タイミングである。

図５（ｂ）は画像を上下反転して投影する、上下反転時の液晶パネル１５１の更新タイミングについて示した図である。まず、液晶パネル１５１の更新タイミングを制御するパネルタイミングコントローラ１５３は、ｔ５−１１にてＯＶＤの立ち上がりを検出して、フレーム１の画像の描画処理の開始を認識する。

次に、パネルタイミングコントローラ１５３は、ＯＨＤを予め定められた回数（本例では２回）カウントし、所定回数目のＯＨＤの立ち上がり（ｔ５−１２）にて液晶パネル１５１の最終ラインであるＮライン目に対して走査電圧を印加する。この状態において、液晶パネル１５１の画素電極に入力されるＤＡＣ１５２からのアナログ信号に応じてＮライン目の各画素の更新が行われる。次に、パネルタイミングコントローラ１５３は、ｔ５−１３にて次のＯＨＤの立ち上がりのタイミングにて、液晶パネル１５１のＮライン目の走査電圧の印加を終了することで、液晶パネル１５１のＮライン目の更新が終了する。またｔ５−１３にて、パネルタイミングコントローラ１５３は、液晶パネル１５１のＮ−１ライン目に対して走査電圧を印加してＮ−１ライン目の画素の更新を始め、次のＯＨＤの立ち上がり（ｔ５−１４）にて走査電圧の印加を終了して更新を終了する。

パネルタイミングコントローラ１５３は、以上の手順で液晶パネル１５１をＮライン目から１ライン目まで降順に更新していき、ｔ５−１５の時点で全ての画素にフレーム１の画像が描画される。

次に、パネルタイミングコントローラ１５３は、ｔ５−１６の時点でＯＶＤを検出することでフレーム２の画像の描画処理を指示されたことを認識する。フレーム２における２回目のＯＨＤの立ち上がりタイミング（ｔ５−１７）から、フレーム１の描画処理と同様にＮライン目から１ライン目まで降順に更新を行う。

以上が、画像を上下反転して投影する際の液晶パネル１５１の更新タイミングである。

ここまで、液晶パネル１５１の更新タイミングについて説明してきたが、本発明における液晶パネル１５１およびパネルタイミングコントローラ１５３の動作はこれまでの説明に限るものではない。例えばパネルタイミングコントローラ１５３は、不図示のデータの有効期間を表すＤＥ信号に同期して走査電圧の印加を行ってもよい。また、液晶パネル１５１のラインを形成する複数の画素は、走査電圧が印加されている期間中において、同時に更新される構成であってもよいし時間順に更新される構成であってもよい。何れにせよ、液晶パネル１５１の各ラインが同時ではなく順に更新されるのであれば、その構成に限定はない。

●撮像部１８０の構成
次に、図３に戻って、撮像部１８０の具体的な構成について説明する。撮像部１８０は、撮像光学系１８１、撮像センサ１８２、信号変換部１８３、撮像タイミングコントローラ１８４（撮像制御手段）からなる。撮像光学系１８１を通って入射する光は、撮像センサ１８２によって光電変換され、画像信号となる。その後、画像信号に対して信号変換部１８３では撮像画像の増幅およびＡＤ変換等が行われ、ＣＰＵ１１０に対してデジタル化された撮像画像信号が送られる。撮像タイミングコントローラ１８４は、撮像センサ１８２の電荷蓄積や読み出しのタイミングを制御する。撮像タイミングコントローラ１８４は、画像処理部１４０の出力同期信号生成部１４５から出力されるＯＶＤおよびＯＨＤに同期して動作する。つまり、撮像センサ１８２の電荷蓄積および読み出しのタイミングもＯＶＤおよびＯＨＤに同期するため、液晶パネル１５１の更新タイミングと撮像センサ１８２の電荷蓄積および読み出しのタイミングも同期動作する。

（撮像部１８０の撮影タイミング）
次に、図６および図７を用いて、第１の実施形態における撮像部１８０が投影画像を撮影するタイミングについて説明する。第１の実施形態における撮像センサ１８２は、ライン毎（行毎）に電荷のリセットおよび読み出しを順に行う所謂ローリングシャッタ方式であるものとして説明する。また、撮像センサ１８２のライン数はＭライン（Ｍは整数）とする。なお、図６は、液晶パネル１５１の更新タイミングが図５（ａ）で説明したタイミングの場合の撮影タイミングを示し、図７は、記載の液晶パネル１５１の更新タイミングが図５（ｂ）で説明したタイミングの場合の撮影タイミングを示している。

図６（ａ）は第１の実施形態における撮像センサ１８２における電荷のリセットおよび読み出しタイミングの一例を示す。撮像タイミングコントローラ１８４は、ＯＨＤのパルス数をカウントして液晶パネル１５１のＮライン目の更新が終わったタイミング（ｔ６−１）を認識し、撮像センサ１８２に対して、１ライン目の電荷リセットおよび電荷蓄積の開始を指示する。そして所定の電荷蓄積期間が経過した後に、撮像タイミングコントローラ１８４は、撮像センサ１８２に対して１ライン目の読み出しを指示する。同様に、撮像タイミングコントローラ１８４は、撮像センサ１８２に対して順に２〜Ｍライン目の電荷リセット並びに電荷蓄積の開始、および読み出しを指示する。

なお、第１の実施形態における特徴的な動作として、Ｍライン目の電荷蓄積は、液晶パネル１５１のフレーム２の１ライン目の更新開始時間（ｔ６−２）より前に終了している。撮像タイミングコントローラ１８４は、液晶パネル１５１の更新のタイミングのブランキング期間（ｔ６−１〜ｔ６−２）の長さから、各ラインの電荷蓄積時間を、以下の式に示す条件を満たすように定める。
（液晶パネル１５１の更新ブランキング期間）
≧（撮像センサ１８２の１ラインの電荷蓄積時間）
＋（撮像センサ１８２の１ラインの読み出し時間）×（Ｍ−１）
特にノイズの少ない安定した撮影画像を得るためには、上式の範囲内で１ラインの電荷蓄積時間をできるだけ長くすることが望ましい。

また、このブランキング期間は投影画像のフレームレートから一意に決まるため、撮像センサ１８２の電荷蓄積時間および読み出し時間を投影画像のフレームレートに基づいて決定してもよい。

また、各ラインの電荷蓄積開始時間のずれ（ｔＲ）は、１ラインの読み出し期間に等しいとより好ましい。ローリングシャッタ方式の撮像センサ１８２では、撮影画像の明るさのばらつきを防ぐために、各ラインの電荷蓄積時間を一定に保つ必要がある。そこで、ラインの読み出しにかかる時間分だけ前の水平ラインの電荷蓄積開始よりも時間を遅らせて次のラインの電荷蓄積を開始するようにすることで、各ラインの電荷蓄積時間を同じ時間に保ちつつ、電荷蓄積時間をできるだけ長くすることができる。これは後述の図６（ｂ）および図７に示す撮像センサ１８２の電荷蓄積および読み出しタイミングにおいても同様である。

図６（ｂ）は第１の実施形態における撮像センサ１８２の電荷蓄積および読み出しタイミングの別の例を示す。図６（ａ）に示したタイミングとの主な違いは、撮像タイミングコントローラ１８４が、液晶パネル１５１の更新期間中（ｔ６−３〜ｔ６−５）のＯＨＤ（この例ではｔ６−４）に同期して、１ライン目の電荷蓄積を開始する点である。フレーム１を撮影するための電荷蓄積開始のタイミングをこのようにすることで、図６（ａ）のように液晶パネル１５１のＮライン目の更新が終わってから電荷蓄積を開始する方法に比べて、長時間の電荷蓄積および読み出し期間が確保できるという利点がある。

なお、図６（ｂ）に示す例では、液晶パネル１５１のＮ／２−１ライン目までが更新されたタイミングで、撮像センサ１８２の１ライン目の電荷蓄積が開始される。この時間ｔ６−４は、投影画像の或るフレームにおける撮像センサ１８２の各ラインの電荷蓄積時間中に、撮像センサ１８２上に形成される投影画像の更新が終了しているタイミングであればこれに限るものではない。

図７は、第１の実施形態の撮像センサ１８２の電荷蓄積および読み出しタイミングの別の例である。前述したように、第１の実施形態における液晶プロジェクタ１００は、画像を上下反転して投影する際には、液晶パネル１５１をＮライン目から１ライン目に向かって順に更新する。このように液晶パネル１５１が更新される場合に、図６（ｂ）のように撮像センサの電荷蓄積が１ライン目から順に行われると、前のフレームの画像と現レームの画像が混ざった画像が撮影されてしまう。そこで、撮像タイミングコントローラ１８４は、ＣＰＵ１１０から、現在画像を上下反転して投影している旨の通知を受けると、図６（ｂ）とは逆にＭライン目から１ライン目に向かって順に電荷蓄積および読み出しを行うように撮像センサ１８２を制御する。

撮像部１８０の各部を上記のように動作することで、フレーム毎に変化する投影画像を撮影する場合において、複数フレームの画像が混ざった画像が撮影されることなく、単一フレームの画像を撮影することが可能となる。

なお、撮像部１８０は必ずしも投影画像をフレーム毎に常に撮影する必要はない。例えば、合成部１４８にて較正パターンが重畳されたフレームの投影画像のみを撮影する構成であってもよい。また、フレーム毎に異なる投影画像やフレーム毎に異なる較正パターンが重畳された投影画像を撮影するときに限り、上述した撮影タイミングにて撮影してもよい。

次に、第１の実施形態における液晶プロジェクタ１００において、較正パターンを重畳して投影した画像を撮影し、撮像画像から較正パターンの形状を検出して投影画像の形状補正を行うシーケンスについて、図８を参照して説明する。

Ｓ８０１では、メモリ制御部１４２は、以下の手順で入力画像のフレームレートを倍速化する。まず、メモリ制御部１４２は、ＩＶＤに同期して受信した画像を画像メモリ１４３に書きこむ。その後、メモリ制御部１４２は、ＯＶＤに同期して書き込み時とは倍のスピードで、若しくは書き込み時とは倍のデータバス幅を使って、画像メモリ１４３から画像を読み出す。以上のようにメモリ制御部１４２が動作すると、フレームレートが倍速化される。また、出力同期信号生成部１４５は、倍速化後の画像のフレームのうち先頭側に、その旨を表すフレーム識別信号を生成し、後処理部１４４に送信する。

Ｓ８０２では、ＣＰＵ１１０は、投影画像に較正パターンを合成するタイミングとなったかを判断する。このタイミングは例えば、数秒毎（予め決められた時間間隔）であってもよいし、不図示の加速度センサによって投影画像の振動を検出したタイミングであってもよい。また、操作部１１３を介して液晶プロジェクタ１００の使用者の指示を受けたタイミングであってもよい。ＣＰＵ１１０が投影画像に較正パターンを合成するタイミングとなったと判断すると、Ｓ８０３に進む。

Ｓ８０３では、ＣＰＵ１１０は、投影画像のフレームレートを判定する。具体的には、出力同期信号生成部１４５のＯＶＤのパルスの発生タイミング周期を検出すればよい。ＣＰＵ１１０は、フレームレートの判定結果を撮像タイミングコントローラ１８４に通知する。Ｓ８０４では、撮像タイミングコントローラ１８４は、通知されたフレームレートから撮像センサ１８２の各ラインの電荷蓄積または読み出し、もしくはその両方の時間を決定する。

Ｓ８０５では、合成部１４８は、自身に入力される画像に対して較正パターンを合成する。ここでは、前述の様に、或るフレームには図４（ｂ）の様に較正パターンを減算し、その次のフレームには図４（ｃ）の様に較正パターンを加算して合成するものとする。Ｓ８０６において、合成部１４８にて較正パターンが合成された画像が、画像補正部１４９および液晶制御部１５０により液晶パネル１５１上に形成され、投影光学系１７１を通して投影される。

Ｓ８０７において、撮像部１８０は、Ｓ８０６にて投影された画像を、前述したように出力同期信号に同期して撮影する。この例では、図４（ｂ）および図４（ｃ）の投影画像を撮影するため、連続して２枚の画像を撮影する。その後、撮像部１８０は撮影された画像をＣＰＵ１１０に送信する。

Ｓ８０８では、ＣＰＵ１１０は、撮影画像から較正パターンを検出する。前述の様に倍速化された画像に対してそれぞれ図４（ｂ）、図４（ｃ）のように較正パターンを減算した画像（減算画像）及び加算した画像（加算画像）を撮影した場合、２つの画像の差分をとることで、図４（ａ）に示す較正パターンだけを抽出することができる。
較正パターン＝（（図４（ｃ）の撮影画像）−（図４（ｂ）の撮影画像））

Ｓ８０９では、ＣＰＵ１１０は、抽出されたパターン情報を基にメモリ制御部１４２による画像形状および投影位置の補正パラメータを生成する。一例としては、検出された較正パターンの形状の４頂点の座標から投影画像の補正に必要な射影変換パラメータを生成する方法が挙げられる。ただし、ここでの補正パラメータの生成方法はこれに限るものではなく、公知の技術を含め、どのようなものであってもよい。

Ｓ８１０では、メモリ制御部１４２は、Ｓ８０９で生成された補正パラメータに基づいて画像メモリ１４３へのアクセスアドレスを発行し、画像を変形させる。

液晶プロジェクタ１００の各部を上記の様に動作させることによって、フレーム毎に異なる較正パターンを重畳した投影画像を撮影する場合に、更新前後のフレームの画像が混在した画像が撮影されることなく、単一フレームの画像を撮影することができる。そのため、較正パターンを適切に検出することができ、投影画像の位置や形状を適切に補正することが可能となる。

なお、第１の実施形態では、撮像部１８０が液晶プロジェクタ１００の内部に含まれる構成について説明したが、本発明はこれに限定されるものではなく、撮像部１８０を含むデジタルカメラと、液晶プロジェクタとからなるシステムであってもよい。この場合、液晶プロジェクタから出力同期信号ＯＶＤ、ＯＨＤをデジタルカメラに有線もしくは無線の通信手段にて送信することで、上述した動作を実現することが可能である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、図９を用いて、撮像部１８０が投影画像を撮影する別のタイミング例について説明する。なお、第２の実施形態における液晶プロジェクタ１００の構成は、第１の実施形態で説明したものと同じであるため、説明は省略する。

第１の実施形態との違いは、第２の実施形態における撮像センサ１８２が、全ラインの電荷蓄積を同時に行う、所謂グローバルシャッタ方式である点である。また、撮像センサ１８２のライン数はＭライン（Ｍは整数）とする。

撮像タイミングコントローラ１８４は、ＯＨＤのパルス数をカウントして、液晶パネル１５１のフレーム１のＮライン目の更新が終わったタイミング（ｔ９−１）を認識し、撮像センサ１８２の全ラインの電荷リセットおよび電荷蓄積を開始する。その後、撮像タイミングコントローラ１８４は、液晶パネル１５１のフレーム２の１ライン目の更新開始時間（ｔ９−２）前に電荷蓄積を終了させ、その後読み出しを行う。

なお、第２の実施形態における撮像センサ１８２の電荷蓄積時間および読み出し時間はこれに限るものではなく、
（液晶パネル１５１のブランキング期間）
≧（撮像センサ１８２の各ラインの電荷蓄積時間）
（液晶パネル１５１の更新期間）
≧（撮像センサ１８２の各ラインの読み出し時間）×Ｍ
であってよい。

上記の通り第２の実施形態によれば、フレーム毎に変化する投影画像を撮影する場合において、複数フレームの画像が混ざった画像が撮影されることなく、単一フレームの画像を撮影することが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について図１０および図１１を参照して説明する。第３の実施形態は、画像処理部１４０および液晶制御部１５０が複数（本例ではそれぞれ４つ）存在する点が第１の実施形態と異なる。それ以外の液晶プロジェクタ１００の構成は、第１の実施形態で説明したものと同様であるため、説明を省略する。

図１０（ａ）は、第３の実施形態における液晶パネル１５１の分割領域Ｑ１〜Ｑ４の概念を示した図、図１０（ｂ）は、分割領域Ｑ１〜Ｑ４に対応する画像処理部１４０＿Ｑ１〜Ｑ４および液晶制御部１５０＿Ｑ１〜Ｑ４を示す図である。第３の実施形態において、液晶パネル１５１は水平画素数Ｂｐｉｘ、垂直ライン数Ａライン（Ａ，Ｂはそれぞれ整数）であり、水平、垂直それぞれ２等分され、全体では４領域（Ｑ１〜Ｑ４）に分割される。

画像入力部１３０は、入力された画像を４分割して、画像処理部１４０＿Ｑ１〜Ｑ４に送る。なお、画像処理部１４０＿Ｑ１〜Ｑ４および液晶制御部１５０＿Ｑ１〜Ｑ４の内部構成は、それぞれ第１の実施形態で説明した画像処理部１４０および液晶制御部１５０と同様である。そして、液晶パネル１５１は、液晶制御部１５０＿Ｑ１〜Ｑ４から、分割領域Ｑ１〜Ｑ４それぞれに対応する画像および制御信号等を同時に受信して、更新を行う。

このような構成で処理を並列化することは、画像の解像度が大きくなり、所定時間当たりの処理量が増加する場合において特に有効である。

なお、第３の実施形態における撮像センサ１８２は、ライン毎に読み出しを順に行う所謂ローリングシャッタ方式であるものとして説明する。また、撮像センサ１８２のライン数はＭライン（Ｍは整数）とする。

（分割駆動パネルのライン更新順）
図１１を用いて第３の実施形態における液晶パネル１５１の各ラインの更新順について説明する。

まず、液晶パネル１５１の更新タイミングを制御するパネルタイミングコントローラ１５３は、ｔ１１−０においてＯＶＤの立ち上がりを検出して、フレーム１の画像の描画処理の開始を認識する。

次に、各液晶制御部１５０＿Ｑ１〜Ｑ４のパネルタイミングコントローラ１５３は、ＯＨＤを予め定められた回数（本例では２回）カウントする。そして、所定回数目のＯＨＤの立ち上がり（ｔ１１−１）にて、以下に示す液晶パネル１５１のラインの走査電極に走査電圧を印加する。
Ｑ１：Ａ／２ ライン
Ｑ２：Ａ／２ ライン
Ｑ３：Ａ／２＋１ ライン
Ｑ４：Ａ／２＋１ ライン
この状態において、液晶パネル１５１の各分割領域Ｑ１〜Ｑ４の画素電極に入力されるＤＡＣ１５２からのアナログ信号に応じて、最初の２ライン分の各画素の更新が行われる。

次に、パネルタイミングコントローラ１５３は、次のＯＨＤの立ち上がり（ｔ１１−２）にて、液晶パネル１５１の最初の２ライン分の走査電圧の印加を終了することで、液晶パネル１５１のＡ／２ラインおよびＡ／２＋１ラインの更新が終了する。また１１−２にて、パネルタイミングコントローラ１５３は、以下に示す液晶パネル１５１の次の２ラインに対して走査電圧を印加して次の２ライン分の画素の更新を始め、次のＯＨＤの立ち上がりにて走査電圧の印加を終了して更新を終了する。
Ｑ１：Ａ／２−１ライン
Ｑ２：Ａ／２−１ライン
Ｑ３：Ａ／２＋２ ライン
Ｑ４：Ａ／２＋２ ライン
このように、液晶制御部１５０＿Ｑ１、Ｑ２のパネルタイミングコントローラ１５３は、以上の手順で液晶パネル１５１をＡ／２ライン目から１ライン目まで昇順に更新していく。同様に、液晶制御部１５０＿Ｑ３、Ｑ４のパネルタイミングコントローラ１５３は、以上の手順で液晶パネル１５１をＡ／２＋１ライン目からＡライン目までを降順に更新していく。

以上のようにパネルタイミングコントローラ１５３が動作することで、ｔ１１−４の時点で全ての画素にフレーム１の画像が描画される。

次に、パネルタイミングコントローラ１５３は、ＯＶＤの立ち上がりを検出することでフレーム２の画像の描画処理を指示されたことを認識する。フレーム２における２回目のＯＨＤの立ち上がりタイミング（ｔ１１−５）から、フレーム１の描画処理と同様にして、液晶パネル１５１の中央のラインから上下方向に向かって更新を行う。

このように液晶パネル１５１を更新することで、各領域の境界のラインが同時に更新されるため、表示ずれが視認されないという利点がある。

（分割駆動パネルを用いたプロジェクタの撮影タイミング）
次に、図１１を用いて、第３の実施形態の撮像センサ１８２の電荷蓄積および読み出しのタイミングについて説明する。

撮像センサ１８２の電荷蓄積は、第１の実施形態の図６（ａ）に示したように、ブランキング期間に行っても良いが、ここでは、図６（ｂ）で説明したように、液晶パネル１５１の更新期間中に電荷蓄積を開始するタイミングで行う場合について説明する。即ち、撮像タイミングコントローラ１８４が、液晶パネル１５１の更新期間中（ｔ１１−１〜ｔ１１−４）のＯＨＤ（本例ではｔ１１−３）に同期して、撮像センサ１８２の１ライン目の電荷蓄積を開始する。

一方、第１の実施形態の図６（ｂ）に示したタイミングとの違いは、最初に電荷蓄積および読み出しを行うラインが、撮像センサ１８２の中心のラインであるＭ／２ライン目であるという点である。次にはＭ／２−１ライン目、その次はＭ／２＋１ライン目というように、中心から外周ラインに向かって順に行われる。このように液晶パネル１５１の各ラインの更新順と、撮像センサ１８２の電荷蓄積および読み出しライン順を同様にすることで、他の電荷蓄積および読み出し順に比べて、電荷蓄積および読み出し時間を長く確保することができる。

なお、電荷蓄積開始時間ｔ１１−４は、撮像センサ１８２の各ラインの電荷蓄積期間中に、撮像センサ１８２上に形成される投影画像の更新が終了しているタイミングであればこれに限るものではない。

また、ここまで液晶パネル１５１が各領域同時に更新される際の、撮像センサ１８２の電荷蓄積および読み出しタイミングの一例について説明してきたが、本発明はこの例に限定されるものではない。例えば、本発明は、液晶パネル１５１の分割領域Ｑ１〜Ｑ４がそれぞれ同じタイミングで上ラインから下ラインに向かって順に更新される構成にも適用可能である。この場合も、撮像タイミングコントローラ１８４は、液晶パネル１５１の各ラインの更新順を考慮して撮像センサ１８２の電荷蓄積および読み出し順を決定する。例えば、電荷蓄積および読み出し順を１ライン目→Ｍ／２ライン目→２ライン目→Ｍ／２＋１ライン目とする。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００：液晶プロジェクタ、１１０：ＣＰＵ、１４０：画像処理部、１４１：前処理部、１４４：後処理部、１４５：出力同期信号生成部、１４７：較正パターン生成部、１４８：合成部、１４９：画像補正部、１５０：液晶制御部、１５１：液晶パネル、１５３：パネルタイミングコントローラ、１８０：撮像部、１８２：撮像センサ、１８４：撮像タイミングコントローラ

Claims (9)

1. 入力された動画のフレーム画像に予め決められた較正パターンを合成して、合成したフレーム画像の画像信号を出力する合成手段と、
   前記合成手段から出力された画像信号に基づいて、表示手段の透過率または反射率を制御して画像を形成する表示制御手段と、
   前記表示手段に光を照射することにより、前記表示手段に形成された画像を投影する投影手段と、
   前記投影手段により投影された画像を撮影する撮像手段と、
   前記撮像手段により撮影された画像から前記較正パターンを抽出し、該抽出した較正パターンの状態に応じて、前記表示手段に形成する画像を補正するための補正パラメータを生成する生成手段と、
   前記表示手段の透過率または反射率が更新されるタイミングに基づいて、前記撮像手段により撮影された画像に、前記表示手段の透過率または反射率の更新前後の画像が混在しないように、撮像タイミングを制御する撮像制御手段と、
   を有し、
   前記撮像手段は、撮像素子を有し、
   前記撮像制御手段は、前記動画のフレームレートの変更に応じて、前記撮像素子の電荷蓄積時間を変更し、
   前記合成手段は、前記フレーム画像に対して、前記較正パターンを加算することにより合成した加算画像と、前記較正パターンを減算することにより合成した減算画像の画像信号を出力し、
   前記生成手段は、前記投影手段により投影された前記加算画像を撮影した画像から、前記投影手段により投影された前記減算画像を撮影した画像を差分することにより、前記較正パターンを抽出することを特徴とする投影装置。
2. 前記撮像制御手段は、前記表示手段に１フレームの画像の形成を終了してから次のフレームの画像の形成を開始するまでの間に、前記撮像素子の電荷蓄積を行うように前記撮像手段を制御することを特徴とする請求項１に記載の投影装置。
3. 前記撮像素子は、行毎に電荷蓄積の制御が行われ、前記撮像制御手段は、前記撮像素子の各行に対応する前記表示手段の各領域において、１フレームの画像を形成するための透過率または反射率の制御が終了してから、次のフレームの画像を形成するために透過率または反射率の更新が行われる前までの間に、前記撮像素子の各行の電荷蓄積を行うように前記撮像手段を制御することを特徴とする請求項１または２に記載の投影装置。
4. 前記撮像制御手段は、前記表示制御手段が上下反転した画像を形成する場合、前記撮像素子の各行の電荷蓄積および読み出し順を逆にすることを特徴とする請求項３に記載の投影装置。
5. 前記撮像素子は、行毎に電荷蓄積の制御が行われ、
   前記撮像制御手段は、前記表示手段の所定のラインの更新タイミングを同期信号に基づいて認識し、前記撮像素子の所定の行の電荷蓄積を前記表示手段の更新期間中に開始することを特徴とする請求項１乃至４のいずれか１項に記載の投影装置。
6. 前記表示制御手段は、前記表示手段を複数の領域に分けて、該複数の領域の透過率または反射率を並列に制御することを特徴とする請求項１乃至５のいずれか１項に記載の投影装置。
7. 前記合成手段は、前記投影された画像の振動が検出された場合に、前記合成を行うことを特徴とする請求項１乃至６のいずれか１項に記載の投影装置。
8. 前記合成手段は、予め決められた時間間隔で、前記合成を行うことを特徴とする請求項１乃至７のいずれか１項に記載の投影装置。
9. 投影装置と撮像装置とを含む投影システムであって、
   前記投影装置が、
   入力された動画のフレーム画像に予め決められた較正パターンを合成して、合成したフレーム画像の画像信号を出力する合成手段と、
   前記合成手段から出力された画像信号に基づいて、表示手段の透過率または反射率を制御して画像を形成する表示制御手段と、
   前記表示手段に光を照射することにより、前記表示手段に形成された画像を投影する投影手段と、
   前記表示手段に形成する画像を補正するための補正パラメータを生成する生成手段と、を有し、
   前記撮像装置が、
   前記投影手段により投影された画像を撮影する撮像手段と、
   前記表示手段の透過率または反射率が更新されるタイミングに基づいて、前記撮像手段により撮影された画像に、前記表示手段の透過率または反射率の更新前後の画像が混在しないように、撮像タイミングを制御する撮像制御手段と、を有し、
   前記生成手段は、前記撮像手段により撮影された画像から前記較正パターンを抽出し、該抽出した較正パターンの状態に応じて、前記表示手段に形成する画像を補正するための補正パラメータを生成し、
   前記撮像手段は、撮像素子を有し、
   前記撮像制御手段は、前記動画のフレームレートの変更に応じて、前記撮像素子の電荷蓄積時間を変更し、
   前記合成手段は、前記フレーム画像に対して、前記較正パターンを加算することにより合成した加算画像と、前記較正パターンを減算することにより合成した減算画像の画像信号を出力し、
   前記生成手段は、前記投影手段により投影された前記加算画像を撮影した画像から、前記投影手段により投影された前記減算画像を撮影した画像を差分することにより、前記較正パターンを抽出することを特徴とする投影システム。