WO2022102514A1

WO2022102514A1 - 信号処理装置、信号処理方法

Info

Publication number: WO2022102514A1
Application number: PCT/JP2021/040638
Authority: WO
Inventors: 孝明鈴木; 紀晃高橋; 優斗小林
Original assignee: ソニーグループ株式会社
Priority date: 2020-11-11
Filing date: 2021-11-04
Publication date: 2022-05-19
Also published as: JP2022077388A

Abstract

本技術に係る信号処理装置は、元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を複数の画像に施す補正処理部を備えている。

Description

信号処理装置、信号処理方法

　本技術は、信号処理装置とその方法に関するものであり、特には、提示画像に生じる時間方向における解像度低下を補正するための技術に関する。

　例えば液晶プロジェクタ装置等、スクリーン等の投影対象物に画像を投影して表示するプロジェクタ装置が広く知られている。プロジェクタ装置を用いた画像投影の手法としては、例えば下記特許文献１に開示されるように、高解像度（例えば８ｋ）の入力画像（元画像）を低解像度（例えば４ｋ）の２以上の画像にダウンサンプリングし、ダウンサンプリングしたそれぞれの画像の投影位置を画素未満単位で高速にシフトさせるものがある。このようなシフト提示を行うことで、プロジェクタ装置（液晶パネル）が持つ解像度以上に投影画像の解像度（解像感）を向上させることができる。

　なお、関連する従来技術については下記特許文献２も挙げられる。特許文献２では、複数のプロジェクタ装置が同一の入力画像を重畳投影する場合において、重畳投影画像と入力画像との差分が最小となるようにフィードバックループを用いた補正を行うことで、重畳投影画像に生じるボケ（画質劣化）を抑制する技術が開示されている。

特開２０１９－３６９５２号公報特開２００９－８９７４号公報

　しかしながら、上記特許文献１に開示されるようなシフト提示により空間解像度を向上させる技術は、ダウンサンプリングした複数枚の画像の提示によって１枚の元画像を再現しようとする技術となるため、フレームレートの低下を招く。すなわち、時間方向における解像度の低下を招来する。具体的に、ダウンサンプリングした２枚の画像のシフト提示を行う場合には、フレームレートは半減するものとなってしまう。

　本技術は上記事情に鑑み為されたものであり、元画像に基づき生成された複数の画像を時間方向において視覚的に混合して提示する場合において、提示画像に生じる時間方向の解像度低下の抑制を図ることを目的とする。

　本技術に係る信号処理装置は、元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を前記複数の画像に施す補正処理部を備えたものである。
　「時間方向において視覚的に混合される」とは、人の目の積分効果により同時提示されたものとして視認されることを意味する。上記構成によれば、元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向の解像度低下について、補正を行うことが可能とされる。

　上記した本技術に係る信号処理装置においては、前記補正処理部は、前記複数の画像が時間方向において視覚的に混合された結果が前記元画像に近づくように前記補正処理を行う構成とすることが可能である。
　これにより、提示画像に生じる光学的要因等による画質劣化をキャンセルするように補正処理を行うことが可能となる。

　上記した本技術に係る信号処理装置においては、前記元画像に対する前記提示画像の劣化特性を示す劣化関数を取得する劣化関数取得部と、前記劣化関数取得部が取得した前記劣化関数に応じた補正関数を取得する補正関数取得部と、を備え、前記補正処理部は、前記補正関数取得部が取得した前記補正関数に基づいて前記補正処理を行う構成とすることが可能である。
　これにより、実際の画像提示環境で生じる劣化の特性に応じた補正処理を行うことが可能となる。

　上記した本技術に係る信号処理装置においては、前記補正関数取得部は、前記劣化関数の類型ごとに記憶された複数の前記補正関数のうちから、前記劣化関数取得部が取得した前記劣化関数の類型に応じた前記補正関数を選択して取得する構成とすることが可能である。
　劣化関数の類型とは、劣化関数が有する特徴に係る類型を意味するものであり、劣化の度合いが近似している劣化関数同士を同類型に分類したり、或いは、複数の劣化項目のうち劣化の度合いが大きい項目が所定数以上一致している劣化関数同士を同類型に分類したりすること等が考えられる。上記構成によれば、予め用意された複数の補正関数のうちから劣化関数取得部が取得した劣化関数の類型に応じた補正関数を取得して補正処理に用いればよく、補正関数を劣化関数に基づいて計算して取得する必要がなくなる。

　上記した本技術に係る信号処理装置においては、前記補正処理部は、前記補正処理として、空間方向に位相をずらしてサンプリングされた前記複数の画像が時間方向において視覚的に混合されて提示される際に前記提示画像に生じる空間方向及び時間方向それぞれの解像度低下を補正する処理を行う構成とすることが可能である。
　元画像に基づく複数の画像として、空間方向に位相をずらしてサンプリングされた複数の画像を時間方向において視覚的に混合して提示する場合には、提示画像において、空間方向及び時間方向それぞれの解像度低下が生じる。そこで、これら空間方向及び時間方向それぞれの解像度低下を補正する処理を行う。

　上記した本技術に係る信号処理装置においては、前記補正処理部は、提示位置が画素未満単位でシフトされる前記複数の画像に対して前記補正処理を施す構成とすることが可能である。
　元画像に基づき生成した複数の画像を画素未満単位でシフトさせて提示することで空間解像度の向上を図る手法を採った場合には、異なる画像が重畳されることに伴う提示画像のボケ（画素開口によるボケ）が生じ、該ボケに起因した空間解像度の低下を招来する。そこで、提示位置が画素未満単位でシフトされる複数の画像に対して、空間方向及び時間方向それぞれの解像度低下を補正する処理を行う。

　上記した本技術に係る信号処理装置においては、前記元画像は、パララックスバリア方式による立体画像提示に用いられる左目用画像と右目用画像とされ、前記補正処理部は、前記左目用画像を前記元画像として生成された前記複数の画像と前記右目用画像を前記元画像として生成された前記複数の画像のそれぞれについて前記補正処理を行う構成とすることが可能である。
　これにより、パララックスバリア方式による立体画像提示に用いる左目用画像、右目用画像のそれぞれについて、空間方向に位相をずらしてサンプリングされた複数の画像を時間方向に視覚的に混合させて提示することにより左目用画像、右目用画像それぞれの空間解像度低下の抑制を図る場合において、複数の画像を時間方向に混合して提示することに伴う時間方向の解像度低下の抑制を図ることが可能となる。

　上記した本技術に係る信号処理装置においては、前記補正処理部は、前記複数の画像について、動物体領域と動物体の背景領域とで異なる補正関数を用いて前記補正処理を行う構成とすることが可能である。
　これにより、動物体領域については動物体領域に適した補正関数による補正を行い、背景領域については背景領域に適した補正関数による補正を行うことが可能となる。

　上記した本技術に係る信号処理装置においては、前記補正処理部は、前記動物体領域についての前記補正処理を、空間方向の解像度低下の補正よりも時間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行い、前記背景領域についての前記補正処理を、時間方向の解像度低下の補正よりも空間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行う構成とすることが可能である。
　これにより、動物体領域については動解像度（動画解像度）の向上が図られるようにし、背景領域については空間解像度の向上が図られるようにすることが可能となる。

　上記した本技術に係る信号処理装置においては、前記複数の画像は、カラー画像としての前記元画像を複数色の画像に色分解して生成された画像とされ、前記補正処理部は、前記複数色の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を行う構成とすることが可能である。
　カラー画像としての元画像を複数色の画像に色分解して生成された複数の画像を時間方向において視覚的に混合して提示する場合、提示画像には時間方向の解像度低下が生じる。そこで、時間方向における解像度低下の補正処理を前記複数の画像に施す。

　また、本技術に係る信号処理方法は、元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を前記複数の画像に施す信号処理方法である。
　このような信号処理方法によっても、上記した本技術に係る信号処理装置と同様の作用が得られる。

本技術に係る第一実施形態としての信号処理装置の構成例を説明するためのブロック図である。従来のシフト提示について説明図である。従来のシフト提示における入力画像（元画像）と位相画像との関係を示した図である。画素開口によるボケを説明するための図である。第一実施形態としてのシフト提示手法の説明図である。補正関数を求めるための手法についての説明図である。補正関数を求めるための具体的な処理例を示したフローチャートである。第二実施形態としての信号処理装置の構成例を説明するためのブロック図である。第二実施形態としての補正手法を実現するための処理手順例を示したフローチャートである。第三実施形態としてのシフト提示手法の説明図である。第三実施形態における入力画像の各フレーム画像と位相画像との時間方向における対応関係を模式的に示した図である。第三実施形態における補正関数を求めるための手法についての説明図である。第三実施形態としての信号処理装置の構成例を説明するためのブロック図である。動物体領域と背景領域の説明図である。第四実施形態としての信号処理装置の構成例を説明するためのブロック図である。パララックスバリア方式による立体画像表示についての説明図である。右目画像、左目画像それぞれについて複数の位相画像を時間方向において切り替えて表示する手法の具体例を説明するための図である。第四実施形態としての信号処理装置の構成例を示したブロック図である。変形例としての信号処理装置の構成例を説明するためのブロック図である。変形例における色画像の時分割提示手法についての説明図である。変形例における各色画像の生成手法についての説明図である。

　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．第一実施形態＞
（1-1．信号処理装置の構成例）
（1-2．従来のシフト提示について）
（1-3．第一実施形態としてのシフト提示手法）
（1-4．処理手順）
＜２．第二実施形態＞
＜３．第三実施形態＞
＜４．第四実施形態＞
＜５．第五実施形態＞
＜６．変形例＞
＜７．実施形態のまとめ＞
＜８．本技術＞

＜１．第一実施形態＞
（1-1．信号処理装置の構成例）

　図１は、本技術に係る信号処理装置の第一実施形態としてのプロジェクタ装置１の構成例を説明するためのブロック図である。
　本例において、プロジェクタ装置１は、例えば透過型の液晶プロジェクタ装置として構成されている。プロジェクタ装置１は、例えばスクリーン等の投影対象物１００に対し画像投影を行う。投影対象物１００において、画像が投影される面を図示のように投影面１００ａと表記する。

　図示のようにプロジェクタ装置１は、信号処理部２と制御部３を備えると共に、画像投影のための光学系として光源部４、コリメーションレンズ５、空間光変調器６、シフト部８、及び投影光学系７を備えている。また、本例のプロジェクタ装置１は、カメラ９を備えている。

　信号処理部２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、デジタルデータによる入力画像に各種の信号処理（画像処理）を施し、投影用の画像を生成する。
　本例において、入力画像は、例えば解像度が８ｋ（４ｋ８ｋ）、フレームレートが１２０Ｈｚの動画像とされる。

　信号処理部２は、位相画像生成部２１及び補正処理部２２としての機能を有する。位相画像生成部２１は、入力画像としての８ｋの元画像を空間方向に位相をずらしてダウンサンプリングすることで、シフト提示用の複数枚の位相画像を生成する。ここで、「位相」の表現を用いているのは、シフト量が画素未満単位であることによる。
　なお、位相画像生成部２１が行う実施形態としての処理については後に改めて説明する。

　補正処理部２２は、位相画像生成部２１が生成した位相画像に対し、後述する逆関数Ｈ（補正関数）に基づく補正処理を施す。
　この補正処理部２２の具体的な処理についても詳細は後に改めて説明する。

　光源部４は、例えばＬＥＤ（Light Emitting Diode）やレーザ等の発光素子を一又は複数有して構成され、画像投影のための光を発する。
　光源部４により発せられた光はコリメーションレンズ５により平行光に変換されて空間光変調器６に入射する。空間光変調器６は、入射光に対して空間光強度変調（以下「強度変調」と略称する）を施して強度分布を与えることで、投影面１００ａに投影されるべき像（再生像）を生成するもので、本例では透過型の液晶パネルが用いられる。
　空間光変調器６は、信号処理部２が出力する位相画像に基づいて入射光に対する強度変調を施す。これにより、再生像として位相画像に基づく像が生成される。
　本例において、空間光変調器６としての液晶パネルの有効画素数は４ｋ（２ｋ４ｋ）とされ、表示フレームレート（最大フレームレート）は１２０Ｈｚである。

　なお、ここでは投影すべき像を生成するための空間光変調器６の例として透過型の液晶パネルを挙げたが、空間光変調器６としては例えば反射型の液晶パネルやＤＭＤ（Digital Micromirror Device）等を用いることもできる。

　シフト部８は、投影画像の位置をシフト（平行移動）させるための光学部品である。本例では、シフト部８にはＤＭＤが用いられる。図示のようにＤＭＤとしてのシフト部８には空間光変調器６により強度変調された光が入射される。ＤＭＤにおけるマイクロミラーの角度を微小に変化させることで、位相画像の投影位置（提示位置）を画素未満単位でシフトさせることが可能とされる。
　なお、位相画像の投影位置を画素未満単位でシフトさせるための構成としては、例えば光軸を振動させるための振動デバイスを用いた構成を採ることもできる。

　投影光学系７は、投影レンズを有し、空間光変調器６の強度変調により生成された像を投影面１００ａに投影する。本例では、空間光変調器６により強度変調された光はシフト部８で反射されて投影光学系に入射するようにされており、これにより投影光学系７は空間光変調器６の強度変調により生成された像を投影面１００ａに投影する。

　カメラ９は、例えばＣＣＤ（Charged-coupled devices）センサやＣＭＯＳ（Complementary metal-oxide-semiconductor）センサ等の撮像素子を有するデジタルカメラ装置として構成されている。カメラ９は、プロジェクタ装置１による投影画像の観察画像を得るために用いられ、投影面１００ａ上における画像の投影範囲全体が画角に収まるように配置されている。

　制御部３は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータを有して構成され、例えば上記ＲＯＭに格納されたプログラムに従った処理を実行することで、プロジェクタ装置１の各種動作制御を行う。具体的に制御部３は、信号処理部２、シフト部８、及びカメラ９の動作制御を行う。

　また、制御部３は、劣化関数計算部３１、逆関数計算部３２としての機能を有する。劣化関数計算部３１は、カメラ９による撮像画像に基づき、元画像に対する投影画像（提示画像）の劣化特性を示す劣化関数Ｗを計算する。なお、劣化関数Ｗや、劣化関数計算部３１が行う劣化関数Ｗの計算処理については後述する。

　逆関数計算部３２は、劣化関数計算部３１が求めた劣化関数Ｗの逆関数である逆関数Ｈを計算する。逆関数Ｈの計算手法については後に改めて説明する。

（1-2．従来のシフト提示について）

　図２及び図３を参照し、従来のシフト提示について説明する。
　ここでは、シフト提示として、図２に示すように位相画像を斜め方向に半画素分シフトさせる提示を繰り返し行うものとする。具体的には、フレーム期間ごとに位相画像の提示位置を図中実線で示す位置と点線で示す位置との間で交互にシフトさせるものである。
　ここでは、位相画像のフレームレートは１２０Ｈｚであるものとする。すなわち、画像シフトの周期は該フレームレートと同じ１２０Ｈｚである。

　図３は、従来のシフト提示における入力画像（元画像）と位相画像との関係を示した図である。
　従来のシフト提示においては、入力画像（本例では８ｋ、１２０Ｈｚ）における１枚のフレーム画像から生成した２枚の位相画像を時間方向で視覚的に混合されるようにシフトして提示することで、該１枚のフレーム画像の空間解像度を再現しようとする手法となる。
　ここで、「時間方向において視覚的に混合される」とは、人の目の積分効果により同時提示されたものとして視認されることを意味する。

　具体的に、従来のシフト提示では、入力画像について、１フレームおきのフレーム画像を用いる。そして、これら１フレームおきの入力フレーム画像に基づき、それぞれ２枚の位相画像を生成する。このとき、２枚の位相画像については、前述のように、元画像を空間方向に位相をずらしてダウンサンプリングすることで生成する。具体的に本例では、図２に例示したように斜め方向のシフトを行うことに対応して、元画像（８ｋ）に対してサンプリング位置を斜め方向に一画素分ずらしたダウンサンプリングを行うことで、２枚の位相画像を生成する。
　このように１フレームおきの入力フレーム画像からそれぞれ生成される位相画像を１２０Ｈｚの周期で図２のように交互にシフトさせて提示する。

　このような従来のシフト提示によれば、提示画像の空間解像度を空間光変調器６の空間解像度よりも向上させることができ、上記例のように位相画像の空間解像度＝４ｋである場合に、理論上は８ｋの空間解像度を実現することが可能となる。

　しかしながら、従来のシフト提示では、位相画像のフレームレートを入力画像のフレームレートと同じとしながら、位相画像をそれぞれ１枚の入力フレーム画像のみに基づき生成するものとしていることから、位相画像の生成は、入力画像の１フレームおきに行うようにされている。このことから、従来のシフト提示では、入力画像に対して提示画像のフレームレートが半減する、換言すれば、時間方向の解像度が半減するものとなってしまう。

　また、そもそもシフト提示を行う場合には、位相画像同士が重畳されることに伴う（正確には、視覚的に重畳されて視認されることに伴う）画素開口によるボケに起因した空間解像度の劣化が生じるものとなる。

　図４は、画素開口によるボケを説明するための図である。
　図中において、実線で示す各四角は一方の位相画像の各画素の画素開口（１画素分の領域）を模式的に表し、点線で示す各四角は他方の位相画像の各画素の画素開口を模式的に表している。
　また、図中において、丸印は各画素の画素重心を模式的に表している。なお、シフト提示を行うことで、視覚的には（つまり目の積分効果によって）、画素重心が増える効果が得られる。この点より、空間解像度の向上が図られるものである。

　図示のようにシフト提示を行う場合には、位相画像同士が重畳することになるため、提示画像には、該重畳に起因したボケが画素開口によるボケとして生じる。
　ここで、図中点線で示す方の位相画像について、最も左上に位置する画素を例に、各画素に生じる画素開口によるボケを考える。
　この場合、点線で示す位相画像の画素は、実線で示す位相画像における画素のうち重畳される画素が異なる四つの領域に分割できる。この四つの領域の割合をそれぞれδ_０、δ_１、δ_２、δ_３とおく。また、実線で示す位相画像の画素のうち、割合δ_０による領域に重畳する画素の画素値をＩ_１０とし、割合δ_１による領域に重畳する画素の画素値をＩ_１１とし、割合δ_２による領域に重畳する画素の画素値をＩ_１２とし、割合δ_３による領域に重畳する画素の画素値をＩ_１３とする。さらに、点線で示す位相画像の画素のうち対象とする画素（ここでは最も左上の画素）の画素値をＩ_０１とする。

　この場合、画素開口によるボケのモデルは、

　（δ_０＋δ_１＋δ_２＋δ_３）Ｉ_０１＋δ_０Ｉ_１０＋δ_１Ｉ_１１＋δ_２Ｉ_１２＋δ_３Ｉ_１３）

　で表すことができる。

　シフト提示を行う場合には、このような画素開口によるボケに起因した空間解像度の劣化が生じるものである。

（1-3．第一実施形態としてのシフト提示手法）

　本実施形態では、シフト提示を行うことによる時間方向の解像度低下と、上記したような画素開口によるボケ等に起因した空間方向の解像度低下との抑制を図るためのシフト提示の手法を提案する。

　図５は、第一実施形態としてのシフト提示手法の説明図である。
　ここでは、入力画像における各フレーム画像に時間方向における位置に応じた符号を付している。具体的に、ここでは、時間方向において連続する三つのフレーム画像について、過去側から未来側にかけてＧｉ１、Ｇｉ２、Ｇｉ３の符号を付している。これら時間方向に連続する三つのフレーム画像Ｇｉ１、Ｇｉ２、Ｇｉ３を一つのユニットとし、入力画像は該ユニットが時間方向に複数配置されたものであるとして表現している。
　また、入力画像から生成される位相画像についても、同様に時間方向において連続する三つの画像をそれぞれ位相画像Ｇｐ１、Ｇｐ２、Ｇｐ３とし、これら三つの位相画像Ｇｐ１、Ｇｐ２、Ｇｐ３によるユニットが時間方向に複数配置されたものであるとして表現している。

　先ず、本実施形態では、各位相画像Ｇｐは、１枚のフレーム画像Ｇｉから生成するものとはせず、時間方向において連続する複数のフレーム画像Ｇｉに基づき生成する。具体的に、本例では、従来のシフト提示と同様に、位相画像Ｇｐを第一位置と第一位置から斜め方向に半画素分ずれた第二位置との間で交互に提示する手法を採るものとし、これに対応して、位相画像Ｇｐは時間方向に連続する２枚のフレーム画像Ｇｉに基づき生成する。
　具体的に、位相画像Ｇｐ１については、フレーム画像Ｇｉ１とその１フレーム前のフレーム画像Ｇｉ３とに基づき生成する。また、位相画像Ｇｐ２については、フレーム画像Ｇｉ１とその１フレーム後のフレーム画像Ｇｉ２とに基づき生成し、さらに、位相画像Ｇｐ３についてはフレーム画像Ｇｉ２とその１フレーム後のフレーム画像Ｇｉ３とに基づき生成する。このとき、複数のフレーム画像Ｇｉに基づく位相画像Ｇｐの生成は、例えば、複数のフレーム画像Ｇｉの合成画像をダウンサンプリングする等、複数のフレーム画像の画像内容が引き継がれるような手法によるダウンサンプリング処理によって行う。
　また、フレーム画像Ｇｉからのダウンサンプリングは、上記した第一位置に提示する位相画像Ｇｐと第二位置に提示する位相画像Ｇｐとで、サンプリング位相を変えて行う具体的に、第一位置に提示する位相画像Ｇｐに対し、第二位置に提示する位相画像Ｇｐのサンプリング位相は、斜め方向に１画素（フレーム画像Ｇｉにおける１画素）分ずれた位相とする。

　ここで、上記のような位相画像Ｇｐの生成処理は、図１に示した位相画像生成部２１が行うものである。

　第一実施形態としてのシフト提示では、上記のように生成される位相画像Ｇｐについて、時間方向に連続する二つの位相画像Ｇｐの提示位置を前述した第一位置と第二位置との間で切り替えるようにすることで行う。この場合も、位相画像Ｇｐのシフト周期は、入力画像のフレームレートと一致する周期（本例では１２０Ｈｚ）とする。
　このような位相画像Ｇｐの提示位置のシフトは、図１に示した制御部３がシフト部８を制御することで行う。

　第一実施形態では、上記のような位相画像Ｇｐのシフト提示を行うことを前提とした場合において、提示画像の時空間方向の解像度低下の抑制を図るために、次のような手法を採る。すなわち、同じ元画像に基づき生成された複数の位相画像Ｇｐが時間方向において視覚的に混合された結果が元画像に近づくように、それら複数の位相画像Ｇｐを補正するという手法を採る。

　この補正にあたっては、前述した劣化関数Ｗの逆関数である逆関数Ｈを用いる。劣化関数Ｗは、元画像に対する提示画像の劣化特性を示す関数であり、本例では、図１に示した劣化関数計算部３１がカメラ９による撮像画像（投影画像の観察画像）に基づき求める。
　ここで、劣化関数Ｗは、空間解像度についての劣化特性を示す関数とされる。プロジェクタ装置を用いて位相画像のシフト提示を行う場合において、提示画像に生じる空間解像度の低下の要因としては、シフト提示そのものに起因した要因と、シフト提示以外の要素に起因した要因とに大別できる。
　シフト提示そのものに起因した要因としては、前述した画素開口によるボケを挙げることができる。
　シフト提示以外の要素に起因した要因としては、以下の要因を挙げることができる。
　・投影面１００ａにおいて投影光が拡散反射することにより生じるボケ
　・投影面１００ａが微細な凹凸を有する（部分的に奥行きの差がある）ことに起因したボケ
　・レンズや光源等の光学部品が有する光学特性に起因して生じるボケ

　本例において、劣化関数Ｗは、これらシフト提示に起因した画素開口によるボケと、シフト提示以外の要素に起因したボケの双方による劣化特性を示す関数として求められる。　ここで、先の図４の説明から理解されるように、画素開口によるボケについては、提示画像を観察することなく、視覚的に重畳し合う関係となる位相画像Ｇｐに基づいて計算により求めることができる。
　一方、シフト提示以外の要素に起因したボケについては、投影画像の観察画像に基づいて計算する。ここで、シフト提示以外の要素に起因したボケは、位相画像Ｇｐのシフト提示を行う場合は、第一位置と第二位置とで異なる特性となる。このため、シフト提示以外の要素に起因したボケの特性情報については、第一位置と第二位置ごとに計算する。

　図１に示した劣化関数計算部３１は、劣化関数Ｗを求めるにあたり、先ず、カメラ９による撮像画像に基づき、シフト提示以外の要素に起因したボケの特性情報を計算する。本例において、この特性情報としては、例えばＰＳＦ（Point Spread Function：点広がり関数）を計算する。シフト提示以外の要素に起因したボケの特性情報としては、画像のエリアごとにこのＰＳＦを求める。
　上述のように、シフト提示以外の要素に起因したボケの特性は第一位置と第二位置とで異なるので、上記の特性情報を求めるにあたっては、第一位置の投影画像についての観察画像と、第二位置の投影画像についての観察画像とをカメラ９より入力し、第一位置、第二位置それぞれについて、シフト提示以外の要素に起因したボケの特性情報を計算する。
　また、劣化関数計算部３１は、画素開口によるボケの特性情報として、第一位置についての特性情報と第二位置についての特性情報を計算する。
　そして、劣化関数計算部３１は、第一位置について計算した画素開口によるボケの特性情報とシフト提示以外の要素に起因したボケの特性情報とに基づき、第一位置について、双方のボケによる劣化特性を示す劣化関数Ｗを計算する。また、劣化関数計算部３１は、第二位置について計算した画素開口によるボケの特性情報とシフト提示以外の要素に起因したボケの特性情報とに基づき、第二位置について、双方のボケによる劣化特性を示す劣化関数Ｗを計算する。
　ここで、以下、第一位置について求められた劣化関数Ｗを「劣化関数Ｗ_１」と表記し、第二位置について求められた劣化関数Ｗを「劣化関数Ｗ_２」と表記する。

　図６は、補正関数としての逆関数Ｈを求めるための手法についての説明図である。
　ここでは、位相画像Ｇｐについての現時刻を時刻ｔとする。また、フレーム画像Ｇｉ側の現時刻を時刻ｔ’とする。この時刻ｔ’は、本例のように第一位置と第二位置の二つの位置間でシフト提示を行う場合には、時刻ｔの位相画像Ｇｐの生成元である２枚のフレーム画像Ｇｉのうち、時間的に前側（過去側）のフレーム画像Ｇｉの時刻となる。

　第一実施形態において、補正のための逆関数Ｈは、下記［式１］で示すコスト関数Ｑに基づいて求める。

　ただし、Ｙ_ｔ’は現在の入力画像（フレーム画像Ｇｉ）、Ｙ_ｔ’－１は１時刻前の入力画像、Ｘ_ｔは現在の出力画像（位相画像Ｇｐ）、Ａ_ｔ－１は１時刻前の出力画像、Ａ_ｔ＋１は１時刻後の出力画像を意味する。

　ここで、図５等を参照して説明した第一実施形態としてのシフト提示は、時刻ｔ－１の出力画像（Ａ_ｔ－１）と時刻ｔの出力画像（Ｘ_ｔ）とで、時刻ｔ’－１の入力画像（Ｙ_ｔ’－１）を再現し、時刻ｔの出力画像（Ｘ_ｔ）と時刻ｔ＋１の出力画像（Ａ_ｔ＋１）とで、時刻ｔ’の入力画像（Ｙ_ｔ’）を再現するものであると捉えることができる。
　［式１］の右辺においては、出力画像Ａ_ｔ－１に対して劣化関数Ｗ_１を乗じた結果と、現在の出力画像Ｘ_ｔに対し劣化関数Ｗ_２と逆関数Ｈ_ｔとを乗じた結果との和（つまり２画像を合成した成分）を、入力画像Ｙ_ｔ’－１から減じる項（以下「第一項」とする）があるが、該第一項において、逆関数Ｈ_ｔが劣化関数Ｗ_２を打ち消すものであれば、入力画像Ｙ_ｔ’－１との差（つまり再現すべき画像との差）は小さくなる。
　また、［式１］において、第一項に続く第二項では、出力画像Ａ_ｔ＋１に対して劣化関数Ｗ_１を乗じた結果と、現在の出力画像Ｘ_ｔに対し劣化関数Ｗ_２と逆関数Ｈ_ｔとを乗じた結果との和を入力画像Ｙ_ｔ’から減じているが、該第二項においても、逆関数Ｈ_ｔが劣化関数Ｗ_２を打ち消すものであれば、再現すべき画像（この場合は入力画像Ｙ_ｔ’）との差は小さくなる。
　このため、本実施形態では、［式１］に示すコスト関数Ｑを最小化する逆関数Ｈ_ｔを、補正のための関数として求める。これは、入力画像としての元画像に基づき生成された複数の画像が時間方向において視覚的に混合された結果が元画像に近づくようにするための逆関数Ｈ_ｔを求めることに相当する。

　ここで、［式１］の特徴は、逆関数Ｈ_ｔの導出式として、現時刻の入力画像と出力画像（２枚の位相画像Ｇｐ）のみでなく、現時刻に隣接する時刻の入力画像と出力画像とを用いた式としている点である。
　この点より、［式１］を用いることで、時間方向の解像度低下の抑制が可能な逆関数Ｈ_ｔを求めることができる。

（1-4．処理手順）

　図７のフローチャートを参照し、逆関数Ｈ_ｔを求めるための具体的な処理例について説明する。
　ここで、図７に示す処理は、制御部３が前述した劣化関数計算部３１及び逆関数計算部３２の処理として実行するものである。

　先ず、制御部３はステップＳ１０１で、撮像画像に基づき劣化関数Ｗ_１、Ｗ_２を求める処理を実行する。これは、劣化関数計算部３１としての処理である。
　具体的に、ステップＳ１０１で制御部３は、カメラ９により第一位置に提示した画像と第二位置に提示した画像についての撮像動作を実行させて、これら第一位置に提示した画像と第二位置に提示した画像についての撮像画像（観察画像）を得、それらの撮像画像に基づき、前述した手法により劣化関数Ｗ_１、Ｗ_２を求める。

　ステップＳ１０１に続くステップＳ１０２で制御部３は、出力画像Ａと出力画像Ｘの入力を開始する。すなわち、信号処理部２（位相画像生成部２１）に入力画像に基づく位相画像Ｇｐの生成を開始させ、生成された位相画像Ｇｐの入力を開始する。

　ステップＳ１０２に続くステップＳ１０３で制御部３は、［式１］に基づき最小二乗法により逆関数Ｈ_ｔを求める。
　なお、［式１］に基づき逆関数Ｈ_ｔを求める手法は最小二乗法に限定されるものではなく、例えばＱの値を所定の閾値以下とする逆関数Ｈ_ｔを求める等、他の手法を採ることもできる。

　ここで、補正関数としては、ステップＳ１０３で求まる逆関数Ｈ_ｔを用いることも可能である。ただし、［式１］は、現時刻ｔの位相画像Ｇｐの提示位置が第一位置と第二位置のうち第二位置であることを前提とした逆関数Ｈ_ｔの導出式となっている。厳密には、第一位置と第二位置での劣化関数Ｗは異なるものであるため、より正確な補正を行うのであれば第一位置についての逆関数Ｈ_ｔ（以下「逆関数Ｈ_ｔａ」と表記する）を求めることが望ましい。また、このように第一位置の逆関数Ｈ_ｔａを用いるのであれば、実際に補正した位相画像Ｇｐの提示を行う際には、出力画像Ａ_ｔ－１、Ａ_ｔ＋１として逆関数Ｈ_ｔａにより補正された画像を提示することになるので、逆関数Ｈ_ｔａを考慮していない［式１］で求まる逆関数Ｈ_ｔは、厳密には正確でない。

　そこで、本例では、ステップＳ１０３に続くステップＳ１０４以降の処理を行うものとしている。

　ステップＳ１０４で制御部３は、逆関数Ｈ_ｔを用いてＡ’_ｔ（＝Ｗ_２・Ｈ_ｔ（Ｘ_ｔ））を求める。そして、続くステップＳ１０５で制御部３は、下記［式２］に基づき、最小二乗法により逆関数Ｈ_ｔａを求める。

　ステップＳ１０５に続くステップＳ１０６で制御部３は、逆関数Ｈ_ｔａを用いてＡ’_ｔ－１（＝Ｗ_１・Ｈ_ｔａ（Ａ_ｔ－１））、Ａ’_ｔ＋１（＝Ｗ_１・Ｈ_ｔａ（Ａ_ｔ＋１））を求めた上で、続くステップＳ１０７で、求めたＡ’_ｔ－１、Ａ’_ｔ＋１を用いて［式１］に基づき逆関数Ｈ_ｔを再度求める。具体的には、［式１］における「Ｗ_１・Ａ_ｔ－１」にＡ’_ｔ－１を代入し、「Ｗ_１・Ａ_ｔ＋１」にＡ’_ｔ＋１を代入して最小二乗法により逆関数Ｈ_ｔを再度求める。
　次いで、制御部３はステップＳ１０８で、求めた逆関数Ｈ_ｔを用いてＡ’_ｔを求め、［式２］に基づき逆関数Ｈ_ｔａを再度求める。

　ステップＳ１０８に続くステップＳ１０９で制御部３は、逆関数Ｈ_ｔ、逆関数Ｈ_ｔａが求まった際のそれぞれのＱの値が閾値以下か否かを判定する。すなわち、ステップＳ１０７で逆関数Ｈ_ｔが求まった際のＱの値と、ステップＳ１０８で逆関数Ｈ_ｔａが求まった際のＱの値のそれぞれが閾値以下であるか否かを判定する。

　双方のＱの値が閾値以下でなければ、制御部３はステップＳ１０６に戻る。これにより、双方のＱの値が閾値以下となるまで、逆関数Ｈ_ｔと逆関数Ｈ_ｔａの再計算が行われる。
　一方、双方のＱの値が閾値以下であれば、制御部３は図７に示す一連の処理を終える。つまりこれにより、位相画像Ｇｐの補正処理に用いる逆関数Ｈ_ｔと逆関数Ｈ_ｔａが求まる。

　図示による説明は省略するが、制御部３は、図７の処理で求めた逆関数Ｈ_ｔと逆関数Ｈ_ｔａを信号処理部２に設定する。
　信号処理部２（補正処理部２２）は、設定された逆関数Ｈ_ｔと逆関数Ｈ_ｔａを用いて、位相画像生成部２１としての機能により生成した位相画像Ｇｐについての補正処理を行う。具体的には、提示位置が第一位置となる位相画像Ｇｐについては逆関数Ｈ_ｔａを用いた補正処理を行い、提示位置が第二位置となる位相画像Ｇｐについては逆関数Ｈ_ｔを用いた補正処理を行う。

　なお、ステップＳ１０３で求めた逆関数Ｈ_ｔを補正関数として用いる場合、信号処理部２は、各位相画像Ｇｐに対し逆関数Ｈ_ｔを用いた補正処理を行う。

＜２．第二実施形態＞

　続いて、第二実施形態について説明する。
　第一実施形態では、プロジェクタ装置１が逆関数Ｈの計算機能を有し、該計算機能により計算した逆関数Ｈを用いて位相画像Ｇｐの補正を行う例を挙げた。
　第二実施形態は、予め計算された逆関数Ｈを格納したテーブルを用意し、該テーブルから対応する逆関数Ｈを取得して補正に用いるものである。

　図８は、第二実施形態としてのプロジェクタ装置１Ａの構成例を説明するためのブロック図である。
　なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

　図示のようにプロジェクタ装置１Ａは、図１に示したプロジェクタ装置１と比較して、制御部３に代えて制御部３Ａが設けられる点と、メモリ部１０が追加された点とが異なる。
　メモリ部１０は、例えば不揮発性のメモリ装置として構成され、各種情報の記憶に用いられる。本実施形態において、メモリ部１０には、逆関数テーブル１０ａが記憶されている。
　逆関数テーブル１０ａは、劣化関数Ｗの類型ごとに逆関数Ｈの情報が対応づけられたテーブル情報とされる。ここで、劣化関数Ｗの類型とは、劣化関数Ｗが有する特徴に係る類型を意味するものであり、劣化の度合いが近似している劣化関数Ｗ同士を同類型に分類したり、或いは、複数の劣化項目のうち劣化の度合いが大きい項目が所定数以上一致している劣化関数同士を同類型に分類したりすること等が考えられる。
　逆関数テーブル１０ａは、予め分類された劣化関数Ｗの類型ごとに、対応する逆関数Ｈの情報が紐付けられた情報とされる。

　制御部３Ａは、制御部３と比較して、逆関数計算部３２に代えて逆関数選択部３３を有する点が異なる。
　逆関数選択部３３は、劣化関数計算部３１により計算された劣化関数Ｗに基づき、逆関数テーブル１０ａから対応する逆関数Ｈを選択する。そして、選択した逆関数Ｈを信号処理部２（補正処理部２２）に設定する。
　これにより、信号処理部２において、実測された画像劣化特性に対応した適切な逆関数Ｈを用いた位相画像Ｇｐの補正処理を実行させることができる。

　上記構成によるプロジェクタ装置１Ａによれば、このように実測された画像劣化特性に対応した適切な補正処理を実現するにあたり、劣化関数Ｗに基づき逆関数Ｈを計算する必要がなくなる。
　従って、補正にあたっての処理負担軽減を図ることができる。

　図９は、上記により説明した第二実施形態としての補正手法を実現するための制御部３Ａの処理手順例を示したフローチャートである。
　先ず、制御部３ＡはステップＳ２０１で、撮像画像に基づき劣化関数Ｗを求める処理を行う。そして、続くステップＳ２０２で制御部３Ａは、劣化関数Ｗの類型を判定する処理を行う。すなわち、予め定められた類型の分類基準に従って、劣化関数Ｗの類型を判定する処理を行う。

　次いで、制御部３ＡはステップＳ２０３で、劣化関数Ｗの類型に対応する逆関数Ｈを逆関数テーブル１０ａから選択する処理を行い、続くステップＳ２０４で、選択した逆関数Ｈを信号処理部２に設定する処理を行い、図９に示す一連の処理を終える。

　ここで、逆関数Ｈとして逆関数Ｈ_ｔと逆関数Ｈ_ｔａを用いる場合には、逆関数テーブル１０ａとしては、劣化関数Ｗ_１の類型ごとに逆関数Ｈ_ｔａが対応づけられ、劣化関数Ｗ_２の類型ごとに逆関数Ｈ_ｔが対応づけられた情報を用いる。
　この場合、制御部３Ａは、ステップＳ２０１では先のステップＳ１０１と同様に劣化関数Ｗ_１、Ｗ_２を求める処理を行い、ステップＳ２０２で劣化関数Ｗ_１、Ｗ_２ごとに類型を判定し、ステップＳ２０３では劣化関数Ｗ_１の類型に対応した逆関数Ｈ_ｔａと劣化関数Ｗ_２の類型に対応した逆関数Ｈ_ｔとを逆関数テーブル１０ａから選択する処理を行う。そして、ステップＳ２０４では選択した逆関数Ｈ_ｔと逆関数Ｈ_ｔａを信号処理部２に設定する処理を行う。

＜３．第三実施形態＞

　第三実施形態は、第一実施形態では位相画像Ｇｐのシフト提示位置を第一位置と第二位置の二つの位置としていたものを、四つに増やすものである。
　図１０は、第三実施形態としてのシフト提示手法の説明図である。
　第三実施形態では、図１０Ａから図１０Ｄの遷移として示すように、位相画像Ｇｐの提示位置を四つの位置の間でシフトさせる。具体的には、図１０Ａに示す第一位置での提示を行った後、第一位置から下方向に半画素ずれた位置（第三実施形態では第二位置とする）での提示（図１０Ｂ）を行い、その後、第二位置から右方向に半画素ずれた位置（第三位置とする）での提示（図１０Ｃ）を行い、さらにその後、第三位置から上方向に半画素ずれた位置（第四位置とする）での提示（図１０Ｄ）を行う。第四位置での提示を行った後は、再度、第一位置での提示を行う。
　このように位相画像Ｇｐのシフト提示位置を増やすことで、提示画像の空間解像度のさらなる向上を図ることができる。

　図１１は、第三実施形態における入力画像の各フレーム画像Ｇｉと位相画像Ｇｐとの時間方向における対応関係を模式的に示した図である。
　第三実施形態においても、説明上、入力画像のフレームレート、位相画像Ｇｐのフレームレートは共に１２０Ｈｚであるとする。
　第三実施形態では、時間方向において連続する四つの位相画像Ｇｐのシフト提示によって一つのフレーム画像Ｇｉを再現する。図中では、或る時刻におけるフレーム画像Ｇｉ３が、時間方向において連続する四つの位相画像Ｇｐ１、Ｇｐ２、Ｇｐ３、Ｇｐ４のシフト提示により再現され、フレーム画像Ｇｉ３の１時刻前のフレーム画像Ｇｉ２が、時間方向において連続する四つの位相画像Ｇｐ４、Ｇｐ１、Ｇｐ２、Ｇｐ３のシフト提示により再現されることを模式的に示している。

　この場合も各位相画像Ｇｐは、再現対象とするフレーム画像Ｇｉを含む時間方向に連続した複数枚のフレーム画像Ｇｉに基づき生成する。例えば、同じフレーム画像Ｇｉ３を再現対象とする四つの位相画像Ｇｐ１からＧｐ４について、位相画像Ｇｐ１は、再現対象とするフレーム画像Ｇｉ３を含む、時間方向において連続する四つのフレーム画像Ｇｉ４、Ｇｉ１、Ｇｉ２、Ｇｉ３に基づき生成する。また、位相画像Ｇｐ２は、同フレーム画像Ｇｉ３を含む、時間方向において連続する四つのフレーム画像Ｇｉ１、Ｇｉ２、Ｇｉ３、Ｇｉ４に基づき生成し、位相画像Ｇｐ３は、同フレーム画像Ｇｉ３を含む、時間方向において連続する四つのフレーム画像Ｇｉ２、Ｇｉ３、Ｇｉ４、Ｇｉ１に基づき生成し、位相画像Ｇｐ４は、同フレーム画像Ｇｉ３を含む、時間方向において連続する四つのフレーム画像Ｇｉ３、Ｇｉ４、Ｇｉ１、Ｇｉ２に基づき生成する。

　図１２は、第三実施形態における逆関数Ｈを求めるための手法についての説明図である。
　先の図６と同様に、位相画像Ｇｐについての現時刻を時刻ｔとし、フレーム画像Ｇｉ側の現時刻を時刻ｔ’とする。この場合、時刻ｔ’は、時刻ｔ－１、ｔ、ｔ＋１、ｔ－１の連続する４枚の位相画像Ｇｐが再現対象とするフレーム画像Ｇｉの時刻である。

　第三実施形態においては、逆関数Ｈ_ｔを下記［式３］で示すコスト関数Ｑに基づき求める。

　ただし、劣化関数Ｗ_１、Ｗ_２、Ｗ_３、Ｗ_４は、それぞれ図１０で説明した第一位置、第二位置、第三位置、第四位置についての劣化関数Ｗを意味する。

　この［式３］で示すコスト関数Ｑを最小化する逆関数Ｈ_ｔを、補正のための関数として求める。

　図１３は、第三実施形態としてのプロジェクタ装置１Ｂの構成例を説明するためのブロック図である。
　第一実施形態のプロジェクタ装置１と比較して、プロジェクタ装置１Ｂでは、信号処理部２に代えて信号処理部２Ｂが設けられ、制御部３に代えて制御部３Ｂが設けられた点が異なる。
　図示のように信号処理部２Ｂは、位相画像生成部２１Ｂと補正処理部２２Ｂとを有する。また、制御部３Ｂは、劣化関数計算部３１Ｂと逆関数計算部３２Ｂとを有する。

　信号処理部２Ｂにおいて、位相画像生成部２１Ｂは、入力画像に基づき、第一位置から第四位置の四つの提示位置にそれぞれ対応したサンプリング位相により入力画像に対するダウンサンプリングを行って、第一位置から第四位置の各提示位置に対応した位相画像Ｇｐを生成する。前述のように、各位相画像Ｇｐは、再現対象とするフレーム画像Ｇｉを含む時間方向において連続した複数枚のフレーム画像Ｇｉに基づき生成する。

　制御部３Ｂは、シフト部８の制御として、図１０で説明したような第一位置から第四位置の間で画像提示位置を循環的に変化させるための制御を行う点が制御部３と異なる。
　また、制御部３Ｂにおいて、劣化関数計算部３１Ｂは、カメラ９による撮像画像に基づき、第一位置から第四位置の各提示位置に対応した劣化関数Ｗ_１、Ｗ_２、Ｗ_３、Ｗ_４を計算する。

　逆関数計算部３２Ｂは、劣化関数計算部３１Ｂが計算した劣化関数Ｗ_１、Ｗ_２、Ｗ_３、Ｗ_４を用いて、［式３］に基づき逆関数Ｈ_ｔを求める。そして、求めた逆関数Ｈ_ｔを信号処理部２Ｂ（補正処理部２２Ｂ）に設定する。

　補正処理部２２Ｂは、設定された逆関数Ｈ_ｔを用いて、位相画像生成部２１Ｂが生成する各位相画像Ｇｐの補正処理を行う。

　ここで、第三実施形態においても、第一実施形態において［式２］を参照して説明したような提示位置ごとの逆関数Ｈを求める手法を採ることもできる。その場合、制御部３Ｂ（逆関数計算部３２Ｂ）は、先の図７で説明した手法と同様の手法により、逆関数Ｈ_ｔに基づき別の提示位置についての逆関数Ｈを順次求めていく処理を行う。この際、図７で説明した手法と同様に、Ｑの値が所定の閾値以下となることを条件として各位置の逆関数Ｈの導出演算を反復して行うようにすることもできる。

　なお、上記では、第一実施形態のようにプロジェクタ装置１Ｂが逆関数Ｈの計算を行う例を挙げたが、第四実施形態においても、第二実施形態のように逆関数Ｈを劣化関数Ｗの類型ごとに格納したテーブルから劣化関数Ｗの類型に対応する逆関数Ｈを取得する構成を採ることもできる。

＜４．第四実施形態＞

　第四実施形態は、画像中における動きのある領域とそうでない領域とで、異なる逆関数Ｈを使い分けるものである。

　図１４は、動物体領域Ｒｍと背景領域Ｒｓの説明図である。
　図示の例では、馬としての被写体が画像中における動物体Ｏｍであり、該動物体Ｏｍを含む画像領域が動物体領域Ｒｍとして検出される。画像中における動物体Ｏｍの領域は、フレーム画像間での画像差分等に基づき検出可能である。動物体Ｏｍの検出領域を囲む領域を動物体領域Ｒｍとして定める。
　画像中において、動物体領域Ｒｍ以外の領域が、背景領域Ｒｓである。

　第四実施形態では、位相画像Ｇｐにおける動物体領域Ｒｍと背景領域とで、異なる逆関数Ｈを用いて補正処理を行う。具体的に、動物体領域Ｒｍについては、空間方向の解像度低下の補正よりも時間方向の解像度低下の補正を優先する計算手法により計算された逆関数Ｈを用いて補正処理を行い、背景領域Ｒｓについては、時間方向の解像度低下の補正よりも空間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行う。

　第四実施形態において、動物体領域Ｒｍ用の逆関数Ｈと、背景領域Ｒｓ用の逆関数Ｈは、下記［式４］に基づき求める。

　ただし、γ_０、γ_１はそれぞれ重み係数を表す。なお、［式４］において、劣化関数Ｗの符号を「Ｗ’」としているのは、第四実施形態では劣化関数ＷとしてＷ_１、Ｗ_２以外の劣化関数が用いられ得るためである。

　背景領域Ｒｓ用の逆関数Ｈについては、［式４］として、例えばγ_０＝０、γ_１＝１とする等、現時刻ｔ’側の重みであるγ_１を時刻ｔ’－１側の重みであるγ_０よりも大きくした式を用いて、Ｑの値を最小化する逆関数Ｈ_ｔを求める。このとき、劣化関数Ｗ’_１、Ｗ’_２については、それぞれ劣化関数Ｗ_１、Ｗ_２を用いる。
　［式４］において、現時刻ｔ’側の重みであるγ_１の方を大きくすることで、現時刻側が優先され、時間方向の解像度低下の抑制に係る作用が薄れる。このため、時間方向の解像度低下の抑制よりも空間方向の解像度低下の抑制を優先した逆関数Ｈが求まる。

　一方、動物体領域Ｒｍ用の逆関数Ｈについては、［式４］として、劣化関数Ｗ’_１、Ｗ’_２にそれぞれ単位行列を代入した式を用いてＱの値を最小化する逆関数Ｈ_ｔを求める。ここで、単位行列は、空間方向の画質劣化が無いことを示す劣化関数Ｗと換言することができるものである。この場合、重み係数γ_０、γ_１は共に「１」とする。　
　［式４］において、劣化関数Ｗ’_１、Ｗ’_２にそれぞれ単位行列を代入することで、空間方向の解像度低下の抑制に係る作用がなくなる。このため、時間方向における解像度低下の抑制に係る作用が高められ、空間方向の解像度低下の抑制よりも時間方向の解像度低下の抑制を優先した逆関数Ｈが求まる。

　なお、上記では時間方向の解像度低下の抑制（補正）を優先させる場合に空間方向の画質劣化が無いことを示す劣化関数を用いるものとしたが、該画質劣化が少ないことを示す劣化関数（換言すれば、所定量以下のボケがあることを示す劣化関数）を用いることもできる。

　図１５は、第四実施形態としてのプロジェクタ装置１Ｃの構成例を説明するためのブロック図である。
　プロジェクタ装置１との相違点は、動物体領域検出部１５及びメモリ部１０が追加されると共に、信号処理部２に代えて信号処理部２Ｃが設けられ、制御部３に代えて制御部３Ｃが設けられた点である。
　動物体領域検出部１５は、入力画像から動物体領域Ｒｍを検出する。

　信号処理部２Ｃは、補正処理部２２に代えて補正処理部２２Ｃを有する点が信号処理部２と異なる。
　制御部３Ｃは、逆関数計算部３２に代えて逆関数計算部３２Ｃを有し、逆関数設定部３４が追加された点が制御部３と異なる。

　制御部３Ｃにおいて、逆関数計算部３２Ｃは、劣化関数計算部３１により計算された劣化関数Ｗ_１、Ｗ_２に基づき、前述した［式４］を用いた手法により動物体領域Ｒｍ用の逆関数Ｈ_ｔ、すなわち時間方向の解像度低下の補正を優先した逆関数Ｈ_ｔと、背景領域Ｒｓ用の逆関数Ｈ_ｔ、すなわち空間方向の解像度低下の補正を優先した逆関数Ｈ_ｔとを求める。
　制御部３Ｃは、このように求めた動物体領域Ｒｍ用の逆関数Ｈ_ｔ、背景領域Ｒｓ用の逆関数Ｈ_ｔをメモリ部１０にそれぞれ動物体用関数情報１０ｂ、背景用関数情報１０ｃとして記憶させる処理を行う。

　位相画像Ｇｐのシフト提示を行う際には、制御部３Ｃにおける逆関数設定部３４が、メモリ部１０にそれぞれ動物体用関数情報１０ｂ、背景用関数情報１０ｃとして記憶された動物体領域Ｒｍ用の逆関数Ｈ_ｔと、背景領域Ｒｓ用の逆関数Ｈ_ｔとを読み出して信号処理部２Ｃ（補正処理部２２Ｃ）に設定する。

　信号処理部２Ｃにおいて、補正処理部２２Ｃは、動物体領域検出部１５が検出した動物体領域Ｒｍの情報（領域位置及び範囲を示す情報）に基づき、位相画像Ｇｐにおける動物体領域Ｒｍと背景領域Ｒｓとでそれぞれ異なる逆関数Ｈ_ｔを用いた補正処理を行う。具体的に、補正処理部２２Ｃは、動物体領域Ｒｍが検出された場合は、位相画像Ｇｐにおける動物体領域Ｒｍについて動物体領域Ｒｍ用の逆関数Ｈ_ｔを用いた補正処理を行うと共に、背景領域Ｒｓについては背景領域Ｒｓ用の逆関数Ｈ_ｔを用いた補正処理を行う。
　なお、動物体領域Ｒｍが非検出の場合には、［式１］に基づき求めた逆関数Ｈ_ｔを用いて位相画像Ｇｐに対する補正処理を行うことが考えられる。

　ここで、第四実施形態においても、第一実施形態において［式２］を参照して説明したような提示位置ごとの逆関数Ｈを求める手法を採ることもできる。つまりその場合、制御部３Ｃ（逆関数計算部３２Ｃ）は、動物体領域Ｒｍ用、背景領域Ｒｓ用それぞれの逆関数Ｈとして、提示位置ごとの逆関数Ｈを計算する。
　また、第四実施形態は、第三実施形態のように提示位置を四つとする場合にも適用可能なものである。

＜５．第五実施形態＞

　第五実施形態は、パララックスバリア方式による立体画像の表示装置への適用例である。
　図１６は、パララックスバリア方式による立体画像表示についての説明図である。
　周知のようにパララックスバリア方式では、例えば液晶ディスプレイ等のディスプレイ４０の前面側（表示面側）にパララックスバリア（parallax barrier）４１が配置される。パララックスバリアは等しい幅のスリットと遮光部が対になって等間隔に並んだ縦光子状のマスク部材である。
　パララックスバリア方式では、ディスプレイ４０の横方向（水平方向）において、左目画像を表示するための画素Ｐｘの列（図中、Ｌ１からＬ４と示す）と、右目画像を表示するための画素Ｐｘの列（図中、Ｒ１からＲ４と示す）とが交互に配置されている。本例では、左目画像、右目画像それぞれの表示用の列は各一列とされている。

　パララックスバリア方式では、パララックスバリア４１により、図示のように左目画像表示用の列からの画像光は、観察者の左目位置、右目位置のうち左目位置にのみ導かれ、右目画像表示用の列からの画像光は右目位置のみに導かれる。これにより、観察者の左目には左目画像のみが視認され、右目には右目画像のみが視認され、裸眼立体画像表示が実現される。

　このようなパララックスバリア方式の立体画像表示では、左目画像、右目画像はそれぞれ一列おきの画像となるため、空間方向の解像度低下が生じる。このため、パララックスバリア方式において、右目画像、左目画像のそれぞれについて、元画像に対し空間方向の位相をずらしてサンプリングした複数の位相画像を時間方向で切り替えて表示することで、前述したシフト提示と同様の原理により、空間解像の低下抑制を図ることが考えられる。

　図１７は、このように右目画像、左目画像それぞれについて複数の位相画像を時間方向において切り替えて表示する手法の具体例を説明するための図である。
　例えば、偶数番目のフレーム期間においては、右目画像（元画像：入力画像）について、例えば偶数列の画素のみをサンプリングした画像を右目位相画像として生成すると共に、左目画像（元画像：入力画像）について、例えば偶数列の画素のみをサンプリングした画像を左目位相画像として生成する。そして、偶数番目のフレーム期間の画像表示としては、上記のように生成した右目位相画像の各列の画像をディスプレイ４０における右目画像表示用の列にそれぞれ表示させ、左目位相画像の各列の画像をディスプレイ４０における左目画像表示用の列にそれぞれ表示させる。
　一方、奇数番目のフレーム期間においては、右目画像について、例えば奇数列の画素のみをサンプリングした画像を右目位相画像として生成すると共に、左目画像について、例えば奇数列の画素のみをサンプリングした画像を左目位相画像として生成する。そして、奇数番目のフレーム期間の画像表示としては、上記のように生成した右目位相画像の各列の画像をディスプレイ４０における右目画像表示用の列にそれぞれ表示させ、左目位相画像の各列の画像をディスプレイ４０における左目画像表示用の列にそれぞれ表示させる。
　なお、偶数番目のフレーム期間に元画像の奇数列をサンプリングし、奇数番目のフレーム期間に元画像の偶数列をサンプリングしてもよい。

　このように元画像に対し空間方向の位相をずらしてサンプリングした複数の位相画像を時間方向で切り替えて表示することによっては、シフト提示を行う場合と同様に、時間方向における解像度低下を招来する。
　このため、第一実施形態の場合と同様に、［式１］に基づき求めた逆関数Ｈを用いて、右目位相画像と左目位相画像のそれぞれを補正することが有効である。

　図１８は、このような右目位相画像と左目位相画像のそれぞれの補正処理を行う第四実施形態としての表示装置１Ｄの構成例を示したブロック図である。
　図示のように表示装置１Ｄは、パララックスバリア方式による立体画像の表示のため、ディスプレイ４０と、その前面に配置されたパララックスバリア４１とを備えている。
　また、表示装置１Ｄは、信号処理部２Ｄ、制御部３Ｄ、及びメモリ部１０を備えている。

　信号処理部２Ｄは、右目位相画像生成部２１Ｒ、左目位相画像生成部２１Ｌ、補正処理部２２Ｄ、及び合成部２３を有する。
　右目位相画像生成部２１Ｒは、右目画像の入力画像に基づき、前述した右目位相画像を生成する。また、左目位相画像生成部２１Ｌは、左目画像の入力画像に基づき、前述した左目位相画像を生成する。前述のように、本例において右目位相画像、左目位相画像については、それぞれ偶数番目のフレーム期間においては入力画像における偶数列の画素のみをサンプリングした画像として生成し、奇数番目のフレーム期間においては入力画像における奇数列の画素のみをサンプリングした画像として生成する。

　制御部３Ｄは、劣化関数取得部３５と逆関数選択部３３Ｄとを有する。劣化関数取得部３５は、右目位置、左目位置のそれぞれにおいて提示される画像についての劣化関数Ｗを取得する。ここで、これら右目位置、左目位置それぞれの提示画像についての劣化関数Ｗは、例えば、ディスプレイ４０やパララックスバリア４１の設計値等から予め計算により求められ表示装置１Ｄにおいて記憶されたものを取得することが考えられる。或いは、第一実施形態等のように、カメラ９を設け、撮像画像に基づいて計算により求めることも考えられる。

　ここで、この場合のメモリ部１０には、逆関数テーブル１０ｄが記憶されている。逆関数テーブル１０ｄは、右目、左目ごとに、劣化関数Ｗの類型ごとの逆関数Ｈが格納された情報とされる。
　この場合の逆関数Ｈは、右目位置の提示画像についての劣化関数Ｗ、左目位置の提示画像についての劣化関数Ｗを用いて、［式１］に基づき求められたものである。

　制御部３Ｄにおいて、逆関数選択部３３Ｄは、劣化関数取得部３５が取得した右目位置の提示画像についての劣化関数Ｗ、左目位置の提示画像についての劣化関数Ｗに基づき、メモリ部１０における逆関数テーブル１０ｄから対応する逆関数Ｈをそれぞれ選択する。具体的に本例では、劣化関数取得部３５が取得した右目位置の提示画像についての劣化関数Ｗ、左目位置の提示画像についての劣化関数Ｗについて、それぞれ類型を判定し、判定した類型に対応する右目側の逆関数Ｈ、左目側の逆関数Ｈをそれぞれ選択する。
　逆関数選択部３３Ｄは、選択した右目側の逆関数Ｈ、左目側の逆関数Ｈを信号処理部２Ｄ（補正処理部２２Ｄ）に設定する。

　信号処理部２Ｄにおいて、補正処理部２２Ｄは、設定された右目側の逆関数Ｈを用いて右目位相画像生成部２１Ｒが生成する右目位相画像の補正処理を行うと共に、設定された左目側の逆関数Ｈを用いて左目位相画像生成部２１Ｌが生成する左目位相画像の補正処理を行う。

　合成部２３は、このように補正処理部２２Ｄによって補正処理が施された右目位相画像と左目位相画像とを入力し、右目位相画像の各列の画像をディスプレイ４０における右目画像表示用の列にそれぞれ表示させ、左目位相画像の各列の画像をディスプレイ４０における左目画像表示用の列にそれぞれ表示させるための表示画像データを生成し、ディスプレイ４０に出力する。

　上記のような表示装置１Ｄにより、パララックスバリア方式による立体画像提示において、空間方向の解像度低下抑制と時間方向の解像度低下抑制との両立を図ることができる。

＜６．変形例＞

　ここで、実施形態としてはこれまでに説明した具体例に限定されるものでなく、多様な変形例としての構成を採り得るものである。
　例えば、実施形態としての技術、すなわち、［式１］や［式３］に基づく逆関数Ｈの導出や逆関数Ｈを用いた信号補正処理の技術は、カラー画像としての元画像を複数色の画像に色分解して得られる複数の画像を時分割表示してカラー画像を再現する構成にも適用可能である。

　図１９は、実施形態としての技術をこのような時分割カラー表示を行う場合に適用した変形例としてのプロジェクタ装置１Ｅの構成例を説明するためのブロック図である。
　図１に示したプロジェクタ装置１との相違点は、光学系においてカラーホイール４５とカラーホイール４５を回転駆動する駆動部４６とが追加され、またシフト部８に代えてミラー４７が設けられた点と、信号処理部２に代えて信号処理部２Ｅが設けられ、制御部３に代えて制御部３Ｅが設けられた点が異なる。

　カラーホイール４５には、周方向においてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタが配置され、カラーホイール４５が回転することで提示画像の色をＲ，Ｇ，Ｂ，Ｒ，・・・の順で循環的に切り替えることが可能とされている。

　信号処理部２Ｅは、各色画像生成部２４と補正処理部２２Ｅとを有する。
　各色画像生成部２４は、カラー画像としての入力画像を複数色の画像に色分解して複数の色画像を生成する。具体的に、本例では、カラー画像としての入力画像をＲ，Ｇ，Ｂに色分解して、Ｒ，Ｇ，Ｂの各色画像を生成する。
　後述するように、本例では、Ｒ，Ｇ，Ｂの各色画像をＲ，Ｇ，Ｂ，Ｒ，・・・の順で循環的に切り替えて提示する。このため各色画像生成部２４は、カラー画像としての入力画像から各色画像をＲ，Ｇ，Ｂ，Ｒ，・・・の順で循環的に切り替えて生成する。
　なお、各色画像生成部２４、補正処理部２２Ｅの詳細については後述する。

　制御部３Ｅは、劣化関数計算部３１Ｅと逆関数計算部３２Ｅとを有する。
　また、制御部３Ｅは、駆動部４６の制御を行う。

　劣化関数計算部３１Ｅは、カメラ９による撮像画像に基づき、劣化関数Ｗとして、Ｒの提示画像（提示色がＲの提示画像）についての劣化関数Ｗと、Ｇの提示画像（提示色がＧの提示画像）についての劣化関数Ｗと、Ｂの提示画像（提示色がＢの提示画像）についての劣化関数Ｗとをそれぞれ計算する。このために、劣化関数計算部３１Ｅは、カメラ９によりＲの提示画像についての撮像画像と、Ｇの提示画像についての撮像画像と、Ｂの提示画像についての撮像画像とが得られるように制御を行い、これら各色の提示画像の撮像画像に基づき、各色の提示画像についての劣化関数Ｗを計算する。

　逆関数計算部３２Ｅは、劣化関数計算部３１Ｅが計算した各色の提示画像についての劣化関数Ｗを用いて、後述する［式５］に基づき補正処理部２２Ｅが色画像の補正処理に用いる逆関数Ｈを生成する。

　図２０は、本変形例における色画像の時分割提示手法についての説明図である。
　この場合、入力画像（カラー画像）は画像解像度＝４ｋ８ｋ、フレームレート＝１２０Ｈｚであり、Ｒ，Ｇ，Ｂの色画像の画像解像度は入力画像と同じ４ｋ８ｋ、また色画像の提示切り替え周期は１２０Ｈｚである例としている。
　本変形例では、時間方向に連続する三つの色画像によって１枚の入力画像を再現する手法を採る。

　図２１に示すように、各色画像については、その色画像が再現対象とする入力フレーム画像を含む時間方向に連続した複数枚の入力フレーム画像に基づき生成する。具体的に、本例において色画像は、再現対象とする入力フレーム画像と、該入力フレーム画像の１フレーム前、後の入力フレーム画像の計３枚の入力フレーム画像に基づいて生成する。

　上記のような各色画像の時分割切り替え提示を行う前提において、色画像の補正に用いる逆関数Ｈ_ｔは、下記［式５］に示すコスト関数Ｑに基づき求める。

　［式５］において、時刻ｔ’はカラー画像としての入力画像の現時刻、時刻ｔは色画像の現時刻をそれぞれ意味する（図２０参照）。また、劣化関数Ｗ_１、Ｗ_２、Ｗ_３は、劣化関数計算部３１Ｅが計算したＲ，Ｇ，Ｂ各色の提示画像についての劣化関数Ｗを意味する。

　図１９に示した逆関数計算部３２Ｅは、劣化関数計算部３１Ｅが計算したＲ，Ｇ，Ｂ各色の提示画像についての劣化関数Ｗ_１、Ｗ_２、Ｗ_３を用いて、［式５］で示すコスト関数Ｑを最小化する逆関数Ｈ_ｔを、補正のための逆関数Ｈ_ｔとして求める。

　制御部３Ｅは、このように逆関数計算部３２Ｅが計算した逆関数Ｈ_ｔを信号処理部２Ｅ（補正処理部２２Ｅ）に設定する。
　信号処理部２Ｅにおいて、補正処理部２２Ｅは、各色画像生成部２４が循環的に生成するＲ，Ｇ，Ｂの各色画像に対し、設定された逆関数Ｈ_ｔを用いた補正処理を行う。
　これにより、Ｒ，Ｇ，Ｂの各色画像を時間方向において視覚的に混合して提示する場合において、提示画像に生じる時間方向の解像度低下の抑制を図ることができる。

　なお、上記では色分解の手法としてＲ，Ｇ，Ｂの三原色に分離する手法を採る場合を例示したが、例えばＹ（イエロー），Ｍ（マゼンタ，Ｃ（シアン），Ｋ（ブラック）の４色分解を行う場合にも本変形例は適用可能である。

　ここで、入力画像や位相画像、色画像についてのフレームレートや画像解像度の数値については、これまでの説明で例示した数値に限定されない。例えば、入力画像の画像解像度＝２ｋ４ｋに対し、位相画像Ｇｐの画像解像度＝Full HD等であってもよい。

　また、これまでの説明において、カメラ９については、プロジェクタ装置に備えられた例を挙げたが、カメラ９はプロジェクタ装置に外付けとされてもよい。

＜７．実施形態のまとめ＞

　以上説明してきたように実施形態の信号処理装置（プロジェクタ装置１，１Ａ，１Ｂ，１Ｃ，１Ｅ、又は表示装置１Ｄ）は、元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を複数の画像に施す補正処理部（同２２，２２Ｂ，２２Ｃ，２２Ｄ，２２Ｅ）を備えたものである。
　上記構成によれば、元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向の解像度低下について、補正を行うことが可能とされる。
　従って、元画像に基づき生成された複数の画像を時間方向において視覚的に混合して提示する場合において、提示画像に生じる時間方向の解像度低下の抑制を図ることができる。

　また、実施形態としての信号処理装置においては、補正処理部は、複数の画像が時間方向において視覚的に混合された結果が元画像に近づくように補正処理を行っている（［式１］から［式５］を参照）。
　これにより、提示画像に生じる光学的要因等による画質劣化をキャンセルするように補正処理を行うことが可能となる。
　従って、提示画像の画質劣化抑制を図ることができる。

　さらに、実施形態としての信号処理装置においては、元画像に対する提示画像の劣化特性を示す劣化関数を取得する劣化関数取得部（劣化関数計算部３１，３１Ｂ，３１Ｅ、劣化関数取得部３５）と、劣化関数取得部が取得した劣化関数に応じた補正関数を取得する補正関数取得部（逆関数計算部３２，３２Ｂ，３２Ｃ，３２Ｅ、逆関数選択部３３，３３Ｄ）と、を備え、補正処理部は、補正関数取得部が取得した補正関数に基づいて補正処理を行っている。
　これにより、実際の画像提示環境で生じる劣化の特性に応じた補正処理を行うことが可能となる。
　従って、提示画像の画質劣化抑制を図ることができる。

　さらにまた、実施形態としての信号処理装置においては、補正関数取得部（逆関数選択部３３，３３Ｄ）は、劣化関数の類型ごとに記憶された複数の補正関数のうちから、劣化関数取得部が取得した劣化関数の類型に応じた補正関数を選択して取得している。
　上記構成によれば、予め用意された複数の補正関数のうちから劣化関数取得部が取得した劣化関数の類型に応じた補正関数を取得して補正処理に用いればよく、補正関数を劣化関数に基づいて計算して取得する必要がなくなる。
　従って、補正にあたっての処理負担軽減を図ることができる。

　また、実施形態としての信号処理装置（プロジェクタ装置１，１Ａ，１Ｂ，１Ｃ，表示装置１Ｄ）においては、補正処理部（同２２，２２Ｂ，２２Ｃ，２２Ｄ）は、補正処理として、空間方向に位相をずらしてサンプリングされた複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる空間方向及び時間方向それぞれの解像度低下を補正する処理を行っている。
　元画像に基づく複数の画像として、空間方向に位相をずらしてサンプリングされた複数の画像を時間方向において視覚的に混合して提示する場合には、提示画像において、空間方向及び時間方向それぞれの解像度低下が生じる。そこで、これら空間方向及び時間方向それぞれの解像度低下を補正する処理を行う。
　これにより、空間方向に位相をずらしてサンプリングされた複数の画像を時間方向において視覚的に混合して提示する場合において、提示画像に生じる時空間方向の解像度低下の抑制を図ることができる。

　さらに、実施形態としての信号処理装置（プロジェクタ装置１，１Ａ，１Ｂ，１Ｃ）においては、補正処理部（同２，２Ｂ，２Ｃ）は、提示位置が画素未満単位でシフトされる複数の画像に対して補正処理を施している。
　元画像に基づき生成した複数の画像を画素未満単位でシフトさせて提示することで空間解像度の向上を図る手法を採った場合には、異なる画像が重畳されることに伴う提示画像のボケ（画素開口によるボケ）が生じ、該ボケに起因した空間解像度の低下を招来する。そこで、提示位置が画素未満単位でシフトされる複数の画像に対して、空間方向及び時間方向それぞれの解像度低下を補正する処理を行う。
　これにより、複数の画像を画素未満単位でシフトさせて提示することで空間解像度の向上を図る手法を採る場合において、提示画像に生じる時空間方向の解像度低下の抑制を図ることができる。

　さらにまた、実施形態としての信号処理装置（表示装置１Ｄ）においては、元画像は、パララックスバリア方式による立体画像提示に用いられる左目用画像と右目用画像とされ、補正処理部（同２２Ｄ）は、左目用画像を元画像として生成された複数の画像と右目用画像を元画像として生成された複数の画像のそれぞれについて補正処理を行っている。
　これにより、パララックスバリア方式による立体画像提示に用いる左目用画像、右目用画像のそれぞれについて、空間方向に位相をずらしてサンプリングされた複数の画像を時間方向に視覚的に混合させて提示することにより左目用画像、右目用画像それぞれの空間解像度低下の抑制を図る場合において、複数の画像を時間方向に混合して提示することに伴う時間方向の解像度低下の抑制を図ることが可能となる。
　従って、パララックスバリア方式による立体画像提示において、空間方向の解像度低下抑制と時間方向の解像度低下抑制との両立を図ることができる。

　また、実施形態としての信号処理装置（プロジェクタ装置１Ｃ）においては、補正処理部（同２２Ｃ）は、複数の画像について、動物体領域と動物体の背景領域とで異なる補正関数を用いて補正処理を行っている。
　これにより、動物体領域については動物体領域に適した補正関数による補正を行い、背景領域については背景領域に適した補正関数による補正を行うことが可能となる。
　従って、動物体領域と背景領域とについてそれぞれ適切な補正処理を施すことができる。

　さらに、実施形態としての信号処理装置においては、補正処理部は、動物体領域についての補正処理を、空間方向の解像度低下の補正よりも時間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行い、背景領域についての補正処理を、時間方向の解像度低下の補正よりも空間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行っている。
　これにより、動物体領域については動解像度（動画解像度）の向上が図られるようにし、背景領域については空間解像度の向上が図られるようにすることが可能となる。
　従って、動物体領域と背景領域とを有する画像について、動物体領域における動解像度の向上と背景領域における空間解像度の向上との両立を図ることができる。

　さらにまた、実施形態としての信号処理装置（プロジェクタ装置１Ｅ）においては、複数の画像は、カラー画像としての元画像を複数色の画像に色分解して生成された画像とされ、補正処理部（同２２Ｅ）は、複数色の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を行っている。
　カラー画像としての元画像を複数色の画像に色分解して生成された複数の画像を時間方向において視覚的に混合して提示する場合、提示画像には時間方向の解像度低下が生じる。そこで、時間方向における解像度低下の補正処理を前記複数の画像に施す。
　これにより、元画像を色分解して生成された複数の画像を時間方向において視覚的に混合して提示する場合において、提示画像に生じる時間方向の解像度低下の抑制を図ることができる。

　また、実施形態としての信号処理方法は、元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を複数の画像に施す信号処理方法である。
　このような実施形態としての信号処理方法によっても、上記した実施形態としての信号処理装置と同様の作用及び効果を得ることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜８．本技術＞

　なお本技術は以下のような構成も採ることができる。
（１）
　元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を前記複数の画像に施す補正処理部を備えた
　信号処理装置。
（２）
　前記補正処理部は、
　前記複数の画像が時間方向において視覚的に混合された結果が前記元画像に近づくように前記補正処理を行う
　前記（１）に記載の信号処理装置。
（３）
　前記元画像に対する前記提示画像の劣化特性を示す劣化関数を取得する劣化関数取得部と、
　前記劣化関数取得部が取得した前記劣化関数に応じた補正関数を取得する補正関数取得部と、を備え、
　前記補正処理部は、前記補正関数取得部が取得した前記補正関数に基づいて前記補正処理を行う
　前記（１）又は（２）に記載の信号処理装置。
（４）
　前記補正関数取得部は、
　前記劣化関数の類型ごとに記憶された複数の前記補正関数のうちから、前記劣化関数取得部が取得した前記劣化関数の類型に応じた前記補正関数を選択して取得する
　前記（３）に記載の信号処理装置。
（５）
　前記補正処理部は、
　前記補正処理として、空間方向に位相をずらしてサンプリングされた前記複数の画像が時間方向において視覚的に混合されて提示される際に前記提示画像に生じる空間方向及び時間方向それぞれの解像度低下を補正する処理を行う
　前記（１）から（４）の何れかに記載の信号処理装置。
（６）
　前記補正処理部は、
　提示位置が画素未満単位でシフトされる前記複数の画像に対して前記補正処理を施す
　前記（５）に記載の信号処理装置。
（７）
　前記元画像は、パララックスバリア方式による立体画像提示に用いられる左目用画像と右目用画像とされ、
　前記補正処理部は、
　前記左目用画像を前記元画像として生成された前記複数の画像と前記右目用画像を前記元画像として生成された前記複数の画像のそれぞれについて前記補正処理を行う
　前記（５）に記載の信号処理装置。
（８）
　前記補正処理部は、
　前記複数の画像について、動物体領域と動物体の背景領域とで異なる補正関数を用いて前記補正処理を行う
　前記（５）から（７）の何れかに記載の信号処理装置。
（９）
　前記補正処理部は、
　前記動物体領域についての前記補正処理を、空間方向の解像度低下の補正よりも時間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行い、前記背景領域についての前記補正処理を、時間方向の解像度低下の補正よりも空間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行う
　前記（８）に記載の信号処理装置。
（１０）
　前記複数の画像は、カラー画像としての前記元画像を複数色の画像に色分解して生成された画像とされ、
　前記補正処理部は、
　前記複数色の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を行う
　前記（１）から（４）の何れかに記載の信号処理装置。
（１１）
　元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を前記複数の画像に施す
　信号処理方法。

１，１Ａ，１Ｂ，１Ｃ，１Ｅ　プロジェクタ装置
１Ｄ　表示装置
２，２Ｂ，２Ｃ，２Ｄ，２Ｅ　信号処理部
２１，２１Ｂ　位相画像生成部
２１Ｒ　右目位相画像生成部
２１Ｌ　左目位相画像生成部
２２，２２Ｂ，２２Ｃ，２２Ｄ，２２Ｅ　補正処理部
３，３Ａ，３Ｂ，３Ｃ，３Ｄ，３Ｅ　制御部
２３　合成部
２４　各色画像生成部
３１，３１Ｂ，３１Ｅ　劣化関数計算部
３２，３２Ｂ，３２Ｃ，３２Ｅ　逆関数計算部
３３，３３Ｄ　逆関数選択部
３４　逆関数設定部
３５　劣化関数取得部
６　空間光変調器
８　シフト部
９　カメラ
１０　メモリ部
１０ａ，１０ｄ　逆関数テーブル
１０ｂ　動物体用関数情報
１０ｃ　背景用関数情報
１５　動物体領域検出部
４０　ディスプレイ
４１　パララックスバリア
４２　合成部
４５　カラーホイール
４６　駆動部
４７　ミラー
Ｏｍ　動物体
Ｒｍ　動物体領域
Ｒｓ　背景領域
１００　投影対象物
１００ａ　投影面

Claims

　元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を前記複数の画像に施す補正処理部を備えた
　信号処理装置。
　前記補正処理部は、
　前記複数の画像が時間方向において視覚的に混合された結果が前記元画像に近づくように前記補正処理を行う
　請求項１に記載の信号処理装置。
　前記元画像に対する前記提示画像の劣化特性を示す劣化関数を取得する劣化関数取得部と、
　前記劣化関数取得部が取得した前記劣化関数に応じた補正関数を取得する補正関数取得部と、を備え、
　前記補正処理部は、前記補正関数取得部が取得した前記補正関数に基づいて前記補正処理を行う
　請求項１に記載の信号処理装置。
　前記補正関数取得部は、
　前記劣化関数の類型ごとに記憶された複数の前記補正関数のうちから、前記劣化関数取得部が取得した前記劣化関数の類型に応じた前記補正関数を選択して取得する
　請求項３に記載の信号処理装置。
　前記補正処理部は、
　前記補正処理として、空間方向に位相をずらしてサンプリングされた前記複数の画像が時間方向において視覚的に混合されて提示される際に前記提示画像に生じる空間方向及び時間方向それぞれの解像度低下を補正する処理を行う
　請求項１に記載の信号処理装置。
　前記補正処理部は、
　提示位置が画素未満単位でシフトされる前記複数の画像に対して前記補正処理を施す
　請求項５に記載の信号処理装置。
　前記元画像は、パララックスバリア方式による立体画像提示に用いられる左目用画像と右目用画像とされ、
　前記補正処理部は、
　前記左目用画像を前記元画像として生成された前記複数の画像と前記右目用画像を前記元画像として生成された前記複数の画像のそれぞれについて前記補正処理を行う
　請求項５に記載の信号処理装置。
　前記補正処理部は、
　前記複数の画像について、動物体領域と動物体の背景領域とで異なる補正関数を用いて前記補正処理を行う
　請求項１に記載の信号処理装置。
　前記補正処理部は、
　前記動物体領域についての前記補正処理を、空間方向の解像度低下の補正よりも時間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行い、前記背景領域についての前記補正処理を、時間方向の解像度低下の補正よりも空間方向の解像度低下の補正を優先する計算手法により計算された補正関数を用いて行う
　請求項８に記載の信号処理装置。
　前記複数の画像は、カラー画像としての前記元画像を複数色の画像に色分解して生成された画像とされ、
　前記補正処理部は、
　前記複数色の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を行う
　請求項１に記載の信号処理装置。
　元画像に基づき生成された複数の画像が時間方向において視覚的に混合されて提示される際に提示画像に生じる時間方向における解像度低下の補正処理を前記複数の画像に施す
　信号処理方法。