WO2019230109A1

WO2019230109A1 - 画像処理装置、画像処理方法

Info

Publication number: WO2019230109A1
Application number: PCT/JP2019/009424
Authority: WO
Inventors: 孝明鈴木; 紀晃高橋; 晴香三森
Original assignee: ソニー株式会社
Priority date: 2018-05-28
Filing date: 2019-03-08
Publication date: 2019-12-05
Also published as: US20210368149A1; CN112189337A; EP3780587A4; JPWO2019230109A1; CN112189337B; EP3780587A1; US11394941B2; JP7287390B2

Abstract

画像投影装置の光学的な調整値として、ボケ補正処理により良好なボケ補正効果が得られる調整値の探索を可能とし、投影画像に生じるフォーカスボケの補正を信号処理により行う場合におけるボケ補正性能の向上を図る。　本技術に係る画像処理装置は、画像投影装置の光学的な調整値として所定の候補値が設定された状態で計測された画像投影装置の投影画像に生じるフォーカスボケの特性であるボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すボケ補正部と、ボケ補正処理が施された画像を画像投影装置により投影させて得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき候補値の使用可否に係る判定を行う使用判定部とを備えている。

Description

画像処理装置、画像処理方法

　本技術は、画像処理装置とその方法に関するものであり、特には、投影画像に生じるフォーカスボケを補正する技術分野に関する。

　例えば液晶プロジェクタ装置等、スクリーン等の投影対象物に画像を投影して表示する画像投影装置が広く知られている。このような画像投影装置を用いた画像投影としては、例えば輝度を稼ぐ目的等により、複数の画像投影装置が対象の画像を投影対象物上に重ねて投影するということが行われている（いわゆる重畳投影）。

　重畳投影を行う場合には、設置の都合上、全ての画像投影装置を投影対象物に対し適切な位置に配置することが困難となる。そのため、少なくとも適切でない位置に配置された画像投影装置による投影画像にはフォーカスずれに起因した画像ボケ（フォーカスボケ）が生じ易くなり、重畳投影画像の画質劣化を招来する。

　下記特許文献１には、重畳投影画像の画素の画素値とその画素に対応する入力画像の画素の画素値との差分が減少するように、各画像投影装置が投影する画像の画素値を順次変更していくフィードバック型の画像補正技術が開示されている。この補正技術を利用することで、重畳投影画像に生じるフォーカスボケを補正することが可能となる。

　また、フォーカスボケの補正には、ボケの逆関数により設計されるフィルタを用いたボケ補正処理（オーバーエンハンス処理）を入力画像に施してボケ補正画像を得、該ボケ補正画像を投影するという手法もある。

特開２００９－８９７４号公報

　ここで、重畳投影を行う場合は、各画像投影装置の画像投影範囲を揃える必要があり、そのためには、画像投影装置が有するレンズシフト機構（投影面に平行な方向において投影画像の位置をシフト（平行移動）させるための機構）が用いられたり、画像投影装置の設置角度（パン又はチルト方向の回転角度）の調整が行われたりする。すなわち、レンズシフト機構によるレンズシフト量や、画像投影装置のパン又はチルト方向の回転角度といった画像投影装置の光学的な調整値の設定によって、各画像投影装置の画像投影範囲が調整される。

　しかしながら、上記したレンズシフト量やパン又はチルト方向の回転角度といった画像投影装置の光学的な調整値が変化すると、投影画像に生じるフォーカスボケの特性（ボケ具合）にも変化が生じる。
　上記した画像投影範囲の調整に関して、各画像投影装置の画像投影範囲を揃えるための光学的な調整値の組合わせは複数通り存在し得るものであるが、このとき、フォーカスボケの特性的に不利な調整値の組合わせが設定されてしまうと、上述したボケの逆関数を利用した手法等、信号処理によるボケ補正を行ったとしても、十分な画質向上が図られない虞がある。

　本技術は上記事情に鑑み為されたものであり、画像投影装置の光学的な調整値として、ボケ補正処理により良好なボケ補正効果が得られる調整値の探索を可能とし、投影画像に生じるフォーカスボケの補正を信号処理により行う場合におけるボケ補正性能の向上を図ることを目的とする。

　本技術に係る画像処理装置は、画像投影装置の光学的な調整値として所定の候補値が設定された状態で計測された前記画像投影装置の投影画像に生じるフォーカスボケの特性であるボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すボケ補正部と、前記ボケ補正処理が施された画像を前記画像投影装置により投影させて得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき前記候補値の使用可否に係る判定を行う使用判定部と、を備えるものである。

　これにより、画像投影装置の光学的な調整値として、ボケ補正処理により良好なボケ補正効果が得られる調整値を探索可能とされる。

　上記した本技術に係る画像処理装置においては、前記ボケ補正部は、複数の前記画像投影装置がそれぞれ対応する前記候補値が設定された状態で個別に画像投影を行った際に計測された前記画像投影装置ごとのボケ特性に基づき、入力画像に対し前記画像投影装置ごとの前記ボケ補正処理を施して前記画像投影装置ごとにボケ補正画像を得、前記使用判定部は、前記ボケ補正画像を複数の前記画像投影装置により重畳投影させて得られる重畳投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき前記判定を行うことが望ましい。

　これにより、重畳投影を行う各画像投影装置の光学的な調整値として、ボケ補正処理により良好なボケ補正効果が得られる調整値を探索可能とされる。

　上記した本技術に係る画像処理装置においては、前記ボケ補正部は、前記画像投影装置の個々に対応したボケ補正のためのフィルタ係数が導出される導出式であって、前記画像投影装置ごとの前記ボケ特性が一式にまとめて組み込まれた導出式によって求まる前記画像投影装置ごとの前記フィルタ係数に基づき、前記画像投影装置ごとの前記ボケ補正処理を行うことが望ましい。

　上記のように画像投影装置ごとのボケ特性をまとめて組み込んだ導出式を解くようにすれば、画像投影装置ごとの補正フィルタ係数は、そのボケ単体を打ち消す傾向（つまりボケが大きい方向のエンハンスを大とする傾向）に収束することに限らず、ボケが大きい方向のエンハンスを小、ボケが小さい方向のエンハンスを大とする傾向に収束可能となる。

　上記した本技術に係る画像処理装置においては、前記使用判定部は、前記候補値が設定された状態の前記画像投影装置により所定画像を投影させて前記所定画像の投影範囲を評価し、前記投影範囲が所定の範囲条件を満たさない場合は当該候補値と前記画像投影装置との組合わせを前記フォーカスボケに係る評価の対象から除外することが望ましい。

　例えば、調整値の最適点を求めるための探索範囲を広げるべく、候補値の振り幅を大きくした場合には、或る候補値と画像投影装置との組合わせにおいて、画像の投影範囲が規定の投影範囲から大きく逸脱する等、画像投影範囲が所定の範囲条件を満たさなくなることがあり得る。画像投影範囲が所定の範囲条件を満たさないことは、画質改善以前の問題となることから、これら候補値と画像投影装置との組合わせについては、調整値探索にあたってのフォーカスボケの評価対象から除外する。

　上記した本技術に係る画像処理装置においては、前記使用判定部は、前記フォーカスボケに係る評価の対象とした前記画像投影装置に対して隣接配置された前記画像投影装置については、前記フォーカスボケに係る評価の対象から除外することが望ましい。

　配置位置が近接している画像投影装置同士は、例えばパン又はチルトの角度やレンズシフト量といった調整値として近い値が設定される傾向となる。そこで、調整値決定のためのフォーカスボケに係る評価の対象とした画像投影装置に隣接配置される画像投影装置については、該評価の対象から間引くことで、調整値探索のための処理数削減を図る。

　上記した本技術に係る画像処理装置においては、前記使用判定部は、前記評価の対象から除外した前記画像投影装置である対象外装置についての前記調整値を、前記評価の対象とした前記画像投影装置のうち前記対象外装置の最寄りに位置する前記画像投影装置に使用する前記調整値に基づいて取得することが望ましい。

　これにより、調整値探索のための評価対象から除外された画像投影装置の調整値を、配置位置の近似性に応じた調整値の近似性を利用して適切に取得可能とされる。

　上記した本技術に係る画像処理装置においては、前記調整値は、前記画像投影装置のパン又はチルト方向の回転角度に係る調整値を含むことが望ましい。

　画像投影装置のパン又はチルト方向の回転角度は、投影画像に生じるフォーカスボケの特性変化要因の一つである。

　上記した本技術に係る画像処理装置においては、前記調整値は、前記画像投影装置のレンズシフト量に係る調整値を含むことが望ましい。

　画像投影装置のレンズシフト量は、投影画像に生じるフォーカスボケの特性変化要因の一つである。

　上記した本技術に係る画像処理装置においては、前記調整値は、前記画像投影装置のフォーカス位置に係る調整値を含むことが望ましい。

　画像投影装置のフォーカス位置は、投影画像に生じるフォーカスボケの特性変化要因の一つである。

　上記した本技術に係る画像処理装置においては、前記使用判定部は、前記フォーカスボケに係る評価の結果に基づき、当該フォーカスボケの度合いが所定の度合いを下回るか否かを判定することで、前記候補値の使用可否を判定することが望ましい。

　これにより、所定のボケ補正性能条件を満たす調整値を探索するにあたり、全ての候補値を試す必要がなくなる。

　上記した本技術に係る画像処理装置においては、前記使用判定部は、複数の前記候補値についての前記フォーカスボケを相対評価した結果に基づき、使用する前記候補値の判定を行うことが望ましい。

　これにより、複数の候補値のうち評価結果が最良となる候補値を使用調整値として探索することが可能とされる。

　上記した本技術に係る画像処理装置においては、前記使用判定部は、前記画像投影装置の温度を検出する温度検出部による温度検出結果に基づき、前記画像投影装置を対象とした前記フォーカスボケに係る評価を再実行し、再実行した評価の結果に基づき前記判定を再実行することが望ましい。

　これにより、温度に依存して最適な調整値が変化する場合に対応して、調整値を再探索することが可能とされる。

　また、本技術に係る画像処理方法は、画像投影装置の光学的な調整値として所定の候補値が設定された状態で計測された前記画像投影装置の投影画像に生じるフォーカスボケの特性であるボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すボケ補正手順と、前記ボケ補正処理が施された画像を前記画像投影装置により投影させて得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき前記候補値の使用可否に係る判定を行う使用判定手順と、を有するものである。

　このような画像処理方法によっても、上記した本技術に係る画像処理装置と同様の作用が得られる。

　本技術によれば、画像投影装置の光学的な調整値として、ボケ補正処理により良好なボケ補正効果が得られる調整値の探索を可能とし、投影画像に生じるフォーカスボケの補正を信号処理により行う場合におけるボケ補正性能の向上を図ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施形態としての画像処理装置を含んで構成される画像投影システムの構成例を示した図である。第一実施形態における画像投影装置の内部構成例を示したブロック図である。レンズシフト機構による投影画像位置の調整についての説明図である。フォーカス位置調整機構によるフォーカス位置の調整についての説明図である。第一実施形態の画像処理装置の構成例を説明するためのブロック図である。合成ボケについての説明図である。先行例としてのボケ補正手法についての説明図である。第一実施形態としての調整パラメータの探索手法を実現するために実行すべき具体的な処理手順を示したフローチャートである。候補パラメータの設定条件についての説明図である。画像投影範囲が所定の範囲条件を満たすか否かについての判定手法の例を説明するための図である。画像投影範囲が所定の範囲条件を満たすか否かについての判定手法の別例を説明するための図である。実施形態におけるフィルタ係数取得処理のフローチャートである。ボケの簡易化モデルのデータの例を説明するための図である。フォーカスボケに係る評価値の例についての説明図である。候補値評価についての変形例の説明図である。第二実施形態における画像投影装置の内部構成例を示したブロック図である。第二実施形態の画像処理装置の構成例を説明するためのブロック図である。第二実施形態としての調整パラメータの探索手法を実現するために実行すべき具体的な処理手順を示したフローチャートである。

　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．第一実施形態＞
［1-1．画像投影システムの概要］
［1-2．画像投影装置、画像処理装置の構成］
［1-3．ボケ補正処理について］
［1-4．実施形態としての光学的調整値の探索手法］
［1-5．候補値評価についての変形例］
＜２．第二実施形態＞
［2-1．第二実施形態としての画像投影装置、画像処理装置の構成］
［2-2．処理手順］
＜３．変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞

＜１．第一実施形態＞
［1-1．画像投影システムの概要］

　図１は、本技術に係る実施形態としての画像処理装置１を含んで構成される画像投影システム（実施形態としての画像投影システム）の構成例を示している。
　実施形態としての画像投影システムは、画像処理装置１と、ｎ台（ｎは２以上の自然数）のプロジェクタ装置２と、撮像装置３とを備える。図中では、プロジェクタ装置２を４台（ｎ＝４）備えた画像投影システムの構成を例示している。

　各プロジェクタ装置２は、透過型の液晶プロジェクタ装置として構成されている。具体的に、プロジェクタ装置２は、Ｒ（赤）色、Ｇ（緑）色及びＢ（青）色のそれぞれに対応する液晶パネルを備えた、いわゆる三板式の液晶プロジェクタ装置として構成されている。

　画像処理装置１は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、デジタルデータによる画像に各種の信号処理（画像処理）を施し、各プロジェクタ装置２に対して分配出力することが可能に構成されている。

　本実施形態の画像投影システムでは、画像処理装置１が分配出力した画像を、各プロジェクタ装置２が共通のスクリーンＳ上に投影する。このとき、画像の投影は、各プロジェクタ装置２の投影画像がスクリーンＳ上で互いに重なるように行われる（いわゆる「重畳投影」）。具体的に、本実施形態では、スクリーンＳ上に表示される画像の輝度向上を図るべく、各プロジェクタ装置２による投影画像の各画素位置が一致するように重畳投影が行われる。
　なお、プロジェクタ装置２による画像の投影対象はスクリーンＳに限定されるものではなく、例えば室内の壁面等、スクリーンＳ以外とすることもできる。
　ここで以下、重畳投影により投影対象物上に表示される画像のことを「重畳投影画像Ｐｐ」と表記する。

　撮像装置３は、例えばＣＣＤ（Charged-coupled devices）センサやＣＭＯＳ（Complementary metal-oxide-semiconductor）センサ等の撮像素子を有するデジタルカメラ装置として構成されている。撮像装置３は、画像処理装置１と通信可能に構成され、撮像画像を画像処理装置１に送信可能とされている。本例において、撮像装置３は、画像処理装置１がプロジェクタ装置２による投影画像の観察画像を得るために用いられ、スクリーンＳ上における画像の投影範囲全体が画角に収まる位置に配置される。

［1-2．画像投影装置、画像処理装置の構成］

　図２は、プロジェクタ装置２の内部構成例を示したブロック図である。
　図示のようにプロジェクタ装置２は、画像処理部２１、変調器駆動部２２、光学系２３、設置角度調整部２４、制御部２５、及び無線通信部２６を備えている。

　画像処理部２１は、入力画像に対して所定の画像信号処理を施し、変調器駆動部２２に出力する。変調器駆動部２２は、画像処理部２１から入力された画像に応じて、光学系２３内に配置された空間光変調器２３ａを駆動する。空間光変調器２３ａは、本例では透過型の液晶パネルとされる。本例のプロジェクタ装置２において、実際には、空間光変調器２３ａはＲ，Ｇ，Ｂの各色に対応した三つが設けられ、画像処理部２１は、入力画像に基づいてＲ，Ｇ，Ｂ各色に対応したＲ画像、Ｇ画像、Ｂ画像を生成して変調器制御部２２に出力する。変調器制御部２２は、入力されたＲ画像、Ｇ画像、Ｂ画像に基づく駆動信号によりそれぞれ対応する色の空間光変調器２３ａを駆動する。

　光学系２３は、不図示の光源、及び偏光板や波長板等の各種光学素子、及び投影レンズ等の各種レンズを備え、光源から発せられる光を空間光変調器２３ａにより変調し投影レンズを介して出力する。
　本例の光学系２３には、光学調整機構２３ｂ及びアクチュエータ２３ｃが備えられている。光学調整機構２３ｂは、レンズシフト機構及びフォーカス位置調整機構を包括的に表したものである。レンズシフト機構は、投影画像の位置をシフト（平行移動）させるための機構である。フォーカス位置調整機構は、投影画像内におけるフォーカスが合う位置を調整するための機構である。
　アクチュエータ２３ｃは、上記のレンズシフト機構、フォーカス位置調整機構を駆動するためのアクチュエータを包括的に表したものである。

　ここで、図３、図４を参照し、レンズシフト機構による投影画像位置の調整、フォーカス位置調整機構によるフォーカス位置の調整について説明しておく。
　図３に示すように、レンズシフト機構によっては、投影画像の位置を、スクリーンＳ上の投影面に平行な方向にシフトさせることができる（図中、太破線で表す投影画像位置と太実線で表す投影画像位置との差を参照）。
　また、図４に示すように、フォーカス位置調整機構によっては、図中の太実線で表す投影画像内において、フォーカスが合う位置（図中黒丸で表す）を調整することができる。

　説明を図２に戻す。
　設置角度調整部２４は、プロジェクタ装置２の設置角度を調整する機構及びそのアクチュエータを包括的に表している。設置角度調整部２４は、プロジェクタ装置２の少なくともパン又はチルト方向の回転角度を調整可能に構成されるものである。本例における設置角度調整部２４は、プロジェクタ装置２のパン及びチルト方向それぞれの回転角度を調整可能に構成されている。

　なお、設置角度調整部２４は、プロジェクタ装置２の外部に設けられてもよい。
　また、プロジェクタ装置２のパン、チルト方向それぞれの回転角度を調整可能とするにあたり、設置角度調整部２４を設けることは必須ではない。設置角度調整部２４を設けない場合、プロジェクタ装置２のパン方向やチルト方向の回転角度は人手により設定する（つまり人がプロジェクタ装置２を動かしてパン方向、チルト方向の回転角度、すなわち配置角度を設定する）。このようにプロジェクタ装置２の設置角度を人手により調整する場合には、画像処理装置１は、設置角度についての後述する候補パラメータの値を人に対して指示するように構成しておく。具体的には、画像処理装置１に画像表示や音声出力により情報提示を行う情報提示部を設けておき、該提示部によって候補パラメータの値を提示する等の手法を採ることが考えられる。

　制御部２５は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータを有して構成され、例えば上記ＲＯＭに格納されたプログラムに従った処理を実行することで、プロジェクタ装置２の各種動作制御を行う。具体的に制御部２５は、画像処理部２１、アクチュエータ２３ｃ、及び設置角度調整部２４の動作制御を行う。

　制御部２５に対しては、無線通信部２６が接続されている。無線通信部２６は、例えばブルートゥース（Bluetooth：登録商標）やＷｉＦｉ（登録商標）等の所定の無線通信方式に従って外部装置との間で無線通信を行う。
　制御部２５は、無線通信部２６を介して外部の所定装置、特に本例では画像処理装置１との間で各種データの通信を行うことが可能とされている。

　図５は、画像処理装置１の内部構成例を説明するためのブロック図であり、画像処理装置１の内部構成例と共に、図１に示した撮像装置３を併せて示している。
　画像処理装置１は、重畳投影画像Ｐｐに生じる合成ボケ、すなわち個々のプロジェクタ装置２の投影画像に生じるボケが合成されたボケを補正するために、投影対象の画像にボケ補正のための信号処理（フィルタ処理）を施し、該信号処理を施した画像を各プロジェクタ装置２に分配出力して投影させることが可能に構成されている。
　また、画像処理装置１は、本番の画像コンテンツについて重畳投影を行う前の段階で、キャリブレーションとして、プロジェクタ装置２ごとに所定の画像を投影させ、その際に撮像装置３で得られた各撮像画像に基づいて、各プロジェクタ装置２の光学的な調整値を最適化するための処理を実行するように構成されている。

　図示のように画像処理装置１は、画像入力部５、制御部６、ボケ補正部７、画像出力部８、及び無線通信部９を備えている。
　画像入力部５は、プロジェクタ装置２により投影する画像（つまり投影対象の画像）を入力する。画像の入力は、例えば画像処理装置１の外部装置から行ってもよいし、或いは、画像処理装置１に設けられた例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスに記憶された画像データを読み出して入力する構成とすることもでき、具体的な入力手法は特に限定されない。

　ボケ補正部７は、制御部６（後述する係数取得部１１）から指示されたボケ補正のためのフィルタ係数に基づき、画像入力部５が入力した画像に対しプロジェクタ装置２ごとのボケ補正処理を施し、プロジェクタ装置２ごとのボケ補正画像を得る。具体的に、本例におけるボケ補正部７は、プロジェクタ装置２と同数のボケ補正フィルタ７ａを有しており、各ボケ補正フィルタ７ａが、それぞれ対応するプロジェクタ装置２に対して取得されたフィルタ係数を用いて、入力画像に対するボケ補正処理を施す。これにより、プロジェクタ装置２ごとのボケ補正画像が得られる。
　本例において、ボケ補正処理には、ボケの逆関数により設計されるフィルタを用いた信号処理が採用される。
　なお、上記のフィルタ係数は、後述するボケ計測部１０が計測したボケ特性に基づき取得されることから、ボケ補正部７は、計測されたボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すものと言える。

　画像出力部８は、ボケ補正部７により得られた複数のボケ補正画像を個別に出力する。具体的に、本例の画像出力部８は、プロジェクタ装置２ごとに、対応する一つのボケ補正画像を出力する。

　各プロジェクタ装置２がそれぞれ対応するボケ補正画像を投影することで、重畳投影画像Ｐｐにおけるフォーカスボケの解消が図られる。

　なお、本例におけるボケ補正部７は、画像入力部５からの入力画像をボケ補正処理を施さずに出力することが可能に構成されている。また、画像出力部８は、制御部６からの指示に基づき、接続されたプロジェクタ装置２（ここでは４台の例としている）のうち画像の出力対象とするプロジェクタ装置２を選択することが可能に構成されている。

　制御部６は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたマイクロコンピュータを有して構成され、例えば上記ＲＯＭに格納されたプログラムに従った処理を実行することで、画像処理装置１の各種動作制御を行う。
　本例の制御部６は、その機能部として、図中のボケ計測部１０、係数取得部１０、及び使用判定部１２を有するものと表すことができる。

　ボケ計測部１０は、撮像装置３より入力される撮像画像に基づき、プロジェクタ装置２の投影画像に生じるフォーカスボケの特性（以下「ボケ特性」と表記する）を計測する。
　ここで、プロジェクタ装置２の投影画像に生じるフォーカスボケに係るボケ特性は、投影画像の画素ごとに異なり得るものである。そのため、ボケ計測部１０は、撮像装置３より入力される撮像画像について、画像内の複数位置（複数の画像エリア）においてボケ特性の計測を行う。

　係数取得部１１は、ボケ計測部１０が計測したプロジェクタ装置２ごとのボケ特性に基づき、ボケ補正のためのフィルタ係数を取得する。後述もするが、本例におけるフィルタ係数の取得は、ボケ特性から対応するフィルタ係数が求まるように設計された所定の導出式を用いた計算により行われる。

　なお、上記の導出式を含め、実施形態で採用するボケ補正のための信号処理手法の詳細については後に改めて説明する。

　使用判定部１２は、プロジェクタ装置２の光学的な調整値として、投影画像に生じるフォーカスボケの補正効果を高めるための調整値を探索し、使用する調整値の判定を行う。具体的に、使用判定部１２は、プロジェクタ装置２に光学的な調整値の候補値が設定された状態で、ボケ補正部７によるボケ補正処理が施された画像をプロジェクタ装置２により投影させ、これにより得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき候補値の使用可否に係る判定を行う。

　ここで、本実施形態で対象とする上記「光学的な調整値」は、その値が変化することに応じ投影画像に生じるフォーカスボケのボケ特性が変化する調整値となる。具体的に、当該調整値には、前述したプロジェクタ装置２の設置角度（パン方向の回転角度、チルト方向の回転角度）、レンズシフト機構による投影画像のシフト量（以下「レンズシフト量」と表記する）、及びフォーカス位置調整機構により調整されるフォーカス位置の調整に係る値が含まれる。

　なお以下、上記したパン方向の回転角度、チルト方向の回転角度、レンズシフト量、及びフォーカス位置それぞれの調整に係る値のことを「調整パラメータ」とも表記する。
　制御部６が使用判定部１２としての機能を実現するために実行する具体的な処理については後に改めて説明する。

　無線通信部９は、例えばブルートゥースやＷｉＦｉ等の所定の無線通信方式に従って外部装置との間で無線通信を行う。
　制御部６に対しては無線通信部９が接続されており、これにより制御部６は、無線通信部９を介して外部の所定装置、特に本例ではプロジェクタ装置２（制御部２５）との間で各種データの通信を行うことが可能とされている。例えば、上記の使用判定部１２で決定した調整パラメータ等のデータをプロジェクタ装置２に送信することが可能とされる。

［1-3．ボケ補正処理について］

　実施形態で採用するボケ補正処理の手法について説明する。
　先ずは、重畳投影画像Ｐｐに生じる合成ボケについて、図６を参照して説明しておく。
　図６Ａは、重畳投影画像Ｐｐにおける二つの異なる画像エリアＡ１、Ａ２を例示している。紙面の横方向、縦方向がそれぞれ画像の水平方向、垂直方向に対応しており、画像エリアＡ１は重畳投影画像Ｐｐの左上角の領域、画像エリアＡ２は重畳投影画像Ｐｐの右上角の領域であるとする。

　図６Ｂに示すように、説明上、重畳投影画像Ｐｐを２台のプロジェクタ装置２の画像投影により得る場合を考える。
　重畳投影時には２台のプロジェクタ装置２を同一位置に配置することはできないため、主に投影面までの光路長の差等に起因して、各プロジェクタ装置２による投影画像にはそれぞれ異なる特性のフォーカスボケが生じる。このとき、重畳投影画像Ｐｐに生じるフォーカスボケは、プロジェクタ装置２各々の投影画像に生じるフォーカスボケに起因したものとなるが、プロジェクタ装置２単体の投影画像においては、画素ごと（画像内のエリアごと）にフォーカスボケの特性が異なり得る。これは、画像内の各エリアまでの光路長に差が生じることに起因する。

　ここで、例えば図６Ｂのように２台のプロジェクタ装置２が左右に離間して配置された場合において、左側のプロジェクタ装置２の投影画像における画像エリアＡ１に生じるフォーカスボケの特性をボケ特性Ｃ１Ｌとする。また、左側のプロジェクタ装置２の投影画像における画像エリアＡ２に生じるフォーカスボケの特性をボケ特性Ｃ２Ｌとする。さらに、右側のプロジェクタ装置２の投影画像における画像エリアＡ１、Ａ２に生じるフォーカスボケの特性をそれぞれボケ特性Ｃ１Ｒ、Ｃ２Ｒとする。

　図６Ｃは、これらボケ特性Ｃ１Ｌ、Ｃ２Ｌ、Ｃ１Ｒ、Ｃ２Ｒの例を模式的に表している。ここでは、各ボケ特性Ｃの視覚化モデルとして、点広がり関数（ＰＳＦ：Point Spread Function ）の視覚化モデルを表している。
　図示のように、左側のプロジェクタ装置２によるボケ特性Ｃ１Ｌ、Ｃ２Ｌについては、ボケ特性Ｃ１Ｌは画像の水平方向におけるボケが小さく垂直方向におけるボケが大きくなる傾向であるのに対し、ボケ特性Ｃ２Ｌは、逆に垂直方向におけるボケが小さく水平方向におけるボケが大きくなる傾向とされる。
　また、右側のプロジェクタ装置２によるボケ特性Ｃ１Ｒ、Ｃ２Ｒについて、ボケ特性Ｃ１Ｒは垂直方向におけるボケが小さく水平方向におけるボケが大きくなる傾向となり、ボケ特性Ｃ２Ｒは、垂直方向におけるボケが大きく水平方向におけるボケが小さくなる傾向とされる。
　画像エリアＡ１に着目すると、左側のプロジェクタ装置２のボケ特性Ｃ１Ｌは、該プロジェクタ装置２から画像エリアＡ１までの水平方向における光路長が比較的短いことから、水平方向におけるボケが小さい傾向となる。一方、右側のプロジェクタ装置２のボケ特性Ｃ１Ｒは、該プロジェクタ装置２から画像エリアＡ１までの水平方向における光路長が比較的長いことから、水平方向におけるボケが大きい傾向となる。同様の理由により、画像エリアＡ２に着目すると、左側のプロジェクタ装置２のボケ特性Ｃ２Ｌは水平方向におけるボケが大きい傾向となり、逆に右側のプロジェクタ装置２のボケ特性Ｃ２Ｒは水平方向におけるボケが小さい傾向となる。

　このように、重畳投影を行う場合は、画像内のエリアごとに各プロジェクタ装置２のボケ特性が異なり得る。

　ここで、重畳投影画像Ｐｐに生じるボケを補正するための手法として、以下のような先行例としての手法が存在する。
　図６は、先行例としてのボケ補正手法についての説明図である。
　なお、ここでも説明の便宜上、２台のプロジェクタ装置２により重畳投影を行う前提とする。また、ここでは、画像内の単一エリアについてのボケ補正処理を考える。画像内の各エリアについて、以下で説明する手法と同様の手法でボケ補正を行うことで、重畳投影画像Ｐｐ全体のボケ補正を実現することができる。

　先行例としてのボケ補正手法は、ボケの補正にあたり、ボケの逆関数により設計されるフィルタを用いる。すなわち、前述したボケ補正フィルタ７ａを用いる。図中では、重畳投影が２台のプロジェクタ装置２により行われる場合に対応して、ボケ補正フィルタ７ａが二つ設けられている。

　ここで、一方のプロジェクタ装置２の投影画像（ここでは画像内の単一エリア）に生じるボケの特性をボケ特性φとし、他方のプロジェクタ装置２の投影画像（同様に画像内の単一エリア）に生じるボケの特性をボケ特性Φとする。
　また、ボケ特性φによるボケを補正するためのフィルタ係数をｗ１、ボケ特性Φによるボケを補正するためのフィルタ係数をｗ２とする。
　ここでのボケ補正のためのフィルタ処理は、エッジを強調（エンハンス）する処理であり、例えば５×５フィルタ等、複数１セットのフィルタ係数を用いて行われるものである。すなわち、上記のフィルタ係数ｗ１、ｗ２は、複数のフィルタ係数を含む。

　ボケ補正フィルタ７ａによるボケ補正のためのフィルタ処理を入力画像に施し、これをプロジェクタ装置２により投影して得られる画像の画素値は、プロジェクタ装置２ごとに以下の［式１］［式２］で表すことができる。

　すなわち、この場合における一方のプロジェクタ装置２の投影画像の値は、［式１］のように、入力画像の画素値ｘに対しボケ特性φに基づくボケ付加処理及びフィルタ係数ｗ１に基づくボケ補正処理を施した値として表すことができる。また、この場合における他方のプロジェクタ装置２の投影画像の値は、［式２］のように、画素値ｘに対しボケ特性Φに基づくボケ付加処理及びフィルタ係数ｗ２に基づくボケ補正処理を施した値として表すことができる。

　先行例においては、ボケ補正のためのフィルタ係数ｗ１、ｗ２を、以下の［式３］［式４］に示す導出式に基づき求めるものとしている。

　但し、［式３］［式４］において、「ｙ」は重畳投影画像Ｐｐの画素値の理想値であり、具体的には、フォーカスボケが生じない理想状態での重畳投影画像Ｐｐの画素値を表す。
　先行例では、［式３］が表すＱ１、すなわち、画素値ｘに対しボケ特性φに基づくボケ付加処理及びフィルタ係数ｗ１に基づくボケ補正処理を施した値と所定の理想値（ここではｙ／２）との誤差の値に基づいて、一方のプロジェクタ装置２に対応するフィルタ係数ｗ１を求める。具体的には、誤差Ｑ１をできるだけ小さくするフィルタ係数ｗ１を求める。
　また先行例では、［式４］が表すＱ２、すなわち、画素値ｘに対しボケ特性Φに基づくボケ付加処理及びフィルタ係数ｗ２に基づくボケ補正処理を施した値と所定の理想値（ｙ／２）との誤差の値に基づいて、他方のプロジェクタ装置２に対応するフィルタ係数ｗ２を求める。具体的には、誤差Ｑ２をできるだけ小さくするフィルタ係数ｗ２を求める。

　しかしながら、上記先行例の手法によると、プロジェクタ装置２ごとのフィルタ係数ｗは、それぞれ単一の特性によるボケ（φ又はΦ）を打ち消すように個別に求められることから、発生するボケが大きい場合には、ボケを補正しきれない虞がある。
　例えば、ボケ特性φが前述したボケ特性Ｃ１Ｌのように垂直方向のボケが大きく水平方向のボケが小さい特性であり、ボケ特性Φがボケ特性Ｃ１Ｒのように水平方向のボケが大きく垂直方向のボケが小さい特性であったとする。
　この場合、［式３］のようにφによるボケを解消するフィルタ係数ｗ１を求めた場合には、ボケの大きい垂直方向のエンハンスを大きくするフィルタ係数ｗ１が求まる。また［式４］のようにΦによるボケを解消するフィルタ係数ｗ２を求めた場合には、ボケの大きい水平方向のエンハンスを大きくするフィルタ係数ｗ２が求まる。
　このとき、フィルタ係数ｗは、より大きなボケを打ち消すためにはより絶対値の大きい係数が導出される傾向となるが、打ち消すべきボケが大きく、絶対値が大きな係数が求められた場合には、ボケ補正後の画素値がダイナミックレンジを超える虞があり、補正の効果を投影画像に反映しきれなくなる虞がある。
　従って、上記のようにボケが大きい方向のエンハンスを大きくする傾向となる先行例の手法では、解消できるボケの大きさに限界がある。

　そこで、本実施形態では、下記［式５］のように、複数のボケ特性が一式にまとめて組み込まれた導出式に基づきフィルタ係数ｗ１、ｗ２を求める。

　具体的には、［式５］における誤差Ｑをできるだけ小さくするフィルタ係数ｗ１、ｗ２を求める。
　この誤差Ｑは、ボケ特性（φ、Φ）ごとに、画素値ｘに対しボケ特性に基づくボケ付加処理及びフィルタ係数（ｗ１、ｗ２）に基づくボケ補正処理を施した値の総和と、所定の理想値（ｙ）との差と言うことができる。
　［式５］は、端的に言えば、フィルタ係数ｗ１、ｗ２を、先行例のように単一のボケ特性のみに基づき求めるのではなく、複数のボケ特性に基づき求めるものであると言うことができる。

　複数のボケ特性について、先行例のようにボケ特性単体ごとに導出式を解いていると（つまり単体のボケ特性しか組み込まれていない導出式を解いていると）、そのボケ特性によるボケを打ち消すようにするフィルタ係数ｗしか求まらない。つまり、例えば垂直方向のボケが大きければ垂直方向をエンハンスするフィルタ係数ｗしか求まらない。
　これに対し、［式５］のようにそれぞれのフィルタ係数を複数のボケ特性に基づき求めるようにする、すなわち複数のボケ特性をまとめて組み込んだ導出式により求めるようにすれば、ボケ特性ごとのフィルタ係数ｗは、先行例のように単体のボケを打ち消す傾向（ボケが大きい方向のエンハンスを大とする傾向）に収束することに限らず、ボケが大きい方向のエンハンスを小、ボケが小さい方向のエンハンスを大とする傾向に収束可能となる。つまり、例えば図３で示した画像エリアＡ１についてのボケ特性Ｃ１Ｌのように、垂直方向のボケが大且つ水平方向のボケが小となる左側のプロジェクタ装置２に用いるフィルタ係数ｗについては、垂直方向のエンハンスを小とし水平方向のエンハンスを小とするフィルタ係数ｗに収束可能となる。また、画像エリアＡ１についてのボケ特性Ｃ１Ｒのように、水平方向のボケが大且つ垂直方向のボケが小となる右側のプロジェクタ装置２に用いるフィルタ係数ｗについては、垂直方向のエンハンスを大とし水平方向のエンハンスを小とするフィルタ係数ｗに収束可能となる。これらのフィルタ係数ｗによる補正を合計した結果、画像エリアＡ１については、二つのボケ特性による合成ボケが適切に補正されるようになる。つまり、左側のプロジェクタ装置２についての水平方向のエンハンスは、右側のプロジェクタ装置２の投影画像に生じる水平方向ボケへの補正として機能し、また、右側のプロジェクタ装置２についての垂直方向のエンハンスは、左側のプロジェクタ装置２の投影画像に生じる垂直方向ボケへの補正として機能することになり、二つの補正の合計により、合成ボケに対する補正が適正に行われるものである。

　このように、各ボケ特性について互いにボケが小さい方向をエンハンスし、それらの補正の合計によって合成ボケを補正するということができれば、先行例のようにボケが大きい方向をエンハンスするという手法を採る場合よりも、補正可能なボケ量を大きくすることができる。すなわち、合成ボケについての補正性能の向上を図ることができ、画質のさらなる向上を図ることができる。

　なお、上記では２台のプロジェクタ装置２が重畳投影を行う場合の合成ボケに対する導出式を例示したが、ｎ台のプロジェクタ装置２が重畳投影を行う場合の導出式は、プロジェクタ装置２ごとのボケ特性、すなわちｎ個のボケ特性をまとめて組み込んだ導出式を用いる。
　また、上記の導出式は、一つの画像エリアで生じるボケの補正フィルタ係数を導出する式であり、重畳投影画像Ｐｐの全域でボケ補正を行うためには、画像内における必要とされる複数の画像エリアごとに、それぞれ同様の導出式によって各プロジェクタ装置２のフィルタ係数ｗを求める。

　本例における係数取得部１１は、ボケ計測部１１が計測した各プロジェクタ装置２の画像エリアごとのボケ特性に基づき、上記［式５］のようにプロジェクタ装置２ごとのボケ特性がまとめて一式に組み込まれた導出式を用いて、各プロジェクタ装置２の画像エリアごとのフィルタ係数ｗを求める。

［1-4．実施形態としての光学的調整値の探索手法］

　図８乃至図１４を参照し、第一実施形態としての調整パラメータの探索手法について説明する。
　図８は、第一実施形態としての調整パラメータの探索手法を実現するために制御部６におけるＣＰＵが実行すべき具体的な処理手順を示したフローチャートである。図８に示す処理は、前述した本番の画像コンテンツについて重畳投影を行う前の段階でのキャリブレーション時において実行される。

　大まかな処理の流れとしては、先ず、プロジェクタ装置２ごとに、予め定められた調整パラメータの候補値（以下「候補パラメータ」と表記する）を設定させた状態で画像投影を実行させ、その際に撮像装置３で得られる撮像画像に基づいてプロジェクタ装置２ごとにボケ特性の計測、及び計測したボケ特性に基づくフィルタ係数ｗの取得を行う（ステップＳ１０２、Ｓ１１０）。その上で、取得したフィルタ係数ｗを用いたボケ補正処理によりプロジェクタ装置２ごとのボケ補正画像を得、それらボケ補正画像を重畳投影させ、その際に得られる撮像装置３の撮像画像に基づいてフォーカスボケに係る評価を行い、評価結果に基づいて調整パラメータの決定を行う（ステップＳ１１１～Ｓ１１６）。

　具体的な処理を説明する。
　先ず、制御部６はステップＳ１０１で、設定条件識別子Ｍを「１」にセットし、ステップＳ１０２で各プロジェクタ装置２に第Ｍ設定条件の候補パラメータを設定するための処理を行う。設定条件識別子Ｍは、プロジェクタ装置２ごとの候補パラメータの設定条件を識別するための識別子である。

　本例では、候補パラメータの設定条件として、図９に例示するように第１～第ｍまでのｍ個（ｍは２以上の自然数）の設定条件が予め定められている。
　図示のように各設定条件は、ｎ台のプロジェクタ装置２の個々に設定されるべき候補パラメータの組合わせを定義したものである。本例では、各設定条件においてプロジェクタ装置２ごとに設定される候補パラメータは、パン方向の回転角度（図中「パン」）、チルト方向の回転角度（図中「チルト」）、レンズシフト量（図中「レンズシフト」）、及びフォーカス位置の４種とされている。

　本例において、画像処理装置１には、図９に示すように候補パラメータについて複数の設定条件を定義したテーブル情報が所定の記憶装置（例えば制御部６が備えるＲＯＭ等の記憶装置）に記憶されている。

　図８のステップＳ１０２で制御部６は、上記のテーブル情報から第Ｍ設定条件の候補パラメータを読み出し、無線通信部９を介してそれぞれ対応するプロジェクタ装置２に送信して制御部２５に設定を指示する。

　上記の指示に応じ各プロジェクタ装置２における制御部２５は、受信した候補パラメータによる光学調整機構２３ｂの駆動指示、回転角度の設定指示をそれぞれアクチュエータ２３ｃ、設置角度調整部２４に対して行う。これにより、各プロジェクタ装置２のパン方向及びチルト方向の回転角度、レンズシフト量、及びフォーカス位置の各調整値が、候補パラメータとしての調整値に設定される。

　ステップＳ１０２に続くステップＳ１０３～Ｓ１０９の処理は、各プロジェクタ装置２に設定した候補パラメータが、評価対象として適切か否かを判定するための処理となる。具体的には、候補パラメータを設定した状態でのプロジェクタ装置２の画像投影範囲が所定の範囲条件を満たすか否かに基づき、候補パラメータが評価対象として適切か否かを判定するための処理である。

　図１０Ａは、撮像装置３による撮像画像Ｐｉ内において、プロジェクタ装置２の投影画像Ｐａが収まっている状態を、図１０Ｂは撮像画像Ｐｉ内に投影画像Ｐａが収まり切っていない状態をそれぞれ例示している。
　候補パラメータを設定した場合には、図１０Ｂのように投影画像Ｐａの位置が適正な位置から大きくずれることも想定され得る。このように画像投影位置が不適切となるプロジェクタ装置２が１台でも存在する場合には、もはや重畳投影を適切に行うことが不能となる。そのため、この場合の候補パラメータについては、フォーカスボケに係る評価の対象から除外する。

　図８におけるステップＳ１０３で制御部６は、プロジェクタ識別子Ｎを「１」にセットする。プロジェクタ識別子Ｎは、プロジェクタ装置２を識別するための識別子である。
　続くステップＳ１０４で制御部６は、第Ｎのプロジェクタ装置２により全白画像を投影させる。すなわち、画像入力部５に対する指示を行って、全画素を白表示とする全白画像をボケ補正部７に入力させる。このとき、ボケ補正部７にはボケ補正機能をオフとする指示を行い、入力された全白画像がボケ補正処理を経ずに画像出力部８に入力されるようにする。またこの際、画像出力部８には、第Ｎのプロジェクタ装置２に対してのみ全白画像を出力するように指示を行う。

　ステップＳ１０４に続くステップＳ１０５で制御部６は、投影画像（Ｐａ）の撮像画像（Ｐｉ）を取得する処理、すなわち撮像装置３による撮像画像を取得する処理を実行する。
　次いで、制御部６はステップＳ１０６で、投影状態確認処理として、取得した撮像画像に基づき画像投影範囲を確認するための処理を行う。具体的に、制御部６は、該確認処理として、撮像画像において輝度値が所定の閾値ＴＨｌ以上である画素の数（以下「画素数Ｖ」と表記）を求める処理を行う。

　続くステップＳ１０７で制御部６は、投影状態が不適切か否かを判定する。具体的に本例では、上記した画素数Ｖが所定の閾値ＴＨｖ未満であるか否かを判定する。画素数ｖが多ければ撮像画像内に映し出されている投影画像の面積が大きいと推定でき、従って画素数Ｖが閾値ＴＨｖ未満か否かを判定することは、画像投影範囲が所定の範囲条件を満たすか否か、具体的には、画像投影範囲が規定範囲から大きくずれているか否かを判定していることに相当する。

　なお、画像投影範囲が所定の範囲条件を満たすか否かの判定手法は、上記で例示した手法に限定されるものではない。
　例えば、撮像画像Ｐｉの全画素を対象として画素数ｖを求めたが、図１１に示すように、撮像画像Ｐｉ内において対象エリアＡｔを定めておき、該対象エリアＡｔ内において画素数ｖを求めることもできる。
　また、画素数ｖを用いた判定手法に限らず、例えば投影画像のエッジを検出した結果に基づく判定とする等、他の判定手法を採ることもできる。
　また、画像投影範囲が所定の範囲条件を満たすか否かの判定にあたって投影する画像は、必ずしも全白画像である必要はない。

　ステップＳ１０７において、画素数Ｖが所定の閾値ＴＨｖ未満であり、投影状態が不適切であると判定した場合、制御部６はステップＳ１１５に進んで設定条件識別子Ｍを１インクリメント（Ｍ←Ｍ＋１）した上で、ステップＳ１０２に戻る。これにより、各プロジェクタ装置２には、次の設定条件に対応する候補パラメータが設定される。すなわち、投影状態が不適切となる候補パラメータを含む設定条件については、ステップＳ１１０以降の処理が実行されず、フォーカスボケに係る評価の対象から除外されることになる。換言すれば、少なくとも投影状態が不適切となる候補パラメータとプロジェクタ装置２との組については、フォーカスボケに係る評価の対象から除外される。

　また、ステップＳ１０７において、画素数Ｖが所定の閾値ＴＨｖ未満ではなく、投影状態が不適切でないと判定した場合、制御部６はステップＳ１０８に進んで、プロジェクタ識別子Ｎがｎ以上（Ｎ≧ｎ）か否かを判定し、Ｎ≧ｎでなければ、ステップＳ１０４に戻る。これにより、次のプロジェクタ装置２について、ステップＳ１０４～Ｓ１０７で説明した処理、すなわち設定した候補パラメータとプロジェクタ装置２の組が評価対象として適切か否かの判定のための処理が実行される。

　一方、ステップＳ１０８でＮ≧ｎであると判定した場合、制御部６はステップＳ１１０のフィルタ係数取得処理を実行する。このフィルタ係数取得処理は、プロジェクタ装置２ごとに計測した投影画像のボケ特性に基づき、ボケ補正処理のためのフィルタ係数ｗを取得する処理となる。

　図１２は、ステップＳ１１０のフィルタ係数取得処理を示したフローチャートである。　図１２において、制御部６はステップＳ２０１で、プロジェクタ識別子Ｎを「１」にセットした上で、ステップＳ２０２で第Ｎのプロジェクタ装置２により所定のテスト画像を投影させる。本例では、テスト画像としてｏ個（ｏは２以上の自然数）の代表点が設定された画像を用いる。例えば、代表点としては、画像の中央及び四隅の計５点を含む５以上の点が設定され、テスト画像は、例えばそれら代表点に該当する画素のみを発光させる画像が用いられる。
　制御部６は、画像入力部５に対する指示を行ってテスト画像をボケ補正部７に入力させる。このとき、ボケ補正部７にはボケ補正機能をオフとする指示を行い、入力されたテスト画像がボケ補正処理を経ずに画像出力部８に入力されるようにする。またこの際、画像出力部８には、第Ｎのプロジェクタ装置２に対してのみテスト画像を出力するように指示を行う。

　次いで、制御部６はステップＳ２０３で、投影画像の撮像画像を撮像装置３より取得する処理を行う。
　さらに、次のステップＳ２０４で制御部６は、各代表点のボケ特性を計測する。
　この際、ボケ特性のデータについては、点広がり関数を表すデータとしてもよいが、本例では、例えばデータ容量削減のため、図１３に示すようなボケの簡易化モデルのデータを採用する。この図１３に示す簡易モデルは、投影面におけるボケの広がりが正規分布状になるとの前提でボケ特性を簡易的に表すもので、各方向のボケ度合い（σａ、σｂ）と、ボケの方向を定義するための角度θとでボケ特性を表すものとされる。σａとσｂは、互いに直交する方向のボケ度合いをそれぞれ表す。

　なお、ボケ特性を表す具体的なデータについては特に限定されるものではなく、例えばＬＰＦ（Low Pass Filter）の係数データとすることもできる。

　ステップＳ２０４に続くステップＳ２０５で制御部６は、計測したボケ特性を現在のプロジェクタ装置２と対応づけて記憶するための処理を行う。すなわち、ステップＳ２０４で計測した代表点ごとのボケ特性を現在のプロジェクタ装置２（現在のプロジェクタ識別子Ｎ）と対応づけて所定の記憶装置（例えば制御部６のＲＡＭ等）に記憶させる。

　次いで、制御部６はステップＳ２０６で、プロジェクタ識別子Ｎがｎ以上であるか否か（Ｎ≧ｎ）を判定する。すなわち、全てのプロジェクタ装置２についてボケ特性を計測したか否かを判定する。
　ステップＳ２０６において、Ｎ≧ｎでなければ、制御部６はステップＳ２０７でプロジェクタ識別子Ｎの値を１インクリメント（Ｎ←Ｎ＋１）し、ステップＳ２０２に戻る。これにより、次のプロジェクタ装置２についてテスト画像の投影やボケ特性の計測が行われる。

　一方、Ｎ≧ｎであれば、制御部６はステップＳ２０８に進み、代表点ごとに各プロジェクタ装置２のフィルタ係数ｗを計算する。すなわち、代表点ごとに、各プロジェクタ装置２のボケ特性（ｎ個のボケ特性）が一式にまとめて組み込まれた導出式を用いて、各プロジェクタ装置２のフィルタ係数ｗを計算する。先の［式５］の導出式は、２台のプロジェクタ装置２で重畳投影を行う場合に対応して、理想値ｙから減算される項がそれぞれボケ特性φ、ボケ特性Φを含んだ二つとされていたが、ステップＳ２０８で用いる導出式は、対象とする代表点について各プロジェクタ装置２ごとに計測されたボケ特性のうちそれぞれ対応する一つを含んだｎ個の項を理想値ｙより減算する式を用いる。

　ステップＳ２０８に続くステップＳ２０９で制御部６は、計算した各プロジェクタ装置２の代表点ごとのフィルタ係数ｗを記憶するための処理を実行する。この際、フィルタ係数ｗは、例えば制御部６のＲＡＭ等に記憶する。
　ステップＳ２０９の記憶処理を実行したことに応じ、制御部６は図１２に示すフィルタ係数取得処理を終える。

　図１２に示すフィルタ係数取得処理が実行されることで、第Ｍ設定条件による候補パラメータが設定された下でフォーカスボケを最小化するためのフィルタ係数ｗが取得される。

　ステップＳ１１０のフィルタ係数取得処理を実行したことに応じ、制御部６は、図８に示すステップＳ１１１に処理を進める。
　ステップＳ１１１で制御部６は、ボケ補正画像の重畳投影処理を実行する。すなわち、ステップＳ１１０のフィルタ係数取得処理で取得した各プロジェクタ装置２の代表点ごとのフィルタ係数ｗをボケ補正部７におけるプロジェクタ装置２ごとに設けられたボケ補正フィルタ７ａに設定させると共に、画像入力部５により所定画像を入力させて、ボケ補正部７においてプロジェクタ装置２ごとのボケ補正画像が生成されるようにする。そして、画像出力部８によりこれらプロジェクタ装置２ごとのボケ補正画像をそれぞれ対応するプロジェクタ装置２に出力させて、ｎ台のプロジェクタ装置２によりボケ補正画像を重畳投影させる。
　なお、ボケ補正部７におけるボケ補正処理について、代表点以外の各画素のフィルタ処理については、例えば代表点でのフィルタ係数ｗを線形補間して用いる等、代表点でのフィルタ係数ｗに基づくフィルタ係数を用いて実行する。

　続くステップＳ１１２で制御部６は、撮像画像の取得処理、すなわち上記ステップＳ１１１の処理によってスクリーンＳ上に表示された重畳投影画像Ｐｐについての撮像画像を撮像装置３より取得する処理を行い、次のステップＳ１１３で、ボケ評価処理を行う。
　ステップＳ１１３のボケ評価処理は、ステップＳ１１２で取得した撮像画像に基づき、重畳投影画像Ｐｐに生じるフォーカスボケに係る評価を行う処理である。本例では、フォーカスボケに係る評価を行うための評価値として、投影画像の解像感を表す評価値Ｖｒを用いる。具体的に、この場合の評価値Ｖｒとしては、評価対象の画像内における隣接画素間の輝度差分の最大値（以下「隣接画素最大輝度差分値」と表記）を、輝度のダイナミックレンジの値で除した値とする。ここで、ダイナミックレンジの値は、輝度値が２５６階調（０～２５５）であれば「２５５」となる。

　図１４は、評価値Ｖｒについての説明図である。
　図１４Ａは、白画素（輝度値＝２５５）と黒画素（輝度値＝０）とが隣接している画像の例である。この場合、画像内における隣接画素最大輝度差分値は、｜２５５－０｜より「２５５」であり、評価値Ｖｒとしては「１」が算出される。
　図１４Ｂは、図１４Ａに示す白画素と黒画素とのエッジ部分がフォーカスボケによりぼやけた場合を例示している。この場合、隣接画素最大輝度差分値は「２５５」よりも小さくなり、評価値Ｖｒとしては「１」より小さい値が算出されることになる。
　このように評価値Ｖｒは、「１」が解像感が最も高いことを表し、値が小さくなるに従って解像感がより低いことを表す値となる。

　図８のステップＳ１１３において、制御部６は、ステップＳ１１２で取得した撮像画像についてこのような評価値Ｖｒを計算する。
　なお、フォーカスボケに係る評価の手法として、上記のような評価値Ｖｒを用いる手法はあくまで一例を挙げたものに過ぎず、特定の手法に限定されるべきものではない。

　続くステップＳ１１４で制御部６は、画質条件を満たすか否か、具体的には、評価値Ｖｒが所定の閾値ＴＨｒ以上であるか否か（解像感の高さが所定の高さ以上であるか否か）を判定する。ここで、評価値Ｖｒが閾値ＴＨｒ以上であるか否かの判定は、フォーカスボケの度合いが所定の度合いを下回るか否かの判定の一例である。
　評価値Ｖｒ≧ＴＨｒでなく、画質条件を満たさないと判定した場合、制御部６はステップＳ１１５で設定条件識別子Ｍを１インクリメントした上で、ステップＳ１０２に戻る。これにより、次の設定条件による候補パラメータの設定（Ｓ１０２）が行われた上で、設定した候補パラメータが評価対象として適切か否かの判定のための処理（Ｓ１０３～Ｓ１０９）が行われ、評価対象として適切とされた場合には、設定した候補パラメータについてのフォーカスボケに係る評価のための処理（Ｓ１１０～Ｓ１１３）、及び評価結果に基づく画質判定処理（Ｓ１１４）が実行される。

　一方、ステップＳ１１４において評価値Ｖｒ≧ＴＨｒであり、画質条件を満たすと判定した場合、制御部６はステップＳ１１６で第Ｍ設定条件の候補パラメータを使用パラメータとして決定する。すなわち、第Ｍ設定条件の候補パラメータを、本番の画像コンテンツを重畳投影する際に使用する調整パラメータとして決定する。
　制御部６は、ステップＳ１１６の処理を実行したことに応じ図８に示す一連の処理を終える。

　なお、ステップＳ１１４で画質条件を満たすと判定した場合、該判定のための評価対象とした候補パラメータは既に各プロジェクタ装置２に設定された状態にある。そのため、ステップＳ１１６の決定処理は実行せず、そのまま本番の画像コンテンツの重畳投影を開始するための処理に移行することもできる。

　ここで、ステップＳ１１４の判定処理は、ステップＳ１０２で設定した候補パラメータについて、その使用可否に係る判定を行っていることに相当する。

　上記のような一連の処理により、各プロジェクタ装置２の光学的な調整値として、ボケ補正処理により良好なボケ補正効果が得られる調整値が探索される。
　従って、投影画像に生じるフォーカスボケの補正を信号処理により行う場合におけるボケ補正性能の向上を図ることができる。

　なお、上記では、重畳投影に使用する調整パラメータを探索する処理として、画質条件を満たす設定条件が発見されたことに応じて探索を終了する例を挙げたが、予め用意されたＭ個全ての設定条件について、フォーカスボケを相対評価した結果に基づき、使用する候補パラメータの判定を行うこともできる。具体的にその場合には、ステップＳ１１０～Ｓ１１３の処理をＭ個の設定条件について実行し、設定条件ごとに評価値Ｖｒを得る。その後、評価値Ｖｒが最大である設定条件、すなわちプロジェクタ装置２ごとの候補パラメータを、最適な候補パラメータとして決定する。換言すれば、本番の画像コンテンツの重畳投影に用いる調整パラメータとして決定する。

　なお、上記のように複数の候補パラメータのフォーカスボケを相対評価して使用する候補パラメータの判定を行う場合においても、投影範囲が所定の範囲条件を満たさない候補パラメータとプロジェクタ装置２の組合わせを含む設定条件については、評価の対象から除外することができる。すなわち、ステップＳ１０２～Ｓ１０９の処理を適用することができる。

［1-5．候補値評価についての変形例］

　ここで、重畳投影を行う複数のプロジェクタ装置２において、配置位置が近いプロジェクタ装置２同士は、光学的な調整パラメータも近似する傾向となる。
　そこで、使用パラメータの判定にあたってのフォーカスボケに係る評価の対象としたプロジェクタ装置２に隣接配置されているプロジェクタ装置２については、該フォーカスボケに係る評価の対象から除外することもできる。

　図１５にその具体例を示す。
　図中では、５台のプロジェクタ装置２を横並びに配列させて重畳投影を行う場合を例示しているが、例えばこの場合、ハッチングを施した中央、及び左右両端に位置する３台のプロジェクタ装置２についてはフォーカスボケ評価の対象とし、それ以外のプロジェクタ装置２については該評価の対象から除外する。つまり、この場合の制御部６（使用判定部１２）は、上記３台のプロジェクタ装置２のみを対象として、図８に示した処理を実行する。

　この場合、制御部６（使用判定部１２）は、評価の対象から除外したプロジェクタ装置２（対象外装置）についての調整パラメータを、評価の対象としたプロジェクタ装置２のうち対象外装置の最寄りに位置するプロジェクタ装置２に使用する調整パラメータに基づき取得する。
　これにより、調整パラメータ探索のための評価対象から除外されたプロジェクタ装置２の調整パラメータを、配置位置の近似性に応じた調整パラメータの近似性を利用して適切に取得可能とされる。
　従って、ボケ補正性能の向上と、そのための処理負担の軽減及び処理時間の短縮化との両立を図ることができる。

　上記のように対象外装置の調整パラメータを最寄りのプロジェクタ装置２の調整パラメータに基づき取得する場合、対象外装置のレンズシフト量については、該最寄りのプロジェクタ装置２のレンズシフト量を、該最寄りのプロジェクタ装置２との位置の差に基づき補正して取得する。

　ここで、上記では、重畳投影のために配列された複数のプロジェクタ装置２のうち、少なくとも中央部に位置するプロジェクタ装置２と、左右（又は上下の場合もある）の両端部に位置するプロジェクタ装置２とを調整パラメータ探索のための評価対象としたが、通常、中央部のプロジェクタ装置２は投影面に略平行に配置されるのに対し、端部のプロジェクタ装置２は投影面に略平行ではなく斜めに配置される傾向となり（特に配列するプロジェクタ装置２の数が多い場合）、これら中央部と端部のプロジェクタ装置２間では調整パラメータに比較的大きな差が生じる傾向となる。
　従って、評価対象から除外するプロジェクタ装置２としては、少なくとも中央部と端部のプロジェクタ装置２以外のプロジェクタ装置２から選出することが望ましい。

　なお、図１５では評価対象から除外するプロジェクタ装置２の配置間隔、すなわち間引きの間隔を１台おきとする例を挙げたが、間引きの間隔は１台おきに限定されず、複数台おきとすることもできる。また、間引き間隔は一定とすることに限らず、例えばプロジェクタ装置２を数十台など多数用いる場合には、中央から端部側にかけて間引き間隔を次第に小さくするといったことも可能である。

　また、重畳投影を行う一部のプロジェクタ装置２については、他のプロジェクタ装置２（例えば最寄りのプロジェクタ装置２）と同じ候補パラメータを設定してフォーカスボケに係る評価を行ってもよい。
　これにより、図９に示したテーブル情報として、プロジェクタ装置２全台分の候補パラメータを格納しておく必要がなくなり、テーブル情報の容量削減を図ることができる。

＜２．第二実施形態＞
［2-1．第二実施形態としての画像投影装置、画像処理装置の構成］

　続いて、第二実施形態について説明する。
　第二実施形態は、画像投影装置の温度に応じて調整パラメータの再探索を行うものである。なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

　図１６は、第二実施形態で用いるプロジェクタ装置２の内部構成例を示したブロック図である。
　第一実施形態のプロジェクタ装置２との差異点は、温度検出を行うためのサーミスタ２３ｄが追加されている点である。本例では、サーミスタ２３ｄは光学系２３内の所定位置に配置され、光学系２３の温度を検出可能とされている。
　サーミスタ２３ｄは制御部２５と接続され、制御部２５はサーミスタ２３ｄにより検出される温度情報を取得可能とされている。

　図１７は、第二実施形態としての画像処理装置１Ａの内部構成例を説明するための図であり、画像処理装置１Ａの内部構成例と共に撮像装置３を併せて示している。
　画像処理装置１との差異点は、制御部６に代わり制御部６Ａが設けられ、さらに、操作部３０が設けられた点である。
　制御部６Ａは、制御部６と比較して、使用判定部１２に代わり使用判定部１２Ａが設けられた点が異なる。

　操作部３０は、ユーザが画像処理装置１Ａに対する操作入力を行うための操作入力デバイスを包括的に表したものであり、ユーザの操作入力に応じた操作情報を制御部６Ａに出力する。操作部６Ａの例としては、例えば各種のボタン操作子やタッチセンサ等を挙げることができる。或いは、ユーザ操作入力はリモートコントローラを介して行うこともでき、その場合、操作部３０はリモートコントローラによる送信信号を受信する受信部を備えた構成とする。

　制御部６Ａにおいて、使用判定部１２Ａは、第一実施形態で説明した調整パラメータの探索処理（キャリブレーション）を実行した後において、プロジェクタ装置２Ａにおけるサーミスタ２３ｄの温度検出結果に基づき、再度、調整パラメータの探索処理を実行する。

［2-2．処理手順］

　図１８は、第二実施形態としての調整パラメータの探索手法を実現するために制御部６ＡのＣＰＵが実行すべき具体的な処理手順を示したフローチャートである。図１８に示す処理は、図８に例示したキャリブレーションとしての探索処理の実行後における所定のタイミングで開始されるものである。

　先ず、制御部６ＡはステップＳ３０１で、各プロジェクタ装置２Ａの光学系温度を取得する。すなわち、プロジェクタ装置２Ａにおける制御部２５にサーミスタ２３ｄが検出した温度情報を取得させ、該温度情報を無線通信部２６及び無線通信部９を介して取得する。

　続くステップＳ３０２で制御部６Ａは、再設定温度条件を満たすプロジェクタ装置２Ａがあるか否かを判定する。ここで、再設定温度条件は、本例では、取得した光学系温度が所定の閾値ＴＨｔ以上であることと定められている。
　再設定温度条件を満たすプロジェクタ装置２Ａ（以下「該当プロジェクタ」と表記する）が無いと判定した場合、制御部６ＡはステップＳ３０１に戻る。

　一方、該当プロジェクタがあると判定した場合、制御部６ＡはステップＳ３０３のアラート処理として、調整パラメータの再探索を行う旨を表すアラート表示を各プロジェクタ装置２Ａに実行させる。アラート表示としては、例えば調整パラメータの再探索を行うか否かを問うメッセージ情報と、「はい」「いいえ」の選択ボタンを表すアイコンとを含む画像情報を表示させる。
　キャリブレーション後には、各プロジェクタ装置２Ａが本番の画像コンテンツを重畳投影中である場合があるため、上記のようなアラート処理を実行し、ユーザに再探索を実行すべきか否かを問うものとしている。なお、再探索を行うか否かをユーザ操作に基づき判定することは必須ではない。

　続くステップＳ３０４で制御部６Ａは、所定操作の有無を判定する。具体的に本例では、所定時間以内に上記の「はい」を選択する操作が行われたか否かを判定する。
　所定操作が行われていない、つまり所定時間以内に「はい」を選択する操作が行われなかったか、「いいえ」を選択する操作が行われた場合、制御部６Ａはこの図に示す一連の処理を終了する。すなわち、調整パラメータの再探索は実行されない。

　一方、所定操作が行われた場合、制御部６ＡはステップＳ３０５以降の処理を実行して、該当プロジェクタについての調整パラメータ再探索のための処理を実行する。
　先ず、制御部６ＡはステップＳ３０５で、設定条件識別子Ｍを「１」にセットし、ステップＳ３０６で該当プロジェクタに第Ｍ設定条件の候補パラメータを設定させる処理を実行する。このとき、該当プロジェクタ以外のプロジェクタ装置２Ａについては、それまでの調整パラメータの設定状態を維持させる。
　そして、制御部６Ａは、ステップＳ３０６の設定処理を実行したことに応じ、図８で説明したステップＳ１１０～Ｓ１１４の処理を実行する。これにより、該当プロジェクタに第Ｍ設定条件による候補パラメータが設定された状態でフォーカスボケを最小にするフィルタ係数ｗ（各プロジェクタ装置２Ａの代表点ごとのフィルタ係数ｗ）が求められると共に（Ｓ１１０）、それらフィルタ係数ｗによるボケ補正処理が行われた場合の重畳投影画像についてフォーカスボケに係る評価が行われ（Ｓ１１１～Ｓ１１３）、画質条件を満たすか否かが判定される（Ｓ１１４）。

　ステップＳ１１４において、画質条件を満たさないと判定した場合、制御部６ＡはステップＳ１１５で設定条件識別子Ｍを１インクリメントした上で、ステップＳ３０６に戻る。これにより、該当プロジェクタに次の設定条件の候補パラメータを設定した場合について、フォーカスボケを最小にするフィルタ係数ｗが求められると共に、該フィルタ係数ｗによるボケ補正処理が行われた場合の重畳投影画像について画質条件を満たすか否かが判定される。

　一方、ステップＳ１１４において画質条件を満たすと判定した場合、制御部６ＡはステップＳ３０７に進み、第Ｍ設定条件の候補パラメータを該当プロジェクタの使用パラメータとして決定し、図１８に示す一連の処理を終える。
　なお、この場合も、使用パラメータを決定する処理を行うことは必須ではない。

　プロジェクタ装置２Ａの光学系２３の温度（特に投影レンズの温度）が変化するとフォーカスのボケ特性にも変化が生じる。特に、投影レンズとしてガラス製レンズが用いられる場合には、ボケ特性の変化が比較的大きくなる。
　上記のような再探索を行うことで、温度変化に伴う画質劣化の防止を図ることができる。

　なお、上記では、該当プロジェクタについて、予め用意した全ての候補パラメータを評価対象とする例を挙げたが、一部の候補パラメータのみを評価対象とすることもできる。例えば、評価対象とする候補パラメータはユーザ操作により選択可能とすることもできる。或いは、設定中であった調整パラメータとの差が大きい（例えば差が閾値以上の）候補パラメータは評価対象から除外する、換言すれば、探索範囲を設定中の調整パラメータの近傍に限定する等も考えられる。

　また、上記では、温度が所定値以上のプロジェクタ装置２Ａを再探索の対象とする例を挙げたが、全てのプロジェクタ装置２Ａの合計温度に対する温度の割合が大きいプロジェクタ装置２Ａを再探索の対象とすることもできる。
　或いは、温度が所定値以上であっても、重畳投影画像のフォーカスボケに係る評価が良好である場合には、再探索を行わないようにすることもできる。
　このように温度に基づく再探索の実行条件としては、上記で例示したものに限定されず多様に考えられる。

　また、再探索時においても、先のステップＳ１０４～Ｓ１０７と同様の処理により、候補パラメータを設定した状態での投影画像の投影範囲を評価し、投影範囲が所定の範囲条件を満たさない場合は、当該候補パラメータをフォーカスボケに係る評価の対象から除外することもできる。

＜３．変形例＞

　なお、本技術は上記で説明した具体例に限定されず、多様な変形例が考えられる。
　例えば、上記では、画像処理装置１（又は１Ａ）が所定の導出式を用いた計算によってボケ補正のためのフィルタ係数ｗを取得する例を挙げたが、フィルタ係数ｗは、ボケ特性の組合わせごとに対応するフィルタ係数ｗが対応づけられたテーブル情報から取得することもできる。具体的には、各プロジェクタ装置２（又は２Ａ）の画像エリアごとのボケ特性の組合わせとして、想定される組合わせごとに、対応するフィルタ係数ｗを格納したテーブル情報を画像処理装置１（１Ａ）に記憶させておき、該テーブル情報と、撮像装置３の撮像画像に基づき計測した画像エリアごとのボケ特性とに基づき、フィルタ係数ｗを取得する構成である。
　この場合、係数取得部１１は、テーブル情報におけるボケ特性の組合わせのうち、計測されたボケ特性の組合わせとマッチする組合わせを特定し、特定した組合わせによるフィルタ係数ｗを取得すればよい。

　また、上記では、ボケの逆関数により設計されるフィルタを用いたボケ補正処理として、［式５］のようにプロジェクタ装置２（２Ａ）ごとのボケ特性がまとめて一式に組み込まれた導出式で求まったフィルタ係数ｗを用いた処理を行う例を挙げたが、先行例として説明した手法（［式３］［式４］参照）で求まったフィルタ係数ｗを用いてボケ補正処理を行うこともできる。
　或いは、ボケ補正処理としては、導出式から求まったフィルタ係数ｗを用いた処理に限定されず、例えば前述した特許文献１に開示されるフィードバック型の補正技術により求まったフィルタ係数を使用する等、他の手法による処理とすることもできる。

　また、上記では特に言及しなかったが、評価対象とする候補パラメータの順番を工夫することもできる。例えば、投影面に対する設置角度が大きい（パン又はチルト方向の回転角度が大きい）プロジェクタ装置２（２Ａ）については、予め用意した候補パラメータのうち、値の大きいものから順に評価対象としていくことが考えられる。これにより、画質条件を満たす（フォーカスボケの度合いが所定の度合いを下回る）候補パラメータが発見されたことに応じて探索を終了する手法（ステップＳ１１４参照）が採用される場合に対応して、調整パラメータの探索に要する処理時間の短縮化及び処理負担の軽減を図ることができる。

　また、上記では、プロジェクタ装置２（２Ａ）が有する空間光変調器２３ａが透過型の液晶パネルとされる例を挙げたが、空間光変調器２３ａとしては、反射型液晶パネルやＤＭＤ（Digital Micromirror Device）等を用いることもでき、透過型液晶パネルに限定されるものではない。

　また、第一、第二実施形態では、実施形態としての画像処理装置（１又は１Ａ）がプロジェクタ装置２と別体に設けられた例を示したが、画像処理装置は何れかのプロジェクタ装置２と一体に構成することもできる。

＜４．実施形態のまとめ＞

　以上説明してきたように実施形態の画像処理装置（同１又は１Ａ）は、画像投影装置（プロジェクタ装置２又は２Ａ）の光学的な調整値（調整パラメータ）として所定の候補値（候補パラメータ）が設定された状態で計測された画像投影装置の投影画像に生じるフォーカスボケの特性であるボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すボケ補正部（同７）と、ボケ補正処理が施された画像を画像投影装置により投影させて得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき候補値の使用可否に係る判定を行う使用判定部（同１２又は１２Ａ）と、を備えるものである。

　これにより、画像投影装置の光学的な調整値として、ボケ補正処理により良好なボケ補正効果が得られる調整値を探索可能とされる。
　従って、投影画像に生じるフォーカスボケの補正を信号処理により行う場合におけるボケ補正性能の向上を図ることができる。

　また、実施形態としての画像処理装置においては、ボケ補正部は、複数の画像投影装置がそれぞれ対応する候補値が設定された状態で個別に画像投影を行った際に計測された画像投影装置ごとのボケ特性に基づき、入力画像に対し画像投影装置ごとのボケ補正処理を施して画像投影装置ごとにボケ補正画像を得、使用判定部は、ボケ補正画像を複数の画像投影装置により重畳投影させて得られる重畳投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき判定を行っている。

　これにより、重畳投影を行う各画像投影装置の光学的な調整値として、ボケ補正処理により良好なボケ補正効果が得られる調整値を探索可能とされる。
　従って、重畳投影画像に生じるフォーカスボケについてのボケ補正性能の向上を図ることができる。

　さらに、実施形態としての画像処理装置においては、ボケ補正部は、画像投影装置の個々に対応したボケ補正のためのフィルタ係数が導出される導出式であって、画像投影装置ごとのボケ特性が一式にまとめて組み込まれた導出式によって求まる画像投影装置ごとのフィルタ係数に基づき、画像投影装置ごとのボケ補正処理を行っている。

　上記のように画像投影装置ごとのボケ特性をまとめて組み込んだ導出式を解くようにすれば、画像投影装置ごとの補正フィルタ係数は、そのボケ単体を打ち消す傾向（つまりボケが大きい方向のエンハンスを大とする傾向）に収束することに限らず、ボケが大きい方向のエンハンスを小、ボケが小さい方向のエンハンスを大とする傾向に収束可能となる。
　従って、重畳投影画像に生じるフォーカスボケについてのボケ補正性能のさらなる向上を図ることができる。

　さらにまた、実施形態としての画像処理装置においては、使用判定部は、候補値が設定された状態の画像投影装置により所定画像を投影させて所定画像の投影範囲を評価し、投影範囲が所定の範囲条件を満たさない場合は当該候補値と画像投影装置との組合わせをフォーカスボケに係る評価の対象から除外している。

　例えば、調整値の最適点を求めるための探索範囲を広げるべく、候補値の振り幅を大きくした場合には、或る候補値と画像投影装置との組合わせにおいて、画像の投影範囲が規定の投影範囲から大きく逸脱する等、画像投影範囲が所定の範囲条件を満たさなくなることがあり得る。画像投影範囲が所定の範囲条件を満たさないことは、画質改善以前の問題となることから、これら候補値と画像投影装置との組合わせについては、調整値探索にあたってのフォーカスボケの評価対象から除外する。
　これにより、不要と考えられる候補値と画像投影装置との組合わせについては、ボケ計測部によるボケ特性の計測、ボケ補正部によるボケ補正処理、及び調整値決定部によるフォーカスボケに係る評価を行わないようにすることが可能とされ、調整値の最適化に要する処理負担の軽減、及び処理時間の短縮化を図ることができる。

　また、実施形態としての画像処理装置においては、使用判定部は、フォーカスボケに係る評価の対象とした画像投影装置に対して隣接配置された画像投影装置については、フォーカスボケに係る評価の対象から除外している。

　配置位置が近接している画像投影装置同士は、例えばパン又はチルトの角度やレンズシフト量といった調整値として近い値が設定される傾向となる。そこで、調整値決定のためのフォーカスボケに係る評価の対象とした画像投影装置に隣接配置される画像投影装置については、該評価の対象から間引くことで、調整値探索のための処理数削減を図る。
　従って、調整値の最適化のための処理負担の軽減、及び処理時間の短縮化を図ることができる。

　さらに、実施形態としての画像処理装置においては、使用判定部は、評価の対象から除外した画像投影装置である対象外装置についての調整値を、評価の対象とした画像投影装置のうち対象外装置の最寄りに位置する画像投影装置に使用する調整値に基づいて取得している。

　これにより、調整値探索のための評価対象から除外された画像投影装置の調整値を、配置位置の近似性に応じた調整値の近似性を利用して適切に取得可能とされる。
　従って、ボケ補正性能の向上と、そのための処理負担の軽減及び処理時間の短縮化との両立を図ることができる。

　さらにまた、実施形態としての画像処理装置においては、調整値は、画像投影装置のパン又はチルト方向の回転角度に係る調整値を含んでいる。

　画像投影装置のパン又はチルト方向の回転角度は、投影画像に生じるフォーカスボケの特性変化要因の一つである。
　従って、当該パン又はチルト方向の回転角度に係る調整値の最適化を図ることで、ボケ補正性能の向上が図られる。

　また、実施形態としての画像処理装置においては、調整値は、画像投影装置のレンズシフト量に係る調整値を含んでいる。

　画像投影装置のレンズシフト量は、投影画像に生じるフォーカスボケの特性変化要因の一つである。
　従って、当該レンズシフト量に係る調整値の最適化を図ることで、ボケ補正性能の向上が図られる。

　さらに、実施形態としての画像処理装置においては、調整値は、画像投影装置のフォーカス位置に係る調整値を含んでいる。

　画像投影装置のフォーカス位置は、投影画像に生じるフォーカスボケの特性変化要因の一つである。
　従って、当該フォーカス位置に係る調整値の最適化を図ることで、ボケ補正性能の向上が図られる。

　さらにまた、実施形態としての画像処理装置においては、使用判定部は、フォーカスボケに係る評価の結果に基づき、当該フォーカスボケの度合いが所定の度合いを下回るか否かを判定することで、候補値の使用可否を判定している。

　これにより、複数の候補値のうち評価結果が最良となる候補値を使用調整値として探索することが可能とされる。
　従って、ボケ補正性能を最大限に高めることができる。

　また、実施形態としての画像処理装置においては、使用判定部は、複数の候補値についてのフォーカスボケを相対評価した結果に基づき、使用する候補値の判定を行っている。

　さらに、実施形態としての画像処理装置においては、使用判定部（同１２Ａ）は、画像投影装置の温度を検出する温度検出部（サーミスタ２３ｄ）による温度検出結果に基づき、画像投影装置を対象としたフォーカスボケに係る評価を再実行し、再実行した評価の結果に基づき判定を再実行している。

　これにより、温度に依存して最適な調整値が変化する場合に対応して、調整値を再探索することが可能とされる。
　従って、温度変化に伴う画質劣化の防止を図ることができる。

　また、実施形態としての画像処理方法は、画像投影装置（プロジェクタ装置２又は２Ａ）の光学的な調整値（調整パラメータ）として所定の候補値（候補パラメータ）が設定された状態で計測された画像投影装置の投影画像に生じるフォーカスボケの特性であるボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すボケ補正手順と、ボケ補正処理が施された画像を画像投影装置により投影させて得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき候補値の使用可否に係る判定を行う使用判定手順と、を有するものである。

　このような実施形態としての画像処理方法によっても、上記した実施形態としての画像処理装置と同様の作用及び効果を得ることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜５．本技術＞

　なお本技術は以下のような構成も採ることができる。
（１）
　画像投影装置の光学的な調整値として所定の候補値が設定された状態で計測された前記画像投影装置の投影画像に生じるフォーカスボケの特性であるボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すボケ補正部と、
　前記ボケ補正処理が施された画像を前記画像投影装置により投影させて得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき前記候補値の使用可否に係る判定を行う使用判定部と、を備える
　画像処理装置。
（２）
　前記ボケ補正部は、
　複数の前記画像投影装置がそれぞれ対応する前記候補値が設定された状態で個別に画像投影を行った際に計測された前記画像投影装置ごとのボケ特性に基づき、入力画像に対し前記画像投影装置ごとの前記ボケ補正処理を施して前記画像投影装置ごとにボケ補正画像を得、
　前記使用判定部は、
　前記ボケ補正画像を複数の前記画像投影装置により重畳投影させて得られる重畳投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき前記判定を行う
　前記（１）に記載の画像処理装置。
（３）
　前記ボケ補正部は、
　前記画像投影装置の個々に対応したボケ補正のためのフィルタ係数が導出される導出式であって、前記画像投影装置ごとの前記ボケ特性が一式にまとめて組み込まれた導出式によって求まる前記画像投影装置ごとの前記フィルタ係数に基づき、前記画像投影装置ごとの前記ボケ補正処理を行う
　前記（２）に記載の画像処理装置。
（４）
　前記使用判定部は、
　前記候補値が設定された状態の前記画像投影装置により所定画像を投影させて前記所定画像の投影範囲を評価し、前記投影範囲が所定の範囲条件を満たさない場合は当該候補値と前記画像投影装置との組合わせを前記フォーカスボケに係る評価の対象から除外する
　前記（１）乃至（３）の何れかに記載の画像処理装置。
（５）
　前記使用判定部は、
　前記フォーカスボケに係る評価の対象とした前記画像投影装置に対して隣接配置された前記画像投影装置については、前記フォーカスボケに係る評価の対象から除外する
　前記（２）又は（３）に記載の画像処理装置。
（６）
　前記使用判定部は、
　前記評価の対象から除外した前記画像投影装置である対象外装置についての前記調整値を、前記評価の対象とした前記画像投影装置のうち前記対象外装置の最寄りに位置する前記画像投影装置に使用する前記調整値に基づいて取得する
　前記（５）に記載の画像処理装置。
（７）
　前記調整値は、前記画像投影装置のパン又はチルト方向の回転角度に係る調整値を含む
　前記（１）乃至（６）の何れかに記載の画像処理装置。
（８）
　前記調整値は、前記画像投影装置のレンズシフト量に係る調整値を含む
　前記（１）乃至（７）の何れかに記載の画像処理装置。
（９）
　前記調整値は、前記画像投影装置のフォーカス位置に係る調整値を含む
　前記（１）乃至（８）の何れかに記載の画像処理装置。
（１０）
　前記使用判定部は、
　前記フォーカスボケに係る評価の結果に基づき、当該フォーカスボケの度合いが所定の度合いを下回るか否かを判定することで、前記候補値の使用可否を判定する
　前記（１）乃至（９）の何れかに記載の画像処理装置。
（１１）
　前記使用判定部は、
　複数の前記候補値についての前記フォーカスボケを相対評価した結果に基づき、使用する前記候補値の判定を行う
　前記（１）乃至（９）の何れかに記載の画像処理装置。
（１２）
　前記使用判定部は、
　前記画像投影装置の温度を検出する温度検出部による温度検出結果に基づき、前記画像投影装置を対象とした前記フォーカスボケに係る評価を再実行し、再実行した評価の結果に基づき前記判定を再実行する
　前記（１）乃至（１１）の何れかに記載の画像処理装置。

　１、１Ａ　画像処理装置、２、２Ａ　プロジェクタ装置、３　撮像装置、５　画像入力部、６、６Ａ　制御部、７　ボケ補正部、７ａ　ボケ補正フィルタ、８　画像出力部、９　無線通信部、１０　ボケ計測部、１１　係数取得部、１２、１２Ａ　使用判定部、２１　画像処理部、２２　変調器駆動部、２３　光学系、２３ａ　空間光変調器、２３ｂ　光学調整機構、２３ｃ　アクチュエータ、２３ｄ　サーミスタ、２４　設置角度調整部、２５　制御部、２６　無線通信部、３０　操作部、Ｓ　スクリーン、Ｐｐ　重畳投影画像

Claims

　画像投影装置の光学的な調整値として所定の候補値が設定された状態で計測された前記画像投影装置の投影画像に生じるフォーカスボケの特性であるボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すボケ補正部と、
　前記ボケ補正処理が施された画像を前記画像投影装置により投影させて得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき前記候補値の使用可否に係る判定を行う使用判定部と、を備える
　画像処理装置。
　前記ボケ補正部は、
　複数の前記画像投影装置がそれぞれ対応する前記候補値が設定された状態で個別に画像投影を行った際に計測された前記画像投影装置ごとのボケ特性に基づき、入力画像に対し前記画像投影装置ごとの前記ボケ補正処理を施して前記画像投影装置ごとにボケ補正画像を得、
　前記使用判定部は、
　前記ボケ補正画像を複数の前記画像投影装置により重畳投影させて得られる重畳投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき前記判定を行う
　請求項１に記載の画像処理装置。
　前記ボケ補正部は、
　前記画像投影装置の個々に対応したボケ補正のためのフィルタ係数が導出される導出式であって、前記画像投影装置ごとの前記ボケ特性が一式にまとめて組み込まれた導出式によって求まる前記画像投影装置ごとの前記フィルタ係数に基づき、前記画像投影装置ごとの前記ボケ補正処理を行う
　請求項２に記載の画像処理装置。
　前記使用判定部は、
　前記候補値が設定された状態の前記画像投影装置により所定画像を投影させて前記所定画像の投影範囲を評価し、前記投影範囲が所定の範囲条件を満たさない場合は当該候補値と前記画像投影装置との組合わせを前記フォーカスボケに係る評価の対象から除外する
　請求項１に記載の画像処理装置。
　前記使用判定部は、
　前記フォーカスボケに係る評価の対象とした前記画像投影装置に対して隣接配置された前記画像投影装置については、前記フォーカスボケに係る評価の対象から除外する
　請求項２に記載の画像処理装置。
　前記使用判定部は、
　前記評価の対象から除外した前記画像投影装置である対象外装置についての前記調整値を、前記評価の対象とした前記画像投影装置のうち前記対象外装置の最寄りに位置する前記画像投影装置に使用する前記調整値に基づいて取得する
　請求項５に記載の画像処理装置。
　前記調整値は、前記画像投影装置のパン又はチルト方向の回転角度に係る調整値を含む
　請求項１に記載の画像処理装置。
　前記調整値は、前記画像投影装置のレンズシフト量に係る調整値を含む
　請求項１に記載の画像処理装置。
　前記調整値は、前記画像投影装置のフォーカス位置に係る調整値を含む
　請求項１に記載の画像処理装置。
　前記使用判定部は、
　前記フォーカスボケに係る評価の結果に基づき、当該フォーカスボケの度合いが所定の度合いを下回るか否かを判定することで、前記候補値の使用可否を判定する
　請求項１に記載の画像処理装置。
　前記使用判定部は、
　複数の前記候補値についての前記フォーカスボケを相対評価した結果に基づき、使用する前記候補値の判定を行う
　請求項１に記載の画像処理装置。
　前記使用判定部は、
　前記画像投影装置の温度を検出する温度検出部による温度検出結果に基づき、前記画像投影装置を対象とした前記フォーカスボケに係る評価を再実行し、再実行した評価の結果に基づき前記判定を再実行する
　請求項１に記載の画像処理装置。
　画像投影装置の光学的な調整値として所定の候補値が設定された状態で計測された前記画像投影装置の投影画像に生じるフォーカスボケの特性であるボケ特性に基づき、入力画像に対しフォーカスボケ補正のためのボケ補正処理を施すボケ補正手順と、
　前記ボケ補正処理が施された画像を前記画像投影装置により投影させて得られる投影画像についてフォーカスボケに係る評価を行い、該評価の結果に基づき前記候補値の使用可否に係る判定を行う使用判定手順と、を有する
　画像処理方法。