JP2011217326A - 画像処理装置、プロジェクター、画像処理方法 - Google Patents

Abstract

【課題】演算負荷を低減しつつ高品質な立体画像を表示する。
【解決手段】本発明の画像処理装置は、各画素が位置ずれを生じることなく被投射面上に投射されたときの被投射面上の各画素の基準位置Ｑ１（ｉ，ｊ）と被投射面上での各画素の表示位置とのずれ量としての第１ずれ量と、各画素での奥行き量ｄと、表示される画像に対する所定の視点Ｖ_Ｌの位置とを取得し、被投射面上の各画素の基準位置Ｑ１（ｉ，ｊ）から被投射面の法線方向に各画素での奥行き量ｄだけ離れている仮想位置Ｑ２（ｉ，ｊ）と視点Ｖ_Ｌを結ぶ線が被投射面と交差する位置を各画素の目標位置ＱＬ（ｉ，ｊ）としたときに、目標位置ＱＬ（ｉ，ｊ）と基準位置Ｑ１（ｉ，ｊ）とのずれ量としての第２ずれ量ｓＬを算出し、各画素の第１ずれ量と各画素の第２ずれ量ｓＬを加算した各画素のずれ総量を算出する。
【選択図】図５

Description

本発明は、画像処理装置、プロジェクター、画像処理方法に関する。

従来から、画像表示装置の１つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。プロジェクターは、例えば画像形成素子、および投射光学系を備えている。画像形成素子は、画像データに基づいて画像を形成し、この画像を投射光学系がスクリーン等の被投射面上に投射する。

ところで、プロジェクターにより投射された画像には、台形歪等の画像歪やサブ画素の位置ずれを生じることがある。台形歪は、被投射面に対するプロジェクターの仰角や俯角、煽り角に応じて発生する。サブ画素の位置ずれは、プロジェクター内のレンズ等の収差や画像形成素子の位置ずれ等により発生する。台形歪やサブ画素の位置ずれは、画像データにレンダリング処理等を施すことにより補正可能である。

近年、立体感が得られる画像（以下、立体画像という）を表示可能な画像表示装置が注目されている。この種の画像表示装置は、左目用、右目用の画像（視差画像）を時分割や色分離、偏光分離により分離可能な状態で表示する。視聴者は、左目用の画像と右目用の画像を分離するメガネ等を利用して、左目で左目用の画像のみを視認し、また右目で右目用の画像のみを視認する。

各片目用の画像を形成するには、例えば左目用、右目用の画像データが交互に並んだ画像データを用いて、左目用、右目用の画像を時分割で交互に形成する。また、画像データ上で１枚の画像に相当する領域が分割されて、各領域に各片目用の画像が配置されている画像データが用いられることもある。この場合には、各片目用の画像を抽出して伸長処理し、各片目用の画像データを生成する。

また、画像の各画素での奥行き量を示す奥行き情報を用いて、左目用、右目用の画像データを生成する技術も提案されている（例えば、特許文献１）。奥行き情報を用いると、多数の視点の画像（多視差画像）を形成することや、視点を変更したときの視差画像を形成することができる。また、奥行き情報は、一般に片目用の画像データよりもデータ量が少ないので、奥行き情報を用いると画像データを保持するのに必要な記憶容量を減らすことや、画像データの転送時間を短縮すること等ができる。特許文献１の技術では、反復演算により高精度の視差画像を生成可能になっている。

特開平６−２６６８２７号公報

特許文献１の技術にあっては、反復演算に多大な負荷を要するので、立体画像を手軽に表示させることが困難である。特に、高品質な立体画像を表示させるべく、台形歪やサブ画素の位置ずれを補正しようとすると、演算の負荷がさらに増してしまう。例えば、各片目用の画像データを生成しつつ立体画像を表示する場合を想定する。各片目用の画像データを生成する処理速度が不足すると、立体画像の表示に遅延を生じて表示品質が低下してしまう。また、上記の処理速度を確保しようとすれば、装置コストが増加してしまう。
本発明は、上記の事情に鑑み成されたものであって、演算負荷を低減しつつ高品質な立体画像を表示可能になる画像処理装置、プロジェクター、画像処理方法を提供することを目的の１つとする。

本発明では、上記の目的を達成するために以下の手段を採用している。
本発明の画像処理装置は、画像を構成する各画素が位置ずれを生じることなく被投射面上に投射されたときの前記被投射面上の各画素の位置を各画素の基準位置としたときにプロジェクターにより投射される前記画像の前記被投射面上での各画素の表示位置と前記基準位置とのずれ量としての第１ずれ量と、前記画像の各画素での奥行き量と、前記プロジェクターにより表示される画像に対する所定の視点の位置と、を取得し、前記被投射面上の各画素の前記基準位置から前記被投射面の法線方向に各画素での前記奥行き量だけ離れている位置を各画素の仮想位置とし、各画素の前記仮想位置と前記視点とを結ぶ線が前記被投射面と交差する位置を各画素の目標位置としたときに、前記目標位置と前記基準位置とのずれ量としての第２ずれ量を算出し、各画素の前記第１ずれ量と各画素の前記第２ずれ量を加算した各画素のずれ総量を算出することを特徴とする。

このようにすれば、各画素での奥行き量および所定の視点の位置を用いて第２ずれ量を算出し、各画素の第１ずれ量と第２ずれ量を加算したずれ総量を示す補正量情報を求めるので、被投射面上の各画素の表示位置と目標位置とのずれ量を示す情報が得られる。すなわち、補正量情報に基づいて画像データを補正すれば、各画素の奥行き量が加味されているとともに、被投射面上での各画素の位置ずれを減らすように補正された画像データが得られる。このように、本発明によれば、演算負荷を低減しつつ高品質な立体画像を表示可能になる。

本発明の画像処理装置において、前記補正量情報を用いて、補正後の画像データに基づいてプロジェクターから投射される画像の被投射面上での各画素の表示位置が各画素の前記目標位置に近づくように前記画像データを補正する画像補正部を備えているとよい。

このようにすれば、各画素の奥行き量が加味されているとともに、被投射面上での各画素の位置ずれを減らすように補正された画像データが得られるので、演算負荷を低減しつつ高品質な立体画像を表示可能になる。

本発明のプロジェクターは、画像処理装置により構成された画像処理部を備え、前記画像処理部により補正された画像データに基づいて画像を投射することを特徴とする。
このようにすれば、各画素の奥行き量が加味されているとともに、被投射面上での各画素の位置ずれを減らすように補正された画像データに基づいて画像が投射されるので、演算負荷を低減しつつ高品質な立体画像を表示可能になる。

本発明の画像処理方法は、画像を構成する各画素が位置ずれを生じることなく被投射面上に投射されたときの前記被投射面上の各画素の位置を各画素の基準位置としたときにプロジェクターにより投射される前記画像の前記被投射面上での各画素の表示位置と前記基準位置とのずれ量としての第１ずれ量と、前記画像の各画素での奥行き量と、前記奥行き量の基準となる視点の位置と、を取得し、前記被投射面上の各画素の前記基準位置から前記被投射面の法線方向に各画素での前記奥行き量だけ離れている位置を各画素の仮想位置とし、各画素の前記仮想位置と前記視点とを結ぶ線が前記被投射面と交差する位置を各画素の目標位置としたときに、前記目標位置と前記基準位置とのずれ量として第２ずれ量を算出し、各画素の前記第１ずれ量と各画素の前記第２ずれ量を加算した各画素のずれ総量を示す補正量情報を算出するステップを有していることを特徴とする。

このようにすれば、被投射面上の各画素の表示位置と目標位置とのずれ量を示す情報として、補正情報量が得られる。補正情報量に基づいて画像データを補正すれば、各画素の奥行き量が加味されているとともに、被投射面上での各画素の位置ずれを減らすように補正された画像データが得られる。このように、本発明によれば、演算負荷を低減しつつ高品質な立体画像を表示可能になる。

プロジェクターの構成例を示す模式図である。 画像表示部の構成例を示す模式図である。 画像処理部の機能構成を示すブロック図である。 （ａ）は、視聴者が認識する立体画像を概念的に示す図、図４（ｂ）は左右の視点と画素の位置との位置関係を示す平面図である。 第２ずれ量の算出方法を示す説明図である。 第１ずれ量を算出するときのシステム構成を示す模式図である。 第１ずれ量を算出する処理フローを示すフローチャートである。 ずれ総量を算出する処理フローを示すフローチャートである。 ずれ総量を用いた画像データの処理方法の一例を示す説明図である。

以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。

図１は、本発明に係るプロジェクターの構成例を示す模式図、図２は画像表示部の構成例を示す模式図、図３は画像処理部の機能構成を示すブロック図である。

図１に示すプロジェクター１は、画像表示部２、および本発明の画像処理装置により構成された画像処理部３を備えている。
プロジェクター１は、概略すると以下のように動作する。画像処理部３は、信号源４から画像信号を受け取る。信号源４は、例えばパーソナルコンピューターやＤＶＤプレイヤー等である。本実施形態では、画像信号が二次元画像を示す画像データおよび奥行き情報を含んでいる。画像データは、画像を構成する各画素の色ごとの階調値を示すデータ（以下、画素データという）を含んでいる。奥行き情報は、上記の二次元画像の各画素での奥行き量を示すデータを含んでいる。

画像処理部３は、上記の二次元画像を立体画像として表示するときの両目での視差を加味した左目用の画像データ、および右目用の画像データを、上記の奥行き量を用いて生成する。画像処理部３は、左目用の画像データ、および右目用の画像データを画像表示部２へ入力する。

画像表示部２は、左目用の画像データに基づいて左目用の画像を被投射面ＳＣに投射し、右目用の画像データに基づいて右目用の画像を被投射面ＳＣに投射する。プロジェクター１は、左目用の画像と右目用の画像とを色分離や偏光分離、時分割等により分離可能なように投射する。視聴者は、左目用の画像と右目用の画像の分離方式に整合したメガネを用いて、被投射面ＳＣ上の画像を観察する。すると、左目のみに左目用の画像が観察され、右目のみに右目用の画像が観察されることにより、投射された画像は観察者に立体画像として認識される。このように、プロジェクター１は、立体感のある立体画像を表示可能になっている。

本発明では、画像表示部２の製造誤差や光学系の収差による画素の表示位置のずれが補正されるように、左目用の画像データおよび右目用の画像データを生成する。左目用の画像データおよび右目用の画像データの生成には、各画素のずれ総量を用いる。ずれ総量は、表示位置のずれを補正するときの補正量を示す各画素の位置の第１ずれ量と、画像データに視差を反映させるときの補正量を示す各画素の位置の第２ずれ量とを加算した値である。これにより、表示位置を補正するときの演算処理と二次元画像を三次元化するときの演算処理とを共通化することができる。このように、本発明によれば、演算負荷を低減しつつ高品質な立体画像を表示可能になる。

以下、プロジェクター１の構成要素について詳しく説明する。
図２に示す画像表示部２は、光源２０、色分離光学系２１、画像形成素子２２〜２４、色合成素子２５、および投射光学系２６を含んでいる。画像表示部２は、供給された画像データに基づいて画像を投射可能なものであれば、その構成に限定されない。本実施形態のプロジェクター１は、複数の基本色（ここでは、赤、緑、青）の加法混合によりフルカラーの画像を投射可能な三板式のプロジェクターである。画像を構成する各画素は、３種の基本色の画素がスクリーンや壁等の被投射面ＳＣで互いに重ね合わされることにより、表示される。

以下の説明では、各基本色用の画素をサブ画素という場合がある。また、画像における画素の配列方向をｉ方向、ｊ方向とし、ｉ方向の端かつｊ方向の端に位置する画素を基準とした画素の座標を（ｉ，ｊ）で表すことがある。例えば画素Ｐ（ｉ，ｊ）は、画像データ上の画素配列において座標（ｉ，ｊ）に配置された画素であることを示す。ｉ方向は、例えば被投射面ＳＣ上の画像の水平方向に相当し、ｊ方向は例えば被投射面ＳＣ上の画像の垂直方向に相当する。

光源２０は、複数の基本色の成分を含んだ光Ｌａｂｃを射出する。光源２０は、レーザー素子やＬＥＤ等の固体光源であってもよいし、高圧水銀ランプ等のランプ光源であってもよい。光源２０には、紫外線カットフィルター、ロッドレンズやインテグレーター光学系等の照度均一化光学系、光源から射出された光の偏光状態を揃える偏光変換素子等が必要に応じて設けられる。

色分離光学系２１は、波長選択性を有するダイクロイックミラーや、リレーレンズ、反射ミラー等により構成される。光源２０から射出された光Ｌａｂｃは、色分離光学系２１により赤色光Ｌａ、緑色光Ｌｂ、および青色光Ｌｃに分離される。赤色光Ｌａは画像形成素子２２に入射し、緑色光Ｌｂは画像形成素子２３に、青色光Ｌｃは画像形成素子２４に、それぞれ入射する。

各画像形成素子は、二次元的に配列された複数の画素（以下、変調要素という）を有している。画像形成素子は、例えば透過型または反射型の液晶ライトバルブや、デジタルミラーデバイス（ＤＭＤ）等である。反射型の画像形成素子を採用する場合には、色分離光学系２１や、画像形成素子と投射光学系２６との間に配置される光学系等が適宜変更される。

各画像形成素子は、画像表示部２へ入力された画像データの画素ごとの階調値に基づいて、複数の変調要素を互いに独立して制御する。変調要素に入射した光は、変調要素ごとに変調されて画素データに規定された階調値に応じた光量の光になり、被投射面ＳＣ上にサブ画素を表示する。複数の変調要素により変調された光が全体として各基本色の画像になる。画像形成素子２２〜２４は、互いに異なる基本色（赤、緑、青）の画像を形成する。画像形成素子２２〜２４から射出された光（各基本色の画像）は、色合成素子２５に入射する。

色合成素子２５は、ダイクロイックプリズム等により構成される。ダイクロイックプリズムは、赤色光および緑色光を透過させ青色光を反射させる第１の内面と、青色光および緑色光を透過させ赤色光を反射させる第２の内面とを含んでいる。第１、第２の内面は互いに直交して配置されている。色合成素子２５に入射した各色光は、第１、第２の内面にて選択的に透過または反射して、同じ方向に射出される。これにより、３種の基本色の画像が互いに重ね合わされて合成される。合成された画像は、投射光学系２６に入射する。

投射光学系２６は、焦点距離が可変のズーム機能を有する投射レンズや、単焦点の投射レンズなどにより構成される。投射光学系２６は、合成された画像を被投射面ＳＣに投射する。投射光学系２６の焦点距離や投射倍率から被投射面ＳＣ上での画像のサイズを推定することができる。

なお、プロジェクター１は、画像形成素子の数が１つである単板式のプロジェクターであってもよいし、画像形成素子の数が２または４以上であるプロジェクター（例えば六板式のプロジェクター）等であってもよい。また、プロジェクター１は、被投射面ＳＣに対して視聴者と同じ側から投射するフロント投射型であってもよいし、被投射面ＳＣを挟んで視聴者と反対側から投射するリア投射型であってもよい。

図３に示す画像処理部３は、画像入力部３１、画像補正部３２、画像出力部３３、第２ずれ量算出部３４、第２ずれ量補間演算部３５、ずれ総量算出部３６、および第１ずれ量記憶部３７を含んでいる。画像補正部３２、第２ずれ量算出部３４、第２ずれ量補間演算部３５、およびずれ総量算出部３６は、演算処理が可能なデバイスにより構成され、２以上が同一のデバイスにより構成されていてもよい。演算処理が可能なデバイスとしては、例えばＡＳＩＣ等のロジック回路や、コンピューターのＣＰＵ、コンピューターに実装されたビデオカードのＧＰＵ等が挙げられる。第１ずれ量記憶部３７は、不揮発性のメモリーやハードディスク等の記憶デバイスにより構成される。

画像入力部３１は、画像信号から分離された画像データを受け取る。画像入力部３１は、例えば色分離回路等により構成され、画像データを、赤画像を形成する画像形成素子２２用の赤画像データ、緑画像を形成する画像形成素子２３用の緑画像データ、青画像を形成する画像形成素子２４用の青画像データに分離する。赤画像データは、画素Ｐ（ｉ，ｊ）の赤の階調値Ｒ（ｉ，ｊ）を含んでいる。同様に、緑画像データは画素Ｐ（ｉ，ｊ）の緑の階調値Ｇ（ｉ，ｊ）を含み、青画像データは画素Ｐ（ｉ，ｊ）の青の階調値Ｂ（ｉ，ｊ）を含んでいる。画像入力部３１は、赤画像データ、緑画像データ、および青画像データを画像補正部３２へ出力する。

第２ずれ量算出部３４は、付加情報、および上記の奥行き情報を受け取る。奥行き情報は、公知の方法により得られるものであり、例えば表示する画像内のオブジェクトを多視点カメラにより撮像した各視点からの撮像画像を解析することにより求まる。付加情報は、左目用、右目用の画像のいずれについて第２ずれ量を算出するかを示す情報（以下、フラグという）、所定の視点としての左視点と右視点との間の距離（以下、視点間距離という）、および画像が表示される面から視点中心までの距離（以下、基準距離という）を示すデータを含んでいる。左視点は左目に相当する視点であり、右視点は右目に相当する視点である。視点中心は、左視点と右視点との中心位置に設定される。

視点間距離および基準距離は、固定値または可変値として設定される値である。視点間距離および基準距離を用いると、上記の左視点と右視点が求まる。逆に、被投射面ＳＣに対する左視点の位置と右視点の位置を設定することにより、上記の視点間距離および基準距離を求めることもできる。ユーザーは、被投射面ＳＣから基準距離だけ離れた視点から被投射面ＳＣ上の画像を視聴することにより、各画素の表示位置のずれが少ない状態で立体画像を認識することができる。基準距離が短いほど、左視点と右視点での視差が大きくなり立体感が強調される。基準距離が長いほど、左視点と右視点での視差が小さくなり、立体画像を視聴するときの視覚に対する負荷を減らすことができる。

第２ずれ量算出部３４は、奥行き情報および付加情報を用いて、二次元画像を左目用または右目用の画像に変換するときの各画素の補正量として、第２ずれ量を算出する。以下第２ずれ量の算出方法について説明する。

図４（ａ）は、視聴者が認識する立体画像を示す概念図、図４（ｂ）は左視点、右視点および各画素の位置の位置関係を示す平面図、図５は、第２ずれ量の算出方法を示す説明図である。図４（ａ）には、画像Ｐの一部をなす部分画像Ｐａが、視点に向かって凸に認識される例を概念的に図示している。図４（ｂ）、図５には、左視点、右視点、および表示される画像Ｐの法線方向を含む平面を図示している。

第２ずれ量算出部３４は、画像データが示す二次元画像の各画素について、基準位置Ｑ１（ｉ，ｊ）と左目用の目標位置ＱＬ（ｉ，ｊ）とのずれ量として、左目用の第２ずれ量を算出する。各画素の基準位置Ｑ１（ｉ，ｊ）は、画像データに規定された二次元画像が、各画素の互いの相対位置のずれを生じることなく被投射面ＳＣ上に表示されたときの、被投射面ＳＣ上での各画素の位置に相当する。各画素の左目用の目標位置ＱＬ（ｉ，ｊ）は、基準位置Ｑ１（ｉ，ｊ）から被投射面ＳＣの法線方向に各画素での奥行き量だけ離れている位置を各画素の仮想位置Ｑ２（ｉ，ｊ）としたときに、各画素の仮想位置Ｑ２（ｉ，ｊ）と左視点Ｖ_Ｌとを結ぶ線が被投射面ＳＣと交差する位置である。

第２ずれ量算出部３４は、同様にして各画素の基準位置Ｑ１（ｉ，ｊ）と右目用の目標位置ＱＲ（ｉ，ｊ）とのずれ量として、右目用の第２ずれ量を算出する。各画素の右目用の目標位置ＱＲ（ｉ，ｊ）は、各画素の仮想位置Ｑ２（ｉ，ｊ）と右視点Ｖ_Ｒとを結ぶ線が被投射面ＳＣと交差する位置である。

図５中のｄは画像Ｐ（ｉ，ｊ）での奥行き量を示す。図５中のＬは、表示される画像Ｐから中央視点Ｖ_０（左視点Ｖ_Ｌと右視点Ｖ_Ｒの中央）までの基準距離を示す。図５中の２ｗ（ｗの２倍）は、左視点Ｖ_Ｌと右視点Ｖ_Ｒとの間の視点間距離を示す。中央視点Ｖ_０から左視点Ｖ_Ｌまでの距離、中央視点Ｖ_０から右視点Ｖ_Ｒまでの距離（以下、片側視点間距離という）は、いずれもｗである。

図５中のｘは、中央視点Ｖ_０を含んだ画像Ｐの法線と画像Ｐとの交点Ｑ_０から画素Ｐ（ｉ，ｊ）の基準位置Ｑ１（ｉ，ｊ）まで距離を示す。交点Ｑ_０は、例えば画像Ｐの中央に設定される。距離ｘは、例えば交点Ｑ_０の位置、画素ピッチ、および画素Ｐ（ｉ，ｊ）の座標の関数で表される。交点Ｑ_０を画像Ｐの中央に設定したときの距離ｘは、下記の式（１）で表される。式（１）中のＨは表示された画像Ｐの水平方向のサイズ、Ｖは表示された画像Ｐの垂直方向のサイズを示す。式（４）中のＮは、水平方向に相当するｉ方向の画素数を示し、Ｍは垂直方向に相当するｊ方向の画素数を示す。すなわち、Ｈ／Ｎは、画像Ｐの水平方向の画素ピッチを示し、Ｖ／Ｍは画像Ｐの垂直方向の画素ピッチを示す。

奥行き量ｄ、視点間距離２ｗ、基準距離Ｌ、および距離ｘ（各種距離と総称する）は、いずれも同じ長さの単位に変換可能な値で設定される。ここでは、上記の各種距離は、いずれも、各画素が正方格子状に配列されているときの画素ピッチで規格化した相対的な値として設定されている。例えば、奥行き量ｄは画素ピッチの何倍に相当するかを示す値として設定されている。

画素ピッチで規格化した値で設定された各種距離は、例えばメートルを単位とする実寸と互換性があり、相互に単位を変換可能である。例えば、被投射面ＳＣ上での画像Ｐのサイズ、および画像Ｐの画素数から被投射面ＳＣ上での画素ピッチが求まり、各種距離を実寸に変換可能である。被投射面ＳＣ上での画像Ｐのサイズは、例えば各画像形成素子に形成されたときの画像のサイズ、および投射光学系２６の焦点距離や投射倍率を用いることにより推定可能である。視点間距離２ｗや基準距離Ｌが実寸で与えられる場合には、同様にして、これらの値を画素ピッチで規格化した値に変換可能である。

左目用の第２ずれ量ｓＬは、左視点Ｖ_Ｌから画像Ｐに引いた垂線と画像Ｐとの交点をＱ_Ｌとしたときに、左視点Ｖ_Ｌ、交点Ｑ_Ｌ、および左目用の目標位置ＱＬ（ｉ，ｊ）を頂点とする三角形と、基準位置Ｑ１（ｉ，ｊ）、仮想位置Ｑ２（ｉ，ｊ）、および左目用の目標位置ＱＬ（ｉ，ｊ）を頂点とする三角形との相似条件から求まり、下記の式（２）で表される。実際には、左目用の第２ずれ量ｓＬは、ｉ方向におけるずれ量を示すデータと、ｊ方向におけるずれ量を示すデータとの組になっている。
ｓＬ＝ｄ（ｘ−ｗ）／（Ｌ−ｄ） ・・・（２）

右目用の第２ずれ量ｓＲは、右視点Ｖ_Ｒから画像Ｐに引いた垂線と画像Ｐとの交点をＱ_Ｒとしたときに、右視点Ｖ_Ｒ、交点Ｑ_Ｒ、および右目用の目標位置ＱＲ（ｉ，ｊ）を頂点とする三角形と、基準位置Ｑ１（ｉ，ｊ）、仮想位置Ｑ２（ｉ，ｊ）、および右目用の目標位置ＱＲ（ｉ，ｊ）を頂点とする三角形との相似条件から求まり、下記の式（３）で表される。
ｓＲ＝ｄ（ｘ＋ｗ）／（Ｌ−ｄ） ・・・（３）

上記のように基準距離Ｌおよび片側視点間距離ｗは、付加情報から得られるデータであり、複数の画素で共通の値である。距離ｘは、式（１）に示したように画素Ｐ（ｉ，ｊ）の位置から求まり、画素Ｐ（ｉ，ｊ）ごとの値である。奥行き量ｄは、奥行き情報から得られるデータであり、画素Ｐ（ｉ，ｊ）ごとの値である。第２ずれ量算出部３４は、付加情報に含まれるフラグが左目用の第２ずれ量ｓＬを算出する旨を示すときに、基準距離Ｌ、片側視点間距離ｗ、距離ｘ、奥行き量ｄを上記の式（２）に代入して、左目用の第２ずれ量ｓＬを算出する。第２ずれ量算出部３４が左目用の第２ずれ量ｓＬの算出を完了すると、上記のフラグが右目用の第２ずれ量ｓＲを算出する旨に切替わる。第２ずれ量算出部３４は、付加情報に含まれるフラグが右目用の第２ずれ量ｓＲを算出する旨を示すときに、基準距離Ｌ、片側視点間距離ｗ、距離ｘ、奥行き量ｄを上記の式（３）に代入して、右目用の第２ずれ量ｓＲを算出する。

なお、奥行き情報は、画像を構成する全ての画素に関する各画素の奥行き量を含んでいるのではなく、一部の画素に関する各画素の奥行き量を含んでいてもよい。例えば、画素配列において、とびとびの画素として選択された２以上の画素に関する各画素の奥行き量を含んでいてもよいし、２以上の画素からなる領域で共通の各画素の奥行き量を含んでいてもよい。この場合に、直接的に奥行き量が設定されていない画素に対しては、他の画素の奥行き量を用いた補間演算等により、間接的に奥行き量を設定することができる。

同様に、第２ずれ量算出部３４は、画像を構成する全ての画素に関する各画素の第２ずれ量を算出するのではなく、一部の画素に関する各画素の第２ずれ量を算出するようになっていてもよい。第２ずれ量は、原理的にはすべての画素に対して与えることも可能であるが、コストや回路規模等を考えると、実用上は２以上の画素おきに格子点として与えることが多い。例えば、ＸＧＡ形式（画素数が１０２４×７６８）ならば、８０万画素程度になるが、これらの画素から数千個程度の画素を離散的に選択し、選択した各画素について第２ずれ量を算出すればよい。

図３の説明に戻り、第１ずれ量記憶部３７には第１ずれ量情報が格納されている。第１ずれ量情報は、画像を構成する各画素について、被投射面ＳＣ上での各画素の表示位置と各画素の基準位置とのずれ量（第１ずれ量）を示すデータを含んでいる。表示位置と基準位置との位置ずれは、例えば被投射面ＳＣに対するプロジェクター１の仰角や俯角に応じて発生する画像歪や、プロジェクター１内のレンズ等の収差、画像形成素子２２〜２４の相対的な位置ずれ等に起因して発生する。第１ずれ量情報を用いると、各画素の表示位置を基準位置に近づけるように画像データを補正することができる。

図６は第１ずれ量を算出するときのシステム構成を示す模式図、図７は第１ずれ量を算出する処理フローを示すフローチャートである。
図６に示すように第１ずれ量は、例えば第１ずれ量算出装置５および測定部６を用いて算出される。第１ずれ量算出装置５は、パターン記憶部５１および第１ずれ量算出部５２を含んでいる。

パターン記憶部５１は、例えばハードディスクや不揮発メモリーにより構成される。パターン記憶部５１には、画素（サブ画素）の表示位置の測定に用いるパターン画像を示す画像データが記憶されている。

パターン画像は、例えば周期的に配列された複数の特徴点を含んだ画像である。特徴点は、パターン画像に含まれる図形との相対位置が既知の点である。例えば、上記の図形がドット形状またはスポット形状である場合には、その中心点を検出することができ、中心点を特徴点として用いることができる。すなわち、中心点の位置を検出することにより、特徴点の位置を検出することができる。また、上記の図形が互いに交差する線である場合には、交差点を特徴点として用いることができる。例えば、ハフ変換等を利用して互いに交差する線を検出することにより、交差点の位置を検出して特徴点の位置とすることができる。

パターン画像を示す画像データは、プロジェクター１の画像処理部３を介して画像表示部２に入力される。この画像データに基づいてプロジェクター１は、被投射面ＳＣ上にパターン画像を投射する（図７、ステップＳ１０）。

測定部６は、被投射面ＳＣ上に表示されたパターン画像の画素（サブ画素）の表示位置を測定可能なものである。測定部６は、例えば撮像装置および画像解析部により構成される。撮像装置は、複数の受光素子が二次元的に配列されたＣＣＤ等のイメージセンサーにより構成される。撮像装置として、プロジェクター１の画素数（各画像形成素子の変調要素の数）より受光素子の数が多いものを用いるとよい。

撮像装置は、被投射面ＳＣに表示されているパターン画像を撮像する（図７、ステップＳ１２）。例えば、ステップＳ１０でグレイのパターン画像をプロジェクター１に投射させ、ステップＳ１２で被投射面ＳＣ上に表示されているパターン画像を、赤成分のカラーフィルタを介して撮像装置により撮像する。また、ステップＳ１２でパターン画像を被投射面ＳＣ上に表示させたままの状態を保持して、緑成分のカラーフィルタを介して撮像装置によりパターン画像を撮像した後に、青成分のカラーフィルタを介して撮像装置によりパターン画像を撮像する。これにより、各基本色のサブ画素の表示位置を撮像画像中に取り込むことができる。プロジェクター１の画素数よりも撮像装置の受光素子の数が多い場合には、被投射面ＳＣ上に表示されたパターン画像のサブ画素の１つを１以上の受光素子で検出することができ、サブ画素の表示位置を高精度に検出することが可能になる。

測定部６の画像解析部は、撮像装置により撮像された撮像画像に写っているパターン画像中の特徴点の位置を検出する（図７、ステップＳ１４）。この画像解析部は、ロジック回路や画像解析を行うコンピューターにより構成される。また、画像解析部の機能を第１ずれ量算出部５２に持たせてもよい。測定部６は、サブ画素の位置を示す情報として特徴点の位置を示すデータを、第１ずれ量算出部５２へ出力する。

第１ずれ量算出部５２は、パターン画像を示す画像データに規定された各特徴点の位置と、測定部６により測定された各特徴点の位置とを比較して、画像データ上の各サブ画素の位置（基準位置）と被投射面ＳＣ上での各サブ画素の表示位置とのずれ量（第１ずれ量）を算出する（図７、ステップＳ１６）。

第１ずれ量算出部５２は、各サブ画素の第１ずれ量が配列されたテーブルデータを第１ずれ量情報として求め、第１ずれ量情報を図３に示した画像処理部３の第１ずれ量記憶部３７に格納する（図７、ステップＳ１８）。なお、第１ずれ量情報は、上述した奥行き情報、第２ずれ量情報と同様に、画像を構成する全ての画素に関する各画素の第１ずれ量を含んでいるのではなく、一部の画素に関する各画素の第１ずれ量を含んでいてもよい。

図３の説明に戻り、第２ずれ量補間演算部３５は、第２ずれ量算出部３４により算出された第２ずれ量を示す第２ずれ量情報を受け取る。第２ずれ量補間演算部３５は、第２ずれ量情報のデータ配列が第１ずれ量情報のデータ配列に従うように、必要に応じて第２ずれ量情報が示すデータに補間処理を施す。

例えば、第１ずれ量情報が、全ての画素Ｐ（ｉ，ｊ）について各画素の第１ずれ量を示すデータを含んでおり、第２ずれ量情報がとびとびの画素について各画素の第２ずれ量を示すデータを含んでいる場合には、第２ずれ量補間演算部３５は、第２ずれ量情報を用いて補間演算を行い、全ての画素Ｐ（ｉ，ｊ）について各画素の第２ずれ量を示すデータを求める。また、第１ずれ量情報が、とびとびの画素として選択された２以上の画素Ｐ（ｉ，ｊ）について各画素の第１ずれ量を示すデータを含んでいる場合に、第２ずれ量補間演算部３５は、第１ずれ量情報にて第１ずれ量が規定されている画素についての第２ずれ量を、補間により求める。

ずれ総量算出部３６は、第２ずれ量補間演算部３５による補間処理後の第２ずれ量情報を受け取り、また第１ずれ量記憶部３７から第１ずれ量情報を受け取る。ずれ総量算出部３６は、各画素に関する第１ずれ量と各画素に関する第２ずれ量を加算した各画素のずれ総量を算出する。ずれ総量算出部３６は、算出した各画素のずれ総量が配列されたテーブルデータを補正量情報として画像補正部３２に出力する。なお、各画素の補正量情報を図示略の記憶部等に格納しておき、この記憶部から画像補正部３２が補正量情報を読み出すようになっていてもよい。

画像補正部３２は、補正量情報を用いて、画像入力部３１から出力された画像データすなわち赤画像データ、緑画像データ、および青画像データに対して位置補正処理を施す。位置補正処理は、補正後の画像データに基づいて画像表示部２により投射される画像の被投射面ＳＣ上での各画素の表示位置が各画素の目標位置に近づくように、画像データを補正する処理である。実際には、ずれ総量が画素ピッチの整数倍になることは稀であり、ずれ総量のうちで画素ピッチ未満の小数になる分については、周囲の画素との整合性がとれるようにレンダリング処理等により補正する（後述する）。

画像補正部３２は、位置補正処理後の各基本色用の画像データを画像出力部３３へ出力する。画像出力部３３は、赤画像データを画像形成素子２２へ出力し、緑画像データを画像形成素子２３へ、青画像データを画像形成素子２４へそれぞれ出力する。画像形成素子２２〜２４は、位置補正処理後の各基本色用の画像データに基づいて、各基本色の画像を形成する。各画像形成素子により形成された３色の画像が合成されたフルカラーの画像は、投射画像として被投射面ＳＣに投射される。

図８は、本発明に係る画像処理方法の一実施形態である処理フローを示すフローチャートである。ここでは、画像処理方法の一態様を、プロジェクター１の構成に基づいて説明する。

本実施形態の画像処理方法では、まず、第２ずれ量算出部３４が上記の奥行き情報および付加情報を取得する（ステップＳ２０）。ここでは、奥行き情報が画像データと組になった画像信号としてプロジェクター１に供給される。奥行き情報は、画像信号から分離されて第２ずれ量算出部３４へ出力される。付加情報は、設定値として図示略の記憶部に格納されており、この記憶部から読み出されて第２ずれ量算出部３４へ出力される。奥行き情報は、処理対象の画像データとは別にプロジェクター１に供給されていてもよい。付加情報に含まれる基準距離Ｌおよび視点間距離２ｗは、ユーザーが入力した情報であってもよい。

次いで、第２ずれ量算出部３４は、ステップ２０で取得した奥行き情報および付加情報に基づいて、各画素の第２ずれ量を算出する（ステップＳ２２）。ステップＳ２２を開始するときに、付加情報に含まれるフラグは、例えば左目用の第２ずれ量ｓＬを算出する旨を示している。付加情報が示すフラグは、左目用の第２ずれ量ｓＬの算出が完了した旨の通知を第２ずれ量算出部３４が出力すること等により、右目用の第２ずれ量ｓＲを算出する旨を示すフラグに切替わるようになっている。第２ずれ量算出部３４は、算出した左目用の第２ずれ量ｓＬおよび右目用の第２ずれ量ｓＲを示す第２ずれ量情報を第２ずれ量補間演算部３５へ出力する。

次いで、第２ずれ量補間演算部３５は、第２ずれ量情報のデータ配列が第１ずれ量情報のデータ配列に従うように、必要に応じて第２ずれ量情報に補間処理を施す（ステップＳ２４）。第２ずれ量補間演算部３５は、補間処理後の第２ずれ量情報をずれ総量算出部３６へ出力する。

次いで、ずれ総量算出部３６は、第１ずれ量記憶部３７に格納されている第１ずれ量情報を読み出し、第１ずれ量情報が示す各画素の第１ずれ量を取得する（ステップＳ２６）。そして、ずれ総量算出部３６は、第２ずれ量補間演算部３５による補間処理後の第２ずれ量情報と、第１ずれ量情報とに基づいて、各画素の第１ずれ量と第２ずれ量とを加算した各画素のずれ総量を算出する（ステップＳ２８）。ずれ総量算出部３６は、算出した各画素のずれ総量を示す補正量情報を画像補正部３２に出力する。

図９は、ずれ総量を用いた画像データの処理方法の一例を示す説明図である。ここでは、左目用の画像について赤成分のサブ画素の階調値を示す赤画像データの補正処理について説明する。左目用の画像について緑成分のサブ画素の階調値を示す緑画像データの補正処理、および左目用の画像について青成分のサブ画素の階調値を示す青画像データの補正処理についても同様である。また、右目用の画像についての赤画像データ、緑画像データ、および青画像データの補正処理についても同様である。

ここでは、画素Ｐ（ｉ，ｊ）の赤成分のサブ画素のずれ総量のうちのｉ方向のずれ量をｓＬｉとし、ｊ方向のずれ量をｓＬｊとする。ずれ量ｓＬｉは、ｉ方向のずれ量をｉ方向の画素サイズで規格化した無次元値である。ずれ量ｓＬｊは、ｊ方向のずれ量をｊ方向の画素サイズで規格化した無次元値である。画素Ｐ（ｉ，ｊ）に対するずれ量ｓＬｉは、１未満の正の小数をα（ｉ，ｊ）とし、整数をＫｉとしたときに、下記の式（４）で表される。
ｓＬｉ＝α（ｉ，ｊ）＋Ｋｉ ・・・（４）
画素Ｐ（ｉ，ｊ）に対するずれ量ｓＬｊは、１未満の正の小数をβ（ｉ，ｊ）とし、整数をＫｊとしたときに、下記の式（５）で表される。
ｓＬｊ＝β（ｉ，ｊ）＋Ｋｊ ・・・（５）

まず、Ｋｉ＝Ｋｊ＝０の場合について説明する。この場合に、画素Ｐ（ｉ，ｊ）に対応する左目用の目標位置ＱＬ（ｉ，ｊ）は、互いに隣接する４画素の基準位置すなわち画素Ｐ（ｉ，ｊ）の基準位置Ｑ１（ｉ，ｊ）、画素Ｐ（ｉ，ｊ＋１）の基準位置Ｑ１（ｉ，ｊ＋１）、画素Ｐ（ｉ＋１，ｊ＋１）の基準位置Ｑ１（ｉ＋１，ｊ＋１）、画素Ｐ（ｉ＋１，ｊ）の基準位置Ｑ１（ｉ＋１，ｊ）、を順に結んだ線に囲まれる領域の内側に配置されることになる。

左目用の目標位置ＱＬ（ｉ，ｊ）に表示すべきサブ画素の階調値は、例えば上記の４画素の階調値を、α（ｉ，ｊ）およびβ（ｉ，ｊ）を重み付けの係数に用いた補間方法（バイリニア法）により算出される。画素Ｐ（ｉ，ｊ）の赤の階調値をＷ_Ｒ（ｉ，ｊ）とし、画素Ｐ（ｉ＋１，ｊ）の赤の階調値をＷ_Ｒ（ｉ＋１，ｊ）、画素Ｐ（ｉ，ｊ＋１）の赤の階調値をＷ_Ｒ（ｉ，ｊ＋１）、画素Ｐ（ｉ＋１，ｊ＋１）の赤の階調値をＷ_Ｒ（ｉ＋１，ｊ＋１）としたときに、左目用の目標位置ＱＬ（ｉ，ｊ）での赤の階調値Ｗ_ＲＬ（ｉ，ｊ）は、下記の式（６）で表される。

画像補正部３２は、ずれ総量からα（ｉ，ｊ）、β（ｉ，ｊ）を求め、赤画像データに規定された赤の階調値Ｗ_Ｒ（ｉ，ｊ）〜Ｗ_Ｒ（ｉ＋１，ｊ＋１）を用いて、左目用の目標位置ＱＬ（ｉ，ｊ）での赤の階調値Ｗ_ＲＬ（ｉ，ｊ）を算出する。

次に、上記の整数ＫｉまたはＫｊの絶対値が１以上である場合について説明する。画像補正部３２は、ずれ総量から得られるｓＬｉを正の小数α（ｉ，ｊ）と整数Ｋｉとに分離し、ずれ総量から得られるｓＬｊを正の小数β（ｉ，ｊ）と整数Ｋｊとに分離する。α（ｉ，ｊ）およびβ（ｉ，ｊ）を用いて、上述したバイリニア法により赤の階調値Ｗ_ＲＬ（ｉ，ｊ）を算出する。そして、画像補正部３２は、算出した階調値Ｗ_ＲＬ（ｉ，ｊ）を画素Ｐ（ｉ＋Ｋｉ，ｊ＋Ｋｊ）用の赤の階調値として書き込む。同様にして画像補正部３２が各画素について補正後の赤の階調値を求めることにより、補正後の赤画像データが得られる。同様にして、補正後の緑画像データおよび青画像データが得られ、また右目用の赤画像データ、緑画像データ、および青画像データが得られる。

以上のように、本発明に係る画像処理装置（画像形成部３）は、各画素での奥行き量および奥行き量の基準となる視点の位置を用いて第２ずれ量を算出し、各画素の第１ずれ量と第２ずれ量を加算したずれ総量を算出する。ずれ総量を用いて画像データを補正することにより、被投射面ＳＣ上での各画素の位置ずれが補正され、かつ各画素の奥行き量が加味された画像データが得られる。例えば、左目用の画像を示す画像データを生成する処理と、この画像データに位置ずれを補正する処理とを施す手法に比べて、２つの処理を共通化することができ、処理に要する演算負荷を低減することができる。このように、本発明によれば、演算負荷を低減しつつ、高品質な立体画像を表示可能になる。

また、赤成分のサブ画素、緑成分のサブ画素、および青成分のサブ画素について、互いに独立してずれ総量を設定可能であるので、アナグリフ方式の立体画像用の左目用の画像および右目用の画像を簡便に表示可能になる。例えば、アナグリフ用のメガネとして、左目に入射する赤色光を透過させ青色光を吸収するフィルターと、右目に入射する青色光を透過させ赤色光を吸収するフィルターとを有するメガネを用いる場合を考える。赤成分の各サブ画素のずれ総量を用いて左目用の画像の赤画像データを補正し、青成分のサブ画素のずれ総量を用いて右目用の画像の青画像データを補正すれば、上記のメガネにより立体画像が認識可能な画像データが得られる。このように、アナグリフ方式の立体画像を手軽に表示可能になるので、例えば教育用途等においてオブジェクトの立体形状を低コストで表示させたい場合等に有効である。

本発明に係るプロジェクター１にあって、被投射面ＳＣ上での各画素の位置ずれが補正され、かつ各画素の奥行き量が加味された画像データに基づいて画像が投射されるので、演算負荷を低減しつつ高品質な立体画像を表示可能になる。
本発明に係る画像処理方法にあっては、被投射面ＳＣ上の各画素の表示位置と目標位置とのずれ量を示す情報として、補正情報量が得られる。補正情報量に基づいて画像データを補正すれば、被投射面ＳＣ上での各画素の位置ずれが補正され、かつ各画素の奥行き量が加味された画像データが得られるので、演算負荷を低減しつつ高品質な立体画像を表示可能になる。

なお、本発明の技術範囲は上記の実施形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で多様な変形が可能である。例えば、上記の実施形態では、画像処理装置により構成された画像処理部３がプロジェクター１に実装されている構成について説明しているが、本発明に係る画像処理装置がプロジェクターと別体であってもよい。例えば、本発明に係る画像処理装置の機能を実現する演算部および記憶部を備えたユニットが、プロジェクターに対して着脱可能になっており、立体画像を表示するときに上記のユニットをプロジェクターに接続する態様であってもよい。
また、第１ずれ情報については、例えばプロジェクターの製造元で測定、算出されて取得された情報の他に、例えばユーザーが第１ずれ量算出装置５および測定部６を用いて得た情報であってもよい。第１ずれ量算出装置５および測定部６がプロジェクター１と一体化されていてもよい。

１・・・プロジェクター、２・・・画像表示部、３・・・画像処理部（画像処理装置）、
４・・・信号源、２０・・・光源、２１・・・色分離光学系、
２２〜２４・・・画像形成素子、２５・・・色合成素子、２６・・・投射光学系、
３１・・・画像入力部、３２・・・画像補正部、３３・・・画像出力部、
３４・・・第２ずれ量算出部、３５・・・第２ずれ量補間演算部、
３６・・・ずれ総量算出部、３７・・・第１ずれ量記憶部、Ｂ（ｉ，ｊ）・・・階調値、
ｄ・・・奥行き量、Ｇ（ｉ，ｊ）・・・階調値、Ｌａｂｃ・・・光、Ｌａ・・・赤色光、
Ｌｂ・・・緑色光、Ｌｃ・・・青色光、Ｐ・・・画像、Ｐａ・・・部分画像、
Ｐ（ｉ，ｊ）・・・画素、Ｑ_０・・・交点、Ｑ１（ｉ，ｊ）・・・基準位置、
Ｑ２（ｉ，ｊ）・・・仮想位置、ＱＬ（ｉ，ｊ）・・・左目用の目標位置、
ＱＲ（ｉ，ｊ）・・・右目用の目標位置、Ｒ・・・階調値、ＳＣ・・・被投射面、
ｓＬ・・・左目用の第２ずれ量、ｓＲ・・・右目用の第２ずれ量、Ｖ_０・・・中央視点、Ｖ_Ｌ・・・左視点（所定の視点）、Ｖ_Ｒ・・・右視点（所定の視点）、ｘ・・・距離

Claims (4)

1. 画像を構成する各画素が位置ずれを生じることなく被投射面上に投射されたときの前記被投射面上の各画素の位置を各画素の基準位置としたときにプロジェクターにより投射される前記画像の前記被投射面上での各画素の表示位置と前記基準位置とのずれ量としての第１ずれ量と、前記画像の各画素での奥行き量と、前記プロジェクターにより表示される画像に対する所定の視点の位置と、を取得し、前記被投射面上の各画素の前記基準位置から前記被投射面の法線方向に各画素での前記奥行き量だけ離れている位置を各画素の仮想位置とし、各画素の前記仮想位置と前記視点とを結ぶ線が前記被投射面と交差する位置を各画素の目標位置としたときに、前記目標位置と前記基準位置とのずれ量としての第２ずれ量を算出し、各画素の前記第１ずれ量と各画素の前記第２ずれ量を加算した各画素のずれ総量を算出することを特徴とする画像処理装置。
2. 前記ずれ総量を示す情報を用いて、補正後の画像データに基づいてプロジェクターから投射される画像の被投射面上での各画素の表示位置が各画素の前記目標位置に近づくように前記画像データを補正する画像補正部を備えていることを特徴とする請求項１に記載の画像処理装置。
3. 請求項２に記載の画像処理装置により構成された画像処理部を備え、
   前記画像処理部により補正された画像データに基づいて画像を投射することを特徴とするプロジェクター。
4. 画像を構成する各画素が位置ずれを生じることなく被投射面上に投射されたときの前記被投射面上の各画素の位置を各画素の基準位置としたときにプロジェクターにより投射される前記画像の前記被投射面上での各画素の表示位置と前記基準位置とのずれ量としての第１ずれ量と、前記画像の各画素での奥行き量と、前記奥行き量の基準となる視点の位置と、を取得し、前記被投射面上の各画素の前記基準位置から前記被投射面の法線方向に各画素での前記奥行き量だけ離れている位置を各画素の仮想位置とし、各画素の前記仮想位置と前記視点とを結ぶ線が前記被投射面と交差する位置を各画素の目標位置としたときに、前記目標位置と前記基準位置とのずれ量として第２ずれ量を算出し、各画素の前記第１ずれ量と各画素の前記第２ずれ量を加算した各画素のずれ総量を算出するステップを有していることを特徴とする画像処理方法。

Images