JP2015192177A - 画像処理装置、表示装置、及び、画像処理方法 - Google Patents

Abstract

【課題】表示画像の幾何補正を行って補正後の画像の画素値を求める処理において、演算処理の負荷を軽減するとともに、多様な変形に対応できるようにする。【解決手段】プロジェクター１は、補正後の画像を構成する画素の画素値を、補正前の画像を構成する画素の画素値に補間フィルターを適用して補間演算を実行することにより求めるフィルター演算部２６３を有する幾何補正部２６を備える。また、プロジェクター１は、フィルター演算部２６３が使用する補間フィルターを、補正前の画像に対する補正後の画像の変形率に基づいて生成するフィルター係数算出部３３２を有するパラメーター生成部３３を備える。【選択図】図２

Description

本発明は、画像処理装置、表示装置、及び、画像処理方法に関する。

プロジェクター等の表示装置において、表示する画像を変形させる幾何補正処理を行うものが知られている。例えば、幾何補正処理の典型的な例である台形歪み補正（キーストーン補正）を行うプロジェクターが知られている（例えば、特許文献１、２参照）。

特開２００２−２１５１１４号公報 特開２００５−９２１９０号公報

幾何補正処理で画像を変形させると画素の配置状態が変化するので、変形後の画像を構成する画素ごとに、演算等により画素値を求める必要がある。特許文献１記載の装置は、変形前の原画像の画素配列と変形後の画像の画素配列とを比較し、垂直方向縮小倍率に基づいてライン数を間引いて補間ラインを生成する。さらに、水平方向縮小倍率に基づいて画素数を間引いて、画素補間を行う。補間ラインの生成、及び、画素補間には補間フィルターを利用する。また、特許文献２記載のプロジェクターは、係数がセットされたテーブルを用いて画像を変形させる。

予め用意されたフィルターやテーブルを用いて画素値を求める場合、演算処理を簡略化して処理負荷を軽減できるという利点がある。その一方で、用意されたフィルターやテーブルが対応する画像の変形にしか対応できないという問題がある。例えば、特許文献２のプロジェクターは台形歪み補正のためのテーブルを有するが、他の形状に変形させた場合には対応できない。この場合、様々な形状への変形に対応するためには非常に多くのフィルターやテーブルを用意する必要があり、フィルターやテーブルを記憶する記憶容量を確保する必要が生じる。このため、多様な変形に対応することは困難であった。
本発明は、上述した事情に鑑みてなされたものであり、表示画像の幾何補正を行って補正後の画像の画素値を求める処理において、演算処理の負荷を軽減するとともに、多様な変形に対応できるようにすることを目的とする。

上記目的を達成するために、本発明は、画像の形状を変化させる幾何補正を実行する画像処理装置であって、補正後の前記画像を構成する画素の画素値を、補正前の前記画像を構成する画素の画素値に補間フィルターを適用して補間演算を実行することにより求める補間演算部と、前記補間演算部が使用する前記補間フィルターを、補正前の前記画像に対する補正後の前記画像の変形率に基づいて生成する補間フィルター生成部と、を備えることを特徴とする。
本発明によれば、処理対象の画像の変形率に基づいて補間フィルターを生成し、この補間フィルターを適用して補正後の画像の画素値を求める。補間フィルターを用いることにより演算処理の負荷を軽減することができ、処理対象の画像に適した補間フィルターを生成することで、予め多数の補間フィルターを用意することなく、様々な態様の幾何補正に対応できる。また、多数の補間フィルターを記憶するメモリー容量を必要としないという利点もある。

また、本発明は、上記画像処理装置において、前記補間フィルター生成部は、複数の変形率に対応する複数の前記補間フィルターを生成し、前記補間演算部は、前記補間フィルター生成部が生成した複数の補間フィルターから、処理対象の画素の変形率に基づいて補間フィルターを選択すること、を特徴とする。
本発明によれば、処理対象の画像において変形率が異なる部分が存在する場合であっても、変形率に対応した補間フィルターを用いて適切に幾何補正を行うことができる。

また、本発明は、上記画像処理装置において、前記補間フィルター生成部は、前記画像における複数の位置について補正前から補正後の変形率を求め、求めた複数の変形率に対応する複数の前記補間フィルターを生成すること、を特徴とする。
本発明によれば、処理対象の画像が、異なる変形率で変形される部分を含む場合であっても、適切に幾何補正を行うことができる。

また、本発明は、上記画像処理装置において、前記補間フィルター生成部は、前記画像における複数の位置について求めた複数の変形率を含む範囲に対応する複数の前記補間フィルターを生成すること、を特徴とする。
本発明によれば、処理対象の画像に対応して、必要十分な数の複数の補間フィルターを生成するので、補間フィルターを生成する処理負荷を抑え、効率よく幾何補正を行うことができる。

また、本発明は、上記画像処理装置において、前記補間フィルター生成部は、前記画像における複数の位置について求めた複数の変形率のうち最小の変形率をもとに、前記補間フィルターが対応する変形率の範囲を決定し、前記画像における複数の位置について求めた複数の変形率のうち最大の変形率及び前記範囲をもとに、前記補間フィルターが対応する変形率の段階の幅を決定し、決定した複数段階の変形率にそれぞれ対応する複数の前記補間フィルターを生成すること、を特徴とする。
本発明によれば、処理対象の画像に対応して、必要十分な数の複数の補間フィルターを生成するので、補間フィルターを生成する処理負荷を抑え、効率よく幾何補正を行うことができる。

また、本発明は、上記画像処理装置において、前記補間フィルター生成部は、予め設定された数を上限とする数の前記補間フィルターを生成すること、を特徴とする。
本発明によれば、補間フィルターを記憶するメモリー容量等の制約により、補間フィルターの数に上限が設けられた場合であっても、処理対象の画像に対応して十分な数の複数の補間フィルターを生成できる。

また、本発明は、上記画像処理装置において、前記補間フィルター生成部は、前記画像の変化を指定するパラメーターを取得し、取得した前記パラメーターに基づいて変形率を取得すること、を特徴とする。
本発明によれば、補間フィルターの生成に用いる変形率を容易に取得できる。

また、上記目的を達成するために、本発明の表示装置は、画像を表示する表示部と、前記画像の形状の変化を定める情報を入力する入力部と、変形後の前記画像を構成する画素の画素値を、変形前の前記画像を構成する画素の画素値に補間フィルターを適用して補間演算を実行することにより求める補間演算部と、前記入力部により入力された情報をもとに、変形前の前記画像に対する変形後の前記画像の変形率を取得し、取得した変形率に基づいて前記補間演算部が使用する前記補間フィルターを生成する補間フィルター生成部と、を備えることを特徴とする。
本発明によれば、処理対象の画像の変形率に基づいて補間フィルターを生成し、この補間フィルターを適用して補正後の画像の画素値を求める。補間フィルターを用いることにより演算処理の負荷を軽減することができ、処理対象の画像に適した補間フィルターを生成することで、予め多数の補間フィルターを用意することなく、様々な態様の幾何補正に対応できる。また、多数の補間フィルターを記憶するメモリー容量を必要としないという利点もある。

また、上記目的を達成するために、本発明は、画像の形状を変化させる幾何補正を実行する画像処理方法であって、補正前の前記画像に対する補正後の前記画像の変形率に基づいて補間フィルターを生成し、生成した補間フィルターを、補正前の前記画像を構成する画素の画素値に適用して補間演算を実行することにより、補正後の前記画像を構成する画素の画素値を求めること、を特徴とする。
本発明によれば、処理対象の画像の変形率に基づいて補間フィルターを生成し、この補間フィルターを適用して補正後の画像の画素値を求める。補間フィルターを用いることにより演算処理の負荷を軽減することができ、処理対象の画像に適した補間フィルターを生成することで、予め多数の補間フィルターを用意することなく、様々な態様の幾何補正に対応できる。また、多数の補間フィルターを記憶するメモリー容量を必要としないという利点もある。

本発明によれば、補間フィルターを用いることにより演算処理の負荷を軽減することができ、処理対象の画像に適した補間フィルターを生成することで、予め多数の補間フィルターを用意することなく、様々な態様の幾何補正に対応できる。

実施形態に係るプロジェクターのブロック図である。 画像処理部の構成を示すブロック図である。 幾何補正処理の説明図であり、（ａ）は画素領域に描画された補正前画像を示し、（ｂ）は補正前の投射画像を示し、（ｃ）は画素領域に描画された補正後画像を示し、（ｄ）は補正後の投射画像を示す。 変形率を説明する説明図であり、（ａ）は、画素領域に描画された補正前画像を示し、（ｂ）は、画素領域に描画された補正後画像を示す。 フィルター係数を用いた補間処理の説明図である。 補間フィルターの構成を模式的に示す図である。 補間フィルターの構成を模式的に示す図である。 プロジェクターの動作を示すフローチャートである。

以下、図面を参照しながら本発明を適用した実施形態について説明する。
図１は、実施形態に係るプロジェクター１のブロック図である。
プロジェクター１（表示装置、画像処理装置）は、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置３に接続され、この画像供給装置３から入力される入力画像データＤに基づく画像を対象物体に投射する装置である。画像供給装置３としては、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム装置等の映像出力装置、パーソナルコンピューター等が挙げられる。また、対象物体は、建物や物体など、一様に平らではない物体であってもよいし、スクリーンＳＣや、建物の壁面等の平らな投射面を有するものであってもよい。本実施形態では平面のスクリーンＳＣに投射する場合を例示する。

プロジェクター１は、画像供給装置３に接続するインターフェイスとして、Ｉ／Ｆ（インターフェイス）部２４を備える。Ｉ／Ｆ部２４には、例えば、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス等を用いることができる。また、Ｉ／Ｆ部２４には、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子等を用いることができる。さらに、Ｉ／Ｆ部２４には、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、Ｉ／Ｆ部２４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子により画像供給装置３に接続される構成としてもよい。なお、Ｉ／Ｆ部２４は、有線通信によって画像信号の送受信を行ってもよく、無線通信によって画像信号の送受信を行ってもよい。

プロジェクター１は、大きく分けて光学的な画像の形成を行う表示部１０と、この表示部１０により表示する画像を電気的に処理する画像処理系とを備えている。まず、表示部１０について説明する。

表示部１０は、光源部１１、光変調装置１２及び投射光学系１３を備える。
光源部１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。また、光源部１１は、光源が発した光を光変調装置１２に導くリフレクター及び補助リフレクターを備えていてもよい。また、光源部１１は、投射光の光学特性を高めるためのレンズ群（不図示）、偏光板、或いは光源が発した光の光量を光変調装置１２に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置１２は、光源部１１から射出された光を画像データに基づいて変調する変調手段に相当する。光変調装置１２は、液晶パネルを用いた構成とする。光変調装置１２は、複数の画素をマトリクス状に配置した透過型液晶パネルを備え、これら複数の画素により画像を形成し、形成した画像によって光源が発した光を変調する。光変調装置１２は、光変調装置駆動部２３によって駆動され、マトリクス状に配置された各画素における光の透過率を変化させることにより、画像を形成する。
投射光学系１３は、投射する画像の拡大・縮小及び焦点の調整を行うズームレンズ、フォーカスの調整を行うフォーカス調整機構等を備えている。投射光学系１３は、光変調装置１２で変調された画像光を対象物体に投射して結像させる。

表示部１０には、光源駆動部２２及び光変調装置駆動部２３が接続されている。
光源駆動部２２は、制御部３０の制御に従って光源部１１が備える光源を駆動する。光変調装置駆動部２３は、制御部３０の制御に従って、後述する画像処理部２５から入力される画像信号に従って光変調装置１２を駆動し、液晶パネルに画像を描画する。

プロジェクター１の画像処理系は、プロジェクター１を制御する制御部３０を中心に構成される。プロジェクター１は、制御部３０が処理するデータや制御部３０が実行する制御プログラムを記憶した記憶部５４を備える。また、プロジェクター１は、リモコン５による操作を検出するリモコン受光部５２を備え、操作パネル５１及びリモコン受光部５２を介した操作を検出する入力処理部５３を備えている。
記憶部５４は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーである。
制御部３０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成される。制御部３０は、ＣＰＵによって、ＲＯＭに記憶した基本制御プログラム、及び、記憶部５４に記憶された制御プログラムを実行することにより、プロジェクター１を制御する。また、制御部３０は、記憶部５４が記憶する制御プログラムを実行することにより、投射制御部３１、補正制御部３２、パラメーター生成部３３（補間フィルター生成部）の機能を実行する。

プロジェクター１の本体には、ユーザーが操作を行うための各種スイッチ及びインジケーターランプを備えた操作パネル５１が配置されている。操作パネル５１は、入力処理部５３に接続されている。入力処理部５３は、制御部３０の制御に従い、プロジェクター１の動作状態や設定状態に応じて操作パネル５１のインジケーターランプを適宜点灯或いは点滅させる。操作パネル５１のスイッチが操作されると、操作されたスイッチに対応する操作信号が入力処理部５３から制御部３０に出力される。
また、プロジェクター１は、ユーザーが使用するリモコン５を有する。リモコン５は各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。プロジェクター１の本体には、リモコン５が発する赤外線信号を受光するリモコン受光部５２が配置されている。リモコン受光部５２は、リモコン５から受光した赤外線信号をデコードして、リモコン５における操作内容を示す操作信号を生成し、制御部３０に出力する。

画像処理部２５は、制御部３０の制御に従って入力画像データＤを取得し、入力画像データＤについて、画像サイズや解像度、静止画像か動画像であるか、動画像である場合はフレームレート等の属性などを判定する。画像処理部２５は、フレーム毎にフレームメモリー２７に画像を展開し、展開した画像に対して画像処理を実行する。画像処理部２５は、処理後の画像をフレームメモリー２７から読み出して、この画像に対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部２３に出力する。
画像処理部２５が実行する処理は、例えば、解像度変換処理、デジタルズーム処理、色調補正処理、輝度補正処理、幾何補正処理等である。画像処理部２５は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。

また、プロジェクター１は、無線通信部５５を備える。無線通信部５５は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部３０の制御の下、外部の装置との間で無線通信を実行する。無線通信部５５の無線通信方式は、例えば無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band)、赤外線通信等の近距離無線通信方式、或いは、携帯電話回線を利用した無線通信方式を採用できる。

投射制御部３１は、光源駆動部２２、光変調装置駆動部２３及び画像処理部２５を制御して、入力画像データＤに基づく画像を対象物体に投射させる。
補正制御部３２は、例えば、入力処理部５３がリモコン５や操作パネル５１による幾何補正処理の指示を検出し、幾何補正処理の指示を示す操作データが入力された場合に、画像処理部２５を制御して、幾何補正処理を実行させる。
また、パラメーター生成部３３は、入力処理部５３により検出した幾何補正処理の指示の内容に基づいて、幾何補正処理に関するパラメーターを生成する。

図２は、画像処理部２５の構成を示す図であり、パラメーター生成部３３の構成を合わせて図示する。
図２に示すように、パラメーター生成部３３は参照座標算出部３３１及びフィルター係数算出部３３２を備える。これらは、制御部３０を構成するＣＰＵがプログラムを実行することによって、ソフトウェアとして実現される。
一方、画像処理部２５は、処理部２６１、及び幾何補正部２６（補間演算部）を備え、幾何補正部２６は変形率算出部２６２及びフィルター演算部２６３を備える。画像処理部２５は、例えば、画像処理機能を有するＳｏＣ（System-on-a-Chip）−ＦＰＧＡ(Field-Programmable Gate Array）として構成できる。この場合、処理部２６１、変形率算出部２６２、及びフィルター演算部２６３は、Ｓｏｃが搭載するＤＳＰ（Digital Signal Processor）等により実現される。また、フレームメモリー２７はＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリー素子で構成される。図２では、フレームメモリー２７が画像処理部２５に外部接続された構成を例示するが、フレームメモリー２７が、画像処理部２５を構成するＳｏＣに搭載された構成とすることも勿論可能である。

画像処理部２５は、上述したように、解像度変換処理、デジタルズーム処理、色調補正処理、輝度補正処理、幾何補正処理等の各種処理を実行可能である。また、Ｉ／Ｆ部２４から入力される画像データに基づき画像をフレームメモリー２７に描画する処理、フレームメモリー２７から画像を読み出して画像信号を生成する処理等を行う。画像処理部２５は、上記の各種処理に対応する処理部を備え、図２には処理部２６１を示す。処理部２６１は、解像度変換処理、デジタルズーム処理、色調補正処理、輝度補正処理のうちのいずれか１以上を実行する。なお、画像処理部２５は複数の処理に対応して複数の処理部を備えた構成とすることも勿論可能であるが、ここでは理解の便宜のため、一つの処理部２６１を図示する。
処理部２６１は、Ｉ／Ｆ部２４（図１）から入力される入力画像をフレームメモリー２７に描画し、上記の処理を実行する。フレームメモリー２７には処理部２６１による処理後の画像が描画される。

幾何補正部２６は、処理部２６１により処理された画像をフレームメモリー２７から読み出し、この画像を入力画像Ｐｉとして、幾何補正処理を行う。
ここで、幾何補正処理について説明する。

図３は、幾何補正処理の説明図であり、幾何補正処理の一例として台形歪み補正を行う場合を例示する。図３（ａ）及び（ｃ）は光変調装置１２が備える液晶パネルの画素領域１２ａに描画された画像を示し、（ｂ）及び（ｄ）はスクリーンＳＣに投射された画像を示す。より詳細には、（ａ）は画素領域１２ａに描画された補正前画像Ｐ０を示し、（ｂ）は補正前の投射画像を示し、（ｃ）は画素領域１２ａに描画された補正後画像Ｐ１を示し、（ｄ）は補正後の投射画像を示す。

スクリーンＳＣ等の投射面とプロジェクター１との間の位置関係に応じて、プロジェクター１からの投射画像には歪みが生じる。本実施形態では、幾何補正処理を行わずにプロジェクター１から画像を投射すると、投射画像に歪みが生じるようにプロジェクター１が投射面に対して配置されているものとする。より具体的には、図３（ａ）に示すように、入力画像Ｐｉを、補正前画像Ｐ０として画素領域１２ａの全域に描画し、スクリーンＳＣに斜めに投写すると、図３（ｂ）に示すように、台形歪みにより入力画像Ｐｉが歪んで表示されるものとする。画像処理部２５は、幾何補正処理を実行して、スクリーンＳＣにおける台形歪みを補償するように入力画像Ｐｉを変形させて、補正後画像Ｐ１を生成する。
画像処理部２５は、図３（ｃ）に示すように、補正前画像Ｐ０（入力画像Ｐｉ）を台形歪みの逆向きに歪ませる。さらに、画像処理部２５は、入力画像Ｐｉの外側を黒色の画素値、つまり光透過率が最小となる画素値に設定して補正後画像Ｐ１を生成する。この補正後画像Ｐ１をスクリーンＳＣに投写すると、図３（ｄ）に示すように、台形歪みが相殺されて矩形状に表示される。

補正前画像Ｐ０及び補正後画像Ｐ１において、図３（ａ）、（ｂ）に示すようにＸ−Ｙ直交座標系を定義する。
補正前画像Ｐ０の左上、右上、右下、左下の４つの頂点の座標（画素座標）をそれぞれ（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）とし、補正後画像Ｐ１において、この４つの頂点に対応する点の座標をそれぞれ（Ｘ０，Ｙ０）、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）とする。つまり、補正後画像Ｐ１の頂点（Ｘ０，Ｙ０）、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）は、それぞれ、補正前画像Ｐ０の（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）に対応する。また、補正後画像Ｐ１の内部の点Ａは、補正前画像Ｐ０の内部の点Ａ´に対応する。画像処理部２５の処理では、補正前画像Ｐ０と補正後画像Ｐ１の対応付けがなされる。

ここで、補正前画像Ｐ０に対する補正後画像Ｐ１の変形の度合い（変形率）は、画像の位置（座標）によって異なっており、例えば、図３に示した例では、頂点（Ｘ３，Ｙ３）の近傍に比べて頂点（Ｘ１，Ｙ１）の近傍のほうが縮小の度合いが大きくなっている。

図４は、変形率を説明する説明図であり、（ａ）は、画素領域１２ａに描画された補正前画像Ｐ０を示す図、（ｂ）は、画素領域１２ａに描画された補正後画像Ｐ１を示す図である。なお、本図は、代表として右上及び左下の頂点にある２つの画素に注目して、これらの画素の変形率を説明するものであり、説明を容易にするために、注目する画素及びその周辺の画素に関して、画素のサイズ及び画素間の間隔を拡大して示している。

図４（ｂ）に示すように、補正後画像Ｐ１において、注目する画素（Ｘ１，Ｙ１）の左に隣接する画素ｐｌ１と、注目する画素の右に隣接する画素ｐｒ１との距離をａ１とする。また、注目する画素（Ｘ１，Ｙ１）の上に隣接する画素ｐｕ１と、注目する画素の下に隣接する画素ｐｄ１との距離をｂ１とする。
図４（ａ）に示すように、補正前画像Ｐ０において、画素ｐｌ１に対応する画素ｐｌ０と、画素ｐｒ１に対応する画素ｐｒ０との距離をａ０、画素ｐｕ１に対応する画素ｐｕ０と、画素ｐｄ１に対応する画素ｐｄ０との距離をｂ０とする。

本実施形態では、ａ１／ａ０を、その画素における横方向（Ｘ方向）の変形率Ｅｖとして定義し、ｂ１／ｂ０を、その画素における縦方向（Ｙ方向）の変形率Ｅｈとして定義する。変形率Ｅｖ、Ｅｈの値が１より小さい場合は幾何補正により縮小されることを示し、変形率Ｅｖ、Ｅｈの値が１より大きい場合は拡大されることを示し、変形率Ｅｖ、Ｅｈの値が１である場合は等倍であることを示す。つまり、変形率Ｅｖ、Ｅｈは拡大率と縮小率とを包含する。
図４の例では、頂点（Ｘ３，Ｙ３）の近傍に比べて頂点（Ｘ１，Ｙ１）の近傍のほうが変形率Ｅｖ，Ｅｈは小さな値となる。なお、変形率Ｅｖ，Ｅｈの定義は、上記に限定されず、例えば、画素間距離ａ０のｘ方向成分に対する画素間距離ａ１の比、及び画素間距離ｂ０のｙ方向成分に対する画素間距離ｂ１の比をそれぞれ変形率Ｅｖ，Ｅｈと定義してもよい。

図２に示すパラメーター生成部３３は、台形歪みを補正するためのパラメーター（参照座標テーブル及びフィルター係数）を、プロジェクター１の傾きに応じて生成する。
参照座標算出部３３１には、入力処理部５３が検出した幾何補正処理の指示の内容に対応して、変形情報Ｄ２が入力される。変形情報Ｄ２は、例えば、補正後画像Ｐ１の形状や補正後画像Ｐ１の頂点の位置等を示すデータを含む。また、プロジェクター１が、プロジェクター１本体の傾きを検出する機能を備えている場合、補正制御部３２により、プロジェクター１本体の傾きに応じた傾き情報が、変形情報Ｄ２として入力される。なお、変形情報Ｄ２の導出方法は限定されず、図示しない加速度センサー等によってプロジェクター１の傾きを検出して傾き情報を得て、変形情報Ｄ２としてもよいし、ユーザーに操作パネル５１やリモコン５を操作させて、変形情報Ｄ２を指定させたり、入力させたりするようにしてもよい。また、プロジェクター１がスクリーンＳＣを撮影する撮像部を備えている場合、プロジェクター１の投射画像を撮影した撮影画像データに基づいて、補正制御部３２が変形情報Ｄ２を生成してもよい。

参照座標算出部３３１は、補正後画像Ｐ１における座標について、当該座標の補正前の座標（以下、参照座標という）を、当該座標に対応する補正前画像Ｐ０の座標として求める。例えば、参照座標算出部３３１は、制御部２０から入力される変形情報に基づいて、補正後画像Ｐ１の４つの頂点の座標（Ｘ０，Ｙ０）、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）を算出する。さらに参照座標算出部３３１は、算出した補正後画像Ｐ１の頂点の座標を用いて、補正前画像Ｐ０から補正後画像Ｐ１への変換を定義する射影変換係数を算出する。ここで、上述したように、補正前画像Ｐ０の左上、右上、右下、左下の４つの頂点の座標をそれぞれ（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）とし、この４つの頂点の補正後画像Ｐ１における座標をそれぞれ（Ｘ０，Ｙ０）、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）とすると、８つの射影変換係数Ａ〜Ｈを用いて、下記式（１）に示すような射影変換の行列式が成立する。参照座標算出部３３１は、下記式（１）から射影変換係数Ａ〜Ｈを算出する。

この射影変換によって補正前画像Ｐ０が補正後画像Ｐ１に変換されるものとすると、補正後画像Ｐ１内の任意の座標（Ｘ，Ｙ）に対応する補正前画像Ｐ０内の座標（ｘ、ｙ）を、下記式（２）によって導くことができる。

参照座標算出部３３１は、補正後画像Ｐ１の全ての座標について参照座標を求めてもよいし、補正後画像Ｐ１に複数の代表座標を設定してもよい。例えば、補正後画像Ｐ１を１６画素×１６画素の矩形のブロックに分割し、格子点を代表座標として、代表座標について参照座標を求めてもよい。
参照座標算出部３３１は、補正後画像Ｐ１の座標と参照座標との対を、フィルター係数算出部３３２、及び、画像処理部２５の変形率算出部２６２に出力する。ここで、参照座標算出部３３１は、補正後画像Ｐ１における複数の座標と参照座標との対応を含む参照座標テーブルＤ１１を、変形率算出部２６２に出力する。

フィルター係数算出部３３２は、参照座標算出部３３１により求めた参照座標に基づき、画像処理部２５がフィルター処理を行うためのフィルター係数、即ち補正後画像Ｐ１における各画素の画素値を決定するためのフィルター係数を算出する。
ここで、補正後画像Ｐ１における画素値は、変形率Ｅｖ，Ｅｈの値に応じて変化することから、フィルター係数算出部３３２は、変形率Ｅｖ，Ｅｈの値毎にフィルター係数を算出し、画像処理部２５に出力する。
なお、フィルター係数算出部３３２が算出するフィルター係数は、縦横分離型の１次元フィルターの係数である。フィルター係数算出部３３２は、横方向の変形率Ｅｖの値に応じた横方向のフィルター係数と、縦方向の変形率Ｅｈの値に応じた縦方向のフィルター係数とを個別に算出する。

フィルター係数算出部３３２は、参照座標算出部３３１が求めた補正後画像Ｐ１の座標と参照座標との対応に基づき、変形率の最大値および最小値を求める。図４（ａ）及び（ｂ）を参照して説明した座標の対応関係から、縦方向の変形率Ｅｖ、横方向の変形率Ｅｈは、下記式（３）、（４）により求めることができる。
Ｅｖ＝ａ１／ａ０ …（３）
Ｅｈ＝ｂ１／ｂ０ …（４）

フィルター係数算出部３３２は、上記式（３）、（４）に基づいて補正後画像Ｐ１の複数の座標について変形率を算出し、その最大値、最小値を求める。補正後画像Ｐ１の全ての座標について変形率を求めなくてもよく、例えば台形補正であれば、４頂点の変形率を求めて、その最大値、最小値を求めることができる。
次いで、フィルター係数算出部３３２は、変形率の最大値、最小値から、変形率のシフト量、及び変形率の精度を求める。変形率のシフト量は、変形率の範囲を定めるために用いられる。

フィルター係数算出部３３２が生成するフィルター係数は、補正後画像Ｐ１を構成する画素のうち、参照座標に従って１つの画素を特定できない画素について、補間演算により画素値を求めるための係数である。

図５は、フィルター係数を用いた補間処理の説明図である。
この図５には、補正後画像Ｐ１の画素Ｑの画素値を求める例を示す。図５では説明の簡略化のため一次元の座標のみを示す。
図５の例では６ｔａｐフィルターを用いるので、補間フィルターは６個のフィルター係数を含む。また、画素Ｑの参照座標を２．５とし、この画素Ｑの画素値を、フィルター係数による補間演算で求める例を示す。

この例では、画素Ｑ０〜Ｑ５に対応して６個のフィルター係数ｈ［−２］、ｈ［−１］、ｈ［０］、ｈ［１］、ｈ［２］、ｈ［３］を適用し、下記式（５）により画素Ｑの参照座標の画素値が求められる。
画素値＝Ｑ０×ｈ［−２］＋Ｑ１×ｈ［−１］＋Ｑ２×ｈ［０］＋Ｑ３×ｈ［１］＋Ｑ４×ｈ［２］＋Ｑ５×ｈ［３］ …（５）

補間フィルターは補間距離毎に用意される。補間距離とは、参照座標の小数値に対応する値である。図５には参照座標が２．５の例を示したが、この例では補間距離は０．５であり、８／１６と表される。このため、図５の例では補間距離８／１６に対応する補間フィルター（フィルター係数ｈ［−２］、ｈ［−１］、ｈ［０］、ｈ［１］、ｈ［２］、ｈ［３］を含む）を参照画素０〜５に適用して、補間画素値を求めている。例えば補間距離を１／１６刻みとすると、１６個の補間フィルターが用意される。さらに６ｔａｐのフィルター係数を用意する場合、フィルター係数の総数は１６×６＝９６個となる。
さらに、補間フィルターは変形率毎に用意する必要があるが、全ての変形率に対応して補間フィルターを作成すると、フィルター係数の数が著しく増大し、補間フィルターを記憶するメモリーの容量が増大する。そこで、フィルター係数算出部３３２は、変形率の最大値と最小値とを包含するように、変形率のシフト量、及び変形率の精度を定め、変形率のシフト量に対応する範囲で、変形率の精度に対応した補間フィルターを算出する。

フィルター係数算出部３３２には補間フィルターの数について上限（ｎ個）が予め定められており、この上限以下の数の補間フィルターを生成する。この場合、補間フィルターを生成する対象の変形率の数をｎ以下とする必要があるので、変形率の下限をｓｔｅｐ０、変形率の上限をｓｔｅｐ（ｎ−１）とし、ｓｔｅｐ０〜ｓｔｅｐ（ｎ−１）の範囲に、フィルター係数算出部３３２が求めた変形率の最小値と最大値が含まれるようにする。
すなわち、フィルター係数算出部３３２は、ｓｔｅｐ０の値を、変形率の最小値より小さい数とする。このｓｔｅｐ０の値をシフト量と呼ぶ。また、フィルター係数算出部３３２は、ｓｔｅｐ（ｎ−１）が、変形率の最大値より大きくなるように、ｓｔｅｐ毎の間隔を設定する。ｓｔｅｐの間隔を、変形率の精度と呼ぶ。

具体例を用いて説明する。
変形率の数の上限ｎを５とし、変形率の最小値を０．３、変形率の最大値を１．０とする。また、補間フィルターを作成する変形率を１／８刻みで設定する。
この例では、変形率ｓｔｅｐ０〜ｓｔｅｐ４が、１／８刻みで設定可能であり、ｓｔｅｐ０〜ｓｔｅｐ４に最小値０．３と最大値１．０とを含むようにする。フィルター係数算出部３３２は、変形率の最小値０．３を含むように、ｓｔｅｐ０を２／８とする。２／８は０．２５であるから最小値０．３より小さく、上記の要件を満たす。この場合、ｓｔｅｐの刻み、すなわち変形率の精度を１／８とすれば、範囲の上限であるｓｔｅｐ４は６／８となり、求めた変形率の最大値１．０が含まれない。そこで、フィルター係数算出部３３２は、変形率の精度を２／８とする。すると、範囲の上限であるｓｔｅｐ４は１０／８となり、求めた変形率の最大値１．０が含まれる。
変形率のシフト量は、例えば図６に示すように、０から始まる整数として表現される。上記の例では、変形率のシフト量は１となる。

そして、上記の例では、図７に示すように、各ｓｔｅｐ（変形率２／８、４／８、６／８、８／８、１０／８）について、補間フィルターが生成される。フィルター係数算出部３３２は、例えば、各ｓｔｅｐの変形率から求まるカットオフ周波数をベースに、補間フィルターを算出する。このように、変形率の最小値と最大値とに基づいて変形率のシフト量および精度を決定し、このシフト量および精度に対応する補間フィルターを生成するので、生成する補間フィルターに含まれるフィルター係数の数が必要最小限といえる。生成される補間フィルターは、変形率の最小値と最大値とに対応している。このため、補正後画像Ｐ１の画素値を求める処理において、補間フィルターが不十分なために精度が低下することはなく、十分に高い精度で画素値を求めることができる。

参照座標算出部３３１が算出する変形座標、及び、フィルター係数算出部３３２が算出する補間フィルター、変形率シフト量、及び変形率精度は、ＲＡＭ（図示略）に設けられたレジスターに保存される。これらのパラメーターは、幾何補正の形状が変化すると、幾何補正画像の変形率の最大値、最小値とともに変化する。従って、幾何補正の形状等が更新された場合には、上記各パラメーターは再計算される。

変形率算出部２６２は、参照座標算出部３３１が算出した参照座標を含む参照座標テーブルＤ１１に基づき、補正後画像Ｐ１の各座標の画素ごとに変形率を算出し、フィルター演算部２６３に出力する。参照座標テーブルＤ１１に参照座標が含まれていない画素については、補間演算を行って変形率を求める。
フィルター演算部２６３には、変形率算出部２６２が求めた変形率に加え、フィルター係数算出部３３２が生成した補間フィルターを含む補間フィルター係数テーブルＤ１２と、変形率シフト量および変形率精度を含むデータＤ１３とが入力される。

フィルター演算部２６３は、変形率算出部２６２から入力される変形率に対応する補間フィルターを、補間フィルター係数テーブルＤ１２から選択する。ここで、フィルター演算部２６３は、補間フィルターを選択する際に、データＤ１３に含まれる変形率シフト量および変形率の精度を参照してもよい。フィルター演算部２６３は、選択した補間フィルターを用い、補正後画像Ｐ１の各画素について、参照座標の画素値を算出する。これにより、補正後画像Ｐ１の各画素の画素値を得ることができ、フレームメモリー２７上に補正後画像Ｐ１が形成される。
その後、幾何補正部２６は、フレームメモリー２７の画像を表示するための画像信号を生成して、光変調装置駆動部２３（図１）に出力する。

図８は、プロジェクター１の動作を示すフローチャートであり、特に、図２に示したパラメーター生成部３３及び画像処理部２５の動作を示す。
上述したように、パラメーター生成部３３は、変形情報を取得し（ステップＳ１１）、参照座標算出部３３１が参照座標を特定して、参照座標テーブルＤ１１を生成する（ステップＳ１２）。
続いて、フィルター係数算出部３３２が変形率の最大値と最小値を算出し（ステップＳ１３）、算出した最大値と最小値とに基づいて、変形率のシフト量および精度を算出する（ステップＳ１４）。フィルター係数算出部３３２は、算出した変形率のシフト量および精度に基づき、補間フィルター係数テーブルＤ１２及びデータＤ１３を生成して、フィルター演算部２６３に出力する（ステップＳ１５）。

画像処理部２５の変形率算出部２６２は、参照座標算出部３３１が生成した参照座標テーブルＤ１１に基づいて、補正後画像Ｐ１の各座標について変形率を算出する（ステップＳ１６）。次いで、フィルター演算部２６３が、補間フィルター係数テーブルＤ１２から補間フィルターを選択して（ステップＳ１７）、補正前画像Ｐ０に適用し、補正後画像Ｐ１の各画素の画素値を求める（ステップＳ１８）。この一連の動作によって、幾何補正が実行される。

以上説明したように、本発明を適用した実施形態に係るプロジェクター１は、画像の形状を変化させる幾何補正を実行する。プロジェクター１は、補正後の画像を構成する画素の画素値を、補正前の画像を構成する画素の画素値に補間フィルターを適用して補間演算を実行することにより求めるフィルター演算部２６３を有する幾何補正部２６を備える。また、プロジェクター１は、フィルター演算部２６３が使用する補間フィルターを、補正前の画像に対する補正後の画像の変形率に基づいて生成するフィルター係数算出部３３２を有するパラメーター生成部３３を備える。これにより、補間フィルターを用いることにより演算処理の負荷を軽減することができる。また、処理対象の画像の変形率に対応して補間フィルターを生成することで、予め多数の補間フィルターを用意することなく、様々な態様の幾何補正に対応できる。また、多数の補間フィルターを記憶するメモリー容量を必要としないという利点もある。

また、フィルター係数算出部３３２は、複数の変形率に対応する複数の補間フィルターを生成する。幾何補正部２６のフィルター演算部２６３は、フィルター係数算出部３３２が生成した複数の補間フィルターから、処理対象の画素の変形率に基づいて補間フィルターを選択する。このため、処理対象の画像において変形率が異なる部分が存在する場合であっても、変形率に対応した補間フィルターを用いて適切に幾何補正を行うことができる。
また、フィルター係数算出部３３２は、画像における複数の位置について補正前から補正後の変形率を求め、求めた複数の変形率に対応する複数の補間フィルターを生成する。このため、処理対象の画像が、異なる変形率で変形される部分を含む場合であっても、適切に幾何補正を行うことができる。
また、フィルター係数算出部３３２は、画像における複数の位置について求めた複数の変形率を含む範囲に対応する複数の補間フィルターを生成する。このため、処理対象の画像に対応して、必要十分な数の複数の補間フィルターを生成するので、補間フィルターを生成する処理負荷を抑え、効率よく幾何補正を行うことができる。

また、フィルター係数算出部３３２は、画像における複数の位置について求めた複数の変形率の最小値をもとに、補間フィルターが対応する変形率の範囲に相当するシフト量を決定する。そして、フィルター係数算出部３３２は、画像における複数の位置について求めた複数の変形率の最大値、及び、シフト量をもとに、補間フィルターが対応する変形率の段階の幅である精度を決定する。フィルター係数算出部３３２は、決定した精度に基づき、複数段階の変形率にそれぞれ対応する複数の補間フィルターを生成する。このため、処理対象の画像に対応する必要十分な数の複数の補間フィルターを生成し、補間フィルターを生成する処理負荷を抑え、効率よく幾何補正を行うことができる。

また、フィルター係数算出部３３２は、予め設定された数を上限とする数の補間フィルターを生成する。補間フィルターを記憶するメモリー容量等の制約により、補間フィルターの数に上限が設けられた場合であっても、処理対象の画像に対応して十分な数の複数の補間フィルターを生成できる。
また、パラメーター生成部３３は、画像の変化を指定するパラメーターを取得し、取得したパラメーターに基づいて変形率を取得する参照座標算出部３３１を備えるので、補間フィルターの生成に用いる変形率を容易に取得できる。

なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。上記実施形態では、幾何補正の一例として、台形歪み補正（キーストーン補正）を行う例を示して説明したが、本発明はこれに限定されず、樽型歪み補正（糸巻き型歪み補正）を行う場合にも適用可能であるし、より複雑な形状に画像を変形させる幾何補正処理にも適用可能である。また、上記実施形態では、幾何補正に関する変形情報Ｄ２を、プロジェクター１本体の傾きに応じて生成する例、及び、操作パネル５１やリモコン５の操作により入力される例を記載した。本発明はこれに限定されず、例えば、無線通信部５５によって無線通信可能な他の装置から、変形情報Ｄ２、或いは変形情報Ｄ２を求めることが可能なデータが入力される構成としてもよい。この場合の他の装置とは、例えば、表示画面と入力装置を備えた装置が挙げられ、具体的には、パーソナルコンピューター、スマートフォン、タブレット型デバイス等が挙げられる。

また、上記実施形態では、光源が発した光を変調する光変調装置１２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

また、上記実施形態では、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１を表示装置の一例として示したが、本発明はこれに限定されない。例えば、スクリーンＳＣの背面側から投射するリアプロジェクション（背面投射）型のプロジェクターを表示装置として採用できる。また、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を表示装置として用いることができる。
また、図１及び図２に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１…プロジェクター（表示装置、画像処理装置）、１０…表示部、１２…光変調装置、１２ａ…画素領域、１３…投射光学系、２０…制御部、２２…光源駆動部、２３…光変調装置駆動部、２５…画像処理部、２６…幾何補正部（補間演算部）、２７…フレームメモリー、３０…制御部、３１…投射制御部、３２…補正制御部、３３…パラメーター生成部（補間フィルター生成部）、５１…操作パネル、５２…リモコン受光部、５３…入力処理部、５４…記憶部、２６１…処理部、２６２…変形率算出部、２６３…フィルター演算部、３３１…参照座標算出部、３３２…フィルター係数算出部、ＳＣ…スクリーン。

Claims (9)

1. 画像の形状を変化させる幾何補正を実行する画像処理装置であって、
   補正後の前記画像を構成する画素の画素値を、補正前の前記画像を構成する画素の画素値に補間フィルターを適用して補間演算を実行することにより求める補間演算部と、
   前記補間演算部が使用する前記補間フィルターを、補正前の前記画像に対する補正後の前記画像の変形率に基づいて生成する補間フィルター生成部と、
   を備えることを特徴とする画像処理装置。
2. 前記補間フィルター生成部は、複数の変形率に対応する複数の前記補間フィルターを生成し、
   前記補間演算部は、前記補間フィルター生成部が生成した複数の補間フィルターから、処理対象の画素の変形率に基づいて補間フィルターを選択すること、
   を特徴とする請求項１記載の画像処理装置。
3. 前記補間フィルター生成部は、前記画像における複数の位置について補正前から補正後の変形率を求め、求めた複数の変形率に対応する複数の前記補間フィルターを生成すること、を特徴とする請求項１または２記載の画像処理装置。
4. 前記補間フィルター生成部は、前記画像における複数の位置について求めた複数の変形率を含む範囲に対応する複数の前記補間フィルターを生成すること、を特徴とする請求項３記載の画像処理装置。
5. 前記補間フィルター生成部は、
   前記画像における複数の位置について求めた複数の変形率のうち最小の変形率をもとに、前記補間フィルターが対応する変形率の範囲を決定し、
   前記画像における複数の位置について求めた複数の変形率のうち最大の変形率及び前記範囲をもとに、前記補間フィルターが対応する変形率の段階の幅を決定し、
   決定した複数段階の変形率にそれぞれ対応する複数の前記補間フィルターを生成すること、
   を特徴とする請求項４記載の画像処理装置。
6. 前記補間フィルター生成部は、予め設定された数を上限とする数の前記補間フィルターを生成すること、を特徴とする請求項３から５のいずれかに記載の画像処理装置。
7. 前記補間フィルター生成部は、前記画像の変化を指定するパラメーターを取得し、取得した前記パラメーターに基づいて変形率を取得すること、を特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 画像を表示する表示部と、
   前記画像の形状の変化を定める情報を入力する入力部と、
   変形後の前記画像を構成する画素の画素値を、変形前の前記画像を構成する画素の画素値に補間フィルターを適用して補間演算を実行することにより求める補間演算部と、
   前記入力部により入力された情報をもとに、変形前の前記画像に対する変形後の前記画像の変形率を取得し、取得した変形率に基づいて前記補間演算部が使用する前記補間フィルターを生成する補間フィルター生成部と、
   を備えることを特徴とする表示装置。
9. 画像の形状を変化させる幾何補正を実行する画像処理方法であって、
   補正前の前記画像に対する補正後の前記画像の変形率に基づいて補間フィルターを生成し、
   生成した補間フィルターを、補正前の前記画像を構成する画素の画素値に適用して補間演算を実行することにより、補正後の前記画像を構成する画素の画素値を求めること、
   を特徴とする画像処理方法。

Images