JP2013142948A - 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置 - Google Patents

Abstract

【課題】画像の拡大処理において演算量の増加を抑制しつつ画質の劣化を緩和する画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置を提供する。
【解決手段】画像入力部は、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力し、補間部は、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出し、重み決定部は、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置に関する。

従来から、同一の画像を様々な表示サイズや解像度の媒体に表示するために、ディジタル画像の拡大処理が提案されている。拡大処理とは、原画像に含まれる画素（以下、原画素と呼ぶ）の間隔を広げ、原画素間に新たな画素を生成することである。新たな画素に係る信号値は、その周辺の原画素に係る信号値を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ、内挿とも呼ぶ）して求めることがある。これにより、表示サイズがより大きい表示媒体、や解像度がより高い表示媒体に原画像と同一の画像を表示することができる。近年、高解像度の画像表示装置（コンピュータ、テレビなどの映像表示装置）の普及が進み、表示媒体における画像の拡大処理の重要性が高まっている。

非特許文献１には、拡大処理の例として最近接内挿法（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ニアレストネイバー法、最近傍法ともいう）、共一次内挿法（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ、バイリニア法、線形補間法ともいう）、共三次内挿法（ｂｉ−ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ、バイキュービック法、３次畳み込み内挿法[ｃｕｂｉｃ ｃｏｎｖｏｌｕｔｉｏｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ]ともいう）が記載されている。
最近接内挿法とは、新たに生成する画素（以下、補間画素と呼ぶ）に最も近い原画素に係る信号値を、補間画素に係る信号値と定める処理である。
共一次内挿法とは、補間画素の周囲にある４個の原画素に係る信号値の加重平均値を、補間画素に係る信号値と定める処理である。
共三次内挿法とは、補間画素の周囲にある１６個の原画素に係る信号値に当てはめられた３次式を用いて補間画素に係る信号値を定める処理である。

高木 幹雄、下田 陽久 監修、６．３．２ 画像データの内挿、「画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１３６０−１３７３頁

しかしながら、最近接内挿法では、原画像の画素ピッチ（画素間間隔）に相当する位置誤差を生じるため、画質が劣化することがある。例えば、原画像において信号値が急激に変化する境界（エッジ）の方向が、水平方向又は垂直方向から離れた斜め方向である場合 、エッジが階段状（ギザギザ）に現れる画像（ジャギー；Ｊａｇｇｙ）が生成されることがある。
共一次内挿法では、画素間で信号値が滑らかに変化するため、画質が劣化することがある。例えば、エッジが不明瞭な画像（ぼやけ）が生成されることがある。
共三次内挿法では、最近接内挿法や共一次内挿法よりも画質の劣化度合いが少ない画像を生成することがある。その反面、共三次内挿法では、１個の補間画素に係る信号値を算出するための原画素の参照範囲が広く、演算量が大きいという問題がある。

本発明は上記の点に鑑みてなされたものであり、画像の拡大処理をする際に演算量の増加を抑制しつつ画質の劣化を緩和する画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置を提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の第一の技術手段は、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部とを備えることを特徴とする画像処理装置である。

（２）本発明の第二の技術手段は、前記第一の技術手段における画像処理装置であって、前記重み決定部は、前記基準画素の奥行値が表す奥行方向の距離と、前記近傍画素の奥行値が表す奥行方向の距離との差に基づいて、前記重み係数を定めることを特徴とする。

（３）本発明の第三の技術手段は、前記第一の技術手段における画像処理装置であって、
前記重み決定部は、前記基準画素の平面画像上の位置と奥行値が表す３次元位置と、前記近傍画素の平面画像上の位置と奥行値が表す３次元位置との距離の差に基づいて、前記重み係数を定めることを特徴とする。

（４）本発明の第四の技術手段は、前記第二の技術手段における画像処理装置であって、前記重み決定部は、前記基準画素から前記補間座標までの前記平面上の距離に基づいて、前記重み係数を定めることを特徴とする。

（５）本発明の第五の技術手段は、前記第一の技術手段における画像処理装置であって、前記補間座標の奥行値を、前記近傍画素の奥行値を補間して算出する奥行情報補間部を備え、前記重み決定部は、前記補間座標の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、を備えることを特徴とする。

（６）本発明の第六の技術手段は、前記第五の技術手段における画像処理装置であって、前記重み決定部は、前記補間座標の奥行値と前記近傍画素の領域に含まれる他の補間座標の奥行値の差に基づいて、前記補間に用いる重み係数を定めることを特徴とする。

（７）本発明の第七の技術手段は、画像処理装置における画像処理方法であって、前記画像処理装置が、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する過程と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する過程と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める過程とを有することを特徴とする画像処理方法である。

（８）本発明の第八の技術手段は、画像処理装置のコンピュータに、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する手順、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する手順、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める手順を実行させるための画像処理プログラムである。

（９）本発明の第九の技術手段は、各々異なる視点から画像を撮像する複数の撮像部と、前記複数の撮像部が各々撮像した画像に含まれる画素であって、平面上に配置された画素の信号値に基づいて画素に対応する奥行値を含む奥行情報を生成する奥行情報生成部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部とを備えることを特徴とする撮像装置である。

（１０）本発明の第十の技術手段は、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部と、前記補間座標の信号値を含む補間平面画像信号が表す画像を表示する表示部とを備えることを特徴とする画像表示装置である。

本発明によれば、画像の拡大処理において、演算量の増加を抑制しつつ画質の劣化を緩和する。

本発明の第１の実施形態に係る画像処理装置の構成を表す概略図である。 平面画像の一例を示す図である。 奥行画像の一例を示す図である。 本実施形態に係る画像処理を表すフローチャートである。 画像ブロックの一例を表す図である。 画像ブロックの一例を表すその他の図である。 奥行ブロックの一例を表す拡大図である。 奥行ブロックと補間座標の一例を表す図である。 奥行値と奥行座標の関係の一例を表す概念図である。 補間画像ブロックの一例を表す図である。 補間画像ブロックのその他の例を表す図である。 本発明の第２の実施形態に係る画像処理装置の構成を表す概略図である。 奥行ブロックのその他の例を表す図である。 補間奥行ブロックの一例を表す図である。 画像ブロックのその他の例を表す図である。 平面画像の一例を示すその他の図である。 補間画像ブロックのその他の例を表す図である。 補間画像ブロックのその他の例を表す図である。 補間画像ブロックのその他の例を表す図である。 本発明の第３の実施形態に係る撮像装置の構成を表す概略図である。 本発明の第４の実施形態に係る画像表示装置の構成を表す概略図である。 本発明の第４の実施形態の一変形例に係る画像表示装置の構成を表す概略図である。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る画像処理装置１０の構成を表す概略図である。
画像処理装置１０は、平面画像入力部１０１、奥行情報入力部１０２、入力平面画像記憶部１０３、入力奥行情報記憶部１０４、重み決定部１０５、パラメータ記憶部１０６、平面画像補間部１０７、奥行情報補間部１０８、補間平面画像記憶部１０９、補間奥行情報記憶部１１０、平面画像出力部１１１及び奥行情報出力部１１２を含んで構成される。

平面画像入力部１０１には、画像処理装置１０の外部からフレーム毎に平面画像信号が入力される。平面画像信号は、被写空間に含まれる被写体の色彩や濃淡を表す信号値であって、二次元平面に配置された画素毎の信号値からなる画像信号である。平面画像信号は、画素毎に色空間を表す信号値を有する画像信号、例えばＲＧＢ信号である。ＲＧＢ信号は、赤色成分の値を表すＲ信号、緑色成分の値を示すＧ信号、青色成分の値を示すＢ信号を信号値として含む。
平面画像入力部１０１は、入力された平面画像信号を入力平面画像記憶部１０３に記憶させる。

図２は、平面画像の一例を示す図である。
平面画像Ｉ２１は、被写体として太陽Ｉ−Ｓ１、山岳Ｉ−Ｍ１及び人物Ｉ−Ｐ１を表す画像である。人物Ｉ−Ｐ１の左側面に示される正方形の領域は、画像ブロックＩ２２である。画像ブロックＩ２２は、平面画像Ｉ２１の一部の領域であって、複数の画素から構成される画像である。

図１に戻り、奥行情報入力部１０２は、画像処理装置１０の外部からフレーム毎に奥行情報が入力される。奥行情報は、視点（例えば、撮影装置の設置位置）から被写空間に含まれる被写体表面までの距離を表す奥行値（「デプス値」、「深度値」、「デプス」ということがある。）を含む情報である。奥行値は、平面画像における二次元平面に配置された複数の画素の各画素に対応し、且つ、平面画像信号に含まれる信号値と対応する。奥行値は、距離そのものに限らず、距離を表す変数、例えば視差値であってもよい。奥行情報は、例えばデプスマップ（「奥行画像」ということがある。）である。
奥行情報入力部１０２は、入力された奥行情報を入力奥行情報記憶部１０４に記憶させる。

奥行画像は、画素毎の奥行値に対応する輝度を表す画像である。次に示す奥行画像の例では、視点からの距離が短いほど輝度が高いことを表す。
図３は、奥行画像の一例Ｉ３１を示す図である。
奥行画像Ｉ３１は、平面画像Ｉ２１が表す被写体までの距離を表す画像である。奥行画像Ｉ３１において、人物Ｉ−Ｐ２を表す領域が、その他の領域よりも明るい色で示されている。即ち、奥行画像Ｉ３１は、人物Ｉ−Ｐ２が、その他の被写体よりも視点からの距離が短いことを表す。
人物Ｉ−Ｐ２の左側面に示される正方形の領域は、奥行ブロックＩ３２である。奥行ブロックＩ３２が占める領域は、図２の画像ブロックＩ２２が占める領域と同一である。

図１に戻り、重み決定部１０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。重み決定部１０５は、パラメータ記憶部１０６から後述する補間処理に用いるパラメータ（以下で、「補間パラメータ」という。）を読み出す。
重み決定部１０５は、読み出した補間パラメータを用いて、読み出した平面画像信号に含まれる信号値を補間するために用いる重み係数を定める。ここで、重み決定部１０５は、補間画素から予め定めた範囲内の各画素（以下、近傍画素と呼ぶ）に対応する奥行値と、補間画素と各近傍画素との間の距離に基づいて重み係数を定める。補間画素とは、複数の画素の間に新たに生成する画素である。重み係数を定める処理については、後述する。
重み決定部１０５は、定めた重み係数を平面画像補間部１０７に出力する。

パラメータ記憶部１０６は、補間パラメータを予め記憶している。補間パラメータは、例えば、補間倍率、補間座標、フレームサイズ（１フレームの平面画像信号もしくは奥行情報に含まれる水平方向の画素数、垂直方向の画素数）、等がある。補間倍率は、ある表示領域に係る補間後の平面画像信号（補間平面画像信号）のサイズの、その表示領域に係る入力された平面画像信号（入力平面画像信号）のサイズに対する比である。ここで、サイズとは、その表示領域における水平方向の画素数（幅）、又は垂直方向の画素数（幅）である。即ち、補間倍率は、補間平面画像の解像度の入力平面画像の解像度に対する比である。補間座標とは、補間画素が占める領域の中心点の位置を表す座標である。

平面画像補間部１０７は、入力平面画像記憶部１０３から平面画像信号を読み出し、パラメータ記憶部１０６から補間パラメータを読み出す。また、平面画像補間部１０７は、重み決定部１０５から重み係数を読み出す。
平面画像補間部１０７は、読み出した平面画像信号に含まれる各近傍画素の信号値を入力して、重み係数を用いて補間して、補間座標に対する信号値を算出する。補間座標に対する信号値を算出する処理については後述する。
平面画像補間部１０７は、算出した信号値を補間座標と対応付けて補間平面画像記憶部１０９に記憶させる。これにより、補間平面画像記憶部１０９には、補間座標毎の信号値を含む補間平面画像信号が記憶される。

奥行情報補間部１０８は、入力奥行情報記憶部１０４から奥行情報を読み出し、パラメータ記憶部１０６から補間パラメータを読み出す。
奥行情報補間部１０８は、読み出した補間パラメータを用いて、読み出した奥行情報に含まれる各近傍画素の奥行値を補間して、補間座標に対する奥行値を算出する。
奥行情報補間部１０８は、補間を行うために、例えば、最近接内挿法、共一次内挿法、共三次内挿法、等の方法を用いることができる。
奥行情報補間部１０８は、算出した奥行値を補間座標と対応付けて補間奥行情報記憶部１１０に記憶させる。これにより、補間奥行情報記憶部１１０は、補間座標毎の奥行値を含む補間奥行情報が記憶される。

平面画像出力部１１１は、補間平面画像記憶部１０９から補間平面画像信号を読み出し、読み出した補間平面画像信号をフレーム毎に画像処理装置１０の外部に出力する。
奥行情報出力部１１２は、補間奥行情報記憶部１１０から補間奥行情報を読み出し、読み出した補間奥行情報をフレーム毎に画像処理装置１０の外部に出力する。

次に、画像処理装置１０が行う画像処理について説明する。
図４は、本実施形態に係る画像処理を表すフローチャートである。
（ステップＳ１０１）画像処理装置１０は、処理に要する係数等を初期設定する。ここで、重み決定部１０５、平面画像補間部１０７、奥行情報補間部１０８は、パラメータ記憶部１０６から補間パラメータを読み出す。画像処理装置１０は、各フレームにおける初期の補間座標を、例えば、各フレームの原点に最も近い座標にある補間座標と定める。フレームの原点は、フレームの最上列、最左段の座標である。その後、ステップＳ１０２に進む。
（ステップＳ１０２）平面画像入力部１０１には、画像処理装置１０の外部からフレーム毎に平面画像信号が入力される。平面画像入力部１０１は、入力された平面画像信号を入力平面画像記憶部１０３に記憶させる。その後、ステップＳ１０３に進む。
（ステップＳ１０３）奥行情報入力部１０２には、画像処理装置１０の外部からフレーム毎に奥行情報が入力される。奥行情報入力部１０２には、入力された奥行情報を入力奥行情報記憶部１０４に記憶させる。その後、ステップＳ１０４に進む。

（ステップＳ１０４）重み決定部１０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。
重み決定部１０５は、補間パラメータを用いて、読み出した平面画像信号に含まれる信号値を補間するための重み係数を定める。重み決定部１０５は、定めた重み係数を平面画像補間部１０７に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）平面画像補間部１０７は、入力平面画像記憶部１０３から平面画像信号を読み出す。平面画像補間部１０７には、重み決定部１０５から重み係数が入力される。
平面画像補間部１０７は、読み出した平面画像信号に含まれる各近傍画素の信号値を入力した重み係数を用いて補間して、補間座標における信号値を算出する。平面画像補間部１０７には、算出した信号値を、補間座標と対応付けて補間平面画像記憶部１０９に記憶させる。その後、ステップＳ１０６に進む。

（ステップＳ１０６）奥行情報補間部１０８は、入力奥行情報記憶部１０４から奥行情報を読み出す。
奥行情報補間部１０８は、補間パラメータを用いて、読み出した奥行情報に含まれる各近傍画素の奥行値を補間して、補間座標における奥行値を算出する。
奥行情報補間部１０８は、算出した奥行値を補間座標と対応付けて補間奥行情報記憶部１１０に記憶させる。その後、ステップＳ１０７に進む。

（ステップＳ１０７）画像処理装置１０は、各フレームに含まれる全ての補間座標について処理が終了したか否か判断する。処理が終了したと判断された場合（ステップＳ１０７ Ｙ）、ステップＳ１０９に進む。処理が終了していないと判断された場合（ステップＳ１０７ Ｎ）、ステップＳ１０８に進む。
（ステップＳ１０８）画像処理装置１０は、処理の対象となる補間座標を変更する。画像処理装置１０が補間座標を変更する順序は、例えば、ラスター順である。ラスター順においては、行毎に左端から右側に向かって順次隣接する列の座標に補間座標を変更し、補間座標が右端に達した後、補間座標を次の行の左端に変更する。その後、ステップＳ１０４に進む。

（ステップＳ１０９）平面画像出力部１１１は、補間平面画像記憶部１０９から補間平面画像信号を読み出し、読み出した補間平面画像信号をフレーム毎に画像処理装置１０の外部に出力する。その後、ステップＳ１１０に進む。
（ステップＳ１１０）奥行情報出力部１１２は、補間奥行情報記憶部１１０から補間奥行情報を読み出し、読み出した補間奥行情報をフレーム毎に画像処理装置１０の外部に出力する。その後、処理を終了する。

次に、近傍画素と補間座標の一例について説明する。
近傍画素は、入力画像信号における画素のうち補間の対象となる画素である。近傍画素のうち、補間座標を含む領域を占める画素を、特に基準画素と呼ぶ。
平面（ｘｙ平面）上の補間座標ｐ_{ｉ（ｘｙ）}は、例えば式（１）で表される。

式（１）において、ｉ_Ｘは、基準画素の水平方向（ｘ方向）のインデックスである。ｋは、補間座標の水平方向のインデックスである。ｋは、基準画素毎に独立に定められ、基準画素から水平方向に隣接する基準画素を表す点において０となる。ｋは、−Ｎ又は−Ｎよりも大きく、Ｎより小さい整数である。Ｎは、予め定めた補間倍率、即ち基準画素間の補間画素数を表す整数値である。ｉ_Ｙは、基準画素の垂直方向（ｙ方向）のインデックスである。ｌは、補間座標の水平方向のインデックスである。ｌは、基準画素毎に独立に定められ、基準画素から水平方向に隣接する基準画素を表す点において０となる。ｋは、−Ｎ又は−Ｎよりも大きく、Ｎより小さい整数である。式（１）において、補間座標ｐ_{ｉ（ｘｙ）}は、基準画素間の画素間距離（画素ピッチ）が１となるように正規化されている。

ここで、補間座標とその基準画素との一例を図５に示す。
図５は、画像ブロックの一例Ｉ２２を表す図である。
図５は、画像ブロックＩ２２（図２参照）を表す。画像ブロックＩ２２において、上下左右の４辺が実線で示された矩形は、入力画像信号に含まれる各信号値に対応した画素が占める領域を表す。ここでは、この画素を、特に原画素と呼ぶ。画像ブロックＩ２２には、２５個（水平方向５個×垂直方向５個）の原画素が含まれる。上下左右の４辺の何れかの辺が実線、その残りの辺が破線で示された矩形は、補間画素を表す。補間画素とは、補間座標を中心座標とする画素である。図５では、１個の原画素が４個（水平方向２個×垂直方向２個）の補間画素を含む。
例えば、図５において、左下から右上に向かう斜線で塗りつぶされた領域は、補間画素Ｉ５５を表す。補間画素Ｉ５５の中心に表される記号×は、補間画素Ｉ５５の補間座標である。補間画素Ｉ５５と、左上から右下に向かう斜線で塗りつぶされた領域を併せた領域は、基準画素Ｉ５１を表す。基準画素Ｉ５１の中心に表される記号＋は、基準画素Ｉ５１の中心座標である。

次に、補間座標とその近傍画素の一例を図６に示す。
図６は、画像ブロックの一例Ｉ２２を表す図である。
図６は、画像ブロックＩ２２（図２参照）を表す。画像ブロックＩ２２に含まれる２５個（水平方向５個×垂直方向５個）の四角形は、それぞれ原画素が占める領域を表す。各四角形に含まれる２００や、１００という数字は、その画素に対応する信号値（例えば、Ｒ信号の信号値）を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。各矩形に含まれる記号＋は、中心座標を表す。
上から２行目、左から２段目の画素Ｉ６１に含まれる×印は、補間座標Ｉ６５を表す。即ち、画素Ｉ６１は、基準画素であり、近傍画素のうちの１つである。基準画素Ｉ６１の右隣の画素は、近傍画素Ｉ６２である。基準画素Ｉ６１の下隣の画素は、近傍画素Ｉ６３である。基準画素Ｉ６４の右下隣の画素は、近傍画素Ｉ６４である。即ち、補間座標Ｉ６５から原画素の中心までの距離が予め定めた距離よりも短くなる画素を近傍画素Ｉ６１〜Ｉ６４と定めていることを示す。図６の例では、補間座標Ｉ６５から原画素の中心までの水平方向の距離と垂直方向の距離の最大値が原画像の画素ピッチより小さな画素を近傍画素と定めている。

上述の平面画像に対応する奥行情報における補間座標とその近傍画素の例を図７に示す。
図７は、奥行ブロックの一例Ｉ３２を表す図である。
図７は、奥行ブロックＩ３２（図３参照）を表す。奥行ブロックは、奥行画像の一部の領域に含まれる複数の画素の各々について奥行値が与えられた情報である。奥行ブロックＩ３２に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ奥行情報における原画素が占める領域を表す。各矩形に含まれる０等の数字は、その画素に対応する奥行値を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。各矩形に含まれる記号＋は、中心座標を表す。
補間座標Ｉ７５は、補間座標Ｉ６５（図６参照）と同一の位置の奥行情報における座標を表す。近傍画素Ｉ７１〜Ｉ７４は、近傍画素Ｉ６１〜Ｉ６４と同一の画素を表す。

次に、重み決定部１０５が重み係数を決定する処理について説明する。
重み決定部１０５は、中心点が補間座標から予め定めた距離（閾値）よりも短い距離にある画素を近傍画素と定める。重み決定部１０５は、近傍画素ｊに対応する奥行値ｐ_ｊ（ｚ）と基準画素ｉに対応する奥行値ｐ_ｉ（ｚ）に基づいて、近傍画素ｊ毎の重み係数ｗ_ｊを定める。この距離の閾値と近傍画素の個数は、補間パラメータに含まれる。
重み決定部１０５は、例えば、以下に説明する方法のいずれかを用いて重み係数ｗ_ｊを定めることができるが、これらには限られない。

＜第１の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐ_ｊ（ｚ）と基準画素ｉに対応する奥行値ｐ_ｉ（ｚ）の差分の絶対値Δｐ_ｊ（ｚ）が予め定めた閾値（例えば１）よりも大きい場合、重み係数ｗ_ｊを０と定める。ここで、添字（ｚ）は、視点からの距離（ｚ方向の座標値）を表す奥行値に係ることを表す添字である。差分絶対値Δｐ_ｊ（ｚ）は｜ｐ_ｊ（ｚ）−ｐ_ｉ（ｚ）｜と表される。また、重み決定部１０５が、差分絶対値Δｐ_ｊ（ｚ）が、その閾値より小さい、又は等しい値である場合、重み係数ｗ_ｊを１と定める。この重み決定法では、奥行値の差分の閾値は、補間パラメータに含まれている。図７に示す例では、基準画素Ｉ７１、近傍画素Ｉ７２、Ｉ７３、Ｉ７４に対する重み係数は、それぞれ１、０、１、０と定められる。これにより、基準画素ｉとの奥行値の差が少ない近傍画素ｊが重視される。他方、基準画素ｉとの奥行値の差が著しい近傍画素ｊが無視される。

＜第２の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐ_ｊ（ｚ）と基準画素ｉに対応する奥行値ｐ_ｉ（ｚ）の差分の絶対値Δｐ_ｊ（ｚ）が大きいほど連続的に小さくなるように、近傍画素ｊ毎の重み係数ｗ_ｊを定める。重み決定部１０５は、重み係数ｗ_ｊを定めるために、例えば、式（２）を用いる。

式（２）において、Δｐ_{（ｚ）ｍａｘ}は、当該補間画素に係る差分絶対値Δｐ_ｊ（ｚ）の最大値である。従って、式（２）によれば、最大値Δｐ_{（ｚ）ｍａｘ}となる近傍画素ｊについて重み係数ｗ_ｊが０となり、基準画素について重み係数ｗ_ｊが１となる。

＜第３の重み決定法＞重み決定部１０５は、奥行値に基づいて第２の重み決定法で決定した重み係数に対して、補間座標ｐ_{ｉ（ｘｙ）}と近傍画素（ｊ_Ｘ，ｊ_Ｙ）の間の平面上の距離Δｐ_{ｊ（ｘｙ）}を考慮した演算を行って重み係数ｗ_ｊを決定する。添字（ｘｙ）は、水平方向（ｘ方向）及び垂直方向（ｙ方向）平面上の画素間の距離に係ることを表す。重み決定部１０５は、重み係数ｗ_ｊを定めるために、例えば、式（３）を用いる。

式（３）において、Δｐ_{（ｘｙ）ｍａｘ}は、平面上の距離Δｐ_{ｊ（ｘｙ）}の最大値である。従って、式（３）によれば、最大値Δｐ_{（ｘｙ）ｍａｘ}となる近傍画素ｊについて重み係数ｗ_ｊが０となり、基準画素ｊについて重み係数ｗ_ｊが最大になる。このように、重み係数ｗ_ｊは、更に距離Δｐ_{ｊ（ｘｙ）}の増加に対して線形に小さくなるように決定される。

＜第４の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐ_ｊ（ｚ）の３次元空間における奥行座標Ｚ_ｊと、基準画素ｉに対応する奥行値ｐ_ｉ（ｚ）の３次元空間における奥行座標Ｚ_ｉの間の距離Δｄ_ｊ（ｚ）に基づいて重み係数ｗ_ｊを決定する。
ここで、重み決定部１０５は、奥行情報に含まれる奥行値を参照して近傍画素の中心座標ｊを、例えば式（４）を用いて奥行座標Ｚ_ｊに変換する。

式（４）において、奥行座標Ｚ_ｉは、撮影装置の設置位置を原点として光学軸の方向を奥行方向とする座標である。Ｂは、基線長、即ち２台の撮影装置間の距離を表す。ｑは、撮影装置が備える撮像素子の画素ピッチを表す。ｆは、撮影装置の焦点距離を表す。即ち、式（４）を用いて求められた奥行方向の座標値Ｚ_ｊは、焦点距離に基線長を乗じた値を奥行値で除した値である。
重み決定部１０５は、重み係数ｗ_ｊを定めるために、例えば、式（５）を用いる。

式（５）において、Δｄ_{（ｚ）ｍａｘ}は、距離Δｄ_ｊ（ｚ）の最大値である。従って、式（５）によれば、最大値Δｄ_{（ｚ）ｍａｘ}となる近傍画素ｊについて重み係数ｗ_ｊが０となり、基準画素について重み係数ｗ_ｊが１となる。この重み決定法によれば、画素ピッチｑ、焦点距離ｆ、基線長Ｂが補間パラメータに含まれる。
なお、第３の重み決定法と同様に、平面上の距離Δｐ_{ｊ（ｘｙ）}を考慮して、更に（１−Δｐ_{ｊ（ｘｙ）}／Δｐ_{（ｘｙ）ｍａｘ}）を乗じて重み係数ｗ_ｊを決定してもよい。

＜第５の重み決定法＞重み決定部１０５は、基準画素ｉの中心座標に対応する３次元位置ｐ_{ｊ（ｘｙｚ）}と近傍座標ｊの中心座標に対応する３次元位置ｐ_{ｉ（ｘｙｚ）}の間の距離Δｄ_{ｊ（ｘｙｚ）}を考慮して重み係数ｗ_ｊを決定する。ここで、添字（ｘｙｚ）は、３次元座標に係ることを表す。
ここで、重み決定部１０５は、奥行情報に含まれる奥行値を参照して近傍画素の中心座標ｊを、例えば式（６）を用いて３次元位置ｐ_{ｊ（ｘｙｚ）}に変換する。

式（６）において、（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）は、撮影装置の設置位置（光学系の焦点、即ち視点）を基準とした被写体空間内の３次元位置ｐ_{ｊ（ｘｙｚ）}を表す。Ｘ_ｊ、Ｙ_ｊ、Ｚ_ｊは、それぞれ水平方向の座標値、垂直方向の座標値、奥行方向の座標値を表す。即ち、式（６）を用いて求められた水平方向の座標値、垂直方向の座標値は、それぞれ撮影装置における画素の座標値に、基線長を乗じた値に奥行値で除した値である。
重み決定部１０５は、重み係数ｗ_ｊを定めるために、例えば、式（７）を用いる。

式（７）において、Δｄ_{（ｘｙｚ）ｍａｘ}は、距離Δｄ_{ｊ（ｘｙｚ）}の最大値である。
この重み決定法によれば、画素ピッチｑ、焦点距離ｆ、基線長Ｂが補間パラメータに含まれる。従って、式（７）によれば、最大値Δｄ_{（ｘｙｚ）ｍａｘ}となる近傍画素ｊについて重み係数ｗ_ｊが０となり、基準画素ｊについて重み係数ｗ_ｊが最大になる。このように、重み係数ｗ_ｊは、３次元空間内の距離Δｄ_{ｊ（ｘｙｚ）}の増加に対して線形に小さくなるように決定される。

次に、ある奥行ブロックに対し重み係数ｗ_ｊを定める場合について、第２の重み決定法を用いる場合と、第４の重み決定法を用いる場合を例にとって比較する。
図８は、奥行ブロックと補間座標の一例を表す図である。
図８は、奥行ブロックＩ８１を表す。奥行ブロックＩ８１は、水平方向３画素、垂直方向３画素、計９画素を含む。左から２段目、最上行の画素は、近傍画素Ｉ８２を表す。左から３段目、最上行の画素は、近傍画素Ｉ８３を表す。左から２段目、上から２行目の画素が近傍画素Ｉ８４を表す。左から３段目、上から３行目の画素は、近傍画素Ｉ８５を表す。近傍画素Ｉ８５に含まれる×印は、補間画素Ｉ８６を表す。従って、近傍画素Ｉ８５が基準画素である。近傍画素Ｉ８２、Ｉ８３、Ｉ８４、Ｉ８５の奥行値は、１、１、３、５となる。

第２の重み決定法を用いる際に算出される差分絶対値Δｐ_ｊ（ｚ）は、近傍画素Ｉ８２、Ｉ８３、Ｉ８４、Ｉ８５各々について、２、２、０、２となる。式（２）を用いた場合、重み係数ｗ_ｊは、差分絶対値Δｐ_ｊ（ｚ）が最小となる近傍画素Ｉ８４について最大となる。これに対し、差分絶対値Δｐ_ｊ（ｚ）が互いに等しい、近傍画素Ｉ８２、Ｉ８３及びＩ８５については互いに等しくなる。

これに対し、第４の重み決定法では、例えば、式（４）を用いて奥行値ｐ_ｊ（ｚ）を奥行座標Ｚ_ｊに変換する。ここで、式（４）で表される奥行値と奥行座標の関係の一例を示す。
図９は、奥行値ｐ_ｊ（ｚ）と奥行座標Ｚ_ｊの関係の一例を表す概念図である。
図９によれば、奥行座標Ｚ_ｊが増加するに従って、奥行値ｐ_ｊ（ｚ）は単調に減少する。また、奥行座標Ｚ_ｊが増加するに従って、奥行値ｐ_ｊ（ｚ）の減少率も単調に減少する。例えば、奥行値が５と３の場合の奥行座標の差である距離Δｄ_ｊ（ｚ）よりも、奥行値が３から１に減少するときの奥行座標の距離Δｄ_ｊ（ｚ）の方が大きくなる。
従って、近傍画素Ｉ８２及びＩ８３よりも近傍画素Ｉ８５の方が、奥行座標の距離Δｄ_ｊ（ｚ）が短くなる。そのため、近傍画素Ｉ８２及びＩ８３よりも被写体空間上の距離が短い近傍画素Ｉ８５の方が、重み係数ｗ_ｊが大きくなる。このように、第４の重み決定法によれば、被写体空間上の距離を考慮して近傍画素毎の重み係数ｗ_ｊを決定することができる。

次に、平面画像補間部１０７が補間座標に対する信号値を算出する処理について説明する。
平面画像補間部１０７は、重み決定部１０５から入力された重み係数ｗ_ｊを用いて近傍画素ｊの信号値ｖ_ｊを重み付け加算して補間座標ｉに対する信号値ｖ_ｉを算出する。平面画像補間部１０７は、重み付け加算において、例えば式（８）を用いる。

式（８）において、総和記号Σ_ｊは、補間座標ｉ毎の全ての近傍画素ｊにわたる総和を表す。Ｗは、全ての近傍画素ｊにわたる重み係数ｗ_ｊの総和を表す。即ち、式（８）は、Ｗを用いて重み係数ｗ_ｊを正規化することを表す。

次に、本実施形態によって生成された補間画像信号について説明する。
図１０は、補間画像ブロックの一例Ｉ１０１を表す図である。
図１０は、補間画像ブロックＩ１０１を表す。補間画像ブロックＩ１０１に含まれる１００個（水平方向１０個×垂直方向１０個）の矩形は、それぞれ補間画素が占める領域を表す。各矩形に含まれる２００等の数字は、その画素に対応する信号値を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。補間画像ブロックＩ１０１の表示領域は、画像ブロックＩ２２（図６参照）の表示領域と同一である。
補間画像ブロックＩ１０１は、上述の第２の重み決定法を用いて定めた重み係数ｗ_ｊを用いて算出した補間画素毎の信号値を含む。ここで、左から第３段目から第６段目までの信号値は、それぞれ２００、２００、１００、１００である。画像ブロックＩ２２（図６参照）の同一の表示領域における信号値２００、１００と同様である。

これに対し、従来技術を用いて生成した補間画像信号について説明する。
図１１は、補間画像ブロックのその他の例Ｉ１１１を表す拡大図である。
図１１は、補間画像ブロックＩ１１１を表す。補間画像ブロックＩ１１１に含まれる補間画素の配置は、補間画像ブロックＩ１０１（図１０参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１１１の表示領域も、補間画像ブロックＩ１０１の表示領域と同一である。補間画像ブロックＩ１０１は、従来技術の一例として共一次内挿法を用いて定めた重み係数ｗ_ｊを用いて算出した補間画素毎の信号値を含む。
左から第３段目から第６段目までの信号値は、それぞれ２００、１７５、１２５、１００である。これらの信号値は、画像ブロックＩ１０１の同一の表示領域における信号値２００、２００、１００、１００よりもなだらかである。
従って、本実施形態によれば、信号値の変化が急激なエッジが維持され、エッジが不明瞭になる現象（ぼやけ）が回避される。

なお、上述の共一次内挿法では、補間画素ｉの信号値ｖ_ｉは、例えば、式（９）を用いて算出される。

式（９）において、（ｉ_ｘ，ｉ_ｙ）は、４つの原画素の中心座標のうち、最も原点に近接する中心座標である。信号値ｖ_{ｉｘ，ｉｙ}、ｖ_{ｉｘ，ｉｙ＋１}、ｖ_{ｉｘ＋１，ｉｙ}、ｖ_{ｉｘ＋１，ｉｙ＋１}は、補間画素ｉ周囲に隣接する４つの原画素（周囲画素）の信号値を表す。なお、式（９）は、ｋ、ｌがともに正の値である場合（式（１）参照）に用いる数式である。
ここで、信号値ｖ_{ｉｘ，ｉｙ}に対する重み係数の分母（２Ｎ−ｋ）・（２Ｎ−ｌ）は、補間画素ｉから中心座標（ｉ_ｘ，ｉ_ｙ）とは反対側の中心座標（ｉ_ｘ＋１，ｉ_ｙ＋１）への水平方向の長さ２Ｎ−ｋと垂直方向の長さ２Ｎ−ｌの積である。他の信号値についても、重み係数は、補間画素ｉから各中心座標とは反対側の中心座標までの水平方向の長さと垂直方向の長さによる面積に比例する値である。
なお、ｋ又はｌのいずれかが負の値である場合、用いられる周囲画素が異なるが、同様な観点で定められた重み係数を用いて重み付け加算を行うことができる。

このように、本実施形態によれば、画素間の補間座標に係る信号値を、前記補間座標から予め定めた範囲内の各近傍に対応する信号値を補間する。ここで、本実施形態では、補間座標に最も近接する基準画像の奥行値と補間画素から予め定めた範囲内の各近傍画素の奥行値に基づいて重み係数を定め、定めた重み係数を用いて各近傍画素の信号値を補間する。これにより、補間画素として被写体の奥行方向の距離の変化に応じた信号値が与えられる。本実施形態によれば、特に、エッジが不明瞭になる現象が回避され、補間画像の画質劣化を低減できる。

（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について説明する。
図１２は、本実施形態に係る画像処理装置２０の構成を表す概略図である。
画像処理装置２０は、平面画像入力部１０１、奥行情報入力部１０２、入力平面画像記憶部１０３、入力奥行情報記憶部１０４、重み決定部２０５、パラメータ記憶部１０６、平面画像補間部１０７、奥行情報補間部１０８、補間平面画像記憶部１０９、補間奥行情報記憶部１１０、平面画像出力部１１１及び奥行情報出力部１１２を含んで構成される。
即ち、画像処理装置２０は、重み決定部１０５（図１参照）の代わりに重み決定部２０５を備える。画像処理装置２０は、その他の構成部については画像処理装置１０（図１参照）と同様である。以下、画像処理装置１０との差異を主に説明する。

重み決定部２０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。重み決定部１０５は、パラメータ記憶部１０６から補間パラメータを読み出す。重み決定部２０５は、補間奥行情報記憶部１１０から補間奥行情報を読み出す。
重み決定部２０５は、補間画素に対応する奥行値と、各近傍画素が占める領域に含まれる他の補間画素に対応する奥行値との差分絶対値に基づいて、各近傍画素に対する重み係数ｗ_ｊを定める。

重み決定部２０５は、例えば、補間画素に対応する奥行値との差分絶対値が予め定めた値（例えば２）よりも小さくなる他の補間画素を含む近傍画素ｊについて重み係数ｗ_ｊを１と定める。重み決定部２０５は、補間画素に対応する奥行値との差分絶対値が予め定めた値（例えば２）よりも小さくなる他の補間画素を含まない近傍画素ｊについて重み係数ｗ_ｊを０と定める。

かかる処理について、奥行ブロックが与えられている場合を例にとって説明する。
図１３は、奥行ブロックのその他の例Ｉ１３１を表す図である。
図１３は、奥行ブロックＩ１３１を表す。奥行ブロックＩ１３１に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ原画素が占める領域を表す。各矩形に含まれる０等の数字は、その画素に対応する奥行値を示す。各四角形は、奥行値が大きくなるほど明るい色で塗りつぶされている。左から３段目、上から３行目の画素に含まれる×印は、補間座標Ｉ１３６を表す。

図１４は、補間奥行ブロックの一例Ｉ１４１を表す図である。
図１４は、補間奥行ブロックＩ１４１を表す。補間奥行ブロックは、奥行画像の一部の領域に含まれる複数の補間座標の各々について補間された奥行値が与えられた情報である。補間奥行ブロックＩ１４１に含まれる１００個（水平方向１０個×垂直方向１０個）の四角形は、補間画素が占める領域を表す。各矩形に含まれる０等の数字は、その補間画素に対応する奥行値を示す。
補間奥行ブロックＩ１４１は、奥行情報補間部１０８が共一次内挿法を用いて生成した補間奥行情報の一部であって、奥行ブロックＩ１３１の表示領域と同一である部分である。
補間奥行ブロックＩ１４１の左から６段目、上から６行目の補間画素に含まれる×印は、補間画像Ｉ１３６を表し、その補間画素の中心座標である。
補間奥行ブロックＩ１４１の左から５〜６段目、上から５〜６行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４２、左から７〜８段目、上から５〜６行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４３、左から５〜６段目、上から７〜８行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４４、左から７〜８段目、上から７〜８行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４５を表す。

近傍画素Ｉ１４２に含まれる４つの補間画素の奥行値は、０、１、１、４であり、注目する補間画素の奥行値４を含む。近傍画素Ｉ１４３に含まれる４つの補間画素の奥行値は、５、８、８、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい奥行値５を含む。近傍画素Ｉ１４４に含まれる４つの補間画素の奥行値は、５、８、８、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい５を含む。近傍画素Ｉ１４５に含まれる４つの補間画素の奥行値は、９、１０、１０、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい奥行値を含まない。
従って、重み決定部２０５は、近傍画素Ｉ１４２、Ｉ１４３、Ｉ１４４の重み係数ｗ_ｊをそれぞれ１と決定する。重み決定部２０５は、近傍画素Ｉ１４５に対応する重み係数ｗ_ｊを０と決定する。

図１５は、画像ブロックのその他の例Ｉ１５１を表す図である。
図１５は、画像ブロックＩ１５１を表す。画像ブロックＩ１５１は、奥行ブロックＩ１３１に対応する画像ブロックである。
画像ブロックＩ１５１に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ原画素が占める領域を表す。各矩形に含まれる１００等の数字は、その画素に対応する信号値を示す。画像ブロックＩ１５１の右上端から左下端への対角線上の画素の信号値は５０である。この対角線よりも左上の画素の信号値は１００である。この対角線よりも右下の画素の信号値は０である。このように画像ブロックＩ１５１は、水平方向又は垂直方向から離れた方向に向いているエッジ部分を有する。
左から３段目、上から３行目の画素に含まれる×印は、補間座標Ｉ１３６を表す。
補間座標Ｉ１３６を含む領域を占める画素が近傍画素Ｉ１４２である。近傍画素Ｉ１４２の右隣の画素が近傍画素Ｉ１４３である。近傍画素Ｉ１４２の下隣の画素が近傍画素Ｉ１４４である。近傍画素Ｉ１４４の右隣の画素が近傍画素Ｉ１４５である。

図１６は、平面画像の一例Ｉ２１を示すその他の図である。
図１６は、平面画像Ｉ２１を表す。画像ブロックＩ１５１は、平面画像Ｉ２１が表す人物Ｉ−ＰＩの頭部の左上部に表された矩形が占める部分の画像を表す。

次に、本実施形態によって生成された補間画像信号について説明する。
図１７は、補間画像ブロックのその他の例Ｉ１７１を表す拡大図である。
図１７は、補間画像ブロックＩ１７１を表す。補間画像ブロックＩ１７１に含まれる１００個（水平方向１０個×垂直方向１０個）の矩形は、それぞれ補間画素が占める領域を表す。各矩形に含まれる１００等の数字は、その画素に対応する信号値を示す。補間画像ブロックＩ１７１の表示領域は、画像ブロックＩ１５１（図１５参照）の表示領域と同一である。
補間画像ブロックＩ１７１は、平面画像補間部１０７が、重み決定部２０５が定めた重み係数ｗ_ｊを用いて算出した補間画素毎の信号値を含む。例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、８７、８７、６６、３３、０である。

これに対し、従来技術を用いて生成した補間画像信号の２つの例について説明する。
図１８は、補間画像ブロックのその他の例Ｉ１８１を表す図である。
図１８は、補間画像ブロックＩ１８１を表す。補間画像ブロックＩ１８１に含まれる補間画素の配置は、補間画像ブロックＩ１７１（図１７参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１８１の表示領域も、補間画像ブロックＩ１７１の表示領域と同一である。補間画像ブロックＩ１８１は、従来技術の一例として最近接内挿法を用いて算出した補間画素毎の信号値を含む。
例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、１００、５０、５０、０、０である。
これらの信号値は、原画像の画像ブロックＩ１５１の同一の表示領域における信号値１００、５０、０と同一であり、エッジが階段状に表れることを示す。
従って、本実施形態によれば、エッジが階段状に現れる現象（ジャギー）が緩和される。

図１９は、補間画像ブロックのその他の例Ｉ１９１を表す図である。
図１９は、補間画像ブロックＩ１９１を表す。補間画像ブロックＩ１９１に含まれる補間画素の配置は、補間画像ブロックＩ１７１（図１７参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１９１の表示領域も、補間画像ブロックＩ１７１の表示領域と同一である。補間画像ブロックＩ１９１は、従来技術の一例として共一次内挿法を用いて算出した補間画素毎の信号値を含む。
例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、９０、７１、５０、２５、９である。
これらの信号値は、補間画像ブロックＩ１７１の同一の表示領域における信号値よりも緩やかに変化している。
従って、本実施形態によれば、エッジの信号値が緩やかに変化する現象（ぼやけ）が緩和される。

重み決定部２０５は、上述の第２の重み決定法又は第４の重み決定法において、基準画素ｉに対応する奥行値ｐ_ｉ（ｚ）の代わりに、補間画素に対応する奥行値を用いてもよい。上述の第２の重み決定法や第４の重み決定法では、奥行値に対応する平面上の座標の誤差が、画素ピッチの半分だけ生じうる。しかし、補間画素に対応する奥行値を用いることで、かかる誤差を低減することができる。これにより、高解像度化に伴う画質の向上を発揮することができる。

このように、本実施形態によれば、補間画素から予め定めた範囲内の各近傍画素に含まれる補間座標毎の奥行値に基づいて重み係数を定め、定めた重み係数を用いて各近傍画素の信号値を補間する。これにより、被写体の奥行方向の距離に対する信号値がより高精度になる。本実施形態によれば、特に、水平方向又は垂直方向から離れた方向に向いたエッジが階段状に表れる現象（ジャギー）や、エッジがなだらかになる現象（ぼやけ）が緩和される。これにより補間画像の画質劣化を低減できる。

（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について説明する。
図２０は、本実施形態に係る撮像装置３０の構成を表す概略図である。
撮像装置３０は、２個の撮像部３１、３２、奥行情報生成部３３及び画像処理部３４を含んで構成される。
撮像部３１、３２は、互いに異なる位置（視点）に設置され同一の視野に含まれる被写体の画像を予め定めたフレーム時間間隔で撮影する。撮像部３１、３２は、例えば、この両者が一体化されたステレオカメラであってもよい。撮像部３１、３２が撮影した画像を示す画像信号は、各々二次元平面に配置された画素毎の信号値からなる画像信号である。 撮像部３１、３２は、撮影した画像を示す画像信号を、それぞれ奥行情報生成部３３にフレーム毎に出力する。

奥行情報生成部３３は、撮像部３１、３２のいずれか一方、例えば撮像部３１から入力された画像信号を、基準とする画像信号（平面画像信号）と定める。
奥行情報生成部３３は、平面画像信号が表す画像と、他方の撮像部３２から入力された画像信号が表す画像との視差を画素毎に算出し、算出した視差値を奥行値として含む奥行情報を生成する。奥行情報生成部３３は、視差値を算出するために、例えば、ブロックマッチング法を用いる。
画像前置処理部２１は、平面画像信号と生成した奥行情報を画像処理部３４に出力する。

画像処理部３４は、画像前置処理部２１から入力された平面画像信号と奥行情報に基づいて、補間平面画像信号及び補間奥行情報を生成する。画像処理部３４は、画像処理装置１０（図１参照）又は画像処理装置２０（図１２参照）と同様な構成を備える。画像処理部３４は、生成した補間平面画像信号及び補間奥行情報を撮像装置３０の外部に出力する。
従って、本実施形態によれば、撮像部３１、３２が撮像した画像信号よりも解像度が高い補間平面画像信号を取得することができ、この補間平面画像信号が表す画像の画質劣化を低減することができる。

（第４の実施形態）
以下、図面を参照しながら本発明の第４の実施形態について説明する。
図２１は、本実施形態に係る画像表示装置４０の構成を表す概略図である。
画像表示装置４０は、画像処理部４１及び画像表示部４２を含んで構成される。
画像処理部４１には、画像表示装置４０の外部から平面画像信号と奥行情報が入力される。画像処理部４１に左画像の平面画像信号と右画像の平面画像信号とそれぞれに対応する奥行情報が入力された場合は、画像処理部４１は、左右それぞれの平面画像信号と奥行情報に基づいて、左右それぞれの補間平面画像信号及び補間奥行情報を生成する。画像処理部４１に平面画像信号と奥行情報が入力される場合は、入力された平面画像信号を左画像信号と定め、左画像の補間平面画像信号と補間奥行情報を生成する。そして、生成した左画像の補間平面画像信号と補間奥行情報に基づいて右画像信号を生成する。ここで、画像処理部４１は、左画像の補間平面画像信号に含まれる画素毎の信号値を、対応する画素の奥行値であって補間奥行情報に含まれる奥行値が表す視差量だけ離れた位置の画素に配置して右画像の補間平面画像信号を生成する。
画像処理部４１は、画像処理装置１０（図１参照）又は画像処理装置２０（図１２参照）と同様な構成を備える。
画像表示部４２は、画像処理部４１から入力された補間平面画像信号及び補間奥行情報が表す立体画像を表示する。

画像表示部４２は、例えば、視聴者の左眼に表示する左画像と右眼に表示する右画像を表示する２視点の立体ディスプレイ（ステレオディスプレイ）又はプロジェクタ（ステレオプロジェクタ）である。

画像表示部４２は、例えば、左画像信号が表す画像と右表示画像信号が表す画像をフレーム時間間隔の半分の時間間隔で（例えば、１／６０秒）交互にスクリーンに表示するプロジェクタである。視聴者は、この時間間隔に同期させて視聴者の左右各眼に光線を透過するか否かを制御することができるシャッター（例えば、液晶シャッター）を備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部４２は、その他、左画像信号が表す画像と右画像信号が表す画像を互いに異なる偏光特性でスクリーンに表示するプロジェクタであってもよい。視聴者は、左画像信号に対する偏光特性に対応した偏光フィルタを左眼レンズに備え、右画像信号に対する偏光特性に対応した偏光フィルタを右眼レンズに備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部４２は、その他、左画像信号が表す画像と右画像信号が表す画像の上下方向に長い画像帯を交互に表示する表示面と、その前面を上下方向に延伸されたスリットを備えた視差バリア方式のディスプレイであってもよい。また、画像表示部４２は、その表示面と、その前面を上下方向に延伸された凸レンズ（レンティキュラレンズ）を備えたレンティキュラ方式のディスプレイであってもよい。

なお、本実施形態に係る画像表示装置は、上述の画像表示装置４０のように立体画像表示装置に限らず、例えば、平面画像表示装置であってもよい。図２２は、本発明の第４の実施形態の一変形例に係る画像表示装置５０の構成を表す概略図である。画像表示装置５０は、画像表示装置４０の画像表示部４２の代わりに画像表示部５２を備える。画像表示部４２は、画像処理部４１から入力された補間平面画像信号が表す平面画像を表示する。

従って、本実施形態によれば、入力された平面画像信号よりも解像度が高い補間平面画像信号、例えば画像表示部の解像度に合わせた補間平面画像信号を得ることができる。本実施形態によれば、この補間平面画像信号が表す画像の画質劣化を低減することができる。

上述した実施形態では、補間倍率が２である場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、補間倍率は、１より大きな倍率、例えば３であってもよい。

上述した実施形態では、平面画像補間部１０７が、重み決定部１０５、２０５から入力された重み係数ｗ_ｊの総和Ｗを算出し、算出した総和Ｗで信号値ｖ_ｊを重み付け加算した値を除算して正規化する場合を例にとって説明した。本実施形態では、これには限られない。本実施形態では、重み決定部１０５、２０５は、総和Ｗが１になるように正規化した重み係数ｗ_ｊを定め、平面画像補間部１０７が、その正規化した重み係数ｗ_ｊを用いて信号値ｖ_ｊを重み付け加算してもよい。その場合、平面画像補間部１０７は、総和Ｗで除算する処理を省略してもよい。

上述の撮像装置３０は、２つの視点の各々に設置された撮像部を用いて２視点の立体画像を撮像する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、２視点よりも視点数が多い多視点の立体画像を撮像してもよい。ここで、撮像した多視点の画像信号から、1つの視点の画像信号と、その1つの視点と他の視点との関係を表す奥行情報を生成することができればよい。

上述の撮像装置３０は、補間平面画像信号と補間奥行情報を外部に出力する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、撮像装置３０は、生成した補間平面画像信号と補間奥行情報を対応付けて記憶する記憶部を備えてもよい。また、本実施形態では、撮像装置３０は、生成した補間平面画像信号と補間奥行情報に基づく立体画像を表示する表示部を備えてもよい。

上述の画像表示装置４０は、２視点の立体画像を表示する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、２視点よりも視点数が多い多視点の立体画像を表示してもよい。多視点の画像信号は、少ないとも1つの視点の画像信号と、その1つの視点と他の視点との関係を表す奥行情報を用いて生成することができる。
また、上述の画像表示装置４０は、生成した補間平面画像信号と補間奥行情報を対応付けて記憶する記憶部を備えていてもよい。

なお、上述した実施形態における画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の一部、例えば、重み決定部１０５、２０６、平面画像補間部１０７、奥行情報補間部１０９、奥行情報生成部３３、及び画像処理部３４、４１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置１０、２０、撮像装置３０又は画像表示装置４０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１０、２０…画像処理装置、
１０１…平面画像入力部、
１０２…奥行情報入力部、
１０３…入力平面画像記憶部、
１０４…入力奥行情報記憶部、
１０５、２０５…重み決定部、
１０６…パラメータ記憶部、
１０７…平面画像補間部、
１０８…奥行情報補間部、
１０９…補間平面画像記憶部、
１１０…補間奥行情報記憶部、
１１１…平面画像出力部、
１１２…奥行情報出力部
３０…撮像装置、
３１、３２…撮像部、
３３…奥行情報生成部、
３４…画像処理部、
４０、５０…画像表示装置、
４１…画像処理部、
４２、５２…画像表示部

Claims (10)

1. 平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
   前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
   前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
   を備えること
   を特徴とする画像処理装置。
2. 前記重み決定部は、
   前記基準画素の奥行値が表す奥行方向の距離と、前記近傍画素の奥行値が表す奥行方向距離との差に基づいて、前記重み係数を定めることを特徴とする請求項１に記載の画像処理装置。
3. 前記重み決定部は、
   前記基準画素の平面画像上の位置と奥行値が表す３次元位置と、前記近傍画素の平面画像上の位置と奥行値が表す３次元位置との距離の差に基づいて、前記重み係数を定めることを特徴とする請求項１に記載の画像処理装置。
4. 前記重み決定部は、
   前記基準画素から前記補間座標までの前記平面上の距離に基づいて、前記重み係数を定めることを特徴とする請求項２に記載の画像処理装置。
5. 前記補間座標の奥行値を、前記近傍画素の奥行値を補間して算出する奥行情報補間部を備え、
   前記重み決定部は、
   前記補間座標の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記重み決定部は、
   前記補間座標の奥行値と前記近傍画素の領域に含まれる他の補間座標の奥行値の差に基づいて、前記補間に用いる重み係数を定めることを特徴とする請求項５に記載の画像処理装置。
7. 画像処理装置における画像処理方法であって、
   前記画像処理装置が、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する過程と、
   前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する過程と、
   前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める過程とを有すること
   を特徴とする画像処理方法。
8. 画像処理装置のコンピュータに、
   平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する手順、
   前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する手順、
   前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める手順
   を実行させるための画像処理プログラム。
9. 各々異なる視点から画像を撮像する複数の撮像部と、
   前記複数の撮像部が各々撮像した画像に含まれる画素であって、平面上に配置された画素の信号値に基づいて画素に対応する奥行値を含む奥行情報を生成する奥行情報生成部と、
   前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
   前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部とを備えること
   を特徴とする撮像装置。
10. 平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
    前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
    前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
    前記補間座標の信号値を含む補間平面画像信号が表す画像を表示する表示部とを備えること
    を特徴とする画像表示装置。

Images