JP3996630B2 - 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置 - Google Patents

Description

本発明は、画像変換に関するものであり、特に、拡大や縮小などの画像変換やテクスチャマッピングを、テクスチャ感を保存したまま実現する技術に関するものである。

画像機器とネットワークのデジタル化により、任意の画像機器が接続できるようになり、画像交換の自由度が高まっている。そして、利用者がシステムの違いに制約を受けることなく、自由に画像を扱える環境が整備されてきた。例えば、利用者は、デジタルスチルカメラで撮影した画像をプリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したりすることが可能になっている。

逆にシステム側は、様々な画像フォーマットに対応する必要があり、画像フォーマット変換には自ずと高度化が求められる。例えば画像サイズの変換は頻繁に発生し、アップコンバータ（画素数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす装置）が必要になる。例えば、６００ｄｐｉの解像度でＡ４用紙（２９７ｍｍ×２１０ｍｍ）に印刷する場合、７１２８画素×５０４０ラインの原稿が必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。一方、ネットワーク上に公開された画像は、最終的な出力形態が決まっていないため、出力デバイスが決まる都度、対応する画像サイズに変換する必要がある。また、家庭用テレビでは、デジタル地上波のサービスが開始されており、従来の標準テレビ画像とＨＤ（High Definition）テレビ画像とが混在し、画像サイズの変換が頻繁に用いられる。

画像拡大や画像縮小などの画像変換は、コンピュータグラフィックスにおけるテクスチャマッピングでも多用される（被写体表面に現れる模様やパターンを総称して、「テクスチャ」と呼ぶ）。テクスチャマッピングはコンピュータ内に形成した３次元物体表面に２次元画像を貼り付けて物体表面の模様や質感を表現する手法である。２次元画像を３次元物体の表面の向きに合わせて貼り付けるため、２次元画像に拡大、縮小、変形、回転などの処理を施す必要がある（非特許文献１を参照）。

従来、画像拡大や画像縮小などの処理は、複数の画素間での輝度値の違いを利用している。

すなわち、画像拡大では、サンプリング時に存在しなかった画素データを新たに生成するために、バイリニア法やバイキュービック法などによって、輝度値を内挿する（非特許文献１を参照）。内挿ではサンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化する傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する技術が開示されている（非特許文献２、非特許文献３を参照）。特に、非特許文献３では、多重解像度表現とリプシッツ指数の導入によって、エッジの先鋭さに応じてエッジ強調を選択的に行う工夫が成されている。

画像縮小では、画素の一部を削除するが、サンプリング点の個数が減少するため、サンプリング周期が減少する。サンプリング周波数が画像中の最高周波数の２倍（ナイキスト周波数）に満たない場合、折り返しが発生し、モアレが生じてしまう。そこで、画素の一部を削除する前に低域通過フィルタを掛けて高周波成分を除去し、その後、画素の一部を削除する方法が一般的である。
荒屋真二著，「明解 ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４５、２００３年９月２５日， Ｈ．Ｇｒｅｅｎｓｐａｎ， Ｃ．Ｈ．Ａｎｄｅｒｓｏｎ，「Ｉｍａｇｅ ｅｎｈａｎｃｅｄ ｂｙ ｎｏｎ−ｌｉｎｅａｒ ｅｘｔｒａｐｏｌａｔｉｏｎ ｉｎ ｆｒｅｑｕｅｃｔ ｓｐａｃｅ」，ＳＰＩＥ Ｖｏｌ．２１８２ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ II，１９９４年 中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ Ｎｏ．１０ ｐｐ．２２４９−２２５８ １９９８年１０月 画像処理ハンドブック編集委員会編，「画像処理ハンドブック」，昭晃堂，ｐｐ．３９２−４０７、１９８７年６月８日 Ｒ．Ｊ．Ｗｏｏｄｈａｍ，「Ｐｈｏｔｏｍｅｔｒｉｃ ｍｅｔｈｏｄｆｏｒ ｄｅｔｅｒｍｉｎｉｎｇ ｓｕｒｆａｃｅ ｏｒｉｅｎｔａｔｉｏｎ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｉｍａｇｅｓ」，Ｏｐｔｉｃａｌ Ｅｎｇｉｅｅｒｉｎｇ、 ｖｏｌ．１９，ｐｐ．１３９−１４４， １９８０年 梅山伸二，「物体の見えからの拡散／鏡面反射成分の分離 −偏光フィルタを介した多重観測と確率的独立性を用いて−」，画像の認識・理解シンポジウム２００２，ｐｐ．I−４６９−ｐｐ．I−４７６、２００２年

しかし、従来の技術では次のような問題があった。

被写体からの拡散反射成分を対象にした場合、画素間の輝度を線形補間して画像拡大を行うと、拡大後の画像と被写体実物の輝度分布とは必ずしも一致しない。これについて、簡単に説明する。

拡散反射光の輝度値Ｉｄは例えば、
で与えられる。ここで、θは被写体の表面法線と光源からの入射光とが成す角度であり、（数１）の式から、拡散反射光の輝度値Ｉｄは角度θの余弦に従うことが分かる（非特許文献１、ｐｐ．９２）。画像拡大する場合、被写体の形状自体は変わらないので、被写体の表面法線を線形補間して高密化すればよい。ところが上述のように、拡散反射光の輝度値は表面法線の余弦で与えられるので、輝度値を線形補間して得た画像では、実際の画像との間で輝度値に誤差が生じる。すなわち、図１２に示すように、０から１の余弦である線ＬＮ１は上に凸の非線形特性を持ち、このため、輝度値を線形補間したことに相当する直線ＬＮ２との誤差が生じる。この誤差は、線ＬＮ３のようになり、最大値は０．２１に達する。この誤差は、元の画像が有する隣接画素間の輝度値の関係を崩すものであり、見た目には、テクスチャ感を変質させる。

前記の問題に鑑み、本発明は、テクスチャ感を保存できる画像変換を、簡易な処理によって、実現可能にすることを課題とする。

人間の視覚系がコントラストを検出する能力は、輝度が低いほど、低下する、といわれている。すなわち、いわゆるコントラスト感度は、輝度が低くなるほど低くなり、輝度値の低い影部では、人間は、詳細を見分ける能力が低くなる。

図１３（ａ）に示すテスト刺激Ａ，Ｂは、左から右へ空間解像度が次第に高くなり、かつ、下から上へコントラストが次第に低くなる。そこで、下から上に明暗のパターンが見えなくなる位置を特定することによって、視覚系のコントラスト感度が得られる。なお、テスト刺激Ａよりもテスト刺激Ｂの方が、平均輝度が低い。図１３（ｂ）は（ａ）のテスト刺激Ａ，Ｂを用いて得た空間周波数とコントラスト感度との関係を示すグラフである。

図１３（ｂ）から分かるように、視覚系のコントラスト感度は、画像が明るいほど高くなり、細かな違いを見分ける能力が高い。すなわち、輝度値が高く明るい部分では、コントラスト感度が高いため、上述したような輝度値の線形補間による実際の画像との誤差は、テクスチャ感を変質させる原因になり、無視できない。これに対して、輝度値が低く暗い部分では、上述したような誤差はさほど目立たなくなり、無視できると考えられる。

このような知見から、本発明では、輝度値の低い影部では、輝度値を用いた変換を行い、輝度値の高い、影部以外の部分では、表面法線を用いた変換を行う。

すなわち、本発明では、与えられた第１の画像において、影部を識別し、影部について、所定の画像変換の内容に応じて、画素の輝度値を用いた第１の変換処理を行う一方、影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行い、それぞれの処理結果を用いて、第２の画像を生成するものである。

本発明によると、人間の視覚系が低感度である輝度の低い影部では、画素の輝度値を用いた変換処理が行われる一方、人間の視覚系が高感度である輝度の高い影以外の部分では、表面法線パラメータを用いた変換処理が行われる。このため、処理負荷の増大を抑制しつつ、テクスチャ感を保存した画像変換が実現できる。

また、本発明では、画像について表面法線パラメータを算出し、被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正し、補正後の表面法線パラメータから所定の照明方程式に従って輝度値を算出し、算出した輝度値と実際の輝度値との差を画素毎に求め、その差が所定値よりも大きい画素を影部として認識する。

本発明によると、影部を精度良く識別することができる。

本発明によると、影部と影以外の部分とで処理を切り分け、影部では、輝度値を用いた変換処理を行い、影以外の部分では、表面法線パラメータを用いた変換処理を行うので、処理負荷とテクスチャ感保存を両立させた画像変換が可能になる。

本発明の第１態様では、第１の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第２の画像を生成する方法として、前記第１の画像において影部を識別する第１のステップと、前記影部について、前記所定の画像変換の内容に応じて画素の輝度値を用いた第１の変換処理を行う第２のステップと、前記影部以外の部分について、前記所定の画像変換の内容に応じて被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行う第３のステップとを備え、前記第１のステップは、前記第１の画像について、表面法線パラメータを算出するステップと、被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備え、前記第２および第３のステップにおける処理結果を用いて、前記第２の画像を生成するものを提供する。

本発明の第２態様では、前記第１の画像を、拡散反射成分のみからなるように処理する前処理を備えた第１態様の画像変換方法を提供する。

本発明の第３態様では、前記所定の画像変換は画像拡大であり、前記第１の変換処理は輝度値を補間して画像を拡大する処理であり、前記第２の変換処理は、表面法線パラメータを補間して画像を拡大する処理である第１態様の画像変換方法を提供する。

本発明の第４態様では、前記所定の画像変換は画像縮小であり、前記第１の変換処理は輝度値をサブサンプリングして画像を縮小する処理であり、前記第２の変換処理は表面法線パラメータをサブサンプリングして画像を縮小する処理である第１態様の画像変換方法を提供する。

本発明の第５態様では、前記第３のステップの前に、前記第１の画像の表面法線パラメータを、空間位置による変化が滑らかになるように補正する処理を含む第４態様の画像変換方法を提供する。

本発明の第６態様では、前記表面法線パラメータとして、表面法線と光源方向とが成す角度を用いる第１態様の画像変換方法を提供する。

本発明の第７態様では、テクスチャ画像を３次元ＣＧモデルのオブジェクトに貼り付ける前処理ステップと、前記オブジェクトに貼り付けられた前記テクスチャ画像において、影部を識別する第１のステップと、前記影部について、画像拡大または画像縮小である所定の画像変換の内容に応じて、画素の輝度値を用いた第１の変換処理を行う第２のステップと、前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行う第３のステップとを備え、前記第１のステップは、前記テクスチャ画像について、表面法線パラメータを算出するステップと、被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備え、前記第２および第３のステップにおける処理結果を用いて、前記オブジェクトの画像を生成するテクスチャマッピング方法を提供する。

本発明の第８態様では、第１の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第２の画像を生成する装置として、前記第１の画像において、影部を識別する影部識別部と、前記影部識別部によって識別された影部について、前記所定の画像変換の内容に応じて、画素の輝度値を用いた第１の変換処理を行う第１の変換部と、前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行う第２の変換部とを備え、前記影部識別部は、前記第１の画像について、表面法線パラメータを算出する手段と、被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正する手段と、補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出する手段と、算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識する手段とを備え、前記第１および第２の変換部による処理結果を用いて、前記第２の画像を生成するものを提供する。

本発明の第９態様では、画像変換を行うサーバークライアントシステムとして、第８態様の影部識別部を有するサーバーと、第８態様の第１および第２の変換部を有するクライアントとを備えたものを提供する。

本発明の第１０態様では、第１の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第２の画像を生成する方法をコンピュータに実行させるプログラムとして、前記第１の画像において、影部を識別する第１のステップと、前記影部について、前記所定の画像変換の内容に応じて、画素の輝度値を用いた第１の変換処理を行う第２のステップと、前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行う第３のステップと、前記第２および第３のステップにおける処理結果を用いて、前記第２の画像を生成する第４のステップとをコンピュータに実行させるものであり、前記第１のステップは、前記第１の画像について、表面法線パラメータを算出するステップと、被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備えたものを提供する。

本発明の第１１態様では、画像において影部を識別する影認識方法として、前記画像について、表面法線パラメータを算出するステップと、被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備えたものを提供する。

本発明の第１２態様では、画像において、影部を識別する影認識装置として、前記画像について、表面法線パラメータを算出する手段と、被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正する手段と、補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出する手段と、算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識する手段とを備えたものを提供する。

以下、本発明の実施の形態について、図面を参照して説明する。

まず初めに、影部を識別する方法について、図１を用いて説明する。図１は凹凸のある被写体に光が照射されたときの画像と輝度分布を模式的に示す図である。図１では、被写体の表面の形状が、山、谷、山と滑らかに変化している。

ここで、光源ＬＳの光が真上から鉛直に入射した場合（ケースＡ）、被写体表面のどの位置にも影が生じないので、輝度分布から（数１）に従って表面法線を求めると、被写体表面の形状が正確に算出される。一方、光源ＬＳからの光が左斜め４５度方向から入射する場合（ケースＢ）は、谷の左側に影ができるので（影部ＳＨ）、輝度分布では、ＤＣ１，ＤＣ２のような輝度が不連続に変化する位置が生じる。このため、輝度分布から（数１）に従って表面法線を求めると、算出される被写体表面の形状は位置ＤＣ１，ＤＣ２において不連続になってしまう。これは（数１）が影を含まないことを前提とするモデルであることに起因している。すなわち、輝度分布から表面法線を求める場合、画像に影部が含まれているときは、表面法線の不連続性という矛盾が発生する。

このことを利用して、本実施形態では、被写体表面の形状は滑らかに変化していると仮定して、この滑らかさの仮定が崩れるとき、影部であると判断する。具体的には、元の画像の輝度値から（数１）に従って表面法線を算出し、滑らかさの仮定から表面法線を補正する。そして、補正された表面法線から（数１）に従って輝度値を求め直し、得られた輝度値と元の画像の輝度値とが異なるとき、その部分を影部と判断する。

（第１の実施形態）
図２は本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。本実施形態では、与えられた第１の画像に対して、所定の画像変換として画像拡大を行い、第２の画像を生成する。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。

まずステップＳ００において、初期設定を行う。図３は被写体表面ＳＦ上の注目点Ｐに関する幾何条件を示す模式図である。ステップＳ００では、図３に示す、光源ベクトルＬ、注目点の入射光の輝度Ｉｉ、および被写体の拡散反射成分の双方向反射率ρｄを取得する。ここでは、光源ベクトルＬ、入射光の輝度Ｉｉおよび双方向反射率ρｄは予め設定されているものとする。また、後述のステップＳ２においてハイライト部を検出するために用いられるハイライト部判定用閾値ＴＨＨの設定も行う。

ステップＳ１において、第１の画像を、拡散反射成分のみからなるように処理する前処理を実行する。被写体からの反射光は、一般に鏡面反射成分と拡散反射成分とからなるが、本発明では、拡散反射成分のみを対象とするため、拡散反射成分のみが撮像されている画素を抽出する、または、拡散反射成分のみを撮影して第１の画像として記録する。

拡散反射と鏡面反射とを分離する手法として、例えば非特許文献６には、鏡面反射成分が偏光する性質を利用する技術が開示されている。光が物体表面で反射する場合、光の入反射面に平行な電場成分と垂直な電場成分とでは、通常、フレネル係数が異なるため、反射光は偏光する。このため、鏡面反射成分は一般的に偏光しているが、拡散反射は乱反射であるため、偏光性を持たない。そこで、図４に示すように、偏光フィルタＰＦを通して反射光ＲＲを観測した場合、透過光ＲＲＰの強度は、反射光ＲＲのうち偏光フィルタＰＦの偏光軸ＰＦＡに平行な成分の強度となる。このため、偏光フィルタＰＦを回転させながら物体表面ＳＦからの鏡面反射成分を観測した場合、透過光ＲＲＰの強度は偏光フィルタＰＦの偏光軸ＰＦＡと鏡面反射の偏光面ＳＰＰとの間の角度ψに応じて変化し、次式で与えられる。

ここで、Ｌｄは拡散反射成分の輝度、Ｌｓは鏡面反射成分の輝度、θ’ｉは微小反射面での光の入射角、ＦＰは絶縁体に対する平行電場成分のフレネル係数、ＦＶは絶縁体に対する垂直電場成分のフレネル係数である。

次にステップＳ２において、第１の画像のハイライト部を検出する。ハイライト部とは輝度が最も高い画素のことをいい、図１の輝度分布では、位置ＨＬ１，ＨＬ２，ＨＬ３，ＨＬ４に相当する。ハイライト部の表面法線は、光源ＬＳからの入射光方向（すなわち図３の光源ベクトルＬ）に一致する。光源ベクトルＬはステップＳ００で与えられるため、ハイライト部の表面法線ベクトルも既知となる。

なお、撮像された画像は通常、ノイズを含むため、各ハイライト部（例えば位置ＨＬ１〜ＨＬ４）の輝度が一致することは稀である。このため、ハイライト部を検出する場合には、ある程度、輝度値の幅を持たせるのが好ましい。そこで例えば、画像中の最高輝度Ｉｄｍａｘの９５％をハイライト部判定用閾値ＴＨＨとし、輝度値がこの閾値ＴＨＨよりも大きい画素をハイライト部として検出する。

次にステップＳ３において、第１の画像の輝度値から（数１）に従って、推定表面法線ベクトルＰＮを算出する。表面法線（ベクトル）を表す表面法線パラメータとして、表面法線と光源方向とが成す角度θ（または余弦ｃｏｓθ）が用いられる。ここで、第１の画像の輝度値が最高輝度Ｉｄｍａｘを持つとき、光源ベクトルＬと表面法線ベクトルＮが一致し、両ベクトルの内積が１と最大になるため、拡散反射光の輝度値Ｉｄを最高輝度Ｉｄｍａｘで正規化しておく。

ステップＳ４において、近傍画素間で推定表面法線ベクトルＰＮの滑らかさの補正を行い、補正表面法線ベクトルＳＰＮを算出する。すなわち、表面法線パラメータを、空間位置による変化が滑らかになるように補正する。図５はステップＳ４における補正処理を概念的に示す図である。図５（ａ）では、折り返しのある変化Ｌａ１が滑らかな変化Ｌａ２に補正されており、図５（ｂ）では、飛びがある変化Ｌｂ１が滑らかに連続した変化Ｌｂ２に補正されている。

ここで、影部以外の推定表面法線ベクトルＰＮは信頼性が高いため、ここでの補正は、影部以外の部分をできるだけ多く含めて行うのが望ましいが、補正方法そのものは任意であり、制限を与えるものではない。一例として、スプライン補間などがある。被写体形状のモデルはコンピュータグラフィックスの分野で多々開発されており、ベジエ曲線やＮＵＲＢＳ曲線などによる自由曲面の表現方法がある（非特許文献１ ｐｐ．３６−３８）。本発明では、影部は輝度値で補間をして拡大画像を生成するため、補正された表面法線そのものは利用されない。すなわち、ここで表面法線を求める目的は、影部の検出にあり、影が落ちているか否かが重要であるのであって、補正された表面法線１本１本の精度を求めるものではない。

ステップＳ５において、補正表面法線ベクトルＳＰＮから（数１）に従って、拡散反射光の輝度値Ｉｖを計算し、これを補正輝度値ＳＰＩｖとして出力する。

ステップＳ６において、補正輝度値ＳＰＩｖと第１の画像の輝度値とを比較し、異なる画素の部分は影部と判断し、一致する画素の部分は影部以外であると判断する。なお、補正輝度値ＳＰＩｖと第１の画像の輝度値との差に許容範囲（例えば、輝度値を０〜１に正規化したとき、０．０１程度）を設けて、補正輝度値ＳＰＩｖと第１の画像の輝度値との差が許容範囲を超えたとき、影部に該当すると判定してもかまわない。ステップＳ２〜Ｓ６によって、本発明の第１のステップが構成されている。

影部と判定された部分については、第２のステップとしてのステップＳ７において、第１の画像の輝度値を補間して画像を拡大する。一方、影部以外と判定された部分については、ステップＳ８において、補正表面法線ベクトルＳＰＮを補間して画像を拡大する。そしてステップＳ９において、補間拡大された補正表面法線ベクトルから（数１）に従って拡散反射光の輝度値Ｉｖを算出する。ステップＳ８，Ｓ９によって、本発明の第３のステップが構成されている。本発明は、補間方法として処理負荷の小さい線形補間法が適用できるように工夫されているが、補間法そのものを限定するものではない。

ステップＳ７およびステップＳ８，Ｓ９における処理結果を用いて、第２の画像が生成される。

以上のように本実施形態によると、人間の視覚系が低感度である輝度の低い影部では、輝度を線形補間し、人間の視覚系が高感度である輝度の高い影以外の部分では、表面法線を線形補間することによって、画像拡大が実現される。このような切り分けた処理によって、処理負荷とテクスチャ感保存とを両立させた画像拡大が可能になる。

また、表面法線が必要になる影以外の部分では、画素の輝度値から表面法線を推定するため、特別な機器を要することなく、撮像情報のみから、テクスチャ感が保存された画像拡大を実現することができる。被写体の表面法線を求めるためには、レンジファインダによる計測やPhotometric stereoによる算出などが利用できる。ところが、前者は、機器の規模や被写体の大きさなどの観点から利用できるシーンが限られ、汎用性の点で問題があり（非特許文献４参照）、後者は、被写体表面に影が落ちていると原理的に表面法線の算出は不可能であるので（非特許文献５参照）、被写体の向きや光源の位置を変えるなど観測点に影を作らない工夫が必要であり、実用面で問題がある。これに対して本実施形態では、特別な機器なしに、撮像情報のみから、表面法線を求めることができる。

なお、ステップＳ２〜Ｓ６を実行する影部識別部と、ステップＳ７を実行する第１の変換部と、ステップＳ８，Ｓ９を実行する第２の変換部とを備えた画像変換装置を、構成してもよい。

（第２の実施形態）
図６は本発明の第２の実施形態に係る画像変換方法を示すフローチャートである。本実施形態では、与えられた第１の画像に対して、所定の画像変換として画像縮小を行い、第２の画像を生成する。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。また、ステップＳ２〜Ｓ６を実行する影部識別部と、ステップＳ１７を実行する第１の変換部と、ステップＳ１８，Ｓ１９を実行する第２の変換部とを備えた画像変換装置を、構成してもよい。

図６において、ステップＳ００，Ｓ１〜Ｓ６の処理は、図２と同様であるため、ここではその説明を省略する。

ステップＳ６において影部と判定された部分については、第２のステップとしてのステップＳ１７において、第１の画像の輝度値をサブサンプリングして画像を縮小する。影部では、視覚系のコントラスト感度が低いため、モアレ発生によるテクスチャ感の変質は影部以外の部分よりも少なくなる。

一方、ステップＳ６において影部以外と判定された部分については、ステップＳ１８において、補正表面法線ベクトルＳＰＮをサブサンプリングして画像を縮小する。そしてステップＳ１９において、サブサンプリングされた補正表面法線ベクトルから（数１）に従って拡散反射光の輝度値Ｉｖを算出する。ステップＳ１８，Ｓ１９によって、本発明の第３のステップが構成されている。

なお、画像縮小に伴うサンプリング点数の減少によって、ナイキスト周波数が低下し、モアレが発生する可能性が高まる。ところが本実施形態では、ステップＳ４において、表面法線パラメータに対し、空間位置による変化が滑らかになるように補正を行っている。このため、高周波成分が抑えられ、モアレの発生を抑制することができる。すなわち、ステップＳ４が、表面法線パラメータをサブサンプリングする際の前処理の役割を果たしている。すなわち、この前処理によって、従来技術のように、別途、低域通過フィルタを作用させる必要がない。

以上のように本実施形態によると、人間の視覚系が低感度である輝度の低い影部では、輝度をサブサンプリングし、人間の視覚系が高感度である輝度の高い影以外の部分では、表面法線をサブサンプリングすることによって、モアレ発生を抑えた画像縮小が実現される。このような切り分けた処理によって、処理負荷とテクスチャ感保存とを両立させた画像縮小が可能になる。また、表面法線が必要になる影以外の部分では、画素の輝度値から表面法線を推定するため、特別な機器を要することなく、撮像情報のみから、テクスチャ感が保存された画像縮小を実現することができる。

（第３の実施形態）
図７は本発明の第３の実施形態に係る画像変換方法を実現する構成例を示すブロック図である。本実施形態では、与えられた第１の画像ＩＩＮに対して、所定の画像変換として画像拡大を行い、第２の画像ＩＯＵＴを生成する。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。

第１の画像ＩＩＮは、拡散反射・鏡面反射分離部１１によって、鏡面反射成分ＳＲと拡散反射成分ＤＲとに分離される。拡散反射・鏡面反射分離部１１は、上述のステップＳ１と同様の処理を行う。例えば、図４に示す偏光性を用いた方法（非特許文献６を参照）を活用する。拡散反射成分ＤＲは影部検出部１２によって、影部ＳＰと影部以外ＮＳＰとに分離される。影部検出部１２は、例えば上述のステップＳ２〜Ｓ６と同様の処理を行う。影部ＳＰは輝度値補間部１３によって空間的に高密化される。画像合成部１４は、輝度値補間部１３の出力である輝度高密化画像ＬＤＩと、後述するパラメータ高密化画像ＩＰＤＩとを合成して、第２の画像ＩＯＵＴを生成する。パラメータ高密化画像ＩＰＤＩは、拡散反射成分の影部以外ＮＳＰと鏡面反射成分ＳＲとが空間的に高密化された画像である。

鏡面反射成分ＳＲと影部以外ＮＳＰは、画像特徴解析部１５によって画像特徴ベクトルＩＩＮＦＶに変換される。画像特徴解析部１５では、例えば、ウェーブレット変換等による空間応答特性を用いる。画像特徴ベクトルデータベース２１は、画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルを選定し、画像特徴ベクトル番号ＩＩＮＦＶＮとして出力する。照明方程式パラメータデータベース２２は、画像特徴ベクトル番号ＩＩＮＦＶＮを受けて、これに相当する照明方程式パラメータを原パラメータＩＩＮＬＥＰとして出力する。照明方程式としては例えば、
を用いる。ここで、Ｉａは環境光の輝度、ρａは環境光の反射率、Ｉｉは照明の輝度、ベクトルＮは表面法線ベクトル、ベクトルＬは光源方向を表わす光源ベクトル、ｄωは光源の立体角、ρｄは拡散反射成分の双方向反射率、ρｓは鏡面反射成分の双方向反射率、ｋｄは拡散反射成分比、ｋｓは鏡面反射成分比を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。

原パラメータＩＩＮＬＥＰは、パラメータ高密化部１６によって空間的に高密化される。例えば図８に示すように、照明方程式パラメータのうち、類似の値を持つ隣接画素を同質領域としてまとめ、同質領域内で照明方程式パラメータを高密化する。図８では、画素（黒丸で表す）の属性平均値がＰ１である同質領域ＡＥ１と、画素の属性平均値がＰ２である同質領域ＡＥ２とが隣接しており、その境界に位置する画素Ｓ１とＳ２の輝度差がエッジを形成している。図８（ａ）の分布を例えば２倍に画像拡大するためには、図８（ｂ）のように、画素の間に画素（白丸で表す）を挿入すればいい。挿入する画素の属性値は、例えば隣接する画素の属性平均値とする。またエッジを形成する画素Ｓ１と画素Ｓ２との間には、いずれかの属性値をそのままコピーして新たな画素Ｓ３を生成すればよい。図８（ｂ）では、画素Ｓ１の属性値を画素Ｓ３にコピーし、画素Ｓ２と画素Ｓ３との輝度差を図８（ａ）における画素Ｓ１と画素Ｓ２の輝度差に一致させる。これにより、高密化後においてもエッジは保存される。

ところで、原パラメータＩＩＮＬＥＰの中には表面法線ベクトルＮが含まれるが、これは、影部以外ＮＳＰの輝度値から表面法線算出部１９によって算出した推定表面法線ＥＮとほぼ同一になる。ただし、照明方程式パラメータデータベース２２はデータ容量の観点から離散的にデータを持つため、例えば（数１）に従って算出した推定表面法線ＥＮの方が、真値に対する誤差が小さいと考えられる。そこで、照明方程式パラメータのうち、表面法線ベクトルＮに関しては、原パラメータＩＩＮＬＥＰではなく、推定表面法線ＥＮを用いるのが好ましい。

パラメータ高密化部１６から出力された高密化パラメータＮＬＥＰは、画像生成部１７において輝度値に戻され、パラメータ高密化画像ＩＰＤＩとして出力される。そして、上述したとおり、輝度高密化画像ＬＤＩとパラメータ高密化画像ＩＰＤＩとが、画像合成部１４において合成されて、第２の画像ＩＯＵＴが得られる。

なお、画像縮小についても、輝度値補間に代えて、輝度値のサブサンプリングを行い、パラメータの高密化に代えて、パラメータの低密化を行うことによって、同様に実行可能となる。

（第４の実施形態）
本発明の第４の実施形態では、上述したような画像変換方法を、コンピュータグラフィックスにおけるテクスチャマッピングに適用する。

図９はレンダリング処理の主な流れを示すフローチャートである。レンダリング処理とは、コンピュータグラフィックスにおいて、コンピュータ内に生成した３次元モデルを２次元の画像データに変換する処理のことである（例えば非特許文献１のｐｐ．７９を参照）。図９に示すように、レンダリング処理は、視点と光源の設定Ｓ１０１、座標変換Ｓ１０２、陰面消去Ｓ１０３、シェーディングとシャドーイングＳ１０４、テクスチャマッピングＳ１０５、およびビューポート変換Ｓ１０６が、主なステップとなる。

まずステップＳ１０１において、視点ＶＡと光源ＬＳが設定されると、見え方が決まる。次にステップＳ１０２において、ローカル座標系で管理されていた各オブジェクトが正規座標系にまとめられ、ステップＳ１０３において、視点から見えない陰面部が削除される。そしてステップＳ１０４において、光源ＬＳからオブジェクトＯＡ、ＯＢへの光のあたり方が計算され、陰Ｓｈａｄｅと影Ｓｈａｄｏｗが生成される。

そして、ステップＳ１０５においてテクスチャマッピングを行い、オブジェクトＯＡ、ＯＢに対するテクスチャＴＡ、ＴＢを生成する。テクスチャは画像データとして取得するのが一般的であり、テクスチャ画像ＴＩＡをオブジェクトＯＡの形状に合わせて変形し、オブジェクトＯＡ上に合成する。同様に、テクスチャ画像ＴＩＢをオブジェクトＯＢの形状に合わせて変形し、オブジェクトＯＢ上に合成する。

本実施形態では、このテクスチャマッピングにおいて、上述したような画像変換を適用する。すなわち、まず、テクスチャ画像ＴＩＡ，ＴＩＢを、３次元ＣＧモデルのオブジェクトＯＡ，ＯＢに貼り付ける前処理を行う。そして、図２のフローに従って処理を行う。ステップＳ００では、２次元テクスチャ画像ＴＩＡ，ＴＩＢの光学パラメータと、オブジェクトＯＡ，ＯＢに貼り付けられたテクスチャ画像ＴＩＡ，ＴＩＢの各画素について、図３に示すようなパラメータを取得する。以降の処理は、第１の実施形態と同様である。

最後に、ステップＳ１０６において、ビューポート変換を行い、表示されるスクリーンＳＣＮまたはウィンドウＷＮＤに合わせた画像サイズの２次元画像を生成する。

ここで、レンダリング処理は、視点や光源の位置が変わるために実行する必要があり、ゲーム機器のようなインタラクティブシステムでは、頻繁にレンダリング処理が繰り返される。テクスチャマッピングでは通常、物体表面に貼り付けるテクスチャデータを画像として準備するので、視点や光源が変わると、そのたびに、テクスチャデータを拡大、縮小、回転、色換え等によって変換する必要がある。

上述したように、輝度値のみに基づいた画像変換では、テクスチャ感を保存して新たな画像を作ることが困難である。これに対して本実施形態のように、影部では輝度値を用いた補間やサブサンプリングを行い、影部以外では表面法線の補間やサブサンプリングを行うことによって、テクスチャ感を保存したまま、様々な視点や光源設定に応じたテクスチャマッピングを実現することができる。

以下、本発明を実現する構成例を例示する。

（第１の構成例）
図１０は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ１０１の解像度はディスプレイ１０２の解像度よりも低く、ディスプレイ１０２の表示能力を最大限に生かすために、メインメモリ１０３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ１０１で取り込まれた低解像度画像は画像メモリ１０４に記録される。外部記憶装置１０５には予め、光源ベクトルＬ、注目点の入射光の輝度Ｉｉ、被写体の拡散反射成分の双方向反射率ρｄ、およびハイライト部判定用閾値ＴＨＨが設定されており、メインメモリ１０３の画像変換プログラムから参照可能になっている。

画像変換プログラムによる処理は、第１の実施形態と同様であり、カメラ画像から影部を識別し、影部では輝度値を線形補間し、影部以外では表面法線を線形補間する。すなわち、メモリバス１０６を介して画像メモリ１０４の低解像度画像を読み込み、これをディスプレイ１０２の解像度に合わせて高解像度画像に変換し、再びメモリバス１０６経由でビデオメモリ１０７に転送する。ビデオメモリ１０７に転送された高解像度画像は、ディスプレイ１０２に表示される。

なお、本発明は図１０の構成に拘束されるものではなく、様々な構成をとることができる。例えば、光源ベクトルＬ、入射光の輝度Ｉｉ、被写体の拡散反射成分の双方向反射率ρｄは、計測器によって被写体から直接計測してもかまわない。また低解像度画像をネットワーク１０８から取得してもかまわない。また、外部記憶装置１０５にテクスチャデータを保持し、メインメモリ１０３において第４の実施形態で示したテクスチャマッピングを実行してもかまわない。

また、カメラ１０１の解像度がディスプレイ１０２の解像度よりも高い場合は、メインメモリ１０３にロードされた画像変換プログラムは、第２の実施形態で示したように画像縮小を行えばよい。また、カメラ１０１としては、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなど任意のタイプの撮像装置が適用できる。さらに、予め録画した映像を再生する再生装置においても、本発明を実現することができる。

（第２の構成例）
図１１は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ２０１の解像度はディスプレイ２０２の解像度よりも低く、ディスプレイ２０２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像拡大を実行する。

サーバー３０１では、影部識別部２０３が、第１の実施形態と同様の処理によって、入力画像としての第１の画像ＩＩＮの影部を識別し、影部の情報を含む影識別画像ＳＩＩＮを生成する。ここでの影識別画像ＳＩＩＮは例えば、影部を０、影部以外を１で表現した１ビット階調の画像である。そしてデータ送信部２０４が、ネットワーク２０６を介してクライアント３０２に、第１の画像ＩＩＮと影識別画像ＳＩＩＮを送信する。クライアント３０２では、本発明の第１の変換部および第２の変換部を含む画像生成部２０５が、第１の実施形態と同様の処理によって、受信した第１の画像ＩＩＮと影識別画像ＳＩＩＮから第２の画像としての拡大画像を生成し、ディスプレイ２０２に供給する。

なお、本発明は図１１の構成に拘束されるものではなく、カメラ２０１の解像度がディスプレイ２０２の解像度よりも高い場合は、第２の実施形態と同様に、画像生成部２０５が画像を縮小することも可能である。また、カメラ２０１としては、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなど任意のタイプの撮像装置が適用できる。さらに、予め録画した映像を再生する再生装置においても、本発明を実現することができる。

以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではない。

本発明では、処理負荷とテクスチャ感保存を両立させた画像変換が可能になるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。

影と輝度分布の関係を模式的に示す図である。 本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。 前提となる幾何条件と光学条件を示す概念図である。 表面法線ベクトルの計測手法の例を説明するための図である。 表面法線ベクトルの補正処理を概念的に示す図である。 本発明の第２の実施形態に係る画像変換方法を示すフローチャートである。 本発明の第３の実施形態に係る画像変換方法を実現する構成例を示すブロック図である。 パラメータを高密化する処理を示す図である。 本発明の第４の実施形態を説明するための図であり、レンダリング処理の流れを示す図である。 本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。 本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。 輝度値の線形補間と表面法線の線形補間との誤差を説明するための図である。 コントラスト感度の例を示す図である。

符号の説明

ＳＨ 影部
２０３ 影部識別部
２０５ 画像生成部
ＩＩＮ 入力画像（第１の画像）
ＳＩＩＮ 影識別画像

Claims (12)

1. 第１の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第２の画像を生成する方法であって、
   前記第１の画像において、影部を識別する第１のステップと、
   前記影部について、前記所定の画像変換の内容に応じて、画素の輝度値を用いた第１の変換処理を行う第２のステップと、
   前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行う第３のステップとを備え、
   前記第１のステップは、
   前記第１の画像について、表面法線パラメータを算出するステップと、
   被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、
   補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、
   算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備え、
   前記第２および第３のステップにおける処理結果を用いて、前記第２の画像を生成する
   ことを特徴とする画像変換方法。
2. 請求項１において、
   前記第１の画像を、拡散反射成分のみからなるように処理する前処理を備えた
   ことを特徴とする画像変換方法。
3. 請求項１において、
   前記所定の画像変換は、画像拡大であり、
   前記第１の変換処理は、輝度値を補間して画像を拡大する処理であり、
   前記第２の変換処理は、表面法線パラメータを補間して画像を拡大する処理である
   ことを特徴とする画像変換方法。
4. 請求項１において、
   前記所定の画像変換は、画像縮小であり、
   前記第１の変換処理は、輝度値をサブサンプリングして画像を縮小する処理であり、
   前記第２の変換処理は、表面法線パラメータをサブサンプリングして画像を縮小する処理である
   ことを特徴とする画像変換方法。
5. 請求項４において、
   前記第３のステップの前に、前記第１の画像の表面法線パラメータを、空間位置による変化が滑らかになるように、補正する処理を含む
   ことを特徴とする画像変換方法。
6. 請求項１において、
   前記表面法線パラメータとして、表面法線と光源方向とが成す角度を、用いる
   ことを特徴とする画像変換方法。
7. テクスチャ画像を、３次元ＣＧモデルのオブジェクトに貼り付ける前処理ステップと、
   前記オブジェクトに貼り付けられた前記テクスチャ画像において、影部を識別する第１のステップと、
   前記影部について、画像拡大または画像縮小である所定の画像変換の内容に応じて、画素の輝度値を用いた第１の変換処理を行う第２のステップと、
   前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行う第３のステップとを備え、
   前記第１のステップは、
   前記テクスチャ画像について、表面法線パラメータを算出するステップと、
   被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステッ プと、
   補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、
   算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備え、
   前記第２および第３のステップにおける処理結果を用いて、前記オブジェクトの画像を生成する
   ことを特徴とするテクスチャマッピング方法。
8. 第１の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第２の画像を生成する装置であって、
   前記第１の画像において、影部を識別する影部識別部と、
   前記影部識別部によって識別された影部について、前記所定の画像変換の内容に応じて、画素の輝度値を用いた第１の変換処理を行う第１の変換部と、
   前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行う第２の変換部とを備え、
   前記影部識別部は、
   前記第１の画像について、表面法線パラメータを算出する手段と、
   被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正する手段と、
   補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出する手段と、
   算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識する手段とを備え、
   前記第１および第２の変換部による処理結果を用いて、前記第２の画像を生成する
   ことを特徴とする画像変換装置。
9. 画像変換を行うサーバークライアントシステムであって、
   請求項８の影部識別部を有するサーバーと、
   請求項８の第１および第２の変換部を有するクライアントとを備えた
   ことを特徴とするサーバークライアントシステム。
10. 第１の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第２の画像を生成する方法をコンピュータに実行させるプログラムであって、
    前記第１の画像において、影部を識別する第１のステップと、
    前記影部について、前記所定の画像変換の内容に応じて、画素の輝度値を用いた第１の変換処理を行う第２のステップと、
    前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第２の変換処理を行う第３のステップと、
    前記第２および第３のステップにおける処理結果を用いて、前記第２の画像を生成する第４のステップとを
    コンピュータに実行させるものであり、
    前記第１のステップは、
    前記第１の画像について、表面法線パラメータを算出するステップと、
    被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、
    補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、
    算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備えたものである
    画像変換プログラム。
11. 画像において、影部を識別する影認識方法であって、
    前記画像について、表面法線パラメータを算出するステップと、
    被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、
    補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、
    算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備えたものである
    ことを特徴とする影認識方法。
12. 画像において、影部を識別する影認識装置であって、
    前記画像について、表面法線パラメータを算出する手段と、
    被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正する手段と、
    補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出する手段と、
    算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識する手段とを備えたものである
    ことを特徴とする影認識装置。