JP6516446B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、第１の情報を用いて第２の情報を高解像化する情報処理装置、情報処理方法、及びプログラムに関する。

近年、被写体の色情報以外の情報を取得する様々な方法が知られている。取得される情報の種類は、被写体までの距離を示す距離情報や被写体の形状を示す形状情報、双方向反射率分布関数（BRDF:Bidirectional Reflectance Distribution Function）等多種にわたる。

これらの多種な被写体情報の中には、高解像で取得することが困難な情報がある。例えば、距離情報を取得する方法として、複数の画像を用いて被写体の特徴点を抽出し、特徴点の対応関係から三角測量の原理を用いる方法が知られている。この方法では特徴点における距離情報のみが取得され、特徴点以外の領域では補間処理によって距離情報が推定される。そのため、解像度は特徴点の数に依存して低下する。

一方、取得した画像情報に対して高解像化処理を行う方法が提案されている。特許文献１では、解像度の異なる複数の画像を用いて、画像情報の高解像化処理を行う方法が開示されている。この方法では、低解像画像の注目画素に対応する高解像画像の画素を参照し、両者の画素値の差に応じて、高解像化処理時のフィルタリングの強度を変更している。

特許文献２では、距離センサを備えた原稿読み取り装置において、原稿の浮き上がりに起因する解像度低下を補正する方法が開示されている。この方法では、測定された距離に応じて画像に対するフィルタリング処理を変更している。

米国特許第７８８９９４９号明細書 特開２００７−２４３３４８号公報

しかしながら、特許文献１の方法は適用できる対象に制限がある。この方法は、低解像画像と高解像画像との間に、画像の全領域で十分な相関があることを前提にしている。この前提が満たされない場合は補正が過剰となり、不自然なアーティファクト（画像の乱れ）が発生してしまうことがある。従って、この方法が適切に機能するのは、計算量やデータ転送量を削減する目的で、高解像画像を低解像化した後に復元するようなケースに限定される。一方で、例えば高解像な色画像を用いて低解像な距離情報を高解像化するようなケースに対してこの方法を適用すると、画像間の相関が保証されないため上述の過補正の恐れがある。

特許文献２の方法を適用できるケースは、距離に応じて画像のぼけ量が変わることを利用しているため、距離情報を用いて画像情報を高解像化するという用途に限定される。従って、距離情報自体を高解像化することはできない。また、補正は単純なフィルタ補正であるため、失われた高周波成分を復元することはできず、補正効果に限界がある。

そこで本発明では、解像度の異なる多様な情報に対して適用可能な補正処理、具体的には高解像化処理に関する技術を提供することを目的とする。

本発明は、同一の被写体に対する、第１の被写体情報及び第２の被写体情報を取得する取得手段と、前記第１の被写体情報及び前記第２の被写体情報それぞれを、高周波成分と、低周波成分とに分解する周波数分解手段と、前記第２の被写体情報の少なくとも一部の領域について、前記周波数分解手段による処理の結果に基づき、前記第２の被写体情報を補正する補正手段とを備え、前記補正手段は、前記第２の被写体情報の少なくとも一部の領域について、前記第１の被写体情報の高周波成分に基づいて補正高周波成分を生成し、前記第２の被写体情報の低周波成分と前記補正高周波成分とを用いて、前記第２の被写体情報を復元する情報処理装置であって、前記第１の被写体情報の低周波成分と、前記第２の被写体情報の低周波成分との相関を計算することで、前記第１の被写体情報と前記第２の被写体情報との類似性を判定する判定手段を更に備え、前記補正手段は、前記相関が閾値以上である場合に、前記第１の被写体情報の高周波成分から補正高周波成分を生成して、前記第２の被写体情報の高周波成分とすることを特徴とする情報処理装置である。

本発明によれば、解像度の異なる多様な情報に対する高解像化処理が実行可能となる。

実施例１に係る処理の概念図 実施例１に係る情報処理装置のハードウェア構成を示すブロック図 実施例１に係る情報処理装置のソフトウェア構成を示すブロック図 実施例１に係る処理のフロー図 レベル２の離散ウェーブレット変換を示す模式図 レベル３の離散ウェーブレット変換を示す模式図 実施例２に係る撮像システムの構成図 実施例３に係る情報処理装置のソフトウェア構成を示すブロック図

以下、添付の図面を参照して、本発明をその好適な実施例に基づいて詳細に説明する。尚、以下の実施例において示す構成は例示に過ぎず、本発明は図示された構成に限定されるものではない。

［実施例１］（ウェーブレット変換を実行して低周波成分及び高周波成分を取得し、低周波成分に相関があれば高周波成分を補正する。）
（処理の概要）
図１は、本実施例に係る処理の概念図である。本実施例では、図１（ａ）に例示するような、同一被写体を撮像すること取得できる高解像度画像である色画像１０１と、低解像度画像である凹凸画像１０２とを取得する。そして、色画像１０１を用いた補正により凹凸画像１０２を高解像化する。図１（ｂ）において、画像１０３は凹凸画像１０２の一部の拡大図であり、画像１０４は色画像１０１の一部の拡大図であり、画像１０５は本実施例に係る処理後の凹凸画像の一部の拡大図である。図１（ｂ）から、本実施例に係る処理の結果、凹凸画像が高解像化していることが分かる。

（入力情報）
本実施例では、入力情報として、解像度が異なる２つの被写体情報を用いる。被写体情報とは、被写体の物理量を表すマップデータであり、領域毎にデータが配置されている。

本実施例では低解像情報として、公知の光切断法で取得した凹凸画像の凹凸情報を用いる。光切断法とは、対象物に投射されたスリット光の歪みをカメラ等で測定することにより対象の形状を取得する手法である。光切断法は、比較的低周波な形状変化は容易に取得できる手法だが、高周波な形状変化を取得するには膨大なスリット光データが必要となり、長い測定時間や装置の大型化を要する。そこで本実施例では、少数のスリット光データから低周波な形状変化のみを取得する。

高解像情報としては、一般的なカメラで撮像した色画像の色情報を用いる。近年のカメラは高解像度化が進んでおり、１回の撮像で高解像な色画像を簡易に取得できる。

（装置の構成）
図２は、本実施例に係る情報処理装置２００のハードウェア構成の一例を示すブロック図である。本実施例に係る情報処理装置２００とは、例えば、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３とを備えた装置であり、カメラやスキャナ等の凹凸情報を取得可能な装置に搭載される。

ＣＰＵ（Central Processing Unit）２０１は、プログラムを実行することで、図３の説明で後述するソフトウェアコンポーネントの機能を果たす。ＲＡＭ（Random Access Memory）２０２は、ＣＰＵ２０１がアクセス可能であり、プログラム実行に必要なメモリの確保先として利用される。ＲＯＭ（Read Only Memory）２０３には、図４の説明で後述する処理を実行する為のプログラムが格納されている。このプログラムはＲＡＭ２０２に展開されて、ＣＰＵ２０１により実行される。

図３は、本実施例に係る情報処理装置２００のソフトウェア構成を示すブロック図である。以下に説明する情報処理装置２００の各コンポーネントは、情報処理装置２００のＣＰＵ２０１が所定のプログラムを実行することにより実現される。

低解像情報取得部３０１は、低解像情報Ｉとして凹凸情報を取得し、取得した低解像情報Ｉを周波数分解部３０３に送る。高解像情報取得部３０２は、高解像情報Ｒとして色情報を取得し、取得した高解像情報Ｒを周波数分解部３０３に送る。

周波数分解部３０３は、低解像情報取得部３０１から送られた低解像情報Ｉと、高解像情報取得部３０２から送られた高解像情報Ｒとを取得し、低解像情報Ｉ及び高解像情報Ｒに対する周波数分解処理を行う。周波数分解処理の結果、低解像情報Ｉは、高周波成分Ｉ_Ｈと、低周波成分Ｉ_Ｌとに分解される。また、高解像情報Ｒは、高周波成分Ｒ_Ｈと、低周波成分Ｒ_Ｌとに分解される。周波数分解の方法としては、公知の離散ウェーブレット変換を用いる。離散ウェーブレット変換については、後で詳しく説明する。周波数分解部３０３は、低解像情報Ｉの低周波成分Ｉ_Ｌと、高解像情報Ｒの低周波成分Ｒ_Ｌとを低周波比較部３０４に送り、低解像情報Ｉの高周波成分Ｉ_Ｈと、高解像情報Ｒの高周波成分Ｒ_Ｈとを高周波補正部３０５に送る。また、周波数分解部３０３は、低解像情報Ｉの低周波成分Ｉ_Ｌを周波数統合部３０６に送る。

低周波比較部３０４は、周波数分解部３０３から送られた低周波成分Ｉ_Ｌ、Ｒ_Ｌを取得して両者を比較する。比較の結果、両者の相関が高い場合、低周波比較部３０４は、低周波成分Ｉ_Ｌ、Ｒ_Ｌを高周波補正部３０５に送る。低周波比較部３０４によって実行される処理の詳細は、後述する処理フローの説明の中で述べる。

高周波補正部３０５は、周波数分解部３０３から送られた高周波成分Ｉ_Ｈ、Ｒ_Ｈと、低周波比較部３０４から送られた低周波成分Ｉ_Ｌ、Ｒ_Ｌとを取得する。高周波補正部３０５は、低周波比較部３０４から取得した比較結果に基づいて、補正高周波成分Ｉ_Ｈ’を生成する。高周波補正部３０５によって実行される処理の詳細は、後述する処理フローの説明の中で述べる。

周波数統合部３０６は、周波数分解部３０３から送られた低周波成分Ｉ_Ｌと、高周波補正部３０５から送られた補正高周波成分Ｉ_Ｈ’とを取得し、これらを統合することで、補正情報Ｉ’を生成する。周波数統合の方法としては、公知の逆離散ウェーブレット変換を用いる。周波数統合部３０６は、生成した補正情報Ｉ’を出力する。

（処理のフロー）
以下、上述した機能構成を備えた本実施例に係る情報処理装置２００により実行される処理のフローについて、図４を用いて説明する。

まず、ステップＳ４０１（以下「ステップＳ４０１」を「Ｓ４０１」と略記し、他のステップも同様に略記する）では、周波数分解部３０３は、低解像情報取得部３０１から送られた低解像情報Ｉと、高解像情報取得部３０２から送られた高解像情報Ｒとを取得する。

次に、Ｓ４０２では、周波数分解部３０３は、低解像情報Ｉ及び高解像情報Ｒに対する周波数分解処理を行う。周波数分解の方法としては、公知の離散ウェーブレット変換を用いる。図５に、離散ウェーブレット変換の結果を表す模式図を示す。低解像情報Ｉは、高周波成分Ｉ_Ｈと、低周波成分Ｉ_Ｌとに分解される。高周波成分Ｉ_Ｈ及び低周波成分Ｉ_Ｌは夫々、波形の方向（即ち、水平方向、垂直方向、対角方向）に応じてＩ_Ｈ１、Ｉ_Ｈ２、Ｉ_Ｈ３及びＩ_Ｌ１、Ｉ_Ｌ２、Ｉ_Ｌ３に分けられる。高解像情報Ｒについても同様に分けられる。周波数分解部３０３は、低周波成分Ｉ_Ｌ１〜Ｉ_Ｌ３、Ｒ_Ｌ１〜Ｒ_Ｌ３を低周波比較部３０４に送り、高周波成分Ｉ_Ｈ１〜Ｉ_Ｈ３、Ｒ_Ｈ１〜Ｒ_Ｈ３を高周波補正部３０５に送る。

次に、Ｓ４０３では、低周波比較部３０４は、低周波成分Ｉ_Ｌ１、Ｒ_Ｌ１から局所領域に対応する成分を抽出する。図５には、局所領域に対応する成分の例として、破線枠で囲まれた局所領域に対応する成分Ｉ_Ｌ１（ｓ）と、Ｒ_Ｌ１（ｓ）とが示されている。ここでｓは、局所領域を特定するインデックスである。本実施例では、局所領域は矩形であり、その辺の長さは矩形であるＩ_Ｌ１領域の１辺の１／４としている。また、局所領域の初期位置は、Ｉ_Ｌ１領域の左上に一致している。

次に、Ｓ４０４では、低周波比較部３０４は、局所領域に対応する低周波成分Ｉ_Ｌ１（ｓ）と、局所領域に対応する低周波成分Ｒ_Ｌ１（ｓ）との相関を計算する。相関が高いほど、注目している局所領域において、同じ方向の低周波波形がより多く存在する。

次に、Ｓ４０５では、低周波比較部３０４は、計算した相関に対する閾値判定を行う。本実施例では、閾値Ｔは既定値として０．５に設定している。判定の結果、相関が閾値以上であれば、低周波比較部３０４は低周波成分Ｉ_Ｌ１（ｓ）、Ｒ_Ｌ１（ｓ）を高周波補正部３０５に送った後、Ｓ４０６へと進み、閾値未満であれば、Ｓ４０７へと進む。

Ｓ４０６では、高周波補正部３０５は、補正高周波成分Ｉ_Ｈ’（ｓ）を生成する。具体的には、まず、高解像情報Ｒの局所的な低周波成分Ｒ_Ｌ１（ｓ）に対応する高周波成分Ｒ_Ｈ１（ｓ）を抽出する。その後、Ｒ_Ｈ１（ｓ）を以下の（式１）で正規化したものを補正高周波成分Ｉ_Ｈ１’（ｓ）とする。
Ｉ_Ｈ１’（ｓ）＝Ｒ_Ｈ１（ｓ）×Ａｖｅ（Ｉ_Ｌ１）／Ａｖｅ（Ｒ_Ｌ１）・・・（式１）
ここで、Ａｖｅ（Ｒ_Ｌ１）及びＡｖｅ（Ｉ_Ｌ１）は夫々、Ｒ_Ｌ１、Ｉ_Ｌ１における信号値の平均値である。次いで、Ｓ４０７へと進む。

Ｓ４０７では、低周波比較部３０４は、注目している低周波成分における全ての局所領域について相関を評価したかを判定する。判定の結果、まだ評価していない領域がある場合、Ｓ４０８へと進み、低周波比較部３０４は、次の局所領域を抽出し、Ｓ４０４に戻って相関を計算する。一方、判定の結果、全ての領域を評価している場合、Ｓ４０９へと進む。

Ｓ４０９では、低周波比較部３０４は、全ての低周波成分について相関を評価したかを判定する。本実施例では説明簡易化のため離散ウェーブレット変換のレベルを２としたので、低周波成分は１段階しか存在しないが、レベルが３以上の場合には２段階以上の低周波成分が存在するので全ての低周波成分について評価を行う。判定の結果、まだ評価されていない低周波成分がある場合、Ｓ４１０へと進み、低周波比較部３０４は、次の低周波成分に注目し、Ｓ４０３に戻って局所領域を抽出する。一方、判定の結果、全ての低周波成分を評価している場合、Ｓ４１１へと進む。

Ｓ４１１では、高周波補正部３０５は、低解像情報Ｉの高周波成分Ｉ_Ｈを、補正高周波成分Ｉ_Ｈ’に置換する。ただし、相関が低く補正が行われなかった領域については、補正高周波成分Ｉ_Ｈ’として元の高周波成分Ｉ_Ｈをそのまま用いる。

次に、Ｓ４１２では、周波数統合部３０６は、低周波成分Ｉ_Ｌ及び補正高周波成分Ｉ_Ｈ’を統合し、補正情報Ｉ’を生成する。周波数統合の方法としては、公知の逆離散ウェーブレット変換を用いる。

次に、Ｓ４１３では、周波数統合部３０６は、補正情報Ｉ’を出力する。

以上で、低解像情報の高解像化に関する一連の処理が完了する。

（効果）
以上説明したように、本実施例によれば、低解像情報と、高解像情報との相関を局所領域毎に確認しながら低解像情報の高解像化処理を行うことが可能となる。そのため、従来技術とは異なり、相関の保証されない多様な情報に対しても高解像化処理を行うことが可能となる。

また、高解像情報Ｒを用いて低解像情報Ｉの補正高周波成分Ｉ_Ｈ’を生成するため、単純なフィルタ補正とは異なり、失われた高周波成分も復元することが可能となる。

（変形例）
尚、上で説明した例では、離散ウェーブレット変換のレベルを２としたが、離散ウェーブレット変換のレベルは３以上でも良い。その場合には、あるレベルの周波数成分を補正する際には、当該あるレベルより１レベル低い周波数成分の相関を評価する。図６にウェーブレット変換のレベルが３の場合の例を示す。図中の低周波数成分Ｉ_Ｌ１（ｓ）を補正するか否かは、１レベル低い周波数成分Ｉ_ＬＬ１（ｓ）と、Ｒ_ＬＬ１（ｓ）との相関に基づいて判定する。また、低周波とみなすレベル及び高周波とみなすレベルは任意に設定して良く、撮像対象や目的に応じて変更しても良い。

周波数分解の方法は離散ウェーブレット変換が好適であるが、これに限定されない。高周波成分と、低周波成分とを分離する任意の手法（フーリエ変換等）を使用可能である。また、相関の評価は低周波成分のみを用いて行うことが好適であるが、高周波成分を含めて評価しても良い。ただしその場合には、局所領域の抽出や周波数分解を行わない、低解像情報Ｉと、高解像情報Ｒとの相関を直接計算する形態となる。

また、相関を計算する際の局所領域のサイズは任意であり、例えば、低周波成分Ｉ_Ｌ１（ｓ）に対応する局所領域が低周波成分Ｉ_Ｌ１に対応する領域と一致していても良い。また、局所領域の形状は矩形に限定されない。局所領域を順次抽出していく際の領域決定方法は、任意の方法を使用して良い。局所領域同士が重複しないように局所領域を順次抽出しても良いし、重複を許して所定量ずつスライドさせて局所領域を順次抽出しても良い。Ｓ４０５で用いた閾値Ｔは任意に設定して良い。局所領域毎に閾値を変えてもよく、周波数毎に閾値を変えても良い。また、ユーザが閾値等の補正の程度を指定可能なユーザインターフェース（ＵＩ）を表示する表示手段を、情報処理装置２００が備えても良い。

低周波比較部３０４は、相関を計算することにより低解像情報の低周波成分と、高解像情報の低周波成分との類似性を判定する例を示したが、類似性の判定方法は相関評価に限定されない。複数の情報間の類似性を評価する任意の方法を使用可能である。

また、局所領域における低周波成分の類似性は注目する局所領域単独で評価せず、注目する局所領域周辺の局所領域の類似性判定の結果に応じて補正しても良い。

高周波補正部３０５が高解像情報Ｒの局所的な低周波成分Ｒ_Ｌ１（ｓ）に対応する高周波成分Ｒ_Ｈ１（ｓ）を抽出して正規化する例を示したが、正規化方法及び補正方法は上記の例に限定されず、公知のフィルタリングによる補正を使用しても良い。

上述の様々な設定は、撮像対象に応じて切り替えることが可能である。例えば、油絵撮像用の「油絵モード」をユーザが指定した場合には、予め複数の油絵について好適な補正となるよう設定されたパラメータ（ウェーブレット変換のレベル、局所領域のサイズ、閾値など）を用いて補正することが好適である。

［実施例２］（撮像方法を工夫して影が出るように撮像し、影画像を作成する。）
以下、実施例２について説明する。上述した実施例１では、高解像情報に低解像情報の高周波成分が含まれるという前提のもとで、補正高周波成分を生成して低解像情報を高解像化する例を示した。

しかしながら、高解像情報の取得条件によっては、高解像情報に低解像情報の高周波成分が含まれない場合がある。この場合、実施例１に示す形態では、低解像情報を十分に補正できない可能性がある。

そこで本実施例では、高解像情報に低解像情報の高周波成分が含まれるように、高解像情報取得の段階で考慮する例について説明する。特に具体例として、被写体が油絵のような凹凸を含む略平面の物体であるケースを例に挙げて説明する。尚、実施例１と共通する内容については、説明を簡易化又は省略する。

（入力情報）
本実施例では低解像情報として、実施例１と同様に公知の光切断法で取得した凹凸情報を用いる。高解像情報としては、後述する撮像システムにより撮像した複数の色画像から作成した影画像の影情報を用いる。

（撮像システムの構成）
図７は、本実施例に係る撮像システムの構成図である。回転ステージ７０１の中央部に、被写体７０２が設置されている。本実施例では、被写体７０２は、油絵のような凹凸を含む略平面の物体である。被写体７０２は、撮像装置７０３により撮像される。

回転ステージの周囲には照明装置７０４が設置されている。照明装置７０４は設置角度の異なる４つの照明を備える。４つの照明の夫々は、回転ステージ７０１の中心に対して２２．５度、４５度、６７．５度、９０度の角度になるよう配置される。また、照明装置７０４は、４つの照明を個別に点灯制御することが可能である。

本実施例では、回転ステージ７０１を５段階で（即ち７２度ずつ）回転させ、４つの照明のうちの何れかが点灯した状態で撮像する。従って、合計で２０（＝５×４）枚の撮像条件の異なる色画像が得られる。

（影領域の判定と抽出）
以下では、上記の２０枚の色画像から、低解像情報（凹凸情報）の高周波成分が含まれるような高周波情報（影情報）を生成する方法について述べる。

凹凸情報の高周波成分と相関の高い情報は、撮像条件の異なる画像から影となる領域の情報を抽出すること、即ち影画像を作成することで得られると考えられる。そこで、上記の２０枚の画像の各画素について画素値を比較し、輝度の差が閾値以上の画素を影領域とみなして抽出する。影領域と判定された画素には画素値１を割り当て、それ以外の画素には画素値０を割り当てることで、２値の影画像を作成する。このように影画像を作成することで、影情報を生成する。

生成した影情報は、実施例１で説明した情報処理装置２００に対し、高解像情報として入力する。低周波情報としては凹凸情報を入力する。

（効果）
以上説明したように、本実施例によれば、高解像情報が低解像情報の高周波成分を含むようにすることを目的に、高解像情報として、複数条件で撮像された色画像から作成した影画像の影情報を用いる。そのため、１条件で撮像された色画像の色情報を高解像情報として用いる場合に比べ、より好適な低解像情報の高解像化を実現できる。

（変形例）
尚、本実施例では影画像を２値画像としたが、多値画像としても良い。例えば、輝度の差を画素値として格納して良い。また、影領域の抽出方法も、上記のものに限定されない。例えば、画素毎に近傍画素との差分値を計算しておき、画像間で差分値の変化量が閾値以上となる画素を影領域とみなしても良い。

撮像する画像の枚数は２０枚に限らず任意の枚数で良い。また、撮像条件の変更方法は照明切り替えに限定されない。照明の移動、カメラの移動など任意の方法により撮像条件を変更することができる。

また、本実施例では、低解像情報として凹凸情報を用いたが、低解像情報として凹凸情報以外の情報を用いても良い。ただしその場合、影領域と判定された場合の画素抽出に限らず、低解像情報の種類に応じた領域抽出方法を使用する。

［実施例３］（入力される２つの情報は、同じ物理量を表す同一種類の情報でも良い。また、高周波成分の相関評価に基づいて低周波成分を補正しても良い。）
以下、実施例３について説明する。上述した実施例では、高解像な色情報や影情報を用いて低解像な凹凸情報を補正する例を示した。しかしながら、高解像情報及び低解像情報は、同じ物理量を表す情報であっても良い。また、低解像情報を用いて高解像情報の低周波成分を補正しても良い。

そこで実施例３では、２つの異なる測定方法で取得された解像度が異なる２つの凹凸情報について、低解像凹凸情報を用いて高解像凹凸情報の低周波成分を補正する例について説明する。尚、上述の実施例と共通の内容については、説明を簡易化又は省略する。

（装置の構成）
図８は、本実施例に係る情報処理装置２００のソフトウェア構成を示すブロック図である。以下に説明する情報処理装置２００の各コンポーネントは、情報処理装置２００のＣＰＵ２０１が所定のプログラムを実行することにより実現される。

低解像情報取得部８０１、高解像情報取得部８０２は、実施例１と同様である（図３参照）。

周波数分解部８０３は、低解像情報Ｉの高周波成分Ｉ_Ｈと、高解像情報Ｒの高周波成分Ｒ_Ｈとを高周波比較部８０４に送り、低解像情報Ｉの低周波成分Ｉ_Ｌと、高解像情報Ｒの低周波成分Ｒ_Ｌとを低周波補正部８０５に送る。また、周波数分解部８０３は、高解像情報Ｒの高周波成分Ｒ_Ｈを周波数統合部８０６に送る。

高周波比較部８０４は、周波数分解部８０３から送られた高周波成分Ｉ_Ｈ、Ｒ_Ｈを取得して両者を比較する。比較の結果、両者の相関が高い場合、高周波比較部８０４は、高周波成分Ｉ_Ｈ、Ｒ_Ｈを低周波補正部８０５に送る。低周波補正部８０５は、周波数分解部８０３から送られた低周波成分Ｉ_Ｌ、Ｒ_Ｌを取得し、高周波比較部８０４から取得した比較結果に基づいて、補正低周波成分Ｒ_Ｌ’を生成する。

周波数統合部８０６は、周波数分解部８０３から送られた高周波成分Ｒ_Ｈと、低周波補正部８０５から送られた補正低周波成分Ｒ_Ｌ’とを取得し、これらを統合することで、補正情報Ｒ’を生成する。周波数統合の方法としては、公知の逆離散ウェーブレット変換を用いる。

（入力情報）
本実施例では低解像情報として、実施例１と同様に公知の光切断法で取得した凹凸情報を用いる。高解像情報としては、実施例２で説明した撮像システムにより取得された影情報から推定された凹凸情報を用いる。即ち、低解像情報と同じ物理量（凹凸情報）を表す情報を、高解像情報として用いる。尚、影情報からの凹凸情報推定には、凹凸の高さが幾何関係（対象物、照明、撮像装置の位置関係）と、影画像とから推定できることを利用している。この影情報からの凹凸情報推定方法は、高周波成分を高速に取得可能である一方、低周波な凹凸については明確な影が発生しないため、低周波成分の取得が困難である。

（処理のフロー）
本実施例に係る処理フローは、実施例１における低解像情報と、高解像情報との関係を逆にしたものとなる。即ち、高周波比較部８０４が、高低周波成分Ｉ_H１、Ｒ_H１から局所領域に対応する成分を抽出し、局所領域に対応する成分Ｉ_Ｈ１（ｓ）と、Ｒ_Ｈ１（ｓ）との相関を計算する（図４参照）。

相関が閾値以上であれば、低周波補正部８０５が、補正低周波成分Ｒ_Ｌ’（ｓ）を生成する。具体的には、まず、低解像情報Ｉの局所的な高周波成分Ｉ_Ｈ１（ｓ）に対応する低周波成分Ｉ_Ｌ１（ｓ）を抽出する。その後、Ｉ_Ｌ１（ｓ）を正規化したものを補正低周波成分Ｒ_Ｌ１’（ｓ）とする。

周波数統合部８０６は、高周波成分Ｒ_Ｈ及び補正低周波成分Ｒ_Ｌ’を統合し、補正後情報Ｒ’を生成する

（効果）
以上説明したように本実施例によれば、高解像情報及び低解像情報が同じ物理量を表す情報である場合にも好適な補正が可能となる。また、低解像情報を用いて高解像情報の低周波成分を補正することができる。

［その他の実施例］
（使用する情報は、色情報と、凹凸情報とに限らない）
上述の実施例では、入力情報が色情報、影情報、凹凸情報である場合を例に挙げて説明したが、入力情報の種類はこれらに限定されない。例えば、低解像情報及び高解像情報の組み合わせとして、色情報と距離情報、色情報と光沢情報、光沢情報と凹凸情報等の組み合わせを使用して良い。また、色情報の代わりに輝度情報を使用しても良く、異なる物理量である２種類の情報の任意の組み合わせを使用することができる。光沢情報を取得するためには、実施例２で説明した撮像システムを用いて、照明とカメラとの幾何関係を変化させながら正反射光成分を取得する方法等を利用することができる。

（プログラム、記憶媒体など）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

情報処理装置・・・２００
低解像情報取得部・・・３０１
高解像情報取得部・・・３０２
周波数分解部・・・３０３
低周波比較部・・・３０４
高周波補正部・・・３０５
周波数統合部・・・３０６

Claims (11)

1. 同一の被写体に対する、第１の被写体情報及び第２の被写体情報を取得する取得手段と、
   前記第１の被写体情報及び前記第２の被写体情報それぞれを、高周波成分と、低周波成分とに分解する周波数分解手段と、
   前記第２の被写体情報の少なくとも一部の領域について、前記周波数分解手段による処理の結果に基づき、前記第２の被写体情報を補正する補正手段と
   を備え、
   前記補正手段は、前記第２の被写体情報の少なくとも一部の領域について、前記第１の被写体情報の高周波成分に基づいて補正高周波成分を生成し、前記第２の被写体情報の低周波成分と前記補正高周波成分とを用いて、前記第２の被写体情報を復元する情報処理装置であって、
   前記第１の被写体情報の低周波成分と、前記第２の被写体情報の低周波成分との相関を計算することで、前記第１の被写体情報と前記第２の被写体情報との類似性を判定する判定手段を更に備え、
   前記補正手段は、前記相関が閾値以上である場合に、前記第１の被写体情報の高周波成分から補正高周波成分を生成して、前記第２の被写体情報の高周波成分とすることを特徴とする情報処理装置。
2. 前記第１の被写体情報の高周波成分と、前記第２の被写体情報の高周波成分との相関を計算することで、前記第１の被写体情報と前記第２の被写体情報との類似性を判定する判定手段を更に備え、
   前記補正手段は、前記相関が閾値以上である場合に、前記第１の被写体情報の低周波成分から補正低周波成分を生成して、前記第２の被写体情報の低周波成分とすることを特徴とする請求項１に記載の情報処理装置。
3. 前記補正手段は、被写体情報の領域毎に、前記第２の被写体情報を補正することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第１の被写体情報及び前記第２の被写体情報は、異なる条件で測定された、同一の物理量を表す複数の被写体情報から生成された情報を含むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記第１の被写体情報及び前記第２の被写体情報は、色情報、輝度情報、影情報、凹凸情報、距離情報、及び光沢情報を含むことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. ユーザが補正の程度を指定可能なユーザインターフェースを表示する表示手段を更に備えることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記補正の程度は、被写体情報の領域毎に指定可能であることを特徴とする請求項６に記載の情報処理装置。
8. 前記閾値は、被写体情報の周波数毎に設定される請求項３に記載の情報処理装置。
9. 前記閾値は、被写体情報の領域毎に設定される請求項３に記載の情報処理装置。
10. 同一の被写体に対する、第１の被写体情報及び第２の被写体情報を取得する取得ステップと、
    前記第１の被写体情報及び前記第２の被写体情報それぞれを、高周波成分と、低周波成分とに分解する分解ステップと、
    前記第２の被写体情報の少なくとも一部の領域について、前記分解ステップによる処理の結果に基づき、前記第２の被写体情報を補正する補正ステップと
    を備え、
    前記補正ステップにおいて、前記第２の被写体情報の少なくとも一部の領域について、前記第１の被写体情報の高周波成分に基づいて補正高周波成分を生成し、前記第２の被写体情報の低周波成分と前記補正高周波成分とを用いて、前記第２の被写体情報を復元する情報処理方法であって、
    前記第１の被写体情報の低周波成分と、前記第２の被写体情報の低周波成分との相関を計算することで、前記第１の被写体情報と前記第２の被写体情報との類似性を判定する判定ステップを更に備え、
    前記補正ステップにおいて、前記相関が閾値以上である場合に、前記第１の被写体情報の高周波成分から補正高周波成分を生成して、前記第２の被写体情報の高周波成分とすることを特徴とする情報処理方法。
11. コンピュータに請求項１０に記載の方法を実行させるためのプログラム。