JP4400808B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4400808B2 JP4400808B2 JP2000275034A JP2000275034A JP4400808B2 JP 4400808 B2 JP4400808 B2 JP 4400808B2 JP 2000275034 A JP2000275034 A JP 2000275034A JP 2000275034 A JP2000275034 A JP 2000275034A JP 4400808 B2 JP4400808 B2 JP 4400808B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- target object
- shape
- association
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 63
- 238000000034 method Methods 0.000 title claims description 43
- 239000013598 vector Substances 0.000 claims description 45
- 238000005259 measurement Methods 0.000 claims description 30
- 230000000694 effects Effects 0.000 claims description 22
- 238000003702 image correction Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 description 18
- 238000002156 mixing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 235000019646 color tone Nutrition 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、測定対象物体の光源による影響を補正することができるようにした画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
いわゆる２次元画像（普通の写真など）が複数毎あった場合に、その隣接する画像をつなぎ合わせる技術は、モザイク処理と呼ばれる。一般に、複数枚の画像を利用して画像のモザイク処理を行う場合、予め、それぞれの画像全体の濃淡や色調が可能な限り一致される。その後、隣接する画像が接合される境界部において、色調の変化が不連続にならないように、接合点周辺で濃度のブレンディング（融合）が施される。
【０００３】
それぞれの画像全体の濃淡や色調を一致させる方法としては、系統的な補正方法がいくつかある。濃淡や色調の差を補正する方法としては、例えば、隣接する画像の重複部分のヒストグラムがなるべく一致するように、一方の画像の色調を変換するヒストグラム一致法と呼ばれるものや、あるいは、重複する部分の画素間に、線型変換が成り立つものと考えられる場合の補正方法で、最小２乗法などにより線型関係を求めて色調を変換する線型濃淡変換法と呼ばれるものがある。なお、これらについての詳細は、例えば、「“画像処理標準テキストブック”画像情報教育振興協会」などに記載されている。
【０００４】
また、接合点付近でのブレンディングとしては、重なり合う部分のデータの濃度が大きく変化しないように、αブレンディングなどの方法が用いられる。この方法では、接合点の両側の所定の区間に渡って濃度が比例配分される。
【０００５】
αブレンディングにおいては、例えば、濃淡の違いによってそのブレンド幅が変化されたり、あるいは、周波数の帯域毎にブレンディングが行われる。なお、これらについての詳細は、例えば、「Peter j.Burt and Edward H.Adelson,“A Multiresolution Spline With Application to Image Mosaics”,ACM Transactions on Graphics,Vol.2.NO.4,October 1983,Pages 217-236」などに記載されている。
【０００６】
【発明が解決しようとする課題】
ところで、ヒストグラム一致法や線型濃淡変換法などを、３次元センシングで得られたテクスチャ（画像）に用いた場合、物体と照明の関係などが全く考慮されていないため、テクスチャのマージ（接合）を行う際に、継ぎ目の部分における色調のつながりの不自然さを取り除くことができない。
【０００７】
また、αブレンディング法の場合、接合付近において、ある程度の色調の差を埋めることはできるが、測定装置や照明を固定し、対象物体を移動させながら撮影を行う場合などには対応できない。すなわち、継ぎ目の部分における色調のつながりの補正を行うことはできても、照明に起因するバラツキを補正することはできない。
【０００８】
そこで、２次元画像を対象とするモザイク処理とは別に、３次元モデルを画像として再現するための画像処理方法として、例えば、Model-Based Rendering（MBR）やImage-Based Rendering（IBR）と呼ばれるものがある。このIBRは、実際に対象物体を撮影した実画像を直接的に利用することで、写実的な画像を生成することができる。
【０００９】
しかしながら、IBRの多くは、視点位置の変化に伴う幾何的な見え方の変化のみを取り扱っているため、光源変化に伴う見え方の変化とは、本質的に異なり、従来の２次元画像を対象とするモザイク処理をそのまま適用することは難しい。
【００１０】
そこで、光源方向の異なる複数の実画像を入力とし、これらを適切に組み合わせることで、任意の光源方向の画像を生成するPhotometric Image-Based Renderingと呼ばれる方法がある。なお、これについての詳細は、例えば、「三橋貞彦 宮木一 向川康博 尺長健,“任意光源画像生成のためのPhotometric Image-Based Rendering”,信学技報 PRMU-98-125,pp17-24 November 1998」に記載されている。
【００１１】
しかしながら、この方法では、複数の光源を用いることができない。そのため、複数の光源下でのモデルデータを作成することは難しい。
【００１２】
このように、従来より提案されている方法では、対象物体を回転して、複数の角度から撮影すると、光の当り方向が変化するため、各方向からの画像中の対象物体の陰影にバラツキが生じる課題があった。
【００１３】
また、上述した以外の方法としては、例えば、物体を撮影した環境を、カメラなどを使用して撮影し、光源を完全に再現する方法などが提案されている。なお、これについての詳細は、例えば、「佐藤いまり 佐藤洋一 池内克史,“光学的整合性を考慮した実画像への仮想物体の重ね込み”第３回知能情報メディアシンポジウム,23-32,December 1997」に記載されている。
【００１４】
しかしながら、この方法では、魚眼レンズやCCD（Charge Coupled Device）カメラなどの高価な部品を必要とする課題があった。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、低コストで、かつ、高精度に、光源による影響を取り除いて、対象物体の補正画像を作成することができるようにするものである。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、対象物体の形状を測定する形状測定手段と、対象物体の画像を撮像する撮像手段と、形状測定手段により測定された対象物体の形状から対象物体法線ベクトルを作成する作成手段と、作成手段により作成された対象物体法線ベクトルと、参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付け手段と、対応付け手段による対応付けに基づいて、対象物体の画像を補正する画像補正手段とを備え、対応付け手段は、対象物体法線ベクトルと、参照物体法線ベクトルの画素値から、法線方向が対応する参照物体の画像の画素値を求めることにより対応付けを行い、画像補正手段は、対象物体の画像の画素値を、対応付け手段により求められた法線方向が対応する参照物体の画像の画素値で除算することにより、対象物体の画像を補正する。
【００１７】
本発明の第１の画像処理装置は、画像補正手段により補正された対象物体の画像に、光源影響を付加する光源影響付加手段と、光源影響付加手段により光源影響が付加された画像を出力する画像出力手段とをさらに設けるようにすることができる。
【００１８】
作成手段は、撮像手段により撮像された対象物体の画像の各画素における法線方向を求めることにより、対象物体法線ベクトルを作成するようにすることができる。
【００２１】
本発明の画像処理方法は、対象物体の形状を測定する形状測定ステップと、対象物体の画像を撮像する撮像ステップと、形状測定ステップの処理により測定された対象物体の形状から対象物体法線ベクトルを作成する作成ステップと、作成ステップの処理により作成された対象物体法線ベクトルと、参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付けステップと、対応付けステップの処理による対応付けに基づいて、対象物体の画像を補正する画像補正ステップとを含み、対応付けステップの処理においては、対象物体法線ベクトルと、参照物体法線ベクトルの画素値から、法線方向が対応する参照物体の画像の画素値を求めることにより対応付けが行われ、画像補正ステップの処理においては、対象物体の画像の画素値を、対応付けステップの処理により求められた法線方向が対応する参照物体の画像の画素値で除算することにより、対象物体の画像が補正される。
【００２２】
本発明の記録媒体に記録されているプログラムは、対象物体の形状の測定結果を取得する第１の取得ステップと、対象物体の画像を取得する第２の取得ステップと、第１の取得ステップの処理により取得された対象物体の形状から法線ベクトルを作成する作成ステップと、作成ステップの処理により作成された対象物体の対象物体法線ベクトルと、参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付けステップと、対応付けステップの処理による対応付けに基づいて、対象物体の画像を補正する画像補正ステップとを含み、対応付けステップの処理においては、対象物体法線ベクトルと、参照物体法線ベクトルの画素値から、法線方向が対応する参照物体の画像の画素値を求めることにより対応付けが行われ、画像補正ステップの処理においては、対象物体の画像の画素値を、対応付けステップの処理により求められた法線方向が対応する参照物体の画像の画素値で除算することにより、対象物体の画像が補正される。
【００２３】
本発明の画像処理装置および方法、並びに記録媒体に記録されているプログラムにおいては、対象物体の形状が測定され、測定された対象物体の形状から対象物体法線ベクトルが作成され、作成された対象物体法線ベクトルと、参照物体の形状から得られた参照物体法線ベクトルの対応付けが行われ、その対応付けに基づいて、対象物体の画像が補正される。また、対象物体法線ベクトルと、参照物体法線ベクトルの画素値から、法線方向が対応する参照物体の画像の画素値を求めることにより対応付けが行われ、対象物体の画像の画素値が、法線方向が対応する参照物体の画像の画素値で除算することにより、対象物体の画像が補正される。
【００３２】
【発明の実施の形態】
図１は、本発明を適用した第１の実施の形態の原理について説明する図である。この原理の場合、対象物体１を撮影した画像から光源の影響が取り除かれた後、新規光源下の補正画像が作成される。
【００３３】
対象物体１は、測定の対象になる物体である。参照物体２は、その形状や画像が既知であり、光源３の状態を知るために、対象物体１と同じ光源３下で撮影される物体である。光源３は、対象物体１を照明するための光源であり、複数個で構成することも可能である。画像処理装置４は、対象物体１の画像を撮影し、光源３の影響を補正する。
【００３４】
図２は、本発明を適用した画像処理装置４の第１の実施の形態の構成例を示している。
【００３５】
三次元形状測定部１１は、例えば、レーザレンジファインダやステレオカメラなどで構成され、光源３からの光により照明された対象物体１の形状を測定することにより、対象物体形状データを得る。三次元形状測定部１１はまた、得られた対象物体形状データから、対象物体法線データを作成する。
【００３６】
画像測定部１２は、対象物体１および参照物体２を撮影することにより、対象物体画像データおよび参照物体画像データを得る。
【００３７】
画像補正処理部１３は、三次元形状測定部１１より供給された対象物体形状データ、並びに、画像測定部１２より供給された対象物体画像データおよび参照物体画像データに基づいて、画像測定部１２で測定された対象物体画像データを補正することにより、対象物体１の対象物体補正画像データを得る。
【００３８】
画像出力部１４は、例えば、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などで構成され、画像補正処理部１３より供給された対象物体補正画像データを出力（表示）する。
【００３９】
図３は、画像補正処理部１３の詳細な構成例を示している。
【００４０】
対象物体テクスチャマッピング部２１は、画像測定部１２より供給された対象物体画像データと、三次元形状測定部１１より供給された対象物体形状データのテクスチャマッピングを行う。これにより、対象物体画像データと対象物体形状データの対応が取られる。
【００４１】
参照物体テクスチャマッピング部２２は、画像測定部１２より供給された参照物体画像データと、記憶部２３に予め記憶されている参照物体２の形状モデル（以下、参照物体形状モデルと記載する）のテクスチャマッピングを行う。これにより、参照物体画像データおよび参照物体形状モデルの対応が取られる。
【００４２】
なお、参照物体形状モデルは、記憶部２３に予め記憶されているが、例えば、画像測定部１２において参照物体画像データが測定される際に、三次元形状測定部１１により、同時に形状データの測定を行うことにより、参照物体２の形状データを得て、記憶部２３に記憶するようにしても良い。
【００４３】
法線対応付け部２４は、三次元形状測定部１１で作成された対象物体１の対象物体法線データと、記憶部２３より読み出した参照物体２の参照物体法線データを比較し、同じ方向またはほぼ同じ方向（対応する方向）を持つ法線同士の対応付けを行う。
【００４４】
対象物体１の対象物体法線データは、対象物体テクスチャマッピング部２１により、対象物体画像データと対象物体形状データの対応が取られているので、対象物体画像データの各画素における法線方向を求めることにより得られる。参照物体２の参照物体法線データは、参照物体テクスチャマッピング部２２により、参照物体画像データおよび参照物体形状モデルの対応が取られているので、参照物体画像データの各画素における法線方向を求めることにより得られる。
【００４５】
光源影響除去部２５は、法線対応付け部２４での対応付けに基づいて、画像測定部１２より供給された対象物体画像データの各画素において、法線方向が同じかまたはほぼ同じになる（対応する）参照物体画像データの画素値を求めた後、対象物体画像データの画素値を、法線方向が対応する参照物体画像データの画素値で除算することにより、対象物体光源影響除去画像データを求める。
【００４６】
補正光源影響付加部２６は、三次元形状測定部１１より供給された対象物体形状データに、補正光源モデルを用いて光源影響を付加した後、光源影響除去部２５より供給された対象物体光源影響除去画像データを乗算することにより、対象物体補正画像データを求める。なお、補正光源モデルは、光源影響を考慮して予め設定された新規光源である。
【００４７】
図４は、図３の画像補正処理部１３の機能を実現するハードウェアの電気的構成例を示すブロック図である。
【００４８】
CPU（Central Processing Unit）３１は、各ブロックを制御する。ROM（Read only Memory）３３は、IPL（Initial Program Loading）のプログラムなどを記憶している。RAM（Random Access Memory）３４は、CPU３１が処理を行うためのプログラムや、CPU３１の動作上必要なデータを記憶する。
【００４９】
入力デバイスコントローラ３７は、キーボード３５、および、マウスなどよりなるポインティングデバイス３６を制御する。ユーザにより、これらのキーボード３５またはポインティングデバイス３６が用いられると、入力デバイスコントローラ３７およびバス３２を介して、CPU３１に各種の指令が入力される。
【００５０】
ビデオコントローラ３８は、CPU３１の制御の下、VRAM（Video RAM）３９を用いて、モニタとしての画像出力部１４の表示を制御する。VRAM３９は、画像出力部１４が表示する画像データを一時記憶する。すなわち、表示すべき画像データは、ビデオコントローラ３８を介してVRAM３９に書き込まれ、ビデオコントローラ３８が、VRAM３９に記憶された画像データを読み出して、画像出力部１４に供給することにより、画像が表示される。
【００５１】
ストレージコントローラ４０は、例えば、HD（ハードディスク）やFD（フロッピィディスク）などの磁気ディスク５１、ミニディスク（商標）などの光磁気ディスク５２、CD-ROM（Compact Disc ROM）などの光ディスク５３、ROMやフラッシュメモリなどの不揮発性メモリ５４に対するアクセスを制御する。磁気ディスク５１、光磁気ディスク５２、光ディスク５３、および不揮発性メモリ５４は、データを記憶しており、これらのデータは、CPU３１により、ストレージコントローラ４０を介して読み出される。なお、磁気ディスク５１などには、CPU３１が上述したような処理を行うためのプログラムなども記憶されている。
【００５２】
通信コントローラ４１は、電波や赤外線などによる無線通信、およびイーサネット（商標）などによる有線の通信を制御する。例えば、各種の画像データ、CPU３１が各種の処理を行うためのプログラムなどは、この通信コントローラ４１を介して通信を行うことにより、外部の装置から取得することも可能になっている。
【００５３】
CPU３１，ROM３３,RAM３４、入力デバイスコントローラ３７、ビデオコントローラ３８、ストレージコントローラ４０、および通信コントローラ４１は、バス３２を介して相互に接続されている。
【００５４】
次に、対象物体１および参照物体２が光源３により照明されたときの輝度について説明する。なお、光源３は、無限遠にある点光源であり、複数個であってもよい。
【００５５】
対象物体１は、鏡面反射成分を含まない完全拡散反射モデルに従う物体であるとする。この対象物体１の輝度は、次式（１）で表される。
【数１】
【００５６】
ここで、Ｉtex（ｐ）は、対象物体１の表面上の点ｐにおける輝度（対象物体画像データ）を表し、ｋtex（ｐ）は、点ｐにおける物体色（オリジナルの色）（対象物体光源影響除去画像データ）を表し、Ｎtex（ｐ）は、法線方向ベクトル（対象物体法線データ）を表し、Ｓiは、光源方向ベクトル（光源３）を表している。
【００５７】
参照物体２は、完全拡散反射モデルに従う物体で、かつ、均一な白い球体であるとする。この参照物体２の輝度は、次式（２）で表される。
【数２】
【００５８】
ここで、Ｉball（ｑ）は、参照物体２の表面上の点ｑにおける輝度（参照物体画像データ）を表し、Ｎball（ｑ）は、法線方向ベクトル（参照物体法線データ）を表し、Ｓiは、光源方向ベクトル（光源３）を表している。なお、ｋball（ｑ）は、点ｑにおける物体色（いまの場合、白色）を表しているが、その値は１であるので略記されている。
【００５９】
次に、図５のフローチャートを参照して、画像処理装置４が実行する、対象物体補正画像データ作成処理について説明する。
【００６０】
ステップＳ１において、画像測定部１２は、光源３により照明されている対象物体１を撮影することにより、対象物体画像データを取り込む。ステップＳ２において、三次元形状測定部１１は、光源３により照明されている対象物体１の形状を測定することにより、対象物体形状データを取り込む。
【００６１】
ステップＳ３において、対象物体テクスチャマッピング部２１は、ステップＳ１の処理で取り込まれた対象物体画像データと、ステップＳ２の処理で取り込まれた対象物体形状データのテクスチャマッピングを行うことにより、対象物体画像データと対象物体形状データの対応付けを行う。
【００６２】
ステップＳ４において、三次元形状測定部１１は、ステップＳ２の処理で取り込まれた対象物体形状データから、対象物体法線データを作成する。すなわち、三次元形状測定部１１は、対象物体画像データの各画素における法線方向を求めることにより、対象物体法線データを作成する。
【００６３】
ステップＳ５において、画像測定部１２は、光源３により照明されている参照物体２を撮影することにより、参照物体画像データを取り込む。ステップＳ６において、参照物体テクスチャマッピング部２２は、ステップＳ５の処理で取り込まれた参照物体画像データと、記憶部２３に予め記憶されている参照物体形状モデルのテクスチャマッピングを行うことにより、参照物体画像データと参照物体形状モデルの対応付けを行う。
【００６４】
ステップＳ７において、法線対応付け部２４は、ステップＳ４の処理で作成された対象物体法線データと、記憶部２３より読み出した参照物体２の法線データを比較し、対応する方向を持つ法線同士の対応付けを行う。すなわち、法線対応付け部２４は、上記式（１）と式（２）における法線方向ベクトルが対応する方向を向いているような、次式（３）の関係が成り立つ法線方向ベクトルを求める。
【数３】
【００６５】
ステップＳ８において、光源影響除去部２５は、ステップＳ７の処理での対応付けに基づいて、対象物体画像データの各画素において、法線方向ベクトルが対応する参照物体画像データの画素値を求めた後、対象物体画像データの画素値を、法線方向が対応する参照物体画像データの画素値で除算することにより、対象物体光源影響除去画像データを作成する。すなわち、光源影響除去部２５は、次式（４）に従って、対象物体光源影響除去画像データを算出する。
【数４】
【００６６】
ステップＳ９において、補正光源影響付加部２６は、ステップＳ２の処理で取り込まれた対象物体形状データに補正光源モデルを用いて光源影響を付加した後、ステップＳ８の処理で作成された対象物体光源影響除去画像データを乗算することにより、対象物体補正画像データを作成する。すなわち、補正光源影響付加部２６は、次式（５）に従って、対象物体補正画像データを算出する。
【数５】
【００６７】
ここで、Ｉnew（ｐ）は、対象物体１の表面上の点ｐにおける補正後の輝度を表し、Ｓnewｉは、補正光源モデル（新規光源）の光源方向ベクトルを表している。
【００６８】
以上により、画像補正処理部１３において、一度撮影された対象物体１のテクスチャから光源による影響を取り除くことができるため、撮影時とは全く異なった新規の光源下のテクスチャを作成することが可能になる。また、撮影時の照明環境を再現することも可能となる。
【００６９】
図６は、本発明を適用した第２の実施の形態の原理について説明する図である。なお、図中、図１における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。この原理の場合、対象物体１を撮影した複数の画像から光源の影響が取り除かれた後、画像合成が行われ、新規光源下の補正画像が作成される。
【００７０】
図７は、この第２の実施の形態の場合の画像処理装置の構成例を示している。なお、図中、図２における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。この構成例の場合、画像補正処理部１３の代わりに再構築処理部６１が設けられ、その他の構成は、図２に示した例と同様である。
【００７１】
三次元形状測定部１１は、対象物体１を回転または移動させて、複数の方向から、対象物体１の形状を測定することにより、対象物体形状データを得る。画像測定部１２は、対象物体１を回転または移動させて、複数の方向から、対象物体１の画像を撮影することにより、対象物体画像データを得るとともに、参照物体２を撮影することにより、参照物体画像データを得る。
【００７２】
再構築処理部６１は、三次元形状測定部１１より供給された複数の対象物体形状データ、並びに、画像測定部１２より供給された複数の対象物体画像データおよび参照物体画像データに基づいて、画像測定部１２で測定された対象物体画像データの補正を行うことにより、対象物体１の再構築データを得る。
【００７３】
画像出力装置１４は、再構築処理部６１より供給された再構築データを出力（表示）する。なお、画像出力装置１４は、ユーザによりマウスなどが操作され、再構築データを回転または移動させて表示することも可能である。
【００７４】
図８は、再構築処理部６１の詳細な構成例を示している。なお、図中、図３における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。この構成例の場合、対象物体テクスチャマッピング部２１の代わりに再構築物体テクスチャマッピング部７２が設けられるとともに、新たに形状再構築部７１および画像ブレンディング部７３が設けられ、その他の構成は、図３に示した例と同様である。
【００７５】
形状再構築部７１は、三次元形状測定部１１より供給される複数の対象物体形状データの位置合わせおよび貼り合わせを行うことにより、再構築形状データを得る。位置合わせの方法としては、例えば、ICP（Iterative Closest Point）法が用いられる。貼り合わせの方法としては、例えば、Volume法が用いられる。
【００７６】
再構築物体テクスチャマッピング部７２は、画像測定部１２より供給された複数の対象物体画像データと、形状再構築部７１より供給された再構築形状データのテクスチャマッピングを行う。これにより、複数の対象物体画像データと再構築形状データの対応が取られる。
【００７７】
法線対応付け部２４は、形状再構築部７１より供給される再構築形状データから得られた対象物体１の再構築形状法線データと、記憶部２３より読み出した参照物体形状モデルから得られた参照物体２の参照物体法線データを比較し、上記式（３）に従って、対応する方向を持つ法線同士の対応付けを行う。
【００７８】
対象物体１の再構築形状法線データは、再構築物体テクスチャマッピング部７２により、複数の対象物体画像データと再構築形状データの対応が取られているので、対象物体画像データの各画素における法線方向を求めることにより得られる。
【００７９】
光源影響除去部２５は、法線対応付け部２４での対応付けに基づいて、画像測定部１２より供給された複数の対象物体画像データの各画素において法線方向が対応する、参照物体画像データの画素値を求めた後、上記式（４）に従って、複数の対象物体画像データの画素値を、法線方向が対応する参照物体画像データの画素値で除算することにより、複数の対象物体光源影響除去画像データを求める。
【００８０】
画像ブレンディング部７３は、光源の影響が取り除かれた、複数の対象物体光源影響除去画像データをブレンド（混合）することにより、ブレンディング画像データを作成する。
【００８１】
補正光源影響付加部２６は、形状再構築部７１より供給された再構築形状データに、補正光源モデルを用いて光源影響を付加した後、上記式（５）に従って、画像ブレンディング部７３より供給されたブレンディング画像データを乗算することにより、再構築データを求める。
【００８２】
以上のように、複数方向から撮影された対象物体の形状や画像（テクスチャ）をマージする場合、対象物体の光源による影響を取り除いた画像を得ることができるため、テクスチャの継ぎ目を発生させることなくマージすることができる。
【００８３】
また、以上においては、魚眼レンズやCCDカメラなどの高価な部品を使用せずに、低コストで、光源による影響を取り除いて、対象物体の補正画像を作成することができる。
【００８４】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８５】
この記録媒体は、図３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５１（フロッピディスクを含む）、光磁気ディスク５２（MD（Mini-Disk）を含む）、光ディスク５３（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、もしくは不揮発性メモリ５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３３や、記憶部２３などで構成される。
【００８６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８７】
【発明の効果】
本発明の画像処理装置および方法、並びに記録媒体に記録されているプログラムによれば、対象物体の画像から光源による影響を取り除いて、補正画像を作成することができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態の原理について説明する図である。
【図２】本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【図３】図２の画像補正処理部の詳細な構成例を示すブロック図である。
【図４】図３の画像補正処理部の機能を実現するハードウェアの電気的構成例を示すブロック図である。
【図５】対象物体補正画像データ作成処理を説明するフローチャートである。
【図６】本発明を適用した第２の実施の形態の原理について説明する図である。
【図７】本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図８】図７の再構築処理部の詳細な構成例を示すブロック図である。
【符号の説明】
１ 対象物体， ２ 参照物体， ３ 光源， ４ 画像処理装置， １１ 三次元形状測定部， １２ 画像測定部， １３ 画像補正処理部， １４ 画像出力部， ２１ 対象物体テクスチャマッピング部， ２２ 参照物体テクスチャマッピング部， ２３ 記憶部， ２４ 法線対応付け部， ２５ 光源影響除去部， ２６ 補正光源影響付加部， ６１ 再構築処理部， ７１ 形状再構築部， ７２ 再構築物体テクスチャマッピング部， ７３ 画像ブレンディング部
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、測定対象物体の光源による影響を補正することができるようにした画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
いわゆる２次元画像（普通の写真など）が複数毎あった場合に、その隣接する画像をつなぎ合わせる技術は、モザイク処理と呼ばれる。一般に、複数枚の画像を利用して画像のモザイク処理を行う場合、予め、それぞれの画像全体の濃淡や色調が可能な限り一致される。その後、隣接する画像が接合される境界部において、色調の変化が不連続にならないように、接合点周辺で濃度のブレンディング（融合）が施される。
【０００３】
それぞれの画像全体の濃淡や色調を一致させる方法としては、系統的な補正方法がいくつかある。濃淡や色調の差を補正する方法としては、例えば、隣接する画像の重複部分のヒストグラムがなるべく一致するように、一方の画像の色調を変換するヒストグラム一致法と呼ばれるものや、あるいは、重複する部分の画素間に、線型変換が成り立つものと考えられる場合の補正方法で、最小２乗法などにより線型関係を求めて色調を変換する線型濃淡変換法と呼ばれるものがある。なお、これらについての詳細は、例えば、「“画像処理標準テキストブック”画像情報教育振興協会」などに記載されている。
【０００４】
また、接合点付近でのブレンディングとしては、重なり合う部分のデータの濃度が大きく変化しないように、αブレンディングなどの方法が用いられる。この方法では、接合点の両側の所定の区間に渡って濃度が比例配分される。
【０００５】
αブレンディングにおいては、例えば、濃淡の違いによってそのブレンド幅が変化されたり、あるいは、周波数の帯域毎にブレンディングが行われる。なお、これらについての詳細は、例えば、「Peter j.Burt and Edward H.Adelson,“A Multiresolution Spline With Application to Image Mosaics”,ACM Transactions on Graphics,Vol.2.NO.4,October 1983,Pages 217-236」などに記載されている。
【０００６】
【発明が解決しようとする課題】
ところで、ヒストグラム一致法や線型濃淡変換法などを、３次元センシングで得られたテクスチャ（画像）に用いた場合、物体と照明の関係などが全く考慮されていないため、テクスチャのマージ（接合）を行う際に、継ぎ目の部分における色調のつながりの不自然さを取り除くことができない。
【０００７】
また、αブレンディング法の場合、接合付近において、ある程度の色調の差を埋めることはできるが、測定装置や照明を固定し、対象物体を移動させながら撮影を行う場合などには対応できない。すなわち、継ぎ目の部分における色調のつながりの補正を行うことはできても、照明に起因するバラツキを補正することはできない。
【０００８】
そこで、２次元画像を対象とするモザイク処理とは別に、３次元モデルを画像として再現するための画像処理方法として、例えば、Model-Based Rendering（MBR）やImage-Based Rendering（IBR）と呼ばれるものがある。このIBRは、実際に対象物体を撮影した実画像を直接的に利用することで、写実的な画像を生成することができる。
【０００９】
しかしながら、IBRの多くは、視点位置の変化に伴う幾何的な見え方の変化のみを取り扱っているため、光源変化に伴う見え方の変化とは、本質的に異なり、従来の２次元画像を対象とするモザイク処理をそのまま適用することは難しい。
【００１０】
そこで、光源方向の異なる複数の実画像を入力とし、これらを適切に組み合わせることで、任意の光源方向の画像を生成するPhotometric Image-Based Renderingと呼ばれる方法がある。なお、これについての詳細は、例えば、「三橋貞彦 宮木一 向川康博 尺長健,“任意光源画像生成のためのPhotometric Image-Based Rendering”,信学技報 PRMU-98-125,pp17-24 November 1998」に記載されている。
【００１１】
しかしながら、この方法では、複数の光源を用いることができない。そのため、複数の光源下でのモデルデータを作成することは難しい。
【００１２】
このように、従来より提案されている方法では、対象物体を回転して、複数の角度から撮影すると、光の当り方向が変化するため、各方向からの画像中の対象物体の陰影にバラツキが生じる課題があった。
【００１３】
また、上述した以外の方法としては、例えば、物体を撮影した環境を、カメラなどを使用して撮影し、光源を完全に再現する方法などが提案されている。なお、これについての詳細は、例えば、「佐藤いまり 佐藤洋一 池内克史,“光学的整合性を考慮した実画像への仮想物体の重ね込み”第３回知能情報メディアシンポジウム,23-32,December 1997」に記載されている。
【００１４】
しかしながら、この方法では、魚眼レンズやCCD（Charge Coupled Device）カメラなどの高価な部品を必要とする課題があった。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、低コストで、かつ、高精度に、光源による影響を取り除いて、対象物体の補正画像を作成することができるようにするものである。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、対象物体の形状を測定する形状測定手段と、対象物体の画像を撮像する撮像手段と、形状測定手段により測定された対象物体の形状から対象物体法線ベクトルを作成する作成手段と、作成手段により作成された対象物体法線ベクトルと、参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付け手段と、対応付け手段による対応付けに基づいて、対象物体の画像を補正する画像補正手段とを備え、対応付け手段は、対象物体法線ベクトルと、参照物体法線ベクトルの画素値から、法線方向が対応する参照物体の画像の画素値を求めることにより対応付けを行い、画像補正手段は、対象物体の画像の画素値を、対応付け手段により求められた法線方向が対応する参照物体の画像の画素値で除算することにより、対象物体の画像を補正する。
【００１７】
本発明の第１の画像処理装置は、画像補正手段により補正された対象物体の画像に、光源影響を付加する光源影響付加手段と、光源影響付加手段により光源影響が付加された画像を出力する画像出力手段とをさらに設けるようにすることができる。
【００１８】
作成手段は、撮像手段により撮像された対象物体の画像の各画素における法線方向を求めることにより、対象物体法線ベクトルを作成するようにすることができる。
【００２１】
本発明の画像処理方法は、対象物体の形状を測定する形状測定ステップと、対象物体の画像を撮像する撮像ステップと、形状測定ステップの処理により測定された対象物体の形状から対象物体法線ベクトルを作成する作成ステップと、作成ステップの処理により作成された対象物体法線ベクトルと、参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付けステップと、対応付けステップの処理による対応付けに基づいて、対象物体の画像を補正する画像補正ステップとを含み、対応付けステップの処理においては、対象物体法線ベクトルと、参照物体法線ベクトルの画素値から、法線方向が対応する参照物体の画像の画素値を求めることにより対応付けが行われ、画像補正ステップの処理においては、対象物体の画像の画素値を、対応付けステップの処理により求められた法線方向が対応する参照物体の画像の画素値で除算することにより、対象物体の画像が補正される。
【００２２】
本発明の記録媒体に記録されているプログラムは、対象物体の形状の測定結果を取得する第１の取得ステップと、対象物体の画像を取得する第２の取得ステップと、第１の取得ステップの処理により取得された対象物体の形状から法線ベクトルを作成する作成ステップと、作成ステップの処理により作成された対象物体の対象物体法線ベクトルと、参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付けステップと、対応付けステップの処理による対応付けに基づいて、対象物体の画像を補正する画像補正ステップとを含み、対応付けステップの処理においては、対象物体法線ベクトルと、参照物体法線ベクトルの画素値から、法線方向が対応する参照物体の画像の画素値を求めることにより対応付けが行われ、画像補正ステップの処理においては、対象物体の画像の画素値を、対応付けステップの処理により求められた法線方向が対応する参照物体の画像の画素値で除算することにより、対象物体の画像が補正される。
【００２３】
本発明の画像処理装置および方法、並びに記録媒体に記録されているプログラムにおいては、対象物体の形状が測定され、測定された対象物体の形状から対象物体法線ベクトルが作成され、作成された対象物体法線ベクトルと、参照物体の形状から得られた参照物体法線ベクトルの対応付けが行われ、その対応付けに基づいて、対象物体の画像が補正される。また、対象物体法線ベクトルと、参照物体法線ベクトルの画素値から、法線方向が対応する参照物体の画像の画素値を求めることにより対応付けが行われ、対象物体の画像の画素値が、法線方向が対応する参照物体の画像の画素値で除算することにより、対象物体の画像が補正される。
【００３２】
【発明の実施の形態】
図１は、本発明を適用した第１の実施の形態の原理について説明する図である。この原理の場合、対象物体１を撮影した画像から光源の影響が取り除かれた後、新規光源下の補正画像が作成される。
【００３３】
対象物体１は、測定の対象になる物体である。参照物体２は、その形状や画像が既知であり、光源３の状態を知るために、対象物体１と同じ光源３下で撮影される物体である。光源３は、対象物体１を照明するための光源であり、複数個で構成することも可能である。画像処理装置４は、対象物体１の画像を撮影し、光源３の影響を補正する。
【００３４】
図２は、本発明を適用した画像処理装置４の第１の実施の形態の構成例を示している。
【００３５】
三次元形状測定部１１は、例えば、レーザレンジファインダやステレオカメラなどで構成され、光源３からの光により照明された対象物体１の形状を測定することにより、対象物体形状データを得る。三次元形状測定部１１はまた、得られた対象物体形状データから、対象物体法線データを作成する。
【００３６】
画像測定部１２は、対象物体１および参照物体２を撮影することにより、対象物体画像データおよび参照物体画像データを得る。
【００３７】
画像補正処理部１３は、三次元形状測定部１１より供給された対象物体形状データ、並びに、画像測定部１２より供給された対象物体画像データおよび参照物体画像データに基づいて、画像測定部１２で測定された対象物体画像データを補正することにより、対象物体１の対象物体補正画像データを得る。
【００３８】
画像出力部１４は、例えば、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などで構成され、画像補正処理部１３より供給された対象物体補正画像データを出力（表示）する。
【００３９】
図３は、画像補正処理部１３の詳細な構成例を示している。
【００４０】
対象物体テクスチャマッピング部２１は、画像測定部１２より供給された対象物体画像データと、三次元形状測定部１１より供給された対象物体形状データのテクスチャマッピングを行う。これにより、対象物体画像データと対象物体形状データの対応が取られる。
【００４１】
参照物体テクスチャマッピング部２２は、画像測定部１２より供給された参照物体画像データと、記憶部２３に予め記憶されている参照物体２の形状モデル（以下、参照物体形状モデルと記載する）のテクスチャマッピングを行う。これにより、参照物体画像データおよび参照物体形状モデルの対応が取られる。
【００４２】
なお、参照物体形状モデルは、記憶部２３に予め記憶されているが、例えば、画像測定部１２において参照物体画像データが測定される際に、三次元形状測定部１１により、同時に形状データの測定を行うことにより、参照物体２の形状データを得て、記憶部２３に記憶するようにしても良い。
【００４３】
法線対応付け部２４は、三次元形状測定部１１で作成された対象物体１の対象物体法線データと、記憶部２３より読み出した参照物体２の参照物体法線データを比較し、同じ方向またはほぼ同じ方向（対応する方向）を持つ法線同士の対応付けを行う。
【００４４】
対象物体１の対象物体法線データは、対象物体テクスチャマッピング部２１により、対象物体画像データと対象物体形状データの対応が取られているので、対象物体画像データの各画素における法線方向を求めることにより得られる。参照物体２の参照物体法線データは、参照物体テクスチャマッピング部２２により、参照物体画像データおよび参照物体形状モデルの対応が取られているので、参照物体画像データの各画素における法線方向を求めることにより得られる。
【００４５】
光源影響除去部２５は、法線対応付け部２４での対応付けに基づいて、画像測定部１２より供給された対象物体画像データの各画素において、法線方向が同じかまたはほぼ同じになる（対応する）参照物体画像データの画素値を求めた後、対象物体画像データの画素値を、法線方向が対応する参照物体画像データの画素値で除算することにより、対象物体光源影響除去画像データを求める。
【００４６】
補正光源影響付加部２６は、三次元形状測定部１１より供給された対象物体形状データに、補正光源モデルを用いて光源影響を付加した後、光源影響除去部２５より供給された対象物体光源影響除去画像データを乗算することにより、対象物体補正画像データを求める。なお、補正光源モデルは、光源影響を考慮して予め設定された新規光源である。
【００４７】
図４は、図３の画像補正処理部１３の機能を実現するハードウェアの電気的構成例を示すブロック図である。
【００４８】
CPU（Central Processing Unit）３１は、各ブロックを制御する。ROM（Read only Memory）３３は、IPL（Initial Program Loading）のプログラムなどを記憶している。RAM（Random Access Memory）３４は、CPU３１が処理を行うためのプログラムや、CPU３１の動作上必要なデータを記憶する。
【００４９】
入力デバイスコントローラ３７は、キーボード３５、および、マウスなどよりなるポインティングデバイス３６を制御する。ユーザにより、これらのキーボード３５またはポインティングデバイス３６が用いられると、入力デバイスコントローラ３７およびバス３２を介して、CPU３１に各種の指令が入力される。
【００５０】
ビデオコントローラ３８は、CPU３１の制御の下、VRAM（Video RAM）３９を用いて、モニタとしての画像出力部１４の表示を制御する。VRAM３９は、画像出力部１４が表示する画像データを一時記憶する。すなわち、表示すべき画像データは、ビデオコントローラ３８を介してVRAM３９に書き込まれ、ビデオコントローラ３８が、VRAM３９に記憶された画像データを読み出して、画像出力部１４に供給することにより、画像が表示される。
【００５１】
ストレージコントローラ４０は、例えば、HD（ハードディスク）やFD（フロッピィディスク）などの磁気ディスク５１、ミニディスク（商標）などの光磁気ディスク５２、CD-ROM（Compact Disc ROM）などの光ディスク５３、ROMやフラッシュメモリなどの不揮発性メモリ５４に対するアクセスを制御する。磁気ディスク５１、光磁気ディスク５２、光ディスク５３、および不揮発性メモリ５４は、データを記憶しており、これらのデータは、CPU３１により、ストレージコントローラ４０を介して読み出される。なお、磁気ディスク５１などには、CPU３１が上述したような処理を行うためのプログラムなども記憶されている。
【００５２】
通信コントローラ４１は、電波や赤外線などによる無線通信、およびイーサネット（商標）などによる有線の通信を制御する。例えば、各種の画像データ、CPU３１が各種の処理を行うためのプログラムなどは、この通信コントローラ４１を介して通信を行うことにより、外部の装置から取得することも可能になっている。
【００５３】
CPU３１，ROM３３,RAM３４、入力デバイスコントローラ３７、ビデオコントローラ３８、ストレージコントローラ４０、および通信コントローラ４１は、バス３２を介して相互に接続されている。
【００５４】
次に、対象物体１および参照物体２が光源３により照明されたときの輝度について説明する。なお、光源３は、無限遠にある点光源であり、複数個であってもよい。
【００５５】
対象物体１は、鏡面反射成分を含まない完全拡散反射モデルに従う物体であるとする。この対象物体１の輝度は、次式（１）で表される。
【数１】
ここで、Ｉtex（ｐ）は、対象物体１の表面上の点ｐにおける輝度（対象物体画像データ）を表し、ｋtex（ｐ）は、点ｐにおける物体色（オリジナルの色）（対象物体光源影響除去画像データ）を表し、Ｎtex（ｐ）は、法線方向ベクトル（対象物体法線データ）を表し、Ｓiは、光源方向ベクトル（光源３）を表している。
【００５７】
参照物体２は、完全拡散反射モデルに従う物体で、かつ、均一な白い球体であるとする。この参照物体２の輝度は、次式（２）で表される。
【数２】
ここで、Ｉball（ｑ）は、参照物体２の表面上の点ｑにおける輝度（参照物体画像データ）を表し、Ｎball（ｑ）は、法線方向ベクトル（参照物体法線データ）を表し、Ｓiは、光源方向ベクトル（光源３）を表している。なお、ｋball（ｑ）は、点ｑにおける物体色（いまの場合、白色）を表しているが、その値は１であるので略記されている。
【００５９】
次に、図５のフローチャートを参照して、画像処理装置４が実行する、対象物体補正画像データ作成処理について説明する。
【００６０】
ステップＳ１において、画像測定部１２は、光源３により照明されている対象物体１を撮影することにより、対象物体画像データを取り込む。ステップＳ２において、三次元形状測定部１１は、光源３により照明されている対象物体１の形状を測定することにより、対象物体形状データを取り込む。
【００６１】
ステップＳ３において、対象物体テクスチャマッピング部２１は、ステップＳ１の処理で取り込まれた対象物体画像データと、ステップＳ２の処理で取り込まれた対象物体形状データのテクスチャマッピングを行うことにより、対象物体画像データと対象物体形状データの対応付けを行う。
【００６２】
ステップＳ４において、三次元形状測定部１１は、ステップＳ２の処理で取り込まれた対象物体形状データから、対象物体法線データを作成する。すなわち、三次元形状測定部１１は、対象物体画像データの各画素における法線方向を求めることにより、対象物体法線データを作成する。
【００６３】
ステップＳ５において、画像測定部１２は、光源３により照明されている参照物体２を撮影することにより、参照物体画像データを取り込む。ステップＳ６において、参照物体テクスチャマッピング部２２は、ステップＳ５の処理で取り込まれた参照物体画像データと、記憶部２３に予め記憶されている参照物体形状モデルのテクスチャマッピングを行うことにより、参照物体画像データと参照物体形状モデルの対応付けを行う。
【００６４】
ステップＳ７において、法線対応付け部２４は、ステップＳ４の処理で作成された対象物体法線データと、記憶部２３より読み出した参照物体２の法線データを比較し、対応する方向を持つ法線同士の対応付けを行う。すなわち、法線対応付け部２４は、上記式（１）と式（２）における法線方向ベクトルが対応する方向を向いているような、次式（３）の関係が成り立つ法線方向ベクトルを求める。
【数３】
ステップＳ８において、光源影響除去部２５は、ステップＳ７の処理での対応付けに基づいて、対象物体画像データの各画素において、法線方向ベクトルが対応する参照物体画像データの画素値を求めた後、対象物体画像データの画素値を、法線方向が対応する参照物体画像データの画素値で除算することにより、対象物体光源影響除去画像データを作成する。すなわち、光源影響除去部２５は、次式（４）に従って、対象物体光源影響除去画像データを算出する。
【数４】
ステップＳ９において、補正光源影響付加部２６は、ステップＳ２の処理で取り込まれた対象物体形状データに補正光源モデルを用いて光源影響を付加した後、ステップＳ８の処理で作成された対象物体光源影響除去画像データを乗算することにより、対象物体補正画像データを作成する。すなわち、補正光源影響付加部２６は、次式（５）に従って、対象物体補正画像データを算出する。
【数５】
ここで、Ｉnew（ｐ）は、対象物体１の表面上の点ｐにおける補正後の輝度を表し、Ｓnewｉは、補正光源モデル（新規光源）の光源方向ベクトルを表している。
【００６８】
以上により、画像補正処理部１３において、一度撮影された対象物体１のテクスチャから光源による影響を取り除くことができるため、撮影時とは全く異なった新規の光源下のテクスチャを作成することが可能になる。また、撮影時の照明環境を再現することも可能となる。
【００６９】
図６は、本発明を適用した第２の実施の形態の原理について説明する図である。なお、図中、図１における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。この原理の場合、対象物体１を撮影した複数の画像から光源の影響が取り除かれた後、画像合成が行われ、新規光源下の補正画像が作成される。
【００７０】
図７は、この第２の実施の形態の場合の画像処理装置の構成例を示している。なお、図中、図２における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。この構成例の場合、画像補正処理部１３の代わりに再構築処理部６１が設けられ、その他の構成は、図２に示した例と同様である。
【００７１】
三次元形状測定部１１は、対象物体１を回転または移動させて、複数の方向から、対象物体１の形状を測定することにより、対象物体形状データを得る。画像測定部１２は、対象物体１を回転または移動させて、複数の方向から、対象物体１の画像を撮影することにより、対象物体画像データを得るとともに、参照物体２を撮影することにより、参照物体画像データを得る。
【００７２】
再構築処理部６１は、三次元形状測定部１１より供給された複数の対象物体形状データ、並びに、画像測定部１２より供給された複数の対象物体画像データおよび参照物体画像データに基づいて、画像測定部１２で測定された対象物体画像データの補正を行うことにより、対象物体１の再構築データを得る。
【００７３】
画像出力装置１４は、再構築処理部６１より供給された再構築データを出力（表示）する。なお、画像出力装置１４は、ユーザによりマウスなどが操作され、再構築データを回転または移動させて表示することも可能である。
【００７４】
図８は、再構築処理部６１の詳細な構成例を示している。なお、図中、図３における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。この構成例の場合、対象物体テクスチャマッピング部２１の代わりに再構築物体テクスチャマッピング部７２が設けられるとともに、新たに形状再構築部７１および画像ブレンディング部７３が設けられ、その他の構成は、図３に示した例と同様である。
【００７５】
形状再構築部７１は、三次元形状測定部１１より供給される複数の対象物体形状データの位置合わせおよび貼り合わせを行うことにより、再構築形状データを得る。位置合わせの方法としては、例えば、ICP（Iterative Closest Point）法が用いられる。貼り合わせの方法としては、例えば、Volume法が用いられる。
【００７６】
再構築物体テクスチャマッピング部７２は、画像測定部１２より供給された複数の対象物体画像データと、形状再構築部７１より供給された再構築形状データのテクスチャマッピングを行う。これにより、複数の対象物体画像データと再構築形状データの対応が取られる。
【００７７】
法線対応付け部２４は、形状再構築部７１より供給される再構築形状データから得られた対象物体１の再構築形状法線データと、記憶部２３より読み出した参照物体形状モデルから得られた参照物体２の参照物体法線データを比較し、上記式（３）に従って、対応する方向を持つ法線同士の対応付けを行う。
【００７８】
対象物体１の再構築形状法線データは、再構築物体テクスチャマッピング部７２により、複数の対象物体画像データと再構築形状データの対応が取られているので、対象物体画像データの各画素における法線方向を求めることにより得られる。
【００７９】
光源影響除去部２５は、法線対応付け部２４での対応付けに基づいて、画像測定部１２より供給された複数の対象物体画像データの各画素において法線方向が対応する、参照物体画像データの画素値を求めた後、上記式（４）に従って、複数の対象物体画像データの画素値を、法線方向が対応する参照物体画像データの画素値で除算することにより、複数の対象物体光源影響除去画像データを求める。
【００８０】
画像ブレンディング部７３は、光源の影響が取り除かれた、複数の対象物体光源影響除去画像データをブレンド（混合）することにより、ブレンディング画像データを作成する。
【００８１】
補正光源影響付加部２６は、形状再構築部７１より供給された再構築形状データに、補正光源モデルを用いて光源影響を付加した後、上記式（５）に従って、画像ブレンディング部７３より供給されたブレンディング画像データを乗算することにより、再構築データを求める。
【００８２】
以上のように、複数方向から撮影された対象物体の形状や画像（テクスチャ）をマージする場合、対象物体の光源による影響を取り除いた画像を得ることができるため、テクスチャの継ぎ目を発生させることなくマージすることができる。
【００８３】
また、以上においては、魚眼レンズやCCDカメラなどの高価な部品を使用せずに、低コストで、光源による影響を取り除いて、対象物体の補正画像を作成することができる。
【００８４】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８５】
この記録媒体は、図３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５１（フロッピディスクを含む）、光磁気ディスク５２（MD（Mini-Disk）を含む）、光ディスク５３（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、もしくは不揮発性メモリ５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３３や、記憶部２３などで構成される。
【００８６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８７】
【発明の効果】
本発明の画像処理装置および方法、並びに記録媒体に記録されているプログラムによれば、対象物体の画像から光源による影響を取り除いて、補正画像を作成することができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態の原理について説明する図である。
【図２】本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【図３】図２の画像補正処理部の詳細な構成例を示すブロック図である。
【図４】図３の画像補正処理部の機能を実現するハードウェアの電気的構成例を示すブロック図である。
【図５】対象物体補正画像データ作成処理を説明するフローチャートである。
【図６】本発明を適用した第２の実施の形態の原理について説明する図である。
【図７】本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図８】図７の再構築処理部の詳細な構成例を示すブロック図である。
【符号の説明】
１ 対象物体， ２ 参照物体， ３ 光源， ４ 画像処理装置， １１ 三次元形状測定部， １２ 画像測定部， １３ 画像補正処理部， １４ 画像出力部， ２１ 対象物体テクスチャマッピング部， ２２ 参照物体テクスチャマッピング部， ２３ 記憶部， ２４ 法線対応付け部， ２５ 光源影響除去部， ２６ 補正光源影響付加部， ６１ 再構築処理部， ７１ 形状再構築部， ７２ 再構築物体テクスチャマッピング部， ７３ 画像ブレンディング部
Claims (5)
- 対象物体、および、形状と画像が既知の参照物体を測定することにより、前記対象物体の光源による影響を補正する画像処理装置において、
前記対象物体の形状を測定する形状測定手段と、
前記対象物体の画像を撮像する撮像手段と、
前記形状測定手段により測定された前記対象物体の形状から対象物体法線ベクトルを作成する作成手段と、
前記作成手段により作成された前記対象物体法線ベクトルと、前記参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付け手段と、
前記対応付け手段による対応付けに基づいて、前記対象物体の画像を補正する画像補正手段と
を備え、
前記対応付け手段は、前記対象物体法線ベクトルと、前記参照物体法線ベクトルの画素値から、法線方向が対応する前記参照物体の画像の画素値を求めることにより対応付けを行い、
前記画像補正手段は、前記対象物体の画像の画素値を、前記対応付け手段により求められた法線方向が対応する前記参照物体の画像の画素値で除算することにより、前記対象物体の画像を補正する
画像処理装置。 - 前記画像補正手段により補正された前記対象物体の画像に、光源影響を付加する光源影響付加手段と、
前記光源影響付加手段により前記光源影響が付加された前記画像を出力する画像出力手段とをさらに備える
請求項１に記載の画像処理装置。 - 前記作成手段は、前記撮像手段により撮像された前記対象物体の画像の各画素における法線方向を求めることにより、前記対象物体法線ベクトルを作成する
請求項１に記載の画像処理装置。 - 対象物体、および、形状と画像が既知の参照物体を測定することにより、前記対象物体の光源による影響を補正する画像処理装置の画像処理方法において、
前記対象物体の形状を測定する形状測定ステップと、
前記対象物体の画像を撮像する撮像ステップと、
前記形状測定ステップの処理により測定された前記対象物体の形状から法線ベクトルを作成する作成ステップと、
前記作成ステップの処理により作成された前記対象物体の対象物体法線ベクトルと、前記参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付けステップと、
前記対応付けステップの処理による対応付けに基づいて、前記対象物体の画像を補正する画像補正ステップと
を含み、
前記対応付けステップの処理においては、前記対象物体法線ベクトルと、前記参照物体法線ベクトルの画素値から、法線方向が対応する前記参照物体の画像の画素値を求めることにより対応付けが行われ、
前記画像補正ステップの処理においては、前記対象物体の画像の画素値を、前記対応付けステップの処理により求められた法線方向が対応する前記参照物体の画像の画素値で除算することにより、前記対象物体の画像が補正される
画像処理方法。 - 対象物体、および、形状と画像が既知の参照物体の測定結果に基づいて、前記対象物体の光源による影響を補正する画像処理用のプログラムにおいて、
前記対象物体の形状の測定結果を取得する第１の取得ステップと、
前記対象物体の画像を取得する第２の取得ステップと、
前記第１の取得ステップの処理により取得された前記対象物体の形状から法線ベクトルを作成する作成ステップと、
前記作成ステップの処理により作成された前記対象物体の対象物体法線ベクトルと、前記参照物体の形状から得られた参照物体法線ベクトルの対応付けを行う対応付けステップと、
前記対応付けステップの処理による対応付けに基づいて、前記対象物体の画像を補正する画像補正ステップと
を含み、
前記対応付けステップの処理においては、前記対象物体法線ベクトルと、前記参照物体法線ベクトルの画素値から、法線方向が対応する前記参照物体の画像の画素値を求めることにより対応付けが行われ、
前記画像補正ステップの処理においては、前記対象物体の画像の画素値を、前記対応付けステップの処理により求められた法線方向が対応する前記参照物体の画像の画素値で除算することにより、前記対象物体の画像が補正される
コンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000275034A JP4400808B2 (ja) | 2000-09-11 | 2000-09-11 | 画像処理装置および方法、並びに記録媒体 |
| US09/950,391 US7027188B2 (en) | 2000-09-11 | 2001-09-10 | Image processing device and method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000275034A JP4400808B2 (ja) | 2000-09-11 | 2000-09-11 | 画像処理装置および方法、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002092625A JP2002092625A (ja) | 2002-03-29 |
| JP2002092625A5 JP2002092625A5 (ja) | 2007-05-24 |
| JP4400808B2 true JP4400808B2 (ja) | 2010-01-20 |
Family
ID=18760714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000275034A Expired - Fee Related JP4400808B2 (ja) | 2000-09-11 | 2000-09-11 | 画像処理装置および方法、並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7027188B2 (ja) |
| JP (1) | JP4400808B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0125774D0 (en) * | 2001-10-26 | 2001-12-19 | Cableform Ltd | Method and apparatus for image matching |
| US7787692B2 (en) | 2003-09-25 | 2010-08-31 | Fujifilm Corporation | Image processing apparatus, image processing method, shape diagnostic apparatus, shape diagnostic method and program |
| JP4583844B2 (ja) * | 2003-09-30 | 2010-11-17 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP4380557B2 (ja) * | 2005-02-15 | 2009-12-09 | カシオ計算機株式会社 | プロジェクタ、チャート画像の表示方法及びプログラム |
| WO2008045997A2 (en) * | 2006-10-11 | 2008-04-17 | Leica Geosystems Ag | Feature extraction from stereo imagery |
| US20080089577A1 (en) * | 2006-10-11 | 2008-04-17 | Younian Wang | Feature extraction from stereo imagery |
| JP5402576B2 (ja) * | 2009-11-27 | 2014-01-29 | 株式会社島津製作所 | Ｘ線撮影装置およびｘ線撮影方法 |
| JP6641181B2 (ja) * | 2016-01-06 | 2020-02-05 | キヤノン株式会社 | 画像処理装置および撮像装置、それらの制御方法ならびにプログラム |
| JP7047281B2 (ja) * | 2017-08-17 | 2022-04-05 | 株式会社Ihi | テクスチャマッピング装置、及びテクスチャマッピング方法 |
| JP6541920B1 (ja) * | 2018-10-11 | 2019-07-10 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6724383B1 (en) * | 1997-02-21 | 2004-04-20 | Mental Images G.M.B.H. | System and computer-implemented method for modeling the three-dimensional shape of an object by shading of a two-dimensional image of the object |
| US6636627B1 (en) * | 1999-07-12 | 2003-10-21 | Fuji Photo Film Co., | Light source direction estimating method and apparatus |
| JP3509652B2 (ja) * | 1999-08-23 | 2004-03-22 | 日本電気株式会社 | プロジェクタ装置 |
| JP3502024B2 (ja) * | 1999-09-10 | 2004-03-02 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、記録媒体および画像処理方法 |
| JP2002024830A (ja) * | 2000-07-05 | 2002-01-25 | Nec Corp | 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体 |
-
2000
- 2000-09-11 JP JP2000275034A patent/JP4400808B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-10 US US09/950,391 patent/US7027188B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030185459A1 (en) | 2003-10-02 |
| US7027188B2 (en) | 2006-04-11 |
| JP2002092625A (ja) | 2002-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11721071B2 (en) | Methods and systems for producing content in multiple reality environments | |
| JP3954211B2 (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| Sinha et al. | Interactive 3D architectural modeling from unordered photo collections | |
| Pandey et al. | Image mosaicing: A deeper insight | |
| US6157747A (en) | 3-dimensional image rotation method and apparatus for producing image mosaics | |
| US6097854A (en) | Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping | |
| US6750873B1 (en) | High quality texture reconstruction from multiple scans | |
| US6018349A (en) | Patch-based alignment method and apparatus for construction of image mosaics | |
| US5987164A (en) | Block adjustment method and apparatus for construction of image mosaics | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| JP4474743B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| CA2464569A1 (en) | Single or multi-projector for arbitrary surfaces without calibration nor reconstruction | |
| US6515658B1 (en) | 3D shape generation apparatus | |
| Queguiner et al. | Towards mobile diminished reality | |
| JP4400808B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| CN111986296A (zh) | 一种用于子弹时间的cg动画合成方法 | |
| JP2004234350A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2004280776A (ja) | 画像内のオブジェクトの形状を決定する方法 | |
| JP2006323450A (ja) | シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体 | |
| JP2007272847A (ja) | 照明シミュレーション方法及び画像合成方法 | |
| JP2003216970A (ja) | 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム | |
| US20180262750A1 (en) | 3d reconstruction apparatus and method including material appearance modeling | |
| KR20220133766A (ko) | 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템 | |
| Soh et al. | Texture mapping of 3D human face for virtual reality environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070222 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091022 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091022 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |