JPH05181980A - 三次元形状復元方法とその装置 - Google Patents
三次元形状復元方法とその装置Info
- Publication number
- JPH05181980A JPH05181980A JP4143181A JP14318192A JPH05181980A JP H05181980 A JPH05181980 A JP H05181980A JP 4143181 A JP4143181 A JP 4143181A JP 14318192 A JP14318192 A JP 14318192A JP H05181980 A JPH05181980 A JP H05181980A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- image data
- dimensional shape
- reflection map
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 対象物体を撮像した二次元輝度画像データに
ついての陰影情報を用いて対象物体の3次元形状を復元
する画像データを生成するとき,対象物体の表面の急激
な変化も正確に復元可能な三次元形状復元方法を提供す
る。 【構成】 三次元形状復元方法を実施する機能ブロック
において,二次元輝度画像データI(x,y)について
そのエッジを検出し(16),エッジから対象物体の表
面の滑らかさを示すパラメータk,mを算出する(1
7)。このパラメータを用いて3次元形状を正確に復元
する陰影情報としての反射地図パラメータ:p,qを決
定し(27,29),その反射地図パラメータ:p,q
を用いて,対象物体の3次元形状を復元する画像データ
を生成する(30)。
ついての陰影情報を用いて対象物体の3次元形状を復元
する画像データを生成するとき,対象物体の表面の急激
な変化も正確に復元可能な三次元形状復元方法を提供す
る。 【構成】 三次元形状復元方法を実施する機能ブロック
において,二次元輝度画像データI(x,y)について
そのエッジを検出し(16),エッジから対象物体の表
面の滑らかさを示すパラメータk,mを算出する(1
7)。このパラメータを用いて3次元形状を正確に復元
する陰影情報としての反射地図パラメータ:p,qを決
定し(27,29),その反射地図パラメータ:p,q
を用いて,対象物体の3次元形状を復元する画像データ
を生成する(30)。
Description
【0001】
【産業上の利用分野】本発明は3次元形状を有する対象
物体を撮像した二次元輝度画像データからその対象物体
の3次元形状を復元する画像データを生成する三次元形
状復元方法とその装置に関するものであり,特に,3次
元形状を有する対象物体を撮像した二次元輝度画像デー
タについてその陰影情報を用いて,短時間かつ正確に,
対象物体の3次元形状を復元する画像データを生成する
三次元形状復元方法とその装置に関する。
物体を撮像した二次元輝度画像データからその対象物体
の3次元形状を復元する画像データを生成する三次元形
状復元方法とその装置に関するものであり,特に,3次
元形状を有する対象物体を撮像した二次元輝度画像デー
タについてその陰影情報を用いて,短時間かつ正確に,
対象物体の3次元形状を復元する画像データを生成する
三次元形状復元方法とその装置に関する。
【0002】
【従来の技術】たとえば,ファクトリ・オートメーショ
ン(FA),産業用ロボットなどにおいては,ロボット
のハンド把持状態を認識するため,CCDカメラなどの
撮像手段で撮像した2次元画像データを入手し,その2
次元画像データについて特徴抽出などの画像処理を行っ
て,もとのロボットのハンドの把持状態を復元すること
が試みられている。
ン(FA),産業用ロボットなどにおいては,ロボット
のハンド把持状態を認識するため,CCDカメラなどの
撮像手段で撮像した2次元画像データを入手し,その2
次元画像データについて特徴抽出などの画像処理を行っ
て,もとのロボットのハンドの把持状態を復元すること
が試みられている。
【0003】このような,3次元形状を有する対象物体
の2次元画像データからその3次元形状を復元する画像
データを生成する際,2つの問題に遭遇する。第1の問
題は,奥行情報が欠落した2次元画像データからいかに
正確に対象物体の3次元形状を復元する画像データを生
成するかという問題である。第2の問題は,非常に多量
の2次元画像データから,いかに高速に3次元形状を復
元する画像データを生成するかという問題である。この
問題は,産業用ロボットなどにおいて,その三次元形状
復元結果を実時間で使用するという観点から特に問題と
なる。この問題については,多量の画像データを高速に
処理可能な高速な情報処理装置,たとえば,ディジタル
シグナルプロセッサ(DSP)などを用いる方法が知ら
れている。
の2次元画像データからその3次元形状を復元する画像
データを生成する際,2つの問題に遭遇する。第1の問
題は,奥行情報が欠落した2次元画像データからいかに
正確に対象物体の3次元形状を復元する画像データを生
成するかという問題である。第2の問題は,非常に多量
の2次元画像データから,いかに高速に3次元形状を復
元する画像データを生成するかという問題である。この
問題は,産業用ロボットなどにおいて,その三次元形状
復元結果を実時間で使用するという観点から特に問題と
なる。この問題については,多量の画像データを高速に
処理可能な高速な情報処理装置,たとえば,ディジタル
シグナルプロセッサ(DSP)などを用いる方法が知ら
れている。
【0004】前者の問題を解決する試みとしては,数学
的に,直交する2次元座標系のパラメータx,yにおけ
る輝度を示す2次元関数f(x,y)で示される画像デ
ータを対数変換する方法が知られている(たとえば,C
Q出版,「インターフェース」,1988年10月号,
第172〜182ページ参照)。しかしながら,この方
法はその画像処理が複雑であり,処理時間がかかるた
め,実時間性の観点から適用が難しい。また,3次元形
状を有する対象物体を正確に復元する画像データを得る
ことが難しいという問題に遭遇している。
的に,直交する2次元座標系のパラメータx,yにおけ
る輝度を示す2次元関数f(x,y)で示される画像デ
ータを対数変換する方法が知られている(たとえば,C
Q出版,「インターフェース」,1988年10月号,
第172〜182ページ参照)。しかしながら,この方
法はその画像処理が複雑であり,処理時間がかかるた
め,実時間性の観点から適用が難しい。また,3次元形
状を有する対象物体を正確に復元する画像データを得る
ことが難しいという問題に遭遇している。
【0005】その他の試みとしては,対象物体の陰影情
報からその3次元形状を示す画像データを生成する方法
(「Shape from Shading」) が試みられている。この陰
影情報から3次元形状画像データを生成する方法は,3
次元形状を微分するとその表面が計算でき,その表面か
ら反射地図を用いて変換すると陰影情報になることを逆
に行って,陰影情報から対象物体の表面の方向を求め,
さらに求めた表面を積分することにより,3次元形状を
復元しようとするものである。対象物体の表面に垂直な
方向に法線ベクトルを考え,対象物体の表面にある角度
で照明光を照射し,その反射光を照明光とは異なる他の
角度で観察した場合,具体的には,ビデオカメラなどで
撮像した場合に用いる地図であり,照明条件,対象物体
の表面の状態,観察者の位置をパラメータとして表され
る地図を示す。つまり,図10に示すように,手段61
において二次元輝度画像データから対象物体の形状の傾
きを算出し,このとき陰影情報として用いる適切な反射
地図パラメータ:p,q(またはマッピングパラメー
タ:f,g)を推定し,この反射地図パラメータ:p,
qを積分手段62において積分してもとの対象物体の3
次元形状を復元する画像を生成する。その具体的な装置
構成としては,図11に示すように,対象物体を撮像す
るビデオカメラ71,撮像した画像データをディジタル
値に変換するアナログ/ディジタル変換部72,変換し
た二次元輝度画像データを記憶するビデオRAM73,
後述する画像処理を行うワークステーション75,その
結果を表示するCRT76,および,ユーザーが希望す
る指令を入力するキーボード77からなる装置となる。
報からその3次元形状を示す画像データを生成する方法
(「Shape from Shading」) が試みられている。この陰
影情報から3次元形状画像データを生成する方法は,3
次元形状を微分するとその表面が計算でき,その表面か
ら反射地図を用いて変換すると陰影情報になることを逆
に行って,陰影情報から対象物体の表面の方向を求め,
さらに求めた表面を積分することにより,3次元形状を
復元しようとするものである。対象物体の表面に垂直な
方向に法線ベクトルを考え,対象物体の表面にある角度
で照明光を照射し,その反射光を照明光とは異なる他の
角度で観察した場合,具体的には,ビデオカメラなどで
撮像した場合に用いる地図であり,照明条件,対象物体
の表面の状態,観察者の位置をパラメータとして表され
る地図を示す。つまり,図10に示すように,手段61
において二次元輝度画像データから対象物体の形状の傾
きを算出し,このとき陰影情報として用いる適切な反射
地図パラメータ:p,q(またはマッピングパラメー
タ:f,g)を推定し,この反射地図パラメータ:p,
qを積分手段62において積分してもとの対象物体の3
次元形状を復元する画像を生成する。その具体的な装置
構成としては,図11に示すように,対象物体を撮像す
るビデオカメラ71,撮像した画像データをディジタル
値に変換するアナログ/ディジタル変換部72,変換し
た二次元輝度画像データを記憶するビデオRAM73,
後述する画像処理を行うワークステーション75,その
結果を表示するCRT76,および,ユーザーが希望す
る指令を入力するキーボード77からなる装置となる。
【0006】一般に,陰影情報から対象物体の形状の表
面を計算することは明確に行うことはできない。そこ
で,形状の表面が滑らかであるとして,表面の連続性を
仮定して正則化を図った三次元形状復元方法が試みられ
ている。対象物体の3次元形状を復元するに際しては,
上述した照明条件,対象物体の表面の状態,観察者の位
置が問題となる。一方,これら照明条件,対象物体の表
面の状態,観察者の位置が決定されると,面の傾きで輝
度が決定できる。x,y,z座標系において,δx,δ
yの変化に対して,z方向の変化が,x方向にpδx傾
き,y方向にqδy傾いたとき,後述する式20で表さ
れるパラメータp,qを反射地図パラメータとして輝度
R(p,q)を求めることができる。このために使用す
る地図を反射地図と呼ぶ。対象物体についてビデオカメ
ラ71などで撮像した2次元輝度データをI(x,y)
とし,反射地図における輝度データをR(p(x,
y),q(x,y))としたとき, I(x,y)=R(p(x,y),q(x,y)) =Rs(f,g) を満足する反射地図パラメータ:p,q,または,マッ
ピングパラメータ:f,gを決定すればよい。反射地図
パラメータ:p,qとマッピングパラメータ:f,gと
の関連は後述する。
面を計算することは明確に行うことはできない。そこ
で,形状の表面が滑らかであるとして,表面の連続性を
仮定して正則化を図った三次元形状復元方法が試みられ
ている。対象物体の3次元形状を復元するに際しては,
上述した照明条件,対象物体の表面の状態,観察者の位
置が問題となる。一方,これら照明条件,対象物体の表
面の状態,観察者の位置が決定されると,面の傾きで輝
度が決定できる。x,y,z座標系において,δx,δ
yの変化に対して,z方向の変化が,x方向にpδx傾
き,y方向にqδy傾いたとき,後述する式20で表さ
れるパラメータp,qを反射地図パラメータとして輝度
R(p,q)を求めることができる。このために使用す
る地図を反射地図と呼ぶ。対象物体についてビデオカメ
ラ71などで撮像した2次元輝度データをI(x,y)
とし,反射地図における輝度データをR(p(x,
y),q(x,y))としたとき, I(x,y)=R(p(x,y),q(x,y)) =Rs(f,g) を満足する反射地図パラメータ:p,q,または,マッ
ピングパラメータ:f,gを決定すればよい。反射地図
パラメータ:p,qとマッピングパラメータ:f,gと
の関連は後述する。
【0007】マッピングパラメータ:f,gについて述
べる。図3および図4は立体投影法による座標系を示す
ものであり,半径1の球の上に接する平面を考え,球の
下端の極と球のある面との交点とを結ぶ線の延長が上記
平面と交わる点の位置をマッピングパラメータ:f,g
で表し,球の中心と球面のある点とを結ぶ線の延長が上
記平面と交わる点の位置を反射地図パラメータ:p,q
で表す。そうすると,これらパラメータf,g,p,q
との間には下記の関係式が成り立つ。 f2 +q2 =22 f=2p/〔1+(1+p2+q2)1/2 〕 g=2q/〔1+(1+p2+q2)1/2 〕 p=4f/(4−f2 −q2 ) q=4g/(4−f2 −q2 ) 2次元空間における座標(x,y)に対する輝度I
(x,y)に対して、マッピングパラメータ:f,gに
対する輝度をRs (f,g)とすると,輝度Rsは, Rs(f,g)=R(p(x,y)q(x,y)) になる。したがって,マッピングパラメータ:f,gを
用いて対象物体の3次元形状の全ての面の傾きを表現す
ることが可能になる。もちろん,反射地図パラメータ:
p,qを用いて対象物体の3次元形状の全ての面の傾き
を表現することもできる。
べる。図3および図4は立体投影法による座標系を示す
ものであり,半径1の球の上に接する平面を考え,球の
下端の極と球のある面との交点とを結ぶ線の延長が上記
平面と交わる点の位置をマッピングパラメータ:f,g
で表し,球の中心と球面のある点とを結ぶ線の延長が上
記平面と交わる点の位置を反射地図パラメータ:p,q
で表す。そうすると,これらパラメータf,g,p,q
との間には下記の関係式が成り立つ。 f2 +q2 =22 f=2p/〔1+(1+p2+q2)1/2 〕 g=2q/〔1+(1+p2+q2)1/2 〕 p=4f/(4−f2 −q2 ) q=4g/(4−f2 −q2 ) 2次元空間における座標(x,y)に対する輝度I
(x,y)に対して、マッピングパラメータ:f,gに
対する輝度をRs (f,g)とすると,輝度Rsは, Rs(f,g)=R(p(x,y)q(x,y)) になる。したがって,マッピングパラメータ:f,gを
用いて対象物体の3次元形状の全ての面の傾きを表現す
ることが可能になる。もちろん,反射地図パラメータ:
p,qを用いて対象物体の3次元形状の全ての面の傾き
を表現することもできる。
【0008】上述した陰影情報から対象物体の3次元形
状を復元した画像データを生成する方法を数式を用いて
整理する。ビデオカメラ71で対象物体を撮像したとき
得られる2次元輝度画像データは,直交2次元座標系に
おける任意の位置(x,y)における輝度データI
(x,y)として表される。対象物体の3次元形状表面
の曲率の変化率の度合es は,式1に示すようにマッピ
ングパラメータ:f,gを用いて表すことができる。
状を復元した画像データを生成する方法を数式を用いて
整理する。ビデオカメラ71で対象物体を撮像したとき
得られる2次元輝度画像データは,直交2次元座標系に
おける任意の位置(x,y)における輝度データI
(x,y)として表される。対象物体の3次元形状表面
の曲率の変化率の度合es は,式1に示すようにマッピ
ングパラメータ:f,gを用いて表すことができる。
【数1】 ただし,fx , gx はx方向のマッピングパラメータで
あり,fy , gy はy方向のマッピングパラメータであ
る。対象物体を撮像するとき,撮像された輝度情報は照
明などの明るさの影響を大きく受ける。対象物体を撮像
した2次元画像データの明るさへの忠実度ei を式2に
示す。
あり,fy , gy はy方向のマッピングパラメータであ
る。対象物体を撮像するとき,撮像された輝度情報は照
明などの明るさの影響を大きく受ける。対象物体を撮像
した2次元画像データの明るさへの忠実度ei を式2に
示す。
【数2】 ただし,I(x,y)はx,y平面における輝度データ
であり,Rs(f,g)はマッピングパラメータf,g
に対する輝度である。
であり,Rs(f,g)はマッピングパラメータf,g
に対する輝度である。
【0009】式1および式2はいずれも一般的な連続式
であるから,ディジタル信号処理に適する離散的な式に
直すと,対象物体の三次元形状の表面の曲率の変化率の
離散的な度合es は下記式になる。
であるから,ディジタル信号処理に適する離散的な式に
直すと,対象物体の三次元形状の表面の曲率の変化率の
離散的な度合es は下記式になる。
【数3】 対象物体を撮像した2次元画像の明るさへの離散的な忠
実度ei は下記式になる。
実度ei は下記式になる。
【数4】
【0010】ここで,対象物体の3次元形状を正確に復
元するマッピングパラメータ:f,gを決定する判別値
としてのエネルギーを示すエネルギーパラメータeを下
記式で表す。 e=Sij+λ・rij ただし,Sijは式3に示したマッピングパラメータにつ
いての値であり,rijは式4に示した忠実度を示すパラ
メータであり,λは評価係数である。この式において,
エネルギーパラメータeを最小,たとえば,0または少
なくともほぼ0にするマッピングパラメータ:f,gを
求めればよい。このエネルギーパラメータeの値を最小
にするには、式5および式6に示すように,エネルギー
パラメータeをマッピングパラメータ:fkl, g klでそ
れぞれ偏微分して,それらの最小値(0またはほぼ0)
を求めればよい。
元するマッピングパラメータ:f,gを決定する判別値
としてのエネルギーを示すエネルギーパラメータeを下
記式で表す。 e=Sij+λ・rij ただし,Sijは式3に示したマッピングパラメータにつ
いての値であり,rijは式4に示した忠実度を示すパラ
メータであり,λは評価係数である。この式において,
エネルギーパラメータeを最小,たとえば,0または少
なくともほぼ0にするマッピングパラメータ:f,gを
求めればよい。このエネルギーパラメータeの値を最小
にするには、式5および式6に示すように,エネルギー
パラメータeをマッピングパラメータ:fkl, g klでそ
れぞれ偏微分して,それらの最小値(0またはほぼ0)
を求めればよい。
【数5】
【数6】
【0011】式5および式6において,マッピングパラ
メータ:f,gの頭にバーを付けた,中心位置i,jの
周囲にマッピングパラメータ:f,gについての平均マ
ッピングパラメータは式7および式8で表される。
メータ:f,gの頭にバーを付けた,中心位置i,jの
周囲にマッピングパラメータ:f,gについての平均マ
ッピングパラメータは式7および式8で表される。
【数7】
【数8】
【0012】また,一般的には式5および式6は下記式
で表される。
で表される。
【数9】
【数10】
【0013】図12および図13を参照して,対象物体
の2次元輝度画像データについての陰影情報を用いる従
来の三次元形状復元方法および三次元形状復元装置につ
いて述べる。この三次元形状復元装置は,CCDを有す
るカラー・ビデオ・カメラ81、カラーテレビ82およ
びビデオテープ記録再生装置(VTR)83,これらに
接続された画像処理装置90,および,パーソナル・コ
ンピュータ84を有する。画像処理装置90は,カラー
・ビデオ・カメラ81,カラーテレビ82またはVTR
83からの二次元画像データを入力して対象物体の3次
元形状を復元する画像データを生成する。その画像デー
タがパーソナル・コンピュータ84に出力されてパーソ
ナル・コンピュータ84からCRT表示装置などにその
対象物体の3次元形状が表示される。カラー・ビデオ・
カメラ81などからは対象物体を撮像したカラー2次元
輝度画像データが画像処理装置90に出力される。ただ
し,この例示においてはカラーについては考慮の対象と
はしない。
の2次元輝度画像データについての陰影情報を用いる従
来の三次元形状復元方法および三次元形状復元装置につ
いて述べる。この三次元形状復元装置は,CCDを有す
るカラー・ビデオ・カメラ81、カラーテレビ82およ
びビデオテープ記録再生装置(VTR)83,これらに
接続された画像処理装置90,および,パーソナル・コ
ンピュータ84を有する。画像処理装置90は,カラー
・ビデオ・カメラ81,カラーテレビ82またはVTR
83からの二次元画像データを入力して対象物体の3次
元形状を復元する画像データを生成する。その画像デー
タがパーソナル・コンピュータ84に出力されてパーソ
ナル・コンピュータ84からCRT表示装置などにその
対象物体の3次元形状が表示される。カラー・ビデオ・
カメラ81などからは対象物体を撮像したカラー2次元
輝度画像データが画像処理装置90に出力される。ただ
し,この例示においてはカラーについては考慮の対象と
はしない。
【0014】2次元画像データから対象物体の3次元形
状を復元する画像データを生成する画像処理装置90
は,カラー・ビデオ・カメラ81などからのカラー2次
元輝度画像データを入力するインターフェースとしての
画像入力部901と、入力した2次元画像データをアナ
ログ信号からディジタル信号に変換するA/D変換部9
02,ディジタル信号に変換された2次元画像データを
記憶する画像データ記憶部903と,画像処理装置90
の全体の制御を司る制御部905と、2次元ディジタル
画像データをディジタル画像演算処理する画像データ演
算部906と,このデ画像データ演算部906の演算結
果が3次元復元画像データして適切か否かを判断する復
元画像データ判断部907,および,画像データ演算部
906において復元され一旦画像データ記憶部903に
記憶された3次元形状画像データ像をパーソナル・コン
ピュータ84などの外部装置に出力する画像データ出力
部904とから構成されている。
状を復元する画像データを生成する画像処理装置90
は,カラー・ビデオ・カメラ81などからのカラー2次
元輝度画像データを入力するインターフェースとしての
画像入力部901と、入力した2次元画像データをアナ
ログ信号からディジタル信号に変換するA/D変換部9
02,ディジタル信号に変換された2次元画像データを
記憶する画像データ記憶部903と,画像処理装置90
の全体の制御を司る制御部905と、2次元ディジタル
画像データをディジタル画像演算処理する画像データ演
算部906と,このデ画像データ演算部906の演算結
果が3次元復元画像データして適切か否かを判断する復
元画像データ判断部907,および,画像データ演算部
906において復元され一旦画像データ記憶部903に
記憶された3次元形状画像データ像をパーソナル・コン
ピュータ84などの外部装置に出力する画像データ出力
部904とから構成されている。
【0015】この三次元形状復元装置の画像処理装置9
0は,上述した数式の演算を実行する図13に図解する
機能ブロックに従って,2次元画像データについての陰
影情報から対象物体の3次元形状を示す画像データを生
成する。図13に示した機能ブロックおよび上記数式を
参照して,図12に示した三次元形状復元装置内の画像
処理装置90の動作を述べる。画像データ入力手段10
5は,たとえば,ビデオカメラ81で撮像した対象物体
の2次元輝度画像データI(x,y)を入力する。マッ
ピングパラメータ生成手段101はマッピングパラメー
タ:f,gを生成する。平均マッピングパラメータ演算
手段102は式7および式8に従って,マッピングパラ
メータ生成手段101で生成したマッピングパラメー
タ:f,gの平均を計算する。さらに,平均マッピング
パラメータ演算手段102は式5および式6の右辺第1
項に示す,マッピングパラメータの偏差を計算する。輝
度演算手段104はマッピングパラメータ:f,gに対
する輝度Rsを演算する。輝度微分演算手段103は,
マッピングパラメータ:f,gに対する輝度Rsについ
て,式5および式6に従って偏微分して輝度の偏微分
値,∂Rs/∂f,∂Rs/∂gを算出する。
0は,上述した数式の演算を実行する図13に図解する
機能ブロックに従って,2次元画像データについての陰
影情報から対象物体の3次元形状を示す画像データを生
成する。図13に示した機能ブロックおよび上記数式を
参照して,図12に示した三次元形状復元装置内の画像
処理装置90の動作を述べる。画像データ入力手段10
5は,たとえば,ビデオカメラ81で撮像した対象物体
の2次元輝度画像データI(x,y)を入力する。マッ
ピングパラメータ生成手段101はマッピングパラメー
タ:f,gを生成する。平均マッピングパラメータ演算
手段102は式7および式8に従って,マッピングパラ
メータ生成手段101で生成したマッピングパラメー
タ:f,gの平均を計算する。さらに,平均マッピング
パラメータ演算手段102は式5および式6の右辺第1
項に示す,マッピングパラメータの偏差を計算する。輝
度演算手段104はマッピングパラメータ:f,gに対
する輝度Rsを演算する。輝度微分演算手段103は,
マッピングパラメータ:f,gに対する輝度Rsについ
て,式5および式6に従って偏微分して輝度の偏微分
値,∂Rs/∂f,∂Rs/∂gを算出する。
【0016】減算手段106は,2次元輝度画像データ
I(x,y)からマッピングパラメータ:f,gに対す
る輝度Rs(f,g)を減じる。すなわち,減算手段1
06は輝度偏差ΔI=I(x,y)−Rs(f,g)を
計算する。乗算手段107は,輝度偏差ΔI=I(x,
y)−Rs(f,g)に輝度偏微分結果∂Rs/∂f,
∂Rs/∂gを乗じる。さらに乗算手段108は,乗算
手段107の乗算結果に評価係数2λを乗じる。これに
より,式5および式6の右辺第2項が計算される。減算
手段109は,平均マッピングパラメータ演算手段10
2で演算した式5および式6の右辺第1項に示す結果か
ら,乗算手段108における演算結果である式5および
式6の右辺第2項に示す結果を減じる。その結果,減算
手段109の出力は,式5および式6に示す結果とな
る。判断手段110は減算手段109の演算結果が,対
象物体の3次元形状を復元するに適した値を示す,0ま
たはほぼ0であるか否かを判断する。もし,判断手段1
10において,適切な結果が得られたと判断された場合
は,反射地図処理手段113において,上記マッピング
パラメータ:f,gとパラメータp,qとの関係式に基
づいてパラメータp,qを算出する。積分手段114は
求められたパラメータp,qを積分して対象物体の3次
元形状を復元する画像データに変換する。減算手段10
9の結果がほぼ0とならず,判断手段110における判
断結果が否定された場合は,遅延手段111において所
定時間遅延された後,再度,マッピングパラメータ生成
手段101においてマッピングパラメータ:f,gを更
新して上述した演算および判定を反復する。
I(x,y)からマッピングパラメータ:f,gに対す
る輝度Rs(f,g)を減じる。すなわち,減算手段1
06は輝度偏差ΔI=I(x,y)−Rs(f,g)を
計算する。乗算手段107は,輝度偏差ΔI=I(x,
y)−Rs(f,g)に輝度偏微分結果∂Rs/∂f,
∂Rs/∂gを乗じる。さらに乗算手段108は,乗算
手段107の乗算結果に評価係数2λを乗じる。これに
より,式5および式6の右辺第2項が計算される。減算
手段109は,平均マッピングパラメータ演算手段10
2で演算した式5および式6の右辺第1項に示す結果か
ら,乗算手段108における演算結果である式5および
式6の右辺第2項に示す結果を減じる。その結果,減算
手段109の出力は,式5および式6に示す結果とな
る。判断手段110は減算手段109の演算結果が,対
象物体の3次元形状を復元するに適した値を示す,0ま
たはほぼ0であるか否かを判断する。もし,判断手段1
10において,適切な結果が得られたと判断された場合
は,反射地図処理手段113において,上記マッピング
パラメータ:f,gとパラメータp,qとの関係式に基
づいてパラメータp,qを算出する。積分手段114は
求められたパラメータp,qを積分して対象物体の3次
元形状を復元する画像データに変換する。減算手段10
9の結果がほぼ0とならず,判断手段110における判
断結果が否定された場合は,遅延手段111において所
定時間遅延された後,再度,マッピングパラメータ生成
手段101においてマッピングパラメータ:f,gを更
新して上述した演算および判定を反復する。
【0017】
【発明が解決しようとする課題】図12および図13に
示した三次元形状復元方法およびその装置においては,
判断手段110から遅延手段111を介してマッピング
パラメータ生成手段101に戻るフィードバックルー
プ,および,判断手段110から直接マッピングパラメ
ータ生成手段101に戻るフィードバックループを有し
ており,判断手段110において減算手段109の結果
が対象物体の3次元形状を復元するのに充分な結果が得
られないと判断されたとき,マッピングパラメータ:
f,gを更新して繰り返し収束演算を行うから,対象物
体の三次元形状復元処理時間が長くなるという問題があ
る。その結果,実時間性を満足させることができないと
いう問題に遭遇している。実時間性を満足させるには相
当高速で動作するDSPなどの高価格の装置を必要と
し,価格的に新たな問題を惹起させるという側面を有し
ている。また、上記三次元形状復元方法は,その前提と
して,対象物体の面が滑らかであると仮定して演算処理
している。したがって,対象物体の形状が急激に変化す
るようにな形状を持つ対象物体を復元しようとした場
合,復元された形状はもとの急激な変化を持つ表面とし
ては復元されず,なだらかな面を持つ形状として復元さ
れ,対象物体の三次元形状復元の正確さに欠けるという
問題に遭遇している。
示した三次元形状復元方法およびその装置においては,
判断手段110から遅延手段111を介してマッピング
パラメータ生成手段101に戻るフィードバックルー
プ,および,判断手段110から直接マッピングパラメ
ータ生成手段101に戻るフィードバックループを有し
ており,判断手段110において減算手段109の結果
が対象物体の3次元形状を復元するのに充分な結果が得
られないと判断されたとき,マッピングパラメータ:
f,gを更新して繰り返し収束演算を行うから,対象物
体の三次元形状復元処理時間が長くなるという問題があ
る。その結果,実時間性を満足させることができないと
いう問題に遭遇している。実時間性を満足させるには相
当高速で動作するDSPなどの高価格の装置を必要と
し,価格的に新たな問題を惹起させるという側面を有し
ている。また、上記三次元形状復元方法は,その前提と
して,対象物体の面が滑らかであると仮定して演算処理
している。したがって,対象物体の形状が急激に変化す
るようにな形状を持つ対象物体を復元しようとした場
合,復元された形状はもとの急激な変化を持つ表面とし
ては復元されず,なだらかな面を持つ形状として復元さ
れ,対象物体の三次元形状復元の正確さに欠けるという
問題に遭遇している。
【0018】さらに,従来の三次元形状復元方法におい
ては,図14および図15に示したように,陰影情報か
ら対象物体の3次元形状を復元する画像データを生成す
る際,遮蔽輪郭の部分の法線の傾きを初期値として与え
て,その値を固定して対象物体の表面の傾きを求めてい
る。しかしながら,特に,自然画の場合などにおいて
は,遮蔽輪郭の法線を正確に求めることが難しく,初期
値自体に誤差が含まれており,対象物体の3次元形状を
復元する画像データを正確に得ることが難しいという問
題に遭遇している。
ては,図14および図15に示したように,陰影情報か
ら対象物体の3次元形状を復元する画像データを生成す
る際,遮蔽輪郭の部分の法線の傾きを初期値として与え
て,その値を固定して対象物体の表面の傾きを求めてい
る。しかしながら,特に,自然画の場合などにおいて
は,遮蔽輪郭の法線を正確に求めることが難しく,初期
値自体に誤差が含まれており,対象物体の3次元形状を
復元する画像データを正確に得ることが難しいという問
題に遭遇している。
【0019】したがって,本発明は,上述した対象物体
の三次元形状復元処理時間を短縮して実時間性を満足さ
せる三次元形状復元方法および三次元形状復元装置を提
供することを目的とする。また本発明は,対象物体の形
状表面が必ずしも滑らかでない場合にも正確にそ3次元
形状を復元する画像データを生成することを可能とする
三次元形状復元方法および三次元形状復元装置を提供す
ることを目的とする。さらに本発明は,陰影情報から対
象物体の3次元形状を復元する画像データを生成する
際,初期値として与える法線ベクトルに多少の誤差が含
まれていても,その誤差の影響を取り除きながら,正確
に対象物体の3次元形状を復元可能な三次元形状復元方
法および三次元形状復元装置を提供することを目的とす
る。
の三次元形状復元処理時間を短縮して実時間性を満足さ
せる三次元形状復元方法および三次元形状復元装置を提
供することを目的とする。また本発明は,対象物体の形
状表面が必ずしも滑らかでない場合にも正確にそ3次元
形状を復元する画像データを生成することを可能とする
三次元形状復元方法および三次元形状復元装置を提供す
ることを目的とする。さらに本発明は,陰影情報から対
象物体の3次元形状を復元する画像データを生成する
際,初期値として与える法線ベクトルに多少の誤差が含
まれていても,その誤差の影響を取り除きながら,正確
に対象物体の3次元形状を復元可能な三次元形状復元方
法および三次元形状復元装置を提供することを目的とす
る。
【0020】
【課題を解決するための手段】上記問題を解決するた
め,本発明によれば,対象物体を撮像した二次元輝度画
像データについての陰影情報を用いて上記対象物体の三
次元形状を復元する画像データを生成する三次元形状復
元方法であって,上記二次元輝度画像データから上記対
象物体の形状の面の滑らかさを検出し,この滑らかさを
用いて対象物体の形状の復元状態を判別し,この判別結
果が適切な値を示す陰影情報を用いて上記対象物体の3
次元形状を復元する画像データを生成する第1の三次元
形状復元方法が提供される。本発明によれば,上記三次
元形状復元方法を実施する装置が提供される。この第1
の三次元形状復元装置は,対象物体の二次元輝度画像デ
ータを提供する手段と,上記二次元輝度画像データにつ
いて上記対象物体の陰影を示す反射地図パラメータを算
出する手段と,隣接する反射地図パラメータの差の二乗
を算出する手段と,反射地図パラメータに対する輝度を
算出する手段と,前記反射地図パラメータに対する輝度
についての反射地図パラメータに対する微分結果を算出
する手段と,上記二次元輝度画像データから上記対象物
体の形状の滑らかさを算出する手段と,上記二次元輝度
画像と上記反射地図パラメータに対する輝度との差を算
出しこの差に上記反射地図パラメータに対する輝度の微
分結果を乗じこの乗算結果と,上記隣接する反射地図パ
ラメータの差の二乗に上記滑らかさを示すパラメータを
乗じた結果とを加算して判別値を算出する手段と,上記
判別値が最小か否かを判断する手段と上記判断手段で上
記判別値が最小と判断されたとき,その時の反射地図パ
ラメータから上記対象物体の3次元形状を示す画像デー
タを生成する手段とを有する。なお,上記反射地図パラ
メータに代えてマッピングパラメータを用いてもよい。
め,本発明によれば,対象物体を撮像した二次元輝度画
像データについての陰影情報を用いて上記対象物体の三
次元形状を復元する画像データを生成する三次元形状復
元方法であって,上記二次元輝度画像データから上記対
象物体の形状の面の滑らかさを検出し,この滑らかさを
用いて対象物体の形状の復元状態を判別し,この判別結
果が適切な値を示す陰影情報を用いて上記対象物体の3
次元形状を復元する画像データを生成する第1の三次元
形状復元方法が提供される。本発明によれば,上記三次
元形状復元方法を実施する装置が提供される。この第1
の三次元形状復元装置は,対象物体の二次元輝度画像デ
ータを提供する手段と,上記二次元輝度画像データにつ
いて上記対象物体の陰影を示す反射地図パラメータを算
出する手段と,隣接する反射地図パラメータの差の二乗
を算出する手段と,反射地図パラメータに対する輝度を
算出する手段と,前記反射地図パラメータに対する輝度
についての反射地図パラメータに対する微分結果を算出
する手段と,上記二次元輝度画像データから上記対象物
体の形状の滑らかさを算出する手段と,上記二次元輝度
画像と上記反射地図パラメータに対する輝度との差を算
出しこの差に上記反射地図パラメータに対する輝度の微
分結果を乗じこの乗算結果と,上記隣接する反射地図パ
ラメータの差の二乗に上記滑らかさを示すパラメータを
乗じた結果とを加算して判別値を算出する手段と,上記
判別値が最小か否かを判断する手段と上記判断手段で上
記判別値が最小と判断されたとき,その時の反射地図パ
ラメータから上記対象物体の3次元形状を示す画像デー
タを生成する手段とを有する。なお,上記反射地図パラ
メータに代えてマッピングパラメータを用いてもよい。
【0021】また本発明によれば,対象物体を撮像した
二次元輝度画像データについての陰影情報を用いて上記
対象物体の三次元形状を復元する画像データを生成する
三次元形状復元方法であって,陰影情報である反射地図
パラメータの初期値の誤差を補償して,対象物体の形状
の復元状態を判別し,この判別結果が適切な値を示す陰
影情報を用いて上記対象物体の3次元形状を復元する画
像データを生成する第2の三次元形状復元方法が提供さ
れる。本発明によれば,上記三次元形状復元方法を実施
する装置が提供される。この第2の三次元形状復元装置
は,対象物体の二次元輝度画像データを提供する手段
と,上記二次元輝度画像データについて上記対象物体の
陰影を示す反射地図パラメータを算出する手段と,反射
地図パラメータの初期値を設定する手段と,この反射地
図パラメータの初期値を上記算出された反射地図パラメ
ータを用いて補正する手段と,隣接する反射地図パラメ
ータの差の二乗を算出する手段と,反射地図パラメータ
に対する輝度を算出する手段と,前記反射地図パラメー
タに対する輝度についての反射地図パラメータに対する
微分結果を算出する手段と,上記二次元輝度画像と上記
反射地図パラメータに対する輝度との差を算出しこの差
に上記反射地図パラメータに対する輝度の微分結果を乗
じこの乗算結果と,上記反射地図パラメータの差の二乗
と加算して判別値を算出する手段と,上記判別値が最小
か否かを判断する手段と上記判断手段で上記判別値が最
小と判断されたとき,その時の反射地図パラメータから
上記対象物体の3次元形状を示す画像データを生成する
手段とを有する。
二次元輝度画像データについての陰影情報を用いて上記
対象物体の三次元形状を復元する画像データを生成する
三次元形状復元方法であって,陰影情報である反射地図
パラメータの初期値の誤差を補償して,対象物体の形状
の復元状態を判別し,この判別結果が適切な値を示す陰
影情報を用いて上記対象物体の3次元形状を復元する画
像データを生成する第2の三次元形状復元方法が提供さ
れる。本発明によれば,上記三次元形状復元方法を実施
する装置が提供される。この第2の三次元形状復元装置
は,対象物体の二次元輝度画像データを提供する手段
と,上記二次元輝度画像データについて上記対象物体の
陰影を示す反射地図パラメータを算出する手段と,反射
地図パラメータの初期値を設定する手段と,この反射地
図パラメータの初期値を上記算出された反射地図パラメ
ータを用いて補正する手段と,隣接する反射地図パラメ
ータの差の二乗を算出する手段と,反射地図パラメータ
に対する輝度を算出する手段と,前記反射地図パラメー
タに対する輝度についての反射地図パラメータに対する
微分結果を算出する手段と,上記二次元輝度画像と上記
反射地図パラメータに対する輝度との差を算出しこの差
に上記反射地図パラメータに対する輝度の微分結果を乗
じこの乗算結果と,上記反射地図パラメータの差の二乗
と加算して判別値を算出する手段と,上記判別値が最小
か否かを判断する手段と上記判断手段で上記判別値が最
小と判断されたとき,その時の反射地図パラメータから
上記対象物体の3次元形状を示す画像データを生成する
手段とを有する。
【0022】さらに本発明によれば,対象物体を撮像し
た二次元輝度画像データについての陰影情報を用いて上
記対象物体の三次元形状を復元する画像データを生成す
る三次元形状復元方法であって,上記対象物体の3次元
形状を復元するための判別式に上記対象物体の連続性を
付加して上記対象物体の形状の復元状態を判別し,この
判別結果が適切な値を示す陰影情報を用いて上記対象物
体の3次元形状を復元する画像データを生成する第3の
三次元形状復元方法が提供される。本発明によれば,上
記三次元形状復元方法を実施する装置が提供される。こ
の装置は,対象物体の二次元輝度画像データを提供する
手段と,上記二次元輝度画像データについて上記対象物
体の陰影を示す反射地図パラメータを算出する手段と,
上記対象物体の表面の連続性を示す値を算出する手段
と,隣接する反射地図パラメータの差の二乗を算出する
手段と,反射地図パラメータに対する輝度を算出する手
段と,前記反射地図パラメータに対する輝度についての
反射地図パラメータに対する微分結果を算出する手段
と,上記二次元輝度画像と上記反射地図パラメータに対
する輝度との差を算出しこの差に上記反射地図パラメー
タに対する輝度の微分結果を乗じこの乗算結果と,上記
反射地図パラメータの差の二乗と,上記対象物体の表面
の連続性を示す値とを加算して判別値を算出する手段
と,上記判別値が最小か否かを判断する手段と,上記判
断手段で上記判別値が最小と判断されたとき,その時の
反射地図パラメータから上記対象物体の3次元形状を示
す画像データを生成する手段とを有する。
た二次元輝度画像データについての陰影情報を用いて上
記対象物体の三次元形状を復元する画像データを生成す
る三次元形状復元方法であって,上記対象物体の3次元
形状を復元するための判別式に上記対象物体の連続性を
付加して上記対象物体の形状の復元状態を判別し,この
判別結果が適切な値を示す陰影情報を用いて上記対象物
体の3次元形状を復元する画像データを生成する第3の
三次元形状復元方法が提供される。本発明によれば,上
記三次元形状復元方法を実施する装置が提供される。こ
の装置は,対象物体の二次元輝度画像データを提供する
手段と,上記二次元輝度画像データについて上記対象物
体の陰影を示す反射地図パラメータを算出する手段と,
上記対象物体の表面の連続性を示す値を算出する手段
と,隣接する反射地図パラメータの差の二乗を算出する
手段と,反射地図パラメータに対する輝度を算出する手
段と,前記反射地図パラメータに対する輝度についての
反射地図パラメータに対する微分結果を算出する手段
と,上記二次元輝度画像と上記反射地図パラメータに対
する輝度との差を算出しこの差に上記反射地図パラメー
タに対する輝度の微分結果を乗じこの乗算結果と,上記
反射地図パラメータの差の二乗と,上記対象物体の表面
の連続性を示す値とを加算して判別値を算出する手段
と,上記判別値が最小か否かを判断する手段と,上記判
断手段で上記判別値が最小と判断されたとき,その時の
反射地図パラメータから上記対象物体の3次元形状を示
す画像データを生成する手段とを有する。
【0023】
【作用】本発明の第1の三次元形状復元方法において
は,陰影情報を示す反射地図パラメータ(またはマッピ
ングパラメータ)についての輝度を求め、その輝度と対
象物体を撮像した元の入力値に基いて前記物体の滑らか
さと面の傾きを規定し、その面の傾きから3次元形状に
復元する。対象物体の形状の滑らかさをパラメータとし
て,滑らかである部分と滑らかでない部分とを識別して
対象物体の3次元形状を復元する画像データを生成す
る。上記本発明の第1の三次元形状復元装置は上記三次
元形状復元方法を実施する。
は,陰影情報を示す反射地図パラメータ(またはマッピ
ングパラメータ)についての輝度を求め、その輝度と対
象物体を撮像した元の入力値に基いて前記物体の滑らか
さと面の傾きを規定し、その面の傾きから3次元形状に
復元する。対象物体の形状の滑らかさをパラメータとし
て,滑らかである部分と滑らかでない部分とを識別して
対象物体の3次元形状を復元する画像データを生成す
る。上記本発明の第1の三次元形状復元装置は上記三次
元形状復元方法を実施する。
【0024】第2の三次元形状復元方法においては,反
射地図パラメータの初期値に誤差が存在しても,その誤
差を収斂演算でなくしていく。それにより,多少の誤差
を含む初期反射地図パラメータを用いても,対象物体の
3次元形状を正確に復元する画像データが生成できる。
上記本発明の第2の三次元形状復元装置は上記三次元形
状復元方法を実施する。
射地図パラメータの初期値に誤差が存在しても,その誤
差を収斂演算でなくしていく。それにより,多少の誤差
を含む初期反射地図パラメータを用いても,対象物体の
3次元形状を正確に復元する画像データが生成できる。
上記本発明の第2の三次元形状復元装置は上記三次元形
状復元方法を実施する。
【0025】本発明の第3の三次元形状復元方法におい
ては,対象物体の3次元形状を正確に復元する反射地図
パラメータを決定する判別値を演算する項に,対象物体
の表面の連続性を示すパラメータを付加する。これによ
り,対象物体の表面の連続性を考慮した正確な2次元形
状を復元する画像データが得られる。
ては,対象物体の3次元形状を正確に復元する反射地図
パラメータを決定する判別値を演算する項に,対象物体
の表面の連続性を示すパラメータを付加する。これによ
り,対象物体の表面の連続性を考慮した正確な2次元形
状を復元する画像データが得られる。
【0026】
【実施例】本発明の三次元形状復元方法および三次元形
状復元装置の第1実施例を述べる。図1は本発明の三次
元形状復元装置の第1実施例の構成を示すブロック図、
図2は本発明の第1実施例の機能ブロック図である。三
次元形状復元装置1Aは,対象物体を撮像してカラー2
次元画像データを発生するCCDを有するカラービデオ
カメラ5,カラービデオカメラ5からの2次元輝度画像
データを表示するカラーテレビ6,VTR7,画像処理
装置2A,および,パーソナル・コンピュータ15を有
する。カラービデオカメラ5,カラーテレビ6,および
/または,VTR7は,対象物体の2次元画像データを
出力する2次元輝度画像データ出力手段4として機能す
るが,2次元輝度画像データ出力手段4としては,これ
らのいずれか1つがあればよい。あるいは,これら例示
した装置ではなく,予めメモリに記憶した2次元輝度画
像データを出力する手段であってもよい。本発明におい
ては,カラーは直接関係しないので,以下の記述におい
て,カラーについては言及しないものとする。
状復元装置の第1実施例を述べる。図1は本発明の三次
元形状復元装置の第1実施例の構成を示すブロック図、
図2は本発明の第1実施例の機能ブロック図である。三
次元形状復元装置1Aは,対象物体を撮像してカラー2
次元画像データを発生するCCDを有するカラービデオ
カメラ5,カラービデオカメラ5からの2次元輝度画像
データを表示するカラーテレビ6,VTR7,画像処理
装置2A,および,パーソナル・コンピュータ15を有
する。カラービデオカメラ5,カラーテレビ6,および
/または,VTR7は,対象物体の2次元画像データを
出力する2次元輝度画像データ出力手段4として機能す
るが,2次元輝度画像データ出力手段4としては,これ
らのいずれか1つがあればよい。あるいは,これら例示
した装置ではなく,予めメモリに記憶した2次元輝度画
像データを出力する手段であってもよい。本発明におい
ては,カラーは直接関係しないので,以下の記述におい
て,カラーについては言及しないものとする。
【0027】画像処理装置2Aは,画像入力部8,A/
D変換部9,画像データ記憶部10,画像データ出力部
14,制御部11,画像データ演算部12,復元画像デ
ータ判断部13,および,滑らかさパラメータ演算処理
部3Aを有する。この回路構成は図12に示した画像処
理装置90に類似した構成であり,図1と図12と対比
して述べると,それぞれ,図1に示した画像入力部8は
図12に示した画像入力部901に対応し,A/D変換
部9はA/D変換部902に対応し,画像データ記憶部
10は画像データ記憶部903に対応し,画像データ出
力部14は画像データ出力部904に対応し,制御部1
1は制御部905に対応し,画像データ演算部12は画
像データ演算部906に対応し,復元画像データ判断部
13は復元画像データ判断部907に対応している。図
1に示した三次元形状復元装置1Aには,図12に示し
た三次元形状復元装置には存在しない滑らかさパラメー
タ演算処理部3Aが付加されている。画像処理装置2A
で復元された3次元画像データがパーソナル・コンピュ
ータ15に出力されて,たとえば,CRT表示装置に対
象物体の3次元形状が表示される。あるいは,復元され
た3次元形状画像データから,たとえは,産業用ロボッ
トのハンドの把持状態を認識する。
D変換部9,画像データ記憶部10,画像データ出力部
14,制御部11,画像データ演算部12,復元画像デ
ータ判断部13,および,滑らかさパラメータ演算処理
部3Aを有する。この回路構成は図12に示した画像処
理装置90に類似した構成であり,図1と図12と対比
して述べると,それぞれ,図1に示した画像入力部8は
図12に示した画像入力部901に対応し,A/D変換
部9はA/D変換部902に対応し,画像データ記憶部
10は画像データ記憶部903に対応し,画像データ出
力部14は画像データ出力部904に対応し,制御部1
1は制御部905に対応し,画像データ演算部12は画
像データ演算部906に対応し,復元画像データ判断部
13は復元画像データ判断部907に対応している。図
1に示した三次元形状復元装置1Aには,図12に示し
た三次元形状復元装置には存在しない滑らかさパラメー
タ演算処理部3Aが付加されている。画像処理装置2A
で復元された3次元画像データがパーソナル・コンピュ
ータ15に出力されて,たとえば,CRT表示装置に対
象物体の3次元形状が表示される。あるいは,復元され
た3次元形状画像データから,たとえは,産業用ロボッ
トのハンドの把持状態を認識する。
【0028】図2は図1に示した三次元形状復元装置1
A内の画像処理装置2Aの処理内容を示す機能ブロック
図である。本実施例においては,式5および式6に該当
する判別式に代えて,式11に示す判別式を用いる。そ
の詳細は後述する。図2に示した画像処理装置2Aは,
マッピングパラメータ生成手段19,マッピングパラメ
ータ差の二乗演算手段20,マッピングパラメータ:
f,gに対する輝度Rs(f,g)を演算する輝度演算
手段22,輝度演算手段22において算出された輝度R
sをマッピングパラメータ:f,gで偏微分する輝度微
分演算手段21,減算手段23,乗算手段24,乗算手
段25,減算手段26,判断手段27,遅延手段28,
反射地図処理手段29,および,積分手段30を有す
る。画像処理装置2Aはさらに,エッジ検出手段16,
滑らかさパラメータ決定手段17,および,評価係数補
正手段18を有する。
A内の画像処理装置2Aの処理内容を示す機能ブロック
図である。本実施例においては,式5および式6に該当
する判別式に代えて,式11に示す判別式を用いる。そ
の詳細は後述する。図2に示した画像処理装置2Aは,
マッピングパラメータ生成手段19,マッピングパラメ
ータ差の二乗演算手段20,マッピングパラメータ:
f,gに対する輝度Rs(f,g)を演算する輝度演算
手段22,輝度演算手段22において算出された輝度R
sをマッピングパラメータ:f,gで偏微分する輝度微
分演算手段21,減算手段23,乗算手段24,乗算手
段25,減算手段26,判断手段27,遅延手段28,
反射地図処理手段29,および,積分手段30を有す
る。画像処理装置2Aはさらに,エッジ検出手段16,
滑らかさパラメータ決定手段17,および,評価係数補
正手段18を有する。
【0029】図1に示した画像処理装置2A内の構成要
素と,図2に示した機能ブロック内の手段とを対応させ
る。画像入力部8は2次元画像データ出力手段31に対
応し,制御部11および画像データ演算部12が協働し
てマッピングパラメータ生成手段19,マッピングパラ
メータ差の二乗演算手段20,輝度演算手段22,輝度
微分演算手段21,減算手段23,乗算手段24,乗算
手段25,減算手段26,および,遅延手段28に対応
する。また,制御部11と画像データ演算部12とが反
射地図処理手段29および積分手段30に対応する。復
元画像データ判断部13が判断手段27に対応してい
る。また上述した図2に示した機能ブロックにおける手
段は,従来技術として図13を参照して述べた手段に対
応している。ただし,後述するように,マッピングパラ
メータ差の二乗演算手段20は平均マッピングパラメー
タ演算手段102とは異なる。図1に示したA/D変換
部9および画像データ記憶部10は図2に示した機能ブ
ロックには表されていない。
素と,図2に示した機能ブロック内の手段とを対応させ
る。画像入力部8は2次元画像データ出力手段31に対
応し,制御部11および画像データ演算部12が協働し
てマッピングパラメータ生成手段19,マッピングパラ
メータ差の二乗演算手段20,輝度演算手段22,輝度
微分演算手段21,減算手段23,乗算手段24,乗算
手段25,減算手段26,および,遅延手段28に対応
する。また,制御部11と画像データ演算部12とが反
射地図処理手段29および積分手段30に対応する。復
元画像データ判断部13が判断手段27に対応してい
る。また上述した図2に示した機能ブロックにおける手
段は,従来技術として図13を参照して述べた手段に対
応している。ただし,後述するように,マッピングパラ
メータ差の二乗演算手段20は平均マッピングパラメー
タ演算手段102とは異なる。図1に示したA/D変換
部9および画像データ記憶部10は図2に示した機能ブ
ロックには表されていない。
【0030】本実施例において付加された滑らかさパラ
メータ演算処理部3Aは,エッジ検出手段16,パラメ
ータ決定手段17,および,評価係数補正手段18に対
応する。なお,図13に示した判断手段110からマッ
ピングパラメータ生成手段101に負帰還するループ
が,図2に示した機能ブロックにおいては,存在しない
ことに留意されたい。つまり,図2に示した三次元形状
復元処理ブロックにおいては,判断手段27からマッピ
ングパラメータ生成手段19への負帰還ループは存在せ
ず,このループにおける反復演算は行わない。
メータ演算処理部3Aは,エッジ検出手段16,パラメ
ータ決定手段17,および,評価係数補正手段18に対
応する。なお,図13に示した判断手段110からマッ
ピングパラメータ生成手段101に負帰還するループ
が,図2に示した機能ブロックにおいては,存在しない
ことに留意されたい。つまり,図2に示した三次元形状
復元処理ブロックにおいては,判断手段27からマッピ
ングパラメータ生成手段19への負帰還ループは存在せ
ず,このループにおける反復演算は行わない。
【0031】以下,図1および図2に示した三次元形状
復元装置の動作を詳述する。対象物体について,たとえ
ば,カラービデオカメラ5で撮像した2次元輝度画像デ
ータI(x,y)が2次元画像データ出力手段31に入
力され,A/D変換部9でディジタル値に変換され,画
像データ記憶部10に記憶される。以下,2次元輝度画
像データI(x,y)はディジタル信号処理される。マ
ッピングパラメータ生成手段19は図3および図4に示
した反射地図座標系におけるマッピングパラメータ:
f,gを算出する。マッピングパラメータ差の二乗演算
手段20は式7および式8に示すマッピングパラメー
タ:f,gの平均を算出する。さらに,平均マッピング
パラメータ演算手段20は式11の右辺の第1項および
第2項に示すマッピングパラメータ:f,gの差の2
乗,つまり, (fi+1,j −fi,j )2 /4+(fi,j+1 −fi,j )2 /4 (gi+1,j −gi,j )2 /4+(gi,j+1 −gi,j )2 /4 を計算する。輝度演算手段22はマッピングパラメー
タ:f,gに対する輝度Rs(f,g)を算出する。こ
の輝度Rs(f,g)は下記式で表される。 Rs (f,g)=R(p(x,y),q(x,y)) 輝度微分演算手段21は輝度Rsに対するマッピングパ
ラメータ:f,gの偏微分∂Rs/∂f,∂Rs/∂g
を求める。
復元装置の動作を詳述する。対象物体について,たとえ
ば,カラービデオカメラ5で撮像した2次元輝度画像デ
ータI(x,y)が2次元画像データ出力手段31に入
力され,A/D変換部9でディジタル値に変換され,画
像データ記憶部10に記憶される。以下,2次元輝度画
像データI(x,y)はディジタル信号処理される。マ
ッピングパラメータ生成手段19は図3および図4に示
した反射地図座標系におけるマッピングパラメータ:
f,gを算出する。マッピングパラメータ差の二乗演算
手段20は式7および式8に示すマッピングパラメー
タ:f,gの平均を算出する。さらに,平均マッピング
パラメータ演算手段20は式11の右辺の第1項および
第2項に示すマッピングパラメータ:f,gの差の2
乗,つまり, (fi+1,j −fi,j )2 /4+(fi,j+1 −fi,j )2 /4 (gi+1,j −gi,j )2 /4+(gi,j+1 −gi,j )2 /4 を計算する。輝度演算手段22はマッピングパラメー
タ:f,gに対する輝度Rs(f,g)を算出する。こ
の輝度Rs(f,g)は下記式で表される。 Rs (f,g)=R(p(x,y),q(x,y)) 輝度微分演算手段21は輝度Rsに対するマッピングパ
ラメータ:f,gの偏微分∂Rs/∂f,∂Rs/∂g
を求める。
【0032】エッジ検出手段16は,2次元画像データ
出力手段31から出力される2次元輝度画像データI
(x,y)を2次元方向,つまり,x方向およびy方向
について微分して,輝度のエッジを検出する。滑らかさ
パラメータ決定手段17はそのエッジ検出手段16にお
ける微分値についてx方向の滑らかさを示すパラメータ
ki,j と,y方向の滑らかさを示すパラメータmi,j と
を決定する。x方向の滑らかさを示すパラメータki,j
の決定方法としては,エッジ検出手段16で計算したx
方向の微分値が大きければ滑らかさが小さいと考えてパ
ラメータki,j を小さくし,x方向の微分値が小さいと
滑らかである考えてパラメータki,j を大きくする。y
方向の滑らかさを示すパラメータmi,j の決定方法も上
記同様とする。
出力手段31から出力される2次元輝度画像データI
(x,y)を2次元方向,つまり,x方向およびy方向
について微分して,輝度のエッジを検出する。滑らかさ
パラメータ決定手段17はそのエッジ検出手段16にお
ける微分値についてx方向の滑らかさを示すパラメータ
ki,j と,y方向の滑らかさを示すパラメータmi,j と
を決定する。x方向の滑らかさを示すパラメータki,j
の決定方法としては,エッジ検出手段16で計算したx
方向の微分値が大きければ滑らかさが小さいと考えてパ
ラメータki,j を小さくし,x方向の微分値が小さいと
滑らかである考えてパラメータki,j を大きくする。y
方向の滑らかさを示すパラメータmi,j の決定方法も上
記同様とする。
【0033】上述した演算結果を用いて,減算手段2
3,乗算手段24,乗算手段25,減算手段26および
乗算手段32が,式11に示す演算を行う。減算手段2
3は輝度偏差ΔI=I(x,y)−Rs(fi,j ,g
i,j )を算出する。乗算手段24は,輝度偏差ΔI=I
(x,y)−Rs(fi,j ,gi,j )に輝度微分演算手
段21で計算した∂Rs/∂f,∂Rs/∂gを掛け
る。乗算手段25は乗算手段24の結果に,評価係数λ
を乗ずる。これにより,式11の右辺第3項の値が得ら
れる。乗算手段32はマッピングパラメータ差の二乗演
算手段20で演算した上記マッピングパラメータの差の
二乗演算結果に,滑らかさパラメータ決定手段17で算
出した滑らかさパラメータki,j およびmi,j を乗ず
る。その結果,式11における右辺の第2項および第2
項の計算結果が得られる。加算手段26は乗算手段25
からの演算結果と乗算手段32からの演算結果を加算す
る。その結果,エネルギーeを示す判別式11で示した
結果が得られる。判別式11は式5および式6に対応し
ており,判別式11で示す結果が0またはほぼ0に近い
ときのマッピングパラメータ:f,gをもちいて対象物
体の3次元形状を復元する画像データが規定されること
を意味する。
3,乗算手段24,乗算手段25,減算手段26および
乗算手段32が,式11に示す演算を行う。減算手段2
3は輝度偏差ΔI=I(x,y)−Rs(fi,j ,g
i,j )を算出する。乗算手段24は,輝度偏差ΔI=I
(x,y)−Rs(fi,j ,gi,j )に輝度微分演算手
段21で計算した∂Rs/∂f,∂Rs/∂gを掛け
る。乗算手段25は乗算手段24の結果に,評価係数λ
を乗ずる。これにより,式11の右辺第3項の値が得ら
れる。乗算手段32はマッピングパラメータ差の二乗演
算手段20で演算した上記マッピングパラメータの差の
二乗演算結果に,滑らかさパラメータ決定手段17で算
出した滑らかさパラメータki,j およびmi,j を乗ず
る。その結果,式11における右辺の第2項および第2
項の計算結果が得られる。加算手段26は乗算手段25
からの演算結果と乗算手段32からの演算結果を加算す
る。その結果,エネルギーeを示す判別式11で示した
結果が得られる。判別式11は式5および式6に対応し
ており,判別式11で示す結果が0またはほぼ0に近い
ときのマッピングパラメータ:f,gをもちいて対象物
体の3次元形状を復元する画像データが規定されること
を意味する。
【0034】判断手段27は判別式11に示す加算手段
26の出力結果が最小値を示すか否かを判断する。式1
1で示す結果が最小値であると判断した場合は,判断手
段27は反射地図処理手段29および積分手段30を駆
動して,従来と同様,反射地図処理手段29においてマ
ッピングパラメータ:f,gから上述した関係式に基づ
いて反射地図パラメータp,qを算出し,積分手段30
において算出された反射地図パラメータ:p,qについ
て積分して,希望する対象物体の3次元形状を復元する
画像データを生成させる。
26の出力結果が最小値を示すか否かを判断する。式1
1で示す結果が最小値であると判断した場合は,判断手
段27は反射地図処理手段29および積分手段30を駆
動して,従来と同様,反射地図処理手段29においてマ
ッピングパラメータ:f,gから上述した関係式に基づ
いて反射地図パラメータp,qを算出し,積分手段30
において算出された反射地図パラメータ:p,qについ
て積分して,希望する対象物体の3次元形状を復元する
画像データを生成させる。
【0035】判断手段27において,式11で示す加算
手段26の出力結果がまだ最終値とは判定されないとき
は,遅延手段28において一定時間遅延後,たとえば,
ビデオ信号の1フレーム分の時間の後,マッピングパラ
メータ生成手段19においてマッピングパラメータ:
f,gを更新して,上述した処理を行わせる。
手段26の出力結果がまだ最終値とは判定されないとき
は,遅延手段28において一定時間遅延後,たとえば,
ビデオ信号の1フレーム分の時間の後,マッピングパラ
メータ生成手段19においてマッピングパラメータ:
f,gを更新して,上述した処理を行わせる。
【0036】なお,図2に示すように,滑らかさパラメ
ータ決定手段17において滑らかさを示す滑らかさパラ
メータki,j およびmi,j が算出されたとき,これらの
滑らかさパラメータを用いて,判別式11に示す評価係
数λを補正し,補正評価係数λを乗算手段25に出力し
て乗算処理を行う一方,乗算手段32における滑らかさ
パラメータki,j およびmi,j の乗算を省略してもよ
い。
ータ決定手段17において滑らかさを示す滑らかさパラ
メータki,j およびmi,j が算出されたとき,これらの
滑らかさパラメータを用いて,判別式11に示す評価係
数λを補正し,補正評価係数λを乗算手段25に出力し
て乗算処理を行う一方,乗算手段32における滑らかさ
パラメータki,j およびmi,j の乗算を省略してもよ
い。
【0037】以上述べたように,本実施例においては,
滑らかさパラメータパラメータki,j およびmi,j を導
入して,対象物体の3次元形状の表面が急激に変化する
場合でも,正しく対象物体の2次元形状の復元処理を行
うことができる。また上述したように,図2に示した構
成においては,図13に示した判断手段110からマッ
ピングパラメータ生成手段101に到る負帰還ループに
相当するループが存在しないことに留意されたい。つま
り,本実施例では、ある物体の2次元画像のx方向及び
y方向の輝度を微分し、その微分値に基づいて、x方向
及びy方向の滑らかさを決定し,その結果を用いて適切
に判別することにより,収束が迅速になり,反復演算に
起因する演算時間が長くなることが回避できる。
滑らかさパラメータパラメータki,j およびmi,j を導
入して,対象物体の3次元形状の表面が急激に変化する
場合でも,正しく対象物体の2次元形状の復元処理を行
うことができる。また上述したように,図2に示した構
成においては,図13に示した判断手段110からマッ
ピングパラメータ生成手段101に到る負帰還ループに
相当するループが存在しないことに留意されたい。つま
り,本実施例では、ある物体の2次元画像のx方向及び
y方向の輝度を微分し、その微分値に基づいて、x方向
及びy方向の滑らかさを決定し,その結果を用いて適切
に判別することにより,収束が迅速になり,反復演算に
起因する演算時間が長くなることが回避できる。
【0038】本発明の三次元形状復元方法および三次元
形状復元装置の第2実施例を述べる。この実施例は,図
14および図15を参照して述べた,陰影情報から3次
元形状に復元する際に遮蔽輪郭の部分の法線の傾きを初
期値として与えるときに初期値の誤差に起因する対象物
体の3次元形状復元の不正確さを改善する。図5は第2
実施例としての三次元形状復元装置の構成ずであり,図
6は図5に示した三次元形状復元装置の機能ブロック図
であり,図7は第2実施例としての三次元形状復元方法
の処理を示すフローチャートである。
形状復元装置の第2実施例を述べる。この実施例は,図
14および図15を参照して述べた,陰影情報から3次
元形状に復元する際に遮蔽輪郭の部分の法線の傾きを初
期値として与えるときに初期値の誤差に起因する対象物
体の3次元形状復元の不正確さを改善する。図5は第2
実施例としての三次元形状復元装置の構成ずであり,図
6は図5に示した三次元形状復元装置の機能ブロック図
であり,図7は第2実施例としての三次元形状復元方法
の処理を示すフローチャートである。
【0039】図5に示した三次元形状復元装置1Bは図
1に示した三次元形状復元装置1Aとほぼ同じ構成をし
ており,対応する構成要素は同じ符号を付してある。図
5に示した三次元形状復元装置1Bは,図1に示した画
像処理装置2Aに代えて画像処理装置2Bとしている
が,画像処理装置2Aとの違いは,画像処理装置2A内
の滑らかさパラメータ演算処理部3Aに代えて,マッピ
ングパラメータ初期誤差分演算部3Bを設けた点にあ
る。図6に示した機能ブロックも,図2に示した機能ブ
ロックに対応しているが,図6においては,初期値設定
手段36,減算手段37,初期値誤差定義手段35,マ
ッピングパラメータの差の二乗演算手段34,乗算手段
38,加算手段33が設けられている点が異なる。
1に示した三次元形状復元装置1Aとほぼ同じ構成をし
ており,対応する構成要素は同じ符号を付してある。図
5に示した三次元形状復元装置1Bは,図1に示した画
像処理装置2Aに代えて画像処理装置2Bとしている
が,画像処理装置2Aとの違いは,画像処理装置2A内
の滑らかさパラメータ演算処理部3Aに代えて,マッピ
ングパラメータ初期誤差分演算部3Bを設けた点にあ
る。図6に示した機能ブロックも,図2に示した機能ブ
ロックに対応しているが,図6においては,初期値設定
手段36,減算手段37,初期値誤差定義手段35,マ
ッピングパラメータの差の二乗演算手段34,乗算手段
38,加算手段33が設けられている点が異なる。
【0040】図7に示すフローチャートを参照して,第
2実施例の三次元形状復元方法の処理内容の概要を述べ
る。 ステップ1:図3および図4を図解して述べたように,
光源と2次元陰影画像とを結ぶ光軸を基準にした座標系
の、光軸の回転方向に対する2次元陰影画像の法線の回
転角度を第1の角度として規定し、光線軸と法線との成
す角度を第2の角度として規定する。 ステップ2:これら第1および第2の角度に基いて目標
とする画像情報が得られるか否かを判断する。 ステップ3:目標とする画像情報が得られると判断した
場合には、2次元陰影画像から対象物体の3次元形状を
復元す画像データを生成し,処理を終了する。 ステップ4:目標とする画像情報が得られないと判断し
た場合には、第1の角度の更新を行い、ステップ2の処
理に戻る。
2実施例の三次元形状復元方法の処理内容の概要を述べ
る。 ステップ1:図3および図4を図解して述べたように,
光源と2次元陰影画像とを結ぶ光軸を基準にした座標系
の、光軸の回転方向に対する2次元陰影画像の法線の回
転角度を第1の角度として規定し、光線軸と法線との成
す角度を第2の角度として規定する。 ステップ2:これら第1および第2の角度に基いて目標
とする画像情報が得られるか否かを判断する。 ステップ3:目標とする画像情報が得られると判断した
場合には、2次元陰影画像から対象物体の3次元形状を
復元す画像データを生成し,処理を終了する。 ステップ4:目標とする画像情報が得られないと判断し
た場合には、第1の角度の更新を行い、ステップ2の処
理に戻る。
【0041】本実施例においては,2次元陰影情報から
3次元形状復元画像データを生成する際に、誤差を定義
する項(パラメータ):ti,j を加えて繰り返し演算
し,誤差を考慮した3次元形状の復元を行う。つまり,
誤差を定義するパラメータti,j ,点(i,j)におけ
る面の滑らかさを定義する量Si,j ,および,陰影の忠
実度をri,j とすると,それぞれ下記式で表される。
3次元形状復元画像データを生成する際に、誤差を定義
する項(パラメータ):ti,j を加えて繰り返し演算
し,誤差を考慮した3次元形状の復元を行う。つまり,
誤差を定義するパラメータti,j ,点(i,j)におけ
る面の滑らかさを定義する量Si,j ,および,陰影の忠
実度をri,j とすると,それぞれ下記式で表される。
【数12】 ただし,Fi,j はマッピングパラメータfの初期値であ
り,Gi,j はマッピングパラメータgの初期値である。
り,Gi,j はマッピングパラメータgの初期値である。
【数13】
【数14】
【0042】3次元形状を復元するための最小にすべき
評価パラメータeは下記式15で表される。
評価パラメータeは下記式15で表される。
【数15】 ただし,λ2 は評価係数である。評価パラメータeの最
小値が希望する対象物体の3次元形状復元する画像デー
タを与えるから,式15の値が最小値,0またはほぼ0
になる条件を求める。そのため,式15をマッピングパ
ラメータ:f,gで偏微分した下記式16および式17
を繰り返し演算する。
小値が希望する対象物体の3次元形状復元する画像デー
タを与えるから,式15の値が最小値,0またはほぼ0
になる条件を求める。そのため,式15をマッピングパ
ラメータ:f,gで偏微分した下記式16および式17
を繰り返し演算する。
【数16】
【数17】 ただし,式16および式17における平均マッピングパ
ラメータは下記式で表される。
ラメータは下記式で表される。
【数18】
【数19】
【0043】このように計算すると、初期値として与え
た法線の傾きにわずかな誤差が含まれても、初期値に含
まれる誤差の影響を取り除きながら、正しい3次元形状
に復元することが可能になる。図6に示した機能ブロッ
クにおいて,初期値設定手段36が式12に示したマッ
ピングパラメータの初期値Fi,j ,Gi,j を設定する。
平均マッピングパラメータ演算手段20Bが,式18お
よび式19に示した平均マッピングパラメータ演算処理
を行う。初期値誤差定義手段35が式12に示した演算
を行う。マッピングパラメータの差の二乗演算手段34
が式13に示した演算を行う。減算手段23が式14で
示した輝度偏差を算出する。乗算手段38においてその
二乗を演算し,第1のい評価係数λ1を乗ずる。乗算手
段24,加算手段33,乗算手段25,初期値設定手段
36が式17および式18に示した演算を行う。判断手
段27が初期値設定手段36の出力を判定する。判断手
段27の判定後の処理は上述した第1実施例と同様であ
る。
た法線の傾きにわずかな誤差が含まれても、初期値に含
まれる誤差の影響を取り除きながら、正しい3次元形状
に復元することが可能になる。図6に示した機能ブロッ
クにおいて,初期値設定手段36が式12に示したマッ
ピングパラメータの初期値Fi,j ,Gi,j を設定する。
平均マッピングパラメータ演算手段20Bが,式18お
よび式19に示した平均マッピングパラメータ演算処理
を行う。初期値誤差定義手段35が式12に示した演算
を行う。マッピングパラメータの差の二乗演算手段34
が式13に示した演算を行う。減算手段23が式14で
示した輝度偏差を算出する。乗算手段38においてその
二乗を演算し,第1のい評価係数λ1を乗ずる。乗算手
段24,加算手段33,乗算手段25,初期値設定手段
36が式17および式18に示した演算を行う。判断手
段27が初期値設定手段36の出力を判定する。判断手
段27の判定後の処理は上述した第1実施例と同様であ
る。
【0044】本実施例では、式12に示すように,マッ
ピングパラメータ生成手段19からのマッピングパラメ
ータ:f,gと初期値設定手段36からのマッピングパ
ラメータの初期値Fi,j ,Gi,j との差を算出する初期
値誤差定義手段35を用い,式15の判別式を用いるこ
とにより,初期値設定手段36から与えられるマッピン
グパラメータ:f,gの初期値Fi,j ,Gi,j に法線の
傾きがやや誤差を含む場合においても、その誤差の影響
を取り除きながら、3次元形状に復元することができ
る。従って、本実施例では、特に,自然画像にように初
期値として与えた法線の傾きに誤差が含まれていても、
誤差の影響を取り除きながら、正しい3次元形状に復元
することが可能になる。
ピングパラメータ生成手段19からのマッピングパラメ
ータ:f,gと初期値設定手段36からのマッピングパ
ラメータの初期値Fi,j ,Gi,j との差を算出する初期
値誤差定義手段35を用い,式15の判別式を用いるこ
とにより,初期値設定手段36から与えられるマッピン
グパラメータ:f,gの初期値Fi,j ,Gi,j に法線の
傾きがやや誤差を含む場合においても、その誤差の影響
を取り除きながら、3次元形状に復元することができ
る。従って、本実施例では、特に,自然画像にように初
期値として与えた法線の傾きに誤差が含まれていても、
誤差の影響を取り除きながら、正しい3次元形状に復元
することが可能になる。
【0045】本発明の三次元形状復元方法および三次元
形状復元装置の第3実施例について述べる。図8は第3
実施例の説明に用いる座標系を示す図であり,図9は第
3実施例の三次元形状復元装置の構成図である。図8に
示すように,x,y,z座標系において3次元形状を持
つ対象物体が存在している。この対象物体の表面を表す
関数を Z=z(x,y,) とし,対象物体の表面のx方向の傾きpとし,y方向の
傾きをqとすると,これらの傾きは式20で表される。
形状復元装置の第3実施例について述べる。図8は第3
実施例の説明に用いる座標系を示す図であり,図9は第
3実施例の三次元形状復元装置の構成図である。図8に
示すように,x,y,z座標系において3次元形状を持
つ対象物体が存在している。この対象物体の表面を表す
関数を Z=z(x,y,) とし,対象物体の表面のx方向の傾きpとし,y方向の
傾きをqとすると,これらの傾きは式20で表される。
【数20】 図8に示す対象物体の表面のポイント1とポイント2と
の高さは上記p,qの定義式20から,下記式で表され
る
の高さは上記p,qの定義式20から,下記式で表され
る
【数21】
【0046】もし,ポイント1とポイント2とが同じ点
であったとしたら,いかなる閉ループを通っても平面が
連続であれば,下記式が成立する。
であったとしたら,いかなる閉ループを通っても平面が
連続であれば,下記式が成立する。
【数22】 したがって,下記式が成立する。
【数23】 ストークスの定理を用いると下記式で表される。
【数24】 式24における記号Sは任意の閉ループの領域なので,
下記式が成立する。
下記式が成立する。
【数25】 逆に式25が成立すれば,式23が成立することが明ら
かである。このように,3次元平面が連続であるという
十分条件は,式25が成立することに帰結する。
かである。このように,3次元平面が連続であるという
十分条件は,式25が成立することに帰結する。
【0047】対象物体を撮像した点(i,j)における
二次元輝度画像データI(x.y)と,反射地図におけ
る輝度データR(pi,j ,qi,j )とすると,対象物体
の3次元形状を復元する画像データを求める問題は,上
述したように,式26を満足するに反射地図パラメータ
(pi,j ,qi,j )を求める問題に帰結する。
二次元輝度画像データI(x.y)と,反射地図におけ
る輝度データR(pi,j ,qi,j )とすると,対象物体
の3次元形状を復元する画像データを求める問題は,上
述したように,式26を満足するに反射地図パラメータ
(pi,j ,qi,j )を求める問題に帰結する。
【数26】
【0048】ところが,式26だけでは反射地図パラメ
ータ(pi,j ,qi,j )は解けない。そこで,上述した
ように,対象物体の表面の傾きが滑らかに変化するとい
う仮定をおく必要がある。さらに上記のように考察した
対象物体の表面の連続性を考慮する必要がある。ここ
で,対象物体の形状の傾きの変化に対する制約パラメー
タSi,j ,表面の連続性に対する制約パラメータ
Ci,j ,および,二次元輝度画像データに対する忠実度
ri,j を 下記式27で表す。
ータ(pi,j ,qi,j )は解けない。そこで,上述した
ように,対象物体の表面の傾きが滑らかに変化するとい
う仮定をおく必要がある。さらに上記のように考察した
対象物体の表面の連続性を考慮する必要がある。ここ
で,対象物体の形状の傾きの変化に対する制約パラメー
タSi,j ,表面の連続性に対する制約パラメータ
Ci,j ,および,二次元輝度画像データに対する忠実度
ri,j を 下記式27で表す。
【数27】 このときのエネルギーeを下記式で表す。
【数28】
【0049】上述したように,このエネルギーeが最小
になる条件を求めることが,対象物体の3次元形状を復
元する画像データを表す反射地図パラメータ(p,q)
を求めることに帰結する。そのため,上述したように,
エネルギーeをマッピングパラメータ:f,gで偏微分
する。その演算式を式29および式30に示す。
になる条件を求めることが,対象物体の3次元形状を復
元する画像データを表す反射地図パラメータ(p,q)
を求めることに帰結する。そのため,上述したように,
エネルギーeをマッピングパラメータ:f,gで偏微分
する。その演算式を式29および式30に示す。
【数29】
【数30】 ここで,
【数31】 とおくと,下記式で示す演算を繰り返すとエネルギーe
を最小にする反射地図パラメータ(p,q)を求めるこ
とができる。
を最小にする反射地図パラメータ(p,q)を求めるこ
とができる。
【数32】
【数33】 式32および式33における頭にバーをつけた平均反射
地図パラメータp,qは下記式で表される。
地図パラメータp,qは下記式で表される。
【数34】
【数35】
【0050】エネルギーeを最小にする反射地図パラメ
ータ(p,q)が求められた後,その値を積分すれば対
象物体の3次元形状を示す画像データを得ることができ
る。このように,第3実施例においては,適切な反射パ
ラメータ(p,q)を求める判別式として示すエネルギ
ー関数eに対象物体の表面の連続性を満たす付加項をつ
けて判別することにより,実在する対象物体の3次元形
状を正確に復元することができる。
ータ(p,q)が求められた後,その値を積分すれば対
象物体の3次元形状を示す画像データを得ることができ
る。このように,第3実施例においては,適切な反射パ
ラメータ(p,q)を求める判別式として示すエネルギ
ー関数eに対象物体の表面の連続性を満たす付加項をつ
けて判別することにより,実在する対象物体の3次元形
状を正確に復元することができる。
【0051】図9は上述した第3実施例の三次元形状復
元方法を遂行する機能ブロック図である。この機能ブロ
ックの全体は,反射地図パラメータ生成手段41,平均
反射地図パラメータ演算手段42,乗算手段43,反射
地図パラメータ差・和演算手段44,乗算手段45,輝
度微分手段46,輝度算出手段47,エネルギー計算手
段48,判別手段49,減算手段50,乗算手段51,
加算手段52,加算手段53,乗算手段54,スイッチ
手段55,遅延手段56,積分手段57を有している。
この第3実施例についても,上記第1および第2の実施
例として図1および図5を参照して述べたように,三次
元形状復元装置の構成が存在するが,その基本的な差異
は,上述した画像データ前処理部3Aおよび誤差分演算
部3Bに代えて,上述した判別式としてのエネルギー関
数eに対象物体の連続性を満たす付加項をつける部分が
異なるだけであるから,その三次元形状復元装置の構成
は省略した。
元方法を遂行する機能ブロック図である。この機能ブロ
ックの全体は,反射地図パラメータ生成手段41,平均
反射地図パラメータ演算手段42,乗算手段43,反射
地図パラメータ差・和演算手段44,乗算手段45,輝
度微分手段46,輝度算出手段47,エネルギー計算手
段48,判別手段49,減算手段50,乗算手段51,
加算手段52,加算手段53,乗算手段54,スイッチ
手段55,遅延手段56,積分手段57を有している。
この第3実施例についても,上記第1および第2の実施
例として図1および図5を参照して述べたように,三次
元形状復元装置の構成が存在するが,その基本的な差異
は,上述した画像データ前処理部3Aおよび誤差分演算
部3Bに代えて,上述した判別式としてのエネルギー関
数eに対象物体の連続性を満たす付加項をつける部分が
異なるだけであるから,その三次元形状復元装置の構成
は省略した。
【0052】図9に示した機能ブロックのそれぞれは下
記に述べる処理を行う。反射地図パラメータ生成手段4
1は初期反射地図パラメータ:p0 ,q0 を入力して反
射地図パラメータ:p,qを生成する。平均反射地図パ
ラメータ演算手段42は,式34および式35に従っ
て,反射地図パラメータ:p,qの平均を算出する。乗
算手段43は,平均反射地図パラメータ演算手段42で
算出した平均反射地図パラメータに評価係数λ1 を乗ず
る。これにより,式32および式33の右辺,〔〕内の
第1項の演算が行われる。反射地図パラメータ差・和演
算手段44は,式32および式33における右辺の〔〕
内の第2項の部分演算を行う。乗算手段45は,反射地
図パラメータ差・和演算手段44の演算結果に評価係数
λ2 /2を乗じて, 式32および式33における右辺の
〔〕内の第2項の演算を行う。輝度演算手段47は反射
地図パラメータ:p,qに対する輝度Rs(p,q)を
算出する。輝度微分演算手段46は,輝度演算手段47
で算出した輝度Rs(p,q)を反射地図パラメータ:
p,qで偏微分して,∂R/∂p,∂R/∂qを算出す
る。減算手段50は,式32および式33の右辺の〔〕
内の第3項に示す輝度偏差ΔI=二次元輝度画像データ
I(x,y)−輝度Rsを算出する。乗算手段51は,
この輝度偏差ΔI=I(x,y)−Rsに輝度微分演算
手段46からの輝度偏微分結果∂R/∂p,∂R/∂q
を乗じて,式32および式33の右辺の〔〕内の第3項
の値を得る。加算手段52は,乗算手段51からの結果
に乗算手段45からの結果を加算する。加算手段53は
加算手段52の加算結果に乗算手段43の乗算結果を加
算する。これにより,式32および式33における右辺
の〔〕内に示す値が計算される。乗算手段54は,加算
手段53の加算結果に,評価係数1/(λ1 +λ2 )を
乗ずる。これにより,式32および式33に基づく演算
が行われることになる。
記に述べる処理を行う。反射地図パラメータ生成手段4
1は初期反射地図パラメータ:p0 ,q0 を入力して反
射地図パラメータ:p,qを生成する。平均反射地図パ
ラメータ演算手段42は,式34および式35に従っ
て,反射地図パラメータ:p,qの平均を算出する。乗
算手段43は,平均反射地図パラメータ演算手段42で
算出した平均反射地図パラメータに評価係数λ1 を乗ず
る。これにより,式32および式33の右辺,〔〕内の
第1項の演算が行われる。反射地図パラメータ差・和演
算手段44は,式32および式33における右辺の〔〕
内の第2項の部分演算を行う。乗算手段45は,反射地
図パラメータ差・和演算手段44の演算結果に評価係数
λ2 /2を乗じて, 式32および式33における右辺の
〔〕内の第2項の演算を行う。輝度演算手段47は反射
地図パラメータ:p,qに対する輝度Rs(p,q)を
算出する。輝度微分演算手段46は,輝度演算手段47
で算出した輝度Rs(p,q)を反射地図パラメータ:
p,qで偏微分して,∂R/∂p,∂R/∂qを算出す
る。減算手段50は,式32および式33の右辺の〔〕
内の第3項に示す輝度偏差ΔI=二次元輝度画像データ
I(x,y)−輝度Rsを算出する。乗算手段51は,
この輝度偏差ΔI=I(x,y)−Rsに輝度微分演算
手段46からの輝度偏微分結果∂R/∂p,∂R/∂q
を乗じて,式32および式33の右辺の〔〕内の第3項
の値を得る。加算手段52は,乗算手段51からの結果
に乗算手段45からの結果を加算する。加算手段53は
加算手段52の加算結果に乗算手段43の乗算結果を加
算する。これにより,式32および式33における右辺
の〔〕内に示す値が計算される。乗算手段54は,加算
手段53の加算結果に,評価係数1/(λ1 +λ2 )を
乗ずる。これにより,式32および式33に基づく演算
が行われることになる。
【0053】エネルギー計算手段48は,式28に規定
するエネルギーeを計算する。判断手段49は,エネル
ギー計算手段48で計算したエネルギーeが最小値だあ
るか否かを判定する。そして,エネルギーeが最小値で
あると判断したときは,その結果をスイッチ手段55を
介して,積分手段57に出力し,上記演算で得られた反
射地図パラメータ:p,qに基づいて対象物体の3次元
形状を復元する画像データを生成させる。判断手段49
においてエネルギーeが最小を示すものでないと判断さ
れた時は,乗算手段54の演算結果は,遅延手段56に
おいて所定時間遅延されて,再び,反射地図パラメータ
生成手段41において反射地図パラメータ:p,qの更
新が行われ,上述した演算が反復される。遅延手段56
における遅延時間は,たとえ,ビデオ信号の1フレーム
分に相当する遅延時間である。
するエネルギーeを計算する。判断手段49は,エネル
ギー計算手段48で計算したエネルギーeが最小値だあ
るか否かを判定する。そして,エネルギーeが最小値で
あると判断したときは,その結果をスイッチ手段55を
介して,積分手段57に出力し,上記演算で得られた反
射地図パラメータ:p,qに基づいて対象物体の3次元
形状を復元する画像データを生成させる。判断手段49
においてエネルギーeが最小を示すものでないと判断さ
れた時は,乗算手段54の演算結果は,遅延手段56に
おいて所定時間遅延されて,再び,反射地図パラメータ
生成手段41において反射地図パラメータ:p,qの更
新が行われ,上述した演算が反復される。遅延手段56
における遅延時間は,たとえ,ビデオ信号の1フレーム
分に相当する遅延時間である。
【0054】第1〜第3実施例の機能ブロックの相互関
係について触れておく。図9に示した機能ブロック図
も,上述した図2または図6に示した機能ブロックに類
似している。ただし,図9においては,図2および図6
に示したマッピングパラメータ:f,gに代えて,反射
地図パラメータ:p,qを用いて表現している。たとえ
ば,図9に示した手段と図6に示した手段との対応関係
を示すと下記になる。 図9における手段 図6における手段 反射地図パラメータ生成手段41 マッピングパラメータ生成手段19 平均反射地図パラメータ演算手段42 平均マッピングパラメータ演算手段 20B 反射地図パラメータ差・和演算手段 マッピングパラメータの差の二乗演算 44 手段34 輝度微分演算手段46 輝度微分演算手段21 輝度演算手段47 輝度演算手段22 減算手段50 減算手段23 乗算手段51 乗算手段24 加算手段52,53 加算手段33 乗算手段54 乗算手段25 判断手段49 判断手段27 遅延手段56 遅延手段28 積分手段57 積分手段30 表現形態が異なり,演算処理内容なとが必ずしも一致し
ていないので完全な対応関係は成立しないが,大きな機
能ブロックとして考察した場合,ある程度の対応関係に
はある。図2に示した機能ブロックと図6に示した機能
ブロックとも上記同様に対応関係がある。同様に,図2
に示した機能ブロックと図9に示した機能ブロックとも
対応関係がある。
係について触れておく。図9に示した機能ブロック図
も,上述した図2または図6に示した機能ブロックに類
似している。ただし,図9においては,図2および図6
に示したマッピングパラメータ:f,gに代えて,反射
地図パラメータ:p,qを用いて表現している。たとえ
ば,図9に示した手段と図6に示した手段との対応関係
を示すと下記になる。 図9における手段 図6における手段 反射地図パラメータ生成手段41 マッピングパラメータ生成手段19 平均反射地図パラメータ演算手段42 平均マッピングパラメータ演算手段 20B 反射地図パラメータ差・和演算手段 マッピングパラメータの差の二乗演算 44 手段34 輝度微分演算手段46 輝度微分演算手段21 輝度演算手段47 輝度演算手段22 減算手段50 減算手段23 乗算手段51 乗算手段24 加算手段52,53 加算手段33 乗算手段54 乗算手段25 判断手段49 判断手段27 遅延手段56 遅延手段28 積分手段57 積分手段30 表現形態が異なり,演算処理内容なとが必ずしも一致し
ていないので完全な対応関係は成立しないが,大きな機
能ブロックとして考察した場合,ある程度の対応関係に
はある。図2に示した機能ブロックと図6に示した機能
ブロックとも上記同様に対応関係がある。同様に,図2
に示した機能ブロックと図9に示した機能ブロックとも
対応関係がある。
【0055】以上の第1〜第3実施例は,(a)対象物
体の形状に急激な変化がある場合にもその変化を正確に
対象物体の3次元形状を復元可能な三次元形状復元方法
およびその装置,(b)マッピングパラメータ:f,g
の初期値が誤差が存在してもその誤差の影響を受けずに
正確に対象物体の3次元形状を復元可能な三次元形状復
元方法およびその装置,(c)判別式として用いるエネ
ルギーeに対象物体の表面の連続性を満足する付加項を
設けてさらに正確に対象物体の3次元形状を復元可能な
三次元形状復元方法およびその装置を,それぞれ個別に
述べた。本発明の三次元形状復元方法および三次元形状
復元装置はこれら第1〜第3実施例を適切に組み合わせ
た種々の実施例をとることができる。これらの実施例に
おいて,対応関係を上記のように例示したように,共通
処理手段が存在するので,共通処理手段は当然その演算
を共通に処理する。
体の形状に急激な変化がある場合にもその変化を正確に
対象物体の3次元形状を復元可能な三次元形状復元方法
およびその装置,(b)マッピングパラメータ:f,g
の初期値が誤差が存在してもその誤差の影響を受けずに
正確に対象物体の3次元形状を復元可能な三次元形状復
元方法およびその装置,(c)判別式として用いるエネ
ルギーeに対象物体の表面の連続性を満足する付加項を
設けてさらに正確に対象物体の3次元形状を復元可能な
三次元形状復元方法およびその装置を,それぞれ個別に
述べた。本発明の三次元形状復元方法および三次元形状
復元装置はこれら第1〜第3実施例を適切に組み合わせ
た種々の実施例をとることができる。これらの実施例に
おいて,対応関係を上記のように例示したように,共通
処理手段が存在するので,共通処理手段は当然その演算
を共通に処理する。
【0056】
【発明の効果】以上述べたように,本発明によれば,対
象物体の3次元形状に急激な変化が存在する場合であっ
ても正確にその3次元形状を復元する画像データを生成
することかできる。また本発明によれば,マッピングパ
ラメータの初期値に誤差を含んでいても,その誤差を修
正しながら対象物体の3次元形状を復元する画像データ
を生成することができ,マッピングパラメータの初期値
設定に多大の労力を要しないという利点が有する。さら
に本発明によれば,対象物体の連続性を考慮して,対象
物体の実在性の富む3次元形状を復元する画像データを
生成することができる。本発明の三次元形状復元方法お
よび三次元形状復元装置は短時間で対象物体の3次元形
状を復元する画像データを生成することができ,実時間
性を満足する3次元形状復元画像データを提供できる。
さらに本発明の三次元形状復元方法によれば,DSPな
どの高速信号処理装置を必ずしも必要とせず,低価格で
信号処理装置が対象物体の3次元形状を復元する画像デ
ータを提供できる。
象物体の3次元形状に急激な変化が存在する場合であっ
ても正確にその3次元形状を復元する画像データを生成
することかできる。また本発明によれば,マッピングパ
ラメータの初期値に誤差を含んでいても,その誤差を修
正しながら対象物体の3次元形状を復元する画像データ
を生成することができ,マッピングパラメータの初期値
設定に多大の労力を要しないという利点が有する。さら
に本発明によれば,対象物体の連続性を考慮して,対象
物体の実在性の富む3次元形状を復元する画像データを
生成することができる。本発明の三次元形状復元方法お
よび三次元形状復元装置は短時間で対象物体の3次元形
状を復元する画像データを生成することができ,実時間
性を満足する3次元形状復元画像データを提供できる。
さらに本発明の三次元形状復元方法によれば,DSPな
どの高速信号処理装置を必ずしも必要とせず,低価格で
信号処理装置が対象物体の3次元形状を復元する画像デ
ータを提供できる。
【図1】本発明の三次元形状復元装置の第1実施例の構
成図である。
成図である。
【図2】本発明の三次元形状復元方法の第1実施例の処
理内容,および,図1に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。
理内容,および,図1に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。
【図3】本発明の陰影情報を用いて三次元形状を復元す
る方法において適用する陰影情報を示すマッピングパラ
メータの座標系の断面図である。
る方法において適用する陰影情報を示すマッピングパラ
メータの座標系の断面図である。
【図4】本発明の陰影情報を用いて三次元形状を復元す
る方法において適用する陰影情報を示すマッピングパラ
メータの座標系の斜視図である。
る方法において適用する陰影情報を示すマッピングパラ
メータの座標系の斜視図である。
【図5】本発明の三次元形状復元装置の第2実施例の構
成図である。
成図である。
【図6】本発明の三次元形状復元方法の第2実施例の処
理内容,および,図5に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。
理内容,および,図5に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。
【図7】第2実施例の三次元形状復元方法の処理を示す
フローチャートである。
フローチャートである。
【図8】本発明の三次元形状復元装置の第2実施例の構
成図である。
成図である。
【図9】本発明の三次元形状復元方法の第2実施例の処
理内容,および,図5に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。
理内容,および,図5に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。
【図10】従来の陰影情報から対象物体の3次元形状を
復元する画像データを生成するブロック構成図である。
復元する画像データを生成するブロック構成図である。
【図11】図10の三次元形状復元方法を実現する従来
の三次元形状復元装置の構成図である。
の三次元形状復元装置の構成図である。
【図12】従来の三次元形状復元装置の構成図である。
【図13】従来の三次元形状復元方法および三次元形状
復元装置の機能ブロック図である。
復元装置の機能ブロック図である。
【図14】従来の陰影情報から3次元形状を復元するに
際して,遮蔽輪郭部分の法線を示す平面図である。
際して,遮蔽輪郭部分の法線を示す平面図である。
【図15】図14に示した遮蔽輪郭の斜視図である。
1A,1B・・三次元形状復元装置 2A,2B・・画像処理装置 3A・・滑らかさパラメータ演算処理部 3B・・マッピングパラメータ誤差分演算部 4・・2次元輝度画像データ出力手段 5・・カラービデオカメラ 6・・カラーテレビ
7・・VTR 8・・画像入力部 9・・A/D変換部 10・・画像データ記憶部 11・・制御部 12・・画像データ演算部 13・・復元画像データ
判断部 14・・画像データ出力部 15・・パーソナル・コ
ンピュータ 16・・エッジ検出手段 17・・滑らかさパラメ
ータ決定手段 18・・評価係数補正手段 19・・マッピングパラ
メータ生成手段 20・・マッピングパラメータ差の二乗演算手段 20B・・平均マッピングパラメータ演算手段 21・・輝度微分演算手段 22・・輝度演算手段 23・・減算手段 24・・乗算手段 25・・乗算手段 26・・加算手段 27・・判断手段 28・・遅延手段 29・・反射地図処理手段 30・・積分手段 31・・2次元画像データ出力手段 32・・乗算手段 33・・加算手段 34・・マッピングパラメータの差の二乗演算手段 35・・初期値誤差定義手段 36・・初期値設定手段 37・・減算手段 38・・乗算手段 41・・反射地図パラメータ生成手段 42・・平均反射地図パラメータ演算手段 43・・乗算手段 44・・反射地図パラメータ
差・和演算手段 45・・乗算手段 46・・輝度微分演算手
段 47・・輝度演算手段 48・・エネルギー計算
手段 49・・判断手段 50・・減算手段 51・・乗算手段 52・・加算手段 53・・加算手段 54・・乗算手段 56・・遅延手段 57・・積分手段
7・・VTR 8・・画像入力部 9・・A/D変換部 10・・画像データ記憶部 11・・制御部 12・・画像データ演算部 13・・復元画像データ
判断部 14・・画像データ出力部 15・・パーソナル・コ
ンピュータ 16・・エッジ検出手段 17・・滑らかさパラメ
ータ決定手段 18・・評価係数補正手段 19・・マッピングパラ
メータ生成手段 20・・マッピングパラメータ差の二乗演算手段 20B・・平均マッピングパラメータ演算手段 21・・輝度微分演算手段 22・・輝度演算手段 23・・減算手段 24・・乗算手段 25・・乗算手段 26・・加算手段 27・・判断手段 28・・遅延手段 29・・反射地図処理手段 30・・積分手段 31・・2次元画像データ出力手段 32・・乗算手段 33・・加算手段 34・・マッピングパラメータの差の二乗演算手段 35・・初期値誤差定義手段 36・・初期値設定手段 37・・減算手段 38・・乗算手段 41・・反射地図パラメータ生成手段 42・・平均反射地図パラメータ演算手段 43・・乗算手段 44・・反射地図パラメータ
差・和演算手段 45・・乗算手段 46・・輝度微分演算手
段 47・・輝度演算手段 48・・エネルギー計算
手段 49・・判断手段 50・・減算手段 51・・乗算手段 52・・加算手段 53・・加算手段 54・・乗算手段 56・・遅延手段 57・・積分手段
【数11】
Claims (6)
- 【請求項1】対象物体を撮像した二次元輝度画像データ
についての陰影情報を用いて上記対象物体の三次元形状
を復元する画像データを生成する三次元形状復元方法で
あって,上記二次元輝度画像データから上記対象物体の
形状の面の滑らかさを検出し,この滑らかさを用いて対
象物体の形状の復元状態を判別し,この判別結果が適切
な値を示す陰影情報を用いて上記対象物体の3次元形状
を復元する画像データを生成する三次元形状復元方法。 - 【請求項2】対象物体の二次元輝度画像データを提供す
る手段と,上記二次元輝度画像データについて上記対象
物体の陰影を示す反射地図パラメータを算出する手段
と,隣接する反射地図パラメータの差の二乗を算出する
手段と,反射地図パラメータに対する輝度を算出する手
段と,前記反射地図パラメータに対する輝度についての
反射地図パラメータに対する微分結果を算出する手段
と,上記二次元輝度画像データから上記対象物体の形状
の滑らかさを算出する手段と,上記二次元輝度画像と上
記反射地図パラメータに対する輝度との差を算出しこの
差に上記反射地図パラメータに対する輝度の微分結果を
乗じこの乗算結果と,上記隣接する反射地図パラメータ
の差の二乗に上記滑らかさを示すパラメータを乗じた結
果とを加算して判別値を算出する手段と,上記判別値が
最小か否かを判断する手段と上記判断手段で上記判別値
が最小と判断されたとき,その時の反射地図パラメータ
から上記対象物体の3次元形状を示す画像データを生成
する手段とを有する三次元形状復元装置。 - 【請求項3】対象物体を撮像した二次元輝度画像データ
についての陰影情報を用いて上記対象物体の三次元形状
を復元する画像データを生成する三次元形状復元方法で
あって,陰影情報である反射地図パラメータの初期値の
誤差を補償して,対象物体の形状の復元状態を判別し,
この判別結果が適切な値を示す陰影情報を用いて上記対
象物体の3次元形状を復元する画像データを生成する三
次元形状復元方法。 - 【請求項4】対象物体の二次元輝度画像データを提供す
る手段と,上記二次元輝度画像データについて上記対象
物体の陰影を示す反射地図パラメータを算出する手段
と,反射地図パラメータの初期値を設定する手段と,こ
の反射地図パラメータの初期値を上記算出された反射地
図パラメータを用いて補正する手段と,隣接する反射地
図パラメータの差の二乗を算出する手段と,反射地図パ
ラメータに対する輝度を算出する手段と,前記反射地図
パラメータに対する輝度についての反射地図パラメータ
に対する微分結果を算出する手段と,上記二次元輝度画
像と上記反射地図パラメータに対する輝度との差を算出
しこの差に上記反射地図パラメータに対する輝度の微分
結果を乗じこの乗算結果と,上記反射地図パラメータの
差の二乗と加算して判別値を算出する手段と,上記判別
値が最小か否かを判断する手段と上記判断手段で上記判
別値が最小と判断されたとき,その時の反射地図パラメ
ータから上記対象物体の3次元形状を示す画像データを
生成する手段とを有する三次元形状復元装置。 - 【請求項5】対象物体を撮像した二次元輝度画像データ
についての陰影情報を用いて上記対象物体の三次元形状
を復元する画像データを生成する三次元形状復元方法で
あって,上記対象物体の3次元形状を復元するための判
別式に上記対象物体の連続性を付加して上記対象物体の
形状の復元状態を判別し,この判別結果が適切な値を示
す陰影情報を用いて上記対象物体の3次元形状を復元す
る画像データを生成する三次元形状復元方法。 - 【請求項6】対象物体の二次元輝度画像データを提供す
る手段と,上記二次元輝度画像データについて上記対象
物体の陰影を示す反射地図パラメータを算出する手段
と,上記対象物体の表面の連続性を示す値を算出する手
段と,隣接する反射地図パラメータの差の二乗を算出す
る手段と,反射地図パラメータに対する輝度を算出する
手段と,前記反射地図パラメータに対する輝度について
の反射地図パラメータに対する微分結果を算出する手段
と,上記二次元輝度画像と上記反射地図パラメータに対
する輝度との差を算出しこの差に上記反射地図パラメー
タに対する輝度の微分結果を乗じこの乗算結果と,上記
反射地図パラメータの差の二乗と,上記対象物体の表面
の連続性を示す値とを加算して判別値を算出する手段
と,上記判別値が最小か否かを判断する手段と,上記判
断手段で上記判別値が最小と判断されたとき,その時の
反射地図パラメータから上記対象物体の3次元形状を示
す画像データを生成する手段とを有する三次元形状復元
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14318192A JP3198617B2 (ja) | 1991-10-30 | 1992-05-08 | 三次元形状復元方法とその装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31161291 | 1991-10-30 | ||
JP3-311612 | 1991-11-06 | ||
JP31841991 | 1991-11-06 | ||
JP3-318419 | 1991-11-06 | ||
JP14318192A JP3198617B2 (ja) | 1991-10-30 | 1992-05-08 | 三次元形状復元方法とその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05181980A true JPH05181980A (ja) | 1993-07-23 |
JP3198617B2 JP3198617B2 (ja) | 2001-08-13 |
Family
ID=27318581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14318192A Expired - Fee Related JP3198617B2 (ja) | 1991-10-30 | 1992-05-08 | 三次元形状復元方法とその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3198617B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7078688B2 (en) | 2003-08-27 | 2006-07-18 | Hitachi High-Technologies Corporation | Shape measuring device and shape measuring method |
WO2006077710A1 (ja) * | 2005-01-19 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム |
JP2010526295A (ja) * | 2007-04-24 | 2010-07-29 | 株式会社ソニー・コンピュータエンタテインメント | ビデオカメラとtvモニタを使用した3次元オブジェクトのスキャン |
US7889908B2 (en) | 2005-03-16 | 2011-02-15 | Hitachi High-Technologies Corporation | Method and apparatus for measuring shape of a specimen |
CN113099210A (zh) * | 2021-03-31 | 2021-07-09 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像还原方法、装置、计算机设备和存储介质 |
-
1992
- 1992-05-08 JP JP14318192A patent/JP3198617B2/ja not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7078688B2 (en) | 2003-08-27 | 2006-07-18 | Hitachi High-Technologies Corporation | Shape measuring device and shape measuring method |
WO2006077710A1 (ja) * | 2005-01-19 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム |
US7379618B2 (en) | 2005-01-19 | 2008-05-27 | Matsushita Electric Industrial Co., Ltd. | Image conversion method, texture mapping method, image conversion device, server-client system, and image conversion program |
US7889908B2 (en) | 2005-03-16 | 2011-02-15 | Hitachi High-Technologies Corporation | Method and apparatus for measuring shape of a specimen |
JP2010526295A (ja) * | 2007-04-24 | 2010-07-29 | 株式会社ソニー・コンピュータエンタテインメント | ビデオカメラとtvモニタを使用した3次元オブジェクトのスキャン |
CN113099210A (zh) * | 2021-03-31 | 2021-07-09 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像还原方法、装置、计算机设备和存储介质 |
CN113099210B (zh) * | 2021-03-31 | 2023-01-10 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像还原方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP3198617B2 (ja) | 2001-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3954211B2 (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
EP1303839B1 (en) | System and method for median fusion of depth maps | |
US6816187B1 (en) | Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera | |
JP5297403B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 | |
KR101410273B1 (ko) | 증강현실 응용을 위한 환경 모델링 방법 및 장치 | |
CN102289803A (zh) | 图像处理设备、图像处理方法及程序 | |
WO2005043466A1 (ja) | 物体の状態を推定する推定システム、推定方法および推定プログラム | |
WO2011105522A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
WO2021169704A1 (zh) | 手势深度确定方法、装置、设备及存储介质 | |
JP2002008040A (ja) | 三次元情報検出装置及び三次元情報検出方法 | |
JP2014010495A (ja) | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム | |
JP3668769B2 (ja) | 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法 | |
CN114981845A (zh) | 图像扫描方法及装置、设备、存储介质 | |
JPH1079029A (ja) | 立体情報検出方法及びその装置 | |
JP3198617B2 (ja) | 三次元形状復元方法とその装置 | |
JPH10116359A (ja) | カメラパラメータ演算装置及び画像合成装置 | |
CN115861547A (zh) | 一种基于投影的模型表面样条线生成方法 | |
JP2014149582A (ja) | 変換行列推定装置、変換行列推定方法、及びプログラム | |
WO2021169705A1 (zh) | 手势深度信息的处理方法、装置、设备及存储介质 | |
CN113140031B (zh) | 三维影像建模***、方法及应用其的口腔扫描设备 | |
JP3577202B2 (ja) | 映像作成装置 | |
JPH11175765A (ja) | 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体 | |
JP3180430B2 (ja) | 3次元形状復元方法 | |
JPH09138865A (ja) | 3次元形状データ処理装置 | |
JPH0498367A (ja) | 3次元形状作成方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |