JPH05181980A - 三次元形状復元方法とその装置 - Google Patents

Abstract

(57)【要約】 【目的】 対象物体を撮像した二次元輝度画像データに
ついての陰影情報を用いて対象物体の３次元形状を復元
する画像データを生成するとき，対象物体の表面の急激
な変化も正確に復元可能な三次元形状復元方法を提供す
る。 【構成】 三次元形状復元方法を実施する機能ブロック
において，二次元輝度画像データＩ（ｘ，ｙ）について
そのエッジを検出し（１６），エッジから対象物体の表
面の滑らかさを示すパラメータｋ，ｍを算出する（１
７）。このパラメータを用いて３次元形状を正確に復元
する陰影情報としての反射地図パラメータ：ｐ，ｑを決
定し（２７，２９），その反射地図パラメータ：ｐ，ｑ
を用いて，対象物体の３次元形状を復元する画像データ
を生成する（３０）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は３次元形状を有する対象
物体を撮像した二次元輝度画像データからその対象物体
の３次元形状を復元する画像データを生成する三次元形
状復元方法とその装置に関するものであり，特に，３次
元形状を有する対象物体を撮像した二次元輝度画像デー
タについてその陰影情報を用いて，短時間かつ正確に，
対象物体の３次元形状を復元する画像データを生成する
三次元形状復元方法とその装置に関する。

【０００２】

【従来の技術】たとえば，ファクトリ・オートメーショ
ン（ＦＡ），産業用ロボットなどにおいては，ロボット
のハンド把持状態を認識するため，ＣＣＤカメラなどの
撮像手段で撮像した２次元画像データを入手し，その２
次元画像データについて特徴抽出などの画像処理を行っ
て，もとのロボットのハンドの把持状態を復元すること
が試みられている。

【０００３】このような，３次元形状を有する対象物体
の２次元画像データからその３次元形状を復元する画像
データを生成する際，２つの問題に遭遇する。第１の問
題は，奥行情報が欠落した２次元画像データからいかに
正確に対象物体の３次元形状を復元する画像データを生
成するかという問題である。第２の問題は，非常に多量
の２次元画像データから，いかに高速に３次元形状を復
元する画像データを生成するかという問題である。この
問題は，産業用ロボットなどにおいて，その三次元形状
復元結果を実時間で使用するという観点から特に問題と
なる。この問題については，多量の画像データを高速に
処理可能な高速な情報処理装置，たとえば，ディジタル
シグナルプロセッサ（ＤＳＰ）などを用いる方法が知ら
れている。

【０００４】前者の問題を解決する試みとしては，数学
的に，直交する２次元座標系のパラメータｘ，ｙにおけ
る輝度を示す２次元関数ｆ（ｘ，ｙ）で示される画像デ
ータを対数変換する方法が知られている（たとえば，Ｃ
Ｑ出版，「インターフェース」，１９８８年１０月号，
第１７２〜１８２ページ参照）。しかしながら，この方
法はその画像処理が複雑であり，処理時間がかかるた
め，実時間性の観点から適用が難しい。また，３次元形
状を有する対象物体を正確に復元する画像データを得る
ことが難しいという問題に遭遇している。

【０００５】その他の試みとしては，対象物体の陰影情
報からその３次元形状を示す画像データを生成する方法
（「Shape from Shading」) が試みられている。この陰
影情報から３次元形状画像データを生成する方法は，３
次元形状を微分するとその表面が計算でき，その表面か
ら反射地図を用いて変換すると陰影情報になることを逆
に行って，陰影情報から対象物体の表面の方向を求め，
さらに求めた表面を積分することにより，３次元形状を
復元しようとするものである。対象物体の表面に垂直な
方向に法線ベクトルを考え，対象物体の表面にある角度
で照明光を照射し，その反射光を照明光とは異なる他の
角度で観察した場合，具体的には，ビデオカメラなどで
撮像した場合に用いる地図であり，照明条件，対象物体
の表面の状態，観察者の位置をパラメータとして表され
る地図を示す。つまり，図１０に示すように，手段６１
において二次元輝度画像データから対象物体の形状の傾
きを算出し，このとき陰影情報として用いる適切な反射
地図パラメータ：ｐ，ｑ（またはマッピングパラメー
タ：ｆ，ｇ）を推定し，この反射地図パラメータ：ｐ，
ｑを積分手段６２において積分してもとの対象物体の３
次元形状を復元する画像を生成する。その具体的な装置
構成としては，図１１に示すように，対象物体を撮像す
るビデオカメラ７１，撮像した画像データをディジタル
値に変換するアナログ／ディジタル変換部７２，変換し
た二次元輝度画像データを記憶するビデオＲＡＭ７３，
後述する画像処理を行うワークステーション７５，その
結果を表示するＣＲＴ７６，および，ユーザーが希望す
る指令を入力するキーボード７７からなる装置となる。

【０００６】一般に，陰影情報から対象物体の形状の表
面を計算することは明確に行うことはできない。そこ
で，形状の表面が滑らかであるとして，表面の連続性を
仮定して正則化を図った三次元形状復元方法が試みられ
ている。対象物体の３次元形状を復元するに際しては，
上述した照明条件，対象物体の表面の状態，観察者の位
置が問題となる。一方，これら照明条件，対象物体の表
面の状態，観察者の位置が決定されると，面の傾きで輝
度が決定できる。ｘ，ｙ，ｚ座標系において，δｘ，δ
ｙの変化に対して，ｚ方向の変化が，ｘ方向にｐδｘ傾
き，ｙ方向にｑδｙ傾いたとき，後述する式２０で表さ
れるパラメータｐ，ｑを反射地図パラメータとして輝度
Ｒ（ｐ，ｑ）を求めることができる。このために使用す
る地図を反射地図と呼ぶ。対象物体についてビデオカメ
ラ７１などで撮像した２次元輝度データをＩ（ｘ，ｙ）
とし，反射地図における輝度データをＲ（ｐ（ｘ，
ｙ），ｑ（ｘ，ｙ））としたとき， Ｉ（ｘ，ｙ）＝Ｒ（ｐ（ｘ，ｙ），ｑ（ｘ，ｙ）） ＝Ｒｓ（ｆ，ｇ） を満足する反射地図パラメータ：ｐ，ｑ，または，マッ
ピングパラメータ：ｆ，ｇを決定すればよい。反射地図
パラメータ：ｐ，ｑとマッピングパラメータ：ｆ，ｇと
の関連は後述する。

【０００７】マッピングパラメータ：ｆ，ｇについて述
べる。図３および図４は立体投影法による座標系を示す
ものであり，半径１の球の上に接する平面を考え，球の
下端の極と球のある面との交点とを結ぶ線の延長が上記
平面と交わる点の位置をマッピングパラメータ：ｆ，ｇ
で表し，球の中心と球面のある点とを結ぶ線の延長が上
記平面と交わる点の位置を反射地図パラメータ：ｐ，ｑ
で表す。そうすると，これらパラメータｆ，ｇ，ｐ，ｑ
との間には下記の関係式が成り立つ。 ｆ² ＋ｑ² ＝２² ｆ＝２ｐ／〔１＋（１＋p²＋q²）^1/2 〕 ｇ＝２ｑ／〔１＋（１＋p²＋q²）^1/2 〕 ｐ＝４ｆ／（４−ｆ² −ｑ² ） ｑ＝４ｇ／（４−ｆ² −ｑ² ） ２次元空間における座標（ｘ，ｙ）に対する輝度Ｉ
（ｘ，ｙ）に対して、マッピングパラメータ：ｆ，ｇに
対する輝度をＲ_s （ｆ，ｇ）とすると，輝度Ｒｓは， Ｒｓ（ｆ，ｇ）＝Ｒ（ｐ（ｘ，ｙ）ｑ（ｘ，ｙ）） になる。したがって，マッピングパラメータ：ｆ，ｇを
用いて対象物体の３次元形状の全ての面の傾きを表現す
ることが可能になる。もちろん，反射地図パラメータ：
ｐ，ｑを用いて対象物体の３次元形状の全ての面の傾き
を表現することもできる。

【０００８】上述した陰影情報から対象物体の３次元形
状を復元した画像データを生成する方法を数式を用いて
整理する。ビデオカメラ７１で対象物体を撮像したとき
得られる２次元輝度画像データは，直交２次元座標系に
おける任意の位置（ｘ，ｙ）における輝度データＩ
（ｘ，ｙ）として表される。対象物体の３次元形状表面
の曲率の変化率の度合ｅ_s は，式１に示すようにマッピ
ングパラメータ：ｆ，ｇを用いて表すことができる。

【数１】 ただし，ｆx , ｇx はｘ方向のマッピングパラメータで
あり，ｆy , ｇy はｙ方向のマッピングパラメータであ
る。対象物体を撮像するとき，撮像された輝度情報は照
明などの明るさの影響を大きく受ける。対象物体を撮像
した２次元画像データの明るさへの忠実度ｅ_i を式２に
示す。

【数２】 ただし，Ｉ（ｘ，ｙ）はｘ，ｙ平面における輝度データ
であり，Ｒｓ（ｆ，ｇ）はマッピングパラメータｆ，ｇ
に対する輝度である。

【０００９】式１および式２はいずれも一般的な連続式
であるから，ディジタル信号処理に適する離散的な式に
直すと，対象物体の三次元形状の表面の曲率の変化率の
離散的な度合ｅ_s は下記式になる。

【数３】 対象物体を撮像した２次元画像の明るさへの離散的な忠
実度ｅ_i は下記式になる。

【数４】

【００１０】ここで，対象物体の３次元形状を正確に復
元するマッピングパラメータ：ｆ，ｇを決定する判別値
としてのエネルギーを示すエネルギーパラメータｅを下
記式で表す。 ｅ＝Ｓ_ij＋λ・ｒ_ij ただし，Ｓ_ijは式３に示したマッピングパラメータにつ
いての値であり，ｒ_ijは式４に示した忠実度を示すパラ
メータであり，λは評価係数である。この式において，
エネルギーパラメータｅを最小，たとえば，０または少
なくともほぼ０にするマッピングパラメータ：ｆ，ｇを
求めればよい。このエネルギーパラメータｅの値を最小
にするには、式５および式６に示すように，エネルギー
パラメータｅをマッピングパラメータ：ｆ_kl, g _klでそ
れぞれ偏微分して，それらの最小値（０またはほぼ０）
を求めればよい。

【数５】

【数６】

【００１１】式５および式６において，マッピングパラ
メータ：ｆ，ｇの頭にバーを付けた，中心位置ｉ，ｊの
周囲にマッピングパラメータ：ｆ，ｇについての平均マ
ッピングパラメータは式７および式８で表される。

【数７】

【数８】

【００１２】また，一般的には式５および式６は下記式
で表される。

【数９】

【数１０】

【００１３】図１２および図１３を参照して，対象物体
の２次元輝度画像データについての陰影情報を用いる従
来の三次元形状復元方法および三次元形状復元装置につ
いて述べる。この三次元形状復元装置は，ＣＣＤを有す
るカラー・ビデオ・カメラ８１、カラーテレビ８２およ
びビデオテープ記録再生装置（ＶＴＲ）８３，これらに
接続された画像処理装置９０，および，パーソナル・コ
ンピュータ８４を有する。画像処理装置９０は，カラー
・ビデオ・カメラ８１，カラーテレビ８２またはＶＴＲ
８３からの二次元画像データを入力して対象物体の３次
元形状を復元する画像データを生成する。その画像デー
タがパーソナル・コンピュータ８４に出力されてパーソ
ナル・コンピュータ８４からＣＲＴ表示装置などにその
対象物体の３次元形状が表示される。カラー・ビデオ・
カメラ８１などからは対象物体を撮像したカラー２次元
輝度画像データが画像処理装置９０に出力される。ただ
し，この例示においてはカラーについては考慮の対象と
はしない。

【００１４】２次元画像データから対象物体の３次元形
状を復元する画像データを生成する画像処理装置９０
は，カラー・ビデオ・カメラ８１などからのカラー２次
元輝度画像データを入力するインターフェースとしての
画像入力部９０１と、入力した２次元画像データをアナ
ログ信号からディジタル信号に変換するＡ／Ｄ変換部９
０２，ディジタル信号に変換された２次元画像データを
記憶する画像データ記憶部９０３と，画像処理装置９０
の全体の制御を司る制御部９０５と、２次元ディジタル
画像データをディジタル画像演算処理する画像データ演
算部９０６と，このデ画像データ演算部９０６の演算結
果が３次元復元画像データして適切か否かを判断する復
元画像データ判断部９０７，および，画像データ演算部
９０６において復元され一旦画像データ記憶部９０３に
記憶された３次元形状画像データ像をパーソナル・コン
ピュータ８４などの外部装置に出力する画像データ出力
部９０４とから構成されている。

【００１５】この三次元形状復元装置の画像処理装置９
０は，上述した数式の演算を実行する図１３に図解する
機能ブロックに従って，２次元画像データについての陰
影情報から対象物体の３次元形状を示す画像データを生
成する。図１３に示した機能ブロックおよび上記数式を
参照して，図１２に示した三次元形状復元装置内の画像
処理装置９０の動作を述べる。画像データ入力手段１０
５は，たとえば，ビデオカメラ８１で撮像した対象物体
の２次元輝度画像データＩ（ｘ，ｙ）を入力する。マッ
ピングパラメータ生成手段１０１はマッピングパラメー
タ：ｆ，ｇを生成する。平均マッピングパラメータ演算
手段１０２は式７および式８に従って，マッピングパラ
メータ生成手段１０１で生成したマッピングパラメー
タ：ｆ，ｇの平均を計算する。さらに，平均マッピング
パラメータ演算手段１０２は式５および式６の右辺第１
項に示す，マッピングパラメータの偏差を計算する。輝
度演算手段１０４はマッピングパラメータ：ｆ，ｇに対
する輝度Ｒｓを演算する。輝度微分演算手段１０３は，
マッピングパラメータ：ｆ，ｇに対する輝度Ｒｓについ
て，式５および式６に従って偏微分して輝度の偏微分
値，∂Ｒｓ／∂ｆ，∂Ｒｓ／∂ｇを算出する。

【００１６】減算手段１０６は，２次元輝度画像データ
Ｉ（ｘ，ｙ）からマッピングパラメータ：ｆ，ｇに対す
る輝度Ｒｓ（ｆ，ｇ）を減じる。すなわち，減算手段１
０６は輝度偏差ΔＩ＝Ｉ（ｘ，ｙ）−Ｒｓ（ｆ，ｇ）を
計算する。乗算手段１０７は，輝度偏差ΔＩ＝Ｉ（ｘ，
ｙ）−Ｒｓ（ｆ，ｇ）に輝度偏微分結果∂Ｒｓ／∂ｆ，
∂Ｒｓ／∂ｇを乗じる。さらに乗算手段１０８は，乗算
手段１０７の乗算結果に評価係数２λを乗じる。これに
より，式５および式６の右辺第２項が計算される。減算
手段１０９は，平均マッピングパラメータ演算手段１０
２で演算した式５および式６の右辺第１項に示す結果か
ら，乗算手段１０８における演算結果である式５および
式６の右辺第２項に示す結果を減じる。その結果，減算
手段１０９の出力は，式５および式６に示す結果とな
る。判断手段１１０は減算手段１０９の演算結果が，対
象物体の３次元形状を復元するに適した値を示す，０ま
たはほぼ０であるか否かを判断する。もし，判断手段１
１０において，適切な結果が得られたと判断された場合
は，反射地図処理手段１１３において，上記マッピング
パラメータ：ｆ，ｇとパラメータｐ，ｑとの関係式に基
づいてパラメータｐ，ｑを算出する。積分手段１１４は
求められたパラメータｐ，ｑを積分して対象物体の３次
元形状を復元する画像データに変換する。減算手段１０
９の結果がほぼ０とならず，判断手段１１０における判
断結果が否定された場合は，遅延手段１１１において所
定時間遅延された後，再度，マッピングパラメータ生成
手段１０１においてマッピングパラメータ：ｆ，ｇを更
新して上述した演算および判定を反復する。

【００１７】

【発明が解決しようとする課題】図１２および図１３に
示した三次元形状復元方法およびその装置においては，
判断手段１１０から遅延手段１１１を介してマッピング
パラメータ生成手段１０１に戻るフィードバックルー
プ，および，判断手段１１０から直接マッピングパラメ
ータ生成手段１０１に戻るフィードバックループを有し
ており，判断手段１１０において減算手段１０９の結果
が対象物体の３次元形状を復元するのに充分な結果が得
られないと判断されたとき，マッピングパラメータ：
ｆ，ｇを更新して繰り返し収束演算を行うから，対象物
体の三次元形状復元処理時間が長くなるという問題があ
る。その結果，実時間性を満足させることができないと
いう問題に遭遇している。実時間性を満足させるには相
当高速で動作するＤＳＰなどの高価格の装置を必要と
し，価格的に新たな問題を惹起させるという側面を有し
ている。また、上記三次元形状復元方法は，その前提と
して，対象物体の面が滑らかであると仮定して演算処理
している。したがって，対象物体の形状が急激に変化す
るようにな形状を持つ対象物体を復元しようとした場
合，復元された形状はもとの急激な変化を持つ表面とし
ては復元されず，なだらかな面を持つ形状として復元さ
れ，対象物体の三次元形状復元の正確さに欠けるという
問題に遭遇している。

【００１８】さらに，従来の三次元形状復元方法におい
ては，図１４および図１５に示したように，陰影情報か
ら対象物体の３次元形状を復元する画像データを生成す
る際，遮蔽輪郭の部分の法線の傾きを初期値として与え
て，その値を固定して対象物体の表面の傾きを求めてい
る。しかしながら，特に，自然画の場合などにおいて
は，遮蔽輪郭の法線を正確に求めることが難しく，初期
値自体に誤差が含まれており，対象物体の３次元形状を
復元する画像データを正確に得ることが難しいという問
題に遭遇している。

【００１９】したがって，本発明は，上述した対象物体
の三次元形状復元処理時間を短縮して実時間性を満足さ
せる三次元形状復元方法および三次元形状復元装置を提
供することを目的とする。また本発明は，対象物体の形
状表面が必ずしも滑らかでない場合にも正確にそ３次元
形状を復元する画像データを生成することを可能とする
三次元形状復元方法および三次元形状復元装置を提供す
ることを目的とする。さらに本発明は，陰影情報から対
象物体の３次元形状を復元する画像データを生成する
際，初期値として与える法線ベクトルに多少の誤差が含
まれていても，その誤差の影響を取り除きながら，正確
に対象物体の３次元形状を復元可能な三次元形状復元方
法および三次元形状復元装置を提供することを目的とす
る。

【００２０】

【課題を解決するための手段】上記問題を解決するた
め，本発明によれば，対象物体を撮像した二次元輝度画
像データについての陰影情報を用いて上記対象物体の三
次元形状を復元する画像データを生成する三次元形状復
元方法であって，上記二次元輝度画像データから上記対
象物体の形状の面の滑らかさを検出し，この滑らかさを
用いて対象物体の形状の復元状態を判別し，この判別結
果が適切な値を示す陰影情報を用いて上記対象物体の３
次元形状を復元する画像データを生成する第１の三次元
形状復元方法が提供される。本発明によれば，上記三次
元形状復元方法を実施する装置が提供される。この第１
の三次元形状復元装置は，対象物体の二次元輝度画像デ
ータを提供する手段と，上記二次元輝度画像データにつ
いて上記対象物体の陰影を示す反射地図パラメータを算
出する手段と，隣接する反射地図パラメータの差の二乗
を算出する手段と，反射地図パラメータに対する輝度を
算出する手段と，前記反射地図パラメータに対する輝度
についての反射地図パラメータに対する微分結果を算出
する手段と，上記二次元輝度画像データから上記対象物
体の形状の滑らかさを算出する手段と，上記二次元輝度
画像と上記反射地図パラメータに対する輝度との差を算
出しこの差に上記反射地図パラメータに対する輝度の微
分結果を乗じこの乗算結果と，上記隣接する反射地図パ
ラメータの差の二乗に上記滑らかさを示すパラメータを
乗じた結果とを加算して判別値を算出する手段と，上記
判別値が最小か否かを判断する手段と上記判断手段で上
記判別値が最小と判断されたとき，その時の反射地図パ
ラメータから上記対象物体の３次元形状を示す画像デー
タを生成する手段とを有する。なお，上記反射地図パラ
メータに代えてマッピングパラメータを用いてもよい。

【００２１】また本発明によれば，対象物体を撮像した
二次元輝度画像データについての陰影情報を用いて上記
対象物体の三次元形状を復元する画像データを生成する
三次元形状復元方法であって，陰影情報である反射地図
パラメータの初期値の誤差を補償して，対象物体の形状
の復元状態を判別し，この判別結果が適切な値を示す陰
影情報を用いて上記対象物体の３次元形状を復元する画
像データを生成する第２の三次元形状復元方法が提供さ
れる。本発明によれば，上記三次元形状復元方法を実施
する装置が提供される。この第２の三次元形状復元装置
は，対象物体の二次元輝度画像データを提供する手段
と，上記二次元輝度画像データについて上記対象物体の
陰影を示す反射地図パラメータを算出する手段と，反射
地図パラメータの初期値を設定する手段と，この反射地
図パラメータの初期値を上記算出された反射地図パラメ
ータを用いて補正する手段と，隣接する反射地図パラメ
ータの差の二乗を算出する手段と，反射地図パラメータ
に対する輝度を算出する手段と，前記反射地図パラメー
タに対する輝度についての反射地図パラメータに対する
微分結果を算出する手段と，上記二次元輝度画像と上記
反射地図パラメータに対する輝度との差を算出しこの差
に上記反射地図パラメータに対する輝度の微分結果を乗
じこの乗算結果と，上記反射地図パラメータの差の二乗
と加算して判別値を算出する手段と，上記判別値が最小
か否かを判断する手段と上記判断手段で上記判別値が最
小と判断されたとき，その時の反射地図パラメータから
上記対象物体の３次元形状を示す画像データを生成する
手段とを有する。

【００２２】さらに本発明によれば，対象物体を撮像し
た二次元輝度画像データについての陰影情報を用いて上
記対象物体の三次元形状を復元する画像データを生成す
る三次元形状復元方法であって，上記対象物体の３次元
形状を復元するための判別式に上記対象物体の連続性を
付加して上記対象物体の形状の復元状態を判別し，この
判別結果が適切な値を示す陰影情報を用いて上記対象物
体の３次元形状を復元する画像データを生成する第３の
三次元形状復元方法が提供される。本発明によれば，上
記三次元形状復元方法を実施する装置が提供される。こ
の装置は，対象物体の二次元輝度画像データを提供する
手段と，上記二次元輝度画像データについて上記対象物
体の陰影を示す反射地図パラメータを算出する手段と，
上記対象物体の表面の連続性を示す値を算出する手段
と，隣接する反射地図パラメータの差の二乗を算出する
手段と，反射地図パラメータに対する輝度を算出する手
段と，前記反射地図パラメータに対する輝度についての
反射地図パラメータに対する微分結果を算出する手段
と，上記二次元輝度画像と上記反射地図パラメータに対
する輝度との差を算出しこの差に上記反射地図パラメー
タに対する輝度の微分結果を乗じこの乗算結果と，上記
反射地図パラメータの差の二乗と，上記対象物体の表面
の連続性を示す値とを加算して判別値を算出する手段
と，上記判別値が最小か否かを判断する手段と，上記判
断手段で上記判別値が最小と判断されたとき，その時の
反射地図パラメータから上記対象物体の３次元形状を示
す画像データを生成する手段とを有する。

【００２３】

【作用】本発明の第１の三次元形状復元方法において
は，陰影情報を示す反射地図パラメータ（またはマッピ
ングパラメータ）についての輝度を求め、その輝度と対
象物体を撮像した元の入力値に基いて前記物体の滑らか
さと面の傾きを規定し、その面の傾きから３次元形状に
復元する。対象物体の形状の滑らかさをパラメータとし
て，滑らかである部分と滑らかでない部分とを識別して
対象物体の３次元形状を復元する画像データを生成す
る。上記本発明の第１の三次元形状復元装置は上記三次
元形状復元方法を実施する。

【００２４】第２の三次元形状復元方法においては，反
射地図パラメータの初期値に誤差が存在しても，その誤
差を収斂演算でなくしていく。それにより，多少の誤差
を含む初期反射地図パラメータを用いても，対象物体の
３次元形状を正確に復元する画像データが生成できる。
上記本発明の第２の三次元形状復元装置は上記三次元形
状復元方法を実施する。

【００２５】本発明の第３の三次元形状復元方法におい
ては，対象物体の３次元形状を正確に復元する反射地図
パラメータを決定する判別値を演算する項に，対象物体
の表面の連続性を示すパラメータを付加する。これによ
り，対象物体の表面の連続性を考慮した正確な２次元形
状を復元する画像データが得られる。

【００２６】

【実施例】本発明の三次元形状復元方法および三次元形
状復元装置の第１実施例を述べる。図１は本発明の三次
元形状復元装置の第１実施例の構成を示すブロック図、
図２は本発明の第１実施例の機能ブロック図である。三
次元形状復元装置１Ａは，対象物体を撮像してカラー２
次元画像データを発生するＣＣＤを有するカラービデオ
カメラ５，カラービデオカメラ５からの２次元輝度画像
データを表示するカラーテレビ６，ＶＴＲ７，画像処理
装置２Ａ，および，パーソナル・コンピュータ１５を有
する。カラービデオカメラ５，カラーテレビ６，および
／または，ＶＴＲ７は，対象物体の２次元画像データを
出力する２次元輝度画像データ出力手段４として機能す
るが，２次元輝度画像データ出力手段４としては，これ
らのいずれか１つがあればよい。あるいは，これら例示
した装置ではなく，予めメモリに記憶した２次元輝度画
像データを出力する手段であってもよい。本発明におい
ては，カラーは直接関係しないので，以下の記述におい
て，カラーについては言及しないものとする。

【００２７】画像処理装置２Ａは，画像入力部８，Ａ／
Ｄ変換部９，画像データ記憶部１０，画像データ出力部
１４，制御部１１，画像データ演算部１２，復元画像デ
ータ判断部１３，および，滑らかさパラメータ演算処理
部３Ａを有する。この回路構成は図１２に示した画像処
理装置９０に類似した構成であり，図１と図１２と対比
して述べると，それぞれ，図１に示した画像入力部８は
図１２に示した画像入力部９０１に対応し，Ａ／Ｄ変換
部９はＡ／Ｄ変換部９０２に対応し，画像データ記憶部
１０は画像データ記憶部９０３に対応し，画像データ出
力部１４は画像データ出力部９０４に対応し，制御部１
１は制御部９０５に対応し，画像データ演算部１２は画
像データ演算部９０６に対応し，復元画像データ判断部
１３は復元画像データ判断部９０７に対応している。図
１に示した三次元形状復元装置１Ａには，図１２に示し
た三次元形状復元装置には存在しない滑らかさパラメー
タ演算処理部３Ａが付加されている。画像処理装置２Ａ
で復元された３次元画像データがパーソナル・コンピュ
ータ１５に出力されて，たとえば，ＣＲＴ表示装置に対
象物体の３次元形状が表示される。あるいは，復元され
た３次元形状画像データから，たとえは，産業用ロボッ
トのハンドの把持状態を認識する。

【００２８】図２は図１に示した三次元形状復元装置１
Ａ内の画像処理装置２Ａの処理内容を示す機能ブロック
図である。本実施例においては，式５および式６に該当
する判別式に代えて，式１１に示す判別式を用いる。そ
の詳細は後述する。図２に示した画像処理装置２Ａは，
マッピングパラメータ生成手段１９，マッピングパラメ
ータ差の二乗演算手段２０，マッピングパラメータ：
ｆ，ｇに対する輝度Ｒｓ（ｆ，ｇ）を演算する輝度演算
手段２２，輝度演算手段２２において算出された輝度Ｒ
ｓをマッピングパラメータ：ｆ，ｇで偏微分する輝度微
分演算手段２１，減算手段２３，乗算手段２４，乗算手
段２５，減算手段２６，判断手段２７，遅延手段２８，
反射地図処理手段２９，および，積分手段３０を有す
る。画像処理装置２Ａはさらに，エッジ検出手段１６，
滑らかさパラメータ決定手段１７，および，評価係数補
正手段１８を有する。

【００２９】図１に示した画像処理装置２Ａ内の構成要
素と，図２に示した機能ブロック内の手段とを対応させ
る。画像入力部８は２次元画像データ出力手段３１に対
応し，制御部１１および画像データ演算部１２が協働し
てマッピングパラメータ生成手段１９，マッピングパラ
メータ差の二乗演算手段２０，輝度演算手段２２，輝度
微分演算手段２１，減算手段２３，乗算手段２４，乗算
手段２５，減算手段２６，および，遅延手段２８に対応
する。また，制御部１１と画像データ演算部１２とが反
射地図処理手段２９および積分手段３０に対応する。復
元画像データ判断部１３が判断手段２７に対応してい
る。また上述した図２に示した機能ブロックにおける手
段は，従来技術として図１３を参照して述べた手段に対
応している。ただし，後述するように，マッピングパラ
メータ差の二乗演算手段２０は平均マッピングパラメー
タ演算手段１０２とは異なる。図１に示したＡ／Ｄ変換
部９および画像データ記憶部１０は図２に示した機能ブ
ロックには表されていない。

【００３０】本実施例において付加された滑らかさパラ
メータ演算処理部３Ａは，エッジ検出手段１６，パラメ
ータ決定手段１７，および，評価係数補正手段１８に対
応する。なお，図１３に示した判断手段１１０からマッ
ピングパラメータ生成手段１０１に負帰還するループ
が，図２に示した機能ブロックにおいては，存在しない
ことに留意されたい。つまり，図２に示した三次元形状
復元処理ブロックにおいては，判断手段２７からマッピ
ングパラメータ生成手段１９への負帰還ループは存在せ
ず，このループにおける反復演算は行わない。

【００３１】以下，図１および図２に示した三次元形状
復元装置の動作を詳述する。対象物体について，たとえ
ば，カラービデオカメラ５で撮像した２次元輝度画像デ
ータＩ（ｘ，ｙ）が２次元画像データ出力手段３１に入
力され，Ａ／Ｄ変換部９でディジタル値に変換され，画
像データ記憶部１０に記憶される。以下，２次元輝度画
像データＩ（ｘ，ｙ）はディジタル信号処理される。マ
ッピングパラメータ生成手段１９は図３および図４に示
した反射地図座標系におけるマッピングパラメータ：
ｆ，ｇを算出する。マッピングパラメータ差の二乗演算
手段２０は式７および式８に示すマッピングパラメー
タ：ｆ，ｇの平均を算出する。さらに，平均マッピング
パラメータ演算手段２０は式１１の右辺の第１項および
第２項に示すマッピングパラメータ：ｆ，ｇの差の２
乗，つまり， （ｆ_i+1,j −ｆ_i,j ）² ／４＋（ｆ_i,j+1 −ｆ_i,j ）² ／４ （ｇ_i+1,j −ｇ_i,j ）² ／４＋（ｇ_i,j+1 −ｇ_i,j ）² ／４ を計算する。輝度演算手段２２はマッピングパラメー
タ：ｆ，ｇに対する輝度Ｒｓ（ｆ，ｇ）を算出する。こ
の輝度Ｒｓ（ｆ，ｇ）は下記式で表される。 Ｒ_s （ｆ，ｇ）＝Ｒ（ｐ（ｘ，ｙ），ｑ（ｘ，ｙ）） 輝度微分演算手段２１は輝度Ｒｓに対するマッピングパ
ラメータ：ｆ，ｇの偏微分∂Ｒｓ／∂ｆ，∂Ｒｓ／∂ｇ
を求める。

【００３２】エッジ検出手段１６は，２次元画像データ
出力手段３１から出力される２次元輝度画像データＩ
（ｘ，ｙ）を２次元方向，つまり，ｘ方向およびｙ方向
について微分して，輝度のエッジを検出する。滑らかさ
パラメータ決定手段１７はそのエッジ検出手段１６にお
ける微分値についてｘ方向の滑らかさを示すパラメータ
ｋ_i,j と，ｙ方向の滑らかさを示すパラメータｍ_i,j と
を決定する。ｘ方向の滑らかさを示すパラメータｋ_i,j
の決定方法としては，エッジ検出手段１６で計算したｘ
方向の微分値が大きければ滑らかさが小さいと考えてパ
ラメータｋ_i,j を小さくし，ｘ方向の微分値が小さいと
滑らかである考えてパラメータｋ_i,j を大きくする。ｙ
方向の滑らかさを示すパラメータｍ_i,j の決定方法も上
記同様とする。

【００３３】上述した演算結果を用いて，減算手段２
３，乗算手段２４，乗算手段２５，減算手段２６および
乗算手段３２が，式１１に示す演算を行う。減算手段２
３は輝度偏差ΔＩ＝Ｉ（ｘ，ｙ）−Ｒｓ（ｆ_i,j ，ｇ
_i,j ）を算出する。乗算手段２４は，輝度偏差ΔＩ＝Ｉ
（ｘ，ｙ）−Ｒｓ（ｆ_i,j ，ｇ_i,j ）に輝度微分演算手
段２１で計算した∂Ｒｓ／∂ｆ，∂Ｒｓ／∂ｇを掛け
る。乗算手段２５は乗算手段２４の結果に，評価係数λ
を乗ずる。これにより，式１１の右辺第３項の値が得ら
れる。乗算手段３２はマッピングパラメータ差の二乗演
算手段２０で演算した上記マッピングパラメータの差の
二乗演算結果に，滑らかさパラメータ決定手段１７で算
出した滑らかさパラメータｋ_i,j およびｍ_i,j を乗ず
る。その結果，式１１における右辺の第２項および第２
項の計算結果が得られる。加算手段２６は乗算手段２５
からの演算結果と乗算手段３２からの演算結果を加算す
る。その結果，エネルギーｅを示す判別式１１で示した
結果が得られる。判別式１１は式５および式６に対応し
ており，判別式１１で示す結果が０またはほぼ０に近い
ときのマッピングパラメータ：ｆ，ｇをもちいて対象物
体の３次元形状を復元する画像データが規定されること
を意味する。

【００３４】判断手段２７は判別式１１に示す加算手段
２６の出力結果が最小値を示すか否かを判断する。式１
１で示す結果が最小値であると判断した場合は，判断手
段２７は反射地図処理手段２９および積分手段３０を駆
動して，従来と同様，反射地図処理手段２９においてマ
ッピングパラメータ：ｆ，ｇから上述した関係式に基づ
いて反射地図パラメータｐ，ｑを算出し，積分手段３０
において算出された反射地図パラメータ：ｐ，ｑについ
て積分して，希望する対象物体の３次元形状を復元する
画像データを生成させる。

【００３５】判断手段２７において，式１１で示す加算
手段２６の出力結果がまだ最終値とは判定されないとき
は，遅延手段２８において一定時間遅延後，たとえば，
ビデオ信号の１フレーム分の時間の後，マッピングパラ
メータ生成手段１９においてマッピングパラメータ：
ｆ，ｇを更新して，上述した処理を行わせる。

【００３６】なお，図２に示すように，滑らかさパラメ
ータ決定手段１７において滑らかさを示す滑らかさパラ
メータｋ_i,j およびｍ_i,j が算出されたとき，これらの
滑らかさパラメータを用いて，判別式１１に示す評価係
数λを補正し，補正評価係数λを乗算手段２５に出力し
て乗算処理を行う一方，乗算手段３２における滑らかさ
パラメータｋ_i,j およびｍ_i,j の乗算を省略してもよ
い。

【００３７】以上述べたように，本実施例においては，
滑らかさパラメータパラメータｋ_i,j およびｍ_i,j を導
入して，対象物体の３次元形状の表面が急激に変化する
場合でも，正しく対象物体の２次元形状の復元処理を行
うことができる。また上述したように，図２に示した構
成においては，図１３に示した判断手段１１０からマッ
ピングパラメータ生成手段１０１に到る負帰還ループに
相当するループが存在しないことに留意されたい。つま
り，本実施例では、ある物体の２次元画像のｘ方向及び
ｙ方向の輝度を微分し、その微分値に基づいて、ｘ方向
及びｙ方向の滑らかさを決定し，その結果を用いて適切
に判別することにより，収束が迅速になり，反復演算に
起因する演算時間が長くなることが回避できる。

【００３８】本発明の三次元形状復元方法および三次元
形状復元装置の第２実施例を述べる。この実施例は，図
１４および図１５を参照して述べた，陰影情報から３次
元形状に復元する際に遮蔽輪郭の部分の法線の傾きを初
期値として与えるときに初期値の誤差に起因する対象物
体の３次元形状復元の不正確さを改善する。図５は第２
実施例としての三次元形状復元装置の構成ずであり，図
６は図５に示した三次元形状復元装置の機能ブロック図
であり，図７は第２実施例としての三次元形状復元方法
の処理を示すフローチャートである。

【００３９】図５に示した三次元形状復元装置１Ｂは図
１に示した三次元形状復元装置１Ａとほぼ同じ構成をし
ており，対応する構成要素は同じ符号を付してある。図
５に示した三次元形状復元装置１Ｂは，図１に示した画
像処理装置２Ａに代えて画像処理装置２Ｂとしている
が，画像処理装置２Ａとの違いは，画像処理装置２Ａ内
の滑らかさパラメータ演算処理部３Ａに代えて，マッピ
ングパラメータ初期誤差分演算部３Ｂを設けた点にあ
る。図６に示した機能ブロックも，図２に示した機能ブ
ロックに対応しているが，図６においては，初期値設定
手段３６，減算手段３７，初期値誤差定義手段３５，マ
ッピングパラメータの差の二乗演算手段３４，乗算手段
３８，加算手段３３が設けられている点が異なる。

【００４０】図７に示すフローチャートを参照して，第
２実施例の三次元形状復元方法の処理内容の概要を述べ
る。 ステップ１：図３および図４を図解して述べたように，
光源と２次元陰影画像とを結ぶ光軸を基準にした座標系
の、光軸の回転方向に対する２次元陰影画像の法線の回
転角度を第１の角度として規定し、光線軸と法線との成
す角度を第２の角度として規定する。 ステップ２：これら第１および第２の角度に基いて目標
とする画像情報が得られるか否かを判断する。 ステップ３：目標とする画像情報が得られると判断した
場合には、２次元陰影画像から対象物体の３次元形状を
復元す画像データを生成し，処理を終了する。 ステップ４：目標とする画像情報が得られないと判断し
た場合には、第１の角度の更新を行い、ステップ２の処
理に戻る。

【００４１】本実施例においては，２次元陰影情報から
３次元形状復元画像データを生成する際に、誤差を定義
する項（パラメータ）：ｔ_i,j を加えて繰り返し演算
し，誤差を考慮した３次元形状の復元を行う。つまり，
誤差を定義するパラメータｔ_i,j ，点（ｉ，ｊ）におけ
る面の滑らかさを定義する量Ｓ_i,j ，および，陰影の忠
実度をｒ_i,j とすると，それぞれ下記式で表される。

【数１２】 ただし，Ｆ_i,j はマッピングパラメータｆの初期値であ
り，Ｇ_i,j はマッピングパラメータｇの初期値である。

【数１３】

【数１４】

【００４２】３次元形状を復元するための最小にすべき
評価パラメータｅは下記式１５で表される。

【数１５】 ただし，λ₂ は評価係数である。評価パラメータｅの最
小値が希望する対象物体の３次元形状復元する画像デー
タを与えるから，式１５の値が最小値，０またはほぼ０
になる条件を求める。そのため，式１５をマッピングパ
ラメータ：ｆ，ｇで偏微分した下記式１６および式１７
を繰り返し演算する。

【数１６】

【数１７】 ただし，式１６および式１７における平均マッピングパ
ラメータは下記式で表される。

【数１８】

【数１９】

【００４３】このように計算すると、初期値として与え
た法線の傾きにわずかな誤差が含まれても、初期値に含
まれる誤差の影響を取り除きながら、正しい３次元形状
に復元することが可能になる。図６に示した機能ブロッ
クにおいて，初期値設定手段３６が式１２に示したマッ
ピングパラメータの初期値Ｆ_i,j ，Ｇ_i,j を設定する。
平均マッピングパラメータ演算手段２０Ｂが，式１８お
よび式１９に示した平均マッピングパラメータ演算処理
を行う。初期値誤差定義手段３５が式１２に示した演算
を行う。マッピングパラメータの差の二乗演算手段３４
が式１３に示した演算を行う。減算手段２３が式１４で
示した輝度偏差を算出する。乗算手段３８においてその
二乗を演算し，第１のい評価係数λ１を乗ずる。乗算手
段２４，加算手段３３，乗算手段２５，初期値設定手段
３６が式１７および式１８に示した演算を行う。判断手
段２７が初期値設定手段３６の出力を判定する。判断手
段２７の判定後の処理は上述した第１実施例と同様であ
る。

【００４４】本実施例では、式１２に示すように，マッ
ピングパラメータ生成手段１９からのマッピングパラメ
ータ：ｆ，ｇと初期値設定手段３６からのマッピングパ
ラメータの初期値Ｆ_i,j ，Ｇ_i,j との差を算出する初期
値誤差定義手段３５を用い，式１５の判別式を用いるこ
とにより，初期値設定手段３６から与えられるマッピン
グパラメータ：ｆ，ｇの初期値Ｆ_i,j ，Ｇ_i,j に法線の
傾きがやや誤差を含む場合においても、その誤差の影響
を取り除きながら、３次元形状に復元することができ
る。従って、本実施例では、特に，自然画像にように初
期値として与えた法線の傾きに誤差が含まれていても、
誤差の影響を取り除きながら、正しい３次元形状に復元
することが可能になる。

【００４５】本発明の三次元形状復元方法および三次元
形状復元装置の第３実施例について述べる。図８は第３
実施例の説明に用いる座標系を示す図であり，図９は第
３実施例の三次元形状復元装置の構成図である。図８に
示すように，ｘ，ｙ，ｚ座標系において３次元形状を持
つ対象物体が存在している。この対象物体の表面を表す
関数を Ｚ＝ｚ（ｘ，ｙ，） とし，対象物体の表面のｘ方向の傾きｐとし，ｙ方向の
傾きをｑとすると，これらの傾きは式２０で表される。

【数２０】 図８に示す対象物体の表面のポイント１とポイント２と
の高さは上記ｐ，ｑの定義式２０から，下記式で表され
る

【数２１】

【００４６】もし，ポイント１とポイント２とが同じ点
であったとしたら，いかなる閉ループを通っても平面が
連続であれば，下記式が成立する。

【数２２】 したがって，下記式が成立する。

【数２３】 ストークスの定理を用いると下記式で表される。

【数２４】 式２４における記号Ｓは任意の閉ループの領域なので，
下記式が成立する。

【数２５】 逆に式２５が成立すれば，式２３が成立することが明ら
かである。このように，３次元平面が連続であるという
十分条件は，式２５が成立することに帰結する。

【００４７】対象物体を撮像した点（ｉ，ｊ）における
二次元輝度画像データＩ（ｘ．ｙ）と，反射地図におけ
る輝度データＲ（ｐ_i,j ，ｑ_i,j ）とすると，対象物体
の３次元形状を復元する画像データを求める問題は，上
述したように，式２６を満足するに反射地図パラメータ
（ｐ_i,j ，ｑ_i,j ）を求める問題に帰結する。

【数２６】

【００４８】ところが，式２６だけでは反射地図パラメ
ータ（ｐ_i,j ，ｑ_i,j ）は解けない。そこで，上述した
ように，対象物体の表面の傾きが滑らかに変化するとい
う仮定をおく必要がある。さらに上記のように考察した
対象物体の表面の連続性を考慮する必要がある。ここ
で，対象物体の形状の傾きの変化に対する制約パラメー
タＳ_i,j ，表面の連続性に対する制約パラメータ
Ｃ_i,j ，および，二次元輝度画像データに対する忠実度
ｒ_i,j を 下記式２７で表す。

【数２７】 このときのエネルギーｅを下記式で表す。

【数２８】

【００４９】上述したように，このエネルギーｅが最小
になる条件を求めることが，対象物体の３次元形状を復
元する画像データを表す反射地図パラメータ（ｐ，ｑ）
を求めることに帰結する。そのため，上述したように，
エネルギーｅをマッピングパラメータ：ｆ，ｇで偏微分
する。その演算式を式２９および式３０に示す。

【数２９】

【数３０】 ここで，

【数３１】 とおくと，下記式で示す演算を繰り返すとエネルギーｅ
を最小にする反射地図パラメータ（ｐ，ｑ）を求めるこ
とができる。

【数３２】

【数３３】 式３２および式３３における頭にバーをつけた平均反射
地図パラメータｐ，ｑは下記式で表される。

【数３４】

【数３５】

【００５０】エネルギーｅを最小にする反射地図パラメ
ータ（ｐ，ｑ）が求められた後，その値を積分すれば対
象物体の３次元形状を示す画像データを得ることができ
る。このように，第３実施例においては，適切な反射パ
ラメータ（ｐ，ｑ）を求める判別式として示すエネルギ
ー関数ｅに対象物体の表面の連続性を満たす付加項をつ
けて判別することにより，実在する対象物体の３次元形
状を正確に復元することができる。

【００５１】図９は上述した第３実施例の三次元形状復
元方法を遂行する機能ブロック図である。この機能ブロ
ックの全体は，反射地図パラメータ生成手段４１，平均
反射地図パラメータ演算手段４２，乗算手段４３，反射
地図パラメータ差・和演算手段４４，乗算手段４５，輝
度微分手段４６，輝度算出手段４７，エネルギー計算手
段４８，判別手段４９，減算手段５０，乗算手段５１，
加算手段５２，加算手段５３，乗算手段５４，スイッチ
手段５５，遅延手段５６，積分手段５７を有している。
この第３実施例についても，上記第１および第２の実施
例として図１および図５を参照して述べたように，三次
元形状復元装置の構成が存在するが，その基本的な差異
は，上述した画像データ前処理部３Ａおよび誤差分演算
部３Ｂに代えて，上述した判別式としてのエネルギー関
数ｅに対象物体の連続性を満たす付加項をつける部分が
異なるだけであるから，その三次元形状復元装置の構成
は省略した。

【００５２】図９に示した機能ブロックのそれぞれは下
記に述べる処理を行う。反射地図パラメータ生成手段４
１は初期反射地図パラメータ：ｐ₀ ，ｑ₀ を入力して反
射地図パラメータ：ｐ，ｑを生成する。平均反射地図パ
ラメータ演算手段４２は，式３４および式３５に従っ
て，反射地図パラメータ：ｐ，ｑの平均を算出する。乗
算手段４３は，平均反射地図パラメータ演算手段４２で
算出した平均反射地図パラメータに評価係数λ₁ を乗ず
る。これにより，式３２および式３３の右辺，〔〕内の
第１項の演算が行われる。反射地図パラメータ差・和演
算手段４４は，式３２および式３３における右辺の〔〕
内の第２項の部分演算を行う。乗算手段４５は，反射地
図パラメータ差・和演算手段４４の演算結果に評価係数
λ₂ ／２を乗じて_, 式３２および式３３における右辺の
〔〕内の第２項の演算を行う。輝度演算手段４７は反射
地図パラメータ：ｐ，ｑに対する輝度Ｒｓ（ｐ，ｑ）を
算出する。輝度微分演算手段４６は，輝度演算手段４７
で算出した輝度Ｒｓ（ｐ，ｑ）を反射地図パラメータ：
ｐ，ｑで偏微分して，∂Ｒ／∂ｐ，∂Ｒ／∂ｑを算出す
る。減算手段５０は，式３２および式３３の右辺の〔〕
内の第３項に示す輝度偏差ΔＩ＝二次元輝度画像データ
Ｉ（ｘ，ｙ）−輝度Ｒｓを算出する。乗算手段５１は，
この輝度偏差ΔＩ＝Ｉ（ｘ，ｙ）−Ｒｓに輝度微分演算
手段４６からの輝度偏微分結果∂Ｒ／∂ｐ，∂Ｒ／∂ｑ
を乗じて，式３２および式３３の右辺の〔〕内の第３項
の値を得る。加算手段５２は，乗算手段５１からの結果
に乗算手段４５からの結果を加算する。加算手段５３は
加算手段５２の加算結果に乗算手段４３の乗算結果を加
算する。これにより，式３２および式３３における右辺
の〔〕内に示す値が計算される。乗算手段５４は，加算
手段５３の加算結果に，評価係数１／（λ₁ ＋λ₂ ）を
乗ずる。これにより，式３２および式３３に基づく演算
が行われることになる。

【００５３】エネルギー計算手段４８は，式２８に規定
するエネルギーｅを計算する。判断手段４９は，エネル
ギー計算手段４８で計算したエネルギーｅが最小値だあ
るか否かを判定する。そして，エネルギーｅが最小値で
あると判断したときは，その結果をスイッチ手段５５を
介して，積分手段５７に出力し，上記演算で得られた反
射地図パラメータ：ｐ，ｑに基づいて対象物体の３次元
形状を復元する画像データを生成させる。判断手段４９
においてエネルギーｅが最小を示すものでないと判断さ
れた時は，乗算手段５４の演算結果は，遅延手段５６に
おいて所定時間遅延されて，再び，反射地図パラメータ
生成手段４１において反射地図パラメータ：ｐ，ｑの更
新が行われ，上述した演算が反復される。遅延手段５６
における遅延時間は，たとえ，ビデオ信号の１フレーム
分に相当する遅延時間である。

【００５４】第１〜第３実施例の機能ブロックの相互関
係について触れておく。図９に示した機能ブロック図
も，上述した図２または図６に示した機能ブロックに類
似している。ただし，図９においては，図２および図６
に示したマッピングパラメータ：ｆ，ｇに代えて，反射
地図パラメータ：ｐ，ｑを用いて表現している。たとえ
ば，図９に示した手段と図６に示した手段との対応関係
を示すと下記になる。 図９における手段 図６における手段 反射地図パラメータ生成手段４１ マッピングパラメータ生成手段１９ 平均反射地図パラメータ演算手段４２ 平均マッピングパラメータ演算手段 ２０Ｂ 反射地図パラメータ差・和演算手段 マッピングパラメータの差の二乗演算 ４４ 手段３４ 輝度微分演算手段４６ 輝度微分演算手段２１ 輝度演算手段４７ 輝度演算手段２２ 減算手段５０ 減算手段２３ 乗算手段５１ 乗算手段２４ 加算手段５２，５３ 加算手段３３ 乗算手段５４ 乗算手段２５ 判断手段４９ 判断手段２７ 遅延手段５６ 遅延手段２８ 積分手段５７ 積分手段３０ 表現形態が異なり，演算処理内容なとが必ずしも一致し
ていないので完全な対応関係は成立しないが，大きな機
能ブロックとして考察した場合，ある程度の対応関係に
はある。図２に示した機能ブロックと図６に示した機能
ブロックとも上記同様に対応関係がある。同様に，図２
に示した機能ブロックと図９に示した機能ブロックとも
対応関係がある。

【００５５】以上の第１〜第３実施例は，（ａ）対象物
体の形状に急激な変化がある場合にもその変化を正確に
対象物体の３次元形状を復元可能な三次元形状復元方法
およびその装置，（ｂ）マッピングパラメータ：ｆ，ｇ
の初期値が誤差が存在してもその誤差の影響を受けずに
正確に対象物体の３次元形状を復元可能な三次元形状復
元方法およびその装置，（ｃ）判別式として用いるエネ
ルギーｅに対象物体の表面の連続性を満足する付加項を
設けてさらに正確に対象物体の３次元形状を復元可能な
三次元形状復元方法およびその装置を，それぞれ個別に
述べた。本発明の三次元形状復元方法および三次元形状
復元装置はこれら第１〜第３実施例を適切に組み合わせ
た種々の実施例をとることができる。これらの実施例に
おいて，対応関係を上記のように例示したように，共通
処理手段が存在するので，共通処理手段は当然その演算
を共通に処理する。

【００５６】

【発明の効果】以上述べたように，本発明によれば，対
象物体の３次元形状に急激な変化が存在する場合であっ
ても正確にその３次元形状を復元する画像データを生成
することかできる。また本発明によれば，マッピングパ
ラメータの初期値に誤差を含んでいても，その誤差を修
正しながら対象物体の３次元形状を復元する画像データ
を生成することができ，マッピングパラメータの初期値
設定に多大の労力を要しないという利点が有する。さら
に本発明によれば，対象物体の連続性を考慮して，対象
物体の実在性の富む３次元形状を復元する画像データを
生成することができる。本発明の三次元形状復元方法お
よび三次元形状復元装置は短時間で対象物体の３次元形
状を復元する画像データを生成することができ，実時間
性を満足する３次元形状復元画像データを提供できる。
さらに本発明の三次元形状復元方法によれば，ＤＳＰな
どの高速信号処理装置を必ずしも必要とせず，低価格で
信号処理装置が対象物体の３次元形状を復元する画像デ
ータを提供できる。

【図面の簡単な説明】

【図１】本発明の三次元形状復元装置の第１実施例の構
成図である。

【図２】本発明の三次元形状復元方法の第１実施例の処
理内容，および，図１に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。

【図３】本発明の陰影情報を用いて三次元形状を復元す
る方法において適用する陰影情報を示すマッピングパラ
メータの座標系の断面図である。

【図４】本発明の陰影情報を用いて三次元形状を復元す
る方法において適用する陰影情報を示すマッピングパラ
メータの座標系の斜視図である。

【図５】本発明の三次元形状復元装置の第２実施例の構
成図である。

【図６】本発明の三次元形状復元方法の第２実施例の処
理内容，および，図５に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。

【図７】第２実施例の三次元形状復元方法の処理を示す
フローチャートである。

【図８】本発明の三次元形状復元装置の第２実施例の構
成図である。

【図９】本発明の三次元形状復元方法の第２実施例の処
理内容，および，図５に示した三次元形状復元装置の動
作を機能ブロックとして示した図である。

【図１０】従来の陰影情報から対象物体の３次元形状を
復元する画像データを生成するブロック構成図である。

【図１１】図１０の三次元形状復元方法を実現する従来
の三次元形状復元装置の構成図である。

【図１２】従来の三次元形状復元装置の構成図である。

【図１３】従来の三次元形状復元方法および三次元形状
復元装置の機能ブロック図である。

【図１４】従来の陰影情報から３次元形状を復元するに
際して，遮蔽輪郭部分の法線を示す平面図である。

【図１５】図１４に示した遮蔽輪郭の斜視図である。

【符号の説明】

１Ａ，１Ｂ・・三次元形状復元装置 ２Ａ，２Ｂ・・画像処理装置 ３Ａ・・滑らかさパラメータ演算処理部 ３Ｂ・・マッピングパラメータ誤差分演算部 ４・・２次元輝度画像データ出力手段 ５・・カラービデオカメラ ６・・カラーテレビ
７・・ＶＴＲ ８・・画像入力部 ９・・Ａ／Ｄ変換部 １０・・画像データ記憶部 １１・・制御部 １２・・画像データ演算部 １３・・復元画像データ
判断部 １４・・画像データ出力部 １５・・パーソナル・コ
ンピュータ １６・・エッジ検出手段 １７・・滑らかさパラメ
ータ決定手段 １８・・評価係数補正手段 １９・・マッピングパラ
メータ生成手段 ２０・・マッピングパラメータ差の二乗演算手段 ２０Ｂ・・平均マッピングパラメータ演算手段 ２１・・輝度微分演算手段 ２２・・輝度演算手段 ２３・・減算手段 ２４・・乗算手段 ２５・・乗算手段 ２６・・加算手段 ２７・・判断手段 ２８・・遅延手段 ２９・・反射地図処理手段 ３０・・積分手段 ３１・・２次元画像データ出力手段 ３２・・乗算手段 ３３・・加算手段 ３４・・マッピングパラメータの差の二乗演算手段 ３５・・初期値誤差定義手段 ３６・・初期値設定手段 ３７・・減算手段 ３８・・乗算手段 ４１・・反射地図パラメータ生成手段 ４２・・平均反射地図パラメータ演算手段 ４３・・乗算手段 ４４・・反射地図パラメータ
差・和演算手段 ４５・・乗算手段 ４６・・輝度微分演算手
段 ４７・・輝度演算手段 ４８・・エネルギー計算
手段 ４９・・判断手段 ５０・・減算手段 ５１・・乗算手段 ５２・・加算手段 ５３・・加算手段 ５４・・乗算手段 ５６・・遅延手段 ５７・・積分手段

【数１１】

Claims (6)

【特許請求の範囲】
1. 【請求項１】対象物体を撮像した二次元輝度画像データ
   についての陰影情報を用いて上記対象物体の三次元形状
   を復元する画像データを生成する三次元形状復元方法で
   あって，上記二次元輝度画像データから上記対象物体の
   形状の面の滑らかさを検出し，この滑らかさを用いて対
   象物体の形状の復元状態を判別し，この判別結果が適切
   な値を示す陰影情報を用いて上記対象物体の３次元形状
   を復元する画像データを生成する三次元形状復元方法。
2. 【請求項２】対象物体の二次元輝度画像データを提供す
   る手段と，上記二次元輝度画像データについて上記対象
   物体の陰影を示す反射地図パラメータを算出する手段
   と，隣接する反射地図パラメータの差の二乗を算出する
   手段と，反射地図パラメータに対する輝度を算出する手
   段と，前記反射地図パラメータに対する輝度についての
   反射地図パラメータに対する微分結果を算出する手段
   と，上記二次元輝度画像データから上記対象物体の形状
   の滑らかさを算出する手段と，上記二次元輝度画像と上
   記反射地図パラメータに対する輝度との差を算出しこの
   差に上記反射地図パラメータに対する輝度の微分結果を
   乗じこの乗算結果と，上記隣接する反射地図パラメータ
   の差の二乗に上記滑らかさを示すパラメータを乗じた結
   果とを加算して判別値を算出する手段と，上記判別値が
   最小か否かを判断する手段と上記判断手段で上記判別値
   が最小と判断されたとき，その時の反射地図パラメータ
   から上記対象物体の３次元形状を示す画像データを生成
   する手段とを有する三次元形状復元装置。
3. 【請求項３】対象物体を撮像した二次元輝度画像データ
   についての陰影情報を用いて上記対象物体の三次元形状
   を復元する画像データを生成する三次元形状復元方法で
   あって，陰影情報である反射地図パラメータの初期値の
   誤差を補償して，対象物体の形状の復元状態を判別し，
   この判別結果が適切な値を示す陰影情報を用いて上記対
   象物体の３次元形状を復元する画像データを生成する三
   次元形状復元方法。
4. 【請求項４】対象物体の二次元輝度画像データを提供す
   る手段と，上記二次元輝度画像データについて上記対象
   物体の陰影を示す反射地図パラメータを算出する手段
   と，反射地図パラメータの初期値を設定する手段と，こ
   の反射地図パラメータの初期値を上記算出された反射地
   図パラメータを用いて補正する手段と，隣接する反射地
   図パラメータの差の二乗を算出する手段と，反射地図パ
   ラメータに対する輝度を算出する手段と，前記反射地図
   パラメータに対する輝度についての反射地図パラメータ
   に対する微分結果を算出する手段と，上記二次元輝度画
   像と上記反射地図パラメータに対する輝度との差を算出
   しこの差に上記反射地図パラメータに対する輝度の微分
   結果を乗じこの乗算結果と，上記反射地図パラメータの
   差の二乗と加算して判別値を算出する手段と，上記判別
   値が最小か否かを判断する手段と上記判断手段で上記判
   別値が最小と判断されたとき，その時の反射地図パラメ
   ータから上記対象物体の３次元形状を示す画像データを
   生成する手段とを有する三次元形状復元装置。
5. 【請求項５】対象物体を撮像した二次元輝度画像データ
   についての陰影情報を用いて上記対象物体の三次元形状
   を復元する画像データを生成する三次元形状復元方法で
   あって，上記対象物体の３次元形状を復元するための判
   別式に上記対象物体の連続性を付加して上記対象物体の
   形状の復元状態を判別し，この判別結果が適切な値を示
   す陰影情報を用いて上記対象物体の３次元形状を復元す
   る画像データを生成する三次元形状復元方法。
6. 【請求項６】対象物体の二次元輝度画像データを提供す
   る手段と，上記二次元輝度画像データについて上記対象
   物体の陰影を示す反射地図パラメータを算出する手段
   と，上記対象物体の表面の連続性を示す値を算出する手
   段と，隣接する反射地図パラメータの差の二乗を算出す
   る手段と，反射地図パラメータに対する輝度を算出する
   手段と，前記反射地図パラメータに対する輝度について
   の反射地図パラメータに対する微分結果を算出する手段
   と，上記二次元輝度画像と上記反射地図パラメータに対
   する輝度との差を算出しこの差に上記反射地図パラメー
   タに対する輝度の微分結果を乗じこの乗算結果と，上記
   反射地図パラメータの差の二乗と，上記対象物体の表面
   の連続性を示す値とを加算して判別値を算出する手段
   と，上記判別値が最小か否かを判断する手段と，上記判
   断手段で上記判別値が最小と判断されたとき，その時の
   反射地図パラメータから上記対象物体の３次元形状を示
   す画像データを生成する手段とを有する三次元形状復元
   装置。