JP2000076452A - 3次元形状データ処理装置及び立体模型作成装置 - Google Patents
3次元形状データ処理装置及び立体模型作成装置Info
- Publication number
- JP2000076452A JP2000076452A JP10243424A JP24342498A JP2000076452A JP 2000076452 A JP2000076452 A JP 2000076452A JP 10243424 A JP10243424 A JP 10243424A JP 24342498 A JP24342498 A JP 24342498A JP 2000076452 A JP2000076452 A JP 2000076452A
- Authority
- JP
- Japan
- Prior art keywords
- data
- dimensional
- face
- shape data
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Coin-Freed Apparatuses For Hiring Articles (AREA)
Abstract
(57)【要約】
【課題】 人の顔面形状を与える3次元形状データの改
善を図る。 【解決手段】 顔の部品毎に解像度を設定することで3
次元形状データを作成する。即ち、顔面の部品中、両眼
及び顔輪郭近傍を表わす形状データの再標本化解像度
を、顔形状を与えるデータのそれよりも高く設定する。
善を図る。 【解決手段】 顔の部品毎に解像度を設定することで3
次元形状データを作成する。即ち、顔面の部品中、両眼
及び顔輪郭近傍を表わす形状データの再標本化解像度
を、顔形状を与えるデータのそれよりも高く設定する。
Description
【0001】
【発明の属する技術分野】本発明は、例えば実存する物
体ないしは対象物(例えば人の顔面)の模型を作成する
立体模型作成装置に適用可能な、3次元形状データ処理
技術に関するものである。
体ないしは対象物(例えば人の顔面)の模型を作成する
立体模型作成装置に適用可能な、3次元形状データ処理
技術に関するものである。
【0002】
【従来の技術】例えば特開平9−145319号公報に
開示されるような可搬型の非接触式3次元計測装置(3
次元カメラ)が商品化され、CGシステムやCADシス
テムへのデータ入力、身体計測、ロボットの視覚認識な
どに利用されている。非接触の計測方法としては、スリ
ット光投影法(光切断法)が一般的であるが、他にもパ
ターン光投影法、ステレオ視法、干渉縞法などが知られ
ている。
開示されるような可搬型の非接触式3次元計測装置(3
次元カメラ)が商品化され、CGシステムやCADシス
テムへのデータ入力、身体計測、ロボットの視覚認識な
どに利用されている。非接触の計測方法としては、スリ
ット光投影法(光切断法)が一般的であるが、他にもパ
ターン光投影法、ステレオ視法、干渉縞法などが知られ
ている。
【0003】また、パーソナルコンピュータで利用可能
な3次元CG(コンピュータグラフィック)ソフトウェ
ア、及びホビー用の小型の3次元切削マシンが市販され
ている。これらを用いれば、一般家庭でも模型や創作物
を手軽に製作することができる。
な3次元CG(コンピュータグラフィック)ソフトウェ
ア、及びホビー用の小型の3次元切削マシンが市販され
ている。これらを用いれば、一般家庭でも模型や創作物
を手軽に製作することができる。
【0004】一方、利用客の顔写真シールをその場で作
成する一種の自動販売機が人気を集めている。利用客は
料金分の硬貨を投入し、モニタ画面を見ながらカメラの
前で好みのポーズをとる。そして、所定の操作を行う
と、一定数のシールが並んだシートが作成されて取出口
に排出される。大半の機種では、顔写真の形状や写し込
み模様などについて複数の選択肢が設けられている。
成する一種の自動販売機が人気を集めている。利用客は
料金分の硬貨を投入し、モニタ画面を見ながらカメラの
前で好みのポーズをとる。そして、所定の操作を行う
と、一定数のシールが並んだシートが作成されて取出口
に排出される。大半の機種では、顔写真の形状や写し込
み模様などについて複数の選択肢が設けられている。
【0005】
【発明が解決しようとする課題】上述の3次元計測装置
によれば、写真をとるのと同程度の手軽さで人体を含む
各種物体の形状をデータ化することができる。非接触式
であるので、人体を計測する場合であっても、計測対象
物が煩わしさを感じることはない。そこで、この3次元
計測装置を顔写真ならぬ顔面模型の作成に利用すること
が考えられる。つまり、3次元計測装置を3次元加工機
と組み合わせれば、人物の顔を計測して、その3次元計
測データを3次元形状データに処理し、この形状データ
に基づき、その場で適当な倍率の顔面模型を作成するこ
とが可能である。
によれば、写真をとるのと同程度の手軽さで人体を含む
各種物体の形状をデータ化することができる。非接触式
であるので、人体を計測する場合であっても、計測対象
物が煩わしさを感じることはない。そこで、この3次元
計測装置を顔写真ならぬ顔面模型の作成に利用すること
が考えられる。つまり、3次元計測装置を3次元加工機
と組み合わせれば、人物の顔を計測して、その3次元計
測データを3次元形状データに処理し、この形状データ
に基づき、その場で適当な倍率の顔面模型を作成するこ
とが可能である。
【0006】ところで、人物の顔面を構成する目,鼻,
口等の各部分(以下、これを顔面の部品と称す)の中に
は、その人の顔を眺めることでその人を認識するに際し
て特に注目度の高い部品がある。そのような顔面の部品
中で特に注目度の高い部品の一例としては、“目”を挙
げることができる。即ち、人は自己又は他人の顔面を見
て自己又は他人を認識するに際しては、先ず目に注目す
る筈である。従って、人が自己又は他人の顔面模型を見
て当該顔面模型がその人を表わしていることを認識する
際にも、当該顔面模型中の目の部分に注目がいくものと
考えられる。そこで、顔面模型の目の部分の見栄えが損
なわれないように顔面模型を作成することが望まれる。
口等の各部分(以下、これを顔面の部品と称す)の中に
は、その人の顔を眺めることでその人を認識するに際し
て特に注目度の高い部品がある。そのような顔面の部品
中で特に注目度の高い部品の一例としては、“目”を挙
げることができる。即ち、人は自己又は他人の顔面を見
て自己又は他人を認識するに際しては、先ず目に注目す
る筈である。従って、人が自己又は他人の顔面模型を見
て当該顔面模型がその人を表わしていることを認識する
際にも、当該顔面模型中の目の部分に注目がいくものと
考えられる。そこで、顔面模型の目の部分の見栄えが損
なわれないように顔面模型を作成することが望まれる。
【0007】更に顔の輪郭近傍部分は、人が顔面模型を
眺めて対象人物であることを認識するに際して注目度の
比較的高い部品の一つであると言える。従って、顔の輪
郭近傍部分もまた、目を除く他の部品よりも精度よく再
現するように、顔面模型を作成することが望まれるので
ある。
眺めて対象人物であることを認識するに際して注目度の
比較的高い部品の一つであると言える。従って、顔の輪
郭近傍部分もまた、目を除く他の部品よりも精度よく再
現するように、顔面模型を作成することが望まれるので
ある。
【0008】以上の通り、特に注目度の高い部品が顔面
模型においても同様に特に人の高い注目を引くように、
対象人物の顔面の3次元計測データ(距離画像データ)
に基づいて顔面模型を与える3次元形状データを作成す
る必要性がある。
模型においても同様に特に人の高い注目を引くように、
対象人物の顔面の3次元計測データ(距離画像データ)
に基づいて顔面模型を与える3次元形状データを作成す
る必要性がある。
【0009】ところで、従来より公知のコンピュータグ
ラフィックの分野では、形状の複雑さに応じて、即ち、
形状の凹凸の度合いに応じて画像データの解像度を変え
ることが行われている。しかし、ここで問題としている
目や輪郭等の特に注目度の高い部品においては凹凸があ
まり無いので、上記の公知技術を用いても特に注目度の
高い部品の存在は解像度の設定に対して何ら反映されな
いこととなり、上述した要求を満足することができない
のである。
ラフィックの分野では、形状の複雑さに応じて、即ち、
形状の凹凸の度合いに応じて画像データの解像度を変え
ることが行われている。しかし、ここで問題としている
目や輪郭等の特に注目度の高い部品においては凹凸があ
まり無いので、上記の公知技術を用いても特に注目度の
高い部品の存在は解像度の設定に対して何ら反映されな
いこととなり、上述した要求を満足することができない
のである。
【0010】本発明はこのような懸案事項を克服すべく
なされたものであり、その目的とするところは、対象物
の内で視覚上、特に注目度の高い部品の特徴を3次元形
状データに反映可能にして、対象物の模型の形状の見栄
えを著しく改善することにある。
なされたものであり、その目的とするところは、対象物
の内で視覚上、特に注目度の高い部品の特徴を3次元形
状データに反映可能にして、対象物の模型の形状の見栄
えを著しく改善することにある。
【0011】
【課題を解決するための手段】請求項1に係る発明は、
対象物の3次元画像データを入力して当該3次元画像デ
ータより前記対象物の3次元形状データを生成・出力す
る3次元形状データ処理装置であって、前記対象物の部
品の内で注目度の比較的高い部品を他の部品よりも高解
像度に設定して前記3次元形状データを生成・出力する
ことを特徴とする。
対象物の3次元画像データを入力して当該3次元画像デ
ータより前記対象物の3次元形状データを生成・出力す
る3次元形状データ処理装置であって、前記対象物の部
品の内で注目度の比較的高い部品を他の部品よりも高解
像度に設定して前記3次元形状データを生成・出力する
ことを特徴とする。
【0012】請求項2に係る発明は、立体模型作成装置
において、請求項1記載の前記3次形状データ処理装置
を用いて前記対象物の立体模型を作成することを特徴と
する。
において、請求項1記載の前記3次形状データ処理装置
を用いて前記対象物の立体模型を作成することを特徴と
する。
【0013】
【発明の実施の形態】本発明の3次元形状データ処理装
置は、対象物の部品毎に個別に解像度を設定する、即
ち、部品中、注目度の比較的高い部品の解像度をその他
の部品よりも高く設定して3次元形状データを生成する
ことに、特徴点を有する。
置は、対象物の部品毎に個別に解像度を設定する、即
ち、部品中、注目度の比較的高い部品の解像度をその他
の部品よりも高く設定して3次元形状データを生成する
ことに、特徴点を有する。
【0014】以下、本発明に係る3次元形状データ処理
装置を、人の顔面模型を作成するための立体模型作成装
置に適用する形態について説明する。即ち、ここでは、
「対象物」を人の顔面とし、「入力3次元画像データ」
を顔面の3次元画像データ(距離画像データ)に限定す
ると共に、顔面の部品中、両眼と顔の輪郭近傍部分
とを特に注目度の高い部品として選定し、上記,の
部品を他の部品と区別してデータ処理する場合について
説明する。勿論、「対象物」は人の顔面に限られるもの
ではなく、例えば動物の顔等、立体模型作成の対象物と
なり得るものであるならば、「対象物」として全て可能
である。
装置を、人の顔面模型を作成するための立体模型作成装
置に適用する形態について説明する。即ち、ここでは、
「対象物」を人の顔面とし、「入力3次元画像データ」
を顔面の3次元画像データ(距離画像データ)に限定す
ると共に、顔面の部品中、両眼と顔の輪郭近傍部分
とを特に注目度の高い部品として選定し、上記,の
部品を他の部品と区別してデータ処理する場合について
説明する。勿論、「対象物」は人の顔面に限られるもの
ではなく、例えば動物の顔等、立体模型作成の対象物と
なり得るものであるならば、「対象物」として全て可能
である。
【0015】(立体模型装置の構成)図1は本発明に係
る立体模型作成装置1の外観図である。
る立体模型作成装置1の外観図である。
【0016】立体模型作成装置1は、物体形状を計測
し、その計測データに基づいて素材をその場で加工する
機能を有しており、利用客の顔をかたどった小物品の自
動販売機として使用される。作成される物品は、所定形
状(例えば四角形)の板面から顔面の模型が突き出た立
体である。板面(背景部分)に特定の起伏模様を付加す
ることも可能である。このような物品に適当な金具を取
り付ければ、ペンダント、ブローチ、キーホルダなどの
アクセサリーとなる。予め素材に金具を取り付けておい
てもよい。
し、その計測データに基づいて素材をその場で加工する
機能を有しており、利用客の顔をかたどった小物品の自
動販売機として使用される。作成される物品は、所定形
状(例えば四角形)の板面から顔面の模型が突き出た立
体である。板面(背景部分)に特定の起伏模様を付加す
ることも可能である。このような物品に適当な金具を取
り付ければ、ペンダント、ブローチ、キーホルダなどの
アクセサリーとなる。予め素材に金具を取り付けておい
てもよい。
【0017】ほぼ等身大の筐体10の上半部の前面に、
利用客がポーズを確認するためのディスプレイ16とと
もに、光学式3次元計測のための投光窓12及び受光窓
14が設けられている。受光窓14は2次元のカラー撮
影にも用いられる。筐体10の下半部は上半部よりも前
方側に張り出しており、その上面が操作パネル18とな
っている。商品の取出口20は下半部の前面に設けられ
ている。
利用客がポーズを確認するためのディスプレイ16とと
もに、光学式3次元計測のための投光窓12及び受光窓
14が設けられている。受光窓14は2次元のカラー撮
影にも用いられる。筐体10の下半部は上半部よりも前
方側に張り出しており、その上面が操作パネル18とな
っている。商品の取出口20は下半部の前面に設けられ
ている。
【0018】利用役は立体模型作成装置1に向かって立
ち、料金分の硬貨を投入する。その後に利用客がスター
ト操作を行うと、立体模型作成装置1は正面の一定範囲
内に存在する物体の形状を計測するとともに、計測結果
を示す3次元形状モデル(例えばサーフェスモデル)を
表示する。そして、利用客が構図の決定を指示する確認
操作を行うと、立体模型作成装置1は計測結果に応じた
3次元加工を開始する。数分程度の時間で商品が完成す
る。利用客は取出口20から商品を取り出す。
ち、料金分の硬貨を投入する。その後に利用客がスター
ト操作を行うと、立体模型作成装置1は正面の一定範囲
内に存在する物体の形状を計測するとともに、計測結果
を示す3次元形状モデル(例えばサーフェスモデル)を
表示する。そして、利用客が構図の決定を指示する確認
操作を行うと、立体模型作成装置1は計測結果に応じた
3次元加工を開始する。数分程度の時間で商品が完成す
る。利用客は取出口20から商品を取り出す。
【0019】図2は操作パネル18の平面図である。
【0020】操作パネル18には、スタートボタン18
1、確認ボタン182、キャンセルボタン183、ジョ
イスティック184、及び硬貨の投入口185が設けら
れている。スタートボタン181はスタート操作手段で
あり、確認ボタン182は確認操作手段である。ジョイ
スティック184は模型の構図の変更指示に用いられ
る。左右に傾けるバーン操作、上下に傾けるチルト操
作、及びノブを回転させるロール操作に呼応して3次元
形状モデルの回転処理が行われ、処理結果が逐次に表示
される。また、キャンセルボタン183は、利用客が表
示された3次元形状モデルが気に入らないときなどに再
計測を指示するための操作手段である。ただし、キャン
セルボタン183には有効回数が設定されており、無制
限に再計測を指示することはできない。
1、確認ボタン182、キャンセルボタン183、ジョ
イスティック184、及び硬貨の投入口185が設けら
れている。スタートボタン181はスタート操作手段で
あり、確認ボタン182は確認操作手段である。ジョイ
スティック184は模型の構図の変更指示に用いられ
る。左右に傾けるバーン操作、上下に傾けるチルト操
作、及びノブを回転させるロール操作に呼応して3次元
形状モデルの回転処理が行われ、処理結果が逐次に表示
される。また、キャンセルボタン183は、利用客が表
示された3次元形状モデルが気に入らないときなどに再
計測を指示するための操作手段である。ただし、キャン
セルボタン183には有効回数が設定されており、無制
限に再計測を指示することはできない。
【0021】図3は立体模型作成装置1の機能ブロック
図である。
図である。
【0022】立体模型作成装置1は、模型サイズの3次
元形状モデルを生成するモデリングシステム1Aと、3
次元形状モデルを顕在化する加工システム1Bから構成
されている。
元形状モデルを生成するモデリングシステム1Aと、3
次元形状モデルを顕在化する加工システム1Bから構成
されている。
【0023】モデリングシステム1Aは、オリジナル物
体(対象物)である利用客の外観情報(ここでは顔面の
形状及び色の情報)をディジタルデータに変換(データ
化)する撮影システム30を含んでいる。即ち、撮影シ
ステム30は、スリット光投影法で対象物の形状情報を
データ化して、3次元の距離画像データ(3次元画像デ
ータ)DSを出力する3次元計測装置34、対象物の色
情報をデータ化して2次元のカラー画像データDCを出
力する2次元撮影装置36、及びコントローラ38より
構成されている。
体(対象物)である利用客の外観情報(ここでは顔面の
形状及び色の情報)をディジタルデータに変換(データ
化)する撮影システム30を含んでいる。即ち、撮影シ
ステム30は、スリット光投影法で対象物の形状情報を
データ化して、3次元の距離画像データ(3次元画像デ
ータ)DSを出力する3次元計測装置34、対象物の色
情報をデータ化して2次元のカラー画像データDCを出
力する2次元撮影装置36、及びコントローラ38より
構成されている。
【0024】ここで、距離画像データDSはXYZの直
交座標系における座標値として与えられるデータであ
り、3次元計測装置34内の計測基準点から対象物の当
該計測点までの距離情報を与えるものである。同データ
DSには、対象物からの反射光の計測データが得られた
か否かを示すフラグも入っている。他方、カラー画像デ
ータDCは各画素の3原色データ、即ちR(レッド)、
G(グリーン)、B(ブルー)より成るデータである。
例えば撮影システム30を特開平9−145319号公
報に開示されている3次元カメラで以て構成するときに
は、3次元計測と2次元撮影とを同一視点で行うことが
できるので、3次元距離画像データDSと2次元カラー
画像データDCとの対応付けを極めて容易に行うことが
できる。勿論、そのような3次元カメラを用いた同一視
点による両データDS,DCの取得を行わない場合で
も、両データDS,DCには視点情報が付加されてお
り、且つ3次元計測と2次元撮影とのカメラ座標の相対
関係は既知であるので、両データDS,DCの対応付け
を行うことは一般的に容易である。このような両データ
DS,DCは、後述するデータ処理装置40に入力され
る。
交座標系における座標値として与えられるデータであ
り、3次元計測装置34内の計測基準点から対象物の当
該計測点までの距離情報を与えるものである。同データ
DSには、対象物からの反射光の計測データが得られた
か否かを示すフラグも入っている。他方、カラー画像デ
ータDCは各画素の3原色データ、即ちR(レッド)、
G(グリーン)、B(ブルー)より成るデータである。
例えば撮影システム30を特開平9−145319号公
報に開示されている3次元カメラで以て構成するときに
は、3次元計測と2次元撮影とを同一視点で行うことが
できるので、3次元距離画像データDSと2次元カラー
画像データDCとの対応付けを極めて容易に行うことが
できる。勿論、そのような3次元カメラを用いた同一視
点による両データDS,DCの取得を行わない場合で
も、両データDS,DCには視点情報が付加されてお
り、且つ3次元計測と2次元撮影とのカメラ座標の相対
関係は既知であるので、両データDS,DCの対応付け
を行うことは一般的に容易である。このような両データ
DS,DCは、後述するデータ処理装置40に入力され
る。
【0025】尚、3次元計測法としては、既述のスリッ
ト光投影法に代えて、他の手段を用いても勿論良い。
ト光投影法に代えて、他の手段を用いても勿論良い。
【0026】データ処理装置40は図示しない画像処理
回路を備えており、本発明に特有のデータ修正を含む各
種のデータ処理を行う、本発明の中核部分である。デー
タ処理装置40のコントローラ42は、立体模型作成装
置1の全体的な制御をも担い、撮影システム30のコン
トローラ38及び加工システム1Bのコントローラ76
に適切な指示を与える。このコントローラ42には、デ
ィスプレイ16及び操作入力システム80が接続されて
いる。操作入力システム80は、上述の操作パネル18
と料金受領機構とからなる。
回路を備えており、本発明に特有のデータ修正を含む各
種のデータ処理を行う、本発明の中核部分である。デー
タ処理装置40のコントローラ42は、立体模型作成装
置1の全体的な制御をも担い、撮影システム30のコン
トローラ38及び加工システム1Bのコントローラ76
に適切な指示を与える。このコントローラ42には、デ
ィスプレイ16及び操作入力システム80が接続されて
いる。操作入力システム80は、上述の操作パネル18
と料金受領機構とからなる。
【0027】一方、加工システム1Bは、樹脂ブロック
などの材料を切削する加工装置72、材料の加工位置へ
の供給と加工品の取出口20への搬送を行う材料供給装
置74、コントローラ76、及び取出口センサ78を備
えている。取出口センサ78の検出信号はコントローラ
42に入力される。
などの材料を切削する加工装置72、材料の加工位置へ
の供給と加工品の取出口20への搬送を行う材料供給装
置74、コントローラ76、及び取出口センサ78を備
えている。取出口センサ78の検出信号はコントローラ
42に入力される。
【0028】なお、撮影システム30及び加工システム
1Bの制御をコントローラ42に受け持たせ、コントロ
ーラ38及びコントローラ76を省略した回路構成を採
用してもよい。
1Bの制御をコントローラ42に受け持たせ、コントロ
ーラ38及びコントローラ76を省略した回路構成を採
用してもよい。
【0029】(立体模型作成装置の動作)図4は概略の
動作を示すメインフローチャートである。
動作を示すメインフローチャートである。
【0030】電源が投入された後、利用客による操作を
持つ待機期間において、2次元撮影と撮影結果の表示と
を繰り返す(#10、#12、#14)。また、定期的
に案内メッセージを表示する。料金が投入されてスター
トボタン181が押されると、改めて2次元撮影を行う
とともに3次元計測を行う(#16、#18)。所定の
データ処理を行い(#20)、得られた3次元形状モデ
ルを表示する(#22)。このとき、影を付すといった
公知のグラフィック手法を適用して見栄えを高める。そ
して、指示操作を持つ。ただし、待ち時間は有限であ
り、次元を過ぎれば確認操作が行われたものとみなす。
持つ待機期間において、2次元撮影と撮影結果の表示と
を繰り返す(#10、#12、#14)。また、定期的
に案内メッセージを表示する。料金が投入されてスター
トボタン181が押されると、改めて2次元撮影を行う
とともに3次元計測を行う(#16、#18)。所定の
データ処理を行い(#20)、得られた3次元形状モデ
ルを表示する(#22)。このとき、影を付すといった
公知のグラフィック手法を適用して見栄えを高める。そ
して、指示操作を持つ。ただし、待ち時間は有限であ
り、次元を過ぎれば確認操作が行われたものとみなす。
【0031】ジョイスティック184が操作されると、
上述のように3次元形状モデルを操作に応じて回転させ
て表示する(#24、#38)。キャンセルボタン18
3が押されると、待機期間の動作に戻る(#40、#1
0)。ただし、この場合、利用客が料金を改めて投入す
る必要はなく、スタートボタン181を押せば、再計測
が行われる。
上述のように3次元形状モデルを操作に応じて回転させ
て表示する(#24、#38)。キャンセルボタン18
3が押されると、待機期間の動作に戻る(#40、#1
0)。ただし、この場合、利用客が料金を改めて投入す
る必要はなく、スタートボタン181を押せば、再計測
が行われる。
【0032】確認ボタン182が押されると(#2
6)、3次元形状モデルに基づいて加工条件データベー
スを参照して加工制御用のデータを生成し(#28)。
材料の加工を行う(#30)。加工が終わると、商品を
排出し(#32)、取出口センサ78によって商品が取
り出されたのを確認して待機動作に戻る(#34、#1
0)。
6)、3次元形状モデルに基づいて加工条件データベー
スを参照して加工制御用のデータを生成し(#28)。
材料の加工を行う(#30)。加工が終わると、商品を
排出し(#32)、取出口センサ78によって商品が取
り出されたのを確認して待機動作に戻る(#34、#1
0)。
【0033】(顔面形状処理機能)図5は、図4のデー
タ処理#20の詳細を示すためのデータフロー図であ
る。同図5において、ハッチング付きの太矢印線は図3
の入力カラー画像データDCの流れを示しており、又、
各機能F1〜F9,SF1及びSF2は3次元形状デー
タを生成するために図3のデータ処理装置40で行われ
るデータ処理機能を示している。特に機能SF1及びS
F2は、3次元形状データ中、顔面の両眼形状モデルの
データを作成するための前処理機能に該当している。以
下、各機能F1〜F3、SF1、SF2、F4〜F9を
この順序で説明することにするが、本発明の中核をなす
機能は機能F5〜F7である。
タ処理#20の詳細を示すためのデータフロー図であ
る。同図5において、ハッチング付きの太矢印線は図3
の入力カラー画像データDCの流れを示しており、又、
各機能F1〜F9,SF1及びSF2は3次元形状デー
タを生成するために図3のデータ処理装置40で行われ
るデータ処理機能を示している。特に機能SF1及びS
F2は、3次元形状データ中、顔面の両眼形状モデルの
データを作成するための前処理機能に該当している。以
下、各機能F1〜F3、SF1、SF2、F4〜F9を
この順序で説明することにするが、本発明の中核をなす
機能は機能F5〜F7である。
【0034】距離平滑化機能F1 先ず、図3の3次元計測装置34が出力する未加工の3
次元形状データである距離画像データDSをデータ処理
装置40は入力し、同装置40はこの入力距離画像デー
タDSに対してノイズ除去を行う。
次元形状データである距離画像データDSをデータ処理
装置40は入力し、同装置40はこの入力距離画像デー
タDSに対してノイズ除去を行う。
【0035】背景除去機能F2 次にデータ処理装置40は、ノイズ除去後の距離画像デ
ータDS1に対して、顔面領域を与えるデータの抽出処
理を行う。即ち、同装置40は、後述するカラー平滑化
後のカラー画像データDC1が与えるカラー画像中の顔
面領域を3次元の距離画像データDS1に対応付けるこ
とにより、背景データが除去された顔面領域のみを与え
る距離画像データDS2を生成する。ここで「顔面領
域」とは、髪の毛、耳及び顎の下部分を除いた顔の領域
を言う。
ータDS1に対して、顔面領域を与えるデータの抽出処
理を行う。即ち、同装置40は、後述するカラー平滑化
後のカラー画像データDC1が与えるカラー画像中の顔
面領域を3次元の距離画像データDS1に対応付けるこ
とにより、背景データが除去された顔面領域のみを与え
る距離画像データDS2を生成する。ここで「顔面領
域」とは、髪の毛、耳及び顎の下部分を除いた顔の領域
を言う。
【0036】欠陥データ補間機能F3 更にデータ処理装置40は、背景除去後の距離画像デー
タDS2中のデータ欠落部分に対して線形補間を行う。
これは、次の理由,による。即ち、図3の3次元計
測装置34から計測用のレーザ光を対象物に照射してそ
の反射光を計測する際、対象物の黒色部分ではレーザ
光の反射率が著しく低下するため、顔面中の黒色部分
(黒目部分、眉等)のデータが欠落すると共に、更に、
上記計測方式では、対象物中、投光側及び受光側の両
方から見える部分だけのデータが得られるだけなので、
そうでない部分のデータが欠落してしまう。そこで、こ
れらの欠落部分の距離画像データを計測データより補間
している。
タDS2中のデータ欠落部分に対して線形補間を行う。
これは、次の理由,による。即ち、図3の3次元計
測装置34から計測用のレーザ光を対象物に照射してそ
の反射光を計測する際、対象物の黒色部分ではレーザ
光の反射率が著しく低下するため、顔面中の黒色部分
(黒目部分、眉等)のデータが欠落すると共に、更に、
上記計測方式では、対象物中、投光側及び受光側の両
方から見える部分だけのデータが得られるだけなので、
そうでない部分のデータが欠落してしまう。そこで、こ
れらの欠落部分の距離画像データを計測データより補間
している。
【0037】カラー平滑化機能SF1 図3のデータ処理装置40は、入力カラー画像データD
Cに対してノイズ除去処理を実行する。
Cに対してノイズ除去処理を実行する。
【0038】カラー両眼領域推定機能SF2 データ処理装置40は、ノイズ除去後の2次元カラー画
像データDC1より両眼部分の領域を与える2次元のデ
ータDC2を抽出する。ここで両眼領域の抽出処理を行
うのは、既述した通り、距離画像データから両眼の形状
モデルを作成するためである。そして、両眼の形状モデ
ルを3次元形状データの1つとして作成するのは、目が
人の顔を認識する際の本質的な部分であるところ、両眼
(黒目部分)には凹凸形状が無い反面、両眼には色の変
化があるため、この輝度の情報を奥行きないしは深さ
(凹凸)の情報として顔面模型に反映させるためにあ
る。
像データDC1より両眼部分の領域を与える2次元のデ
ータDC2を抽出する。ここで両眼領域の抽出処理を行
うのは、既述した通り、距離画像データから両眼の形状
モデルを作成するためである。そして、両眼の形状モデ
ルを3次元形状データの1つとして作成するのは、目が
人の顔を認識する際の本質的な部分であるところ、両眼
(黒目部分)には凹凸形状が無い反面、両眼には色の変
化があるため、この輝度の情報を奥行きないしは深さ
(凹凸)の情報として顔面模型に反映させるためにあ
る。
【0039】CF(Camera Face)座標変換F4 データ処理装置40は、3次元の距離画像データDS3
及び2次元の両眼領域データDC2に対してCF座標変
換を施すことにより、3次元の両データDS4及びDC
4を生成する。即ち、同装置40は、距離画像データD
S3及び両眼領域データDC2がそれぞれ与える人の顔
形状及び両眼形状が丁度カメラに対して真正面に向いた
状態となるように、座標変換(正対処理)を行う。これ
により、カメラ中心の座標系で表現されていた両データ
DS3及びDC2は、以後、顔中心の座標系で表現され
ることとなる。
及び2次元の両眼領域データDC2に対してCF座標変
換を施すことにより、3次元の両データDS4及びDC
4を生成する。即ち、同装置40は、距離画像データD
S3及び両眼領域データDC2がそれぞれ与える人の顔
形状及び両眼形状が丁度カメラに対して真正面に向いた
状態となるように、座標変換(正対処理)を行う。これ
により、カメラ中心の座標系で表現されていた両データ
DS3及びDC2は、以後、顔中心の座標系で表現され
ることとなる。
【0040】再標本化機能F5 データ処理装置4は、CF座標変換後の距離画像データ
DS4に対して再標本化ないしは均等化というデータの
座標変換処理を行う。即ち、図3の3次元計測装置34
はレーザ光を対象物上に走査してその反射光を受光レン
ズを通した受光素子配列により計測することでそれぞれ
の受光素子に対応する視線上の距離データを得ているの
で(透視透映)、同装置34の受光素子上の隣合う画素
に対応する対象物上の観測点同士の距離は異なる。この
ため、計測される距離画像データは、図6に記号C1と
して例示される様に、不規則に画素が並んだデータとな
る。しかし、このようなデータを3次元形状データとし
て用いて顔面模型を加工することは、切削上好ましいと
は言えない。そこで、図6に記号C2として例示する様
に、データDS4を、ある平面に平行投影したときに平
面上で均等間隔で画素が配置されるようなデータに変換
する必要性がある。即ち、データDS4を、ある新たな
方向から平行投影した等間隔の格子点により整列された
データに変換する。その際、格子点が射影された位置に
計測データ、即ち、変換前のデータDS4がない場合に
は、その周囲のデータDS4より線型補間してデータを
生成する。このような座標変換を「再標本化」又は「均
等化」と称する。そして、ここでは、再標本化に際して
3つの異なる(標本化)解像度で以て形状データを生成
する。このときの処理手順を図7に示す。
DS4に対して再標本化ないしは均等化というデータの
座標変換処理を行う。即ち、図3の3次元計測装置34
はレーザ光を対象物上に走査してその反射光を受光レン
ズを通した受光素子配列により計測することでそれぞれ
の受光素子に対応する視線上の距離データを得ているの
で(透視透映)、同装置34の受光素子上の隣合う画素
に対応する対象物上の観測点同士の距離は異なる。この
ため、計測される距離画像データは、図6に記号C1と
して例示される様に、不規則に画素が並んだデータとな
る。しかし、このようなデータを3次元形状データとし
て用いて顔面模型を加工することは、切削上好ましいと
は言えない。そこで、図6に記号C2として例示する様
に、データDS4を、ある平面に平行投影したときに平
面上で均等間隔で画素が配置されるようなデータに変換
する必要性がある。即ち、データDS4を、ある新たな
方向から平行投影した等間隔の格子点により整列された
データに変換する。その際、格子点が射影された位置に
計測データ、即ち、変換前のデータDS4がない場合に
は、その周囲のデータDS4より線型補間してデータを
生成する。このような座標変換を「再標本化」又は「均
等化」と称する。そして、ここでは、再標本化に際して
3つの異なる(標本化)解像度で以て形状データを生成
する。このときの処理手順を図7に示す。
【0041】図7のステップS1において、先ず、デー
タ処理装置40は、図6に例示する上記の再標本化の変
換を行うと共に、その際に第1解像度で距離画像データ
をサンプリングする。この処理を第1再標本化ないしは
第1解像度による第1メッシュ化と称す。これにより、
人の顔形状モデルを与えるための第1形状データDS5
1が生成される。
タ処理装置40は、図6に例示する上記の再標本化の変
換を行うと共に、その際に第1解像度で距離画像データ
をサンプリングする。この処理を第1再標本化ないしは
第1解像度による第1メッシュ化と称す。これにより、
人の顔形状モデルを与えるための第1形状データDS5
1が生成される。
【0042】次に、図7のステップS2において、デー
タ処理装置40は、第1解像度よりも高解像の第2解像
度で以てサンプリングを行い、疑似両眼形状モデルを作
成するための第2形状データDS52を生成する。この
処理を第2再標本化ないしは第2解像度による第2メッ
シュ化と称す。
タ処理装置40は、第1解像度よりも高解像の第2解像
度で以てサンプリングを行い、疑似両眼形状モデルを作
成するための第2形状データDS52を生成する。この
処理を第2再標本化ないしは第2解像度による第2メッ
シュ化と称す。
【0043】更に、データ処理装置40は、ステップS
3において、第2解像度よりも高解像の第3解像度で以
て距離画像データのサンプリングを行い、顔輪郭近傍形
状モデルを作成するための第3形状データDS53を生
成する。ここでは、当該処理を第3再標本化ないしは第
3解像度による第3メッシュ化と称す。
3において、第2解像度よりも高解像の第3解像度で以
て距離画像データのサンプリングを行い、顔輪郭近傍形
状モデルを作成するための第3形状データDS53を生
成する。ここでは、当該処理を第3再標本化ないしは第
3解像度による第3メッシュ化と称す。
【0044】以上の3つのステップS1〜S3によっ
て、3種類の解像度(第1解像度<第2解像度<第3解
像度)でサンプリングされた3つの3次元形状データD
S51〜DC53が与えられる。
て、3種類の解像度(第1解像度<第2解像度<第3解
像度)でサンプリングされた3つの3次元形状データD
S51〜DC53が与えられる。
【0045】疑似両眼形状設定機能F6 データ処理装置40は、第2解像度でメッシュ化されて
得られた第2形状データDS52に両眼領域データDC
4を対応付けることで第2形状データDS52の中から
両眼部分以外の部分を与えるデータを除去し、更に除去
後の形状データに対して両眼領域データDC4が与える
両眼の奥行き(凹凸)情報を付加する。これにより、第
2解像度で再標本化された、両眼形状の奥行きを与える
疑似両眼形状データDS6が生成される。
得られた第2形状データDS52に両眼領域データDC
4を対応付けることで第2形状データDS52の中から
両眼部分以外の部分を与えるデータを除去し、更に除去
後の形状データに対して両眼領域データDC4が与える
両眼の奥行き(凹凸)情報を付加する。これにより、第
2解像度で再標本化された、両眼形状の奥行きを与える
疑似両眼形状データDS6が生成される。
【0046】顔輪郭形状設定機能F7 データ処理装置40は、第3形状データDS53が与え
る形状モデル中、顔形状データである第1形状データD
S51が与える形状モデルと重複した部分のデータの削
除を行い(差分処理)、第3解像度で再標本化された顔
輪郭形状データDS7を生成する。
る形状モデル中、顔形状データである第1形状データD
S51が与える形状モデルと重複した部分のデータの削
除を行い(差分処理)、第3解像度で再標本化された顔
輪郭形状データDS7を生成する。
【0047】図8は、以上のデータ処理によって生成さ
れる各形状データDS51,DS6及びDS7がそれぞ
れ与える形状モデル間の解像度に関する相対関係を示し
たものである。
れる各形状データDS51,DS6及びDS7がそれぞ
れ与える形状モデル間の解像度に関する相対関係を示し
たものである。
【0048】外周平滑化機能F8 データ処理装置40は、顔形状データDS51及び顔輪
郭近傍形状データDS7に対して外周平滑化を行う。即
ち、顔面中、傾斜のある部分では距離画像データの変化
が大きいので、かかる傾斜面を顔面模型に顕出させる際
に切削位置がバラツキやすいという問題が生ずる。そこ
で、横方向から顔面模型を眺めても傾斜面部の切削位置
が平滑化するように、両データDS51,DS7を修正
する。
郭近傍形状データDS7に対して外周平滑化を行う。即
ち、顔面中、傾斜のある部分では距離画像データの変化
が大きいので、かかる傾斜面を顔面模型に顕出させる際
に切削位置がバラツキやすいという問題が生ずる。そこ
で、横方向から顔面模型を眺めても傾斜面部の切削位置
が平滑化するように、両データDS51,DS7を修正
する。
【0049】FW(Face Work)座標変換機能F9 最後にデータ処理装置40は、外周平滑化後の顔形状デ
ータDS81及び顔輪郭近傍形状データDS83、並び
に疑似両眼形状データDS6に対して、これらのデータ
が顔面を加工するワークの実際の大きさに応じた形状デ
ータとなるように、座標変換を施す。これにより、顔
形状モデルを与える顔形状データDS91、疑似両眼
形状モデルを高解像度で与える疑似両眼形状データDS
92、及び更なる高解像度で顔輪郭近傍形状モデルを
与える顔輪郭近傍形状データDS93が、最終的に得ら
れる。本実施の形態では、これらの形状データDS9
1,DS92及びDS93を「3次元形状データ」とも
総称する。
ータDS81及び顔輪郭近傍形状データDS83、並び
に疑似両眼形状データDS6に対して、これらのデータ
が顔面を加工するワークの実際の大きさに応じた形状デ
ータとなるように、座標変換を施す。これにより、顔
形状モデルを与える顔形状データDS91、疑似両眼
形状モデルを高解像度で与える疑似両眼形状データDS
92、及び更なる高解像度で顔輪郭近傍形状モデルを
与える顔輪郭近傍形状データDS93が、最終的に得ら
れる。本実施の形態では、これらの形状データDS9
1,DS92及びDS93を「3次元形状データ」とも
総称する。
【0050】(変形例)上述した実施の形態では、互い
に異なる3つの解像度を設定して再標本化処理を先ず行
った上で、次に不要部分のデータを除去することで疑似
両眼形状データ及び顔輪郭近傍形状データを得たが、形
状データの作成順序を逆転させても良い。即ち、先ず顔
形状モデルを与える距離画像データから不要部分を除去
して両眼部分のみ及び輪郭近傍部分のみを与えるデータ
をも作成しておき、これらの3つのデータのそれぞれに
対して上記の第1,第2及び第3の各解像度で以て再標
本化を行うことにより、顔形状データ、疑似両眼形状デ
ータ及び顔輪郭近傍形状データを生成することも可能で
ある。但し、図5を用いて既述した本実施の形態の形態
は、本変形例の場合よりも形状保存性という点では有利
である。
に異なる3つの解像度を設定して再標本化処理を先ず行
った上で、次に不要部分のデータを除去することで疑似
両眼形状データ及び顔輪郭近傍形状データを得たが、形
状データの作成順序を逆転させても良い。即ち、先ず顔
形状モデルを与える距離画像データから不要部分を除去
して両眼部分のみ及び輪郭近傍部分のみを与えるデータ
をも作成しておき、これらの3つのデータのそれぞれに
対して上記の第1,第2及び第3の各解像度で以て再標
本化を行うことにより、顔形状データ、疑似両眼形状デ
ータ及び顔輪郭近傍形状データを生成することも可能で
ある。但し、図5を用いて既述した本実施の形態の形態
は、本変形例の場合よりも形状保存性という点では有利
である。
【0051】
【発明の効果】請求項1及び2に係る発明によれば、対
象物中、注目度の高い特定の部品だけを高解像度で以て
3次元形状データを生成することができるので、データ
処理における負荷を最小限に抑えつつ3次元形状データ
の著しい改善を図ることができるという効果を奏する。
象物中、注目度の高い特定の部品だけを高解像度で以て
3次元形状データを生成することができるので、データ
処理における負荷を最小限に抑えつつ3次元形状データ
の著しい改善を図ることができるという効果を奏する。
【図1】 本発明に係る立体模型作成装置の外観図であ
る。
る。
【図2】 操作パネルの平面図である。
【図3】 立体模型作成装置の機能ブロック図である。
【図4】 装置全体の概略動作を示すフローチャートで
ある。
ある。
【図5】 3次元顔面形状処理機能のデータフローを示
す図である。
す図である。
【図6】 再標本化機能における動作原理を示す図であ
る。
る。
【図7】 再標本化機能における処理手順を示すフロー
チャートである。
チャートである。
【図8】 標本化解像度に関する各形状モデルの関係を
示す図である。
示す図である。
40 3次元形状データ処理装置、1A モデリングシ
ステム、36 2次元撮影装置、34 3次元計測装
置、DS 入力距離画像データ(3次元画像データ)、
DC 入力カラー画像データ(2次元カラー画像デー
タ)
ステム、36 2次元撮影装置、34 3次元計測装
置、DS 入力距離画像データ(3次元画像データ)、
DC 入力カラー画像データ(2次元カラー画像デー
タ)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 15/62 350K Fターム(参考) 3E048 AA10 BA01 BA06 5B046 AA05 CA04 FA20 5B050 AA09 AA10 BA04 BA09 BA12 EA30 FA01 5B057 AA01 BA02 CA01 CA08 CA12 CB01 CB13 CB20 CC01 CE20
Claims (2)
- 【請求項1】 対象物の3次元画像データを入力して当
該3次元画像データより前記対象物の3次元形状データ
を生成・出力する3次元形状データ処理装置であって、 前記対象物の部品の内で注目度の比較的高い部品を他の
部品よりも高解像度に設定して前記3次元形状データを
生成・出力することを特徴とする、3次元形状データ処
理装置。 - 【請求項2】 請求項1記載の前記3次形状データ処理
装置を用いて前記対象物の立体模型を作成することを特
徴とする、立体模型作成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10243424A JP2000076452A (ja) | 1998-08-28 | 1998-08-28 | 3次元形状データ処理装置及び立体模型作成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10243424A JP2000076452A (ja) | 1998-08-28 | 1998-08-28 | 3次元形状データ処理装置及び立体模型作成装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000076452A true JP2000076452A (ja) | 2000-03-14 |
Family
ID=17103672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10243424A Pending JP2000076452A (ja) | 1998-08-28 | 1998-08-28 | 3次元形状データ処理装置及び立体模型作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000076452A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002197443A (ja) * | 2000-12-25 | 2002-07-12 | Minolta Co Ltd | 3次元形状データの生成装置 |
JP2004533964A (ja) * | 2001-07-10 | 2004-11-11 | シーメンス アクチエンゲゼルシヤフト | 車両ドアの開放状態の光学的識別方法および装置 |
-
1998
- 1998-08-28 JP JP10243424A patent/JP2000076452A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002197443A (ja) * | 2000-12-25 | 2002-07-12 | Minolta Co Ltd | 3次元形状データの生成装置 |
US6943792B2 (en) | 2000-12-25 | 2005-09-13 | Minolta Co., Ltd. | Three-dimensional data generating device |
JP2004533964A (ja) * | 2001-07-10 | 2004-11-11 | シーメンス アクチエンゲゼルシヤフト | 車両ドアの開放状態の光学的識別方法および装置 |
US7457437B2 (en) | 2001-07-10 | 2008-11-25 | Siemens Aktiengesellschaft | Method and device for optically detecting the open state of a vehicle door |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000293687A (ja) | 3次元形状データ処理装置および3次元形状データ処理方法 | |
EP2478695B1 (en) | System and method for image processing and generating a body model | |
CN107484428B (zh) | 用于显示对象的方法 | |
CN106373178B (zh) | 生成人工图像的装置和方法 | |
US9014507B2 (en) | Automatic tracking matte system | |
EP1808810A1 (en) | 3d shape estimation system and image generation system | |
JP2016091553A (ja) | 画像から自動化されたテクスチャリングマッピングおよびアニメーション | |
JP2022133133A (ja) | 生成装置、生成方法、システム、およびプログラム | |
JP2000339498A (ja) | 3次元形状データ処理装置 | |
JP2000076454A (ja) | 3次元形状データ処理装置 | |
US7068835B1 (en) | Data processing apparatus for processing a 3-dimensional data of an object and a method therefor | |
US11562537B2 (en) | System for rapid digitization of an article | |
US20040119723A1 (en) | Apparatus manipulating two-dimensional image in a three-dimensional space | |
JP2001012922A (ja) | 3次元データ処理装置 | |
JP2000321050A (ja) | 3次元データ取得装置および3次元データ取得方法 | |
JPH08147494A (ja) | 頭髪画像生成装置 | |
JP2000076452A (ja) | 3次元形状データ処理装置及び立体模型作成装置 | |
JP3743171B2 (ja) | 3次元形状データ処理装置 | |
JP2023088061A (ja) | 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム | |
JP2001045519A (ja) | 3次元データ生成装置、3次元データ生成方法および記録媒体 | |
JPH11312228A (ja) | 3次元形状データ処理装置 | |
JPH0981737A (ja) | 三次元物体モデル生成方法 | |
JP2000348208A (ja) | 3次元データ生成装置および3次元データ生成方法 | |
JP2000076455A (ja) | 3次元形状データ処理装置 | |
JP2000357007A (ja) | 3次元データ処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |