JP2000293687A - ３次元形状データ処理装置および３次元形状データ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 ３次元形状データの生成を容易に行うことが
できる３次元形状データ処理装置を得る。 【解決手段】 カラー画像データと距離画像データとか
ら３次元形状データを生成する３次元形状データ処理装
置において、距離画像８２の背後に仮想平面６１を設定
し、仮想平面にカラー画像を投影する。そして、切断面
ＣＰ１〜ＣＰ１０により距離画像８２および仮想平面６
１を切断し、切断面上の最も端の測定点７１ａと人物矩
形領域６２の端の点６２ｃとを直線Ｌ１１で結び、直線
Ｌ１１上であって人物領域８１の端に相当する点を基準
作成点７２とする。さらに、基準作成点７２と測定点７
１ａとの間をデータ補完領域７４として追加作成点７３
を作成する。これにより、距離画像データの補完を容易
に行うことができ、距離画像データに基づく３次元形状
データの生成が容易となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、実存する物体の
模型を作成するための３次元形状データ処理装置および
３次元形状データ処理方法に関する。

【０００２】

【従来の技術】例えば、特開平９−１４５３１９号公報
に開示されるような可搬型の非接触式３次元計測装置
（いわゆる、３次元カメラ）が商品化され、ＣＧ（コン
ピュータグラフィック）システムやＣＡＤシステムへの
データ入力、身体計測、ロボットの視覚認識などに利用
されている。非接触の計測方法としては、スリット光投
影法（または、光切断法）が一般的であるが、他にもパ
ターン光投影法、ステレオ視法、干渉縞法などが知られ
ている。

【０００３】また、パーソナルコンピュータで利用可能
な３次元ＣＧソフトウェアやホビー用の小型の３次元切
削マシンが市販されている。これらを用いれば、一般家
庭でも模型や創作物を手軽に製作することができる。

【０００４】一方、利用客の顔写真シールをその場で作
成する一種の自動販売機が人気を集めている。利用客は
料金分の硬貨を投入し、モニタ画面を見ながらカメラの
前で好みのポーズをとる。そして、所定の操作を行う
と、一定数のシールが並んだシートが作成されて取出口
に排出される。大半の機種では、顔写真の形状や写し込
み模様などについて複数の選択肢が設けられている。

【０００５】

【発明が解決しようとする課題】上述の３次元計測装置
によれば、写真をとるのと同程度の手軽さで人体を含む
各種人物の形状をデータ化することができる。非接触式
であるので、人体を計測する場合であっても、計測対象
者が煩わしさを感じることはない。そこで、この３次元
計測装置を顔写真ならぬ顔面模型の作成に利用すること
が考えられる。つまり、３次元加工機と組み合わせれ
ば、人物の顔を計測してその場で適当な倍率の模型を作
成することが可能である。

【０００６】ところが、レンジファインダなどの上述し
た非接触の３次元計測装置で人物の顔を測定すると、顔
の輪郭近傍領域、黒髪や眉毛といった反射率の低い領域
や、測定光の届かない顎領域等の３次元形状データが取
得できずデータの欠落が生じる。特に、人物の周辺領域
が高い確率で欠落するため、実際よりも小さな人物領域
でしか３次元形状データを得ることができないという問
題がある。

【０００７】上記問題を解決する方法の一つとして、特
開平６−１８５９９３号公報に開示された方法がある。
この方法は、２次元画像における背景の境界付近の輝度
に基づき、輝度の小さな領域では、境界領域のみに着目
して得られた３次元形状データを採用し、輝度の大きな
領域では、レーザ照射位置検出ユニットで得られた通常
の３次元形状データを採用することにより、実際に近い
人物領域の３次元形状データを得ていた。

【０００８】しかしながら、上記方法は、通常の３次元
データの他に、境界領域のみに着目した３次元形状デー
タを得る必要があるため、境界検出ユニットと呼ばれる
特殊な装置を設けて境界領域のみに着目した３次元形状
データを作成する分、装置製作コストの増大につながる
問題を有する。

【０００９】この発明は、物体模型を作成する際に必要
とされる領域における３次元形状データの生成処理をあ
る程度の精度を維持しつつ容易に行うことができる３次
元形状データ処理装置および３次元形状データ処理方法
を得ることを目的とする。

【００１０】

【課題を解決するための手段】請求項１の発明は、物体
の２次元画像データおよび計測基準点から前記物体の計
測点までの距離情報を含む３次元の距離画像データに基
づき前記物体に関する所望の３次元形状データを出力す
る３次元形状データ処理装置であって、前記２次元画像
データと前記距離画像データとは対応づけが可能であ
り、前記３次元形状データ処理装置は、前記２次元画像
データで規定される２次元画像から予め定められた基準
に基づいて物体領域を抽出する機能と、前記距離画像デ
ータで規定される距離画像と前記物体領域とに基づきデ
ータ補完領域を認識する機能と、前記データ補完領域内
において前記距離画像データの欠落部分をデータ補完す
るデータ補完処理を行い、補完済距離画像を規定する補
完済距離画像データを生成する機能とを有する。

【００１１】請求項２の発明は、請求項１に記載の３次
元形状データ処理装置であって、前記データ補完領域を
認識する機能が、前記距離画像に対応して仮想面を設定
する機能と、前記仮想面上に前記物体領域を投影する機
能と、前記仮想面上に投影された前記物体領域および前
記距離画像に基づき、前記補完済距離画像の輪郭部とな
るべき推定輪郭部を推定し、前記推定輪郭部と前記距離
画像の周縁部との間を前記データ補完領域として認識す
る機能とを有する。

【００１２】請求項３の発明は、請求項１に記載の３次
元形状データ処理装置であって、前記データ補完領域を
認識する機能が、前記距離画像の複数の部分領域に対応
して複数の部分仮想面を設定する機能と、前記複数の部
分仮想面に前記物体領域を投影する機能と、前記複数の
部分仮想面に投影された前記物体領域および前記複数の
部分領域に基づき、前記補完済距離画像の輪郭部となる
べき推定輪郭部を推定し、前記推定輪郭部と前記距離画
像の周縁部との間を前記データ補完領域として認識する
機能とを有する。

【００１３】請求項４の発明は、請求項３に記載の３次
元形状データ処理装置であって、前記複数の部分仮想面
を設定する機能において、前記複数の部分仮想面のぞれ
ぞれを、対応する部分領域上の前記計測基準点から最も
離れた位置を基準にして設定する。

【００１４】請求項５の発明は、請求項３または４に記
載の３次元形状データ処理装置であって、前記データ補
完処理が、前記複数の部分仮想面の設定位置に応じて行
われる。

【００１５】請求項６の発明は、請求項１ないし５のい
ずれかに記載の３次元形状データ処理装置であって、前
記物体領域を抽出する機能において、予め設定された背
景基準データに基づき、前記２次元画像から予備物体領
域と背景領域とを識別した後、前記予備物体領域の周縁
部を除去して前記物体領域を抽出する。

【００１６】請求項７の発明は、物体の２次元画像デー
タおよび計測基準点から前記物体の計測点までの距離情
報を含む３次元の距離画像データに基づき前記物体に関
する所望の３次元形状データを出力する３次元形状デー
タ処理装置であって、前記２次元画像データと前記距離
画像データとは対応づけが可能であり、前記３次元形状
データ処理装置は、前記２次元画像データで規定される
２次元画像から、予め設定された基準に基づき予備物体
領域と背景領域とを識別する機能と、前記予備物体領域
の周縁部を除去して物体領域を得る機能とを有する。

【００１７】請求項８の発明は、請求項７に記載の３次
元形状データ処理装置であって、前記物体領域を得る機
能において、前記２次元画像のうち、前記物体領域以外
の領域を所定の背景色で上塗りして得られる表示用画像
を生成する。

【００１８】請求項９の発明は、物体の２次元画像デー
タおよび計測基準点から前記物体の計測点までの距離情
報を含む３次元の距離画像データに基づき前記物体に関
する所望の３次元形状データを生成する３次元形状デー
タ処理方法であって、前記２次元画像データと前記距離
画像データとは対応づけが可能であり、前記２次元画像
データで規定される２次元画像から予め定められた基準
に基づいて物体領域を抽出する工程と、前記距離画像デ
ータで規定される距離画像と前記物体領域とに基づきデ
ータ補完領域を認識する工程と、前記データ補完領域内
において前記距離画像データの欠落部分をデータ補完す
るデータ補完処理を行い、補完済距離画像を規定する補
完済距離画像データを生成する工程とを有する。

【００１９】

【発明の実施の形態】＜１． 立体模型作成装置の構成
＞図１はこの発明に係る立体模型作成装置１の外観図で
ある。

【００２０】立体模型作成装置１は、物体形状を計測
し、その計測データに基づいて素材をその場で加工する
機能を有しており、利用客の顔をかたどった小物品の自
動販売機として使用される。作成される物品は、所定形
状（例えば四角形）の板面から顔面の模型が突き出た立
体である。板面（背景部分）に特定の起伏模様を付加す
ることも可能である。このような物品に適当な金具を取
り付ければ、ペンダント、ブローチ、キーホルダなどの
アクセサリーとなる。予め素材に金具を取り付けておい
てもよい。

【００２１】ほぼ等身大の筐体１０の上半部の前面に、
利用客がポーズを確認するためのディスプレイ１６とと
もに、光学式３次元計測のための投光窓１２および受光
窓１４が設けられている。受光窓１４は２次元のカラー
撮影にも用いられる。筐体１０の下半部は上半部よりも
前方側に張り出しており、その上面が操作パネル１８と
なっている。商品の取出口２０は下半部の前面に設けら
れている。

【００２２】図２は操作パネル１８の平面図である。

【００２３】操作パネル１８には、スタートボタン１８
１、確認ボタン１８２、キャンセルボタン１８３、ジョ
イスティック１８４および硬貨の投入口１８５が設けら
れている。スタートボタン１８１はスタート操作手段で
あり、確認ボタン１８２は確認操作手段である。ジョイ
スティック１８４は模型の構図の変更指示に用いられ
る。左右に傾けるパーン操作、上下に傾けるチルト操
作、および、ノブを回転させるロール操作に呼応して３
次元形状モデルの回転処理が行われ、処理結果が逐次表
示される。また、キャンセルボタン１８３は、利用客が
表示された３次元形状モデルが気に入らないときなどに
再計測を指示するための操作手段である。ただし、キャ
ンセルボタン１８３には有効回数が設定されており、無
制限に再計測を指示することはできない。

【００２４】図３は立体模型作成装置１の機能ブロック
図である。

【００２５】立体模型作成装置１は、模型サイズの３次
元形状モデルを生成するモデリングシステム１Ａと、３
次元形状モデルを顕在化する加工システム１Ｂとから構
成されている。

【００２６】モデリングシステム１Ａは、オリジナル物
体である利用客の外観情報をデジタルデータに変換（す
なわち、データ化）する撮影システム３０を含んでい
る。撮影システム３０は、スリット光投影法で形状情報
をデータ化して、３次元の距離画像データ（いわゆる、
３次元画像データ）ＤＳを出力する３次元計測装置３
４、色情報をデータ化して２次元のカラー画像データＤ
Ｃを出力するする２次元撮影装置３６、および、コント
ローラ３８より構成されている。

【００２７】ここで、距離画像データＤＳはＸＹＺの直
交座標系における座標値として与えられるデータであ
り、３次元計測装置３４内の計測基準点から対象物の当
該計測点までの距離情報を与えるものである。距離画像
データＤＳには、対象物からの反射光の計測データが得
られたか否かを示す有効フラグの情報も含まれる。

【００２８】他方、カラー画像データＤＣは、各画素の
３原色データ、すなわち、Ｒ（レッド）、Ｇ（グリー
ン）、Ｂ（ブルー）より成るデータである。例えば、撮
影システム３０を特開平９−１４５３１９号公報に開示
されている３次元カメラを用いて構成するときには、３
次元計測と２次元撮影とを同一視点から行うことができ
るため、距離画像データＤＳとカラー画像データＤＣと
の対応付けを極めて容易に行うことができる。なお、カ
ラー画像データＤＣは４００×４００の画素データから
構成され、距離画像データＤＳは２００×２００の画素
データから構成される。

【００２９】もちろん、３次元計測と２次元撮影とをそ
れぞれ異なる視点で行った場合でも、距離画像データＤ
Ｓおよびカラー画像データＤＣにはそれぞれ視点情報が
付加されており、かつ、３次元計測結果と２次元撮影結
果との座標の相対関係は既知であるため、距離画像デー
タＤＳおよびカラー画像データＤＣとの対応付けを支障
なく行うことができる。このような距離画像データＤＳ
およびカラー画像データＤＣは、後述する３次元形状デ
ータ処理装置４０に入力される。

【００３０】なお、３次元計測法として、スリット光投
影法に代えて他の手法を用いてもよい。

【００３１】３次元形状データ処理装置４０は図示しな
い画像処理回路を備えており、本発明に特有のデータ修
正を含む各種のデータ処理を行い、本発明の中核部分で
ある。３次元形状データ処理装置４０のコントローラ４
２は、立体模型作成装置１の全体的な制御をも担い、撮
影システム３０のコントローラ３８および加工システム
１Ｂのコントローラ１７６に適切な指示を与える。この
コントローラ４２には、ディスプレイ１６および操作入
力システム４４が接続されている。操作入力システム４
４は、上述の操作パネル１８と料金受領機構とからな
る。

【００３２】一方、加工システム１Ｂは、樹脂ブロック
などの材料を切削する加工装置１７２、材料の加工位置
への供給と加工品の取出口２０への搬送を行う材料供給
装置１７４、コントローラ１７６、および、取出口セン
サ１７８を備えている。取出口センサ１７８の検出信号
はコントローラ４２に入力される。

【００３３】なお、撮影システム３０および加工システ
ム１Ｂの制御をコントローラ４２に受け持たせ、コント
ローラ３８およびコントローラ１７６を省略した回路構
成を採用してもよい。

【００３４】＜２． 立体模型作成装置の概略動作＞図
４は立体模型作成装置１の概略の動作を示すフローチャ
ートである。以下、同図を参照してその概略動作の処理
手順を説明する。

【００３５】電源が投入された後、利用客による操作を
待つ待機期間において、２次元撮影と撮影結果の表示と
を繰り返す（ステップＳＴ１０，ＳＴ１２，ＳＴ１
４）。また、定期的に案内メッセージを表示する。料金
が投入されてスタートボタン１８１が押されると、改め
て２次元撮影を行うとともに３次元計測を行う（ステッ
プＳＴ１６，ＳＴ１８）。所定のデータ処理を行い（ス
テップＳＴ２０）、得られた３次元形状モデルを表示す
る（ステップＳＴ２２）。このとき、影を付すといった
公知のグラフィック手法を適用して見栄えを高める。そ
して、指示操作を待つ。ただし、待ち時間は有限であ
り、時限を過ぎれば確認操作が行われたものとみなされ
る。

【００３６】ジョイスティック１８４が操作されると、
上述のように３次元形状モデルを操作に応じて回転させ
て表示する（ステップＳＴ２４，ＳＴ３８）。キャンセ
ルボタン１８３が押されると、待機期間の動作に戻る
（ステップＳＴ４０，ＳＴ１０）。ただし、この場合、
利用客が料金を改めて投入する必要はなく、スタートボ
タン１８１を押せば、再計測が行われる。

【００３７】確認ボタン１８２が押されると（ステップ
ＳＴ２６）、３次元形状モデルに基づいて加工条件デー
タベースを参照して加工制御用のデータを生成し（ステ
ップＳＴ２８）。材料の加工を行う（ステップＳＴ３
０）。加工が終わると、商品を排出し（ステップＳＴ３
２）、取出口センサ１７８によって商品が取り出された
のを確認して待機動作に戻る（ステップＳＴ３４，ＳＴ
１０）。

【００３８】＜３． 顔面形状処理機能＞図５は、図４
のステップＳＴ２０のデータ処理をデータの流れを示す
データフロー図である。図５において、ハッチング付の
太矢印線はカラー画像データＤＣに基づくデータの流れ
を示しており、実線矢印は距離画像データＤＳに基づく
データの流れを示しており、破線矢印は２値画像データ
の流れを示している。

【００３９】また、各機能Ｆ１，Ｆ２，Ｆ４〜Ｆ９，Ｓ
Ｆ１およびＳＦ２は加工済の３次元形状データを生成す
るために、図３で示した３次元形状データ処理装置４０
で行われるデータ処理機能を示している。特に、機能Ｓ
Ｆ１およびＳＦ２は、加工済の３次元形状データ中、顔
面の両眼形状モデルのデータを生成するための機能に該
当している。以下、各機能ＳＦ１，Ｆ１，Ｆ２，ＳＦ
２，Ｆ４〜Ｆ９をこの順で説明することにするが、本発
明の中核をなす機能は機能Ｆ２である。

【００４０】＜3.1 カラー平滑化機能ＳＦ１＞カラー
平滑化機能ＳＦ１は、図３の２次元撮影装置３６が出力
する未加工のカラー画像データＤＣに対してノイズを除
去してノイズ除去済みのカラー画像データＤＣ１を得
る。

【００４１】＜3.2 距離平滑化機能Ｆ１＞距離平滑化
機能Ｆ１は、図３の３次元計測装置３４が出力する未加
工の３次元形状データである距離画像データＤＳに対し
てノイズを除去してノイズ除去済みの距離画像データＤ
Ｓ１を得る。

【００４２】＜3.3 距離画像データ補完機能Ｆ２＞距
離画像データ補完機能Ｆ２は、距離平滑化機能Ｆ１によ
ってノイズ除去された距離画像データＤＳ１とカラー平
滑化機能ＳＦ１によってノイズ除去されたカラー画像デ
ータＤＣ１とに基づき、データ欠落画素部分を補完した
距離画像データＤＳ３を生成する。なお、距離画像デー
タ補完機能Ｆ２については後に詳述する。

【００４３】＜3.4 両眼領域推定機能ＳＦ２＞両眼領
域推定機能ＳＦ２は、カラー平滑化機能ＳＦ１によって
ノイズ除去されたカラー画像データＤＣ１から、カラー
画像データＤＣ１における両眼領域を規定した両眼領域
２値画像データＤＢ２を生成する。また、カラー画像デ
ータＤＣ１がそのままカラー画像データＤＣ２して出力
される。

【００４４】＜3.5 ＣＦ（Ｃamera Ｆace）座標変換機
能Ｆ４＞ＣＦ座標変換機能Ｆ４は、距離画像データ補完
機能Ｆ２によって欠落データが補完された距離画像デー
タＤＳ３および両眼領域推定機能ＳＦ２によって推定さ
れた両眼領域２値画像データＤＢ２とに基づき、眼の領
域を基準として決定される顔形状の向きが、丁度カメラ
に対して真正面に位置する状態になるように、距離画像
データＤＳ３に対する座標変換を行って距離画像データ
ＤＳ４を生成する。

【００４５】すなわち、カメラ中心の座標系で表現され
ていた距離画像データＤＳ３が顔中心の座標系で表現さ
れる距離画像データＤＳ４に変換される。なお、カラー
画像データＤＣ２はそのままカラー画像データＤＣ４と
して出力される。

【００４６】＜3.6 再標本化機能Ｆ５＞再標本化機能
Ｆ５は、ＣＦ座標変換機能Ｆ４でＣＦ座標変換された距
離画像データＤＳ４に対して再標本化あるいは均等化と
いうデータの座標変換処理を行う。３次元計測装置３４
が透視投影変換により得た距離画像データＤＳを元デー
タとする距離画像データＤＳ４は不規則に画素が並んだ
データとなっている。そこで、距離画像データＤＳ４を
新たな視点から見たときに均等に画素が並んでいる距離
画像データに投影変換するのが再標本化処理である。

【００４７】再標本化機能Ｆ５の再標本化処理によって
距離画像データＤＳ４は３つの部分距離画像データに変
換される。すなわち、人の顔形状モデルを与えるための
第１の形状データＤＳ５１、疑似両眼形状モデルを生成
するための第２の形状データＤＳ５２、および、顔輪郭
近傍形状モデルを生成するための第３の形状データＤＳ
５３に変換される。

【００４８】また、メダルなどの厚板上の材料にレリー
フとして人物像を形成する場合には、この再標本化処理
以降のいずれかの段階で距離画像データの撮影方向（す
なわち、立体模型作成装置１に向かう方向）に対する圧
縮処理が行われる。これにより、レリーフ状の３次元形
状モデルを規定する距離画像データとなる。

【００４９】＜3.7 疑似両眼形状設定機能Ｆ６＞疑似
両眼形状設定機能Ｆ６は、ＣＦ座標変換機能Ｆ４をスル
ーしたカラー画像データＤＣ４および両眼領域推定機能
ＳＦ２で生成された両眼領域２値画像データＤＢ２と、
再標本化機能Ｆ５で再標本化された疑似両眼形状モデル
の第２の形状データＤＳ５２とに基づき、第２の形状デ
ータＤＳ５２における両眼対応領域の奥行き（すなわ
ち、加工時の切削深さ）を与えるように、第２の形状デ
ータＤＳ５２を加工して疑似両眼形状データＤＳ６を生
成する。

【００５０】＜3.8 顔輪郭形状設定機能Ｆ７＞顔輪郭
形状設定機能Ｆ７は、再標本化機能Ｆ５で再標本化され
た人の顔形状モデルを与えるための第１の形状データＤ
Ｓ５１、および、顔輪郭近傍形状モデルを生成するため
の第３の形状データＤＳ５３に基づき、第３の形状デー
タＤＳ５３が与える形状モデルから、第１の形状データ
ＤＳ５１が与える形状モデルと重複した部分のデータ削
除（すなわち、差分処理）を行い、顔輪郭形状データＤ
Ｓ７を生成する。

【００５１】＜3.9 外周平滑化機能Ｆ８＞外周平滑化
機能Ｆ８は、顔輪郭形状設定機能Ｆ７で生成された顔輪
郭形状データＤＳ７、および、再標本化機能Ｆ５で再標
本化された第１の形状データＤＳ５１に対して外周平滑
化を行う。すなわち、顔面中、傾斜のある部分では距離
画像データの変化が大きいため、かかる傾斜面を顔面模
型に顕出させる際に切削位置がバラツキやすいという問
題が生じる。そこで、横方向から顔面模型を眺めても傾
斜面の切削位置が平滑化するように、両データＤＳ５
１，ＤＳ７をそれぞれ修正して第１の形状データＤＳ８
１および顔輪郭形状データＤＳ８３とする。

【００５２】＜3.10 ＦＷ（Ｆace Ｗork）座標変換機
能Ｆ９＞ＦＷ座標変換機能Ｆ９は、外周平滑化機能Ｆ８
で外周平滑化処理された第１の形状データＤＳ８１、顔
輪郭形状データＤＳ８３、および、疑似両眼形状設定機
能Ｆ６で生成された疑似両眼形状データＤＳ６に対し
て、これらのデータが顔面を加工するワークの大きさに
応じた形状データとなるように座標変換を施す。

【００５３】これにより、顔形状モデルを与える顔形状
データＤＳ９１、疑似両眼形状モデルを与える疑似両眼
形状データＤＳ９２、および、顔輪郭近傍形状モデルを
与える顔輪郭近傍形状データＤＳ９３が最終的に得られ
る。これらの形状データＤＳ９１，ＤＳ９２，ＤＳ９３
が加工済の３次元形状データとなる。

【００５４】＜４． 距離画像データ補完機能Ｆ２の詳
細＞ ＜4.1 機能の概略＞図６は図５の距離画像データ補完
機能Ｆ２の概略を示す機能ブロック図である。なお、機
能ブロック図に示す各機能は３次元形状データ処理装置
４０の動作ステップに相当し、機能ブロック図における
データの流れは各機能が実行される時系列順序に対応す
る。他の機能ブロック図においても同様である。

【００５５】図６に示すように、まず、機能Ｆ１１によ
りカラー画像データＤ１１（図５中のカラー画像データ
ＤＣ１に相当）から人物領域の抽出を行い、最終的に背
景２値画像データＤＢ１１および人物２値画像データＤ
Ｂ１２を得る。

【００５６】そして、機能Ｆ１２により、機能Ｆ１１で
得た背景２値画像データＤＢ１１、カラー画像データＤ
１１および距離画像データＤ１４（図５中の距離画像デ
ータＤＳ１に相当）に基づき、プレビューカラー画像デ
ータＤ１７を得るプレビュー画像の作成を行う。

【００５７】また、機能Ｆ１２と並行して機能Ｆ１３に
より、機能Ｆ１１で得た人物２値画像データＤＢ１２を
利用して、距離画像データＤ１４を加工して最終的にデ
ータ補完済み距離画像データＤ１８（図５中の距離画像
データＤＳ３に相当）を作成する補完データ作成を行
う。

【００５８】＜4.2 人物領域の抽出機能Ｆ１１の詳細
＞図７は図６の人物領域の抽出機能Ｆ１１を構成する各
機能をデータフローとともに示した機能ブロック図であ
る。

【００５９】同図を参照して、機能Ｆ２１は、カラー画
像データＤ１１（図５中のカラー画像データＤＣ１に相
当）、背景幕の色の統計データＤ１２およびマハラノビ
ス距離データＤ１３を受ける。なお、背景幕の色の統計
データＤ１２は背景幕の色の平均値および共分散行列の
逆行列などを含むデータであり、マハラノビス距離デー
タＤ１３は背景幕の領域とする色分布空間（すなわち、
ＲＧＢ空間）において、画素を背景幕領域と判断するた
めの色の範囲を示すデータである。背景幕の色の統計デ
ータＤ１２およびマハラノビス距離データＤ１３は人物
領域設定処理用のファイルのデータとして予め設定され
ている。

【００６０】機能Ｆ２１は、背景幕の色の統計データＤ
１２およびマハラノビス距離データＤ１３を参照して、
カラー画像データＤ１１から読み込んだ各画素（ピクセ
ル）のＲＧＢ値が背景幕の色のマハラノビス距離で規定
された範囲内であるか否かを判定して、範囲内にある画
素（正確には、画素の画素値）を“１”（白）に設定
し、それ以外の画素を“０”（黒）に設定した２値画像
を作成する。

【００６１】次に、機能Ｆ２２は、機能Ｆ２１より得た
２値画像の画素の白の収縮・膨張処理を行い、２値画像
の白のノイズ成分を除去する。

【００６２】そして、機能Ｆ２３は、機能Ｆ２２より得
たノイズ除去済み２値画像から、黒の画素で分離された
白の画素の固まりを構成する画素群であるクラスタのラ
ベリングを行い、クラスタ分類を行った２値画像データ
ＤＢ３１を得る。

【００６３】図８は２値画像データＤＢ３１の一例を示
す説明図である。同図に示すように、ラベリングにより
２つの背景幕クラスタＣＬ１，ＣＬ２に分類される。そ
して、背景幕クラスタＣＬ１，ＣＬ２間の黒領域が予備
人物領域となる。なお、画面の左上隅および右上隅には
それぞれ背景幕判定用領域ＢＡ１，ＢＡ２が仮想的に設
定されている。以降の機能Ｆ２４〜機能Ｆ２８の説明
は、図８で示した２値画像データＤＢ３１の加工例を示
しながら行う。

【００６４】機能Ｆ２４で、２値画像データＤＢ３１に
おける背景幕クラスタのうち、左上隅の背景幕判定用領
域にかかる背景幕クラスタを選択し、選択した背景幕ク
ラスタ以外の領域（正確には、領域中の画素の画素値）
をすべて“０”にした２値画像データＤＢ３２を作成す
る。これにより、２値画像データＤＢ３１は、図９に示
すように、背景幕判定用領域ＢＡ１にかかる背景幕クラ
スタＣＬ１以外の領域をすべて“０”にした２値画像デ
ータＤＢ３２に加工される。

【００６５】機能Ｆ２４に並行して行う機能Ｆ２５で、
２値画像データＤＢ３１における背景幕クラスタのう
ち、右上隅の背景幕判定用領域にかかる背景幕クラスタ
を選択し、選択した背景幕クラスタ以外の領域をすべて
“０”にした２値画像データＤＢ３３を作成する。これ
により、２値画像データＤＢ３１は、図１０に示すよう
に、背景幕判定用領域ＢＡ２にかかる背景幕クラスタＣ
Ｌ２以外の領域をすべて“０”にした２値画像データＤ
Ｂ３３に加工される。

【００６６】そして、機能Ｆ２６で、２値画像データＤ
Ｂ３２と２値画像データＤＢ３３との対応画素のＯＲ演
算処理を行って２値画像データＤＢ３４を得る。これに
より、２値画像データＤＢ３２，ＤＢ３３は、図１１に
示す２値画像データＤＢ３４に加工される。その結果、
背景幕クラスタＣＬ１およびＣＬ２以外の領域は強制的
に“０”（黒）に加工されるため、２値画像データＤＢ
３１の段階で、背景幕クラスタ以外の領域、すなわち、
予備人物領域に白成分であるノイズ成分が存在していて
も、２値画像データＤＢ３４の段階では確実にノイズ成
分が除去される。

【００６７】次に、機能Ｆ２７で、白成分について画素
の膨張処理を行って、白成分が背景領域を示す背景２値
画像データＤＢ１１を得る。機能Ｆ２７により図１２に
示すように、２値画像データＤＢ３４の背景領域と人物
領域との境界線がＢ１１からＢ１２に移動され、図１３
に示すように、背景幕クラスタＣＬ１およびＣＬ２から
膨張した背景幕クラスタＣＬ１１およびＣＬ１２を背景
領域とした背景２値画像データＤＢ１１に加工される。
言い換えれば、図１２の黒領域である予備人物領域の周
縁部を画素単位に除去することにより、図１３の黒領域
である人物領域を得ていることになる。

【００６８】その後、機能Ｆ２８で、背景２値画像デー
タＤＢ１１の各画素の“１”と“０”とを反転した後、
新たにクラスタをラベリングし、図１４に示すように画
面中央の人物判定用領域ＭＡにかかる人物クラスタ以外
の領域をすべて“０”にすることにより、人物２値画像
データＤＢ１２を得る。これにより、背景２値画像デー
タＤＢ１１は人物２値画像データＤＢ１２に加工され
る。その結果、人物クラスタＣＬ３以外の領域は強制的
に“０”（黒）に加工されるため、背景２値画像データ
ＤＢ１１の段階で、人物クラスタ以外の領域、すなわ
ち、背景領域にノイズ成分（背景２値画像データＤＢ１
１の段階では黒成分）が存在していても、人物２値画像
データＤＢ１２の段階では確実にノイズ成分が除去され
る。

【００６９】また、機能Ｆ２７で、背景領域の画素の膨
張処理を行って予備人物領域の周縁部を画素単位に除去
して人物領域を得ることにより、カラー画像データＤ１
１で規定されたカラー画像における人物の輪郭付近に背
景色が混在してにじみが生じる現象を確実に除去するこ
とができる。

【００７０】機能Ｆ２７による膨張処理を行わない場
合、図１５に示すように、人物２値画像データＤＢ１２
で決定する人物領域５０は本来の人物領域５１と輪郭部
に背景色が混ざったにじみ領域５２とからなり、人物２
値画像データＤＢ１２より特定される人物のカラー画像
は不鮮明な画像となるが、機能Ｆ２７による膨張処理を
行う場合、図１６に示すように、人物領域５０はほぼ本
来の人物領域６０のみとなる可能性が高く、人物２値画
像データＤＢ１２より特定される人物のカラー画像は背
景色の混ざらない鮮明な画像となる。すなわち、人物２
値画像データＤＢ１２はほぼ正確に人物の領域を特定し
たデータとなる。

【００７１】参考までに、膨張処理を行わなかった場合
および行った場合それぞれの実際の画像例を図１７およ
び図１８に示す。これらの図を比較してわかるように、
図１８の方が人物領域輪郭付近（特に肩の辺り）のにじ
みが消えていることがわかる。

【００７２】なお、図８では背景幕判定用領域ＢＡ１，
ＢＡ２をそれぞれ画像の左上隅および右上隅に設定して
いるが、背景幕判定用領域は背景に相当するクラスタを
的確に抽出することができるのであるならばどのように
設定されてもよい。例えば、図１９に示すように、画像
の右隅および左隅において上下に伸びる領域をそれぞれ
背景幕判定用領域ＢＡ１，ＢＡ２としてもよい。これに
より、仮に左上隅や右上隅が背景以外の物体により覆わ
れても背景領域を的確に抽出することができる。

【００７３】＜4.3 プレビュー画像の作成機能Ｆ１２
の詳細＞図２０はプレビュー画像の作成機能Ｆ１２を構
成する各機能をデータフローとともに示した機能ブロッ
ク図である。

【００７４】機能Ｆ３１は、距離画像データＤ１４（図
５中の距離画像データＤＳ１に相当）を受け、距離画像
データＤ１４で規定された距離画像の存在する画素を
“１”（白）とした２次元２値画像データを作成する。

【００７５】機能Ｆ３２は、機能Ｆ３１で作成された２
値画像データから、白の固まりであるクラスタに空いた
黒領域である穴領域を示す穴領域２値画像データを作成
する。

【００７６】機能Ｆ３３は、機能Ｆ３２で作成された穴
領域２値画像データおよび外部より得た穴面積下限値デ
ータＤ１５を受け、各穴領域の面積を計算し、穴領域２
値画像データから得られる穴領域のうち、穴面積下限値
データＤ１５で規定された下限値以下の穴領域を削除し
て（すなわち、白にして）、下限値を上回る穴領域のみ
を残した穴領域２値画像データＤＢ１３を作成する。

【００７７】一方、機能Ｆ３４は、機能Ｆ３１〜Ｆ３３
に並行して、カラー画像データＤ１１（図５中のカラー
画像データＤＣ１に相当）、背景２値画像データＤＢ１
１および背景色データＤ１６を外部より受け、カラー画
像データＤ１１で規定されたカラー画像において、背景
２値画像データＤＢ１１で規定された画像の背景領域に
対応する領域に対し、背景色データＤ１６で規定された
背景色で上塗りしてカラー画像データＤ１１を加工す
る。

【００７８】機能Ｆ３５は、機能Ｆ３３で作成された穴
領域２値画像データＤＢ１３、機能Ｆ３４で加工された
カラー画像データＤ１１、および、外部からの背景色デ
ータＤ１６を受け、機能Ｆ３４により加工されたカラー
画像データＤ１１で規定されたカラー画像において、穴
領域２値画像データＤＢ１３で規定された画像の穴領域
に対応する領域に対し、背景色データＤ１６で規定され
た背景色で上塗りしてカラー画像データＤ１１をさらに
加工することにより、プレビューカラー画像データＤ１
７を作成する。

【００７９】図２１および図２２は機能Ｆ３４および機
能Ｆ３５の処理を説明するための図である。図２１にお
いて、カラー画像データＤ１１で規定される画像（同図
(a)）の領域６３が、背景２値画像データＤＢ１１で規
定された画像（同図(b)）の背景領域５３に対応する領
域となり、領域６４が穴領域２値画像データＤＢ１３で
規定された画像（同図(c)）の穴領域５４に対応する領
域となる。

【００８０】したがって、図２２に示すように、領域６
３および領域６４が背景色データＤ１６で規定された背
景色で上塗りされたカラー画像データが、プレビューカ
ラー画像データＤ１７となる。

【００８１】なお、領域６４はエラー領域であり、エラ
ー領域に色を上塗りするのは、プレビューカラー画像デ
ータＤ１７に基づくプレビュー画像表示の際に、ユーザ
にエラー領域の存在を確実に認知させるためである。し
たがって、領域６４に塗る色はプレビューカラー画像デ
ータＤ１７で規定された画像表示の際、目立たつ色であ
れば背景色以外の色でもよい。例えば、髪の毛や目玉の
色に近い色等で領域６４を塗ることも考えられる。

【００８２】また、穴領域を分類して色分けしてもよ
い。本実施の形態のように、スリット光の反射光を受光
することにより３次元測定を行う場合、目や眉のように
黒い部分ではスリット光の反射光が得られないため測定
不能であり、穴領域となる。また、通常、この測定装置
では、所定の距離範囲外については測定できない。鼻の
先など突き出た部分はその距離範囲外になることがあ
り、この場合、鼻の先が穴領域となる。前者の穴領域は
目立たない色で表示し、後者の穴領域は目立つ色で表示
する。このように構成することにより、以下のような効
果がある。

【００８３】前者の穴領域は、参照光の物体での反射光
を受光する測定の原理上、対策不能である。したがっ
て、この領域をユーザーに知らせてもあまり意味がな
い。一方、後者の穴領域に対しては、ユーザーの位置を
変更（すなわち、後退）させることにより測定可能領域
に入り、測定可能となる。したがって、目立つ色で表示
してユーザーに知らせるのである。また、前者の穴領域
は目や眉の部分のように平坦な領域があるので、補間に
より修正してもあまり目立たない。したがって、補間に
よる回復が可能であり、ユーザーに知らせる必要はな
い。一方、後者の穴領域は、鼻の先部分のように傾斜の
変化が大きく補間により修正を行うと違和感のある形状
となってしまう。したがって、ユーザーに知らせる必要
があるのである。

【００８４】＜4.4 補完データ作成機能Ｆ１３の詳細
＞図２３は補完データ作成機能Ｆ１３を構成する各機能
をデータフローとともに示した機能ブロック図である。

【００８５】同図を参照して、機能Ｆ４１は、距離画像
が形成される３次元空間上における仮想平面を作成す
る。仮想平面として、例えば、図２４に示すように、距
離画像データＤ１４（図５中の距離画像データＤＳ１に
相当）のＺ座標が最小（すなわち、人物の最後方）の画
素に接すると推定されるＸＹ平面となる仮想平面６１や
Ｚ座標が最小の画素からＺ方向に所定のオフセット距離
だけ離された仮想平面６１が考えられる。

【００８６】機能Ｆ４２は、機能Ｆ４１で作成された仮
想平面６１上に人物２値画像データＤＢ１２で規定され
る人物領域を投影する。

【００８７】機能Ｆ４３は、機能Ｆ４２で仮想平面上に
投影された人物領域を囲む領域を算出して人物領域矩形
を作成する。例えば、図２５(a)に示すように、仮想平
面６１上に人物領域８１が投影された場合に、人物領域
矩形６２が作成される。

【００８８】機能Ｆ４４は、距離画像データＤ１４で規
定される距離画像および仮想平面６１上に投影された人
物領域を切断するための、ＸＺ平面で構成される複数の
切断面を作成する。例えば、図２５(a) に示すように、
切断面ＣＰ１〜ＣＰ１０のうち、いずれかの切断面が作
成される。

【００８９】機能Ｆ４５は、距離画像データＤ１４を受
け、距離画像データＤ１４で規定される距離画像と仮想
平面上に投影された人物領域とを、機能Ｆ４４で作成し
た切断面で切断して補完用の新たなデータを作成する。

【００９０】以下、機能Ｆ４５で行う補完用の新たなデ
ータ作成処理の詳細を説明する。なお、距離画像データ
Ｄ１４には従来技術の問題点として述べたように、その
周辺領域に欠落データが生じ、距離画像データＤ１４で
規定される距離画像は人物領域より狭い領域でしか存在
しないため、図２５(a)に示すように、ＸＹ平面におい
て距離画像８２は人物領域８１内に収まる。なお、図２
５(a)では距離画像については顔の部分のみを示してお
り、他の部分については省略している（後述の図２７，
図２９においても同様）。

【００９１】例えば、図２５(b)に示すように、切断面
ＣＰ５で切断する場合、切断面ＣＰ５上の距離画像８２
の画素を測定点７１として抽出する。そして、最も外側
の測定点７１である測定点７１ａと切断面ＣＰ５上の人
物領域矩形６２の点６２ｃとを結ぶ線を仮想延長線Ｌ１
１として設定する。

【００９２】次に、最も外側にある人物領域８１の点８
１ｂ（人物領域８１の周縁部の点）からＺ方向に降ろし
た補助線Ｌ２１と仮想延長線Ｌ１１との交点を基準作成
点７２とする。この基準作成点７２が補完後の距離画像
における輪郭部と判断される推定輪郭部を形成する点と
なり、基準作成点７２と最外の測定点７１ａとの間が補
完すべきデータ補完領域７４となる。

【００９３】そして、基準作成点７２と最外の測定点７
１ａとの間であるデータ補完領域７４を直線補間してデ
ータ補完処理を行い追加作成点７３を作成する。

【００９４】このように、機能Ｆ４５は、切断面上に当
初存在した測定点７１に、新たに作成した基準作成点７
２（すなわち、補完後の距離画像の輪郭を推定する
点）、および、基準作成点７２に基づきさらに作成され
る追加作成点７３を追加することにより、距離画像デー
タＤ１４の欠落部分のデータ補完を行っている。

【００９５】なお、最も外側の測定点７１ａと最も外側
にある人物領域８１の点８１ｂとの間をデータ補完領域
として作成点を追加することも可能である。この場合、
補完された距離画像データＤ１４で規定される距離画像
は、仮想平面６１に密着するような３次元形状となる。

【００９６】以上のように、図２３に示す機能Ｆ４５は
機能Ｆ４１〜Ｆ４４とともにデータ補完領域７４を認識
する機能とデータ補完領域７４に対してデータ補完処理
を行う機能とを有する。

【００９７】機能Ｆ４６は、想定した全ての切断面につ
いて機能Ｆ４５のデータ補完処理が終了したか否かを検
証し、終了（ＹＥＳ）している場合は以後の処理を機能
Ｆ４７に移し、終了していない場合（ＮＯ）は機能Ｆ４
４に新たな切断面を生成させ、新たな切断面上のデータ
補完を機能Ｆ４５に行わせる。

【００９８】機能Ｆ４７は、データ補完された距離画像
データＤ１４のスムージング処理を行い、距離画像の段
差を取り除く。

【００９９】機能Ｆ４８は、機能Ｆ４７でスムージング
処理が施された距離画像データＤ１４で規定される距離
画像の頭髪領域（例えば、図２５(a)において距離画像
８２の上方（ｙ方向）で人物領域８１内に存在し、かつ
人物領域８１に対応するカラー画像が黒領域となる領
域）に毛髪ラインを付加して、最終的にデータ補完済み
距離画像データＤ１８（図５中の距離画像データＤＳ３
に相当）を生成する。なお、毛髪ラインの付加方法とし
て、例えば、特願平９−３５８８６１号に開示された方
法がある。

【０１００】以上のように、この３次元形状データ処理
装置４０における補完データ作成機能は、カラー画像デ
ータＤ１１から人物領域を抽出した人物２値画像データ
ＤＢ１２を利用して、補完後の距離画像の輪郭部となる
推定輪郭部を推定し、推定輪郭部と距離画像の周縁部と
の間のデータ補完領域（一つの切断面においては一線
分）上でデータ補完を行うことにより、曲面や曲線の式
を当てはめることなく比較的手間のかからない手法（直
線補間等）で距離画像データＤ１４を補完してデータ補
完済み距離画像データＤ１８を得ている。

【０１０１】したがって、このような簡単なデータ補完
処理を高速に実行することにより、リアルタイムに近い
レスポンスが要求されるベンディングマシンである立体
模型作成装置１上においても支障なく使用することがで
きる。なお、要求されるレスポンスに余裕がある場合
は、基準作成点７２を作成後に曲面あるいは曲線補間し
て追加作成点７３を作成してもよい。

【０１０２】また、距離画像データＤ１４をＺ方向に圧
縮してレリーフ状の３次元形状モデルを作成する場合に
は、Ｚ方向の形状誤差は余り問題とはならない。したが
って、このような場合には上述の直線補間により距離画
像データＤ１４を補完する方法は高速かつ適切に３次元
形状モデルを作成することができる好ましい手法である
といえる。

【０１０３】加えて、３次元形状データ処理装置４０に
入力される未加工の３次元形状データとしては、１種類
の距離画像データＤ１４（図３および図５中の距離画像
データＤＳ１に相当）しか用いないため、装置製作コス
トが増大することもない。

【０１０４】また、人物２値画像データＤＢ１２は、背
景領域を膨張させ予備人物領域の周縁部を画素単位に除
去する絞り込みを行った後に人物領域を生成したため、
人物領域に対応するカラー画像に背景色が混ざる可能性
を抑えて、距離画像データＤ１４の加工用の人物２値画
像データＤＢ１２で規定する人物領域の精度を上げるこ
とにより、上記補完データ作成処理のデータ補完精度の
向上を図っている。

【０１０５】＜５． 補完データ作成機能Ｆ１３の他の
例１＞図２４および図２５では、仮想平面６１を距離画
像の後方（Ｚ方向の値が距離画像の最小値より小さいか
または同じ）に設定するようにしているが、仮想平面６
１は必ずしも距離画像の後方に設定する必要はなく、距
離画像の前方に設けてもよい。この場合、機能Ｆ４５の
データ補完処理として仮想平面のＺ方向の位置に依存し
ない手法が考えられる。

【０１０６】例えば、図２６に示すように、距離画像８
２の前方に仮想平面６１が設定されて所定の切断面で切
断する場合、切断面上の距離画像８２の画素を測定点７
１として抽出する。そして、抽出した測定点７１に基づ
き最も外側の測定点７１ａから延長された仮想延長線Ｌ
１２を設定する。

【０１０７】そして、仮想平面６１上で最も外側にある
人物領域８１の点８１ｂからＺ方向に降ろした補助線Ｌ
２２と仮想延長線Ｌ１２との交点を基準作成点７２（す
なわち、補完後の距離画像の輪郭を推定する点）とす
る。そして、基準作成点７２と最外の測定点７１ａとの
間をデータ補完領域７４として直線補間して追加作成点
７３を作成する。

【０１０８】このように、仮想平面６１を距離画像８２
の前方に設定した場合であっても、機能Ｆ４５は、切断
面上に当初存在した測定点７１に、新たに作成した基準
作成点７２および追加作成点７３を追加することによ
り、距離画像データＤ１４のデータ補完を行うことがで
きる。

【０１０９】図２６に示す手法の場合、仮想平面６１は
基準作成点７２を決定するために便宜上設けられるもの
であり、基準作成点７２の決定後において仮想平面６１
の位置は距離画像データＤ１４の補完結果には影響を与
えるものではない。

【０１１０】また、以上の説明は仮想平面６１の存在を
前提としているが、仮想平面６１は補完領域を決定する
過程を理解容易とするために便宜上設けられるものであ
り、平面として明確に存在するものである必要はない。
例えば、人物２値画像データＤＢ１２中の注目すべき位
置のＸＹ座標と距離画像データＤ１４中の注目すべき位
置のＸＹ座標とを用いて補完領域を特定することはもち
ろん可能であり、この場合には仮想平面６１という概念
は不要となる。

【０１１１】このように、仮想平面はデータ補完領域の
決定およびデータ補完処理の上で便宜上設けられるもの
であり、仮想平面という概念を用いない場合であって
も、データ補完領域の決定およびデータ補完処理を行う
ことは可能である。

【０１１２】＜６． 補完データ作成機能Ｆ１３の他の
例２＞図２４では、補完データ作成の際に１つの仮想平
面６１を設定するようにしているが、仮想平面６１は１
つに限定されるものではなく、複数設定されてもよい。
図２７(a)および(b)は補完データ作成の際に、複数の部
分仮想平面６１１を設定する様子の一例を示す図であ
り、図２８は複数の部分仮想平面６１１が設定される場
合の補完データ作成機能Ｆ１３（図６参照）を構成する
機能を示す機能ブロック図である。

【０１１３】図２８に示す機能Ｆ５１は、補完データ作
成の際に最初に実行される機能であり、距離画像が形成
される３次元空間上における部分仮想平面を作成する。
例えば、図２７(a)に示すように、ＸＹ平面をＹ方向に
高さｈごとに分割した部分仮想平面６１１を想定し、そ
れぞれの部分仮想平面６１１を距離画像データＤ１４の
対応する部分領域上のＺ座標が最小の画素に接するＺ方
向の位置、あるいは、この位置からＺ方向に所定のオフ
セット距離だけ離された位置に配置される。すなわち、
各部分仮想平面６１１は距離画像データＤ１４の対応す
る部分領域上の計測基準点から最も離れた位置を基準に
して設定される。なお、図２７(b)の符号８１および符
号８２は、図２５における人物領域８１および距離画像
８２に相当する領域を示している。

【０１１４】また、図２７(a)および(b)に例示する最上
段の部分仮想平面６１１のように、距離画像データＤ１
４に対応する部分領域がない場合には、隣接する部分仮
想平面６１１のＺ方向の位置を用いて部分仮想平面６１
１の設定が行われる。

【０１１５】機能Ｆ５１により１つの部分仮想平面６１
１が作成されると、図２３に示した機能Ｆ４２〜Ｆ４６
と同様の機能Ｆ５２〜Ｆ５６により、この部分仮想平面
６１１に関する補完データの作成が行われる。

【０１１６】すなわち、機能Ｆ５２により機能Ｆ５１で
作成された部分仮想平面６１１上に人物２値画像データ
ＤＢ１２で規定される人物領域が投影され、機能Ｆ５３
により投影された人物領域を囲む領域を算出して人物領
域矩形を作成する。例えば、図２９(a)に示すように、
部分仮想平面６１１上に人物領域８１１が投影された場
合に、人物領域矩形６２１が作成される。そして、機能
Ｆ５４により、図２９(a)に示すようにＸＺ平面で構成
される複数の切断面ＣＰ１０１〜ＣＰ１０４を作成す
る。

【０１１７】さらに、機能Ｆ５５により距離画像データ
Ｄ１４を受け、距離画像データＤ１４で規定される距離
画像と部分仮想平面６１１上に投影された人物領域とを
切断面で切断して補完用の新たなデータを作成する。具
体的には、図２９(b)に示すように切断面ＣＰ１０３で
切断する場合、切断面ＣＰ１０３上の距離画像８２の画
素を測定点７１として抽出し、最も外側の測定点７１で
ある測定点７１ａと切断面ＣＰ１０３上の人物領域矩形
６２１の点６２１ｃとを直線で結び、この直線上の人物
領域８１１の境界に相当する位置に基準作成点７２を設
け、基準作成点７２と測定点７１ａとの間に適当な間隔
で追加作成点７３を作成する。

【０１１８】なお、基準作成点７２が補完後の距離画像
の輪郭部と判断される推定輪郭部を形成する点となり、
基準作成点７２と最外の測定点７１ａとの間が補完すべ
きデータ補完領域７４となる。

【０１１９】以上の機能による処理を機能Ｆ５６によ
り、想定した全ての切断面について実行し、１つの部分
仮想平面６１１に関する補完データの作成処理を終え
る。

【０１２０】続いて、機能Ｆ５７により部分仮想平面６
１１に関する補完データの作成が全ての部分仮想平面６
１１について行われ、距離画像データＤ１４の全体に渡
る補完データ作成が行われる。これにより、元の距離画
像データＤ１４の測定点７１に新たに作成された基準作
成点７２および追加作成点７３を追加して、補完された
距離画像データＤ１４とされる。すなわち、機能Ｆ５１
〜機能Ｆ５７により全ての部分仮想平面に関するデータ
補完領域の認定機能およびデータ補完処理機能が実現さ
れる。

【０１２１】その後、図２３に示した機能Ｆ４７および
機能Ｆ４８と同様に、機能Ｆ５８により移動平均法など
を用いてデータ補完された距離画像データＤ１４が規定
する距離画像にスムージング処理が行われ、さらに機能
Ｆ５９により距離画像に毛髪ラインを付加して、最終的
にデータ補完済み距離画像を生成する。

【０１２２】なお、部分仮想平面６１１はＸ方向に伸び
る帯状の平面に限定されるものではなく、どのような形
状であってもよい。例えば、人物の頭部の上側について
はＹ方向に伸びる部分仮想平面を設定し、ＹＺ面に平行
な切断面を作成するようにしてもよい。また、図３０に
示すように、顔の頭髪部領域において部分仮想平面６１
２、顔の肌領域において部分仮想平面６１３という具合
に設定してもよい。このように、部分仮想平面は距離画
像やカラー画像の特性に合わせて設定されてもよい。

【０１２３】以上のように、図２８に示した補完データ
作成機能においても、カラー画像データの人物領域と距
離画像データとから簡単に補完領域を決定することがで
き、図２３に示した補完データ作成機能と同様に簡易か
つある程度の精度で距離画像データの補完を行うことが
できる。

【０１２４】また、部分仮想平面を複数設けることによ
り、距離画像データＤ１４が表す距離画像の形状やカラ
ー画像や距離画像の特性に合わせて部分仮想平面を設定
することができ、データ補完領域の決定およびデータ補
完処理をさらに適切に行うことができる。

【０１２５】例えば、上記説明では部分仮想平面に人物
２値画像を投影することにより補完領域を決定すると説
明したが、投影手法として透視投影を用いる場合には、
距離画像と仮想平面との間の距離のばらつきが仮想平面
上の人物領域の大きさに影響を与える。このような場合
であっても、部分仮想平面を距離画像の形状に合わせて
複数設定することにより、適切に補完領域を認識するこ
とができる。

【０１２６】また、補完領域の決定後のデータ補完処理
において補完の際に作成される追加作成点７３の位置が
仮想平面の位置に依存する場合（例えば、図２９(b)に
示した補完手法を用いる場合）であっても、部分仮想平
面を距離画像の形状に応じて設定することにより、誤差
の少ない適切なデータ補完処理を行うことができる。

【０１２７】＜７． 変形例＞以上、この発明の実施の
形態について説明してきたが、この発明は上記実施の形
態に限定されるものではなく様々な変形が可能である。

【０１２８】例えば、上記実施の形態では仮想平面６１
や部分仮想平面６１１を仮想的に設定しているが、設定
される仮想面は平面に限定されるものではなく曲面であ
ってもよい。具体的には、図２４に示した仮想平面６１
に代えて図３１に示すように顔の距離画像の周縁部にそ
った曲線を含む（あるいは、所定のオフセット距離だけ
離れた）仮想曲面６１４を設定し、仮想曲面６１４に人
物領域を投影し、上述した切断面上における作成点を追
加して距離画像データＤ１４のデータ補完を行ってもよ
い。

【０１２９】また、同様に、図２７(a)や図３０に示し
た部分仮想平面６１１〜６１３に代えて図３２に示すよ
うに曲面を含む部分仮想面６１５〜６１７を用いてもよ
い。なお、図３２では部分仮想面６１６としてＸ方向に
伸びる円筒面が用いられ、データ補完処理を簡易に行う
ことができる。このように仮想面として曲面を利用する
ことにより、距離画像の形状に合った仮想面とすること
ができ、補完をより精度よく行うことができる。

【０１３０】また、上記実施の形態では２次元のカラー
画像データＤ１１から背景幕の色の統計データＤ１２や
マハラノビス距離データＤ１３を用いて人物領域の抽出
を行っているが（図６：機能Ｆ１１）、元となる２次元
画像データはカラー画像データに限定されるものではな
く、モノクロ画像データであってもよい。この場合に
は、例えば、画像中の各微小領域の空間周波数が背景と
すべき空間周波数の範囲内であるか否かにより背景とす
べき領域を抽出することができ、その結果、人物２値画
像データＤＢ１２を生成することができる。

【０１３１】また、上記実施の形態では３次元形状デー
タ処理装置４０が有する機能を中心に説明してきたが、
各機能は専用の電気的回路により構成されていてもよ
く、全機能あるいは一部の機能が一般のコンピュータシ
ステムにより構築されていてもよい。

【０１３２】

【発明の効果】請求項１および９に記載の発明は、２次
元画像データで規定される２次元画像から予め定められ
た基準に基づいて物体領域を抽出し、距離画像データで
規定される距離画像と物体領域とに基づきデータ補完領
域を認識し、該データ補完領域内において距離画像デー
タの欠落部分をデータ補完するデータ補完処理を行い、
補完済距離画像データを生成することができる。

【０１３３】一般に距離画像データで規定される距離画
像は周辺領域が欠落してしまう性格を有しており、欠落
した周辺領域を精度良く補完するには、その周辺領域を
正確に認識する必要がある。一方、２次元画像データで
規定される２次元画像は周辺領域が欠落されることはな
い。

【０１３４】以上の距離画像データおよび２次元画像デ
ータの性格を考慮して、この発明は、距離画像データを
補完する際に２次元画像データから得られる物体領域を
用いることにより、上記データ補完領域として、欠落し
た距離画像の周辺領域に相当する領域を正確にかつ簡単
に認識することができる。

【０１３５】その結果、精度よくデータ補完領域を簡単
に認識することができるため、補完済距離画像データに
基づく３次元形状データを容易に得ることができる。

【０１３６】また、請求項２に記載の発明は、仮想面上
に物体領域を投影し、仮想面上に投影された物体領域お
よび距離画像とに基づき補完済距離画像の輪郭部となる
べき推定輪郭部を推定し、推定輪郭部と距離画像領域の
周縁部との間をデータ補完領域として認識するので、推
定輪郭部を基準に比較的簡単な演算処理を適用すること
により適切なデータ補完処理を高速に行うことができ
る。

【０１３７】また、請求項３に記載の発明は、複数の部
分仮想面を設定するので、距離画像の形状または距離画
像や２次元画像の特性などに応じて適切なデータ補完処
理を行うことができる。

【０１３８】また、請求項４に記載の発明は、距離画像
の形状に合わせて適切なデータ補完処理を行うことがで
きる。

【０１３９】また、請求項５に記載の発明は、複数の部
分仮想面の設定位置により適切なデータ補完処理を行う
ことができる。

【０１４０】さらに、請求項６に記載の発明は、予め設
定された背景基準データに基づき、２次元画像から予備
物体領域と背景領域とを識別した後、予備物体領域の周
縁部を除去して物体領域を抽出する。その結果、物体領
域に背景領域が混在する可能性を低減させることがで
き、より精度の高い物体領域を得ることができるため、
データ補完領域の精度の向上につながり、最終的に精度
の高い補完済距離画像データを得ることができる。

【０１４１】請求項７に記載の発明は、２次元画像から
予め設定された基準に基づき予備物体領域と背景領域と
を識別した後、予備物体領域の周縁部を除去して物体領
域を得るので、物体領域ににじみ領域が混在する可能性
を低減させることができる。

【０１４２】また、請求項８に記載の発明は、２次元画
像のうち、物体領域以外の領域を所定の背景色で上塗り
して得られる表示用画像を生成するので、物体領域の周
縁部ににじみが生じない鮮明な表示用画像を得ることが
できる。

【図面の簡単な説明】

【図１】この発明に係る実施の形態である立体模型作成
装置の外観図である。

【図２】操作パネルの平面図である。

【図３】立体模型作成装置の機能ブロック図である。

【図４】立体模型作成装の概略の動作を示すフローチャ
ートである。

【図５】３次元形状データ処理機能を示すブロック図で
ある。

【図６】距離画像データ補完機能を示すブロック図であ
る。

【図７】図６の人物領域の抽出機能を示すブロック図で
ある。

【図８】人物領域の抽出処理を説明するための図であ
る。

【図９】人物領域の抽出処理を説明するための図であ
る。

【図１０】人物領域の抽出処理を説明するための図であ
る。

【図１１】人物領域の抽出処理を説明するための図であ
る。

【図１２】人物領域の抽出処理を説明するための図であ
る。

【図１３】人物領域の抽出処理を説明するための図であ
る。

【図１４】人物領域の抽出処理を説明するための図であ
る。

【図１５】人物領域の抽出処理を説明するための図であ
る。

【図１６】人物領域の抽出処理の効果説明用の画像例を
示す図である。

【図１７】人物領域の抽出処理の効果説明用の実画像例
を示す図である。

【図１８】人物領域の抽出処理の効果説明用の実画像例
を示す図である。

【図１９】背景幕判定用領域の他の例を説明するための
図である。

【図２０】図６のプレビュー画像の作成機能を示すブロ
ック図である。

【図２１】プレビュー画像の作成処理を説明するための
図である。

【図２２】プレビュー画像の作成処理を説明するための
図である。

【図２３】図６の補完データ作成機能を示すブロック図
である。

【図２４】仮想平面の設定例を示す図である。

【図２５】補完データ作成処理を説明するための図であ
る。

【図２６】補完データ作成処理の他の例を説明するため
の図である。

【図２７】部分仮想平面の設定例を示す図である。

【図２８】部分仮想平面を用いる場合の図６の補完デー
タ作成機能を示すブロック図である。

【図２９】部分仮想平面を用いる場合の補完データ作成
処理を説明するための図である。

【図３０】部分仮想平面の他の設定例を示す説明図であ
る。

【図３１】仮想曲面の設定例を示す説明図である。

【図３２】曲面を含む部分仮想面の設定例を示す説明図
である。

【符号の説明】

４０ ３次元形状データ処理装置 ５０ 人物領域 ６１ 仮想平面 ７２ 基準作成点 ７４ データ補完領域 ８１ 人物領域 ６１１〜６１３ 部分仮想平面 ６１４ 仮想曲面 ６１５〜６１７ 部分仮想面 ８１１ 人物領域 Ｄ１１，ＤＣ１ カラー画像データ Ｄ１２ 背景幕の色の統計データ Ｄ１３ マハラノビス距離データ Ｄ１４，ＤＳ１ 距離画像データ Ｄ１７ プレビューカラー画像データ Ｄ１８，ＤＳ３ データ補完済み距離画像データ Ｆ１１ 人物領域抽出機能 Ｆ１２ プレビュー画像の作成機能 Ｆ２１，Ｆ２７，Ｆ２８ 機能 Ｆ４１〜Ｆ４６，Ｆ５１〜Ｆ５７ 機能

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA06 AA53 AA58 BB05 CC16 EE00 FF01 FF02 FF04 FF09 HH05 JJ03 NN20 QQ00 QQ03 QQ04 QQ21 QQ23 QQ24 QQ32 QQ34 QQ41 QQ42 SS02 SS13 5B057 AA20 BA02 CA01 CA08 CA12 CB01 CB06 CB13 CD20 CE02 CE05 CE12 DA07 DA16 DA20 DB03 DC16

Claims (9)

【特許請求の範囲】
1. 【請求項１】 物体の２次元画像データおよび計測基準
   点から前記物体の計測点までの距離情報を含む３次元の
   距離画像データに基づき前記物体に関する所望の３次元
   形状データを出力する３次元形状データ処理装置であっ
   て、前記２次元画像データと前記距離画像データとは対
   応づけが可能であり、 前記３次元形状データ処理装置は、 前記２次元画像データで規定される２次元画像から予め
   定められた基準に基づいて物体領域を抽出する機能と、 前記距離画像データで規定される距離画像と前記物体領
   域とに基づきデータ補完領域を認識する機能と、 前記データ補完領域内において前記距離画像データの欠
   落部分をデータ補完するデータ補完処理を行い、補完済
   距離画像を規定する補完済距離画像データを生成する機
   能と、を有することを特徴とする３次元形状データ処理
   装置。
2. 【請求項２】 請求項１に記載の３次元形状データ処理
   装置であって、 前記データ補完領域を認識する機能が、 前記距離画像に対応して仮想面を設定する機能と、 前記仮想面上に前記物体領域を投影する機能と、 前記仮想面上に投影された前記物体領域および前記距離
   画像に基づき、前記補完済距離画像の輪郭部となるべき
   推定輪郭部を推定し、前記推定輪郭部と前記距離画像の
   周縁部との間を前記データ補完領域として認識する機能
   と、を有することを特徴とする３次元形状データ処理装
   置。
3. 【請求項３】 請求項１に記載の３次元形状データ処理
   装置であって、 前記データ補完領域を認識する機能が、 前記距離画像の複数の部分領域に対応して複数の部分仮
   想面を設定する機能と、 前記複数の部分仮想面に前記物体領域を投影する機能
   と、 前記複数の部分仮想面に投影された前記物体領域および
   前記複数の部分領域に基づき、前記補完済距離画像の輪
   郭部となるべき推定輪郭部を推定し、前記推定輪郭部と
   前記距離画像の周縁部との間を前記データ補完領域とし
   て認識する機能と、を有することを特徴とする３次元形
   状データ処理装置。
4. 【請求項４】 請求項３に記載の３次元形状データ処理
   装置であって、 前記複数の部分仮想面を設定する機能において、前記複
   数の部分仮想面のぞれぞれを、対応する部分領域上の前
   記計測基準点から最も離れた位置を基準にして設定する
   ことを特徴とする３次元形状データ処理装置。
5. 【請求項５】 請求項３または４に記載の３次元形状デ
   ータ処理装置であって、 前記データ補完処理が、前記複数の部分仮想面の設定位
   置に応じて行われることを特徴とする３次元形状データ
   処理装置。
6. 【請求項６】 請求項１ないし５のいずれかに記載の３
   次元形状データ処理装置であって、 前記物体領域を抽出する機能において、予め設定された
   背景基準データに基づき、前記２次元画像から予備物体
   領域と背景領域とを識別した後、前記予備物体領域の周
   縁部を除去して前記物体領域を抽出することを特徴とす
   る３次元形状データ処理装置。
7. 【請求項７】 物体の２次元画像データおよび計測基準
   点から前記物体の計測点までの距離情報を含む３次元の
   距離画像データに基づき前記物体に関する所望の３次元
   形状データを出力する３次元形状データ処理装置であっ
   て、前記２次元画像データと前記距離画像データとは対
   応づけが可能であり、 前記３次元形状データ処理装置は、 前記２次元画像データで規定される２次元画像から、予
   め設定された基準に基づき予備物体領域と背景領域とを
   識別する機能と、 前記予備物体領域の周縁部を除去して物体領域を得る機
   能と、を有することを特徴とする３次元形状データ処理
   装置。
8. 【請求項８】 請求項７に記載の３次元形状データ処理
   装置であって、 前記物体領域を得る機能において、前記２次元画像のう
   ち、前記物体領域以外の領域を所定の背景色で上塗りし
   て得られる表示用画像を生成することを特徴とする３次
   元形状データ処理装置。
9. 【請求項９】 物体の２次元画像データおよび計測基準
   点から前記物体の計測点までの距離情報を含む３次元の
   距離画像データに基づき前記物体に関する所望の３次元
   形状データを生成する３次元形状データ処理方法であっ
   て、前記２次元画像データと前記距離画像データとは対
   応づけが可能であり、 前記２次元画像データで規定される２次元画像から予め
   定められた基準に基づいて物体領域を抽出する工程と、 前記距離画像データで規定される距離画像と前記物体領
   域とに基づきデータ補完領域を認識する工程と、 前記データ補完領域内において前記距離画像データの欠
   落部分をデータ補完するデータ補完処理を行い、補完済
   距離画像を規定する補完済距離画像データを生成する工
   程と、を有することを特徴とする３次元形状データ処理
   方法。