JP2007293550A - ポリゴンメッシュ編集方法、装置、システム及びプログラム - Google Patents

Abstract

【課題】手動の編集作業を伴うことなく、ポリゴンメッシュで構成される三次元データに、二次元的な特徴を連動するように組み入れるようにする。
【解決手段】ポリゴンメッシュで構成される三次元データ４２１と二次元画像データ４２２とが、相関性を有する状態で準備される。先ず、エッジ抽出部４４１により二次元画像データ４２２からエッジ情報が抽出される。次に該エッジ情報に基づくエッジ形状に対応するエッジ近似式が近似式導出部４４２により導出される。そして、投影部４４３によりポリゴンメッシュが二次元画像データに投影され、エッジ対応点算出部４４４によりエッジ近似式情報と前記ポリゴンメッシュ情報とに基づき、ポリゴンメッシュの面上におけるエッジ対応点が求められる。しかる後、ポリゴンメッシュ編集部４４５により、エッジ対応点を含む新たなポリゴンエッジがポリゴンメッシュ上に生成される。
【選択図】図３

Description

本発明は、ポリゴンメッシュで構成される三次元データに、二次元的な特徴を組み入れることが可能なポリゴンメッシュ編集方法、装置、システム及びプログラムに関するものである。

対象物の三次元モデルを作成するに際しては、三次元デジタイザ等により対象物について三次元計測を行い、この測定結果に基づきポリゴンメッシュで構成される三次元データが取得される。そして、前記対象物を撮影して得られたテクスチャ画像を前記三次元データにマッピング（テクスチャマッピング）することで、当該対象物の三次元モデルが生成される。

ところで、対象物の表面に描かれている平面的な模様や文字等、対象物の表面状態に関する情報は、前記三次元データには反映されない。つまり、前記模様や文字等のエッジは、ポリゴンメッシュ中のポリゴンエッジとしては表れない。このため、的確な三次元モデルを生成するには、テクスチャ画像中におけるエッジに応じて、ポリゴンメッシュ中に新たなポリゴンエッジを生成する必要がある。

従来、三次元データ中に新たな線を設定する方法としては、例えば特許文献１〜３に開示されている方法がある。特許文献１には、対象物を表示する点群の中から、自由曲線を構成する点を直接選択することで、エッジ曲線を生成することが開示されている。しかし、このエッジ曲線はポリゴンメッシュと連動したものではなく、対象物の変形に追従出来ないという問題がある。

特許文献２には、ポリゴンメッシュをテクスチャ画像に投影し、模様等の書き込みを行わせ、その模様ラインを構成する点をポリゴン上の位置関係に基づく内挿の重みとして記憶しておく方法が開示されている。この方法によれば、ポリゴンモデルの変形に追従して、模様の変形も可能である。しかし、模様の書き込みを受ける受動的な方法であり、オペレータの介在が必要となる。また、内挿の重みで規定される模様であるため、この模様はポリゴンメッシュの位相とは連動しておらず、例えば模様のエッジを自由曲面の境界に設定する場合にはオペレータによる新たな編集作業が必要となる。

特許文献３には、ポリゴンメッシュと位置関係が対応付けられた画像上で模様等に応じた折れ線（ポリライン）を設定し、ポリゴンメッシュ上の前記折れ線に対応した位置にポリゴンエッジを生成させる方法が開示されている。しかし、前記折れ線の設定を自動的に且つ効率的に、しかも正確に行う具体的手法については特段開示されていない。
特開２０００−３５７２４６号公報 特開２００３−３３７９５１号公報 特開２００４−６２６３７号公報

本発明は、上記のような問題点に鑑みてなされたもので、オペレータによる手動の編集作業を伴うことなく、ポリゴンメッシュで構成される三次元データに、二次元的な特徴を連動するように組み入れることが可能なポリゴンメッシュ編集方法、装置、システム及びプログラムを提供することを目的とする。

本発明の請求項１に係るポリゴンメッシュ編集方法は、対象物について、相互に位置関係が関連付けられた状態で、ポリゴンメッシュで構成される三次元データ及び画像データを取得するステップと、前記画像データからエッジ情報を抽出し、該エッジ情報に基づくエッジ形状に対応するエッジ近似式を導出するステップと、前記ポリゴンメッシュを前記画像データに投影し、前記エッジ近似式情報と前記ポリゴンメッシュ情報とに基づいて、前記ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求めるステップと、前記エッジ対応点を含む新たなポリゴンエッジを前記ポリゴンメッシュ上に生成するステップとを含むことを特徴とする。

この方法によれば、画像上の二次元的な特徴はエッジ情報として抽出され、そのエッジ形状はエッジ近似式で数式化される。また、エッジ近似式で表現される線などの情報を利用して、ポリゴンメッシュ上に前記エッジ形状に対応するエッジ対応点が求められる。そして、このようにして得られたエッジ対応点を含む新たなポリゴンエッジがポリゴンメッシュ上に生成されるので、ポリゴンメッシュの位相に画像のエッジ情報が反映されるようになる。

上記方法において、前記エッジ対応点は、前記エッジ近似式と前記ポリゴンメッシュのポリゴンエッジとの交点として求めるようにすることができる（請求項２）。この方法によれば、エッジ近似式とポリゴンエッジとの交点という比較的算出が容易な方法でエッジ対応点を求めることができるので、演算処理の簡素化を図ることができる。

この場合、前記新たなポリゴンエッジは、前記交点同士を結ぶことで生成されるようにすることができる（請求項３）。この方法によれば、交点同士を結ぶという比較的簡単な操作で、新たなポリゴンエッジを生成することができる。

また、上記方法において、前記エッジ対応点は、前記エッジ近似式にて表現される線上に任意にサンプリングされたサンプリング点として求めるようにすることができる（請求項４）。この方法によれば、エッジ対応点をエッジ近似式で表現される線上の任意の箇所に発生させることが可能となり、画像上の二次元的な特徴を一層的確にポリゴンメッシュへ組み入れることが可能となる。

この場合、前記新たなポリゴンエッジは、前記サンプリング点同士を結ぶ直線を想定して該直線と既存のポリゴンエッジとの交点を求め、該交点と前記サンプリング点とを結ぶことで生成されるようにすることができる（請求項５）。この方法によれば、ポリゴンエッジとの交点を求めた上で、該交点とサンプリング点とを含む新たなポリゴンエッジが生成される。従って、任意にサンプリング点を設定して定義したエッジ形状であっても、これをポリゴンメッシュに関連付けて組み込むことができる。

本発明の請求項６に係るポリゴンメッシュ編集装置は、対象物について、相互に位置関係が関連付けられた状態で取得されている、ポリゴンメッシュで構成される三次元データ及び画像データを記憶する記憶手段と、前記画像データからエッジ情報を抽出するエッジ抽出手段と、前記エッジ情報に基づくエッジ形状に対応するエッジ近似式を導出する近似式導出手段と、前記ポリゴンメッシュを前記画像データに投影し、前記エッジ近似式情報と前記ポリゴンメッシュ情報とに基づいて、前記ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求めるエッジ対応点算出手段と、前記エッジ対応点を含む新たなポリゴンエッジを前記ポリゴンメッシュ上に生成するポリゴンエッジ生成手段とを含むことを特徴とする。

本発明の請求項７に係るポリゴンメッシュ編集システムは、対象物について、ポリゴンメッシュで構成される三次元データを取得する三次元データ取得手段と、前記対象物を撮像してその画像データを取得する撮像手段と、前記三次元データと前記画像データとを、相互に位置関係が関連付けられた状態で記憶する記憶手段と、前記画像データからエッジ情報を抽出するエッジ抽出手段と、前記エッジ情報に基づくエッジ形状に対応するエッジ近似式を導出する近似式導出手段と、前記ポリゴンメッシュを前記画像データに投影し、前記エッジ近似式情報と前記ポリゴンメッシュ情報とに基づいて、前記ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求めるエッジ対応点算出手段と、前記エッジ対応点を含む新たなポリゴンエッジを前記ポリゴンメッシュ上に生成するポリゴンエッジ生成手段とを含むことを特徴とする。

本発明の請求項８に係るポリゴンメッシュ編集プログラムは、ポリゴンメッシュで構成される三次元データ及び画像データについてのデータ処理が可能なコンピュータに、対象物について、相互に位置関係が関連付けられた状態で取得されている、ポリゴンメッシュで構成される三次元データ及び画像データを読み出すステップと、前記画像データからエッジ情報を抽出し、該エッジ情報に基づくエッジ形状に対応するエッジ近似式を導出するステップと、前記ポリゴンメッシュを前記画像データに投影し、前記エッジ近似式情報と前記ポリゴンメッシュ情報とに基づいて、前記ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求めるステップと、前記エッジ対応点を含む新たなポリゴンエッジを前記ポリゴンメッシュ上に生成するステップとを実行させることを特徴とする。

本発明によれば、オペレータによる手動の編集作業を伴うことなく、ポリゴンメッシュで構成される三次元データに、二次元的な特徴であるエッジ情報を三次元データに連動するように組み入れることができる。従って、対象物の表面に描かれた文字、模様などの寸法計測の用途、ポリゴンメッシュに画像エッジを境界とする自由曲面を生成する用途等において、その作業性を向上させることができる。

以下、図面に基づいて本発明の実施形態につき説明する。
図１は、本発明に係るポリゴンメッシュ編集システムＳの一実施形態を示す構成図である。このポリゴンメッシュ編集システムＳは、対象物１０（ここでは自動車のドア部分を例示している）についての三次元モデルを生成するためのものであって、非接触型の三次元デジタイザ２０（三次元データ取得手段）と、デジタルカメラ３０（撮像手段）と、パーソナルコンピュータ４０とを含んで構成されている。

三次元デジタイザ２０は、光切断法と呼ばれる方式を用いて対象物１０の三次元データを求めるものである。この三次元デジタイザ２０は、所定の発光手段と受光手段とを含む光学ユニットが内蔵された略直方体形状のハウジングに、投光窓を備えた投光部２１と、受光窓を備えた受光部２２とが設けられてなる。投光部２１は、受光部２２の上側の、基線長に応じた所定距離だけ離れた位置に設けられている。

投光部２１からは、水平方向に拡がるレーザビームであるスリット光が射出される。このスリット光は、水平方向に所定の放射角度で拡がり（扇形）、垂直方向に幅を有する平面状の光である。スリット光は、対象物１０に向けて照射され、対象物１０の表面で反射された反射光の一部が受光部２２に入射するようになっている。三次元デジタイザ２０は、レーザ光の投光角、反射光の受光角、及び投光点と受光点との間の基線長に基づき、三角測量の原理で反射点までの距離を求める。かかる距離情報に基づき、対象物１０の三次元データが取得される。

デジタルカメラ３０は、対象物１０についての二次元デジタル画像データを取得するためのものである。パーソナルコンピュータ４０は、三次元デジタイザ２０により取得された三次元形状の測定データ、及びデジタルカメラ３０により取得された画像データを取り込んで、対象物１０についての三次元モデルを生成するための各種演算処理を行う。

図２は、パーソナルコンピュータ４０の概略構成を示すブロック図である。パーソナルコンピュータ４０には、前記三次元形状の測定データ及び画像データを取得するために、三次元デジタイザ２０及びデジタルカメラ３０とのデータ通信を可能とするインターフェイス４１、前記三次元形状の測定データ及び画像データ、さらに演算処理や制御処理などのデータを一時的に格納するＲＡＭ（Random Access Memory）４２、種々の制御プログラム等を記憶するＲＯＭ（Read Only Memory）４３、各種の動作を制御するＣＰＵ（Central Processing Unit）４４、液晶ディスプレイ等からなる表示部４５及びキーボードやマウス等からなる操作部４６が備えられている。

図３は、ＲＡＭ４２（記憶手段）へ一時的に格納されるデータに対応付けた、ＣＰＵ４４の機能構成を示す機能ブロック図である。ＣＰＵ４４は、ＲＯＭ４３に格納された制御プログラムを実行することにより、エッジ抽出部４４１（エッジ抽出手段）、近似式導出部４４２（近似式導出手段）、投影部４４３、エッジ対応点算出部４４４（エッジ対応点算出手段）、ポリゴンメッシュ編集部４４５（ポリゴンエッジ生成手段）及び処理制御部４４６を具備するように機能する。

ＲＡＭ４２に一時的に格納されるデータには、三次元デジタイザ２０から与えられる対象物１０の三次元形状測定データに基づいて作成されたポリゴンメッシュで構成される三次元データ４２１と、デジタルカメラ３０から与えられる対象物１０の二次元画像データ４２２と、これらのデータの位置関係を相互に関連付ける相関情報４２３と、三次元データ及び二次元データから生成される三次元モデルデータ４２４とが含まれる。

エッジ抽出部４４１は、二次元画像データ４２２に諧調変換処理及びノイズ除去処理等の前処理を施した後、当該二次元画像データ４２２に対してエッジを抽出するためのフィルタ処理を行う。そして、フィルタ値が所定の閾値を超えるピクセルのアドレス情報をエッジ点（エッジ情報）として検出する。前記エッジとは、画像の中で急激に明るさが変化している部分であって、対象物１０の表面に描かれている文字、模様等の輪郭がこれに相当する。エッジ抽出のためのフィルタとしては、例えばソーベルフィルタ、微分フィルタ、勾配フィルタ、ラプシアンフィルタ等を用いることができる。

近似式導出部４４２は、エッジ抽出部４４１により抽出されたエッジ点をクラスタリングし、各クラスタのエッジ点群から形成されるエッジ形状の各々について関数表現で近似し、クラスタごとにエッジ近似式を導出する。前記クラスタリングは、互いに隣接する関係にあるエッジ点の群を１つのクラスタとして抽出する手法を取ることができる。例えば１つの直線模様と１つの円模様を含む画像であれば、エッジ点が直線状に連鎖するエッジ点群が１つのクラスタとして抽出され、エッジ点が円環状に連鎖するエッジ点群がもう１つのクラスタとして抽出される。エッジ近似式は、例えば直線関数式、楕円関数式、自由曲線関数式などを用い、クラスタのエッジ形状ごとに関数の種別を指定し、最もそのエッジ形状に近似できる式のパラメータを最小自乗近似法等に基づいて求める方法で導出される。

投影部４４３は、三次元データ４２１として格納されているポリゴンメッシュを、二次元画像データ４２２の画像面へ投影させる処理を行う。具体的には、ポリゴンメッシュを構成している三次元座標値を、所定の座標変換行列を用いて画像データのピクセル座標値へ座標変換する処理を行う。

エッジ対応点算出部４４４は、投影部４４３による投影情報を用い、近似式導出部４４２で導出されたエッジ近似式情報とポリゴンメッシュ情報とに基づいて、ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求める。一例としてエッジ対応点算出部４４４は、エッジ近似式で表現される線とポリゴンメッシュとの交点を二次元の投影画像上で求め、その交点の座標値を三次元座標値に変換してポリゴンメッシュ上の交点として求める処理を行う。他の例としてエッジ対応点算出部４４４は、エッジ近似式で表現される線上へ任意にサンプリング点を設定し、そのサンプリング点とポリゴンメッシュとの位置関係を求めることでエッジ対応点を求める処理を行う。これらの処理については、図１２〜図１５に基づいて後記で詳述する。

ポリゴンメッシュ編集部４４５は、エッジ対応点算出部４４４で求められたエッジ対応点をポリゴン頂点として含む新たなポリゴンエッジを、三次元データ４２１を構成するポリゴンメッシュに生成する処理を行う。すなわち、求められたエッジ対応点同士及びエッジ対応点と既存のポリゴン頂点とを結ぶポリラインを設定し、新たなポリゴンをポリゴンメッシュに付加する。これにより、画像データ上の二次元的な特徴部分が追加されたポリゴンメッシュデータが生成される。かかるポリゴンメッシュデータは、三次元モデルデータ４２４としてＲＡＭ４２へ格納される。

処理制御部４４６は、ユーザから操作部４６を介して与えられる操作信号を受けて、上記の動作を行うエッジ抽出部４４１、近似式導出部４４２）、投影部４４３、エッジ対応点算出部４４４及びポリゴンメッシュ編集部４４５を適時に動作させる全体制御を行う。

続いて、以上の通り構成されたポリゴンメッシュ編集システムＳを用いたポリゴンメッシュ編集方法の具体例について説明する。最初のステップとして、所定の対象物についての三次元データ４２１及び二次元画像データ４２２（図３）が準備される。これらデータは、上述の通り三次元デジタイザ２０及びデジタルカメラ３０（図１）等を用いて取得される。

図４は、ＲＡＭ４２に格納されている三次元データ４２１を構成するポリゴンメッシュ５０と、これに対してテクスチャマッピングされる画像となる二次元画像６０（二次元画像データ４２２）とを簡略的に示す図である。ポリゴンメッシュ５０は、対象物の三次元形状に合致したポリゴンの集合体からなる。二次元画像６０は、対象物の外観を撮像した画像であって、ここでは画像中央部のやや上に楕円形模様６１が備えられている例を示している。この楕円形模様６１は平坦なものであり、このためポリゴンメッシュ５０には楕円形模様６１に関連するポリゴンは生成されていないものとする。

図３にも示しているように、ポリゴンメッシュ５０（三次元データ４２１）と二次元画像６０（二次元画像データ４２２）とは、両者の位置関係を相互に関連付ける情報である相関情報４２３により、相関を有する状態でＲＡＭ４２に格納されている。この相関情報４２３は、例えばポリゴンメッシュ５０のポリゴン頂点座標値と二次元画像６０のピクセル座標値とを１対１で対応付けた情報である。上述した投影部４４３における投影処理の際には、この相関情報４２３が用いられる。

次のステップとして、図５に示すように、エッジ抽出部４４１により二次元画像６０に対してエッジ抽出処理が施される。かかるエッジ抽出処理により、二次元画像６０に備えられている楕円形模様６１に対応するエッジ点６２（エッジに対応するピクセル）が抽出される。本実施形態では、楕円形模様６１の輪郭に沿うような楕円形のエッジ点６２の群が抽出されることとなる。

ここで、エッジ抽出部４４１におけるエッジ抽出処理の際に用いられるフィルタとして、ソーベル（sobel）フィルタを例示しておく。図６は、ソーベルフィルタの一例を示す説明図である。ソーベルフィルタは、ある注目画素（ピクセル）の近傍の画素に重み付けをするフィルタであって、注目画素を中心とした上下左右の９つの画素に対して所定の係数をそれぞれ乗算するフィルタである。

例えば図６（ａ）は、画像の垂直エッジを主に検出するために用いられる水平方向フィルタの一例である。このフィルタは、３×３画素群においてその中央を注目画素Ｐとするとき、注目画素Ｐと同じ縦列の画素Ｂ、Ｐの重みを０，左側の縦列画素Ａ、Ｄ、Ｆの重みを各々−１、−２，−１、右側の縦列画素Ｃ、Ｅ、Ｈの重みを各々１、２、１としている。このようなフィルタを用いると、水平方向の明るさの変化が大きい部分が検出されることから、垂直エッジが検出されるようになる。

一方、図６（ｂ）は、画像の水平エッジを主に検出するために用いられる垂直方向フィルタの一例である。このフィルタは、注目画素Ｐと同じ横列の画素Ｄ、Ｅの重みを０，上列画素Ａ、Ｂ、Ｃの重みを各々−１、−２，−１、下列画素Ｆ、Ｇ、Ｈの重みを各々１、２、１としている。このようなフィルタを用いると、垂直方向の明るさの変化が大きい部分が検出されることから、水平エッジが検出されるようになる。

エッジ点６２が抽出されたら、これに続きエッジ近似式を求めるステップが行われる。図７に示すように、エッジ近似式は、エッジ点６２により形成されるエッジ形状に対応する近似線６３を表現する関数として求められる。ここでは、エッジ形状は楕円を呈しているので、楕円関数を適用し、そのエッジ形状に最も適合するパラメータを求める演算処理が行われる。

図７では、楕円を呈する１つのエッジ点クラスタのみを表示しているが、エッジ近似式は、上述したようにエッジ点のクラスタごとに求められる。すなわち、クラスタごとに近似すべき関数の種別を指定し、その指定にかかる関数で各クラスタのエッジ形状に近似する近似線を表現するパラメータが求められる。ここで、指定関数が直線関数、楕円関数である場合は、例えばハフ（hough）変換の手法を用いて近似することができる。また、指定関数が自由曲線関数である場合は、エッジ点群の分布から初期曲線を設定し、近似精度が一定値以上になるように曲線式のパラメータを最適化する手法を用いて近似することができる。これらの手法について簡単に説明しておく。

ハフ変換は、直線、円、楕円といったパラメトリックな図形の特徴抽出法である。例えば直線を抽出する場合であれば、パラメータとして傾きＬと切片Ｃを考慮し、ｘ−ｙ平面上の点を、傾きＬ−切片Ｃの座標平面上へ、点から線への変換を行うものである。このようなハフ変換処理は、抽出された全てのエッジ点（エッジ画素）について行われる。具体的には、ハフ変換処理の対象となるエッジ画素（Ｘ，Ｙ）について、傾きＬ及び切片Ｃをある程度限定した組合せを選択した上で、当該エッジ画素（Ｘ，Ｙ）を通る全ての直線の傾きＬ及び切片Ｃを求め、傾きＬ−切片Ｃ座標上にポイント加算する。すなわち、選択されたあらゆる組合せに対して、次式の計算を行う。
Ｅ＝｜Ｙ−（ＬＸ＋Ｃ）｜
そして、所定の固定しきい値Ｔ_ｈｄについて、Ｅ＜Ｔ_ｈｄを満す組合せ（Ｌ，Ｃ）に対して、ポイントを加算（投票）する。

図８は、このようなハフ変換処理をグラフ図として表したものである。つまり、図８（ａ）に示すようなエッジ画素（Ｘ，Ｙ）について、当該エッジ画素（Ｘ，Ｙ）を通る全ての直線Ｉの傾きＬ及び切片Ｃを求め、ハフ変換処理を行うと、図８（ｂ）に示すように、傾きＬ−切片Ｃ座標平面上において直線Ｊとなる変換が行われる。ここで、図８（ａ）に示すように、切片Ｃはエッジ画素（Ｘ，Ｙ）を通る直線Ｉが画面と交わる点におけるｙ値である。また傾きＬは、水平線Ｈに対する傾き角度をθとしたときにおけるｔａｎθの値である。

ここで、図９（ａ）に示すように、ある直線Ｉ_０上に存在するエッジ画素Ｐ１（Ｘ１，Ｙ１）〜Ｐ４（Ｘ４，Ｙ４）全てについて、上述したようなハフ変換処理を行って直線Ｊ１〜Ｊ４にそれぞれ変換し、これを同じ傾きＬ−切片Ｃ座標平面上に描くと、図９（ｂ）に示すように直線Ｊ１〜Ｊ４が、ある一点（交差点Ｋ）で交差するようになる。この交差点Ｋは、傾きＬ−切片Ｃ座標において度数（ポイント累積度数）が最も大きくなる点である。この交差点Ｋにおける傾きＬ及び切片Ｃが、図９（ａ）に示す直線Ｉ_０の傾きＬ_０及び切片Ｃ_０となる。この場合、この直線Ｉ_０が、エッジ形状に近似された直線であり、傾きＬ_０及び切片Ｃ_０が当該直線を表現するエッジ近似式のパラメータとなる。

次に、指定関数が自由曲線である場合の曲線式のパラメータを最適化する手法の一例を図１０に基づいて説明する。図１０（ａ）に示すように、１つのクラスタにおいて、８つのエッジ画素Ｐ１１〜Ｐ１８が抽出されているものとする。この場合、エッジ画素Ｐ１１〜Ｐ１８の分布具合に基づいて曲線をいくつか設定し、エッジ画素Ｐ１１〜Ｐ１８に対するズレ量が最も小さい曲線を選択する処理がなされる。

具体的には、図１０（ｂ）に示すように、エッジ画素Ｐ１１〜Ｐ１８の中から制御点としてエッジ画素Ｐ１１、Ｐ１３、Ｐ１５、Ｐ１７が選択され、これらエッジ画素を全て通る曲線Ａ１が設定される。そして、選択されなかったエッジ画素Ｐ１２、Ｐ１４、Ｐ１６、Ｐ１８について、前記曲線Ａ１に対するズレ量ａ１２、ａ１４、ａ１６、ａ１８がそれぞれ求められる。続いて、図１０（ｃ）に示すように、制御点をエッジ画素Ｐ１２、Ｐ１４、Ｐ１６、Ｐ１８に変更して、これらエッジ画素を全て通る曲線Ａ２が設定される。そして、選択されなかったエッジ画素Ｐ１１、Ｐ１３、Ｐ１５、Ｐ１７について、前記曲線Ａ２に対するズレ量ａ１１、ａ１３、ａ１５、ａ１７がそれぞれ求められる。そして、曲線Ａ１についてのズレ量の総和（ａ１２＋ａ１４＋ａ１６＋ａ１８）及び曲線Ａ２についてのズレ量の総和（ａ１１＋ａ１３＋ａ１５＋ａ１７）或いは平均値を評価し、曲線が一定の近似精度を満たしているか否かの判定、並びにより一層近似精度が高いのはどの曲線であるかの判定が行われる。

このような処理が制御点を変更して適当な回数だけ行われ、最も近似精度が高い曲線が選択される。そして、選択された曲線を表現する曲線式のパラメータが、自由曲線関数からなるエッジ近似式のパラメータとして導出される。

続いて、このエッジ近似式の情報とポリゴンメッシュ５０の情報とに基づいて、ポリゴンメッシュ５０の面上におけるエッジ点６２のエッジ形状（この形状はエッジ近似式で近似されている）に対応するエッジ対応点を求めるステップが行われる。このステップが実行されるに際しては、図１１に示すように、ポリゴンメッシュ５０を、二次元画像６０へ投影させる処理が行われる。具体的には、ポリゴンメッシュ５０の三次元座標値を、エッジ形状がエッジ近似式による近似線６３で明示化されている二次元画像６０のピクセル座標値へ座標変換する処理が行われる。これにより、ポリゴンメッシュ５０が二次元画像６０へ投影された投影ポリゴン５０Ａが生成される。

このような投影ポリゴン５０Ａに基づき、エッジ対応点が求められるのであるが、本実施形態では該エッジ対応点を求める具体的手法として、（１）エッジ近似式で表現される線とポリゴンメッシュとの交点をエッジ対応点として求める方法（以下、交点算出法という）と、（２）エッジ近似式で表現される線上へ任意に設定したサンプリング点をエッジ対応点として求める方法（以下、サンプリング点設定法という）との２つの方法を例示する。

（１）交点算出法
図１２は、交点算出法によるエッジ対応点の算出方法を説明するための模式図である。交点算出法では、図１２（ａ）に示すように、二次元の投影ポリゴン５０Ａにおいて、エッジ近似式で表現される近似線６３とポリゴンメッシュを構成するポリゴンエッジ５１との交点５２を求める演算が行われる。この場合、交点５２はポリゴンエッジ５１上に存在することになるので、該交点５２の位置情報（座標値）も容易に把握することができる。

この交点５２は、あくまで二次元画像６０へ投影された投影ポリゴン５０Ａ上の交点であるので、これを図１２（ｂ）に示すように、三次元的なポリゴンメッシュ５０Ｂ上における三次元空間での交点５２として把握する必要がある。従って、交点５２の二次元座標値を三次元座標値に変換することで、ポリゴンメッシュ５０Ｂ上の交点として求める変換処理が行われる。

図１３は、このような変換処理の一例を示す説明図である。図１３（ａ）は、投影ポリゴン５０Ａにおいて、交点５２をもつポリゴンエッジ５１を含んで構成された１つのポリゴン５０１を抜き出した図である。このポリゴン５０１は、４つのポリゴン頂点５３ａ、５３ｂ、５３ｄ、５３ｄを有する四角形のポリゴンである。そして、ポリゴン頂点５３ａ、５３ｂ間のポリゴンエッジ５１と、ポリゴン頂点５３ｄ、５３ｄ間のポリゴンエッジ５１とを、エッジ近似式で表現される近似線６３が横切っている状態を示している。従って、これらのポリゴンエッジ５１には、交点５２が存在している。

三次元座標値への変換に当たっては、ポリゴン頂点間における交点５２の内分率を求め、該内分率を三次元空間におけるポリゴン頂点間に反映させるようにする。例えば、ポリゴン頂点５３ａ、５３ｂ間のポリゴンエッジ５１に存在する交点５２に注目すると、ポリゴン頂点５３ａから交点５２までのポリゴンエッジ５１上の距離はｄ１１であり、ポリゴン頂点５３ｂから交点５２までの距離はｄ１２である。従って、この交点５２の内分率は、ｄ１１：ｄ１２で表現される。

この内分率は、三次元空間でも妥当する。図１３（ｂ）は、図１３（ａ）のポリゴン５０１を三次元空間上で示した図である。図１３（ｂ）に示すように、三次元空間におけるポリゴン頂点５３ａ、５３ｂ間のポリゴンエッジ５１に存在する交点５２も、上記と同様にｄ２１：ｄ２２という内分率で表現することができる。そして、
ｄ１１：ｄ１２＝ｄ２１：ｄ２２
という関係が成立する。従って、投影ポリゴン５０Ａにおいて交点５２の内分率を各々求めるようにし、この内分率を用いて三次元空間におけるポリゴン頂点に反映させるようにすれば、各交点５２（エッジ対応点）のポリゴンメッシュ５０Ｂ上における三次元座標値を求めることができる。

（２）サンプリング点設定法
図１４は、サンプリング点設定法によるエッジ対応点の算出方法を説明するための模式図である。サンプリング点設定法では、図１４（ａ）に示すように、まず二次元の投影ポリゴン５００Ａにおいて、エッジ近似式で表現される近似線６３の線上へ、任意にサンプリング点５４が設定される。このサンプリング点５４は、ポリゴンエッジ５１との交点に関わりなく設定される。サンプリング点５４は、全くランダムに設定しても良いが、一定間隔毎に設定したり、或いは円弧中心点から所定角度毎に設定したりすることができる。

サンプリング点５４は、二次元画像６０へ投影された投影ポリゴン５００Ａ上のサンプリング点であるので、これを図１４（ｂ）に示すように、三次元的なポリゴンメッシュ５００Ｂ上における三次元空間でのサンプリング点５４として把握する必要がある。従って、サンプリング点５４の投影ポリゴン５００Ａ上における二次元座標値を求め、これを三次元座標値に変換する変換処理が行われる。

図１５は、このような変換処理の一例を示す説明図である。図１５（ａ）は、投影ポリゴン５００Ａにおいて、サンプリング点５４を内包する１つのポリゴン５０１を抜き出した図である。このポリゴン５０１は、４つのポリゴン頂点５３ａ、５３ｂ、５３ｄ、５３ｄを有する四角形のポリゴンである。そして、ポリゴン頂点５３ａ、５３ｂ間のポリゴンエッジ５１と、ポリゴン頂点５３ｄ、５３ｄ間のポリゴンエッジ５１とを、エッジ近似式で表現される近似線６３が横切っている状態を示している。さらに、近似線６３の線上に１つのサンプリング点５４が設定されている状態を示している。

変換処理に当たっては、先ずサンプリング点５４がどのポリゴン５０１に内包されているかを特定する処理が行われる。この特定処理は、近似線６３の二次元座標値に関する情報と、ポリゴン頂点５３ａ〜５３ｄの二次元座標値に関する情報とに基づいて行われる。ポリゴン５０１が特定されたら、次にサンプリング点５４をポリゴン頂点５３ａ〜５３ｄの内挿点として表現する処理が行われる。すなわち、図１５（ａ）に示すように、ポリゴン頂点５３ａ、５３ｂ、５３ｄ、５３ｄの各々からサンプリング点５４までの距離ｄ３１、ｄ３２、ｄ３３、ｄ３４がそれぞれ求められる。この場合、サンプリング点５４は、ｄ３１：ｄ３２：ｄ３３：ｄ３４という内分率で表現される。

この内分率は、三次元空間でも妥当する。図１５（ｂ）は、図１５（ａ）のポリゴン５０１を三次元空間上で示した図である。図１５（ｂ）に示すように、三次元空間におけるポリゴン頂点５３ａ〜５３ｄに内包されるサンプリング点５４も、上記と同様にｄ４１：ｄ４２：ｄ４３：ｄ４４という内分率で表現することができる。そして、
ｄ３１：ｄ３２：ｄ３３：ｄ３４＝ｄ４１：ｄ４２：ｄ４３：ｄ４４
という関係が成立する。従って、投影ポリゴン５００Ａにおいてサンプリング点５４の内分率を各々求めるようにし、この内分率を用いて三次元空間におけるポリゴン頂点に反映させるようにすれば、各サンプリング点５４（エッジ対応点）のポリゴンメッシュ５００Ｂ上における三次元座標値を求めることができる。

以上のようにしてエッジ対応点が求められたなら、このエッジ対応点を含む新たなポリゴンエッジをポリゴンメッシュ上に生成させるポリゴン編集ステップが行われる。図１６は、交点算出法が採用された場合のポリゴン編集ステップを説明するための模式図である。この場合、ポリゴンメッシュ５０Ｂにおける交点５２（エッジ対応点）同士を結ぶポリゴンエッジ５１Ｎが作成される。さらに、交点５２が存在するポリゴンエッジ５１を含むポリゴン５０１の内部に、所定のポリゴン設定条件に従ったポリゴンが設定されるように、交点５２とポリゴン頂点とを結ぶポリゴンエッジ５１Ｎａが作成される。なお、前記ポリゴン設定条件とは、例えば五角形のポリゴンは作成しない、１つの内角が大きすぎる三角形のポリゴンは作成しないといったような、予め定められたポリゴンメッシュ生成上の規制事項である。

図１７は、サンプリング点設定法が採用された場合のポリゴン編集ステップを説明するための模式図である。この場合、先ず図１８に示すように、サンプリング点５４（エッジ対応点）同士を結ぶ直線ｍ（ポリゴンエッジ５１０Ｎ）が想定される。その後、この直線ｍと既存のポリゴンエッジ５１との交点５５が求められる。これは、サンプリング点５４が既存のポリゴンエッジ５１と関わりなく設定された点であるため、単にサンプリング点５４同士を結ぶだけではポリゴンメッシュと連関性のないエッジ形状となってしまうからである。

このようにして求められた交点５５の三次元座標値が追加された上で、図１７に示すように、サンプリング点５４及び交点５５同士を結ぶポリゴンエッジ５１０Ｎが作成される。これは、先に想定された直線ｍと事実上一致する。さらに、サンプリング点５４を内包すると共に交点５５が存在するポリゴンエッジ５１を含むポリゴン５０１の内部に、所定のポリゴン設定条件に従ったポリゴンが設定されるように、サンプリング点５４又は交点５５とポリゴン頂点とを結ぶポリゴンエッジ５１０Ｎａが作成される。

以上のようなステップを実行することで、ポリゴンメッシュで構成される三次元データに、画像データから得られた二次元的な特徴であるエッジ情報を、三次元データに連動するように組み入れることができる。従って、例えば対象物の表面に描かれた文字、模様などの二次元形状について、その三次元寸法や、三次元空間における面積等を計測し、設計値と比較する検査を自在に行えるようになる。

さらに、ポリゴンメッシュに画像エッジを境界とする自由曲面を生成する用途等において、その作業性を向上させることができる。例えば図１９に示すように、曲面を備えた対象物１００であって、その曲面上に帯模様１０１を有する対象物１００を想定する。そして、当該対象物１００についてのポリゴンメッシュ５０ｄと、テクスチャ画像６０ｄとが取得されているものとする。この場合、上述したポリゴンメッシュ編集方法を適用することで、帯模様１０１のエッジに対応したポリゴンエッジ５１ｄＮを、元来のポリゴンエッジ５１ｄに追加することができる。従って、これを曲面化することで、特に手動で編集作業を行うことなく、帯模様１０１に対応した自由曲面１０１Ｃの境界（ポリゴンエッジ５１ｄＮ）設定が行えるようになる。

以上説明したポリゴンメッシュ編集方法を、図１〜図３に示したポリゴンメッシュ編集システムＳ上の動作として説明する。図２０は、ポリゴンメッシュ編集システムＳの動作フローを示すフローチャートである。ここでは、三次元デジタイザ２０により対象物１０の三次元形状データが測定され、またデジタルカメラ３０により対象物１０の二次元画像データが取得されているものとする。

処理が開始されると、三次元デジタイザ２０からパーソナルコンピュータ４０に三次元データがダウンロードされる処理が実行され、Ｉ／Ｆ４１を介して三次元データがＲＡＭ４２に格納される（ステップＳ１）。また、デジタルカメラ３０からも、二次元画像データが取得され、ＲＡＭ４２に格納される（ステップＳ２）。

次に、ＣＰＵ４４の処理制御部４４６によるシーケンス制御下において、エッジ抽出部４４１によりＲＡＭ４２から二次元画像データ４２２が読み出され、先に図５、図６で説明したような画像上のエッジ点を抽出する処理が実行される（ステップＳ３）。続いて、近似式導出部４４２により、エッジ点がクラスタリングされ、クラスタごとにエッジ点群からなるエッジ形状に対応するエッジ近似式が導出される（ステップＳ４）。このエッジ近似式が導出には、例えば図８、図９に示したハフ変換処理や、図１０に示した自由曲線の近似処理が採用される。そして、投影部４４３によりＲＡＭ４２から三次元データ４２１を構成するポリゴンメッシュが読み出され、このポリゴンメッシュを二次元画像データ４２２の画像面へ投影させる処理が行われる（ステップＳ５）。

しかる後、エッジ対応点算出部４４４により、ステップＳ４で導出されたエッジ近似式情報とポリゴンメッシュ情報とに基づいて、ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求める処理が実行される（ステップＳ６）。エッジ対応点の算出処理の具体的方法としては、上記で説明したように、交点算出法若しくはサンプリング点設定法を採用することができる。

図２１は、エッジ対応点算出部４４４において交点算出法が実行される場合の動作を示すフローチャートである。この場合、図１２、図１３に基づき説明したように、先ずポリゴンメッシュを構成するポリゴンエッジ５１とエッジ近似式で表現される近似線６３との交点５２の位置が算出される（ステップＳ１１）。そして、交点５２が存在するポリゴンエッジ５１のポリゴン頂点５３ａ、５３ｂ間における交点５２の内分率が、二次元の投影ポリゴン上で求められる（ステップＳ１２）。その後、三次元空間におけるポリゴン頂点５３ａ、５３ｂ間に前記内分率を反映させることで、交点５２の三次元空間における位置が求められる（ステップＳ１３）。この三次元空間における交点５２の位置が、求めるエッジ対応点となる。

図２２は、エッジ対応点算出部４４４においてサンプリング点設定法が実行される場合の動作を示すフローチャートである。この場合、図１４、図１５に基づき説明したように、先ずエッジ近似式で表現される近似線６３の線上へ、任意にサンプリング点５４が設定される（ステップＳ２１）。次に、設定されたサンプリング点５４が、それぞれ二次元の投影ポリゴンメッシュのうちのどのポリゴンに内包されているかの特定が行われる（ステップＳ２２）。

そして、サンプリング点５４がポリゴン頂点５３ａ〜５３ｄの内挿点として扱われ、各ポリゴン頂点５３ａ〜５３ｄからサンプリング点５４までの距離が求められると共に、その内分率が求められる（ステップＳ２３）。その後、三次元空間におけるポリゴン頂点５３ａ〜５３ｄ間に前記内分率を反映させることで、サンプリング点５４の三次元空間における位置が求められる（ステップＳ２４）。この三次元空間におけるサンプリング点５４の位置が、求めるエッジ対応点となる。

以上のようにしてエッジ対応点が求められたなら、このエッジ対応点を含む新たなポリゴンエッジをポリゴンメッシュ上に生成させる編集処理が、ポリゴンメッシュ編集部４４５により行われる（ステップＳ７）。ステップＳ６で交点算出法が採用された場合は、交点５２同士を結ぶポリゴンエッジ５１Ｎ、及び交点５２とポリゴン頂点とを結ぶポリゴンエッジ５１Ｎａが作成される。ステップＳ６でサンプリング点設定法が採用された場合は、サンプリング点５４同士を結ぶ直線ｍを想定してポリゴンエッジ５１との交点５５を求めた上で、サンプリング点５４及び交点５５同士を結ぶポリゴンエッジ５１０Ｎ、サンプリング点５４又は交点５５とポリゴン頂点とを結ぶポリゴンエッジ５１０Ｎａが作成される。

以上、本発明の実施形態につき説明したが、本発明はこれに限定されるものではなく、種々の変形実施形態を取ることができる。例えば、上記実施形態では三次元デジタイザ２０により対象物１０の三次元データを測定する方法を例示したが、他の測定機器を用いて三次元データを取得しても良く、或いは対象物１０についての三次元ＣＡＤデータを用いるようにしても良い。

さらに、上述のポリゴンメッシュ編集システムＳが行うポリゴンメッシュ編集方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。若しくは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

本発明に係るポリゴンメッシュ編集システムＳの一実施形態を示す構成図である。 パーソナルコンピュータ４０の概略構成を示すブロック図である。 ＣＰＵ４４の機能構成を示す機能ブロック図である。 ポリゴンメッシュ５０と二次元画像６０とを簡略的に示す模式図である。 エッジ抽出処理を説明するための説明図である。 ソーベルフィルタの一例を示す説明図であって、（ａ）は水平方向フィルタの例を、（ｂ）は垂直方向フィルタの例をそれぞれ示している。 関数近似処理を説明するための説明図である。 （ａ）、（ｂ）は、ハフ変換処理を説明するためのグラフ図である。 （ａ）、（ｂ）は、ハフ変換処理によって傾き及び切片を求め、直線を検出する処理を説明するためのグラフ図である。 （ａ）〜（ｂ）は、指定関数が自由曲線である場合の曲線式のパラメータを最適化する手法の一例を示す説明図である。 ポリゴンメッシュ５０を、二次元画像６０へ投影させる処理を説明するための模式図である。 （ａ）、（ｂ）は、交点算出法によるエッジ対応点の算出方法を説明するための模式図である。 （ａ）、（ｂ）は、交点算出法における三次元座標値への変換処理の一例を示す説明図である。 （ａ）、（ｂ）は、サンプリング点設定法によるエッジ対応点の算出方法を説明するための模式図である。 （ａ）、（ｂ）は、サンプリング点設定法における三次元座標値への変換処理の一例を示す説明図である。 交点算出法が採用された場合のポリゴン編集ステップを説明するための模式図である。 サンプリング点設定法が採用された場合のポリゴン編集ステップを説明するための模式図である。 サンプリング点設定法が採用された場合のポリゴン編集ステップを説明するための模式図である。 自由曲面の生成処理を説明するための模式図である。 ポリゴンメッシュ編集システムＳの動作フローを示すフローチャートである。 エッジ対応点算出部４４４において交点算出法が実行される場合の動作を示すフローチャートである。 エッジ対応点算出部４４４においてサンプリング点設定法が実行される場合の動作を示すフローチャートである。

符号の説明

１０，１００ 対象物
２０ 三次元デジタイザ（三次元データ取得手段）
３０ デジタルカメラ（撮像手段）
４０ パーソナルコンピュータ
４２ ＲＡＭ（記憶手段）
４２１ 三次元データ
４２２ 二次元画像データ
４２３ 相関情報
４２４ 三次元モデルデータ
４３ ＲＯＭ
４４ ＣＰＵ
４４１ エッジ抽出部（エッジ抽出手段）
４４２ 近似式導出部（近似式導出手段）
４４３ 投影部
４４４ エッジ対応点算出部（エッジ対応点算出手段）
４４５ ポリゴンメッシュ編集部（ポリゴンエッジ生成手段）
４４６ 処理制御部
５０ ポリゴンメッシュ
５１ ポリゴンエッジ
６０ 二次元画像
Ｓ ポリゴンメッシュ編集システム

Claims (8)

1. 対象物について、相互に位置関係が関連付けられた状態で、ポリゴンメッシュで構成される三次元データ及び画像データを取得するステップと、
   前記画像データからエッジ情報を抽出し、該エッジ情報に基づくエッジ形状に対応するエッジ近似式を導出するステップと、
   前記ポリゴンメッシュを前記画像データに投影し、前記エッジ近似式情報と前記ポリゴンメッシュ情報とに基づいて、前記ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求めるステップと、
   前記エッジ対応点を含む新たなポリゴンエッジを前記ポリゴンメッシュ上に生成するステップと
   を含むことを特徴とするポリゴンメッシュ編集方法。
2. 前記エッジ対応点は、前記エッジ近似式と前記ポリゴンメッシュのポリゴンエッジとの交点として求められることを特徴とする請求項１に記載のポリゴンメッシュ編集方法。
3. 前記新たなポリゴンエッジは、前記交点同士を結ぶことで生成されることを特徴とする請求項２に記載のポリゴンメッシュ編集方法。
4. 前記エッジ対応点は、前記エッジ近似式にて表現される線上に任意にサンプリングされたサンプリング点として求められることを特徴とする請求項１に記載のポリゴンメッシュ編集方法。
5. 前記新たなポリゴンエッジは、
   前記サンプリング点同士を結ぶ直線を想定して該直線と既存のポリゴンエッジとの交点を求め、該交点と前記サンプリング点とを結ぶことで生成されることを特徴とする請求項４に記載のポリゴンメッシュ編集方法。
6. 対象物について、相互に位置関係が関連付けられた状態で取得されている、ポリゴンメッシュで構成される三次元データ及び画像データを記憶する記憶手段と、
   前記画像データからエッジ情報を抽出するエッジ抽出手段と、
   前記エッジ情報に基づくエッジ形状に対応するエッジ近似式を導出する近似式導出手段と、
   前記ポリゴンメッシュを前記画像データに投影し、前記エッジ近似式情報と前記ポリゴンメッシュ情報とに基づいて、前記ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求めるエッジ対応点算出手段と、
   前記エッジ対応点を含む新たなポリゴンエッジを前記ポリゴンメッシュ上に生成するポリゴンエッジ生成手段と
   を含むことを特徴とするポリゴンメッシュ編集装置。
7. 対象物について、ポリゴンメッシュで構成される三次元データを取得する三次元データ取得手段と、
   前記対象物を撮像してその画像データを取得する撮像手段と、
   前記三次元データと前記画像データとを、相互に位置関係が関連付けられた状態で記憶する記憶手段と、
   前記画像データからエッジ情報を抽出するエッジ抽出手段と、
   前記エッジ情報に基づくエッジ形状に対応するエッジ近似式を導出する近似式導出手段と、
   前記ポリゴンメッシュを前記画像データに投影し、前記エッジ近似式情報と前記ポリゴンメッシュ情報とに基づいて、前記ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求めるエッジ対応点算出手段と、
   前記エッジ対応点を含む新たなポリゴンエッジを前記ポリゴンメッシュ上に生成するポリゴンエッジ生成手段と
   を含むことを特徴とするポリゴンメッシュ編集システム。
8. ポリゴンメッシュで構成される三次元データ及び画像データについてのデータ処理が可能なコンピュータに、
   対象物について、相互に位置関係が関連付けられた状態で取得されている、ポリゴンメッシュで構成される三次元データ及び画像データを読み出すステップと、
   前記画像データからエッジ情報を抽出し、該エッジ情報に基づくエッジ形状に対応するエッジ近似式を導出するステップと、
   前記ポリゴンメッシュを前記画像データに投影し、前記エッジ近似式情報と前記ポリゴンメッシュ情報とに基づいて、前記ポリゴンメッシュの面上における前記エッジ形状に対応するエッジ対応点を求めるステップと、
   前記エッジ対応点を含む新たなポリゴンエッジを前記ポリゴンメッシュ上に生成するステップと
   を実行させることを特徴とするポリゴンメッシュ編集プログラム。

Images