JP5206366B2 - ３次元データ作成装置 - Google Patents

Description

本発明は、３次元データ作成装置に関する。本発明の産業上の利用分野としては、例えば、デジタルカメラ等で撮影した画像データを受信（入力）して胸像や銅像等の３次元人物像を作成するための加工用モデルデータや、ＣＧキャラクタ、アバータ用の３次元データの作成と、画像データの受付から３次元人物像加工用データ作成装置で作成した３次元データを用いたシステムを構築することである。

従来、胸像や銅像などを作成するには、対象者の周囲からの画像を撮影して、彫刻作家や鋳物師などに注文し、彫刻作家は写真と実物モデルとを元に、彫塑原型を手作業で作成し、それを元に石膏型取りし、石膏像を基に鋳物師が銅像などに加工し、着色加工して仕上げたりしていた。このような彫刻家による従来工法では、ユーザーにとってもはじっとしている必要があるなどの手間がかかり、彫刻家にとっても作成日数がかかるなど難点があった。また、彫刻家の技量やセンスに左右されるため、芸術性は高いがモデルに対する忠実度（リアリティ）は必ずしも高くなかった。

また、従来から、人体モデルの立体像やレリーフ像（浮彫像）を制作する方法として、モデルを被写体として写真撮影し、この写真（撮影画像）をもとに像を制作する方法が各種提案されている。
このような方法の例として、モデルを被写体として写真撮影し、または平行線スクリーン（縞模様）などをモデルに投影して写真撮影し、この写真像を、粘土など材料表面上に投影して、それをなぞるように、手動で彫塑加工して、像を制作する方法などが、提案されている（例えば、特許文献１参照）。同特許文献１には、被写物の周囲に、多数のカメラと投光機と多数の平行線を描いたスクリーンを配して、被写物に平行線スクリーンを投影したときの画像を多数のカメラで撮影した後、相似位置の投光機で原型の材料面上に、前記撮影された写真画像と前記平行線スクリーンを投影し、材料上でのスクリーンと写真上の線条が相重なるように、材料を加工する立体写真像製作方法が開示されている。

しかし、上述の立体写真像製作方法では、撮影や彫塑加工作業などを人手で行なうもので、彫刻家による方法よりはいくらか自動化されているものの、半手動式であるため、効率が悪く、加工精度や忠実度（リアリティ）に難点があった。

このような立体像（３次元像）作成の問題点を解消するものとして、自動撮影機などで撮影した周囲３６０度からの画像から３次元データを計測する技術がある（例えば、特許文献２参照）。同特許文献２には、被写物の周囲に、多数のカメラを配して、同一の被写物を撮影した後、前記カメラと相似位置の投光機で原型の材料面上に、前記カメラ撮影された写真画像を投影し、写真による材料上での線条が互いに重なるように、材料を加工する立体写真像製作方法が開示されている。

そして、このような技術に基づいて、自動切削機や３次元粉体プリンターなどで、胸像や銅像などを製作するサービスも実施されている。また、工業用の製品や部品の試作やサンプル作成には、最近では、光造形加工や、３Ｄの粉体プリンターなども用いられるようになってきた。

また、自動撮影機などで撮影した画像から３次元データを生成するソフトウェア技術がある（例えば非特許文献１参照）。

「デジタルカメラ画像から簡単に３次元データを生成するソフトウェア技術」 ＳＡＮＹＯ ＴＥＣＨＮＩＣＡＬ ＲＥＶＩＥＷ ＣＯＬ．３５ ＮＯ．１ ＪＵＮ．２００３ 特開昭５４−１１４２３１号公報 特開平０１−１１３７４４号公報

しかしながら、特許文献２に開示されているように、自動撮影機から３次元データを自動作成する場合でも、周囲３６０度から多数枚の画像やアクティブスキャン画像などを撮影する３６０度撮影台や専用撮影機を必要とするので、ユーザーは、専用撮影機の設置場所まで赴いて写真を撮影する必要があり、面倒であった。また、写真画像から３次元データを生成するには、専門家による調整作業や胸像加工用のデータ変換作業などが必要であった。

本発明の主たる目的は、同一被写体を任意の角度で撮影した複数の画像から自動的に３次元データを作成する３次元データ作成装置を提供することである。

上記課題を解決するために、請求項１に記載の発明では、立体像の標準モデルデータからなるデータベースと、複数枚の多視点画像の画像データを取得する画像データ取得手段と、３次元データ作成装置を、前記複数枚の多視点画像から３次元形状データを生成する３次元形状データ生成手段として機能させる３次元形状データ生成プログラムと、前記画像データ取得手段により取得した複数枚の画像データからそれぞれ人物領域を抽出し、抽出した人物領域から検出した顔の特徴部位と前記データベースの標準モデルデータとの対応点を取得してから、前記３次元形状データ生成プログラムにより３次元形状データを得る３次元データ作成制御手段と、前記３次元形状データを補正して顔の表情変化モデルデータを得る表情変化補正手段と、を備え、前記表情変化補正手段は、表情の種類と表情動作単位の組合せを対応付けた対応表データと、表情動作単位と顔の筋肉の収縮部位を対応付けた対応表データを含み、顔の表情を表情単位動作の組合せで表現し、各表上単位動作を対応する部位の顔の筋肉の収縮に変換することにより、喜怒哀楽を示している表情のデータを中立顔のデータに補正する、または中立顔のデータを喜怒哀楽を示している表情のデータに補正する、ことを特徴とする３次元データ作成装置を提供する。

また、請求項２に記載の発明では、前記画像データ取得手段は、取得する画像データの撮影位置や撮影方向等のカメラ情報が既知の場合にそのカメラ情報を取得するカメラ情報取得手段を含み、前記立体像の標準モデルデータは、人物の顔および頭部の標準モデルデータ、表情変化の標準モデルデータを含み、前記３次元データ作成制御手段は、抽出した人物領域から検出した顔の特徴部位と前記人物の顔の標準モデルデータとの対応点から表情データを取得し、表情データにおける顔の表情と前記標準モデルデータの表情とを比較して表情データにおける顔の表情の変化が閾値より大きい場合には前記表情変化のモデルデータに基づいて顔の表情を所定の表情に補正し、前記カメラ情報取得手段によりカメラ情報が既知の場合には３次元形状データ生成プログラムに含まれている第１の３次元形状データ生成プログラムにより前記人物の３次元形状データを生成し、カメラ情報が未知の場合には３次元形状データ生成プログラムに含まれている第２の３次元形状データ生成プログラムにより前記人物の３次元形状データを生成する、ことを特徴とする請求項１に記載の３次元データ作成装置を提供する。
また、請求項３に記載の発明では、前記第１の３次元形状データ生成プログラムは、３次元データ作成装置を、前記画像データ取得手段によって取得した複数枚の多視点画像の画像データと前記カメラ情報取得手段によって取得されたカメラ情報を元に３次元形状データを生成する３次元形状データ生成手段として機能することを特徴とする請求項１に記載の３次元データ作成装置を提供する。

また、請求項４に記載の発明では、前記第２の３次元形状データ生成プログラムは、３次元データ作成装置を、前記画像データ取得手段によって取得した複数枚の多視点画像の画像データを元に視体積交差法によって３次元形状データを生成する３次元形状データ生成手段として機能することを特徴とする請求項１に記載の３次元データ作成装置を提供する。

また、請求項５に記載の発明では、前記第２の３次元形状データ生成プログラムは、３次元データ作成装置を、前記画像データ取得手段によって取得した複数枚の多視点画像の画像データを元に因子分解法によって３次元形状データを生成する３次元形状データ生成手段として機能することを特徴とする請求項１に記載の３次元データ作成装置を提供する。

また、請求項６に記載の発明では、前記立体像の標準モデルデータは、人物の顔および頭部の標準モデルデータ、表情変化の標準モデルデータ、服装および髪型の標準モデルデータを含み、前記３次元データ作成制御手段は、抽出した人物領域から検出した顔の特徴部位を元に各画像データから頭部の形および顔貌の特徴を抽出し、前記人物の顔および頭部の標準モデルデータを検索して頭部の形および顔貌の特徴に最も類似する３次元モデルデータを取得し、取得した３次元モデルデータの曲面上に前記複数枚の多視点画像の画像データを射影変換して顔および頭部の３次元形状データを生成する、ことを特徴とする請求項１に記載の３次元データ作成装置を提供する。

本発明によれば、任意の角度（および任意の時期、服装、表情）で撮影された画像でも、同一人物が写った複数の画像があればそれらの画像に基づいて、自動的に３次元データを生成できるので、従来のように、周囲３６０度の所定角度から撮影したり、専用の撮影台や自動撮影機を必要とせず、わざわざ自動撮影機の設置場所や彫刻作家の所に赴かなくても、写真や画像データを送付や送信するだけで作成される３次元データに基づいてリアルな胸像やフィギュアを、簡単且つ安価に作成できる。

図１は、本発明の３次元データ作成装置を用いた３次元画像作成受託システム１００の構成例を示す図であり、３次元画像作成受託システム１００は３次元形状標準モデルデータ等の標準モデルデータを検索可能に格納した標準モデルデータベース３０（図４参照）を備え、任意の異なった角度で撮影した複数写真１０の画像データから３次元データを作成する３次元データ作成装置１（図３参照）、３次元データ作成装置１とインターネット等の通信ネットワーク４を介して接続するカメラ付き携帯電話５やデジタルカメラ６等の撮像端末や、３次元データ作成装置１で作成された３次元データを用いて３次元画像を表示するパソコン７等の表示端末、３次元データ作成装置１で作成された３次元データ（実施例では３次元モデル加工データ）を用いて３次元画像を自動的に製作する３次元像加工装置８（例えば、３次元自動切削加工機８−１、または光造形加工機８−２、または３次元粉体プリンター８−３）からなる。

図１で、３次元データ作成装置１、標準モデルデータベース３０、および３次元画像加工装置３は受託会社側の装置であり、カメラ付き携帯電話５やデジタルカメラ６等の撮像端末や、パソコン７等の表示端末、３次元像加工装置８は委託者側の装置である。

ここで、３次元自動切削加工機８−１、光造形加工機８−２、３次元粉体プリンター８−３は公知の３次元像加工装置であり、３次元自動切削加工機８−１は作成された３次元データを元に金属や固形樹脂、ガラス、木等を自動的に切削して胸像等の立体像を製作する装置であり、光造形加工機８−２は作成された３次元データを元に紫外線硬化樹脂を自動的にレーザ加工して立体像を製作する装置であり、３次元粉体プリンター８−３は作成された３次元データを元に粉体と接着剤の混合物をプリント技術により積層加工して立体像を製作する装置である。

なお、実施例では３次元像加工装置８−１，８−２、８−３、・・は３次元データ作成装置１から通信ネットワーク７を介してデータを受信するための通信制御を備えているものとしたが、パソコン等７等の通信制御機能を備えた端末に接続するように構成し、３次元データ作成装置１から通信ネットワーク７を介してパソコン等７等の通信制御機能を備えた端末が受信した３次元データを用いて３次元画像を自動的に製作するようにしてもよい。

また、図１に示すように、３次元データ作成装置１に３次元像加工装置３（例えば、３次元像加工装置８−１，８−２、８−３とほぼ同様な機能を有する３次元自動切削加工機３−１、または光造形加工機３−２、または３次元粉体プリンター３−３）を接続し、作成された３次元データを用いて３次元画像を自動的に製作するように構成してもよい。

図２は、図１に示した３次元画像作成受託システム１００における３次元画像の受託作成プロセスを示すプロセスチャートである。図２で、委託者は、撮像端末５または６で撮影した多視点カメラ画像データ（同一人物を同じ撮影日時、同じ場所で、任意の異なった角度で撮影した複数の画像データ（図７（ｂ）参照）または同一人物を異なる撮影日時、異なる場所で撮影した異なる複数の画像データ（図７（ａ）参照）と、納入日、委託内容、作成委託するデータの種類、納入条件等の委託条件を、インターネット４を介して３次元データ作成装置１に送信する（プロセスＰ１）。なお、このプロセス１で画像データを送信する代わりに同一人物を任意の異なった角度で撮影した複数の写真または同一人物の複数の写真（撮影時期は異なっていてもよい）１０や人物画を郵送等の方法で委託者に渡すようにしてもよい。

３次元データ作成装置１は、画像データを受信すると受信した委託条件をメモリに登録すると共に、委託者の認証、課金処理等を行ない、受信した画像データをＲＡＭ等の一時記憶メモリに記憶する（プロセスＰ２）。
なお、プロセスＰ１で郵送等の方法で委託者から写真や人物画等を受け取った場合は、このプロセス２で受託者側のオペレータの指示操作に基づいて３次元データ作成装置１の画像入力処理部１４で写真等の読取および画像データ作成を行うと共に受付登録、委託者の認証、課金処理を行ない、画像データをＲＡＭ等の一時記憶メモリに記憶する。

次に、３次元データ作成装置１は、多視点カメラ画像データからそれぞれ顔領域を検出して、顔の大きさや向き、回転などを正規化した後、「Lucas-Kanade法（勾配法）」や、「Kanade-Lucas-Tomasiトラッカー」などにより、特徴点の移動や相違を追跡し、対応点を探索し、各点の移動、距離の深さ、カメラ位置、エッジモーションなどを解析して、カメラの位置や動き情報を求めて、任意の多視点画像とカメラ情報から形状データを求める（図１２参照）（プロセスＰ３）。

また、プロセスＰ３として、「射影グリッド空間における視体積交差法」などを用いて、３次元ボクセル（立体画素）空間を多数の立体格子に分割し、異なる視点の各画像におけるシルエット画像を３次元ボクセル空間に逆投影して（すなわち、各ボクセルが各画像に投影される場合にそのシルエットに含まれるか否かを判断して）、顔および頭部の３次元データを生成してもよい（図１３参照）。

また、プロセスＰ３として、複数画像における対応点から、「因子分解法」などにより、（計測行列）＝（移動行列）×（形状行列）における（移動行列）と（形状行列）とを同時に求め、（形状行列）から顔および頭部の３次元データを生成する方法等、他の方法を用いても良い（図１４参照）。

３次元データ作成装置１は、プロセス２で登録した委託条件を調べ（プロセスＰ４）、３次元データの作成の委託の場合は通信ネットワーク４を介して委託者のパソコン５または携帯電話６に作成した３次元モデルデータを送信すると共に請求書を発行する（プロセスＰ５）。

委託条件が加工用３次元モデルデータの作成または立体像（または原型）の製作の場合は、加工装置の種類に応じた加工用３次元モデルデータを作成し、委託条件が加工用３次元モデルデータの納入の場合は納入条件に基づいて通信ネットワーク４を介して委託者の３次元像加工装置８（またはそれを接続するコンピュータ）に作成した加工用３次元モデルデータを送信すると共に請求書を発行する。なお、納入条件がＣＤ等の記録媒体納入の場合は作成した３次元モデルデータをＣＤに記録すると共に請求書を発行する（プロセスＰ６）。

また、委託条件が立体像（または原型）の製作の場合は、作成した加工用３次元モデルデータを受託者側の３次元像加工装置３−１、または３−２、または３−３に送信して加工を行わせ、加工が終了すると請求書を発行する（プロセス７）。

図３は本発明の３次元データ作成装置の構成例を示す図である。３次元データ作成装置１は、パソコン程度の処理能力を有するコンピュータからなり、３次元データ作成装置１全体の動作制御を行うと共に、３次元データ作成時には３次元データ作成プログラム（後述）に基づいて３次元データ作成処理制御を行うＣＰＵ１１、プログラムやデータを一時記憶したり作業領域として用いるＲＡＭ等の一時記憶メモリ１２、インターネット等の通信ネットワーク４を介して画像データや撮影位置や方向等のカメラ情報等のデータの送受信を行う送受信処理部１３、写真やデザイン画等の画像を読み取って画像データを作成する画像入力処理部１４、各種プログラム２１〜２３や顔形標準モデルデータベース３０や、委託者から受信した委託条件や課金情報、作成した３次元画像データ等を記録した保存メモリ２、操作用のキーボード１５、表示部１６および、図示していないが、作成した３次元データをＣＤ等の記録媒体に記録可能な媒体記録装置を備えている。なお、画像入力処理部１４、表示部１６は必須ではない。

また、３次元データ作成装置１に３次元像加工装置３−１、３−２、３−３等の３次元像加工装置３や３次元像加工装置８−１、８−２、８−３等の３次元像加工装置８に作成した３次元データを送信するためのインターフェイス１７を備えるようにしてもよい。

図４は３次元標準モデルデータベース３０の構成例を示す図であり、３次元標準モデルデータベース３０は、顔（人物の顔や頭部）の３次元標準モデルデータ３１や、表情変化の３次元標準モデルデータ３２、および服装、髪型等の３次元モデルデータ３３を体系的かつ検索可能に格納してなる。図３の例では３次元標準モデルデータベース３０を保存メモリ２に格納するようにしたが、３次元標準モデルデータベース３０を格納したメモリと保存メモリ２は別体でもよい。

顔の３次元標準モデルデータ３１は、同一人物を任意の角度で撮影した複数枚の画像（任意の多視点画像）データの顔領域から得られる顔や頭部の特徴点から導かれる立体形状に対応する顔の３次元標準モデルの形状を構成する諸元（特徴点およびそのモデルの形状を構成する形状データ（例えば、正規化された座標等からなる形状行列））である。なお、顔や頭部の立体形状に対応する顔の３次元標準モデルは一つとは限られない。顔の３次元標準モデルデータ３１には、通常、顔や頭部の特徴点の組ごとに複数の３次元モデルが対応付けられている。図８に顔の３次元標準モデルの一例を示す。

表情変化の標準モデルデータ３２は、顔の表情表現の要素（例えば、目の開閉、大きさ、眼球の位置、口の開閉、口元の形状、鼻のふくらみ等）からなる表情と表情形成（例えば、笑い、怒り、安堵、喜び、悲しみ等の大きさを引き起こす筋肉部位とその収縮の度合いを示す指数）を対応付けたデータからなる。顔の表情変化の標準モデルデータ３２は３次元モデルデータ作成時に３次元標準モデルデータ３１を元に得た人物像の表情を補正若しくは補完するために用いられる。図９に、表情動作と表情変化を引き起こす表情筋などの筋肉の収縮部位等を対応付けた対応表データ３２−１および表情（表情データ）とＡＵの組み合わせ表データ３２−２からなる顔の表情変化の標準モデルデータの一例を示す。

服装、髪型等の標準モデルデータ３３は、図示していないが、さまざまな服装、髪型等の３次元データを体系的に登録してなる。服装、髪型等の標準モデルデータ３３は、３次元データ作成時に受信（入力）した画像の胴部や頭部から抽出した服装や髪の形状と登録されている標準モデルデータとの比較により最も類似する服装や髪型のモデルデータが選定され、３次元標準モデルデータ３１を元に得た人物像を補正若しくは補完するために用いられる。

図５は保存メモリ２に格納されているプログラムの例を示す図であり、保存メモリ２のプログラム格納エリア２０には、図５（ａ）に示すように、３次元データ作成装置１全体の動作を制御するための制御プログラム（例えば、ＯＳ）、通信ネットワーク４を介して端末５、６、７、・・・等とのデータ（電子メール、画像データ、制御データ等）の送受信を制御する通信制御プログラム等の制御プログラム群２１、委託者からの３次元データの受託管理処理（委託受付処理、認証処理、課金処理、請求書発行処理等）を行う受託管理プログラム群２２、任意の角度で撮影した同一人物の複数の画像の画像データ（以下、「複数の画像データ」と記す）から３次元データを作成する３次元データ作成プログラム２３、加工用３次元モデルデータ作成プログラム２４、３次元データ出力プログラム２５等が格納されている。

なお、制御プログラム群２１、受託管理プログラム群２２、および３次元データ作成プログラム２３等のプログラムは保存メモリ２とは別体のメモリに保存してもよく、ＲＡＭ１２に常駐しているものであってもよい。また、受託管理プログラム群２２、および３次元データ作成プログラム２３、加工用３次元モデルデータ作成プログラム２４、３次元データ出力プログラム２５等のプログラムは、３次元データ作成依頼のある都度、通信ネットワーク４を介して図示しないサーバからダウンロードされるものであってもよい。

３次元データ作成プログラム２３は図２のステップＰ３に相当する動作を３次元データ作成装置１に実行させるプログラムであり、図２のプロセスＰ２で受信した複数の画像データ（若しくは画像入力部１４で読み取った写真、人物画等から生成された画像データ）の正規化等の前処理を行ってから人物の顔の特徴部位を検出し、検出された特徴に基づいて各画像から人物の領域を抽出する人物領域抽出プログラム２３１、抽出された各画像の人物領域の顔画像から所定の特徴点を検出し、標準モデルデータベース３０に格納されている顔の３次元標準モデルデータ３１の特徴点との対応付けを行う特徴点対応付プログラム２３２、顔の表情の違いや変化が所定値より大きい場合に（中立顔やすまし顔、微笑顔などの）所定の表情の顔画像になるよう顔の表情等の変化の補正を行う表情変化の補正処理プログラム２３３、所定の方法により人物の３次元形状データを生成する３次元形状データ生成プログラム２３４等のサブプログラムからなる。

加工用３次元モデルデータ作成プログラム２４は、図２のステップＰ６に相当する動作を３次元データ作成装置１に実行させるプログラムであり、３次元データ作成プログラム２３により作成された３次元形状データから３次元像加工装置の種類に応じた加工用３次元モデルデータを作成する。

また、３次元データ出力プログラム２５は、図２のステップＰ５に相当する動作を３次元データ作成装置１に実行させるプログラムであり、加工用３次元モデルデータ作成プログラム２３５により作成された３次元データや３次元モデルデータを委託者の指定する方法で出力（通信ネットワーク４を介した委託者端末への送信、ＣＤへの記録、受託者側の３次元像加工処理用のデータ出力）する。

なお、３次元データ作成プログラム２３の変形例として、図５（ｂ）に示すように、表情変化の補正処理プログラム２３３および３次元形状データ生成プログラム２３４を特徴点対応付けプログラム２３２によって対応付けされた対応点から対象者の頭部の形および顔貌の特徴点を抽出する特徴点抽出プログラム２３６、顔の３次元標準モデルデータ３１を検索し、特徴点抽出プログラム２３６によって抽出された対象者の頭部や顔の特徴点に最も類似する３次元モデルデータを得る３次元モデルデータ検索プログラム２３７、３次元モデルデータ検索プログラム２３７によって検索されたモデルの３次元形状（曲面）上に射影変換して顔および頭部の３次元データを生成する３次元データ生成プログラム２３８、および表情変化の標準モデルデータ３２や服装・髪型等の標準モデルデータ３３を元に顔の表情の変化や服装・髪型等の補正を行う表情変化等の補正処理プログラム２３９に代えてもよい（図１５参照）。

図６は、本発明に基づく３次元形状データ作成過程の説明図である。３次元形状データ生成の際、同一人物が写った任意の複数枚の画像を用いる場合に、同一日時における同一被写体の撮影画像の代りに、同一人物だが、異なる日時や場所の画像を用いる場合には、同一人物でも、角度や向きだけでなく、髪形や服装、化粧などが変わっていたり、表情が異なっていたりする場合が生じるので、実施例では表情の変化が著しい場合に「無表情」または「微笑顔」等の「中立顔」の画像に補正するように構成したが、髪形や服装、化粧などが変わっていた場合にも同様に（例えば、標準的な服装や髪型に）補正することもできる。

図６で、（ａ）は同一人物を撮影した（撮影日時および撮影場所が異なる）複数枚の画像を示し、（ｂ）は（ａ）に示した各画像の表情の変化の補正処理を施した画像を示し、（ｃ）は対象物（人物）を多視点、つまり、任意の異なる視点（位置）から撮影した（撮影日時および撮影場所が同じ複数枚の画像）を示す。また、（ｄ）は、上記（ｂ）または（ｄ）の各画像から得る対象人物の顔部分の多視点画像データを示し、（ｅ）は（ｄ）の多視点画像データから生成される３次元形状データの例を示す。

つまり、（ａ）のように同一人物の撮影画像であっても、撮影日時および撮影場所が異なると各画像の表情等が異なる場合があるので、（ｂ）のように表情等の変化の補正処理（図７のステップＳ６、Ｓ７、図１０参照）を施してから、（ｄ）のような多視点画像データを得て（ｅ）のような３次元形状データを生成する（図７のステップＳ９、図１２〜図１４参照）。また、（ｃ）のように同一人物を同じ撮影日時および撮影場所で角度を代えて撮影した複数の画像では表情等の変化は小さいので、（ｂ）のように表情等の変化の補正処理なしに（ｄ）のような多視点画像データを得て（ｅ）のような３次元形状データを生成する。

図７は、３次元データ作成装置１の３次元データ作成動作の一実施例を示すフローチャートである。
３次元データ作成装置１のＣＰＵ１１は、３次元データ作成プログラム２３により図７のステップＳ２〜Ｓ９に示すような動作（図２のステップＰ３の動作に相当する機能）を実行し加工用３次元モデルデータ作成プログラム２４により、図７のステップＳ１０〜Ｓ１１に示すような動作（図２のステップＰ５の動作に相当する機能）を実行し、３次元データ出力プログラム２５により、図７のステップＳ１０〜Ｓ１３に示すような動作（図２のステップＰ６の動作に相当する機能）を実行する。つまり、３次元データ作成装置１の動作は制御プログラム群２１の制御下でＣＰＵ２１によって保存メモリ２から取り出され、ＲＡＭ１２の実行プログラム領域に記憶される受託管理プログラム群２２、３次元データ作成プログラム２３、加工用３次元モデルデータ作成プログラム２４、および３次元データ出力プログラム２５に基づいて実行される。

ＣＰＵ１１は、委託者の撮像端末から任意の多視点画像データ（およびカメラ情報を含む）撮影情報若しくは連続動画像データを受信すると受信した画像データをＲＡＭ１２の所定領域に記憶する。なお、委託者から郵送等の手段により３次元データ作成委託データを受け取った場合は、画像入力処理部１４で各画像を読み取ってそれぞれの画像データを生成し、生成した画像データをＲＡＭ１２の所定領域に記憶する（ステップＳ１）。

次に、ＣＰＵ１１は、人物領域抽出プログラム２３１により、ＲＡＭ１２の所定領域に記憶されている各画像データの傾き補正、ノイズ除去、鮮鋭化処理、および画像サイズ等を合わせる正規化等の前処理を行う（ステップＳ２）。傾き補正、ノイズ除去、鮮鋭化処理、および正規化等の前処理は公知の画像処理技術を適用することができる。

ＣＰＵ１１は、人物領域抽出プログラム２３１により、ＲＡＭ１２の所定領域に記憶されている各画像データからそれぞれ人物の顔の特徴部位を検出し（ステップＳ３）、検出された特徴に基づいて各画像から人物の領域を抽出する（ステップＳ４）。
多視点画像からの人物の顔の特徴部位の抽出についても公知の画像処理技術、例えば、「Lucas-Kanade法（勾配法）」や、「Kanade-Lucas-Tomasiトラッカー法」などを摘要して特徴点の移動や相違を追跡し、対応点を探索することによって行うことができる。

ここで、同一人物が写った任意の複数枚の画像を用いる場合に、同一日時における同一被写体の撮影画像の代りに、同一人物だが、異なる日時や場所の画像を用いる場合には、同一人物でも、角度や向きだけでなく、髪形や服装、化粧などが変わっていたり、表情が異なっていたりする場合が生じる。ＣＰＵ１１は、特徴点対応付プログラム２３２により、ステップＳ３、Ｓ４で異なる複数枚の多視点画像から検出された顔の特徴と、標準モデルデータベース３０に格納されている顔の３次元標準モデルデータ３１の特徴点との対応付けを行って、顔の表情データを検出する（ステップＳ５）。

次に、ＣＰＵ１１は、表情変化の補正処理プログラム２３３により、多視点画像のうち、当該視点画像の顔の特徴や表情の違いや変化が顔の３次元標準モデルデータ３１における顔の特徴や表情と比べて所定の閾値より大きい場合、または、表情変化の補正機能がＯＮ設定されている場合にはステップＳ７に進み、そうでない場合はステップＳ８に進む（ステップＳ６）。

表情変化の補正処理プログラム２３３は、当該視点の画像における人物の顔領域の画像に対して、（中立顔やすまし顔、微笑顔などの）所定の表情の顔画像になるよう顔の表情等の変化の補正処理（図１０参照）を施してからステップＳ９に進む（ステップＳ７）。ステップＳ７の顔の表情の変化の補正処理動作により、下記ステップＳ９で行う３次元形状データ生成処理により、より精度の高い３次元形状データを生成することができる。

ＣＰＵ１１は、処理対称の複数枚の多視点画像の撮影位置や撮影方向などのカメラ情報が既知か否かを調べ（ステップＳ８）、既知の場合は３次元形状データ作成による、図１２に示すような複数枚の多視点カメラ画像からの３次元形状データ作成動作により３次元形状データを生成してステップＳ１０に進み、撮影情報が既知でない場合は図１４に示すような因子分解法による３次元形状データ作成動作により３次元形状データを生成してステップＳ１０に進む（ステップＳ９）。なお、撮影情報が既知でない場合に、図１３に示すような視体積交差法による３次元形状データ作成動作により３次元形状データを生成するようにしてもよい。

次に、ＣＰＵ１１は、加工用３次元モデルデータ作成プログラム２４により、図２のプロセス２で登録した委託条件を調べ、委託条件がＣＧキャラクタ、アバータ用３Ｄモデルモデルデータ等の３次元データ作成依頼の場合はステップＳ１１に進み、委託条件が加工用３次元モデルデータの作成、または立体像（または原型）の製作の場合はステップＳ１２に進む（ステップＳ１０）。

委託条件がＣＧキャラクタ、アバータ用３Ｄモデルモデルデータ等の３次元データ作成依頼の場合は、委託者のパソコン５または携帯電話６に作成したＣＧキャラクタ、アバータ用３Ｄモデルモデルデータを作成してネットワーク４を介して送信すると共に受託管理プログラム群２２に含まれている請求書発行プログラムにより請求書を発行する（ステップＳ１１）。

委託条件が加工用３次元モデルデータの作成、または立体像（または原型）の製作の場合は、ＣＰＵ１１は、加工用モデルデータ作成プログラム２３６により、加工装置の種類に応じた加工用３次元モデルデータを作成し、ステップＳ１３に進む（ステップＳ１２）。

委託条件が立体像（または原型）の製作の場合は（図２のプロセスＰ６で立体像（または原型）の製作加工を行わせるために）作成した加工用３次元モデルデータを受託者側の３次元像加工装置３−１、または３−２、または３−３に送信する。また、加工用３次元モデルデータの納入の場合は（図２のプロセスＰ５に示したように）納入条件に基づいて通信ネットワーク４を介して委託者の３次元像加工装置８（またはそれを接続するコンピュータ）に作成した加工用３次元モデルデータを送信すると共に受託管理プログラム群２２に含まれている請求書発行プログラムにより請求書を発行する。なお、納入条件がＣＤ等の記録媒体納入の場合は作成した３次元モデルデータをＣＤに記録すると共に請求書を発行する（ステップＳ１３）。

上述したように、本発明の３次元データ作成装置によれば、任意の角度（および任意の時期、服装、表情）で撮影された画像でも、同一人物が写った複数の画像があればそれらの画像に基づいて、自動的に３次元データを生成できるので、従来のように、周囲３６０度の所定角度から撮影したり、専用の撮影台や自動撮影機を必要とせず、わざわざ自動撮影機の設置場所や彫刻作家の所に赴かなくても、写真や画像データを送付や送信するだけで作成される３次元データに基づいてリアルな胸像やフィギュアを、簡単且つ安価に作成できる。また、インターネット等の通信ネットワークや電子メールを利用して、パソコンやカメラ付携帯電話から画像を送信して胸像やフィギュアを発注することもできる。

図８は、顔の３次元標準モデルおよび表情変化の補正後の３次元モデルの例を示す図であり、（ａ）は顔の標準モデルデータ３１から生成される３次元標準モデルの一例を示し、（ｂ）は、（ａ）に示した次元標準モデルに図９に示すような顔の括約筋と線形筋モデルによって補正された顔の表情変化モデルデータ３２の例を示す。

図９は、顔の表情変化の標準モデルデータ３２の一実施例を示す図であり、（ａ）はＡＵ番号、ＡＵ（Action Unit、表情動作単位）とＡＵを引き起こす表情筋などの筋肉の収縮部位等を対応付けた表情変化と筋肉収縮対応表データ３２−１を示し、（ｂ）は表情（表情データ）とＡＵの組み合わせ表データ３２−２を示す。

図１０は、表情変化の補正処理プログラムによる顔画像の表情の変化の補正処理動作の一実施例を示すフローチャートであり、図６、図８、図９を元に説明する。
図１０において、図６のステップＳ５で検出した顔の表情データを、表情とＡＵの組み合わせ表データ３２−２の表情データと比較して、ＡＵ（表情動作単位）の組み合わせを得る。つまり、検出された顔の表情を、例えば、「驚き」＝ＡＵ１（内眉を上げる）＋ＡＵ２（外眉を上げる）＋ＡＵ５（上瞼を上げる）＋ＡＵ２６（口を開ける）といった表情動作単位ＡＵで表現する（ステップＳ７−１）。

次に、各ＡＵを表情変化と筋肉収縮対応表データ３２−１を用いて対応する表情筋の収縮に変換する。例えば、ＡＵ（ｉ）→内側前頭筋（０．１４）＋外側前頭筋（０．１７）＋眼瞼部眼輪筋（−０．４８）といったように表情筋の収縮に変換する（ステップＳ７−２）。

そして、各表情に対応する、ステップＳ７−２で得た表情筋を収縮させた３次元顔画像をＣＧ描画再生して３次元画像データを取得し、図７のステップＳ８に進む（ステップＳ７−３）。

図１１は、表情変化の補正処理プログラムによる顔の表情等の補正の説明図であり、図１０の表情変化の補正処理プログラム２３３（または２３５）では、（ａ）〜（ｆ）に示すような、「喜び」、「驚き」、「悲しみ」、「恐れ」、「嫌悪」、「怒り」といったような喜怒哀楽を示している表情の画像を、補正して、（ｇ）に示す「無表情」または「微笑顔」等の「中立顔」の画像とする。また、逆に、（ｇ）に示す「無表情」または「微笑顔」等の「中立顔」の画像から（ａ）〜（ｆ）に示すいずれかの表情の画像に補正することもできる。

＜複数枚のカメラ画像からの３次元形状データの作成方法＞：
特に、複数枚の撮影画像から３次元形状データを生成する方法について、以下に詳しく説明する。

（Ａ）：画素座標、カメラ座標、画像座標；
カメラを基準とした３次元空間座標を「カメラ（Camera）座標」と、２次元画像を表現する「画像（Image）座標」とを、カメラ座標系（X,Y,Z）の原点（０，０，０）を光軸上のカメラ中心とし、撮像画像面に平行なX軸、Y軸と光軸方向のZ軸との正規直交座標系として設定すると、カメラ座標が（X,Y,Z）^Tである３次元空間の点と、その透視射影として得られる２次元画像の画像座標（ｘ、ｙ）^Tには、次式が成り立つ。
ｘ＝ｌ×X／Z、ｙ＝ｌ×Y／Z（ただし、ｌ：カメラの焦点距離） ・・・（１）

ここで、透視射影による３次元空間の像を記述する「画像（Image）座標」と、モニター表示画面などの「画素（Pixel）座標」の間には、個々のカメラに固有の１対１の写像関係がある。複数の画像における点対応からカメラ運動と相対的位置関係（３次元形状）とを復元する場合には、点対応は、まず「画像座標」で与えることができるので、全てのカメラに対して統一的に扱うためには、この「画素（Pixel）座標」と「画像（Image）座標」間の１対１の写像関係を求めること（「カメラキャリブレーション」と呼ばれる）ができれば、「画素（Pixel）座標」と「画像（Image）座標」とを自由に変換できることになる。

カメラモデルを表現する透視射影において、複数の画像における点対応からカメラ運動と３次元形状とを求める問題は、非線形写像の逆問題となるので、非線形最適化問題に帰着し、非線形最適化問題はノイズに敏感で、初期値依存性が高く、数値計算が不安定であるなど、問題があるため、安定して３次元形状を復元することは難しい。
そこで、非特許文献１にあるように、カメラの位置や姿勢、視点方向などに関する外部情報、すなわち、カメラ運動情報を入力するか、参照マーカーなど人工的特徴を付加することによって、カメラ運動情報を求めやすくする方法がある。

あるいは、特開２００４−２２０３１２号公報や、後述の視体積交差法の説明にあるように）、複数の多視点カメラ（または視点）の中から、なるべく直交する関係の２台のカメラ（または視点）を基底カメラとして選択して、基底カメラによる射影グリッド空間を用いて、複数のカメラ間または視点間の相互関係情報を付加するか、制限して、例えば、カメラ間のエピポーラ幾何関係を表す基底行列Ｆ（Fundamental）行列等を用いて、射影グリッド空間上の点（ボクセル）を各カメラ画像へ逆投影し、各カメラ画像のシルエット画像において、各点（ボクセル）が対象物の内部に存在するか外部かを判定して、３次元形状データを復元する方法がある。

あるいは、金出武雄ほか、「因子分解法による物体形状とカメラ運動の復元」、電子通信学会論文誌、J76−D−II、No.8（19930825）、pp．1497−1505や、藤木 淳（産総研）、「点対応を用いた複数の２次元画像からの３次元形状復元−因子分解法の数理−」、統計数理、第４９巻第１号、pp77〜107、2001年にあるように、「因子分解法」などにより、理想的カメラモデルである透視射影をアフィン射影に近似して、正射影モデル等のアフィン近似射影に基づいた複数の２次元画像からカメラ運動情報と３次元形状情報とを同時に復元する手法などを用いることができる。

２次元画像がアフィン近似射影で得られると仮定すると、複数のアフィン近似射影画像における点対応からのカメラ運動と３次元形状の復元問題は、線形写像の逆問題となるので、復元の精度は劣るが、非線形写像の場合に比べ数値計算上安定して解くことができるようになる。

Ｂ：複数の画像間における点の対応付け；
まず、複数の画像間における点特徴（輝度や色、輪郭形状、テクスチャーなど）の対応付けを行なう。３次元空間では遠く離れた点も、２次元画像では近くに投影されることがある。２次元画像におけるわずかな誤差が３次元空間での認識や理解に重大な影響を及ぼすので、複数の画像間における点の対応を精度良く行なう必要がある。

複数の画像間における特徴点の対応付けには、「Lucas-Kanade法（勾配法）」（1981年）や、「Kanade-Lucas-Tomasiトラッカー」（Shi and Tomasi、1994年）などの手法を用いることができる。時間的に離れた画像を事前知識無しに対応付けるのは難しいが、複数の点で対応が既知であれば、同一の３次元空間を撮影した多視点の複数画像間の幾何的な関係（エピポーラ幾何学）を用いて、他の対応点の存在可能な領域を絞りこむことができる。
例えば、複数のフレーム画像間における対応や追跡には、一般に、見え方（局所画像）、または、エッジ（輪郭）、色ヒストグラムなどの画像特徴の類似（相関）や相違に基づいて、隣接する他フレーム画像との間で、最も類似する領域を探索し、探索された点へ対象物が移動したと判定する方法（ブロックマッチング）が良く用いられる。

つまり、座標ｘ＝（ｘ，ｙ）における画素値I（x）毎に、移動量（変位）ｄ＝（ｄ_x，ｄ_y）を逐次変えながら、次式であらわされるような、
差分二乗和（二乗誤差）ε（ｄ）＝Σ｛I_t（ｘ＋ｄ）−I_t-1（ｘ）｝²、もしくは、
差分絶対値和ε（ｄ）＝Σ｜I_t（ｘ−ｄ）−I_t-1（ｘ）｜、もしくは、
相互相関γ（ｄ）＝Σ｛I_t（ｘ−ｄ）−I^￣ _t｝｛I_t-1（ｘ）−I^￣ _t-1｝／｜I_t（ｘ−ｄ）−I^￣ _t｜｜I_t-1（ｘ）−I^￣ _t-1｜ ・・・（２）
などを計算し、その中から、
相違度最小d＾=min_d｛ε（ｄ）｝、または、類似度（相関）最大d＾=max_d｛γ（ｄ）｝
・・・（３）
となる変位ｄを求めれば良い。しかし、これを全探索すると、計算量が多くなったり、変位量が離散的で連続しないなどの難点があった。局所画像を回転や拡大縮小してマッチングする場合には、さらに膨大な計算が必要になる。

このとき、「Lucas-Kanade法（勾配法）」では、暫定解の周りの勾配（傾き）にもとづいて、山登り（または山降り）することにより、極大値（または極小値）を効率よく求めることができる。すなわち、差分二乗和（二乗誤差、SSD）の勾配を、
ε＝Σ｛I（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）−I（ｘ，ｙ，ｔ）｝² ・・・（４）
とすると、この第１項のテーラー展開は、
I（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）
＝I（ｘ，ｙ，ｔ）＋δｘ｛∂I（ｘ，ｙ，ｔ）/δｘ｝＋δｙ｛∂I（ｘ，ｙ，ｔ）/δｙ｝＋δｔ｛∂I（ｘ，ｙ，ｔ）/δｔ｝＋・・・
このとき、２次以降の項を、変位が微小であるとして無視できる（ｘ周辺で線形近似できる）とすると、
δｘ＝ｄ_x、δｙ＝ｄ_y、δｔ＝１として、
ε＝Σ｛ｄ_xI_x（ｘ，ｙ，ｔ）＋ｄ_yI_y（ｘ，ｙ，ｔ）＋I_t（ｘ，ｙ，ｔ）｝²
・・・（５）
ただし、上式で、I_x(x,y,t)＝∂I(x,y,t)/δｘ、I_y(x,y,t)＝∂I(x,y,t)/δｙ、I_t(x,y,t)＝∂I(x,y,t)/δｔ
相違度最小の変位d＾=min_dεは、∂ε/∂ｄ_x＝0、∂ε/∂ｄ_y＝0となるｄを求めれば良いので、
∂ε/∂ｄ_x＝Σ２I_x（ｘ，ｙ，ｔ）｛ｄ_xI_x（ｘ，ｙ，ｔ）＋ｄ_yI_y（ｘ，ｙ，ｔ）＋I_t（ｘ，ｙ，ｔ）｝＝0、
∂ε/∂ｄ_y＝Σ２I_y（ｘ，ｙ，ｔ）｛ｄ_xI_x（ｘ，ｙ，ｔ）＋ｄ_yI_y（ｘ，ｙ，ｔ）＋I_t（ｘ，ｙ，ｔ）｝＝0 ・・・（６）
ここで、

・・・（７）
とおくと、A^TAd−A^Tｂ＝0 → A^TAd＝A^Tｂ

・・・（８）
となるので、A^TAが正則なとき、d＾は解を持ち、
d＾＝min_dε＝（A^TA）^-1 A^Tｂ ・・・（９）
となり、全探索しなくても、相違度最小となる変位量を求めることができる。
特徴点検出と上記のような追跡法とを統合した手法は、「Kanade-Lucas-Tomasi（KLT）トラッカー」と呼ばれる。

Ｃ：３次元形状データの生成方法
（Ｃ−１）：カメラ位置情報や参照マーカーを用いる方法；
例えば、全周囲３６０度からの多視点角度から、または、周囲に配した複数台のカメラから撮影した画像データを入力して、対象物の３次元形状データを作成するソフトウェアが各種開発されている。
これらでは、予めカメラを所定の位置や角度に配して撮影したカメラ位置情報が既知のカメラで撮影された複数枚の多視点画像を用いるか、または、例えば、非特許文献１などにあるように、回転台に印刷された参照マーカーと、回転台に載せた対象物体とを一緒に撮影した複数枚のカメラ画像から、撮影時のカメラ位置を自動計算する。

また、得られたカメラ位置情報と物体画像とから、形状とテクスチャの３次元情報を自動計算し、その３次元情報をユーザーが適宜修正して、デジタルカメラで手持ち撮影した画像から、３次元データを生成する。対象物を撮影した視点の異なる１０〜２０枚程度以上のJPEGフォーマットの撮影画像データを入力して、カメラ位置の計算、形状情報の生成などの一連の処理を実行して、３次元形状データを作成する（カメラ位置の計算については次に述べる図１２のステップＳ９−１−１の説明参照、形状情報の生成についてはステップＳ９−１−２の説明参照、３次元形状データの出力についてはステップＳ９−１−３の説明参照）。

図１２は、図７のステップＳ９における複数枚の多視点カメラ画像からの３次元形状データ作成動作の一実施例を示す詳細フローチャートである。
図７のステップＳ８でカメラ情報が既知の場合には、図１２で、ＣＰＵ１１は、座標系におけるカメラの３次元位置パラメータ（回転成分α，β，γと平行移動成分（x,y,z）をHough変換などに基づいてカメラ位置を計算する。つまり、撮影された画像から、参照マーカーを抽出し、抽出された参照マーカーの任意の３点と、あらかじめ登録されている参照マーカー中の任意の３点の位置関係を組合せて決定される連立方程式を解くことにより、位置パラメータを計算する（ステップＳ９−１−１）。

次に、所定の背景の色情報を用いて物体と背景を分離し、対象物のシルエット（輪郭）の抽出を行い（ステップＳ９−１−２）、カメラの位置と対象物の２次元輪郭情報に基づいて、３次元ボクセル空間へのボーティング（投票）処理により、３次元形状を再構成し、得られたボクセルデータから、ポリゴン（多角形）データへ変換し、三角ポリゴン表現形式やＳＳＦ形式など、３次元形状データとして出力し、図７のステップＳ１０に進む（ステップＳ９−１−３）。なお、VRMLやXVL、IGES、STL、PLYなど、３次元CADや３次元CGで用いられている出力形式に準拠した３次元形状データ形式に変換して出力してもよい。

ここでHough変換（ハフ変換、ヒュー変換）は、エッジ画像から直線を求める問題等において多く用いられる方法であり、エッジ画像中の各々の点（x,y）について、それがある直線上にある点と仮定した場合に可能性のある全ての直線を、極座標ρ＝x cosθ＋y sinθによるパラメータ空間（ρ，θ）へ曲線として投票し、最終的にパラメータ空間においてピークとなる（ρ，θ）が、求める直線のパラメータとして得られる。

（Ｃ−２）：視体積交差法；
複数の多視点からの画像に対して、「視体積交差法」を用いても、３次元形状モデルの生成を行うことができる。視体積交差法では、実空間内に設置した複数（位置）のカメラで撮影した画像から、物体のシルエットを抽出し、空間に逆投影し、シルエットの交わりを計算することによって、３次元モデルを求める。複数の多視点画像から３次元モデルを生成する手順をフローチャートに示す。

図１３は、図７のステップＳ９における視体積交差法による３次元形状データ作成の動作の一実施例を示す詳細フローチャートである。
図７のステップＳ８でカメラ情報が未知の場合には、図１３で、ＣＰＵ１１は、まず、形状を構成する３次元空間（ボクセル空間）を立方体格子に分割し（ステップＳ９−２−１）、視体積交差法により、多視点が像のシルエット画像を入力して各ボクセルに対して正射影による逆投影を行う（ステップＳ９−２−２）。

次に、各ボクセル上に当該画像のシルエットが存在するか、しないかを判定し、シルエットが存在する場合はステップ９−２−４に進み、シルエットが存在しない場合はステップ９−２−４に進む（ステップＳ９−２−３）。

シルエットが存在する場合はそのボクセルを残してステップＳ９−２−６に進み（ステップＳ９−２−４）、シルエットが存在しない場合はそのボクセルを削除してステップＳ９−２−６に進む（ステップＳ９−２−５）。

ステップＳ９−２−１で分割したすべてのボクセルについてシルエットの存否を調べたか否かを判定し、すべてのボクセルを調べ済みの場合はステップＳ９−２−７に進み、調べていないボクセルがある場合は次のボクセルを調べるためにステップＳ９−２−２に戻る（ステップＳ９−２−６）。

全ての多視点画像について上記ステップＳ９−２−１〜Ｓ９−２−６の判定動作を行ったか否かを判定し、全ての多視点画像について判定済みの場合はステップＳ９−２−８に進み、判定していない画像がある場合は次の画像の判定を行うためにステップＳ９−２−１に戻る（ステップＳ９−２−７）。そして、最終的に存在するボクセル集合を３次元形状とみなし、３次元形状の内部にあるボクセルを削除した３次元形状データを生成し、図７のステップＳ１０に進む（ステップＳ９−２−８）。

視体積交差法と射影グリッド空間について；
「視体積交差法」に基づいて３次元モデルを復元する原理について簡単に説明する。
視体積とは、視点を頂点と、対象物のシルエットを断面とする錐体のことで、「視体積交差法」は、全ての視点における対象物の視体積の共通部分を求めることにより、対象物の形状を復元する手法である。

複数台のカメラ（または複数位置からのカメラ画像）のうち、任意の２つを基底カメラ（または基底位置からのカメラ画像）１、２として、２台の基底カメラのそれぞれの視点から、中心投影によって３次元空間を定義する。
ここで、３次元空間を、射影グリッド空間（PGS：Projective Grid Space）として考え、空間中のボクセルA（p,q,r）は、基底カメラ１から撮影画像１上の点a₁（p,q）へ、基底カメラ２からの撮影画像２上の点a₂（r,s）へ、投影されるものと定義する。

交差計算をする際には、画像間の幾何関係や、カメラ座標と空間座標との対応関係が必要であり、それらはＦ（Fundamental）行列を算出することで既知となる（Ｆ行列では、２画像間の９点以上の点対応によって決定できる）。

Ｆ行列を利用して以下のような投影を行なう。
１） まず、空間上のA（p,q,r）に対する画像１上の投影点a₁については、射影グリッド空間PGSの定義より、a₁（p,q）に投影される。
２） 次に、画像２上の投影点a₂については、Ｆ行列Ｆ₂₁を用いて画像２にエピポーラ線L₂₁として投影すると、a₂はL₂₁上に存在するため、直線L₂₁は次式で定義できる。

・・・（１０）
a₂のx座標は射影グリッド空間PGSの定義よりrであるから、y座標sも定まる。
３） そして、基底カメラ以外のカメラからの撮影画像（または、基底位置以外からのカメラ画像）ｉに対する投影点の座標x_i,y_iは、次のようにして定まる。
基底カメラ２への投影と同様に、Ｆ_i1を用いて点a₁を画像ｉ上に直線L_i1として投影する。
またＦ_i2を用いて、点a₂を画像ｉ上に直線L_i2として投影する。
４） ２本のエピポーラ線L_i1、L_i2の交点が、画像ｉの投影点の座標である。
５） この処理を、全視点の画像に対して行なう。
このようにして、注目ボクセルに対する全視点の画像の座標値を求めることができ、３次元モデルが復元できる。

交差計算による３次元モデル復元は、定義された射影グリッド空間PGS上で、空間に含まれるボクセルを一枚のシルエット上に投影し、シルエット上にないボクセルを全て削除し、次のシルエット画像に投影するという処理を、基底カメラ１、基底カメラ２、その他のカメラの順に行ない、全ての入力視点画像のシルエットに含まれるボクセルだけを「存在」とみなし、３次元モデルを復元することができる。

（Ｃ−３）：因子分解法：
上記のような参照マーカー等を用いずに、複数の多視点カメラ画像データや連続動画像データだけから３次元形状データを生成する方法として、因子分解法がある。
一般に、カメラ位置や視点方向の制限も設けずに、対象物周囲の任意の複数枚の２次元画像から、対象物の３次元形状を求めるには、膨大な計算処理が必要で、解も不安定になる。「因子分解法（Factorization）」（Tomasi and Kanade（金出武雄）、1992年）では、実際のカメラモデルである透視射影をアフィン射影で近似することにより、問題を簡略化し、数値計算を高速かつ解を安定化させることができる。また、複数のアフィン近似射影画像から、カメラ運動と対象物体の立体形状とを同時に復元できる優れた方法として知られている。

図１４は、図７のステップＳ９における因子分解法による３次元形状データ作成動作の一実施例を示す詳細フローチャートである。
図７のステップＳ８でカメラ情報が未知の場合には、図１４で、ＣＰＵ１１は、まず、各画像から、対象とする人物の輪郭外形や顔の特徴部位を表す線分や、曲線、特徴点を抽出する（ステップ９−３−１）。

次に、各画像の主要点の点特徴を抽出し、Kanade-Lucas-Tomasi法等を用いて各特徴点を対応付け（ステップ９−３−２）、多視点画像における各点座標（計測行列）から、因子分解法等により、カメラの動き情報（運動行列）と対象物の３次元形状情報（形状行列）を復元して３次元形状データを生成し、図７のステップＳ１０に進む（ステップ９−３−３）。

「因子分解法」については、前述した文献（金出武雄ほか、「因子分解法による物体形状とカメラ運動の復元」、電子通信学会論文誌、J76−D−II、No.8（19930825）、pp．1497−1505や、藤木 淳（産総研）、「点対応を用いた複数の２次元画像からの３次元形状復元−因子分解法の数理−」、統計数理、第４９巻第１号、pp77〜107、2001年）などに詳しく説明されているので、ここでは煩雑を避けて、以下に概略のみ説明する。

すでに、上述した「Ｂ：複数の画像間における点の対応付け」のステップにより、複数の画像における点特徴の対応付けが既に求められ、画像座標として与えられているとする。アフィン近似射影においては、カメラ撮影による写像は、３次元空間の対象物から、２次元画像へのカメラの位置と方向によって決まるアフィン射影となる。
画像がｆ枚、特徴点がＰ個与えられるとき、Ｐ個の３次元座標のＦ個のアフィン射影によるＦＰ個の画像座標が得られるとすると、因子分解法では、このＦＰ個の条件を行列の形に並べて、複数の２次元画像からの３次元形状復元問題を単純な形で表現することができる。すなわち、
（計測行列）＝（運動行列）×（形状行列） ・・・（１１）
ここで、計測行列はＦＰ個の画像座標を並べた２Ｆ×Ｐ行列、運動行列はＦ個のアフィン射影の表現行列を並べた２Ｆ×３行列、形状行列はＰ個の特徴点の３次元座標を並べた３×Ｐ行列である。つまり、複数の２次元画像からの３次元形状の復元問題は、計測行列の因子分解に帰着できる。

このように、透視射影によって得られた計測行列の成分からアフィン近似射影により投影されたとき得られる計測行列を推定できれば、後は、（因子分解法のアルゴリズムにしたがって）計測行列を運動行列と形状行列の積に分解するだけで、カメラの運動情報と物体の３次元形状とを復元することができる。
ただし、画像座標が正規直交基底による表現であるため、正しい復元解を得るには、画像座標の基底が正規直交基底となるように分解する必要がある。アフィン射影モデル（Mundy and Zisserman,1992）は、校正されていないカメラに対するモデルとして、X_fpからｘ_fpへの変換が次式のアフィン射影の形で表される。
ｘ_fp＝A_f X_fp＋u_f ・・・（１２）
ここで、A_fとu_fは未知パラメータである。アフィン射影モデルでは、A_fには何の仮定もされていないので、対象物のアフィン空間における位置関係を知ること（アフィン復元）はできても、対象物体の対象物体の長さや角度など計量情報を知ること（ユークリッド復元）はできない。

そこで、対象物体のユークリッド復元を行なうためのモデルとして、計量アフィン射影モデル（ＭＡＰモデル）が考えられた。対象物体のユークリッド復元を行なうには、A_fから奥行きパラメータλ_f*＝ｔZ_f*をくくりだした残りである行列B_fの成分が既知である必要がある。

（B_fは既知） ・・・（１３）

さらに、カメラの位置の復元を行なうためには、u_fが既知である必要がある。
以上の仮定より、

（ここで、ｌ：焦点距離） ・・・（１４）
このような仮定を加えたアフィン射影モデルを、「計量アフィン射影」（ＭＡＰ：Metric Affine Projection）モデルと呼ぶ。また、A_fをＭＡＰ行列と呼ぶ。

立体（対象物体）が固定され、カメラが運動していると仮定すると、カメラの運動情報と物体の３次元形状とを復元するためには、カメラモデルを立体に固定された座標系（世界座標系）で表す必要がある。第ｆ画像におけるカメラ位置の世界座標をｔ_f、第ｆ画像面上の正規直交基底を｛i_f,j_f｝、カメラ光軸方向の単位ベクトルをｋ_fとして、
世界座標におけるカメラの向きを表す行列（カメラの基底行列）をC＝（i_f，j_f，ｋ_f）^T、
また、第ｐ特徴点の世界座標をｓ_p、第ｆ画像のカメラ座標系における空間座標をX_fpとすると、
ｓ_p＝ｔ_f＋C_f ^T X_fp ・・・（１５）
この表現を、ある特徴点ｓ_*からの相対座標ｓ^* _p＝ｓ_p−ｓ_*、ｔ^* _f＝ｔ_f−ｓ_*で表すと、
ｓ^* _p＝ｔ^* _f＋C_f ^T X_fp、X_fp＝C_f（ｓ^* _p−ｔ^* _f） ・・・（１６）
上記のＭＡＰモデルを世界座標系で表すと、

（ここで、ｌ：焦点距離） ・・・（１７）
Ｐ個の点特徴の画像がＦ枚得られたとき、複数の２次元画像から、カメラの運動情報と物体の３次元形状情報とを復元する問題は、上式（１７）から｛C_f｝と、｛ｓ^* _p｝を求める問題になる。

因子分解法では、ＦＰ個の上式（ｆ=１〜F、ｐ＝１〜P）から作られた行列を分解することによって、カメラの向きを表す行列｛C_f｝（ｆ＝１〜F）と、対象物の特徴点の世界座標｛ｓ^* _p｝（ｐ＝１〜P）を求める。

ここで、計測行列W^*、運動行列M、形状行列S^*を、

・・・（１８）
と定義すると、
W^*＝M（２F×３行列）・S^*（３×P行列） ・・・（１９）
が成立する。
Mには、カメラ運動に関する未知数｛C_f｝（ｆ＝１〜F）および｛λ^* _f｝（ｆ＝１〜F）のみが、S^*には、３次元形状に関する未知数｛ｓ^* _p｝（ｐ＝１〜P）のみが含まれていることから、計測行列W^*を、運動行列Mと形状行列S^*の積に分解することができれば、カメラの運動情報と物体の３次元形状とが復元できる。

ここで、W^*のMとS^*の積への分解において、｛C_f｝が３次元回転行列であることから、次の条件（計量拘束）が満たされる必要がある。
M_f M_f ^T＝A_f A_f ^T＝(1/λ^2* _f)B_f B_f ^T ・・・（２０）

因子分解法のアルゴリズム；
実際の因子分解法のアルゴリズムでは、「Affine復元」、「Euclid復元」の順に、計測行列W^*を分解して、カメラの運動情報と物体の３次元形状情報を復元する。
まず、特異的分解（SVD）などにより、計測行列W^*を、M＾（２Ｆ×３）と、S＾^*（３×P）の積に一時的に（暫定的に）分解して、Affine復元する。

・・・（２１）
このとき、M、S^*、と暫定解のM＾、S＾^*の間には、
M＝M＾A、 S^*＝A^-1・S＾^*（ただし、A^-1はAの逆行列） ・・・（２２）
の関係を満たす３×３可逆行列Aが存在するので、この暫定的な分解によって、運動と形状がアフィン復元されていることになる。

２）暫定解のアフィン復元解からユークリッド復元解を求めることは、３×３可逆行列Aを求めることに帰着する。Q＝AA^Tとおくと、前記の計量拘束条件から、Aの満たすべき条件は、
M＾_f Q M＾_f ^T＝A_f A_f ^T ＝(1/λ^2* _f) B_f B_f ^T ・・・（２３）
ここで、式（１４）における未知量は｛λ^* _f｝（ｆ＝１〜F）とQとであり、B_fは既知であるから、
B_fの特異値分解をB_f＝R_fΣ_fD_fとすると、R_f、Σ_fは既知であり、
P＾_f＝（ｐ＾_f，ｑ＾_f）^T＝R_f ^TM＾_f、P_f＝R_f ^TM_f ・・・（２４）
とおくと、式（１４）の拘束条件は、
P＾_f Q P＾_f ^T＝(1/λ^2* _f) Σ² _f ・・・（２５）
と単純になる。このとき、
ｐ＾_f ^TQ ｐ＾_f＝ｐ² _f/λ^2* _f、ｐ＾_f ^TQ ｑ＾_f＝0、ｑ＾_f ^TQ ｑ＾_f＝ｑ² _f/λ^2* _f、
すなわち、（ｐ＾_f ^TQ ｐ＾_f）/（ｐ² _f）＝（ｑ＾_f ^TQ ｑ＾_f）/（ｑ² _f）＝１/λ^2* _f、ｐ＾_f ^TQ ｑ＾_f＝0、 ・・・（２６）
よって、次式のように、｛λ^* _f｝を含まない、Qに関する線型同次連立方程式が得られる。
ｑ² _f（ｐ＾_f ^TQ ｐ＾_f）−ｐ² _f（ｑ＾_f ^TQ ｑ＾_f）＝0、ｐ＾_f ^TQ ｑ＾_f＝0、
・・・（２７）
この連立方程式を解くことによって、｛λ^* _f｝による定数倍の不定性を除いて、３×３の正値対称行列であるQを一意的に求めることができる。

３） 対称行列Qのコレスキー分解を、Q＝LL^Tとすると、
Aの一般解は、A=L^TUとなり、
運動行列M、形状行列S^*の一般解は、M＝M＾L^TU、S^*＝U^TL S＾^* ・・・（２８）
で求まる。

上記のようにして、計測行列W^*（ＦＰ個の画像座標を並べた２Ｆ×Ｐ行列）データから、カメラの運動情報を含む運動行列Ｍデータ（Ｆ個のアフィン射影の表現行列を並べた２Ｆ×３行列）と、物体の３次元形状情報を含む形状行列S^*データ（Ｐ個の特徴点の３次元座標を並べた３×Ｐ行列）を同時に復元することができる。

因子分解法アルゴリズムの詳細は、前記の文献などに詳しい。また、因子分解法をリアルタイム処理に対応するために逐次的に計算する「逐次型因子分解法」や、アフィン近似射影による画像を因子分解法を用いて反復的に推定して、カメラ運動と立体形状とをより高精度に復元する「C-H法」（Christy and Horaud，1996年）など、様々な改良法も提案されているが、ここでは、省略する。

実際の因子分解法のアルゴリズムでは、「Affine復元」、「Euclid復元」の順に、計測行列W^*を分解して、カメラの運動情報と物体の３次元形状情報を復元する。
１） まず、特異的分解（SVD）などにより、計測行列W^*を、M＾（２Ｆ×３）と、S＾^*（３×Ｐ）の積に一時的に（暫定的に）分解して、Affine復元する。

なお、逆行列（inverse matrix）とは、n次正方行列Aに対して、AX=XA=I（Iは単位行列）となるn次正方行列Xが存在するとき、Aはn次正則行列、あるいは「正則である」という。このとき、XをAの「逆行列」と呼び、A^-1と書く。また、正方行列（square matrix）とは、行要素の数と列要素の数とが一致する行列のことであり、可逆行列（invertible matrix）：あるいは、正則行列とは、行列の通常の積に関する逆元である逆行列を持つ正方行列のことである。
また、対称行列（symmetric matrix）とは、正方行列Aのうち、Aの転置行列A^TがA自身と一致する行列をいう。

また、コレスキー分解（Cholesky decomposition）：とは、本来は、正定値エルミート行列Aを下三角行列LとLの共役転置行列L^*との積に分解すること。実対称行列の場合には、共役転置は転置に単純化されるので、対称行列AをA＝LL^Tに分解することに相当する。

（変形例）
図１５は、３次元データ作成装置１の３次元形状データ作成動作の一変形例を示すフローチャートであり、図７のステップＳ６〜Ｓの動作をステップＳ６’〜Ｓ９’に置き換えて、より簡易に３次元形状データ作成が可能なように構成した例である。

図１５で、ＣＰＵ１１は、特徴点抽出プログラム２３６により、図７のステップＳ４で抽出された各画像の人物領域から頭部の形、顔貌の特徴点を抽出する（ステップＳ６’）。

次に、３次元モデルデータ検索プログラム２３７により、顔の３次元標準モデルデータ３１を検索し、ステップＳ９−４−１で抽出した対象者の頭部や顔の特徴点に最も類似する３次元モデルデータを得る（ステップＳ７’）。

次に、３次元データ生成プログラム２３８により、対象者の顔の画像データをステップ１０−４−２で得た顔の３次元標準モデルの３次元形状（曲面）（図８（ａ）参照））上に射影変換して顔（および頭部）の３次元形状データを生成する（ステップＳ８’）。

ステップＳ９−４−３で生成した顔（および頭部）の３次元形状データからなる３次元画像の顔の表情の違いや変化が所定値より大きい場合に表情変化等の補正処理プログラム２３９により（中立顔やすまし顔、微笑顔などの）所定の表情の顔画像になるよう顔の表情変化の標準モデルデータ３２や服装、髪型等の標準モデルデータ３３を用いて顔の表情や服装や髪形等の変化の補正処理を施し、図７のステップＳ１０に進む（ステップＳ９’）。

上記変形例によれば、被写体の頭部や顔に類似する３次元モデルデータの顔に、対象者の顔の画像データを射影変換して頭部の３次元データを生成できるようにしたので、画像処理能力が低い装置や小型装置でも処理できるとともに、処理時間が短縮される。例えば、ゲームセンターに設置してあるようなガチャガチャ式の自動販売機などでも、３次元データ作成装置にカメラを装備したり、デジタルカメラや携帯電話から画像を近距離送信したり、ケーブル接続により入力するようにして、その場で顔画像から３次元フィギュアや胸像を製作加工して、安価なフィギュアを製造販売提供できる。

本発明の３次元データ作成装置を用いた３次元画像作成受託システムの構成例を示す図である。 図１に示した３次元画像作成受託システムにおける３次元画像の受託・作成プロセスを示すプロセスチャートである。 本発明の３次元データ作成装置の構成例を示す図である。 標準モデルデータベースの構成例を示す図である。 保存メモリに格納されているプログラムの例を示す図である。 本発明に基づく３次元形状データ作成過程の説明図である。 ３次元データ作成装置による３次元胸像データ作成動作の一実施例を示すフローチャートである。 顔の３次元標準モデルおよび顔の表情変化の３次元モデルの例を示す図である。 顔の表情変化の標準モデルデータの構成例を示す図である。 表情変化の補正処理プログラムによる顔画像の表情の変化の補正処理動作の一実施例を示すフローチャートである。 表情変化の補正処理プログラムによる顔の表情等の補正の説明図である。 図７のステップＳ９における多視点カメラ画像からの３次元形状データ作成動作の一実施例を示す詳細フローチャートである。 図７のステップＳ９における視体積交差法による３次元形状データ作成の動作の一実施例を示す詳細フローチャートである。 図７のステップＳ９における因子分解法による３次元形状データ作成動作の一実施例を示す詳細フローチャートである。 ３次元データ作成装置による３次元形状データ作成動作の一変形例を示すフローチャートである。

符号の説明

１ ３次元データ作成装置
２ データベース
３、８ ３次元画像加工装置
４ 通信ネットワーク
１１ ＣＰＵ
２２ ３次元データ作成プログラム
３１ 顔や頭部の３次元標準モデルデータ
３２ 顔の表情変化の３次元標準モデルデータ
３３ 服装、髪型等の３次元標準モデルデータ

Claims (6)

1. 立体像の標準モデルデータからなるデータベースと、
   複数枚の多視点画像の画像データを取得する画像データ取得手段と、
   ３次元データ作成装置を、前記複数枚の多視点画像から３次元形状データを生成する３次元形状データ生成手段として機能させる３次元形状データ生成プログラムと、
   前記画像データ取得手段により取得した複数枚の画像データからそれぞれ人物領域を抽出し、抽出した人物領域から検出した顔の特徴部位と前記データベースの標準モデルデータとの対応点を取得してから、前記３次元形状データ生成プログラムにより３次元形状データを得る３次元データ作成制御手段と、
   前記３次元形状データを補正して顔の表情変化モデルデータを得る表情変化補正手段と、
   を備え、
   前記表情変化補正手段は、表情の種類と表情動作単位の組合せを対応付けた対応表データと、表情動作単位と顔の筋肉の収縮部位を対応付けた対応表データを含み、顔の表情を表情単位動作の組合せで表現し、各表上単位動作を対応する部位の顔の筋肉の収縮に変換することにより、喜怒哀楽を示している表情のデータを中立顔のデータに補正する、または中立顔のデータを喜怒哀楽を示している表情のデータに補正する、
   ことを特徴とする３次元データ作成装置。
2. 前記画像データ取得手段は、取得する画像データの撮影位置や撮影方向等のカメラ情報が既知の場合にそのカメラ情報を取得するカメラ情報取得手段を含み、
   前記立体像の標準モデルデータは、人物の顔および頭部の標準モデルデータ、表情変化の標準モデルデータを含み、
   前記３次元データ作成制御手段は、抽出した人物領域から検出した顔の特徴部位と前記人物の顔の標準モデルデータとの対応点から表情データを取得し、表情データにおける顔の表情と前記標準モデルデータの表情とを比較して表情データにおける顔の表情の変化が閾値より大きい場合には前記表情変化のモデルデータに基づいて顔の表情を所定の表情に補正し、前記カメラ情報取得手段によりカメラ情報が既知の場合には３次元形状データ生成プログラムに含まれている第１の３次元形状データ生成プログラムにより前記人物の３次元形状データを生成し、カメラ情報が未知の場合には３次元形状データ生成プログラムに含まれている第２の３次元形状データ生成プログラムにより前記人物の３次元形状データを生成する、
   ことを特徴とする請求項１に記載の３次元データ作成装置。
3. 前記第１の３次元形状データ生成プログラムは、３次元データ作成装置を、前記画像データ取得手段によって取得した複数枚の多視点画像の画像データと前記カメラ情報取得手段によって取得されたカメラ情報を元に３次元形状データを生成する３次元形状データ生成手段として機能することを特徴とする請求項１に記載の３次元データ作成装置。
4. 前記第２の３次元形状データ生成プログラムは、３次元データ作成装置を、前記画像データ取得手段によって取得した複数枚の多視点画像の画像データを元に視体積交差法によって３次元形状データを生成する３次元形状データ生成手段として機能することを特徴とする請求項１に記載の３次元データ作成装置。
5. 前記第２の３次元形状データ生成プログラムは、３次元データ作成装置を、前記画像データ取得手段によって取得した複数枚の多視点画像の画像データを元に因子分解法によって３次元形状データを生成する３次元形状データ生成手段として機能することを特徴とする請求項１に記載の３次元データ作成装置。
6. 前記立体像の標準モデルデータは、人物の顔および頭部の標準モデルデータ、表情変化の標準モデルデータ、服装および髪型の標準モデルデータを含み、
   前記３次元データ作成制御手段は、抽出した人物領域から検出した顔の特徴部位を元に各画像データから頭部の形および顔貌の特徴を抽出し、前記人物の顔および頭部の標準モデルデータを検索して頭部の形および顔貌の特徴に最も類似する３次元モデルデータを取得し、取得した３次元モデルデータの曲面上に前記複数枚の多視点画像の画像データを射影変換して顔および頭部の３次元形状データを生成する、
   ことを特徴とする請求項１に記載の３次元データ作成装置。

Images