JP4746717B2 - 画像生成システム、画像生成方法、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体 - Google Patents

Description

本発明は、コンピュータグラフィックスの作成に用いられるテクスチャマッピング技術に関する。

近年、計算機（コンピュータ）の性能向上に伴い、写実性の高いコンピュータグラフィックスの制作環境が整いつつある。特に、グラフィック処理専用に動作するＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の性能は飛躍的に向上しており、リアルタイムで動画を演算する能力を有するＧＰＵが容易に入手可能になった。また、コンピュータグラフィックスが利用される機会も増え、映画を始め、テレビ、インターネット、雑誌等のメディア広告や、製品カタログ、ニュース番組での説明映像など、あらゆる媒体でコンピュータグラフィックスが利用されている。

製品カタログでは、「製品」という実在する物体をコンピュータグラフィックスで描いた画像や映像が掲載される。コンピュータグラフィックスを利用するメリットは、実物を実際に用意して撮影する際の様々な制約から解放されることにある。たとえば、車の走行シーンをビデオ撮影したい場合、走行場所をまず決める必要がある。このとき、広告効果を損なわないようにするためには、特定の条件を満たすロケ場所の確保が必要になる。また、実写は天候に左右され、撮影期間の長期化は、コストアップ、製品の販売計画にも支障をきたす。また、広告効果を高めるために、映像表現を積極的に活用することが有効な場合もある。たとえば、実写では危険が伴うようなアングルで映像を作成したい場合にも、コンピュータグラフィックスを有効に活用できる。

近年、様々なコンピュータグラフィックスの制作方法が開発されている。そのうちの一つとして「テクスチャマッピング」が知られている。「テクスチャマッピング」は、コンピュータによって物体表面の模様や光沢感のリアリティを高める技術であり、あたかも実物のように見える「写実性」を高めることが可能である。「テクスチャ」とは、物体表面が有する模様や光沢感、質感などの総称である。たとえば非特許文献１は、テクスチャマッピングに関する技術を開示している。

図２０はテクスチャマッピングの工程の一例を示す。物体の形状（円柱）１００１に合わせて物体表面のテクスチャ１００２を貼り付けることにより、写実性の高い画像１００３が生成される。

テクスチャマッピング技術では、２次元画像のテクスチャを３次元形状に貼り付ける際、通常、四角形であるテクスチャ画像の輝度値を３次元形状に従って変化させる。図２０の例では、四角形のテクスチャ画像１００２の輝度値を、円柱１００１の側面の輝度値に応じて変化させている。その結果、得られた画像１００３では、円柱１００１に貼り付けられた、丸みを帯びたテクスチャ画像の輝度値は円柱１００１の形状にしたがって変化する。そのため、見かけ上の違和感はなくなる。すなわち写実性の高い画像１００３が得られる。

コンピュータグラフィックスは、元来、光源からの光が物体に反射され、視点に届いた光の輝度値を計算機で求めることで作成される。実物のようなテクスチャを物体表面に作成するには、テクスチャ画像としてデジタルスチルカメラ等で撮影された実写画像を用い、その実写画像の輝度値を利用することが一般的である。

近年の写実性に対する要求の高まりから、すべてをモデルベースで計算する限界が明らかになっている。たとえば、画像の高精細度への要求が高まり、処理すべき画素数が増大したことにより、計算負荷が爆発的に増加する。これにより、モデルベースでは記述し切れない限界も表出している。

近年のコンピュータグラフィックスの利用範囲の広がりと、写実性への要求の高まりから、実写画像を撮影、あるいは計測して、テクスチャマッピングに利用するイメージベースが多用されている。イメージベースは、コンピュータグラフィック制作において必須となっている。

「明解 ３次元コンピュータグラフィックス」、荒屋真二、共立出版、ｐｐ．２４−２６， ｐｐ．１２７−１３２， ｐｐ．１４４−１４６， ２００３年

しかしながら、従来は、外力を受けて物体形状が変形することに対応可能なテクスチャマッピング手法は存在しなかった。言い換えると、予め与えられた形状に対してはテクスチャ画像の輝度値を変化させることは可能であるが、物体形状が変形する場合にその変形に対応してテクスチャ画像の輝度値を変化させることは行われていなかった。その結果、テクスチャマッピングの写実性が劣化するという課題を有していた。

テクスチャマッピングの写実性を高めるには、実物を撮影、あるいは計測して得たデータを直接用いることが肝心であり、これがイメージベース手法の特徴である。しかしながら、従来の技術は、実写画像として利用するテクスチャ画像の輝度値が固定であり、形状変化した物体は利用されていない。その結果、たとえば、光源の光を直接反射する鏡面反射のテクスチャが不自然になったり、形状変化によって視点からは遮蔽されて見えないはずのテクスチャが貼り付けられたり、実物とは異なる不自然なテクスチャが生成され、写実性が劣化するという問題が存在した。

本発明は上記課題を解決するためになされたものであり、その目的は、テクスチャを貼り付ける形状が変化しても、写実性の高いテクスチャマッピングを実現することにある。

本発明による画像生成システムは、対象物のポリゴンの輝度値を、テクスチャ画像を参照して決定する画像生成システムであって、外力を与えて変形させた被写体のテクスチャ画像のデータを保持する取得部と、複数のポリゴンの各々について、外力が与えられていないポリゴンの位置に関する位置情報、前記ポリゴンの位置に与えられた外力に基づく応力ベクトルの情報、および、前記外力が与えられたときのテクスチャ画像の輝度値の情報が対応付けられたテーブルを保持するメモリ部と、外力を受けていない対象物のポリゴンの位置の情報、および、前記対象物のポリゴンに対して作用させる応力ベクトルの情報に基づいて前記テーブルを参照するテクスチャマッピング部とを備えている。

前記取得部は、さらに外力を計測し、前記テクスチャマッピング部は、計測された前記外力から、前記対象物のポリゴンに対して作用させる応力ベクトルを算出し、前記テーブルを参照してもよい。

前記取得部は、前記外力を与えて変形させた被写体のテクスチャ画像を撮影して前記テクスチャ画像のデータを生成し、前記被写体に与えられた外力に基づく応力ベクトルの大きさおよび始点位置を計測して、前記応力ベクトルの情報を生成し、前記メモリ部は、前記応力ベクトルの情報を前記テーブルに格納してもよい。

前記画像生成システムは、前記対象物の３次元形状に対して複数のポリゴンを設定する形状設定部と、前記外力によって発生する、各ポリゴンの応力ベクトルを算出する応力演算部と、各ポリゴンの位置に関する位置情報および応力ベクトルに基づいて、前記応力ベクトルに最も近いアドレスを有する前記テクスチャ画像の輝度値を特定する検出部をさらに備え、前記メモリ部のテーブルでは、前記応力ベクトルの大きさおよび始点位置がアドレスとして保持され、前記メモリ部は、前記テクスチャ画像の輝度値を前記対象物のポリゴンの輝度値として出力してもよい。

前記取得部は、ひずみセンサと測距センサとを有しており、前記ひずみセンサは、前記応力ベクトルの大きさを計測し、前記測距センサは、前記応力ベクトルの始点位置を計測してもよい。

前記取得部は、前記被写体に与える外力を同じにした状態で、前記応力ベクトルの計測、および、前記テクスチャ画像の撮影を個別に行ってもよい。

前記応力ベクトルの大きさの変化が所定の基準を超えた場合、あるいは応力ベクトルの始点位置の変化が所定の基準を超えたとき、前記取得部は、前記テクスチャ画像を撮影してもよい。

前記ひずみセンサは、前記被写体に接触して配置されて前記外力を計測し、前記応力演算部は、計測された前記外力の情報を受け取り、前記外力によって発生する、各ポリゴンの応力ベクトルを算出してもよい。

前記応力演算部は、ポリゴン単位で設定した質点および前記質点をつなぐバネ弾性を利用したモデルにより、前記応力ベクトルを算出してもよい。

前記画像生成システムは、参照の結果得られた輝度値の情報に基づいて、前記対象物のポリゴンに対して適用されるテクスチャ画像の輝度値を変化させ、前記テクスチャ画像を出力する投影変換部をさらに備えていてもよい。

本発明による画像生成方法は、対象物のポリゴンの輝度値を、テクスチャ画像を参照して決定する画像生成システムにおいて利用される方法であって、外力を与えて変形させた被写体のテクスチャ画像のデータを用意するステップと、複数のポリゴンの各々について、外力が与えられていないポリゴンの位置に関する位置情報、前記ポリゴンの位置に与えられた外力に基づく応力ベクトルの情報、および、前記外力が与えられたときのテクスチャ画像の輝度値の情報が対応付けられたテーブルを用意するステップと、外力を受けていない対象物のポリゴンの位置の情報、および、前記対象物のポリゴンに対して作用させる応力ベクトルの情報に基づいて前記テーブルを参照するステップと、参照の結果得られた輝度値の情報に基づいて、前記対象物のポリゴンに対して適用されるテクスチャ画像の輝度値を変化させ、前記テクスチャ画像を出力するステップとを包含する。

本発明によるコンピュータプログラムは、対象物のポリゴンの輝度値を、テクスチャ画像を参照して決定する画像生成システムのコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、外力を与えて変形させた被写体のテクスチャ画像のデータを用意するステップと、複数のポリゴンの各々について、外力が与えられていないポリゴンの位置に関する位置情報、前記ポリゴンの位置に与えられた外力に基づく応力ベクトルの情報、および、前記外力が与えられたときのテクスチャ画像の輝度値の情報が対応付けられたテーブルを用意するステップと、外力を受けていない対象物のポリゴンの位置の情報、および、前記対象物のポリゴンに対して作用させる応力ベクトルの情報に基づいて前記テーブルを参照するステップと、参照の結果得られた輝度値の情報に基づいて、前記対象物のポリゴンに対して適用されるテクスチャ画像の輝度値を変化させ、前記テクスチャ画像を出力するステップとを実行させる。

本発明による記録媒体は、上述のコンピュータプログラムを記録した記録媒体であってもよい。

本発明によれば、変形を生じた実物を実写してテクスチャ画像の輝度値を取得するため、物体の接触によって生じる変形を写実性の高い動画のコンピュータグラフィックスで表現できる。これにより、映像表現力の向上を図ることが可能になる。

２次元画像のテクスチャマッピングの技術を示すブロック図である。 ポリゴンの説明図である。 テクスチャマッピングにおけるポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係を説明する図である。 代表点探索部１１０６の機能を説明する図である。 ３次元座標（ｘ，ｙ，ｚ）を用いたテクスチャマッピングを説明する図である。 ３次元座標（ｘ，ｙ，ｚ）でテクスチャ画像の輝度値の輝度値を取得するテクスチャマッピングのブロック図である。 外力を受けて物体形状が変形するモデルを組み込んだテクスチャマッピングを示すブロック図である。 質点バネ設定部１７０２の機能を説明する図である。 アドレス変換テーブル１９０１を説明する図である。 テクスチャマッピングの工程の一例を示す図である。 実施形態１による画像生成装置１００の構成を示すブロック図である。 形状変化に伴って発生する応力ベクトルを説明する図である。 テクスチャ画像の輝度値の取得方法の例を示す図である。 被写体までの距離を計測する方法の例を示す図である。 画像生成装置１００の処理手順を示すフローチャートである。 実施形態２による画像生成装置６００の構成を示すブロック図である。 テクスチャ画像取得部６０２の構成例を示す図である。 輝度値取得制御部３１４の調整画面７０６を示す図である。 実施形態３による画像生成装置９００の構成を示すブロック図である。 ２次元画像のテクスチャマッピングを説明する図である。

以下、添付の図面を参照して、本発明による画像生成システムの実施形態を説明する。以下の実施形態１および２においては、複数の構成要素が１つの筐体内に設けられた、画像生成装置として実現される画像生成システムの例を説明する。一方、実施形態３においては、複数の構成要素がネットワークで接続された画像生成システムの例を説明する。

（実施形態１）
本実施形態では、初めにテクスチャを貼り付けるポリゴンの座標からテクスチャ画像の輝度値を取得する画像生成装置を説明する。この画像生成装置は、３次元座標系を、コンピュータグラフィックスが表現される２次元座標系に変換した後、２次元座標とテクスチャ画像の輝度値とを対応付けたテーブルを参照する。その結果、テクスチャの貼り付け位置に応じた輝度値を得ることができる。

まず、上記画像生成装置を説明する。その後、形状変化した対象物のテクスチャ画像の輝度値を実写し、かつ、形状変化に伴って発生した対象物の応力を計測し、テクスチャを貼り付けるポリゴンの座標と応力をアドレスとしてテクスチャ画像の輝度値を取得する画像生成装置を説明する。

なお、「ポリゴン」とは、３次元コンピュータグラフィックスで立体を表現する際に用いられる、多角形の平面データを意味する。物体表面は、座標データに基づいてポリゴンの各頂点をつなぐことによって、表現されている。個々のポリゴンが小さければ小さいほど、その集合として描かれた物体は滑らかに表現できるが、同時に膨大な量の頂点座標データを大量に計算する必要があるため、演算処理や描画により大きな処理負荷がかかる。

図１は、画像生成装置の構成、および、構成要素間のデータフローを示すブロック図である。この図では、テクスチャマッピングを中心とした、コンピュータグラフィックスの作成の流れ（図中の矢印）を示している。画像生成装置は、図１における表示部１１１１を除いては、コンピュータであるプロセッサと、コンピュータプログラムとによって実現されてもよいし、テクスチャマッピング処理に特化されたプロセッサとによって実現されてもよい。

画像生成装置のジオメトリ演算部１１０１は、物体の位置や形状などを３次元的に定義し、３次元形状信号１１０２を出力する。通常、物体形状は多数のポリゴンに分割して記述する。図２は、山形の形状を四角形のポリゴンに分割した例である。ポリゴン１つ１つは、直線から成る四角形であるが、ポリゴンのサイズを小さくするほど曲線を滑らかに表現できる。このように、３次元形状信号１１０２は、複数のポリゴンの座標（ｘ，ｙ，ｚ）から成る。なお、本明細書においてはポリゴン形状を四角形としているが、これは一例である。ポリゴン形状は他の多角形、たとえば三角形であってもよい。

テクスチャマッピング部１１０３は、輝度値メモリ部１１０４が有するテクスチャ画像の輝度値を参照してポリゴンの輝度値を算出する。３次元形状信号１１０２として取得したポリゴンの座標（ｘ，ｙ，ｚ）は、図３に示すように、テクスチャ画像の輝度値の座標（ｕ，ｖ）に変換される。図３の例では、説明の明確性を高めるために、テクスチャを文字Ｅとした。テクスチャ画像の輝度値１３０１は、テクスチャマッピングによって山形の物体形状１３０２に貼り付けられる。たとえば、文字部に位置する点１３０３の座標（ｘ，ｙ，ｚ）は点１３０４の座標（ｕ，ｖ）に対応し、従って、点１３０３のポリゴンの輝度値は黒を示す０に決定される。一方、背景部に位置する点１３０５の座標（ｘ，ｙ，ｚ）は点１３０６の座標（ｕ，ｖ）に対応し、従って、点１３０５のポリゴンの輝度値は白を示す１に決定される。

ポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係は、デザイナが設計時に全組み合わせに対して与えても構わない。しかし、写実性の高い画像、映像を作成する場合、画素数は膨大であり、１組１組、デザイナが対応関係を指定するのは現実的ではない。そこで、一般的には、代表的な対応関係をデザイナが与え、これをもとに、計算機が補間演算等を用いて、全画素の処理を実行する。たとえば、図４の例では、テクスチャ画像の輝度値１３０１上の点１３０４、点１３０６、１４０１と物体形状１３０２上の点１３０５、点１４０２、点１４０３が、ポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係を指定する代表点である。指定箇所に属さないポリゴン、たとえば、ポリゴン１４０４の輝度値は、近傍に位置する点１３０５、点１４０２、点１４０３が有するポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係から補間によって算出する。具体的には、ポリゴン１４０４の輝度値Ｌは、下記数１に示すように、ポリゴン１４０４と点１３０５の距離Ｄ１、ポリゴン１４０４と点１４０２の距離Ｄ２、ポリゴン１４０４と点１４０３の距離Ｄ３の逆数で重み付けして線形補間を用いる。

ここで、Ｌｉは、テクスチャ画像の輝度値上の点１３０４、点１３０６、点１４０１の輝度値である。

以上より、テクスチャマッピング部１１０３は、補間演算に必要なポリゴンの輝度値を得るために、ポリゴン座標信号１１０５を輝度値メモリ部１１０４に送る。図４の例では、テクスチャマッピングを行う対象は点１４０４のポリゴンである。この点１４０４の輝度値を決めるために、ポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係がわかっている代表点１３０５、１４０２、１４０３の輝度値を輝度値メモリ部１１０４から取得する。

代表点探索部１１０６は、テクスチャマッピングを行う対象の点１４０４の近傍の代表点を探索し、点１３０５、点１４０２、点１４０３を出力する。（ｘ，ｙ，ｚ）→（ｕ，ｖ）変換部１１０７は、コンピュータグラフィックスのデザイナが設定したポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係を有し、この対応関係に従って、点１３０５、点１４０２、点１４０３の座標を（ｕ，ｖ）座標に変換する。最近傍検出部１１１２は、代表点の（ｕ，ｖ）座標に最も近い（ｕ，ｖ）座標を輝度値メモリ部１１０４から検出し、ポリゴン座標信号１１０５として出力する。輝度値メモリ部１１０４は、ポリゴン座標信号１１０５として受けた（ｕ，ｖ）座標をデータアドレスとしてテクスチャ画像の輝度値を取得し、テクスチャ輝度信号１１０８として、テクスチャマッピング部１１０３に送り返す。輝度補間部１１０９は、数１を演算し、点１４０４のポリゴンの輝度値を算出する。

投影変換部１１１０は、３次元形状を２次元の投影面に変換して、表示部の２次元画像を生成する。非特許文献１が開示するように、投影変換には、遠近感が得られる透視投影法など複数の手法が存在する。

表示部１１１１は、たとえば液晶表示装置であり、液晶ディスプレイにコンピュータグラフィクスの２次元画像を表示する。

以上により、実写画像を形状に貼り付けて、リアリティの高いテクスチャを生成できる。

しかし、実写画像の光沢や陰影は、２次元形状の実物から得たものであり、３次元の立体構造を持つ実物の光沢や陰影とは異なる。たとえば、鏡面反射を持つ被写体は、光源からの光を正反射するため、局所的に輝度値の高い陰影を有し、光沢感や質感を決める要素となる。２次元のテクスチャ画像の輝度値１００２から円柱形状に貼り付けられたテクスチャ画像の輝度値１００３は、２次元画像としての光沢や陰影を持ち、３次元形状が折りなす光沢や陰影とは異なる。

そこで、テクスチャ画像の輝度値の光沢や質感が実物と合うように、テクスチャ画像の輝度値を３次元座標とともに計測する。すなわち、図５に示すように、３次元形状の被写体１５０１をカメラ３０２で撮影してテクスチャ画像の輝度値を得る。加えて、測距センサ３１３によって、被写体１５０１までの距離を計測し、テクスチャ画像の輝度値の画素ごとに、（ｘ，ｙ，ｚ）座標を取得する。テクスチャ画像の輝度値１５０２は、画素ごとに、（ｘ，ｙ，ｚ）座標と輝度値を有することになり、被写体１５０１上の計測点（ｘ，ｙ，ｚ）の輝度値を示す。テクスチャマッピングは、円柱１００１のポリゴンの座標（ｘ，ｙ，ｚ）に最も近いテクスチャ画像１５０２の輝度値の（ｘ，ｙ，ｚ）座標を検出し、そのテクスチャ画像の輝度値を描画画像１５０５に貼り付ける。

上述の処理を実現するための構成を図６に示す。図６は、ポリゴンの座標に基づいてテクスチャ画像の輝度値を取得する画像生成装置の構成、および、構成要素間のデータフローを示すブロック図である。画像生成装置は、図５で説明したポリゴンの座標（ｘ，ｙ，ｚ）でテクスチャ画像の輝度値を取得するテクスチャマッピングを行う。輝度値メモリ部１６０１には、あらかじめ計測された被写体１５０１上の計測点の（ｘ，ｙ，ｚ）座標と輝度値とが登録されている。最近傍検出部１６０２は、３次元形状信号１１０２で与えられるポリゴンの座標（ｘ，ｙ，ｚ）に最も近い計測点を検出し、これをポリゴン座標信号１１０５として輝度値メモリ部１６０１にアドレスする。

これにより、図１に示した２次元のテクスチャ画像の輝度値をマッピング方法では必要となる、ポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係の設定が不要となる。具体的には、図１における代表点探索部１１０６と（ｘ，ｙ，ｚ）→（ｕ，ｖ）変換部１１０６は不要になり、代わって、最近傍検出部１６０２が輝度値メモリ部１６０１をアクセスする。また、輝度値メモリ部１６０１から取得したテクスチャ画像の輝度値そのものがマッピングされるため、輝度補間部１１０９も不要となる。

従って、図６は、テクスチャ画像の輝度値を実物から実写画像で取得するのみならず、テクスチャ画像の輝度値を取得された（ｘ，ｙ，ｚ）座標も計測するため、ポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係の設定が不要になる。

これまでは、静的な被写体を対象としてテクスチャ画像の輝度値を変化させる処理を説明した。

コンピュータグラフィックスが、映画や広告、ニュースなどの様々な媒体で利用される際に、複数のフレーム画像から成る動画像として作成されることが多い。動画像を用いて物体の動きや視点位置の移動などを行うと、表現力や説明の分かりやすさを高める効果がある。このような動画像表現において、物体と物体の接触による「物体の変形」は、多くの場面で求められる描画要素であり、コンピュータグラフィックスの写実性向上に大きく寄与するファクタである。上述したテクスチャマッピングを物体の変形に対応させることが可能であれば非常に好ましいといえる。「物体の変形」に対応するためには、ジオメトリ演算部１１０１（図１、図６）には物体の変形に関係する演算を行う機能が必要になる。

これらを考慮して、次に、変形を伴う物体のテクスチャマッピングを説明する。

図７は、外力を受けて物体形状が変形するモデルを組み込んだテクスチャマッピングを行う画像生成装置のブロック図である。ジオメトリ演算部１７０１は、図２に示したポリゴンの組み合わせによる形状記述に加えて、図８に示すように、質点１８０１とバネ１８０２を持つ。

「真空内での布の挙動の比較による布シミュレーションの精度検証」（田川和義、林宏卓、木島竜吾、小鹿丈夫、日本バーチャルリアリティ学会 第７回大会論文集，ｐｐ．３６１−３６４，２００２年）によれば、物体の弾性をバネの弾性に離散化し、外力に対する引っ張り回復力や曲げ回復力などを設定して、物体の弾性を記述する。重量特性に相当する質点は、通常、ポリゴン頂点に設けられ、従って、バネはポリゴン頂点をつなぐポリゴンの辺に配置される。

上述の文献では、物体として布を想定している。しかしながら、たとえば、「ハプティック・テクスチャを用いた医療トレーニングシステムの開発」（田村信彦，津村徳道，三宅洋一，田辺政裕，山浦晶、ＶＲ医学， Ｖｏｌ． Ｎｏ．１， ｐｐ．３０−３７， ２００４年）が開示するように、皮膚や臓器など、弾性を有する様々な物体に適用できる。引っ張り回復力Ｆｓｔｒｅｔｃｈは下記数２で、曲げ回復力Ｆｂｅｎｄは下記数３で、それぞれ表現できる。すべてのバネに働く力を求め、各質点に働く力の合力を計算し、その後、下記数４で質点ｉの座標ｘｉを求める。

数２において、Ｔ（）は伸び率−引っ張り回復力の関数、ｌは計算時点でのバネの長さ、ｌ０はバネの初期長、ベクトルＬｉｊは質点Ｐｉから質点Ｐｊに向かう単位方向ベクトルを表わす。数３において、Ｂ（）は曲率−モーメントの関数、Ｋは曲率、ベクトルＮｉは質点Ｐｉと質点Ｐｊを結ぶ直線に垂直な単位法線ベクトルを表わす。数４において、ｍｉは質点ｉの質量、ベクトルｖｉは質点ｉの速度ベクトル、ベクトルＦｉは質点ｉの力ベクトル、ベクトルＦｉは質点ｉの力ベクトル、ｎは現時刻、ｎ＋１は次時刻を表わす。

上述のモデルによると、形状変化を一般化して表現することが可能である。すなわち、物体が外力を受けて変形した際には、形状変化を質点の移動として記述することが可能である。この形状変化に関連して、輝度値メモリにアクセスするためのアドレス（座標値）を変更し、その座標値における輝度値を読み出す。このように、座標値によって示されるアドレスを変更することで、適切な輝度値を採用したテクスチャマッピングが可能である。

ジオメトリ演算部１７０１は、変形後の質点の新しい座標を算出する。具体的には、ジオメトリ演算部１７０１における、形状設定部１７１２で物体形状を設定し、質点バネ設定部１７０２で質点の位置と質量、バネの構造と弾性を設定し、外力設定部１７０３から外力ベクトル１７０４を受け、質点位置更新部１７０５で数２から数４を演算して変形後の質点の新しい座標を算出する。

質点位置更新部１７０５は、バネ力算出部１７０６で、たとえば数２や数３を用いてバネに働く力Ｆｉをバネ力ベクトル１７０７として算出する。そして、質点座標算出部１７０８で数４により、力ベクトルＦｉが質点の位置情報ｘｉに変換される。すなわち、物体が変形する原因は力（外力ベクトル１７０４）で与えられる。そして、質点座標算出部１７０８が力学系のバネ力ベクトル１７０７を幾何学系の３次元形状信号１１０２に置き換えて、質点の移動として物体変形を記述する。

ところで、輝度値メモリ部１７２０に格納されている計測点（ｘ，ｙ，ｚ）の輝度値は、質点位置更新部１７０５から見ると、現在時刻ｎに対応し、次時刻ｎ＋１には対応しない。そこで、質点座標算出部１７０８が行う質点の移動による物体変形の記述を、輝度値メモリ部１７２０に対しても施す必要がある。具体的には、輝度値メモリ部１７２０をアクセスするアドレスを質点の移動に呼応して変更する。

アドレス変換部１７１０は、物体の変形に伴う輝度値メモリ部１７２０のアドレス変更を行う。質点座標算出部１７０８が質点の移動（すなわち、座標ｘｉ，ｎ＋１とｘｉ，ｎが異なること）を検出すると、質点の移動情報を質点移動信号１７１１としてアドレス変換部１７１０へ送る。そして、現時刻ｎの（ｘ，ｙ，ｚ）座標が次時刻ｎ＋１の（ｘ，ｙ，ｚ）座標を参照するよう、アドレス変換テーブルを作成する。図９は、アドレス変換テーブル１９０１の一例を示す。たとえば、データ１９０２は、現時刻ｎにおいて質点が、（ｘ，ｙ，ｚ）＝（２０，１００，９０）にあったが、次時刻ｎ＋１では、（ｘ，ｙ，ｚ）＝（２０，１００，７５）に移動することを示している。

最近傍検出部１６０２は、現時刻ｎにおいて、３次元形状信号１１０２として受け取る（ｘ，ｙ，ｚ）＝（２０，１００，９０）の最近傍を検出すれば、適切なテクスチャ画像の輝度値が得られる。しかし、次時刻ｎ＋１でもそのまま、同じ位置（ｘ，ｙ，ｚ）＝（２０，１００，９０）で輝度値メモリ部１７２０を参照すると、ｚ方向に２５画素ずれた誤ったテクスチャ画像の輝度値を参照してしまう。

そこで最近傍検出部１６０２は、次時刻ｎ＋１では、（ｘ，ｙ，ｚ）＝（２０，１００，７５）でアドレス変換テーブル１９０１を参照する。その結果、データ１９０２が選ばれ、現時刻ｎにおいて、（ｘ，ｙ，ｚ）＝（２０，１００，９０）にあった計測点のテクスチャ画像の輝度値の輝度が取得される。

アドレス変換テーブル１９０１は、次時刻ｎ＋１に引き続き、時刻ｎ＋２、時刻ｎ＋３と都度、（ｘ，ｙ，ｚ）座標の更新が必要になる。従って、アドレス変換テーブル１９０１における次時刻ｎ＋１の列１９０３は、次時刻ｎ＋１以降、質点の移動が発生するたびに、上書きで（ｘ，ｙ，ｚ）座標を更新することになる。

一方、現時刻ｎの列１９０４に関しては、輝度メモリ部１６０１との固定的なつながりを維持するため、（ｘ，ｙ，ｚ）座標の書き換えは発生しない。そこで、質点座標算出部１７０８は、時刻がｎ＋１、ｎ＋２と進んでいったとしても、時刻ｎでの（ｘ，ｙ，ｚ）座標は保持し続けなければならない。数４が示すように、質点座標算出部１７０８は、連続する時間２つ分の変化を記述するものであり、過去の情報は保存されない。そこで、質点座標算出部１７０８は、輝度値メモリ部１７２０が作成された時刻ｎでの計測点情報を保持しておく必要がある。たとえば、時刻ｎ＋１０におけるテクスチャマッピングを実行する場合は、次時刻ｎ＋１の列１９０３には、時刻ｎから時刻ｎ＋１０の間に移動があった質点の、最新時刻における（ｘ，ｙ，ｚ）座標が登録される。

ところで、アドレス変換テーブル１９０１の更新作業が完了するまでは、テクスチャマッピングの処理を一時停止する必要がある。そこで、質点座標算出部１７０８が質点の移動を検出したら、質点移動識別信号１７１２をＯＮにして、最近傍検出部１６０２の動作を一時停止する。質点座標算出部１７０８が全質点のチェックを終えたら、アドレス変換テーブル１９０１の更新動作は完了する。そして、質点移動識別信号１７１２をＯＦＦにして、最近傍検出部１６０２の一時停止を解除し、テクスチャマッピングの処理を再開する。図１０は、アドレス変換部１７１０がポリゴン座標信号１１０５をアドレスとして用いて輝度メモリ部１６０１を参照し、テクスチャ画像の輝度値を取得することができる。

以上により、物体が外力を受けて変形した際も、形状変化を質点の移動として記述し、テクスチャ画像の輝度値メモリをアクセスするアドレスを変更することで、テクスチャマッピングが可能である。

これまでの例では、質点の位置の変化に応じてアドレス変換テーブルを修正し、適切なテクスチャ画像の輝度値を得ていた。しかしながら、素材の位置の変化と応力の大きさとの間には関連性があるため、先に説明した座標変換に代えて、応力ベクトルを利用することが可能である。すなわち、外力による形状変化を、ポリゴン位置の移動といったアドレス変換によって特定せず、応力に基づいて特定することが可能である。たとえば柔らかい素材は座標が変化しやすく、その分、引っ張り回復力および曲がり回復力（すなわち応力）が大きくなる。逆に、固い素材は座標が変化しにくいため、応力は比較的小さい。

図１１は、本実施形態による画像生成装置１００のブロック図を示す。

画像生成装置１００は、形状設定部１７１２、応力演算部１０１、外力設定部１７０３、テクスチャマッピング部１０２、輝度値メモリ部１０３を有している。

画像生成装置１００は、デザイナが設定した物体形状や弾性、外力などをもとに、輝度値メモリ部１０３に格納されているテーブルを参照する。具体的には、複数のポリゴンの各々についての、各ポリゴンの位置座標（アドレス）に関する位置情報、各ポリゴンの位置に作用する応力ベクトルの情報、および、外力が加えられたときのテクスチャ画像の各輝度値の情報が対応付けられたテーブルを参照する。参照の結果得られた輝度値を、テクスチャ画像の輝度値として採用し、変形する物体形状にその輝度値のテクスチャ画像を貼り付ける。

形状設定部１７１２は、図３に示した物体形状１３０２を設定し、外力を受けていない変形なしの形状を設定する。この物体形状１３０２は、３次元形状信号１１０２として質点バネ設定部１７０２に与えられる。

応力演算部１０１は、質点バネ設定部１７０２、バネ力算出部１７０６を有し、３次元形状信号１１０２として与えられたポリゴンに対して応力を算出する。

質点バネ設定部１７０２は、図８に示したように、ポリゴン頂点に質点を設定し、質点をつなぐバネ特性を設定する。本実施形態において、バネ特性の設定方法は任意であり、たとえば、非特許文献２が開示する数２や数３を利用して、引っ張り回復力Ｆｓｔｒｅｔｃｈや曲がり回復力Ｆｂｅｎｄの算出方法を設定する。

バネ力算出部１７０６は、質点バネ設定部１７０２の設定に従い、数２や数３の演算を実行して力ベクトルＦｉを算出し、これを応力信号１０５として出力する。すなわち、外力ベクトル１７０４が、バネを伸ばしたり、あるいは縮めたりして、数２のバネの長さｌや数３の曲率Ｋが変化させる。これにより、引っ張り回復力Ｆｓｔｒｅｔｃｈや曲がり回復力Ｆｂｅｎｄが発生し、数４の力ベクトルＦｉが算出される。これが各ポリゴンの応力となる。

外力設定部１７０３は、物体を変形させる外力ベクトル１７０４を設定する。物体の変形は、コンピュータグラフィックのデザイナが描画内容として設計する。図１２の例であれば、外力ベクトル１７０４の大きさと、物体形状Ｈ０１における力点の位置を決めることに相当する。

以上により、各ポリゴンには、ポリゴン座標（ｘ，ｙ，ｚ）と応力ベクトルＦｉという属性が与えられる。

輝度値メモリ部１０３は、ポリゴン座標（ｘ，ｙ，ｚ）と応力ベクトルＦｉをアドレスとして、テクスチャ画像の輝度値をテクスチャマッピング部１０２の指示にしたがって出力する。テクスチャ画像の輝度値は従来技術と同様に、事前に撮影しておく。

上述のように、本実施形態では、対象物が実在するという前提の下で、その対象物をコンピュータグラフィックスで表現しようとしたときの処理を説明している。よって、実在するその対象物のテクスチャおよび輝度値を予め取得することは可能である。以下、対象物のテクスチャおよび輝度値を取得するための具体的な構成を説明する。

図１３は、テクスチャ画像取得部１０６（図１１）の構成例を示す。テクスチャ画像取得部１０６は、対象物である被写体のテクスチャ画像を取得するのみならず、テクスチャ画像の輝度値を取得することが可能である。テクスチャ画像取得部１０６は、輝度値取得制御部３１４を有している。輝度値取得制御部３１４は、テクスチャ画像取得部１０６の全体制御を担い、ＸＹＺステージ３０４、カメラ３０２、測距センサ３１３の動作を制御する。加えて、通信線３０６を介して、画像生成装置１００との通信を行う。図１３の通信線３０６は、図１１のブロック図においては、通信線１０７に対応する。

被写体３０１は、テクスチャの取得に用いられる撮影用の物体である。被写体３０１がＸＹＺステージ３０４に設置されると、輝度値取得制御部３１４は支持ポール３０７と支持ポール３０８を制御して接触子３０５で被写体３０１を変形させる。カメラ３０２は、被写体３０１を撮影し、テクスチャ画像の輝度値を取得する。被写体３０１の表面に複数装着されたひずみセンサ３０３は、被写体３０１の応力を計測し、応力ベクトルの大きさを計測する。測距センサ３１３は、カメラ３０２に組み込まれ、カメラ３０２からひずみセンサ３０３までの距離を計測する。

接触子３０５の動きの指示は、データ線３１５を介して、外力設定部１７０３（図１１）から与えられる。外力設定部１７０３は、コンピュータグラフィックスのデザイナによって操作される。その結果、接触子３０５は、デザイナの設定通りに被写体３０１へ外力を与える。

ただし、応力演算部１０１が有するバネ弾性は、被写体３０１の実際の弾性に対して誤差を有する、と捉える方が妥当であり、その対処を講じるべきである。そこで、接触子３０５にひずみセンサ３０９を装着し、被写体３０１に与えた外力を計測する。ひずみセンサ３０９からの計測データが、外力設定部１７０３に設定された外力ベクトルと一致するように、接触子３０５の動きを制御して、応力演算部１０１が有するバネ弾性の誤差を補償する。

ひずみセンサ３０３の測定データは、応力データ線３１０を介して、画像生成装置１００へ取り込まれる。

カメラ３０２の撮影データと、測距センサ３１３の計測データは、画像データ線３１２を介して、画像生成装置１００へ取り込まれる。

なお、本実施形態において、接触子３０５の制御と、カメラ３０２によるテクスチャ画像の輝度値の撮影、ひずみセンサ３０３、３０９の測定のタイミング制御は任意であり、ひずみセンサ３０３、３０９の測定データを常時、画像生成装置１００へ取り込んでも構わない。また、テクスチャ画像の輝度値が撮影されたタイミングに合わせて、ひずみセンサ３０３、３０９の測定データを取得してもよい。すなわち、カメラ３０２のシャッタ動作に同期して、応力データ線３１０からのアナログ信号をサンプリングして離散化する。さらに、カメラ３０２のシャッタをコンピュータグラフィックスのデザイナが押し、カメラ３０２がシャッタ作動の識別信号を、輝度値取得制御部３１４を介して画像生成装置１００に送ってもよい。

測距センサ３１３は、複数のひずみセンサ３０３を用いた３次元位置の計測に利用される。各ひずみセンサ３０３の位置は応力ベクトルの始点位置に相当する。本実施形態において、測距方法は任意であるが、たとえば三角測量を利用することが可能である。図１４は、三角測量を説明する図である。三角測量とは、三角形の一辺とその両端の角度が決まると三角形が一義的に定まることを利用する測距方式である。既知の距離ｌだけ離れた２点Ａ，Ｂから点Ｐを見る角度をそれぞれα、βとすると、点Ｐの座標値（ｘ、ｙ）は以下で与えられる。

いま、点Ａにレーザー光源を置き、物体表面上の点Ｐにレーザー光を照射し、点Ｂに置いたカメラで点Ｐのレーザー光を捉えて点Ｐの座標値（ｘ、ｙ）を計測する。点Ａのレーザー光源と点Ｂのカメラを、カメラ３０２に搭載する。点Ｂのカメラは、カメラ３０２の撮像系が兼用しても構わない。

以上により、輝度値メモリ部１０３を参照するためのアドレスとして必要な応力ベクトルと応力ベクトルの始点位置の３次元座標（ｘ，ｙ，ｚ）が計測データとして取得され、データとして必要なテクスチャ画像の輝度値を実写画像で取得できる。一連の動作は、テクスチャ画像取得部１０６で成される。なお、テクスチャ画像取得部１０６は、図１３に示す構成（たとえばＸＹＺステージ３０４、）のみならず、取得されたテクスチャ画像のデータを保持するメモリ（図示せず）を有していてもよい。

なお、応力ベクトルの方向が計測可能であれば、輝度値メモリ部１０３のアドレスに応力ベクトルの方向を加えてもよい。輝度値メモリ部１０３のアドレスが、応力ベクトルの大きさと応力ベクトルの始点位置だけで構成されている場合、応力ベクトルの方向が異なっても同じテクスチャ画像の輝度値が参照されることになる。

また、被写体３０１に装着するひずみセンサ３０３が装着された位置は、カメラ３０２から見て、テクスチャ画像の輝度値が遮蔽されたことになり、撮影できない。通常、ひずみセンサ３０３は小型であるため、ひずみセンサ３０３の隣接部分のテクスチャ画像の輝度値で代替できる。しかし、被写体が小さく、ひずみセンサ３０３の大きさが無視できない場合は、ひずみセンサ３０３による応力計測とカメラ３０２によるテクスチャ画像の輝度値撮影を別々に行えばよい。すなわち、外力ベクトル１７０４の制御は、画像生成装置１００によって再現性が保証され、接触子３０５を何度も同じ動きで制御できる。そこで、同じ変形状態を２回設定し、すなわち被写体に与える外力を同じにした状態を２回設定し、応力計測とテクスチャ画像の輝度値撮影を別々に実行すればよい。なお、応力計測を先に行った後、撮影を行ってもよいし、その逆の順序で行ってもよい。

外力による形状変化が発生する度に、適切にテクスチャ画像の輝度値が取得でき、コンピュータグラフィクスの動画像の写実性が高まる。

さらに、応力計測においては、ひずみセンサ３０３の装着数を少なくするために、応力分布を有限要素法などの計算機モデルで取得しても構わない。本実施形態は、変形したテクスチャ画像の輝度値を実写画像として取得するイメージベース手法に則るもので、テクスチャ画像の輝度値の取得には計算モデルを用いない。一方、応力取得に関しては、本実施形態とは別に、計算機モデルで応力を取得しても構わない。また、応力計測と応力計算モデルを併用するなど、任意の方法を適用可能である。

なお、図１３において、説明の都合上、各機器の制御やデータ送信は有線になっているが、本実施形態ではこれに制限を与えるものではなく、無線通信や記録メディアなど、任意の手段を利用できる。輝度値メモリ部１０３は、画像生成装置１００に内蔵されたハードディスクや半導体メモリなどで実装でき、また、取り外し可能なポータブルメディアである光ディスクなども適用できる。

また、図１３において、接触子３０５は、ひずみセンサ３０９を１つだけ装着しているが、本実施形態は外力ベクトル１７０４の本数に制限を与えるものではない。すなわち、外力ベクトル１７０４の計測点を複数用意し、ある時刻で、複数の外力ベクトル１７０４が計測されても構わない。

再び図１１を参照する。テクスチャマッピング部１０２は、最近傍検出部１０８を有し、３次元形状信号１１０２として与えられるポリゴンの座標（ｘ，ｙ，ｚ）と応力信号１０５として与えられる応力ベクトルに最も類似するデータを輝度値メモリ部１０３から検出する。ここで「類似する」とは、応力ベクトルが最も近いことを意味する。具体的には、ポリゴンの座標（ｘ，ｙ，ｚ）に最も近い始点位置を有し、かつ、応力ベクトルの大きさが最も近いことを意味する。

最近傍検出部１０８は、３次元形状信号１１０２として与えられるポリゴンの座標（ｘ，ｙ，ｚ）に最も類似している（ｘ，ｙ，ｚ）座標を輝度値メモリ部１０３のアドレスから検出する。次に、検出された（ｘ，ｙ，ｚ）座標を有するデータのうち、応力信号１０５として与えられる応力ベクトルに最も類似する応力ベクトルを輝度値メモリ部１０３のアドレスから検出する。この２段階の検出によって、テクスチャ画像の輝度値が特定される。

本実施形態では、物体の変形情報を力学系のみで取り扱い、ポリゴン座標などの幾何学系では変形情報を取り扱わない。従って、輝度値メモリ部１０３のアドレスである応力ベクトルの始点位置座標（ｘ，ｙ，ｚ）は、３次元形状信号１１０２として与えられるポリゴン座標との対応付けが目的であり、物体変形に伴う（ｘ，ｙ，ｚ）座標の更新は不要である。輝度値メモリ部１０３のアドレスである応力ベクトルの始点位置座標（ｘ，ｙ，ｚ）は固定であり、従って、ひずみセンサ３０３の装着位置を（ｘ，ｙ，ｚ）座標で計測した後は、測距センサ３０３での距離計測は不要である。最近傍検出部１０８が、最初に（ｘ，ｙ，ｚ）座標の最近傍を検出し、引き続き、応力ベクトルの最近傍を検出する２段階方式を取る理由は、ここにある。

（ｘ，ｙ，ｚ）座標の最近傍検出は、３次元形状信号１１０２として与えられるポリゴンの座標（ｘ，ｙ，ｚ）に最も近い応力ベクトルの始点位置座標（ｘ，ｙ，ｚ）を決定する。引き続き、検出された応力ベクトルの始点位置で、形状に関するデータ探索が行われ、具体的には、応力信号１０５に最も類似する応力ベクトルが検出される。

たとえば、図１３において、被写体３０１にひずみセンサ３０３を１００個装着し、カメラ３０２で１０００回撮影したとすると、輝度値メモリ部１０３には、１０万個（１００点×１０００回）のテクスチャ画像の輝度値輝度値が格納されることになる。（ｘ，ｙ，ｚ）座標の最近傍検出は、１００個のひずみセンサ３０３の１つを検出し、引き続き、応力ベクトルの最近傍検出は、１０００個の応力ベクトルの中から１つが検出される。

図１５は、画像生成装置１００の処理の手順を示すフローチャートである。

描画設計ステップ５０１は、コンピュータグラフィックのデザイナが描画設計を行うステップである。第１に、描画する物体の３次元形状をポリゴンの集合として形状設定部１７１２に設定する。この形状は、外力を受けていない、変形のない形状として設計する。第２に、描画する物体の弾性をバネ弾性として質点バネ設定部１７０２に設定する。第３に、描画する物体が受ける外力を外力ベクトル１７０４として外力設定部１７０３に設定する。

ステップＳ５０２以降は、主として画像生成装置１００によって行われる処理である。

テクスチャ画像の輝度値設定ステップ５０２は、テクスチャ画像の輝度値の撮影と応力ベクトルの計測を行うステップである。コンピュータグラフィックのデザイナは、テクスチャ画像の輝度値を取得するために、被写体３０１を用意し、ひずみセンサ３０３の貼り付けとカメラ３０２、測距センサ３１３の設置を行う。カメラ３０２はテクスチャ画像の輝度値を撮影し、ひずみセンサ３０３が応力ベクトルを計測する。ひずみセンサ３０３の３次元位置座標（ｘ，ｙ，ｚ）は測距センサ３１３で計測する。ひずみセンサ３０３の３次元位置座標（ｘ，ｙ，ｚ）と応力ベクトルをアドレスとして、テクスチャ画像の輝度値をデータとして、輝度値メモリ部１０３に格納する。一連の動作は、テクスチャ画像取得部１０６で行い、被写体３０１の変形は、外力設定部１７０３から受ける外力ベクトル１７０４が発生するように、ＸＹＺステージが制御される。

ポリゴン座標送出ステップ５０３では、形状設定部１７１２は、３次元形状信号１１０２としてポリゴン座標（ｘ，ｙ，ｚ）を応力演算部１０１とテクスチャマッピング部１０２へ送出する。

応力演算ステップ５０４では、バネ力算出部１７０６は、質点バネ設定部１７０２の設定と外力設定部１７０３からの外力ベクトル１７０４とに基づいて、ポリゴン座標（ｘ，ｙ，ｚ）の応力ベクトルを演算する。

最近傍検出ステップ５０５では、テクスチャマッピング部１０２内の最近傍検出部１０８は、第１に、ポリゴン座標（ｘ，ｙ，ｚ）に最も近い輝度値メモリ部１０３の（ｘ，ｙ，ｚ）アドレスを検出する。そして、第２に、当該（ｘ，ｙ，ｚ）アドレスを有するデータの中から、そのポリゴンに対して作用させようとする応力ベクトルが最も近いアドレスを検出し、テクスチャ画像の輝度値を出力する。

投影変換ステップ５０６では、投影変換部１１１０は、３次元形状を２次元の投影面に変換して、ディスプレイ表示用の２次元画像を生成する。より具体的には、投影変換部１１１０は、輝度値メモリ部１０３のテーブルを参照した結果得られた輝度値を適用してテクスチャ画像の輝度値を変化させ、各ポリゴンの位置にそのテクスチャ画像を貼り付ける。表示ステップ５０７では、表示部１１１１は２次元画像をディスプレイに表示する。

以上により、画像生成装置１００は、外力による形状変化を、応力演算部１０１という「力学系」に集約し、ポリゴン位置の移動といった「幾何学系」への変換なしに、物体変形のテクスチャマッピングが可能である。言い換えると、本実施形態における幾何学系の設定は固定であり、変形に伴う状況変化はすべて力学系に集約される。

一方、図７に示したテクスチャマッピングは、バネ力算出部１７０６で算出されたバネ力ベクトル１７０７で変形情報を力学系で記述した後、質点座標算出部１７０８でポリゴン位置の移動といった幾何学系に変換している。従って、外力による形状変化が力学系のみに集約される本実施形態の処理では、力学系から幾何学系への変換を行う場合に必要になるアドレス変換が不要となり、テクスチャマッピングの処理が大幅に簡素化される。そして、テクスチャ画像の輝度値を参照し、形状変化が伴う実写画像をテクスチャマッピングできるため、写実性の高いコンピュータグラフィックスを作成できる。また、高い写実性を維持したまま、テクスチャマッピングの高速処理、演算回路のダウンサイジングという効果を発揮する。言い換えると、テクスチャマッピング処理の負荷を軽くできる。その結果、携帯機器などの様々な機器への搭載や、通信帯域が限られたネットワーク利用などにも応用することが可能になり、汎用性をより高めることができる。

なお、考え方としては、図３に説明した、ポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係の設定を、対象物が変形した都度、追加設定を行う手順も存在する。すなわち、本実施形態のように形状変化を応力変化で捉える、あるいは、従来技術のようにポリゴン位置の変化で捉える、といった機能を使わずに、都度、コンピュータグラフィックのデザイナが自身で、ポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係を追加していく方法である。しかし、ポリゴンの座標（ｘ，ｙ，ｚ）とテクスチャ画像の輝度値の座標（ｕ，ｖ）の対応関係を、人手で追加することは、作業量から考えて非現実的であり、特に、物体変形を描画するには動画が必要である。従って、本実施形態や従来技術のように、コンピュータグラフィックスを生成する機器が、形状変化に伴う状態変化を何らかの仕組みで捉えることは必然と言える。

（実施形態２）
実施形態１では、対象物の形状をどのように変化をさせるかが予め定められていた。

本実施形態では、対象物の形状変化は予め定められておらず、形状変化した対象物のテクスチャ画像の輝度値を実写し、かつ、形状変化に伴って発生した対象物の応力を計測する。そして、その結果を利用し、テクスチャを貼り付けるポリゴンの座標と応力をアドレスとしてテクスチャ画像の輝度値を取得する画像生成装置を説明する。特に、対象物を変形させながら外力ベクトルを計測し、当該計測データを外力設定部に設定する。

図１６は、本実施形態による画像生成装置６００を示すブロック図である。なお、図１１と同様の部分については同じ符号を付し、詳細な説明を省略する。

画像生成装置６００は、形状設定部１７１２、応力演算部１０１、外力設定部６０１、テクスチャマッピング部１０２、輝度値メモリ部１０３を有している。画像生成装置６００は、デザイナが設定した物体形状や弾性、外力などをもとに、特定した輝度値のテクスチャ画像を変形する物体形状に貼り付ける。

外力設定部６０１は、テクスチャ画像取得部６０２から送出される外力計測信号６０３によって設定される。

テクスチャ画像値取得部６０２は、人（たとえばデザイナー）が対象物に与えた外力を計測し、これを外力設定部６０１に送出する。図１７は、テクスチャ画像取得部６０２（図１６）の構成例を示す。人が接触子７０１を移動させて、被写体３０１を変形させる。ＸＹＺステージ７０２は、支持ポール３０７と支持ポール３０８に装着されたエンコーダ７０３、エンコーダ７０４、エンコーダ７０５を用いて、接触子７０１の（ｘ，ｙ，ｚ）座標を計測する。計測された（ｘ，ｙ，ｚ）座標は、輝度値取得制御部３１４を介して、データ線３１５を介して画像生成装置６００へ送出される。接触子７０１が被写体３０１に加えた外力ベクトル１７０４は、ひずみセンサ３０９で計測され、ひずみセンサ３０３の計測データとともに、応力データ線３１０を介して画像生成装置６００へ取り込まれる。外力ベクトル１７０４の方向は、接触子７０１の位置変化から取得する。

撮影の指示のタイミングは任意であり、テクスチャ画像取得部６０２は、一定間隔（たとえば、１／３０秒）でテクスチャ画像の輝度値を連続的に取り込んでも構わない。しかしながら、テクスチャ画像取得部６０２がひずみセンサ３０９および／または測距センサ３１３の変化量を監視し、応力ベクトルの大きさの変化が所定の変化量を上回った際や、応力ベクトルの始点位置の変化が所定の基準値を超えたときに、撮影指示を出す方法なども考えられる。変化量に従ってカメラ３０２がテクスチャ画像の輝度値を撮影する場合は、接触子７０１が、いわゆる「カメラのシャッタボタン」として機能する。

図１８は、輝度値取得制御部３１４の調整画面７０６の表示例を示す。

図１８に示す「カメラ設定」の枠８０１は、カメラ３０２の設定を行うメニューである。そのうち「シャッタ動作」項目８０２は、カメラ３０２のシャッタの動作を設定するメニューである。デザイナがボタン（図示せず）などの入力装置を介して「一定間隔」のラジオボタンを選択すると、カメラ３０２のシャッタは、１秒間の撮影枚数で決まる時間間隔で連続的にテクスチャ画像の輝度値を撮影する。「応力変化」のラジオボタンを選択すると、カメラ３０２のシャッタは、指定の応力変化が計測される度にテクスチャ画像の輝度値を撮影する。「形状変化」のラジオボタンを選択すると、測距センサ３１３の計測データを時系列にトレースし、指定の距離変化が計測される度にテクスチャ画像を撮影し、その輝度値を取得する。「シャッタボタン」のラジオボタンを押すと、カメラ３０２のシャッタを押すたびにテクスチャ画像の輝度値が撮影される。

図１８に示す「接触子設定」の枠８０３は、接触子７０１の設定を行うメニューである。そのうち、「動作指示」項目８０４は、接触子の動きの指定方法を設定するメニューである。「インポート」のラジオボタンを押すと、接触子の動き方をテクスチャ画像取得部６０２以外の外部から指示を受ける。外部からの指示とは、たとえば、外力設定部６０１である。「なし（人による動作入力）」のラジオボタンを押すと、接触子の動き方の指示はなく、人が接触子を手に持って動かし、ＸＹＺステージ７０２は、エンコーダ７０３、７０４、７０５で接触子の動きを計測する。

以上により、コンピュータグラフィックスのデザイナは、外力ベクトル１７０４を直接、デザインする必要はなく、実物の変形具合を視覚的に、また触覚的に確認しながら、被写体３０１への加圧度合いを調整することで外力設定部６０１を設定できる。たとえば、同じ外力ベクトルを硬さの異なる対象物に与えれば、柔らかい対象物は大きく変形する。変形の度合いが大きければ、テクスチャ画像の輝度値の変化も大きくなり、時間的により細かくテクスチャ画像の輝度値を撮影する必要がある。逆に、硬い対象物は変形が小さいため、テクスチャ画像の輝度値の撮影枚数は少なくできる。デザイナの描画意図として設計される変形の具合は、実物で確認しながら、外力設定部６０１は、応力ベクトルの計測によって設定される。従って、コンピュータグラフィックの物体変形が実物のように自然になり、かつ、写実性の高いテクスチャ制作が可能になる。

なお、図１６における被写体に対する外力の与え方と外力ベクトルの計測方法は、一例であって、ひずみセンサが装着されたグローブを手に装着して、複数本の指で加圧するなど、任意の方法を適用できる。ただし、外力の付与と外力ベクトルの計測を行うがために、被写体３０１とカメラ３０２の間に遮蔽物が入り、テクスチャ画像の輝度値が撮影できない場合があり得る。その場合は、上述したように、一旦、外力ベクトル１７０４と応力ベクトルを計測し、別途、遮蔽の少ないＸＹＺステージで被写体３０１を変形し、カメラ３０２でテクスチャ画像の輝度値を撮影する。このとき、それぞれにおいて被写体に与える外力を同一とすることによって、応力計測のセンサなどが被写体を必要以上に隠すことなく、テクスチャ画像の輝度値を撮影できる。

（実施形態３）
本実施形態では、形状変化した対象物のテクスチャ画像の輝度値を実写し、かつ、形状変化に伴って発生した対象物の応力を計測し、テクスチャを貼り付けるポリゴンの座標と応力をアドレスとしてテクスチャ画像の輝度値を取得する画像生成装置について説明する。特に、物体を変形させる外力が、画像生成装置とは別に設けられた入力機器から入力される。

図１９は、本実施形態による画像生成装置９００のブロック図である。なお、図１１と同様の部分については同じ符号を付し、詳細な説明を省略する。

画像生成装置９００は、形状設定部１７１２、応力演算部１０１、外力受信部６０１、テクスチャマッピング部１０２、輝度値メモリ部１０３を有し、デザイナが設定した物体形状や弾性をもとに、変形する物体形状にテクスチャ画像の輝度値を貼り付ける。物体を変形させる外力は、画像生成装置９００の外部から受信する。

外力受信部９０１は、ネットワーク９０２を介して外力送信部９０３から、外力ベクトル１７０４を取得する。外力送信部９０３は、たとえば、あらかじめプログラミングされた外力生成モデルから外力ベクトル１７０４を得て送信したり、あるいは、ひずみセンサの計測データを送信する。

外力生成モデルは、具体的には、コンピュータでの演算を想定し、ネットワークを介した力覚情報の遠隔コミュニケーションを可能にする。

一般に、外力生成モデルは、有限要素法のように、対象物を細かなセルに分割して、セルごとに外力生成モデルを設定する。モデルパラメータ（たとえば、弾性率など）の設定は、各セルに成され、その総体として対象物の形状が決定される。従って、大量に設定された小さなセルごとにモデルパラメータを設定するため、通常、計算量は膨大であり、大規模な計算資源を利用することになる。画像生成装置９００は、テクスチャマッピングに特化し、演算負荷が大きい外力ベクトル１７０４の設定は、画像生成装置９００の外部に切り出す。

たとえば有限要素法においては、要素ごとに種々の状況下でどのような力が加わるかを計算する必要があり、計算の負荷が非常に大きい。そのような負荷が大きい計算を、画像生成装置とは異なる外部のコンピュータを利用して行い、計算結果である外力の与え方を画像生成装置９００に設定すればよい。

ひずみセンサを外部送信部９０３に用いる場合は、たとえば、ビデオゲームの入力端末などを想定する。表示部１１１１にビデオゲームの映像が表示されており、ビデオゲームのプレーヤーはビデオゲームの映像を見ながら、ゲームプレーに関わる様々なアクションを手に持ったひずみセンサから入力する。たとえば、物体を押しつぶす動作を入力する場合は、手に持ったひずみセンサをテーブルに押し付けて、より大きな外力を外力送信部９０３から画像生成装置９００へ入力する。画像生成装置９００は、外力受信部９０１で受信した外力ベクトル１７０４に従って、応力演算部１０１で応力信号１０５を計算し、テクスチャマッピング部１０２が形状変形に伴ったテクスチャ画像の輝度値を形状にマッピングする。

ビデオゲームを例に説明を行ったが、これは一例であり、たとえば、医療応用も可能である。たとえば、ひずみセンサが内視鏡に装着され、臓器の硬さをひずみセンサで計測し、臓器の変形の様子をコンピュータグラフィクスで描画し、医師は表示部１１１１を見て視覚的に確認することができる。対象物が遠隔地にあったり、体内にあったり、人が入れない危険な場所にあったり、何らかの制約で人が直接、対象物を触れない場合に、外力送信部９０３を画像生成装置９００から切り離す。

以上のように、対象物が手元にない場合、テクスチャ画像の輝度値は対象物そのものから得ることはできない。そこで、テクスチャ画像取得部１０６は、代替の被写体を用意し、これを撮影・計測して輝度値メモリ部１０３に必要な情報を登録することになる。たとえば、内視鏡による臓器の変形を描画する場合、テクスチャは臓器であることが特定されているため、あらかじめ準備しておくことは可能である。また、過去に撮影した映像をそのままテクスチャ画像の輝度値に用いることもできる。ビデオゲームの場合は、描画されるゲーム画面のすべてを用意して輝度値メモリ部１０３に格納しておく。

仮に、輝度値メモリ部１０３に登録されていない対象物の外力ベクトル１７０４が与えられたとしても、最近傍検出部１０８は、最も類似する応力ベクトルを検出する。そのため、テクスチャマッピングの処理が停止することはなく、何からのテクスチャ画像の輝度値を形状に貼り付けて描画を継続する。表示部１１１１に表示された描画画像の写実性を高めたい場合は、できるだけ対象物に近い代替の被写体を用意して、テクスチャ画像取得部１０６からテクスチャ画像の輝度値を追加する。

なお、ネットワーク９０２は、インターネットのような広域のデータ通信のみならず、コンピュータと周辺機器をつなぐＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＢｌｕｅｔｏｏｔｈのような個人レベルのローカルなデータ通信も含む。また、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードのような記録メディアを用いて、ネットワーク９０２と等価な機能を実現でき、本実施形態は機器をつなぐ手段を拘束するものではなく、任意の手段を利用できる。

以上により、画像生成装置９００以外で作成された外力ベクトル１７０４を受信して、テクスチャマッピングを実行でき、輝度値メモリ部１０３に、あらかじめ、対象物相当のテクスチャ画像の輝度値が用意できた場合は、写実性の高いコンピュータグラフィックスを作成可能である。

上述した各実施形態による画像生成装置の動作は、画像生成装置に搭載されているコンピュータ（プロセッサ）が、ＲＡＭ（図示せず）に格納されているコンピュータプログラムを実行することによって実現される。画像生成装置は、このコンピュータプログラムにしたがって、上述の動作を行う。たとえば、実施形態１による画像生成装置１００は、図１５のステップＳ５０２からステップＳ５０６までの処理を規定するコンピュータプログラムによって動作する。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現されてもよい。

上述の実施形態に記載の発明により、映像表現力の向上を図ることが可能になる。

加えて、実物を用いた実写映像で映像制作をするケースをコンピュータグラフィックスに置き換えることができ、天候や撮影場所などの物理制約から解放され、さらに、実写では危険が伴うようなカメラアングルでの映像制作が可能となる。

以上のように本発明は、映画制作を始め、テレビ、インターネット、雑誌等のメディア広告や、製品カタログなど、様々な媒体で頻繁に利用されているコンピュータグラフィックスの写実性を高め、映像表現力や広告効果の向上に大きく寄与する。特に、形状変化を描画できる動画像のコンピュータグラフィックスは、形状変化を捉えた実写画像により写実性の高いテクスチャを表現できるため、コンピュータグラフィックスの利用者層の拡大につながる。

１００ 画像生成装置
１０１ 応力演算部
１０２ テクスチャマッピング部
１０３ 輝度値メモリ部
１０８ 最近傍検出部
１１１０ 投影変換部
１１１１ 表示部
１７０２ 質点バネ設定部
１７０３ 外力設定部
１７０６ バネ力算出部
１７１２ 形状設定部

Claims (13)

1. 描画の対象物である被写体の表面を表現するための複数のポリゴンの各輝度値を、前記複数のポリゴンに貼り付けられるテクスチャ画像を参照して決定する画像生成システムであって、
   外力を与えて変形させた前記対象物のテクスチャ画像のデータを保持する取得部と、
   前記複数のポリゴンの各々について、外力が与えられていないときの前記対象物の各表面位置に対応して設定されたポリゴンの位置に関する位置情報、外力が与えられたときの前記対象物の各表面位置に対応するポリゴンに関連付けられた、各表面位置が受ける前記外力に基づく応力ベクトルの情報、および、前記外力が与えられたときの前記対象物のテクスチャ画像の輝度値の情報が対応付けられたテーブルを保持するメモリ部と、
   前記外力を受けていない前記対象物の各表面位置に対応するポリゴンの位置の情報、および、前記対象物に対して作用させる応力に基づく応力ベクトルの情報に基づいて前記テーブルを参照するテクスチャマッピング部と
   を備えた、画像生成システム。
2. 前記取得部は、さらに前記外力を計測し、
   前記テクスチャマッピング部は、計測された前記外力から、前記対象物の各表面位置が受ける前記外力に基づく応力ベクトルを算出し、前記テーブルを参照する、請求項１に記載の画像生成システム。
3. 前記取得部は、前記外力を与えて変形させた前記対象物のテクスチャ画像を撮影して前記テクスチャ画像のデータを生成し、前記対象物に与えられた外力に基づく、各ポリゴンに関連付けられた応力ベクトルの大きさおよび始点位置を計測して、前記応力ベクトルの情報を生成し、
   前記メモリ部は、前記応力ベクトルの情報を前記テーブルに格納する、請求項１に記載の画像生成システム。
4. 前記対象物の３次元形状に対して複数のポリゴンを設定する形状設定部と、
   前記外力によって発生する応力ベクトルを算出する応力演算部と、
   各ポリゴンの位置に関する位置情報および各ポリゴンの位置に対応する前記対象物の表面位置に与えられた前記外力から計測された応力ベクトルに基づいて、前記応力ベクトルに最も近いアドレスを有する前記テクスチャ画像の輝度値を特定する検出部と
   をさらに備え、
   前記メモリ部のテーブルでは、前記応力ベクトルの大きさおよび始点位置がアドレスとして保持され、前記メモリ部は、前記テクスチャ画像の輝度値を各ポリゴンの輝度値として出力する、請求項３に記載の画像生成システム。
5. 前記取得部は、ひずみセンサと測距センサとを有しており、
   前記ひずみセンサは、前記応力ベクトルの大きさを計測し、
   前記測距センサは、前記応力ベクトルの始点位置を計測する、請求項３に記載の画像生成システム。
6. 前記取得部は、前記対象物に与える外力を同じにした状態で、前記応力ベクトルの計測、および、前記テクスチャ画像の撮影を個別に行う、請求項１から５のいずれかに記載の画像生成システム。
7. 前記応力ベクトルの大きさの変化が所定の変化量を超えたとき、あるいは応力ベクトルの始点位置の変化が所定の基準値を超えたとき、前記取得部は、前記テクスチャ画像を撮影する、請求項５に記載の画像生成システム。
8. 前記ひずみセンサは、前記対象物に接触して配置されて前記外力を計測し、
   前記応力演算部は、計測された前記外力の情報を受け取り、前記外力によって発生する、各ポリゴンの位置に対応する前記対象物の表面位置に与えられた前記外力から応力ベクトルを算出する、請求項４に記載の画像生成システム。
9. 前記応力演算部は、ポリゴン単位で設定した質点および前記質点をつなぐバネ弾性を利用したモデルにより、前記応力ベクトルを算出する、請求項４に記載の画像生成システム。
10. 参照の結果得られた輝度値の情報に基づいて、各ポリゴンに対して適用されるテクスチャ画像の輝度値を変化させ、前記テクスチャ画像を出力する投影変換部をさらに備えた、請求項１に記載の画像生成システム。
11. 描画の対象物である被写体の表面を表現するための複数のポリゴンの各輝度値を、前記複数のポリゴンに貼り付けられるテクスチャ画像を参照して決定する画像生成システムにおいて利用される方法であって、
    外力を与えて変形させた前記対象物のテクスチャ画像のデータを用意するステップと、
    前記複数のポリゴンの各々について、外力が与えられていないときの前記対象物の各表面位置に対応して設定されたポリゴンの位置に関する位置情報、外力が与えられたときの前記対象物の各表面位置に対応するポリゴンに関連付けられた、各表面位置が受ける前記外力に基づく応力ベクトルの情報、および、前記外力が与えられたときの前記対象物のテクスチャ画像の輝度値の情報が対応付けられたテーブルを用意するステップと、
    前記外力を受けていない前記対象物の各表面位置に対応するポリゴンの位置の情報、および、前記対象物に対して作用させる応力に基づく応力ベクトルの情報に基づいて前記テーブルを参照するステップと、
    参照の結果得られた輝度値の情報に基づいて、各ポリゴンに対して適用されるテクスチャ画像の輝度値を変化させ、前記テクスチャ画像を出力するステップと
    を包含する画像生成方法。
12. 描画の対象物である被写体の表面を表現するための複数のポリゴンの各輝度値を、前記複数のポリゴンに貼り付けられるテクスチャ画像を参照して決定する画像生成システムのコンピュータによって実行されるコンピュータプログラムであって、
    前記画像生成システムは、外力を与えて変形させた前記対象物のテクスチャ画像のデータを保持しており、
    前記コンピュータプログラムは、前記コンピュータに対し、
    前記複数のポリゴンの各々について、外力が与えられていないときの前記対象物の各表面位置に対応して設定されたポリゴンの位置に関する位置情報、外力が与えられたときの前記対象物の各表面位置に対応するポリゴンに関連付けられた、各表面位置が受ける前記外力に基づく応力ベクトルの情報、および、前記外力が与えられたときの前記対象物のテクスチャ画像の輝度値の情報が対応付けられたテーブルを用意するステップと、
    前記外力を受けていない前記対象物の各表面位置に対応するポリゴンの位置の情報、および、前記対象物に対して作用させる応力に基づく応力ベクトルの情報に基づいて前記テーブルを参照するステップと、
    参照の結果得られた輝度値の情報に基づいて、各ポリゴンに対して適用されるテクスチャ画像の輝度値を変化させ、前記テクスチャ画像を出力するステップと
    を実行させる、コンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムが記録された記録媒体。

Images