JP2000251074A

JP2000251074A - 画像生成処理方法およびその装置

Info

Publication number: JP2000251074A
Application number: JP11054186A
Authority: JP
Inventors: Hiroshi Sugitani; 博史杉谷; Takashi Torio; 隆鳥生; Toshio Endo; 利生遠藤; Satoshi Otake; 聡大竹; Masaaki Yoshikawa; 正晃吉川; Noritsune Sekiguchi; 憲恒関口
Original assignee: Fujitsu Ltd; Toray Industries Inc
Current assignee: Fujitsu Ltd; Toray Industries Inc
Priority date: 1999-03-02
Filing date: 1999-03-02
Publication date: 2000-09-14

Abstract

(57)【要約】【課題】任意の視点から見た２つの事物の合成画像を
簡単に生成する。【解決手段】人物を電動回転椅子１に座らせて回転さ
せながら頭部の画像をＴＶカメラ２で撮影し、１周分の
画像を多視点画像の格納部３に格納し、電動回転椅子１
からは、画像を撮影する各時点における回転角度を視点
の獲得部４に通知する。顔画像生成部５では、視点設定
部８により任意に指定された視点と最も近い視点を選択
し、その視点に対応する多視点画像において顔の領域を
抽出して出力し、位置合わせ合成部６では、先ず、顔領
域の画像を基に、画像中における回転軸を検出する。次
に、領域抽出後の正面像と側面像のそれぞれにおいて、
顎位置検出部６ｂで顎の最下部を検出する。画像合成部
６ｄでは、人体部の画像と位置合わせ後の頭部の画像と
を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像生成処理方
法およびその装置に関し、さらに詳細にいえば、ある事
物を複数の視点から撮影した複数枚の静止画像を基に、
任意に設定した視点から見た画像を生成する方法および
その装置、このように生成された画像を他の事物を同じ
視点から見たときの画像とを位置を合わせて合成する方
法およびその装置に関する。

【０００２】

【従来の技術】例えば、アパレル業界においては、衣服
の３次元着装シミュレーションと３次元ＣＡＤとを連動
させることによって顧客の要望を素早く一品生産に反映
させる新しい生産・流通システムの実現が望まれている
が、その際、店頭で顧客自身の顔を撮影し、それをＣＧ
（コンピュータ・グラフィックス）で作成した衣服の像
と３次元的に合成して表示すれば、顧客自身がその衣服
を着装したときの姿をより的確に把握できる。別の例と
しては、ＣＧで作成した眼鏡と顧客自身の顔とを合成す
ることによって、好みの眼鏡を素早く見つけることがで
きるシステムの実現が望まれている。また、対象となる
のは必ずしも顔には限らず、例えば、壺や工芸品などの
美術作品を複数の視点から撮影した実写画像を基に、Ｃ
Ｇで作成した博物館の内部において任意の視点から見た
画像を生成することによって、電子的な博物館を実現す
るシステムへの要望も多い。

【０００３】このようなシステムを実現するためには、
複数の視点から撮影したある顔や壺などの画像を基に、
その事物を任意の視点から見たときの画像を生成し、そ
れを例えばＣＧで生成した人体部や眼鏡、あるいは、博
物館の内装と位置とを合わせて合成する技術が必要であ
る。

【０００４】このような要求に応えるべく、従来から、
第１の事物と第２の事物とを合わせて合成するために、
ある固定した視点から見た両者の像に対して手動操作に
よって位置合わせを行う方法が提案されている。

【０００５】この方法を採用すれば、例えば、頭部と衣
服像との位置を合わせる場合には、人物頭部を正面から
撮影した画像と、正面から見た衣服像との２枚の画像を
用意し、頭部像をマウスなどを使って平行移動させなが
ら、衣服像との位置を合わせた上で、両者を合成するこ
とができる。

【０００６】

【発明が解決しようとする課題】しかし、この方法を採
用した場合には、人手がかかるという不都合がある。特
に、任意の視点からの合成画像を生成するためには、そ
れぞれの視点において手動で位置合わせを行う必要があ
るので、その手間が膨大になってしまうという不都合が
ある。

【０００７】この発明は上記の問題点に鑑みてなされた
ものであり、任意の視点から見た事物の画像を簡単に生
成することができる画像生成処理方法およびその装置を
提供することを第１の目的とし、任意の視点から見た２
つの事物の合成画像を簡単に生成することができる画像
生成処理方法およびその装置を提供することを第２の目
的としている。

【０００８】

【課題を解決するための手段】第１の発明の画像生成処
理方法は、第１の事物を該第１の事物との相対的な位置
および向きが互いに異なる複数の視点から見た多視点画
像を格納しておくとともに、前記複数の視点の位置およ
び向きを獲得しておき、任意に視点を設定したことに応
答して、多視点画像と複数の視点の位置および向きとを
基にして、該設定された視点から見た第１の事物の画像
を生成する方法である。

【０００９】第２の発明の画像生成処理方法は、第１の
事物を該第１の事物との相対的な位置および向きが互い
に異なる複数の視点から見た多視点画像を格納しておく
とともに、前記複数の視点の位置および向きを獲得して
おき、任意に視点を設定したことに応答して、多視点画
像と複数の視点の位置および向きとを基にして、該設定
された視点から見た第１の事物の第１画像を生成し、第
１の事物と異なる第２の事物を前記設定された視点から
見た第２の事物の第２画像を生成し、前記設定された視
点に応じて第１画像と第２画像とを位置合わせを行って
合成して合成画像を生成する方法である。

【００１０】第１の発明の画像生成処理装置は、第１の
事物を該第１の事物との相対的な位置および向きが互い
に異なる複数の視点から見た多視点画像を格納する多視
点画像格納手段と、前記複数の視点の位置および向きを
獲得する視点獲得手段と、任意に視点を設定する視点設
定手段と、多視点画像と複数の視点の位置および向きと
を基にして、該設定された視点から見た第１の事物の画
像を生成する第１画像生成手段とを含むものである。

【００１１】第２の発明の画像生成処理装置は、第１の
事物を該第１の事物との相対的な位置および向きが互い
に異なる複数の視点から見た多視点画像を格納する多視
点画像格納手段と、前記複数の視点の位置および向きを
獲得する視点獲得手段と、任意に視点を設定する視点設
定手段と、多視点画像と複数の視点の位置および向きと
を基にして、該設定された視点から見た第１の事物の第
１画像を生成する第１画像生成手段と、第１の事物と異
なる第２の事物を前記設定された視点から見た第２の事
物の第２画像を生成する第２画像生成手段と、前記設定
された視点に応じて第１画像と第２画像とを位置合わせ
を行って合成して合成画像を生成する合成画像生成手段
とを含むものである。

【００１２】

【作用】第１の発明の画像生成処理方法であれば、第１
の事物を該第１の事物との相対的な位置および向きが互
いに異なる複数の視点から見た多視点画像を格納してお
くとともに、前記複数の視点の位置および向きを獲得し
ておき、任意に視点を設定したことに応答して、多視点
画像と複数の視点の位置および向きとを基にして、該設
定された視点から見た第１の事物の画像を生成するので
あるから、任意の視点から見た第１の事物の高品質な画
像を簡単に生成することができる。

【００１３】第２の発明の画像生成処理方法であれば、
第１の事物を該第１の事物との相対的な位置および向き
が互いに異なる複数の視点から見た多視点画像を格納し
ておくとともに、前記複数の視点の位置および向きを獲
得しておき、任意に視点を設定したことに応答して、多
視点画像と複数の視点の位置および向きとを基にして、
該設定された視点から見た第１の事物の第１画像を生成
し、第１の事物と異なる第２の事物を前記設定された視
点から見た第２の事物の第２画像を生成し、前記設定さ
れた視点に応じて第１画像と第２画像とを位置合わせを
行って合成して合成画像を生成するのであるから、任意
の視点から見た２つの事物の合成画像を簡単に生成する
ことができる。

【００１４】第１の発明の画像生成処理装置であれば、
多視点画像格納手段によって、第１の事物を該第１の事
物との相対的な位置および向きが互いに異なる複数の視
点から見た多視点画像を格納し、視点獲得手段によっ
て、前記複数の視点の位置および向きを獲得する。そし
て、視点設定手段によって、任意に視点を設定すれば、
第１画像生成手段によって、多視点画像と複数の視点の
位置および向きとを基にして、該設定された視点から見
た第１の事物の画像を生成することができる。

【００１５】したがって、任意の視点から見た第１の事
物の高品質な画像を簡単に生成することができる。

【００１６】第２の発明の画像生成処理装置であれば、
多視点画像格納手段によって、第１の事物を該第１の事
物との相対的な位置および向きが互いに異なる複数の視
点から見た多視点画像を格納し、視点獲得手段によっ
て、前記複数の視点の位置および向きを獲得する。そし
て、視点設定手段によって、任意に視点を設定すれば、
第１画像生成手段によって、多視点画像と複数の視点の
位置および向きとを基にして、該設定された視点から見
た第１の事物の第１画像を生成することができる。ま
た、第２画像生成手段によって、第１の事物と異なる第
２の事物を前記設定された視点から見た第２の事物の第
２画像を生成し、合成画像生成手段によって、前記設定
された視点に応じて第１画像と第２画像とを位置合わせ
を行って合成して合成画像を生成することができる。

【００１７】したがって、任意の視点から見た２つの事
物の合成画像を簡単に生成することができる。

【００１８】

【発明の実施の形態】以下、添付図面を参照して、この
発明の実施の態様を詳細に説明する。

【００１９】図１はこの発明の画像生成処理装置の第１
の実施態様を示すブロック図である。

【００２０】この画像生成処理装置は、人物の頭部とＣ
Ｇで作成した衣服像を任意の視点において位置合わせを
して画像を合成するものである。

【００２１】この画像生成処理装置では、先ず、人物を
電動回転椅子１に座らせて回転させながら頭部の画像を
ＴＶカメラ２で撮影する。そして、１周分の画像、例え
ば、４°ごとの９０枚の画像を多視点画像の格納部３に
格納する。電動回転椅子１からは、画像を撮影する各時
点における回転角度が視点の獲得部４に通知される。こ
のようにして、９０枚の各画像が人物頭部に対してどの
方向（視点）から撮影されたものかが認識される。

【００２２】次に、顔画像生成部５では、視点の獲得部
４で獲得された視点の中から、視点設定部８により任意
に指定された視点と最も近い視点を選択し、その視点に
対応する多視点画像において顔の領域を抽出して出力す
る。

【００２３】位置合わせ合成部６では、先ず、顔領域抽
出部５ｂから出力される画像を基に、回転軸検出部６ａ
で画像中における回転軸を検出する。回転軸検出処理を
図２に示す。

【００２４】重心算出部では、顔領域抽出部５ｂから出
力されるそれぞれの視点における画像の顔領域部分の重
心の位置を算出する。仮の回転軸算出部では、それぞれ
の視点における重心の平均を算出し、回転軸は重心の平
均位置を通過するとの前提のもとで仮の回転軸を算出す
る。特徴点抽出部では、それぞれの視点における領域抽
出後の画像から明るさの変動が大きい部分を特徴点とし
て抽出する。具体的には、ガウシアンラプラシアン処理
｛原画像を先ず正規関数（ガウス関数）でぼかしてから
ラプラシアンを適用する処理｝後の画像の極大点・極小
点でその点でのガウシアンラプラシアンの絶対値が所定
の値より大きい点を特徴点として抽出する。特徴点の３
次元座標算出部では、仮の回転軸と各視点における特徴
点を基に、複数個の特徴点の３次元座標を算出する。具
体的には、ＴＶカメラ２の視軸が回転軸を通過するとい
う前提の基で３次元座標を算出する。回転軸算出部で
は、算出された特徴点の３次元座標を各視点における画
像に投影したときに投影された点と特徴点抽出部で抽出
された特徴点との距離ができるだけ小さくなるという基
準の基でＴＶカメラ２の視軸が回転軸に対してどれだけ
ずれているかを算出し、その結果を基に回転軸の位置を
補正する。

【００２５】位置合わせ合成部６では、次に、領域抽出
後の正面像と側面像のそれぞれにおいて、顎位置検出部
６ｂで顎の最下部を検出する。その処理の流れを図３に
示す。

【００２６】先ず、図３中（ａ）に示すように、正面像
において、髪領域と肌領域との色の違いを基に髪領域を
削除し、肌領域だけを残す。次に肌領域において、肌領
域の中で唇は概ね下方にあり、水平方向を向いているこ
とを基に唇を検出し、その中央の位置を検出する。その
後、唇の中央を出発点として下の方向に顎の最下部を探
索するが、そのとき、下方向に画像の明るさが急激に変
化する点を顎の最下部と判断する。次に、図３中（ｂ）
に示すように、左右の両側画像において、顎の最下部を
検出する。例えば、右側面像において、前記と同様に髪
領域を削除した後、肌領域の中で最も右下部を顎の最下
部として検出する。左側面像においても同様な処理で顎
の最下部を検出する。このようにして検出された顎の最
下部の位置を基に、三角測量の原理に基づいて顎の最下
部の３次元位置を算出する。位置合わせ部６ｃでは、頭
部の回転軸と人体の回転軸とが一致するように頭部画像
を移動させるとともに、顎の最下部が人体部に対して所
定の位置にくるように頭部画像をさらに移動させる。

【００２７】画像合成部６ｄでは、人体部の画像と位置
合わせ後の頭部の画像とを合成する。

【００２８】なお、対象が顔以外の場合には、電動回転
台を使用する。また、顎の最下部の代わりに対象に応じ
て検出しやすい部位を検出することになる。

【００２９】なお、人体画像生成部７は、設定された視
点に基づいて３次元の人体画像の回転処理を行って、視
点に対応する人体画像を生成する。

【００３０】この実施態様を採用した場合には、ＴＶカ
メラ２の視点の位置を電動回転椅子からの通知によって
獲得するので、位置合わせの精度が高いという利点があ
る。

【００３１】図４はこの発明の画像生成処理装置の第２
の実施態様を示すブロック図である。この画像生成処理
装置が図１の画像生成処理装置と異なる点は、既知の速
度パターンで回転する電動回転椅子１を採用し、視点の
獲得部４に代えて、その速度パターンを基にＴＶカメラ
２の視点の位置を推定する視点算出部４ａを採用した点
のみである。

【００３２】したがって、この実施態様を採用した場合
には、電動回転椅子１からの視点の通知が不要になるの
で、構成を簡素化することができる。

【００３３】図５はこの発明の画像生成処理装置の第３
の実施態様を示すブロック図である。この画像生成処理
装置が図４の画像生成処理装置と大きく異なる点は、電
動回転椅子１に代えて、慣性で回転される回転椅子１ａ
を採用した点である。この回転椅子１ａを勢いをつけて
慣性で回転させると、摩擦抵抗によって回転速度は徐々
に低下する。この実施態様においては、回転速度が一定
の割合で低下すると仮定して各時点における視点を獲得
するようにしている。

【００３４】この視点の獲得は、図５に示すように、類
似度算出、１回転後画像検出（１周後画像検出）、速度
・加速度算出、視点算出の流れで行う。なお、この実施
態様では、視点を算出するために約１回転半分以上の画
像を入力しておくものとする。

【００３５】類似度算出部４ｂでは、多視点画像の画像
どうしの類似性を評価する。具体的には、図６に示すよ
うに、先ず、多視点画像のそれぞれにおいて顔領域を抽
出し、次に、投影像算出部で顔領域の画素値を垂直方向
に累積する。このようにして、多視点画像のそれぞれに
おいて投影像が算出される。その後、投影像どうしの類
似性を相関係数によって評価する。すなわち、投影像ど
うしの相関係数が大きいほど類似していると判断する。

【００３６】１周後画像検出部４ｃでは、最初の約半周
分の画像のそれぞれに対して、ちょうど１周後の画像は
互いに類似していることを利用して、ちょうど１周後の
画像を検出する。すなわち、類似度が最大の画像がちょ
うど１周後の画像であると判断する。

【００３７】次に、速度・加速度算出部４ｄでは、最初
の約半周分の画像のそれぞれに対して、何枚後の画像が
ちょうど１周後の画像であるかに応じて、速度と加速度
を算出する。回転速度は徐々に低下するので、１周に要
する時間は徐々に増加し、それに従って、１周に要する
画像の枚数も徐々に増大する。また、１周に要する画像
の枚数の変化から速度の低下の割合が求まる。

【００３８】このようにして回転速度と加速度とが求ま
ると、それを基にして、視点算出部４ｅで多視点画像の
各画像の視点（何枚目の画像がどの角度で撮影された
か）を算出する。

【００３９】なお、視点の獲得部４以外の処理は第１の
実施態様と同様であるから説明を省略する。

【００４０】この実施態様を採用した場合には、電動回
転椅子１の代わりに回転椅子１ａを採用しているので、
構成を簡素化することができる。

【００４１】図７はこの発明の画像生成処理装置の第４
の実施態様を示すブロック図である。

【００４２】この実施態様が第３の実施態様と大きく異
なる点は、回転椅子１ａを勢いをつけて慣性で回転させ
るのではなく、人力によって少しづつ力を加えながら回
転させて多視点画像を入力するようにした点、および回
転のさせ方の相違に応じて視点の獲得部の処理の内容を
設定した点のみである。

【００４３】この実施態様では、類似度算出、１周後画
像検出、平均速度算出、視点算出の流れで視点を獲得す
る。１周後画像検出までの処理は第３の実施態様と同様
であるが、入力すべき画像の枚数は必ずしも１周半程度
でなくてもよく、１周以上であればもっと少なくてもよ
い。もっとも、画像の枚数が多いほど算出する視点の精
度は高くなる。平均速度算出部４ｆでは、最初の複数枚
の画像のそれぞれに対して、それに先立つ処理で求まっ
た１周後画像が何枚後の画像かに応じて、ちょうど１周
するのに要する枚数の平均を算出し、平均速度を求め
る。視点算出部４ｅでは、回転椅子１ａがその平均速度
で回転しているとの仮定のもとで、多視点画像のそれぞ
れを撮影したときの回転角度（視点）を算出する。

【００４４】この実施態様を採用した場合には、回転椅
子１ａを勢いをつけて回転させる必要がないので、回転
時に座る人が受ける衝撃を少なくできるという利点があ
る。

【００４５】図８はこの発明の画像生成処理装置の第５
の実施態様を示すブロック図である。

【００４６】この実施態様が第４の実施態様と大きく異
なる点は、回転椅子１ａに取り付けられたマーカ１ｂを
検出して視点を獲得するようにした点、および位置合わ
せ部６における回転軸の検出を検出されたマーカを利用
して行うようにした点のみである。

【００４７】この実施態様では、マーカの検出、視点の
検出の流れで視点を獲得する。マーカの検出部４ｇで
は、多視点画像のそれぞれにおいて回転椅子１ａに取り
付けられた既知のマーカ１ｂの位置を検出する。視点の
算出部４ｅでは、各視点において検出されたマーカ１ｂ
の位置を基に、各多視点画像が入力されたときの視点
（回転角度）を算出する。マーカ１ｂは、例えば、回転
椅子１ａを中心とする薄い円盤の側面に等間隔に記され
ており、マーカ１ｂの模様によって、その位置（正面か
らの角度）が特定できるものとする。マーカ１ｂ検出時
にその模様を判断することによって、その画像が撮影さ
れた時点における回転椅子１ａの回転角度を算出する。
つまり、中央に位置するマーカ１ｂの模様がどの角度に
相当するかを判断しておおまかな角度を算出した後、そ
のマーカ１ｂの位置によって角度を補正する。

【００４８】回転軸の検出部６ａでは、それぞれの多視
点画像において両側のマーカ１ｂの位置を検出し、それ
ら２点を２等分する位置を全ての多視点画像で平均化す
ることによって回転軸を検出する。

【００４９】この実施態様を採用した場合には、回転速
度が不規則でも、各多視点画像を撮影した時点の回転角
度をより精度よく算出でき、また、回転軸検出の精度も
よくなるので、高い精度で位置合わせができる。

【００５０】図９はこの発明の画像生成処理装置の第６
の実施態様を示すブロック図である。

【００５１】この実施態様が第４の実施態様と大きく異
なる点は、視点の獲得部４において、各多視点画像から
特徴点を抽出し、それらの位置によって視点を獲得する
とともに、回転軸の検出を行うようにした点のみであ
る。

【００５２】この実施態様では、視点の獲得は、特徴点
抽出、特徴点追跡、視点算出の流れで実行される。特徴
点抽出部４ｈは、図２の特徴点抽出と同様の処理を行
う。特徴点抽出部４ｉでは、抽出された特徴点のそれぞ
れに対して、その点を中心とする例えば７×７の矩形領
域の濃度パターンを多視点画像から切り出し、視点の異
なる多視点画像の間で、これら７×７の濃度パターンが
互いに類似している点は同一の特徴点であると判断し
て、それぞれの特徴点が撮影時の角度が変化するに従っ
てどのように移動していくかを追跡する。視点算出、お
よび回転軸の検出では、多視点画像の間でそれぞれの特
徴点が移動していく有様によってそれぞれの多視点画像
が撮影された時の視点（回転角度）を算出するととも
に、回転軸の位置を算出する。

【００５３】回転角度と回転軸との算出方法を図１０を
参照して詳述する。

【００５４】図１０は、ＴＶカメラ２の前で物体が回転
しているところを上から見た図である。ｍ番目の画像を
撮影する時点において、ｉ番目の特徴点は回転軸から距
離ｒｉの所にあり、ＴＶカメラ２の視軸と平行な基準軸
に対する角度がθｉ＋θｍであるとする。ここで、θｍ
は例えば顔の正面の方向である。また、回転軸と視軸と
の距離をｅ、回転軸から視軸に下ろした垂線の脚と視点
との距離をｄ、視点と画像面との距離（焦点距離）を
ｆ、ｉ番目の特徴点が観測される点のｘ座標をｘｉとす
る。このとき、図から分かるように、ｆ／ｘｉｍ＝｛ｄ−ｒｉ・ｃｏｓ（θｉ＋θｍ）｝／
｛ｒｉ・ｓｉｎ（θｉ＋θｍ）＋ｅ｝の関係がある。画像の枚数がＭ、特徴点の数がＮである
とすると、このような関係式がＭ×Ｎ個成り立つ。ただ
し、実際は、特徴点が陰になって観測されないこともあ
るので、関係式の数はこれよりも少なくなる。一方、焦
点距離ｆは一般に既知であるので、未知数の数はｒｉが
Ｎ個、θｉがＮ個、θｍがＭ個、ｅとｄとがそれぞれ１
個であり、合計で（２Ｎ＋Ｍ＋２）個である。従って、
ＮとＭとが十分に大きいときは、関係式の数の方が未知
数の数の方よりも多いので、これらの関係式から未知数
を求めることができる。このようにして、回転軸の位置
ｄと回転角度θｍが求まる。

【００５５】図１１はこの発明の画像生成処理装置の第
７の実施態様を示すブロック図である。

【００５６】この実施態様が第１の実施態様と大きく異
なる点は、椅子を回転させる代わりに、ＴＶカメラ２を
椅子１ｃをとりまくように回転させるようにした点のみ
である。

【００５７】この実施態様では、ＴＶカメラ２を電動モ
ータなどで回転させ、視点の位置を視点の獲得部４に通
知する。それ以外の処理は第１の実施態様と同様であ
る。

【００５８】図１２はこの発明の画像生成処理装置の第
８の実施態様を示すブロック図である。

【００５９】この実施態様が第７の実施態様と大きく異
なる点は、ＴＶカメラ２を回転させる代わりに、頭部を
横切る水平面上において椅子を取り巻くように複数の位
置にＴＶカメラ２を予め配置しておく点のみである。

【００６０】この実施態様では、どのＴＶカメラ２によ
って撮影を行うかを基に、視点の位置を視点の獲得部４
に通知する。それ以外の処理は第１の実施態様と同様で
ある。

【００６１】図１３はこの発明の画像生成処理装置の第
９の実施態様を示すブロック図である。

【００６２】この実施態様が第５の実施態様と大きく異
なる点は、ＴＶカメラ２を水平方向から人物を取り巻く
ように、例えば人手で自由に移動させながら多視点画像
を撮影するようにした点のみである。

【００６３】この実施態様では、ＴＶカメラ２と人物と
の位置関係が必ずしも回転ではないので、位置合わせ合
成部の構成が図５の実施態様と異なる。

【００６４】椅子１ｃに固定された座標系において、ｉ
番目のマーカ１ｂの３次元位置をＸｉ＝（ｘｉ，ｙｉ，
ｚｉ）、ｍ番目の多視点画像においてｉ番目のマーカ１
ｂが観測される位置を（ｘｉｍ，ｙｉｍ）、ｍ番目の画
像を撮影するときの視点の位置をＵｍ＝（ｕｍ，ｖｍ，
ｗｍ）、ｍ番目の画像を撮影するときのＴＶカメラ２の
向きを定める３×３の回転行列をＲｍ、焦点距離をｆと
し、Ｘｉｍ＝（ｘｉｍ，ｙｉｍ，ｚｉｍ）と置くと、次
の関係式が成立する。Ｘｉｍ＝｛ｆＲｍ（Ｘｉ−Ｕｍ）｝／‖（Ｘｉ−Ｕｍ）
‖ ここで、マーカの数をＮ、画像の枚数をＭとすると、こ
れらの関係式の数はＮ×Ｍ個ある。実際には、マーカが
陰に隠れて見えない場合があるので関係式の数はこれよ
りも少なくなる。一方、未知数の数はＲｍがＭ×３個、
ＵｍがＭ×３個、ＸｉがＮ×３個であり、合計で（６Ｍ
＋３Ｎ）個となる。従って、ＮとＭとが十分に大きいと
きは、関係式の数の方が未知数の数の方よりも多いの
で、これらの関係式からこれらの未知数を求めることが
できる。

【００６５】前記位置合わせ合成部では、先ず、第１の
実施態様で述べたのと同様の方法（図３参照）で、正面
像および両側面像において顎の最下部を検出する。次
に、それら３枚の画像を撮影した時のＴＶカメラ２の視
点の位置と向き、および、それぞれの画像における顎の
最下部の位置を基に三角測量の原理に基づいて顎の最下
部の３次元位置を算出する。他の処理は第５の実施態様
と同様である。

【００６６】図１４はこの発明の画像生成処理装置の第
１０の実施態様を示すブロック図である。

【００６７】この実施態様が第９の実施態様と大きく異
なる点は、椅子にマーカを取り付けず、マーカを検出す
る代わりに、多視点画像のそれぞれから特徴点を抽出
し、それらの特徴点を多視点画像の間で追跡するように
した点のみである。

【００６８】ここで、特徴点の抽出と特徴点の追跡とは
第５の実施態様と同様であり、その後の処理は第９の実
施態様と同様である。

【００６９】図１５は、この発明の画像生成処理装置の
第１１の実施態様を示すブロック図である。

【００７０】この実施態様が第１０の実施態様と大きく
異なる点は、顔画像生成部５が座標変換部５ｃを含んで
いる点のみである。この座標変換部５ｃの処理の流れを
図１６に示す。

【００７１】先ず、領域抽出後の多視点画像のそれぞれ
から第１の実施態様（図２参照）で説明した方法によっ
て特徴点を抽出する。３次元座標算出の流れを図１７に
示す。特徴点のペア選出では、ランダムに選んだ２枚の
多視点画像を選び、それぞれから抽出した特徴点の中か
ら１つづつランダムに特徴点を選択する。３次元特徴点
候補の算出では、仮にそれら２つの特徴点が物体上の同
一の特徴点が観測されたものであると仮定し、三角測量
の原理で特徴点の３次元座標を算出する。検証では、算
出された３次元特徴点候補を各多視点画像に投影し、投
影された点の近くに実際に特徴点が観測されているよう
な多視点画像の数を数え、それが所定の閾値以上である
時にその３次元特徴点候補を出力する。そうでないとき
は、再び特徴点のペアを選出する。このような仮説・検
証の処理を所定の数の３次元特徴点が抽出されるまで繰
り返す。こうして所定の数の３次元座標を算出した後、
それらを設定された視点における画像と第１の実施態様
で述べた方法で選択された視点における画像に投影し、
投影特徴点を算出する。座標変換係数部では、選択され
た視点における投影特徴点を設定された視点における投
影特徴点に変換するような座標変換を算出する。座標変
換実行部では、残出された座標変換に従って、選択され
た視点における領域抽出後の多視点画像を変換して出力
する。

【００７２】図１８はこの発明の画像生成処理装置の第
１２の実施態様を示すブロック図である。

【００７３】この実施態様が第１１の実施態様と大きく
異なる点は、顔画像生成部５として、選択された視点に
おける領域抽出後の多視点画像を座標変換して出力する
代わりに、複数（例えば、２個）の視点を選択し、それ
に対する２枚の領域抽出後の多視点画像を補間合成して
出力するようにした点のみである。

【００７４】複数視点選択部５ｄでは、設定された視点
に近い、例えば２つの視点を選択する。補間合成部５ｅ
の処理の流れを図１９に示す。３次元座標算出までの処
理は第１１の実施態様と同様である。その後、算出され
た３次元座標を設定された視点における画像と、選択さ
れた、例えば２つの視点における画像に投影する。次
に、選択された、例えば２つの視点における画像に投影
された投影特徴点を設定された視点における画像に投影
された投影特徴点に変換する座標変換係数を、例えば２
組算出する。座標変換実行部では、算出された、例えば
２組の座標変換係数に従って選択された、例えば２つの
視点における領域抽出後の多視点画像を座標変換する。
補間部では、座標変換された例えば２枚の画像を平均化
して出力する。

【００７５】図２０はこの発明の画像生成処理装置の第
１３の実施態様を示すブロック図である。

【００７６】この実施態様が第１２の実施態様と大きく
異なる点は、位置合わせ合成部６の構成のみである。

【００７７】この実施態様における位置合わせ合成部６
では、図２１に示す手順で手動で位置合わせを行う。

【００７８】先ず、例えば正面に相当する視点と側面に
相当する視点とにおいて、頭部と人体部とを重ねて画面
表示する。次に、手動位置合わせ部６ｃ’によって、人
物頭部が人体部と自然につながるようにマウスなどを使
って移動させる。その移動量を基に、三角測量の原理に
従って、３次元空間上における移動量を算出する。算出
された３次元移動量を基に、第１２の実施態様で述べた
方法で算出された３次元座標を移動させる。投影特徴点
算出では、移動された３次元座標を設定された視点にお
ける画像に投影する。座標変換係数算出部では、第１２
の実施態様に述べた方法で顔画像生成部で算出されてい
る選定された視点における投影特徴点を、ここで算出さ
れた投影特徴点に変換する座標変換係数を算出する。座
標変換実行部では、第１２の実施態様に述べた方法で生
成された補間画像を算出された座標変換係数に従って座
標変換して出力する。

【００７９】図２２はこの発明の画像生成処理装置の第
１４の実施態様を示すブロック図である。

【００８０】この実施態様では、第１２の実施態様に説
明した方法で位置合わせを行った後、その結果を画面に
表示し、画像合成・確認部６ｅにおいて、オペレータに
良否を判定させ、結果がよくないときに限って、第１３
の実施態様に述べた方法で手動で位置合わせを行うよう
に構成したものである。

【００８１】図２３はこの発明の画像生成処理装置の第
１５の実施態様を示すブロック図である。

【００８２】この実施態様では、必ずしも水平方向とは
限らずにＴＶカメラ２を自由に移動させながら撮影して
多視点画像を入力し、それに応じて、位置合わせ合成部
において、顎の最下部のように１点だけでなく、顎の最
下部と両目尻のように３点あるいはそれ以上の個数の所
定の特徴点を抽出し、それらの特徴点が人体部に対して
所定の位置にくるように位置合わせを行うようにしてい
る。

【００８３】ＴＶカメラ２を自由に移動させた場合に
は、必ずしも平行移動だけで位置合わせができるわけで
はなく、頭部の向きや大きさをも調整する必要がある。
そのために、３点以上の特徴点の抽出が必要になる。

【００８４】具体的には、３特徴点抽出部６ｆにおい
て、複数の多視点画像のそれぞれにおいて顎の最下部、
両目尻の３点を抽出する。次に、３次元位置算出部６ｇ
において、三角測量の原理に基づいてこれら３点の３次
元座標を算出する。その後、図２４に示す手順で位置合
わせを行う。

【００８５】先ず、抽出したこれらの３特徴点が人体部
に対して所定の位置にくるような平行移動量、回転量、
伸縮量の３次元移動量を算出し、これらの移動量に基づ
いて、顔画像生成部において算出した特徴量の３次元座
標の移動量を算出する。その後、顔画像生成部で算出さ
れた投影特徴点を、ここで算出された投影特徴点に変換
する座標変換係数を算出し、それに基づいて座標変換し
て出力する。

【００８６】

【発明の効果】この発明は、任意の視点から見た第１の
事物の高品質な画像を簡単に生成することができるとい
う特有の効果を奏する。

【００８７】他の発明は、任意の視点から見た２つの事
物の合成画像を簡単に生成することができるという特有
の効果を奏する。

【図面の簡単な説明】

【図１】この発明の画像生成処理装置の第１の実施態様
を示すブロック図である。

【図２】回転軸検出処理の流れを説明する流れ図であ
る。

【図３】顎の最下部を検出する処理の流れを説明する流
れ図である。

【図４】この発明の画像生成処理装置の第２の実施態様
を示すブロック図である。

【図５】この発明の画像生成処理装置の第３の実施態様
を示すブロック図である。

【図６】類似性評価処理の流れを説明する流れ図であ
る。

【図７】この発明の画像生成処理装置の第４の実施態様
を示すブロック図である。

【図８】この発明の画像生成処理装置の第５の実施態様
を示すブロック図である。

【図９】この発明の画像生成処理装置の第６の実施態様
を示すブロック図である。

【図１０】回転角度と回転軸の算出方法を説明する図で
ある。

【図１１】この発明の画像生成処理装置の第７の実施態
様を示すブロック図である。

【図１２】この発明の画像生成処理装置の第８の実施態
様を示すブロック図である。

【図１３】この発明の画像生成処理装置の第９の実施態
様を示すブロック図である。

【図１４】この発明の画像生成処理装置の第１０の実施
態様を示すブロック図である。

【図１５】この発明の画像生成処理装置の第１１の実施
態様を示すブロック図である。

【図１６】座標変換部の処理の流れを説明する流れ図で
ある。

【図１７】３次元座標算出の流れを説明する流れ図であ
る。

【図１８】この発明の画像生成処理装置の第１２の実施
態様を示すブロック図である。

【図１９】補間合成部の処理の流れを説明する流れ図で
ある。

【図２０】この発明の画像生成処理装置の第１３の実施
態様を示すブロック図である。

【図２１】位置合わせ合成部の処理の流れを説明する流
れ図である。

【図２２】この発明の画像生成処理装置の第１４の実施
態様を示すブロック図である。

【図２３】この発明の画像生成処理装置の第１５の実施
態様を示すブロック図である。

【図２４】位置合わせ処理の流れを説明する流れ図であ
る。

【符号の説明】

１電動回転椅子１ａ回転椅子１ｂマーカ１ｃ固定椅子２ＴＶカメラ３多視点画像の格納部４視点獲得部４ａ視点算出部４ｂ類似度算出部４ｃ１周後画像検出部４ｄ速度・加速度算出部４ｅ視点算出部４ｆ平均速度算出部４ｇマーカ検出部４ｈ特徴点抽出部４ｉ特徴点追跡部５顔画像生成部５ａ視点選択部５ｂ顔領域抽出部５ｃ座標変換部５ｄ複数視点選択部５ｅ補間合成部６位置合わせ合成部６ａ回転軸検出部６ｂ顎位置検出部６ｃ位置合わせ部６ｃ’ 手動位置合わせ部６ｄ画像合成部６ｅ画像合成・確認部６ｆ３特徴点抽出部６ｇ３次元位置算出部７人体画像生成部８視点設定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者鳥生隆神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内 (72)発明者遠藤利生神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内 (72)発明者大竹聡神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内 (72)発明者吉川正晃香川県高松市紺屋町１丁目３番地株式会社富士通香川システムエンジニアリング内 (72)発明者関口憲恒滋賀県大津市園山町１丁目１番１号東レ株式会社滋賀事業場内Ｆターム(参考） 5B050 BA06 BA10 BA12 DA07 EA03 EA05 EA19 FA19 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CE08 CE09 CH08 DC02

Claims

【特許請求の範囲】

【請求項１】第１の事物を該第１の事物との相対的な
位置および向きが互いに異なる複数の視点から見た多視
点画像を格納しておくとともに、前記複数の視点の位置
および向きを獲得しておき、任意に視点を設定したこと
に応答して、多視点画像と複数の視点の位置および向き
とを基にして、該設定された視点から見た第１の事物の
画像を生成することを特徴とする画像生成処理方法。
【請求項２】第１の事物を該第１の事物との相対的な
位置および向きが互いに異なる複数の視点から見た多視
点画像を格納しておくとともに、前記複数の視点の位置
および向きを獲得しておき、任意に視点を設定したこと
に応答して、多視点画像と複数の視点の位置および向き
とを基にして、該設定された視点から見た第１の事物の
第１画像を生成し、第１の事物と異なる第２の事物を前
記設定された視点から見た第２の事物の第２画像を生成
し、前記設定された視点に応じて第１画像と第２画像と
を位置合わせを行って合成して合成画像を生成すること
を特徴とする画像生成処理方法。
【請求項３】前記多視点画像は、電動回転手段によっ
て第１の事物を回転させながら第１の事物を撮影して得
られた画像であり、前記視点の向きは、第１の事物の撮
影時に電動回転手段から出力される回転角度信号に基づ
いて算出することを特徴とする請求項１または請求項２
に記載の画像生成処理方法。
【請求項４】前記多視点画像は、電動回転手段によっ
て第１の事物を電動回転手段固有のパラメータで指定さ
れる速度パターンで回転させながら第１の事物を撮影し
て得られた画像であり、前記視点の向きは、電動回転手
段に固有のパラメータに基づいて算出することを特徴と
する請求項１または請求項２に記載の画像生成処理方
法。
【請求項５】前記多視点画像は、第１の事物を慣性で
回転させながら第１の事物を撮影して得られた画像であ
り、前記視点の向きは、多視点画像間の類似度に基づい
て１回転後の画像撮影時点を得、この画像撮影時点から
回転速度および回転加速度を検出し、この回転速度およ
び回転加速度に基づいて算出することを特徴とする請求
項１または請求項２に記載の画像生成処理方法。
【請求項６】前記多視点画像は、第１の事物を回転さ
せながら第１の事物を撮影して得られた画像であり、前
記視点の向きは、多視点画像間の類似度に基づいて１回
転後の画像撮影時点を得、この画像撮影時点から平均回
転速度を検出し、この平均回転速度に基づいて算出する
ことを特徴とする請求項１または請求項２に記載の画像
生成処理方法。
【請求項７】前記多視点画像は、第１の事物を所定の
模様を付加した物体と同時に回転させながら撮影して得
られた画像であり、前記視点の向きは、多視点画像のそ
れぞれから前記所定の模様を検出することによって算出
することを特徴とする請求項１または請求項２に記載の
画像生成処理方法。
【請求項８】前記多視点画像は、第１の事物を回転さ
せながら第１の事物を撮影して得られた画像であり、前
記視点の向きは、多視点画像のそれぞれから特徴点を抽
出して特徴点の対応関係を抽出し、この対応関係を基に
算出される第１の事物の回転角度に基づいて算出するこ
とを特徴とする請求項１または請求項２に記載の画像生
成処理方法。
【請求項９】前記多視点画像は、第１の事物の周りを
移動しながら撮影して得られた画像であり、前記視点の
向きは、移動位置に基づいて算出することを特徴とする
請求項１または請求項２に記載の画像生成処理方法。
【請求項１０】前記多視点画像は、第１の事物の周り
に配置された複数の撮影位置において撮影して得られた
画像であり、前記視点の位置および向きは、該当する撮
影位置に基づいて算出することを特徴とする請求項１ま
たは請求項２に記載の画像生成処理方法。
【請求項１１】前記多視点画像は、第１の事物と所定
の模様を付加した物体とを同時に撮影して得られた画像
であり、前記視点の向きは、多視点画像のそれぞれから
検出された模様の位置関係に基づいて算出することを特
徴とする請求項９または請求項１０に記載の画像生成処
理方法。
【請求項１２】前記視点の向きは、多視点画像のそれ
ぞれから５個以上の特徴点を抽出して各特徴点の対応関
係を抽出し、この対応関係に基づいて算出することを特
徴とする請求項９または請求項１０に記載の画像生成処
理方法。
【請求項１３】前記第１の事物の画像の生成は、得ら
れた視点から選択された画像から所望の領域を切り出す
ことにより行うことを特徴とする請求項１から請求項１
２の何れかに記載の画像生成処理方法。
【請求項１４】前記第１の事物の画像の生成は、得ら
れた視点から選択された画像から所望の領域を切り出
し、この領域を座標変換することにより行うことを特徴
とする請求項１から請求項１２の何れかに記載の画像生
成処理方法。
【請求項１５】前記第１の事物の画像の生成は、得ら
れた視点から選択された複数の画像から所望の領域を切
り出し、これらの領域を補間合成することにより行うこ
とを特徴とする請求項１から請求項１２の何れかに記載
の画像生成処理方法。
【請求項１６】前記第１画像と第２画像との合成は、
第１の事物の軸、および多視点画像のそれぞれからの所
定の特徴点の検出を行い、所定の特徴点の３次元的な位
置の算出を行い、第１の事物の軸と第２の事物の軸とが
一致し、かつ、３次元空間上で所定の特徴点が第２の事
物に対して所定の位置にくるように位置合わせして行う
ことを特徴とする請求項２から請求項８、請求項１２か
ら請求項１５の何れかに記載の画像生成処理方法。
【請求項１７】前記第１画像と第２画像との合成は、
第１の事物の軸の検出を行い、軸が所定位置にくるよう
に多視点画像のうち所定枚数の画像のそれぞれを移動さ
せ、移動された画像が第２の事物に対して適切な位置に
くるように第１の事物を移動させ、この移動量に基づい
て両画像を位置合わせして行うことを特徴とする請求項
２から請求項８、請求項１２から請求項１５の何れかに
記載の画像生成処理方法。
【請求項１８】前記第１画像と第２画像との合成は、
多視点画像のうち所定視点から撮影された複数の画像の
それぞれから３個の特徴点の検出を行い、特徴点の３次
元的な位置の算出を行い、３次元空間上で３個の特徴点
が第２の事物に対して所定の位置にくるように位置合わ
せして行うことを特徴とする請求項２から請求項１５の
何れかに記載の画像生成処理方法。
【請求項１９】第１の事物を該第１の事物との相対的
な位置および向きが互いに異なる複数の視点から見た多
視点画像を格納する多視点画像格納手段と、前記複数の
視点の位置および向きを獲得する視点獲得手段と、任意
に視点を設定する視点設定手段と、多視点画像と複数の
視点の位置および向きとを基にして、該設定された視点
から見た第１の事物の画像を生成する第１画像生成手段
とを含むことを特徴とする画像生成処理装置。
【請求項２０】第１の事物を該第１の事物との相対的
な位置および向きが互いに異なる複数の視点から見た多
視点画像を格納する多視点画像格納手段と、前記複数の
視点の位置および向きを獲得する視点獲得手段と、任意
に視点を設定する視点設定手段と、多視点画像と複数の
視点の位置および向きとを基にして、該設定された視点
から見た第１の事物の第１画像を生成する第１画像生成
手段と、第１の事物と異なる第２の事物を前記設定され
た視点から見た第２の事物の第２画像を生成する第２画
像生成手段と、前記設定された視点に応じて第１画像と
第２画像とを位置合わせを行って合成して合成画像を生
成する合成画像生成手段とを含むことを特徴とする画像
生成処理装置。
【請求項２１】前記多視点画像は、電動回転手段によ
って第１の事物を回転させながら第１の事物を撮影して
得られた画像であり、前記視点獲得手段は、第１の事物
の撮影時に電動回転手段から出力される回転角度信号に
基づいて視点の向きを算出するものであることを特徴と
する請求項１９または請求項２０に記載の画像生成処理
装置。
【請求項２２】前記多視点画像は、電動回転手段によ
って第１の事物を電動回転手段固有のパラメータで指定
される速度パターンで回転させながら第１の事物を撮影
して得られた画像であり、前記視点獲得手段は、電動回
転手段に固有のパラメータに基づいて視点の向きを算出
するものであることを特徴とする請求項１９または請求
項２０に記載の画像生成処理装置。
【請求項２３】前記多視点画像は、第１の事物を慣性
で回転させながら第１の事物を撮影して得られた画像で
あり、前記視点獲得手段は、多視点画像間の類似度を算
出する類似度算出手段と、多視点画像のうちある時点に
おける画像とちょうど１回転した後の画像を類似度に基
づいて検出する１回転後画像検出手段と、多視点画像の
うち所定の複数の画像のそれぞれを撮影した時点とそれ
らの画像に１回転後画像を撮影した時点との関係から回
転速度および回転加速度を算出する速度・加速度算出手
段とを含み、算出された回転速度および回転加速度に基
づいて視点の向きを算出するものであることを特徴とす
る請求項１９または請求項２０に記載の画像生成処理装
置。
【請求項２４】前記多視点画像は、第１の事物を回転
させながら第１の事物を撮影して得られた画像であり、
前記視点獲得手段は、多視点画像間の類似度を算出する
類似度算出手段と、多視点画像のうちある時点における
画像とちょうど１回転した後の画像を類似度に基づいて
検出する１回転後画像検出手段と、多視点画像のうち１
つ以上の画像のそれぞれを撮影した時点とそれらの画像
の１回転後画像を撮影した時点との関係から平均回転速
度を算出する速度算出手段とを含み、この平均回転速度
に基づいて視点の向きを算出するものであることを特徴
とする請求項１９または請求項２０に記載の画像生成処
理装置。
【請求項２５】前記多視点画像は、第１の事物を所定
の模様を付加した物体と同時に回転させながら撮影して
得られた画像であり、前記視点獲得手段は、多視点画像
のそれぞれから前記所定の模様を検出することによって
視点の向きを算出するものであることを特徴とする請求
項１９または請求項２０に記載の画像生成処理装置。
【請求項２６】前記多視点画像は、第１の事物を回転
させながら第１の事物を撮影して得られた画像であり、
前記視点獲得手段は、多視点画像のそれぞれから特徴点
を抽出する特徴点抽出手段と、多視点画像の間で特徴点
の対応関係を抽出する特徴点追跡手段と、この対応関係
を基にそれぞれの多視点画像を撮影した時点における第
１の事物の回転角度を算出する回転角度算出手段とを含
み、多視点画像のそれぞれを撮影した時点における回転
角度から視点の向きを算出するものであることを特徴と
する請求項１９または請求項２０に記載の画像生成処理
装置。
【請求項２７】前記多視点画像は、第１の事物の周り
を移動しながら撮影して得られた画像であり、前記視点
獲得手段は、移動位置に基づいて視点の向きを算出する
ものであることを特徴とする請求項１９または請求項２
０に記載の画像生成処理装置。
【請求項２８】前記多視点画像は、第１の事物の周り
に配置された複数の撮影位置において撮影して得られた
画像であり、前記視点獲得手段は、該当する撮影位置に
基づいて視点の位置および向きを算出するものであるこ
とを特徴とする請求項１９または請求項２０に記載の画
像生成処理装置。
【請求項２９】前記多視点画像は、第１の事物と所定
の模様を付加した物体とを同時に撮影して得られた画像
であり、前記視点獲得手段は、多視点画像のそれぞれか
ら該模様を検出する模様検出手段を含み、多視点画像の
それぞれから検出された模様の位置関係に基づいて視点
の向きを算出することを特徴とする請求項２７または請
求項２８に記載の画像生成処理装置。
【請求項３０】前記視点獲得手段は、多視点画像のそ
れぞれから５個以上の特徴点を抽出する特徴点抽出手段
と、多視点画像の間で各特徴点の対応関係を抽出する特
徴点追跡手段とを含み、この対応関係に基づいて算出す
るものであることを特徴とする請求項２７または請求項
２８に記載の画像生成処理装置。
【請求項３１】前記第１画像生成手段は、多視点画像
から必要に応じて所望の領域を切り出す領域抽出手段
と、設定された任意の視点に応じて視点獲得手段で得ら
れた視点１つを選択する視点選択手段とを含み、選択さ
れた視点に対応する領域抽出後の多視点画像を出力する
ものであることを特徴とする請求項１９から請求項３０
の何れかに記載の画像生成処理装置。
【請求項３２】前記第１画像生成手段は、多視点画像
から必要に応じて所望の領域を切り出す領域抽出手段
と、視点設定手段で設定された任意の視点に応じて得ら
れた視点から１つを選択する視点選択手段とを含み、設
定された視点と選択された視点との関係に応じて選択さ
れた視点に対応する領域抽出後の多視点画像を座標変換
した上で出力するものであることを特徴とする請求項１
９から請求項３０の何れかに記載の画像生成処理装置。
【請求項３３】前記第１画像生成手段は、多視点画像
から必要に応じて所望の領域を切り出す領域抽出手段
と、視点設定手段で設定された任意の視点に応じて得ら
れた視点から複数の視点を選択する視点選択手段とを含
み、多視点画像のうち選択された視点に対応する複数の
領域抽出後の画像を補間合成して出力するものであるこ
とを特徴とする請求項１９から請求項３０の何れかに記
載の画像生成処理装置。
【請求項３４】前記合成画像生成手段は、撮影手段に
対して相対的に回転する第１の事物の回転軸を検出する
回転軸検出手段と、多視点画像のうち所定の視点から撮
影された複数の画像のそれぞれから所定の特徴点を検出
する特徴点検出手段と、該特徴点の３次元的な位置を算
出する算出手段とを含み、第１の事物と第２の事物との
回転軸が互いに一致し、かつ、３次元空間上で所定の特
徴点が第２の事物に対して所定の位置にくるように位置
合わせするものであることを特徴とする請求項１９から
請求項２５、請求項２９から請求項３２の何れかに記載
の画像生成処理装置。
【請求項３５】前記合成画像生成手段は、撮影手段に
対して相対的に回転する第１の事物の回転軸を検出する
回転軸検出手段と、回転軸が画像の所定の位置にくるよ
うに多視点画像のうち所定枚数の画像のそれぞれを移動
する第１移動手段と、移動された画像を第２の事物の画
像と重ねて表示する表示手段と、表示された画面上で第
１の事物が第２の事物に対して適切な位置にくるように
第１の事物を手動で移動させる第２移動手段と、手動で
移動させたときの移動量に基づいて第１の事物と第２の
事物との位置合わせを行う位置合わせ手段とを含むもの
であることを特徴とする請求項１９から請求項２５、請
求項２９から請求項３２の何れかに記載の画像生成処理
装置。
【請求項３６】前記合成画像生成手段は、撮影手段に
対して相対的に回転する第１の事物の回転軸を検出する
回転軸検出手段と、多視点画像のうち所定視点から撮影
された複数の画像のそれぞれから所定の特徴点を検出す
る特徴点検出手段と、該特徴点の３次元的な位置を算出
する位置算出手段と、第１の事物と第２の事物との回転
軸が互いに一致し、かつ、３次元空間上で所定の特徴点
が第２の事物に対して所定の位置にくるように位置合わ
せする位置合わせ手段と、位置合わせを行った後、第２
の事物の画像と合成して画面に表示する表示手段と、表
示された画面上で第１の事物が第２の事物に対して適切
な位置にくるように第１の事物を手動で移動させる第２
移動手段とを含み、表示された画像において第１の事物
と第２の事物との位置が適切でないことに応答して、手
動で移動させたときの移動量に基づいて再度第１の事物
と第２の事物との位置合わせを行う位置合わせ手段とを
含むものであることを特徴とする請求項１９から請求項
２５、請求項２９から請求項３２の何れかに記載の画像
生成処理装置。
【請求項３７】前記合成画像生成手段は、多視点画像
のうち所定視点から撮影された複数の画像のそれぞれか
ら３個の特徴点を検出する特徴点検出手段と、該３個の
特徴点の３次元的な位置を算出する位置算出手段とを含
み、３次元空間上で３個の特徴点が第２の事物に対して
所定の位置にくるように位置合わせするものであること
を特徴とする請求項１９から請求項３２の何れかに記載
の画像生成処理装置。