JP2004094773A

JP2004094773A - 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム

Info

Publication number: JP2004094773A
Application number: JP2002257544A
Authority: JP
Inventors: Shizuo Sakamoto; 坂本　静生
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-09-03
Filing date: 2002-09-03
Publication date: 2004-03-25
Also published as: WO2004023395A1; US20050175234A1; EP1501046A1; EP1501046A4

Abstract

【課題】眼鏡の装着状態をあたかも実際に装着して鏡に写して確認している場合と同様な、ユーザの顔画像と眼鏡との合成画像を作成する。
【解決手段】ユーザの顔画像に眼鏡を合成する場合には、人物の顔の３次元形状、反射特性を３次元形状／反射特性計測手段１により測定し、眼鏡選択・フィット手段３により、ユーザによって選択された眼鏡を３次元形状にフィッティングする。また、人物の顔を撮影した顔画像中の、顔の位置・向きを顔位置・向き推定手段６により推定し、この推定した位置・向きを利用して、眼鏡画像生成手段７において、眼鏡を顔画像中の顔に合致するように配置した眼鏡画像を生成する。顔・眼鏡合成表示手段８では、顔画像と眼鏡画像とを合成し、表示する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、眼鏡やイヤリング、帽子、ヘアピースなどの頭部への着装物や化粧などを、実際には着装や化粧などをしていない状態で撮影した顔画像へと違和感なく合成する画像合成技術に関する。
【０００２】
【従来の技術】
例えば眼鏡を購入する際、われわれは通常実際に店頭へと出向き、陳列されている実物を着装し鏡で確認することを行っている。しかし、陳列されている眼鏡には限りがあるために、より好みに合致する眼鏡を探そうとするときには障害となっていた。更にインターネット等を通じた販売では、ユーザの手元には眼鏡は一切存在しないことから、眼鏡の選択には困難があった。同様に店舗においてもユーザのためにはできるだけ多くの眼鏡を陳列することが望ましいが、これにより多くの在庫をかかえるという問題が生じるため、双方にとって好ましい状況ではないと言える。
【０００３】
同様なことは、イヤリングや帽子、ヘアピースなど、頭部へ着装するもの一般に言うことができる。また特に化粧については、実際に顔へと時間をかけて行ってみるしかなく、着装物以上に手間がかかるという意味でユーザが十分納得しての化粧品や化粧法の選択は困難であった。そこで様々な着装物や化粧などについて、実際のものを用意する、また顔へと直接化粧を行うことなく、好みと合致しているかどうかの判断を下すことができる画像合成システムが提案されてきた。
【０００４】
眼鏡についての従来技術の一つとして、ユーザの顔画像をカメラにより得た後、あらかじめ蓄えておいた眼鏡画像を、オペレータが手で合成の開始位置を指示することにより顔画像へと合成するものがある（例えば、特許文献１参照）。また、ユーザの左右の目の中心位置などを入力することにより、よりユーザの顔に合致する位置を指定することを可能にしたものもある（例えば、特許文献２〜５参照）。また、被写体である人間が移動して合わせこむものも知られている（例えば、特許文献６参照）。
【０００５】
被写体の３次元形状を直接計測して利用するものも知られている（例えば、特許文献７参照）。これは計測３次元顔形状と眼鏡フレーム形状とを用いて合成し、ユーザに提示する手続きを持っている。
【０００６】
更に、顔の向きや表情などが変わったときやレンズの精細なシミュレーションにも対応するものも知られている（例えば、特許文献８、９参照）。これは被写体の２次元顔画像を得た後、標準的な３次元顔モデルを画像にフィットさせて変形処理する。
【０００７】
また、顔の向きを検出する眼鏡を被写体である人物にかけさせることで、被写体が頭を動かすのに自然に追随する合成画像を生成するものも知られている（例えば、特許文献１０参照）。
【０００８】
化粧についての従来技術の一つとして、ユーザの顔画像をカメラにより得た後、画面上に表示するとともにタブレットを操作することで画像を加工して化粧のシミュレーションを行うものがある（例えば、特許文献１１参照）。更に、画像加工用ライトペンを化粧用小道具の形にして自然になるよう工夫したもの（例えば、特許文献１２参照）や、口紅やパウダー系化粧、眉カットをそれぞれ独立したシミュレーションとしたものも知られている（例えば、特許文献１３参照）。
【０００９】
【特許文献１】
特開昭６３−０３９２９０号公報
【特許文献２】
特開昭６３−０７６５８１号公報
【特許文献３】
特開昭６３−１１３６７１号公報
【特許文献４】
特公平０８−０３１１２６号公報
【特許文献５】
特開平０２−００４３１２号公報
【特許文献６】
特開昭６３−２６１２１８号公報
【特許文献７】
特開平０５−１７２５４５号公報
【特許文献８】
特開平０６−１３９３１８号公報
【特許文献９】
特開平０６−１１８３４９号公報
【特許文献１０】
特開平１０−２８３４５５号公報
【特許文献１１】
特開昭６２−１４４２８０号公報
【特許文献１２】
特開昭６３−３１６０３７号公報
【特許文献１３】
特開平０６−３１９６１３号公報
【００１０】
【発明が解決しようとする課題】
従来の眼鏡や化粧のシミュレータでは２次元静止顔画像への合成が主であったために、実際に着装や化粧などをして鏡で見るのと違い、ユーザはそのフィッティングについて十分確認することはできなかった。特許文献７では、顔の３次元形状を求めて３次元グラフィックスにより合成することで様々な姿勢の顔画像を生成することは可能である。しかしこれも計測したタイミングでの「顔」を単に回しているにすぎず、自然とは言い難い。特許文献８、９では、顔の標準３次元モデルを２次元顔画像へとフィットして奥行き情報を得、３次元グラフィックスによる合成を行っているが、基本的に奥行き情報は標準モデルそのものとなるため、更に違和感が大きくなる。特許文献１０では、方向検出用眼鏡をかけさせているが、別の眼鏡や化粧などを合成するときには該方向検出用眼鏡を画像上から消去する必要がある。しかし完全に消去することは困難である。
【００１１】
即ち、従来の技術では元来ユーザが行ってきた鏡での確認と同じような、違和感のない合成結果を提示することができない。
【００１２】
そこで、本発明の目的は、眼鏡やイヤリング、帽子、ヘアピースなどの頭部への着装物や化粧などを実際に行って鏡で確認するような、自然で違和感のない画像を合成できるようにすることにある。
【００１３】
【課題を解決するための手段】
上記目的を達成する第１の発明は、人物の顔の３次元形状を計測する工程と、該計測した３次元形状に眼鏡をフィッティングする工程と、前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とからなることを特徴とする。
【００１４】
第２の発明は、人物の顔の３次元形状と反射特性とを計測する工程と、該計測した３次元形状に眼鏡をフィッティングする工程と、前記人物の顔を撮影した画像中の顔の位置・向きを前記３次元形状と前記反射特性とを利用して推定する工程と、該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とからなることを特徴とする。
【００１５】
第３の発明は、第２の発明において、前記人物の顔を撮影した画像中の顔の位置・向きを３次元形状と反射特性とを利用して推定する工程の代わりに、前記３次元形状と前記反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、該基底を利用して画像中の顔の位置・向きを推定する工程とを含むことを特徴とする。
【００１６】
第４の発明は、第１、第２または第３の発明において、前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とを連続して行うことを特徴とする。
【００１７】
第５の発明は、第１、第２、第３または第４の発明において、眼鏡ではなくイヤリング、または帽子、またはヘアピース、または他の頭部への着装物、あるいはそれらの組み合わせを画像へと合成することを特徴とする。
【００１８】
第６の発明は、第２、第３、第４または第５の発明において、反射特性の代わりに陰が少ないテクスチャ画像を用いることを特徴とする。
【００１９】
第７の発明は、人物の顔の３次元形状を計測する工程と、該計測した３次元形状に化粧を施す工程と、あらかじめ保持する変形ルールが付帯した顔標準３次元形状を前記計測した３次元形状にあてはめる工程と、前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、画像中の顔の表情変化などを推定する工程と、前記推定した位置・向きや表情変化を利用して画像中に化粧を、顔に合致するよう生成して表示する工程とからなることを特徴とする。
【００２０】
第８の発明は、人物の顔の３次元形状と反射特性とを計測する工程と、該計測した３次元形状に化粧を施す工程と、あらかじめ保持する変形ルールが付帯した顔標準３次元形状を前記計測した３次元形状にあてはめる工程と、前記人物の顔を撮影した画像中の顔の位置・向きを前記計測した３次元形状と反射特性とを利用して推定する工程と、画像中の顔の表情変化などを推定する工程と、前記推定した位置・向きや表情変化を利用して画像中に化粧を、顔に合致するよう生成して表示する工程とからなることを特徴とする。
【００２１】
第９の発明は、第８の発明において、前記人物の顔を撮影した画像中の顔の位置・向きを３次元形状と反射特性とを利用して推定する工程の代わりに、前記３次元形状と前記反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、該基底を利用して画像中の顔の位置・向きを推定する工程とを含むことを特徴とする。
【００２２】
第１０の発明は、第８の発明において、前記人物の顔を撮影した画像中の顔の表情変化などを推定する工程の代わりに、前記計測した３次元形状と反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、該基底と変形ルールが付帯した顔標準３次元形状とを利用して画像中の顔の表情変化を推定する工程とを含むことを特徴とする。
【００２３】
第１１の発明は、第８、第９または第１０の発明において、反射特性の代わりに陰が少ないテクスチャ画像を用いることを特徴とする。
【００２４】
第１２の発明は、人物の顔の３次元形状を計測する３次元形状計測手段と、該計測した３次元形状に選択した眼鏡をフィッティングする眼鏡選択・フィット手段と、前記人物の顔を撮影した顔画像中の顔の位置・向きを推定する顔位置・向き推定手段と、該推定した位置・向きを利用して、眼鏡を前記顔画像中の顔に合致するように配置した眼鏡画像を生成する眼鏡画像生成手段と、前記顔画像と前記眼鏡画像とを合成して表示する顔・眼鏡合成表示手段とからなることを特徴とする。
【００２５】
第１３の発明は、人物の顔の３次元形状と反射特性とを計測する３次元形状・反射特性計測手段と、該計測した３次元形状に選択した眼鏡をフィッティングする眼鏡選択・フィット手段と、前記人物の顔を撮影した顔画像中の顔の位置・向きを前記３次元形状と前記反射特性とを利用して推定する顔位置・向き推定手段と、該推定した位置・向きを利用して、眼鏡を顔画像中の顔に合致するように配置した眼鏡画像を生成する眼鏡画像生成手段と、前記顔画像と前記眼鏡画像とを合成して表示する顔・眼鏡合成表示手段とからなることを特徴とする。
【００２６】
第１４の発明は、第１３の発明において、前記顔位置・向き推定手段の代わりに、前記３次元形状と反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための測地照明基底を生成する測地照明計算手段と、該基底を利用して顔画像中の顔の位置・向きを推定する顔位置・向き推定手段とを含むことを特徴とする。
【００２７】
第１５の発明は、第１２、第１３または第１４の発明において、前記顔位置・向き推定手段と前記眼鏡画像生成手段と前記顔・眼鏡合成表示手段とを連続して行うことを特徴とする。
【００２８】
第１６の発明は、第１２、第１３、第１４または第１５の発明において、眼鏡ではなくイヤリング、または帽子、またはヘアピース、または他の頭部への着装物、あるいはそれらの組み合わせを画像へと合成することを特徴とする。
【００２９】
第１７の発明は、第１３、第１４、第１５または第１６の発明において、前記反射特性の代わりに陰の少ないテクスチャ画像を用いることを特徴とする。
【００３０】
第１８の発明は、人物の顔の３次元形状を計測する３次元形状計測手段と、該計測した３次元形状に化粧を施す化粧手段と、あらかじめ保持する変形ルールが付帯した顔標準３次元形状を記憶する顔標準３次元モデル・変形ルール記憶手段と、前記顔標準３次元モデルを前記計測した３次元形状へとあてはめる３次元モデルフィッティング手段と、前記人物の顔を撮影した顔画像中の顔の位置・向きを推定する顔位置・向き推定手段と、顔画像中の顔の表情変化などを推定する顔部品変形推定手段と、前記推定した位置・向きや表情変化を利用して、前記化粧手段で施した化粧を前記顔画像中の顔に合致するように変形した化粧画像を生成する化粧画像生成手段と、前記顔画像と前記化粧画像とを合成して表示する顔・化粧合成表示手段とからなることを特徴とする。
【００３１】
第１９の発明は、人物の顔の３次元形状と反射特性とを計測する３次元形状計測手段と、該計測した３次元形状に化粧を施す化粧手段と、あらかじめ保持する変形ルールが付帯した顔標準３次元形状を記憶する顔標準３次元モデル・変形ルール記憶手段と、前記顔標準３次元モデルを前記計測した３次元形状へとあてはめる３次元モデルフィッティング手段と、前記人物の顔を撮影した画像中の顔の位置・向きを前記計測した３次元形状と反射特性とを利用して推定する顔位置・向き推定手段と、顔画像中の顔の表情変化などを推定する顔部品変形推定手段と、前記推定した位置・向きや表情変化を利用して、前記化粧手段で施した化粧を前記顔画像中の顔に合致するように変形した化粧画像を生成する化粧画像生成手段と、前記顔画像と前記化粧画像とを合成して表示する顔・化粧合成表示手段とからなることを特徴とする。
【００３２】
第２０の発明は、第１９の発明において、前記顔位置・向き推定手段の代わりに、前記３次元形状と反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための測地照明基底を生成する測地照明基底算出手段と、該基底を利用して顔画像中の顔の顔位置・向きを推定する顔位置・向き推定手段とを含むことを特徴とする。
【００３３】
第２１の発明は、第１９の発明において、前記顔部品変形推定手段の代わりに、前記計測した３次元形状と反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための測地照明基底を生成する測地照明基底算出手段と、前記基底と変形ルールが付帯した顔標準３次元形状とを利用して顔画像中の顔の表情変化を推定する顔部品変形推定手段とを含むことを特徴とする。
【００３４】
第２２の発明は、第１９、第２０または第２１の発明において、反射特性の代わりに陰の少ないテクスチャ画像を用いることを特徴とする。
【００３５】
第２３の発明のプログラムは、コンピュータに、人物の顔の３次元形状を計測する工程と、該計測した３次元形状に眼鏡をフィッティングする工程と、前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とを実行させる。
【００３６】
第２４の発明のプログラムは、コンピュータに、人物の顔の３次元形状と反射特性とを計測する工程と、該計測した３次元形状に眼鏡をフィッティングする工程と、前記人物の顔を撮影した画像中の顔の位置・向きを前記３次元形状と前記反射特性とを利用して推定する工程と、該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とを実行させる。
【００３７】
第２５の発明のプログラムは、第２４の発明において、前記人物の顔を撮影した画像中の顔の位置・向きを３次元形状と反射特性とを利用して推定する工程の代わりに、前記３次元形状と前記反射特性からあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、該基底を利用して画像中の位置・向きを推定する工程とを含むことを特徴とする。
【００３８】
第２６の発明のプログラムは、コンピュータに、人物の顔の３次元形状を計測する工程と、該計測した３次元形状に化粧を施す工程と、あらかじめ保持する変形ルールが付帯した顔標準３次元形状を前記計測した３次元形状にあてはめる工程と、前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、画像中の顔の表情変化などを推定する工程と、前記推定した位置・向きや表情変化を利用して画像中に化粧を、顔に合致するよう生成して表示する工程とを実行させる。
【００３９】
第２７の発明のプログラムは、コンピュータに、人物の顔の３次元形状と反射特性を計測する工程と、該計測した３次元形状に化粧を施す工程と、あらかじめ保持する変形ルールが付帯した顔標準３次元形状を前記計測した３次元形状にあてはめる工程と、前記人物の顔を撮影した画像中の顔の位置・向きを前記計測した３次元形状と反射特性とを利用して推定する工程と、画像中の顔の表情変化などを推定する工程と、前記推定した位置・向きや表情変化を利用して画像中に化粧を、顔に合致するよう生成して表示する工程とを実行させる。
【００４０】
第２８の発明のプログラムは、第２７の発明において、前記人物の顔を撮影した画像中の顔の位置・向きを３次元形状と反射特性とを利用して推定する工程の代わりに、前記３次元形状と前記反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、該基底を利用して画像中の位置・向きを推定する工程とを含むことを特徴とする。
【００４１】
【作用】
ユーザの顔画像（カメラで連続的に撮影した顔の画像）に眼鏡を合成する場合には、先ず、人物の顔の３次元形状を３次元形状計測手段により測定しておく。その後、眼鏡選択・フィット手段により、３次元形状にユーザによって選択された眼鏡をフィッティングし、顔位置・向き推定手段により、人物の顔を撮影した顔画像中の顔の位置・向きを推定し、この推定した位置・向きを利用して、眼鏡画像生成手段において、眼鏡を顔画像中の顔に合致するように配置した眼鏡画像を生成する。顔・眼鏡合成表示手段では、顔画像と眼鏡画像とを合成し、表示する。
【００４２】
ユーザの顔画像に化粧を施す場合には、先ず、人物の顔の３次元形状を３次元形状測定手段で測定しておく。その後、計測した３次元形状に化粧手段を使用して化粧を施す。また、３次元モデルフィッティング手段により、変形ルールが付帯した顔標準３次元モデルを計測した３次元形状へとあてはめる。その後、顔画像中の顔の位置・向きを顔位置・向き推定手段で推定すると共に、画像中の顔の表情変化などを顔部品変形推定手段で推定する。その後、推定した位置・向きや表情変化を利用して、化粧手段で施した化粧を顔画像中の顔に合致するように変形した化粧画像を生成し、顔・化粧合成表示手段を用いて顔画像と化粧画像とを合成する。
【００４３】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００４４】
本発明の第１の実施例を、図１を参照しながら説明する。
【００４５】
図１に示した眼鏡シミュレーション装置２０１は、顔の３次元形状と反射特性の双方を計測する処理と、通常のカメラにより顔画像を連続して撮影し、この撮影した各顔画像へ順次眼鏡を合成する処理とを行う。
【００４６】
３次元（３Ｄ）形状／反射特性計測手段１は、被写体となる人物の顔の３次元形状とその反射特性、あるいは反射特性に準じる陰の少ないテクスチャ画像を計測し、それぞれを３次元形状信号１０２と反射特性信号１０１として出力する。３次元形状の計測方法としては、例えば文献（１４）：特開２００１−０１２９２５号公報「三次元形状計測方法及び装置並びに記録媒体」を利用することができる。この他にも３次元形状計測の方法としては文献（１５）：「三次元画像計測」（井口・佐藤、昭光堂）などに記載されている様々な既存の技術を利用することができる。また文献（１４）の方法においては、３次元形状と同時にテクスチャ画像も取得することができる。そこで顔の周りにランプを複数設置し、顔全体に一様に光があたるようにすることで、近似的に反射特性とみなすことができるテクスチャ画像を簡単に計測することができる。他にも反射特性を顔の各位置において計測できる手法であれば、本発明を構成することができる。
【００４７】
一方、図２に示したように、計測対象物体である顔の重心を中心とした顔を覆う球を考え、顔表面上の各点Ｐにおける３次元座標値とテクスチャ値を表現するための座標系を設定する。点Ｐは、重心を中心として前記球表面上へ投影されることにより得られる点Ｑの経度・緯度（ｓ，ｔ）により、統一的に表現することができる。３次元形状／反射特性計測手段１により得られた３次元形状とテクスチャ画像は、上記座標系により、点Ｐにおける３次元座標値

とそのテクスチャ値Ｂが、一つの座標（ｓ，ｔ）によりそれぞれ

とＢ（ｓ，ｔ）として、統一的に表現されるものとする。なおこの座標系については、３次元形状とテクスチャが互いに関連を持って扱うことが可能であればどのようなものであっても、本発明を構成することが可能である。
【００４８】
測地照明基底算出手段２では、３次元形状信号１０２と反射特性信号１０１を入力とし、任意照明下での顔の見えを近似するための基底を生成し、測地照明基底信号１０３として出力する。測地照明基底法については文献（１６）：特開２００２−１５７５９５号公報「物体照合方法、物体照合装置、及びそのプログラムを記録した記録媒体」に記述されている。以下文献（１６）に従って測地照明基底算出手段２について説明する。
【００４９】
まずコンピュータグラフィックスの技法などを用いることにより、顔表面上の各位置の陰影や影による輝度や色の変化を計算し、様々な照明条件の下でのテクスチャ群を生成する。テクスチャの核の陰影の変化による輝度や色の変化は、該画素に対応する物体表面の反射率、３次元形状から計算できる法線方向、及び照明の方向により計算することができる。影の生成に関しては、前記３次元形状を用いて光線追跡などの処理を行うことで、前記画素に設定した照明条件の下で光が当たるかどうかを判定することができる。物体表面の反射特性として完全散乱面を仮定し、物体形状が凸であり他の部分による光源の遮蔽によって生じる影がなく、光源が無限遠にあるとすれば、ｉ番目の照明のもとでのテクスチャの各画素（ｓ，ｔ）の輝度値Ｉ_ｉ（ｓ，ｔ）は、画素に対応している顔表面の反射特性Ｂ（ｓ，ｔ）、法線方向

、各照明の強度ｌ_ｉおよびその方向

により、次式で計算することができる。

【００５０】
Ｉ_ｉ（ｓ，ｔ）を縦ベクトルとして並べ、更に照明毎に該縦ベクトルを横に並べて行列を生成し、共分散行列を求めた後、主成分分析により固有値｛λ_ｉ｝と固有ベクトル

を求める。ここで固有値｛λ_ｉ｝と固有ベクトル

は、固有値の大きな順に並んでいるとする。これらより、例えば固有値の累積寄与率が９９％以上となる最小の数だけ固有ベクトルを選択し、測地照明基底と名付けることとする。以上により適当な数、例えば１０個程度の測地照明基底を得ることができる。この測地照明基底は、テクスチャ群全体を近似したものとなる。
【００５１】
眼鏡選択・フィット手段３では、３次元形状信号１０２と、眼鏡選択信号１０４と眼鏡３次元データ信号１０５とを入力とし、ユーザより指定された眼鏡の３次元形状データである眼鏡データ信号１０５を眼鏡データ蓄積手段４より読み取るとともに、計測した顔３次元形状を参照してそれにフィットする眼鏡の位置と大きさを決定し、選択眼鏡３次元データ・フィッティング信号１０８として出力する。眼鏡の３次元形状データの一例を図３に示す。各眼鏡の３次元形状データには、右鼻位置１１７、左鼻位置１１８、右耳上端位置１１９、左耳上端位置１２０が付与されており、顔３次元形状と各対応位置とが合致するよう、ツルの長さＬを変更することによりフィットする。このときの顔と眼鏡との相対位置とツルの長さＬを選択眼鏡３次元データ・フィッティング信号１０８として出力する。ここでは鼻位置と耳上端位置によりフィッティングすると記述したが、文献（７）に記載の技術など、眼鏡をフィッティングする技術であれば何でも利用することが可能である。
【００５２】
カメラ５は、被写体となる人物の顔の画像を連続的に撮影し、複数のフレームから成る顔画像信号１０６を出力する。顔画像信号１０６の一例（１フレーム分）を図４（ａ）に示す。
【００５３】
顔位置・向き推定手段６は、顔画像信号１０６と３次元形状信号１０２と測地照明基底信号１０３とを入力とし、前記文献（１６）において述べられているように、顔画像信号１０６の各フレームそれぞれについて、より適合する姿勢を繰り返し探索することにより得られた顔の位置と向きを、顔位置・向き信号１０７として出力する。顔位置・向き推定手段６について、図５を用いて詳細に説明する。尚、以下では、顔画像信号１フレーム分の処理について説明するが、各フレームに対して同様の処理が行われる。
【００５４】
カメラ５は焦点距離ｆを持つピンホールカメラであるとし、その視線方向をＺ軸、またスクリーンの縦軸・横軸に平行な方向をそれぞれＹ軸・Ｘ軸とする。本ＸＹＺ座標系を基準とし、該カメラ５の前の被写体となる人物の顔の位置が（Ｔ_Ｘ，Ｔ_Ｙ，Ｔ_Ｚ）^Ｔ、その向きが（Ｒ_Ｘ，Ｒ_Ｙ，Ｒ_Ｚ）^Ｔであるとする。このとき計測した顔の３次元形状の各座標位置（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）^Ｔは、カメラ５の前の座標位置（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）^Ｔに存在することとなる。
【００５５】

【００５６】
カメラスクリーンの縦軸・横軸をそれぞれｖ軸・ｕ軸としたとき、（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）^Ｔ座標に位置する顔の該当座標位置は、スクリーン上の（ｕ_ｉ，ｖ_ｉ）^Ｔ位置へと投射されることとなる。

【００５７】
顔位置・向き修正手段１５は、初期設定された顔の位置（Ｔ_Ｘ ^０，Ｔ_Ｙ ^０，Ｔ_Ｚ ^Ｏ）^Ｔと向き（Ｒ_Ｘ ^０，Ｒ_Ｙ ^０，Ｒ_Ｚ ^Ｏ）^Ｔを元とし、それぞれ小修正した（Ｔ_Ｘ ^Ｏ＋ΔＴ_Ｘ，Ｔ_Ｙ ^０＋ΔＴ_Ｙ，Ｔ_Ｚ ^Ｏ＋ΔＴ_Ｚ）^Ｔ、（Ｒ_Ｘ ^０＋ΔＲ_Ｘ，Ｒ_Ｙ ^０＋ΔＲ_Ｙ，Ｒ_Ｚ ^Ｏ＋ΔＲ_Ｚ）^Ｔを生成し、顔位置・向き信号１２１として出力する。
【００５８】
照明補正手段１６は、顔位置・向き信号１２１と３次元形状信号１０２と測地照明基底信号１０３とを入力とし、３次元形状に測地照明基底を構成する複数の固有ベクトル

をコンピュータグラフィックスの手法により貼り付けてそれぞれ画像生成を行い、同じ数から構成される補正画像

を得る。そして、上記補正画像を姿勢・照明補正画像信号１２２として出力する。画像比較手段１７は、顔画像信号１０５と姿勢・照明補正画像信号１２２を入力とし、顔画像

との差分が最も小さくなるよう次式のパラメータ｛ａ_ｉ｝を求め、この差分を画像差分信号１２３として出力する。
【００５９】

【００６０】
終了判定手段１８は、画像差分信号１２３と顔位置・向き信号１２１を入力とし、もし差分が十分小さくなれば、顔の位置と向きの推定が終了したと判断し、そのときの顔位置・向きを、顔位置・向き信号１０７として出力する。まだ終了していないと判断したときには、再度顔の位置・向きを修正して計算し直す指令を、顔位置・向き修正指令信号１２４として出力する。顔位置・向き記憶手段１９は、顔位置・向き信号１０７を入力とし、その値を記憶しておき、必要に応じて前フレーム顔位置・向き信号１２５として出力する。
【００６１】
以上では顔位置・向き推定手段６として、単純な修正を繰り返す手法について説明したが、その他の修正手法によっても本発明を構成することができる。被写体の顔の位置と向きの推定結果を用いて３次元形状により描画した結果例を図４（ｂ）に示す。
【００６２】
眼鏡画像生成手段７は、３次元形状信号１０２、顔位置・向き信号１０７、選択眼鏡データ・フィッティング信号１０８を入力とし、顔画像信号１０６上に撮影されている顔と同じ位置・向きに、顔３次元形状データを配置するとともに、該３次元形状データにフィットさせるために求めた相対位置関係を利用し、眼鏡３次元形状データを配置する。ここで眼鏡だけ３次元グラフィックス技術により描画することにより、元々の顔画像信号１０６に撮影されている顔にフィットする眼鏡画像が生成でき、これを眼鏡画像信号１０９として出力する。なお眼鏡のフレームのうちツルの部分は頭部により遮蔽されて見えなくなるが、眼鏡画像生成手段７では、顔画像に合致するよう配置される本人の顔の３次元形状を参照しているために隠蔽判定は非常に簡単に実行することができ、見えている部分だけを描画することが可能である。眼鏡の描画例を図４（ｃ）に示す。
【００６３】
顔・眼鏡合成表示手段８は、顔画像信号１０６と眼鏡画像信号１０９とを入力とし、顔画像に対し眼鏡画像をオーバーレイして合成することにより、眼鏡をかけた画像を生成して表示する。最終的な合成画像例を図４（ｄ）に示す。このとき撮影した画像をそのまま表示することもできるし、左右を反転させることによりあたかも鏡に写したかのように示すこともできる。
【００６４】
記録媒体Ｋ１は、ディスク、半導体メモリ、その他の記録媒体であり、コンピュータを眼鏡シミュレーション装置２０１として機能させるためのプログラムが記録されている。このプログラムは、眼鏡シミュレーション装置２０１により読み取られ、その動作を制御することで、眼鏡シミュレーション装置２０１上に、３次元形状／反射特性計測手段１、測地照明基底算出手段２、眼鏡選択・フィット手段３、顔位置・向き推定手段６、眼鏡画像生成手段７、顔・眼鏡合成表示手段８を実現する。
【００６５】
上記実施例では顔の位置と向きを検出するための手段として、文献（１６）記載の測地照明基底法を用いて説明したが、精度良い位置・向き推定方法であれば何でも本発明を構成することができる。上記顔・眼鏡合成表示手段８では眼鏡画像と顔画像を単に合成するだけと記述したが、文献（１７）：特開２００１−３３１５５０号公報「眼鏡フレーム選択システム」にあるように、視力矯正に必要なレンズ処方値に基づいて、顔画像を屈折させてより自然に表現することでも本発明を構成することができる。
【００６６】
また上記実施例では眼鏡について説明したが、他にもイヤリングや帽子、ヘアピースなどの頭部への着装物についても同様に本発明を構成することができる。このときイヤリングやヘアピースにおいて、顔の動きを考慮してイヤリングやヘアピース自体に動きや変形などを追加し、より自然な表示を可能にすることでも本発明を構成することができる。また個々の着装物のうち一つだけを対象とするのではなく、それらの組み合わせについても同様に本発明を構成することができる。
【００６７】
本発明の第２の実施例を、図６を参照しながら説明する。
【００６８】
図６に示した化粧シミュレーション装置２０２は、顔の３次元形状と反射特性の双方を計測する処理と、通常のカメラにより顔画像を連続して撮影し、この撮影した各顔画像へと化粧を順次合成する処理とを行う。以下の説明では第１の実施例と異なる手段についてのみ詳述することとする。
【００６９】
化粧手段９は、３次元形状信号１０２、反射特性信号１０１、化粧操作信号１１０を入力とし、計測した顔の上に化粧を施して、最終的にできあがった化粧を化粧３次元信号１１１として出力する。化粧方法については、一旦２次元顔画像を生成して前記文献（１１）、（１２）、（１３）などに記載されている、画像へと化粧を施す手法を適用した後、逆に形状の対応する地点を求めることで構成することができる。また３次元ＣＡＤなどのような操作環境を構成してもかまわない。一例を図７に示す。３次元形状に反射特性をテクスチャマッピングし、適当な方向から眺めた画像を図７のようにコンピュータグラフィックスの技術により生成する。パレット１２６の中から適当な色とペン先を選択し、ペン１２７により化粧を施す（化粧操作信号１１０）。本操作により各座標位置における化粧を作成することができ、図２に示したように、点Ｐにおける化粧値は、重心を中心として前記球表面上へ投影されることにより得られる点Ｑの経度・緯度（ｓ，ｔ）により、３次元形状や反射特性と同じ座標系により統一的に表現することができる。作成した化粧を化粧３次元信号１１１として出力する。
【００７０】
３次元モデルフィッティング手段１０は、３次元形状信号１０２、反射特性信号１０１、フィッティング操作信号１１２、顔標準３次元モデル・変形ルール信号１１６を入力とし、計測した３次元形状と、表情変化ルールがつけられた顔の標準的な３次元形状モデルとの間の関連づけを行い、相互間の関係を標準３次元フィッティング信号１１３として出力する。本フィッティングは、文献（１７）：電子情報通信学会研究速報ＨＣＳ２００１−３２「レンジファインダを用いた表情変形ルールと表情編集ツールの構築」で述べられている３次元形状間の手法が直接利用できる。また計測データを用いて２次元顔画像を一旦生成することにより、文献（８）や（９）のような２次元画像を対象とする手法でも本発明を構成することができる。このような対応付けを行う手法であれば何でも、本発明を構成することができる。
【００７１】
図８を用いながら、フィッティングの一例を示す。顔標準３次元モデル１２８と、計測３次元形状データ１２９との間の関連づけを、双方の右目の目頭や目尻を対応付けする右目対応付け操作１３０や、口の左右端を対応付ける口対応付け操作１３１などを実行することにより、同一座標値をとるべき基準点を指示する。対応付けられた顔標準３次元モデル上のｎ個の基準点（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）^Ｔと、計測３次元形状データ上の対応する基準点（ｘ_ｉ’，ｙ_ｉ’，ｚ_ｉ’）^Ｔがほぼ同一となるよう、次式が最小となるようなパラメータａからｐまでを求める。
【００７２】

【００７３】
上記式では対応づけられた顔標準３次元モデル上の各点は、計測３次元形状データ上の対応点とは完全には一致しない。そこで各基準点について、それぞれの残差である（Δｘ_ｉ，Δｙ_ｉ，Δｚ_ｉ）、即ち（ｘ_ｉ−（ａｘ_ｉ’＋ｂｙ_ｉ’＋ｃｚ_ｉ’＋ｄ），ｙ_ｉ−（ｅｘ_ｉ’＋ｆｙ_ｉ’＋ｇｚ_ｉ’＋ｈ），ｚ_ｉ−（ｉｘ_ｉ’＋ｊｙ_ｉ’＋ｋｚ_ｉ’＋ｌ））^Ｔだけ更に移動させることで一致させる。基準点の間に位置する座標点については、まず対応する基準点からの距離に合わせて重み付けした残差だけ移動させる。例えば図７下に示したように、右目目尻点１３１、右目目頭点１３２、右口端点１３３により特徴付けられる領域内の点Ｐ　１３４の移動量を求める際、該点Ｐ　１３４が図で示したような比率にて表される位置に配置されていた場合に、次式により移動量を求める。ここでｑ・ｒは０から１までの値をとる実数であるとする。
【００７４】

【００７５】
次に図７下の三角形に垂直な方向

に移動し、測定データ点に完全に一致させる。以上の操作により得られた、パラメータａからｐ、また顔標準３次元モデル上の各頂点座標の移動量（Δｘ_ｐ ^１，Δｙ_ｐ ^１，Δｚ_ｐ ^１）^Ｔ、（Δｘ_ｐ ^２，Δｙ_ｐ ^２，Δｚ_ｐ ^２）^Ｔを、標準３次元フィッティング信号１１３として出力する。これらにより、顔標準３次元モデル上の点は全て計測データ上にマップされることとなる。
【００７６】
また本実施例に用いられる顔標準３次元モデルには、変形ルールが付与されている。変形ルールとは、目の開閉、口の開閉などの、人が行うことができる表情変化について、３次元モデル上の各座標点の移動量として制御可能なように定義されているものである。図９（ａ）は、変形ルールのうちの、目の変形ルールを模式図により示したものである。一番左が初期状態であり、目の開き量を与えることにより座標点の移動量が与えられ、あたかも徐々に目を細めてゆくような一連の動作を実現していることを示している。
【００７７】
図９（ｃ）一番左の目は計測した顔３次元形状であるとし、本形状に顔標準３次元モデルをフィットしたものの模式図が図９（ｂ）である。この結果、フィッティングした顔標準３次元モデルの瞼を閉じさせることにより、結果的に計測した顔３次元形状の自然な変形が可能となる。図９（ｄ）は計測した顔３次元形状上へとテクスチャマッピングしたアイシャドウの模式図である。こちらについても顔標準３次元モデルの変形に伴っての変形が可能となる。
【００７８】
顔部品変形推定手段１１は、顔位置・向き信号１０７、標準３次元形状信号１０２、測地照明基底信号１０３、顔画像信号１０６、標準３次元フィッティング信号１１３、顔標準３次元モデル・変形ルール信号１１６を入力とし、顔標準３次元モデルに対して変形ルールに従った変形処理を行い、計測した３次元とその表面上の測地照明基底に変形を加える。この処理により、各表情（例えば、瞼を閉じた表情、瞼を開いた表情、瞼を半分閉じた表情など）に対応した複数の３次元形状が得られる。その後、各表情に対応した３次元形状それぞれに、その３次元形状に対応する測地照明基底を構成する複数の固有ベクトル

をコンピュータグラフィックスの手法により貼り付け、各表情に対応するテンプレートを作成する。その後、各テンプレートと顔画像とを比較して最も顔画像に近いテンプレートを選択することにより表情の変化量を推定し、顔部品変形信号１１４として出力する。図９（ｃ）は、図９（ａ）にある標準３次元モデルを変形させることによって得られる瞼を閉じてゆくテンプレートである。
【００７９】
化粧画像生成手段１２は、３次元形状信号１０１、顔位置・向き信号１０７、化粧３次元信号１１１、顔部品変形信号１１４を入力とし、最初に施した化粧を画像にフィットするよう変形した化粧画像を生成して、化粧画像信号１１５として出力する。顔・化粧合成表示手段１３は、顔画像信号１０６と化粧画像信号１１５とを入力とし、化粧画像を顔画像上にオーバーレイすることにより化粧後の画像を生成して表示する。図１０（ａ）に入力となる顔画像例、同図（ｂ）に化粧画像例、同図（ｃ）に合成画像例を示す。合成画像はそのまま表示することもできるし、左右を反転させることによりあたかも鏡に写したかのように示すこともできる。また上記顔・化粧合成表示手段１３では化粧画像を顔画像にオーバーレイすると記述したが、化粧画像に透明度をつけて合成することにより、より自然な合成画像を得ることもできる。顔標準３次元モデル・変形ルール記憶手段１４は、表情などにより生じる顔の変形ルールを付随した顔標準３次元モデルを記憶しておき、随時顔標準３次元モデル・変形ルール信号１１６として出力する。
【００８０】
記録媒体Ｋ２は、ディスク、半導体メモリ、その他の記録媒体であり、コンピュータを化粧シミュレーション装置２０２として機能させるためのプログラムが記録されている。このプログラムは、化粧シミュレーション装置２０２により読み取られ、その動作を制御することで、化粧シミュレーション装置２０２上に、３次元形状／反射特性計測手段１、測地照明基底算出手段２、顔位置・向き推定手段６、化粧手段９、３次元モデルフィッティング手段１０、顔部品変形推定手段１１、化粧画面生成手段１２、顔・化粧合成表示手段１３を実現する。
【００８１】
上記実施例では顔の位置と向きを検出するための手段として、文献（１５）記載の測地照明基底法を用いて説明したが、精度良い位置・向き推定方法であれば何でも本発明を構成することができる。同様に顔部品変形手段についても文献（１５）記載の測地照明基底法を拡張する形にて記載したが、顔部品変形を推定する手法であれば何でも本発明を構成することができる。また、以上の説明は、カメラ５から出力される１フレーム分の顔画像信号１０６に対するものであり、上述した動作と同様の動作が、顔画像信号１０６を構成する各フレームに対して順次行われる。
【００８２】
また上記実施例では化粧として説明したが、顔へのペインティング一般についても同様に本発明を構成することができる。
【００８３】
これまで眼鏡などの頭部への着装物と化粧とは別の実施例として説明してきたが、これらの組み合わせについても同様に本発明を構成することができる。
【００８４】
【発明の効果】
本発明により、眼鏡やイヤリング、帽子、ヘアピースなどの頭部への着装物や化粧などを、実際には着装や化粧などしていない状態で撮影した顔画像へと違和感なく合成する画像合成方法、装置及び記憶手段を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の説明図である。
【図２】顔の座標系の説明図である。
【図３】眼鏡の３Ｄデータの説明図である。
【図４】顔画像への眼鏡の合成方法説明図である。
【図５】顔位置・向き推定手段の説明図である。
【図６】本発明の第２の実施例の説明図である。
【図７】化粧手段の説明図である。
【図８】顔標準３Ｄ形状モデルと計測３Ｄデータとのフィッティングの説明図である。
【図９】標準３Ｄモデルとその変形ルールを利用した、顔の変形方法と対応する化粧生成説明図である。
【図１０】顔画像への化粧画像の合成方法説明図である。
【符号の説明】
１：３Ｄ形状／反射特性計測手段
２：測地照明基底算出手段
３：眼鏡選択・フィット手段
４：眼鏡データ蓄積手段
５：カメラ
６：顔位置・向き推定手段
７：眼鏡画像生成手段
８：顔・眼鏡合成表示手段
９：化粧手段
１０：３Ｄモデルフィッティング手段
１１：顔部品変形推定手段
１２：化粧画像生成手段
１３：顔・化粧合成表示手段
１４：顔標準３Ｄモデル・変形ルール記憶手段
１５：顔位置・向き修正手段
１６：照明補正手段
１７：画像比較手段
１８：終了判定手段
１９：顔位置・向き記憶手段
１０１：反射特性信号
１０２：３Ｄ形状信号
１０３：測地照明基底信号
１０４：眼鏡選択信号
１０５：眼鏡データ信号
１０６：顔画像信号
１０７：顔位置・向き信号
１０８：選択眼鏡データ・フィッティング信号
１０９：眼鏡画像信号
１１０：化粧操作信号
１１１：化粧３Ｄ信号
１１２：フィッティング操作信号
１１３：標準３Ｄフィッティング信号
１１４：顔部品変形信号
１１５：化粧画像信号
１１６：顔標準３Ｄモデル・変形ルール信号
１１７：右鼻位置
１１８：左鼻位置
１１９：右耳上端位置
１２０：左耳上端位置
１２１：顔位置・向き信号
１２２：姿勢・照明補正画像信号
１２３：画像差分信号
１２４：顔位置・向き修正指令信号
１２５：前フレーム顔位置・向き信号
１２６：パレット
１２７：ペン
１２８：顔標準３Ｄモデル
２０１：眼鏡シミュレーション装置
２０２：化粧シミュレーション装置

Claims

人物の顔の３次元形状を計測する工程と、
該計測した３次元形状に眼鏡をフィッティングする工程と、
前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、
該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とからなることを特徴とする頭部着装物画像合成方法。
人物の顔の３次元形状と反射特性とを計測する工程と、
該計測した３次元形状に眼鏡をフィッティングする工程と、
前記人物の顔を撮影した画像中の顔の位置・向きを前記３次元形状と前記反射特性とを利用して推定する工程と、
該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とからなることを特徴とする頭部着装物画像合成方法。
請求項２記載の頭部着装物画像合成方法において、
前記人物の顔を撮影した画像中の顔の位置・向きを３次元形状と反射特性とを利用して推定する工程の代わりに、
前記３次元形状と前記反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、
該基底を利用して画像中の顔の位置・向きを推定する工程とを含むことを特徴とする頭部着装物画像合成方法。
請求項１乃至３記載の頭部着装物画像合成方法において、
前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とを連続して行うことを特徴とする頭部着装物画像合成方法。
請求項１乃至４記載の何れか１つの頭部着装物画像合成方法において、
眼鏡ではなくイヤリング、または帽子、またはヘアピース、または他の頭部への着装物、あるいはそれらの組み合わせを画像へと合成することを特徴とする頭部着装物画像合成方法。
請求項２乃至５記載の何れか１つの頭部着装物画像合成方法において、
反射特性の代わりに陰が少ないテクスチャ画像を用いることを特徴とする頭部着装物画像合成方法。
人物の顔の３次元形状を計測する工程と、
該計測した３次元形状に化粧を施す工程と、
あらかじめ保持する変形ルールが付帯した顔標準３次元形状を前記計測した３次元形状にあてはめる工程と、
前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、
画像中の顔の表情変化などを推定する工程と、
前記推定した位置・向きや表情変化を利用して画像中に化粧を、顔に合致するよう生成して表示する工程とからなることを特徴とする化粧画像合成方法。
人物の顔の３次元形状と反射特性とを計測する工程と、
該計測した３次元形状に化粧を施す工程と、
あらかじめ保持する変形ルールが付帯した顔標準３次元形状を前記計測した３次元形状にあてはめる工程と、
前記人物の顔を撮影した画像中の顔の位置・向きを前記計測した３次元形状と反射特性とを利用して推定する工程と、
画像中の顔の表情変化などを推定する工程と、
前記推定した位置・向きや表情変化を利用して画像中に化粧を、顔に合致するよう生成して表示する工程とからなることを特徴とする化粧画像合成方法。
請求項８記載の化粧画像合成方法において、
前記人物の顔を撮影した画像中の顔の位置・向きを３次元形状と反射特性とを利用して推定する工程の代わりに、
前記３次元形状と前記反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、
該基底を利用して画像中の顔の位置・向きを推定する工程とを含むことを特徴とする化粧画像合成方法。
請求項８記載の化粧画像合成方法において、
前記人物の顔を撮影した画像中の顔の表情変化などを推定する工程の代わりに、
前記計測した３次元形状と反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、
該基底と変形ルールが付帯した顔標準３次元形状とを利用して画像中の顔の表情変化を推定する工程とを含むことを特徴とする化粧画像合成方法。
請求項８乃至１０記載の何れか１つの化粧画像合成方法において、
反射特性の代わりに陰が少ないテクスチャ画像を用いることを特徴とする化粧画像合成方法。
人物の顔の３次元形状を計測する３次元形状計測手段と、該計測した３次元形状に選択した眼鏡をフィッティングする眼鏡選択・フィット手段と、
前記人物の顔を撮影した顔画像中の顔の位置・向きを推定する顔位置・向き推定手段と、
該推定した位置・向きを利用して、眼鏡を前記顔画像中の顔に合致するように配置した眼鏡画像を生成する眼鏡画像生成手段と、
前記顔画像と前記眼鏡画像とを合成して表示する顔・眼鏡合成表示手段とからなることを特徴とする頭部着装物画像合成装置。
人物の顔の３次元形状と反射特性とを計測する３次元形状・反射特性計測手段と、
該計測した３次元形状に選択した眼鏡をフィッティングする眼鏡選択・フィット手段と、
前記人物の顔を撮影した顔画像中の顔の位置・向きを前記３次元形状と前記反射特性とを利用して推定する顔位置・向き推定手段と、
該推定した位置・向きを利用して、眼鏡を顔画像中の顔に合致するように配置した眼鏡画像を生成する眼鏡画像生成手段と、
前記顔画像と前記眼鏡画像とを合成して表示する顔・眼鏡合成表示手段とからなることを特徴とする頭部着装物画像合成装置。
請求項１３記載の頭部着装物画像合成装置において、
前記顔位置・向き推定手段の代わりに、
前記３次元形状と反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための測地照明基底を生成する測地照明計算手段と、
該基底を利用して顔画像中の顔の位置・向きを推定する顔位置・向き推定手段とを含むことを特徴とする頭部着装物画像合成装置。
請求項１２乃至１４記載の何れか１つの頭部着装物画像合成装置において、
前記顔位置・向き推定手段と前記眼鏡画像生成手段と前記顔・眼鏡合成表示手段とを連続して行うことを特徴とする頭部着装物画像合成装置。
請求項１２乃至１５記載の何れか１つの頭部着装物画像合成装置において、
眼鏡ではなくイヤリング、または帽子、またはヘアピース、または他の頭部への着装物、あるいはそれらの組み合わせを画像へと合成することを特徴とする頭部着装物画像合成装置。
請求項１３乃至１６記載の何れか１つの頭部着装物画像合成装置において、
前記反射特性の代わりに陰の少ないテクスチャ画像を用いることを特徴とする頭部着装物画像合成装置。
人物の顔の３次元形状を計測する３次元形状計測手段と、
該計測した３次元形状に化粧を施す化粧手段と、
あらかじめ保持する変形ルールが付帯した顔標準３次元形状を記憶する顔標準３次元モデル・変形ルール記憶手段と、
前記顔標準３次元モデルを前記計測した３次元形状へとあてはめる３次元モデルフィッティング手段と、
前記人物の顔を撮影した顔画像中の顔の位置・向きを推定する顔位置・向き推定手段と、
顔画像中の顔の表情変化などを推定する顔部品変形推定手段と、
前記推定した位置・向きや表情変化を利用して、前記化粧手段で施した化粧を前記顔画像中の顔に合致するように変形した化粧画像を生成する化粧画像生成手段と、
前記顔画像と前記化粧画像とを合成して表示する顔・化粧合成表示手段とからなることを特徴とする化粧画像合成装置。
人物の顔の３次元形状と反射特性とを計測する３次元形状計測手段と、
該計測した３次元形状に化粧を施す化粧手段と、
あらかじめ保持する変形ルールが付帯した顔標準３次元形状を記憶する顔標準３次元モデル・変形ルール記憶手段と、
前記顔標準３次元モデルを前記計測した３次元形状へとあてはめる３次元モデルフィッティング手段と、
前記人物の顔を撮影した画像中の顔の位置・向きを前記計測した３次元形状と反射特性とを利用して推定する顔位置・向き推定手段と、
顔画像中の顔の表情変化などを推定する顔部品変形推定手段と、
前記推定した位置・向きや表情変化を利用して、前記化粧手段で施した化粧を前記顔画像中の顔に合致するように変形した化粧画像を生成する化粧画像生成手段と、
前記顔画像と前記化粧画像とを合成して表示する顔・化粧合成表示手段とからなることを特徴とする化粧画像合成装置。
請求項請求項１９記載の化粧画像合成装置において、
前記顔位置・向き推定手段の代わりに、
前記３次元形状と反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための測地照明基底を生成する測地照明基底算出手段と、該基底を利用して顔画像中の顔の位置・向きを推定する顔位置・向き推定手段とを含むことを特徴とする化粧画像合成装置。
請求項１９記載の化粧画像合成装置において、
前記顔部品変形推定手段の代わりに、
前記計測した３次元形状と反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための測地照明基底を生成する測地照明基底算出手段と、
前記基底と変形ルールが付帯した顔標準３次元形状とを利用して顔画像中の顔の表情変化を推定する顔部品変形推定手段とを含むことを特徴とする化粧画像合成装置。
請求項１９乃至２１記載の何れか１つの化粧画像合成装置において、
反射特性の代わりに陰の少ないテクスチャ画像を用いることを特徴とする化粧画像合成装置。
コンピュータに、
人物の顔の３次元形状を計測する工程と、
該計測した３次元形状に眼鏡をフィッティングする工程と、
前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、
該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とを実行させるためのプログラム。
コンピュータに、
人物の顔の３次元形状と反射特性とを計測する工程と、
該計測した３次元形状に眼鏡をフィッティングする工程と、
前記人物の顔を撮影した画像中の顔の位置・向きを前記３次元形状と前記反射特性とを利用して推定する工程と、
該推定した位置・向きを利用して画像中に眼鏡を、顔に合致するよう生成して表示する工程とを実行させるためのプログラム。
請求項２４記載のプログラムにおいて、
前記人物の顔を撮影した画像中の顔の位置・向きを３次元形状と反射特性とを利用して推定する工程の代わりに、
前記３次元形状と前記反射特性からあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、
該基底を利用して画像中の位置・向きを推定する工程とを含むことを特徴とするプログラム。
コンピュータに、
人物の顔の３次元形状を計測する工程と、
該計測した３次元形状に化粧を施す工程と、
あらかじめ保持する変形ルールが付帯した顔標準３次元形状を前記計測した３次元形状にあてはめる工程と、
前記人物の顔を撮影した画像中の顔の位置・向きを推定する工程と、
画像中の顔の表情変化などを推定する工程と、
前記推定した位置・向きや表情変化を利用して画像中に化粧を、顔に合致するよう生成して表示する工程とを実行させるためのプログラム。
コンピュータに、
人物の顔の３次元形状と反射特性を計測する工程と、
該計測した３次元形状に化粧を施す工程と、
あらかじめ保持する変形ルールが付帯した顔標準３次元形状を前記計測した３次元形状にあてはめる工程と、
前記人物の顔を撮影した画像中の顔の位置・向きを前記計測した３次元形状と反射特性とを利用して推定する工程と、
画像中の顔の表情変化などを推定する工程と、
前記推定した位置・向きや表情変化を利用して画像中に化粧を、顔に合致するよう生成して表示する工程とを実行させるためのプログラム。
請求項２７記載のプログラムにおいて、
前記人物の顔を撮影した画像中の顔の位置・向きを３次元形状と反射特性とを利用して推定する工程の代わりに、
前記３次元形状と前記反射特性とからあらかじめ様々な姿勢や照明条件下での顔の位置・向きを推定するための基底を生成する工程と、
該基底を利用して画像中の位置・向きを推定する工程とを含むことを特徴とするプログラム。