JP3477750B2 - 顔画像作成装置および顔画像作成方法 - Google Patents

顔画像作成装置および顔画像作成方法

Info

Publication number
JP3477750B2
JP3477750B2 JP20986393A JP20986393A JP3477750B2 JP 3477750 B2 JP3477750 B2 JP 3477750B2 JP 20986393 A JP20986393 A JP 20986393A JP 20986393 A JP20986393 A JP 20986393A JP 3477750 B2 JP3477750 B2 JP 3477750B2
Authority
JP
Japan
Prior art keywords
image
face
data
stored
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP20986393A
Other languages
English (en)
Other versions
JPH0744725A (ja
Inventor
嘉行 村田
善登 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP20986393A priority Critical patent/JP3477750B2/ja
Publication of JPH0744725A publication Critical patent/JPH0744725A/ja
Application granted granted Critical
Publication of JP3477750B2 publication Critical patent/JP3477750B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、顔画像作成装置および
顔画像作成方法に関する。
【0002】
【従来の技術】従来、顔画像を作成するには、例えばマ
イクロコンピュータを用いた図形表示装置を使用してお
り、この装置では、顔を構成する各パーツ(例えば、
目、眉、口等の部位)毎にその部位を表すパーツ画像で
あるパーツパターンを組み合せることで、顔画像を作成
している。具体的には、髪型、顔の輪郭、目、眉、鼻、
口等の各パーツをそれぞれ複数種類ビットマップパター
ンとして記憶しているパーツメモリを備え、この個々の
パーツパターンをキー入力操作により選択的に呼び出し
て表示部に合成表示させ、任意の似顔絵画像を作成して
いる。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
図形表示装置で顔画像を作成する場合、パーツメモリに
予め記憶されているパーツパターンの種類が少ないと、
実物の顔と近似した似顔絵が作成できないという問題点
がある。そのため、例えば上記パーツメモリにおける各
パーツそれぞれのパターンの種類を多く持たせること
で、実物の顔と近似した似顔絵を作成することができる
ようにすることも行われているが、あまりにパーツパタ
ーンの種類が多くなると、各パーツパターンを選択する
のに非常に手間がかかったり、近似した複数のパーツパ
ターンのうちの1つを適切なパーツパターンとして判断
するのが困難であった。
【0004】一方、本発明の出願人は近似した複数のパ
ーツパターンのうちの1つを適切なパーツパターンとし
て判断する技術を先に提案しており、この技術では入力
画像の各部分画像と、パーツメモリに予め記憶しておい
た各部位毎の複数種類のパーツパターンとを照合し、例
えばパターン一致度が最も高い各部位毎のパーツパター
ンを選択して組み合せて合成することにより、実物の顔
と近似した似顔絵を作成するようにしている。しかしな
がら、この方法でもパーツパターンの位置データを使用
することは全く行われておらず、細かい位置の修正を行
うことができず、より実物の顔に近似した似顔絵を作成
することはできなかった。仮に、この方法でより実物の
に近似した似顔絵を作成しようとすると、同一のパー
ツパターンの形状だが位置のみ異なったパーツパターン
も必要となり、極めて多くのパーツパターンを予め用意
する必要があり、しかも多くのパーツパターンから所望
のものを選択するのに、莫大な手間および時間を要する
こととなり、現実的でなかった。
【0005】そこで本発明は、パーツパターンの選択操
作に手間がかかることがなく、取得された顔画像と非常
に似ている顔画像をパーツ画像の組み合わせで容易に作
成することができる顔画像作成装置および顔画像作成方
を提供することを目的としている。
【0006】
【課題を解決するための手段】上記目的達成のため、請
求項1の発明による顔画像作成装置は、次の手段を備え
たことを特徴とする。
【0007】 すなわち、請求項の発明による顔画像
作成装置は、顔画像の再生に先立って、撮影された顔画
像から顔の各部位毎に部分画像を抽出し、この抽出した
部分画像と顔の各部位毎に予め記憶されている複数種類
のパーツ画像とを各部位毎にそれぞれ比較し、この比較
結果に基づいて、前記予め記憶されている各部位毎のパ
ーツ画像に対応するパーツ画像指定データと前記部分画
像の各部位毎の座標位置データとを対応付けて、時間の
経過に従って順次記憶部に記憶させる記憶制御手段と、
顔画像の再生時において、前記記憶部から、記憶されて
いる各パーツ画像指定データに対応するパーツ画像と当
該各パーツ画像指定データに対応付けて記憶されている
座標位置データとを時間の経過に従って順次読み出し、
この読み出された各パーツ画像指定データに対応した位
置に前記パーツ画像をそれぞれ配置してゆき、この配置
された各部位毎のパーツ画像を組み合せて作成された似
顔絵画像を順次表示部に表示させる表示制御手段と、を
備えていることを特徴とする。
【0008】
【0009】
【0010】
【作用】請求項1の発明による顔画像作成装置では、
の作用を行う。
【0011】 すなわち、請求項の発明による顔画像
作成装置では、記憶制御手段は、顔画像の再生に先立っ
て、撮影された顔画像から顔の各部位毎に部分画像を抽
出し、この抽出した部分画像と顔の各部位毎に予め記憶
されている複数種類のパーツ画像とを各部位毎にそれぞ
れ比較し、この比較結果に基づいて、前記予め記憶され
ている各部位毎のパーツ画像に対応するパーツ画像指定
データと前記部分画像の各部位毎の座標位置データとを
対応付けて、時間の経過に従って順次記憶部に記憶させ
る。表示制御手段は、顔画像の再生時において、前記記
憶部から、記憶されている各パーツ画像指定データに対
応するパーツ画像と当該各パーツ画像指定データに対応
付けて記憶されている座標位置データとを時間の経過に
従って順次読み出し、この読み出された各パーツ画像指
定データに対応した位置に前記パーツ画像をそれぞれ配
置してゆき、この配置された各部位毎のパーツ画像を組
み合せて作成された似顔絵画像を順次表示部に表示させ
る。また、請求項3の発明による顔画像作成方法でも、
請求項1の発明による顔画像作成装置の場合と同様な作
用を行う。
【0012】
【実施例】以下、図面を参照して本発明の実施例につい
て説明する。図1は本発明に係る顔画像作成装置および
顔画像作成方法の第1実施例を示す図であり、特に本発
明を電子手帳に適用した場合における電子手帳の正面図
である。図1において、この電子手帳1は一対の本体1
a、1bをそれぞれ左右に開いた状態を示している。電
子手帳1の本体1bの上部にはCCDカメラ部(顔画像
取得手段)2が配置されている。CCDカメラ部2は電
子手帳1のほぼ正面に存在するオペレータ(操作者)の
顔に向けられており、オペレータの顔を撮像して画像デ
ータを生成し、その画像データを読み取って本体1a、
1bの内部にある後述の図2に示すY/C分離部23a
に出力する。すなわち、CCDカメラ部2は内部に撮像
部と、撮影画像を処理し画像データとして読み取るデー
タ部とを有している。なお、顔画像取得手段としては、
CCDカメラに限らず、例えばビデオカメラ、イメージ
スキャナ、あるいは電子スチルカメラ等を用いてもよ
い。また、他の装置からの画像信号を利用するようにし
てもよい。
【0013】電子手帳1の本体1bにおけるCCDカメ
ラ部2の下側には第2表示部3、データ入力キー4が順
次配置されている。第2表示部3は、例えばLCD(液
晶表示装置)からなり、CCDカメラ部2で撮像した顔
画像2aを表示するもので、撮像した顔画像2aをその
ままの状態で表示することができるようになっている。
なお、第2表示部3はモノクロ画面を表示可能なLCD
でもよいし、あるいはカラー画面を表示可能なLCDで
あってもよい。データ入力キー4は電子手帳1の操作に
必要な各種のデータを入力するもので、例えば「1」、
「2」、・・・「9」、「0」からなる数字キー、
「−」、「+」、・・・等の演算キー、「A」、
「B」、・・・「Y」、「Z」からなるアルファベット
キーを有している。これらの数字キー、演算キー、アル
ファベットキーを用いて顔画像作成の対象者となる人物
についての各種データの入力を行ったり、あるいは画像
以外のデータの入力を行ったりする。
【0014】電子手帳1の本体1bの下方にはラベルテ
ープ4を印刷可能な印刷部(後述の図2参照)が内蔵さ
れており、図1の例では第1表示部11に表示した顔画
像11aをラベルテープ4に印刷して取り出す状態が図
示されている。ラベルテープ4は、その裏面側に粘着層
を介して剥離可能に設けられている剥離シートを剥がす
ことにより、粘着層の粘着作用により適当な箇所に顔画
像が印刷されたラベルテープ4を張り付けることが可能
なものである。また、ラベルテープ4には画像だけでな
く、文章も印刷可能である。なお、ラベルテープ4には
第1表示部11に表示した顔画像11aだけでなく、例
えば後述の第2表示部3に表示した画像も印刷して取り
出すことができるようになっている。印刷素材はラベル
テープでなく、普通紙であってもよい。
【0015】一方、電子手帳1の本体1aには上部側か
ら第1表示部11、入力スイッチ部12、オン/オフキ
ー13、部位キー14が配置されている。第1表示部1
1は例えばLCDからなり、電子的に顔画像を作成する
段階で各種の画像や合成の顔画像を表示したり、必要な
データ(例えば、人物の氏名等のデータ)を表示したり
する。なお、第1表示部11はモノクロ画面を表示可能
なLCDでもよいし、あるいはカラー画面を表示可能な
LCDであってもよい。図1の例では人物の顔画像11
aおよび人物に関するデータとして氏名、住所、電話番
号、年齢が表示されている。これら以外の他のデータを
使用してもよいことは勿論である。入力スイッチ部12
は電子手帳1によって人物の顔画像を作成する場合に必
要な各種の操作を行うためのもので、具体的には以下の
キーがある。なお、以下のキーは、例えば薄いシートタ
イプのキースイッチが用いられる。 「マッチング」:CCDカメラ部2の読り取りデータと
して記憶された顔の部分画像に対応する部分画像と、記
憶された顔の各部位毎の複数種類のパーツパターンとを
比較してマッチングするときに操作するキー。 「表示」:第1表示部11に画像を表示させるときに操
作するキー。あるいは第2表示部3に画像を表示させる
ときに操作するようにしてもよい。 「印刷」:ラベルテープ4に画像や文章を印刷させると
きに操作するキー。
【0016】「個人」:個人に関するデータ、例えば氏
名、住所、電話番号等の個人に関するデータを第1表示
部11に表示させるときに操作するキー。 「拡大」:第1表示部11に表示した顔画像の部位を拡
大するときに操作するキー。 「画像入力」:CCDカメラ部2で撮像した顔画像2a
を固定して表示するときに操作するキー。 「位置修正」:第1表示部11に表示した顔画像の部位
の位置を修正するときに操作するキー。 「修正」:第1表示部11に表示した顔画像を修正する
ときに操作する。 「△▽」:顔のパーツや複数のパーツの中から所望のパ
ーツパターンを選択するとき等に操作する選択キーで、
いわゆるインクリメント、デクリメントする操作を行う
もの。△はアップ用、▽はダウン用を表す。 「終了」:第1表示部11に表示した顔画像の処理を終
了するときに操作するキー。 「登録」:第1表示部11に表示した顔画像を登録する
ときに操作する。 「顔方向」:第1表示部11に表示した顔画像の向きを
変える(例えば、側面の顔を表示させる)ときに操作す
るキー。オン/オフキー13は電子手帳1の電源をオン
/オフするときに操作されるものである。部位キー14
は顔の各部位(例えば、髪、目、鼻、口等)を指定する
ときに操作されるもので、各部位を模した図形タイプの
キーを押すことにより、所望の部位が指定される。な
お、人物の胴体、手、足等は単に図形表示されているの
みで、スイッチとしての機能は略されている。
【0017】次に、図2は電子手帳における顔画像作成
装置の構成を示すブロック図である。図2において、こ
の顔画像作成装置はCPU21、キー入力部22、イメ
ージデータ入力部23、パターンマッチング部24、印
刷駆動部25、印刷部26、表示駆動部27、入力画像
メモリ28、基本位置メモリ29、パーツパターンRO
M30、ROM31、ワークRAM32および前述した
第1表示部11、第2表示部3を含んで構成されてい
る。キー入力部22は図1に示すデータ入力キー4、入
力スイッチ部12、オン/オフキー13および部位キー
14を含んでおり、キー入力部22からのキー操作信号
はCPU21に入力される。CPU21はキー入力部2
2からのキー操作信号に基づきROM31に格納されて
いる似顔絵作成プログラムに従って回路各部の動作制御
を行うもので、CPU21にはキー入力部22、ROM
31の他に上記イメージデータ入力部23、パターンマ
ッチング部24、印刷駆動部25、表示駆動部27、入
力画像メモリ28、基本位置メモリ29、パーツパター
ンROM30、ROM31およびワークRAM32が接
続されている。CPU21はROM31とともに、比較
手段101、作成手段102、時間計測手段103を構
成する。また、請求項2以下の発明に対応するように、
CPU21はROM31とともに、抽出手段、選択手
段、表示位置調整手段および表示制御手段としての機能
を実現する。
【0018】イメージデータ入力部23はCCDカメラ
部2で撮像した似顔絵対象となる人物像の顔画像(例え
ば、図1に示す顔画像2a)がビデオ信号(1フィール
ド分)として入力されるもので、イメージデータ入力部
23はY/C分離部23aおよびA/D変換部23bに
よって構成される。Y/C分離部23aはCCDカメラ
部2からのビデオ信号に含まれる輝度信号Yと色差信号
Cから輝度信号Yのみを分離抽出するもので、Y/C分
離部23aからのビデオ信号はA/D変換部23bに供
給される。A/D変換部23bはY/C分離部23aか
ら供給される1フィールド分のビデオ輝度信号Yを予め
設定されたサンプリングクロックに同期して白黒2値の
デジタル信号に変換するもので、A/D変換部23bを
介してデジタルデータに変換された画像データは入力画
像メモリ28に転送されて記憶される。すなわち、入力
画像メモリ(顔画像データ記憶手段)28には似顔絵対
象人物として撮像された顔画像データがビットマップデ
ータとして記憶される。なお、入力画像メモリ28に記
憶される顔画像データは、その顔の「鼻」が存在する画
像領域を記憶領域の中央に設定して記憶される。
【0019】基本位置メモリ29は入力画像メモリ28
における顔画像の基本的記憶位置を髪、眉、目、鼻、
口、耳等の部位毎に分割したアドレス値として記憶して
おり、基本位置メモリ29に記憶されたアドレス値に応
じて入力画像メモリ28に記憶された顔画像データを読
み出すことにより、似顔絵対象人物として撮像された顔
画像データが髪、眉、目、鼻、口、耳等の部位毎に読み
出される。パーツパターンROM(パーツ記憶手段、第
2の記憶手段)30は顔の各部を髪、眉、目、鼻、口、
耳等の部位に分け、各部位毎に複数種類のパーツパター
ンを所定の記憶位置に番号を付けてビットマップデータ
として記憶しており、パーツパターンROM30に記憶
される各部位毎のパーツパターンがそれぞれ1つずつ組
み合されることにより、似顔絵画像が構成される。
【0020】ここで、パーツパターンROM30に記憶
されている顔の各部位のパーツパターンの一例は図3の
ように示される。図3において、顔の各部位としては、
正面用(A)、右側面用(B)、・・・斜め右側面用
(N)という具合に、顔の向きに対応して複数のパーツ
パターンが設定されている。そして、各面用(A)〜
(N)には顔の各部位が、例えば顔の輪郭、髪型、右
目、・・・・口というようにパーツパターンに分けて複
数種用意されている。なお、顔の部位は図3に示した例
に限らず、他にも、図示は略しているが、例えば眉、鼻
というものが用意されている。また、この他の顔の部位
を用意してもよい。
【0021】一方、顔の各部位のパーツパターンとし
て、[01]、[02]、・・・・[50]というパー
ツパターン番号で示される複数種類(ここでは50種
類)のものが予め設けられ、それぞれ輪郭、髪型、右
目、・・・・両足に対応して用意され、格納されてい
る。また、各部位のパーツパターンのそれぞれに対し
て、その位置データが座標[x、y]として付けられ、
所定のエリアに格納されている。したがって、各部位は
複数のパーツパターンと、各パーツパターンの位置デー
タとを合せて有することになる。さらに、パーツパター
ンROM30には、各パーツ毎に複数種類備えられるパ
ーツパターン[01]〜[50]のそれぞれに対応して
入力画像メモリ28に記憶された顔画像データ対応部位
との照合一致ドット数を格納する一致度数レジスタと、
この一致度数レジスタに格納された一致ドット数の大き
い順に順位番号が格納される順位レジスタとが備えられ
ている。図4は一例として、顔の部位の1つである
「鼻」に対応するパーツパターンの格納状態で、特にそ
の照合一致ドット数および順位番号を示すものである。
【0022】ワークRAM(第1の記憶手段)32は入
力画像メモリ28に記憶された顔画像データから顔の各
部位毎に部分画像を抽出し、抽出した部分画像の向きデ
ータ、各部位毎の位置データを記憶する。パターンマッ
チング部24はワークRAM32に記憶された部分画像
に対応するパーツデータと、パーツパターンROM31
に記憶された顔の各部位毎の複数種類のパーツパターン
とを順次照合(比較)し、その画像一致点の数に相当す
る一致ドット数を求めるもので、顔画像データ各部位に
対する複数パーツパターンそれぞれの照合一致ドット数
は、前述した一致度数レジスタに格納されるとともに、
その一致度数の順位は前述した順位レジスタに格納され
る。
【0023】そして、パーツパターンROM30におけ
る各部位毎の複数のパーツパターンの全てに対して顔画
像データ各部位毎との一致ドット数およびその順位番号
が格納されると、各部位毎に第1順位のパーツパターン
が読み出され、それぞれの位置データに対応して合成表
示される。表示駆動部27はCPU21の出力に基づい
て第1表示部11および第2表示部3を駆動して処理画
像を表示させる。また、印刷駆動部25(出力手段)
CPU21の出力に基づいて印刷部26を駆動し、印刷
部26はラベルテープ4に処理画像や文字等を印刷す
る。表示駆動部27および第1表示部11は表示手段を
構成する。
【0024】次に、作用を説明する。まず、電子手帳1
の本体1a、1bをそれぞれ左右に開いてオン/オフキ
ー13を押すと、電子手帳1に電源が供給され、動作が
開始する。以後は後述のプログラムを実行することによ
り、個人データの入力や似顔絵作成処理が行われる。図
5は本実施例の電子手帳1を使用して個人データの入力
・登録処理を行う場合の処理プログラムを示すフローチ
ャートである。本プログラムがスタートすると、まずス
テップS10で個人キーが押されているか否かを判別す
る。個人キーとは、入力スイッチ部12における「個
人」キーのことで、個人に関するデータ、例えば氏名、
住所、電話番号等の個人に関するデータを第1表示部1
1に表示させるときに操作されるものである。個人キー
が押されていなければステップS10に留り、個人キー
が押されると、ステップS12に進んで個人データが入
力されたか否かを判別する。
【0025】個人データはデータ入力キー4を用いて入
力され、例えば氏名、住所、電話番号等の個人に関する
データを入力することが可能である。この場合、個人デ
ータが入力されていなければステップS16にジャンプ
する。また、個人データが入力されていれば、ステップ
S14に進んで入力された個人データをワークRAM3
2に格納する。これにより、CPU21がワークRAM
32に格納された入力個人データを読み出して表示駆動
部27に出力し、表示駆動部27が第1表示部11を駆
動することにより、入力された個人データが第1表示部
11に表示される。次いで、ステップS16では登録キ
ーがオンしているか否かを判別し、オンしていなければ
ステップS12に戻ってステップS12〜ステップS1
6のループを繰り返す。ステップS16で登録キーがオ
ンすると、入力された個人データの登録処理を行って本
ルーチンを終了する。これにより、個人データがワーク
RAM32の所定の登録エリアに格納され、以後、登録
個人データとして取り出し可能になる。
【0026】図6、図7は似顔絵作成処理のプログラム
を示すフローチャートである。このプログラムがスター
トすると、まずステップS100で表示スイッチがオン
しているか否かを判別する。表示スイッチとは、入力ス
イッチ部12における表示キーのことで、表示スイッチ
がオンしていると、第1表示部11が作動して画像を表
示可能になり、ステップS102に進み、既に作成され
た似顔絵を選択して表示する処理を行う。また、表示ス
イッチがオンしていなければステップS104に分岐
し、実際の人物画像から似顔絵を作成する処理を実行す
る。 A.似顔絵選択処理のルーチン 最初に、似顔絵選択処理のルーチンから説明する。ステ
ップS102で検索データが入力されたか否かを判別す
る。検索データとは作成された似顔絵を選択するための
データであり、例えば個人データがある。検索データが
入力されていなければステップS100に戻り、検索デ
ータが入力ていると、ステップS106に進んで検索デ
ータによりワークRAM32における個人データの中か
ら対応するデータを検索して第1表示部11に表示す
る。
【0027】ここで、図8はワークRAM32の記憶例
を示すもので、例えば人物の個人データに対応して1人
ずつの顔の特徴が顔の向き、顔の各部位毎のパーツパタ
ーン番号、各部位の位置データ(パーツデータ)をパラ
メータとしてそれぞれ所定のエリアに格納されている。
また、この場合、顔の向き(すなわち、正面、右側面、
・・・・斜右側面)に対応して輪郭、髪、右目、・・・
等のパーツパターン番号が、例えばそれぞれ[50]、
[02]、[50]、・・・というようにして所定のエ
リアに格納されているとともに、輪郭、髪、右目、・・
・等のパーツの位置データがそれぞれ例えば[x1、y
1]、[x2、y2]、[x3、y3]、・・・・とい
うようにして所定のエリアに格納されている。[x1、
y1]、[x2、y2]、[x3、y3]、・・・・と
いう各値は、画面上の位置を指定する座標値であり、位
置の修正に応じた絶対位置からの差分データである。な
お、位置の修正がない場合には座標値が[0、0]とな
る。
【0028】そして、例えば顔の向き(すなわち、正
面、右側面、・・・・斜右側面)に対応する顔画像につ
いての各部位毎のパーツパターン番号および各部位の位
置データをそれぞれ組み合せて合成することにより、1
つの似顔絵画像であるモンタージュ画像が作成される。
したがって、入力された検索データが個人データである
場合には、該当する個人データを照合し、一致する人物
のものが選択されて第1表示部11に表示されることに
なる。例えば、個人データとしての 氏名:甲 住所:○○ 電話番号:○○ 血液型:○ 趣味:○○ の何れかが入力されると、該当する人物として図8の第
1番目のエリアに格納されている人物の個人データが選
択されて第1表示部11に表示される。なお、個人デー
タとしては、甲という人物の例の他に、以下のような人
物のデータが格納されている。また、この他の人物デー
タを格納してもよい。 氏名:乙 住所:○○ 電話番号:○○ 血液型:○ 趣味:○○
【0029】次いで、ステップS108で検索された個
人データに対応するモンタージュ画像(すなわち、似顔
画像)の記憶されているワークRAM32のエリアの
中の1つの顔画像データを読み出して第1表示部11に
表示する。これにより、個人データを基に既に作成され
た似顔絵の中から1つがピックアップされて表示され
る。例えば、個人データとして上記のように人物甲に関
連するデータが入力された場合には、図8に示す人物甲
に対応する顔の向き、顔の各部位毎のパーツパターン番
号、各部位の位置データ(パーツデータ)を基にした1
つの似顔絵が表示される。したがって、人物甲に対応す
る似顔絵は顔の向き等に応じて複数のものがあるが、そ
の中の1つが選択されて表示されることになる。
【0030】次いで、ステップS110で選択キー(△
▽キー)がオンしたか否かを判別する。選択キーがオン
していれば個人データは同じでも他の似顔絵が選択要求
されていると判断し、ステップS112でワークRAM
32のエリアの中の他の顔画像データを選択する。その
後、ステップS108に戻り、同様のループを繰り返
す。これにより、例えば個人データとして上記のように
人物甲に関連するデータが入力されている場合には、人
物甲に対応する他の似顔絵が選択されて第1表示部11
に表示される。
【0031】このとき、人物甲についての似顔絵で検索
データに対応する所望のものが第1表示部11に表示さ
れない場合には、さらに選択キー(△▽キー)を操作す
る(例えば、△キーの操作で似顔絵をインクリメント的
に選択したり、あるいは▽キーの操作で似顔絵をデクリ
メント的に選択したりする)。次いで、ステップS11
4に進み、終了スイッチ(終了キー)がオンしたか否か
を判別し、終了スイッチがオンしていなければステップ
S110に戻って同様のループを繰り返する。そして、
最終的に検索データに対応する所望の似顔絵を第1表示
部11に表示させる。検索データに対応する所望の似顔
絵が第1表示部11に表示された後、ステップS114
に進んで終了スイッチがオンされていることが検出され
れば、似顔絵の選択処理を終了してステップS100に
戻る。
【0032】B.似顔絵作成処理のルーチン ステップS100から分岐してステップS104に進
み、このステップS104でイメージデータを入力す
る。すなわち、入力スイッチ部12の画像入力キーをオ
ンすることより、似顔絵の対象としてCCDカメラ部2
で撮像したオペレータの顔画像データがビデオ信号とし
てイメージデータ入力部23に供給される。これによ
り、イメージデータ入力部23に供給された1フィール
ド分のビデオ信号がY/C分離部23aからA/D変換
部23bを介して1画面分のデジタル画像データに変換
される。次いで、ステップS116でイメージデータ補
正を行う。これは、デジタル画像データに変換された1
画面分の顔画像データに対して、その背景部分に存在す
る余分な画像データを消去して補正するものである。次
いで、ステップS118で入力イメージデータをCPU
21から入力画像メモリ28に対して転送して入力画像
メモリ28に記憶するとともに、第2表示部3に表示す
る。これにより、CCDカメラ部2によって撮像された
オペレータの顔画像が第2表示部3に表示されることに
なる。第2表示部3に表示される入力画像は、例えば図
9(A)に示すようなものになる。
【0033】次いで、ステップS120で顔方向が入力
されたか否かを判別する。これは、入力スイッチ部12
の顔方向キーがオンしたかどうかで判断する。顔方向キ
ーがオンしていなければステップS100に戻り、顔方
向キーがオンした場合には続くステップS122に進ん
で、対応する個人データの顔画像を記憶するワークRA
M32のエリアを指定する。これにより、そのとき顔方
向に応じた顔画像データがワークRAM32に記憶され
る。例えば、正面の顔方向を撮像し、この方向でOKの
ときは、図9(A)に示すような正面方向の顔が入力画
像としてワークRAM32に記憶される。
【0034】次いで、図7に移り、ステップS124で
入力スイッチ部12の部位キーがオンしたか否かを判別
し、部位キーがオンしていればステップS126で選択
された部位に対応する入力イメージデータにカーソルを
表示する。例えば、図9(B)に示すように部位キーが
オンして「鼻」を指定しているときは、「鼻」の部位に
第2表示部3上でカーソルCが表示される。一方、部位
キーがオンしていなければステップS126をジャンプ
してステップS128に進む。このように、撮像した顔
画像から顔の各部位を部分画像として抽出し、後述のよ
うに抽出した部分画像の向きデータ、各部位毎の位置デ
ータをパーツパターンROM30に予め格納されている
パーツパターンと比較照合することで、撮像画像に対し
て近似した似顔絵画像が各部位毎の組み合わせによって
合成表示されることになる。
【0035】次いで、ステップS128で入力スイッチ
部12の位置修正キーがオンしたか否かを判別する。こ
れは、第2表示部3上でカーソルCによって表示された
部位の位置を修正するかどうかを判断するものである。
位置修正キーがオンしていればステップS130でカー
ソルの表示位置を移動する。これにより、例えば図9
(B)に示すように部位キーがオンして「鼻」を指定し
ているとき、「鼻」を指定しているカーソルの表示位置
が移動し、「鼻」が画面上でわずかに別の場所に移動す
る。一方、位置修正キーがオンしていなければステップ
S130をジャンプしてステップS132に進む。
【0036】ステップS132では入力スイッチ部12
の拡大キーがオンしたか否かを判別する。これは、第2
表示部3上でカーソルCによって表示された部位の大き
さを拡大するかどうかを判断するものである。拡大キー
がオンしていればステップS136でカーソルCで指定
された部位を拡大して表示する。これにより、例えば図
9(C)に示すように部位キーがオンして「鼻」を指定
しているとき、「鼻」が所定の倍率で拡大されて拡大画
像Kとして画面上に表示される。このように指定の部位
を拡大して表示することにより、拡大した部位の修正が
容易により、結果的に部位の特徴を出しながらより実物
の顔に近い似顔絵画像(モンタージュ画像)を作成する
ことが可能になる。一方、拡大キーがオンしていなけれ
ばステップS134をジャンプしてステップS136に
進む。ステップS136では入力スイッチ部12のマッ
チングキーがオンしたか否かを判別する。これは、第2
表示部3上でカーソルCによって表示された撮像画像中
の部位と、予めパーツパターンROM30に格納されて
いるパーツパターンとを比較照合し、その一致度数の順
位付けを行うもので、マッチング処理を各部位毎に繰り
返すことにより、撮像画像に対して理論上最も近似した
似顔絵画像を合成表示することが可能になる。
【0037】マッチングキーがオンしていればステップ
S138でパーツパターンROM30からカーソルCで
指定された部位のパーツパターンを読み出す。例えば、
図9(B)に示すように部位キーがオンして「鼻」を指
定していれば、パーツパターンROM30から「鼻」と
いうパーツのパーツパターンを読み出す。次いで、ステ
ップS140で読み出されたパーツパターンと、カーソ
ルで指定された部位の画像の一致ドット数をカウントす
る。例えば、部位キーがオンして「鼻」を指定していれ
ば、入力画像メモリ28から読み出された撮像画像にお
ける「鼻」の画像データと、パーツパターンROM30
から読み出された「鼻」の第1パーツパターンとが照合
され、その画像パーツパターンの一致点に相当する一致
ドット数がカウントされる。例えば、図3の例では
「鼻」のパーツパターンとして、[01]、[02]、
・・・・[50]というように50種類が予め用意され
ているから、第1パーツパターンとしては[01]とい
うパルスパターン番号で指定されるものが読み出されて
撮像画像における「鼻」の画像データと照合される。こ
の画像データ中の「鼻」画像データと、予め登録された
「鼻」の第1パーツパターンとの照合一致ドット数は、
「鼻」の第1パーツパターンに対応するパーツパターン
ROM30内の一致度数レジスタに格納される。
【0038】次いで、ステップS142で照合対象とな
る次のパーツパターン(例えば、「鼻」の第2パーツパ
ターン)があるか否かを判別する。次のパーツパターン
がある場合にはステップS138に戻ってパーツパター
ンROM30から次の(第2の)「鼻」のパーツパター
ン(第2パーツパターン)を読み出し、その後、ステッ
プS140で同様にして読み出された第2パーツパター
ンと、カーソルで指定された部位の画像の一致ドット数
をカウントする。例えば、「鼻」のパーツパターンを照
合中であれば、第2パーツパターンとしては[02]と
いうパルスパターン番号で指定されるものが読み出され
て撮像画像における「鼻」の画像データと照合される。
この画像データ中の「鼻」画像データと、予め登録され
た「鼻」の第2パーツパターンとの照合一致ドット数
は、「鼻」の第2パーツパターンに対応するパーツパタ
ーンROM30内の一致度数レジスタに格納される。
【0039】同様にして、ステップS138〜ステップ
S142のループを繰り返すことにより、似顔絵対象と
して入力画像メモリ28に記憶された顔画像中の「鼻」
の画像データと、パーツパターンROM30に予め登録
されている「鼻」パーツの各パーツパターンとの照合処
理が順次繰り返され、それぞれの照合一致ドット数が各
パーツパターンに対応する一致度数レジスタに格納され
ていく。そして、全ての「鼻」のパーツパターンとの照
合処理が終了すると、ステップS142において次のパ
ーツパターン無しと判断されて、判別結果がNOとな
り、ステップS144に分岐する。ステップS144で
は一致ドット数の多さにより、各パーツパターンの順位
付けを行う。すなわち、各パーツパターンに対応して一
致度数レジスタに格納された「鼻」画像データとの照合
一致ドット数に基づき、その一致度数の高い順から順位
番号が付され、それぞれの対応する順位レジスタに格納
される。例えば、顔の部位の1つである「鼻」に対応す
るパーツパターンについては、図4に示すように、その
照合一致ドット数および順位番号が格納される。この場
合、照合一致ドット数=[25]が順位=[1]で、以
下、照合一致ドット数=[20]が順位=[2]、・・
・・という具合に一致度数の高い順から順位番号が付さ
れて対応する順位レジスタに格納されている。
【0040】次いで、ステップS146に進み、指定さ
れている部位の座標をワークRAM32の対応部位エリ
アに記憶する。次いで、ステップS148で全部位につ
いて上記のようなマッチングおよび順位付け処理が終了
したか否かを判別する。以上は、一例として顔の部位の
1つである「鼻」に対応するパーツパターンについての
マッチングおよび順位付け処理であり、「鼻」が終了す
ると、次は「口」に移り、「口」画像データに対する全
ての「口」パーツパターンとのマッチング処理およびそ
の一致度数の順位付け処理が実行される。そして、全部
位についてマッチング処理およびその一致度数の順位付
け処理が終了していなければステップS124に戻って
上記ループを繰り返す。全部位について上記のようなマ
ッチング処理およびその一致度数の順位付け処理が終了
すると、ステップS150に進む。このようにして、各
部位についてそれぞれマッチング処理およびその一致度
数の順位付け処理が全て繰り返されることにより、入力
画像メモリ28に記憶された顔画像データの全ての部位
の画像データに対して、パーツパターンROM30に記
憶された全パーツパターンが各部位毎に照合され、その
一致度数に対する順位付けが行われることになる。
【0041】ステップS150では最高順位のパーツパ
ターンによりモンタージュ画像である似顔絵画像を第1
表示部11に表示する。すなわち、パーツパターンRO
M30の各パーツそれぞれの順位レジスタに対し、各パ
ーツパターンの顔画像データとの照合順位が格納される
と、そのそれぞれのパーツ(輪郭、髪、右目、・・・
口)における最高順位のパーツパターンがパーツパター
ンROM30より読み出され、入力画像メモリ28に記
憶された顔画像データの全ての部位の画像データに対し
て、パーツパターンROM30に記憶された顔画像デー
タに対して、まず最初の段階で近似した似顔絵画像とし
てモンタージュ画像が第1表示部11に表示される。す
なわち、オペレータが入力スイッチ部12の画像入力キ
ーを操作してイメージデータ入力部23を介してCPU
21に入力された似顔絵対象人物の顔画像データが入力
画像メモリ28に記憶されると、この顔画像データに構
成する各部位(輪郭、髪、右目、左目、・・・口)それ
ぞれの画像データパターンに最も類似したパーツパター
ンが上記のパターンマッチング処理に基づきパーツパタ
ーンROM31より自動的に読み出され、第1表示部1
1に合成されて表示される。
【0042】そして、第1表示部11に対して似顔絵対
象人物の顔画像データに最も近似した似顔絵画像が合成
表示された状態で、その似顔絵画像に修正、変更を加え
たい場合には入力スイッチ部12の修正キーを操作す
る。この処理はステップS152以降で実行される。す
なわち、ステップS152で入力スイッチ部12の修正
キーがオンしたか否かを判別する。これは、次の段階と
して最初のモンタージュ画像である似顔絵画像を修正す
る場合に操作されるものである。修正キーがオンしてい
ればステップS154に進み、一方、修正キーがオンし
ていなければ、この段階で十分なモンタージュ画像であ
る似顔絵画像が作成できたと判断し、ステップS168
に進んで登録キーがオンしたか否かを判別することにな
る。
【0043】なお、第1表示部11には上記似顔絵画像
が表示されているが、修正キーを操作した場合、その似
顔絵画像中の修正対象となるパーツ名(輪郭、髪、右
目、左目、・・・口)を表示するようにしてもよい。そ
の場合、例えば「輪郭」に初期設定し、修正キーを操作
する毎に「髪」→「右目」→「左目」→・・・・という
ように変更表示する。ステップS154では部位キーが
オンしたか否かを判別する。これは、修正部位を判断す
るものである。部位キーがオンしていなければステップ
S168にジャンプする。部位キーがオンしている場合
はステップS156に進んで選択された部位に対応する
部位のパーツにカーソルを表示する。これにより、オペ
レータは第1表示部11の画面上で修正部位の指定を確
認することができる。次いで、ステップS158で入力
スイッチ部12の選択キー(△▽キー)がオンしたか否
かを判別する。選択キーがオンしていればステップS1
60に進んで次順位のパーツをパーツパターンROM3
0から読み出し、今示されているパーツに変えて表示す
る。これにより、いままでとは違った形状のパーツパタ
ーンが選択された部位の位置に表示される。
【0044】ここで、例えば部位キーを押して修正対象
となるパーツ「鼻」を選択表示させた際に、パターン選
択キー(アップ用の△キー)を操作すると、パーツパタ
ーンROM30の複数の鼻パーツパターンに対応した順
位レジスタに格納されるパーツパターン照合順位に基づ
き、第2順位の鼻パーツパターンが指定されて読み出さ
れ、現表示似顔絵画像における第1順位の鼻パーツパタ
ーンに入れ替わり合成表示される。この場合、上記修正
対象として指定されたパーツパターンは、パターン選択
キー(アップ用の△キー)を操作する毎に、次の順位の
パーツパターンに交換修正され、また、パターン選択キ
ー(ダウン用の△キー)を操作する毎に、前の順位のパ
ーツパターンに交換修正される。一方、選択キーがオン
していなければステップS160をジャンプしてステッ
プS162に進む。このときは、選択された部位のパー
ツパターン形状は変化しない。
【0045】次いで、ステップS162で入力スイッチ
部12の位置修正キーがオンしたか否かを判別する。位
置修正キーがオンしていればステップS164に進んで
パーツ表示位置を移動する。次いで、ステップS166
でワークRAM32の対応部位のエリアに記憶されてい
る座標を変更する。これにより、例えば部位として
「鼻」が選択されている場合、「鼻」の位置が移動して
第1表示部11に表示される。その後、ステップS16
8に進む。一方、位置修正キーがオンしていなければス
テップS164、ステップS166をジャンプしてステ
ップS168に進む。ステップS168では入力スイッ
チ部12の登録キーがオンしたか否かを判別する。登録
キーがオンしていなければステップS154に戻って同
様のループを繰り返す。例えば、「鼻」以外のパーツに
ついて、必要に応じてその形状や位置の修正を行う。そ
して、修正が終了し登録キーをオンすると、ステップS
170に進んでワークRAM32に修正画像を記録す
る。その後、最初のステップS100にリターンする。
【0046】このように、第1表示部11に表示された
似顔絵画像に対し、オペレータにより任意の修正対象パ
ーツを指定するとともに、そのパーツパターンを所望の
パーツパターンに入れ替えたり、その位置を移動したり
して似顔絵画像を修正した状態で、登録キーを操作する
と、現表示状態にある似顔絵画像を構成する各パーツパ
ターンの番号が似顔絵データとしてワークRAM32に
書き込まれて登録される。したがって、以後は個人デー
タを指定することにより、ワークRAM32から似顔絵
データを読み出して第1表示部11に表示させることが
できる。その場合、例えば正面の似顔絵データを読み出
すと、図10(A)に示すようなモンタージュ画像であ
る似顔絵画像が得られる。また、顔の向きを変えて右側
面の似顔絵データを読み出すと、図10(B)に示すよ
うなモンタージュ画像である似顔絵画像が得られる。ま
た、ワークRAM32に似顔絵データが登録された後、
印刷キーを操作すると、登録されている似顔絵データに
従って対応する各似顔絵パーツパターンがパーツパター
ンROM30から読み出され、これら似顔絵パーツパタ
ーンの組み合せによる似顔絵画像データが印刷駆動部2
5に送出される。このため、この似顔絵画像データに対
応した似顔絵画像が印刷部26によりラベルテープ4に
印刷されることになる。
【0047】このように本実施例では、CCDカメラ部
2により顔の画像データを撮像入力して読み取り、読み
取った顔画像データを一旦入力画像メモリ28に記憶
し、記憶した顔画像データから顔の各部位毎に部分画像
を抽出し、抽出した部分画像の向きデータ、各部位毎の
位置データをワークRAM32に記憶し、また、パーツ
パターンROM30に予め顔の各部を髪、目、鼻、口等
の部位に分けて、各部位毎に複数種類のパーツパターン
を記憶しておき、ワークRAM32に記憶しておいて部
分画像に対応するパーツデータと、パーツパターンRO
M30に記憶した顔の各部位毎の複数種類のパーツパタ
ーンとを比較照合し、その一致度数の順位付けを行うと
ともに、それぞれの位置データに対応して組み合わせる
マッチング処理を各部位毎に繰り返すことにより、CC
Dカメラ部2の撮像画像に対して理論上最も近似した似
顔絵画像を合成表示することが行われる。したがって、
入力された顔の撮像画像(実物の顔)に対応する似顔絵
画像を作成する際に、各パーツパターンの選択操作に手
間がかかることがなく、実物の顔により近似した似顔絵
を容易に作成することができる。
【0048】次に、図11〜図16は本発明に係る顔画
像作成装置および顔画像用データ記憶装置の第2実施例
を示す図である。図11は本発明を電子手帳に適用した
場合における電子手帳の正面図である。図11におい
て、この電子手帳51は一対の本体51a、51bをそ
れぞれ左右に開いた状態を示している。電子手帳51の
本体51bの上部には第1実施例と同様にCCDカメラ
部(顔画像取得手段)52が配置されている。また、電
子手帳51の本体51bにおけるCCDカメラ部52の
下側には第2表示部53、データ入力キー54が順次配
置されている。第2表示部53およびデータ入力キー5
4の内容は第1実施例の場合と同様である。なお、第2
表示部53にはCCDカメラ部2で撮像した顔画像52
aが図示されている。電子手帳51の本体51bの下方
には図示は略しているが、第1実施例の場合と同様にラ
ベルテープを印刷可能な印刷部が内蔵されている。
【0049】一方、電子手帳51の本体51aには上部
側から第1表示部61、入力スイッチ部62、オン/オ
フキー63が配置されている。第1表示部61およびオ
ン/オフキー63の内容は第1実施例の場合と同様であ
る。なお、第1表示部61には画像処理中の顔画像61
aが図示されている。入力スイッチ部62は電子手帳5
1によって人物の似顔絵を作成する場合に必要な各種の
操作を行うためのもので、具体的には「個人」、「スタ
ート」、「画像入力」、「表示」、「終了」の5つのキ
ーがある。なお、これらのキーは、例えば薄いシートタ
イプのキースイッチが用いられる。各キーの内、「個
人」、「画像入力」、「表示」、「終了」の機能は第1
実施例と同様である。「スタート」キーは時間経過に従
って動く動画像を開始させるときの操作用のスイッチで
ある。第2実施例の顔画像作成装置の構成を示すブロッ
ク図は前記実施例と同様であ、図示を略しているが、C
PUは動く顔画像を時間の経過に従って顔の向き、顔の
各部位毎のパーツ番号、位置データなどの形で順番に登
録しておくことにより、再生時には登録済みの各パーツ
番号等のデータに基づいて予め用意されているパーツパ
ターンを組み合せて顔画像として復元するような処理を
行う。また、パーツパターンROMは前記実施例と同様
に図3で示すような内容で各部位のパーツパターンを記
憶している。
【0050】次に、作用を説明する。まず、電子手帳5
1の本体51a、51bをそれぞれ左右に開いてオン/
オフキー63を押すと、電子手帳51に電源が供給さ
れ、動作が開始する。以後は後述のプログラムを実行す
ることにより、個人データの入力や似顔絵作成処理が行
われる。図12は本実施例の電子手帳51を使用した似
顔絵作成処理のプログラムを示すフローチャートであ
る。このプログラムがスタートすると、まずステップS
200で表示スイッチがオンしているか否かを判別す
る。表示スイッチとは、入力スイッチ部62における表
示キーのことで、表示スイッチがオンしていると、第1
表示部61が作動して画像を表示可能になり、ステップ
S202に進み、既に作成された似顔絵を選択して表示
する処理を行う。また、表示スイッチがオンしていなけ
ればステップS204に分岐し、実際の人物画像から似
顔絵を作成する処理を実行する。 A.似顔絵選択処理のルーチン 最初に、似顔絵選択処理のルーチンから説明する。ステ
ップS202で検索データが入力されたか否かを判別す
る。検索データとは作成された似顔絵を選択するための
データであり、例えば個人データがある。検索データが
入力されていなければステップS200に戻り、検索デ
ータが入力ていると、ステップS206に進んで検索デ
ータによりワークRAMにおける個人データの中から対
応するデータを検索して第1表示部61に表示する。
【0051】ここで、図13はワークRAMの記憶例を
示すもので、例えば人物の個人データに対応して1人ず
つの顔の特徴が、顔の撮像時の経過時間(つまり、最初
に撮像を開始してからの経過時間)T1〜Tn、各経過
時間T1〜Tnに対応するそれぞれの顔画像(A)、顔
画像(B)〜顔画像(N)、顔の各部位毎のパーツパタ
ーン番号、各部位の位置データ(パーツデータ)をパラ
メータとしてそれぞれ所定のエリアに格納されている。
また、この場合、撮像時の経過時間T1〜Tnに対応し
て輪郭、髪、目、・・・等のパーツパターン番号が、例
えばそれぞれ[50]、[02]、[50]、・・・と
いうようにして所定のエリアに格納されているととも
に、輪郭、髪、目、・・・等のパーツの位置データがそ
れぞれ例えば[x1、y1]、[x2、y2]、[x
3、y3]、・・・・というようにして所定のエリアに
格納されている。[x1、y1]、[x2、y2]、
[x3、y3]、・・・・という各値は、画面上の位置
を指定する座標値であり、位置の修正に応じた絶対位置
からの差分データである。したがって、位置の修正がな
い場合には座標値が[0、0]となる。
【0052】そして、例えば経過時間T1に対応する顔
画像(A)についての各部位毎のパーツパターン番号お
よび各部位の位置データを有する顔の部位としての各パ
ーツパターンをそれぞれ組み合せて合成することによ
り、1つのモンタージュ画像である似顔絵画像が作成さ
れる。したがって、入力された検索データが個人データ
である場合には、該当する個人データを照合し、一致す
る人物のものが選択されて第1表示部61に表示される
ことになる。例えば、個人データとしての 氏名:甲 住所:○○ 電話番号:○○ 血液型:○ 趣味:○○ の何れかが入力されると、該当する人物として図13の
第1番目のエリアに格納されている甲なる人物の個人デ
ータが選択されて第1表示部61に表示される。
【0053】次いで、ステップS208で顔の撮像時の
経過時間(つまり、最初に撮像を開始してからの経過時
間)を格納するCPU21内のレジスタTを“0”にク
リアするとともに、フラグKを“1”にセットする。フ
ラグKは個人データが入力された場合にセットされ、終
了キーが押された場合にリセットされるものである。次
いで、ステップS210で検索された個人データに対応
する似顔絵画像(モンタージュ画像)の記憶されている
ワークRAMのエリアの中の指定された顔画像データを
読み出して第1表示部61に表示する。これにより、個
人データを基に既に作成された似顔絵の中から1つがピ
ックアップされて表示される。例えば、個人データとし
て上記のように人物甲に関連するデータが入力された場
合には、図13に示す人物甲に対応する撮像時の経過時
間、顔画像、顔の各部位毎のパーツパターン番号、各部
位の位置データ(パーツデータ)を基にした1つの似顔
絵が画像として表示される。したがって、人物甲に対応
する似顔絵は撮像時の経過時間や顔の向き等に応じて複
数のものがあるが、その中の1つが選択されて表示され
ることになる。次いで、ステップS212で終了スイッ
チ(終了キー)がオンしたか否かを判別し、終了スイッ
チがオンしていなければステップS200に戻って同様
のループを繰り返する。そして、最終的に検索データに
対応する所望の似顔絵を第1表示部61に表示させる。
検索データに対応する所望の似顔絵が第1表示部61に
表示されると、ステップS214に進んでフラグKを
“0”にリセットし、ステップS200に戻る。
【0054】B.似顔絵作成処理のルーチン ステップS200から分岐してステップS204に進
み、このステップS204でイメージデータを入力す
る。すなわち、入力スイッチ部62の画像入力キーをオ
ンすることより、似顔絵の対象としてCCDカメラ部5
2で撮像したオペレータの顔画像データがビデオ信号と
してイメージデータ入力部23に供給される。これによ
り、イメージデータ入力部に供給された1フィールド分
のビデオ信号がY/C分離部23aからA/D変換部2
3bを介して1画面分のデジタル画像データに変換され
る。次いで、ステップS216でイメージデータ補正を
行う。これにより、デジタル画像データに変換された1
画面分の顔画像データに対して、その背景部分に存在す
る余分な画像データが消去されて補正される。次いで、
ステップS218で入力イメージデータをCPU21か
ら入力画像メモリ28に対して転送して入力画像メモリ
28に記憶するとともに、第2表示部53に表示する。
これにより、CCDカメラ部52によって撮像されたオ
ペレータの顔画像が第2表示部53に表示されることに
なる。
【0055】次いで、ステップS220で入力スイッチ
部62のスタートキー(スタートスイッチ)がオンした
か否かを判別する。スタートキーがオンしていればステ
ップS222でフラグPを“1”にセットする。フラグ
Pは撮像されたオペレータの顔画像を取り込む動作を開
始させるためのものである。また、同ステップS222
で撮像時の経過時間を格納するCPU21内のレジスタ
Tを“0”にクリアする。その後、ステップS224に
進む。一方、ステップS220でスタートキーがオンし
ていなければステップS222をジャンプしてステップ
S224に進む。
【0056】ステップS224では撮像時の経過時間T
が予め定められた最大値(max)になったか否かを判
別する。最大値(max)は顔の撮像時の経過時間を所
定の値に規制するもので、例えば最初に撮像を開始して
からの最終的な経過時間Tnに対応する値に設定され
る。ステップS224で撮像時の経過時間Tが最大値
(max)に等しくなければステップS100に戻って
同様のループを繰り返す。これにより、CCDカメラ部
52で撮像したオペレータの顔画像データが一定時間間
隔でビデオ信号としてイメージデータ入力部23に供給
され、1画面分のデジタル画像データに変換された後、
補正されて入力画像メモリ28に記憶され、その間の画
像は第2表示部53に表示される。そして、ステップS
224で撮像時の経過時間Tが最大値(max)に等し
くなると、ステップS226に進んでフラグPを“0”
にクリアし、ステップS200に戻る。これにより、C
CDカメラ部52で撮像したオペレータの顔画像データ
の取り込みが終了する。
【0057】図14はインターラプト1処理のプログラ
ムを示すフローチャートである。このプログラムは時間
経過に従って動くモンタージュ画像を表示するもので、
割り込みにより一定時間毎に繰り返される。この割り込
みルーチンがスタートすると、まずステップS250で
フラグKが“1”にセットされているか否かを判別す
る。フラグKは個人データが入力された場合にセットさ
れ、終了キーが押された場合にリセットされるものであ
るから、個人データが入力されていればK=1となって
ステップS252に進み、終了キーが押されていればK
=0となって今回のルーチンを終了する。ステップS2
52では画像表示の経過時間Tを[1]だけインクリメ
ントする。次いで、ステップS254でワークRAM3
2内の指定された個人データに対応するエリア内の経過
時間を検索する。例えば、個人データとして人物甲に関
連するデータが入力された場合には、図13に示す人物
甲についてエリア内の経過時間を検索する。ワークRA
M32には図13に示すような各データが格納されてお
り、個人データとして人物甲に関連するデータが入力さ
れれば、今回は人物甲についてエリア内の経過時間T1
〜Tnの項目を検索することになる。
【0058】次いで、ステップS256で画像表示の経
過時間Tと同一の経過時間(すなわち、T1〜Tn)が
あるか否かを判別する。つまり、画像表示の経過時間T
がT1〜Tnの何れかに等しいか否かを判別する。画像
表示の経過時間TがT1〜Tnの何れかに等しければス
テップS258で対応する顔画像データを指定する。例
えば、画像表示の経過時間TがT1に等しいときは、図
13に示す人物甲についてのエリア内の経過時間T1に
対応する顔画像データが指定され、CPU21によって
取り出されて表示駆動部27あるいは印刷駆動部25に
送られる。これにより、人物甲についての経過時間T1
に対応する似顔絵が第2表示部63に表示される。ま
た、必要に応じて人物甲についての経過時間T1に対応
する似顔絵を印刷することもできる。ステップS258
を経ると、ステップS260に進む。また、ステップS
256で画像表示の経過時間TがT1〜Tnの何れにも
等しくなければステップS258をジャンプしてステッ
プS260に進む。
【0059】ステップS260では画像表示の経過時間
Tが予め定められた最大値(max)になったか否かを
判別する。最大値(max)は画像表示の経過時間を所
定の値に規制するもので、例えば図13に示す最終的な
経過時間Tnに対応する値に設定される。ステップS2
60で画像表示の経過時間Tが最大値(max)に等し
くなければ今回のルーチンを終了し、次回の割り込みタ
イミングを待ってルーチンを繰り返す。これにより、次
回のルーチンでは経過時間T2に対応する顔画像データ
が指定され、CPU21によって取り出されて表示駆動
部27あるいは印刷駆動部25に送られることになる。
そして、ステップS260で画像表示の経過時間Tが最
大値(max)に等しくなると、ステップS262に進
んでTを“0”に戻し、今回のルーチンを終了し、次回
の割り込みタイミングを待つ。したがって、例えば個人
データとして[氏名:甲]に関連するデータを入力した
場合には、図13に示す人物甲についてエリア内の経過
時間T1〜Tnが順次検索され、各経過時間T1〜Tn
に対応する画像データが次々に指定されて取り出され、
人物甲に対応する似顔絵が順次第2表示部63に表示さ
れる。また、必要に応じて人物甲についての経過時間T
1〜Tnに対応する似顔絵を順次印刷することもでき
る。
【0060】図15はインターラプト2処理のプログラ
ムを示すフローチャートである。このプログラムは時間
経過に従って動くモンタージュ画像を作成するもので、
割り込みにより一定時間毎に繰り返される。この割り込
みルーチンがスタートすると、まずステップS300で
フラグPが“1”にセットされているか否かを判別す
る。フラグPは撮像されたオペレータの顔画像を取り込
む動作を開始させるためのものであるから、P=0のと
きは今回のルーチンを終了し、次回の割り込みタイミン
グを待つ。一方、P=1のときはステップS302に進
んで顔画像のパーツパターンに対応して今回のタイマー
時間T(すなわち、今回の計測値)をワークRAM32
の所定エリアにストアする。タイマー時間Tは図13に
示すエリア内の経過時間T1〜Tnに合せるために、本
割り込みルーチンの実行毎にその経過時間を計測するた
めのものである。
【0061】次いで、ステップS303でタイマー時間
Tを[1]だけインクリメントする。インクリメントす
る値[1]は、例えば本割り込みルーチンの繰り返し時
間に対応する値である。これにより、最初のルーチンで
はT=[1]となり、エリア内の経過時間T1に対応す
る顔画像を作成する処理が行われる。次いで、ステップ
S304で顔の部位を指定するポインタNを[1]にす
る。次いで、ステップS306で第1表示部61に表示
されたイメージデータの中でN番目の部位を指定する。
したがって、最初はポインタN=[1]に対応して顔の
輪郭から指定され、以後、後述のステップS320でポ
インタNがインクリメントされることにより、髪型、
目、・・・というように指定されていく。次いで、ステ
ップS308でパーツパターンROM30からN番目の
部位パターンおよび特定座標(位置データの座標)を読
み出す。
【0062】最初のルーチンではポインタN=[1]に
対応して顔の輪郭に対して、図13に示すようなパーツ
パターン番号(例えば、[50])および位置データ
(例えば、[x1、y1])が読み出される。次いで、
ステップS310では指定されたイメージデータの部位
での特定座標に対応する座標を検出する。これにより、
撮像されたオペレータの顔画像に対して、今回のポイン
タN=[1]によって指定された輪郭という部位の座標
が検出される。次いで、ステップS312でパーツパタ
ーンとイメージデータの部位との座標を合せてからその
一致ドット数をカウントする。これにより、今回のポイ
ンタN=[1]のルーチンでは図13のエリアから読み
出した輪郭のパーツパターンとイメージデータの輪郭の
画像とが一致している部分のドット数がカウントされ
る。
【0063】次いで、ステップS314で一致ドット数
と座標の差分をワークRAM32にストアする。これに
より、今回のポインタN=[1]のルーチンでは輪郭の
パーツパターンとイメージデータの輪郭の画像との一致
ドット数および輪郭のパーツパターンとイメージデータ
の各位置の違いに相当する座標の差分がワークRAM3
2にストアされる。次いで、ステップS316で一致ド
ット数の多いパーツパターンの番号(NO.)をワーク
RAM32にストアする。これにより、今回のポインタ
N=[1]のルーチンではイメージデータの輪郭の画像
に対して最も似ている輪郭のパーツパターン番号がワー
クRAM32にストアされ、似顔絵を作成する際の輪郭
という部位のパーツパターンが選択されたことになる。
【0064】次いで、ステップS318で全部位の指定
を終了したか否かを判別する。終了していなければ、ス
テップS320に進んでポインタNを[1]だけインク
リメントし、ステップS306に戻り、同様のループを
繰り返す。したがって、次のループでは、N=[2]と
なって髪型という部位が指定され、上記同様にして髪型
の画像に対して最も似ている髪型のパーツパターン番号
がワークRAM32にストアされ、似顔絵を作成する際
の髪型という部位のパーツパターンを選択する処理が行
われる。以下同様にして、N=[3]の目、・・・とい
うようにして顔の全部の部位の画像に対して最も似てい
る部位のパーツパターン番号がワークRAM32にスト
アされ、似顔絵を作成する際の全ての部位のパーツパタ
ーンを選択する処理が行われる。
【0065】そして、全ての部位のパーツパターンの選
択が終了すると、ステップS318の判別結果がYES
となり、割り込みルーチンを終了し、次回の割り込みタ
イミングを待つ。そして、次回の割り込みルーチンでは
ステップS302で顔画像のパーツパターンに対応して
T=[2]となり、エリア内の経過時間T2に対応する
顔画像を作成する処理が行われる。以後同様にして割り
込みルーチンの実行毎にT=[3]、T=[4]、・・
・T=[n]という順で、エリア内の経過時間T2、T
3、T4、・・・Tnに対応する各顔画像を作成する処
理が行われる。このように第2実施例では、オペレータ
の動く顔画像を撮像し、時間の経過に従って顔の向き、
顔の各部位毎のパーツ番号、位置データなどの形で順番
に登録することが行われる。そして、再生時には登録済
みの各パーツ番号等のデータに基づいて予め用意されて
いるパーツパターンを組み合せて顔画像として復元され
る。したがって、いわゆ動くモンタージュ画像である似
顔絵画像が再現することができる。
【0066】例えば、図16(A)に示すように、撮像
開始から経過時間T1のときオペレータの動く顔画像
が、例えば正面の画像として撮像され、撮像画像に対す
るそのときの顔の向き、顔の各部位毎のパーツ番号、位
置データなどが求められて、経過時間T1とともに登録
される。同様に、撮像開始から経過時間T2のときはオ
ペレータの動く顔画像が、例えば正面の画像として撮像
され、撮像画像に対するそのときの顔の向き、顔の各部
位毎のパーツ番号、位置データなどが求められて、経過
時間T2とともに登録される。また、経過時間T3のと
きはオペレータの動く顔画像が、例えば正面の画像とし
て撮像され、撮像画像に対するそのときの顔の向き、顔
の各部位毎のパーツ番号、位置データなどが求められ
て、経過時間T3とともに登録される。なお、オペレー
タが横を向いたときには、例えば側面の画像として撮像
され、撮像画像に対するそのときの顔の向き、顔の各部
位毎のパーツ番号、位置データなどが同様にして求めら
れ、そのときの経過時間Txとともに登録される。
【0067】一方、モンタージュ画像の再生時には、最
初に撮像開始からの経過時間がT1のときに対応する登
録済みの顔の向き、顔の各部位毎のパーツ番号、位置デ
ータなどがワークRAM32の対応するエリアから読み
出されてパーツパターンが組み合わされ、16図(A)
に示すような正面のモンタージュ画像として復元され
る。以後同様にして、経過時間T2のときに対応する登
録済みの顔の向き、顔の各部位毎のパーツ番号、位置デ
ータなどがワークRAM32の対応するエリアから読み
出されてパーツパターンが組み合わされ、16図(B)
に示すような正面のモンタージュ画像として復元され
る。また、経過時間T3のときには、対応する登録済み
の顔の向き、顔の各部位毎のパーツ番号、位置データな
どがワークRAM32の対応するエリアから読み出され
てパーツパターンが組み合わされ、16図(C)に示す
ような正面のモンタージュ画像として復元される。した
がって、時間経過に従って登録済みの各パーツ番号等の
データに基づいて予め用意されているパーツパターンを
組み合せることで、オペレータの動く顔画像が復元さ
れ、いわゆる動くモンタージュ画像を再現することがで
きる。
【0068】
【発明の効果】請求項1の発明によれば、顔画像の再生
に先立って、撮影された顔画像から顔の各部位毎に部分
画像を抽出し、この抽出した部分画像と顔の各部位毎に
予め記憶されている複数種類のパーツ画像とを各部位毎
にそれぞれ比較し、この比較結果に基づいて、前記予め
記憶されている各部位毎のパーツ画像に対応するパーツ
画像指定データと前記部分画像の各部位毎の座標位置デ
ータとを対応付けて、時間の経過に従って順次記憶部に
記憶させることができる。一方、顔画像の再生時におい
ては、前記記憶部から、記憶されている各パーツ画像指
定データに対応するパーツ画像と当該各パーツ画像指定
データに対応付けて記憶されている座標位置データとを
時間の経過に従って順次読み出し、この読み出された各
パーツ画像指定データに対応した位置に前記パーツ画像
をそれぞれ配置してゆき、この配置された各部位毎のパ
ーツ画像を組み合せて作成された似顔絵画像を順次表示
部に表示させることができる。このため、時間の経過に
従って動く似顔絵画像または動くモンタージュ画像を表
示させることができる。
【0069】 また、請求項の発明によれば、請求項
1の発明の場合と同様、顔画像の再生に先立って、撮影
された顔画像から顔の各部位毎に部分画像を抽出し、こ
の抽出した部分画像と顔の各部位毎に予め記憶されてい
る複数種類のパーツ画像とを各部位毎にそれぞれ比較
し、この比較結果に基づいて、前記予め記憶されている
各部位毎のパーツ画像に対応するパーツ画像指定データ
と前記部分画像の各部位毎の座標位置データとを対応付
けて、時間の経過に従って順次記憶部に記憶させること
ができる。一方、顔画像の再生時においては、前記記憶
部から、記憶されている各パーツ画像指定データに対応
するパーツ画像と当該各パーツ画像指定データに対応付
けて記憶されている座標位置データとを時間の経過に従
って順次読み出し、この読み出された各パーツ画像指定
データに対応した位置に前記パーツ画像をそれぞれ配置
してゆき、この配置された各部位毎のパーツ画像を組み
合せて作成された似顔絵画像を順次表示部に表示させる
ことができる。このため、時間の経過に従って動く似顔
絵画像または動くモンタージュ画像を表示させることが
できる。
【図面の簡単な説明】
【図1】本発明に係る顔画像作成装置および顔画像作成
方法を適用した電子手帳の第1実施例の正面図である。
【図2】同実施例の顔画像作成装置の構成を示すブロッ
ク図である。
【図3】同実施例のパーツパターンROMに記憶されて
いる顔の各部位のパーツパターンの一例を示す図であ
る。
【図4】同実施例のパーツパターンの照合一致ドット数
および順位番号を示す図である。
【図5】同実施例の個人データの入力・登録処理を行う
処理プログラムを示すフローチャートである。
【図6】同実施例の似顔絵作成処理のプログラムの一部
を示すフローチャートである。
【図7】同実施例の似顔絵作成処理のプログラムの一部
を示すフローチャートである。
【図8】同実施例のワークRAMの記憶内容の一例を示
す図である。
【図9】同実施例の顔画像の一例を示す図である。
【図10】同実施例の顔画像の一例を示す図である。
【図11】本発明に係る顔画像作成装置および顔画像作
成方法を適用した電子手帳の第2実施例の正面図であ
る。
【図12】同実施例の似顔絵作成処理のプログラムを示
すフローチャートである。
【図13】同実施例のワークRAMの記憶内容の一例を
示す図である。
【図14】同実施例のインターラプト1処理のプログラ
ムを示すフローチャートである。
【図15】同実施例のインターラプト2処理のプログラ
ムを示すフローチャートである。
【図16】同実施例の顔画像の一例を示す図である。
【符号の説明】
1、51 電子手帳 2、52 CCDカメラ部(顔画像取得手段) 3、53 第2表示部 4 データ入力キー 11 第1表示部 12 入力スイッチ部 13 オン/オフキー 14 部位キー 21 CPU 21 キー入力部 23 イメージデータ入力部 24 パターンマッチング部 26 印刷部 28 入力画像メモリ(顔画像データ記憶手段) 29 基本位置メモリ 30 パーツパターンROM(パーツ記憶手段、第2の
記憶手段) 31 ROM 32 ワークRAM(パーツ記憶手段、第1の記憶手
) 101 比較手段 102 作成手段
フロントページの続き (56)参考文献 特開 平2−68666(JP,A) 塩野充 武田哲 村山智彦,顔画像か らの似顔絵作成システム,テレビジョン 学会誌,日本,社団法人テレビジョン学 会,1988年12月20日,Vol.42 N o.12,p1380−1386 (58)調査した分野(Int.Cl.7,DB名) G06T 11/60 - 13/00

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 顔画像の再生に先立って、撮影された顔
    画像から顔の各部位毎に部分画像を抽出し、この抽出し
    た部分画像と顔の各部位毎に予め記憶されている複数種
    類のパーツ画像とを各部位毎にそれぞれ比較し、この比
    較結果に基づいて、前記予め記憶されている各部位毎の
    パーツ画像に対応するパーツ画像指定データと前記部分
    画像の各部位毎の座標位置データとを対応付けて、時間
    の経過に従って順次記憶部に記憶させる記憶制御手段
    と、 顔画像の再生時において、前記記憶部から、記憶されて
    いる各パーツ画像指定データに対応するパーツ画像と当
    該各パーツ画像指定データに対応付けて記憶されている
    座標位置データとを時間の経過に従って順次読み出し、
    この読み出された各パーツ画像指定データに対応した位
    置に前記パーツ画像をそれぞれ配置してゆき、この配置
    された各部位毎のパーツ画像を組み合せて作成された似
    顔絵画像を順次表示部に表示させる表示制御手段と、 を備えていることを特徴とする顔画像作成装置。
  2. 【請求項2】 前記顔画像は、CCDカメラ、ビデオカ
    メラ、イメージスキャナ、電子スチルカメラおよび他の
    装置のいずれかから取得した顔画像であることを特徴と
    する請求項1に記載の顔画像作成装置。
  3. 【請求項3】 顔画像の再生に先立って、撮影された顔
    画像から顔の各部位毎に部分画像を抽出し、この抽出し
    た部分画像と顔の各部位毎に予め記憶されている複数種
    類のパーツ画像とを各部位毎にそれぞれ比較し、この比
    較結果に基づいて、前記予め記憶されている各部位毎の
    パーツ画像に対応するパーツ画像指定データと前記部分
    画像の各部位毎の座標位置データとを対応付けて、時間
    の経過に従って順次記憶部に記憶させる記憶制御ステッ
    プと、 顔画像の再生時において、前記記憶部から、記憶されて
    いる各パーツ画像指定データに対応するパーツ画像と当
    該各パーツ画像指定データに対応付けて記憶されている
    座標位置データとを時間の経過に従って順次読み出し、
    この読み出された各パーツ画像指定データに対応した位
    置に前記パーツ画像をそれぞれ配置してゆき、この配置
    された各部位毎のパーツ画像を組み合せて作成された似
    顔絵画像を順次表示部に表示させる表示制御ステップ
    と、 を備えていることを特徴とする顔画像作成方法。
  4. 【請求項4】 前記顔画像は、CCDカメラ、ビデオカ
    メラ、イメージスキャナ、電子スチルカメラおよび他の
    装置のいずれかから取得した顔画像であることを特徴と
    する請求項3に記載の顔画像作成方法。
JP20986393A 1993-08-02 1993-08-02 顔画像作成装置および顔画像作成方法 Expired - Lifetime JP3477750B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20986393A JP3477750B2 (ja) 1993-08-02 1993-08-02 顔画像作成装置および顔画像作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20986393A JP3477750B2 (ja) 1993-08-02 1993-08-02 顔画像作成装置および顔画像作成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000232606A Division JP3478255B2 (ja) 2000-08-01 2000-08-01 顔画像作成装置および顔画像作成制御方法

Publications (2)

Publication Number Publication Date
JPH0744725A JPH0744725A (ja) 1995-02-14
JP3477750B2 true JP3477750B2 (ja) 2003-12-10

Family

ID=16579878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20986393A Expired - Lifetime JP3477750B2 (ja) 1993-08-02 1993-08-02 顔画像作成装置および顔画像作成方法

Country Status (1)

Country Link
JP (1) JP3477750B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3773657B2 (ja) * 1998-06-18 2006-05-10 株式会社資生堂 眉変形システム
US7668402B2 (en) * 2004-11-05 2010-02-23 Intergraph Technologies Company Method for generating a composite image
JP2014048767A (ja) * 2012-08-30 2014-03-17 Casio Comput Co Ltd 画像生成装置、画像生成方法及びプログラム
JP2016126510A (ja) * 2014-12-26 2016-07-11 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US11769349B2 (en) 2020-07-29 2023-09-26 Nec Corporation Information processing system, data accumulation apparatus, data generation apparatus, information processing method, data accumulation method, data generation method, recording medium and database

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
塩野充 武田哲 村山智彦,顔画像からの似顔絵作成システム,テレビジョン学会誌,日本,社団法人テレビジョン学会,1988年12月20日,Vol.42 No.12,p1380−1386

Also Published As

Publication number Publication date
JPH0744725A (ja) 1995-02-14

Similar Documents

Publication Publication Date Title
US8112712B2 (en) Image editing method, image editing apparatus, program for implementing image editing method, and recording medium recording program
US8508578B2 (en) Image processor, image processing method, recording medium, computer program and semiconductor device
JP3912834B2 (ja) 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
EP1507386B1 (en) Image pickup device and image synthesizing method
US7486310B2 (en) Imaging apparatus and image processing method therefor
JPH11503540A (ja) エステティック画像システム
JP2003244581A (ja) 画像印刷装置および方法、プログラム、並びに印刷媒体ユニット
EP0584759B1 (en) Image displaying apparatus
JP2009086703A (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP2000322588A (ja) 画像処理装置及びその方法
JP3444148B2 (ja) 眉描画方法
JPH11331693A (ja) 画像処理方法及びその装置
JP3477750B2 (ja) 顔画像作成装置および顔画像作成方法
JP3478255B2 (ja) 顔画像作成装置および顔画像作成制御方法
US5572656A (en) Portrait drawing apparatus having image data input function
WO2005078659A1 (ja) 顔画像処理システム
JP2000196956A (ja) 画像合成装置および画像合成方法
JPH05165932A (ja) 画像編集方法及びシステム
JP2002298078A (ja) 文字表示装置、その制御方法、記録媒体およびプログラム
JP2000292852A (ja) 顔画像撮影装置
JPH0823871B2 (ja) メ−クアップシミュレ−ションシステム
JP2979717B2 (ja) 似顔絵作成装置
JP4284447B2 (ja) モーフィングカメラ及びモーフィング方法
JP3076428B2 (ja) 立体形状モデリング方法
JPH02100768A (ja) イラスト作成装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081003

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081003

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091003

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091003

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101003

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9