JPH09190522A - 画像合成処理方法およびその装置 - Google Patents
画像合成処理方法およびその装置Info
- Publication number
- JPH09190522A JPH09190522A JP112596A JP112596A JPH09190522A JP H09190522 A JPH09190522 A JP H09190522A JP 112596 A JP112596 A JP 112596A JP 112596 A JP112596 A JP 112596A JP H09190522 A JPH09190522 A JP H09190522A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- person
- background
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 顔の輪郭を含め、顔全体を対象にして顔画像
の合成を行う。 【解決手段】 画像合成処理装置は、人物の顔を単一色
の背景と共に撮影する撮影部１を有し、撮影部１により
撮影された顔画像に対し、ブルーバック抽出部３が撮影
画像中の単一色の背景を抽出して、背景を無色透明に塗
り替え、輪郭検出部４が顔の輪郭と無色透明部との境界
の検出を行って、輪郭の特徴点を検出し、特徴点抽出部
５が顔の各部の特徴点の抽出を行う。次に、サンプル画
像をサンプル画像記憶部６から読み出し、画像合成部７
が顔の輪郭の特徴点及び顔の各部の特徴点を対象にし
て、サンプル画像を顔画像に合成する。
の合成を行う。 【解決手段】 画像合成処理装置は、人物の顔を単一色
の背景と共に撮影する撮影部１を有し、撮影部１により
撮影された顔画像に対し、ブルーバック抽出部３が撮影
画像中の単一色の背景を抽出して、背景を無色透明に塗
り替え、輪郭検出部４が顔の輪郭と無色透明部との境界
の検出を行って、輪郭の特徴点を検出し、特徴点抽出部
５が顔の各部の特徴点の抽出を行う。次に、サンプル画
像をサンプル画像記憶部６から読み出し、画像合成部７
が顔の輪郭の特徴点及び顔の各部の特徴点を対象にし
て、サンプル画像を顔画像に合成する。
Description
【０００１】
【発明の属する技術分野】本発明は、人物をカメラによ
り撮影し、撮影した人物画像に合成処理を行う画像合成
処理方法およびその装置に関する。
り撮影し、撮影した人物画像に合成処理を行う画像合成
処理方法およびその装置に関する。
【０００２】
【従来の技術】従来、カメラにより人物の顔を撮影し
て、その撮影画像に合成処理（モーフィング）を行う方
法には、撮影画像より顔の特徴点（情報）を検出し、そ
の特徴点を対象にして合成処理を行う方法がある。ここ
で、顔の特徴点とは、眉、目、鼻、口等の顔の各部分に
ついてその輪郭の特徴を示すものである。この方法で
は、顔の各部分についての特徴点を抽出して、この特徴
点をモーフィグ処理の対象にしているため、モーフィン
グは顔の輪郭の内側のみに対して行われる。
て、その撮影画像に合成処理（モーフィング）を行う方
法には、撮影画像より顔の特徴点（情報）を検出し、そ
の特徴点を対象にして合成処理を行う方法がある。ここ
で、顔の特徴点とは、眉、目、鼻、口等の顔の各部分に
ついてその輪郭の特徴を示すものである。この方法で
は、顔の各部分についての特徴点を抽出して、この特徴
点をモーフィグ処理の対象にしているため、モーフィン
グは顔の輪郭の内側のみに対して行われる。
【０００３】
【発明が解決しようとする課題】上記の方法では、モー
フィングは目や鼻等の顔の各部分を対象にして行われて
おり、顔の輪郭はモーフィングの対象とはなっていない
ので、モーフィングされた画像は、その処理対象画像に
よって不自然な感じをうけることがあった。そこで、本
発明は輪郭を含めて顔全体をモーフィング対象にして、
モーフィングを行う画像合成処理方法およびその装置を
提供することを目的とする。
フィングは目や鼻等の顔の各部分を対象にして行われて
おり、顔の輪郭はモーフィングの対象とはなっていない
ので、モーフィングされた画像は、その処理対象画像に
よって不自然な感じをうけることがあった。そこで、本
発明は輪郭を含めて顔全体をモーフィング対象にして、
モーフィングを行う画像合成処理方法およびその装置を
提供することを目的とする。
【０００４】
【課題を解決するための手段】上記の課題を達成するた
めに、本発明の画像処理方法は、人物の顔を撮影し、撮
影画像より人物の顔の各部の特徴点を検出して、この特
徴点を対象に前記撮影画像に画像合成を行う画像合成処
理方法において、第１の色を有する背景と共に前記人物
の顔を撮影し、撮影画像中から背景を抽出し、抽出した
背景と人物の顔の境界部分を検出することにより人物の
顔の輪郭の特徴点を抽出し、検出した人物の顔の輪郭の
特徴点および人物の顔の各部の特徴点を対象に撮影画像
中の人物の顔に画像合成を行う。撮影画像中の背景は第
１の色とは異なる第２の色に塗り替えられて、撮影画像
中から抽出される。
めに、本発明の画像処理方法は、人物の顔を撮影し、撮
影画像より人物の顔の各部の特徴点を検出して、この特
徴点を対象に前記撮影画像に画像合成を行う画像合成処
理方法において、第１の色を有する背景と共に前記人物
の顔を撮影し、撮影画像中から背景を抽出し、抽出した
背景と人物の顔の境界部分を検出することにより人物の
顔の輪郭の特徴点を抽出し、検出した人物の顔の輪郭の
特徴点および人物の顔の各部の特徴点を対象に撮影画像
中の人物の顔に画像合成を行う。撮影画像中の背景は第
１の色とは異なる第２の色に塗り替えられて、撮影画像
中から抽出される。
【０００５】また、本発明の画像処理装置は、人物の顔
を撮影し、撮影画像より人物の顔の各部の特徴点を検出
して、この特徴点を対象に撮影画像に画像合成を行う画
像合成処理装置において、第１の色を有する背景と共に
前記人物の顔を撮影するカメラと、撮影画像中から背景
を抽出する背景抽出部と、抽出された背景と人物の顔の
境界部分を検出して、人物の顔の輪郭の特徴点を抽出す
る輪郭抽出部と、人物の顔の各部の特徴点を検出する特
徴点抽出部と、検出した人物の顔の輪郭の特徴点および
人物の顔の各部の特徴点を対象に撮影画像中の人物の顔
に画像合成を行う画像合成処理部とを備える。ここで、
背景抽出部は、前記背景を第１の色とは異なる第２の色
に塗り替えて撮影画像中から背景を抽出し、輪郭抽出部
は、第２の色と人物の顔の境界部分を検出して、人物の
顔の輪郭の特徴点を抽出する。
を撮影し、撮影画像より人物の顔の各部の特徴点を検出
して、この特徴点を対象に撮影画像に画像合成を行う画
像合成処理装置において、第１の色を有する背景と共に
前記人物の顔を撮影するカメラと、撮影画像中から背景
を抽出する背景抽出部と、抽出された背景と人物の顔の
境界部分を検出して、人物の顔の輪郭の特徴点を抽出す
る輪郭抽出部と、人物の顔の各部の特徴点を検出する特
徴点抽出部と、検出した人物の顔の輪郭の特徴点および
人物の顔の各部の特徴点を対象に撮影画像中の人物の顔
に画像合成を行う画像合成処理部とを備える。ここで、
背景抽出部は、前記背景を第１の色とは異なる第２の色
に塗り替えて撮影画像中から背景を抽出し、輪郭抽出部
は、第２の色と人物の顔の境界部分を検出して、人物の
顔の輪郭の特徴点を抽出する。
【０００６】また、本発明の画像処理装置を適用したゲ
ーム装置は、第１の色を有する背景と、プレーヤーの顔
を背景と共に撮影するカメラと、このカメラにより撮影
された撮影画像中から背景を抽出する背景抽出部と、検
出された背景とプレーヤーの顔の境界部分を検出して、
プレーヤーの顔の輪郭の特徴点を抽出する輪郭抽出部
と、プレーヤーの顔の各部の特徴点を検出する特徴点抽
出部と、所定のゲーム処理を行うゲーム処理部と、所定
のゲーム処理の結果に基づいて、検出した人物の顔の輪
郭の特徴点および人物の顔の各部の特徴点を対象に撮影
画像中のプレーヤーの顔に画像合成を行う画像合成処理
部とを備える。ここで、背景抽出部は、背景を第１の色
とは異なる第２の色に塗り替えて撮影画像中から背景を
抽出し、輪郭抽出部は、第２の色と人物の顔の境界部分
を検出して、人物の顔の輪郭の特徴点を抽出する。
ーム装置は、第１の色を有する背景と、プレーヤーの顔
を背景と共に撮影するカメラと、このカメラにより撮影
された撮影画像中から背景を抽出する背景抽出部と、検
出された背景とプレーヤーの顔の境界部分を検出して、
プレーヤーの顔の輪郭の特徴点を抽出する輪郭抽出部
と、プレーヤーの顔の各部の特徴点を検出する特徴点抽
出部と、所定のゲーム処理を行うゲーム処理部と、所定
のゲーム処理の結果に基づいて、検出した人物の顔の輪
郭の特徴点および人物の顔の各部の特徴点を対象に撮影
画像中のプレーヤーの顔に画像合成を行う画像合成処理
部とを備える。ここで、背景抽出部は、背景を第１の色
とは異なる第２の色に塗り替えて撮影画像中から背景を
抽出し、輪郭抽出部は、第２の色と人物の顔の境界部分
を検出して、人物の顔の輪郭の特徴点を抽出する。
【０００７】
【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照して詳細に説明する。なお、説明において、
同一要素には同一符号を用い、重複する説明は省略す
る。
図面を参照して詳細に説明する。なお、説明において、
同一要素には同一符号を用い、重複する説明は省略す
る。
【０００８】図１は本発明に係る画像合成処理装置の実
施の形態の構成図である。図１に示すように、画像合成
処理装置は、青色の単一色の背景（以下、ブルーバック
と称する）と共に人物の顔を撮影する撮影部１と、撮影
画像を記憶する画像記憶部２と、撮影画像中からブルー
バックを抽出するブルーバック抽出部３と、顔の輪郭を
検出して輪郭の特徴点を抽出する輪郭抽出部４と、目や
鼻等の顔の各部の特徴点を抽出する特徴点抽出部５と、
撮影画像に合成するサンプル画像を格納するサンプル画
像記憶部６と、撮影画像とサンプル画像を合成する画像
合成部７と、合成画像を表示する画像表示部８とを備え
ている。
施の形態の構成図である。図１に示すように、画像合成
処理装置は、青色の単一色の背景（以下、ブルーバック
と称する）と共に人物の顔を撮影する撮影部１と、撮影
画像を記憶する画像記憶部２と、撮影画像中からブルー
バックを抽出するブルーバック抽出部３と、顔の輪郭を
検出して輪郭の特徴点を抽出する輪郭抽出部４と、目や
鼻等の顔の各部の特徴点を抽出する特徴点抽出部５と、
撮影画像に合成するサンプル画像を格納するサンプル画
像記憶部６と、撮影画像とサンプル画像を合成する画像
合成部７と、合成画像を表示する画像表示部８とを備え
ている。
【０００９】図２にこの画像合成処理装置が行う画像処
理工程を示し、図３に処理画像の一例を示す。最初に、
撮影部１により人物の顔が撮影され（図２のステップ１
００）、この撮影画像が画像記憶部２に格納される（図
２のステップ２００）。図３（ａ）は撮影部１により撮
像された撮影画像である。人物の顔がブルーバックと共
に撮影されている。そして、この撮影画像に対して、図
３（ｂ）に示すように、ブルーバック抽出部３が撮影画
像中からブルーバックを抽出して、ブルーバックを青色
とは異なる色、例えば、無色透明に塗り替える（図２の
ステップ３００）。
理工程を示し、図３に処理画像の一例を示す。最初に、
撮影部１により人物の顔が撮影され（図２のステップ１
００）、この撮影画像が画像記憶部２に格納される（図
２のステップ２００）。図３（ａ）は撮影部１により撮
像された撮影画像である。人物の顔がブルーバックと共
に撮影されている。そして、この撮影画像に対して、図
３（ｂ）に示すように、ブルーバック抽出部３が撮影画
像中からブルーバックを抽出して、ブルーバックを青色
とは異なる色、例えば、無色透明に塗り替える（図２の
ステップ３００）。
【００１０】次に、輪郭検出部４が顔の輪郭と無色透明
部分の境界の検出を行う（図２のステップ４００）。ま
ず、図３（ｃ）に示す領域I 内の境界の検出を行うが、
撮影画像の中心点ＸＹ（０，０）から＋Ｙ方向に画像を
検索して境界点ａ（０，ｙa）を検出する。そして、中
心点（０，０）から−Ｘ方向に画像を検索して境界点ｂ
（ｘb ，０）を検出する。次に、中心点（０，０）と点
ｂ（ｘb ，０）の間を三等分し、点（１／３ｘb ，０）
と点（２／３ｘb ，０）から＋Ｙ方向に画像を検索して
境界点ｃ（ｘc ，ｙc ）と境界点ｄ（ｘd ，ｙd ）を検
出する。そして次に、点ｄ（ｘd ，ｙd ）と点ｂ
（ｘb ，０）の間を三等分して、Ｙ＝（１／３ｙb ）と
Ｙ＝（２／３ｙb ）を画像左端から中央に向かって検索
して境界点ｆと境界点ｅを検出する。
部分の境界の検出を行う（図２のステップ４００）。ま
ず、図３（ｃ）に示す領域I 内の境界の検出を行うが、
撮影画像の中心点ＸＹ（０，０）から＋Ｙ方向に画像を
検索して境界点ａ（０，ｙa）を検出する。そして、中
心点（０，０）から−Ｘ方向に画像を検索して境界点ｂ
（ｘb ，０）を検出する。次に、中心点（０，０）と点
ｂ（ｘb ，０）の間を三等分し、点（１／３ｘb ，０）
と点（２／３ｘb ，０）から＋Ｙ方向に画像を検索して
境界点ｃ（ｘc ，ｙc ）と境界点ｄ（ｘd ，ｙd ）を検
出する。そして次に、点ｄ（ｘd ，ｙd ）と点ｂ
（ｘb ，０）の間を三等分して、Ｙ＝（１／３ｙb ）と
Ｙ＝（２／３ｙb ）を画像左端から中央に向かって検索
して境界点ｆと境界点ｅを検出する。
【００１１】次に、領域II内の境界の検出を行う。中心
点（０，０）から＋Ｘ方向に画像を検索して境界点ｇ
（ｘg , ０）を検出して、領域I の検索方法と同様にし
て、中心点（０，０）と点ｇ（ｘg ，０）間を三等分し
て、点（１／３ｘg ，０）と点（２／３ｘg ，０）から
＋Ｙ方向に画像を検索して境界点ｈ（ｘh ，ｙh ）と境
界点ｉ（ｘi ，ｙi ）を検出する。そして、点ｉ
（ｘi ，ｙi ）と点ｇ（ｘg ，０）の間を三等分して、
Ｙ＝（１／３ｙi ）とＹ＝（２／３ｙi ）を画像右端か
ら中央に向かって検索して境界点ｋと境界点ｊを検出す
る。
点（０，０）から＋Ｘ方向に画像を検索して境界点ｇ
（ｘg , ０）を検出して、領域I の検索方法と同様にし
て、中心点（０，０）と点ｇ（ｘg ，０）間を三等分し
て、点（１／３ｘg ，０）と点（２／３ｘg ，０）から
＋Ｙ方向に画像を検索して境界点ｈ（ｘh ，ｙh ）と境
界点ｉ（ｘi ，ｙi ）を検出する。そして、点ｉ
（ｘi ，ｙi ）と点ｇ（ｘg ，０）の間を三等分して、
Ｙ＝（１／３ｙi ）とＹ＝（２／３ｙi ）を画像右端か
ら中央に向かって検索して境界点ｋと境界点ｊを検出す
る。
【００１２】引き続き、領域III 内とIV内の境界の検出
を行う。領域III 内では、所定のＹ座標、例えば、Ｙ＝
ｙl とＹ＝ｙm を画像左端から中央に向かって検索して
境界点ｌ（ｘl ，ｙl ）と境界点ｍ（ｘm ，ｙm ）を検
出する。そして、境界点ｍと同一のＸ座標上に点ｎ（ｘ
m ，ｙn ）を検出する。次に、領域III と同様にして、
領域IV内において検出処理を行い、点ｏ、点ｐ、点ｑを
検出する。以上のようにして顔の輪郭の特徴点を１７個
検出する。輪郭の検出を終了したら、次に顔の各部の特
徴点を検出する（図２のステップ５００）。
を行う。領域III 内では、所定のＹ座標、例えば、Ｙ＝
ｙl とＹ＝ｙm を画像左端から中央に向かって検索して
境界点ｌ（ｘl ，ｙl ）と境界点ｍ（ｘm ，ｙm ）を検
出する。そして、境界点ｍと同一のＸ座標上に点ｎ（ｘ
m ，ｙn ）を検出する。次に、領域III と同様にして、
領域IV内において検出処理を行い、点ｏ、点ｐ、点ｑを
検出する。以上のようにして顔の輪郭の特徴点を１７個
検出する。輪郭の検出を終了したら、次に顔の各部の特
徴点を検出する（図２のステップ５００）。
【００１３】図４に顔の各部とその検出範囲を示す。特
徴点検出部５による目、鼻、口、眉等の顔の各部の特徴
点の検出は、各部の検出範囲内において、顔の各部につ
いて色の変化する部分を検索して、各々の輪郭を検出
し、その輪郭の上下左右の点を特徴点として、各特徴点
の間に何箇所か特徴点を抽出する。
徴点検出部５による目、鼻、口、眉等の顔の各部の特徴
点の検出は、各部の検出範囲内において、顔の各部につ
いて色の変化する部分を検索して、各々の輪郭を検出
し、その輪郭の上下左右の点を特徴点として、各特徴点
の間に何箇所か特徴点を抽出する。
【００１４】まず最初に目を検出する。通常、撮影を行
うときには、目の合わせ位置を基準にして撮影されてい
るので、撮影時の基準位置から目があると予想される範
囲内に目があるか検索する。このとき、検出された目の
縦の長さが予め用意された指定パラメータより大きい場
合には、眉と繋がっていると判断して、再検出を行う。
また、検出した目がパラメータより小さい場合には、ノ
イズとみなして、再検出を行う。検出した目が指定パラ
メータ内にある場合は、形を調整して、それを目と認識
し、輪郭の上下左右の点およびそれらの点の間の点を特
徴点として抽出する。次に、鼻の検索を行うが、撮影時
の基準位置と検出された目の位置から鼻の検出範囲を設
定して検出を行う。このとき、検出された鼻の縦座標の
最小値が所定のパラメータより小さい場合には、髭も鼻
として検出している可能性があるので、再度検出を行
う。そして、検出した鼻が所定のパラメータ内にあると
きは、それを鼻と認識し、輪郭の上下左右の点およびそ
れらの点の間の幾つかの点を特徴点として抽出する。
うときには、目の合わせ位置を基準にして撮影されてい
るので、撮影時の基準位置から目があると予想される範
囲内に目があるか検索する。このとき、検出された目の
縦の長さが予め用意された指定パラメータより大きい場
合には、眉と繋がっていると判断して、再検出を行う。
また、検出した目がパラメータより小さい場合には、ノ
イズとみなして、再検出を行う。検出した目が指定パラ
メータ内にある場合は、形を調整して、それを目と認識
し、輪郭の上下左右の点およびそれらの点の間の点を特
徴点として抽出する。次に、鼻の検索を行うが、撮影時
の基準位置と検出された目の位置から鼻の検出範囲を設
定して検出を行う。このとき、検出された鼻の縦座標の
最小値が所定のパラメータより小さい場合には、髭も鼻
として検出している可能性があるので、再度検出を行
う。そして、検出した鼻が所定のパラメータ内にあると
きは、それを鼻と認識し、輪郭の上下左右の点およびそ
れらの点の間の幾つかの点を特徴点として抽出する。
【００１５】引き続き、口と眉の検索を行うが、いずれ
の場合も最初にそれまでに検出された部分、例えば、目
と鼻と、撮影時の基準位置より各々の検出範囲を決定す
る。従って、検出範囲は撮影画像によって変化すること
になる。そして、その検出範囲内で口と眉を検出し、そ
れぞれの所定パラメータと比較して、パラメータ内であ
れば口および眉として認識し、各々の特徴点を検出す
る。
の場合も最初にそれまでに検出された部分、例えば、目
と鼻と、撮影時の基準位置より各々の検出範囲を決定す
る。従って、検出範囲は撮影画像によって変化すること
になる。そして、その検出範囲内で口と眉を検出し、そ
れぞれの所定パラメータと比較して、パラメータ内であ
れば口および眉として認識し、各々の特徴点を検出す
る。
【００１６】次に、撮影された顔画像に合成するサンプ
ル画像がサンプル画像記憶部６より読みだされて、画像
合成部７は上述のようにして検出された、顔の輪郭の特
徴点と顔の各部の特徴点を対象にして、読みだされたサ
ンプル画像を顔画像に合成する（図２のステップ６０
０）。
ル画像がサンプル画像記憶部６より読みだされて、画像
合成部７は上述のようにして検出された、顔の輪郭の特
徴点と顔の各部の特徴点を対象にして、読みだされたサ
ンプル画像を顔画像に合成する（図２のステップ６０
０）。
【００１７】従来の顔画像合成処理において、画像合成
対象は目、鼻等の顔の各部についてのみであったが、上
述したように顔の各部の特徴点のみならず、顔の輪郭の
特徴点も検出しているので、顔の輪郭も画像合成の対象
として処理することができるため、合成画像の不自然さ
を解消することができる。
対象は目、鼻等の顔の各部についてのみであったが、上
述したように顔の各部の特徴点のみならず、顔の輪郭の
特徴点も検出しているので、顔の輪郭も画像合成の対象
として処理することができるため、合成画像の不自然さ
を解消することができる。
【００１８】本発明は、上述の実施の形態に限定される
ことはなく、様々に変更することが可能である。例え
ば、上述の実施の形態では、顔の輪郭を検出する際に点
ａ，ｂ，ｃ…ｏ，ｐ，ｑの順で１７個の特徴点を検出し
たが、顔と無色透明部の境界を検出すればよいので、検
索順序を自由に変更することができ、特徴点の個数もま
た増減することができる。また、顔の各部の特徴点を各
部について色の変化する境界部分を検出して抽出した
が、顔画像を所定の閾値で２値化する公知の特徴点抽出
方法によって抽出してもよい。
ことはなく、様々に変更することが可能である。例え
ば、上述の実施の形態では、顔の輪郭を検出する際に点
ａ，ｂ，ｃ…ｏ，ｐ，ｑの順で１７個の特徴点を検出し
たが、顔と無色透明部の境界を検出すればよいので、検
索順序を自由に変更することができ、特徴点の個数もま
た増減することができる。また、顔の各部の特徴点を各
部について色の変化する境界部分を検出して抽出した
が、顔画像を所定の閾値で２値化する公知の特徴点抽出
方法によって抽出してもよい。
【００１９】
【実施例】以下に、本発明に係る画像合成方法をゲ−ム
装置に適用する場合を説明する。本実施例では、カメラ
によりプレーヤーの顔を撮影し、心理テストを行って、
そのテスト結果に基づいてプレーヤーの顔画像に合成処
理を施す占い機について説明する。図５は本発明に係る
モーフィング方法を適用する占い機を示す外観図、図６
はプレーヤーがゲームに興じる様子を示す図である。図
５および図６に示すように、ゲーム装置１０は基台１１
と反射板支持部１２と背景板１３とポール１４と床部１
５等により筐体に形成されている。モニタ（図示せず）
が操作ボタン１７の近傍に表示面を上にして取り付けら
れており、反射板支持部１２に支持されている反射板１
６にモニタの画像が反射してプレーヤーに表示される。
反射板支持部１２の後ろ側にプレーヤーの顔等を撮影す
るＣＣＤカメラ１９が設けられており、反射板１６とし
てハーフミラーが用いられているので、プレーヤーから
はこのＣＣＤカメラ１９が見えない構成になっている。
背景板１３は青色の背景画（ブル−バック）１３ａを有
している。
装置に適用する場合を説明する。本実施例では、カメラ
によりプレーヤーの顔を撮影し、心理テストを行って、
そのテスト結果に基づいてプレーヤーの顔画像に合成処
理を施す占い機について説明する。図５は本発明に係る
モーフィング方法を適用する占い機を示す外観図、図６
はプレーヤーがゲームに興じる様子を示す図である。図
５および図６に示すように、ゲーム装置１０は基台１１
と反射板支持部１２と背景板１３とポール１４と床部１
５等により筐体に形成されている。モニタ（図示せず）
が操作ボタン１７の近傍に表示面を上にして取り付けら
れており、反射板支持部１２に支持されている反射板１
６にモニタの画像が反射してプレーヤーに表示される。
反射板支持部１２の後ろ側にプレーヤーの顔等を撮影す
るＣＣＤカメラ１９が設けられており、反射板１６とし
てハーフミラーが用いられているので、プレーヤーから
はこのＣＣＤカメラ１９が見えない構成になっている。
背景板１３は青色の背景画（ブル−バック）１３ａを有
している。
【００２０】図６に示すように、プレーヤーはゲーム装
置１０の筐体内に入り、背景板１３を背にして立ってゲ
ームを行う。プレーヤーがコイン投入口１８にコインを
投入してゲームを開始すると、「ワクに顔をあわせてボ
タンを押して下さい。」というメッセージが反射板１６
に表示される。このとき、プレーヤーには顔の枠、目、
口のアウトラインが表示されると同時に、ＣＣＤカメラ
１９により撮影されているプレーヤーの顔がこのアウト
ラインにオーバーラップして表示される。プレーヤーは
この画像を見ながら、顔の枠に収まるように自分の顔を
上下左右に移動して所定の操作ボタン１７を押す。この
時のプレーヤーの顔がＣＣＤカメラ１９により撮像され
て、この顔画像が後述するＲＡＭに記憶される。
置１０の筐体内に入り、背景板１３を背にして立ってゲ
ームを行う。プレーヤーがコイン投入口１８にコインを
投入してゲームを開始すると、「ワクに顔をあわせてボ
タンを押して下さい。」というメッセージが反射板１６
に表示される。このとき、プレーヤーには顔の枠、目、
口のアウトラインが表示されると同時に、ＣＣＤカメラ
１９により撮影されているプレーヤーの顔がこのアウト
ラインにオーバーラップして表示される。プレーヤーは
この画像を見ながら、顔の枠に収まるように自分の顔を
上下左右に移動して所定の操作ボタン１７を押す。この
時のプレーヤーの顔がＣＣＤカメラ１９により撮像され
て、この顔画像が後述するＲＡＭに記憶される。
【００２１】次に、プレーヤーは反射板１６の表示に従
って、名前、生年月日、性別等の個人データや性格テス
トの回答を操作ボタン１７を用いて入力する。そして、
入力が終了した時点で、個人データや性格テストの結果
に基づいて、プレーヤーの性格診断を行い、その診断結
果に基づいてプレーヤーの未来像をモーフィングする。
って、名前、生年月日、性別等の個人データや性格テス
トの回答を操作ボタン１７を用いて入力する。そして、
入力が終了した時点で、個人データや性格テストの結果
に基づいて、プレーヤーの性格診断を行い、その診断結
果に基づいてプレーヤーの未来像をモーフィングする。
【００２２】次に、このようなゲーム処理を行う占い機
の処理部の構成を説明する。図７は制御ボードの構成を
示すブロック図である。図７に示すように、制御ボード
２０は、ゲーム装置１０全体を制御するＣＰＵ（中央演
算処理装置）２１と、撮影した画像に合成処理（モーフ
ィング）を施すモーフィング画像生成部２３を有するビ
デオ回路２２と、撮影した画像に合成するサンプル画像
を格納するサンプル画像格納エリア２５を有するＲＯＭ
２４と、カメラ１９により撮影された撮影画像を一時的
に格納するＲＡＭ２６とを備えている。この制御ボード
２０には、ＣＣＤカメラ１９により撮影されたプレーヤ
ーの顔画像信号が入力され、データバスを介してＲＡＭ
２６に記憶される。また、制御ボード２０には、プレー
ヤーが操作ボタン１７を介して入力した指示信号がＣＰ
Ｕ２１にデータバスを介して入力される。
の処理部の構成を説明する。図７は制御ボードの構成を
示すブロック図である。図７に示すように、制御ボード
２０は、ゲーム装置１０全体を制御するＣＰＵ（中央演
算処理装置）２１と、撮影した画像に合成処理（モーフ
ィング）を施すモーフィング画像生成部２３を有するビ
デオ回路２２と、撮影した画像に合成するサンプル画像
を格納するサンプル画像格納エリア２５を有するＲＯＭ
２４と、カメラ１９により撮影された撮影画像を一時的
に格納するＲＡＭ２６とを備えている。この制御ボード
２０には、ＣＣＤカメラ１９により撮影されたプレーヤ
ーの顔画像信号が入力され、データバスを介してＲＡＭ
２６に記憶される。また、制御ボード２０には、プレー
ヤーが操作ボタン１７を介して入力した指示信号がＣＰ
Ｕ２１にデータバスを介して入力される。
【００２３】このＣＰＵ２１では次のような処理を行
う。ＣＰＵ２１はプレーヤーを撮影する指示信号を出力
して、ＣＣＤカメラ１９によりプレーヤーを撮影し、撮
影画像をＲＡＭ２６に記憶する。次に、プレーヤーに対
して、プレーヤーの個人データ、例えば、名前、生年月
日、性別を入力するように指示を出してモニタ２７上に
その表示を行い、その後、プレーヤーに対して心理テス
トを行う。心理テストに対する回答の入力が終了した
ら、心理テストの回答結果を分析して、分析結果に基づ
いて、撮影した顔画像に合成するサンプル画像をサンプ
ル画像格納エリア２５より読みだす。
う。ＣＰＵ２１はプレーヤーを撮影する指示信号を出力
して、ＣＣＤカメラ１９によりプレーヤーを撮影し、撮
影画像をＲＡＭ２６に記憶する。次に、プレーヤーに対
して、プレーヤーの個人データ、例えば、名前、生年月
日、性別を入力するように指示を出してモニタ２７上に
その表示を行い、その後、プレーヤーに対して心理テス
トを行う。心理テストに対する回答の入力が終了した
ら、心理テストの回答結果を分析して、分析結果に基づ
いて、撮影した顔画像に合成するサンプル画像をサンプ
ル画像格納エリア２５より読みだす。
【００２４】次に、上記の実施の形態中で説明したよう
に、撮影画像のブルーバックを無色透明に塗り変え、顔
の輪郭と無色透明部分の境界を検索して、顔の輪郭の特
徴点を検出する。そして、実施の形態と同様にして、
目、鼻、口、眉の顔の各部の輪郭の特徴点の検出を行
う。ビデオ回路２２のモーフィング画像生成部２３は、
検出した顔の輪郭の特徴点と顔の各部の特徴点を対象に
して、読みだされたサンプル画像を顔画像に合成して、
プレーヤーの未来像を作成する。
に、撮影画像のブルーバックを無色透明に塗り変え、顔
の輪郭と無色透明部分の境界を検索して、顔の輪郭の特
徴点を検出する。そして、実施の形態と同様にして、
目、鼻、口、眉の顔の各部の輪郭の特徴点の検出を行
う。ビデオ回路２２のモーフィング画像生成部２３は、
検出した顔の輪郭の特徴点と顔の各部の特徴点を対象に
して、読みだされたサンプル画像を顔画像に合成して、
プレーヤーの未来像を作成する。
【００２５】
【発明の効果】以上、詳述したように本発明の画像合成
処理方法および画像合成処理装置によれば、顔の各部の
特徴点のみならず、顔の輪郭の特徴点も検出するので、
顔の輪郭も合成対象として処理することができるため、
従来の課題であった合成画像の不自然さを解消すること
ができる。
処理方法および画像合成処理装置によれば、顔の各部の
特徴点のみならず、顔の輪郭の特徴点も検出するので、
顔の輪郭も合成対象として処理することができるため、
従来の課題であった合成画像の不自然さを解消すること
ができる。
【図１】本発明に係る画像合成処理装置の構成を示す構
成図である。
成図である。
【図２】本発明に係る画像合成処理装置の処理工程を示
すフローチャートである。
すフローチャートである。
【図３】処理画像の一例を示す図である。
【図４】顔の各部の検出範囲を示す図である。
【図５】本発明に係る画像合成処理方法をゲーム装置に
適用する実施例を示す外観図である。
適用する実施例を示す外観図である。
【図６】図５のゲーム装置にプレーヤーが入った状態を
示す図である。
示す図である。
【図７】図５のゲーム装置の制御部の構成を示すブロッ
ク図である。
ク図である。
１…撮影部 ２…画像記憶部 ３…ブルーバック抽出部 ４…輪郭検出部 ５…特徴点検出部 ６…サンプル画像記憶部 ７…画像合成部 ８…画像表示部 １０…ゲーム装置 １１…基台 １２…反射板支持部 １３…背景板 １４…ポール １５…床部 １６…反射板 １７…操作ボタン １８…コイン投入口 １９…ＣＣＤカメラ ２０…制御ボード ２１…ＣＰＵ ２２…ビデオ回路 ２３…モーフィング画像生成部 ２４…ＲＯＭ ２５…サンプル画像格納エリア ２６…ＲＡＭ ２７…モニタ
Claims (6)
- 【請求項１】 人物の顔を撮影し、撮影画像より前記人
物の顔の各部の特徴点を検出して、前記特徴点を対象に
前記撮影画像に画像合成を行う画像合成処理方法におい
て、 第１の色を有する背景と共に前記人物の顔を撮影し、前
記撮影画像中から前記背景を抽出し、抽出した前記背景
と前記人物の顔の境界部分を検出することにより前記人
物の顔の輪郭の特徴点を抽出し、検出した前記人物の顔
の輪郭の特徴点および前記人物の顔の各部の特徴点を対
象に前記撮影画像中の前記人物の顔に画像合成を行うこ
とを特徴とする画像合成処理方法。 - 【請求項２】 前記背景を前記第１の色とは異なる第２
の色に塗り替えて、前記撮影画像中から前記背景を抽出
し、前記第２の色と前記人物の顔の境界部分を検出する
ことにより前記人物の顔の輪郭の特徴点を抽出すること
を特徴する請求項１記載の画像合成処理方法。 - 【請求項３】 人物の顔を撮影し、撮影画像より前記人
物の顔の各部の特徴点を検出して、前記特徴点を対象に
前記撮影画像に画像合成を行う画像合成処理装置におい
て、 第１の色を有する背景と共に前記人物の顔を撮影するカ
メラと、 前記撮影画像中から前記背景を抽出する背景抽出部と、 抽出された前記背景と前記人物の顔の境界部分を検出し
て、前記人物の顔の輪郭の特徴点を抽出する輪郭抽出部
と、 前記人物の顔の各部の特徴点を検出する特徴点抽出部
と、 検出した前記人物の顔の輪郭の特徴点および前記人物の
顔の各部の特徴点を対象に前記撮影画像中の前記人物の
顔に画像合成を行う画像合成処理部と、 を備えることを特徴とする画像合成処理装置。 - 【請求項４】 前記背景抽出部は、前記背景を前記第１
の色とは異なる第２の色に塗り替えて前記撮影画像中か
ら前記背景を抽出し、前記輪郭抽出部は、前記第２の色
と前記人物の顔の境界部分を検出して、前記人物の顔の
輪郭の特徴点を抽出することを特徴とする請求項３記載
の画像合成処理装置。 - 【請求項５】 第１の色を有する背景と、 プレーヤーの顔を前記背景と共に撮影するカメラと、 前記カメラにより撮影された撮影画像中から前記背景を
抽出する背景抽出部と、 検出された前記背景と前記プレーヤーの顔の境界部分を
検出して、前記プレーヤーの顔の輪郭の特徴点を抽出す
る輪郭抽出部と、 前記プレーヤーの顔の各部の特徴点を検出する特徴点抽
出部と、 所定のゲーム処理を行うゲーム処理部と、 前記所定のゲーム処理の結果に基づいて、検出した前記
人物の顔の輪郭の特徴点および前記人物の顔の各部の特
徴点を対象に前記撮影画像中の前記プレーヤーの顔に画
像合成を行う画像合成処理部と、 を備えることを特徴とするゲーム装置。 - 【請求項６】 前記背景抽出部は、前記背景を前記第１
の色とは異なる第２の色に塗り替えて前記撮影画像中か
ら前記背景を抽出し、前記輪郭抽出部は、前記第２の色
と前記人物の顔の境界部分を検出して、前記人物の顔の
輪郭の特徴点を抽出することを特徴とする請求項５記載
のゲーム装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP112596A JPH09190522A (ja) | 1996-01-09 | 1996-01-09 | 画像合成処理方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP112596A JPH09190522A (ja) | 1996-01-09 | 1996-01-09 | 画像合成処理方法およびその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09190522A true JPH09190522A (ja) | 1997-07-22 |
Family
ID=11492733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP112596A Pending JPH09190522A (ja) | 1996-01-09 | 1996-01-09 | 画像合成処理方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09190522A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005265A (ja) * | 2002-05-31 | 2004-01-08 | Omron Corp | 画像合成方法、画像合成装置、画像合成システム |
| US7102651B1 (en) | 1999-12-22 | 2006-09-05 | Adobe Systems Incorporated | Hierarchical 2-D color compositing with blending mode and opacity controls at all levels |
| US7151546B1 (en) * | 1999-12-22 | 2006-12-19 | Adobe Systems Incorporated | Restricting scope of blending modes in 2-D compositing using isolated groups |
| JP2007188407A (ja) * | 2006-01-16 | 2007-07-26 | Toshiba Corp | 画像処理装置及び画像処理プログラム |
| US7502494B2 (en) | 2003-01-30 | 2009-03-10 | Fujtisu Limited | Face orientation detection apparatus, face orientation detection method, and computer memory product |
| JP2020525953A (ja) * | 2018-01-19 | 2020-08-27 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．， Ｌｔｄ． | 人体輪郭キーポイントの検出方法、画像処理方法、装置及び機器 |
-
1996
- 1996-01-09 JP JP112596A patent/JPH09190522A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7102651B1 (en) | 1999-12-22 | 2006-09-05 | Adobe Systems Incorporated | Hierarchical 2-D color compositing with blending mode and opacity controls at all levels |
| US7151546B1 (en) * | 1999-12-22 | 2006-12-19 | Adobe Systems Incorporated | Restricting scope of blending modes in 2-D compositing using isolated groups |
| JP2004005265A (ja) * | 2002-05-31 | 2004-01-08 | Omron Corp | 画像合成方法、画像合成装置、画像合成システム |
| US7502494B2 (en) | 2003-01-30 | 2009-03-10 | Fujtisu Limited | Face orientation detection apparatus, face orientation detection method, and computer memory product |
| JP2007188407A (ja) * | 2006-01-16 | 2007-07-26 | Toshiba Corp | 画像処理装置及び画像処理プログラム |
| JP4533849B2 (ja) * | 2006-01-16 | 2010-09-01 | 株式会社東芝 | 画像処理装置及び画像処理プログラム |
| JP2020525953A (ja) * | 2018-01-19 | 2020-08-27 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．， Ｌｔｄ． | 人体輪郭キーポイントの検出方法、画像処理方法、装置及び機器 |
| US11113560B2 (en) | 2018-01-19 | 2021-09-07 | Beijing Sensetime Technology Development Co., Ltd. | Body contour key point detection methods, apparatuses, and devices |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7999843B2 (en) | Image processor, image processing method, recording medium, computer program, and semiconductor device | |
| US8411171B2 (en) | Apparatus and method for generating image including multiple people | |
| JP4611575B2 (ja) | 本人認証用の顔画像照合装置 | |
| US20060210165A1 (en) | Image extracting apparatus, image extracting method, and image extracting program | |
| JPH1145332A (ja) | 画像変形装置および方法 | |
| JP2000259833A (ja) | 顔画像処理装置及びその処理方法 | |
| KR20100075167A (ko) | 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법 | |
| KR102364929B1 (ko) | 피부 변화를 추적하는 전자 장치, 서버, 및 시스템 | |
| JP4367010B2 (ja) | システム、プログラムおよび方法 | |
| JP3970573B2 (ja) | 顔画像認識装置および方法 | |
| JPH09190522A (ja) | 画像合成処理方法およびその装置 | |
| JP2000331167A (ja) | 顔画像照合方法及び装置 | |
| JP3263253B2 (ja) | 顔方向判定装置及びそれを用いた画像表示装置 | |
| JP2004110813A (ja) | 人物認証装置 | |
| JP2017188787A (ja) | 撮像装置、画像合成方法、および画像合成プログラム | |
| JP3732881B2 (ja) | 画像の特徴点検出方法およびその装置 | |
| JP2005284775A (ja) | 画像処理装置 | |
| WO2022180890A1 (ja) | 生体認証システム、認証端末、および認証方法 | |
| JP5477025B2 (ja) | 画像表示装置、及びプログラム | |
| JP2001184483A (ja) | 個人識別装置及び個人識別方法 | |
| JP2004341992A (ja) | 画像撮影装置及び画像照合装置 | |
| JP3543284B2 (ja) | プレーヤー検出機能付きゲーム装置およびゲーム装置のプレーヤー検出方法 | |
| JP7085722B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN114219868A (zh) | 一种护肤方案推荐方法和*** | |
| JP3793623B2 (ja) | 画像合成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060301 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060517 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060530 |