JP2961174B2 - 特徴量抽出方法 - Google Patents

特徴量抽出方法

Info

Publication number
JP2961174B2
JP2961174B2 JP4943790A JP4943790A JP2961174B2 JP 2961174 B2 JP2961174 B2 JP 2961174B2 JP 4943790 A JP4943790 A JP 4943790A JP 4943790 A JP4943790 A JP 4943790A JP 2961174 B2 JP2961174 B2 JP 2961174B2
Authority
JP
Japan
Prior art keywords
image
resolution
head
feature amount
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4943790A
Other languages
English (en)
Other versions
JPH03252780A (ja
Inventor
英朋 境野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP4943790A priority Critical patent/JP2961174B2/ja
Publication of JPH03252780A publication Critical patent/JPH03252780A/ja
Application granted granted Critical
Publication of JP2961174B2 publication Critical patent/JP2961174B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、画像について、複数の解像度の画像を生
成して階層構造を形成して、階層画像より特徴量を検出
する特徴量抽出方法に関するものである。
〔従来の技術〕
知的符号化通信分野やマンマシンインターフェースを
必要とする技術分野において、人の頭部の向き、移動量
等の検出は重要な課題の1つである。特に、特殊な装置
を頭部に装着せずに検出を行うことが強く望まれてい
る。画像処理依存の非接触な検出方法があるが、頭部の
動を検出するには、第1に頭部,顔部領域から特徴量の
抽出がなされていることが前提条件の1つとして挙げら
れる。
第11図は従来方法による特徴量抽出例である。
正面画像101の顔部領域から諸有効特徴量の抽出を人
為的な作業を通じて行った例である。すなわち、眉毛10
2,目103,鼻104,口105等の存在する位置を見いだすこと
自体、解決されていないためである。各セグメントの重
心付近において、エッジ検出,形状検出等の処理を行
う。このような処理では各セグメントを抽出する過程が
自動化されていないことが問題である。
第12図は従来方法による頭部向き検出方法の説明図で
ある。顔部領域上の諸特徴量がすべて弾性体上にあるた
め、表情に伴ない移動する。各特徴量、特に、目尻103
a,口もと105a等は比較的移動が少なく一般に不動点と呼
ばれている。これら不動点を検出したと仮定した場合、
頭部の向き検出の精度は高い。しかしながら、各点とも
頭部の回転等により消失する問題がある。また、各特徴
量が抽出されていることが前提条件となっている。
第13図(a),(b)は従来方法による頭部向き検出
方法の主な問題点に関しての説明図である。従来方法で
は、顔部上から諸セグメントを抽出する場合には、平常
顔であると仮定している。表情のある顔部の場合には、
第13図(a)のように多くのしわ106が発生し、諸特徴
量の検出が難しくなるためである。すなわち、諸セグメ
ントとしわ106が連結してしまうため、互いの分離が問
題となる。また、第13図(b)のようにある程度横を向
いた場合には、例えば目103,眉毛102等は欠落,消失し
てしまうため、正面画像から特徴量抽出が主要な課題で
あり、実用的なレベルまではまだ到達していない。
〔発明が解決しようとする課題〕
このように、従来の特徴量抽出方法は、特徴量を抽出
するための各セグメントの抽出が自動化されておらず、
特に顔部の場合には、頭部の回転によりセグメントが消
失してしまったり、また、顔に表情があるときには特徴
量の抽出が困難である等の問題点があった。
この発明は、上記のような従来の問題点を解消するた
めになされたもので、比較的簡単に頭部領域から有効特
徴量候補を選定して頭部の回転量を効率よく検出するこ
とができる特徴量抽出方法を得ることを目的とするもの
である。
〔課題を解決するための手段〕
この発明にかかる特徴量抽出方法は、上記目的を達成
するために、カメラ入力した画像について、この画像か
ら解像度の異なる複数の解像度画像を生成して階層構造
を形成し、これらの各階層について、解像度に応じた処
理を施し、解像度に応じた有効特徴量候補を抽出し、各
階層相互に解像度の1つ低い画像を有効特徴量候補の存
在するアドレスを手がかりにして、有効特徴量候補の存
在するアドレス、検索方向、あるいはその両者を限定し
て選定を行い、各階層から検出された有効特徴量を統合
処理して入力画像の特徴量を検出するようにしたもので
ある。
〔作用〕
この発明は、カメラ入力した、例えば人物画像につい
て、この画像から解像度の異なる複数枚の画像を階層構
造として形成し、頭部上,顔部上の有効特徴量候補を各
層から抽出し、低解像度画像から高解像度画像へ順次有
効特徴量候補を選定し、最終的に選定された有効特徴の
位置変化から頭部の向き、回転量を検出する。
〔実施例〕
第1図はこの発明にかかる特徴量抽出の方法を実施す
るための装置のブロック図である。
この図で、1はカメラ入力部、2は複数解像度画像生
成部、3は階層画像記憶部、4−1,4−2,……4−nは
第1層処理部,第2層処理部,……第n層処理部、5は
統合処理部、6は頭部動き量検出部である。
次に動作について説明する。
カメラ入力部1から人物像を取り込み、複数解像度画
像生成部2で複数の解像度の画像を入力した画像をもと
にして、順次低解像度画像を生成し、生成した複数の画
像を階層画像記憶部3に記憶させておく。解像度に応じ
た有効特徴量の抽出を行うため、各階層、つまり第1層
処理部4−1,第2層処理部4−2,……第n層処理部4−
nで独立に処理を行う。各階層から抽出された有効特徴
量について、各画像での存在位置,動きの手がかりを統
合処理部5で一括する。各階層から得られた特徴量はす
べて特徴候補であるので、複数の階層を用いて選定す
る。統合処理部5より抽出された有効特徴量から頭部の
回転量,方向が頭部動き量検出部6で検出される。
第2図,第3図(a),(b)は複数解像度画像生成
部2と階層画像記憶部3に関しての説明図である。第3
図(a)のように、原画像10をもとに順次、(m×n)
のブロックの平均をとり、第3図(b)のように1つ解
像度の低い画像の画素Mを生成する。この手法を用いて
第2図にように第1層(原画像)10−1〜第n層10−n
の各階層画像を生成する。各画像間のアドレスは、例え
ば低解像度画像のある画素Mのアドレス(i,j)は、解
像度の1つ高い画像では、 の範囲内にある画素が候補となる。また、このように平
均処理を施していくことから、従来方法で問題であった
表情を伴なった顔におけるしわ106の除去効果があり、
低解像度画像ほど顔部領域における“強い”特徴量のみ
しか画像に存在しなくなる。そのため、低解像度画像で
の“大まかな”特徴量が、高解像度画像での“微細”な
有効特徴量の存在の“手がかり”となり、探索時間が大
幅に軽減される。すなわち、“大まかな”特徴量である
ほど、演算回数はほぼ反比例して少なくてすむ利点を有
する。各層の画像は、階層画像記憶部3に置かれる。
第4図は各階層での処理の例である。最上位層(低解
像度画像)(第n層)画像10−na,10−nbでは、頭髪部
が頭部領域では最も強い有効特徴量である。そこで、頭
部領域での頭髪部と顔部の面積変化を検出することで頭
部の回転の向きが検出できる。次に、n−1層の画像10
−(n−1)a,10−(n−1)bでは眉毛102,口105付
近の陰影が手がかりとなる。こうして、各解像度から有
効特徴量を検出していく。原画像の第1層10−1の画像
10−1a,10−1bでは表情に伴なう多くのしわ106が存在す
る。しかしながら、上位の各階層から有効な特徴量の存
在位置が検出されていることから、顔部領域の外側から
内側へ探索する必要はない。すなわち、例えば“目"103
において、第5図に示すように存在の手がかり103Xが得
られているので、目103の内側からの探索を行うこと
で、目103を形成する複数の特徴候補点103Yを選定しや
すくなる。
第6図(a),(b),第7図は階層相互間の主の情
報の“引き渡し”の例についての説明図である。第6図
(a),(b)に示す原画像10−1(正面画像10−1a,
横向き画像10−1b)について、第7図のように複数の解
像度の画像を生成する(なお横向き画像10−1bについて
のみ示した)。最も低い解像度の画像10Aでは頭部の存
在領域検出11ができる。また、頭髪部の変化から頭部の
向きの右方向検出12が得られる。1つ上の解像度の画像
10Bでは、頭部の向きと頭部存在領域が第1の手がかり
として得られていることから、この階層では特徴量探索
範囲を狭めることができる。そして、この範囲内におけ
る顔領域を“肌色”領域として抽出する。この操作によ
り、眉毛,目の存在領域検出13をさらに狭めることがで
きる。この眉毛,目の存在領域検出13に関する情報を手
がかりにして、1つ上の解像度画像10Cで無彩色として
目,眉毛を抽出し、これらの眉毛,目の重心領域抽出14
を行う。原画像10−1bのエッジ画像を生成し、低解像度
の画像10Aで得られた諸特徴量の存在アドレス((ax,a
y),(bx,by),(cx,cy),(dx,dy))近傍の目103
を構成する特徴量候補点選定15を行う。なお、各階層間
のアドレスは、上位層での各画素は下位層でのm×nブ
ロック内の画素に相当する。よって、眉毛102,目103の
重心領域検出14がなされた後、原画像上ではさらにm×
nの範囲内について重心を求めて眉毛102,目103につい
てそれぞれ1つの画素で代表させる処理を行っている。
このように、頭部画像については、解像度に応じた処理
を施すことで、表情に伴なった“しわ"106等の有効でな
い特徴量の発生に影響されることなく、また、頭髪部の
ような“大まかな”特徴量についてはわずかな計算コス
トで効率よく処理を施すことができる利点を有する。第
8図は第1図に示した統合処理部5と頭部動き量検出部
6での処理の説明図である。第6図(a)に示す正面向
きの画像10−1aにおいて、統合処理部5より眉毛102,目
103が抽出される。この画像には、表情に伴なう多くの
しわ(点線)106が存在するが特徴量の内部から探索検
出したので、従来方法のような有効特徴量としわ106の
連結問題ははじめから解決している。階層画像から抽出
された各セグメントの重心(三角印)を算出する。ここ
では、眉毛102,目103の重心21,22である。これら重心2
1,22の相対的な位置変化から頭部の回転量を検出する。
この眉毛102,目103の重心21,22を互いに結ぶ仮想的なバ
ネ31,32,33,34を用いたモデル30を考える。正面画像10
−1aでの互いのバネ30〜34の距離を記憶しておき、横向
き画像10−1bR,10−1bLでのバネ31〜34の伸び,縮みか
ら回転量を算出する。
第9図,第10図(a),(b)は頭部向き検出を行っ
た結果である。眉毛102の重心21と目103の重心22との間
を仮想的なバネ31〜34で連結する。これら4点を画像内
の直交座標に当てはめる。正面での4点の位置を初期登
録する。被験者に頭部の動作を左右のみ行わせた場合の
結果を第10図(a)に示す。ここでは、バネ31(○
印),32(△印)の初期位置からの相対変位である。次
に、上下のみを行わせた場合の位置変位を第10図(b)
に示す。ここでは、バネ33(○印),34(△印)の初期
位置からの相対変位である。共に頭部の動きを良好に検
出することができた。また、最大位置変位幅は左右の動
きの場合の方が大きく得られた。
カメラより人物像を取り込み、有効な特徴量を検出
し、移動量の検出まで、従来方法にはない一貫した処理
を効率よく行えた。
〔発明の効果〕
この発明は以上説明したように、カメラ入力した画像
について、この画像から解像度の異なる複数の解像度画
像を生成して階層構造を形成し、これらの各階層につい
て、解像度に応じた処理を施し、解像度に応じた有効特
徴量候補を抽出し、各階層相互に解像度の1つ低い画像
の有効特徴量候補の存在するアドレスを手がかりにし
て、有効特徴量候補の存在するアドレス、検索方向、あ
るいはその両者を限定して選定を行い、各階層から検出
された有効特徴量を統合処理して入力画像の特徴量を検
出するようにしたので、階層画像形成の概念を頭部の動
き検出を目的に適用し、各層で解像度に応じた有効特徴
量の抽出を行うことで、候補領域の限定による演算量削
減の効果だけではなく、各階層に応じて検出した有効特
徴量を統合することが可能となり、顔の表情等により抽
出が困難であった頭部の回転量を効率よく抽出でき、表
情のある顔部領域から効率よく移動量を検出することが
できる効果がある。
さらに、各層相互に解像度の1つ低い画像の有効特徴
量の存在するアドレスを手がかりにして選定を行うの
で、確実に特徴量を抽出できる利点がある。
【図面の簡単な説明】
第1図はこの発明の特徴量抽出方法を実施する装置の一
例を示すブロック図、第2図はこの発明の複数解像度画
像生成部と階層画像記憶部の説明図、第3図(a),
(b)は異なる解像度画像の生成原理の説明図、第4
図,第5図はこの発明の各層での処理例を示す図、第6
図(a),(b)は正面と横向きの原画像を示す図、第
7図はこの発明の情報利用の例を示す図、第8図はこの
発明の有効特徴量のバネモデル化の例を示す図、第9
図,第10図はこのこの発明のバネモデルと、これに基づ
く頭部移動量検出結果を示す図、第11図は従来方法によ
る特徴量抽出方法を示す図、第12図は従来方法による移
動量検出方法を示す図、第13図は従来方法での問題点を
説明するための図である。 図中、1はカメラ入力部、2は複数解像度画像生成部、
3は階層画像記憶部、4−1,4−2,……4−nは第1層
処理部,第2層処理部,……第n層処理部、5は統合処
理部、6は頭部動き量検出部、10は原画像、11は頭部の
存在領域検出、12は右方向検出、13は眉毛,目の存在領
域検出、14は眉毛,目の重心領域検出、15は特徴量候補
点選定、21,22は重心、30はモデル、31,32,33,34はバネ
である。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G06T 7/40 JICSTデータベース(JOIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】カメラ入力した画像について、この画像か
    ら解像度の異なる複数の解像度画像を生成して階層構造
    を形成し、これらの階層について、解像度に応じた処理
    を施し、解像度に応じた有効特徴量候補を抽出し、各階
    層相互に解像度の1つ低い画像の有効特徴量候補の存在
    するアドレスを手がかりにして、有効特徴量候補の存在
    するアドレス、検索方向、あるいはその両者を限定して
    選定を行い、各階層から検出された有効特徴量を統合処
    理して入力画像の特徴量を検出することを特徴とする特
    徴量抽出方法。
JP4943790A 1990-03-02 1990-03-02 特徴量抽出方法 Expired - Fee Related JP2961174B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4943790A JP2961174B2 (ja) 1990-03-02 1990-03-02 特徴量抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4943790A JP2961174B2 (ja) 1990-03-02 1990-03-02 特徴量抽出方法

Publications (2)

Publication Number Publication Date
JPH03252780A JPH03252780A (ja) 1991-11-12
JP2961174B2 true JP2961174B2 (ja) 1999-10-12

Family

ID=12831086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4943790A Expired - Fee Related JP2961174B2 (ja) 1990-03-02 1990-03-02 特徴量抽出方法

Country Status (1)

Country Link
JP (1) JP2961174B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3008234B2 (ja) * 1991-09-12 2000-02-14 富士写真フイルム株式会社 被写体抽出装置
JP3293920B2 (ja) * 1993-01-22 2002-06-17 キヤノン株式会社 画像処理装置およびその方法
JPH07302327A (ja) * 1993-08-11 1995-11-14 Nippon Telegr & Teleph Corp <Ntt> 物体画像検出方法及び検出装置
JP3395344B2 (ja) * 1994-04-20 2003-04-14 日産自動車株式会社 画像処理装置およびそれを用いた居眠り警報装置
JP3423834B2 (ja) * 1996-04-26 2003-07-07 日本電信電話株式会社 予測符号化画像データ管理方法及び装置
JPH11250221A (ja) * 1998-03-04 1999-09-17 Toshiba Corp 顔画像撮影方法および顔画像撮影装置
JP3706755B2 (ja) * 1998-11-09 2005-10-19 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
JP4665355B2 (ja) * 2001-07-23 2011-04-06 コニカミノルタホールディングス株式会社 画像抽出装置、画像抽出方法および画像抽出プログラム
WO2004093006A1 (ja) * 2003-04-16 2004-10-28 Fujitsu Limited 知識発見装置、知識発見プログラムおよび知識発見方法
JP4312143B2 (ja) 2004-10-29 2009-08-12 富士通株式会社 ルール発見プログラム、ルール発見方法およびルール発見装置
JP4997306B2 (ja) * 2010-03-12 2012-08-08 オリンパス株式会社 被写体人物の顔の向き判定方法
JP5716978B2 (ja) * 2010-09-30 2015-05-13 アナロジック コーポレイション 2次元投影を用いたオブジェクト分類

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
守田 外,「輪郭線形状の階層的記述によるマッチング」,1990年5月,電子情報通信学会論文誌D−2,第73巻,第5号,p.717−727

Also Published As

Publication number Publication date
JPH03252780A (ja) 1991-11-12

Similar Documents

Publication Publication Date Title
US6016148A (en) Automated mapping of facial images to animation wireframes topologies
Huang et al. Shape registration in implicit spaces using information theory and free form deformations
US8467596B2 (en) Method and apparatus for object pose estimation
KR100415266B1 (ko) 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
JP2961174B2 (ja) 特徴量抽出方法
CN110096925A (zh) 人脸表情图像的增强方法、获取方法和装置
CN110926330A (zh) 图像处理装置和图像处理方法
JP2002197443A (ja) 3次元形状データの生成装置
JP3144400B2 (ja) ジェスチャ認識装置及び方法
Dariush et al. Spatiotemporal analysis of face profiles: Detection, segmentation, and registration
CN117911668A (zh) 药品信息识别方法及装置
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
Dornaika et al. Efficient active appearance model for real-time head and facial feature tracking
Dornaika et al. Face and facial feature tracking using deformable models
Zhang et al. Restoringwarped document images using shape-from-shading and surface interpolation
JP2009048305A (ja) 形状解析プログラム及び形状解析装置
JP2003263639A (ja) 顔画像認識装置および方法
JPH11134509A (ja) 図面認識処理方法及び建築図面認識処理方法
JP2000242798A (ja) 2値画像の特徴量抽出方法
JPH01129358A (ja) 表数値演算装置
WO2022186572A1 (en) Apparatus and method for generating object mesh based on depth image
Zhou et al. Dense correspondence of 3D facial point clouds via neural network fitting
Vaughn et al. Workstation recognition using a constrained edge-based hough transform for mobile robot navigation
JP5924991B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
Quan et al. CT Film Recovery via Disentangling Geometric Deformation and Illumination Variation: Simulated Datasets and Deep Models

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees