JPH0973544A

JPH0973544A - 形状認識装置及びその方法

Info

Publication number: JPH0973544A
Application number: JP7230257A
Authority: JP
Inventors: Osamu Yamaguchi; 修山口; Kazuhiro Fukui; 和広福井; Kyoichi Okamoto; 恭一岡本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-07
Filing date: 1995-09-07
Publication date: 1997-03-18
Anticipated expiration: 2015-09-07
Also published as: JP3797686B2

Abstract

(57)【要約】【課題】画像処理における図形検出について、ノイ
ズ、外乱に弱いという問題を解決し、よりロバストにす
るために、エッジ点の間の類似度を利用した評価を採り
入れた方法を提案し、分離度を用いて安定した形状検出
を可能にすることを目的とする。【解決手段】形状認識装置１００は、画像を入力する
画像入力部１０１、明度画像、彩度画像、色相画像とい
った入力された画像の加工を行う画像前処理部１０２、
そして複数箇所の特徴量の組合せによって、形状抽出の
評価度合を決定することにより形状抽出を行う形状抽出
部１０３から構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理における
形状認識装置及びその方法に関する。

【０００２】

【従来の技術】モデル当てはめにより形状を抽出する方
法としては次のようなものがある。

【０００３】テンプレートマッチングは、一定の曲線や
画像としてモデルを記述し、モデルと対象画像の間の類
似度を判定することによって対象認識を行う。このテン
プレートマッチングには、モデルの記述として画像の明
度分布をそのまま用いるものと、二値画像を用いてモデ
ルの形状をエッジ点の集合として表現するものがある。
前者は明度分布の類似度を測ることによって形状認識を
行う。後者は、まず画像の明度分布に基づいてエッジの
強度画像を作り、そのエッジ強度画像を二値化すること
によって二値画像を作る。そして、二値画像の点集合と
モデルの点集合の類似度を計算するというものである。

【０００４】一般化ハフ変換(Ballard,D.H."Generalizi
ng the Hough transform to detectarbitary shapes" P
attern Recognition.13,111-122(1981)) は、モデルを
輪郭線上の点のリストとして記述し、その平行移動、回
転、拡大縮小の表すパラメータが使われる。この変換
は、パラメータ空間への”投票”によって、パターンが
表すもっとも適切なパラメータの位置に局所的なピーク
を形成するように変換される。このハフ変換は、部分的
にデータが欠けているような場合でもうまく照合が行え
るといった利点がある。

【０００５】次に、モデルと画像データとの適合性があ
る目的関数（エネルギ）によって測られ、その関数の値
の最小化などによってモデルの照合が行われるものがあ
る。例えば最近では、スネーク(M．Kass,A.Witkin,D.Te
rzopouls,"Snakes:Active Contour Models",In Proc.1s
t Int.Conf.on Computer Vision,pp.259-268(1987))な
どがある。

【０００６】これらのモデル当てはめには、生の画像デ
ータをそのまま用いるもの、または対象のもつ他の特
徴、例えばエッジ強調フィルタや線強調フィルタといっ
た低レベルの画像処理を行った画像データを使うものも
ある。

【０００７】本発明では、エッジデータを用いて、ノイ
ズ、外乱に強い安定した形状認識について考える。その
ためにまず、物体輪郭や物体内部の構造を反映したエッ
ジ情報を抽出する手法について挙げる。

【０００８】エッジの抽出方法には、画像の明度勾配に
基づく方法とエッジ近傍領域の情報に基づく方法があ
る。画像の明度勾配に基づく方法は、明度勾配が急激に
変化する位置をエッジとして抽出するもので、１次微分
型のRoberts、Prowitt、Sobel や２次微分型のLaplacian
などの方法がある。エッジ近傍領域の情報に基づく方法
としては、エッジモデルの当てはめを局所領域に対して
行うHueckel の方法などがある。

【０００９】明度勾配に基づいたエッジ抽出は、弱いエ
ッジを抽出できないといった問題や色相画像など他のエ
ッジ強度に拡張し難いといった問題がある。明度勾配エ
ッジ抽出を用いた、従来法の対象認識についての問題点
をまとめる。

【００１０】テンプレートマッチングはテンプレートに
対して、画像データにわずかな変動があった場合に弱い
という特徴を持つ。一般化ハフ変換については、エッジ
点の数に投票数が影響を受ける。エッジ点の有無のみが
問題となり、エッジ抽出の性能の影響を非常に受ける。
スネークモデルは、制御点同士を結び付ける弾性エネル
ギ関数による関連づけによって、柔軟でノイズに強いと
いう性質を持つ。しかし、なお局所的なエネルギーの最
小値に落ち込むという欠点がある。

【００１１】これらの問題を解決するために、エッジ近
傍領域の情報に基づく方法を用いることが考えられる。
エッジを画像の明度だけでなく、色、テクスチャの異な
る領域間の境界としてとらえ、エッジ強度をこれら領域
間の特徴量から計算する方法として、“領域間の分離度
に基づくエッジ抽出、情報処理学会コンピュータビジョ
ン研究会資料87-1(1994)”が提案されている。

【００１２】「分離度」とは、データの集合を幾つかの
部分集合に分割した場合に、それぞれの部分集合がどの
程度分離されているかを表す量である。これは、集合全
体のデータの特徴に対する部分集合のデータの特徴の割
合で表され、その値は０．０〜１．０の値をとる。

【００１３】今、図２のように、画像中の２つの領域を
上記の２つの集合と考えた場合、分離度が大きい程、領
域の境界に、強いエッジが存在することになる。つま
り、ある画素を境とする２つの領域について考えると、
その画素における分離度が大きければ、その画素には強
いエッジが存在するということができる。

【００１４】分離度Ｓは次の式で与えられる。

【００１５】

【数１】この手法はエッジを安定に抽出できるという利点がある
ものの、逆に、分離度は画像抽出量の差に依存したもの
ではないため、対象物のエッジを抽出するためには分離
度をそのまま用いるには不十分であるとの観点から、重
みつき分離度（特願平７−７４９９号）も提案されてい
る。重みつき分離度は、対象物の存在位置、色情報、テ
クスチャ情報などを利用して選択的に対象物のエッジを
抽出することを目的として、位置に関する重み付けと画
像特徴の重み付けを分離度の式に組込んだ形をとる。

【００１６】

【発明が解決しようとする課題】上述した分離度を用い
て適当な大きさ、形状のマスクを設定し、画像に適用
し、従来法に効果的なエッジ強度画像を生成することが
できる。しかし、このような単純な使い方では不十分で
ある。

【００１７】図３（ａ）で示したような画像データにお
ける、緩やかなエッジで構成されている対象の物体認識
について考える。

【００１８】この図では、ア、イ、ウ、エの４点に対し
てエッジ強度を図３（ｂ）に示す。エッジの強度につい
て考えると、対象を構成しているエッジ強度が図３
（ｃ）のように単調に変化している場合や撮影時のボケ
による影響により弱くなっている場合、二値化によりエ
ッジ画像を作ると、閾値の設定方法によってはエッジ点
として抽出されないこともある。

【００１９】しかし、図３（ａ）のように同じように連
続した弱いエッジを持つ場合は物体として認識されなけ
ればならない。

【００２０】このような実際の対象としては人間の目の
瞳などがある。

【００２１】顔画像を通常室内環境で撮影し、撮影され
た瞳の形状抽出を行おうとする場合、図８において、
〜で示すような問題が挙げられる。

【００２２】ようになる。

【００２３】まぶた、まつげ等に瞳の一部を隠され
てしまうため推定が不安定である（図８ア）。

【００２４】蛍光灯の写り込みにより、非常に強い
エッジが画像中にできてしまう（図８イ）。

【００２５】虹彩と白目の間はなだらかに変化して
おり、弱いエッジで構成されている（図８ウ）。

【００２６】従来の対象認識法は、エッジ強度、エッジ
点の幾何学的配置についての考慮はなされているが、隣
接するエッジ点同士の関係としてのエッジの方向性とエ
ッジ強度の類似性には着目していない。

【００２７】例えば、一般化ハフ変換におけるエッジ点
同士の関係は、エッジ点の集合として表される幾何学的
配置関係のみである。

【００２８】また、スネークモデルは、制御点同士を結
び付ける弾性エネルギ関数による関連づけや、最適化の
ための制御点同士の情報交換等があるが、積極的に関係
情報を利用したものではない。また、楕円等の形状をパ
ラメータ表現できる場合、楕円を構成するエッジ点を抽
出し、最小自乗法等によって楕円のパラメータを求める
ことによって、検出を行っていた。しかし、最小自乗法
による楕円の当てはめには、最小自乗法に偏差があるこ
とが知られていることや楕円の一部が隠されてしまうこ
とによって、推定が不安定になるという問題がある。こ
のように従来の形状抽出はノイズや外乱に弱かった。

【００２９】そこで、本発明による装置では、ノイズ、
外乱に強く、安定した形状認識が行えるものを提供す
る。

【００３０】

【課題を解決するための手段】本発明の形状認識装置
は、認識対象物を擬似的に表したモデルを画像に当ては
めて、その画像中に写っている前記認識対象物の形状を
認識する装置であって、画像を入力する画像入力手段
と、前記認識対象物を擬似的に表したモデルを一つまた
は複数記憶する記憶手段と、この記憶手段に記憶したモ
デルの中で認識したい形状に類似した一つのモデルを選
択するモデル選択手段と、このモデル選択手段によって
選択した選択モデルに一つまたは複数のマスク領域を設
定するマスク領域構成手段と、前記モデル選択手段によ
って選択した選択モデルを画像に当てはめるために、そ
の選択モデルの画像中における位置、姿勢または大きさ
を決定するパラメータを設定するパラメータ設定手段
と、前記マスク領域構成手段でマスク領域を設定した選
択モデルを、前記パラメータ設定手段によって設定され
たパラメータに基づいて画像に当てはめる画像当てはめ
手段と、この画像当てはめ手段によって画像に当てはめ
た選択モデルの一つまたは複数のマスク領域における特
徴量を、前記画像入力手段によって入力された画像から
求める特徴量抽出手段と、この特徴量抽出手段によって
得られた選択モデルの一つまたは複数のマスク領域の特
徴量に基づいて、認識したい形状に前記選択モデルが最
も適合するパラメータを決定するパラメータ決定手段と
よりなる。

【００３１】これにより、評価手段によって最も評価の
高いと判断されたパラメータに基づいて、モデルを画像
に当てはめると、そのモデルの位置、姿勢、大きさで決
定される箇所に、目的の形状が存在する。

【００３２】本発明による装置では、ノイズ、外乱に強
く、安定した形状認識が行える。

【００３３】

【発明の実施の形態】以下に本発明の実施の形態におけ
る実施例を説明する。

【００３４】なお、本実施例は、人間の目の瞳の部分の
形状認識を行うという状況での一実施例について説明す
る。ＣＣＤカラーカメラを用いて取得した顔画像では、
図７のように、瞳の形状が楕円として撮影される。この
瞳の形状を楕円として近似しその楕円パラメータを求め
ることについて考える。

【００３５】形状認識装置１００のブロック図を図１に
示す。

【００３６】画像を入力するために必要なＡ／Ｄ変換や
入力変換手段と画像蓄積部からなる画像入力部１０１、
取得した画像の前処理するための画像前処理部１０２、
そして形状抽出を行う形状抽出部１０３から構成され
る。

【００３７】(1) 画像入力部１０１画像入力部１０１について説明する（図４参照）。

【００３８】画像入力部１０１は、カラーＣＣＤカメラ
１、ビデオボード２、画像を蓄積するメモリ３からな
る。なお、画像入力部１０１は、ＣＣＤカメラ１からの
入力に限らずビデオ等の映像出力機器やＸ線撮影装置等
で得られた画像をビデオボードの端子から入力すること
もできる。

【００３９】(2) 画像前処理部１０２画像前処理部１０２について説明する（図５参照）。

【００４０】画像入力部１０１に入力された画像を明度
画像、色相画像、彩度画像といった画像に変換する演算
装置４と、これら変換した画像を保存する画像蓄積部５
からなる。

【００４１】ＣＣＤカメラ１によって取得されたカラー
画像はＲ、Ｇ、Ｂの３枚の画像からなる。演算装置４
は、画像中のある一点（ｘ，ｙ）のそれぞれのＲ，Ｇ，
Ｂ画像の値を、（Ｒ，Ｇ，Ｂ）として、このＲＧＢカラ
ー空間における色表現をＨＳＶカラー空間(Computer Gr
aphics 2nd edition(Addison Wesley)pages 592-593)や
ＧＨＬＳカラー空間(GLHS:A generalized Lightness,Hu
e,and Saturation ColorModel,Haim Levkowitz and Gab
or T.Herman, CVGIP Graphical Models and Image Proc
essing(GMIP)Volume 55,Number 4,July 1993)での色表
現に変換する。画像蓄積部５のメモリから、（ｘ，ｙ）
の位置に対応するＲ，Ｇ，Ｂ値を読みとり、上記した変
換アルゴリズムによって（Ｒ，Ｇ，Ｂ）→（Ｈ，Ｓ，
Ｖ）に変換し、その（Ｈ，Ｓ，Ｖ）の値を画像蓄積部５
のメモリに記憶させる。

【００４２】なお、本実施例では、画像入力部１０１と
画像前処理部１０２とを別の構成にしたが、これに限ら
ず、両者を一体として画像入力部としてもよい。

【００４３】(3) 形状抽出部１０３形状抽出部１０３について説明する（図６参照）。

【００４４】形状抽出部１０３は３つの構成からなり、
マスクを構成するマスク構成部６、各マスク内の特徴量
を抽出する特徴量抽出部７、各マスクで得られた特徴量
を組み合わせて、形状抽出の評価値を計算する組合せ評
価値計算部８からなる。

【００４５】形状抽出部１０３については、「組合せ分
離度」を用いて説明する。

【００４６】なお、前記で説明した式（１）で求められ
る分離度を、以下で説明する「組合せ分離度」と区別す
るために「単純分離度」と呼ぶ。

【００４７】「組合せ分離度」は先に説明した単純類似
度のマスクを、エッジ方向と幾何学的位置関係を考慮し
て、複数個配置し、それらを関係づける評価関数によっ
て求められる。

【００４８】図９に示すように楕円状に分離度を求める
ためのマスクを配置する。これを部分マスクと呼ぶ。楕
円の接線方向に垂直な直線上（エッジ方向）に部分マス
クを配置する。そして、各部分マスクについて、各分離
度の計算を行う。組合せ分離度Ｃ（０．０≦Ｃ≦１．
０）を次式のように定義する。

【００４９】

【数２】または、

【数３】但しＧ，Ｅは次のようにして求められる。

【００５０】Ｇは隣接する部分マスク間の分離度の差を
とり、その差が小さいときによい評価を与えるという、
複数あるマスク間の幾何学的配置とエッジの類似度を評
価する関数である。

【００５１】部分マスクＭ_ｉ（ｉ＝１〜ｎ）の単純分離
度をＳ（Ｍ_ｉ）で表す。各部分マスク間の差の絶対値を
取り、１．０から引いた値を各マスク間の「類似度」と
して定義し、これより次式で表される。

【００５２】

【数４】Ｅは各部分マスクで計算された分離度の総和を取り、全
体のエッジ強度を表す。

【００５３】

【数５】Ｇ，Ｅの値が、０≦Ｇ、Ｅ≦ｎとなるため、式（２）の
ように、正規化を行う。

【００５４】α、βそれぞれの重みについて実験等によ
って決定する。一般には、α＝０．５、β＝０．５とし
て評価する。例えば、α＝１、β＝０として、エッジ間
の類似度のみを評価するようにすることも可能である。
これは、あらかじめ物体の存在する位置等がわかってお
り、非常にエッジ間の類似度が高い場合に利用される。

【００５５】式（３）は、Ｇ，Ｅのそれぞれを正規化し
た値を掛け合わせることによって評価しており、全体の
エッジ強度とエッジ間の類似度のバランスに敏感な評価
関数となる。

【００５６】そして、瞳の形状を楕円として抽出する場
合の形状抽出部１０３についての機能、動作の説明を行
う。

【００５７】マスク構成部６マスク構成部６は、形状記述記憶部９、アフィン変換計
算部１０、組合せマスク構成部１１からなる（図１０参
照）。

【００５８】（形状記述記憶部９）形状記述記憶部９
は、抽出したい形状（モデル）が格納されている。すな
わち、モデルはエッジのサンプル点（ｎ個）と、その点
におけるエッジの方向の情報が図１１のモデル記述テー
ブルに格納されている。

【００５９】楕円の場合では、楕円の中心座標（ｘ_０，
ｙ_０）、半径（長軸の長さの１／２）ｒ、長軸と短軸の
比ｂ（０．０＜ｂ≦１．０）、長軸と座標系のＸ軸との
なす角θによって決定される。これらの楕円パラメータ
を決定し、そのサンプル点（ｘ_ｉ，ｙ_ｉ）を与え、楕円
上の点（ｘ_ｉ，ｙ_ｉ）におけるエッジ方向については、
中心と点（ｘ_ｉ，ｙ_ｉ）を結ぶ直線がＸ軸となす角度を
θ_ｐとすると、エッジ方向は、

【数６】で計算される。

【００６０】例えば、図９のように、点（ｘ_ｓ，ｙ_ｓ）
では、エッジの方向が矢印のように求められる。このエ
ッジ方向をモデル記述テーブルに記述する。

【００６１】（アフィン変換計算部１０）アフィン変換
計算部１０について説明する。

【００６２】モデルは図１２のように、画像データ中で
は平行移動、回転、拡大縮小されている場合がある。モ
デルにアフィン変換を施し、そのモデルの当てはめを行
うことで変換に対応した検出を行う。

【００６３】図１１のモデル記述テーブルの各点
（ｘ_ｉ，ｙ_ｉ）に関して、アフィン変換マトリクスＡ
は、

【数７】を

【数８】に対して以下のようにｐ’を求める。但し、Ｔは平行移
動、Ｒは回転変換、Ｚは相似変換の行列を表す。

【００６４】

【数９】このｐ’を別に用意する一時保管テーブルに登録する。
また、このアフィン変換の回転成分Ｒをそれぞれのエッ
ジ方向に足し合わせて、同様に一時保管テーブルに登録
する。

【００６５】抽出したい対象が画像データ中のどの辺り
にあるかという探索範囲やどのくらいの抽出精度が必要
かに応じて、変換パラメータの変動範囲を決定する。ア
フィン変換の平行移動成分、回転成分、拡大縮小成分に
おいてそれぞれ、可変範囲と刻みを決定し、その範囲で
の変換パラメータから変換マトリクスを生成し、一時保
管テーブルに登録する。

【００６６】（組合せマスク構成部１１）組合わせマス
ク構成部１１について説明する。

【００６７】アフィン変換計算部１０で変換された一時
保管テーブルに基づいて、計算を行うマスクを設定す
る。例えば、分離度を用いた場合、分離度マスクは図２
のようなマスクを構成する。このときマスクの方向が図
９のように、楕円のパラメータ（ｘ，ｙ，ｒ，ｂ，θ）
によって計算される楕円上にエッジ方向と平行となるよ
うなマスクを構成する。マスクの大きさ、形状について
は取得する画像抽出量に応じて定める。なお、本実施例
では、矩形のマスク領域を用いて説明する。

【００６８】特徴量抽出部７特徴量抽出部７について説明する（図１３参照）。

【００６９】特徴量抽出部７は、画像メモリ１２、演算
装置１３、特徴量蓄積部１４からなる。

【００７０】（画像メモリ１２）画像メモリ１２は、画
像前処理部１０２で計算された画像を転送し保持する役
割をもつ。

【００７１】（演算装置１３）演算装置１３は、組合せ
マスク構成部１１において構成されたマスクにしたがっ
て、画像メモリ１２中に蓄えられている画像の輝度、色
相といった値を読みとり、マスクで定義されている特徴
量を算出する。

【００７２】算出された結果は、特徴量蓄積部１４に保
存される。この説明では特徴量として分離度を用いてい
るので、各部分マスクについて明度画像を用いて、それ
ぞれの式（１）の分離度を計算し、それぞれの分離度が
格納される。式（１）における画像抽出量Ｐｉは、本実
施例では分離度を算出するための明度となる。

【００７３】なお、特徴量として分離度だけではなく、
他の特徴量も利用でき、これについては変形例で述べ
る。

【００７４】組合せ評価値計算部８組合せ評価値計算部８は、組合せ特徴量計算部１５、評
価記憶部１６、結果記憶部１７とよりなる（図１４参
照）。

【００７５】組合せ特徴量計算部１５は、式（２）
（３）で定義される組合せ分離度Ｃを求める。組合せ分
離度Ｃは、式（２）（３）のどちらか一方から演算した
値を使用する。

【００７６】その組合せ分離度Ｃを評価値記憶部１６に
登録する。この評価値記憶部１６では、各組合せ分離度
Ｃと式（７）の変換のパラメータＡを対にして記憶す
る。そして、一番高い組合せ分離度Ｃ（最も１に近い組
合せ分離度Ｃ）を持つときのパラメータＡが結果記憶部
１７に送られる。

【００７７】形状抽出部１０３の動作図１５は、形状抽出部１０３の動作をフローチャートに
示したものである。

【００７８】ステップ５１では、マスク構成部６の形状
記述記憶部９、アフィン変換計算部１０によって楕円の
パラメータが計算される。

【００７９】ステップ５２では、組合せマスク構成部１
１によって、マスク生成が行われる。

【００８０】ステップ５３では、特徴量抽出部１４によ
り、部分マスクの計算が行われる。ステップ５４では、
組合せ分離度Ｃの計算が、組合せ評価値計算部１５でな
され、そして、評価値記憶部１６では、組合せ分離度Ｃ
の大きい順にデータをソートする。

【００８１】ステップ５５では、これにより、組合せ分
離度Ｃの更新が行われる。

【００８２】ステップ５６では、楕円のパラメータを変
化させながら、組合せ分離度Ｃの計算を行うが、探索範
囲を全て終了したかどうかを判断し、終了の場合、一番
高い組合せ分離度Ｃを持つとき（最も１に近い組合せ分
離度Ｃ）の楕円パラメータＡを結果記憶部１７に送り、
ステップ５７において、その時の楕円パラメータＡを持
つ検出楕円とする。終了していない場合、ステップ５１
に戻り、楕円パラメータの更新を行い、処理を繰り返
す。

【００８３】(4) 変更例本発明は上で述べた実施例に限定されるものではない。

【００８４】全体の構成についての変形例として、画像
メモリが各部分に点在するが、これを一つにまとめた構
成とし、各演算装置がそのメモリをアクセスできるよう
に構成を変更してもよい。

【００８５】また、ＣＣＤカメラのみの入力だけでな
く、ＭＲＩ画像やＸ線ＣＴ画像、超音波画像、ＳＰＥＣ
Ｔ画像等の入力でも可能である。たとえば、人間の肝臓
部分の輪郭抽出等に有効と考えられる。

【００８６】画像前処理部１０２は、色空間の変換だけ
でなく、平滑化等のフィルタリング等の画像の変換を行
うように変形できる。

【００８７】特徴量抽出部７についての変形例をいくつ
か挙げる。

【００８８】本実施例では楕円形状の抽出について述べ
たが、楕円形状だけに限らず、図１２のように、テーブ
ルの構成内容により、様々な形状に対応可能である。

【００８９】組合せ特徴量について次のように変形でき
る。

【００９０】上記実施例で説明した複数のマスクで計算
される特徴量から評価値を算出するだけでなく、予め決
められた形状をした一つのマスクを用いて特徴量を算出
し、それを評価値として用いる。この一つのマスクの形
状はモデルを参考にして決定する。

【００９１】例えば、図１８のような、楕円の輪郭に沿
った、２つの領域の分離度を計算し、それを評価関数と
する。

【００９２】この場合の組合せマスク構成部の変形例
は、図１８のように、一時保管テーブルに基づいて楕円
の輪郭に沿って、２つの領域を設定する。各領域の面積
などについては、画像抽出量に応じて定める。

【００９３】また、予め決められた形状をもつマスクを
一つだけ用いた方法の場合の組合せ評価値計算部の変形
例として、評価値Ｃの計算方法を（数２）についてα，β＝１，ｎ＝１，Ｇ＝０（数３）についてｎ＝１，Ｇ＝１として、計算する。

【００９４】分離度はテクスチャ画像のエッジ強度等も
計算できるため、複雑なテクスチャ中の形状認識等も可
能となる。また、本実施例のように明度画像のみを用い
るのではなく、他の画像前処理部で得られる色相画像等
を用いた、様々な分離度を計算できる。

【００９５】組合せ特徴量についての計算式を次のよう
な形に変形できる。

【００９６】

【数１０】これにより、Ｃ’の値は、０．０〜１．０の間に収まら
なくなるが、値の大きなものを形状として抽出すること
ができる。このように、様々に評価関数を設定でき、組
合せた特徴量のもっとも高い値を持つときの形状パラメ
ータを求めることができる。

【００９７】特徴量として分離度だけではなく、他の特
徴量も利用できる。例えば、Sobelフィルタによるエッ
ジ抽出によってエッジ強度を計算し、特徴量として利用
する。この場合もエッジの強度の類似度を計算する。し
かし、Sobel フィルタでは、分離度とは異なりマスク形
状の方向性はない。そこで、計算されたエッジの方向に
おける隣接したエッジ点の同士の類似度を計算する式を
次のように定義し、隣接した２つのエッジ点のエッジ方
向の角度をθ_１、θ_２とする。θ_１、θ_２が直交すると
き最小となる角度間の評価関数を

【数１１】のように設定し、この評価関数を組み込んだ形式に変形
する。

【００９８】また前述のように、分離度以外の特徴量を
用いる場合、特徴量を計算するマスクが必要のない場合
も存在する。マスク構成部を除いた構成に変形しても良
い。

【００９９】特徴量抽出部の動作は、図１５に示したよ
うに、繰り返し計算による探索だけではない。別の例と
して、図１６のように、予め数種類のエッジ方向のマス
クを画像に適用しておき、多数のエッジ強度画像を作成
しておく。そして、パラメータ空間を用意しておき、す
べてのエッジ強度画像から得られた特徴量をパラメータ
空間に投票を行う。そしてパラメータ空間のピークの位
置を検出するといった、ハフ変換に似たアルゴリズムを
用いる変形例がある。

【０１００】また、本実施例は瞳の形状抽出について説
明したが、先に示したように、その他の形状抽出も可能
であると述べた。この時並列に異なる形状テーブルのも
のを探索することによって、複数形状を同時に抽出でき
るように拡張が可能である。具体的な応用としては、口
形状を抽出する場合に有効である。図１７（ａ）（ｂ）
（ｃ）（ｄ）のように、口の開け方（大きさ）に応じた
いくつかの口形状モデルを用意する。そしてそれぞれに
対して、図１７（ｄ）のように、分離度マスクを設定し
抽出を行う。

【０１０１】また、一つのモデルが、画像データ中に複
数の存在し、同時に複数個選択したい場合、評価値記憶
部１６に記録されている候補から複数結果を出力するよ
うに、評価値記憶部１７と結果記憶部１８を変形でき
る。

【０１０２】以上、本発明はその趣旨を逸脱しない範囲
で種々変形して実施することが可能である。

【０１０３】

【発明の効果】本発明によれば、最も評価の高いと判断
されたパラメータに基づいて、モデルを画像に当てはめ
ると、そのモデルの位置、姿勢、大きさで決定される箇
所に、目的の形状が存在する。したがって、ロバストな
形状認識が行え、さまざまな画像処理装置で応用が可能
である。

【図面の簡単な説明】

【図１】形状認識装置のブロック図である。

【図２】分離度を示す図である。

【図３】弱いエッジで構成される物体の認識を示す図で
ある。（ａ）は、弱いエッジで構成される物体の図であ
る。（ｂ）は、エッジ強度を示すテーブルである。
（ｃ）は、明度分布のグラフである。

【図４】画像入力部のブロック図である。

【図５】画像前処理部のブロック図である。

【図６】形状抽出部のブロック図である。

【図７】楕円形状として撮影される瞳を示す図である。

【図８】目を取得した画像の不安定性を示す図である。
（ａ）は、目の正面図である。（ｂ）は、明度分布のグ
ラフである。

【図９】組合せ分離度マスクを示す図である。

【図１０】マスク構成部のブロック図である。

【図１１】モデル記述テーブルを示す図である。

【図１２】モデルと画像データのアフィン変換による関
係を示す図である。

【図１３】特徴量抽出部のブロック図である。

【図１４】組合せ評価値計算部のブロック図である。

【図１５】形状抽出部のフローチャートである。

【図１６】形状抽出部の変形例の概念図である。

【図１７】口形状の検出を示す図である。

【図１８】変形例におけるマスク領域の説明図である。

【符号の説明】

１００形状認識装置１０１画像入力部１０２画像前処理部１０３形状抽出部

フロントページの続き (72)発明者岡本恭一大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内

Claims

【特許請求の範囲】

【請求項１】認識対象物を擬似的に表したモデルを画像
に当てはめて、その画像中に写っている前記認識対象物
の形状を認識する装置であって、画像を入力する画像入力手段と、前記認識対象物を擬似的に表したモデルを一つまたは複
数記憶する記憶手段と、この記憶手段に記憶したモデルの中で認識したい形状に
類似した一つのモデルを選択するモデル選択手段と、このモデル選択手段によって選択した選択モデルに一つ
または複数のマスク領域を設定するマスク領域構成手段
と、前記モデル選択手段によって選択した選択モデルを画像
に当てはめるために、その選択モデルの画像中における
位置、姿勢または大きさを決定するパラメータを設定す
るパラメータ設定手段と、前記マスク領域構成手段でマスク領域を設定した選択モ
デルを、前記パラメータ設定手段によって設定されたパ
ラメータに基づいて画像に当てはめる画像当てはめ手段
と、この画像当てはめ手段によって画像に当てはめた選択モ
デルの一つまたは複数のマスク領域における特徴量を、
前記画像入力手段によって入力された画像から求める特
徴量抽出手段と、この特徴量抽出手段によって得られた選択モデルの一つ
または複数のマスク領域の特徴量に基づいて、認識した
い形状に前記選択モデルが最も適合するパラメータを決
定するパラメータ決定手段とよりなることを特徴とする
形状認識装置。
【請求項２】前記パラメータ決定手段は、前記選択モデルにマスク領域が複数設定された場合に、
前記複数のマスク領域で得られる特徴量の組合せ結果に
基づいて、認識したい形状に前記選択モデルが最も適合
するパラメータを決定することを特徴とする形状認識装
置。
【請求項３】前記パラメータ決定手段は、前記選択モデルにマスク領域が複数設定された場合に、
前記各パラメータ毎に、前記選択モデルの各マスク領域
における特徴量の総和、及び、隣接関係にある特徴量間
の類似度を用いて評価値を算出し、この算出した評価値の中で最も高い評価値を有するパラ
メータを、認識したい形状に前記選択モデルが最も適合
するパラメータとすることを特徴とする請求項１記載の
形状認識装置。
【請求項４】前記マスク領域構成手段は、一つまたは複数のマスク領域を前記選択モデルの輪郭に
合わせて設定し、前記特徴量抽出手段は、前記マスク領域内における画像抽出量の分離度を用いて
特徴量を求めることを特徴とする請求項１記載の形状認
識装置。
【請求項５】認識対象物を擬似的に表したモデルを画像
に当てはめて、その画像中に写っている前記認識対象物
の形状を認識する方法であって、画像を入力し、予め設けた前記認識対象物を擬似的に表した一つまたは
複数のモデルの中から認識したい形状に類似した一つの
モデルを選択し、この選択した選択モデルに一つまたは複数のマスク領域
を設定し、前記選択した選択モデルを画像に当てはめるために、そ
の選択モデルの画像中における位置、姿勢または大きさ
を決定するパラメータを設定し、前記マスク領域を設定した選択モデルを、前記設定され
たパラメータに基づいて画像に当てはめ、この画像に当てはめた選択モデルの一つまたは複数のマ
スク領域における特徴量を、前記入力された画像から求
め、この得られた選択モデルの一つまたは複数のマスク領域
の特徴量に基づいて、認識したい形状に前記選択モデル
が最も適合するパラメータを決定することを特徴とする
形状認識方法。