JP3797686B2 - 形状認識装置及びその方法 - Google Patents
形状認識装置及びその方法 Download PDFInfo
- Publication number
- JP3797686B2 JP3797686B2 JP23025795A JP23025795A JP3797686B2 JP 3797686 B2 JP3797686 B2 JP 3797686B2 JP 23025795 A JP23025795 A JP 23025795A JP 23025795 A JP23025795 A JP 23025795A JP 3797686 B2 JP3797686 B2 JP 3797686B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- separation
- feature amount
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理における形状認識装置及びその方法に関する。
【０００２】
【従来の技術】
モデル当てはめにより形状を抽出する方法としては次のようなものがある。
【０００３】
テンプレートマッチングは、一定の曲線や画像としてモデルを記述し、モデルと対象画像の間の類似度を判定することによって対象認識を行う。このテンプレートマッチングには、モデルの記述として画像の明度分布をそのまま用いるものと、二値画像を用いてモデルの形状をエッジ点の集合として表現するものがある。前者は明度分布の類似度を測ることによって形状認識を行う。後者は、まず画像の明度分布に基づいてエッジの強度画像を作り、そのエッジ強度画像を二値化することによって二値画像を作る。そして、二値画像の点集合とモデルの点集合の類似度を計算するというものである。
【０００４】
一般化ハフ変換(Ballard,D.H．“Generalizing the Hough transform to detect arbitary shapes" Pattern Recognition.13,111-122(1981)) は、モデルを輪郭線上の点のリストとして記述し、その平行移動、回転、拡大縮小の表すパラメータが使われる。この変換は、パラメータ空間への”投票”によって、パターンが表すもっとも適切なパラメータの位置に局所的なピークを形成するように変換される。このハフ変換は、部分的にデータが欠けているような場合でもうまく照合が行えるといった利点がある。
【０００５】
次に、モデルと画像データとの適合性がある目的関数（エネルギ）によって測られ、その関数の値の最小化などによってモデルの照合が行われるものがある。例えば最近では、スネーク(M．Kass,A.Witkin,D.Terzopouls，“Snakes:Active Contour Models",In Proc.1st Int.Conf.on Computer Vision,pp.259-268(1987)) などがある。
【０００６】
これらのモデル当てはめには、生の画像データをそのまま用いるもの、または対象のもつ他の特徴、例えばエッジ強調フィルタや線強調フィルタといった低レベルの画像処理を行った画像データを使うものもある。
【０００７】
本発明では、エッジデータを用いて、ノイズ、外乱に強い安定した形状認識について考える。そのためにまず、物体輪郭や物体内部の構造を反映したエッジ情報を抽出する手法について挙げる。
【０００８】
エッジの抽出方法には、画像の明度勾配に基づく方法とエッジ近傍領域の情報に基づく方法がある。画像の明度勾配に基づく方法は、明度勾配が急激に変化する位置をエッジとして抽出するもので、１次微分型のRobertｓ、Prowitｔ、Sobel や２次微分型のLaplacian などの方法がある。エッジ近傍領域の情報に基づく方法としては、エッジモデルの当てはめを局所領域に対して行うHueckel の方法などがある。
【０００９】
明度勾配に基づいたエッジ抽出は、弱いエッジを抽出できないといった問題や色相画像など他のエッジ強度に拡張し難いといった問題がある。明度勾配エッジ抽出を用いた、従来法の対象認識についての問題点をまとめる。
【００１０】
テンプレートマッチングはテンプレートに対して、画像データにわずかな変動があった場合に弱いという特徴を持つ。一般化ハフ変換については、エッジ点の数に投票数が影響を受ける。エッジ点の有無のみが問題となり、エッジ抽出の性能の影響を非常に受ける。スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけによって、柔軟でノイズに強いという性質を持つ。しかし、なお局所的なエネルギーの最小値に落ち込むという欠点がある。
【００１１】
これらの問題を解決するために、エッジ近傍領域の情報に基づく方法を用いることが考えられる。エッジを画像の明度だけでなく、色、テクスチャの異なる領域間の境界としてとらえ、エッジ強度をこれら領域間の特徴量から計算する方法として、“領域間の分離度に基づくエッジ抽出、情報処理学会コンピュータビジョン研究会資料87-1(1994)”が提案されている。
【００１２】
「分離度」とは、データの集合を幾つかの部分集合に分割した場合に、それぞれの部分集合がどの程度分離されているかを表す量である。これは、集合全体のデータの特徴に対する部分集合のデータの特徴の割合で表され、その値は０．０〜１．０の値をとる。
【００１３】
今、図２のように、画像中の２つの領域を上記の２つの集合と考えた場合、分離度が大きい程、領域の境界に、強いエッジが存在することになる。つまり、ある画素を境とする２つの領域について考えると、その画素における分離度が大きければ、その画素には強いエッジが存在するということができる。
【００１４】
分離度Ｓは次の式で与えられる。
【００１５】
【数１】
この手法はエッジを安定に抽出できるという利点があるものの、逆に、分離度は画像抽出量の差に依存したものではないため、対象物のエッジを抽出するためには分離度をそのまま用いるには不十分であるとの観点から、重みつき分離度（特願平７−７４９９号）も提案されている。重みつき分離度は、対象物の存在位置、色情報、テクスチャ情報などを利用して選択的に対象物のエッジを抽出することを目的として、位置に関する重み付けと画像特徴の重み付けを分離度の式に組込んだ形をとる。
【００１６】
【発明が解決しようとする課題】
上述した分離度を用いて適当な大きさ、形状のマスクを設定し、画像に適用し、従来法に効果的なエッジ強度画像を生成することができる。しかし、このような単純な使い方では不十分である。
【００１７】
図３（ａ）で示したような画像データにおける、緩やかなエッジで構成されている対象の物体認識について考える。
【００１８】
この図では、ア、イ、ウ、エの４点に対してエッジ強度を図３（ｂ）に示す。エッジの強度について考えると、対象を構成しているエッジ強度が図３（ｃ）のように単調に変化している場合や撮影時のボケによる影響により弱くなっている場合、二値化によりエッジ画像を作ると、閾値の設定方法によってはエッジ点として抽出されないこともある。
【００１９】
しかし、図３（ａ）のように同じように連続した弱いエッジを持つ場合は物体として認識されなければならない。
【００２０】
このような実際の対象としては人間の目の瞳などがある。
【００２１】
顔画像を通常室内環境で撮影し、撮影された瞳の形状抽出を行おうとする場合、図８において、(1) 〜(3) で示すような問題が挙げられる。
【００２２】
(1) まぶた、まつげ等に瞳の一部を隠されてしまうため推定が不安定である（図８ア）。
【００２３】
(2) 蛍光灯の写り込みにより、非常に強いエッジが画像中にできてしまう（図８イ）。
【００２４】
(3) 虹彩と白目の間はなだらかに変化しており、弱いエッジで構成されている（図８ウ）。
【００２５】
従来の対象認識法は、エッジ強度、エッジ点の幾何学的配置についての考慮はなされているが、隣接するエッジ点同士の関係としてのエッジの方向性とエッジ強度の類似性には着目していない。
【００２６】
例えば、一般化ハフ変換におけるエッジ点同士の関係は、エッジ点の集合として表される幾何学的配置関係のみである。
【００２７】
また、スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけや、最適化のための制御点同士の情報交換等があるが、積極的に関係情報を利用したものではない。また、楕円等の形状をパラメータ表現できる場合、楕円を構成するエッジ点を抽出し、最小自乗法等によって楕円のパラメータを求めることによって、検出を行っていた。しかし、最小自乗法による楕円の当てはめには、最小自乗法に偏差があることが知られていることや楕円の一部が隠されてしまうことによって、推定が不安定になるという問題がある。このように従来の形状抽出はノイズや外乱に弱かった。
【００２８】
そこで、本発明による装置では、ノイズ、外乱に強く、安定した形状認識が行えるものを提供する。
【００２９】
【課題を解決するための手段】
本発明の形状認識装置は、画像を入力する画像入力部と、認識対象物の形状を擬似的に表すモデルの輪郭に沿って２つの領域を有する特徴量抽出領域を設定する特徴量抽出領域設定部と、前記モデルを前記画像に当てはめるための、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するパラメータ設定部と、前記特徴量抽出領域が設定された前記モデルを、前記パラメータに基づいて前記画像に当てはめるモデル適用部と、前記画像に当てはめる前記モデルの前記特徴量抽出領域における分離度を、前記画像から求める特徴量抽出部と、前記分離度が最も高いパラメータを決定するパラメータ決定部と、を有し、前記特徴量抽出領域設定部は、前記モデルの輪郭に沿った第１の側の第１領域と第２の側の第２領域との２つの領域を有する前記特徴量抽出領域を設定し、前記特徴量抽出部は、前記分離度として前記第１領域と前記第２領域との分離度を用い、かつ、前記分離度を、
【数１４】
に基づいて求めることを特徴とする。
【００３１】
本発明による装置では、ノイズ、外乱に強く、安定した形状認識が行える。
【００３２】
【発明の実施の形態】
以下に本発明の実施の形態における実施例を説明する。
【００３３】
なお、本実施例は、人間の目の瞳の部分の形状認識を行うという状況での一実施例について説明する。ＣＣＤカラーカメラを用いて取得した顔画像では、図７のように、瞳の形状が楕円として撮影される。この瞳の形状を楕円として近似しその楕円パラメータを求めることについて考える。
【００３４】
形状認識装置１００のブロック図を図１に示す。
【００３５】
画像を入力するために必要なＡ／Ｄ変換や入力変換手段と画像蓄積部からなる画像入力部１０１、取得した画像の前処理するための画像前処理部１０２、そして形状抽出を行う形状抽出部１０３から構成される。
【００３６】
(1) 画像入力部１０１
画像入力部１０１について説明する（図４参照）。
【００３７】
画像入力部１０１は、カラーＣＣＤカメラ１、ビデオボード２、画像を蓄積するメモリ３からなる。なお、画像入力部１０１は、ＣＣＤカメラ１からの入力に限らずビデオ等の映像出力機器やＸ線撮影装置等で得られた画像をビデオボードの端子から入力することもできる。
【００３８】
(2) 画像前処理部１０２
画像前処理部１０２について説明する（図５参照）。
【００３９】
画像入力部１０１に入力された画像を明度画像、色相画像、彩度画像といった画像に変換する演算装置４と、これら変換した画像を保存する画像蓄積部５からなる。
【００４０】
ＣＣＤカメラ１によって取得されたカラー画像はＲ、Ｇ、Ｂの３枚の画像からなる。演算装置４は、画像中のある一点（ｘ，ｙ）のそれぞれのＲ，Ｇ，Ｂ画像の値を、（Ｒ，Ｇ，Ｂ）として、このＲＧＢカラー空間における色表現をＨＳＶカラー空間(Computer Graphics 2nd edition(Addison Wesley)pages 592-593)やＧＨＬＳカラー空間(GLHS:A generalized Lightness,Hue,and Saturation Color Model,Haim Levkowitz and Gabor T.Herman, CVGIP Graphical Models and Image Processing(GMIP)Volume 55,Number 4,July 1993)での色表現に変換する。画像蓄積部５のメモリから、（ｘ，ｙ）の位置に対応するＲ，Ｇ，Ｂ値を読みとり、上記した変換アルゴリズムによって（Ｒ，Ｇ，Ｂ）から（Ｈ，Ｓ，Ｖ）に変換し、その（Ｈ，Ｓ，Ｖ）の値を画像蓄積部５のメモリに記憶させる。
【００４１】
なお、本実施例では、画像入力部１０１と画像前処理部１０２とを別の構成にしたが、これに限らず、両者を一体として画像入力部としてもよい。
【００４２】
(3) 形状抽出部１０３
形状抽出部１０３について説明する（図６参照）。
【００４３】
形状抽出部１０３は３つの構成からなり、マスクを構成するマスク構成部６、各マスク内の特徴量を抽出する特徴量抽出部７、各マスクで得られた特徴量を組み合わせて、形状抽出の評価値を計算する組合せ評価値計算部８からなる。
【００４４】
形状抽出部１０３については、「組合せ分離度」を用いて説明する。
【００４５】
なお、前記で説明した式（１）で求められる分離度を、以下で説明する「組合せ分離度」と区別するために「単純分離度」と呼ぶ。
【００４６】
「組合せ分離度」は先に説明した単純類似度のマスクを、エッジ方向と幾何学的位置関係を考慮して、複数個配置し、それらを関係づける評価関数によって求められる。
【００４７】
図９に示すように楕円状に分離度を求めるためのマスクを配置する。これを部分マスクと呼ぶ。楕円の接線方向に垂直な直線上（エッジ方向）に部分マスクを配置する。そして、各部分マスクについて、各分離度の計算を行う。組合せ分離度Ｃ（０．０≦Ｃ≦１．０）を次式のように定義する。
【００４８】
【数２】
または、
【数３】
但しＧ，Ｅは次のようにして求められる。
【００４９】
Ｇは隣接する部分マスク間の分離度の差をとり、その差が小さいときによい評価を与えるという、複数あるマスク間の幾何学的配置とエッジの類似度を評価する関数である。
【００５０】
部分マスクＭｉ（ｉ＝１〜ｎ）の単純分離度をＳ（Ｍｉ）で表す。各部分マスク間の差の絶対値を取り、１．０から引いた値を各マスク間の「類似度」として定義し、これより次式で表される。
【００５１】
【数４】
Ｅは各部分マスクで計算された分離度の総和を取り、全体のエッジ強度を表す。
【００５２】
【数５】
Ｇ，Ｅの値が、０≦Ｇ、Ｅ≦ｎとなるため、式（２）のように、正規化を行う。
【００５３】
α、βそれぞれの重みについて実験等によって決定する。一般には、α＝０．５、β＝０．５として評価する。例えば、α＝１、β＝０として、エッジ間の類似度のみを評価するようにすることも可能である。これは、あらかじめ物体の存在する位置等がわかっており、非常にエッジ間の類似度が高い場合に利用される。
【００５４】
式（３）は、Ｇ，Ｅのそれぞれを正規化した値を掛け合わせることによって評価しており、全体のエッジ強度とエッジ間の類似度のバランスに敏感な評価関数となる。
【００５５】
そして、瞳の形状を楕円として抽出する場合の形状抽出部１０３についての機能、動作の説明を行う。
【００５６】
(3-1) マスク構成部６
マスク構成部６は、形状記述記憶部９、アフィン変換計算部１０、組合せマスク構成部１１からなる（図１０参照）。
【００５７】
(3-1-1) 形状記述記憶部９
形状記述記憶部９は、抽出したい形状（モデル）が格納されている。すなわち、モデルはエッジのサンプル点（ｎ個）と、その点におけるエッジの方向の情報が図１１のモデル記述テーブルに格納されている。
【００５８】
楕円の場合では、楕円の中心座標（ｘ０，ｙ０）、半径（長軸の長さの１／２）ｒ、長軸と短軸の比ｂ（０．０＜ｂ≦１．０）、長軸と座標系のＸ軸とのなす角θによって決定される。これらの楕円パラメータを決定し、そのサンプル点（ｘｉ，ｙｉ）を与え、楕円上の点（ｘｉ，ｙｉ）におけるエッジ方向については、中心と点（ｘｉ，ｙｉ）を結ぶ直線がＸ軸となす角度をθｐとすると、エッジ方向は、
【数６】
で計算される。
【００５９】
例えば、図９のように、点（ｘｓ，ｙｓ）では、エッジの方向が矢印のように求められる。このエッジ方向をモデル記述テーブルに記述する。
【００６０】
(3-1-2) アフィン変換計算部１０
アフィン変換計算部１０について説明する。
【００６１】
モデルは図１２のように、画像データ中では平行移動、回転、拡大縮小されている場合がある。モデルにアフィン変換を施し、そのモデルの当てはめを行うことで変換に対応した検出を行う。
【００６２】
図１１のモデル記述テーブルの各点（ｘｉ，ｙｉ）に関して、アフィン変換マトリクスＡは、
【数７】
を
【数８】
に対して以下のようにｐ’を求める。但し、Ｔは平行移動、Ｒは回転変換、Ｚは相似変換の行列を表す。
【００６３】
【数９】
このｐ’を別に用意する一時保管テーブルに登録する。また、このアフィン変換の回転成分Ｒをそれぞれのエッジ方向に足し合わせて、同様に一時保管テーブルに登録する。
【００６４】
抽出したい対象が画像データ中のどの辺りにあるかという探索範囲やどのくらいの抽出精度が必要かに応じて、変換パラメータの変動範囲を決定する。アフィン変換の平行移動成分、回転成分、拡大縮小成分においてそれぞれ、可変範囲と刻みを決定し、その範囲での変換パラメータから変換マトリクスを生成し、一時保管テーブルに登録する。
【００６５】
(3-1-3) 組合せマスク構成部１１
組合わせマスク構成部１１について説明する。
【００６６】
アフィン変換計算部１０で変換された一時保管テーブルに基づいて、計算を行うマスクを設定する。例えば、分離度を用いた場合、分離度マスクは図２のようなマスクを構成する。このときマスクの方向が図９のように、楕円のパラメータ（ｘ，ｙ，ｒ，ｂ，θ）によって計算される楕円上にエッジ方向と平行となるようなマスクを構成する。マスクの大きさ、形状については取得する画像抽出量に応じて定める。なお、本実施例では、矩形のマスク領域を用いて説明する。
【００６７】
(3-2) 特徴量抽出部７
特徴量抽出部７について説明する（図１３参照）。
【００６８】
特徴量抽出部７は、画像メモリ１２、演算装置１３、特徴量蓄積部１４からなる。
【００６９】
(3-2-1) 画像メモリ１２
画像メモリ１２は、画像前処理部１０２で計算された画像を転送し保持する役割をもつ。
【００７０】
(3-2-2) 演算装置１３
演算装置１３は、組合せマスク構成部１１において構成されたマスクにしたがって、画像メモリ１２中に蓄えられている画像の輝度、色相といった値を読みとり、マスクで定義されている特徴量を算出する。
【００７１】
算出された結果は、特徴量蓄積部１４に保存される。この説明では特徴量として分離度を用いているので、各部分マスクについて明度画像を用いて、それぞれの式（１）の分離度を計算し、それぞれの分離度が格納される。式（１）における画像抽出量Ｐｉは、本実施例では分離度を算出するための明度となる。
【００７２】
なお、特徴量として分離度だけではなく、他の特徴量も利用でき、これについては変形例で述べる。
【００７３】
(3-3) 組合せ評価値計算部８
組合せ評価値計算部８は、組合せ特徴量計算部１５、評価値記憶部１６、結果記憶部１７とよりなる（図１４参照）。
【００７４】
組合せ特徴量計算部１５は、式（２）（３）で定義される組合せ分離度Ｃを求める。組合せ分離度Ｃは、式（２）（３）のどちらか一方から演算した値を使用する。
【００７５】
その組合せ分離度Ｃを評価値記憶部１６に登録する。この評価値記憶部１６では、各組合せ分離度Ｃと式（７）の変換のパラメータＡを対にして記憶する。そして、一番高い組合せ分離度Ｃ（最も１に近い組合せ分離度Ｃ）を持つときのパラメータＡが結果記憶部１７に送られる。
【００７６】
(3-4) 形状抽出部１０３の動作
図１５は、形状抽出部１０３の動作をフローチャートに示したものである。
【００７７】
ステップ５１では、マスク構成部６の形状記述記憶部９、アフィン変換計算部１０によって楕円のパラメータが計算される。
【００７８】
ステップ５２では、組合せマスク構成部１１によって、マスク生成が行われる。
【００７９】
ステップ５３では、特徴量抽出部１４により、部分マスクの計算が行われる。
ステップ５４では、組合せ分離度Ｃの計算が、組合せ評価値計算部１５でなされ、そして、評価値記憶部１６では、組合せ分離度Ｃの大きい順にデータをソートする。
【００８０】
ステップ５５では、これにより、組合せ分離度Ｃの更新が行われる。
【００８１】
ステップ５６では、楕円のパラメータを変化させながら、組合せ分離度Ｃの計算を行うが、探索範囲を全て終了したかどうかを判断し、終了の場合、一番高い組合せ分離度Ｃを持つとき（最も１に近い組合せ分離度Ｃ）の楕円パラメータＡを結果記憶部１７に送り、ステップ５７において、その時の楕円パラメータＡを持つ検出楕円とする。終了していない場合、ステップ５１に戻り、楕円パラメータの更新を行い、処理を繰り返す。
【００８２】
(4) 変更例
本発明は上で述べた実施例に限定されるものではない。
【００８３】
全体の構成についての変形例として、画像メモリが各部分に点在するが、これを一つにまとめた構成とし、各演算装置がそのメモリをアクセスできるように構成を変更してもよい。
【００８４】
また、ＣＣＤカメラのみの入力だけでなく、ＭＲＩ画像やＸ線ＣＴ画像、超音波画像、ＳＰＥＣＴ画像等の入力でも可能である。たとえば、人間の肝臓部分の輪郭抽出等に有効と考えられる。
【００８５】
画像前処理部１０２は、色空間の変換だけでなく、平滑化等のフィルタリング等の画像の変換を行うように変形できる。
【００８６】
特徴量抽出部７についての変形例をいくつか挙げる。
【００８７】
本実施例では楕円形状の抽出について述べたが、楕円形状だけに限らず、図１２のように、テーブルの構成内容により、様々な形状に対応可能である。
【００８８】
組合せ特徴量について次のように変形できる。
【００８９】
上記実施例で説明した複数のマスクで計算される特徴量から評価値を算出するだけでなく、予め決められた形状をした一つのマスクを用いて特徴量を算出し、それを評価値として用いる。この一つのマスクの形状はモデルを参考にして決定する。
【００９０】
例えば、図１８のような、楕円の輪郭に沿った、２つの領域の分離度を計算し、それを評価関数とする。
【００９１】
この場合の組合せマスク構成部の変形例は、図１８のように、一時保管テーブルに基づいて楕円の輪郭に沿って、２つの領域を設定する。各領域の面積などについては、画像抽出量に応じて定める。
【００９２】
また、予め決められた形状をもつマスクを一つだけ用いた方法の場合の組合せ評価値計算部の変形例として、評価値Ｃの計算方法を
（数２）についてα，β＝１，ｎ＝１，Ｇ＝０
（数３）についてｎ＝１，Ｇ＝１
として、計算する。
【００９３】
分離度はテクスチャ画像のエッジ強度等も計算できるため、複雑なテクスチャ中の形状認識等も可能となる。また、本実施例のように明度画像のみを用いるのではなく、他の画像前処理部で得られる色相画像等を用いた、様々な分離度を計算できる。
【００９４】
組合せ特徴量についての計算式を次のような形に変形できる。
【００９５】
【数１０】
これにより、Ｃ’の値は、０．０〜１．０の間に収まらなくなるが、値の大きなものを形状として抽出することができる。このように、様々に評価関数を設定でき、組合せた特徴量のもっとも高い値を持つときの形状パラメータを求めることができる。
【００９６】
特徴量として分離度だけではなく、他の特徴量も利用できる。例えば、Sobel フィルタによるエッジ抽出によってエッジ強度を計算し、特徴量として利用する。この場合もエッジの強度の類似度を計算する。しかし、Sobel フィルタでは、分離度とは異なりマスク形状の方向性はない。そこで、計算されたエッジの方向における隣接したエッジ点の同士の類似度を計算する式を次のように定義し、隣接した２つのエッジ点のエッジ方向の角度をθ１、θ２とする。θ１、θ２が直交するとき最小となる角度間の評価関数を
【数１１】
のように設定し、この評価関数を組み込んだ形式に変形する。
【００９７】
また前述のように、分離度以外の特徴量を用いる場合、特徴量を計算するマスクが必要のない場合も存在する。マスク構成部を除いた構成に変形しても良い。
【００９８】
特徴量抽出部の動作は、図１５に示したように、繰り返し計算による探索だけではない。別の例として、図１６のように、予め数種類のエッジ方向のマスクを画像に適用しておき、多数のエッジ強度画像を作成しておく。そして、パラメータ空間を用意しておき、すべてのエッジ強度画像から得られた特徴量をパラメータ空間に投票を行う。そしてパラメータ空間のピークの位置を検出するといった、ハフ変換に似たアルゴリズムを用いる変形例がある。
【００９９】
また、本実施例は瞳の形状抽出について説明したが、先に示したように、その他の形状抽出も可能であると述べた。この時並列に異なる形状テーブルのものを探索することによって、複数形状を同時に抽出できるように拡張が可能である。具体的な応用としては、口形状を抽出する場合に有効である。図１７（ａ）（ｂ）（ｃ）（ｄ）のように、口の開け方（大きさ）に応じたいくつかの口形状モデルを用意する。そしてそれぞれに対して、図１７（ｄ）のように、分離度マスクを設定し抽出を行う。
【０１００】
また、一つのモデルが、画像データ中に複数の存在し、同時に複数個選択したい場合、評価値記憶部１６に記録されている候補から複数結果を出力するように、評価値記憶部１７と結果記憶部１８を変形できる。
【０１０１】
以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。
【０１０２】
【発明の効果】
本発明によれば、最も評価の高いと判断されたパラメータに基づいて、楕円形状のモデルを画像に当てはめると、その楕円形状のモデルの位置、姿勢、大きさで決定される箇所に、目的の形状が存在する。したがって、ロバストな形状認識が行え、さまざまな画像処理装置で応用が可能である。
【図面の簡単な説明】
【図１】形状認識装置のブロック図である。
【図２】分離度を示す図である。
【図３】弱いエッジで構成される物体の認識を示す図である。
（ａ）は、弱いエッジで構成される物体の図である。
（ｂ）は、エッジ強度を示すテーブルである。
（ｃ）は、明度分布のグラフである。
【図４】画像入力部のブロック図である。
【図５】画像前処理部のブロック図である。
【図６】形状抽出部のブロック図である。
【図７】楕円形状として撮影される瞳を示す図である。
【図８】目を取得した画像の不安定性を示す図である。
（ａ）は、目の正面図である。
（ｂ）は、明度分布のグラフである。
【図９】組合せ分離度マスクを示す図である。
【図１０】マスク構成部のブロック図である。
【図１１】モデル記述テーブルを示す図である。
【図１２】モデルと画像データのアフィン変換による関係を示す図である。
【図１３】特徴量抽出部のブロック図である。
【図１４】組合せ評価値計算部のブロック図である。
【図１５】形状抽出部のフローチャートである。
【図１６】形状抽出部の変形例の概念図である。
【図１７】口形状の検出を示す図である。
【図１８】変形例におけるマスク領域の説明図である。
【符号の説明】
１００ 形状認識装置
１０１ 画像入力部
１０２ 画像前処理部
１０３ 形状抽出部
【発明の属する技術分野】
本発明は、画像処理における形状認識装置及びその方法に関する。
【０００２】
【従来の技術】
モデル当てはめにより形状を抽出する方法としては次のようなものがある。
【０００３】
テンプレートマッチングは、一定の曲線や画像としてモデルを記述し、モデルと対象画像の間の類似度を判定することによって対象認識を行う。このテンプレートマッチングには、モデルの記述として画像の明度分布をそのまま用いるものと、二値画像を用いてモデルの形状をエッジ点の集合として表現するものがある。前者は明度分布の類似度を測ることによって形状認識を行う。後者は、まず画像の明度分布に基づいてエッジの強度画像を作り、そのエッジ強度画像を二値化することによって二値画像を作る。そして、二値画像の点集合とモデルの点集合の類似度を計算するというものである。
【０００４】
一般化ハフ変換(Ballard,D.H．“Generalizing the Hough transform to detect arbitary shapes" Pattern Recognition.13,111-122(1981)) は、モデルを輪郭線上の点のリストとして記述し、その平行移動、回転、拡大縮小の表すパラメータが使われる。この変換は、パラメータ空間への”投票”によって、パターンが表すもっとも適切なパラメータの位置に局所的なピークを形成するように変換される。このハフ変換は、部分的にデータが欠けているような場合でもうまく照合が行えるといった利点がある。
【０００５】
次に、モデルと画像データとの適合性がある目的関数（エネルギ）によって測られ、その関数の値の最小化などによってモデルの照合が行われるものがある。例えば最近では、スネーク(M．Kass,A.Witkin,D.Terzopouls，“Snakes:Active Contour Models",In Proc.1st Int.Conf.on Computer Vision,pp.259-268(1987)) などがある。
【０００６】
これらのモデル当てはめには、生の画像データをそのまま用いるもの、または対象のもつ他の特徴、例えばエッジ強調フィルタや線強調フィルタといった低レベルの画像処理を行った画像データを使うものもある。
【０００７】
本発明では、エッジデータを用いて、ノイズ、外乱に強い安定した形状認識について考える。そのためにまず、物体輪郭や物体内部の構造を反映したエッジ情報を抽出する手法について挙げる。
【０００８】
エッジの抽出方法には、画像の明度勾配に基づく方法とエッジ近傍領域の情報に基づく方法がある。画像の明度勾配に基づく方法は、明度勾配が急激に変化する位置をエッジとして抽出するもので、１次微分型のRobertｓ、Prowitｔ、Sobel や２次微分型のLaplacian などの方法がある。エッジ近傍領域の情報に基づく方法としては、エッジモデルの当てはめを局所領域に対して行うHueckel の方法などがある。
【０００９】
明度勾配に基づいたエッジ抽出は、弱いエッジを抽出できないといった問題や色相画像など他のエッジ強度に拡張し難いといった問題がある。明度勾配エッジ抽出を用いた、従来法の対象認識についての問題点をまとめる。
【００１０】
テンプレートマッチングはテンプレートに対して、画像データにわずかな変動があった場合に弱いという特徴を持つ。一般化ハフ変換については、エッジ点の数に投票数が影響を受ける。エッジ点の有無のみが問題となり、エッジ抽出の性能の影響を非常に受ける。スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけによって、柔軟でノイズに強いという性質を持つ。しかし、なお局所的なエネルギーの最小値に落ち込むという欠点がある。
【００１１】
これらの問題を解決するために、エッジ近傍領域の情報に基づく方法を用いることが考えられる。エッジを画像の明度だけでなく、色、テクスチャの異なる領域間の境界としてとらえ、エッジ強度をこれら領域間の特徴量から計算する方法として、“領域間の分離度に基づくエッジ抽出、情報処理学会コンピュータビジョン研究会資料87-1(1994)”が提案されている。
【００１２】
「分離度」とは、データの集合を幾つかの部分集合に分割した場合に、それぞれの部分集合がどの程度分離されているかを表す量である。これは、集合全体のデータの特徴に対する部分集合のデータの特徴の割合で表され、その値は０．０〜１．０の値をとる。
【００１３】
今、図２のように、画像中の２つの領域を上記の２つの集合と考えた場合、分離度が大きい程、領域の境界に、強いエッジが存在することになる。つまり、ある画素を境とする２つの領域について考えると、その画素における分離度が大きければ、その画素には強いエッジが存在するということができる。
【００１４】
分離度Ｓは次の式で与えられる。
【００１５】
【数１】
【００１６】
【発明が解決しようとする課題】
上述した分離度を用いて適当な大きさ、形状のマスクを設定し、画像に適用し、従来法に効果的なエッジ強度画像を生成することができる。しかし、このような単純な使い方では不十分である。
【００１７】
図３（ａ）で示したような画像データにおける、緩やかなエッジで構成されている対象の物体認識について考える。
【００１８】
この図では、ア、イ、ウ、エの４点に対してエッジ強度を図３（ｂ）に示す。エッジの強度について考えると、対象を構成しているエッジ強度が図３（ｃ）のように単調に変化している場合や撮影時のボケによる影響により弱くなっている場合、二値化によりエッジ画像を作ると、閾値の設定方法によってはエッジ点として抽出されないこともある。
【００１９】
しかし、図３（ａ）のように同じように連続した弱いエッジを持つ場合は物体として認識されなければならない。
【００２０】
このような実際の対象としては人間の目の瞳などがある。
【００２１】
顔画像を通常室内環境で撮影し、撮影された瞳の形状抽出を行おうとする場合、図８において、(1) 〜(3) で示すような問題が挙げられる。
【００２２】
(1) まぶた、まつげ等に瞳の一部を隠されてしまうため推定が不安定である（図８ア）。
【００２３】
(2) 蛍光灯の写り込みにより、非常に強いエッジが画像中にできてしまう（図８イ）。
【００２４】
(3) 虹彩と白目の間はなだらかに変化しており、弱いエッジで構成されている（図８ウ）。
【００２５】
従来の対象認識法は、エッジ強度、エッジ点の幾何学的配置についての考慮はなされているが、隣接するエッジ点同士の関係としてのエッジの方向性とエッジ強度の類似性には着目していない。
【００２６】
例えば、一般化ハフ変換におけるエッジ点同士の関係は、エッジ点の集合として表される幾何学的配置関係のみである。
【００２７】
また、スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけや、最適化のための制御点同士の情報交換等があるが、積極的に関係情報を利用したものではない。また、楕円等の形状をパラメータ表現できる場合、楕円を構成するエッジ点を抽出し、最小自乗法等によって楕円のパラメータを求めることによって、検出を行っていた。しかし、最小自乗法による楕円の当てはめには、最小自乗法に偏差があることが知られていることや楕円の一部が隠されてしまうことによって、推定が不安定になるという問題がある。このように従来の形状抽出はノイズや外乱に弱かった。
【００２８】
そこで、本発明による装置では、ノイズ、外乱に強く、安定した形状認識が行えるものを提供する。
【００２９】
【課題を解決するための手段】
本発明の形状認識装置は、画像を入力する画像入力部と、認識対象物の形状を擬似的に表すモデルの輪郭に沿って２つの領域を有する特徴量抽出領域を設定する特徴量抽出領域設定部と、前記モデルを前記画像に当てはめるための、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するパラメータ設定部と、前記特徴量抽出領域が設定された前記モデルを、前記パラメータに基づいて前記画像に当てはめるモデル適用部と、前記画像に当てはめる前記モデルの前記特徴量抽出領域における分離度を、前記画像から求める特徴量抽出部と、前記分離度が最も高いパラメータを決定するパラメータ決定部と、を有し、前記特徴量抽出領域設定部は、前記モデルの輪郭に沿った第１の側の第１領域と第２の側の第２領域との２つの領域を有する前記特徴量抽出領域を設定し、前記特徴量抽出部は、前記分離度として前記第１領域と前記第２領域との分離度を用い、かつ、前記分離度を、
【数１４】
【００３１】
本発明による装置では、ノイズ、外乱に強く、安定した形状認識が行える。
【００３２】
【発明の実施の形態】
以下に本発明の実施の形態における実施例を説明する。
【００３３】
なお、本実施例は、人間の目の瞳の部分の形状認識を行うという状況での一実施例について説明する。ＣＣＤカラーカメラを用いて取得した顔画像では、図７のように、瞳の形状が楕円として撮影される。この瞳の形状を楕円として近似しその楕円パラメータを求めることについて考える。
【００３４】
形状認識装置１００のブロック図を図１に示す。
【００３５】
画像を入力するために必要なＡ／Ｄ変換や入力変換手段と画像蓄積部からなる画像入力部１０１、取得した画像の前処理するための画像前処理部１０２、そして形状抽出を行う形状抽出部１０３から構成される。
【００３６】
(1) 画像入力部１０１
画像入力部１０１について説明する（図４参照）。
【００３７】
画像入力部１０１は、カラーＣＣＤカメラ１、ビデオボード２、画像を蓄積するメモリ３からなる。なお、画像入力部１０１は、ＣＣＤカメラ１からの入力に限らずビデオ等の映像出力機器やＸ線撮影装置等で得られた画像をビデオボードの端子から入力することもできる。
【００３８】
(2) 画像前処理部１０２
画像前処理部１０２について説明する（図５参照）。
【００３９】
画像入力部１０１に入力された画像を明度画像、色相画像、彩度画像といった画像に変換する演算装置４と、これら変換した画像を保存する画像蓄積部５からなる。
【００４０】
ＣＣＤカメラ１によって取得されたカラー画像はＲ、Ｇ、Ｂの３枚の画像からなる。演算装置４は、画像中のある一点（ｘ，ｙ）のそれぞれのＲ，Ｇ，Ｂ画像の値を、（Ｒ，Ｇ，Ｂ）として、このＲＧＢカラー空間における色表現をＨＳＶカラー空間(Computer Graphics 2nd edition(Addison Wesley)pages 592-593)やＧＨＬＳカラー空間(GLHS:A generalized Lightness,Hue,and Saturation Color Model,Haim Levkowitz and Gabor T.Herman, CVGIP Graphical Models and Image Processing(GMIP)Volume 55,Number 4,July 1993)での色表現に変換する。画像蓄積部５のメモリから、（ｘ，ｙ）の位置に対応するＲ，Ｇ，Ｂ値を読みとり、上記した変換アルゴリズムによって（Ｒ，Ｇ，Ｂ）から（Ｈ，Ｓ，Ｖ）に変換し、その（Ｈ，Ｓ，Ｖ）の値を画像蓄積部５のメモリに記憶させる。
【００４１】
なお、本実施例では、画像入力部１０１と画像前処理部１０２とを別の構成にしたが、これに限らず、両者を一体として画像入力部としてもよい。
【００４２】
(3) 形状抽出部１０３
形状抽出部１０３について説明する（図６参照）。
【００４３】
形状抽出部１０３は３つの構成からなり、マスクを構成するマスク構成部６、各マスク内の特徴量を抽出する特徴量抽出部７、各マスクで得られた特徴量を組み合わせて、形状抽出の評価値を計算する組合せ評価値計算部８からなる。
【００４４】
形状抽出部１０３については、「組合せ分離度」を用いて説明する。
【００４５】
なお、前記で説明した式（１）で求められる分離度を、以下で説明する「組合せ分離度」と区別するために「単純分離度」と呼ぶ。
【００４６】
「組合せ分離度」は先に説明した単純類似度のマスクを、エッジ方向と幾何学的位置関係を考慮して、複数個配置し、それらを関係づける評価関数によって求められる。
【００４７】
図９に示すように楕円状に分離度を求めるためのマスクを配置する。これを部分マスクと呼ぶ。楕円の接線方向に垂直な直線上（エッジ方向）に部分マスクを配置する。そして、各部分マスクについて、各分離度の計算を行う。組合せ分離度Ｃ（０．０≦Ｃ≦１．０）を次式のように定義する。
【００４８】
【数２】
【数３】
【００４９】
Ｇは隣接する部分マスク間の分離度の差をとり、その差が小さいときによい評価を与えるという、複数あるマスク間の幾何学的配置とエッジの類似度を評価する関数である。
【００５０】
部分マスクＭｉ（ｉ＝１〜ｎ）の単純分離度をＳ（Ｍｉ）で表す。各部分マスク間の差の絶対値を取り、１．０から引いた値を各マスク間の「類似度」として定義し、これより次式で表される。
【００５１】
【数４】
【００５２】
【数５】
【００５３】
α、βそれぞれの重みについて実験等によって決定する。一般には、α＝０．５、β＝０．５として評価する。例えば、α＝１、β＝０として、エッジ間の類似度のみを評価するようにすることも可能である。これは、あらかじめ物体の存在する位置等がわかっており、非常にエッジ間の類似度が高い場合に利用される。
【００５４】
式（３）は、Ｇ，Ｅのそれぞれを正規化した値を掛け合わせることによって評価しており、全体のエッジ強度とエッジ間の類似度のバランスに敏感な評価関数となる。
【００５５】
そして、瞳の形状を楕円として抽出する場合の形状抽出部１０３についての機能、動作の説明を行う。
【００５６】
(3-1) マスク構成部６
マスク構成部６は、形状記述記憶部９、アフィン変換計算部１０、組合せマスク構成部１１からなる（図１０参照）。
【００５７】
(3-1-1) 形状記述記憶部９
形状記述記憶部９は、抽出したい形状（モデル）が格納されている。すなわち、モデルはエッジのサンプル点（ｎ個）と、その点におけるエッジの方向の情報が図１１のモデル記述テーブルに格納されている。
【００５８】
楕円の場合では、楕円の中心座標（ｘ０，ｙ０）、半径（長軸の長さの１／２）ｒ、長軸と短軸の比ｂ（０．０＜ｂ≦１．０）、長軸と座標系のＸ軸とのなす角θによって決定される。これらの楕円パラメータを決定し、そのサンプル点（ｘｉ，ｙｉ）を与え、楕円上の点（ｘｉ，ｙｉ）におけるエッジ方向については、中心と点（ｘｉ，ｙｉ）を結ぶ直線がＸ軸となす角度をθｐとすると、エッジ方向は、
【数６】
【００５９】
例えば、図９のように、点（ｘｓ，ｙｓ）では、エッジの方向が矢印のように求められる。このエッジ方向をモデル記述テーブルに記述する。
【００６０】
(3-1-2) アフィン変換計算部１０
アフィン変換計算部１０について説明する。
【００６１】
モデルは図１２のように、画像データ中では平行移動、回転、拡大縮小されている場合がある。モデルにアフィン変換を施し、そのモデルの当てはめを行うことで変換に対応した検出を行う。
【００６２】
図１１のモデル記述テーブルの各点（ｘｉ，ｙｉ）に関して、アフィン変換マトリクスＡは、
【数７】
【数８】
【００６３】
【数９】
【００６４】
抽出したい対象が画像データ中のどの辺りにあるかという探索範囲やどのくらいの抽出精度が必要かに応じて、変換パラメータの変動範囲を決定する。アフィン変換の平行移動成分、回転成分、拡大縮小成分においてそれぞれ、可変範囲と刻みを決定し、その範囲での変換パラメータから変換マトリクスを生成し、一時保管テーブルに登録する。
【００６５】
(3-1-3) 組合せマスク構成部１１
組合わせマスク構成部１１について説明する。
【００６６】
アフィン変換計算部１０で変換された一時保管テーブルに基づいて、計算を行うマスクを設定する。例えば、分離度を用いた場合、分離度マスクは図２のようなマスクを構成する。このときマスクの方向が図９のように、楕円のパラメータ（ｘ，ｙ，ｒ，ｂ，θ）によって計算される楕円上にエッジ方向と平行となるようなマスクを構成する。マスクの大きさ、形状については取得する画像抽出量に応じて定める。なお、本実施例では、矩形のマスク領域を用いて説明する。
【００６７】
(3-2) 特徴量抽出部７
特徴量抽出部７について説明する（図１３参照）。
【００６８】
特徴量抽出部７は、画像メモリ１２、演算装置１３、特徴量蓄積部１４からなる。
【００６９】
(3-2-1) 画像メモリ１２
画像メモリ１２は、画像前処理部１０２で計算された画像を転送し保持する役割をもつ。
【００７０】
(3-2-2) 演算装置１３
演算装置１３は、組合せマスク構成部１１において構成されたマスクにしたがって、画像メモリ１２中に蓄えられている画像の輝度、色相といった値を読みとり、マスクで定義されている特徴量を算出する。
【００７１】
算出された結果は、特徴量蓄積部１４に保存される。この説明では特徴量として分離度を用いているので、各部分マスクについて明度画像を用いて、それぞれの式（１）の分離度を計算し、それぞれの分離度が格納される。式（１）における画像抽出量Ｐｉは、本実施例では分離度を算出するための明度となる。
【００７２】
なお、特徴量として分離度だけではなく、他の特徴量も利用でき、これについては変形例で述べる。
【００７３】
(3-3) 組合せ評価値計算部８
組合せ評価値計算部８は、組合せ特徴量計算部１５、評価値記憶部１６、結果記憶部１７とよりなる（図１４参照）。
【００７４】
組合せ特徴量計算部１５は、式（２）（３）で定義される組合せ分離度Ｃを求める。組合せ分離度Ｃは、式（２）（３）のどちらか一方から演算した値を使用する。
【００７５】
その組合せ分離度Ｃを評価値記憶部１６に登録する。この評価値記憶部１６では、各組合せ分離度Ｃと式（７）の変換のパラメータＡを対にして記憶する。そして、一番高い組合せ分離度Ｃ（最も１に近い組合せ分離度Ｃ）を持つときのパラメータＡが結果記憶部１７に送られる。
【００７６】
(3-4) 形状抽出部１０３の動作
図１５は、形状抽出部１０３の動作をフローチャートに示したものである。
【００７７】
ステップ５１では、マスク構成部６の形状記述記憶部９、アフィン変換計算部１０によって楕円のパラメータが計算される。
【００７８】
ステップ５２では、組合せマスク構成部１１によって、マスク生成が行われる。
【００７９】
ステップ５３では、特徴量抽出部１４により、部分マスクの計算が行われる。
ステップ５４では、組合せ分離度Ｃの計算が、組合せ評価値計算部１５でなされ、そして、評価値記憶部１６では、組合せ分離度Ｃの大きい順にデータをソートする。
【００８０】
ステップ５５では、これにより、組合せ分離度Ｃの更新が行われる。
【００８１】
ステップ５６では、楕円のパラメータを変化させながら、組合せ分離度Ｃの計算を行うが、探索範囲を全て終了したかどうかを判断し、終了の場合、一番高い組合せ分離度Ｃを持つとき（最も１に近い組合せ分離度Ｃ）の楕円パラメータＡを結果記憶部１７に送り、ステップ５７において、その時の楕円パラメータＡを持つ検出楕円とする。終了していない場合、ステップ５１に戻り、楕円パラメータの更新を行い、処理を繰り返す。
【００８２】
(4) 変更例
本発明は上で述べた実施例に限定されるものではない。
【００８３】
全体の構成についての変形例として、画像メモリが各部分に点在するが、これを一つにまとめた構成とし、各演算装置がそのメモリをアクセスできるように構成を変更してもよい。
【００８４】
また、ＣＣＤカメラのみの入力だけでなく、ＭＲＩ画像やＸ線ＣＴ画像、超音波画像、ＳＰＥＣＴ画像等の入力でも可能である。たとえば、人間の肝臓部分の輪郭抽出等に有効と考えられる。
【００８５】
画像前処理部１０２は、色空間の変換だけでなく、平滑化等のフィルタリング等の画像の変換を行うように変形できる。
【００８６】
特徴量抽出部７についての変形例をいくつか挙げる。
【００８７】
本実施例では楕円形状の抽出について述べたが、楕円形状だけに限らず、図１２のように、テーブルの構成内容により、様々な形状に対応可能である。
【００８８】
組合せ特徴量について次のように変形できる。
【００８９】
上記実施例で説明した複数のマスクで計算される特徴量から評価値を算出するだけでなく、予め決められた形状をした一つのマスクを用いて特徴量を算出し、それを評価値として用いる。この一つのマスクの形状はモデルを参考にして決定する。
【００９０】
例えば、図１８のような、楕円の輪郭に沿った、２つの領域の分離度を計算し、それを評価関数とする。
【００９１】
この場合の組合せマスク構成部の変形例は、図１８のように、一時保管テーブルに基づいて楕円の輪郭に沿って、２つの領域を設定する。各領域の面積などについては、画像抽出量に応じて定める。
【００９２】
また、予め決められた形状をもつマスクを一つだけ用いた方法の場合の組合せ評価値計算部の変形例として、評価値Ｃの計算方法を
（数２）についてα，β＝１，ｎ＝１，Ｇ＝０
（数３）についてｎ＝１，Ｇ＝１
として、計算する。
【００９３】
分離度はテクスチャ画像のエッジ強度等も計算できるため、複雑なテクスチャ中の形状認識等も可能となる。また、本実施例のように明度画像のみを用いるのではなく、他の画像前処理部で得られる色相画像等を用いた、様々な分離度を計算できる。
【００９４】
組合せ特徴量についての計算式を次のような形に変形できる。
【００９５】
【数１０】
【００９６】
特徴量として分離度だけではなく、他の特徴量も利用できる。例えば、Sobel フィルタによるエッジ抽出によってエッジ強度を計算し、特徴量として利用する。この場合もエッジの強度の類似度を計算する。しかし、Sobel フィルタでは、分離度とは異なりマスク形状の方向性はない。そこで、計算されたエッジの方向における隣接したエッジ点の同士の類似度を計算する式を次のように定義し、隣接した２つのエッジ点のエッジ方向の角度をθ１、θ２とする。θ１、θ２が直交するとき最小となる角度間の評価関数を
【数１１】
【００９７】
また前述のように、分離度以外の特徴量を用いる場合、特徴量を計算するマスクが必要のない場合も存在する。マスク構成部を除いた構成に変形しても良い。
【００９８】
特徴量抽出部の動作は、図１５に示したように、繰り返し計算による探索だけではない。別の例として、図１６のように、予め数種類のエッジ方向のマスクを画像に適用しておき、多数のエッジ強度画像を作成しておく。そして、パラメータ空間を用意しておき、すべてのエッジ強度画像から得られた特徴量をパラメータ空間に投票を行う。そしてパラメータ空間のピークの位置を検出するといった、ハフ変換に似たアルゴリズムを用いる変形例がある。
【００９９】
また、本実施例は瞳の形状抽出について説明したが、先に示したように、その他の形状抽出も可能であると述べた。この時並列に異なる形状テーブルのものを探索することによって、複数形状を同時に抽出できるように拡張が可能である。具体的な応用としては、口形状を抽出する場合に有効である。図１７（ａ）（ｂ）（ｃ）（ｄ）のように、口の開け方（大きさ）に応じたいくつかの口形状モデルを用意する。そしてそれぞれに対して、図１７（ｄ）のように、分離度マスクを設定し抽出を行う。
【０１００】
また、一つのモデルが、画像データ中に複数の存在し、同時に複数個選択したい場合、評価値記憶部１６に記録されている候補から複数結果を出力するように、評価値記憶部１７と結果記憶部１８を変形できる。
【０１０１】
以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。
【０１０２】
【発明の効果】
本発明によれば、最も評価の高いと判断されたパラメータに基づいて、楕円形状のモデルを画像に当てはめると、その楕円形状のモデルの位置、姿勢、大きさで決定される箇所に、目的の形状が存在する。したがって、ロバストな形状認識が行え、さまざまな画像処理装置で応用が可能である。
【図面の簡単な説明】
【図１】形状認識装置のブロック図である。
【図２】分離度を示す図である。
【図３】弱いエッジで構成される物体の認識を示す図である。
（ａ）は、弱いエッジで構成される物体の図である。
（ｂ）は、エッジ強度を示すテーブルである。
（ｃ）は、明度分布のグラフである。
【図４】画像入力部のブロック図である。
【図５】画像前処理部のブロック図である。
【図６】形状抽出部のブロック図である。
【図７】楕円形状として撮影される瞳を示す図である。
【図８】目を取得した画像の不安定性を示す図である。
（ａ）は、目の正面図である。
（ｂ）は、明度分布のグラフである。
【図９】組合せ分離度マスクを示す図である。
【図１０】マスク構成部のブロック図である。
【図１１】モデル記述テーブルを示す図である。
【図１２】モデルと画像データのアフィン変換による関係を示す図である。
【図１３】特徴量抽出部のブロック図である。
【図１４】組合せ評価値計算部のブロック図である。
【図１５】形状抽出部のフローチャートである。
【図１６】形状抽出部の変形例の概念図である。
【図１７】口形状の検出を示す図である。
【図１８】変形例におけるマスク領域の説明図である。
【符号の説明】
１００ 形状認識装置
１０１ 画像入力部
１０２ 画像前処理部
１０３ 形状抽出部
Claims (4)
- 画像を入力する画像入力部と、
認識対象物の形状を擬似的に表すモデルの輪郭に沿って２つの領域を有する特徴量抽出領域を設定する特徴量抽出領域設定部と、
前記モデルを前記画像に当てはめるための、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するパラメータ設定部と、
前記モデルを、前記設定されたパラメータを変動させつつ前記画像にそれぞれ当てはめるモデル適用部と、
前記画像にそれぞれ当てはめた前記パラメータが異なるモデルにおける前記特徴量抽出領域の２つの領域の分離度を、前記画像からそれぞれ求める特徴量抽出部と、
前記パラメータが異なる分離度の中で最も高い分離度に対応するパラメータを決定するパラメータ決定部と、
を有し、
前記特徴量抽出領域設定部は、前記モデルの輪郭に沿った一方の側の第１領域と他方の側の第２領域との２つの領域を有する前記特徴量抽出領域を設定し、
前記特徴量抽出部は、前記分離度として前記第１領域と前記第２領域との分離度を用い、かつ、前記分離度を、
ことを特徴とする形状認識装置。 - 前記特徴量抽出領域設定部は円または楕円形状のモデルを用いる
ことを特徴とする請求項１に記載の形状認識装置。 - 画像を入力し、
認識対象物の形状を擬似的に表すモデルの輪郭に沿って２つの領域を有する特徴量抽出領域を設定し、
前記モデルを前記画像に当てはめるための、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定し、
前記モデルを、前記設定されたパラメータを変動させつつ前記画像にそれぞれ当てはめ、
前記画像にそれぞれ当てはめた前記パラメータが異なるモデルにおける前記特徴量抽出領域の２つの領域の分離度を、前記画像からそれぞれ求め、
前記パラメータが異なる分離度の中で最も高い分離度に対応するパラメータを決定し、
前記設定された特徴量抽出領域は、前記モデルの輪郭に沿った一方の側の第１領域と他方の側の第２領域との２つの領域を有し、
前記分離度として前記第１領域と前記第２領域との分離度を用い、かつ、前記分離度を、
ことを特徴とする形状認識方法。 - 前記特徴量抽出領域を設定するときに円または楕円形状のモデルを用いる
ことを特徴とする請求項３に記載の形状認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23025795A JP3797686B2 (ja) | 1995-09-07 | 1995-09-07 | 形状認識装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23025795A JP3797686B2 (ja) | 1995-09-07 | 1995-09-07 | 形状認識装置及びその方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005272970A Division JP4185083B2 (ja) | 2005-09-20 | 2005-09-20 | 形状認識装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0973544A JPH0973544A (ja) | 1997-03-18 |
| JP3797686B2 true JP3797686B2 (ja) | 2006-07-19 |
Family
ID=16904975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23025795A Expired - Lifetime JP3797686B2 (ja) | 1995-09-07 | 1995-09-07 | 形状認識装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3797686B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010239992A (ja) * | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | 人物同定装置、人物同定方法、及び人物同定プログラム |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003512112A (ja) * | 1999-10-21 | 2003-04-02 | アーチ・デベロップメント・コーポレーション | 弾性的照合を用いる対側性および時間的な減法画像のコンピュータ化処理のための方法、システムおよびコンピュータ可読媒体 |
| EP1107166A3 (en) | 1999-12-01 | 2008-08-06 | Matsushita Electric Industrial Co., Ltd. | Device and method for face image extraction, and recording medium having recorded program for the method |
| JP2001222719A (ja) * | 1999-12-01 | 2001-08-17 | Matsushita Electric Ind Co Ltd | 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体 |
| EP1260935B1 (en) | 2001-05-22 | 2006-07-12 | Matsushita Electric Industrial Co., Ltd. | Face detection device, face pose detection device, partial image extraction device, and methods for said devices |
| US7403641B2 (en) | 2004-05-28 | 2008-07-22 | Matsushita Electric Works, Ltd. | Object recognition system |
| KR101224408B1 (ko) * | 2005-01-26 | 2013-01-22 | 허니웰 인터내셔널 인코포레이티드 | 원격 홍채 인식 시스템 |
| JP5418324B2 (ja) * | 2010-03-16 | 2014-02-19 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 |
| JP7087058B2 (ja) * | 2017-07-11 | 2022-06-20 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド | 複数の候補を用いた画像ベースの管頭部円検出 |
| JP2021111066A (ja) * | 2020-01-08 | 2021-08-02 | 株式会社科学計算総合研究所 | 情報処理システム、情報処理方法及びプログラム |
| CN115116147B (zh) * | 2022-06-06 | 2023-08-08 | 马上消费金融股份有限公司 | 图像识别、模型训练、活体检测方法及相关装置 |
-
1995
- 1995-09-07 JP JP23025795A patent/JP3797686B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010239992A (ja) * | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | 人物同定装置、人物同定方法、及び人物同定プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0973544A (ja) | 1997-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8300950B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP7149692B2 (ja) | 画像処理装置、画像処理方法 | |
| Fisher et al. | Dictionary of computer vision and image processing | |
| JP4161659B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
| Mortensen et al. | A SIFT descriptor with global context | |
| US9968845B2 (en) | Image processing device and image processing method, and program | |
| US7035461B2 (en) | Method for detecting objects in digital images | |
| JP5574033B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
| JP3797686B2 (ja) | 形状認識装置及びその方法 | |
| CN106981077A (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
| JP7077046B2 (ja) | 情報処理装置、被写体の判別方法及びコンピュータプログラム | |
| JP4993615B2 (ja) | 画像認識方法および装置 | |
| CN105975906B (zh) | 一种基于面积特征的pca静态手势识别方法 | |
| Hossein-Nejad et al. | Clustered redundant keypoint elimination method for image mosaicing using a new Gaussian-weighted blending algorithm | |
| Van Ginneken et al. | A non-linear gray-level appearance model improves active shape model segmentation | |
| CN113269029B (zh) | 一种多模态及多特征的指静脉图像识别方法 | |
| JP4185083B2 (ja) | 形状認識装置及びその方法 | |
| JPH11110542A (ja) | パターン抽出方法および装置、そのプログラムを記録した媒体 | |
| Wei et al. | An algorithm for segmentation of lung ROI by mean-shift clustering combined with multi-scale HESSIAN matrix dot filtering | |
| JP4020465B2 (ja) | 画像中の腫瘤影の検出装置及び方法並びに腫瘤影検出プログラムを記録した記録媒体 | |
| Funtanilla | GIS pattern recognition and rejection analysis using MATLAB | |
| Vámossy et al. | Virtual hand-hand gesture recognition system | |
| Liu | Noise reduction method for skeletonized images | |
| Teelen | Geometric uncertainty models for correspondence problems in digital image processing | |
| Lutsiv et al. | Modeling attention zones on the basis of an analysis of local features of the image texture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060418 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |