JP3797686B2 - 形状認識装置及びその方法 - Google Patents
形状認識装置及びその方法 Download PDFInfo
- Publication number
- JP3797686B2 JP3797686B2 JP23025795A JP23025795A JP3797686B2 JP 3797686 B2 JP3797686 B2 JP 3797686B2 JP 23025795 A JP23025795 A JP 23025795A JP 23025795 A JP23025795 A JP 23025795A JP 3797686 B2 JP3797686 B2 JP 3797686B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- separation
- feature amount
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理における形状認識装置及びその方法に関する。
【0002】
【従来の技術】
モデル当てはめにより形状を抽出する方法としては次のようなものがある。
【0003】
テンプレートマッチングは、一定の曲線や画像としてモデルを記述し、モデルと対象画像の間の類似度を判定することによって対象認識を行う。このテンプレートマッチングには、モデルの記述として画像の明度分布をそのまま用いるものと、二値画像を用いてモデルの形状をエッジ点の集合として表現するものがある。前者は明度分布の類似度を測ることによって形状認識を行う。後者は、まず画像の明度分布に基づいてエッジの強度画像を作り、そのエッジ強度画像を二値化することによって二値画像を作る。そして、二値画像の点集合とモデルの点集合の類似度を計算するというものである。
【0004】
一般化ハフ変換(Ballard,D.H.“Generalizing the Hough transform to detect arbitary shapes" Pattern Recognition.13,111-122(1981)) は、モデルを輪郭線上の点のリストとして記述し、その平行移動、回転、拡大縮小の表すパラメータが使われる。この変換は、パラメータ空間への”投票”によって、パターンが表すもっとも適切なパラメータの位置に局所的なピークを形成するように変換される。このハフ変換は、部分的にデータが欠けているような場合でもうまく照合が行えるといった利点がある。
【0005】
次に、モデルと画像データとの適合性がある目的関数(エネルギ)によって測られ、その関数の値の最小化などによってモデルの照合が行われるものがある。例えば最近では、スネーク(M.Kass,A.Witkin,D.Terzopouls,“Snakes:Active Contour Models",In Proc.1st Int.Conf.on Computer Vision,pp.259-268(1987)) などがある。
【0006】
これらのモデル当てはめには、生の画像データをそのまま用いるもの、または対象のもつ他の特徴、例えばエッジ強調フィルタや線強調フィルタといった低レベルの画像処理を行った画像データを使うものもある。
【0007】
本発明では、エッジデータを用いて、ノイズ、外乱に強い安定した形状認識について考える。そのためにまず、物体輪郭や物体内部の構造を反映したエッジ情報を抽出する手法について挙げる。
【0008】
エッジの抽出方法には、画像の明度勾配に基づく方法とエッジ近傍領域の情報に基づく方法がある。画像の明度勾配に基づく方法は、明度勾配が急激に変化する位置をエッジとして抽出するもので、1次微分型のRoberts、Prowitt、Sobel や2次微分型のLaplacian などの方法がある。エッジ近傍領域の情報に基づく方法としては、エッジモデルの当てはめを局所領域に対して行うHueckel の方法などがある。
【0009】
明度勾配に基づいたエッジ抽出は、弱いエッジを抽出できないといった問題や色相画像など他のエッジ強度に拡張し難いといった問題がある。明度勾配エッジ抽出を用いた、従来法の対象認識についての問題点をまとめる。
【0010】
テンプレートマッチングはテンプレートに対して、画像データにわずかな変動があった場合に弱いという特徴を持つ。一般化ハフ変換については、エッジ点の数に投票数が影響を受ける。エッジ点の有無のみが問題となり、エッジ抽出の性能の影響を非常に受ける。スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけによって、柔軟でノイズに強いという性質を持つ。しかし、なお局所的なエネルギーの最小値に落ち込むという欠点がある。
【0011】
これらの問題を解決するために、エッジ近傍領域の情報に基づく方法を用いることが考えられる。エッジを画像の明度だけでなく、色、テクスチャの異なる領域間の境界としてとらえ、エッジ強度をこれら領域間の特徴量から計算する方法として、“領域間の分離度に基づくエッジ抽出、情報処理学会コンピュータビジョン研究会資料87-1(1994)”が提案されている。
【0012】
「分離度」とは、データの集合を幾つかの部分集合に分割した場合に、それぞれの部分集合がどの程度分離されているかを表す量である。これは、集合全体のデータの特徴に対する部分集合のデータの特徴の割合で表され、その値は0.0〜1.0の値をとる。
【0013】
今、図2のように、画像中の2つの領域を上記の2つの集合と考えた場合、分離度が大きい程、領域の境界に、強いエッジが存在することになる。つまり、ある画素を境とする2つの領域について考えると、その画素における分離度が大きければ、その画素には強いエッジが存在するということができる。
【0014】
分離度Sは次の式で与えられる。
【0015】
【数1】
この手法はエッジを安定に抽出できるという利点があるものの、逆に、分離度は画像抽出量の差に依存したものではないため、対象物のエッジを抽出するためには分離度をそのまま用いるには不十分であるとの観点から、重みつき分離度(特願平7−7499号)も提案されている。重みつき分離度は、対象物の存在位置、色情報、テクスチャ情報などを利用して選択的に対象物のエッジを抽出することを目的として、位置に関する重み付けと画像特徴の重み付けを分離度の式に組込んだ形をとる。
【0016】
【発明が解決しようとする課題】
上述した分離度を用いて適当な大きさ、形状のマスクを設定し、画像に適用し、従来法に効果的なエッジ強度画像を生成することができる。しかし、このような単純な使い方では不十分である。
【0017】
図3(a)で示したような画像データにおける、緩やかなエッジで構成されている対象の物体認識について考える。
【0018】
この図では、ア、イ、ウ、エの4点に対してエッジ強度を図3(b)に示す。エッジの強度について考えると、対象を構成しているエッジ強度が図3(c)のように単調に変化している場合や撮影時のボケによる影響により弱くなっている場合、二値化によりエッジ画像を作ると、閾値の設定方法によってはエッジ点として抽出されないこともある。
【0019】
しかし、図3(a)のように同じように連続した弱いエッジを持つ場合は物体として認識されなければならない。
【0020】
このような実際の対象としては人間の目の瞳などがある。
【0021】
顔画像を通常室内環境で撮影し、撮影された瞳の形状抽出を行おうとする場合、図8において、(1) 〜(3) で示すような問題が挙げられる。
【0022】
(1) まぶた、まつげ等に瞳の一部を隠されてしまうため推定が不安定である(図8ア)。
【0023】
(2) 蛍光灯の写り込みにより、非常に強いエッジが画像中にできてしまう(図8イ)。
【0024】
(3) 虹彩と白目の間はなだらかに変化しており、弱いエッジで構成されている(図8ウ)。
【0025】
従来の対象認識法は、エッジ強度、エッジ点の幾何学的配置についての考慮はなされているが、隣接するエッジ点同士の関係としてのエッジの方向性とエッジ強度の類似性には着目していない。
【0026】
例えば、一般化ハフ変換におけるエッジ点同士の関係は、エッジ点の集合として表される幾何学的配置関係のみである。
【0027】
また、スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけや、最適化のための制御点同士の情報交換等があるが、積極的に関係情報を利用したものではない。また、楕円等の形状をパラメータ表現できる場合、楕円を構成するエッジ点を抽出し、最小自乗法等によって楕円のパラメータを求めることによって、検出を行っていた。しかし、最小自乗法による楕円の当てはめには、最小自乗法に偏差があることが知られていることや楕円の一部が隠されてしまうことによって、推定が不安定になるという問題がある。このように従来の形状抽出はノイズや外乱に弱かった。
【0028】
そこで、本発明による装置では、ノイズ、外乱に強く、安定した形状認識が行えるものを提供する。
【0029】
【課題を解決するための手段】
本発明の形状認識装置は、画像を入力する画像入力部と、認識対象物の形状を擬似的に表すモデルの輪郭に沿って2つの領域を有する特徴量抽出領域を設定する特徴量抽出領域設定部と、前記モデルを前記画像に当てはめるための、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するパラメータ設定部と、前記特徴量抽出領域が設定された前記モデルを、前記パラメータに基づいて前記画像に当てはめるモデル適用部と、前記画像に当てはめる前記モデルの前記特徴量抽出領域における分離度を、前記画像から求める特徴量抽出部と、前記分離度が最も高いパラメータを決定するパラメータ決定部と、を有し、前記特徴量抽出領域設定部は、前記モデルの輪郭に沿った第1の側の第1領域と第2の側の第2領域との2つの領域を有する前記特徴量抽出領域を設定し、前記特徴量抽出部は、前記分離度として前記第1領域と前記第2領域との分離度を用い、かつ、前記分離度を、
【数14】
に基づいて求めることを特徴とする。
【0031】
本発明による装置では、ノイズ、外乱に強く、安定した形状認識が行える。
【0032】
【発明の実施の形態】
以下に本発明の実施の形態における実施例を説明する。
【0033】
なお、本実施例は、人間の目の瞳の部分の形状認識を行うという状況での一実施例について説明する。CCDカラーカメラを用いて取得した顔画像では、図7のように、瞳の形状が楕円として撮影される。この瞳の形状を楕円として近似しその楕円パラメータを求めることについて考える。
【0034】
形状認識装置100のブロック図を図1に示す。
【0035】
画像を入力するために必要なA/D変換や入力変換手段と画像蓄積部からなる画像入力部101、取得した画像の前処理するための画像前処理部102、そして形状抽出を行う形状抽出部103から構成される。
【0036】
(1) 画像入力部101
画像入力部101について説明する(図4参照)。
【0037】
画像入力部101は、カラーCCDカメラ1、ビデオボード2、画像を蓄積するメモリ3からなる。なお、画像入力部101は、CCDカメラ1からの入力に限らずビデオ等の映像出力機器やX線撮影装置等で得られた画像をビデオボードの端子から入力することもできる。
【0038】
(2) 画像前処理部102
画像前処理部102について説明する(図5参照)。
【0039】
画像入力部101に入力された画像を明度画像、色相画像、彩度画像といった画像に変換する演算装置4と、これら変換した画像を保存する画像蓄積部5からなる。
【0040】
CCDカメラ1によって取得されたカラー画像はR、G、Bの3枚の画像からなる。演算装置4は、画像中のある一点(x,y)のそれぞれのR,G,B画像の値を、(R,G,B)として、このRGBカラー空間における色表現をHSVカラー空間(Computer Graphics 2nd edition(Addison Wesley)pages 592-593)やGHLSカラー空間(GLHS:A generalized Lightness,Hue,and Saturation Color Model,Haim Levkowitz and Gabor T.Herman, CVGIP Graphical Models and Image Processing(GMIP)Volume 55,Number 4,July 1993)での色表現に変換する。画像蓄積部5のメモリから、(x,y)の位置に対応するR,G,B値を読みとり、上記した変換アルゴリズムによって(R,G,B)から(H,S,V)に変換し、その(H,S,V)の値を画像蓄積部5のメモリに記憶させる。
【0041】
なお、本実施例では、画像入力部101と画像前処理部102とを別の構成にしたが、これに限らず、両者を一体として画像入力部としてもよい。
【0042】
(3) 形状抽出部103
形状抽出部103について説明する(図6参照)。
【0043】
形状抽出部103は3つの構成からなり、マスクを構成するマスク構成部6、各マスク内の特徴量を抽出する特徴量抽出部7、各マスクで得られた特徴量を組み合わせて、形状抽出の評価値を計算する組合せ評価値計算部8からなる。
【0044】
形状抽出部103については、「組合せ分離度」を用いて説明する。
【0045】
なお、前記で説明した式(1)で求められる分離度を、以下で説明する「組合せ分離度」と区別するために「単純分離度」と呼ぶ。
【0046】
「組合せ分離度」は先に説明した単純類似度のマスクを、エッジ方向と幾何学的位置関係を考慮して、複数個配置し、それらを関係づける評価関数によって求められる。
【0047】
図9に示すように楕円状に分離度を求めるためのマスクを配置する。これを部分マスクと呼ぶ。楕円の接線方向に垂直な直線上(エッジ方向)に部分マスクを配置する。そして、各部分マスクについて、各分離度の計算を行う。組合せ分離度C(0.0≦C≦1.0)を次式のように定義する。
【0048】
【数2】
または、
【数3】
但しG,Eは次のようにして求められる。
【0049】
Gは隣接する部分マスク間の分離度の差をとり、その差が小さいときによい評価を与えるという、複数あるマスク間の幾何学的配置とエッジの類似度を評価する関数である。
【0050】
部分マスクMi(i=1〜n)の単純分離度をS(Mi)で表す。各部分マスク間の差の絶対値を取り、1.0から引いた値を各マスク間の「類似度」として定義し、これより次式で表される。
【0051】
【数4】
Eは各部分マスクで計算された分離度の総和を取り、全体のエッジ強度を表す。
【0052】
【数5】
G,Eの値が、0≦G、E≦nとなるため、式(2)のように、正規化を行う。
【0053】
α、βそれぞれの重みについて実験等によって決定する。一般には、α=0.5、β=0.5として評価する。例えば、α=1、β=0として、エッジ間の類似度のみを評価するようにすることも可能である。これは、あらかじめ物体の存在する位置等がわかっており、非常にエッジ間の類似度が高い場合に利用される。
【0054】
式(3)は、G,Eのそれぞれを正規化した値を掛け合わせることによって評価しており、全体のエッジ強度とエッジ間の類似度のバランスに敏感な評価関数となる。
【0055】
そして、瞳の形状を楕円として抽出する場合の形状抽出部103についての機能、動作の説明を行う。
【0056】
(3-1) マスク構成部6
マスク構成部6は、形状記述記憶部9、アフィン変換計算部10、組合せマスク構成部11からなる(図10参照)。
【0057】
(3-1-1) 形状記述記憶部9
形状記述記憶部9は、抽出したい形状(モデル)が格納されている。すなわち、モデルはエッジのサンプル点(n個)と、その点におけるエッジの方向の情報が図11のモデル記述テーブルに格納されている。
【0058】
楕円の場合では、楕円の中心座標(x0,y0)、半径(長軸の長さの1/2)r、長軸と短軸の比b(0.0<b≦1.0)、長軸と座標系のX軸とのなす角θによって決定される。これらの楕円パラメータを決定し、そのサンプル点(xi,yi)を与え、楕円上の点(xi,yi)におけるエッジ方向については、中心と点(xi,yi)を結ぶ直線がX軸となす角度をθpとすると、エッジ方向は、
【数6】
で計算される。
【0059】
例えば、図9のように、点(xs,ys)では、エッジの方向が矢印のように求められる。このエッジ方向をモデル記述テーブルに記述する。
【0060】
(3-1-2) アフィン変換計算部10
アフィン変換計算部10について説明する。
【0061】
モデルは図12のように、画像データ中では平行移動、回転、拡大縮小されている場合がある。モデルにアフィン変換を施し、そのモデルの当てはめを行うことで変換に対応した検出を行う。
【0062】
図11のモデル記述テーブルの各点(xi,yi)に関して、アフィン変換マトリクスAは、
【数7】
を
【数8】
に対して以下のようにp’を求める。但し、Tは平行移動、Rは回転変換、Zは相似変換の行列を表す。
【0063】
【数9】
このp’を別に用意する一時保管テーブルに登録する。また、このアフィン変換の回転成分Rをそれぞれのエッジ方向に足し合わせて、同様に一時保管テーブルに登録する。
【0064】
抽出したい対象が画像データ中のどの辺りにあるかという探索範囲やどのくらいの抽出精度が必要かに応じて、変換パラメータの変動範囲を決定する。アフィン変換の平行移動成分、回転成分、拡大縮小成分においてそれぞれ、可変範囲と刻みを決定し、その範囲での変換パラメータから変換マトリクスを生成し、一時保管テーブルに登録する。
【0065】
(3-1-3) 組合せマスク構成部11
組合わせマスク構成部11について説明する。
【0066】
アフィン変換計算部10で変換された一時保管テーブルに基づいて、計算を行うマスクを設定する。例えば、分離度を用いた場合、分離度マスクは図2のようなマスクを構成する。このときマスクの方向が図9のように、楕円のパラメータ(x,y,r,b,θ)によって計算される楕円上にエッジ方向と平行となるようなマスクを構成する。マスクの大きさ、形状については取得する画像抽出量に応じて定める。なお、本実施例では、矩形のマスク領域を用いて説明する。
【0067】
(3-2) 特徴量抽出部7
特徴量抽出部7について説明する(図13参照)。
【0068】
特徴量抽出部7は、画像メモリ12、演算装置13、特徴量蓄積部14からなる。
【0069】
(3-2-1) 画像メモリ12
画像メモリ12は、画像前処理部102で計算された画像を転送し保持する役割をもつ。
【0070】
(3-2-2) 演算装置13
演算装置13は、組合せマスク構成部11において構成されたマスクにしたがって、画像メモリ12中に蓄えられている画像の輝度、色相といった値を読みとり、マスクで定義されている特徴量を算出する。
【0071】
算出された結果は、特徴量蓄積部14に保存される。この説明では特徴量として分離度を用いているので、各部分マスクについて明度画像を用いて、それぞれの式(1)の分離度を計算し、それぞれの分離度が格納される。式(1)における画像抽出量Piは、本実施例では分離度を算出するための明度となる。
【0072】
なお、特徴量として分離度だけではなく、他の特徴量も利用でき、これについては変形例で述べる。
【0073】
(3-3) 組合せ評価値計算部8
組合せ評価値計算部8は、組合せ特徴量計算部15、評価値記憶部16、結果記憶部17とよりなる(図14参照)。
【0074】
組合せ特徴量計算部15は、式(2)(3)で定義される組合せ分離度Cを求める。組合せ分離度Cは、式(2)(3)のどちらか一方から演算した値を使用する。
【0075】
その組合せ分離度Cを評価値記憶部16に登録する。この評価値記憶部16では、各組合せ分離度Cと式(7)の変換のパラメータAを対にして記憶する。そして、一番高い組合せ分離度C(最も1に近い組合せ分離度C)を持つときのパラメータAが結果記憶部17に送られる。
【0076】
(3-4) 形状抽出部103の動作
図15は、形状抽出部103の動作をフローチャートに示したものである。
【0077】
ステップ51では、マスク構成部6の形状記述記憶部9、アフィン変換計算部10によって楕円のパラメータが計算される。
【0078】
ステップ52では、組合せマスク構成部11によって、マスク生成が行われる。
【0079】
ステップ53では、特徴量抽出部14により、部分マスクの計算が行われる。
ステップ54では、組合せ分離度Cの計算が、組合せ評価値計算部15でなされ、そして、評価値記憶部16では、組合せ分離度Cの大きい順にデータをソートする。
【0080】
ステップ55では、これにより、組合せ分離度Cの更新が行われる。
【0081】
ステップ56では、楕円のパラメータを変化させながら、組合せ分離度Cの計算を行うが、探索範囲を全て終了したかどうかを判断し、終了の場合、一番高い組合せ分離度Cを持つとき(最も1に近い組合せ分離度C)の楕円パラメータAを結果記憶部17に送り、ステップ57において、その時の楕円パラメータAを持つ検出楕円とする。終了していない場合、ステップ51に戻り、楕円パラメータの更新を行い、処理を繰り返す。
【0082】
(4) 変更例
本発明は上で述べた実施例に限定されるものではない。
【0083】
全体の構成についての変形例として、画像メモリが各部分に点在するが、これを一つにまとめた構成とし、各演算装置がそのメモリをアクセスできるように構成を変更してもよい。
【0084】
また、CCDカメラのみの入力だけでなく、MRI画像やX線CT画像、超音波画像、SPECT画像等の入力でも可能である。たとえば、人間の肝臓部分の輪郭抽出等に有効と考えられる。
【0085】
画像前処理部102は、色空間の変換だけでなく、平滑化等のフィルタリング等の画像の変換を行うように変形できる。
【0086】
特徴量抽出部7についての変形例をいくつか挙げる。
【0087】
本実施例では楕円形状の抽出について述べたが、楕円形状だけに限らず、図12のように、テーブルの構成内容により、様々な形状に対応可能である。
【0088】
組合せ特徴量について次のように変形できる。
【0089】
上記実施例で説明した複数のマスクで計算される特徴量から評価値を算出するだけでなく、予め決められた形状をした一つのマスクを用いて特徴量を算出し、それを評価値として用いる。この一つのマスクの形状はモデルを参考にして決定する。
【0090】
例えば、図18のような、楕円の輪郭に沿った、2つの領域の分離度を計算し、それを評価関数とする。
【0091】
この場合の組合せマスク構成部の変形例は、図18のように、一時保管テーブルに基づいて楕円の輪郭に沿って、2つの領域を設定する。各領域の面積などについては、画像抽出量に応じて定める。
【0092】
また、予め決められた形状をもつマスクを一つだけ用いた方法の場合の組合せ評価値計算部の変形例として、評価値Cの計算方法を
(数2)についてα,β=1,n=1,G=0
(数3)についてn=1,G=1
として、計算する。
【0093】
分離度はテクスチャ画像のエッジ強度等も計算できるため、複雑なテクスチャ中の形状認識等も可能となる。また、本実施例のように明度画像のみを用いるのではなく、他の画像前処理部で得られる色相画像等を用いた、様々な分離度を計算できる。
【0094】
組合せ特徴量についての計算式を次のような形に変形できる。
【0095】
【数10】
これにより、C’の値は、0.0〜1.0の間に収まらなくなるが、値の大きなものを形状として抽出することができる。このように、様々に評価関数を設定でき、組合せた特徴量のもっとも高い値を持つときの形状パラメータを求めることができる。
【0096】
特徴量として分離度だけではなく、他の特徴量も利用できる。例えば、Sobel フィルタによるエッジ抽出によってエッジ強度を計算し、特徴量として利用する。この場合もエッジの強度の類似度を計算する。しかし、Sobel フィルタでは、分離度とは異なりマスク形状の方向性はない。そこで、計算されたエッジの方向における隣接したエッジ点の同士の類似度を計算する式を次のように定義し、隣接した2つのエッジ点のエッジ方向の角度をθ1、θ2とする。θ1、θ2が直交するとき最小となる角度間の評価関数を
【数11】
のように設定し、この評価関数を組み込んだ形式に変形する。
【0097】
また前述のように、分離度以外の特徴量を用いる場合、特徴量を計算するマスクが必要のない場合も存在する。マスク構成部を除いた構成に変形しても良い。
【0098】
特徴量抽出部の動作は、図15に示したように、繰り返し計算による探索だけではない。別の例として、図16のように、予め数種類のエッジ方向のマスクを画像に適用しておき、多数のエッジ強度画像を作成しておく。そして、パラメータ空間を用意しておき、すべてのエッジ強度画像から得られた特徴量をパラメータ空間に投票を行う。そしてパラメータ空間のピークの位置を検出するといった、ハフ変換に似たアルゴリズムを用いる変形例がある。
【0099】
また、本実施例は瞳の形状抽出について説明したが、先に示したように、その他の形状抽出も可能であると述べた。この時並列に異なる形状テーブルのものを探索することによって、複数形状を同時に抽出できるように拡張が可能である。具体的な応用としては、口形状を抽出する場合に有効である。図17(a)(b)(c)(d)のように、口の開け方(大きさ)に応じたいくつかの口形状モデルを用意する。そしてそれぞれに対して、図17(d)のように、分離度マスクを設定し抽出を行う。
【0100】
また、一つのモデルが、画像データ中に複数の存在し、同時に複数個選択したい場合、評価値記憶部16に記録されている候補から複数結果を出力するように、評価値記憶部17と結果記憶部18を変形できる。
【0101】
以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。
【0102】
【発明の効果】
本発明によれば、最も評価の高いと判断されたパラメータに基づいて、楕円形状のモデルを画像に当てはめると、その楕円形状のモデルの位置、姿勢、大きさで決定される箇所に、目的の形状が存在する。したがって、ロバストな形状認識が行え、さまざまな画像処理装置で応用が可能である。
【図面の簡単な説明】
【図1】形状認識装置のブロック図である。
【図2】分離度を示す図である。
【図3】弱いエッジで構成される物体の認識を示す図である。
(a)は、弱いエッジで構成される物体の図である。
(b)は、エッジ強度を示すテーブルである。
(c)は、明度分布のグラフである。
【図4】画像入力部のブロック図である。
【図5】画像前処理部のブロック図である。
【図6】形状抽出部のブロック図である。
【図7】楕円形状として撮影される瞳を示す図である。
【図8】目を取得した画像の不安定性を示す図である。
(a)は、目の正面図である。
(b)は、明度分布のグラフである。
【図9】組合せ分離度マスクを示す図である。
【図10】マスク構成部のブロック図である。
【図11】モデル記述テーブルを示す図である。
【図12】モデルと画像データのアフィン変換による関係を示す図である。
【図13】特徴量抽出部のブロック図である。
【図14】組合せ評価値計算部のブロック図である。
【図15】形状抽出部のフローチャートである。
【図16】形状抽出部の変形例の概念図である。
【図17】口形状の検出を示す図である。
【図18】変形例におけるマスク領域の説明図である。
【符号の説明】
100 形状認識装置
101 画像入力部
102 画像前処理部
103 形状抽出部
Claims (4)
- 画像を入力する画像入力部と、
認識対象物の形状を擬似的に表すモデルの輪郭に沿って2つの領域を有する特徴量抽出領域を設定する特徴量抽出領域設定部と、
前記モデルを前記画像に当てはめるための、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するパラメータ設定部と、
前記モデルを、前記設定されたパラメータを変動させつつ前記画像にそれぞれ当てはめるモデル適用部と、
前記画像にそれぞれ当てはめた前記パラメータが異なるモデルにおける前記特徴量抽出領域の2つの領域の分離度を、前記画像からそれぞれ求める特徴量抽出部と、
前記パラメータが異なる分離度の中で最も高い分離度に対応するパラメータを決定するパラメータ決定部と、
を有し、
前記特徴量抽出領域設定部は、前記モデルの輪郭に沿った一方の側の第1領域と他方の側の第2領域との2つの領域を有する前記特徴量抽出領域を設定し、
前記特徴量抽出部は、前記分離度として前記第1領域と前記第2領域との分離度を用い、かつ、前記分離度を、
ことを特徴とする形状認識装置。 - 前記特徴量抽出領域設定部は円または楕円形状のモデルを用いる
ことを特徴とする請求項1に記載の形状認識装置。 - 画像を入力し、
認識対象物の形状を擬似的に表すモデルの輪郭に沿って2つの領域を有する特徴量抽出領域を設定し、
前記モデルを前記画像に当てはめるための、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定し、
前記モデルを、前記設定されたパラメータを変動させつつ前記画像にそれぞれ当てはめ、
前記画像にそれぞれ当てはめた前記パラメータが異なるモデルにおける前記特徴量抽出領域の2つの領域の分離度を、前記画像からそれぞれ求め、
前記パラメータが異なる分離度の中で最も高い分離度に対応するパラメータを決定し、
前記設定された特徴量抽出領域は、前記モデルの輪郭に沿った一方の側の第1領域と他方の側の第2領域との2つの領域を有し、
前記分離度として前記第1領域と前記第2領域との分離度を用い、かつ、前記分離度を、
ことを特徴とする形状認識方法。 - 前記特徴量抽出領域を設定するときに円または楕円形状のモデルを用いる
ことを特徴とする請求項3に記載の形状認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23025795A JP3797686B2 (ja) | 1995-09-07 | 1995-09-07 | 形状認識装置及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23025795A JP3797686B2 (ja) | 1995-09-07 | 1995-09-07 | 形状認識装置及びその方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005272970A Division JP4185083B2 (ja) | 2005-09-20 | 2005-09-20 | 形状認識装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0973544A JPH0973544A (ja) | 1997-03-18 |
JP3797686B2 true JP3797686B2 (ja) | 2006-07-19 |
Family
ID=16904975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23025795A Expired - Lifetime JP3797686B2 (ja) | 1995-09-07 | 1995-09-07 | 形状認識装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3797686B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010239992A (ja) * | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | 人物同定装置、人物同定方法、及び人物同定プログラム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003512112A (ja) * | 1999-10-21 | 2003-04-02 | アーチ・デベロップメント・コーポレーション | 弾性的照合を用いる対側性および時間的な減法画像のコンピュータ化処理のための方法、システムおよびコンピュータ可読媒体 |
EP1107166A3 (en) | 1999-12-01 | 2008-08-06 | Matsushita Electric Industrial Co., Ltd. | Device and method for face image extraction, and recording medium having recorded program for the method |
JP2001222719A (ja) * | 1999-12-01 | 2001-08-17 | Matsushita Electric Ind Co Ltd | 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体 |
EP1260935B1 (en) | 2001-05-22 | 2006-07-12 | Matsushita Electric Industrial Co., Ltd. | Face detection device, face pose detection device, partial image extraction device, and methods for said devices |
US7403641B2 (en) | 2004-05-28 | 2008-07-22 | Matsushita Electric Works, Ltd. | Object recognition system |
KR101224408B1 (ko) * | 2005-01-26 | 2013-01-22 | 허니웰 인터내셔널 인코포레이티드 | 원격 홍채 인식 시스템 |
JP5418324B2 (ja) * | 2010-03-16 | 2014-02-19 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 |
JP7087058B2 (ja) * | 2017-07-11 | 2022-06-20 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド | 複数の候補を用いた画像ベースの管頭部円検出 |
JP2021111066A (ja) * | 2020-01-08 | 2021-08-02 | 株式会社科学計算総合研究所 | 情報処理システム、情報処理方法及びプログラム |
CN115116147B (zh) * | 2022-06-06 | 2023-08-08 | 马上消费金融股份有限公司 | 图像识别、模型训练、活体检测方法及相关装置 |
-
1995
- 1995-09-07 JP JP23025795A patent/JP3797686B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010239992A (ja) * | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | 人物同定装置、人物同定方法、及び人物同定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPH0973544A (ja) | 1997-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8300950B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP7149692B2 (ja) | 画像処理装置、画像処理方法 | |
Fisher et al. | Dictionary of computer vision and image processing | |
JP4161659B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
Mortensen et al. | A SIFT descriptor with global context | |
US9968845B2 (en) | Image processing device and image processing method, and program | |
US7035461B2 (en) | Method for detecting objects in digital images | |
JP5574033B2 (ja) | 画像認識システム及びその認識方法並びにプログラム | |
JP3797686B2 (ja) | 形状認識装置及びその方法 | |
CN106981077A (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
JP7077046B2 (ja) | 情報処理装置、被写体の判別方法及びコンピュータプログラム | |
JP4993615B2 (ja) | 画像認識方法および装置 | |
CN105975906B (zh) | 一种基于面积特征的pca静态手势识别方法 | |
Hossein-Nejad et al. | Clustered redundant keypoint elimination method for image mosaicing using a new Gaussian-weighted blending algorithm | |
Van Ginneken et al. | A non-linear gray-level appearance model improves active shape model segmentation | |
CN113269029B (zh) | 一种多模态及多特征的指静脉图像识别方法 | |
JP4185083B2 (ja) | 形状認識装置及びその方法 | |
JPH11110542A (ja) | パターン抽出方法および装置、そのプログラムを記録した媒体 | |
Wei et al. | An algorithm for segmentation of lung ROI by mean-shift clustering combined with multi-scale HESSIAN matrix dot filtering | |
JP4020465B2 (ja) | 画像中の腫瘤影の検出装置及び方法並びに腫瘤影検出プログラムを記録した記録媒体 | |
Funtanilla | GIS pattern recognition and rejection analysis using MATLAB | |
Vámossy et al. | Virtual hand-hand gesture recognition system | |
Liu | Noise reduction method for skeletonized images | |
Teelen | Geometric uncertainty models for correspondence problems in digital image processing | |
Lutsiv et al. | Modeling attention zones on the basis of an analysis of local features of the image texture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060418 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |