JP2003507796A - ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法 - Google Patents

ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法

Info

Publication number
JP2003507796A
JP2003507796A JP2001517345A JP2001517345A JP2003507796A JP 2003507796 A JP2003507796 A JP 2003507796A JP 2001517345 A JP2001517345 A JP 2001517345A JP 2001517345 A JP2001517345 A JP 2001517345A JP 2003507796 A JP2003507796 A JP 2003507796A
Authority
JP
Japan
Prior art keywords
color
target image
information
image
template image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001517345A
Other languages
English (en)
Other versions
JP2003507796A5 (ja
JP4909479B2 (ja
Inventor
ナイール，ディネシュ
リン，シミング
シュミット，ダレン
ヴァズクーズ，ニコラス
Original Assignee
ナショナル・インストゥルメンツ・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/375,453 external-priority patent/US6757428B1/en
Priority claimed from US09/638,271 external-priority patent/US6963425B1/en
Application filed by ナショナル・インストゥルメンツ・コーポレーション filed Critical ナショナル・インストゥルメンツ・コーポレーション
Publication of JP2003507796A publication Critical patent/JP2003507796A/ja
Publication of JP2003507796A5 publication Critical patent/JP2003507796A5/ja
Application granted granted Critical
Publication of JP4909479B2 publication Critical patent/JP4909479B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 色とパターンの情報に関してテンプレート画像と一致する領域をターゲット画像中で突き止めるためのシステムおよび方法。この方法は、テンプレート画像の色の特徴付け分析で得られた色情報を使用して第１パス探索を行って、色一致候補位置を複数見つけることを含むことができる。次いで、色一致候補位置それぞれにつき、その位置に近接する領域を、テンプレート画像のパターン分析で得られたパターン情報に基づいてより詳細に探索することができる。

Description

【発明の詳細な説明】
【０００１】 （発明の分野） 本発明は、色とパターンの情報に関してテンプレート画像と一致するターゲッ
ト画像領域を突き止めるためのシステムおよび方法に関し、本発明は、テンプレ
ート画像を特徴付けする効率的な方法と、色とパターンのマッチング（一致）を
行う改良型の方法と、回転された場合および／または拡大縮小された場合の一致
を突き止める改良型の方法を含む。
【０００２】 （関連技術の説明） 多くの用途において、より大きなターゲット画像中にテンプレート画像と一致
する１つまたは複数の画像を見つけることが必要であるか望まれる。このような
用途としてはとりわけ、プロセス監視、フィードバック制御、およびラボラトリ
・オートメーションを含めたマシン・ビジョン用途と、画像／ビデオ圧縮と、ビ
デオ・カメラにおけるジッタ補償が挙げられる。ターゲット画像中の位置を一致
として分類する際、色とパターンの情報を含めた様々な特性を使用することがで
きる。
【０００３】 従来技術のパターン認識システムは通常、テンプレート・マッチング技法を用
いてきたが、この技法では、突き止めるべき記憶された画像またはパターンが、
テンプレートを突き止めようとするターゲット画像の様々な部分とテンプレート
とを反復的に比較する。図１に、従来技術で知られているパターン一致の問題を
示す。図示のように、パターン一致の問題はテンプレート画像に関係し、テンプ
レート画像の１つまたは複数のインスタンスをターゲット画像中で突き止めるこ
とが望まれる。テンプレート画像とターゲット画像がパターン一致・アルゴリズ
ムに提供され、パターン一致・アルゴリズムがパターン一致を行う。パターン一
致・アルゴリズムは一般に、テンプレート画像中のピクセル、例えばピクセルに
関連するグレースケール値を、またはサンプル・ピクセルの選択されたサブセッ
トを、ターゲット画像中の可能性ある様々な位置と比較するように動作する。
【０００４】 通常、パターン一致・アルゴリズムは、テンプレート画像、またはテンプレー
ト画像を表すサンプル・ピクセルのサブセットを、水平なピクセル列ごとに、か
つ水平な走査線ごとにターゲット画像中の位置と比較する。言い換えれば、２Ｄ
相関などを用いて、テンプレート画像を表すサンプル・ピクセルをターゲット画
像中のピクセルの一部と比較し、次いで、テンプレートを表すサンプル・ピクセ
ルをターゲット画像中のピクセル走査線またはピクセル列の１つ下または向こう
に移動させ、パターン一致・アルゴリズムを繰り返し、以後同様にする。したが
って、パターン一致・アルゴリズムは一般に、テンプレート画像ピクセルを反復
的な方式でターゲット画像中の可能なすべての位置と比較する。パターン一致は
、画像中の一致の位置と、一致の品質と、おそらくは一致の配向、サイズ、およ
び／またはスケーリングをもたらすことができる。
【０００５】 テンプレートは通常、相関に基づくパターン一致を利用して、すなわち正規化
された２次元相関（正規化２Ｄ相関）を用いて、ターゲット画像の一部と比較す
る。この２Ｄ相関は、テンプレートを画像のそれぞれの部分に配置し、テンプレ
ート中のピクセルと画像の対応部分中のピクセルとの間で、グレースケール値な
どピクセルに関連する値を使用して完全な正規化２Ｄ相関を行うことによって実
施する。この相関は、通常、相関または一致の度合いを示す相関値をもたらす。
例えば、相関値の範囲は−１と＋１の間であり、＋１は完全な一致を示す。０は
一致しないこと、すなわち２つの画像が相関しないことを示し、−１は２つの画
像が逆相関すること、すなわち一致の正反対であることを示す。
【０００６】 正規化２Ｄ相関のオペレーションは点別乗算(point-wise multipkication）に
基づくが、まず画像の一部の上にテンプレートを概念的に配置し、テンプレート
の各ポイントまたはピクセルに関連する値に、ターゲット画像のそれぞれの部分
における対応するピクセル値を掛け、この結果をテンプレート全体にわたって合
計する。また前述のように、テンプレート画像は一般に、反復的な方式でターゲ
ット画像の可能な各部分と比較する。したがって、この手法は非常に計算集約的
である。
【０００７】 より効率的なパターン一致技法を実現するために、様々な最適化またはアルゴ
リズムが開発されてきた。ある従来技術は、サンプル・ピクセルと呼ばれる、テ
ンプレート画像から選択されたサンプルまたはピクセルを使用してテンプレート
画像を表し、それにより相関における計算の数を削減するものである。
【０００８】 図２に、サンプル・ピクセル数を削減してテンプレートの特徴付けを行うこと
を含む従来技術のパターン一致プロセスを示す。このプロセスでは、テンプレー
トの特徴付けを行って、テンプレート画像から特徴を抽出する。言い換えれば、
テンプレート画像の特徴を正確に表すと考えられるより少数のポイントまたはピ
クセル（サンプル・ピクセルと呼ばれる）でテンプレート画像を表すために、テ
ンプレートを特徴付けする。テンプレート画像をこのようにして特徴付けするの
は、パターン一致に必要な時間が一般に、パターン一致で使用されるテンプレー
ト画像を表すポイントまたはピクセルの数に直接に比例するからである。したが
って、テンプレートを特徴付けして、相関オペレーションに使用するサンプルま
たはピクセルの数を削減し、それにより計算量を削減する。より少ない数のサン
プル・ピクセルを生成した後、次いでこれらのサンプル・ピクセルをパターン一
致・アルゴリズム中で使用して、ターゲット画像中でテンプレート画像のインス
タンスを突き止める。
【０００９】 テンプレート画像を特徴付けする従来技術の技法は、テンプレートのグリッド
・ベースのサンプリングなど、テンプレートの均一サンプリングを利用してきた
。別の従来技術の技法は、テンプレート画像内のランダムなポイントまたはピク
セルを利用し、これらのランダムなサンプル・ピクセルを相関ベースのパターン
一致に使用するものである。しかし、以上の従来技術の技法はそれぞれ、必ずし
もテンプレート画像をよく表すまたは特徴付けるとは限らないピクセルのサブセ
ットをテンプレート画像中で選択するように作用する。言い換えれば、テンプレ
ート画像の均一サンプリングまたはランダム・サンプリングは、テンプレート画
像のパターン情報を最もよく表す最適なサンプルまたはピクセルのサブセットを
生み出さないことが多い。
【００１０】 したがって、相関ベースのパターン一致のための改良型のシステムおよび方法
が望まれている。より具体的には、なるべく少ないサンプルでテンプレート画像
を最もよく表すサンプルまたはピクセルをテンプレート画像から特徴付けするま
たは選択するための、改良型のシステムおよび方法が望まれている。加えて、パ
ターン一致オペレーションで必要とされる相関オペレーションの数を削減する改
良型のシステムおよび方法もまた望まれている。さらに、回転された画像、平行
移動された画像、およびサイズが拡大縮小された画像に対してパターン一致を行
うための改良型の技法も望まれている。
【００１１】 グレースケール・パターン一致の問題、例えばコントラストが増加したり物体
が背景から分離したりすることによる問題を単純にするために、色情報をしばし
ば利用することができる。また、用途によっては、色情報をそれだけで、すなわ
ちパターン情報を伴わずに利用して、ターゲット画像の一致を突き止めることも
できる。これは例えば、ある領域内にどのように色が配列されているかというこ
とやその領域の空間的配向ではなく、その領域の累積的な色情報に用途が依存す
る場合である。
【００１２】 マシン・ビジョンの用途において、色は、物体を識別することおよび場面から
抽出することをしばしば単純にする強力な記述子である。色の特徴付け、位置決
め、および比較は、マシン・ビジョンの重要な部分であり、多くの種類の組立て
および包装検査の用途で使用される。検査は、正しい構成要素が正しい位置にあ
ることを検証することを含む。例えば、色情報は、ダイオード、抵抗器、集積回
路、コンデンサを含めた様々な構成要素を備えるプリント回路板の検査で使用す
ることができる。これらの構成要素は通常、自動装置を使用して回路板上に配置
されるが、マシン・ビジョン・システムは、すべての構成要素が適切な位置に配
置されたことを検証するのに有用である。
【００１３】 別の例として、色情報は、自動車産業で自動車の組立て品に正しい構成要素が
あることを検証するのに広く使用されている。これらの組立て品の中の構成要素
は複数の色が付いていることが非常に多い。例えば、色の特徴付けを用いて、接
続箱の中のヒューズを特徴付けして検査することができる。すなわち、すべての
ヒューズがあり、かつ正しい位置にあると決定することができる。別の例として
、複数の色が付いた自動車内部の一部にある生地に一致させることが必要な場合
がしばしばある。色の特徴付け方法を用いて、いくつかの生地のどれを使用する
か決定することができる。
【００１４】 色空間（またはカラー・モデル）は、色、および色の相互関係を表す方式の１
つである。色空間は本質的に、多次元（例えば３Ｄ）座標系と、この座標系内の
、各色が単一のポイントまたはベクトルで表される部分空間とである。画像処理
システムおよびマシン・ビジョン・システムは、ＲＧＢ、ＨＳＩ（またはＨＳＬ
）、およびＣＭＹを含め異なるいくつかの色空間を使用する。ＲＧＢ空間では、
各色は、その主要スペクトル成分の赤、緑、および青として現れる。このＲＧＢ
色空間はデカルト座標系に基づく。ＲＧＢモデルは３次元立方体で表され、各軸
の辺に赤、緑、青がある。立方体の中の各点が色を表し、この点の座標が、その
色の中にある赤、緑、青の成分の量を表す。ＲＧＢ色空間中の赤、緑、青の色成
分は相関が強いので、輝度／明るさに依存しない特徴で色を特徴付けするのは困
難である。
【００１５】 Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｉｎｔｅｎｓｉｔｙ（輝度
）（ＨＳＩ）、またはＨｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｌｕｍ
ｉｎａｎｃｅ（明るさ）（ＨＳＬ）の色空間は、人間にとってより定量化しやす
い観点から色を配置するために開発されたものである。色相成分は、橙、緑、紫
など、我々が通常考える色である（虹は、色相の範囲を視覚化した形の１つであ
る）。したがって色相は、見る人によって知覚される優勢な色を表す。彩度は、
存在する色の深さを指す。彩度は色相に混合された白色光の量によって測定する
。純粋なスペクトルでは、色は完全に飽和している。ピンク（赤と白）やラベン
ダー（紫と白）などの色は、飽和度がより低い。輝度または光の成分は、画像中
に存在するグレイネスの量を指す。
【００１６】 ＨＳＩモデル空間で表された色は、２つの理由で、マシン・ビジョン用途に理
想的な場合がある。第１に、ＨＳＩは、色情報とは別に輝度（明るさ）成分を含
む。第２に、色相と彩度が密接に関係することにより、人間がどのように色を知
覚するかがより厳密に表される。したがって、色測定および色一致では、ＨＳＩ
空間で色を特徴付けすることが望ましい。
【００１７】 ＨＳＩは、円柱座標でモデリングされる。可能なモデリングの１つは、ダブル
・コーン・モデル、すなわち、２つの円錐の端と端が接している、または一方の
円柱の下に他方の円柱が逆向きに付いているモデルを含む（図４参照）。ダブル
・コーン・モデルに関する情報については、「Ａ Ｓｉｍｐｌｉｆｉｅｄ Ａｐ
ｐｒｏａｃｈ ｔｏ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」，Ｒａｎｄｙ Ｃｒ
ａｎｅ，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，１９９７を参照されたい。色相は、角度
θとして表され、０°から３６０°まで変動する。彩度は、半径方向または放射
状方向に対応し、０から１まで変動する。輝度は、ｚ軸に沿って変化し、０が黒
であり１が白である。Ｓ＝０のとき、この色は、上部円錐の底部の境界上にあり
、完全に飽和している。Ｉ＝０のとき、この色は黒であり、したがってＨは定義
されない。
【００１８】 Ｒ、Ｇ、Ｂの値が０〜１の範囲に正規化されていると仮定すると、以下の式を
使用してＲＧＢ色空間からＨＳＩ（またはＨＳＬ）色空間に変換することができ
る。
【数１】
【００１９】 輝度Ｉ（または明るさＬ）もまた、以下の式で表すことができる。 Ｌ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ これは、ＲＧＢの値の重み付き合計である。
【００２０】 Ｈに対する式は、間隔［０°，１８０°］中の値をもたらす。Ｂ／Ｉ＞Ｇ／Ｉ
である場合は、Ｈは１８０°よりも大きく、Ｈ＝３６０°−Ｈとして得られる。
【００２１】 カラー・マシン・ビジョン・システムにおける従来技術では、様々な技法を用
いて色を測定し一致させる。当業者なら、画像の「しきい値処理」についてよく
知っているであろう。カラー画像にしきい値処理を施すには、画像を構成する３
つの面のそれぞれにしきい値を適用する。ＲＧＢモードでは、特定の色を選択す
るには、その色を構成する赤、緑、青の値を知る必要がある。ＲＧＢモードでは
、色を輝度から分離させることは不可能である。したがって、ＲＧＢ空間に基づ
くヒストグラム・インターセクションなどの特徴付けアルゴリズムは、輝度の影
響を受けやすいことになる。このことに関するこれ以上の情報については、「Ｃ
ｏｌｏｒ Ｉｎｄｅｘｉｎｇ」，Ｍｉｃｈａｅｌ Ｊ．Ｓｗａｉｎ，Ｉｎｔｅｒ
ｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．７
：１，１１〜３２ページ，１９９１を参照されたい。
【００２２】 ＨＳＩ色空間では、色と輝度の情報を分離することができるので、普通はカラ
ー画像を色相の面でしきい値処理して、優勢な色（色相）を識別する。しかし、
しきい値処理の技法によって複数のカラー物体を区別するのは困難であり、特に
、彩度を考慮しなければならないときは困難である。さらに、多くのマシン・ビ
ジョン用途では黒および白の色が背景色であり、これらを表すのに色度（すなわ
ち色相および彩度）を用いることができない。したがってマシン・ビジョン用途
では、黒および白の色を表すのにも、輝度値を使用しなければならない。
【００２３】 従来技術の色一致技法では普通、ターゲット物体とテンプレート物体との対応
ピクセル間の色の違いを計算する。これらの従来技術の技法は一般に、ターゲッ
ト物体のピクセルとテンプレート物体のピクセルとで、ピクセルごとの比較また
はピクセル間の引き算を行う。次いで、これらのピクセルごとの比較結果をまと
めて、ターゲット物体とテンプレート物体の全体の間における、色の類似性のレ
ベルを決定する。ピクセルごとに比較する計算コストは非常に高く、リアルタイ
ムで達成することは困難である。より効率的な色一致方法が望ましい。より具体
的には、マシン・ビジョン用途で画像中の色をより効果的に特徴付けし、比較す
ることができるようにするのが望ましい。
【００２４】 米国特許第５４１０６３７号（Ｋｅｒｎ）は、ファジィ論理を用いて、製造サ
ンプルまたは在庫サンプルに対する、受け入れられる合格／不合格の許容度を確
立する。このプロセスは、最初に、視覚的検査に従って合格または不合格の符号
が付けられた一連の訓練画像サンプルを記憶する。許容度の初期値は、訓練セッ
ト中の合格サンプルの高い／低い値によって決定される超楕円である。クラシフ
ァイア・テンプレートが、超楕円許容度を用いて、訓練セット中のあらゆるサン
プルをランク付けする。次いでプロセスは、ファジィ論理を採用して、最適化さ
れた許容度を得るが、この許容度は、クラシファイア・テンプレートと視覚ラン
クとの間のランク付けエラー合計を最小限に抑えるものである。本質的にこのプ
ロセスは、合格／不合格の色分類を構築する。このプロセスを使用すると、画像
中の色を定量的に測定すること、あるいは１つの画像または別々の２つの画像中
にある２つの物体間の定量的な色の類似性を測定することができない。
【００２５】 米国特許第５０８５３２５号（Ｊｏｎｅｓ）は、色をソートするシステムおよ
び方法を実施する。この方法は、良いサンプル画像および悪いサンプル画像に基
づいて、一連の０（受諾）および１（拒否）を含むルックアップ・テーブルを生
み出す。ソート・プロセス中に、入力画像のピクセル値を使用してルックアップ
・テーブルをアドレス指定するが、ルックアップ・テーブルの出力は１か０のい
ずれかである。拒否（１）を累計した数が指定の数Ｋよりも大きい場合、入力画
像は拒否される。この色ソート方法は、ピクセルごとの比較に基づく。ルックア
ップ・テーブルを記憶するために、大きなメモリが必要である。特別なハードウ
ェア・アドレス指定方法によれば処理速度を上げることができるものの、複雑な
色の物体をソートするための計算コストはやはり非常に高い。
【００２６】 米国特許第５７５１４５０号（Ｒｏｂｉｎｓｏｎ）は、２つのディジタル画像
の色の違いを単一の「距離」として測定する方法を提供する。この「距離」は、
２つの画像の、対応するピクセルの色の違いすべての平均である。前述のＪｏｎ
ｅｓの特許と同様、距離を計算するコストは非常に高い。このテンプレート画像
は、オンラインで色一致を行うためにコンピュータのメモリに記憶する必要があ
る。テンプレートとターゲットの画像サイズが同じでない場合は、一致プロセス
を開始できるようになる前に、画像を整合またはサイズ変更するための特別なオ
ペレーションを行わなければならない。この手法のもう１つの欠点は、「距離」
測定に基づいた場合、拡大縮小されても回転されても変わらない色一致を有する
ことができないことである。
【００２７】 （発明の概要） 本発明の一実施態様は、画像の色または画像の領域を特徴付けるように動作す
る色特徴付け方法を含む。画像は、ＨＳＩ形式で得ること、あるいは別法では、
別の形式からＨＳＩ形式に変換することが可能である。例えば、画像は、Ｎａｔ
ｉｏｎａｌ Ｉｎｓｔｒｕｍｅｎｔｓカラー画像獲得ボードＰＣＩ−１４１１に
よってＨＳＩ形式で獲得することが可能である。この色特徴付け方法は、ＨＳＩ
空間をｎ個の色のカテゴリ（下位空間またはビンとも呼ぶ）に分割し、ここで、
ｎは、関与する色のカテゴリの数である。カラー空間内の異なる色のカテゴリの
数は、色特徴付けの所望の複雑さに依存することが可能である。
【００２８】 各画像オブジェクト・ピクセルごとに、本方法は、それぞれのピクセルの値、
すなわち、色相の値、彩度の値、および輝度の値に基づいてそれぞれのピクセル
に対する色のカテゴリを判定する。そのカラー・カテゴリは、ＨＳＩ空間におけ
る複数の可能なカラー・カテゴリまたはビン（または下位空間）のうち１つであ
る。次に、各カテゴリに割り当てられたピクセルの数が数えられ、関与する選択
した領域（または画像全体）内のピクセルの総数によって正規化される、すなわ
ち、各色のカテゴリにおけるピクセルのパーセンテージが、画像またはＲＯＩの
色を特徴付ける。また、各色のカテゴリにおけるピクセルのパーセンテージを画
像の色分布の定量的測定値として使用することもできる。
【００２９】 様々な実施態様では、ファジイ・メンバシップ関数を適用して、カラー空間ビ
ンの間でピクセルの所望の分布を決定することができる。例えば、色特徴付け方
法中に、例えば、分数の重み付けでピクセルを複数のビンに割り当てることがで
きる。この複雑さの増大により、より正確な色の一致突き止めの結果がもたらさ
れる。各ピクセルごとに、ビン内のどこにそのピクセルが該当するかに基づき、
ファジイ・メンバシップ関数を適用することができる。このファジイ・メンバシ
ップ関数は、１つまたは複数の隣接するビンに対してピクセルがなすべき寄与を
決定することができる。例えば、ピクセルがビンの縁の付近に該当する場合には
（ビンがそれに対応するカラー空間の部分に関して）、ファジイ・メンバシップ
関数は、そのピクセルがその近くにある隣接するビンにそのピクセルの重みの一
部が寄与すべきことを決定することができる。この関数は、任意の数のビンに対
してピクセルがなすべき寄与を決定することができ、これらの寄与の合計は１０
０％である。三角形ファジイ・メンバシップ関数、台形ファジイ・メンバシップ
関数、およびステップ・ファジイ・メンバシップ関数を含む様々な型のファジイ
・メンバシップ関数のうちどれでも適用することができる。
【００３０】 本発明の別の実施態様は、色情報およびパターン情報に関してテンプレート画
像と少なくともある程度、一致するターゲット画像内の領域を探し出すためのシ
ステムおよび方法に関する。複数のピクセルを含むテンプレート画像がコンピュ
ータ・システムによって受け取られることが可能である。テンプレート画像の色
情報を決定するため、例えば、前述した色特徴付け方法を使用して、色特徴付け
分析を行うことができる。また、テンプレート画像のパターン情報を特徴付ける
方法も行うことができる。
【００３１】 次に、テンプレート画像の色情報およびパターン情報に一致するターゲット画
像内のゼロまたはいくつかの領域を見つけるため、マシン・ビジョン・アプリケ
ーションのためのカメラによって獲得された画像などのターゲット画像を探索す
ることができる。様々な実施態様では、所望の一致する細分性に関するオプショ
ンまたは探索の効率および時間要件に影響を与えるオプションなどの、探索を行
う際に使用するオプションを指定するユーザ入力を受け取ることが可能である。
【００３２】 探索は、複数の色一致候補領域、すなわち、色に関してテンプレート画像に一
致するターゲット画像内の領域を見つけるために、テンプレートの色特徴付け分
析で得た色情報を使用して第１パス探索を行うことを含む。例えば、ターゲット
画像内の様々な領域の色特徴付け分析を行うことができ、また色に関して領域が
テンプレート画像と一致するかどうかを判定するため、各領域ごとの色情報をテ
ンプレート画像の色情報と比較することができる。この第１パス探索で使用する
色一致基準は、比較的緩いものであることが可能である。すなわち、分析する領
域は、色一致候補領域と見なされるために、テンプレート画像の色情報に非常に
近く一致する必要はない。
【００３３】 第１パス探索で見つけられた各色一致候補領域ごとに、テンプレート画像のパ
ターン情報特徴付けで得たパターン情報に基づき、各色一致候補領域に近接した
、またはそれを囲む領域（「近接」領域または「周囲」領域）を、次に、詳細に
探索することができる。パターン・ベースの探索の概要を以下に説明する。「近
接領域」のこのパターン一致探索は、ターゲット画像内でゼロまたはいくつかの
一致領域をもたらすことが可能である。各周囲領域のパターン一致探索で見つけ
られたゼロまたはいくつかの一致領域は、何らかの所望の距離または度合い近さ
に応じて、色情報およびパターン情報に関して、テンプレート画像と一致してい
る。
【００３４】 一実施態様では、テンプレート画像およびターゲット画像領域に関して行われ
る色特徴付け分析方法は、画像内の各ピクセルごとに、それぞれのピクセルの値
、すなわち、色相の値、彩度の値、および輝度の値に基づき、ピクセルに関する
色のカテゴリを決定し、この色のカテゴリは、ＨＳＩ空間における複数の可能な
色のカテゴリまたはビン（または下位空間）のうち１つであることを含む。次に
、各カテゴリに割り当てられたピクセルの数が数えられ、画像内のピクセルの総
数によって正規化される。言い換えれば、各色のカテゴリにおけるピクセルのパ
ーセンテージが、画像の色を特徴付ける。また、各色のカテゴリにおけるピクセ
ルのパーセンテージを画像の色分布の定量的測定値として使用することも可能で
ある。
【００３５】 第１パス色一致探索は、例えば、領域が互いにステップ・サイズでずれている
ターゲット画像内の連続する領域に関して前述した色特徴付け方法を行うことに
より、様々な領域でターゲット画像の色情報をサンプリングすることに関わるこ
とが可能である。色特徴付け方法は、ターゲット画像領域ピクセルのすべてまた
はそのサブセットの基づいて行うことができる。各領域で、その領域の色情報と
テンプレート画像の色情報の差の大きさを判定することができ、その差が十分に
小さい場合、その領域を色一致領域候補として指定することができる。各色一致
領域候補ごとに、テンプレート画像に対して行ったパターン特徴付け方法で得た
情報を使用して、次に、その色一致領域候補に近接する、またはそれを囲むより
大きい領域内で、パターン一致方法を行うことができる。
【００３６】 一実施態様では、テンプレート画像に対して行われるパターン特徴付け方法は
、疑似ランダム数列とも呼ばれるＬｏｗ Ｄｉｓｃｒｅｐａｎｃｙ数列を使用し
てテンプレート画像をサンプリングし、テンプレート画像のパターン情報を特徴
付けるテンプレート画像内の複数のサンプル・ピクセルを決定することを含む。
このサンプル情報を後の使用のために記憶することができる。様々な実施態様で
は、テンプレート画像を異なるカラー空間平面内でサンプリングすることが可能
である。例えば、一実施態様では、画像を各色相の平面、彩度の平面、および／
または輝度の平面でサンプリングすることができる。
【００３７】 サンプル・ポイント間の距離を最大限にするサンプル・ポイントを生成するよ
うにＬｏｗ Ｄｉｓｃｒｅｐａｎｃｙ数列を設計することができる。また、Ｌｏ
ｗ Ｄｉｓｃｒｅｐａｎｃｙ数列サンプリングは、より少ないポイントをもたら
し、かつ／またはランダム数列サンプリングまたは一様サンプリングよりも良好
なテンプレート画像パターンの特徴付けをもたらすことができる。Ｌｏｗ Ｄｉ
ｓｃｒｅｐａｎｃｙ数列の例には、Ｈａｌｔｏｎ数列、Ｓｏｂｏｌ数列、Ｆａｕ
ｒｅ数列、およびＮｉｅｄｅｒｒｅｉｔｅｒ数列が含まれる。テンプレート画像
のパターン情報および色情報のサンプリングまたは特徴付けは、好ましくは、タ
ーゲット画像の受取りに先立ってオフラインで行われる。したがって、テンプレ
ート画像の分析は、好ましくは、リアルタイム要件によって制約されない。色一
致領域候補を決定した後、パターン特徴付け方法で決定されたサンプル・ポイン
トを使用して、各色一致領域に近接する、またはそれを囲む領域のパターン情報
をテンプレート画像のパターン情報と比較することができる。
【００３８】 別の実施態様では、パターン特徴付けは、テンプレート画像をサンプリングす
ることに関わることが可能であり、テンプレート画像は、第１の複数のピクセル
を含み、またサンプリングは、第２のより少ない数のサンプル・ピクセルをもた
らす。このサンプリングは、前述したＬｏｗ Ｄｉｓｃｒｅｐａｎｃｙ数列を含
む様々なサンプリング技法を使用することができる。次に、少なくともサンプル
・ピクセルのサブセットのまわりでローカル安定性分析を行い、所望の度合いの
安定性を有するより少ない数のサンプル・ピクセルを決定することができる。ロ
ーカル安定性分析は、サンプル・ピクセルのまわりの空間的乱れに対するサンプ
ル・ピクセルのサブセットのそれぞれの安定性を確実にするように動作する。各
ピクセルごとに、ローカル安定性分析は、好ましくは、サンプル・ピクセルのま
わりの近傍を見つけることを含む。ただし、サンプル・ピクセルの値、例えば、
グレースケールの値は、その近傍内のテンプレート画像のピクセル値と高度に相
関する。ローカル安定性分析は、好ましくは、サンプル・ピクセルのすべてに対
して行う。次に、第３の複数のサンプル・ピクセルをパターン一致で使用するこ
とができる。
【００３９】 一実施態様では、ローカル安定性分析は、異なる安定性近傍サイズを有する複
数組のサンプル・ピクセルを決定し、また色一致領域候補を囲む各領域に対して
行われるパターン一致は、異なる組のサンプル・ピクセルを使用してパターン一
致を複数回、反復して行うことを含む。この反復は、好ましくは、粗いものから
細かいものに向うように、例えば、次々に小さくなる安定性近傍サイズを有する
数組のサンプル・ピクセルを使用して行うことができる。パターン一致のこの複
数回の反復は、また、異なる組のサンプル・ピクセルのそれぞれに対して異なる
ステップ・サイズを使用することも可能であり、そのステップ・サイズは、好ま
しくは、安定性近傍サイズと一致する。したがって、粗いものから細かいものに
向うパターン一致の複数回の反復は、好ましくは、次々に小さくなる安定性近傍
サイズおよび／または次々に小さくなるステップ・サイズを有する数組のサンプ
ル・ピクセルを使用する。例えば、パターン一致の第１の反復が、テンプレート
画像のパターン情報と一致する可能性がある領域内の１つまたは複数の候補パタ
ーン一致領域を決定することが可能であり、また、次に、パターン一致の１回ま
たは複数回の第２の反復を領域内の決定された１つまたは複数の候補パターン一
致領域で行うことが可能であり、以下同様である。
【００４０】 また、本明細書に記載する技法を使用してパターン一致を行い、色ターゲット
画像内で回転された、または拡大縮小された色テンプレート画像の１つまたは複
数のインスタンスを探し出すことも可能である。テンプレート画像のパターン特
徴付けは、１つまたは複数の組のサンプル・ピクセルをもたらす１つまたは複数
の回転して不変なパス、好ましくは、円形の周辺に沿ったテンプレート画像の第
１のサンプリングを含むことが可能である。次に、行われるパターン一致は、１
つまたは複数の組のサンプル・ピクセルのそれぞれとターゲット画像の間の周期
的な相関を使用して、色一致候補領域を囲む各領域内のテンプレート画像のゼロ
またはいくつかの領域を決定することができる。このパターン一致は、ターゲッ
ト画像内でテンプレート画像の回転されたバージョンを検出する。
【００４１】 一実施態様では、少なくともサンプル・ピクセルのサブセットのまわりでロー
カル安定性分析を行うことができる。次に、パターン一致が、そのローカル安定
性分析に基づき、１つまたは複数の円形の周辺に沿った１つまたは複数の組のサ
ンプル・ピクセルを使用することができる。ローカル安定性分析は、好ましくは
、異なる安定性近傍サイズを有する複数組のサンプル・ピクセルを決定する。こ
の場合、パターン一致は、好ましくは、粗いものから細かいものに向うように異
なる組のサンプル・ピクセルを使用して、例えば、次々に小さくなる安定性近傍
サイズを有する円形パスからの数組のサンプル・ピクセルを使用して、パターン
一致を複数回、反復して行うことを含む。パターン一致は、また、異なる組のサ
ンプル・ピクセルのそれぞれに関して異なるステップ・サイズを使用することも
可能である。前述したとおり、各領域内のパターン一致の第１の反復が、ターゲ
ット画像内で１つまたは複数の候補パターン一致位置およびそれに対応する回転
値を決定し、また、それぞれの回転値を使用して領域内の決定された１つまたは
複数の候補パターン一致位置でパターン一致の１回または複数回の反復を行うこ
とが可能であり、以下同様である。最終のパターン一致は、実質的に、それぞれ
の候補位置で、決定された回転値を使用してテンプレート画像ピクセルのすべて
を利用することが可能である。
【００４２】 本発明の別の実施態様は、前述した色特徴付け方法を使用することができる色
一致突き止め方法を含む。テンプレート画像の色情報が特徴付けられると、一致
する色情報を有するターゲット画像内の領域を探し出すため、ターゲット画像を
探索する。一実施態様では、より小さくなる細分性の複数のパスがそこで行われ
る、粗いものから細かいものに向うヒューリスティックを利用することができる
。第１パス探索は、候補一致領域のリストを識別するように動作することが可能
である。例えば、ターゲット画像をステップ間隔でステップして渡ることが可能
であり、前述した色特徴付け方法を使用して、各ステップでターゲット画像領域
の色情報が特徴付けられる。各ターゲット画像領域ごとに、ターゲット画像領域
の色特徴付け情報とテンプレート画像の色特徴付け情報の差の大きさを計算する
ことができる。この差がしきい値よりも小さい場合には、そのターゲット画像領
域を候補領域のリストに追加することができる。
【００４３】 各候補領域ごとに、次に、例えば、第１パス探索で使用したのよりも小さいス
テップ・サイズを使用して近接領域をステップスルーすることにより、その候補
領域に近接するより大きい領域（領域）を探索することができる。各ステップで
、隣接する領域内のターゲット画像領域の色情報が特徴付けられ、テンプレート
画像の色情報と比較される。テンプレート画像の色情報に最もよく一致する初期
候補領域に近接する領域内のターゲット画像領域を第２パス候補領域と見ること
ができる。ターゲット画像領域が第２パス候補領域であるかどうかを判定するの
に使用するマッチング基準は、好ましくは、第１パス探索で使用する基準よりも
強力である。すなわち、ターゲット画像の色情報とテンプレート画像の色情報の
差として計算される値は、第１パス探索で使用したより小さいしきい値よりも小
さくなければならない。
【００４４】 前述したプロセスは、所望の反復回数だけ反復することができる。各反復で、
例えば、所定の数の探索パスが行われるまで、またはステップ・サイズが可能な
限り小さくなるまで、かつ／またはマッチング基準が可能な限り厳密になるまで
、使用されるステップ・サイズは、好ましくは、小さくなり、また、領域が候補
と見なされるために色差の大きさは、好ましくは、小さくならなければならない
。最終回の反復が行われると、まだ候補一致領域として残っているどのターゲッ
ト画像領域も、最終的に一致したものと見ることができる。
【００４５】 前述した色一致突き止め方法は、多くの用途において役に立つ。例えば、この
方法は、サブピクセル以下の精度でターゲット画像内でテンプレート画像を正確
に突き止めることを必要としない用途において、特に役に立つ。例えば、いくつ
かの用途は、ある精度までの一致を非常に迅速に決定することを必要とすること
があるが、パターン情報もマッチングで使用される場合に得ることができる精度
で突き止めが決定されることを必要としないであろう。このより粗い突き止めの
決定は、多くの用途に、例えば、ブリスタ・パック内に色符号化されたピルが存
在するかどうかを判定する用途に適する可能性がある。また、この方法は、一致
するものの空間的方向が判定されることを必要としない用途に特に適している。
【００４６】 本発明のよりよい理解を以下の図面と関連して好ましい実施形態の以下の詳細
な説明を考慮することで得ることができる。
【００４７】 本発明は、様々な変更形態および代替の形態が可能であるが、図面では特定の
実施形態を実施例として示し、本明細書で詳細に説明している。ただし、図面お
よびその詳細な説明は、開示する特定の形態に本発明を制限することを意図する
ものではないことを理解されたい。そうではなく、反対に、本発明は、添付の特
許請求の範囲によって定義される本発明の趣旨および範囲のなかに入るすべての
変更形態、等価形態、および代替形態をカバーする。
【００４８】 （好ましい実施形態の詳細な説明） 図３−コンピュータ・システム 図３は、本発明の一実施形態による色一致突き止めおよび／またはパターン一
致突き止めを行うことができるコンピュータ・システム１０２を示す図である。
コンピュータ・システム１０２は、１つまたは複数のプロセッサと、記憶媒体と
、ディスプレイと、キーボードまたはマウスなどの入力デバイスまたは入力機構
と、コンピュータ・システムのために必要な他の任意の構成要素とを含むことが
できる。
【００４９】 コンピュータ・システム１０２は、テンプレート画像の色特徴付け方法および
／またはパターン特徴付け方法を行うことができ、またこれらの分析で決定され
た情報を使用して、ターゲット画像がテンプレート画像と一致するかどうかを判
定し、かつ／または色情報および／またはパターン情報に関してテンプレート画
像と一致するターゲット画像の領域を探し出すことができる。マッチングされる
べき画像は、好ましくは、コンピュータ・メモリ内に記憶され、かつ／または外
部デバイスからコンピュータによって受け取られる。
【００５０】 コンピュータ・システム１０２は、好ましくは、色一致および／またはパター
ン一致の判定および／または突き止めを行うように動作する１つまたは複数のプ
ログラムを含む。このソフトウェア・プログラムは、コンピュータ・システム１
０２の記憶媒体内に記憶することが可能である。「記憶媒体」という用語は、導
入媒体、例えば、ＣＤ−ＲＯＭまたはフロッピー（登録商標）ディスク１０４や
、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、Ｒａｍｂｕｓ ＲＡＭなどのコンピュ
ータ・システム・メモリ、あるいは磁気媒体、例えば、ハードディスクまたは光
記憶装置などの不揮発性メモリといった様々な型のメモリを含むものとする。記
憶媒体は、その他の型のメモリを含むこと、またはそれらの組合せを含むことも
可能である。さらに、記憶媒体は、プログラムがそこで実行される第１のコンピ
ュータ内に配置すること、またはネットワークを介して第１のコンピュータに接
続する第２の異なるコンピュータ内に配置することが可能である。後者の場合、
第２のコンピュータが、第１のコンピュータにプログラム命令を実行のために用
意することができる。また、コンピュータ・システム１０２は、パーソナル・コ
ンピュータ・システム、メインフレーム・コンピュータ・システム、ワークステ
ーション、ネットワーク機器、インターネット機器、パーソナル・デジタル・ア
シスタント（ＰＤＡ）、テレビジョン・システム、またはその他の装置を含む様
々な形態をとることが可能である。一般に、「コンピュータ・システム」という
用語は、記憶媒体からの命令を実行するプロセッサを有する任意の装置を包含す
るように広く定義することができる。
【００５１】 ソフトウェア・プログラムは、とりわけ、手続きベースの技法、構成要素ベー
スの技法、グラフィカル・プログラミング技法、および／またはオブジェクト試
行技法を含む様々な仕方のどれでも実装することができる。例えば、ソフトウェ
ア・プログラムは、所望に応じて、ＡｃｔｉｖｅＸコントロール、Ｃ＋＋オブジ
ェクト、Ｊａｖａ（登録商標） Ｂｅａｎｓ、Ｍｉｃｒｏｓｏｆｔ Ｆｏｕｎｄ
ａｔｉｏｎ Ｃｌａｓｓｅｓ（ＭＦＣ）、またはその他の技術または方法を使用
して実装することができる。記憶媒体からのコードおよびデータを実行するホス
トＣＰＵなどのＣＰＵは、以下に説明する方法または流れ図に従って色一致突き
止めおよび／またはパターン一致突き止めを行うための手段を含む。
【００５２】 図４−マシン・ビジョン・システム 図４は、本発明の１つの用途の例であるマシン・ビジョン・システムまたは画
像獲得システムを示している。本明細書に記載する色一致および／またはパター
ン一致判定／突き止め技法は、様々な型のマシン・ビジョン・アプリケーション
または動き制御アプリケーションで使用することが可能である。例えば、コンピ
ュータ１０２は、様々なフォームファクタおよび／またはアーキテクチャで、例
えば、とりわけ、ロボットまたは埋込みデバイスで実現することができる。また
、本明細書に記載する色一致突き止め技法およびパターン一致突き止め技法は、
ソフトウェア、プログラム可能論理、またはハードウェア、あるいはそれらの組
合せで、様々な仕方のどれでも行うことができることも留意されたい。
【００５３】 図４のマシン・ビジョン・システムでは、コンピュータ・システム１０２は、
カメラ１１２に結合され、１つまたは複数の画像を受け取るように動作する。コ
ンピュータ・システム１０２は、色特徴付け方法を行ってテンプレート画像内の
色を特徴付けるように動作することができ、かつ／またはパターン特徴付け方法
を行ってテンプレート画像のパターン情報を決定するように動作することができ
る。この適用例では、「テンプレート画像」という用語は、画像全体または画像
の一部分、例えば、関与する領域（ＲＯＩ：region of interest）を指すものと
して使用する。コンピュータ・システム１０２は、ターゲット画像の探索を行い
、テンプレート画像の色情報および／またはパターン情報に一致するターゲット
画像領域を探し出すように動作する。以下に説明するとおり、特定の用途に適し
た様々な度合いの正確さで一致する領域を探し出すように探索を行うことができ
る。
【００５４】 図５−画像獲得システム・ブロック図 図５は、本発明の一実施形態による色一致および／またはパターン一致のため
に画像を獲得するための図４の画像獲得システムを示す高位ブロック図である。
図５のブロック図は、単に例としてのものであり、所望に応じて、その他のコン
ピュータ・システム・アーキテクチャを使用するのが可能なことを留意されたい
。例えば、本発明は、センサ、アナログ−デジタル（Ａ／Ｄ）変換器、ＣＰＵ、
および通信デバイスを単一のユニット内に一緒に組み込んだ「スマート・カメラ
」に実装することができる。本発明は、所望に応じて、他のアーキテクチャ、デ
バイス、または実施形態で実現することも可能である。
【００５５】 図５に示すとおり、ホスト・コンピュータ１０２は、好ましくは、ＣＰＵ２０
２と、バス・ブリッジ２０４と、システム・メモリ２０６と、周辺バス２１２と
を含む。ＣＰＵ２０２は、バス・ブリッジ２０４に結合される。バス・ブリッジ
２０４は、システム・メモリ２０６およびＣＰＵ２０２に結合され、また周辺バ
ス２１２に結合する。好ましい実施形態では、周辺バス２１２はＰＣＩ拡張バス
である。ただし、その他の型のバスも使用することが可能である。
【００５６】 この実施形態では、ホスト・コンピュータ１０２は、ビデオ・ソース１１２に
結合するように構成されたビデオ・キャプチャ・ボード２１４も含む。ビデオ・
キャプチャ・ボード２１４は、好ましくは、周辺バス２１２に結合される。ビデ
オ・キャプチャ・ボード２１４に加えて、オーディオ・カード、モデム、グラフ
ィックス・カード、ネットワーク・カード等の他の周辺デバイス（２１６および
２１８）を周辺バス２１２に結合することができる。
【００５７】 ビデオ・ソース１１２が、アナログ・ビデオ信号またはデジタル・ビデオ信号
をビデオ・キャプチャ・ボード２１４に供給する。ビデオ・キャプチャ・ボード
２１４は、周辺バス２１２およびバス・ブリッジ２０４を介してシステム・メモ
リ２０６にデジタル化されたビデオ・フレームを転送する。この実施形態では、
ビデオ・キャプチャ・ボード２１４がターゲット画像を獲得し、それをシステム
・メモリ２０６に転送する。テンプレート画像の色情報またはパターン情報に一
致する色情報またはパターン情報を有する領域を求めて探索することが所望され
るターゲット画像内の１つまたは複数の関与する領域（ＲＯＩ）を指定すること
、またはターゲット画像全体を探索することが可能である。
【００５８】 システム・メモリ２０６は、テンプレート画像を記憶することができる。シス
テム・メモリ２０６は、また、テンプレート画像内の選択されたＲＯＩまたは別
の画像、あるいは獲得されたターゲット画像などの、その他の１つまたは複数の
画像を受け取り、かつ／または記憶することもできる。また、システム・メモリ
２０６は、好ましくは、テンプレート画像およびターゲット画像の色情報および
パターン情報を分析するように動作する本発明によるソフトウェアも記憶する。
また、ソフトウェアは、以下に説明するとおり、様々な色一致突き止め方法およ
びパターン一致突き止め方法を行うように実行可能である。システム・メモリ２
０６は、色一致突き止めとパター一致突き止めのプロセス中、ターゲット画像内
の様々な領域に比較するため、テンプレート画像の色特徴付けおよび／またはパ
ターン情報を記憶することができる。
【００５９】 本明細書で使用する「画像」という用語は、様々な型の画像のどれを指すこと
も可能である。記憶媒体を含む様々なソースのどれからも画像を得ることができ
る。例えば、ＢＭＰ、ＴＩＦＦ、ＡＩＰＤ、ＰＮＧ、ＪＰＧ、またはＧＩＦファ
イルなどの画像ファイル、あるいは別の画像形式に従ってフォーマットされたフ
ァイルから画像を得ることができる。また、カメラ、フレームグラバ、スキャナ
などのハードウェア・デバイスを含め、その他のソースから画像を得ることも可
能である。画像は、ピクセル値が実部と虚部を有する複素画像であることが可能
である。
【００６０】 色／パターン一致アプリケーションでは、テンプレート画像の色特徴付けおよ
び／またはパターン情報を事前計算し、コンピュータ内に記憶することが可能で
あり、この場合、ターゲット画像に関する後続の色一致判定／突き止めおよびパ
ターン一致判定／突き止めのために、実際のテンプレート画像を記憶する、また
は使用することは必要ない。したがって、ターゲット画像が獲得されたとき、ソ
フトウェアは、そのターゲット画像の色情報およびパターン情報をテンプレート
画像の事前計算された色情報およびパターン情報と比較することができる。
【００６１】 本発明は、好ましくは、プロセッサまたはＣＰＵによって実行可能である１つ
または複数のソフトウェア・プログラムで実装することができる。本発明のソフ
トウェア・プログラムは、好ましくは、前述したとおり、コンピュータの記憶媒
体内に記憶される。
【００６２】 図６−色一致およびパターン一致突き止め方法 図６は、色情報およびパターン情報に関してテンプレート画像と一致するター
ゲット画像の領域を探し出すための方法の一実施形態を示す流れ図である。
【００６３】 一実施形態では、この方法は、色情報およびパターン情報に関してテンプレー
ト画像と一致するターゲット画像の領域を探し出すように動作する。この方法は
、１つまたは複数の色一致領域を見つけるため、ターゲット画像に全体にわたっ
て色一致探索を行うことを含み、色の色一致領域は、色情報に関してテンプレー
ト画像と一致する。また、この方法は、ターゲット画像内で１つまたは複数のパ
ターン一致領域を見つけるため、ターゲット画像全体にわたってパターン一致探
索を行うことも可能である。次に、この方法は、その１つまたは複数の色一致領
域およびその１つまたは複数のパターン一致領域から、１つまたは複数の一致領
域を判定することができる。例えば、この方法は、その１つまたは複数の色一致
領域をその１つまたは複数のパターン一致領域と相関させ、所望の度合いまたは
所望の距離に応じた色一致特性およびパターン一致特性を有する領域を判定する
ことができる。色一致探索およびパターン一致探索は、様々な所望の順序のどれ
でも行うことができる。
【００６４】 したがって、例えば、まず、色一致探索を行って候補領域を識別し、それに続
いて、パターン一致探索を行うことができる。この実施形態では、ターゲット画
像全体にわたるパターン一致探索は、色一致探索で見つかった各色一致領域ごと
に、ターゲット画像内で１つまたは複数の最終一致領域を見つけるために、その
色一致領域に近接する近接領域のパターン一致探索を行うことを含む。各近接領
域のパターン一致探索で見つかった１つまたは複数の最終一致領域は、所望の度
合いに応じて、色情報とパターン情報に関してテンプレート画像と一致している
。
【００６５】 別法では、まず、パターン一致探索を行って候補領域を識別し、それに続いて
色一致探索を行うことができる。この実施形態では、ターゲット画像全体にわた
る色一致探索は、パターン一致探索で見つかった各パターン一致領域ごとに、タ
ーゲット画像内で１つまたは複数の最終一致領域を見つけるため、そのパターン
一致領域に近接する近接領域の色一致探索を行うことを含む。各近接領域の色一
致探索で見つかった１つまたは複数の最終一致領域は、所望の度合いに応じて、
色情報およびパターン情報に関してテンプレート画像と一致している。
【００６６】 色一致探索とパターン一致探索は、所望に応じて、様々な仕方でインターリー
ブすることができる。以下に、本発明の一実施形態を説明する。
【００６７】 ステップ２５０で、テンプレート画像を受け取る。テンプレート画像は、前述
したとおり、様々な型のうちどの型の画像である。テンプレート画像は、様々な
ソースのうちどれから受け取る、または得ることも可能であり、また画像全体で
あることも、または画像の一部分、例えば、ユーザによって指定された領域であ
ることも可能である。例えば、ユーザは、グラフィカル・ユーザ・インターフェ
ース（ＧＵＩ）を使用して関与する領域（ＲＯＩ）を選択することができる。一
実施形態では、ＧＵＩにより、ユーザが、長方形、長円形、またはフリーハンド
で選択した形状などの、多くの異なる形状のＲＯＩから選択できる。
【００６８】 ステップ２５２で、テンプレート画像に関して色特徴付け方法を行う。一実施
形態では、この方法は、ＨＳＩカラー空間をいくつかのカテゴリまたは「ビン」
に分割するのに関わる。次に、ビンにわたるピクセルの割振りを決定するため、
テンプレート画像ピクセルの色情報を検査することができる。ステップ２５２の
１つの特定の実施形態を以下に詳細に説明する。代替の実施形態では、色特徴付
け方法として、その他の様々な方法を使用することが可能である。
【００６９】 ステップ２５４で、テンプレート画像に関してパターン特徴付け方法を行うこ
とができる。この方法は、テンプレート画像のパターン情報をよく特徴付ける複
数のサンプル・ピクセルまたは一組の複数のサンプル・ピクセルを決定するのに
関わることが可能である。ステップ２５４の特定の実施形態を以下に詳細に説明
する。
【００７０】 ステップ２５６で、ターゲット画像が受け取られる。テンプレート画像に関し
てと同様に、ターゲット画像も、記憶媒体から得られた画像、またはカメラ、フ
レーム・グラバ、スキャナなどのハードウェア・デバイスから獲得された画像を
含む様々な型のどの型の画像であることも可能である。また、ターゲット画像は
、グラフィックス・ソフトウェア・プログラムから、ネットワークを介する伝送
からなどを含め、その他の任意のソースから受け取ることも可能である。また、
ターゲット画像は、画像全体であることも、画像の一部分だけであることも可能
である。
【００７１】 代替の実施形態では、複数のテンプレート画像および／またはターゲット画像
を受け取る、または指定することが可能であることを留意されたい。例えば、テ
ンプレート画像のものに一致する色情報およびパターン情報を有する領域を求め
て複数のターゲット画像を探索することが望ましい、または複数のテンプレート
画像のうちどれかと一致するターゲット画像領域を探索することが望ましいかも
しれない。
【００７２】 ステップ２５８で、色情報およびパターン情報に関してテンプレート画像と一
致する領域を探し出すため、ターゲット画像を探索する。この探索は、ステップ
２５２および２５４で得たテンプレート画像の色特徴付けおよびパターン情報を
利用することができ、また、ターゲット画像の様々な領域に関して色特徴付け分
析を行うことに関わることもできる。ステップ２５８は、様々な仕方のどれでも
行うことができる。一実施形態では、複数回のパスでターゲット画像を探索する
ことができる。第１回のパスは、色情報に基づく探索に関わることが可能であり
、色に関してテンプレート画像と一致するターゲット画像内の候補領域のリスト
を効率的に識別する。次に、後続のパスは、パターン情報またはパターン一致を
使用して、ターゲット画像内の最終的に一致するもの、つまり最終一致領域を判
定するために、色一致候補領域のそれぞれに近接する、またはそれを囲む領域（
「近接領域」または「周囲領域」）をより詳しく検査することが可能である。
【００７３】 近接領域は、好ましくは、色一致候補領域よりも大きい。すなわち、各近接領
域は、好ましくは、その対応する色一致候補領域を囲んでいる。別法では、近接
領域は、それぞれの色一致候補領域と同サイズであるか、場合によっては、それ
よりも小さい。
【００７４】 各近接領域のパターン一致探索で見つかったゼロまたはいくつかの一致領域は
、何らかの所望の距離または近さの度合いに応じて、色情報およびパターン情報
に関してテンプレート画像と一致することが可能である。ステップ２５８の１つ
の特定の実施形態を以下に詳細に議論する。
【００７５】 ステップ２６０で、ステップ２５８の結果に基づき、色一致突き止めおよびパ
ターン突き止めまたはその分析情報を生成することができる。ステップ２６０は
、ターゲット画像内で一致領域の位置または方向を視覚的に示すことなどの情報
を示すこと、および／または一致領域の色情報および／またはパターン情報に関
する、または領域がテンプレート画像の色／パターン情報とどれほどよく一致す
るかに関する様々な統計またはグラフを示す情報を表示することに関わるのが可
能である。
【００７６】 多くの適用例では、ターゲット画像が獲得されるとき、リアルタイムで色一致
およびパターン一致を行うのが必要であるか、またはそうするのが望ましい。マ
シン・ビジョン適用例では、「リアルタイム」とは、しばしば、「ビデオ・リア
ルタイム」を指す。すなわち、カメラによって獲得された画像すべてのために、
例えば、毎秒３０フレームを獲得するＮＴＳＣカメラのためにその機能を行うこ
とを指す。例えば、図４に示すマシン・ビジョン実施形態では、カメラ１１２に
よってターゲット画像が獲得されるとき、色一致およびパターン一致が、好まし
くは、リアルタイムで行われる。これらのリアルタイム実施形態では、コンピュ
ータ１０２内にテンプレート画像を事前記憶することができ、また、一般に、テ
ンプレート画像の色情報およびパターン情報をその間に特徴付けるための時間が
大量に存在する。これらの特徴付けが行われると、システムは、複数の獲得され
たターゲット画像に関して、好ましくは、リアルタイムで、色一致方法およびパ
ターン一致方法を複数回、行うことができる。
【００７７】 図７、８Ａ、８Ｂ−ＨＳＩカラー空間 一実施形態では、テンプレート画像および／またはターゲット画像の色情報を
特徴付けることは、ＨＳＩ（色相、彩度、輝度）情報を利用する。画像の個々の
ピクセルのＨＳＩ情報を分析することができ、色に基づいて画像を特徴付けるた
め、ピクセル別の結果をまとめることができる。一実施形態では、色特徴付け方
法は、色スペクトルまたはカラー空間を主に色相の値および彩度の値に従ってカ
テゴリまたは「ビン」（下位空間とも呼ばれる）に分割し、次に、これらのビン
のそれぞれにピクセルを割り当てるように動作する。色スペクトルの各カテゴリ
内または各ビン内に入る画像内のピクセルの総数（またはピクセルのパーセンテ
ージ）を色特徴付けの基準として使用することができる。
【００７８】 図７は、３次元空間または３次元ボリュームとして可能な色相の値、彩度の値
、および輝度の値（色スペクトル）を示す。所与のピクセルの色情報を図７に示
す３Ｄカラー空間内または３Ｄカラー・ボリューム内のベクトルまたは点として
表すことができる。ベクトルの位置は、ピクセルの色相、彩度、および輝度を表
している。
【００７９】 色相はピクセルの色合いを表し、図７の円における径方向の線の角として示さ
れる。図８Ａは、図７の横断面を示している。図８Ａに示すとおり、色相は、０
〜３６０度の範囲内にある角の値として表される。
【００８０】 彩度は、混合または白による希釈からの色の自由度を指す。彩度は、図７で、
円上の線の径方向の距離として、すなわち、円の中心からの距離として表される
。彩度は、図８Ａの断面でより容易に見ることができる。彩度は、通常、０から
１の範囲で測定され、０が円の中心にあり、また１が円の外周にある。したがっ
て、色相および彩度は、実質的に極座標で表されて、図７および８Ａの円上の点
または位置を記述する。
【００８１】 ときとして、光または明るさと呼ばれる輝度は、ピクセルにおけるシェードの
度合いを指し、図７の垂直スケール上で、すなわち、円の上または下のベクトル
位置で表される。明るさと輝度という用語は、この説明全体で区別なく用いる。
輝度の値は、通常、０から１の範囲内にあり、０は純粋な黒であり、また１は純
粋な白である。輝度の値０は下の円錐の頂点で表され、また、輝度の値１は上の
円錐の頂点で表される。
【００８２】 色特徴付けを行う前に、図７のカラー空間を色のカテゴリに区分化することが
できる。カラー空間は、任意の数のカテゴリまたはビンに区分化することができ
る。カテゴリまたはビンの数は、色特徴付けの細分性または解像度を決定する。
例えば、いくつかの適用例に関して、ターゲット画像領域が一致するものとして
見なされるには、テンプレート画像とターゲット画像領域の間で大きい度合いの
類似性が所望される可能性がある。したがって、この場合、多数のカテゴリまた
はビンが必要とされる可能性がある。様々な実施形態では、所望の複雑さの色特
徴付けを指定するユーザ入力を受け取ることができる。一実施形態では、低、中
、高という可能な３つの複雑さのレベルを指定することができる。
【００８３】 好ましい実施形態では、低い複雑さのレベルは、可能な１７のカテゴリまたは
ビンを含む。低い複雑さレベルでは、色相の平面（図８Ａ）が可能な７つの自然
色のための７つの異なるビン４４０に分割され、また彩度の平面が２つの領域に
分割され、これにより、１４（７×２）のビンが作成される。可能な７つの自然
色は、赤、オレンジ、イエロー、緑、青、インディゴ、およびバイオレットとい
う色スペクトルの７つの標準色を含む。低い複雑さのレベルでは、色相の平面が
７つのパイ型ウェッジに分割され、また彩度の平面が、好ましくは、０から１ま
でのスケールで０．３の径方向距離しきい値４４２によって規定される２つの領
域にさらに下位分割され、これにより、色相／彩度の平面内で可能な１４のカテ
ゴリまたはビンが作成される。黒、グレー、白として特徴付けられるピクセルの
ためのさらに３つの色のカテゴリが割り当てられ、これにより、合計で可能な１
７のカテゴリ（１４＋３）が作成される。
【００８４】 図８Ｂは、黒、グレー、白として特徴付けることができるＨＳＩカラー空間内
の領域を示している。一般に、特定のピクセルの色は、彩度の値が非常に低い場
合、黒、グレー、白として特徴付けることができる。黒のカテゴリ、グレーのカ
テゴリ、白のカテゴリを以下にさらに詳細に議論する。
【００８５】 中の複雑さのレベルは、可能な３１のカテゴリまたはビンを含むことが可能で
ある。中の複雑さのレベルでは、色相の平面（図８Ａ）が異なる１４の色のカテ
ゴリ４４０に分割され、またサイドの平面が２つの領域に分割され、これにより
、２８（１４×２）のビンが作成される。したがって、中の複雑さのレベルでは
、色相の平面が１４のパイ型ウェッジに分割され、また彩度の平面が、好ましく
は、０から１までのスケールで０．３の径方向距離のしきい値４４２によって規
定される２つの領域にさらに下位分割されて、これにより、色相／彩度の平面内
で利用可能な２８の色のカテゴリまたはビンが作成される。黒、グレー、白であ
るピクセルのためにさらに３つの色のカテゴリが割り当てられ、これにより、合
計で可能な３１の色のカテゴリ（２８＋３）が作成される。
【００８６】 高い複雑さのレベルは、５９の色のカテゴリまたはビンを含むことが可能であ
る。高い複雑さのレベルでは、色相の平面（図８Ａ）が異なる２８のビン４４０
に分割され、また彩度の平面が２つの領域に分割されて、これにより、５６（２
８×２）のビンが作成される。したがって、高い複雑さのレベルでは、色相の平
面が２８のパイ型ウェッジに分割され、また彩度の平面が、好ましくは、０から
１までのスケールで０．３の径方向距離のしきい値４４２によって規定される２
つの領域にさらに下位分割されて、これにより、色相／彩度の平面内で利用可能
な５６の色のカテゴリまたはビンが作成される。黒、グレー、白であるピクセル
のためにさらに３つの色のカテゴリが割り当てられ、これにより、合計で可能な
５９の色のカテゴリ（５６＋３）が作成される。
【００８７】 彩度のカテゴリ化、すなわち、径方向距離しきい値４４２の設定は、好ましく
は、デフォルトの値に設定するが、ユーザがＬｅａｒｎ Ｓａｔ Ｔｒｅｓｈｏ
ｌｄ６０４を設定することによって調整することもできる。彩度のしきい値は、
通常、ほとんど色の彩度の変更なしに画像に対する色特徴付けを行うときにだけ
調整する。別の実施形態では、彩度の分割の数を、例えば、３にまで増やすこと
が可能であり、あるいは０にまで減らすことが可能である（すなわち、彩度レベ
ルに関して色を分割しない）。
【００８８】 図９−色特徴付け方法 図９は、テンプレート画像および／またはターゲット画像の色情報を特徴付け
するための方法の一実施形態を示す流れ図である。一実施形態では、図９に示す
色特徴付け方法は、図６に示す流れ図のステップ２５２で利用することができる
。図９は、色特徴付け方法の１つの特定の実施形態を表していることを留意され
たい。様々な適用例により、テンプレート画像内の色を特徴付けすること、およ
び／またはターゲット画像領域を色一致候補位置として分類することに関して、
様々なレベルの感度が必要とされる。また、様々な適用例が、様々な計算効率の
要件を有することも可能である。したがって、代替の実施形態では、様々な色特
徴付け方法のうちどれでも使用することができる。
【００８９】 テンプレート画像に関して、図９に示す色特徴付け方法を一回、行って、テン
プレート画像に関する色情報を記憶し、必要に応じて使用するのが可能なことを
留意されたい。ターゲット画像に関して、ターゲット画像を探索するにつれ、図
９の方法をその画像の様々な領域に関して複数回、行うことが可能である。
【００９０】 図９に示す実施形態は、ＨＳＩ色情報に関して画像を分析することに関わる。
ステップ２７０で示すとおり、様々な色特徴付け方法オプションを指定するユー
ザ入力を受け取ることが可能である。例えば、ユーザ入力は、画像を分析する際
に使用する色感度レベル、すなわち、色情報の所望の解像度を指定することがで
きる。一実施形態では、ユーザは、３つの感度レベルのうち１つを選択すること
ができ、これらは、低レベル、中レベル、高レベルである。図８Ａに関連して前
述したとおり、感度レベルは、ＨＳＩカラー空間を分割するカテゴリまたはビン
の数を決定することができる。色のカテゴリの数は、所望に応じて、任意の数ま
たは任意のレベルに設定するのが可能なことを留意されたい。
【００９１】 ステップ２７２で、画像がＨＳＩ形式に変換されることが可能である。画像は
、通常、ＲＧＢ（赤、緑、青）、Ｒｅｄｎｅｓｓ／Ｇｒｅｅｎｎｅｓｓ、ＣＭＹ
、またはＨＳＩ形式で記憶または受領される。したがって、受け取られたとき、
画像がＨＳＩ形式になっていない場合、画像は、ステップ２７２で自動的にＨＳ
Ｉ形式に変換される。この変換プロセスは、それが必要なとき、現在の色形式を
ＨＳＩ形式に変換するアルゴリズムを適用して、ピクセルごとに画像を分析する
ことが可能である。色特徴付け方法の代替の実施形態は、とりわけ、ＲＧＢまた
はＣＭＹなどの、他の色表現形式を利用するのが可能なことを留意されたい。こ
れらの実施形態では、例えば、ＲＧＢカラー空間またはＣＭＹカラー空間を色の
カテゴリまたはビンに分割して、ピクセルをこれらのビンに割り当てることがで
きる。
【００９２】 ステップ２７４で、図７および８に関連して前述したように、ＨＳＩカラー空
間をカテゴリまたはビンに区分化することができる。空間を分割するビンの数は
、ステップ２７０で受け取った色感度情報を利用することができる。
【００９３】 ステップ２７６で、ＨＩＳビンの間におけるピクセル分配を決定するため、ピ
クセルごとに画像を分析することができる。図１０は、ステップ２７６の一実施
形態を詳細に示している。一実施形態では、ユーザは、ピクセル分配を行う際に
無視すべき１つまたは複数の色を指定することができる。例えば、ユーザは、黒
、グレー、白、またはこれらの何らかの組合せ、あるいはその他のＨＳＩ色を無
視すべきことを指定することができる。これは、例えば、色一致の目的で無視さ
れるべき背景色をテンプレート画像および／またはターゲット画像が有する場合
、役に立つであろう。
【００９４】 一実施形態では、ＨＳＩビン分配を行う時点でピクセルを検査し、あるビンに
対応するピクセルが無視されるようにすることができる。別の実施形態では、こ
の考慮は、ピクセル分配を行った後に行うことができる。例えば、分配が行われ
た後、無視すべき色に対応する各ビンごとに、そのビンに割り当てられるピクセ
ルの数またはパーセンテージをゼロに設定して、残りのビン内のピクセルのパー
センテージを合計で１００パーセントになるように正規化することができる。こ
の後者の実施形態が、より効率的な色特徴付け方法をもたらすことができる。
【００９５】 前述の説明では、各検査されたピクセルが単一のカテゴリまたはビンに割り当
てられている。代替の実施形態では、例えば、重み付けにより、複数のビンにピ
クセルを割り当てることができる。例えば、あるピクセルが、ビンによって表さ
れるカラー空間の部分に関してそのビンの「縁」近くに来る場合には、そのピク
セルの重みの分数を隣接するビンに割り当てることができる。複数のビンの間で
どのようにピクセルを分配するかに関する決定は、ファジイ・メンバシップ関数
の使用を介するものを含め、様々な仕方のどれでも行うことができる。ピクセル
の分数の分配は、色特徴付け方法の効率を低下させる可能性があるが、それでも
、いくつかの場合には、望ましい可能性があることを留意されたい。ピクセルの
分数の配分を以下にさらに議論する。
【００９６】 一実施形態では、色特徴付け方法は、また、ステップ２７８に示すとおり、画
像の優勢色のカテゴリとして特徴付けされる１つまたは複数の色のカテゴリを決
定することにも関わるのが可能であり、この１つまたは複数の優勢な色のカテゴ
リには、カラー空間のその他の色のカテゴリに比べ、比較的より大きい比率の画
像ピクセルが割り当てられる。
【００９７】 優勢な色のカテゴリの決定は、様々な仕方のどれでも行うことができる。例え
ば、一実施形態では、ピクセル割振りパーセンテージに関して色のカテゴリを分
類することができ、次に、最も高いパーセンテージを有するカテゴリを検査する
ことができる。このパーセンテージが、デフォルトの値であることも、ユーザに
よって指定されることも可能なある比の値Ｔにある、またはそれを超える場合に
は、この色のカテゴリをその画像に関する単一の優勢な色のカテゴリと見ること
ができる。このパーセンテージが値Ｔを下回る場合にはピクセル割振りの次に大
きいパーセンテージを有する色のカテゴリをその画像に関する第２の優勢な色の
カテゴリと見ることができるというように、検査されたビンのパーセンテージの
合計が値Ｔになるか、あるいはそれを超えるまで続ける。これにより、画像に関
して複数の優勢な色のカテゴリが存在することが可能である。一実施形態では、
最大カテゴリ内のピクセルのパーセンテージは、画像が何らかの優勢な色のカテ
ゴリを有するためには、少なくともあるしきい値のものであるのを必要とするこ
とが可能である。
【００９８】 好ましい実施形態では、優勢な色情報は、テンプレート画像に関してだけ決定
される。すなわち、ターゲット画像領域の色特徴付け分析を行うときには、この
計算を省略することができる。テンプレート画像の優勢な色情報は、以下に説明
するとおり、テンプレート画像の色情報をターゲット画像の色情報と比較すると
きに利用することができる。
【００９９】 図１０−ＨＳＩビン・ピクセル分配 図１０は、画像のピクセルが適切なＨＳＩ空間ビンに割り当てられる図９のス
テップ２７６の一実施形態を示す流れ図である。図１０に示す方法は、画像の各
ピクセルごとに、またはピクセルのサブセットに関してだけ行うことができる。
テンプレート画像に関して、この方法は、通常、テンプレート画像に関するでき
る限り多くの色情報を得るため、各ピクセルごとに行われる。テンプレート画像
に関する色特徴付け分析は、一回、行うだけでよく、また「オフライン」で行う
ことができる。すなわち、色一致領域を求めてターゲット画像が探索されるにつ
れ、リアルタイムで行われる必要はない。したがって、テンプレート画像に関し
て色特徴付け情報が得られると、色一致突き止め手続きのためにテンプレート画
像をメモリ内に有することが必要ないであろう。
【０１００】 探索が行われるターゲット画像の各領域ごとに、その領域のピクセルのサブセ
ットだけを検査するのが望ましいであろう。というのは、領域のすべてのピクセ
ルをビンにカテゴリ化することは、計算上のコストが高くつき、またターゲット
画像内の多くの領域を探索しなければならない可能性があるからである。多くの
場合、例えば、パターン情報に基づいて後でより詳細に分析することができる色
一致領域候補を識別する目の粗い探索を行うためには、各ターゲット画像領域内
のピクセルのサブセットを分析するだけで十分であろう。サンプル・ピクセル・
サブセットは、格子ベースのサンプリング、ランダム・サンプリング、低不適合
数列(Low Discrepancy sequence)、またはその他の非一様のサンプリングなどの
様々なサンプリング技法のどれを使用しても生成することができる。
【０１０１】 ステップ４１２で、この方法は、ピクセルの輝度の値があるしきい値よりも低
いかどうかを判定する。このしきい値は、０に近い何らかの小さい値としてユー
ザによって指定されていてもよい。図８Ｂは、輝度のしきい値４４６を示す。輝
度のしきい値４４６は、好ましくは、彩度につれて減少する関数である。輝度の
しきい値４４６は、コンピュータによって設定されることが可能であり、または
、いくつかの実施形態では、ユーザによって選択されることが可能である。一実
施形態では、色相の値、彩度の値、および輝度の値が０から２５５の範囲に正規
化されていると想定すると、輝度のしきい値ＢｌｋＴｈｒｅｓｈｏｌｄは、以下
に示すとおり、彩度の関数として指定される。
【数２】
【０１０２】 あるピクセルの輝度がＢｌｋＴｈｒｅｓｈｏｌｄより小さい場合には、ステッ
プ４１４で、そのピクセルが即時に黒としてカテゴリ化される。この場合、その
ピクセルに対して、さらなる色学習は全く行われない。ステップ４１２で行われ
るしきい値の比較は、全くその低い輝度だけに基づいて黒であるピクセルに対し
てさらなるＨＳＩ分析を要求しないことによってコンピュータ・サイクルを節約
する。ピクセルの輝度の値がステップ４１２の輝度のしきい値より上である場合
には、オペレーションはステップ４１６に進み、さらなる色のカテゴリ化が適用
される。
【０１０３】 ステップ４１６で、ピクセルの彩度の値が検査される。ピクセルの彩度が非常
に低い場合、異なる色を区別することができず、そのピクセルを即時に、黒、グ
レー、白としてカテゴリ化することができる。あるピクセルの彩度が最低の彩度
レベルに近い場合、そのピクセルは、図８の円の原点の近くに図面で表すことが
できる。ステップ４１６は、ピクセルの彩度が選択された彩度のしきい値６０４
（図８Ｂ）よりも低いか、すなわち、０に非常に近いかを判定する。一実施形態
では、彩度のしきい値６０４は、０から２５５までのスケールで１０というデフ
ォルトの値を有する（これは、０から１までのスケールで０．０４というデフォ
ルトの値に対応する）。ピクセルの彩度レベルが彩度のしきい値より下の場合、
そのピクセルは、さらなる彩度分析またはステップ４１８の色相分析を必要とせ
ず、したがって、プロセスはステップ４２２に進む。
【０１０４】 ステップ４２２および４２３で、ピクセル（これは、非常に低い彩度の値を有
している）が、その輝度の値に基づいて検査される。非常に低い彩度（すなわち
、彩度のしきい値を下回る）を有するピクセルは、そのピクセルが輝度の平面の
どちらの半分にあるかに基づいて、黒、グレー、白としてカテゴリ化される。言
い換えれば、ステップ４２０の色相と彩度の分析は必要ない。というのは、彩度
のしきい値より低い彩度の値を有するピクセルは、同様の彩度の値と異なる色相
の値を有するその他のピクセルと区別することができないからである。ピクセル
が輝度の平面の下側部分にある場合、すなわち、Ｉ＜＝ＢｌｋＧｒａｙＴｈｒｅ
ｓｈｏｌｄである場合、そのピクセルは、ステップ４２４で黒としてカテゴリ化
される。そうでない場合、そのピクセルはステップ４２３で検査され、その輝度
の値が輝度の平面の上側部分にあるかどうか、すなわち、Ｉ＞ＷｈｉｔｅＧｒａ
ｙＴｈｒｅｓｈｏｌｄであるかどうかが判定される。上側部分にある場合には、
そのピクセルは、ステップ４２６で白としてカテゴリ化される。そうでない場合
、そのピクセルは、ステップ４２７でグレーとしてカテゴリ化される。ＢｌｋＧ
ｒａｙＴｈｒｅｓｈｏｌｄおよびＷｈｉｔｅＧｒａｙＴｈｒｅｓｈｏｌｄとして
の値は、特定の適用例における黒、グレー、および白色の重要度に基づいて事前
指定することができる。一実施形態では、しきい値は、黒色、グレー、または白
色に同じ重みを置く等しい３つの部分に輝度の平面を分割するように設定するこ
とができる。ピクセルを黒、グレー、白としてカテゴリ化した後、この方法は、
ステップ４２８に続く。
【０１０５】 ピクセルの彩度が、ステップ４１６で彩度のしきい値６０４を上回る場合には
、ステップ４２０で色相と彩度の分析が行われる。ステップ４２０で、ピクセル
の色相の値と彩度の値が分析され、そのピクセルは、これらの値に基づいて色相
／彩度の平面内のビンのうち１つに割り当てられる。
【０１０６】 前述したとおり、図８Ａは、色相／彩度の平面を示し、色相は、図８Ａの横断
面上における色の角の方向（０度から３６０度）によってカテゴリ化され、また
彩度は、図８Ａの横断面におけるその色の径方向の距離としてカテゴリ化される
。色相の特徴付けは、選択された色感度に応じて、例えば、７、１４、または２
８のビン（低い複雑さ、中の複雑さ、または高い複雑さとして）に分割すること
が可能であり、またビンは、円４４２（図８Ａ）によって表される径方向の距離
の値によって半分にさらに分割される。この径方向の距離の値により、各色相の
ビン内で彩度に応じてカテゴリ化を行うことが可能になる。これにより、色相／
彩度の平面内のビンまたはカテゴリの総数が、それぞれ、１４、２８、または５
６にまで倍増する。
【０１０７】 分析されている現在のピクセルが、ステップ４２８で分析される最後のピクセ
ルである場合には、オペレーションが完了する。そうではない場合には、オペレ
ーションはステップ４１２に戻り、ステップ４１２〜４２８が反復される。少な
くともピクセルのサブセットに関して、また、場合によっては、すべてのピクセ
ルに関して、すべてがカテゴリ化されるまで色のカテゴリ化プロセスが反復され
る。各後続ピクセルがカテゴリ化されるにつれ、各ビンに割り当てられた現在高
の数のピクセルをメモリ内に記憶することができる。ビンおよびピクセルのビン
への割振りは、様々な仕方のどれでも表すことができる。好ましい実施形態では
、ピクセルは、Ｎ個のカテゴリまたはビンに割り当てられ、ここでＮ＝Ｃ*２＋
３である（ここで、選択された複雑さに応じて、Ｃ＝７、１４、または２８）。
ビンまたは色のカテゴリの数Ｎは、もちろん、色相の分割および彩度の分割の数
のうち１つまたは複数を変更することによって調節することができる。
【０１０８】 各ピクセルが検査され、Ｎ個のカテゴリのうち１つに割り当てられた後、ステ
ップ４３０で、この方法は、各ビン内のピクセルのパーセンテージ、すなわち、
検査されたピクセルの総数に対する各ビン内のピクセルの数などの色パラメータ
を計算することができる。これらの計算は、その合計が１００％に等しいＮ個の
パーセンテージをもたらすことになる。様々な形状の拡大縮小され、回転された
画像のマッチングを可能にするため、生のデータではなく、パーセンテージが使
用される。他の型の色パラメータ、例えば、画像オブジェクト内のピクセルの数
とは独立した他の型の正規化された値を生成するのも可能であることを留意され
たい。したがって、画像に関する色特徴付けは、画像の色特徴付けを表すＮ個の
パーセンテージの値またはＮ個のパラメータを含むリストまたはデータ構造を生
成することができる。
【０１０９】 図９に関連した前述したとおり、一実施形態では、ユーザは、無視すべき画像
内の１つまたは複数の色を指定することができる。この場合、無視される色に対
応する各ビン内のピクセルのパーセンテージをゼロに設定して、残りのビンに関
するパーセンテージを合計で１００％をもたらすように正規化することができる
。あるいは、これらのビンに対応するピクセルをビンに全く割り当てないことが
可能であり、これにより、自動的に、これらのビンに関してゼロ・パーセンテー
ジがもたらされることになる。
【０１１０】 図１１−画像パターン情報テンプレートの特徴付け 図１１は、図６のステップ２５４の一実施形態を示す流れ図であり、ここでテ
ンプレート画像のパターン情報が特徴付けられる。ステップ３００では、テンプ
レート画像を正確に特徴付ける複数のサンプル・ピクセルを提示するために、テ
ンプレート画像がサンプリングされる。このテンプレート画像は、輝度（強さ）
平面、彩度平面、および／または色相平面上等の様々な成分平面上または色空間
平面上でサンプリングすることができる。これら平面に関するサンプル情報は、
パターン一致プロセスで使用することができる。例えば一実施形態では、輝度平
面からのサンプル情報は最初のパターン一致の反復中に使用することができ、す
べての平面からのサンプル情報は最後のパターンに一致したものを検査するため
に使用することができる。
【０１１１】 一実施形態によれば、テンプレート画像を構成するピクセルは、低不適合数列
を使用してサンプリングされる。低不適合数列は、高次元空間の有効なサンプル
である数列を構成する。低不適合数列は、準乱数列または副乱数列とも呼ばれる
。低不適合数列は、ほとんど相互に近寄ることのないサンプル点を提示するよう
に、すなわち画像を最も適切に代表するサンプル・ピクセルを提示するように設
計されている。低不適合数列の一例には、Ｈａｌｔｏｎ数列、Ｓｏｂｏｌ数列、
Ｆａｕｒｅ数列およびＮｉｅｄｅｒｒｅｉｔｅｒ数列が含まれるが、これらの違
いは実際の用途の観点からすると微小である。低不適合数列を使用したテンプレ
ート画像のサンプリングは、ランダム・サンプリング技術または均一サンプリン
グ技術の場合と比較して、遥かに少数のサンプル・ピクセルによるテンプレート
画像の特徴付けおよび／またはテンプレート画像のより良い特徴付けをもたらす
ことができる。
【０１１２】 以下に、低不適合数列（Ｈａｌｔｏｎセット）のオペレーションの一例を示す
。
【０１１３】 まずステップ１で、方法は、例えばＨａｌｔｏｎ、２ｄ（二次元）等、低不適
合数列の種類を選択する。一般に、数学者は、ｎ＞１０、時にはｎ＞１００の場
合に低不適合セットのｎｄの適用に関心を示す。しかし、二次元画像の場合は２
ｄ数列が使用される。
【０１１４】 ステップ２で、方法は、次いでＨａｌｔｏｎセットの構成のための基準、例え
ば単位平方［０，１］×［０，１］内の構成のための基準を選択するが、一般的
な場合は拡大縮小オペレーションによって導き出すことができることが知られて
いる。
【０１１５】 ステップ３で、次いで方法は２つの素数ｐおよびｑを選択する。ｐ＝２とｑ＝
３とを使用することは、必須ではないが非常に一般的である。（ｐ，ｑ）のすべ
ての対によって僅かに異なるＨａｌｔｏｎセットが生じるが、それらのセットは
すべて等価である。
【０１１６】 変数（ｘn、ｙn）はＨａｌｔｏｎセットのｎ番目の要素を指す。ｎを想定する
と、ステップ４で方法は、ｐ進法におけるｎを記録する（ｐ＝２の場合は周知の
二進法）。結果は、ａを二進数の０または１とするが一般的な場合は０、１．．
．、ｐ−１として、ｎ＝ａk、．．．ａ1、ａ0となる。
【０１１７】 ステップ５で、次いで方法は、ａk、．．．ａ1、ａ0の順序を逆転する。これ
はａ0ａ1．．．ａkとなる。
【０１１８】 ステップ６で、次いで方法は、（ｎ進法の）点、すなわち０ａk、．．．ａ1、
ａ0を合計する。この数は０と１の中間であり、ｎ番目のＨａｌｔｏｎ点（ｘn、
ｙn）のｘ成分を代表する。
【０１１９】 ステップ７で、方法は、別のｑ進法に基づいてステップ（４）〜（６）のステ
ップを反復する。これによってｙ成分が提示される。
【０１２０】 ステップ１〜７の後、Ｈａｌｔｏｎ数列のｎ番目の点の構成が完了する。
【０１２１】 以下に、２ｄにおける低不適合数列の構成の一例を示す。ここではｐ＝２、ｑ
＝３と仮定する。この例は、１０番目の要素、すなわち（ｘ10、ｙ10）を決定す
る。
【０１２２】 方法は、以下の要領でｘ成分から開始する。 （４’）１０＝１*８＋０*４＋１*２＋０*１なので、１０＝１０１０（１０進
法＝２進法） （５’）この順序を反転する → ０１０１ （６’）この点を合計する → ｘ10＝０．０１０１（０．０１０１は０*（
１／２）＋１*（１／４）＋０*（１／８）＋１*（１／１６）＝１／４＋１／１
６＝５／１６に変換される） 次に、ｙ成分を以下の要領で計算する。 （４”）１０＝１*９＋０*３＋１*１なので、１０＝１０１（１０進数＝２進
数） （５”）この順序を反転する → １０１ （６”）この点を合計する → ｙ10＝０．１０１（０．１０１は１*（１／
３）＋０*（１／９）＋１*（１／２７）＝１０／２７に変換することができる）
【０１２３】 低不適合数列内の点が決定されると、これらの点は、その値を適切に増減する
ことによって、テンプレート画像にマッピングすることができる。テンプレート
画像中のこれらの点は、次いで、例えばパターン一致プロセス中にサンプル点と
して取られ、これらの点のグレースケール・ピクセル値は、ターゲット画像の領
域内の対応するグレースケール・ピクセル値と、例えば上記のような２Ｄ相関技
術を使用して比較される。パターン一致は、ターゲット画像を横切るために計算
されたステップ・サイズを使用することができ、かつ／または効率を高めるため
に粗−細探索方法を使用することができる。
【０１２４】 低不適合数列に関するこの他の情報は、本明細書に完全に、かつすべてを参照
により組み込んだ「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｆｏｒｔｒａ
ｎ ７７：Ｔｈｅ Ａｒｔ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ
」（ＩＳＢＮ ０−５２１−４３０６４−Ｘ）Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅ
ｒｓｉｔｙ Ｐｒｅｓｓ ｐ．２９９〜３０６を参照されたい。
【０１２５】 実施形態によっては、パターン特徴付け方法においてこれ以上のステップを実
施しなくてもよいものがある。しかし、別の実施形態では、ステップ３００で決
定された複数のサンプル・ピクセルは、ステップ３０２〜３０６に示すようにさ
らに処理される場合がある。ステップ３００は、複数のサンプル・ピクセルを提
示するために低不適合数列を使用する他の様々な任意の方法、例えば、ランダム
・サンプリング技術、または、グリッド・ベースの均等サンプリングなどの均等
サンプリング技術を使用することによって実施することできるということに留意
されたい。
【０１２６】 ステップ３０２に示すように、複数のサンプル・ピクセルを提示するために画
像のサンプリングが実施された後で、空間摂動についてそれぞれのサンプル・ピ
クセルの安定性を判定するために、提示されたサンプル・ピクセルの少なくとも
１つのサブセットに関して、好適にはそのすべてに関して、局所安定性解析を実
施することができる。この局所解析が実施される各候補のサンプル・ピクセル値
に関して、方法は、近傍にあるテンプレート画像ピクセルが候補サンプル・ピク
セル値と高度に相関するような、それぞれの候補サンプル・ピクセルの近傍を判
定するように動作する。すなわち、局所安定性解析が実施される各候補サンプル
・ピクセル値に関して、候補サンプル・ピクセル値がその近傍で安定しているか
どうかを判定するために、すなわち隣接しているピクセル値がそれぞれの候補サ
ンプル・ピクセル値と同様の値または相関する値を有するかどうかを判定するた
めに、テンプレート画像内の隣接しているピクセル値による相関が実施される。
【０１２７】 ステップ３０４で、方法は、任意選択で、所定のまたは事前定義された近傍サ
イズ内において必須の安定性を有する候補サンプル・ピクセル値だけを保存する
よう動作する。事前定義された近傍内で安定性のない、ステップ３００で生成さ
れたサンプル・ピクセル値は、破棄するか使用しないことが好ましい。したがっ
て、ステップ３０４は、パターン一致オペレーションで使用されるサンプル・ピ
クセル値の数をさらに減らすように動作する。
【０１２８】 一実施形態では、ステップ３０２または３０４の後のステップ３０６で、方法
は、安定性基準または様々な安定性レベルによって、サンプル・ピクセル値のそ
れぞれのサブセットまたはそのすべてが安定した、異なるそれぞれの安定領域ま
たは近傍サイズをさらに発見または検出するように動作する。すなわち、本方法
は、多様な安定領域でサンプル・ピクセル値のサブセットを検出し、分類するよ
うに、すなわち、安定領域のサイズに応じてサンプル・ピクセル値のサブセット
を分類するように動作する。
【０１２９】 下記のように、パターン一致プロセスにおいて、ターゲット画像領域全体を通
して個々のサンプル・ピクセルをステップするためのステップ・サイズを判定す
るために、異なる安定領域サイズも使用することが好ましい。このステップ・サ
イズは、パターン一致オペレーション中、パターン一致のために実施することが
必要となる相関の数を減らすために使用される。したがって、より大きな安定近
傍サイズを有する一組のサンプル・ピクセル値の場合、反復相関プロセス中、そ
の一組のサンプル・ピクセル値はターゲット画像全体を通してより大きなステッ
プ・サイズで横切ることができる。より小さな安定近傍のサイズを有する一組の
サンプル・ピクセル値は、反復相関プロセス中、相応するより小さなステップ・
サイズで、ターゲット画像全体を通して横切られる。
【０１３０】 下記のように、後続のパターン一致プロセスにおいて、異なる安定近傍サイズ
を有するサンプル・ピクセル値は、次いで、好適にはそれぞれに計算されたステ
ップ・サイズを用いて、粗−細探索で使用することができる。したがって、この
方法は、異なる安定近傍サイズと、粗−細パターン一致探索で使用するための相
応するステップ・サイズとを決定するために動作する。
【０１３１】 上記のパターン特徴付け方法は、パターン（グレースケール）情報の代わりに
、またはパターン（グレースケール）情報に追加して、テンプレート画像の色情
報を特徴付けるサンプル・ピクセルの１つまたは複数の組を生成するために拡張
することができることに留意されたい。次いで、ピクセルは、下記のように、タ
ーゲット画像で色情報をサンプリングするために使用することができる。例えば
、１組中の各サンプル・ピクセルは特定の近傍サイズ内で安定した色を有してお
り、このサンプル・ピクセルは、テンプレート画像等の最も優勢な色を代表する
ために選択することができる。このサンプル色ピクセルの決定は、パターン解析
と共に実施することも、または図９を参照して上記で説明した色特徴付け方法の
一部として実施することもできる。
【０１３２】 図１２−ターゲット画像探索 図１２は、テンプレート画像に一致する色およびパターン情報を有する領域を
発見するためにターゲット画像を探索する方法の一実施形態を示す流れ図である
。図１２に示すターゲット画像探索方法は、図６に示す色およびパターン一致検
出方法のステップ２５８で使用することができる。別の実施形態では、特定の適
用例に付いて望ましいとされるような、様々な他の探索方法のいかなる方法を使
用することもできる。図１２に示すターゲット画像探索方法は、ターゲット画像
の候補色一致領域が第１パス色一致探索で識別され、それらの候補色一致領域の
それぞれを取り囲むか、それらに隣接するより大きな領域のパターン情報が、次
いで、最終的な色およびパターン一致位置を識別するために１つまたは複数の後
続パターン一致探索においてより詳細に検査するマルチパス技術を使用する。
【０１３３】 第１パス色一致探索において検査されたターゲット画像の各領域は、ターゲッ
ト画像へのウィンドウとみなすこともできる。このウィンドウは様々なサイズを
有することができる。例えば、ウィンドウのサイズをテンプレート画像のサイズ
に正確に一致させることも、あるいはウィンドウのサイズをテンプレート・サイ
ズよりも小さくしたり大きくしたりすることもできる。様々な領域で画像の色情
報をサンプリングするために、ウィンドウをターゲット画像全体を通して移動す
ることができる。色情報をサンプリングする領域は、いかなる様々な方法でも決
定することができる。例えば、一実施形態では、ウィンドウは、最初、ターゲッ
ト画像の上部左隅に置かれており、次いで中間ステップで画像中を移動すること
ができる。サンプル領域ごとに、下記のように、その領域の色情報をテンプレー
ト画像の色情報と比較することができる。
【０１３４】 図１３に、第１パス色一致探索中におけるウィンドウの移動の一例を示す。こ
こでは、ウィンドウは、ターゲット画像の上部左隅から始まって、９ピクセルの
ステップ・サイズによってターゲット画像全体を通して移動させられる。図１３
Ａにおいて、テンプレート画像と、ターゲット画像の上部左隅の部分との間の最
初の色比較が実施された後、ウィンドウは、例えば図１３Ｂに示すように９ピク
セル走査線下方に移動される。ターゲット画像のこの部分がテンプレート画像と
比較された後、ウィンドウは図１３Ｃに示すようにさらに９ピクセル走査線下方
に移動される。図１３Ｄに示すようにウィンドウがターゲット画像の下部左隅に
到達するまでこの比較が反復される。この比較の後、ウィンドウは、例えばター
ゲット画像の上部に移動して戻され、図１３Ｅに示すように別の比較を実施する
ために縦のピクセル９列移動される。図１３Ｅでこの比較が実施された後、ウィ
ンドウは図１３Ｆに示すようにピクセルの９水平走査線下方に移動させられる。
この手順は、ウィンドウが再びターゲット画像の下部に到達するまで複数回反復
される。この時点で、ウィンドウは、ターゲット画像の上部に移動するように戻
され、さらに縦９列のピクセル移動して、さらなる比較のセットを実施する。こ
の手順は、ウィンドウが９ピクセルのステップ・サイズを使用してターゲット画
像全体をステップし終わるまで実施することができる。
【０１３５】 図１３Ａ〜１３Ｆは、ターゲット画像全体を通したウィンドウのステッピング
の単なる一例であるということに留意されたい。尚、ウィンドウは、様々なステ
ップ・サイズを用いて、また、例えば、左から右へ、右から左へ、上から下へ、
下から上へ、または他の方法等いかなる様々な方法によってもターゲット画像全
体を通してステップすることができることに留意されたい。また、ターゲット画
像は、一定のステップ間隔でサンプリングすることは必須ではない。例えばウィ
ンドウの位置は、様々なアルゴリズムのいかなるものを使用して選択することも
、またはランダムに、または準ランダムに選択することもできる。
【０１３６】 図１２のステップ４５０では、様々な探索オプションを指定するユーザ入力を
受け取ることができる。例えば探索オプションは、様々なパラメータ値を指定し
て、色またはパターンの一致を判断するために使用される粒状度の程度および／
またはターゲット画像探索プロセスの効率に影響を与えることができる。一実施
形態では、ユーザは、図２６を参照しながら下記で説明するように、様々な探索
パラメータをそれぞれが制御する、「保守的」「平衡」または「積極的」の３つ
のオプションから１つを指定することができる。別の実施形態では、探索パラメ
ータは個別に指定することができる。
【０１３７】 ステップ４５２で、最初の色一致候補領域を発見するため、すなわち少なくと
もある程度はテンプレート画像の色情報に一致する領域を発見するために、ター
ゲット画像全体を通した第１パス探索を実施することができる。ステップ４５２
の一実施形態を、図１６を参照しながら以下で説明する。
【０１３８】 第１パス色一致探索では、一致する可能性のあるものを含んでいるターゲット
画像の領域を効率よく識別するために、ターゲット画像の様々な領域の色情報を
、比較的大きなステップ・サイズでサンプリングすることができる。ステップ４
５４で、ステップ４５２で識別された各色一致候補領域周辺の、あるいはこれに
近接したより大きな領域を、パターン情報に関してより詳細に検査することがで
きる。ステップ４５４で探索されるべき各領域のサイズは、テンプレート画像サ
イズ、それぞれの候補色一致領域が色においてテンプレート画像に一致すると判
定される程度等の様々な要因に依存する場合がある。ステップ４５４の特定の実
施形態について以下で詳細に説明する。
【０１３９】 ステップ４５８で、色およびパターン一致領域の最終リストを、ステップ４５
４で決定された候補領域リストから生成することができる。この最終リストは、
各候補が、色および／またはパターン情報についてテンプレート画像とどれだけ
良く一致するかの尺度、例えばユーザが指定することができるしきい値と比較す
る際の尺度に基づくことができる。
【０１４０】 図１４〜１５：探索例 図１４および１５に、図１２を参照しながら上記で説明したマルチパス探索プ
ロセスの一例を示す。図１４は、ターゲット画像３１０と、ターゲット画像内の
「候補領域」３１２と標識される複数領域とを示す。各候補領域は、第１パス色
一致探索（図１２のステップ４５２）で決定された候補色一致領域を取り囲むよ
り大きな領域を示すことを目的としている。図から分かるように、候補領域３１
２Ａ、２１３Ｂ、および３１２Ｃはサイズが異なる。上記のように、色一致候補
領域を取り囲む領域のサイズは、色一致候補領域が色についてテンプレート画像
とどれだけよく一致するかという要因に依存する場合がある。
【０１４１】 図１５は、同じターゲット画像３１０と最終一致領域３１４とを示しているが
、これらはパターン一致に基づいて候補領域３１２内で発見されたものである。
すなわち、一致領域３１４は、図１２のステップ４５４および４５６が実施され
た後で決定される最終一致領域である。この例では、候補領域３１２Ｃ内の領域
で、テンプレート画像のパターン情報と一致すると決定されるものは１つもなか
った。したがって、２つの最終一致領域のみを示してある。
【０１４２】 図１６−第１パス探索 図１６は、図１２のステップ４５２で示した第１パス色一致探索を実施する方
法の一実施形態の流れ図である。上記のように、一実施形態では、第１パス探索
にはターゲット画像の様々な領域におけるサンプリング色情報が必要となる場合
があり、ここで、サンプリングされる位置は、特定のステップ・サイズに従って
ターゲット画像に沿ってスライドするウィンドウによって決定することができる
。したがって、ステップ４７０で、方法はそのウィンドウをスライドする際に使
用する適切なステップ・サイズを決定することができる。ステップ・サイズは、
少なくとも一部には、図１２のステップ４５０で受け取ったユーザ入力に基づい
て決定することができる。例えば、ユーザが積極的な探索基準を指定した場合は
ステップ・サイズは比較的大きくなるであろうが、ユーザが保守的な探索基準を
指定した場合はこのステップ・サイズは比較的小さくなる可能性がある。様々な
実施形態において、探索サイズは、テンプレート画像および／またはターゲット
画像のサイズに依存する場合もある。
【０１４３】 サンプリングされる各領域に関して、テンプレート画像の場合と同様にその領
域に関する色情報を解析することができる。しかし上記のように、領域のすべて
のピクセルの色情報を検査することは望ましくない場合がある。したがって、ス
テップ４７２ではサブサンプリング・サイズを決定することができるが、ここで
、このサブサンプリング・サイズは各位置について検査するピクセル数を指定し
ている。ステップ・サイズの場合と同様に、サブサンプリング・サイズは、ユー
ザが指定した探索基準に依存する場合がある。
【０１４４】 ステップ４７２では、サブサンプリングの種類を決定することもできる。サブ
サンプル・ピクセルは、グリッド・ベースまたは他の均等技術、ランダム技術、
低不適合数列等による方法を含めて、様々な方法のどれでも決定することができ
る。サブサンプリングの種類は、サブサンプル・ピクセルの決定を制御すること
ができる。一実施形態では、各位置で色情報をサンプリングするために使用され
るピクセルは、上記で図１１を参照しながら説明したパターン解析で決定される
サンプル・パターン一致ピクセルに対応させることができる。上記のように、こ
れらのサンプル・ピクセルは、比較的少数の点によって効率よくテンプレート画
像のパターン情報と色情報の両方を特徴付けるためにパターン解析において決定
することができる。したがって、これらのサンプル・ピクセルを使用することに
よって、第１パス色一致探索の効率を高めることができる。
【０１４５】 図１６に示すように、次いで、サンプリングされるべきタ−ゲット画像の各領
域に関してステップ４７４から４８０を実施することができる。
【０１４６】 ステップ４７４では、ターゲット画像領域に関して色特徴解析を実施すること
ができる。このステップは、図９を参照しながら上記で説明した色特徴付け方法
を使用することができるが、ここでは、ターゲット画像ピクセル（またはピクセ
ルのサブセット）がそれらの色情報に関して個別に検査され、色空間ビンに割り
当てられる。ステップ４７６では、ターゲット画像領域の色スペクトルとテンプ
レート画像の色スペクトルの間の差（または類似点）の程度は、それぞれの色特
徴解析で獲得した情報を比較することによって計算することができる。この比較
は、様々な方法のどれでも実施することができる。一実施形態では、一組のＮ個
のビンの各色ビンについて、これら２つの画像の対応するビンに割り当てられた
ピクセルの百分率値を互いから引いてＮ個の差分値を得ることができる。それぞ
れの差分値が０に近いほど、色のカテゴリに関して、テンプレート画像とターゲ
ット画像領域との間の類似性は高まる。すなわち、特定の色カテゴリ内に含まれ
るテンプレート画像とターゲット画像領域上のピクセルの百分率は事実上同じで
あるということである。
【０１４７】 次いで、この差分値の絶対値を合計して、０と２の間に入る値を得ることがで
きる。ここで、２は色スペクトル間の差の最大の度合いを示しており、０は類似
度の最大の度合いを示す。あるいは、各色のカテゴリに関する「スコア」を決定
するために、差分値のそれぞれをしきい値と比較することができる。
【０１４８】 上記方法は適用するのに簡便であり、結果は容易に理解されるが、この方法は
、すべての色一致の適用例に関して最善の方法でない場合がある。例えば、色相
平面の７つの自然色のうちの少なくとも１つが、例えばユーザによる媒体または
好感度レベルの指定に応答して複数のビンに分割された場合を想定する。テンプ
レート画像とターゲット画像領域とが酷似した色を有する場合でさえ、それぞれ
のピクセルをその色相平面内の同じ自然色に対応する異なるビンに割り当てるこ
とは依然として可能である。したがって、この実施例の結果は、同じビンにピク
セルがほとんどあるいは全くないことを示す場合がある。すなわち、テンプレー
ト画像とターゲット画像領域は非常に異なる色のスペクトルを有することを示す
場合がある。テンプレート画像とターゲット画像領域内の色は実際には酷似して
いるのに同じ自然色の異なる色相カテゴリに入っている場合があるので、これは
真の結果でない場合がある。このような場合を補う別の色スペクトル技術につい
て、図２３〜２５を参照して以下で説明する。
【０１４９】 上記の通り、一実施形態では、テンプレート画像の色特徴解析を実施する際に
１つまたは複数の優勢色カテゴリを示す情報を獲得することができる。再び図１
６を参照すると、ステップ４７８では、優勢色カテゴリに関する違いの程度を計
算することができる。違いの程度は、色のスペクトルの違いに関して上記で説明
した方法と同様の方法で計算することができる。例えば、テンプレート画像に関
して決定された各優勢色カテゴリに関して、その優勢色カテゴリに割り当てられ
たテンプレート画像ピクセルの百分率を、その色のカテゴリに割り当てられたタ
ーゲット画像領域のピクセルの百分率と比較することができる。
【０１５０】 ステップ４８０では、その領域を候補色一致領域リストに追加するかどうかを
決定するために、ステップ４７６および４７８で決定された様々な値を使用する
ことができる。例えば、その領域をリストに追加するためには、色のスペクトル
差はしきい値よりも低くする必要がある。色のスペクトル差は、計算後即座にテ
ストすることができ、その差があまりにも大きな場合は、ステップ４７８等のサ
ンプル領域のさらなる解析を中止することができることに留意されたい。
【０１５１】 色のスペクトルの差が十分に小さい場合、１つまたは複数の優勢色差を想定す
ることができる。色スペクトル差の計算の様々な実施形態では、テンプレート画
像の１つまたは複数の優勢色の出現がサンプル領域で大幅に低減される場合があ
るか、またはサンプル領域内ですべて失われる可能性があってさえ、小さな差分
値を獲得することが可能であるので、サンプル領域が色においてテンプレート画
像と一致することをさらに確認するために、１つまたは複数の優勢色差が役立つ
場合があると想定する。優勢色差は個別に考えても、または総合的に考えてもよ
い。例えば、複数の優勢色カテゴリがある場合、その領域を候補リストに追加す
るためにはカテゴリごとの百分率差をしきい値より小さくすることが必要となる
場合があり、あるいは、全カテゴリの差の平均をしきい値よりも小さくすること
が必要となる場合がある。
【０１５２】 図１７−パターン一致方法 図１７は、図１２のステップ４５４に示すように、色一致候補領域を取り囲む
近接領域ごとに実施されるパターン一致探索の一実施形態を示す流れ図である。
必要に応じて、様々な種類のパターン一致を使用することができる。図１７の流
れ図は、粗−細探索において異なる安定近傍サイズおよび対応するステップ・サ
イズを使用するパターン一致を示す。
【０１５３】 一実施形態では、色およびパターン一致プロセスをより迅速に完了するために
、ターゲット画像内で発見することが希望される一致数に関する情報を使用する
ことができる。例えば図２６に、希望する一致数を指定することをユーザに可能
にするグラフィカル・ユーザ・インターフェースを示す。この場合、パターン一
致方法は、以下の式で計算することができる最大数に基づいてパターン情報に関
して探索される領域数を限定することができる。
【０１５４】 最大＝基数＋因数*希望数 上式で、「基数」および「因数」は変更できる変数である。
【０１５５】 色情報に基づく第１パス探索は、特にそれが若干緩やかな色一致基準を使用す
るように変更されている場合に、候補色一致領域の最大数を決定することができ
る。パターン一致プロセスは、上記で説明した最大数に基づいて探索する領域数
を限定することができる。例えば、図１６を参照しながら上記で説明した通り、
各ターゲット画像領域の色情報がどれだけよくテンプレート画像の色情報と一致
しているかに関する差の程度を計算することができる。色一致候補領域はスコア
リングして色の差に基づいて分類することができ、パターン一致は、この分類し
た順番で実施することができる。すなわち、テンプレート画像の色情報に最も近
似して一致する色一致候補領域を取り囲む領域が、パターン情報に関して最初に
探索される。各領域が探索される際、パターン一致候補領域がその領域内で発見
されると、その一致をその時点の色およびパターン一致候補のその時点における
合計に追加することができる。その時点における色およびパターン一致候補数が
最大数を超える場合、残りの色一致候補近接領域に関してはパターン一致は実施
されない。しかし一実施形態では、所与の色一致領域に対する色の差が特定しき
い値よりも小さい場合、一致の最大数だけ既に発見されているかいないかに関わ
らず、その候補色一致領域を取り囲む領域をパターン情報に関して探索すること
ができる。
【０１５６】 図から分かるように、ステップ４６２では、方法は、第１の安定近傍サイズと
対応する第１のステップ・サイズとを有するサンプル・ピクセル値の第１の組を
使用して粗パターン一致探索を実施するように動作する。したがって、方法は、
サンプル・ピクセル値の第１の組と第１のステップ・サイズとを使用してパター
ン一致の第１の反復を実施する。第１パス色一途プロセスについて上記で説明し
たのと同様に、ターゲット画像領域は全体をステップされることができ、その領
域内の様々な位置のパターン情報をサンプリングすることができる。最初の粗パ
ターン一致のために使用されるサンプル・ピクセルの第１の組は、最大の安定近
傍サイズ、すなわち最大のステップ・サイズを有することが好ましい。この粗パ
ターン一致は、ターゲット画像領域内のテンプレート画像に対する可能性のある
領域を０またはそれ以上提示する。すなわち、この粗パターン探索は、色情報と
パターン情報の両方に関してテンプレート画像と一致する可能性のあるターゲッ
ト画像領域にある候補領域を０またはそれ以上提示する。必要ならば、すなわち
ターゲット画像領域が十分に小さいならば、ステップ４６２で決定される候補領
域の数は、例えば候補として最善の一致するものを選択することによって、１に
限定される。
【０１５７】 上記の通り、サンプル・ピクセル値は、色相平面、彩度平面、および／または
輝度平面を含むテンプレート画像の様々な色平面から獲得することができる。こ
れら平面のどれかまたはすべてからのサンプル・ピクセル値を、ステップ４６２
で使用することができる。好ましい実施形態では、輝度平面からのサンプル・ピ
クセル値がステップ４６２で使用され、他の平面からのサンプル・ピクセルは後
続のパターン一致反復で使用することができる。
【０１５８】 ステップ４６４で、方法は、ステップ４６２で決定された候補領域で、第２の
安定近傍サイズと対応する第２のステップ・サイズとを有するサンプル・ピクセ
ル値の第２の組を使用してより細かいパターン一致探索を実施するように動作す
る。ここで、第２の安定近傍サイズと第２のステップ・サイズは第１の安定近傍
サイズと第１のステップ・サイズよりも小さい。このより細かいパターン探索は
、ターゲット画像中のテンプレート画像について一致する可能性のある領域を０
またはそれ以上提示するが、通常、ステップ４６２で実施された粗探索で提示さ
れた１つまたは複数の偽一致を破棄する必要がある。
【０１５９】 ステップ４６４は、さらにより細かいパターン一致探索を実施するために、さ
らに小さい安定性近傍サイズと対応する第２のステップ・サイズとを有するサン
プル・ピクセルの他の組を使用して１回または複数回、反復することができる。
ステップ４６４は、残りの候補領域で反復されることが好ましい。ステップ４６
４の１回または複数回の反復後、残りの一致する可能性のあるものが実際に一致
するものであるかどうかを判定するために、方法は、サンプル・ピクセルのすべ
てを使用してステップ４６４における最終パターン一致探索を実施することを必
要とする。あるいは、サンプル・ピクセル値のすべてを使用したステップ４６４
の１回または複数回の反復の後、および／またはパターン一致のステップの後、
ステップ４６６で、方法は、さらに任意選択で、ターゲット画像領域内の残りの
候補領域についてテンプレート・ピクセルのすべてを使用してパターン一致探索
を実施する。ステップ４６４で実施される反復数は、パターン一致における所望
の精度の程度に依存する。同様の方法で、ステップ４６６が実施されるかどうか
の判断も、パターン一致における所望の精度の程度に依存する。
【０１６０】 したがって、各領域内におけるパターン一致探索は、好適には異なるステップ
・サイズの、サンプル・ピクセルの組のうちの異なるサンプル・ピクセルを使用
して、パターン一致の複数回の反復を実施することを含む。局所安定性解析は、
異なる安定近傍サイズを有するサンプル・ピクセルの複数の組を判定し、パター
ン一致探索は、例えば、連続的に小さい安定近傍サイズおよび／または連続的に
小さいステップ・サイズを用いて、粗−細方法においてサンプル・ピクセルの前
記組の異なった組を使用してパターン一致の複数回の反復を実施することを含む
。テンプレート画像と一致する可能性のあるパターン一致探索の第１の反復がタ
ーゲット画像領域内の１つまたは複数の候補領域を決定する場合、ターゲット画
像領域内の決定された１つまたは複数の候補領域でパターン一致探索の１回また
は複数回の第２の反復が実施される。パターン一致探索の第１の反復は第１の安
定近傍サイズと第１のステップ・サイズとを使用し、パターン一致の１回または
複数回の第２の反復のそれぞれは、より小さな安定近傍サイズとより小さなステ
ップ・サイズとを使用する。
【０１６１】 パターン一致探索反復は、必要に応じて色一致の反復と交互に行うことができ
るということに留意されたい。例えば、第１パス色一致探索で使用したものにく
らべて、より小さなステップ・サイズおよび／またはより大きなサブサンプリン
グ・サイズを使用する色一致の反復を実施することができる。一実施形態では、
最終一致を確認するために、パターン・、マッチングの反復によって決定される
最終一致に関して色一致方法を実施することができる。
【０１６２】 実施されるパターン一致探索のオペレーションの一例として、図１１のステッ
プ３０６では、９×９の安定近傍サイズを有するサンプル・ピクセル値の第１の
組と、５×５の安定近傍サイズを有するサンプル・ピクセル値の第２の組等が決
定される。ステップ４６２においてパターン一致探索を実施するとき、方法は、
例えば９×９の安定近傍サイズなどのより大きな安定近傍サイズを有するサンプ
ル・ピクセル値を使用して開始することが好ましい。この探索は、この安定近傍
サイズに相当するステップ・サイズ、例えば９ピクセルのステップ・サイズをも
使用する。したがって、これらの点またはサンプル・ピクセル値は探索プロセス
が実施される９×９の領域全体で安定しているので、一致の値を計算するために
ターゲット画像領域の各ピクセルを訪問するのではなく、パターン一致が各９ピ
クセルのステップ・サイズで実施されることが好ましい。
【０１６３】 この最初のコア探索が領域内で一致する可能性のあるものの最初の組を決定す
ると、最初の一致位置でパターン一致探索を実施してこれらの位置のより正確な
探索を実施するために、例えば５×５の安定領域などのより小さな近傍サイズを
有するサンプル・ピクセル値の第２の組が使用される。安定近傍サイズおよびス
テップ・サイズに基づくこの粗−細探索は、所望の程度のパターン一致が達成さ
れるまで粗−細の複数回の反復を実施することができる。
【０１６４】 図１８−５ピクセルのステップ・サイズを使用したパターン一致探索 ターゲット画像領域内でパターン一致探索を実施するとき、この領域をいかな
る様々な方法でも横切ることができる。図１８に、５ピクセルのステップ・サイ
ズを使用してパターン一致が実施される一例、すなわちターゲット画像のそれぞ
れの部分全体を５ピクセルでテンプレート画像をステップする一例を示す。図１
８は、候補色一致領域に近接した領域全体を通した最初のパターン一致横断を表
現することも、前回のパターン一致反復で決定されたサブ領域全体を通したより
詳細な探索を表現することもできる。上記の通り、より詳細なパターン一致探索
は、各反復をより小さいステップ・サイズとより多くのサンプル数で、所望の精
度が達成されるまで０回からそれ以上の回数繰り返すことができる。最終パター
ン一致反復は、一致する可能性のあるターゲット画像領域内の１つまたは複数の
領域においてテンプレート画像内のすべてのピクセルを使用することを必要とす
る。
【０１６５】 ステップ・サイズを使用したパターン一致は従来技術であることに留意された
い。しかし、従来技術の方法は、一般に、ステップ・サイズに関係なく、同じサ
ンプル・ピクセルまたはテンプレート画像を使用する。したがって、本発明の好
ましい実施形態では、方法は、局所安定性解析に基づいて、それぞれのパターン
一致比較に対してサンプル・ピクセルのサブセットを選択するように動作する。
本発明の方法は、それぞれのサンプル・ピクセルの決定された安定領域または近
傍に基づいてステップ・サイズを計算するためにも動作する。この方法は、粗−
細解析において、サンプル・ピクセルの異なるサブセットと異なる相当するステ
ップ・サイズとを使用するようにもさらに動作する。
【０１６６】 図１９−回転不変の色およびパターン一致 図１９に、回転不変の色およびパターン一致探索を実施するための方法の流れ
図を示す。図１９に示すステップは、図６に示す方法と類似しているが、特に回
転不変の色およびパターン一致を示している。図１９の方法には、回転不変の一
致に関するテンプレート画像の特徴付けまたは表現が含まれる。したがって、図
１９は、テンプレートを正確に特徴付ける色情報とサンプル・ピクセル値または
点の低減された組とを発見するためにテンプレート画像をサンプリングすること
を目的としており、これはさらにターゲット画像内におけるテンプレート画像パ
ターンの向きに関係なくターゲット画像内でテンプレート画像を発見することに
も繋がる。
【０１６７】 テンプレート画像は様々な形状を有することができる。回転不変の色およびパ
ターン一致探索を実施ためには、テンプレート画像内に入る最大の円の色情報を
考慮することが理想的である。しかし、これは第１パス色一致探索中にターゲッ
ト画像内の円形領域の色情報をサンプリングするという、コンピュータ上では費
用の掛かる恐れがあり、したがってリアルタイムの適用例の場合に望ましくない
場合のあることを意味するものである。したがって、ステップ５２０に示す通り
、好ましい実施形態では、テンプレート画像の方形領域内の色情報は、テンプレ
ート画像内に適合する最大円の境界を示す方形のようなものとして特徴付けられ
る。この結果、回転において不変でないが、探索効率における向上によってこの
要因に勝る方形の隅付近の色情報の解析がもたらされる。別の実施形態では、最
大円内に適合する最大方形の色情報を解析することができる。この場合、いくつ
かの回転において不変の色情報を解析することはできないが、回転において不変
でない色情報が解析され、探索効率はなおも高められる。
【０１６８】 ステップ５２２では、方法は、１つまたは複数の回転において不変の経路、例
えば１つまたは複数の円形の円形周囲などに沿ったテンプレート画像内のピクセ
ル値をサンプリングまたは探すように動作する。これは基本的に、回転において
不変の方法で画像をサンプリングするために、すなわち１つまたは複数の円形周
囲または円形経路に沿ってテンプレート画像内のピクセルを探すように動作する
。
【０１６９】 ステップ５２４では、方法は、上記と同様の方法でステップ５２０で獲得した
色情報を使用して第１パス色一致探索を実施する。
【０１７０】 ステップ５２６では、方法は、ステップ５２４で決定された色一致候補領域を
取り囲む様々なターゲット画像領域全体を通して、円形周囲サンプル・ピクセル
とターゲット画像とを使用してパターン一致探索を実施する。テンプレート画像
内で見つけられた１つまたは複数の円のそれぞれについてパターン一致探索を実
施することができる。この回転不変パターン一致は、循環型相関を使用すること
が好ましい。循環型相関方法は、相関値を決定するために、まず２つの信号、す
なわち循環経路から取られたサンプル・ピクセルと、ターゲット画像内のそれぞ
れのピクセルとを相関させる。この第１の相関の後、方法は、例えばサンプル・
ピクセルが別の信号に関して１つのサンプル・ピクセルだけなど、１つの信号だ
けシフトさせて再度相関を実施する。このプロセスは、好適にはすべての可能性
のある相関の実施が完了するまで、すなわちサンプル・ピクセルがその元の位置
までシフトして戻るまで反復される。これら相関のそれぞれの実施が完了した後
、方法は、最大相関の位置および／または回転を決定する。これによって、ター
ゲット画像内のテンプレート画像の位置および回転に関する情報（良好な推定値
）がもたらされる。
【０１７１】 ステップ５２６で実施されたパターン一致探索は、ターゲット画像内のテンプ
レート画像のサイズ変更を探索するために使用することもできる。すなわち、ス
テップ５２６で実施されたパターン一致探索は、テンプレート画像の拡大縮小さ
れた（より大きく、またはより小さく）バージョンを探索するためにも使用する
ことができる。これは、探索円のサイズを拡大縮小する（より大きくするか、よ
り小さくする）ことによって達成される。より具体的には、拡大縮小不変一致の
場合、方法は、例えば半径Ｒの、テンプレートからのそれぞれの円形周囲からの
サンプル・ピクセルを使用する。パターン一致探索中、方法は探索円の半径を変
更する。方法は、テンプレート画像よりも大きなパターンを探索するときには半
径Ｒを増やし、テンプレート画像よりも小さな画像内のパターンを探索するとき
には半径Ｒを減らす。
【０１７２】 図２０−粗−細探索を使用した回転不変の色およびパターン一致 図２０は、粗−細探索手順を使用した回転不変の色およびパターン一致探索を
実施するための方法の一実施形態を示す流れ図である。
【０１７３】 図５４０では、図１９のステップ５２０に関して上記で説明した通り、テンプ
レート画像内に適合する最大方形の色情報が解析される。
【０１７４】 ステップ５４２では、方法は、１つまたは複数の回転において不変の経路に沿
って、例えば１つまたは複数の円形周囲に沿って、テンプレート画像内のピクセ
ル値を捜し出すように動作する。これは、基本的に、回転において不変の方法で
テンプレート画像をサンプリングするために、すなわち１つまたは複数の円形周
囲または円形経路に沿ってテンプレート画像内のサンプル・ピクセルを見つける
ように動作する。
【０１７５】 ステップ５４４で、方法は、空間摂動に関してそれぞれの安定性を判定するた
めに各円形経路からのサンプル・ピクセル上で局所安定性解析を任意選択で実施
する。各サンプル・ピクセルに関して、局所安定性解析は、サンプル・ピクセル
値が近傍のテンプレート画像ピクセル値と高度に相関する、サンプル・ピクセル
周囲の近傍を発見することを含む。ステップ５４４では、方法は、それぞれの円
のサンプル・ピクセルに対する安定領域または近傍サイズを決定する。方法は、
また円のそれぞれに対するステップ・サイズを計算することが好ましい。したが
って、局所安定性解析は、異なる安定近傍サイズを有するサンプル・ピクセルの
複数の組を決定する。
【０１７６】 ステップ５４６では、方法は、最初のパターン一致探索に関して最も安定した
円のサンプル・ピクセルを選択する。別法として、方法は、粗−細探索で使用す
るために、円の少なくとも１つのサブセットからのサンプル・ピクセルの順序、
好適には最も安定したものから最も安定していないものへの順序を選択する。
【０１７７】 ステップ５４８では、方法は、上記と同様の方法で、候補色一致領域を０また
はそれ以上識別するために第１パス色一致探索を実施する。
【０１７８】 次いでステップ５５０〜５５６は、ステップ５４８で識別された各色一致領域
を取り囲む近接領域について実施することができる。
【０１７９】 ステップ５５０では、方法は、１つまたは複数の最も安定した円からのサンプ
ル・ピクセルを使用してパターン一致探索を実施する。方法は、ターゲット画像
領域全体を通してサンプル・ピクセルをステップするために、計算されたステッ
プ・サイズを任意で使用して、サンプル・ピクセルをターゲット画像領域の複数
の部分と比較することが好ましい。ステップ５５０で実施されたパターン一致は
、テンプレートの回転されたバージョンを見つけることができる０またはそれ以
上の候補領域を決定することが好ましい。このパターン一致は、循環型相関で獲
得された最大相関値に基づいて、ターゲット画像内のテンプレート画像の可能性
のある回転を示す回転値を決定することも好ましい。
【０１８０】 ステップ５５２では、方法は、結果を改善するために、１つまたは複数の別の
円からのサンプル・ピクセルを使用してパターン一致探索を実施する。好ましい
実施形態では方法は粗−細探索を実施するが、ステップ５５０では、方法は、テ
ンプレート画像を見つけることができる１つまたは複数の候補領域と対応する回
転値とを決定する。ステップ５５２では、方法は、それらの候補領域を取り囲む
サブ領域の１つまたは複数のテンプレートのより安定性に乏しい円からのサンプ
ル・ピクセルを使用して、また好適にはこれらの回転値を使用して、パターン一
致探索を実施する。したがって、方法は、上記の方法で粗−細探索プロセスを実
施する。ここで、最も安定した円形経路に対するサンプル・ピクセル値が最初の
探索プロセスでまず使用され、次いで、最初の探索の結果をより良いものとし、
また、テンプレートの場所と画像内の回転を正確に決定するために、追加の円か
らのサンプル・ピクセル値が、一致する可能性のある位置で使用される。
【０１８１】 好ましい実施形態では、回転不変パターン一致方法は画像内の非重複円形経路
を使用する。同様に、好ましい実施形態では、方法は、偽一致を拒絶するために
複数の円を使用する。方法は、必要に応じて同軸円も使用する。図２１Ａと２１
Ｂは、１つまたは複数の円形経路からとったサンプル・ピクセルを使用して回転
不変マッチングに関するテンプレート画像（プリント基板）の特徴を示す。図２
１Ａは同軸円からのサンプル・ピクセルの使用法を示し、図２１Ｂは非同軸、非
重複円の使用法を示す。図２１Ａおよび２１Ｂは、ターゲット画像内で発見され
ることが望ましいテンプレート画像の一例も示す。図２２は、同軸円および非同
軸円の使用法を例示する実際の画面の一場面である。
【０１８２】 ステップ５５４では、方法は、パターン一致の前にテンプレート画像のピクセ
ルを回転するために、テンプレート画像ピクセルのすべてを使用して、好適には
ステップ５５０または５５２で決定された回転値を使用して、パターン一致を任
意選択で実施する。すなわち、ターゲット画像内の候補領域の向きをほぼ一致さ
せるためにテンプレート画像が回転され、次いでテンプレート画像のピクセルの
すべてを使用してパターン一致が実施される。パターン一致前のこのテンプレー
ト画像の回転は、テンプレート画像全体は回転において不変ではないので必須で
ある。
【０１８３】 すなわち、５５０、５５２および／または５５４で実施されるパターン一致検
索の後、方法は、上記と同様の方法でステップ５５６で生じる結果を生成する。
この場合、結果には、ターゲット画像内の０またはそれ以上のテンプレート画像
インスタンスの位置ならびに各インスタンスの回転または向きが含まれる場合が
ある。
【０１８４】 テンプレート画像の拡大縮小したバージョン 図１９および２０で示した方法は、ターゲット画像内のテンプレート画像のサ
イズ変更を探索するためにも使用することができる。すなわち、テンプレート画
像の拡大縮小（より大きくまたはより小さく）したバージョンを探すためにパタ
ーン一致探索を使用することもできる。これは、探索円のサイズを拡大縮小する
（より大きくするか、またはより小さくする）ことによって達成される。より具
体的には、スケール不変マッチングの場合、方法はテンプレートからのそれぞれ
の円形周囲、例えば半径Ｒからのサンプル・ピクセルを使用する。パターン一致
中、方法は、探索円の半径を変更する。方法は、テンプレート画像よりも大きな
パターンを探索しているときには半径Ｒを増加させ、テンプレート画像よりも小
さな画像内のパターンを探索しているときには半径Ｒを縮小する。
【０１８５】 図２３−色一致突き止め法 上記のように、本発明の別の実施形態は、テンプレート画像の色情報に一致す
る（パターン情報には必ずしも一致しない）、ターゲット画像中の領域を見つけ
ることができる色一致突き止め法である。このような色一致突き止め法は、多く
のアプリケーションで有用でありうる。例えば、この方法は、サブピクセルの精
度で、ターゲット画像におけるテンプレート画像の正確な突き止めを求めること
を必要としないアプリケーションで特に有用である。例えば、アプリケーション
によっては、一定の精度で非常に迅速に一致を突き止める必要はあるものの、照
合にパターン情報も使用した場合に得られる精密度をもって突き止めを判定する
必要はない場合がある。このより粗い判定は、例えば色分けしたすべてのピルが
ブリスター・パックにあるかどうかを判定する場合などの多くのアプリケーショ
ンに適している。
【０１８６】 図２３は、色の特徴付けとの関連で、テンプレート画像に一致するターゲット
画像の領域を見つける方法の一実施形態を説明する流れ図である。
【０１８７】 ステップ６５０で、テンプレート画像を受け取ることができる。テンプレート
画像は、グレーレベルおよび色の画像を含む、各種画像のうち任意のものでよい
。テンプレート画像は、各種ソースの任意のものから受け取るか、入手すること
ができ、これは画像全体でも、あるいは例えばユーザが指定した対象領域など画
像の一部でもよい。例えば、ユーザは、グラフィカル・ユーザ・インターフェー
ス（ＧＵＩ）を用いて対象領域（ＲＯＩ）を選択することができる。一実施形態
では、ＧＵＩにより、ユーザが、長方形、楕円、あるいはフリーハンドで選択し
た形状など、多様な形状のＲＯＩから選ぶことが可能である。
【０１８８】 ステップ６５１で、ターゲット画像を受け取ることができる。テンプレート画
像の場合と同様に、ターゲット画像も、記憶媒体から得た画像や、カメラ、フレ
ーム・グラバ、スキャナなどのハードウェア装置から入手した画像を含む各種画
像の任意のものでよい。ターゲット画像は、グラフィック・ソフトウェア・プロ
グラム、ネットワークを介した送信などを含む、任意の他のソースから受信して
もよい。ターゲット画像も、画像全体でも画像の一部でもよい。
【０１８９】 代替実施形態では、複数のテンプレート画像および／またはターゲット画像を
受信または指定できることに留意されたい。例えば、テンプレート画像の色情報
に一致する色情報を有する領域を求めて複数のターゲット画像を探索するのが望
ましいこともあり、あるいは複数のテンプレート画像のどれかに一致するターゲ
ット画像領域を探すことが望ましい場合もある。
【０１９０】 ステップ６５２で、テンプレート画像に、色特徴付け分析法を行うことができ
る。一実施形態では、この分析は、ＨＳＩ色空間を複数のカテゴリすなわち「ビ
ン」に分割するものである。次いで、ビンへのピクセルの割り当てを求めるため
に、テンプレート画像のピクセルの色情報を調べることができる。ステップ６５
２の特定の一実施形態については、上記で図９を参照して説明している。代替実
施形態では、色特徴付け分析を行うのに各種の他の方法の任意のものを使用して
よい。
【０１９１】 一実施形態では、テンプレート画像の色特徴付けは別のコンピュータ・システ
ムで行うことができ、ステップ６５０で、この方法では、テンプレート画像の色
特徴付け情報を受け取る。したがって、色一致突き止めソフトウェアを実行する
コンピュータ・システムは、テンプレート画像の色特徴付け情報を受け取り、あ
るいはそれを記憶するだけでよく、テンプレート画像自体を記憶する必要はない
。
【０１９２】 ステップ６５４で、色特徴付けとの関連で、テンプレート画像に一致する領域
を見つけるために、ターゲット画像を探索することができる。この探索には、ス
テップ６５２で得たテンプレート画像の色特徴付け情報を利用することができ、
また、ターゲット画像の様々な領域に色特徴付け分析を行うこともできる。ステ
ップ６５４は、ターゲット画像の様々な領域に色特徴付け分析を行い、それぞれ
の領域の色特徴付けを、ステップ６５２で得たテンプレート画像の色特徴付け情
報と比較するものである。ステップ６５４は、各種ある方式のうち任意のもので
行ってよい。一実施形態では、ターゲット画像を複数回のパスで探索することが
できる。最初のパスは粒子の粗い探索であり、これによりターゲット画像中の候
補領域または領域のリストを効率的に識別する。後のパスでは、最終的な一致を
求めるために候補領域をより精密に調べる。ステップ６５４の特定の一実施形態
については、下記で図２４との関連で詳細に述べる。
【０１９３】 ステップ６５６では、色一致の位置またはその分析の情報を生成することがで
きる。ステップ６５６は、ターゲット画像中の一致領域の位置を視覚的に示すな
ど、情報を表示し、かつ／または一致領域の色情報に関する各種統計、あるいは
その領域がテンプレート画像の色情報に厳密にどの程度一致するかについての各
種統計を示す情報を表示するものである。
【０１９４】 図２４−ターゲット画像探索 図２４は、ターゲット画像を探索して、テンプレート画像に一致する色情報を
有する領域を見つける方法の一実施形態を説明する流れ図である。一実施形態で
は、図２４に示すターゲット画像探索法を、図２３に示す色一致突き止め法のス
テップ６５４で使用することができる。代替実施形態では、特定のアプリケーシ
ョンに望ましい、各種の他の探索方法の任意のものを使用することができる。図
２４に示すターゲット画像探索法では、粗−精ヒューリスティックを利用する。
この手法では、ターゲット画像の色一致候補領域を第１パス探索で識別し、次い
でこの候補領域をより詳細に調べて最終的な色一致領域を識別する。
【０１９５】 調べるターゲット画像の各領域は、ターゲット画像へのウィンドウと見ること
ができる。このウィンドウのサイズは様々である。例えば、ウィンドウ・サイズ
はテンプレート画像のサイズにちょうど一致することもあり、あるいはウィンド
ウ・サイズは拡大縮小して、テンプレート・サイズよりも大きくあるいは小さく
することもできる。ウィンドウは、様々な領域で画像をサンプリングするために
、ターゲット画像中を移動させることができる。領域をサンプリングするポイン
トは、各種方式のどれで決定してもよい。一実施形態では、ウィンドウは初めタ
ーゲット画像の左上部の隅に置き、その後一定距離のステップで画像中を移動さ
せることができる。下記のように、サンプル領域ごとに、その領域の色情報をテ
ンプレート画像の色情報と比較することができる。
【０１９６】 図２５は、第１パス探索の際のウィンドウの移動例を表している。ここでは、
ウィンドウはターゲット画像の左上部の隅から開始し、９ピクセルのステップ・
サイズを用いてターゲット画像中を移動している。図２５Ａで、テンプレート画
像と、ターゲット画像の左上部との最初の色比較を行うと、例えば、図２５Ｂに
示すようにウィンドウを９ピクセルの走査線分下方に移動する。ターゲット画像
のこの部分をテンプレート画像と比較すると、図２５Ｃに示すように、ウィンド
ウをさらに９走査線分下に移動する。図２５Ｄに示すように、ウィンドウがター
ゲット画像の左下部に達するまで比較を繰り返す。この比較を終えると、ウィン
ドウを例えばターゲット画像の上部に戻し、図２５Ｅに示すように９垂直ピクセ
ル列分移動して再度比較を行う。図２５Ｅでこの比較を行うと、図２５Ｆに示す
ように、ウィンドウを９ピクセルの水平走査線分下方に移動する。この手順は、
ウィンドウが再びターゲット画像の下部に達するまでさらに複数回繰り返す。そ
の時点で、ウィンドウをターゲット画像の上部に戻し、さらに９ピクセルの垂直
列分移動して（図示せず）、比較をもう１セット行う。この手順は、９ピクセル
のステップ・サイズを用いて、ターゲット画像全体にわたってウィンドウをステ
ップさせるまで行うことができる。
【０１９７】 図２５Ａ〜２５Ｆは単に、ターゲット画像中でウィンドウをステップさせる際
の例に過ぎないことに留意されたい。ウィンドウは、様々なステップ・サイズの
任意のものを使用し、かつ、例えば左から右へ、右から左へ、上から下へ、下か
ら上へ、あるいはその他の方法など、各種方式のうち任意のものでターゲット画
像中をステップさせてよいことに留意されたい。また、ターゲット画像は必ずし
も規則的なステップ間隔でサンプリングしなくともよい。例えば、ウィンドウの
配置は、各種アルゴリズムのどれを用いて選んでも、あるいはランダム、準ラン
ダムに選んでもよい。
【０１９８】 図２４のステップ７５０で、各種の探索オプションを指定するユーザ入力を受
け取ることができる。探索オプションでは、例えば、色一致を判定するのに使用
する粒度の程度および／またはターゲット画像の探索プロセスの効率に影響する
各種のパラメータ値を指定することができる。一実施形態では、ユーザは、「綿
密」、「平衡」、「積極的」の３オプションの１つを指定することができ、それ
ぞれ、下記で図２６を参照して説明するような各種の探索パラメータを制御する
。他の実施形態では、探索パラメータは個別に指定することができる。
【０１９９】 ステップ７５２で、最初の色一致候補領域、すなわちテンプレート画像の色情
報に一致する色情報を有する領域を含む可能性のある領域を見つけるために、タ
ーゲット画像に第１パス探索を行う。ステップ７５２の一実施形態については、
下記で図２６を参照して説明する。
【０２００】 ステップ７５４では、ステップ７５２で識別した各候補領域をより詳細に調べ
る。第１パス探索では、可能性のある一致を含んだ領域を効率的に識別するため
に、比較的大きなステップ・サイズで、ターゲット画像の様々な領域をサンプリ
ングすることができる。ステップ７５４では、候補領域ごとに、探索ウィンドウ
をまず、候補領域を識別した第１パス探索の際にウィンドウがあった位置に置く
。次いで、各候補領域に最も一致する領域を決定できるようにより粒子の細かい
探索を行うために、ステップ・サイズを小さくして、この最初の位置の周りでウ
ィンドウを移動する。この新しいステップ・サイズは、最初の候補がテンプレー
ト画像にどれだけ一致したかに反比例させてもよい。すなわち、最初の候補がテ
ンプレート画像に非常に近ければ、最良の一致を飛び越してしまわないようによ
り小さなステップにするという、「山登り法」のヒューリスティックを用いるこ
とができる。ターゲット画像領域の色情報がどれほどテンプレート画像の色情報
に近いかを判定するための各種の方法については下記で述べる。
【０２０１】 ステップ７５４で行う探索中に、ウィンドウは、各種のストラテジまたはアル
ゴリズムのうち任意のものを用いて、各候補領域の周りを移動させることができ
る。ただし、ウィンドウを元の候補の位置から離してよい距離は、例えばその距
離をウィンドウ・サイズの関数および／または第１パス探索で使用したステップ
・サイズの関数とするなど、制限することが好ましい。一実施形態では、ターゲ
ット画像の色情報がテンプレート画像の色情報に一致する度合いが、ウィンドウ
がその初期位置から離れるに従って低下することが判明した場合、不必要な比較
を回避するためにその方向の探索を中止することができる。
【０２０２】 上記で図２３を参照して述べたように、例えばターゲット画像をより迅速に探
索するために、ターゲット画像領域の色情報を分析する際には、その領域の個々
のピクセルのサブセットについてのみ色情報を調べることが望ましい。各ターゲ
ット画像領域のサブサンプリング・サイズは、ユーザ指定の探索基準によって決
定してよい。ステップ７５４では、より精密な色特徴付け情報を得るために、タ
ーゲット画像の色情報の分析に使用するサブサンプリング・サイズを増して、第
１パス探索で使用したサブサンプリング・サイズを上回るようにすることが望ま
しい。
【０２０３】 各種の実施形態で、ステップ７５４は、第１パス後の候補リストに１回または
複数回の後続のパスを行うものである。例えば、所望の場合には、例えばステッ
プ・サイズを１ピクセルまで減らし、ターゲット画像領域の全ピクセルをサンプ
リングするまで、逐次的に減少するステップ・サイズ、および／または増加する
サブサンプリング・サイズを用いて、可能であれば特定の候補のみについて、粗
−精探索ヒューリスティックを繰り返すことができる。行うパスの望ましい回数
、およびパス間で探索パラメータが変化する割合は、特定アプリケーションの精
度および効率性の要件に応じて異なってよい。
【０２０４】 第１パス探索で識別された最初の候補領域はそれぞれ、ステップ７５４で見つ
かった、テンプレート画像の色情報に最も一致する色情報を有する領域に置き換
えることができる（あるいは、それよりよい一致が見つからなければ置換えなく
てよい）。また、以前のパスで識別された候補領域を、その後のパスでまとめて
排除することも可能である。例えば、第１のパス探索の際はステップ・サイズが
比較的大きいため、候補を識別する一致基準は比較的緩いものになる。つまり、
候補一致領域と見るのに、ターゲット画像領域がテンプレート画像に非常に綿密
に一致する必要はない。その後のパスで候補領域をより完全に調べる際には、候
補を残すために、各候補の色情報がテンプレート画像により強く一致させること
が望ましくなる。
【０２０５】 一実施形態では、色一致突き止めプロセスをより迅速に完了するために、ター
ゲット画像に見つかる一致の予測数に関する情報を利用することができる。例え
ば、グラフィカル・ユーザ・インターフェースにより、ユーザが一致の予測数を
指定することができる。この場合、この方法では、探索する色一致候補領域の数
を、予測される一致数に基づいた最大数に制限することができる。一実施形態で
は、 Ｍａｘ＝Ｂａｓｅ＋Ｆａｃｔｏｒ*ＮｕｍｂｅｒＥｘｐｅｃｔｅｄ などの式でこの最大数を計算することができる。「Ｂａｓｅ」および「Ｆａｃｔ
ｏｒ」は設定可能な変数である。
【０２０６】 ターゲット画像の第１パス探索で識別した候補領域のリストは、それぞれの候
補領域の色情報がテンプレート画像の色情報に一致する程度によって分類するこ
とができ、後の探索パスの際には、この分類した順序で候補領域のリストをトラ
バースすることができる。予測される一致数に基づいて計算した最大数を使用し
て、後続のパスで探索する候補領域の数を制限することができる。第１パス探索
では比較的緩い一致基準を用いるため、第１パス探索では多数の候補領域を識別
することができる。この方法は、後続のパスの後に残る候補の数を把握するよう
に作用する。最大数に達した場合には、残りの第１パスによる候補領域のトラバ
ースを回避することができる。ただし一実施形態では、所与の候補領域とテンプ
レート画像との色差分が特定のしきい値よりも小さい場合には、後続パスの候補
の最大数にすでに達しているか否かに関係なく、その候補領域をトラバースする
ことができる。
【０２０７】 ステップ７５６では、ステップ７５４で行った１回または複数回のパスで決定
した各候補領域を、その色特徴付け情報とテンプレート画像の色特徴付け情報の
差分に基づいてスコアリングする。色差分は、各種方式のどれで計算してもよい
。色差分の方法の特定の実施形態については下記で説明する。候補領域のスコア
リングには、各種あるシステムのうち任意のものを使用してよい。一実施形態で
は、各領域に０から１０００のスコアを割り振るが、１０００が最も可能性のあ
る一致であり、０が最も可能性の低い一致である。
【０２０８】 ステップ７５８では、ステップ７５６で決定したスコアに基づいて、色一致領
域の最終リストを生成する。例えば、スコアが一定レベル以下の領域を排除する
のに使用するしきい値とスコアを比較することが可能である。このしきい値はデ
フォルト値でも、ステップ７５０で受け取ったユーザ入力で指定したものでもよ
い。
【０２０９】 図２６−第１パス探索 図２６は、図２４のステップ７５２に示した第１パス探索を行う方法の一実施
形態を説明する流れ図である。上記のように、一実施形態では、第１パス探索は
、ターゲット画像の様々な領域をサンプリングするものであり、サンプリングす
る領域は、特定のステップ・サイズに従ってターゲット画像に沿ってスライドす
るウィンドウによって決定することができる。したがって、この方法では、ステ
ップ７７０で、ウィンドウをスライドさせる際に使用する適切なステップ・サイ
ズを決定する。ステップ・サイズは、少なくとも部分的に、図２４のステップ７
５０で受け取ったユーザ入力に基づいて決定することができる。例えば、ユーザ
が積極的な探索基準を指定した場合には、ステップ・サイズが比較的大きくなる
のに対し、ユーザが綿密な探索基準を指定した場合には、ステップ・サイズが比
較的小さくなる。各種の実施形態では、探索サイズは、テンプレート画像および
／またはターゲット画像のサイズに応じて決めることもできる。
【０２１０】 テンプレート画像の場合と同様に、サンプリングする領域ごとに、その領域の
色情報を分析することができる。ただし上記のように、領域中のあらゆるピクセ
ルの色情報を調べることが望ましくない場合もある。したがって、ステップ７２
２でサブサンプリングのサイズおよび／またはその方法を決定するが、サブサン
プリング・サイズは、各領域で調べるピクセルの数を指定するものである。サブ
サンプリングの方法では、ランダム、準ランダム、または低不適合列など、サブ
サンプリングの種類を指定することができる。一実施形態では、この方法は、低
不適合列を使用してピクセルのサブセットを選択することができる。ステップ・
サイズの場合と同様に、サブサンプリングのサイズおよび／または方法は、ユー
ザが指定した探索基準によって決まる。
【０２１１】 次いで、図２６に示すように、サンプリングするターゲット画像の各領域にス
テップ７７４〜７８０を実行することができる。
【０２１２】 ステップ７７４で、ターゲット画像領域の色特徴付け分析を行う。このステッ
プでは上記の色特徴付け法を利用することができ、この方法では、ターゲット画
像のピクセル（あるいは選択したピクセルのサブセット）をその色情報について
個別に調べ、色空間ビンに割り当てる。
【０２１３】 ステップ７７６で、ターゲット画像領域の色スペクトルと、テンプレート画像
の色スペクトルの差分（あるいは類似度）の大きさを、それぞれの色特徴付け分
析で得た情報を比較することによって計算する。この比較は、様々な方式のどれ
で行ってもよい。一実施形態では、Ｎ個のビン・セットのそれぞれの色ビンにつ
いて、２つの画像に対応するビンに割り当てられたピクセル・パーセンテージ値
を相互から減算すると、Ｎ個の差分値が得られる。各差分値がゼロに近いほど、
その色カテゴリについて、テンプレート画像とターゲット画像領域間により高い
類似度がある。すなわち、特定の色カテゴリに該当する、テンプレート画像とタ
ーゲット画像領域のピクセルのパーセンテージが実質的に同じになる。
【０２１４】 次いで差分値の絶対値を合計して、ゼロから２の間に相当する値を得る。２は
色スペクトル間の差分の最大の大きさを表し、ゼロは類似度の最大の大きさを表
す。あるいは、それぞれの差分値をしきい値と比較して、色カテゴリごとの「ス
コア」を求めてもよい。
【０２１５】 上記の方法は簡単に応用することができ、結果を容易に理解することができる
が、この方法がすべての色一致アプリケーションで最良の方法であるとは言えな
い。例えば、ユーザが中間感度あるいは高感度のレベルを指定したのに対応して
、色相面の７つの自然色のうち少なくとも１つが２つ以上のビンに分割された場
合を考えられたい。テンプレート画像とターゲット画像が非常に類似する色を有
する場合であっても、なお各画像のピクセルが、色相面で自然色に相当する別々
のビンに割り当てられる可能性がある。したがって、この例の結果では、同一の
ビンにピクセルがほとんど示されないか、あるいは全く示されない。つまり、こ
の結果は、テンプレート画像とターゲット画像領域が非常に異なる色スペクトル
を有することを示している。実際には、テンプレート画像とターゲット画像領域
中の色は非常に類似しているものの、たまたま同じ自然色の別の色相カテゴリに
あるので、これは適切な結果ではない。
【０２１６】 上記のような場合は、代替の色スペクトル技術で補償することができる。各種
の実施形態では、上記のように色スペクトルの差分の大きさを計算する前に、ピ
クセルを隣接ビン間で共有するために、あるいは隣接ビンにピクセルを再分配す
るために、各ビンに割り当てられたピクセルのパーセンテージの一部を操作する
ことができる。
【０２１７】 図２７は、この種のピクセルの共有および再分配を行う方法の一実施形態を説
明する流れ図である。図に示すように、ステップ８０２で、実行する共有または
再分配のレベルを、ユーザが指定した色感度レベルに従って決定する。一実施形
態では、指定された低レベル、中間レベル、高レベルの感度に応じて、各ビンは
それぞれの場合、どのビンとも共有しないか、両側の隣接ビンの１つと共有する
か、あるいは両側の２つの隣接ビンと共有する。別の実施形態では、例えばテン
プレート画像およびターゲット画像領域のピクセルの一定のしきい値が、個々の
隣接ビンに相当する場合（上記の例のように）には、隣接ビンとの共有または分
配のレベルはコンピュータで自動的に決定することができ、この方法はあるレベ
ルの共有または分配を自動的に適用することができる。したがって、この方法で
は、上記のようなエラーの種類を自動的に検出し、それを補償することができる
。
【０２１８】 ステップ８０４で、隣接するビン間で、ピクセルの割り当てパーセンテージを
再分配することができる。ステップ８０４は、各種方式のどれで行ってもよい。
例えば一実施形態では、全ピクセルの４０％を含む各ビンは、両側の隣接ビンと
その合計の１０％を共有することができる。言い換えると、４％（４０％の１０
％）を各ビンの両側の隣接ビンに加えることができる。これにより、各ビンには
３２％（４０％−４％−４％＝３２％）が残ることになる。次いで隣接するビン
にこれと同じ共有プロセスを行い、一定のパーセントを戻されるのと同時に、一
定のパーセントを別の隣接ビンに移し、以下同様に行う。ピクセルのパーセンテ
ージの再分配には、他の各種方法のどれを使用してもよい。この種の調整は、追
加のビンを加えるのと同様の効果を有し、結果をより平滑にする。このため、こ
の種の調整を「スムージング・オペレーション」と呼ぶこともある。スムージン
グ・オペレーションは、テンプレート画像およびターゲット画像領域どちらにも
行うことができる。
【０２１９】 ステップ８０６で、テンプレート画像およびターゲット画像領域の補償後のパ
ーセンテージを比較することができる。例えば、ステップ８０６では、上記と同
様に、テンプレート画像およびターゲット画像領域の各ビンのパーセンテージを
減算し、その結果を合計することができる。これにより、テンプレート画像の色
情報とターゲット画像領域の色情報との差分の大きさを表す値が得られる。
【０２２０】 時として、ビンが表す色空間の部分に関して、ビンのパーセンテージだけでは
なく、ピクセルがビンのどこに該当するかに基づいて、複数のビン間でピクセル
を分配することが望ましい場合もある。例えば、図１０に示した方法を修正して
、例えば小数部の重みをつけて、色特徴付け分析を行う際にピクセルを複数のビ
ンに割り当てるようにすることができる。このように複雑性を増すことにより、
色一致突き止めの結果がより精密なものになる。
【０２２１】 各種の実施形態では、ファジー・メンバーシップ関数を利用して複数のビン間
の望ましい分配を求める。図２９は、ファジー・メンバーシップ関数を使用して
、画像の色情報を特徴付けする方法の一実施形態を説明する流れ図である。図２
９に示すステップは、画像の各ピクセル（あるいは調べる画像の領域）に行うこ
とができる。
【０２２２】 図に示すように、ステップ９００で、ピクセルを例えば上記の要領であるビン
に割り当てることができる。
【０２２３】 ステップ９０２で、そのピクセルがビンのどこに相当するかに基づいて、ファ
ジー・メンバーシップ関数を適用する。このファジー・メンバーシップ関数で、
ピクセルが１つまたは複数の隣接ビンに対して行うべき分与を決定することがで
きる。例えば、ピクセルが、（そのビンが対応する色空間の部分に対して）ビン
の端近くに相当する場合、ファジー・メンバーシップ関数は、ピクセルの重みの
一部を、そのピクセルが近い隣接ビンに与えるべきと判定する。各種のファジー
・メンバーシップ関数のうちどれを適用してもよく、その関数は、ピクセルが任
意数のビンに対して行うべき分与を決定することができ、分与の合計は１００％
になる。
【０２２４】 ステップ９０４で、ステップ９０２で求めた分与の値に従って、ピクセルの重
みを、そのピクセルが元々割り当てられていたビンを越えて、そのピクセルから
分与する１つまたは複数のビンに分配する。
【０２２５】 図２８Ａ、２８Ｂ、２８Ｃは、ファジー・メンバーシップ関数の利用例を説明
している。図２８Ａは、三角型ファジー・メンバーシップ関数を表している。図
２８Ａは、３６０度の色相面を７つのビンに分割し、それを直線状に示したもの
である。ピクセルごとに、そのピクセルが該当するビンと、ビン内での位置を決
定することができる。次いで、そのビンまたは隣接するビンに割り当てるべきピ
クセルの重みのパーセンテージを求めるために、ビン内の位置に基づいて三角型
ファジー・メンバーシップ関数を適用する。これは、ビンの上に描いた角度のあ
る線で表している。この例で、あるピクセルがあるビンのちょうど中心内に相当
する場合には、図に示すように、そのピクセルの重みの１００％をそのビンに割
り当てる。点線で表すように、あるピクセルがビンの端から４分の１の位置に相
当する場合は、そのピクセルの重みの７５％をそのビンに割り当て、そのピクセ
ルの重みの２５％を、その端の隣にある隣接ビンに割り当てる。
【０２２６】 図２８Ｂは、台形型ファジー・メンバーシップ関数を表している。この例では
、ピクセルがあるビンの中心近くに相当する場合、そのピクセルの重みの１００
％をそのビンに割り当てる。そうでない場合には、図２８Ａの場合と同様にピク
セルの重みの一部を隣接ビンに分配する。
【０２２７】 図２８Ｃは、複数のビン間におけるビンの分配の別の例を示している。図２８
Ｃの例では、ステップ・ファジー・メンバーシップ関数を適用する。「ＢｉｎＸ
」と表示したビンを考えてみたい。ピクセルが、図中の中心線の左側、すなわち
そのピクセルの色相から見て左側に相当する場合には、ＢｉｎＸにはピクセルの
重みの８０％を割り当て、ＢｉｎＸ−１には重みの１５％を割り当て、ＢｉｎＸ
−２にはピクセルの重みの５％を割り当てる。したがって、この例では、ピクセ
ルは３つのビンにわたって分配される。ピクセルを分配するビンの数を増やすこ
とは、色相空間が多数のビンに区分されている場合に特に望ましい。図２８Ａ、
２８Ｂ、および２８Ｃに示すファジー・メンバーシップ関数は例示的なものであ
り、適切なピクセル分配を決定する際には任意の他の技術を使用してよいことに
留意されたい。
【０２２８】 上記で指摘したように、一実施形態では、テンプレート画像の色特徴付け分析
を行う際に、１つまたは複数の主要な色カテゴリを示す情報を得ることができる
。再び図２６を参照すると、ステップ７７８で、主要な色カテゴリの差分の大き
さを計算することができる。この差分の大きさは、上記の色スペクトルの差分に
ついての説明と同様に計算することができる。例えば、テンプレート画像につい
て決定した主要な色カテゴリごとに、その主要な色カテゴリに割り当てられたテ
ンプレート画像ピクセルのパーセンテージを、その色カテゴリに割り当てられた
ターゲット画像領域ピクセルのパーセンテージと比較することができる。
【０２２９】 ステップ７８０では、ステップ７７６と７７８で求めた差分値を使用して、そ
の領域を候補一致領域のリストに加えるかどうかを決定することができる。例え
ば、領域をリストに加えるには、色スペクトルの差分がしきい値よりも小さくな
ければならない場合がある。色スペクトルの差分は、それを計算した直後にテス
トすることができ、差分が大きすぎる場合には、ステップ７７８のようなサンプ
ル領域のそれ以上の分析を中止することができる。
【０２３０】 色スペクトルの差分が十分に小さい場合には、主要色の差分を検討する。テン
プレート画像の主要色の出現は、サンプル領域では非常に少なくなるか、あるい
はサンプル領域ではまったく現れないものの、色スペクトル差分計算の各種実施
形態では小さな差分値を得ることができるので、主要色の差分を考慮することは
、サンプル領域が潜在的な一致であることをさらに保証する助けとなる。主要色
の差分は個別に考慮しても、まとめて考慮してもよい。例えば、主要な色カテゴ
リが複数ある場合、その領域を候補リストに加えるには、各カテゴリのパーセン
テージの差分がしきい値よりも小さいことが必要となるか、または全カテゴリの
差分の平均値が、しきい値よりも小さくなる必要がある。
【０２３１】 図３０−色一致領域の表示 上記の色突き止め法を用いたソフトウェア・アプリケーションは、この方法で
求めた一致領域の位置を視覚的に示すことができる。例えば、図３０に示すよう
に、このアプリケーションでは各一致領域の周囲にボックスを表示することがで
きる。このアプリケーションは、見つかった各一致領域に関する各種の統計を表
示することもできる。
【０２３２】 上記の実施形態について非常に詳細に説明したが、上記の開示を完全に理解す
れば、当業者には数多くの変形形態および修正形態が明らかになろう。頭記の特
許請求の範囲は、その変形形態および修正形態をすべて包含すると解釈すべきで
ある。
【図面の簡単な説明】
【図１】 従来技術で行われるパターン一致を示す図である。
【図２】 より少ない計算のためにより少ないピクセルを使用するテンプレート画像の特
徴付けを含む従来技術で行われるパターン一致を示す図である。
【図３】 本発明の一実施形態による色一致および／またはパターン一致を行うコンピュ
ータ・システムを示す図である。
【図４】 画像を獲得するための画像獲得（ビデオ・キャプチャ）システムを示す図であ
る。
【図５】 画像獲得システムを示す高位ブロック図である。
【図６】 色情報およびパターン情報に関してテンプレート画像と一致するターゲット画
像の領域を探し出すための方法の一実施形態を示す流れ図である。
【図７】 ＨＳＩカラー空間およびＨＳＩカラー空間区分化を示す図である。
【図８】 ＨＳＩカラー空間およびＨＳＩカラー空間区分化を示す図である。
【図９】 画像の色情報を特徴付けるための方法の一実施形態を示す流れ図である。
【図１０】 ＨＳＩ色のカテゴリの間において画像ピクセルの分布を決定することの一実施
形態を示す流れ図である。
【図１１】 パターン情報に関してテンプレート画像を特徴付けることの一実施形態を示す
流れ図である。
【図１２】 ターゲット画像の複数パス探索を行って、テンプレート画像に一致する色情報
およびパターン情報を有する領域を見つけるための方法の一実施形態を示す流れ
図である。
【図１３】 色とパターン一致突き止め方法の第１パス色一致探索中にターゲット画像を横
断することを示す例である。
【図１４】 ターゲット画像、および第１パス色一致探索に応答して決定された色一致候補
領域を囲むいくつかの領域を示す図である。
【図１５】 図１４のターゲット画像、および図１４に示した領域内のパターン一致に基づ
いて見つかった最終一致領域を示す図である。
【図１６】 色とパターン一致突き止め方法中にターゲット画像内で第１パス色一致探索を
行うための方法の一実施形態を示す流れ図である。
【図１７】 色とパターン一致突き止め方法の第１パス色一致探索で決定された色一致候補
位置を囲む近接領域内で行われるパターン一致探索の一実施形態を示す流れ図で
ある。
【図１８】 パターン一致探索中、ターゲット画像領域を横断することを示す例である。
【図１９】 回転不変の色とパターン一致を行うための方法の一実施形態を示す流れ図であ
る。
【図２０】 粗いものから細かいものに向う探索手続きを使用して回転不変の色とパターン
一致を行うための方法の一実施形態を示す流れ図である。
【図２１】 回転不変のパターン一致方法の適用例を示す図である。
【図２２】 回転不変のパターン一致方法の適用例を示す図である。
【図２３】 色情報に関してテンプレート画像と一致するターゲット画像の領域を探し出す
ための方法の一実施形態を示す流れ図である。
【図２４】 ターゲット画像を探索して、テンプレート画像に一致する色情報を有する領域
を見つけるための方法の一実施形態を示す例である。
【図２５】 色一致突き止め方法の第１パス探索中のターゲット画像ウインドウ移動を示す
例である。
【図２６】 色一致突き止め方法中にターゲット画像全体にわたって第１パス探索を行うた
めの方法の一実施形態を示す流れ図である。
【図２７】 色特徴付け方法によってピクセルがＨＳＩカラー・ビンに割り当てられた後、
ピクセルの共用または再分配を行うための方法の一実施形態を示す流れ図である
。
【図２８Ａ】 ファジイ・メンバシップ関数を使用してＨＩＳカラー・ビンの間における分数
のピクセル分布を決定する例を示す図である。
【図２８Ｂ】 ファジイ・メンバシップ関数を使用してＨＩＳカラー・ビンの間における分数
のピクセル分布を決定する例を示す図である。
【図２８Ｃ】 ファジイ・メンバシップ関数を使用してＨＩＳカラー・ビンの間における分数
のピクセル分布を決定する例を示す図である。
【図２９】 ファジイ・メンバシップ関数を使用して画像の色情報を特徴付ける方法の一実
施形態を示す流れ図である。
【図３０】 ターゲット画像内の色一致領域の位置がそこで視覚的に示されるユーザ・イン
ターフェースを示す図である。
【手続補正書】
【提出日】平成１４年３月１２日（２００２．３．１２）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項２２】 前記ターゲット画像中で色一致探索を行うことが、山登り
技法を用いてターゲット画像中の１つまたは複数の候補領域の近接領域を探索し
て、各領域ごとに最良の色一致候補領域を見つけることを含む請求項１に記載の
方法。
【請求項２３】 前記山登り技法を用いて近接領域を探索して各領域ごとに
前記最良の色一致候補領域を見つけることが、 粗い山登り技法を用いて粗い色一致候補領域を見つけること、および 粗い色一致候補領域上で精密な山登り技法を用いて、最良の色一致候補領域を
見つけることを含む請求項２２に記載の方法。
【請求項２４】 前記パターン一致探索が輝度パターン一致探索を含み、前
記１つまたは複数のパターン一致候補領域が、１つまたは複数の輝度パターン一
致候補領域を含む請求項１に記載の方法。
【請求項２６】 請求項１ないし２４のうちのいずれかの方法を実施するソ
フトウェア・プログラムを記憶した記憶媒体。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ０９／６３９，４２０ (32)優先日 平成12年８月14日(2000．8．14) (33)優先権主張国 米国（ＵＳ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ (72)発明者 シュミット，ダレン アメリカ合衆国・78613・テキサス州・セ ダー パーク・リトル クリーク コー ヴ・2408 (72)発明者 ヴァズクーズ，ニコラス アメリカ合衆国・78759・テキサス州・オ ースティン・グレート ヒルズ トレイ ル・9617・ナンバー 1532 Ｆターム(参考） 5L096 AA02 AA06 DA04 EA03 EA16 GA17 GA28 GA40 GA41 GA51 GA57 JA09 JA11

Claims (103)

    【特許請求の範囲】
  1. 【請求項１】 色とパターンの情報に関してテンプレート画像と一致するタ
    ーゲット画像領域を突き止める、コンピュータで実施される方法であって、 ターゲット画像の中で色一致探索を行って、色情報に関してテンプレート画像
    と一致する１つまたは複数の色一致領域を見つけること、 ターゲット画像の中でパターン一致探索を行ってターゲット画像中で１つまた
    は複数のパターン一致領域を見つけること、 １つまたは複数の色の色一致領域と１つまたは複数のパターン一致領域とを使
    用して、色とパターンの情報に関してテンプレート画像と一致する１つまたは複
    数の最終的な一致領域を決定すること を含む方法。
  2. 【請求項２】 色とパターンの情報に関してテンプレート画像と一致する、
    見つかった最終的な一致領域それぞれにつき、ターゲット画像内における最終的
    な一致領域の位置を示す情報をグラフィカル・ユーザ・インターフェース上に表
    示することをさらに含む請求項１に記載の方法。
  3. 【請求項３】 色とパターンの情報に関してテンプレート画像と一致する、
    見つかった最終的な一致領域それぞれにつき、最終的な一致領域の色とパターン
    の情報がテンプレート画像の色とパターンの情報と一致する程度を示す情報をグ
    ラフィカル・ユーザ・インターフェース上に表示することをさらに含む請求項１
    に記載の方法。
  4. 【請求項４】 前記ターゲット画像の中でパターン一致探索を行うことが、 色一致探索で見つかった各色一致領域につき、色一致領域に近接する近接領域
    のパターン一致探索を行って、ターゲット画像中で１つまたは複数の最終的な一
    致領域を見つけることを含み、 各近接領域のパターン一致探索で見つかる１つまたは複数の最終的な一致領域
    は色とパターンの情報に関してテンプレート画像と一致する請求項１に記載の方
    法。
  5. 【請求項５】 前記各色一致領域に近接する近接領域のパターン一致探索を
    行うことが、近接領域中でパターン一致を複数回にわたって反復して行うことを
    含む請求項４に記載の方法。
  6. 【請求項６】 複数回にわたるパターン一致の反復が、粗い方式から精密な
    方式へと行われる請求項５に記載の方法。
  7. 【請求項７】 前記複数回にわたるパターン一致の反復を粗い方式から精密
    な方式へと行うことが、 安定近傍サイズが連続的に小さくなるサンプル・ピクセルのセット、および ステップ・サイズが連続的に小さくなるピクセルのセットのうちの１つまたは
    複数を使用する請求項６に記載の方法。
  8. 【請求項８】 前記ターゲット画像の中で色一致探索を行うことが、 ターゲット画像の色情報をサンプリングする場所になる複数のサンプル領域を
    決定することであって、各サンプル領域はターゲット画像の一部を含むこと、 複数のサンプル領域のそれぞれにつき、サンプル領域の色情報とテンプレート
    画像の色情報との差の測定値を決定すること、 複数のサンプル領域のそれぞれにつき、サンプル領域の色情報とテンプレート
    画像の色情報との差の測定値がしきい値よりも小さい場合は、サンプル領域を色
    一致領域として指定することを含む請求項１に記載の方法。
  9. 【請求項９】 テンプレート画像の色の特徴付け分析を行うこと、 複数のサンプル領域のそれぞれにつき、サンプル領域の色の特徴付け分析を行
    うことをさらに含み、 前記各サンプル領域の色情報とテンプレート画像の色情報との差の測定値を決
    定することが、サンプル領域の色の特徴付け分析で得られた情報をテンプレート
    画像の色の特徴付け分析で得られた情報と比較することを含む請求項８に記載の
    方法。
  10. 【請求項１０】 テンプレート画像およびターゲット画像がそれぞれ複数の
    ピクセルを含み、 テンプレート画像に対して行われる色の特徴付け分析と、複数のサンプル領域
    のそれぞれに対して行われる色の特徴付け分析が、 ピクセルの少なくともサブセットの色情報を検査すること、 検査した各ピクセルを、色空間の一部に対応する色カテゴリに割り当てること
    、 色カテゴリ全体にわたる検査したピクセルの割振りを示す情報を決定すること
    を含み、 前記サンプル領域の色の特徴付け分析で得られた情報をテンプレート画像の色
    の特徴付け分析で得られた情報と比較することが、サンプル領域とテンプレート
    画像それぞれの場合の色カテゴリ全体にわたる検査したピクセルの割振りを比較
    することを含む請求項９に記載の方法。
  11. 【請求項１１】 テンプレート画像に対して行われる色の特徴付け分析が、
    テンプレート画像中の各ピクセルの色情報を検査することを含み、 複数のサンプル領域のそれぞれに対して行われる色の特徴付け分析が、サンプ
    ル領域中のピクセルのサブセットだけの色情報を検査することを含む請求項１０
    に記載の方法。
  12. 【請求項１２】 テンプレート画像の色情報およびターゲット画像の色情報
    が、色相、彩度、および輝度（ＨＳＩ）色情報を含み、 前記ピクセルの少なくともサブセットの色情報を検査することが、ピクセルの
    少なくともサブセットのＨＳＩ情報を検査することを含み、 前記検査した各ピクセルを色空間の一部に対応する色カテゴリに割り当てるこ
    とが、検査した各ピクセルをＨＳＩ色空間の一部に対応する色カテゴリに割り当
    てることを含む請求項１０に記載の方法。
  13. 【請求項１３】 前記色一致探索を行うことにおいて用いる所望の色感度レ
    ベルを指定するユーザ入力を受け取ることをさらに含み、 ユーザ入力は色空間が分割されるいくつかの範疇を決定する請求項１０に記載
    の方法。
  14. 【請求項１４】 前記検査した各ピクセルを色カテゴリに割り当てることが
    、 ピクセルが複数の色カテゴリに対して与えるべき寄与率を決定すること、 決定した寄与率に従って、複数の色カテゴリにわたってピクセルの重みを分配
    することを含む請求項１０に記載の方法。
  15. 【請求項１５】 ターゲット画像が複数のピクセルを含み、前記方法はさら
    に、 前記ターゲット画像の色情報をサンプリングする場所になる複数のサンプル領
    域を決定することにおいて用いる第１のステップ・サイズを決定することを含み
    、 前記複数のサンプル領域を決定することが、 ターゲット画像の色情報をサンプリングする場所になる複数のターゲット画像
    領域を決定することを含み、複数の領域はそれぞれウィンドウによってターゲッ
    ト画像中に指定され、ウィンドウは第１のステップ・サイズによって指定される
    いくつかのピクセルだけ相互からずれている請求項８に記載の方法。
  16. 【請求項１６】 テンプレート画像およびターゲット画像がそれぞれ複数の
    ピクセルを含み、前記方法はさらに、 テンプレート画像のパターン情報を特徴付けすることを含み、特徴付けするこ
    とが、 テンプレート画像をサンプリングして第１の複数のサンプル・ピクセルを決定
    することを含み、第１の複数のサンプル・ピクセルはテンプレート画像のピクセ
    ルのサブセットを含むがすべては含まず、 前記ターゲット画像の中でパターン一致探索を行うことが、第１の複数のサン
    プル・ピクセルを使用する請求項１に記載の方法。
  17. 【請求項１７】 特徴付けすることがさらに、 第１の複数のサンプル・ピクセルの少なくともサブセットの周りで局所安定性
    分析を行うことを含み、前記局所安定性分析を行うことが、所望の程度の安定性
    を有する第２の複数のサンプル・ピクセルを決定し、第２の複数のサンプル・ピ
    クセルは第１の複数のサンプル・ピクセルのサブセットを含むがすべては含まず
    、 前記局所安定性分析を行うことが、第２の複数のサンプル・ピクセルそれぞれ
    の周りの空間摂動に対するサンプル・ピクセルの安定性を保証するように作用し
    、 前記ターゲット画像の中でパターン一致探索を行うことが、第２の複数のサン
    プル・ピクセルを使用する請求項１６に記載の方法。
  18. 【請求項１８】 前記第１の複数のサンプル・ピクセルの少なくともサブセ
    ットの周りで局所安定性分析を行うことが、 各サンプル・ピクセルにつき、サンプル・ピクセルの周りの近傍を見つけるこ
    とを含み、サンプル・ピクセルの値は近傍中のテンプレート画像のピクセルの値
    と強く相関する請求項１７に記載の方法。
  19. 【請求項１９】 テンプレート画像中の各ピクセルが複数の成分で構成され
    、 前記テンプレート画像をサンプリングすることが、複数の成分のうちの１つま
    たは複数の成分面でテンプレート画像をサンプリングすることを含む請求項１６
    に記載の方法。
  20. 【請求項２０】 テンプレート画像中の各ピクセルが、色相、彩度、および
    輝度の成分で構成され、 前記テンプレート画像をサンプリングすることが、色相、彩度、および輝度の
    うちの１つまたは複数の面でテンプレート画像をサンプリングすることを含む請
    求項１９に記載の方法。
  21. 【請求項２１】 前記テンプレート画像をサンプリングすることが、回転さ
    せても不変である１つまたは複数のパスに沿ってテンプレート画像をサンプリン
    グして、サンプル・ピクセルのセットを１つまたは複数生み出すことを含み、 前記パターン一致探索を行うことが、サンプル・ピクセルのセットを１つまた
    は複数使用して、ターゲット画像中でテンプレート画像の回転されたインスタン
    スを１つまたは複数決定する請求項１６に記載の方法。
  22. 【請求項２２】 パターン一致探索が色一致探索の前に行われ、 前記ターゲット画像の中で色一致探索を行うことが、 パターン一致探索で見つかった各パターン一致領域につき、パターン一致領域
    に近接する近接領域の色一致探索を行って、ターゲット画像中で１つまたは複数
    の最終的な一致領域を見つけることを含み、 各近接領域の色一致探索で見つかる１つまたは複数の最終的な一致領域は色お
    よびパターンの情報に関してテンプレート画像と一致する請求項１に記載の方法
    。
  23. 【請求項２３】 色とパターンの情報に関してテンプレート画像と一致する
    ターゲット画像領域を突き止めるためのシステムであって、 プロセッサと、 プロセッサに結合され、色／パターン一致ソフトウェアを記憶する記憶媒体と
    を備え、 プロセッサが、色／パターン一致ソフトウェアを実行して、 ターゲット画像の中で色一致探索を行って、色情報に関してテンプレート画像
    と一致する１つまたは複数の色一致領域を見つけ、 ターゲット画像の中でパターン一致探索を行ってターゲット画像中で１つまた
    は複数のパターン一致領域を見つけ、 １つまたは複数の色の色一致領域と１つまたは複数のパターン一致領域とを使
    用して、色とパターンの情報に関してテンプレート画像と一致する１つまたは複
    数の最終的な一致領域を決定すること を実施するように動作可能であるシステム。
  24. 【請求項２４】 表示装置をさらに備え、 色とパターンの情報に関してテンプレート画像と一致する、見つかった最終的
    な一致領域それぞれにつき、表示装置が、ターゲット画像内における最終的な一
    致領域の位置を示す情報をグラフィカル・ユーザ・インターフェース上に表示す
    るように動作可能である請求項２３に記載のシステム。
  25. 【請求項２５】 表示装置をさらに備え、 色とパターンの情報に関してテンプレート画像と一致する、見つかった最終的
    な一致領域それぞれにつき、表示装置が、最終的な一致領域の色とパターンの情
    報がテンプレート画像の色とパターンの情報と一致する程度を示す情報をグラフ
    ィカル・ユーザ・インターフェース上に表示するように動作可能である請求項２
    ３に記載のシステム。
  26. 【請求項２６】 ターゲット画像の中でパターン一致探索を行う際に、プロ
    セッサが、 色一致探索で見つかった各色一致領域につき、色一致領域に近接する近接領域
    のパターン一致探索を行って、ターゲット画像中で１つまたは複数の最終的な一
    致領域を見つけるように動作可能であり、 各近接領域のパターン一致探索で見つかる１つまたは複数の最終的な一致領域
    は色とパターンの情報に関してテンプレート画像と一致する請求項２３に記載の
    システム。
  27. 【請求項２７】 各色一致領域に近接する近接領域のパターン一致探索を行
    う際に、プロセッサが、近接領域中でパターン一致を複数回にわたって反復して
    行うように動作可能である請求項２６に記載のシステム。
  28. 【請求項２８】 プロセッサが、複数回にわたるパターン一致の反復を粗い
    方式から精密な方式へと行うように動作可能である請求項２７に記載のシステム
    。
  29. 【請求項２９】 複数回にわたるパターン一致の反復を粗い方式から精密な
    方式へと行う際に、プロセッサが、 安定近傍サイズが連続的に小さくなるサンプル・ピクセルのセット、および ステップ・サイズが連続的に小さくなるピクセルのセットのうちの１つまたは
    複数を使用するように動作可能である請求項２８に記載のシステム。
  30. 【請求項３０】 ターゲット画像の中で色一致探索を行う際に、プロセッサ
    が、 ターゲット画像の色情報をサンプリングする場所になる複数のサンプル領域を
    決定することであって、各サンプル領域はターゲット画像の一部を含むこと、 複数のサンプル領域のそれぞれにつき、サンプル領域の色情報とテンプレート
    画像の色情報との差の測定値を決定すること、 複数のサンプル領域のそれぞれにつき、サンプル領域の色情報とテンプレート
    画像の色情報との差の測定値がしきい値よりも小さい場合は、サンプル領域を色
    一致領域として指定することを実施するように動作可能である請求項２３に記載
    のシステム。
  31. 【請求項３１】 プロセッサがさらに、 テンプレート画像の色の特徴付け分析を行い、 複数のサンプル領域のそれぞれにつき、サンプル領域の色の特徴付け分析を行
    うように動作可能であり、 各サンプル領域の色情報とテンプレート画像の色情報との差の測定値を決定す
    る際に、プロセッサが、サンプル領域の色の特徴付け分析で得られた情報をテン
    プレート画像の色の特徴付け分析で得られた情報と比較するように動作可能であ
    る請求項３０に記載のシステム。
  32. 【請求項３２】 テンプレート画像およびターゲット画像がそれぞれ複数の
    ピクセルを含み、 テンプレート画像に対する色の特徴付け分析と、複数のサンプル領域のそれぞ
    れに対する色の特徴付け分析を行う際に、プロセッサが、 ピクセルの少なくともサブセットの色情報を検査し、 検査した各ピクセルを、色空間の一部に対応する色カテゴリに割り当て、 色カテゴリ全体にわたる検査したピクセルの割振りを示す情報を決定するよう
    に動作可能であり、 前記サンプル領域の色の特徴付け分析で得られた情報をテンプレート画像の色
    の特徴付け分析で得られた情報と比較する際に、プロセッサが、サンプル領域と
    テンプレート画像それぞれの場合の色カテゴリ全体にわたる検査したピクセルの
    割振りを比較するように動作可能である請求項３１に記載のシステム。
  33. 【請求項３３】 テンプレート画像およびターゲット画像がそれぞれ複数の
    ピクセルを含み、プロセッサがさらに、 テンプレート画像のパターン情報を特徴付けするように動作可能であり、パタ
    ーン情報を特徴付けする際に、プロセッサが、 テンプレート画像をサンプリングして第１の複数のサンプル・ピクセルを決定
    するように動作可能であり、第１の複数のサンプル・ピクセルはテンプレート画
    像のピクセルのサブセットを含むがすべては含まず、 プロセッサが、第１の複数のサンプル・ピクセルを使用してターゲット画像の
    中でパターン一致探索を行う請求項２３に記載のシステム。
  34. 【請求項３４】 テンプレート画像中の各ピクセルが複数の成分で構成され
    、 プロセッサが、複数の成分のうちの１つまたは複数の成分面でテンプレート画
    像をサンプリングするように動作可能である請求項３３に記載のシステム。
  35. 【請求項３５】 プロセッサが色一致探索の前にパターン一致探索を行うよ
    うに動作可能であり、 ターゲット画像の中で色一致探索を行う際に、プロセッサが、 パターン一致探索で見つかった各パターン一致領域につき、パターン一致領域
    に近接する近接領域の色一致探索を行って、ターゲット画像中で１つまたは複数
    の最終的な一致領域を見つけるように動作可能であり、 各近接領域の色一致探索で見つかる１つまたは複数の最終的な一致領域は色と
    パターンの情報に関してテンプレート画像と一致する請求項２３に記載のシステ
    ム。
  36. 【請求項３６】 色とパターンの情報に関してテンプレート画像と一致する
    ターゲット画像領域を突き止めるためのプログラム命令を含む記憶媒体であって
    、プログラム命令が、 ターゲット画像の中で色一致探索を行って、色情報に関してテンプレート画像
    と一致する１つまたは複数の色一致領域を見つけること、 ターゲット画像の中でパターン一致探索を行ってターゲット画像中で１つまた
    は複数のパターン一致領域を見つけること、 １つまたは複数の色の色一致領域と１つまたは複数のパターン一致領域とを使
    用して、色とパターンの情報に関してテンプレート画像と一致する１つまたは複
    数の最終的な一致領域を決定すること、 を実施するように実行可能である記憶媒体。
  37. 【請求項３７】 プログラム命令がさらに、 色とパターンの情報に関してテンプレート画像と一致する、見つかった最終的
    な一致領域それぞれにつき、ターゲット画像内における最終的な一致領域の位置
    を示す情報をグラフィカル・ユーザ・インターフェース上に表示することを実施
    するように実行可能である請求項３６に記載の記憶媒体。
  38. 【請求項３８】 前記ターゲット画像の中でパターン一致探索を行うことが
    、 色一致探索で見つかった各色一致領域につき、色一致領域に近接する近接領域
    のパターン一致探索を行って、ターゲット画像中で１つまたは複数の最終的な一
    致領域を見つけることを含み、 各近接領域のパターン一致探索で見つかる１つまたは複数の最終的な一致領域
    は色とパターンの情報に関してテンプレート画像と一致する請求項３６に記載の
    記憶媒体。
  39. 【請求項３９】 前記ターゲット画像の中で色一致探索を行うことが、 ターゲット画像の色情報をサンプリングする場所になる複数のサンプル領域を
    決定することであって、各サンプル領域はターゲット画像の一部を含むこと、 複数のサンプル領域のそれぞれにつき、サンプル領域の色情報とテンプレート
    画像の色情報との差の測定値を決定すること、 複数のサンプル領域のそれぞれにつき、サンプル領域の色情報とテンプレート
    画像の色情報との差の測定値がしきい値よりも小さい場合は、サンプル領域を色
    一致領域として指定することを含む請求項３６に記載の記憶媒体。
  40. 【請求項４０】 パターン一致探索が色一致探索の前に行われ、 前記ターゲット画像の中で色一致探索を行うことが、 パターン一致探索で見つかった各パターン一致領域につき、パターン一致領域
    に近接する近接領域の色一致探索を行って、ターゲット画像中で１つまたは複数
    の最終的な一致領域を見つけることを含み、 各近接領域の色一致探索で見つかる１つまたは複数の最終的な一致領域は色と
    パターンの情報に関してテンプレート画像と一致する請求項３６に記載の記憶媒
    体。
  41. 【請求項４１】 色の特徴付けに関してテンプレート画像と一致するターゲ
    ット画像領域を突き止める方法であって、 テンプレート画像の色特徴を自動的に決定すること、 テンプレート画像の色特徴と一致する１つまたは複数のターゲット画像領域を
    突き止めることを含む方法。
  42. 【請求項４２】 テンプレート画像の色特徴と一致すると判定される各ター
    ゲット画像領域につき、ターゲット画像内における前記領域の位置を示す情報を
    グラフィカル・ユーザ・インターフェース上に表示することをさらに含む請求項
    ４１に記載の方法。
  43. 【請求項４３】 テンプレート画像の色特徴と一致すると判定される各ター
    ゲット画像領域につき、領域がテンプレート画像の色特徴と一致する度合いを示
    す情報をグラフィカル・ユーザ・インターフェース上に表示することをさらに含
    む請求項４１に記載の方法。
  44. 【請求項４４】 ターゲット画像を受け取ることをさらに含み、 ターゲット画像は、 記憶媒体、ハードウェア・デバイス、およびソフトウェア・アプリケーション
    からなるグループのうちの１つから受け取る請求項４１に記載の方法。
  45. 【請求項４５】 前記テンプレート画像の色特徴を自動的に決定することが
    、テンプレート画像の色の特徴付け分析を行うことを含む請求項４１に記載の方
    法。
  46. 【請求項４６】 前記テンプレート画像の色特徴と一致する１つまたは複数
    のターゲット画像領域を突き止めることが、 テンプレート画像の色の特徴付けと少なくともある程度一致する色の特徴付け
    を有するターゲット画像領域を求めて探索することを含み、 前記ターゲット画像領域を求めて探索することが、ターゲット画像内の複数の
    領域に対して色の特徴付け分析を行うことを含む請求項４５に記載の方法。
  47. 【請求項４７】 テンプレート画像に対して行われる色の特徴付け分析と、
    ターゲット画像の複数の領域のそれぞれに対して行われる色の特徴付け分析とが
    、 ピクセルの少なくともサブセットの色情報を検査すること、 検査した各ピクセルを、色空間の一部に対応する色カテゴリに割り当てること
    、 色カテゴリ全体にわたる検査したピクセルの割振りを示す情報を決定すること
    を含み、 ターゲット画像の複数の領域のそれぞれにつき、前記探索することが、領域の
    色の特徴付け分析で得られた情報をテンプレート画像の色の特徴付け分析で得ら
    れた情報と比較して、領域がテンプレート画像の色の特徴付けと少なくともある
    程度一致する色の特徴付けを有するかどうか判定することを含む請求項４６に記
    載の方法。
  48. 【請求項４８】 テンプレート画像およびターゲット画像が、色相、彩度、
    および輝度（ＨＳＩ）色情報を含み、 前記ピクセルの少なくともサブセットの色情報を検査することが、ピクセルの
    少なくともサブセットのＨＳＩ情報を検査することを含み、 前記検査した各ピクセルを色空間の一部に対応する色カテゴリに割り当てるこ
    とが、検査した各ピクセルをＨＳＩ色空間の一部に対応する色カテゴリに割り当
    てることを含む請求項４７に記載の方法。
  49. 【請求項４９】 テンプレート画像と一致するターゲット画像領域を突き止
    める際に用いる所望の色感度レベルを指定するユーザ入力を受け取ることをさら
    に含み、 ユーザ入力は色空間が分割されるいくつかの範疇を決定する請求項４７に記載
    の方法。
  50. 【請求項５０】 前記ターゲット画像の各領域の色の特徴付け分析で得られ
    た情報をテンプレート画像の色の特徴付け分析で得られた情報と比較することが
    、 色空間の各色カテゴリにつき、色カテゴリに割り当てられたテンプレート画像
    ピクセルのパーセンテージを、前記色カテゴリに割り当てられたターゲット画像
    領域ピクセルのパーセンテージと比較することを含む請求項４７に記載の方法。
  51. 【請求項５１】 テンプレート画像に対して行われる色の特徴付け分析がさ
    らに、 １つまたは複数の優勢な色カテゴリを決定することを含み、１つまたは複数の
    優勢な色カテゴリには、色空間の他の色カテゴリに比べて相対的に大きな割合で
    検査済みピクセルが割り当てられている請求項４７に記載の方法。
  52. 【請求項５２】 前記ターゲット画像の各領域の色の特徴付け分析で得られ
    た情報をテンプレート画像の色の特徴付け分析で得られた情報と比較することが
    、 優勢な各色カテゴリにつき、優勢な色カテゴリに割り当てられたテンプレート
    画像ピクセルのパーセンテージを、前記色カテゴリに割り当てられたターゲット
    画像領域ピクセルのパーセンテージと比較することを含む請求項５１に記載の方
    法。
  53. 【請求項５３】 ターゲット画像の複数の領域のそれぞれに対して行われる
    色の特徴付け分析がさらに、 前記検査した各ピクセルを色カテゴリに割り当てることの前に平滑化オペレー
    ションを行うことを含み、平滑化オペレーションが、 可能な色カテゴリの少なくともサブセットの各色カテゴリにつき、各色カテゴ
    リに割り当てられたピクセルの一部を１つまたは複数の近傍色カテゴリに再分配
    することを含む請求項４７に記載の方法。
  54. 【請求項５４】 前記検査した各ピクセルを色カテゴリに割り当てることが
    、 ピクセルが複数の色カテゴリに対して与えるべき寄与率を決定すること、 決定した寄与率に従って、複数の色カテゴリにわたってピクセルの重みを分配
    することを含む請求項４７に記載の方法。
  55. 【請求項５５】 ピクセルが複数の色カテゴリに対して与えるべき寄与率を
    決定するためにファジィ・メンバシップ関数を適用することをさらに含む請求項
    ５４に記載の方法。
  56. 【請求項５６】 前記テンプレート画像の色特徴と一致する１つまたは複数
    のターゲット画像領域を突き止めることが、粗い方から精密な方への探索ヒュー
    リスティックに従って複数の探索パスを使用して行われる請求項４１に記載の方
    法。
  57. 【請求項５７】 前記テンプレート画像の色特徴と一致する１つまたは複数
    のターゲット画像領域を突き止めることが、 ターゲット画像の中で第１パス探索を行って最初の合致候補領域を見つけるこ
    と、 １つまたは複数の後続の探索パスを行うことであって、候補領域に近接する近
    接領域を探索して近接領域中で最もよく一致する領域を見つけることを含む請求
    項４１に記載の方法。
  58. 【請求項５８】 色とパターンの情報に関してテンプレート画像と一致する
    ターゲット画像領域を突き止めるシステムであって、 プロセッサと、 プロセッサに結合された記憶媒体とを備え、記憶媒体が色一致突き止めソフト
    ウェアを記憶し、 プロセッサが、色一致突き止めソフトウェアを実行して、 テンプレート画像の色特徴を自動的に決定し、 テンプレート画像の色特徴と一致する１つまたは複数のターゲット画像領域を
    突き止めるように動作可能であるシステム。
  59. 【請求項５９】 表示デバイスをさらに備え、 テンプレート画像の色特徴と一致すると判定される各ターゲット画像領域につ
    き、プロセッサが、ターゲット画像内における前記領域の位置を示す情報をグラ
    フィカル・ユーザ・インターフェース上に表示するように動作可能である請求項
    ５８に記載のシステム。
  60. 【請求項６０】 プロセッサが、色一致突き止めソフトウェアを実行して、 記憶媒体とハードウェア・デバイスのうちの一方からターゲット画像を受け取
    るように動作可能である請求項５８に記載のシステム。
  61. 【請求項６１】 テンプレート画像の色特徴を自動的に決定する際に、プロ
    セッサが、テンプレート画像の色の特徴付け分析を行うように動作可能である請
    求項５８に記載のシステム。
  62. 【請求項６２】 テンプレート画像の色特徴と一致する１つまたは複数のタ
    ーゲット画像領域を突き止める際に、プロセッサが、テンプレート画像の色の特
    徴付けと少なくともある程度一致する色の特徴付けを有するターゲット画像の領
    域を求めて探索するように動作可能であり、 前記ターゲット画像の領域を求めて探索することが、ターゲット画像内の複数
    の領域に対して色の特徴付け分析を行うことを含む請求項６１に記載のシステム
    。
  63. 【請求項６３】 テンプレート画像に対して行われる色の特徴付け分析と、
    ターゲット画像の複数の領域のそれぞれに対して行われる色の特徴付け分析とが
    、 ピクセルの少なくともサブセットの色情報を検査すること、 検査した各ピクセルを、色空間の一部に対応する色カテゴリに割り当てること
    、 色カテゴリ全体にわたる検査したピクセルの割振りを示す情報を決定すること
    を含み、 ターゲット画像の複数の領域のそれぞれにつき、前記探索することが、領域の
    色の特徴付け分析で得られた情報をテンプレート画像の色の特徴付け分析で得ら
    れた情報と比較して、領域がテンプレート画像の色の特徴付けと少なくともある
    程度一致する色の特徴付けを有するかどうか判定することを含む請求項６２に記
    載のシステム。
  64. 【請求項６４】 テンプレート画像およびターゲット画像が、色相、彩度、
    および輝度（ＨＳＩ）色情報を含み、 前記ピクセルの少なくともサブセットの色情報を検査することが、ピクセルの
    少なくともサブセットのＨＳＩ情報を検査することを含み、 前記検査した各ピクセルを色空間の一部に対応する色カテゴリに割り当てるこ
    とが、検査した各ピクセルをＨＳＩ色空間の一部に対応する色カテゴリに割り当
    てることを含む請求項６３に記載のシステム。
  65. 【請求項６５】 前記ターゲット画像の各領域の色の特徴付け分析で得られ
    た情報をテンプレート画像の色の特徴付け分析で得られた情報と比較することが
    、 色空間の各色カテゴリにつき、色カテゴリに割り当てられたテンプレート画像
    ピクセルのパーセンテージを、前記色カテゴリに割り当てられたターゲット画像
    領域ピクセルのパーセンテージと比較することを含む請求項６３に記載のシステ
    ム。
  66. 【請求項６６】 前記検査した各ピクセルを色カテゴリに割り当てることが
    、 ピクセルが複数の色カテゴリに対して与えるべき寄与率を決定すること、 決定した寄与率に従って、複数の色カテゴリにわたってピクセルの重みを分配
    することを含む請求項６３に記載のシステム。
  67. 【請求項６７】 テンプレート画像の色特徴と一致する１つまたは複数のタ
    ーゲット画像領域を突き止める際に、プロセッサが、粗い方から精密な方への探
    索ヒューリスティックに従って複数の探索パスを実施するように動作可能である
    請求項５８に記載のシステム。
  68. 【請求項６８】 テンプレート画像の色特徴と一致する１つまたは複数のタ
    ーゲット画像領域を突き止める際に、プロセッサが、 ターゲット画像の中で第１パス探索を行って最初の合致候補領域を見つけるこ
    と、 １つまたは複数の後続の探索パスを行うことであって、候補領域に近接する近
    接領域を探索して近接領域中で最もよく一致する領域を見つけることを実施する
    ように動作可能である請求項５８に記載のシステム。
  69. 【請求項６９】 色の特徴付けに関してテンプレート画像と一致するターゲ
    ット画像領域を突き止めるための記憶媒体であって、 テンプレート画像の色特徴を自動的に決定し、 テンプレート画像の色特徴と一致する１つまたは複数のターゲット画像領域を
    突き止めるように実行可能なプログラム命令を含む記憶媒体。
  70. 【請求項７０】 プログラム命令がさらに、 テンプレート画像の色特徴と一致すると判定される各ターゲット画像領域につ
    き、ターゲット画像内における前記領域の突き止めを示す情報をグラフィカル・
    ユーザ・インターフェース上に表示するように実行可能である請求項６９に記載
    の記憶媒体。
  71. 【請求項７１】 前記テンプレート画像の色特徴を自動的に決定することが
    、テンプレート画像の色の特徴付け分析を行うことを含む請求項６９に記載の記
    憶媒体。
  72. 【請求項７２】 前記テンプレート画像の色特徴と一致する１つまたは複数
    のターゲット画像領域を突き止めることが、 テンプレート画像の色の特徴付けと少なくともある程度一致する色の特徴付け
    を有するターゲット画像領域を求めて探索することを含み、 前記ターゲット画像領域を求めて探索することが、ターゲット画像内の複数の
    領域に対して色の特徴付け分析を行うことを含む請求項７１に記載の記憶媒体。
  73. 【請求項７３】 テンプレート画像に対して行われる色の特徴付け分析と、
    ターゲット画像の複数の領域のそれぞれに対して行われる色の特徴付け分析とが
    、 ピクセルの少なくともサブセットの色情報を検査すること、 検査した各ピクセルを、色空間の一部に対応する色カテゴリに割り当てること
    、 色カテゴリ全体にわたる検査したピクセルの割振りを示す情報を決定すること
    を含み、 ターゲット画像の複数の領域のそれぞれにつき、前記探索することが、領域の
    色の特徴付け分析で得られた情報をテンプレート画像の色の特徴付け分析で得ら
    れた情報と比較して、領域がテンプレート画像の色の特徴付けと少なくともある
    程度一致する色の特徴付けを有するかどうか判定することを含む請求項７２に記
    載の記憶媒体。
  74. 【請求項７４】 前記テンプレート画像の色特徴と一致する１つまたは複数
    のターゲット画像領域を突き止めることが、粗い方から精密な方への探索ヒュー
    リスティックに従って複数の探索パスを使用して行われる請求項６９に記載の記
    憶媒体。
  75. 【請求項７５】 前記テンプレート画像の色特徴と１つまたは複数の一致す
    るターゲット画像領域を突き止めることが、 ターゲット画像の中で第１パス探索を行って最初の合致候補領域を見つけるこ
    と、 １つまたは複数の後続の探索パスを行うことであって、候補領域に近接する近
    接領域を探索して近接領域中で最もよく一致する領域を見つけることを含む請求
    項６９に記載の記憶媒体。
  76. 【請求項７６】 複数のピクセルを含む画像の色を特徴付けするための、コ
    ンピュータで実施される方法であって、 ピクセルの少なくともサブセットの各ピクセルにつき、各ピクセルの色情報に
    基づいて各ピクセルに対する、複数の可能な色カテゴリからある色カテゴリを決
    定すること、 前記複数の可能な色カテゴリそれぞれの中にあるピクセルの数に関する、画像
    の色を特徴付ける情報を記憶することを含む方法。
  77. 【請求項７７】 画像中の複数のピクセルすべてに対して作用する請求項７
    ６に記載の方法。
  78. 【請求項７８】 前記複数の可能な色カテゴリが色空間の色カテゴリを含む
    請求項７６に記載の方法。
  79. 【請求項７９】 前記色カテゴリの数が、色の特徴付けについての所望の複
    雑さによって決まる請求項７６に記載の方法。
  80. 【請求項８０】 色の特徴付けについての所望の複雑さを示すユーザ入力を
    受け取ることをさらに含み、 前記色カテゴリの数が、色の特徴付けについての所望の複雑さによって決まる
    請求項７６に記載の方法。
  81. 【請求項８１】 各ピクセルに対する色カテゴリが、 各ピクセルの色相の値、 各ピクセルの彩度の値、および 各ピクセルの輝度の値のうちの１つまたは複数に基づいて決定される請求項７
    ６に記載の方法。
  82. 【請求項８２】 前記決定することが、 各ピクセルの彩度および輝度の値の１つまたは複数に基づいて各ピクセルを黒
    、白、または灰色のいずれかとして分類できるかどうか判定すること、 各ピクセルを黒、白、または灰色として分類できる場合は、各ピクセルをそれ
    ぞれ黒、白、または灰色の範疇に割り当てること、 各ピクセルを黒、白、灰色のいずれとしても分類できない場合は、各ピクセル
    の色相および彩度の値に基づいて各ピクセルに対する色カテゴリを決定すること
    を含む請求項８１に記載の方法。
  83. 【請求項８３】 前記記憶することの後に前記情報に対して平滑化オペレー
    ションを行うことをさらに含む請求項７６に記載の方法。
  84. 【請求項８４】 前記平滑化オペレーションが、 前記複数の可能な色カテゴリの少なくともサブセットの、各色カテゴリにつき
    、各色カテゴリの中にあるピクセルの数の一部を１つまたは複数の近傍色カテゴ
    リに分配することを含む請求項８３に記載の方法。
  85. 【請求項８５】 前記情報が、前記複数の可能な色カテゴリそれぞれの中に
    あるピクセルのパーセンテージに関するパーセンテージ情報を含み、前記パーセ
    ンテージ情報は画像物体中の色を特徴付ける請求項７６に記載の方法。
  86. 【請求項８６】 画像が画像の一部を含む請求項７６に記載の方法。
  87. 【請求項８７】 画像を受け取ること、 画像をコンピュータのメモリに記憶することをさらに含み、 前記受け取ることよび前記記憶することが、前記色カテゴリを決定することお
    よび前記情報を記憶することの前に行われる請求項７６に記載の方法。
  88. 【請求項８８】 前記色カテゴリを決定することおよび前記情報を記憶する
    ことの前に、画像を色相、彩度、および輝度（ＨＳＩ）フォーマットに変換する
    ことをさらに含む請求項７６に記載の方法。
  89. 【請求項８９】 １つまたは複数の優勢な色カテゴリを決定することをさら
    に含み、１つまたは複数の優勢な色カテゴリには、他の色カテゴリと比べて相対
    的に大きな割合でピクセルが割り当てられている請求項７６に記載の方法。
  90. 【請求項９０】 前記各ピクセルに対する色カテゴリを決定することが、 ピクセルが複数の色カテゴリに対して与えるべき寄与率を決定すること、 決定した寄与率に従って、複数の色カテゴリにわたってピクセルの重みを分配
    することを含む請求項７６に記載の方法。
  91. 【請求項９１】 ピクセルが複数の色カテゴリに対して与えるべき寄与率を
    決定するためにファジィ・メンバシップ関数を適用することをさらに含む請求項
    ９０に記載の方法。
  92. 【請求項９２】 複数のピクセルを含む画像の色を特徴付けするためのシス
    テムであって、 プロセッサと、 プロセッサに結合され、色特徴付けソフトウェアを記憶する記憶媒体と を備え、 プロセッサが、色特徴付けソフトウェアを実行して、 ピクセルの少なくともサブセットの各ピクセルに対して、各ピクセルの色情報
    に基づいて各ピクセルに対する色カテゴリを複数の可能な色カテゴリから決定す
    ること、 前記複数の可能な色カテゴリそれぞれの中にあるピクセルの数に関する、画像
    の色を特徴付ける情報を記憶すること を実施するように動作可能であるシステム。
  93. 【請求項９３】 前記複数の可能な色カテゴリが色空間の色カテゴリを含む
    請求項９２に記載のシステム。
  94. 【請求項９４】 前記色カテゴリの数が、色の特徴付けについての所望の複
    雑さによって決まる請求項９２に記載のシステム。
  95. 【請求項９５】 各ピクセルに対する色カテゴリが、 各ピクセルの色相の値、 各ピクセルの彩度の値、および 各ピクセルの輝度の値の内の１つまたは複数に基づいて決定される請求項９２
    に記載のシステム。
  96. 【請求項９６】 前記決定することが、 各ピクセルの彩度および輝度の値の１つまたは複数に基づいて各ピクセルを黒
    、白、または灰色のいずれかとして分類できるかどうか判定すること、 各ピクセルを黒、白、または灰色として分類できる場合は、各ピクセルをそれ
    ぞれ黒、白、または灰色の範疇に割り当てること、 各ピクセルを黒、白、灰色のいずれとしても分類できない場合は、各ピクセル
    の色相および彩度の値に基づいて各ピクセルに対する色カテゴリを決定すること
    を含む請求項９５に記載のシステム。
  97. 【請求項９７】 前記情報が、前記複数の可能な色カテゴリそれぞれの中に
    あるピクセルのパーセンテージに関するパーセンテージ情報を含み、前記パーセ
    ンテージ情報は画像物体中の色を特徴付ける請求項９２に記載のシステム。
  98. 【請求項９８】 プロセッサがさらに、前記色カテゴリを決定することおよ
    び前記情報を記憶することの前に、画像を色相、彩度、および輝度（ＨＳＩ）フ
    ォーマットに変換するように動作可能である請求項９２に記載のシステム。
  99. 【請求項９９】 複数のピクセルを含む画像の色を特徴付けする記憶媒体で
    あって、 ピクセルの少なくともサブセットの各ピクセルに対して、各ピクセルの色情報
    に基づいて各ピクセルに対する色カテゴリを複数の可能な色カテゴリから決定す
    ること、 前記複数の可能な色カテゴリそれぞれの中にあるピクセルの数に関する、画像
    の色を特徴付ける情報を記憶すること を行うように実行可能なプログラム命令を含む記憶媒体。
  100. 【請求項１００】 前記複数の可能な色カテゴリが色空間の色カテゴリを含
    む請求項９９に記載の記憶媒体。
  101. 【請求項１０１】 各ピクセルに対する色カテゴリが、 各ピクセルの色相の値、 各ピクセルの彩度の値、および 各ピクセルの輝度の値のうちの１つまたは複数に基づいて決定される請求項９
    ９に記載の記憶媒体。
  102. 【請求項１０２】 前記決定することが、 各ピクセルの彩度および輝度の値の１つまたは複数に基づいて各ピクセルを黒
    、白、または灰色のいずれかとして分類できるかどうか判定すること、 各ピクセルを黒、白、または灰色として分類できる場合は、各ピクセルをそれ
    ぞれ黒、白、または灰色の範疇に割り当てること、 各ピクセルを黒、白、灰色のいずれとしても分類できない場合は、各ピクセル
    の色相および彩度の値に基づいて各ピクセルに対する色カテゴリを決定すること
    を含む請求項１０１に記載の記憶媒体。
  103. 【請求項１０３】 前記色カテゴリを決定することおよび前記情報を記憶す
    ることの前に、画像を色相、彩度、および輝度（ＨＳＩ）フォーマットに変換す
    るように実行可能なプログラム命令をさらに含む請求項９９に記載の記憶媒体。
JP2001517345A 1999-08-17 2000-08-16 ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法 Expired - Lifetime JP4909479B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US09/375,453 1999-08-17
US09/375,453 US6757428B1 (en) 1999-08-17 1999-08-17 System and method for color characterization with applications in color measurement and color matching
US63942000A 2000-08-14 2000-08-14
US09/638,271 2000-08-14
US09/638,271 US6963425B1 (en) 2000-08-14 2000-08-14 System and method for locating color and pattern match regions in a target image
US09/639,420 2000-08-14
PCT/US2000/022554 WO2001013326A2 (en) 1999-08-17 2000-08-16 System and method for locating color and pattern match regions in a target image

Publications (3)

Publication Number Publication Date
JP2003507796A true JP2003507796A (ja) 2003-02-25
JP2003507796A5 JP2003507796A5 (ja) 2007-10-04
JP4909479B2 JP4909479B2 (ja) 2012-04-04

Family

ID=27409250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001517345A Expired - Lifetime JP4909479B2 (ja) 1999-08-17 2000-08-16 ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法

Country Status (3)

Country Link
EP (1) EP1218851B1 (ja)
JP (1) JP4909479B2 (ja)
WO (1) WO2001013326A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009520408A (ja) * 2005-12-15 2009-05-21 アナログ・デバイシズ・インコーポレーテッド 場面変化検出のためのランダムサブサンプルパティション投票（ｒｓｖｐ）アルゴリズム
KR101392357B1 (ko) 2012-12-18 2014-05-12 조선대학교산학협력단 2차원 및 3차원 정보를 이용한 표지판 검출 시스템
JP2018196111A (ja) * 2017-05-16 2018-12-06 富士通株式会社 色決定方法、装置及び電子機器
JP2020161129A (ja) * 2017-02-03 2020-10-01 コグネックス・コーポレイション ビジョンシステムにおいてカラー画像と対照してカラーの候補ポーズをスコアリングするためのシステム及び方法
US11562505B2 (en) 2018-03-25 2023-01-24 Cognex Corporation System and method for representing and displaying color accuracy in pattern matching by a vision system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1220182A3 (en) * 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
US7965887B2 (en) 2005-12-01 2011-06-21 Cognex Technology And Investment Corp. Method of pattern location using color image data
KR102566738B1 (ko) 2018-10-15 2023-08-16 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109903258B (zh) * 2019-02-25 2022-06-03 国网浙江省电力有限公司嘉兴供电公司 一种基于灰度匹配的电力电缆类别检测方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02122380A (ja) * 1988-10-31 1990-05-10 Juki Corp パターン認識用画像データ走査方式
JPH05244414A (ja) * 1992-02-28 1993-09-21 Canon Inc 画像処理装置
JPH06309461A (ja) * 1993-04-23 1994-11-04 Matsushita Electric Works Ltd 画像認識方法
JPH0863597A (ja) * 1994-08-22 1996-03-08 Konica Corp 顔抽出方法
JPH0918707A (ja) * 1995-06-29 1997-01-17 Omron Corp 画像処理方法及び装置並びにそれを搭載した複写機，スキャナ及びプリンター
WO1999023600A1 (en) * 1997-11-04 1999-05-14 The Trustees Of Columbia University In The City Of New York Video signal face region detection
JPH11150676A (ja) * 1997-11-17 1999-06-02 Canon Inc 画像処理装置及び追尾装置
JPH11167455A (ja) * 1997-12-05 1999-06-22 Fujitsu Ltd 手形状認識装置及び単色物体形状認識装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2171432T3 (es) * 1993-12-10 2002-09-16 Ricoh Kk Aparato y metodos para reconocer una imagen especifica a partir de una señal de imagen de entrada.

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02122380A (ja) * 1988-10-31 1990-05-10 Juki Corp パターン認識用画像データ走査方式
JPH05244414A (ja) * 1992-02-28 1993-09-21 Canon Inc 画像処理装置
JPH06309461A (ja) * 1993-04-23 1994-11-04 Matsushita Electric Works Ltd 画像認識方法
JPH0863597A (ja) * 1994-08-22 1996-03-08 Konica Corp 顔抽出方法
JPH0918707A (ja) * 1995-06-29 1997-01-17 Omron Corp 画像処理方法及び装置並びにそれを搭載した複写機，スキャナ及びプリンター
WO1999023600A1 (en) * 1997-11-04 1999-05-14 The Trustees Of Columbia University In The City Of New York Video signal face region detection
JPH11150676A (ja) * 1997-11-17 1999-06-02 Canon Inc 画像処理装置及び追尾装置
JPH11167455A (ja) * 1997-12-05 1999-06-22 Fujitsu Ltd 手形状認識装置及び単色物体形状認識装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009520408A (ja) * 2005-12-15 2009-05-21 アナログ・デバイシズ・インコーポレーテッド 場面変化検出のためのランダムサブサンプルパティション投票（ｒｓｖｐ）アルゴリズム
KR101392357B1 (ko) 2012-12-18 2014-05-12 조선대학교산학협력단 2차원 및 3차원 정보를 이용한 표지판 검출 시스템
JP2020161129A (ja) * 2017-02-03 2020-10-01 コグネックス・コーポレイション ビジョンシステムにおいてカラー画像と対照してカラーの候補ポーズをスコアリングするためのシステム及び方法
JP2018196111A (ja) * 2017-05-16 2018-12-06 富士通株式会社 色決定方法、装置及び電子機器
JP7003776B2 (ja) 2017-05-16 2022-01-21 富士通株式会社 色決定方法、装置及び電子機器
US11562505B2 (en) 2018-03-25 2023-01-24 Cognex Corporation System and method for representing and displaying color accuracy in pattern matching by a vision system

Also Published As

Publication number Publication date
EP1218851A2 (en) 2002-07-03
WO2001013326A2 (en) 2001-02-22
EP1218851B1 (en) 2016-04-13
JP4909479B2 (ja) 2012-04-04
WO2001013326A3 (en) 2001-11-29

Similar Documents

Publication Publication Date Title
US6963425B1 (en) System and method for locating color and pattern match regions in a target image
US7046842B2 (en) System and method for color characterization using fuzzy pixel classification with application in color matching and color match location
US7039229B2 (en) Locating regions in a target image using color match, luminance pattern match and hill-climbing techniques
US6944331B2 (en) Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching
US6757428B1 (en) System and method for color characterization with applications in color measurement and color matching
US7233699B2 (en) Pattern matching using multiple techniques
US6456899B1 (en) Context-based automated defect classification system using multiple morphological masks
US8000524B2 (en) Color naming, color categorization and describing color composition of images
US8515177B2 (en) Image processing apparatus, image processing method, and program
JP7412556B2 (ja) 目標コーティング中の効果顔料を識別する方法及び装置
JPH10503307A (ja) 画像識別装置
US8542917B2 (en) System and method for identifying complex tokens in an image
CN114648594B (zh) 一种基于图像识别的纺织品颜色检测方法及***
Zakaria et al. Object shape recognition in image for machine vision application
JP4909479B2 (ja) ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法
CN110826571B (zh) 一种用于图像快速识别及特征匹配的图像遍历算法
US20040131236A1 (en) Method and apparatus for processing an image
US6885772B2 (en) Process for cyclic, interactive image analysis, and also computer system and computer program for performing the process
JPWO2020216808A5 (ja)
JP3020973B2 (ja) 画像処理方法
JP2840347B2 (ja) 基板実装検査装置
JP7403006B2 (ja) 目標コーティング中の効果顔料を識別するための方法及び装置
Martinkauppi et al. Face video database
CN114202665A (zh) 一种图像相似度确定方法及装置、设备、存储介质
Aktürk Visual inspection of pharmaceutical color tablets

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101116

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120116

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4909479

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term