JP2018152055A - ビジョンシステムにおいてカラー画像と対照してカラーの候補ポーズをスコアリングするためのシステム及び方法 - Google Patents

Abstract

【課題】ビジョンシステムの幾何学的パターンマッチングツールにおいて、訓練されたカラー、グレースケール及び／又はレンジ情報をエッジアライメントされた候補ポーズと関連して用いることにより候補ポーズをスコアリングするためのシステム及び方法を提供する。【解決手段】訓練されたパターンは、一連のテストポイント内に関係のあるカラー情報を含む。実行時ポーズは、訓練されたパターンを基準にしてカラー画像に対する座標空間によって確定される。この実行時ポーズは、アライメントツールによって生成される。カラーテストポイントは、画像に対する座標空間上にマッピングされる。次いでそれぞれのマッピングされたテストポイントで、マッチが決定される。テストポイントマッチに基づいてスコアが決定される。【選択図】図２

Description

本発明は、撮像されたシーンにおけるオブジェクトのアライメント及び検査のためのマシンビジョンシステム及び関連する方法に関するものである。

本明細書で「ビジョンシステム」とも呼ばれるマシンビジョンシステムは、製造環境において多様なタスクを実行するために使用される。一般にビジョンシステムは、製造中のオブジェクトを包含するシーンのグレースケール又はカラー画像を取得する画像センサ（又は「イメージャ」）を備えた１台以上のカメラからなる。オブジェクトの画像を分析してデータ／情報をユーザ及び関連する製造工程に提供することができる。画像により生成されるデータは通常ビジョンシステムによって１台以上のビジョンシステムプロセッサにおいて分析及び処理することができ、このビジョンシステムプロセッサはそれ専用に製造されたものであるか、或いは汎用コンピュータ（例えばＰＣ、ラップトップ、タブレット又はスマートフォン）の内部で作成される１以上のソフトウェアアプリケーションの一部であってもよい。

ビジョンシステムの共通タスクは、アライメントと検査を含む。アライメントタスクにおいてビジョンシステムツール、例えばコグネックス社（マサチューセッツ州ネイティック）から市販されている周知のＰａｔＭａｘ（登録商標）システムは、シーンの画像内の特徴を（実際のモデル又は合成モデルを用いて）訓練されたパターンと比較して、撮像されたシーンにおけるパターンの存在／欠如及びポーズを決定する。この情報は後続の検査（又は他の）操作において、欠陥を探し及び／又は部品拒否など他の操作を行うために使用できる。

ビジョンシステムにとってある撮像された特徴を訓練されたパターンにマッチさせることは難題である。このことは高コントラストエッジ（ほとんどのパターンマッチングツールがマッチング決定のベースとして用いる）の欠如に起因することがある。クラッタ−予想されたエッジから離れたコントラスト特徴−の存在は、マッチング決定を支援するために使用できるが、これは２０１４年１２月２４日にジェイソン・デイヴィスにより出願された「取得した画像においてクラッタを決定するためのシステム及び方法」と題する同一出願人による米国特許出願第１４／５８０，１５３号に記載されている。このシステム及び方法は実行時画像においてグレースケールに基づくクラッタを識別する働きをし、より具体的には候補ポーズの訓練されたパターンを基準とするマッチングを可能にするクラッタスコアの判定を許す。訓練されたパターンは、訓練されたパターンにおける空白度を表す一連のクラッタテストポイントで提供される。訓練されたパターンを基準にした画像に対する座標空間を有する実行時ポーズが確定される。次にクラッタテストポイントが画像に対する座標空間にマッピングされ、マッピングされたクラッタテストポイントで空白度が判定される。空白度に基づいて取得した画像（少なくともその一部）におけるクラッタのレベルが判定される。

マシンビジョンの多くの応用において、エッジ以外の顕著な画像情報、例えばカラー、グレースケールレベル及び／又は高さ（レンジ情報）を含んでいるパターンをマッチさせることが望ましい。クラッタ推定が高勾配の領域であまり安定していないように、カラー、グレースケール及び／又は高さは、通常オブジェクトエッジ−高勾配の領域−で最も安定していないが、これらは伝統的な幾何学的パターンマッチングプロセス及び／又はアルゴリズムによって通常使用される特徴である。

本発明は先行技術の短所を克服するために、（例えば）エッジに基づくマッチング技術に加えて、及びクラッタスコアリングに加えて、候補ポーズと関連して訓練されたカラー、グレースケール及び／又はレンジ（高さ）情報（「カラー／グレースケール／レンジ」と呼ぶ）を用いることによって、ビジョンシステムの幾何学的パターンマッチングツールにおいて候補ポーズをスコアリングするためのシステム及び方法を提供する。これによりシステム及び方法は、関係のあるカラー、グレースケール及び／レンジ情報を含む訓練されたパターンを提供するが、この情報は一連のカラー／グレースケール／レンジテストポイントにおいて特徴付けられる。一連のカラー／グレースケール／レンジテストポイントが訓練されたパターンにおいて提供されるが、それらは一般に訓練画像において最も低勾配の領域にあるように選択される。実行時に、シーンにおける１以上のオブジェクトのカラー、グレースケール及び／又はレンジ画像が取得され及び／又はシステム及び方法に提供される。実行時ポーズは、訓練されたパターンを基準にしたカラー／グレースケール／レンジ画像に対する座標空間で確定され、実行時ポーズは幾何学的パターンマッチング（アライメント）ツール及びプロセスによって生成される。カラー／グレースケール／レンジテストポイントは、画像に対する座標空間にマッピングされる。次にカラー／グレースケール／レンジマッチが、それぞれのマッピングされたカラー／グレースケール／レンジテストポイントで決定される。カラー／グレースケール／レンジポイントマッチに基づいて、カラー／グレースケール／レンジスコアが（興味のあるオブジェクトに関する）画像の少なくとも一部において判定される。一般に、低勾配の領域内でカラー／グレースケール／レンジのマッチングがあるかないかに基づく追加のスコアリングメトリックを提供することによって、スコアはユーザに訓練されたパターンと候補ポーズとの間のマッチの品質に関する情報を提供することができる。任意的に、スコアは実行時に幾何学的パターンマッチングアライメント結果と共同で使用して、（例えば）実行時オブジェクトの取得した画像からの候補ポーズを容認又は拒否することができる。任意的に、同じテストポイント又は同様に低勾配のテストポイントを使用してクラッタを測定することもできる。

例示的な実施態様において、カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによって訓練されたカラーパターンの候補ポーズをカラー画像と対照してスコアリングするためのシステム及び方法が提供される。ビジョンシステムプロセッサは、訓練されたパターンにおけるカラーマッチ情報を表す一連のカラーテストポイントを表す訓練されたカラーパターンを含む。カラーテストポイントは、少なくともカラー画像の強度画像表現と比べて低勾配の領域にある。シーンの実行時カラー画像がビジョンシステムプロセッサに提供され、ビジョンシステムプロセッサは訓練されたパターンを基準にした実行時カラー画像に対する座標空間を有する実行時ポーズを確定し、実行時ポーズは幾何学的アライメントプロセスによって生成される。画像に対する座標空間上のカラーテストポイントがマッピングされて、それぞれマッピングされたカラーテストポイントでカラーマッチが判定される。カラーマッチに基づいて、実行時カラー画像の少なくとも一部におけるカラーマッチスコアが判定される。例示的に、カラーマッチの判定は、マッピングされたカラーテストポイントで実行時カラー画像について訓練されたカラーパターンの所定の色空間におけるカラーに対する値を判定することを含む。ポーズの確定は、（ａ）ビジョンシステム内のアライメントツールを使用して実行時画像を訓練されたカラーパターンに自動的にアライメントすることと、（ｂ）ユーザ入力からポーズを示す情報を取得することの少なくとも１つを含んでいてもよい。システム及び方法は、実行時カラー画像にマスクを適用し、このマスクは実行時カラー画像のどのエリアがカラーマッチについて評価されるかを示す。例示的に、強度画像は訓練されたカラーパターンと、幾何学的アライメントプロセスに使用するための実行時カラー画像の少なくとも１つから生成できる。カラーテストポイントは、勾配度閾値に基づく低勾配の領域にあることができ、勾配度閾値は（ａ）ユーザ入力パラメータと、（ｂ）システム生成パラメータの少なくとも１つにより確定できる。

別の例示的な実施態様において、カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによってグレースケール画像と対照して訓練されたグレースケールパターンの候補ポーズをスコアリングするためのシステム及び方法が提供される。ビジョンシステムプロセッサは、訓練されたパターン内のグレースケールマッチ情報を表す一連のグレースケールテストポイントを有する訓練されたグレースケールパターンを含んでいる。グレースケールテストポイントは少なくともグレースケール画像の強度画像表現と比べて低勾配の領域にある。シーンの実行時グレースケール画像がビジョンシステムプロセッサに提供され、このビジョンシステムプロセッサは訓練されたパターンを基準にして実行時グレースケール画像に対する座標空間を有する実行時ポーズを確定し、この実行時ポーズは幾何学的アライメントプロセスによって生成される。画像に対する座標空間上のグレースケールテストポイントがマッピングされ、それぞれマッピングされたグレースケールテストポイントでグレースケールレベルマッチが判定される。例示的に、グレースケールマッチの判定はマッピングされたグレースケールテストポイントで実行時グレースケール画像について訓練されたグレースケールパターンにおけるグレースケールに対する値を判定することを含む。ポーズの確定は、（ａ）ビジョンシステム内のアライメントツールを使用して実行時画像を訓練されたグレースケールパターンに自動的にアライメントすることと、（ｂ）ユーザ入力からポーズを示す情報を取得することの少なくとも１つを含んでいてもよい。システム及び方法は、実行時グレースケール画像にマスクを適用することを含むことができ、このマスクは実行時グレースケール画像のどのエリアがグレースケールマッチについて評価されるかを示す。例示的に、強度画像は訓練されたグレースケールパターンと、幾何学的アライメントプロセスに使用するための実行時グレースケール画像の少なくとも１つから生成できる。グレースケールテストポイントは、勾配度閾値に基づく低勾配の領域にあることができ、この勾配度閾値は（ａ）ユーザ入力パラメータと、（ｂ）システム生成パラメータの少なくとも１つにより確定できる。

別の例示的な実施態様において、カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによってレンジ画像と対照して訓練されたレンジ画像パターンの候補ポーズをスコアリングするためのシステム及び方法が提供される。ビジョンシステムプロセッサは、訓練されたパターン内のレンジマッチ情報を表す一連のレンジ画像テストポイントを有する訓練されたレンジ画像パターンを含んでいる。レンジテストポイントは少なくともレンジ画像の強度画像表現と比べて低勾配の領域にある。シーンの実行時レンジ画像がビジョンシステムプロセッサに提供され、このビジョンシステムプロセッサは訓練されたパターンを基準にした実行時レンジ画像に対する座標空間を有する実行時ポーズを確定し、この実行時ポーズは幾何学的アライメントプロセスによって生成される。画像に対する座標空間上のレンジテストポイントがマッピングされ、それぞれマッピングされたレンジテストポイントでレンジレベルマッチが判定される。例示的に、レンジマッチの判定は、マッピングされたレンジテストポイントで実行時レンジ画像について訓練されたレンジパターンにおけるレンジに対する値を判定することを含む。ポーズの確定は、（ａ）ビジョンシステム内のアライメントツールを使用して実行時画像を訓練されたレンジ画像パターンに自動的にアライメントすることと、（ｂ）ユーザ入力からポーズを示す情報を取得することの少なくとも１つを含んでいてもよい。このシステム及び方法は、実行時レンジ画像にマスクを適用することを含むことができ、このマスクは実行時レンジ画像のどのエリアがレンジマッチについて評価されるかを示す。例示的に、強度画像は訓練されたレンジパターンと、幾何学的アライメントプロセスに使用するための実行時レンジ画像の少なくとも１つから生成できる。レンジテストポイントは、勾配度閾値に基づく低勾配の領域にあることができ、この勾配度閾値は（ａ）ユーザ入力パラメータと、（ｂ）システム生成パラメータの少なくとも１つにより確定できる。

別の例示的な実施態様において、カメラアセンブリと、このカメラアセンブリと作動的に結合されたビジョンシステムプロセッサとを有するビジョンシステムが提供される。訓練モジュールが訓練画像データを受け取り、低勾配度の領域を特定し、カラー、グレースケール強度及びレンジの少なくとも１つに基づく画像データに関して領域内でテストポイントを最大テストポイントカウントまで適用する。例示的にビジョンシステムプロセッサは、（ａ）シーンの実行時画像データを取得し、（ｂ）訓練されたパターンを基準にした実行時画像データに対する座標空間を有する実行時ポーズを確定するように構成された実行時アライメントモジュールを含んでおり、この実行時ポーズは幾何学的アライメントプロセスによって生成され、更に（ｃ）実行時画像データに対する座標空間上のカラーテストポイントを含んでいる。ビジョンシステムプロセッサは、（ａ）カラー、グレースケール強度及び訓練されたパターンと実行時画像データとのレンジマッチの少なくとも１つを判定し、（ｂ）実行時画像データの少なくとも一部においてマッチスコアを判定するように構成されたマッチングプロセスを含んでいてもよい。強度画像は、訓練されたレンジ画像パターンと、幾何学的アライメントプロセスで使用するための実行時画像データの少なくとも１つに基づいて生成できる。例示的に、ポーズは、（ａ）実行時画像を訓練されたパターンに自動的にアライメントするビジョンシステム内のアライメントツールと、（ｂ）ユーザ入力からのポーズを示す情報の少なくとも１つに基づいて確定される。実施態様において、実行時画像にマスクを適用でき、このマスクは実行時画像のどのエリアがマッチングについて評価されるかを示す。

以下に本発明を添付の図面を参照して説明する。

顕著なカラー、グレースケールレベル及び／又は高さを有する領域が存在する例示的な特徴を包含するオブジェクトの表面のカラー、グレースケール及び／又はレンジ画像を取得するように構成されたビジョンシステムの概念図である。

訓練時操作と実行時操作において図１の幾何学的パターンマッチングツールで使用するための強度画像情報（大きさ）を導き出すための全体手順である。

アライメントされた実行時画像候補ポーズにおけるテストポイントで対応するカラー／グレースケール／レンジ情報とのマッチの判定に使用するためのモデル画像に基づいてカラー／グレースケール／レンジテストポイントを確定するための訓練手順のフローチャートである。

カラー／グレースケール／レンジテストポイントが特徴セットを包含する例示的な興味のある領域を呈する、訓練時又は実行時における例示的な特徴を示す図である。

１実施態様に従い相対的に高勾配のエリア（例えばエッジ）におけるテストポイントの省略を示す図３Ａの例示的な特徴及びテストポイントグリッドを示す図である。

図３の訓練手順で使用するためのカラー／グレースケール／レンジピクセルカウント及び訓練ピクセルカウントに対する値を確定するための手順のフローチャートである。

カラー／グレースケール／レンジテストポイント実行時画像候補ポーズにマッピングされ、そこから訓練時テストポイントと実行時テストポイントとの間のレベルマッチが判定される、実行時カラー／グレースケール／レンジ情報マッチ判定手順のフローチャートである。

図５の実行時判定手順において使用するためのカラー／グレースケール／レンジマッチスコア判定手順のフローチャートである。

図１は、ビジョンシステムカメラアセンブリ１２０の視野（ＦＯＶ）の範囲内で撮像されたシーン１１０におけるオブジェクト表面上の特徴の検査及び／又は分析に使用するためマシンビジョンシステム構成１００（単に「ビジョンシステム」とも呼ぶ）を示している。カメラアセンブリ１２０は、諸コンポーネントの任意の容認可能な配置構成であってよく、通常はレンズアセンブリ１２２と、ＣＣＤ又はＣＭＯＳなど任意の容認可能な撮像技術に基づく画像センサ（又は「イメージャ」）１２６を収容するカメラ本体１２４とを含む。イメージャ１２６は、シーンをグレースケール又はカラーで感知するように適合され得る画像ピクセルの配列において、画像を２次元（例えば長さＬと幅Ｗ）で取得するように配置できる。種々の実施態様において、カメラは作業空間（例えばピラミッド形ボリューム１２９）内で撮像されたシーンに関してオブジェクト高さＨも定義する３次元（３Ｄ）情報を取得するように配置することもできる。多様な３Ｄ画像技術、例えばレーザ変位センサ（プロファイラ）、立体カメラ、ソナー、レーザ又はＬＩＤＡＲレンジ検出カメラ、飛行時間センサ、及びその他の多様な受動及び能動レンジ検出技術を用いることができるが、これらに限られない。そのようなカメラはレンジ画像を生み出し、各ピクセルに対する第３次元（高さ）（通常ｘ−ｙ面に対して垂直なｚ軸に沿って特徴付けられる）を含む画像ピクセルの配列（通常直交ｘ軸とｙ軸に沿った位置として特徴付けられる）が作られる。

カメラ本体は、関連するビジョンプロセスを操作するビジョンプロセッサ１３０を構成する種々の画像処理コンポーネントを含んでいてもよい。ビジョンプロセッサはシーンの取得された画像に作用し、ビジョンシステムツール及びプロセス１３２を用いて取得した画像から情報を抽出できる。この情報は興味のある特徴又は画像内に現れる他のアイテムに関係することができ、例えば米国マサチューセッツ州ネイティック市のコグネックス株式会社から市販されている既知のＰａｔＭａｘ（登録商標）及び／又はＰａｔＭａｘＲｅｄＬｉｎｅ（登録商標）などのビジョンシステムツールを使用して、画像内の特徴を解析して、相対的ポーズ、アライメント及び他のディテール、例えば有／無などに関する情報を提供できる。これらのツールは、一般に幾何学的パターンマッチング１３４を実行するために使用できる。

ビジョンシステムプロセスの一部又は全部をカメラアセンブリ１２０の本体１２４内で実行できるが、プロセスの一部又は全部を（破線矢印１３４で示されているように）相互に（有線又は無線で）接続されたコンピューティングデバイス／プロセッサ、例えば適切なユーザインタフェース１４２及びディスプレイ１４４を備える専用プロセッサ又は汎用コンピュータ（例えばサーバー、ＰＣ、ラップトップ、スマートフォン、タブレットなど）１４０によって実行できることが明確に想定されている。相互に接続されたコンピューティングデバイス／プロセッサ１４０は処理された画像情報を用いて、更にユーティライゼーションタスク１５０（即ち「ユーティライゼーションエレメント」又は「ユーティライザ」プロセスの使用）を実行できる。例えばビジョンシステムが検査タスクを実行する場合、これらの情報を用いて品質管理情報をデータベースに送ったり、生産ラインで欠陥品を拒否したりできる。この情報はオブジェクト上のラベル及び／又はＩＤコードを読み取ることによって（例えば）物流用途にも使用できる。以下に述べるように、ユーティライゼーションタスクは、３Ｄアライメント情報１６８の使用を含む。画像データ及び関連情報を用いて他の様々なユーティライゼーションタスクを企てることができる。単一のカメラ１２０が示されているが、全体的な「カメラアセンブリ」は複数のカメラ（例えば仮想線で示された追加のカメラ１２８）を含み、各々がシーンを撮像して全体的ＦＯＶ／作業空間を定義できることに留意されたい。そのようなカメラはビジョンシステムプロセッサ１３０、又は他の処理モダリティを介して互いに結合できる。シーン及びその中のオブジェクトを撮像するときに、当業者に周知の種々の較正技術を使ってカメラ間に共通の座標系を作ることができる。

例示的な実施態様において、ビジョンプロセス及びプロセッサは、訓練時及び実行時に撮像されたシーン／オブジェクトの興味のある領域でカラー、グレースケール及び／又はレンジ情報（これらの３種類の代替的メトリックは本明細書で「カラー／グレースケール／レンジ」と呼ばれる）の値／レベルを検出して解析する判定プロセス（プロセッサ）（「モジュール」とも呼ぶ）１６０を含んでいる。カラー、グレースケール又はレンジが処理されるかどうか、及びどのような形態の顕著な画像情報がオブジェクトをそれらのエッジから離れた位置で適切に特定することを可能にするかは、カメラの固有の能力に依存している。例えば多様な離散的に着色されたオブジェクトが解析される場合は、カラー判定プロセスを使用できる。グレースケール色調がオブジェクト間で異なる場合は、グレースケール判定プロセスを使用でき、同様に、オブジェクトの高さが異なる場合はレンジ判定プロセスが適当である。一般に、本明細書に記載した実施態様により取得した画像において、判定プロセス（プロセッサ）又はモジュールが作動してカラー／グレースケール／レンジのレベルを判定する。カラーは通常、画像中の各カラーピクセルと関連した３種類の変数、例えば赤、緑及び青（ＲＧＢ）、シアン、マゼンタ及びイエロー（ＣＭＹ）、ＨＳＩ、ＨＳＶなどによって特徴付けられる。これらは各値が所定のレンジ内の数値を持つ「色空間」で表される。同様に、グレースケールは（例えば）８−１６ビットに及び得るグレーレベルのレンジによって表される。高さ又はレンジは、カメラの較正された作業空間内の距離、例えば撮像された表面とセンサＳの光学面との間の光学軸ＯＡに沿った距離（例えばミリメートル）として定義される「ｚ」軸の値によって表される。各々のケースにおいて、画像内の位置（一般にｘ及びｙ座標又は他の２Ｄ配列によって定義される）は、当該画像位置に対して関係のあるカラー、グレースケール又はレンジを提供する情報のこの第３の測定を含む。

例示的な配置構成１００において、カメラ１２０（及び１２８）は、カメラ１２０（及び１２８）のＦＯＶ１１２及び／又は作業空間１２９内でシーン１１０を撮像している。例示的なオブジェクト１７０はシーン１１０内にある。このオブジェクトは、背景１７６に囲まれた例示的な特徴１７１、１７２、１７３及び１７４を含んでいる。非限定的な例で、特徴１７１、１７２、１７３及び１７４はカラー、グレースケールレベル、及び／又は高さの点で互いに及び／又は背景１７６に対して異なってよい。更に非限定的な例で「クロス」特徴１７２及び１７４は同様の幾何学的エッジ構成を有するが、カラー、グレースケールレベル又は高さの点で互いに異なる。これらの相違を用いてエッジに基づくパターンマッチングツール１３４の結果を補足又は強化してより信頼できる正確な全体的アライメント結果を得ることができ、これを全体スコアリングメトリックに加算することにより、どの実行時候補ポーズが訓練されたモデルパターンを基準にした最良のアライメントソリューションを提供するか決定する。

画像中のカラー、グレースケールレベル又はレンジに対する値の判定において、システムは最初に訓練画像データ１８０を提供し、これは通常興味のある特徴を含み、実際の訓練オブジェクト表面及び／又は合成画像データの取得した画像に基づくことができる。即ち訓練画像及び関係のある訓練パターンは、（例えば）ＣＡＤモデル、合成正方形などで提供される記述によって規定できる。従って「訓練画像」及び「訓練パターン」の用語は広く解釈して、一般にピクセル値に頼ることなく規定されるデータセットを含む。実行中にシステムは取得した画像から画像データ１８４を受け取る。これはシーン１１０及びオブジェクト１７０のリアルタイムの取得又は保存された画像に基づいてよい。システムはまた以下に論じるように、訓練時操作と実行時操作のためにユーザから種々の入力パラメータ１９０を受け取る。

ここで図２を参照すると、訓練時画像と実行時画像の解析における初期手順２００が示されている。この初期手順において、必要な場合はカラー画像から強度画像が作られる。そのような画像は通常は強度値の配列／マトリックスによって定義され、これらの値は各々配列内のそれぞれのピクセル位置と関連しており、あるレンジ（例えば１６ビット）内の数値を定義する強度値を有する。ステップ２１０で、訓練時にモデルのカラー／グレースケール／レンジ画像が取得され、又は別途ユーザ／オペレータにより（ＣＡＤ表現などを使用して）システムに提供される。画像がグレースケールとして取得又は提供される場合、画像はグレースケールレベルに関して強度値によって定義される。レンジ画像は任意的に強度画像に対応するグレースケールレベルを有するピクセルも含むこともでき、又は代替的に付属の強度画像を有することができる。以下に論じるように、幾何学的パターンマッチングはレンジ画像、強度画像に基づいて、又は両方を適当に組み合わせて行うことができる。画像がカラーの場合は、ステップ２２０で強度画像に変換される。このようにして幾何学的パターンマッチングツールは、訓練時及び実行時にそれを解析できる。強度画像は、ここに示されているような多様な適切なメカニズムによってカラー画像から生成できる。例えば強度Ｉは単一のカラーに対する各ピクセルに割り当てられた値として判定され得る（例えば緑の値はＧピクセル）。代替的に、Ｉは、各ピクセルに対する色空間を定義する個別値の平均として定義され得る。（例えばＩ＝Ａｖｇ（Ｒ＋Ｇ＋Ｂ））。代替的に、重み付け／正規化された平均を使用できる（例えばＩ＝αＲ＋βＧ＋γＢ、但しα＋β＋γ＝１）。追加的に、強度画像は公知技術に従いカメラエレクトロニクス及び／又はベイヤーフィルタ技術を用いて導出できる。

手順２３０のステップ２３０において、強度画像／グレースケール／レンジ画像は訓練時に幾何学的パターンマッチングツールに送られ（図１に１３４で示す）、これは強度画像／グレースケール／レンジ画像を用いて手順を実行して結果を生成し、それが訓練モデルになる（ステップ２４０）。

実行時に、ステップ２５０に示されているように、実行時シーンの強度／グレースケール／レンジ画像が再び上述したように作られて、幾何学的パターンマッチングツール及び手順（例えばＰａｔＭａｘ（登録商標）、ＰａｔｍａｘＲｅｄＬｉｎｅ（登録商標）など）に送られる。これを用いて結果が生成され、それらの結果がポーズ及びスコアとなる（ステップ２６０）。

ここで、図３を参照すると、以下に述べる後続の実行時カラー／グレースケール／レンジ判定手順で使用される訓練モデルを確定するための手順３００が示されている。ステップ３１０で実際の訓練画像又は合成訓練画像がシステムに提供される。訓練画像はピクセルの２次元（２Ｄ）配列として構成され、各ピクセルは座標ｓ（ｘ及びｙ）及び関係のある強度値（ｓ）を有している（例えば複数のカラー／カラー強度が存在する場合）。代替的に、他の値、例えば高さマップ内の高さは与えられた座標におけるピクセルを表わすことができる。追加的に、訓練画像は少なくとも１つの興味のある特徴、例えば対照的エッジ及び所定の形状を定義する印刷及び／又はグラフィックを示すことができる。画像はカメラアセンブリ（又は他のカメラ配置構成）により物理的モデルから取得でき、又は興味のある特徴に対して事前に定義された形状を用いて合成でき、訓練画像、例えば事前に定義された所定の寸法／縮尺の円、正方形、文字などに、ユーザによって挿入され得る。代替的に、訓練画像は、実際の２Ｄ画像がないようにして種々のエッジ及びクラッタ値を含むデータセット、例えば興味のある領域における位置を参照する強度及び／又は勾配値のマトリックスであってよい。

更にステップ３１０に記されているように、任意の勾配画像を作成できる。これは本明細書では一般的に述べられているように後続のステップで使用できる。勾配画像は隣接ピクセル値の間の変化（例えば強度レベル）を測定することによって生成され、画像内の各離散的ピクセル位置における勾配値として定義する。

ステップ３２０において、手順３００は訓練画像の各ピクセル位置に対する勾配度閾値を提供する。この閾値は、ユーザ入力として（例えばユーザインタフェースを介して）又はシステム提供パラメータ（例えば保存された値）として提供されてよい。勾配度閾値は代替的に適切なアルゴリズムを用いて計算できる。これらのアルゴリズムは、以下に一般的に述べるように、画像データの相対的値（値のレンジなど）を決定し、これらの値をアルゴリズムに取り込んで閾値を計算する。

手順３００はステップ３３０で、訓練画像内の各々の特定の位置と関連してカラー／グレースケール／レンジテストポイントを生成する。これらの位置はピクセル位置に基づくことができ、又はサブピクセル位置と関連でき、又は一般的に訓練画像に対して容認可能な座標空間によって確定できる。各々のカラー／グレースケール／レンジテストポイントは、ステップ３２０で提供される勾配度閾値より小さい勾配度を有するそれぞれの位置で確定される。換言すれば、テストポイント（「プローブ」と呼ぶこともある）は、勾配度（又は画像特徴／特性の他の指標）に対する測定／解析された値が与えられた閾値を下回る画像内の弱いエッジに適用され得る。低勾配の位置でテストポイントを選択することの一般的な帰結は、テストポイントがエッジ（即ち高勾配）から離れているターゲット画像のエリアと、高勾配の他のエリアを探査するように適用されることである。一般にテストポイントは、勾配がゼロに近づくか又はゼロに等しい訓練画像／パターンの位置（即ち画像の安定した領域）にある。留意すべきは、種々の実施態様は低勾配レベルに設定された既定値を選好して入力閾値の使用を省くことができることである。実際の閾値が入力される別の実施態様において、この値は（典型的に）低い数値に設定でき、テストポイントは一般にほぼゼロ値勾配をある程度上回る画像の領域から省かれる。

一般に、勾配度閾値に対する上述した値は（例えば）ヒストグラムを用いるビジョンシステムプロセスにおいてノイズ閾値と同様に計算できる。勾配画像はステップ３１０で生成又は提供できることに留意されたい。ステップ３１０において勾配画像は直接強度／グレースケール／レンジ画像から計算でき、又は代替的にカラー画像については勾配画像は直接カラー画像から計算できる。勾配度閾値より低い勾配画像内の各ピクセルについて、手順はカラー／グレースケール／レンジテストポイントを生成する。従ってシステムは、（後の実行時解析のために）訓練画像／パターン上の実行時に低勾配度を有するべき位置、それゆえテストポイントを提供する潜在的位置を考慮する。これらの訓練パターン上で確定されたテストポイントが、カラー、グレースケール又はレンジ情報が比較（訓練時と実行時）される位置となる。

図３のステップ３３０及び図４を参照すると、カラー／グレースケール／レンジテストポイントの生成は（サブ手順４００に従い）、最大カラー／グレースケール／レンジピクセルの設定値に従う画像中の最大カラー／グレースケール／レンジポイントカウントを上限とすることができる。非限定的な例として、既定値１００００を採用できる。従ってこの上限なしに生成されるカラー／グレースケール／レンジテストポイントの総数（即ちステップ４１０のカラー／グレースケール／レンジピクセルカウント）は、ステップ４２０で最大カラー／グレースケール／レンジピクセルの値で除算される。例示的に、この値の平方根が計算される。例えば２００００合計テストポイントが生成され、１００００が最大である場合、結果として生じる係数は（１００００／２００００）^１／２又は１．４１４となる。それゆえ手順４００はステップ４３０で、１．４１４番目毎のピクセル（又は座標空間における他の位置、例えばサブピクセル）を水平及び垂直にチェックでき（概数、最近傍）、手順（図４のステップ４３０）は、勾配度の値が勾配度閾値を下回るピクセル／位置のみをテストする（これらは実行時画像内の当該位置に予想されないデータが存在する場合は、実行時に関係のあるカラー／グレースケール／又はレンジ値となる）。この手順４００は全体画像データの１／ｎ番目をサンプリングする。その結果得られるサンプルは、最大カラー／グレースケール／レンジピクセルの値の近似値である。画像内のカラー／グレースケール／レンジテストポイントの数を制限するために別の多様な技術を使用できることは明らかであろう。幾つかの技術は、予想された特徴の有無に応じて画像から特定の領域を省略し、又は特定のエリアのカウントを重み付けすることを含んでよい。次に手順４００は、ステップ４４０において訓練画像内のテストポイントの位置を、ステップ４３０で提供されたピクセル／位置に基づいて確定する。これらは手順３００（図３）のステップ３４４に従い後続の使用（即ち実行時）のために保存される。

ステップ３４０（仮想線で示す）は、任意の訓練時マスクを提供することに留意されたい。このステップはステップ３３０の前か後、又は全体手順３００における他の適切な時間に行なわれてよい。更に訓練画像内の所定の数（例えば１００００）のテストポイントの配置を制限でき、又は興味のある特徴に関係ありと標識された位置に限定できる。例えば関連ポイント上に「注意」フラグを置くことができる。この領域の外にある他のポイントは「無視」フラグを立て、プロセスから排除できる。例えば他の要素の間で赤ボタンを付けている画像で、ユーザは訓練画像とマッチするマスク画像を用いて、赤ボタンのみ（例えば）カラーマッチングのために考慮されるように指定できる。この方策は、所定のグレースケール及び／又はレンジ／距離の値に基づくマスキングにも使用できる。

ステップ３１０で勾配画像を作成及び使用する代わりに、手順は伝統的なプロセス／技術（例えばソーベルオペレータ又は他の類似形式の画像フィルタの使用）を用いてエッジ画像を生成できることにも留意されたい。画像中のエッジを特定した後、手順はテストポイントを、全般的にエッジ特徴のない位置に適用する。それゆえ本明細書における「勾配画像」という言葉は、広く解釈してテストポイントを配置するために画像内でエッジ／高コントラスト領域を特定する代替的方策を含めるべきであり、そのような代替的方策は、エッジ特徴から離れた画像中の位置にテストポイントを置くことによって勾配画像を使用するのと同様の結果を達成する。例示的に、この手順に画像中のエッジのリストを（例えば一連の合成訓練データオン一部として）備えることができ、それによってテストポイントはエッジから離れて配置される。

非限定的な例として、及び更に別の例示として、図３Ａを参照すると、訓練特徴セット３６０を含むＦＯＶ３５０の全部又は一部が示されている。この場合に特徴セット３６０（エッジ３６２）は、図１の例示的な離散的パターン１７２及び１７４と類似のクロスパターンを定義する。境界ボックス３７０（又は他の描写）が特徴３６０を包含する領域の周りに配置されている。エッジ３６２は少なくとも１つの他の顕著な特徴−囲まれた領域３７０内で周囲の背景３６４を基準にしたカラー、グレースケール色調及び高さ／レンジの少なくとも１つを含むオブジェクトの部分である。境界ボックスは自動的に配置でき、又はユーザ指定手順により興味のある特徴を完全に包囲するが、解析が行なわれる所望のエリアから明らかに外れている領域は回避することができる。この例では、テストポイント３８０の幾何学的グリッドは囲まれた領域３７０の全体にわたって確定される。図示されているように、これらのポイントはカラー、グレースケールレベル又はレンジ／高さの異なる領域内にある。画像又は興味のある領域にわたるポイント分布の精細度は、グリッドの配置に応じて極めて可変である。この場合にテストポイントは垂直及び水平方向で等間隔に配置されている。テストポイントは、エッジの全体的輪郭により近接してマッチする配列で配置できる。同様に、直交グリッドを採用する一方、配列を（例えば）極座標グリッドで配置することもできる。図３Ａの画像は、勾配度（エッジ）にかかわりなく画像全体にわたるテストポイント３８０の配列を表しており、このことがエッジ３６２の内部と外部でカラー／レンジ／強度の異なる領域を区別するのを困難にしている。しかしながら、更に図３Ｂに図示されているように、手順３００は特に図３Ａの訓練時又は実行時の画像を修正して、高勾配度エリア（エッジ３６２）に近いテストポイント３８０は省略されている。このバージョンの画像で残りのテストポイントは、明らかにエッジ３６２の内部又は背景領域３７０にある。それゆえ実際の画像上のテストポイントの配置は、典型的には図３Ｂに表現された例に従っている。この例では、各領域の明らかに内部にテストポイントを配置することにより、手順はカラー／グレースケール／強度の顕著な領域を効果的に表現できる。

図５は、実行時手順５００を示している。取得した画像（候補画像）が訓練されたモデルと比べてカラー、グレースケールレベル又はレンジのマッチングしている程度を判定するためにスコアリングされる。画像がカメラアセンブリ１２０（図１）によって取得されて保存され、又は別途ステップ５１０での実行時解析のためにシステムに提供される。ステップ５２０で、手順５００は候補ポーズ及び画像に対するカバレッジ（生）スコア、及び任意的にクラッタスコアも計算する。生スコアが「容認」閾値を下回る場合は、候補実行時画像は破棄されて、次の「拒否」ステータスを示す候補ポーズが解析される。カバレッジの計算、正規画像「プローブ」の生成、及び実行時における画像のアライメント／スコアリングのための他のメカニズムは、以下に述べる市販のパターンマッチングツール及びプロセス（例えばＣｏｇｎｅｘＰａｔＭａｘ（登録商標）、ＰａｔＭａｘＲｅｄＬｉｎｅ（登録商標）など）を用いて達成できる。追加的に実行時マスクを使用して、実行時にカラー／グレースケール／レンジマッチング手順に関係ないとしてマスクされた実行時候補画像の領域のスコアリングを回避できる。全体プロセスにおける適切な時間に少なくとも基本的な（例えば粗雑な）登録プロセスを用いて、実行時画像の座標空間が訓練パターンの座標空間にアライメントされることに留意されたい。

ステップ５４０で、実行時画像の見出された「ポーズ」を用いてカラー／グレースケール／レンジテストポイントを実行時画像の座標空間にマッピングする。各ポイントについて、手順５００はステップ５５０でスコアリングする。マッピングされたポイントにおけるステップ５５０のスコアは、カラー／グレースケール／レンジ画像とマッピングされたポイントにおける訓練パターンのカラー／グレースケール／レンジ画像との差であるか、又は平均減算カラー／グレースケール／レンジ画像とマッピングされたポイントにおける訓練パターンの平均減算カラー／グレースケール／レンジ画像との積である。代替的に、スコアは絶対値、又はこの値の２乗、又はこの値の数学的関数であってよい。この結果に（非限定的な例として）適切な係数を乗じることによってスコア空間を拡大縮小して正規化する（即ち０と１の間）。代替的実施態様において他の正規化技術（又は非正規化）を使用できることに留意されたい。実行時手順（代替的実施態様において大きく変わり得る）の非限定的な例として、手順５００において計算されたスコア情報を用いて、ステップ５６０に従い実行時ポーズと訓練モデルとの間のマッチに対して全体スコアを提供する。例示的な実施態様において、及び更に図６を参照して、手順６００はステップ６１０におけるすべてのマッピングされたカラー／グレースケール／レンジテストポイントから、すべてのカラー／グレースケール／レンジマッチスコア値を合計する。この結果生じる合計を、次にステップ６２０でピクセル／位置の総数（勾配度閾値限界に一致し、訓練ピクセルカウントと呼ぶ）のステップ６２０における値で割り、それによりステップ６３０で画像に対する全体カラー／グレースケール／レンジマッチスコア（カラー／グレースケール／レンジスコア）を導出する。大まかな平均値を得るためにカラー／グレースケール／レンジピクセルカウントの値で割る代わりに訓練ピクセルカウントの値で割ることにより、カバレッジの値１は、画像中に潜在的な「正しい」ピクセル／位置と同じ数のマッチングするカラー／グレースケール／レンジピクセル／位置を提供すると仮定できる。最終的に報告されるスコア（カバレッジスコア − カラー／グレースケール／レンジ係数＊カラー／グレースケール／レンジスコア − クラッタスコア）は０で固定され、カラー／グレースケール／レンジ係数の既定値は０．５となる。

カラー／グレースケール／レンジマッチスコア又は実行時候補ポーズにおけるカラー／グレースケール／レンジ挙動のレベルに関する他の情報は、ダウンストリーム（任意）プロセス及びタスクで利用して、種々のアクション、例えば（限定するものではない）生産ラインの停止、警報音の発生、品質管理データの保存、及び／又は部品拒否を実行できることに留意されたい。例としてアライメントされたポーズがカラー、グレースケールレベル及び／又は高さに関して訓練画像との近いマッチを示した場合は、その基礎となる実行時オブジェクトは容認される。実行時ポーズのカラー／グレースケール／レンジテストポイントと、訓練モデルの対応するポイントとの間にミスマッチがある場合は、アライメントは成立せず（利用可能なエッジ特徴がアライメントされているように見える場合も）、オブジェクトは拒否され得る。

例示的に、上述した判定システム及び方法において、候補パターンマッチが見出された後、カラー／グレースケール／レンジテストポイントが実行時画像にマッピングされ、次いでマッピングされた位置で実行時画像中に存在する各テストポイントのカラー／グレースケール／レンジ情報をカラーにマッチングできる（我々が選択する任意のメトリック、例えばＲＧＢ空間におけるユークリッド距離を使用）。種々の実施態様において、総カラー／グレースケール／レンジスコアを計算してユーザに報告することができ、このスコアは任意的に全体パターンスコアを知らせるために使用され、そのために例えばパターンスコア及びカラーマッチスコアを加算し、又は距離閾値の外部にあるカラー／グレースケール／レンジテストポイントのパーセンテージを減算する。

カラー／グレースケール／レンジテストポイント訓練パターンの生成により、画像のより安定した部分において高勾配度エッジから離れた領域で、実行時候補画像上のマッチングしない特徴を迅速かつ確実に検出できるようになることは明らかであろう。この方策により、プロセッサ／時間を費やして徹底的に解析する前に、実行時候補ポーズを容認又は拒否することが可能になり、それにより操作効率及び処理速度が増す。

以上、本発明の例示的な実施態様を詳細に説明した。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施態様の各々の特徴は、関連する新しい実施態様において多数の特徴の組み合わせを提供するのに適する限り、別の記載された実施態様の特徴と組み合わされてよい。更に、上に本発明の装置と方法の多数の別個の実施態様を記したが、ここに記載されたものは本発明の原理の応用を例示したものに過ぎない。例えば、「テストポイント」及び／又は「プローブ」の言葉の使用は広く解釈して、画像座標空間における他のタイプの幾何学的構造、例えば多角形の内部で平均カラー、グレースケールレベル及び／又はレンジ／高さが計算される頂点を有する多角形を含めるべきである。実行時にマスクを使用して、アライメントプロセスがこのマスクの境界の外にある領域を省略することも想定されている。これは極端な特徴又は興味のない特徴を除去することによってアライメントを迅速に処理する。一般に画像の領域は画像の解析にとって重要でないと見なされたら、カラー／グレースケール／レンジテストポイントの位置からマスキングできる。また、本明細書で使用される様々な方向及び／又は向きを表わす用語（及びそれらの文法的変化）、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」、「前方」、「後方」及びこれに類するものは、相対的な表現法として用いられているに過ぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。更に、図示されたプロセス又はプロセッサは他のプロセス及び／又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び／又はサブプロセッサは、本明細書に記載された実施態様に従って多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び／又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組み合わせを用いて実施できることが明確に想定されている。従ってこの説明は例示の方法によるものとしてのみ受け取られるべきであり、それ以外に本発明の範囲を制限することを意味するものではない。

以下に特許請求の範囲を記載する。

Claims (21)

1. カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによってカラー画像と対照して訓練されたカラーパターンの候補ポーズをスコアリングするための方法であって、
   当該方法はビジョンシステムプロセッサに訓練されたカラーパターンを提供するステップを有し、前記パターンは前記パターン内のカラーマッチ情報を表す一連のカラーテストポイントを備え、前記カラーテストポイントは少なくとも前記カラー画像の強度画像表現と比べて低勾配の領域にあり、
   当該方法は、さらに、ビジョンシステムプロセッサに、シーンの実行時カラー画像を提供するステップを有し、
   当該方法は、さらに、ビジョンシステムプロセッサによって、前記訓練されたパターンを基準にした、前記実行時カラー画像に対する座標空間を備える実行時ポーズを確定するステップを有し、前記実行時ポーズは幾何学的アライメントプロセスによって生成され、
   当該方法は、さらに、ビジョンシステムプロセッサによって、画像に対する座標空間上にカラーテストポイントをマッピングするステップを有し、
   当該方法は、さらに、ビジョンシステムプロセッサによって、それぞれマッピングされたカラーテストポイントにおけるカラーマッチを決定するステップを有し、
   当該方法は、さらに、カラーマッチに基づいて、実行時カラー画像の少なくとも一部でカラーマッチスコアを判定するステップを有する、
   上記方法。
2. カラーマッチスコアを判定するステップは、マッピングされたカラーテストポイントにおける実行時カラー画像に対して訓練されたカラーパターンの所定のカラー空間におけるカラーに対する値を判定することを含む、請求項１に記載の方法。
3. ポーズを確定するステップは、（ａ）ビジョンシステム内のアライメントツールを使用して実行時グレースケール画像を訓練されたグレースケールパターンに自動的にアライメントすることと、（ｂ）ユーザ入力からポーズを示す情報を取得することの少なくとも１つを含む、請求項１に記載の方法。
4. 更に、実行時カラー画像にマスクを適用することを含んでおり、マスクは実行時カラー画像のどのエリアがカラーマッチについて評価されるかを示す、請求項１に記載の方法。
5. 更に、訓練されたカラーパターンと、幾何学的アライメントプロセスに使用するための実行時カラー画像の少なくとも１つから強度画像を生成することを含む、請求項１に記載の方法。
6. カラーテストポイントは勾配度閾値に基づく低勾配の領域にあり、この勾配度閾値は、（ａ）ユーザ入力パラメータと、（ｂ）システム生成パラメータの少なくとも１つによって確定される、請求項１に記載の方法。
7. カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによってカラー画像と対照して訓練されたグレースケールパターンの候補ポーズをスコアリングするための方法であって、
   当該方法はビジョンシステムプロセッサに訓練されたグレースケールパターンを提供するステップを有し、前記パターンは前記パターン内のグレースケールレベルマッチ情報を表す一連のグレースケールテストポイントを備え、前記グレースケールテストポイントは少なくとも前記グレースケール画像の強度画像表現と比べて低勾配の領域にあり、
   当該方法は、さらに、ビジョンシステムプロセッサに、シーンの実行時グレースケール画像を提供するステップを有し、
   当該方法は、さらに、ビジョンシステムプロセッサによって、前記訓練されたパターンを基準にした、前記実行時グレースケール画像に対する座標空間を備える実行時ポーズを確定するステップを有し、前記実行時ポーズは幾何学的アライメントプロセスによって生成され、
   当該方法は、さらに、ビジョンシステムプロセッサによって、画像に対する座標空間上にグレースケールテストポイントをマッピングするステップを有し、
   当該方法は、さらに、ビジョンシステムプロセッサによって、それぞれマッピングされたグレースケールテストポイントにおけるグレースケールレベルマッチを決定するステップを有し、
   当該方法は、さらに、グレースケールレベルマッチに基づいて、前記実行時画像の少なくとも一部でグレースケールレベルマッチスコアを判定するステップを有する、
   上記方法。
8. 前記実行時ポーズを確定するステップは、（ａ）ビジョンシステム内のアライメントツールを使用して実行時グレースケール画像を訓練されたグレースケールパターンに自動的にアライメントすることと、（ｂ）ユーザ入力からポーズを示す情報を取得することの少なくとも１つを含む、請求項７に記載の方法。
9. 更に、実行時グレースケール画像にマスクを適用することを含んでおり、このマスクは実行時グレースケール画像のどのエリアがグレースケールレベルマッチについて評価されるかを示す、請求項７に記載の方法。
10. グレースケールテストポイントは勾配度閾値に基づく低勾配の領域にあり、この勾配度閾値は（ａ）ユーザ入力パラメータと、（ｂ）システム生成パラメータの少なくとも１つによって確定される、請求項７に記載の方法。
11. カメラアセンブリとビジョンシステムプロセッサを有するビジョンシステムによってレンジ画像と対照して訓練されたレンジ画像パターンの候補ポーズをスコアリングするための方法であって、
    当該方法はビジョンシステムプロセッサに訓練されたレンジ画像パターンを提供するステップを有し、前記パターンは前記パターン内のレンジマッチ情報を表す一連のレンジテストポイントを備え、前記レンジテストポイントは少なくとも前記レンジ画像の強度画像表現と比べて低勾配の領域にあり、
    当該方法は、さらに、ビジョンシステムプロセッサに、シーンの実行時レンジ画像を提供するステップを有し、
    当該方法は、さらに、ビジョンシステムプロセッサによって、前記訓練されたパターンを基準にした、前記実行時レンジ画像に対する座標空間を備える実行時ポーズを確定するステップを有し、前記実行時ポーズは幾何学的アライメントプロセスによって生成され、
    当該方法は、さらに、ビジョンシステムプロセッサによって、画像に対する座標空間上にレンジテストポイントをマッピングするステップを有し、
    当該方法は、さらに、ビジョンシステムプロセッサによって、それぞれマッピングされたレンジテストポイントにおけるレンジマッチを決定するステップを有し、
    当該方法は、さらに、レンジマッチに基づいて、前記実行時画像の少なくとも一部でレンジマッチスコアを判定するステップを有する、
    上記方法。
12. ポーズを確定するステップは、（ａ）ビジョンシステム内のアライメントツールを使用して実行時レンジ画像を訓練されたレンジ画像パターンに自動的にアライメントすることと、（ｂ）ユーザ入力からポーズを示す情報を取得することの少なくとも１つを含む、請求項１１に記載の方法。
13. 更に、実行時レンジ画像に適用されるマスクを含んでおり、このマスクは実行時レンジ画像のどのエリアがレンジマッチについて評価されるかを示す、請求項１１に記載の方法。
14. レンジテストポイントは勾配度閾値に基づく低勾配の領域にあり、この勾配度閾値は（ａ）ユーザ入力パラメータと、（ｂ）システム生成パラメータの少なくとも１つによって確定される、請求項１１に記載の方法。
15. 更に、訓練されたレンジ画像パターンと、幾何学的アライメントプロセスで使用するための実行時レンジ画像の少なくとも１つに基づいて強度画像を生成することを含む、請求項１１に記載の方法。
16. カメラアセンブリと、前記カメラアセンブリと作動的に結合されたビジョンシステムプロセッサと、
    訓練画像データを受け取り、低勾配度の領域を特定し、カラー、グレースケール強度及びレンジの少なくとも１つに基づく画像データに関して領域内でテストポイントを最大テストポイントカウントまで適用する訓練モジュールと、
    を有する、
    ビジョンシステムでパターンを訓練するためのシステム。
17. ビジョンシステムプロセッサは実行時アライメントモジュールを有し、前記モジュールは、
    （ａ）シーンの実行時画像データを取得するよう構成され、かつ、
    （ｂ）実行時ポーズを確定するよう構成され、前記ポーズは訓練されたパターンを基準にした実行時画像データに対する座標空間を有し、実行時ポーズは幾何学的アライメントプロセスによって生成され、
    （ｃ）実行時画像データに対する座標空間上のカラーテストポイントとを含む、請求項１６に記載のシステム。
18. ビジョンシステムプロセッサはマッチングプロセスを有し、前記マッチングプロセスは、
    （ａ）カラー、グレースケール強度及び訓練されたパターンと実行時画像データとのレンジマッチの少なくとも１つを判定し、
    （ｂ）実行時画像データの少なくとも一部においてマッチスコアを判定する、
    ように構成されてなる、請求項１７に記載のシステム。
19. 更に、訓練されたレンジ画像パターンと、幾何学的アライメントプロセスで使用するための実行時画像データの少なくとも１つに基づく強度画像を含む、請求項１８に記載のシステム。
20. ポーズは、
    （ａ）実行時画像を訓練されたパターンに自動的にアライメントするビジョンシステム内のアライメントツールと、
    （ｂ）ユーザ入力からのポーズを示す情報の少なくとも１つに基づいて確定される、請求項１８に記載のシステム。
21. 更に、実行時画像に適用されるマスクを含んでおり、このマスクは実行時画像のどのエリアがマッチングについて評価されるかを示す、請求項１８に記載のシステム。

Images