JP7390730B2 - 検査結論を決定するための取り込まれた画像の解析 - Google Patents

Description

本明細書で説明する実施形態は、一般に、検査結論を決定するために画像を解析することに関する。より詳細には、排他的ではないが、実施形態は、検査結論を決定するために解析を実行するために、画像フレーム中の対象測定領域を特定することに関する。

モバイルフォンなどのモバイルデバイスは、ユーザにとって好都合である方法で良質の画像を取り込み、処理するために使用され得るカメラを有する。しかしながら、所与の物体の取り込まれた画像は、たとえば、撮影者の技術、照明条件、ズームレベル、およびカメラアングルに応じてかなり変動することがある。画像処理技法は、異なる精度まで画像中の特定の物体を特定するために使用され得る。

画像中のエッジピクセルを特定するため、および(たとえば、輝度勾配に基づいて)同様の向きを有する隣接するエッジピクセルを接続して、線を形成するために、画像物体が、エッジ検出アルゴリズムを使用して特定され得る。形状を検出するために、検出された線の異なる部分集合が順次検査されて、長方形などの所与の形状が画像中に存在するかどうかが決定され得る。このプロセスは、計算効率の悪いものであり得る。デジタル画像のアルゴリズム的解析は、明度および色の微妙な変動の検出において、および定性的ではなく定量的な結果を提供することによって、人間の目よりも信頼性が高くなり得る。1つまたは複数のアルゴリズムが、人間にかかる検査結論解釈の負担を低減するために、所与の検査のための検査結論ルールを符号化するために使用され得る。画像処理が精度の向上をもたらすことができる検査の例には、限定はしないが、時間間隔にわたる検査構造の定義されたエリアにおける色変化の推移に基づく、化学的、生化学的、および微生物学的分析が含まれる。他の例には、皮膚がんまたはビリルビン値の上昇に関連付けられ得る、人間の皮膚における色変動を検査することが含まれる。

本発明の実施形態について、添付の図面を参照しながら以下でさらに説明する。

検査構造の周囲の画像フレーム中の形状テンプレートとともに、画像フレームを概略的に示す図である。 検査構造の検査結論値を決定するために、プログラムアプリケーションを実行する、モバイルデバイスを概略的に示す図である。 検査構造から検査結論値を決定するためのシステムを概略的に示すフローチャートである。 エッジ検出および距離変換を含む、画像フレーム中のエッジを検出するための方法を概略的に示すフローチャートである。 画像座標への形状テンプレート座標のマッピングを概略的に示す図である。 形状テンプレート上の形状点と、検査構造の検出された外形上のエッジ点との間の変位の測定を概略的に示す図である。 形状テンプレート上の各点における法線ベクトルとともに、形状テンプレートを概略的に示す図である。 形状テンプレートが、誤った向きにある検査構造の画像にアルゴリズム的に適合するときの一例を、概略的に示す図である。 検査構造画像物体への形状テンプレートの「不良な適合」、ならびに正常値(inlier)および外れ値の分布の一例を概略的に示す図である。 図8の例に対する、検査構造物体への形状テンプレートの「良好な適合」、ならびに対応する正常値および外れ値の分布の一例を概略的に示す図である。 形状テンプレートが、取り込まれた画像フレーム中で間違って特定されたエッジ点に適合するときの一例を、概略的に示す図である。 検査構造のエッジが、検査構造の画像取込み中の照明条件のために検出されないことがあるときでも、形状テンプレートが検査構造への「良好な適合」を有するときの一例を概略的に示す図である。 取り込まれた画像中の検査構造のエッジが、画像が取り込まれたときに物理的な検査構造上に重ねられた妨害物のために隠されるときでも、形状テンプレートが検査構造への「良好な適合」を有するときの一例を概略的に示す図である。 検査構造から検査結論値を決定するために実行される反復方法を概略的に示すフローチャートである。 検査構造から検査結論値を決定するためのモバイルデバイスを概略的に示す図である。 検査構造の対象測定領域の例示的な解析を概略的に示す図である。

本技法は、モバイルデバイスを使用して、取り込まれた画像を解析することによって、検査構造から検査結論を決定するためのシステムに関する。検査構造は、たとえば、取られる測定値に応じて変化する視覚要素をもつ任意の検査測定デバイスであり得る。ユーザは、モバイルデバイスを使用して、検査構造の画像を取り込むことができ、本技法は、画像を解析して、ユーザに検査結論値を提供することができる。検査構造は、リアルタイムで認識および追跡され得る。形状テンプレートが画像フレーム上で使用され得、ここで、形状テンプレートは、獲得された画像フレームから抽出され、処理され得る、1つまたは複数の対象測定領域を定義する。複数の対象測定領域を取り込み、処理することによって、改善された検査結論値が決定され得る。

図1aは、画像フレーム101を概略的に示し、検査構造103の周囲の画像フレーム101中の形状テンプレート102が、対象測定領域104に対応する検査結果表示エリア105を有する。

検査構造103は、ユーザが知ることまたは解析することを望み得る検査結論値を確立するために使用される、任意の物体であり得る。検査構造は、任意の形態の測定デバイスであり得、たとえば、検査構造は、化学的または生物学的分析物、化学的または生物学的物質の存在または濃度を検査するためのデバイス、目に見える変化をもたらす気圧、温度、または時間に敏感である材料、デバイスの一部または全部が物質の存在または不在下で色変化を受けるサンプリングデバイス、物質の存在または不在下の色変化を取得するために、その中またはその上に検査サンプルが置かれ得る任意の容器、あるいは関心領域と並行して、または関心領域の周囲に置かれた参照スケールであり得る。取り込まれた画像の時系列が、漸進的な色変化を検出するために使用され得る。検査構造103は、化学的または生物学的検査を実行するための構造に限定されない。いくつかの例では、検査構造は、化学的または生物学的検査を実行するための成型プラスチック構造であり得る。代替的に、検査構造は、たとえば、厚紙または紙型の検査基板など、非プラスチック材料から作られた筐体であり得る。またさらなる例では、検査構造は、皮膚の領域など、人間または動物の体の一部であり得る。さらなる代替例では、検査構造は、pHメーター、温度計、血糖測定器、ガスメーター、または電気メーターなどの測定値を表示するメーターなど、そこから示度が取られ得る、異なるカテゴリーのデバイスであり得る。図1aの例では、形状テンプレート102は、検査構造103の形状にほぼ対応するために長方形である。形状テンプレート102は、任意の形状であり得、任意の検査構造103の形状、または対象測定領域から検査結論値を決定するために有用な検査構造の少なくともいくつかの特徴に対応し得る。形状テンプレートは、検査構造に対応するサイズおよび形状の外形であり得る。形状テンプレートはまた、検査構造の対象測定領域があり得る形状テンプレート内の位置を示す情報を含み得る。代替的に、形状テンプレートは、検査構造上の対象測定領域の外形に対応する形状およびサイズであり得、したがって、検査構造のあらかじめ決定された部分に対応し得る。形状テンプレートは、検査構造の可視の外形に対応する2D点の集合体であり得る。2D点は、形状テンプレートへの座標フレームにおける点集合であり得る。形状テンプレートの座標フレームは、取り込まれた画像の座標フレームとは異なり得る。たとえば、形状テンプレート座標フレームおよび画像座標フレームのスケールおよび向きのうちの少なくとも1つにおいて差異があり得る。2D点はまた、エッジに垂直で、検査構造から離れて延びる方向など、その点における検査構造の外形上の少なくともいくつかの点の方向を記録し得る。そのような方向情報の一例が、図6に示されている。

いくつかの例では、形状テンプレート102は、画像の取込みより前に画像ビューア上に表示され得る。いくつかのそのような例では、画像フレーム101は、検査構造103が形状テンプレート102の外形の内側であるように取り込まれ得る。画像フレーム101が、検査構造103の検証された画像フレームであると決定される場合、形状テンプレート102が、検査結果表示エリア105に対応する対象測定領域104を特定するために使用され得る。検証された画像フレームは、そのための2つの異なるマッチング条件が画像フレームと形状テンプレートとの間で満足されたものであり、それについては、以下で図2を参照しながら詳細に説明する。次いで、検証された画像の対象測定領域104が、検査結論を決定するために解析され得る。たとえば、検査構造103は、医学的適用例を有する診断検査であり得、検査結果表示エリア105は、診断検査の結果に基づいて(妊娠検査の場合のように)いくつかの線、または(ブドウ糖またはケトンについての尿検査の場合のように)基準チャートに対してマッチングするための反応色を表示する、紙タイプの材料または他の検査基板であり得る。代替的に、検査構造は、ビリルビン値検査または皮膚がん検査を実行するために、人間の皮膚上に置くためのウィンドウに対応する、対象測定領域を提供し得る。妊娠検査結果を表す検査結果表示エリア105内の線がある画面を含む、図1aおよび図1bの例の対象測定領域104が、検査結論を決定するために解析され得る。

図1bは、検査構造112の検査結論値を決定するために、コンピュータプログラムアプリケーションを実行する、モバイルデバイス111などの画像取込み装置を概略的に示す。

モバイルデバイス111は、たとえば、モバイルフォン、ラップトップ、タブレット、スマートフォン、腕時計もしくは眼鏡などのウェアラブルデバイス、または任意の他の好適なポータブル電子デバイスであり得るが、画像取込み可能な任意の電子デバイスであり得る。

モバイルデバイス111は、一体型カメラが検査構造112の画像を含む画像フレーム101を獲得し得るように配置される。この画像フレーム101、または処理されたエッジなど、画像フレームの少なくとも一部が、図示のようにモバイルデバイス111のディスプレイユニット上に表示され得る。

モバイルデバイスのディスプレイユニットは、タッチスクリーン、LCD画面、または任意の好適なディスプレイユニットであり得る。いくつかの例では、ディスプレイは透過的であり得、検査構造は、ディスプレイを通して可視であり得る。

モバイルデバイス111はまた、形状テンプレート102を表すために、および画像を取り込むために、モバイルデバイス111を位置合わせするときにユーザを支援するために、画像フレーム101上にガイド113を表示し得る。代替例では、形状テンプレートガイドが画面上に表示されない。ユーザには、ディスプレイユニット上に現れていることがある画像フレーム101(図1a参照)が、検査構造112の検証された画像であることが通知され得る。検証された画像は、検証より前、または検証後、そこから検査結論値を決定するために好適な画像として、モバイルデバイス上のメモリ内に記憶され得る。取り込まれた画像が、検査結論値を決定するために解析され得る。

画像フレームは、画像が検査構造の検証された画像であると決定される前に取り込まれ、メモリ内に記憶され得、取り込まれた画像フレームは、続いて、検査構造の検証された画像ではないと判明した場合、破棄され得る。

検査結論値は、モバイルデバイス111のディスプレイユニット上に表示され得るか、または、電子メールもしくはテキストメッセージを介してなど、何らかの他の機構を介して、モバイルデバイスのユーザに供給され得る。検査結論値は、モバイルデバイスのユーザに供給されることに加えて、またはその代わりに、1つまたは複数のリモートデバイスに供給され得る。同じ検査構造の複数の画像フレームが、モバイルデバイス111によって、たとえば、連続する時系列において取り込まれ得、結果が、複数の画像フレームからの異なる検査結論値を結合することによって決定され得る。これによって、なお一層正確な検査結果が、統計的により高いレベルの信頼性とともに決定されることが可能になり得る。図2は、検査構造から検査結論値を決定するためのシステムを概略的に示すフローチャートである。

要素202において、検査構造の画像フレームが、モバイルデバイス111(図1b参照)のカメラ252を使用して取り込まれ得る。代替的に、画像フレームは、モバイルデバイスのメモリ、またはモバイルデバイスによってリモートでアクセスされ得る外部メモリ内に記憶された画像にアクセスすることによって獲得され得る。画像フレームは、たとえば、ユーザがモバイルデバイスのタッチスクリーン上の画像取込みボタン、または物理的なボタンをアクティブにすることによって、検査結論値が要求されるという指示に応答して取り込まれ得る。代替的に、本技法による検査結論決定アプリケーションは、アプリケーションがアクティブにされたとき、撮像視野における検査構造の検出に基づいて、検査構造の画像を自動的に取り込み得る。

この方法のN番目のサイクルにおいて取り込まれた画像は、画像_N256と呼ばれることがあり、ここで、Nは0でない整数である。検査構造の獲得された画像は、たとえば、周辺光のレベル、カメラアングル、検査構造からのカメラの距離に応じて、および画像取込みの時間におけるカメラと検査構造との間の相対運動に応じて変動し得る。検査構造の異なる獲得された画像の品質の変動性を補償するために、色補正またはカメラひずみ補正のうちの少なくとも1つなどの補正が、画像中の検査構造を特定するより前に実行され得る。オプティカルフロートラッカーアルゴリズムが、これらの補正のうちの1つまたは複数を実行するために使用され得る。取り込まれた、または獲得された画像フレームは、そこからプログラムアプリケーションを介して検査結論が決定されることになる検査構造254の画像を含み得る。検査構造254は、検査構造103に関して上記で説明した検査構造のうちのいずれかであり得る。

この方法は、そこから検査結論が決定されることになる対象検査構造の画像中の特定を可能にするために、適切な形状テンプレートを提供することによって、異なる既存の検査構造設計のために作用するように好都合に適応し得る。

形状テンプレートと画像_N256との間の適切なマッピングをより容易に決定するために、前に取り込まれた画像を利用して、形状テンプレートと画像フレームとの間のマッピングを実行するために、画像追跡が随意に使用されるか否かに応じて、画像_N256から、この例の方法が取り得る2つの代替ルートがある。第1のルートでは、形状テンプレートの追跡を実行するために前の画像が使用されず、プロセスは、画像_N256からエッジ検出要素204に、次いで距離測定要素206とその後に続く距離最小化プロセス要素210に順次進む。第1のルートでは、マッピング要素208および形状テンプレート要素266もまた、要素268において形状テンプレート変換を実行するために使用され、要素268は、要素204において取り込まれた画像フレーム中で検出されたエッジとの比較を形成するために、距離測定要素206への1つの入力として使用され得る。

図2からわかるように、マッピング_Nと示されたマッピング要素208は、いくつかの反復において更新され得る。最初に、マッピング_Nは、マッピング_N-1に設定され、ここで、マッピング_N-1は、前の画像である画像_N-1について決定されたマッピングの最終値である。論理的根拠は、画像_Nにおける検査構造254の位置が、画像_N-1における検査構造の位置と同様である可能性が高いことであり、したがって、マッピング_N-1は、マッピング_Nについて良好な初期近似を好都合に与えることができる。これによって、マッピングプロセスの効率が向上する。

画像_N256から開始する第2のルートは、随意の画像追跡要素218を伴い、随意の画像追跡要素218は、同じ検査構造の前に取り込まれた画像を受信し、要素220においてフレーム間マッピングを実行し、要素220は、要素208においてマッピング_Nを初期化するために使用され得る。そのため、プロセス要素220において、マッピング_Nがマッピング_N×フレーム間マッピングに初期化され、ここで、フレーム間マッピング220は、追跡218によって決定された画像_N-1から画像_Nへのマッピングである。第1のルートを取ると、要素204において、画像_N256が、画像フレーム中で1つまたは複数のエッジを発見するために処理される。エッジは、エッジ検出アルゴリズム、たとえば、「Canny」エッジ検出アルゴリズムを使用して決定され得る。しかし、任意のエッジ検出アルゴリズムが使用され得る。エッジ検出アルゴリズムは、画像_N256に対応する画像フレーム中の各ピクセルにおいて、垂直方向および水平方向のうちの少なくとも1つの輝度勾配を測定し得る。ピクセルの輝度勾配の大きさが、あらかじめ決定された値以上である場合、ピクセルは、取り込まれた画像フレームのエッジとして定義され得る。エッジの方向は、決定された輝度勾配の方向として定義され得る。エッジは、たとえば、画像フレーム中の検査構造の外形の一部、図1aの例における対象測定領域104などの検査構造上の任意の顕著な特徴、または検査構造上の登録マークのうちの少なくとも1つに対応し得る。

たとえば、Cannyエッジ検出を使用して、画像フレーム中でプロセス要素204においてエッジを決定するプロセスは、図3に示されるように、Cannyエッジフィルタ302を使用して実行され得る。次に図3のエッジ検出プロセスを検討すると、要素304において、この例ではカラーで取り込まれる(図示せず)画像フレームが、グレースケール画像データに変換され得る。要素306において、ガウス平滑化が実行され得、ガウスフィルタがグレースケール画像に適用され得る。これによって、画像から雑音のうちの少なくとも一部が除去され得る。要素308において、Sobelフィルタ、または任意の他の好適な機構が、平滑化されたグレースケール画像における強度勾配を発見するために使用され得る。項目310において、画像中のエッジが、誤って検出された可能性のあるエッジを除去し得る非最大抑制を適用することによって、さらに定義され得る。任意の同様の機構が、誤って検出されたエッジを除去するために使用され得る。次いで、これらの画像が、エッジ勾配マップの形式において、メモリまたはバッファ内に記憶され得る。要素312において、ヒステリシスを使用してエッジを追跡することによって、エッジの検出が終了され得る。ヒステリシスは、強いエッジに接続されていない潜在的なエッジを抑制し得る。これによって、要素314において、画像中のどこでエッジが検出されたかを定義する、処理された画像の最終的なバイナリエッジマップを得ることができる。

次いで、バイナリエッジマップが、距離変換316を使用してさらに処理され得る。距離変換316は、たとえば、Azreil RosenfeldおよびJohn L. Pfaltzによる2パス3×3カーネルパス実装形態に基づき得る。要素318において、距離変換は、入力マップを初期化し得る。入力マップは、「0」をエッジとして定義し、「MAX」を非エッジとして定義し得る。入力マップは、「0」がエッジ点であり、「1」がエッジ点ではない、バイナリタイプマップであり得る。例示的な入力マップが要素320において示される。これは要素322を通過させられ得、要素322において、第1のパスが実行され、マップの構成要素が左上から右下に変換され得る。これによって、要素324のマップを得ることができる。次いで、マップが、要素326において第2のパスを通過させられ、要素326において、マップの構成要素が右下から左上に変換され得る。この変換は、エッジに近づくと値が小さくなり、エッジから離れると値が大きくなる、値マップを出力し得る。値マップは距離マップ328であり得る。値マップは「街区距離マップ(city block distance map)」であり得る。街区距離マップでは、距離は、x軸に沿った距離+y軸に沿った距離として計算され得る。

図2のプロセス、および特に、追跡が実行されない第1のルートに戻ると、プロセス要素204におけるエッジ検出の後に続いて、距離測定要素206は、形状テンプレート266のモデルとプロセス要素208における初期マッピングであるマッピング_Nとの間のマッピングから、入力を受信する。要素208において、マッピングであるマッピング_Nが、形状テンプレート266と取り込まれた画像フレームである画像_N256との間で実行される。

図4は、このマッピングステップの一例を概略的に示す。マッピング_Nは、形状モデルの形状テンプレート座標402を、たとえば、取り込まれた画像フレーム上のピクセルロケーションに対応する画像座標406に変換することを含み得る。マッピングは、画像_N256上にマッピングするために、形状テンプレート266(図4に図示)のスケールの変化および回転のうちの少なくとも1つを備え得る。

形状テンプレート266は、あらかじめ決定され得、モバイルデバイス111上のメモリ内、またはモバイルデバイスによってリモートでアクセスされ得る外部メモリ内に記憶され得る。形状テンプレート266は、図示のように検査構造に対応するサイズおよび形状の外形であり得る。形状テンプレート266は、マッピングを決定するために、および検査結論を決定するための対象測定領域405を特定するために、最も重要な特徴に対応する、実際の検査構造の特徴の部分集合に対応し得る。たとえば、検査構造がほぼ長方形の形状である場合、形状テンプレートは長方形であり得る。形状テンプレート266は、検査構造の可視の外形に対応する2D点の集合体であり得る。2D点は、形状テンプレートへの特定の座標フレームにおける点の位置を記録し得る。2D点はまた、図6に示されるように、その点における検査構造の外形の方向を記録し得る。これらの2D点の少なくとも部分集合が、形状テンプレート座標402として定義され得る。

形状テンプレート266は、検査結果が表示されることになる検査構造上のウィンドウなど、検査構造上の対象測定領域405の位置を特定するための参照を提供し得る。対象測定領域405は、対象測定領域405の形状テンプレート座標404の集合として、形状テンプレートにおいて定義され得る。対象測定領域405は、化学反応からの検査線を表示するウィンドウに限定されず、代わりに、たとえば、ユーザが解析のためにほくろまたは皮膚損傷の上に置くためのフレームなど、解析のための領域をフレーム化するウィンドウであり得る。対象測定領域405は、英数字形式でデジタル検査結論を表示するように構成されたディスプレイ画面、測定値に基づいて色もしくは強度を変化させる検査構造のエリア、または測定値を表示する検査構造上のアナログスケールであり得る。

要素208におけるマッピング_Nは、形状テンプレート266が何らかの初期位置における画像フレーム256上に置かれることを伴い、形状テンプレート266は、画像フレーム256中で何らかの方法で、たとえば、ユーザが自然に画面の中心またはその近くで検査構造とともに画像を取り込み得ると仮定して、画像フレームの中心で、検査構造の外形に位置合わせされ得る。画像フレームへの形状テンプレートのマッピング_N208は、画像フレームマッピングにおいて、形状テンプレート上の座標402、404の少なくとも部分集合を対応する画像座標406、408(たとえば、ピクセル位置)に変換して、変換された形状テンプレート268(図2のプロセス要素)を与えることを含み得る。対象測定領域405の形状テンプレート座標404は、対象測定領域の画像座標408に変換され得る。この画像座標への変換は、ホモグラフィ410であり得る。ホモグラフィは、物体平面上の2D点を、物体平面を見ている投影カメラの画像平面の2D点上にマッピングする、行列(たとえば、3×3同次行列)であり得る。この例における物体平面は、形状テンプレートの平面と見なされ得る。

図2のプロセス要素208における初期マッピングは、画像フレームの中心に形状テンプレートを配置することによって実行され得る。形状テンプレートは、画像フレームの中心に自動的に配置され得る。代替または追加として、形状テンプレートを表すガイドが、画像フレームを獲得するとき、カメラを配置するときにユーザを支援するために、モバイルデバイスのディスプレイ画面上に表示され得る。表示された形状テンプレートガイドは、画像を取り込むための適切なズームレベル、および画像を取り込むためにディスプレイ画面上で検査構造を合わせて並べるための適切な位置を評価する際に、ユーザを支援し得る。

代替的に、形状テンプレートに対応するガイドが、取り込まれた画像上に表示され得、ユーザは、入力方法を使用してガイドを移動させることが可能であり得る。たとえば、タッチスクリーンを使用して、ユーザは、形状テンプレート表現に対応するガイドを、画像フレーム中の検査構造物体と合致するようにドラッグおよびドロップし得る。

さらなる代替では、画像フレームに対する形状テンプレートの位置は、それぞれの形状テンプレートまたは検査構造についてあらかじめ決定され得る。形状テンプレートの位置は、画像フレーム中の検査測定領域を特定するための前の試行に基づき得る。代替的に、形状テンプレートの位置は、ムービングピクチャーエキスパートグループ(MPEG)ビデオフレームにおける動きベクトルを使用する画像物体の追跡と同様に、ユーザまたは検査構造のうちの少なくとも1つの移動を考慮に入れて、前の画像フレームからの前の結論に基づいて決定され得る。このシナリオでは、この方法は、随意のプロセス要素218および220を通る代替(第2の)ルートを取り得る。

要素218において、追跡が画像_N256に対して実行され得る。この追跡は、少なくとも1つの前の画像である画像_N-1262、たとえば、同じ設定における同じ検査構造の取り込まれた画像の時系列において先行する画像を使用して実行され得る。前の画像から、1つまたは複数の前に検出されたマッピングに基づく次の位置の予測によって、現在の画像フレームである画像_N256中の検査構造の外形の位置を推定することが可能であり得る。

複数の画像が時系列において獲得された場合、「Lukas Kanade」アルゴリズムなどのオプティカルフロートラッカーアルゴリズムが、図2における分岐要素218、220、および208を進むプロセスの第2の分岐における追跡プロセスを介して、ホモグラフィを補正するために使用され得る。「Lukas Kanade」オプティカルフロートラッカーは、オプティカルフローが前のフレーム上で検出されたエッジ間で一定であるという仮定に依拠し得る。新しいフレーム中で検出されたエッジと、前のフレーム中で検出されたエッジとを使用して、連続する画像フレーム中の点の間のホモグラフィが計算され得、これによって、画像フレーム上の形状テンプレートの補正された位置を得ることができる。

エッジプロセス要素204を介して、要素208、266、および268のマッピングプロセスを組み込む第1のルートと、追跡要素218およびフレーム間マッピング要素220を介した第2のルートの両方で、プロセスは距離測定要素206に到着する。要素206において、距離測定プロセス要素206への入力は、取り込まれた画像フレーム中のエッジ検出204の結果と、変換された形状テンプレート要素268による出力としての画像フレームに対する形状テンプレートの変換を定義するマッピングとを備える。プロセス要素206において、距離測定は、マッピングされた形状テンプレート上の点の少なくとも部分集合と、画像フレーム中の検出されたエッジの少なくとも0でない部分集合との間の距離を決定するために実行され得る。これらの距離は、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの「第1の変位」に対応し得る。

図5は、マッピングされた形状テンプレート上の点の部分集合のうちの少なくとも1つに対応する形状点502と、取り込まれた画像フレーム中の検査構造の検出されたエッジのうちの少なくとも1つに対応するエッジ点506との間の距離504の決定の一例を概略的に示す。この距離は、形状テンプレート上の所与の点のための、および所与のマッピングのための、第1の変位または第2の変位のうちの少なくとも1つの一例と見なされ得る。第1の変位は最小2乗適合に対応し得るのに対して、第2の変位は図5に示されている。

変位(第1の変位もしくは第2の変位のいずれか、または両方)を決定するための1つの手法は、エッジの向きにかかわらず、形状点502から最も近いエッジ点までの最短距離を測定することであり得る。この変位は、距離変換を取得するために、エッジとともに画像フレームを処理することによって、効率的に計算され得る。所与のマッピングの場合、変位は、形状テンプレート上の複数の異なる形状点502、および画像フレーム中の複数の検出されたエッジについて測定され得る。しかしながら、場合によっては、最短変位を使用することによって、形状テンプレート上の点が画像フレーム中の誤った点に関連付けられる結果となり得る。たとえば、図5に示されるように、形状点502とエッジ点との間の最短距離が測定された場合、形状点502と、画像中の検査構造エッジに対応しない、望ましくないエッジ点512との間の距離が測定され得る。点502と点512との間のこの距離は最短であり得るが、点512を含む3つの画像点のグループが、形状点502を含む形状テンプレートに属する3つの示された点によって定義されたエッジの向きのための良好なマッチではないことは明らかである。

所与の形状テンプレート点のための変位を決定するための代替手法は、形状テンプレートの形状点502から、図5における形状点ベクトル504によって示されるような形状テンプレートのエッジの方向に対して、接線方向または垂直である線に沿った最も近いエッジ点506までの距離を決定することであり得る。3つの形状テンプレート点のグループによって形成された形状のエッジの法線であり得る形状点ベクトル504は、図6に示されるように、形状テンプレートの一部として定義され得る。形状点ベクトル504の大きさは、この例では、第1の変位または第2の変位(あるいは所与の変換された形状テンプレート点のための両方の変位)に対応し得る。形状点ベクトル504が、エッジ点方向ベクトル508と同じ方向である場合、取り込まれた画像中のエッジ点506は、形状テンプレートの形状点502のための良好なマッチである可能性が高い。形状テンプレートの形状点と、取り込まれた画像フレーム中で検出された対応するエッジ点との間の第1の変位をこのように測定することは、任意の方向における最も近い点を決定するよりも複雑であるが、マッピングされた形状テンプレート上の点が画像フレーム中の正しいエッジ点に関連付けられる可能性をより高めることによって、全体的により効率的であり得る。第1の変位または第2の変位は、形状テンプレート上の複数の形状点502について、および物体エッジ510上の複数のエッジ点506について測定され得る。多数の点をマッチングプロセスに組み込むことによって、第1の変位に基づく所与のマッピングの精度が高くなり得る。

図2のフローチャートに戻ると、距離最小化プロセス要素210において、第1の変位の和、または第1の変位の何らかの他の数学的結合が、画像フレームに対する形状テンプレートの変換を定義する現在のマッピングについて最小化されるかどうかが判断され得る。最小化アルゴリズムなどの数学的アルゴリズムが、第1の変位に、または第1の変位の和もしくは他の数学的結合に適用されて、形状テンプレートの位置および/または向きが、取り込まれた画像フレーム中で検出されたエッジの位置および/または向きにどのくらい類似しているかが決定され得る。最小化アルゴリズムは、最小の最小2乗適合(minimum least-squares fit)アルゴリズム、たとえば、Levenberg-Marquardtアルゴリズムであり得る。プロセス要素210において、第1の変位の平均2乗が最小化されないと決定される場合、プロセスは、取り込まれた画像フレーム上で形状テンプレートのマッピングを変更するために、マッピング要素208が再度実行され得るように、マッピングのさらなる反復を実行する。各反復マッピングは、第1の変位の平均2乗が最小化されること、または代替マッチング条件を満たすことが判明するまで、マッピングを更新するために、前のマッピングに基づき得る。第1の変位の平均2乗は、マッピングの更新のさらなる反復を実行することによって、第1の変位の平均2乗をそれ以上低減することができないとき、最小化されることが判明し得る。

第1の変位の平均2乗が最小化されるか、またはさもなければマッチするとき、両方が同じ画面上で視覚的に表示される場合、マッピングされた形状テンプレートが、画像フレーム中のエッジとほぼ位置合わせされ得ることが期待される。

プロセス要素210における距離最小化の後、プロセスは要素212に進み、そこで、マッピングされた形状テンプレートが検査構造の画像と十分良好に位置合わせされるかどうかを決定するために、検査が実行され得る。所与のマッピングは、いくつかのエッジが形状テンプレートと検査構造との間で良好にマッチするために、第1のマッチング条件に基づいて良好な適合であると決定され得るが、マッチは偶然の一致である場合がある。たとえば、図7に示されるように、いくつかの画像エッジが、検査構造の最端部において形状テンプレート点と良好にマッチし、第1のマッチング条件が満足される結果となり得るが、このマッピングは、事実上逆さまであるため、全体的に誤ったものであり得る。同様に、最初のマッチにおける異常は、たとえば、取り込まれた画像中の検査構造の1つまたは複数のエッジが、別の物体によって不明瞭にされるか、または特定の照明条件によって隠されるために生じ得る。要素212において実行されるこのプロセスは、形状テンプレートが検査構造の画像に対して良好な適合であるか、または一致しているかどうかが決定され得る、「一致検査」と見なされ得る。形状テンプレートは、最終的な検査結論値が決定され得ることを保証するために、検査構造の画像に対して良好な適合を有することが必要とされ得る。

一致検査を実施するために、第2の変位が、マッピングされた形状テンプレート上の点の少なくとも部分集合と、画像フレームの特定されたエッジとの間で測定され得る。これらの第2の変位は、第1の変位と同じであり得るか、または代替的に、前に測定された第1の変位とは異なり得る。第1の変位は、形状テンプレート上の第1の点集合に対応し得、第2の変位の集合は、形状テンプレート上の第2の点集合に対応し得る。第1の点集合および第2の点集合は、少なくとも部分的に重複し得る。たとえば、第2の点集合は、第1の点集合の部分集合であり得、そのための近いマッチ(小さい変位)が他の点に対してより重要である形状テンプレートのエッジに関連付けられた第1の点集合の部分集合を備え得る。同様に、第1の変位の集合と第2の変位の集合との間に、部分的または完全な重複があり得る。第2の変位は、マッピングされた形状テンプレート上の異なるまたは同じ点、および第1の変位とは異なるまたは同じエッジに対して測定され得る。第2の変位は、第1の変位を決定するために、図5に関して説明したような同様の方法を使用して、エッジの法線、または接線に沿って測定され得る。代替例では、第1の変位を決定することが、第2の変位を測定するために実行された技法とは異なり得るとき、形状テンプレート上の所与の点にマッチする、特定された画像エッジの点を特定するための技法は異なり得る。

有意値(または重み付け)が、形状テンプレート上の点のロケーションに応じて、形状テンプレートの点の各第2の変位に与えられ得る。たとえば、図6では、領域602は、その部分における検査構造の曲線形状が、マッピングが正しい向きであるという良好なインジケータであるので、より長い直線のエッジよりも高い有意性の領域であると見なされ得る。所与のマッピングについて、この領域において、形状テンプレート点と取り込まれた画像中で検出されたエッジとの間に良好な一致がなかった場合、形状テンプレートが誤った向きまたはロケーションに位置し得る可能性がより高くなり得る。

たとえば、図7では、形状テンプレート(領域702aおよび702bを含む、比較的細く短いダッシュの破線によって示される)は、検査構造の画像とは180°位置がずれている。この例では、エッジ検出アルゴリズムによって、取り込まれた画像中で検出されたエッジは、形状テンプレートのために使用されるダッシュよりも太く短いダッシュによって示され、これらは、領域706a、706b、ならびに704aおよび704bを含む。検査構造の、たとえば、領域704aおよび704bにおける端部のエッジは、形状テンプレートの点と正しく一致し、マッチした点の対の間の距離が短い。しかしながら、領域702aにおける形状テンプレートの直線のセクション上の点は、このロケーションにおける検査構造の706aにおける取り込まれた画像中の曲線状の検出されたエッジとは、明らかに一致しない。同様に、エリア706bにおいてエッジ検出アルゴリズムによって取り込まれた点は、直線のエッジに対応するのに対して、それらの検出されたエッジに最も近い形状テンプレート点702bは、曲線状のセクションに対応する。領域706aにおいて、取り込まれた画像中のエッジは曲線状であるのに対して、示されたマッピングのための形状テンプレートは、702aにおいて直線である。逆に702bにおいて、形状テンプレートは曲線状のエッジを有するのに対して、検出された画像エッジ706bは、直線のエッジに対応するごくわずかのまばらな点を有する。形状テンプレート(または、検査構造の画像上)のこれらの曲線状のエッジにおいて測定された第2の変位は、形状テンプレートが良好な適合であるか否かを検討するとき、より高い有意値を与えられ得る。図7のこの例は、取り込まれた画像の領域706aにおいて検出されるような曲線状のエッジを有意であるとして説明しているが、本技法は、この点においていかなる形でも限定されない。

異なる有意値が、検査構造の画像上の任意の関心領域、またはその特定の検査構造の特性のある任意の領域中の、様々な形状テンプレート点における第2の変位に与えられ得る。これは、たとえば、検査構造の一方の側が伸びていること、形状テンプレート上の入口、検査対象測定領域自体、または検査構造の任意の他の特性であり得る。有意値は、形状テンプレートに関する、リポジトリ内に記憶された情報に基づいて、あらかじめ決定され得る。

例示的な一実施形態では、3つの異なる手法のうちの少なくとも1つが、第2の変位を使用して、所与のマッピングについて、変換された形状テンプレートと画像フレーム中の物体との間に「良好な適合」があるかどうかを決定するために使用され得るが、本技法は、これらの3つの例示的な手法に限定されない。これらの3つの異なる手法は、第2のマッチング条件の3つの異なる例と見なされ得る。

第2のマッチング条件:手法1
第2のマッチング条件は、変位の和が最小であるという異なる条件ではなく、たとえば、最小2乗アルゴリズムなどの最小化アルゴリズムを使用して決定された、第2の変位の平均2乗がしきい値を下回ることであり得る。第2の変位の平均2乗は、測定された変位のすべてを含み得る。代替的に、変位の平均2乗は、それらの対応する有意値に基づく、測定された第2の変位の部分集合を含み得る。代替または追加として、第2の変位の平均2乗は、測定された第2の変位の少なくとも部分集合の重み付けに基づく第2の変位の平均2乗を含み得、ここで、第2の変位の重み付けは、それぞれの第2の変位の決定された有意値に基づく。

これらの方法のいずれかを使用する、第2の変位の平均2乗が、所与のしきい値を下回る場合、マッピングされた形状テンプレートが良好な適合を有すると見なされ得、第2のマッチング条件が満足されると見なされ得る。しきい値は、ユーザによって構成可能であり得る。第2のマッチング条件が満足されることが判明する場合、画像フレームの検出されたエッジと変換された形状テンプレートとの間のマッピングは、画像フレームに対する形状テンプレートの検証されたマッピングであると見なされ得る。検証されたマッピングは、取り込まれた画像および形状テンプレートにおける点の対の間の短い距離に関して、適切な位置合わせ、ならびに第1のマッチング条件を介した良好なマッチを有する可能性が高い。

第2のマッチング条件:手法2
第2のマッチング条件を決定する第2の手法が、図8に関して検討され得る。形状テンプレート806が、取り込まれた画像フレーム中の検査構造802の検出された外形の上に表示される。検査構造802の検出された外形は、ここでは実線として示されるが、これは、ほぼ検査構造802の外形によって提供された形状に対応する複数の個別の検出されたエッジ点に対応し得る。形状テンプレート806は、均一な複数の円を備えるものとして示され、ここで、複数の円は形状テンプレート点に対応し得るが、形状テンプレートは、均一に離間しないような点を含み得る。形状テンプレート806は、検査構造の形状にほぼ対応する任意の形状であり得る。破線804aおよび804bは、取り込まれた画像中の検査構造802の外形の周囲のしきい値帯を形成する。破線804aおよび804bは、検査構造802の外形上の点の各々からのあらかじめ決定されたしきい値変位において測定された点に対応する。形状テンプレート806上の点のための第2の変位が、検査構造外形802上の対応する点からのあらかじめ決定されたしきい値変位を下回る(またはそれ以下である)ように測定される場合、その点が「正常値」とラベル付けされ得る。

図8では、正常値が星として表される。正常値は、検査構造802の外形の周囲のしきい値帯内の2つのしきい値線804aと804bとの間にあり得る。形状テンプレート上の点のための第2の変位が、あらかじめ決定された変位しきい値を上回るように測定される場合、その点が「外れ値」とラベル付けされ得る。これらの「外れ値」は、検査構造の外形の周囲のしきい値帯の外側にあり得る。図8では、外れ値が円として表される。「正常値」とラベル付けされた形状テンプレート上の点の数が、あらかじめ決定された値を上回る場合、マッピングされた形状テンプレートが良好な適合を有すると見なされ得る。たとえば、形状テンプレートが検査構造の外形とあまりよく位置合わせされていない図8を検討されたい。ここでは、外れ値があるよりも少ない正常値があり、これは、形状テンプレートが検査構造の外形に十分よく一致せず、良好な適合がないと決定される結果となり得る。

対照的に、図9は、図8に示された適合に対して、良好な適合があり得る一例を明示する。実際には、「良好な適合」は、画像エッジと形状テンプレートとの間のマッチを伴うことになるが、説明しやすいように、図9は図8よりも比較的良好な適合を示す。図9の例では、星によって示された正常値の数が、外れ値の数よりも多くなり得る。これらの例では、正常値および外れ値の相対数が検討されたが、これが常にそうであるとは限らないことがある。いくつかのシナリオでは、正常値よりも多い外れ値があり得ることが可能であり得るが、正常値の数がなお、あらかじめ決定された値を上回り、したがって、依然として良好な適合であり得る。代替または追加として、点の有意値が考慮に入れられ得る。正常値の数を決定するとき、正常値および外れ値の相対数を伴うマッチング条件を決定するとき、正常値の有意性が考慮に入れられ得る。

しかし、図8および図9では、画像フレームへの所与のマッピングのための形状テンプレート上の点が、任意の方向における形状テンプレートのエッジからの最大しきい値距離内にあるか否かに基づいて、正常値または外れ値として定義された。代替的な類別では、正常値または外れ値状態が、形状テンプレート点に関連付けられた方向と、最も近い検出されたエッジに関連付けられた方向との間の位置合わせに依存し得る。たとえば、図5の例では、形状点502に極めて近接している物体エッジ510が不在である場合、望ましくない点512が、そのための変位が定義される点であり得る。点502と点512との間の距離の大きさが小さく、潜在的に形状点502を正常値として見なすことになるしきい値を下回り得るが、検出された物体エッジの法線514に対する形状テンプレートエッジの法線ベクトル504の位置合わせ不良が、形状点502が外れ値として類別されることを引き起こし得る。

したがって、正常値または外れ値状態は、形状テンプレート点と最も近いエッジ点との間の変位が最大値未満であること、ならびに以下の2つのベクトル、すなわち、(i)形状テンプレート点に近接している形状テンプレートエッジの法線、および(ii)検出された最も近いエッジの法線の位置合わせが十分に近いことのうちの少なくとも1つに依存し得る。たとえば、ベクトル504およびベクトル514は、形状点502が画像点512にマッピングされるとき、正常値として類別されるためには過度にそれているので、形状点502は、いくつかの例では、外れ値として類別されるようになる。

第2のマッチング条件:手法3
第3の手法によれば、形状テンプレート上のいくつかの点が「正常値」とラベル付けされる、第2の手法における同じ方法が実行される。ただし、この場合、分類器アルゴリズムが、正常値の分布パターンに基づいて、良好な適合があるかどうかを決定するために使用され得る。分類器は、少なくとも1つの決定木を備える「フォレスト分類器」であり得る。決定木は、ある一連のクエリが与えられると、結論を提供し得る、木の形式をとる決定グラフであり得る。

分類器は、機械学習アルゴリズムであり得る。分類器は、機械学習ライブラリに基づき得る、少なくとも1つの決定木を備え得る。機械学習ライブラリは、プログラミング言語Python、または任意の好適なコンピュータプログラミング言語のためのものであり得る。分類器は、検査構造の画像に対する、画像フレーム上の形状テンプレートの配置の様々な異なる出力可能性に対応する、統計的に有意な数の画像データセットを使用して構築されていることがある。機械学習を使用して、分類器は、前のデータセットから、「正常値」のどのような分布がマッピングされた形状テンプレートの良好な適合に対応するかを決定することが可能であり得る。決定木は「正常値」の分布をクエリし得る。分類器は、暗黙的に、異なるレベルの有意性を各変位に起因するものとし得る。

分類器の出力は、分類器への入力が任意の特定のクラスに属する確率の推定値を含み得る。フォレスト分類器における少なくとも1つの決定木の結論確率からのすべての平均確率が、形状テンプレートが良好な適合であるか否かを決定するために使用され得る。結論確率に基づいて、分類器は、マッピングされた形状テンプレートが良好な適合であるか、近い適合であるか、またはまったく適合しないかを判断し得る。

上記の3つの第2のマッチング条件手法のうちのいずれも満足されず、マッピングされた形状テンプレートの良好な適合が発見されない場合、方法は、図2のフローチャートの要素202に戻ることができ、その後、さらなる画像が取り込まれ得、この時点までの方法全体が繰り返され得る。3つの第2のマッチング条件手法のうちのただ1つが、任意の所与の実施形態において適用される必要があるが、2つまたは3つの手法が、所与の実施形態において使用され得る。

上記の3つの例のうちのいずれかにおいて、第2のマッチング条件が満足されることが実際に判明する場合、プロセス要素212において良好な適合が決定され、所与のマッピングが、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づく、第2のマッチング条件を満足することが検証され得る。次いで、所与のマッピングが、取り込まれた検査構造と形状テンプレートとの間の検証されたマッピングと見なされ得、検証された画像が、検証されたマッピングに対応して特定される。要素212における良好な適合の場合には、プロセスは、対象測定領域が解析される要素214に進み得る。

プロセス要素214において、対象測定領域が解析される。画像フレーム中の対象測定領域が、検査構造上の対象測定領域に対応して特定され得る。形状テンプレートは、検査構造上の対象測定領域を特定するための参照を提供する。解析結果_N258を決定するために、良好な適合の形状テンプレートとともに、画像フレームの特定された対象測定領域が解析され得る。対象測定領域解析は、対象測定領域中の1つもしくは複数のピクセルの色もしくは色相を測定すること、対象測定領域中の1つもしくは複数のピクセルの明度を測定すること、対象測定領域中のパターンもしくは線のうちの少なくとも1つの存在を決定すること、または対象測定領域を、メモリ内に記憶され得る参照画像と比較することのうちの少なくとも1つを実行し得る。

対象測定領域は、色を補正すること、または領域の色をグレースケールに変化させることによって解析され得る。対象測定領域内のピクセルは平均され得、たとえば、線プロファイルをもたらすために、長方形の領域中の列が合計され得る。図15は、検査構造の対象測定領域の例示的な解析を概略的に示す。対象測定領域は、y軸上の強度、およびx軸に沿った位置(距離)のスケールとともに示されている。この例は、制御領域に対応する第1のピーク位置1510と、検査測定領域に対応する第2のピーク位置1520とを有する。第1のピーク領域1510および第2のピーク領域1520は、ベースライン領域1530によって分離されている。ベースライン1540は、検出された線プロファイルに適合され、ピークが期待されないことがある線プロファイルのエリアに内挿または外挿され得る。ピーク1510、1520のサイズが測定され得、ここで、ピークのサイズは、ベースライン1540とその点における線プロファイル1510または1520との間の高さまたは面積のうちの少なくとも1つに対応し得る。ピークのサイズは、既知の基準信号と比較され得る。次いで、結果値が、基準しきい値を上回るもしくは下回るのうちの1つになるように、または較正曲線を使用して計算されるように、ピークのサイズを比較することによって決定され得る。いくつかの例では、多項式ベースラインフィッティング解析(polynomial baseline fitting analysis)が、検査測定領域を解析するために使用され得る。これは、制御ピーク1510および検査ピーク1520におけるベースライン1540から極小までの距離を計算することを伴い得る。高さの値または高さの間の比が、検査の解釈を提供するために使用され得る。たとえば、第2の(検査)ピーク1520の高さと第1の(制御)ピーク1510の高さとの間の比が、検査測定値として使用され得る。

ユーザに、解析結果_N258が決定されたことが通知され得、ユーザに解析結果_N258が通知され得る。ユーザには、任意の好適な手段によって、たとえば、モバイルデバイスのディスプレイユニット上のフィードバック、モバイルデバイスからの触覚フィードバック、またはモバイルデバイスからの音のうちの少なくとも1つによって通知され得る。解析結果_N258の確実性、または解析結果_N258における信頼性のレベルもまた決定され得、ユーザは、モバイルデバイス111または他の画像取込み装置のディスプレイユニット上で、この不確実性または信頼性レベルを提供され得る。示された確実性のレベルに応じて、ユーザは、決定された解析結果_N258における信頼性のレベルを向上させるために、1つまたは複数のさらなる画像フレームを獲得し得る。要素216において、ユーザの入力、あらかじめ決定された条件のうちの少なくとも1つに基づいて、または解析結果_N258の値に基づいて、解析が完了するかどうかが決定され得る。解析が完了していない場合、さらなる画像が取り込まれ得、方法全体が繰り返され得る。解析が完了する場合、検査結論値260が決定され得る。ただ1つの画像が使用された場合、解析結果_N258は検査結論値260に対応し得、不確実性とともにユーザに報告され得る。少なくとも2つの解析された画像フレームのための解析結果が、検査結論値を提供するために結合され得る。異なる取り込まれた画像のための複数の解析結果の平均が、検査結論値260を決定するために決定され得る。検査結論値260は、検査結論値に関連付けられた不確実性とともに、ユーザに提示され得る。

図10、図11、および図12では、形状テンプレートが、図10におけるラベル1400に近いダッシュなど、短くより細いダッシュによって表され、画像フレーム中の検出されたエッジが、1400とラベル付けされたより細い破線の上に部分的に重なる2つの個別の太いダッシュのグループなど、より太く短いダッシュによって表される。多数の場所では、より太い破線(検出されたエッジ領域)およびより細い破線(形状テンプレート外形)がほぼ合致するが、形状テンプレートの外周のいくつかの部分では、検出されたエッジ領域中にギャップがある。

図10は、本技法によるアルゴリズムを実行する一例を概略的に示し、それについて第1のマッチング条件が満足され、それによって第1の変位の平均2乗が最小化される、例示的なマッピングを示す。この場合、形状テンプレート点が検出されたエッジ点に近いので、第1の変位の平均2乗が最小化されるが、見てわかるように、たとえば、取り込まれた画像中で検出された対応するエッジ1200に対する、検査物体ウィンドウ1150の周囲の領域1100中の形状テンプレートの楕円部分のエッジのわずかな位置合わせ不良によって、このマッチは正確なマッチではない。この例では、形状テンプレートおよび検査構造の検出された画像の位置合わせは、印刷された住所が検査構造1000の後ろの画像中に現れることによって損なわれる。取り込まれた画像中の検査構造1000のエッジ1300は、エッジ検出アルゴリズムによって正しく特定されていないが、代わりに、印刷されたテキストの一部、すなわち、「Edinburgh」という言葉が、形状テンプレートエッジとして特定されている。形状テンプレートは、誤って特定されたエッジに適合されており、そのため、マッピングが領域1400中で誤っている。この例は、形状テンプレートが、検査構造の実際の画像に対する良好な適合であるか否かを決定するために、第2のマッチング条件がいかに適切であり得るかを示している。図10の例は、「不良な適合」の一例を明示するために、上記で説明した第3の手法の機械学習分類器に提供され得る。

図7の例に戻ると、形状テンプレートは検査構造1000に適合されたが、形状テンプレートは反転されている。形状テンプレートと画像フレーム中で検出されたエッジとの間の第1の変位の平均2乗は最小化されたが、依然として良好な適合ではない。図7の例は、検査構造の各端部における良好に適合するエッジ704a、704bのために、第1のマッチング条件を満足する可能性が高いが、第2のマッチング条件のいずれかで失敗する可能性が高い。第1の変位の平均2乗は、図10における例よりも図7の例において大きいが、第2のマッチング条件のうちの1つは、誤ったマッピングの検証を防止すること、および第1のマッチング条件と第2のマッチング条件の両方に基づいて、改善された適合を発見するために、マッピングの更新をトリガすることによって、検査構造への形状テンプレートのより近い適合を提供し得る。図10の例と同様に、図7の例は、「不良な適合」の一例を明示するために、手法3の機械学習分類器に提供され得る。

図11は、不良な照明条件のために、領域1102中の背景から検査構造の境界を区別することが困難になったことによって、検査構造1000の取り込まれた画像のエッジのすべてがエッジ検出アルゴリズムによって特定されたとは限らないときの一例を概略的に示す。特に領域1102では、(形状テンプレート位置に対応する、より連続的なより細い破線とは対照的に)検出されたエッジに対応するより太いダッシュの欠如から、このエッジが良好に検出されなかったことが明らかである。形状テンプレート(より連続的である、より細い破線)が検査構造との良好な適合であるとしても、エッジの欠如のために、検出された点の割合に基づく単一の検査が、この例では失敗することがある。第1のマッチング条件を使用することによって、第2のマッチング条件が適用される前に、第1の変位の平均2乗が最小化されると決定され得る。この画像は、領域1102中の区別不可能な検査構造エッジの影響を無効にするために、「良好な適合」の一例として、機械学習分類器に提供され得る。

図12は、電気ケーブル1204が検査構造1000の上に置かれて、検査構造1000の一部分を覆ったとき、取り込まれた画像フレームに対する形状テンプレートの変換を定義するマッピングの一例を概略的に示す。ケーブル1204の位置は、領域1202aおよび1202b中のエッジの短いセクションを不明瞭にするようになっている。この妨害にもかかわらず、形状テンプレートは、図示のように検出され、形状テンプレートの変換にマッピングされたエッジに基づいて、形状テンプレート上の点の分布およびそれらが形成するパターンに基づく第2のマッチング条件検査に基づいて、検査構造1000との良好な適合を有することが判明した。この画像は、「良好な適合」を表示する画像として、機械学習分類器に提供され得る。

したがって、本技法によれば、第1のマッチング条件および第2のマッチング条件の組合せによって、形状テンプレートと取り込まれた画像中の検査構造との間の適切なマッピングを特定する際に、取り込まれた画像中の検査構造の変動する照明条件およびいくつかの妨害に対する頑強さが得られる。

図13は、検査構造から検査結論値を決定するために実行される反復方法を概略的に示す。図13のフローチャートは、図2のフローチャートよりも詳細ではないフローチャートであるが、同様のプロセスについて説明するものである。

図13の要素1302において、検査構造のための形状テンプレートが、検査結論を決定するための装置(たとえば、モバイルデバイス、または代替画像取込み装置)のメモリ中の形状テンプレートリポジトリからアクセスされ得る。代替的に、形状テンプレートは、モバイルデバイスにとってリモートでアクセス可能であり得る外部メモリからアクセスされ得る。形状テンプレートは、図2に関して説明したような検査構造に対応する。

図13の要素1304において、画像フレームが、モバイルデバイスによって、モバイルデバイスのカメラを使用して獲得され得る。代替的に、画像は、モバイルデバイス上のメモリ内に記憶されているか、またはリモートでアクセスされ得る、モバイルデバイスとは別個のメモリ内に記憶されている、画像フレームにアクセスすることによって獲得され得る。画像フレームは、たとえば、本技法による検査結論決定アルゴリズムの実行を介して、検査結論値が要求されるというユーザによる指示に応答して獲得され得る。

次に、図13の要素1306において、少なくとも1つのマッピングが決定され得る。マッピングは、獲得された画像フレーム上への形状テンプレートの変換を定義し得る(図4参照)。マッピングは、画像フレーム中の形状テンプレートの初期配置に基づき得る。マッピングは、形状テンプレート上の2D点の部分集合を、画像フレームと同じ座標フレームに変換することを含み得る。マッピングは、図2のマッピング要素208に関連付けられるものと同じ性質のいずれかを有し得る。少なくとも1つのマッピングを決定することは、前に決定されたマッピング、または少なくとも1つの前に獲得された画像フレームのうちの少なくとも1つに依存し得る。少なくとも1つのマッピングを決定することは、少なくとも1つの前に獲得された画像フレームおよび現在の画像フレームに基づく、オプティカルフロートラッカーの結果に依存し得る。少なくとも1つのマッピングは、検査構造のその物理的位置における異なる位置もしくは異なる向きのうちの少なくとも1つに合わせて調整され得るか、または、回転、スキュー、スケール、もしくはひずみのうちの少なくとも1つを補正するために、画像取込みの時間における検査構造に対する画像取込みデバイスの位置および/もしくは向きを調整するためのものであり得る。

図13の要素1308において、画像フレーム上の形状テンプレートの所与のマッピングが第1のマッチング条件を満たすかが決定される。第1のマッチング条件は、形状テンプレートの点、方向、およびエッジに対する、画像フレーム中で特定された1つまたは複数のエッジの第1の変位に基づき得る。この第1のマッチング条件は、図2および要素210に関して説明したような最小化アルゴリズムであり得る。画像フレーム中のエッジは、前のセクションで説明したような「Cannyエッジ検出」、または任意の他のエッジ検出アルゴリズムを使用して特定され得る。第1の変位は、マッピングされた形状テンプレート上の点集合の各点から、画像フレーム中の最も近い検出されたエッジまでの、最短距離として測定され得る。代替的に、第1の変位は、図5に示されるように、マッピングされた形状テンプレート上の点集合の各点から、検出されたエッジに垂直な方向に沿って最も近い検出されたエッジまで測定された、変位であり得る。測定された第1の変位は、最小の最小2乗適合アルゴリズム、たとえば、Levenberg-Marquardtアルゴリズムであり得る、最小化アルゴリズムにおいて使用され得る。第1のマッチング条件は、第1の変位の最小2乗適合を備え得る。この最小化アルゴリズムが満足されない、すなわち、第1のマッチング条件が満たされないと決定される場合、方法は、新しいマッピングを決定するために、要素1306に戻り得る。この新しいマッピングは、それについて満足するマッチが発見された1つまたは複数の前のマッピングに基づき得る。この最小化アルゴリズムが満足される、すなわち、第1のマッチング条件が満たされると決定される場合、方法は要素1310に進む。

図13の要素1310において、所与のマッピングが第2のマッチング条件を満たすこと、およびマッピングが、形状テンプレートと検査構造の取り込まれた画像との間で検証されたマッピングとして確立され得ることが決定される。これはまた、取り込まれた画像が、検査結論を決定するために、対象測定領域を正確に特定するために有用な画像である「検証された画像」であることを検証する。第2のマッチング条件は、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づき得る。第2の変位は、前に説明したように、特定されたエッジの法線に沿った、形状テンプレート上の点の少なくとも部分集合と、画像フレーム中の特定されたエッジとの間の距離を測定することによって測定され得る。代替または追加として、第2の変位は、形状テンプレートのエッジの法線に沿って測定され得る。第2のマッチング条件は、図2の要素212に関して前のセクションで説明した、良好な適合を決定するための上記で説明した3つの異なる例示的な手法のうちの少なくとも1つであると見なされ得る。これによって、第2のマッチング条件を満たす画像が、検査構造の画像への形状テンプレートのマッピングの良好な適合をもつ画像として検証されることが可能になり得る。

第2のマッチング条件は、異なる有意値を、第2の変位のうちの異なるものに起因するものとし得る。第2のマッチング条件は、有意値に応じて、第2の変位の少なくとも部分集合の正常値または外れ値状態を決定することを含み得る。有意値は、機械学習アルゴリズムによって決定され得る。第2のマッチング条件は、正常値状態をもつ第2の変位の数が正常値しきい値を上回り(または、少なくともそれに等しくなり)得ると決定することによって満足され得る。代替または追加として、第2のマッチング条件は、第2の変位の2乗の和を備え得る。第2のマッチング条件は、形状テンプレートの点の数のカウントが、あらかじめ決定された変位しきい値に適合する第2の変位を有し得る場合、満足されると見なされ得る。

図13の要素1312において、検査構造の検証された画像中の対象測定領域が特定され得る。対象測定領域は、検査構造上の対象測定領域に対応し得る。形状テンプレートは、画像上の測定領域の特定を助け得る、検査構造上の対象測定領域を特定するための参照を提供し得る。

図13の要素1314において、特定された対象測定領域が、解析結果を決定するために解析され得る。対象測定解析は、図2の要素214に関して前のセクションで説明した方法のいずれかを伴い得る。対象測定領域は、対象測定領域中の1つまたは複数のピクセルの色を測定すること、対象測定領域中の1つまたは複数のピクセルの明度を測定すること、対象測定領域中の任意のパターンまたは線の存在を決定すること、および対象測定領域を、1つまたは複数のあらかじめ決定された参照画像またはプロファイルと比較することのうちの少なくとも1つを実行することによって解析され得る。

図13の要素1316において、解析結果の値に基づいて、解析が完了するか否かが決定され得る。解析が完了するかどうかはまた、解析結果において計算された不確実性に基づいて決定され得る。解析が不完全であると決定される場合、方法は要素1304に戻り、新しい画像フレームが獲得される。次いで、方法は、解析が完了すると決定されるまで継続し得る。新しい画像の獲得、および新しいマッピングの決定は、前の解析結果に基づき得る。解析が完了すると判明する場合、検査結論値が決定され得る。この検査結論値は、方法1300のただ1回のラウンドが実行された場合、解析結果に対応し得る。方法の複数のラウンドが実行された場合、複数の解析結果があり得る。検査結論値は、複数の解析結果に基づき得る。ユーザに解析結果または検査結論値が通知され得る。ユーザには、前のセクションで説明したように、モバイルデバイスのディスプレイ画面、または任意の他の好適な機構を使用して通知され得る。

図14は、検査構造から検査結論値を決定するための方法を実行するためのモバイルデバイスのブロック図を概略的に示す。モバイルデバイスは、たとえば、モバイルフォン、ラップトップ、タブレット、スマートフォン、または任意の他の好適なポータブル電子デバイスであり得る。モバイルデバイス1400は、メモリ1412と、カメラ1416と、ディスプレイユニット1418と、処理回路1402とを備え得る。回路ユニット1404、1406、1408、および1410は、異なるプロセッサ上で各々実装され得るか、または回路のセットのうちの2つ以上が結合され得る。処理回路1402は、1つまたは複数のプロセッサを備え得る。メモリ1412は、任意の形態のコンピュータ可読記憶媒体であり得る。メモリ1412は、形状テンプレートリポジトリ1414を含み得る。形状テンプレートリポジトリ1414は、複数の検査構造に対応する複数の形状テンプレートを記憶し得る。形状テンプレートは、特定の形状テンプレートが容易にアクセスされることを可能にするために、検査構造に関連して記憶され得る。形状テンプレートは、検査構造上の対象測定領域の位置を特定するための参照を提供し得る。カメラ1416は、自動的にまたはユーザ入力に応答してのいずれかで画像フレームを獲得し得る、任意の画像取込みデバイスであり得る。カメラは、検査読取りが要求されるという指示に応答して、画像フレームを獲得し得る。カメラは、画像フレームが特定された後、時間的なシーケンスにおける少なくとも1つのさらなる画像フレームを獲得し得る。代替的に、モバイルデバイスはカメラ1416を含まないことがあり、前に取り込まれており、メモリ1412または外部メモリ内に記憶され得る、画像フレームが獲得され得る。

ディスプレイユニット1418は、モバイルデバイス1400上のディスプレイ画面、LCD画面、タッチスクリーン、または任意のディスプレイ画面であり得る。ディスプレイユニット1418は、画像フレームを獲得するためにモバイルデバイス1400を配置する際にユーザを支援するために、画面上に形状テンプレートを表すガイドを表示し得る。ガイドは、形状テンプレートと、または検査構造と同じ形状であり得る。ガイドは、ディスプレイユニット1418上で画像フレームをオーバーレイするように表示され得る。ディスプレイユニット1418は、良好な適合が発見されたこと、および所与のマッピングが第2のマッチング条件を満足することをユーザに通知するために、通知を表示し得る。ディスプレイユニット1418は、ユーザに検査結論値を通知し得る。ディスプレイユニット1418上の通知は、メッセージ、画像、点滅する領域、画面の一部分の色変化、またはユーザの関心を引くためのディスプレイへの任意の他の同様の変化であり得る。ユーザには、モバイルデバイス1400が視覚、音響、または触覚フィードバックのうちの少なくとも1つを提供することによって、画像が検査構造の検証された画像であることが通知され得る。モバイルデバイス1400は、モバイルデバイス1400のスピーカーから音声または音楽を発することによって、音響フィードバックを提供し得る。モバイルデバイスは、振動を発することによって、触覚フィードバックを提供し得る。

処理回路1402は、初期マッピング回路1404と、第1のマッチング条件回路1406と、第2のマッチング条件回路1408と、検査結論計算回路1410とをさらに含み得る。

初期マッピング回路1404は、少なくとも1つのマッピングを決定し得、各マッピングが、画像フレームに対する形状テンプレートの変換を定義する。初期マッピング回路は、形状テンプレートリポジトリ1414から、またはリモートでアクセスされ得る外部メモリから、形状テンプレートにアクセスし得る。マッピングは、前に説明した機構のいずれかを使用して決定され得る。初期マッピング回路1404は、前に獲得された画像フレームに基づいて、少なくとも1つのマッピングを決定し得る。

第1のマッチング条件回路1406は、第1のマッチング条件に基づいて、所与のマッピングを決定し得る。第1のマッチング条件は、画像フレーム中で特定された1つまたは複数のエッジの第1の変位に基づき得る。第1の変位は、前のセクションで説明したように測定され得る。第1のマッチング条件は、決定された第1の変位を使用する最小2乗適合アルゴリズムを備え得る。

第2のマッチング条件回路1408は、所与のマッピングが、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づく、第2の異なるマッチング条件を満足することを検証して、検査構造の検証された画像を確立するためのものであり得る。

検査結論計算回路1410は、(検証されたマッピングに対応する)検査構造の検証された画像中で、検査構造上の対象測定領域に対応する対象測定領域を特定し得、検査結論値を決定するために、一致する画像フレームの対象測定領域を解析し得る。

検査結論計算回路1410は、対象測定領域中の複数のピクセルのうちの少なくとも1つの色を測定すること、対象測定領域中の複数のピクセルのうちの少なくとも1つの明度を測定すること、測定された、対象測定領域中の複数のピクセルのうちの少なくとも1つの色または明度のうちの少なくとも1つに基づいて、対象測定領域中のパターンまたは線のうちの少なくとも1つの存在を決定すること、および対象測定領域を、メモリ1412内に記憶された1つまたは複数のあらかじめ決定された参照画像またはプロファイルと比較することのうちの少なくとも1つを実行し得る。

処理回路1402は、エッジ検出回路をさらに備え得る。エッジ検出回路は、画像フレーム中の複数のエッジを決定し得る。複数のエッジは、前のセクションで説明したようなエッジ検出アルゴリズムを使用して決定され得る。

本技法による手法は、検査結論を決定するために解析するために、形状テンプレートと、取り込まれた画像フレーム中の検査構造の画像の測定領域とを特定するための、ボトムアップではなくトップダウンの手法である。トップダウン手法は、獲得された画像フレームの対象測定領域を決定する際に、より計算効率が良く、より信頼性が高い。

本明細書で説明する実施形態によるトップダウン手法は、所与の検査構造に対応する形状テンプレートを使用し、この形状の存在を裏付けるために、画像フレーム中に証拠があるかどうかを決定する。

形状テンプレートの使用は、物体がある画像から次の画像へと実質的に移動しない複数の連続的な画像において、物体を特定するために特に効率的である。検査構造特定のための形状テンプレートベースの技法の実装形態である。たとえば、形状テンプレートは、照明条件および画像物体の部分の遮蔽のために、画像物体のエッジのすべてが画像中で可視であるとは限らないとき、画像にマッピングすることが困難であり得る。さらに、画像は、画像物体の一部ではないエッジを含み得る。しかしながら、形状テンプレートと画像との間のマッピングを特定するために、実施形態によって実装された第1のマッチング条件および第2のマッチング条件の使用によって、プロセスに関連付けられ得る困難が軽減される。

ボトムアップ手法に対する、本技法による検査構造の例の重要な違いには、以下が含まれる。

既知のエッジ検出が形状の明示的なモデルを有していないのに対して、テンプレートマッチングは、形状テンプレートの形態において、解析されるべき物体の明示的なモデルを有する。

既知のエッジ検出は、画像とともに開始し、次いでますます抽象化されたデータ(エッジ、次いで線)を形成する点で、ボトムアップである。次いで、抽象化されたデータ内の構造が探索される。

対照的に、本技法によるテンプレートマッチングはトップダウンである。本技法によるテンプレートマッチングは、モデル(形状テンプレート)とともに開始し、次いで、モデルのための証拠が画像データ中で探索される。

既知のエッジ検出は、特徴の組合せ中で反復する(すなわち、各反復が特徴の異なる組合せを検討する)。対照的に、テンプレートマッチングは、各反復が画像フレームに対する形状テンプレートの異なる位置および向き、すなわち、異なるマッピングを検討するように、形状テンプレートのパラメータ空間中で反復する。マッピングは、第1のマッチング条件および第2の異なるマッチング条件に従って評価され、検証する。

本技法による手法によって、カメラを使用して、検査構造が自動的に読み取られることが可能になり得る。ラテラルフローが、画像シーケンス中の検査構造を追跡するために使用され得る。このことは、人間の読取り者に勝る精度、結果の一貫性、および結果が自動的に記録されることを可能にするという利点を有し得る。本技法では、モバイルデバイス以外のいかなる他の装置についての要件もなくてよいので、自動的に検査結果を解析するコストを削減することができ、追加の装置が必要とされ得る既知の方法よりも、システムを使用しやすくすることができる。本技法は、これまでに知られているシステムの場合のように、装置がカメラに対して検査構造を固定するため、または照明が制御されるための要件がないという結果になり得る。本技法は、複数の画像フレームの使用を通して、検査構造がリアルタイムで追跡されることを可能にすることができ、検査結論値を決定するための解析は、自動追跡を含めて、画像フレームに基づき得る。

機能ユニットについて、回路として説明した場合、回路は、指定された処理機能を実行するためのプログラムコードによって構成された汎用プロセッサ回路であり得る。回路はまた、処理ハードウェアへの修正によっても構成され得る。指定された機能を実行するための回路の構成は、完全にハードウェアにおけるものであるか、完全にソフトウェアにおけるものであるか、またはハードウェア修正およびソフトウェア実行の組合せを使用し得る。プログラム命令は、処理機能を実行するために、汎用または専用プロセッサ回路の論理ゲートを構成するために使用され得る。

回路は、たとえば、カスタム超大規模集積、VLSI回路もしくはゲートアレイ、論理チップ、トランジスタなどのオフザシェルフ半導体、または他の個別構成要素を備えるハードウェア回路として実装され得る。回路はまた、フィールドプログラマブルゲートアレイ、FPGA、プログラマブルアレイ論理、プログラマブル論理デバイス、システムオンチップ、SoCなど、プログラマブルハードウェアデバイスにおいて実装され得る。

機械可読プログラム命令は、伝送媒体などの一時的媒体上で、または記憶媒体などの非一時的媒体上で提供され得る。そのような機械可読命令(コンピュータプログラムコード)は、高水準の手続き型またはオブジェクト指向プログラミング言語において実装され得る。ただし、プログラムは、必要な場合、アセンブリまたは機械言語において実装され得る。いずれの場合も、言語は、コンパイラ型またはインタープリタ型言語であり得、ハードウェア実装形態と組み合わせられ得る。プログラム命令は、単一のプロセッサ上で、または2つ以上のプロセッサ上で分散的に実行され得る。

本明細書では、「A/B」という形式、または「Aおよび/またはB」という形式の句は、(A)、(B)、または(AおよびB)を意味する。本明細書では、「A、B、およびCのうちの少なくとも1つ」という形式の句は、(A)、(B)、(C)、(AおよびB)、(AおよびC)、(BおよびC)、または(A、BおよびC)を意味する。

(実施例)
以下の実施例は、さらなる実施形態に関係する。

1.機械可読媒体上に記憶された機械可読命令であって、実行されると、処理回路に、
検査構造のための形状テンプレートにアクセスすることと、
検査結果読取りが要求されるというユーザによる指示に応答して、画像フレームを獲得することと、
マッピングを決定することであって、マッピングが、画像フレームに対する形状テンプレートの変換を定義する、決定することと、
マッピングが、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第1の変位に基づく、第1のマッチング条件を満足するかどうかを決定することと、
マッピングが第1のマッチング条件を満足するとき、マッピングが、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づく、第2の異なるマッチング条件も満足することを検証して、第2のマッチング条件が満足されるとき、検査構造の検証された画像を確立することと、
検査構造の検証された画像中で、対象測定領域を特定することと、
対象測定領域の解析によって、検査結論値を決定することと
を行わせるためのものである、機械可読命令。

2.マッピングが、形状テンプレート座標フレームにおける形状テンプレートの点を、検査構造の対応する点の推定位置を表す画像フレーム中の画像ピクセル座標に変換するための、ホモグラフィを含む、実施例1または本明細書で説明する任意の他の実施例に記載の機械可読命令。

3.マッピングの決定が、第2のマッチング条件に基づく画像検証に進む前に、マッピングが第1のマッチング条件を満足しないとき、第1のマッチング条件が満足されるまで、画像フレームのためのマッピングを反復的に更新することを含む、実施例1もしくは実施例2、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

4.マッピングの決定が、同じ検査構造のための少なくとも1つの前に決定されたマッピングに依存する、実施例1から3のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

5.マッピングの決定が、検査構造を含む、少なくとも1つの前に獲得された画像フレームのための検証されたマッピングに依存する、実施例1から4のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

6.マッピングの決定が、画像フレームのためのマッピングを決定するために、少なくとも1つの前に獲得された画像に基づく、オプティカルフロートラッカーを使用することを含む、実施例1から5のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

7.第2のマッチング条件が満足されないとき、画像フレームを置き換えるために、新しい画像フレームの取込みを反復的にトリガすること、ならびに、検証された画像が特定されるまで、各新しい画像フレームについて、マッピングの決定、第1のマッチング条件の満足の決定、および第2のマッチング条件の満足の検証の各々を繰り返すことを含む、実施例1から6のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

8.機械可読命令が、処理回路によって実行されると、
マッピングの決定の実行より前に、エッジ検出アルゴリズムを使用して、画像フレーム中で1つまたは複数のエッジを特定すること
を行うためのものである、実施例1から7のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

9.形状テンプレートが、検査構造および対象測定領域のエッジの少なくとも部分的な外形を表す2次元点の集合を含む、実施例1から8のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

10.第1のマッチング条件が、形状テンプレートと画像フレーム中で特定された1つまたは複数のエッジとの間の適合に対応する、第1の変位の2乗の和の最小値を特定することを含む、実施例1から9のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

11.第2のマッチング条件が、第2の変位の2乗の和をしきい値と比較することを含む、実施例1から10のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

12.第2のマッチング条件を決定するとき、第2のマッチング条件が、異なる有意値を、第2の変位のうちの異なるものに起因するものとする、実施例1から11のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

13.有意値が、機械学習アルゴリズムの結果を使用して割り当てられる、実施例12または本明細書で説明する任意の他の実施例に記載の機械可読命令。

14.第2のマッチング条件が、第2の変位の少なくとも部分集合の正常値状態を決定することであって、正常値状態の割当てが、第2の変位の大きさに依存する、決定することを含む、実施例1から13のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

15.第2のマッチング条件を満足することが、正常値状態を有する第2の変位の数のカウントを実行することを含む、実施例14または本明細書で説明する任意の他の実施例に記載の機械可読命令。

16.第2のマッチング条件を満足することが、正常値状態を有する第2の変位の数のカウントがしきい値よりも大きいと決定することを含む、実施例15または本明細書で説明する任意の他の実施例に記載の機械可読命令。

17.第2のマッチング条件が、分類器アルゴリズムの出力によって決定される、実施例1から16のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

18.第2の変位の少なくとも部分集合が、分類器アルゴリズムへの入力として使用される、実施例17または本明細書で説明する任意の他の実施例に記載の機械可読命令。

19.第2の変位の部分集合の少なくとも関数が、分類器アルゴリズムへの入力として使用される、実施例18または本明細書で説明する任意の他の実施例に記載の機械可読命令。

20.分類器アルゴリズムが、複数のトレーニング画像から決定された第2の変位の少なくとも部分集合を用いてトレーニングされ、トレーニング画像が、正常値としてラベル付けされた複数の点を有する、実施例17もしくは実施例18、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

21.第2のマッチング条件を満足することが、正常値状態を有する第2の変位の数のカウントを実行することであって、正常値状態が、第2の変位の大きさに依存する、実行することを含み、正常値状態を有する第2の変位の少なくとも部分集合が、分類器アルゴリズムへの入力として使用される、実施例17または本明細書で説明する任意の他の実施例に記載の機械可読命令。

22.分類器アルゴリズムが、複数のラベル付けされたトレーニング画像から決定された正常値状態の少なくとも部分集合を含む情報を使用してトレーニングされ、正常値状態が、第2の変位の大きさに依存する、実施例17または本明細書で説明する任意の他の実施例に記載の機械可読命令。

23.第2の変位が、形状テンプレートのエッジの法線、または画像フレーム中のエッジの法線のうちの少なくとも1つに基づいて、形状テンプレート上の点と、画像フレーム中で特定されたエッジの対応する点とをマッチングすること、および、マッチングされた点の間の距離を第2の変位値として測定することによって測定される、実施例1から22のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

24.統合された検査結果を提供するために、少なくとも2つの獲得された画像フレームのための2つ以上の検査結論値を統計的に結合することを、処理回路に行わせるための命令をさらに含む、実施例1から23のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

25.対象測定領域の解析が、処理回路によって実行されると、
対象測定領域中の1つまたは複数のピクセルの色を測定すること、
対象測定領域中の1つまたは複数のピクセルの明度を測定すること、
対象測定領域中の任意のパターンまたは線の存在を決定すること、および
対象測定領域を、1つまたは複数のあらかじめ決定された参照画像またはプロファイルと比較すること
のうちの少なくとも1つを実行するための機械可読命令を含む、実施例1から24のいずれか1つ、または本明細書で説明する任意の他の実施例に記載の機械可読命令。

26.検査構造に対応する形状テンプレートを記憶するためのメモリであって、形状テンプレートが、検査構造上の対象測定領域の位置を特定するための参照を提供するためのものである、メモリと、
検査結論値が要求されるという指示に応答して、画像フレームを獲得するためのカメラと、
マッピングを決定するためのマッピング回路であって、マッピングが、画像フレームに対する形状テンプレートの変換を定義する、マッピング回路と、
マッピングが、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第1の変位に基づく、第1のマッチング条件を満足するかどうかを決定するための、第1のマッチング条件回路と、
マッピングが第1のマッチング条件を満足するとき、マッピングが、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づく、第2の異なるマッチング条件も満足することを検証して、第2のマッチング条件が満足されるとき、検査構造の検証された画像を確立するための、第2のマッチング条件回路と、
検査構造の検証された画像中で、検査構造上の対象測定領域に対応する対象測定領域を特定するための、および検証された画像フレームの対象測定領域を解析して検査結論値を決定するための、検査結論計算回路と
を備えるモバイルデバイス。

27.マッピング回路が、第2のマッチング条件に基づく画像検証に進む前に、マッピングが第1のマッチング条件を満足しないとき、第1のマッチング条件が満足されるまで、画像フレームのためのマッピングを反復的に更新するように構成される、実施例26または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

28.マッピング回路が、同じ検査構造のための少なくとも1つの前に決定されたマッピングに応じて、マッピングを決定する、実施例26もしくは実施例27、または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

29.マッピング回路が、画像フレームのためのマッピングを予測するために、少なくとも1つの前に獲得された画像に基づく、オプティカルフロートラッカーを使用する、実施例26から28のいずれか1つ、または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

30.第2のマッチング条件が満足されないとき、画像フレームを置き換えるために、新しい画像フレームの取込みを反復的にトリガすること、ならびに、検証された画像が特定されるまで、各新しい画像フレームについて、マッピングの決定、第1のマッチング条件の満足の決定、および第2のマッチング条件の満足の検証の各々を繰り返すことを行うための処理回路を備える、実施例26から29のいずれか1つ、または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

31.第2のマッチング条件回路が、所与のマッピングが第2の異なるマッチング条件を満足することを検証するためのものであり、第2のマッチング条件が、第2の変位の少なくとも部分集合の正常値状態を決定することであって、正常値状態が、形状テンプレートの最大の変位の大きさ内であることに対応する、決定することを含む、実施例26から30のいずれか1つ、または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

32.第2のマッチング条件回路が、第2のマッチング条件が満足されるかどうかを決定するために、第2の変位の少なくとも部分集合の正常値状態を決定するための機械学習アルゴリズムを備える、実施例31または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

33.マッピング回路が、少なくとも1つの前に獲得された画像フレームに基づいて、画像フレームのマッピングを決定するためのものである、実施例26から32のいずれか1つ、または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

34.検査結論計算回路が、
対象測定領域中の複数のピクセルのうちの少なくとも1つの色を測定すること、
対象測定領域中の複数のピクセルのうちの少なくとも1つの明度を測定すること、
測定された、対象測定領域中の複数のピクセルのうちの少なくとも1つの色もしくは明度のうちの少なくとも1つに基づいて、対象測定領域中のパターンもしくは線のうちの少なくとも1つの存在を決定すること、または
対象測定領域を、メモリ内に記憶された、1つもしくは複数のあらかじめ決定された参照画像もしくはプロファイルと比較すること
のうちの少なくとも1つを行うためのものである、実施例26から33のいずれか1つ、または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

35.画像フレームを獲得するためにカメラデバイスを配置する際にユーザを支援するために、およびユーザに検査結論値を通知するために、ディスプレイ上に形状テンプレートを表す視覚的ガイドを表示するためのディスプレイユニット
をさらに備える、実施例26から34のいずれか1つ、または本明細書で説明する任意の他の実施例に記載のモバイルデバイス。

36.取り込まれた画像を解析することによって、検査結論値を決定するための方法であって、
検査構造のための形状テンプレートにアクセスするステップと、
検査結果読取りが要求されるという指示に応答して、画像フレームを獲得するステップと、
マッピングを決定するステップであって、マッピングが、画像フレームに対する形状テンプレートの変換を定義する、ステップと、
マッピングが、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第1の変位に基づく、第1のマッチング条件を満足するかどうかを決定するステップと、
マッピングが第1のマッチング条件を満足する場合、マッピングが、形状テンプレートに対する、画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づく、第2の異なるマッチング条件を満足するかどうかを検証して、第2のマッチング条件が満足されるとき、検査構造の検証された画像を確立するステップと、
検査構造の検証された画像中で、対象測定領域を特定するステップと、
対象測定領域の解析によって、検査結論値を決定するステップと
を含む方法。

37.第1の変位が、第1の形状テンプレート点の集合に対応し、第2の変位が、第2の形状テンプレート点の集合に対応する、実施例36または本明細書で説明する任意の他の実施例に記載の方法。

38.第1の形状テンプレート点の集合および第2の形状テンプレート点の集合が、同じ点集合である、実施例37または本明細書で説明する任意の他の実施例に記載の方法。

39.対象測定領域の解析が、化学的作用物質(chemical agent)または生物学的作用物質(biological agent)の存在または不在の検出を生じる、実施例1から25のいずれか1つに記載の機械可読命令、または実施例26から35のいずれか1つに記載のモバイルデバイス、または実施例36から38のいずれか1つに記載の方法。

101 画像フレーム
102，806 形状テンプレート
103，112，254，1000 検査構造
104，405 対象測定領域
105 検査結果表示エリア
111 モバイルデバイス
113 ガイド
204 エッジ検出要素、要素、プロセス要素、エッジプロセス要素、エッジ検出
206 距離測定要素、要素、距離測定プロセス要素、プロセス要素
208 マッピング要素、要素、プロセス要素、マッピング_N、分岐要素
210 距離最小化プロセス要素、プロセス要素、要素
218 随意の画像追跡要素、追跡、要素、分岐要素、追跡要素
220 要素、プロセス要素、フレーム間マッピング、分岐要素、フレーム間マッピング要素
252 カメラ
256 画像_N、画像フレーム
258 解析結果_N
260 検査結論値
262 画像_N-1
266 形状テンプレート要素、形状テンプレート、要素
268 要素、変換された形状テンプレート、変換された形状テンプレート要素
302 Cannyエッジフィルタ
316 距離変換
328 距離マップ
402，404 形状テンプレート座標、形状テンプレート上の座標
406 画像座標
408 画像座標、対象測定領域の画像座標
410 ホモグラフィ
502 形状点、点
504 距離、形状点ベクトル、法線ベクトル、ベクトル
506 エッジ点
508 エッジ点方向ベクトル
510 物体エッジ
512 望ましくないエッジ点、点、望ましくない点、画像点
514 法線、ベクトル
602，702a，706a 領域
702b 領域、形状テンプレート点
704a，704b 領域、良好に適合するエッジ
706b 領域、エリア、検出された画像エッジ
802 検査構造、検査構造外形
804a，804b 破線、しきい値線
1100，1102，1202a，1202b 領域
1150 検査物体ウィンドウ
1200 対応するエッジ
1204 電気ケーブル、ケーブル
1300 エッジ
1400 ラベル、領域、モバイルデバイス
1402 処理回路
1404 回路ユニット、初期マッピング回路
1406 回路ユニット、第1のマッチング条件回路
1408 回路ユニット、第2のマッチング条件回路
1410 回路ユニット、検査結論計算回路
1412 メモリ
1414 形状テンプレートリポジトリ
1416 カメラ
1418 ディスプレイユニット
1510 第1のピーク位置、第1のピーク領域、ピーク、線プロファイル、制御ピーク、第1の(制御)ピーク
1520 第2のピーク位置、第2のピーク領域、ピーク、線プロファイル、検査ピーク、第2の(検査)ピーク
1530 ベースライン領域
1540 ベースライン

Claims (38)

1. 機械可読媒体上に記憶された機械可読命令であって、実行されると、処理回路に、
   検査構造のための形状テンプレートにアクセスすることと、
   検査結果読取りが要求されるというユーザによる指示に応答して、画像フレームを獲得することと、
   マッピングを決定することであって、前記マッピングが、前記画像フレームに対する前記形状テンプレートの変換を定義する、決定することと、
   前記マッピングが、前記形状テンプレートに対する、前記画像フレーム中で特定された1つまたは複数のエッジの第1の変位に基づく、第1のマッチング条件を満足するかどうかを決定することと、
   前記マッピングが前記第1のマッチング条件を満足するとき、前記マッピングが、前記形状テンプレートに対する、前記画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づく、前記第1のマッチング条件とは異なる第2のマッチング条件も満足することを検証して、前記第2のマッチング条件が満足されるとき、前記検査構造の検証された画像を確立することであって、前記第2のマッチング条件が、分類器アルゴリズムの出力によって決定される、確立することと、
   前記検査構造の前記検証された画像中で、対象測定領域を特定することと、
   前記対象測定領域の解析によって、検査結論値を決定することと
   を行わせるためのものである、機械可読命令。
2. 前記マッピングが、形状テンプレート座標フレームにおける前記形状テンプレートの点を、前記検査構造の対応する点の推定位置を表す前記画像フレーム中の画像ピクセル座標に変換するための、ホモグラフィを含む、請求項1に記載の機械可読命令。
3. 前記マッピングの前記決定が、前記第2のマッチング条件に基づく前記画像検証に進む前に、前記マッピングが前記第1のマッチング条件を満足しないとき、前記第1のマッチング条件が満足されるまで、前記画像フレームのための前記マッピングを反復的に更新することを含む、請求項1または請求項2に記載の機械可読命令。
4. 前記マッピングの前記決定が、同じ検査構造のための少なくとも1つの前に決定されたマッピングに依存する、請求項1から3のいずれか一項に記載の機械可読命令。
5. 前記マッピングの前記決定が、前記検査構造を含む、少なくとも1つの前に獲得された画像フレームのための検証されたマッピングに依存する、請求項1から4のいずれか一項に記載の機械可読命令。
6. 前記マッピングの前記決定が、前記画像フレームのための前記マッピングを決定するために、前記少なくとも1つの前に獲得された画像に基づく、オプティカルフロートラッカーを使用することを含む、請求項1から5のいずれか一項に記載の機械可読命令。
7. 前記第2のマッチング条件が満足されないとき、前記画像フレームを置き換えるために、新しい画像フレームの取込みを反復的にトリガすること、ならびに、検証された画像が特定されるまで、各新しい画像フレームについて、前記マッピングの前記決定、前記第1のマッチング条件の満足の前記決定、および前記第2のマッチング条件の満足の前記検証の各々を繰り返すことを含む、請求項1から6のいずれか一項に記載の機械可読命令。
8. 前記機械可読命令が、処理回路によって実行されると、
   前記マッピングの前記決定の実行より前に、エッジ検出アルゴリズムを使用して、前記画像フレーム中で前記1つまたは複数のエッジを特定すること
   を行うためのものである、請求項1から7のいずれか一項に記載の機械可読命令。
9. 前記形状テンプレートが、前記検査構造および前記対象測定領域のエッジの少なくとも部分的な外形を表す2次元点の集合を含む、請求項1から8のいずれか一項に記載の機械可読命令。
10. 前記第1のマッチング条件が、前記形状テンプレートと前記画像フレーム中で特定された前記1つまたは複数のエッジとの間の適合に対応する、前記第1の変位の2乗の和の最小値を特定することを含む、請求項1から9のいずれか一項に記載の機械可読命令。
11. 前記第2のマッチング条件が、前記第2の変位の2乗の和をしきい値と比較することを含む、請求項1から10のいずれか一項に記載の機械可読命令。
12. 前記第2のマッチング条件を決定するとき、前記第2のマッチング条件が、異なる有意値を、前記第2の変位のうちの異なるものに起因するものとする、請求項1から11のいずれか一項に記載の機械可読命令。
13. 前記有意値が、機械学習アルゴリズムの結果を使用して割り当てられる、請求項12に記載の機械可読命令。
14. 前記第2のマッチング条件が、前記第2の変位の少なくとも部分集合の正常値状態を決定することであって、正常値状態の割当てが、前記第2の変位の大きさに依存する、決定することを含む、請求項1から13のいずれか一項に記載の機械可読命令。
15. 前記第2のマッチング条件を満足することが、前記正常値状態を有する前記第2の変位の数のカウントを実行することを含む、請求項14に記載の機械可読命令。
16. 前記第2のマッチング条件を満足することが、前記正常値状態を有する前記第2の変位の数の前記カウントがしきい値よりも大きいと決定することを含む、請求項15に記載の機械可読命令。
17. 前記第2の変位の少なくとも部分集合が、前記分類器アルゴリズムへの入力として使用される、請求項1から16のいずれか一項に記載の機械可読命令。
18. 前記第2の変位の部分集合の少なくとも関数が、前記分類器アルゴリズムへの前記入力として使用される、請求項17に記載の機械可読命令。
19. 前記分類器アルゴリズムが、複数のトレーニング画像から決定された前記第2の変位の少なくとも部分集合を用いてトレーニングされ、前記トレーニング画像が、正常値としてラベル付けされた複数の点を有する、請求項1から17のいずれか一項に記載の機械可読命令。
20. 前記第2のマッチング条件を満足することが、正常値状態を有する前記第2の変位の数のカウントを実行することであって、前記正常値状態が、前記第2の変位の大きさに依存する、実行することを含み、前記正常値状態を有する前記第2の変位の少なくとも部分集合が、前記分類器アルゴリズムへの入力として使用される、請求項1から16のいずれか一項に記載の機械可読命令。
21. 前記分類器アルゴリズムが、複数のラベル付けされたトレーニング画像から決定された正常値状態の少なくとも部分集合を含む情報を使用してトレーニングされ、前記正常値状態が、前記第2の変位の大きさに依存する、請求項1から16のいずれか一項に記載の機械可読命令。
22. 前記第2の変位が、前記形状テンプレートのエッジの法線、または前記画像フレーム中の前記エッジの法線のうちの少なくとも1つに基づいて、前記形状テンプレート上の点と、前記画像フレーム中で特定された前記エッジの対応する点とをマッチングすること、および、前記マッチングされた点の間の距離を第2の変位値として測定することによって測定される、請求項1から21のいずれか一項に記載の機械可読命令。
23. 統合された検査結果を提供するために、少なくとも2つの獲得された画像フレームのための2つ以上の検査結論値を統計的に結合することを、処理回路に行わせるための命令をさらに含む、請求項1から22のいずれか一項に記載の機械可読命令。
24. 前記対象測定領域の解析が、処理回路によって実行されると、
    前記対象測定領域中の1つまたは複数のピクセルの色を測定すること、
    前記対象測定領域中の1つまたは複数のピクセルの明度を測定すること、
    前記対象測定領域中の任意のパターンまたは線の存在を決定すること、および
    前記対象測定領域を、1つまたは複数のあらかじめ決定された参照画像またはプロファイルと比較すること
    のうちの少なくとも1つを実行するための機械可読命令を含む、請求項1から23のいずれか一項に記載の機械可読命令。
25. 検査構造に対応する形状テンプレートを記憶するためのメモリであって、前記形状テンプレートが、前記検査構造上の対象測定領域の位置を特定するための参照を提供するためのものである、メモリと、
    検査結論値が要求されるという指示に応答して、画像フレームを獲得するためのカメラと、
    マッピングを決定するためのマッピング回路であって、前記マッピングが、前記画像フレームに対する前記形状テンプレートの変換を定義する、マッピング回路と、
    前記マッピングが、前記形状テンプレートに対する、前記画像フレーム中で特定された1つまたは複数のエッジの第1の変位に基づく、第1のマッチング条件を満足するかどうかを決定するための、第1のマッチング条件回路と、
    前記マッピングが前記第1のマッチング条件を満足するとき、前記マッピングが、前記形状テンプレートに対する、前記画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づく、前記第1のマッチング条件とは異なる第2のマッチング条件も満足することを検証して、前記第2のマッチング条件が満足されるとき、検査構造の検証された画像を確立するための、第2のマッチング条件回路であって、前記第2のマッチング条件が、分類器アルゴリズムの出力によって決定される、第2のマッチング条件回路と、
    前記検査構造の前記検証された画像中で、前記検査構造上の前記対象測定領域に対応する対象測定領域を特定するための、および前記検証された画像フレームの前記対象測定領域を解析して検査結論値を決定するための、検査結論計算回路と
    を備えるモバイルデバイス。
26. 前記マッピング回路が、前記第2のマッチング条件に基づく前記画像検証に進む前に、前記マッピングが前記第1のマッチング条件を満足しないとき、前記第1のマッチング条件が満足されるまで、前記画像フレームのための前記マッピングを反復的に更新するように構成される、請求項25に記載のモバイルデバイス。
27. 前記マッピング回路が、同じ検査構造のための少なくとも1つの前に決定されたマッピングに応じて、前記マッピングを決定する、請求項25または請求項26に記載のモバイルデバイス。
28. 前記マッピング回路が、前記画像フレームのための前記マッピングを予測するために、前記少なくとも1つの前に獲得された画像に基づく、オプティカルフロートラッカーを使用する、請求項25から27のいずれか一項に記載のモバイルデバイス。
29. 前記第2のマッチング条件が満足されないとき、前記画像フレームを置き換えるために、新しい画像フレームの取込みを反復的にトリガすること、ならびに、検証された画像が特定されるまで、各新しい画像フレームについて、前記マッピングの前記決定、前記第1のマッチング条件の満足の前記決定、および前記第2のマッチング条件の満足の前記検証の各々を繰り返すことを行うための処理回路を備える、請求項25から28のいずれか一項に記載のモバイルデバイス。
30. 前記第2のマッチング条件回路が、所与のマッピングが前記第2のマッチング条件を満足することを検証するためのものであり、前記第2のマッチング条件が、前記第2の変位の少なくとも部分集合の正常値状態を決定することであって、前記正常値状態が、前記形状テンプレートの最大の変位の大きさ内であることに対応する、決定することを含む、請求項25から29のいずれか一項に記載のモバイルデバイス。
31. 前記第2のマッチング条件回路が、前記第2のマッチング条件が満足されるかどうかを決定するために、前記第2の変位の少なくとも部分集合の正常値状態を決定するための機械学習アルゴリズムを備える、請求項30に記載のモバイルデバイス。
32. 前記マッピング回路が、少なくとも1つの前に獲得された画像フレームに基づいて、前記画像フレームの前記マッピングを決定するためのものである、請求項25から31のいずれか一項に記載のモバイルデバイス。
33. 前記検査結論計算回路が、
    前記対象測定領域中の複数のピクセルのうちの少なくとも1つの色を測定すること、
    前記対象測定領域中の複数のピクセルのうちの少なくとも1つの明度を測定すること、
    測定された、前記対象測定領域中の前記複数のピクセルのうちの前記少なくとも1つの前記色もしくは前記明度のうちの少なくとも1つに基づいて、前記対象測定領域中のパターンもしくは線のうちの少なくとも1つの存在を決定すること、または
    前記対象測定領域を、前記メモリ内に記憶された、1つもしくは複数のあらかじめ決定された参照画像もしくはプロファイルと比較すること
    のうちの少なくとも1つを行うためのものである、請求項25から32のいずれか一項に記載のモバイルデバイス。
34. 画像フレームを獲得するためにカメラデバイスを配置する際にユーザを支援するために、および前記ユーザに前記検査結論値を通知するために、ディスプレイ上に前記形状テンプレートを表す視覚的ガイドを表示するためのディスプレイユニット
    をさらに備える、請求項25から33のいずれか一項に記載のモバイルデバイス。
35. 取り込まれた画像を解析することによって、検査結論値を決定するための方法であって、
    検査構造のための形状テンプレートにアクセスするステップと、
    検査結果読取りが要求されるという指示に応答して、画像フレームを獲得するステップと、
    マッピングを決定するステップであって、前記マッピングが、前記画像フレームに対する前記形状テンプレートの変換を定義する、ステップと、
    前記マッピングが、前記形状テンプレートに対する、前記画像フレーム中で特定された1つまたは複数のエッジの第1の変位に基づく、第1のマッチング条件を満足するかどうかを決定するステップと、
    前記マッピングが前記第1のマッチング条件を満足する場合、前記マッピングが、前記形状テンプレートに対する、前記画像フレーム中で特定された1つまたは複数のエッジの第2の変位に基づく、前記第1のマッチング条件とは異なる第2のマッチング条件を満足するかどうかを検証して、前記第2のマッチング条件が満足されるとき、検査構造の検証された画像を確立するステップであって、前記第2のマッチング条件が、分類器アルゴリズムの出力によって決定される、ステップと、
    前記検査構造の前記検証された画像中で、対象測定領域を特定するステップと、
    前記対象測定領域の解析によって、検査結論値を決定するステップと
    を含む方法。
36. 前記第1の変位が、第1の形状テンプレート点の集合に対応し、前記第2の変位が、第2の形状テンプレート点の集合に対応する、請求項35に記載の方法。
37. 前記第1の形状テンプレート点の集合および前記第2の形状テンプレート点の集合が、同じ点集合である、請求項36に記載の方法。
38. 前記対象測定領域の前記解析が、化学的作用物質または生物学的作用物質の存在または不在の検出を生じる、請求項1から24のいずれか一項に記載の機械可読命令、または請求項25から34のいずれか一項に記載のモバイルデバイス、または請求項35から37のいずれか一項に記載の方法。

Images