JP2021535369A - インテリジェントモニタリング構造を用いた画像ベースのアッセイ - Google Patents

インテリジェントモニタリング構造を用いた画像ベースのアッセイ Download PDF

Info

Publication number
JP2021535369A
JP2021535369A JP2021507893A JP2021507893A JP2021535369A JP 2021535369 A JP2021535369 A JP 2021535369A JP 2021507893 A JP2021507893 A JP 2021507893A JP 2021507893 A JP2021507893 A JP 2021507893A JP 2021535369 A JP2021535369 A JP 2021535369A
Authority
JP
Japan
Prior art keywords
sample
image
plate
processing device
sample card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021507893A
Other languages
English (en)
Inventor
スティーブン ワイ. チョウ
ウェイ ディン
ウー チョウ
ジュン ティアン
ユエチェン チャン
ミンカン ウー
シン リ
Original Assignee
エッセンリックス コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エッセンリックス コーポレーション filed Critical エッセンリックス コーポレーション
Publication of JP2021535369A publication Critical patent/JP2021535369A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/2813Producing thin layers of samples on a substrate, e.g. smearing, spinning-on
    • G01N2001/282Producing thin layers of samples on a substrate, e.g. smearing, spinning-on with mapping; Identification of areas; Spatial correlated pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、インテリジェントモニタリング構造及び機械学習などを用いて器具、動作などにおけるエラーを補正することに関する。【選択図】図1

Description

関連出願の相互参照
本出願は、米国特許仮出願第62/719,129号(2018年8月16日に出願)及び米国特許仮出願第62/764,886号(2018年8月16年に出願)の優先権の利益を主張する。これらの内容を基にしており、それらはその全体において参照により本明細書に組み込まれている。本明細書で述べる任意の刊行物または特許文献の全体の開示は、参照により全体的に組み込まれている。
分野
とりわけ、本発明は、生物学的及び化学的アッセイ、コンピューテーショナル画像化、人工知能、及び機械学習を行うデバイス及び方法に関する。
背景
生物学的及び化学的アッセイ(全血球計算を含む)において、精度は極めて重要である。しかし、器具の使用及び動作においてエラーは避けられない。特に、低コスト器具を用いるとき及びリソースが限られた状態においてそうである。本発明では、とりわけ、サンプルにおける画像ベースの生物学的/化学的アッセイングの精度を向上させるためのデバイス及び方法を提供する。
概要
以下の概要では、本発明のすべての特徴及び態様を含むことは意図していない。
本発明の一態様は、アッセイング精度、効率、エラー検出、モニタリング、またはそれらの任意の組み合わせに対して特別にデザインされたモニタリング構造を伴うサンプル保持デバイスを用いて画像化ベースのアッセイを改善する方法である。
本発明の別の態様は、画像化装置が取り込んだサンプルの単一画像に対して複数のアッセイングアプリケーションを実行することができるマイクロ選択的画像アッセイング(MSIA)の方法である。
本発明の別の態様は、アッセイング用サンプルの画像からモニタリング構造を検出してその中心の場所を特定する方法である。本方法では、複数のモニタリング構造に付随する所定の構造特性を用いてエラー補正に機械学習を組み合わせている。
本発明の別の態様は、画像ベースのアッセイングにおいて真の横寸法(TLD)を推定する方法である。ここから、サンプル画像内の検体の実際の寸法または形態的特徴を決定することができる。
本発明の別の態様は、サンプル画像内の関心面積に対する実際の面積及び付随するサンプル体積を決定する方法である。これにより、柔軟性及び細分性に対して任意の選択したサブ面積に対して画像ベースのアッセイングを行うことができる。
本発明の別の態様は、サンプル保持デバイス内のモニタリング構造の画像から画像ベースのアッセイングにおけるサンプル保持デバイスの品質及びサンプル調製の品質をモニタする方法である。
本発明の別の態様は、サンプル保持デバイス内の予めデザインされたモニタリング構造を用いて画像ベースのアッセイングにおける画像化装置の動作を調整する方法である。
本発明の別の態様は、画像化装置が取り込んだサンプル画像から画像ベースのアッセイングにおける欠陥または異物(たとえば、気泡、ホコリなど)を取り除く方法である。
本発明の別の態様は、インテリジェントモニタリング構造を用いた画像ベースのアッセイに対する機械学習モデルを構築する方法である。サンプルの原画像及び変換後のサンプル画像に基づく2つのアプローチについて説明する。
本発明の別の態様は、本明細書で説明する方法及びアルゴリズムを用いた、全血球計算(CBC)における赤血球に対する画像ベースのアッセイングの実際の使用事例である。
画像化ベースのアッセイを改善する装置を用いる方法であって、
(a)互いに面する第1のプレート及び第2のプレートと、一方または両方のプレートのサンプル接触面上の複数のモニタリング構造とを含むサンプルホルダを有することであって、モニタリング構造は、幾何学的及び/または光学的特性の少なくとも1つの予めデザインされた所定のパラメータを有し、サンプル接触面はサンプルと接触する、有することと、
(b)検体を含むかまたは含むと疑われるサンプルを2つのプレートの対応するサンプル接触面の間に挟んで200um厚以下の薄層を形成することであって、サンプル接触面上のサンプルを試薬と混合して反応させ、挟むこと、混合させること、または反応させることはエラーの影響を受けやすい、形成することと、
(c)画像化装置を用いて、サンプルとサンプル接触面積上のモニタリング構造とを同時に画像化することであって、画像化装置は画像化における欠陥の影響を受けやすく、画像化動作はエラーの影響を受けやすい、画像化することと、
(d)ステップ(c)で取り込んだ画像をアルゴリズムを用いて解析して、検体に関係するパラメータを検出することであって、解析には、画像を、少なくとも1つの予めデザインされた所定のパラメータと比較することと、少なくとも1つの予めデザインされた所定のパラメータを用いて欠陥及びエラーを検出及び/または補正することとが含まれる、検出することと、を含む方法。
当業者であれば分かるように、以下に説明する図面は単に例示を目的としている。図面は本教示の範囲を限定することは決して意図していない。図面は全体的に一定の割合というわけではない。実験データポイントを示す図において、データポイントを接続する線は単にデータの視認をガイドするためのものであり、他の意味はない。
画像化ベースのアッセイにおいて用いるデバイスの側面図である。Aは突起物型モニタリングマークを伴う固相表面を例示する図である。Bは溝型モニタリングマークを伴う固相表面を例示する図である。モニタリングマークに対応する特性(たとえば、ピッチ及び距離)をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。 図2Aは、画像化ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマーク(たとえば、突起物型)をどのようにスペーサとは別個の構造にすることができるかを例示する。モニタリングマークに対応する特性をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。図2Bは、画像化ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマークをどのようにスペーサと同じ構造にすることができるかを例示する。モニタリングマークに対応する特性をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。 図2Cは、画像ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマーク(たとえば、溝型)をどのようにスペーサとは別個の構造にすることができるかを例示する。モニタリングマークに対応する特性をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。 図2Dは、画像ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマークをどのようにスペーサとは別個の構造にして、デバイスのサンプル接触面積上に配置することができるかを例示する図である。モニタリングマークをどのようにスペーサとは別個の構造にして、デバイスのサンプル接触面積上に配置することができるかを例示する図である。図2Eは、画像ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマークをどのようにスペーサとは別個の構造にして、デバイスのサンプル接触面積上に配置することができるかを例示する図である。モニタリングマークに対応する特性をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。 モニタリングマーク(たとえば、ピラー)を画像化処理及び/または機械学習とともに用いるためのアルゴリズムの典型的な図及びワークフローである。 本発明のいくつかの実施形態による2つのステージ(トレーニング及び予測)からなる検体検出及び場所特定ワークフローを示す図である。 本発明のいくつかの実施形態により順序付きリストから1つの項目を取り除くプロセスを示す図である。 画像ベースのアッセイングにおいて用いるQMAXカードの実施形態を示す図である。 QMAXカードのサンプル保持デバイスを伴う画像ベースのアッセイのフロー図である。 画像ベースのアッセイにおけるピラーまたはモニタリングマークに基づくTLD/FoV推定のフロー図である。 ピラーまたはモニタリングマーク検出に対する機械学習モデルをトレーニングするフロー図である。 画像変換ベースの機械学習モデルに対するトレーニングデータベースを作成するフロー図である。 画像変換ベースのピラーまたはモニタリングマーク検出に対する画像変換モデルをトレーニングするフロー図である。 サンプル保持デバイス内のピラーを伴う画像ベースのアッセイに対するサンプル画像である。 ピラーまたはモニタリングマーク検出において用いる変換画像内の検出ピラーを示す図である。 アッセイング用サンプルにおける気泡及びホコリの欠陥を例示する図である。 画像化装置を用いる画像ベースのアッセイにおけるサンプル保持デバイス、ピラーまたはモニタリングマークを伴うQMAXカードの3つの側面図である。 大きな気泡を伴うサンプルの画像である。 サンプル画像内の検出ピラーを例示する図である。 光強度曲線対場所のプロットである。
例示的な態様の詳細な説明
以下の詳細な説明では、本発明のいくつかの実施形態を一例として限定としてではなく例示する。本明細書で用いるセクションヘッディング及びサブタイトルは、単に構成上の目的であり、決して記載の主題を限定するものと解釈してはならない。セクションヘッディング及び/またはサブタイトル下の内容は、セクションヘッディング及び/またはサブタイトルには限定されず、本発明の全体の記載に適用される。
任意の刊行物についてその引用は、出願日前のその開示を見るためであり、先行発明により本特許請求の範囲にはこのような刊行物に先行する権利はないと認めるものであると解釈してはならない。さらに、示した刊行物の日付は、独立に確認する必要があり得る実際の刊行日付とは異なる可能性がある。
サンプル中の検体をアッセイするための画像ベースのアッセイにおいて、画像化装置を用いてサンプルホルダ内のサンプルの画像を作成し、アッセイング用の検体またはサンプルの特性を決定する際に画像を用いる。
しかし、多くの要因によって画像が歪められる可能性がある(すなわち、実際のサンプルとは異なるかまたは画像が不完全な状態である)。画像歪みによって、検体の特性を決定する際に不正確さが生じる可能性がある。たとえば、1つの事実は不十分なフォーカシングである。これは、フォーカシングにおいて好ましい鋭いエッジが生物学的サンプル自体にないために生じる。フォーカシングが不十分だと、物体寸法が実際のものとは異なり、他の物体(たとえば、血球)を特定することができなくなる可能性がある。別の例は、レンズが完全ではない場合があることである。その結果、サンプルの場所が異なると歪みの度合いが異なることになる。また別の例は、サンプルホルダが光学画像化システムの同じ平面内にないことである。その結果、ある面積ではフォーカスが良好で、別の面積ではフォーカシングが不十分になる。
本発明は、画像ベースのアッセイングにおいて歪んだ画像から「真の」画像を得て、したがってアッセイの精度を向上させることができるデバイス及び方法に関する。
本発明の一態様は、隣接する表面と平行な光学的に観察可能な平坦面を有するモニタリングマークを用いるデバイス及び方法である。
本発明の別の態様は、QMAXカードを用いて、サンプルの少なくとも一部に、QMAXカードのサンプル保持面積内に均一な厚さの層を形成させ、カード上のモニタリングマークを用いてアッセイ精度を向上させるデバイス及び方法である。
本発明の別の態様は、画像ベースのアッセイにおいてモニタリングマークとともにコンピューテーショナル画像化、人工知能、及び/または機械学習を用いるデバイス及び方法である。
別に定義がない限り、本明細書で用いる技術用語及び科学用語はすべて、本開示が属する当業者が広く理解しているものと同じ意味を有する。本教示を実施または試験する際に、本明細書で説明したものと同様または同等の任意の方法及び材料を用いることもできるが、ここではいくつかの典型的な方法及び材料について説明する。
用語「横寸法」は、画像化している薄いサンプル層の平面内の直線寸法を指す。
用語「真の横寸法(TLD)」及び「視野(FoV)」は交換可能である。
用語「サンプル中の微小特徴」は、サンプル中の物質の検体、微細構造、及び/または微小変化を指し得る。検体は、粒子、細胞、巨大分子(たとえば、タンパク質、核酸、及び他の部分)を指す。微細構造は異なる材料における微小規模の差を指し得る。微小変化はサンプルの局所的な特性の微小規模の変化を指す。微小変化の例は局所的な光学指数及び/または局所的な質量の変化である。細胞の例は血球、たとえば白血球、赤血球、及び血小板である。
用語「サンプル」は、本明細書で用いる場合、対象とする1つ以上の検体または実体を含む材料または材料の混合物に関する。ある実施形態では、サンプルは被検者からの体液サンプルである。ある場合には、固体または半固体サンプルを用意することができる。サンプルには被検者から収集した組織及び/または細胞を含むことができる。サンプルは生物学的サンプルとすることができる。生物学的サンプルの例としては以下を挙げることができるが、これらに限定されない。血液、血清、血漿、鼻腔スワブ、鼻咽頭洗浄液、唾液、尿、胃液、脊髄液、涙、糞便、粘液、汗、耳垢、オイル、腺分泌物、脳脊髄液、組織、***、膣液、腫瘍性組織から得られる間質液、眼液、脊髄液、咽頭スワブ、吐出凝縮液(たとえば呼気)、毛髪、指の爪、皮膚、生検材料、胎盤液、羊水、臍帯血、リンパ液、体腔液、痰、膿、微生物叢、胎便、母乳、及び/または他の排出物。
サンプルには鼻咽頭洗浄液が含まれていてもよい。鼻腔スワブ、咽頭スワブ、糞便サンプル、毛髪、指の爪、耳垢、呼気、及び他の固体、半固体、または気体サンプルを、その分析の前に、たとえば、固定時間または可変時間の間、抽出緩衝液内で処理してもよい。次に抽出緩衝液またはその一定分量を、必要に応じて他の流体サンプルと同様に処理してもよい。被検者の組織サンプルの例としては以下を挙げてもよいが、これらに限定されない。結合組織、筋肉組織、神経組織、上皮組織、軟骨、がんサンプル、または骨。特定の実施形態において、サンプルを被検者(たとえば、ヒト)から取得してもよく、被検者アッセイにおいて使用する前に処理してもよい。たとえば、分析前に、タンパク質/核酸を、使用前の組織サンプルから既知の方法で抽出してもよい。特定の実施形態において、サンプルは臨床サンプル、たとえば、患者から収集したサンプルであってもよい。サンプルは食品、環境などのサンプルとすることもできる。サンプルのいくつかは、形状が変形できるが自由流動性ではない(たとえば痰)。
用語「検体」は、本発明での試験に適した任意の物質を指す。検体には以下が含まれるが、これらに限定されない。原子、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、細菌、及び異なる形状のナノ粒子。バイオマーカーは検体である。
本明細書で用いる場合、用語「決定する」、「測定する」、及び「評価する」、及び「アッセイする」は交換可能に使用され、定量的決定及び定性的決定の両方が含まれる。
本明細書で用いる場合、用語「発光標識」は、外部励起の下で光を放出することができる標識を指す。これは発光とすることができる。蛍光標識(色素分子または量子ドットを含む)及び発光標識(たとえば、電気または化学発光標識)は、発光標識の型である。外部励起は、蛍光の場合は光(光子)、エレクトロルミネッセンスの場合は電流、及び化学発光の場合は化学反応である。外部励起は上記の組み合わせとすることができる。
語句「標識化検体」は、発光標識によって検出可能に標識化された検体であって、標識の存在を評価することによって検体を検出することができるものを指す。標識化検体を直接標識化してもよいし(すなわち、検体自体を標識に直接共役させることを、たとえば、強い結合、たとえば、共有または非共有結合を介して行ってもよい)、または標識化検体を間接的に標識化してもよい(すなわち、直接標識化した二次的な捕捉剤によって検体を結合する)。
核酸に対する用語「ハイブリッド形成する」及び「結合する」は交換可能に使用する。
用語「ハイブリッド形成」は、1つ以上のポリヌクレオチドが反応して、ヌクレオチド残基の塩基間の水素結合を介して安定している錯体を形成する反応を指す。水素結合は、ワトソンクリック塩基対合、フーグスティーン結合、または任意の他の配列特異的な方法によって生じてもよい。錯体は、二重構造を形成する2本の撚り線、多鎖錯体を形成する3本以上の撚り線、単一の自己ハイブリッド形成撚り線、またはこれらの任意の組み合わせが含まれていてもよい。
当業者に知られているように、ハイブリッド形成は種々の厳重さの条件下で行うことができる。好適なハイブリッド形成条件は、捕捉配列と標的核酸との間の認識相互作用が十分に特定的かつ十分に安定であることである。ハイブリッド形成反応の厳重さを増加させる条件は広く知られており、当該技術分野において公表されている。たとえば、Greenら(2012)の以下を参照されたい。
用語「スペーサ」と「光学式校正マーク」及び「光学式校正マーク」と「ピラー」は交換可能である。
用語「アッセイ」は、実験室、薬剤、薬理学、環境生物学、健康管理、及び分子生物学(これらに限定されない)における調査(分析的)手順を指し、標的実体(すなわち検体)の存在、量、濃度、または機能活性の定性的評価または定量的測定のためであるがこれらに限定されない。検体は、薬剤、生化学物質、または生物もしくは有機サンプル(たとえば、人血)中の細胞とすることができる。
用語「画像ベースのアッセイ」は、画像化装置が取り込んだサンプル画像を用いるアッセイング手順を指す。サンプルは、医療用サンプル、生物学的サンプル、及び化学サンプルとすることができるが、これらに限定されない。
用語「画像化装置」は、物体の画像を取り込むことができる任意のデバイスを指す。これには、顕微鏡、スマートフォン、または種々の波長で画像を取り込むことができる特別なデバイス内のカメラが含まれるが、これらに限定されない。
用語「サンプル特徴」は、潜在的に興味深い状態を表すサンプルの何らかの特性を指す。ある実施形態では、サンプル特徴は、サンプル画像内に現れる特徴であり、機械学習モデルまたはいくつかの他のアルゴリズムによってセグメント化して分類することができる。サンプル特徴の例としては、サンプル中の検体タイプ、たとえば、赤血球、白血球、及び腫瘍細胞が挙げられるがこれらに限定されず、検体形状、カウント、サイズ、体積、濃度などが挙げられる。
用語「サンプル中の欠陥」は、理想的なサンプル状態において存在するべきではないかまたはサンプルにおいて考慮すべきではない異物及び人工物を指す。これらは、汚染物質(たとえば、ホコリ、気泡など)及び周辺物体(たとえば、サンプル中の構造的物体、たとえば、サンプル保持デバイス内のモニタマーク(たとえばピラー))に由来する可能性があるが、これらに限定されない。サンプル中の欠陥は、アッセイング用のサンプル中で著しいサイズである可能性があり、また著しい量の体積を取る可能性がある(たとえば、気泡)。これらは、サンプル中に異なる形状、サイズ、量、及び濃度で現れる可能性があり、またサンプルに依存してサンプル毎に変わる可能性もある。
用語、検体の「形態的特徴」は、検体の外観(たとえば形状、色彩、サイズなど)及び構造を指す。
用語「ホモグラフィ変換」は、射影空間の同型写像によって引き起こされる共線変換のクラスを指す。像平面及び現実世界での対応する物理面を特性評価することは、画像処理の分野において知られており、カメラモデルに適用される。
用語「機械学習」は、多くの場合に統計的手法及び人工ニューラルネットワークを用いて、明示的なプログラムミングなしにデータから「学習する」(すなわち、特定のタスクに対する性能を徐々に向上させる)能力をコンピュータに与える人工知能の分野におけるアルゴリズム、システム及び装置を指す。
用語「人工ニューラルネットワーク」は、一般的に何らかのタスク特定のルールを用いたプログラミングなしに例を考えることによってタスクの実行を「学習する」ことができる、生物学的ネットワークから着想を得た階層コネクショニストシステムを指す。
用語「畳み込みニューラルネットワーク」は、通常は視覚画像の解析に適用される多層フィードフォワード人工ニューラルネットワークのクラスを指す。
用語「深層学習」は、いくつかの深いネットワーク構造を用いてデータから学習する人工知能(AI)における幅広いクラスの機械学習方法を指す。
用語「機械学習モデル」は、データからの機械学習におけるトレーニングプロセスから構築されたトレーニングされたコンピューテーショナルモデルを指す。トレーニングされた機械学習モデルは、コンピュータによる推論ステージの間に適用され、自力で特定のタスクを実行する(たとえば、物体を検出して分類する)能力をコンピュータに与える。機械学習モデルの例としては、ResNet、DenseNetなどが挙げられる。これらは、その層状ネットワーク構造における深さから「深層学習モデル」という名前もつけられている。
用語「画像セグメンテーション」は、デジタル画像を複数の画像パッチセグメント(画素の組、多くの場合に、そのセグメント境界輪郭によって囲まれた画像セグメントを覆うビットマップマスクの組を伴う)に分割する画像解析プロセスを指す。画像セグメンテーションは、画像処理における画像セグメンテーションアルゴリズム(たとえば、ウォーターシェッド、グラブカット、平均シフトなど)を通して実現することができ、また専用の機械学習アルゴリズム(たとえば、MaskRCNNなど)を通して実現することもできる。
A.固相表面上のモニタリングマーク
A1−1.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
(a)微小特徴を含むサンプルと接触するためのサンプル接触面積を含む固相表面と、
(b)1つ以上のモニタリングマークであって、
i.サンプルからの異なる材料で形成され、
ii.微細構造のアッセイ中は、サンプル中部にあり、サンプルはサンプル接触面積上に厚さ200um未満の薄層を形成し、
iii.横直線寸法が約1um(ミクロン)以上であり、
iv.少なくとも1つの横直線寸法が300um以下である、モニタリングマークと
を含み、
アッセイ中に、少なくとも1つのモニタリングマークが、検体のアッセイ中に用いられる画像化装置によって画像化され、モニタリングマークの幾何学的パラメータ(たとえば形状及びサイズ)及び/またはモニタリングマーク間のピッチは、(a)予め決められて検体のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
A1−2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
微小特徴を含むサンプルと接触するためのサンプル接触面積を含む固相表面と、
1つ以上のモニタリングマークであって、各モニタリングマークは固相表面からの突起物または溝を含み、
i.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
ii.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
iii.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
iv.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
v.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、モニタリングマークと
を含む、デバイス。
B.QMAXカード上のモニタリングマーク
A2−1.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触面積を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
v.モニタリングマークはサンプルからの異なる材料で形成され、
vi.モニタリングマークは微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触面積上に厚さ200um未満の薄層を形成し、
vii.モニタリングマークは横直線寸法が約1um(ミクロン)以上であり、少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう1つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触面積によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である。
A2−2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触面積を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
v.各モニタリングマークは一方または両方のサンプル接触面積上に突起物または溝を含み、
vi.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
vii.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
viii.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
ix.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
x.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触面積によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である。
A3.画像ベースのアッセイ用のデバイスであって、いずれかの先行するデバイス実施形態のデバイスであって、少なくとも5つのモニタリングマークを有し、モニタリングマークのうちの少なくとも3つは直線上で位置合わせされていないデバイスを含むデバイス。
A4.画像化装置を用いてサンプル中の検体をアッセイするための装置であって、システムには、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と
が含まれる、装置。
A5.画像化ベースのアッセイを行うためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と、
(c)デバイスのモニタリングマークを用いて検体に関係する特性を決定するアルゴリズムと
を含む、システム。
いくつかの実施形態では、薄層の厚さは、検体がサンプルホルダ内に単層を形成するように構成されている。用語「単層」の意味は、サンプルホルダ内部の薄いサンプル層において、サンプル層の平面に垂直な方向において2つの隣接する検体の間に実質的な重なりがないということである。
C.コンピューテーション画像化、人工知能、及び/または機械学習を伴うモニタリングマーク
本発明の別の態様は、サンプル保持デバイスのピラーまたはモニタリングマークを、コンピューテーショナル画像化、人工知能、及び/または機械学習とともに用いることである。画像を処理して画像内の物体を現実世界でのその実際の寸法にマッピングするアルゴリズムを用いて、測定値から画像を形成するプロセスを有する。本発明では機械学習(ML)を適用して、MLモデルによって取り込まれ、画像化装置が取り込んだサンプル画像から構築及びトレーニングされたサンプル中の物体の顕著な特徴を学習する。本発明の推論プロセスにインテリジェントな決定ロジックを組み込んで適用して、MLモデルに埋め込まれた知識によりサンプル中の対象物体を検出して分類する。
図9に、本発明におけるTLD(真の横寸法)/FoV(視野)推定に対するプロセス100のブロック図を示す。プロセス100の種々の実施態様において、操作を取り除いてもよいし、結合してもよいし、サブ操作に分解してもよい。プロセスは操作モジュール101から始まる。ここでは、プロセスがアッセイング用サンプルの画像を取り込む。画像は画像化装置がサンプル保持デバイス(たとえば、QMAXカード)に対して取り込む。サンプル保持デバイスは、ピラーまたはモニタリングマークとモニタリングマークの以前のセクションで説明した構造とをQMAXカード上に有する。操作モジュール101からの取り込み画像を入力として操作モジュール102に送り、操作モジュール102では、アッセイング用の画像を処理及び検索して、ピラーまたはモニタリングマークの中心を検出して場所を特定する。典型的な実施態様では、プロセス102は、アッセイング用の画像内のピラーまたはモニタリングマークを検出するための事前トレーニングされた機械学習モデル(M_ピラー)を有する。
前述したように、本発明におけるピラーまたはモニタリングマークは、既知の形状及び寸法を有し、高精度のナノインプリント製造プロセスによって製造される。また、これらのピラーまたはモニタリングマークは、サンプル保持デバイス内に所定の周期パターンで分布し、それらの間に既知のピッチ間隔を有する。本発明におけるこれらの特徴は、プロセス100にとって重要になる。なぜならば、ピラーまたはモニタリングマークは小さく(約〜30ミクロン)、サンプル保持デバイス内でサンプルによって囲まれ、サンプル中の粒子間の強力な光散乱及び回折を受けるからである。加えて、それらは、多くの場合に画像化装置のフォーカスが合っていない。なぜならば、画像化装置は、画像ベースのアッセイ用のサンプル中の検体にフォーカスしており、サンプルホルダの構造にはフォーカスしていないからである。結果として、機械学習モデルを用いて検出した場合でもエラーが生じる。ピラーの一部が検出されないか、誤って検出されるか、または間違っているかたもしくは不正確な中心位置で検出され、その結果、検出したピラー及び中心位置をそのまま使用することは信頼性できず、TLD/FoV推定に対してエラーが持ち込まれる。
図9に例示したように、プロセス100において操作モジュール103が操作モジュール102から検出ピラー及びその中心を取って、本発明で説明したピラーまたはモニタリングマークの特性に基づいて後エラー補正及び推定改良を実行する。詳細には、検出ピラーを所定の既知の周期パターンで位置合わせしなければならず、2つの隣接するピラー中心間の距離は既知のピッチ間隔に従わなければならない等。操作モジュール103が取る操作は、誤検出をなくして、検出ピラーを製造から既知のデザインパターンで位置合わせすることによって、その分布の周期性を用いて他を見つけ、ピラー中心の位置をそれらの間の既知の周期性及びピッチ間隔に従って調整することである。本発明において操作モジュール102及び103が取る操作を組み合わせることによって、ピラーまたはモニタリングマーク検出が、TLD/FoV推定に対する精度に対して堅固になる。
プロセス100の操作モジュール103において、操作モジュール102及び103からの検出ピラー中心に基づいてホモグラフィ変換を推定する。ホモグラフィ変換は画像処理の技術分野で知られており、画像化装置がサンプル上で取り込んだ画像を、取り込んでいる画像内の物体と、画像化されている現実世界の実際の物体との間の透視投影によってモデリングするものである。この透視投影は、以下に説明する変換行列Hによって記述されるホモグラフィ変換(別名:透視変換)によって特徴付けることができる。
Figure 2021535369
x’=Hxによって表される。ここで、Hは3x3の非特異同次変換行列であり、画像化装置が取り込んだ画像内の物体を、画像化されている実際のサンプルプランにおける物体にマッピングするものである。ここから、画像化装置が取り込んだ画像での物体の長さまたは面積が現実世界でのその実際のサイズにマッピングされ、またこれによって、物体のTLD/FoV及び画像での物体の実際のサイズを決定することができる。
しかし、変換行列Hを決定するためには、画像化装置が取り込んだ画像から画像化されている実際のサンプルプランへのHのマッピングに対応する少なくとも4対の点を知る必要がある。また、これら4対の点は、画像化装置が取り込んだ画像と画像化されている実際のサンプルプランとを、それらの間のホモグラフィ変換を通して結合するアンカーとして用いられ、H行列を非特異にするためには少なくとも4つの非共線のピラー中心が必要である。操作モジュール102における操作によって、また操作モジュール103においてピラーまたはモニタリングマークの構造的特徴を適用することによって、4つを超える非共線のピラー中心点を検出することができ、また実際の画像プランにおけるそれらの対応する位置を、サンプル保持デバイス内のピラーまたはモニタリングマークの構造的特徴に基づいて決定することができる。したがって、プロセス100の操作モジュール104によって、TLD/FoV推定に対するホモグラフィ変換行列Hが、操作モジュール103からの検出ピラー中心に基づいて推定される。また操作モジュール104において、推定された変換行列Hを用いて、以後の画像ベースのアッセイング処理においてTLD/FoV推定を行う。
本発明では、ピラーまたはモニタリングマーク検出に対する専用の機械学習モデルをトレーニングデータから構築する。本発明のいくつかの実施形態では、ピラー及びモニタリングマーク検出をアッセイング用の画像上で直接行う。図10に、アッセイング用の原入力画像上でピラーまたはモニタリングマーク検出用の機械学習モデルを構築するためのプロセス200のブロック図を示す。プロセスは操作モジュール201から始まる。ここで、プロセスはトレーニングデータベースDB0内の画像化装置からアッセイング用の画像の組を取得する。これらの画像は、サンプル保持デバイス(たとえば、QMAXカード)内のサンプル上で画像を取り込むことによって収集される。操作モジュール202では、各トレーニング画像をDB0から取得し、各画像内のピラーまたはモニタリングマークに標識化する。標識化した画像を、機械学習モデルトレーニング用の第2のトレーニングデータベースDB1内に保存する。このトレーニングデータセットDB1は、ピラーまたはモニタリングマークを検出するトレーニング機械学習モデル専用であり、サンプル中の検体を検出するための典型的なトレーニングデータベースとは異なる。
操作モジュール203では、新しいトレーニングデータベースDB1を操作モジュール202から取得し、機械学習モデル構造を、深層ニューラルネットワークの形態で選択して、トレーニングデータベースDB1に対してモデルをトレーニングする。本発明のいくつかの実施形態では、RetinaNetの機械学習モデルを使用し、いくつかの他の実施形態では、Fast−RCNNの機械学習モデルを選択する。Tensorflow及びPyTourchを用いて、機械学習モデルを、ピラーまたはモニタリングマーク検出用のトレーニングデータベースDB1を用いてトレーニングする。プロセス200は操作モジュール205で終了する。ここでは、操作モジュール204から取得した機械学習モデルを検証して、アッセイングアプリケーション用に保存する。
図11は、ピラー及びモニタリングマーク検出用の画像変換ベースの機械学習アプローチに対する特別なトレーニングデータベースを形成するブロック図である。プロセス300は操作モジュール301から始まる。ここでは、画像化装置が取り込んだアッセイング用の画像からなるトレーニング画像データベースDB1Aを取得する。操作モジュール302では、DB1Aからの画像をピラーまたはモニタリングマークに対して標識化する。DB1A内の標識化した画像を操作モジュール303に入力する。ここでは、それらを、標識化したピラーまたはモニタリングマークをその輪郭に沿って白色マスクで覆うことによって変換する。操作モジュール303からの変換画像を操作モジュール304に入力する。ここでは、それらを、操作モジュール303からの白色マスクに覆われていない画像内の面積上に黒色マスクを適用することによってさらに変換する。本発明において、ピラーに対して白色マスクを使用し、白色マスクに覆われていない面積に対して黒色マスクを使用することには、2つの利点がある。第1に、ピラーと他の面積との間のコントラストが最大になり、第2に、バックグラウンドにおけるノイズが抑えられる。その結果、ピラーまたはモニタリングマーク及びそれらの中心の以後の検出がより堅固になる。操作モジュール304では、302及び303による変換画像を検証して、ピラーまたはモニタリングマーク検出において画像変換モデルをトレーニングするための新しい対象画像トレーニングデータベースDB2Aに保存する。
図12に、ピラー及びモニタマーク検出用の画像変換ベースの機械学習モデルを構築するブロック図を示す。プロセス400は操作モジュール401から始まる。操作モジュール401は、アッセイング用に画像化装置が取り込んだ画像からなるトレーニング画像データベースDB1Aをロードする。操作モジュール402は、前述したプロセス300を用いてDB1A内の画像を変換することによって取得した対象画像トレーニングデータベースDB2Aをロードする。操作モジュール403では、DB1Aトレーニング画像データベース及び対になる対象画像トレーニングデータベースDB2Aを、トレーニング対象として操作モジュール402から取得する。ここでは、機械学習フレームワークを選択して、アッセイング用に画像化装置が取り込んだ原画像を、対象画像トレーニングデータベース内の白色ピラーまたはモニタリングマスク及び黒色バックグラウンドの新しい画像に変換する機械学習モデルをトレーニングする。本発明のいくつかの実施形態では、画素間(P2P)変換の機械学習フレームワークを選択し、本発明のいくつかの他の実施形態では、CycleGANの機械学習フレームワークを使用する。操作モジュール403は、プロセス300からのトレーニング画像データベースDB1A及び対になる対象画像変換データベースDB2Aを用いて、機械学習モデルTModelをトレーニングする。本発明の一実施形態では、ピラー及びモニタリングマーク検出には以下の操作が含まれる。
1.アッセイング用の画像を入力として取得する
2.画像変換モデルTModelを適用してアッセイング用の入力画像を変換して、本明細書で説明した白色マスクでピラーまたはモニタリングマークを覆い、残りの面積を黒色マスクで覆った画像にする
3.変換画像内のピラーまたはモニタリングマークを検出する
4.検出ピラーまたはモニタリングマーク中心を原入力画像に再マッピングして戻す5.検出ピラーまたはモニタリングマークの場所で、原入力画像に対して、サンプル保持デバイス内の予めデザインされたピラーまたはモニタリングマーク構造からの制限を用いてエラー補正を行う
6.サンプル画像内の検出ピラーまたはモニタリングマークの中心を決定して、それらの場所の精緻化を、サンプル保持デバイス内でのそれらの既知の分布構造の制約に従って行う
7.サンプル画像上での正則変換を、検出ピラーまたはモニタリングマーク中心に基づいて推定して、以後の画像ベースのアッセイングに対するTLD/FoVを決定する
図17は、赤血球をアッセイするために画像化装置が取り込んだサンプルの実際の画像である。明らかに、サンプル画像内のノイズレベルが非常に高く、またサンプル画像において、モニタリング構造(たとえば、サンプルホルダ内のピラーまたはモニタリングマーク)のフォーカスが不十分である。なぜならば、画像ベースのアッセイングにおいて、検体にフォーカスしており、予備参照にはフォーカスしていないからである。この結果、サンプル画像内のピラーまたはモニタリングマークの検出及び場所特定が困難になる。図18に、本明細書で説明するシステム及び方法を用いた変換画像に基づいて赤血球をアッセイする際のサンプル画像からのモニタリングマークのピラーの検出結果を示す。
本発明のいくつかの実施形態では、アッセイング用の画像を交わらないパッチに分割して、パッチ依存性の正則変換を各画像パッチに対して推定することを、そのパッチ内に少なくとも4つの検出した非共線のピラー中心がある場合に行う。そうでない場合には、画像内のすべての検出ピラー中心から推定した正則変換を用いて、画像ベースのアッセイングにおけるTLD/FoVを決定する。
関心面積選択、体積推定、及び欠陥除去を伴うマイクロ選択的画像アッセイング
本明細書で説明するTLD/FoV推定の方法によって、画像ベースのアッセイングにおける他の応用例に対する可能性が開かれる。本発明のいくつかの実施形態では、画像ベースのアッセイングにおいて欠陥(たとえば、気泡、ホコリなど)除去することに適用される。気泡及びホコリは、環境、アッセイング操作、及びアッセイング用に用いているサンプルのタイプに応じて、サンプル中に生じる可能性がある。アッセイング用のサンプル中のこれらの欠陥は、アッセイング精度を上げるためにサンプルから取り去らなければならない。しかし、これは、これらの欠陥が生じてサンプル保持デバイスの閉空間内に閉じ込められたら、極めて難しい可能性がある。さらに、多くの場合に、デバイスは押圧シールされていて、再び開けてはならない。
図15に、気泡及びホコリの両方がサンプル中に生じた状況を示す。本発明のいくつかの実施形態では、以下を含むマイクロ選択的画像アッセイングを実行する。
1.アッセイング用サンプルの画像を入力として取得する
2.(1)からのサンプル画像のTLD/FoVを面積、サイズに対して推定して、結果としてサンプル体積推定を行う
3.アッセイング用サンプルの画像内の欠陥(たとえば、気泡、ホコリなど)を検出して、サンプル中のこれらの欠陥の画像を、トレーニングされた機械学習モデルによってセグメント化する
4.サンプル画像内のセグメント化された欠陥の全面積を推定して、それらの実際の面積サイズを、サンプル保持デバイスのピラー及びモニタリングマークを用いて(2)から推定したTLD/FoVを用いることによって計算する
5.アッセイング用サンプルの画像内の検出した欠陥の全表面積に対応するサンプルの実際の体積を、(4)からの面積推定値とサンプル保持デバイス内のサンプルの既知の高さとから推定する
6.アッセイング用サンプルの画像内の検出した欠陥の表面積を取り除いて、サンプルの全体積の更新を、サンプル画像内の検出した欠陥の表面積の下の全体積に対応する欠陥体積推定値を(5)から差し引くことによって行う
7.(6)からの更新したサンプル体積を伴う更新したサンプル画像内の選択面積上で画像ベースのアッセイングを行う
本発明のいくつかの実施形態では、サンプル画像から取り除く面積は、検出した欠陥の面積よりもマージンΔだけ大きく、結果として、欠陥面積の拡大により、画像ベースのアッセイングにおいて仮想的に取り除かれる体積は大きくなる。このような操作の効果の1つは、アッセイング結果に対する欠陥の悪影響がさらに減ることである。なぜならば、検体が欠陥に付く可能性があり、検体分布の局所的な均一性が影響を受ける可能性があるからである。
本明細書で説明するように、本発明では、重要なことに、サンプル保持デバイス(たとえば、QMAXカード)の構造、及びその内部のピラーまたはモニタリングマークを用いている。詳細には、サンプル保持デバイス(たとえば、QMAXカード)上で画像化装置が取り込んだサンプル画像は疑似3D画像である、なぜならば、サンプル保持デバイス内のサンプルの高さは先験的に知られており均一だからである。したがって、サンプル画像内の物体の表面積に対応するサンプル体積は、当初のサンプルプランにおけるその実際の面積サイズを取得できたら、決定することができる。
当初のサンプルプランにおける実際の面積の推定値を取得するために、サンプル保持デバイス内のピラーまたはモニタリングマークの構造を用いて、より信頼性の高いTLD/FoV推定値を得る。これは、画像ベースのアッセイにおけるマイクロ選択的画像アッセイングの典型例である。すなわち、アッセイング処理が、アッセイング用に画像化装置が取り込んだサンプル画像から特定の面積/体積を選択することができる。
たとえば、本発明のいくつかの実施形態では、選択する特定の面積は、検体が、サンプル保持デバイス内のサンプルの画像及びサンプルの均一な高さから決定される選択面積のサンプル体積とクラスタを形成していないところである。
いくつかの実施形態では、より良好なアッセイング精度が得られるように、欠陥がより少ない、信号対雑音比がより良好である、フォーカス状態などに基づいて、サンプル画像内の面積を選択する。FoV推定用の機械学習ベースのピラー及びモニタリングマーク検出と機械学習ベースの欠陥検出及びセグメンテーションとを組み合わせて、サンプルの変動を減らすことで、本発明で説明したアプローチは画像ベースのアッセイングにおいて柔軟で弾力性あるものとなる。
モニタリングマークを用いてアッセイ操作をモニタリングする
いくつかの実施形態では、対象物体(たとえば細胞)が単層を形成する(すなわちサンプル層に垂直な方向において物体間の著しい重なりがない)ように、サンプルの厚さは薄い厚さに設定されている。
したがって、画像化装置を用いてQMAXカードの製造品質を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触面積内にある、取得することと、
(b)画像化装置を取得することと、
(c)(a)のデバイスのサンプル接触面積内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(d)画像化装置を用いて、薄いサンプル層の1つ以上の画像を取り込むことと、
(e)モニタリングマークの画像を用いてQMAXカードの製造品質を決定することと
を含む、方法。
加えて、画像化装置を用いてQMAXカードの製造品質を決定するための方法であって、
(a)先行する実施形態におけるデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを有し、モニタリングマークはサンプル接触面積内にある、取得することと、
(b)画像化装置を取得することと、
(c)(a)のデバイスのサンプル接触面積内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことと、
(e)モニタリングマークの画像を用いてQMAXカードの製造品質を決定することと
を含む、方法。
製造品質を決定することには、1つ以上のモニタリングマークの特性(たとえば、長さ、幅、ピッチ、ウェビング)を測定することと、測定した特性を基準値と比較してQMAXカードの製造品質を決定することと、が含まれる任意の先行する実施形態の方法。
製造品質を決定することには、1つ以上の第1のモニタリングマークの第1の特性(たとえば、量、長さ、幅、ピッチ、ウェビング)を測定することと、測定した第1の特性を1つ以上の第2のモニタリングマークの第2の特性(たとえば、数、長さ、幅、ピッチ、ウェビング)と比較してQMAXカードの製造品質を決定することと、が含まれる任意の先行する実施形態の方法。
任意の先行する実施形態のデバイスを用いてサンプルを分析する間にアッセイングを行う任意の先行する実施形態の方法。
本発明の一態様は、2つの移動可能なプレートを有するQMAXカードを用いてアッセイするために、薄いサンプルの内部に配置したモニタリングマークを用いてQMAXカードに対する動作状態をモニタすることができる。動作状態には、サンプルが適切に装着されているか否か、2つのプレートが適切に閉じているか否か、2つのプレート間のギャップが所定の値と同じまたはほぼ同じであるか否かを含めることができる。
いくつかの実施形態では、2つの移動可能なプレートを含んで閉構成において2つのプレート間に所定のギャップを有するQMAXカードに対して、QMAXカードベースのアッセイの動作状態を、閉構成においてモニタリングマークの画像を取り込むことによってモニタする。たとえば、2つのプレートが適切に閉じていない場合、モニタリングマークは、画像において、2つのプレートが適切に閉じている状況とは異なって見える。サンプルに囲まれている(適切に閉じている)モニタリングマークは、サンプルに囲まれていない(適切に閉じていない)モニタリングマークとは見え方が異なる。したがって、サンプル装着状態に関係する情報を得ることができる。第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含むデバイスの動作状態を、モニタリングマークを用いてモニタするためのデバイスであって、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、分析しているサンプルと接触するためのサンプル接触面積を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.モニタリングマークはその寸法の少なくとも1つが、(a)予め決められて分かっており、(b)画像化装置によって観察可能であり、
v.モニタリングマークは、少なくとも1つの横直線寸法が300um以下の微細構造であり、
vi.モニタリングマークはサンプルの内部にあり、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
もう一つの構成は閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触面積によって制限され、プレート及びスペーサによって調整され、
2つのプレートを閉構成に到達させるときに力を用いた後に、モニタリングマークを画像化して、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否かを判定し、及び/または(ii)サンプルが要望どおりに装着されたか否かを判定する。
いくつかの実施形態では、モニタリングマークの画像を用いて、2つのプレートが意図する閉構成(サンプルがほぼ所定の厚さの厚さを有するように調整される)に到達したか否かを判定する。
いくつかの実施形態では、モニタリングマークの画像を用いて、サンプルが要望どおりに装着されたか否かを判定する。
いくつかの実施形態では、モニタリングマークを画像化して、2つのプレートが意図する閉構成(サンプル厚さが所定の厚さに調整される)に到達したか否かを判定し、サンプルが要望どおりに装着されたか否かを判定する。
いくつかの実施形態では、スペーサはモニタリングマークとして機能する。
いくつかの実施形態では、システムには、デバイスと、コンピューテーショナルデバイスと、命令を有する非一時的コンピュータ可読媒体と、が含まれている。命令は、実行されると、アッセイングにおいて決定処理を実行する。
いくつかの実施形態では、命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、薄いサンプル層とともにモニタリングマークの1つ以上の画像を用いて、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否か、または(ii)サンプルが要望どおりに装着されたか否かを判定することを含む方法を実施する。
いくつかの実施形態では、システムは、命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、本開示の任意の方法を実施する非一時的コンピュータ可読媒体を含んでいる。
W−1.モニタリングマークを用いてデバイスの動作状態をモニタするための方法であって、
a)任意の先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触面積内にある、取得することと、
b)画像化装置を取得することと、
c)(a)のデバイスのサンプル接触面積内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことと、
e)モニタリングマークの画像を用いて、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否か、または(ii)サンプルが要望どおりに装着されたか否かを判定することと
を含む、方法。
いくつかの例
単一プレート
AA−1.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触面積を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
I.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能である、エッジを有し、
II.少なくとも1つの横直線寸法が300um以下の微細構造であり、
III.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
AA−1.2.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触面積を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
i.固相表面からの突起物または溝を含み、
ii.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であり、エッジを有し、iii.少なくとも1つの横直線寸法が300um以下の微細構造であり、
iv.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
一定間隔の2つのプレート
AA−2.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触面積を含む内面を含み、
ii.サンプルの少なくとも一部は、第1及び第2のプレートによって、200um以下の実質的に一定の厚さの薄層内に制限され、
iii.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
iv.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
v.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
2つの移動可能なプレート
AA−3.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
a.第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
ii.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
iii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触面積を含む内面を含み、
iv.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
v.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
vi.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
vii.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化され、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触面積によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
微視的マークを有するサンプルホルダを用いた画像取り込み改善
BB−1.サンプル中の微小特徴の画像取り込みを改善するための装置であって、
(c)いずれかの先行するデバイス実施形態のデバイスと、
(d)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、を含み、
画像化装置は画像を取り込み、少なくとも1つの画像はサンプルの一部及びモニタリングの両方を含む、装置。
CB−2.サンプル中の微小特徴の画像取り込みを改善するためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、
(c)マークをパラメータとして用いるとともに、次の画像に対する画像化装置の設定を調整する画像化処理方法を用いるアルゴリズムと
を含む、システム。
C.微視的マークを有するサンプルホルダを用いた画像化解析
CC−1.サンプル中の微小特徴の画像の解析を改善するための装置であって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)マークと、微小特徴を含むかまたは含むと疑われるサンプルとの画像を受け取る際に用いられるコンピューテーションデバイスと、を含み、
コンピューテーションデバイスは、マークをパラメータとして用いるとともに画像の画質を向上させる画像化処理方法を用いるアルゴリズムを実行する、装置。
CC−2.サンプル中の微小特徴の画像の解析を改善するためのシステムであって、(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むかまたは含むと疑われるサンプルをサンプル及びマークの1つまたは複数の画像を取り込むことによってアッセイする際に用いられる画像化装置と、
(c)マークをパラメータとして用いるとともに(c)で取り込んだ少なくとも1つの画像の画質を向上させる画像化処理方法を用いるアルゴリズムと、を含むシステム。
CC−3.サンプル中の微小特徴をアッセイするためのコンピュータプログラム製品であって、プログラムには、少なくとも1つの画像において、
(a)サンプル及びモニタリングマーク(複数可)の画像を受け取ることであって、サンプルはいずれかの先行するデバイス請求項のデバイス内に装着され、画像は画像化装置が取り込む、受け取ることと、
(b)画像を処理及び解析して微小特徴の量を計算することであって、解析では、機械学習とモニタリングマーク(複数可)の画像によって得られる情報とに基づく検出モデルを用いる、計算することと、に適用及び適応されるコンピュータプログラムコードが含まれる、コンピュータプログラム製品。
CC−4.サンプル中の微小特徴をアッセイするためのコンピューティングデバイスであって、本発明の実施形態のいずれかでアルゴリズムを動作させるコンピューティングデバイスが含まれるコンピューテーションデバイス。
CC−5.画質の改善には、ノイズ除去、画像正規化、画像シャープニング、画像スケーリング、位置合わせ、超解像度、ボケ修正、及びそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.画像化処理方法には、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算、シェーディング補正、画像向上及び/または復元、セグメンテーション、特徴抽出及び/またはマッチング、物体検出及び/または分類及び/または場所特定、画像理解、ならびにそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.1.ヒストグラムベースの演算には、コントラストストレッチング、均等化、最小値フィルタリング、中央値フィルタリング、最大値フィルタリング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.2.数学ベースの演算には、二値演算(たとえば、NOT、OR、AND、XOR、及びSUB)、算術ベースの演算(たとえば、ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、及びINVERT)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.3.畳み込みベースの演算には、空間ドメインでの演算、フーリエ変換、DCT、整数変換、周波数ドメインでの演算、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.4.平滑化演算には、線形フィルタ、均一フィルタ、三角フィルタ、ガウシアンフィルタ、非線形フィルタ、中間フィルタ、桑原フィルタ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.5.微分ベースの演算には、一次微分演算、勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、二次微分フィルタ、基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタ、三次微分フィルタ、より高次数の微分フィルタ(たとえば、三次微分フィルタよりも高次数)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.6.形態ベースの演算には、拡張、腐食、ブール型畳み込み、開及び/または閉、ヒットアンドミス演算、輪郭、スケルトン、伝搬、グレー値形態処理、グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖、形態学的平滑化、形態学的勾配、形態学的ラプラシアン、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.7.画像向上及び/または復元には、シャープニング、アンシャープニング、ノイズ抑制、歪み抑制、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.8.セグメンテーションには、閾値化、固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、エッジ発見、勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順、二値数学的形態、ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、グレー値数学形態、トップハット変換、閾値化、局所的コントラストストレッチング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.9.特徴抽出及び/またはマッチングには、独立成分分析、ISOマップ、カーネル主成分分析、潜在意味解析、部分的最小二乗、主成分分析、多因子次元削減、非線形次元削減、多重線形主成分分析、多重線形部分空間学習、半定値埋め込み、オートエンコーダ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
A.微視的マークを有するサンプルホルダ
単一プレート
AA−1.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触面積を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
i.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
ii.少なくとも1つの横直線寸法が300um以下の微細構造であり、
iii.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
AA−1.2.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触面積を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
i.固相表面からの突起物または溝を含み、
ii.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
iii.少なくとも1つの横直線寸法が300um以下の微細構造であり、
iv.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
一定間隔の2つのプレート
AA−2.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、及び1つ以上のモニタリングマークを含み、i.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触面積を含む内面を含み、
ii.サンプルの少なくとも一部は、第1及び第2のプレートによって、200um以下の実質的に一定の厚さの薄層内に制限され、
iii.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
iv.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
v.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
2つの移動可能なプレート
AA−3.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
I.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
i.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触面積を含む内面を含み、
ii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iii.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
iv.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
v.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化され、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触面積によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(a)スペーサとは異なる構造であるか、または(b)スペーサとして用いられるものと同じ構造である、デバイス。
B.微視的マークを有するサンプルホルダを用いた画像取り込み改善
BB−1.サンプル中の微小特徴の画像取り込みを改善するための装置であって、
(e)いずれかの先行するデバイス実施形態のデバイスと、
(f)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と
を含み、
画像化装置は画像を取り込み、少なくとも1つの画像はサンプルの一部及びモニタリングの両方を含む、装置。
CB−2.サンプル中の微小特徴の画像取り込みを改善するためのシステムであって、
i.いずれかの先行するデバイス実施形態のデバイスと、
ii.微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、
iii.命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、マークをパラメータとして用いるとともに、次の画像に対する画像化装置の設定を調整する画像化処理方法を用いる、非一時的コンピュータ可読媒体と
を含む、システム。
C.微視的マークを有するサンプルホルダを用いた画像化解析
CC−1.サンプル中の微小特徴の画像の解析を改善するための装置であって、
a)いずれかの先行するデバイス実施形態のデバイスと、
b)マークと、微小特徴を含むかまたは含むと疑われるサンプルとの画像を受け取る際に用いられるコンピューテーションデバイスと
を含み、
コンピューテーションデバイスは、マークをパラメータとして用いるとともに画像の画質を向上させる画像化処理方法を用いるアルゴリズムを実行する、装置。
CC−2.サンプル中の微小特徴の画像の解析を改善するためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むかまたは含むと疑われるサンプルをサンプル及びマークの1つまたは複数の画像を取り込むことによってアッセイする際に用いられる画像化装置と、
(c)命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、マークをパラメータとして用いるとともに、(c)で取り込んだ少なくとも1つの画像の画質を向上させる画像化処理方法を用いる、非一時的コンピュータ可読媒体と
を含む、システム。
CC−3.サンプル中の微小特徴をアッセイするためのコンピュータプログラム製品であって、プログラムには、少なくとも1つの画像において、
(a)サンプル及びモニタリングマーク(複数可)の画像を受け取ることであって、サンプルはいずれかの先行するデバイス請求項のデバイス内に装着され、画像は画像化装置が取り込む、受け取ることと、
(b)画像を処理及び解析して微小特徴の量を計算することであって、解析では、機械学習とモニタリングマーク(複数可)の画像によって得られる情報とに基づく検出モデルを用いる、計算することと
に適用及び適応されるコンピュータプログラムコード手段が含まれる、コンピュータプログラム製品。
CC−4.サンプル中の微小特徴をアッセイするためのコンピューティングデバイスであって、本発明の実施形態のいずれかでアルゴリズムを動作させるコンピューティングデバイスが含まれるコンピューテーションデバイス。
CC−5.画質の改善には、ノイズ除去、画像正規化、画像シャープニング、画像スケーリング、位置合わせ(たとえば、顔検出用)、超解像度、ボケ修正、及びそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.画像化処理方法には、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算、シェーディング補正、画像向上及び/または復元、セグメンテーション、特徴抽出及び/またはマッチング、物体検出及び/または分類及び/または場所特定、画像理解、ならびにそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.1.ヒストグラムベースの演算には、コントラストストレッチング、均等化、最小値フィルタリング、中央値フィルタリング、最大値フィルタリング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.2.数学ベースの演算には、二値演算(たとえば、NOT、OR、AND、XOR、及びSUB)、算術ベースの演算(たとえば、ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、及びINVERT)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.3.畳み込みベースの演算には、空間ドメインでの演算、フーリエ変換、DCT、整数変換、周波数ドメインでの演算、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.4.平滑化演算には、線形フィルタ、均一フィルタ、三角フィルタ、ガウシアンフィルタ、非線形フィルタ、中間フィルタ、桑原フィルタ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.5.微分ベースの演算には、一次微分演算、勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、二次微分フィルタ、基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタ、三次微分フィルタ、より高次数の微分フィルタ(たとえば、三次微分フィルタよりも高次数)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.6.形態ベースの演算には、拡張、腐食、ブール型畳み込み、開及び/または閉、ヒットアンドミス演算、輪郭、スケルトン、伝搬、グレー値形態処理、グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖、形態学的平滑化、形態学的勾配、形態学的ラプラシアン、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.7.画像向上及び/または復元には、シャープニング、アンシャープニング、ノイズ抑制、歪み抑制、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.8.セグメンテーションには、閾値化、固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、エッジ発見、勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順、二値数学的形態、ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、グレー値数学形態、トップハット変換、閾値化、局所的コントラストストレッチング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.9.特徴抽出及び/またはマッチングには、独立成分分析、ISOマップ、カーネル主成分分析、潜在意味解析、部分的最小二乗、主成分分析、多因子次元削減、非線形次元削減、多重線形主成分分析、多重線形部分空間学習、半定値埋め込み、オートエンコーダ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触面積内に1つ以上のモニタリングマークが含まれる、取得することと、(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)のデバイスのサンプル接触面積内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いてサンプルの真の横寸法を決定することと
を含み、(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
T2.各モニタリングマークは固相表面からの突起物または溝を含む任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T3.微細構造は鋭いエッジを有さない任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T4.サンプルは、生物学的サンプル、化学サンプル、及び鋭いエッジを有さないサンプルからなる群から選択される任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T5.(i)画像化を調整すること、(ii)サンプル画像を処理すること、(iii)微小特徴に関係する特性を決定こと、または(iv)それらの任意の組み合わせを行うアルゴリズム内で、モニタリングマークをパラメータとして用いるとともに画像化処理方法を用いる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T6.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有する任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
AA.サンプルの薄層の画像化を改善するための方法及びデバイス。
AA1.サンプルの薄層の画像化を改善するための方法であって、
(a)マーキングされたサンプルホルダを取得することであって、サンプルはサンプル接触面積内に1つ以上のモニタリングマークが含まれる、取得することと、
(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)のデバイスのサンプル接触面積内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いてサンプルの真の横寸法を決定することと
を含み、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、
方法。
A−1
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
i.任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触面積内に1つ以上のモニタリングマークが含まれる、取得することと、
ii.画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的なコンピュータ可読媒体とを取得することと、
iii.(a)のデバイスのサンプル接触面積内に、微小特徴を含む薄いサンプル層を堆積させることと、
iv.画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
v.アルゴリズムを用いてサンプルの真の横寸法を決定することと
を含み、
(a)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(b)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、
方法。
NN1.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
(a)微小特徴を含むサンプルと接触するためのサンプル接触面積を含む固相表面と、
(b)1つ以上のモニタリングマークであって、モニタリングマークは、
i.サンプルからの異なる材料で形成され、
ii.微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触面積上に厚さ200um未満の薄層を形成し、
iii.その横直線寸法が約1um(ミクロン)以上であり、
iv.少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、検体のアッセイ中に用いられる画像化装置によって画像化され、モニタリングマークの幾何学的パラメータ(たとえば形状及びサイズ)及び/またはモニタリングマーク間のピッチは、(a)予め決められて検体のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
NN2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
微小特徴を含むサンプルと接触するためのサンプル接触面積を含む固相表面と、
1つ以上のモニタリングマークであって、各モニタリングマークは固相表面からの突起物または溝を含む1つ以上のモニタリングマークと、を含み、
(a)突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
(b)平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、(c)平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
(d)少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
(e)平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
NN3.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
(a)第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
(b)第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触面積を含む内面を含み、
(c)第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
(d)スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
(e)モニタリングマークはサンプルからの異なる材料で形成され、
(f)モニタリングマークは微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触面積上に厚さ200um未満の薄層を形成し、
(g)モニタリングマークは横直線寸法が約1um(ミクロン)以上であり、少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触面積によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
NN4.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
(a)第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
(b)第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触面積を含む内面を含み、
(c)第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
(d)スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
(e)各モニタリングマークは一方または両方のサンプル接触面積上に突起物または溝を含み、
(f)突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
(g)平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
(h)平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
(i)少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
(j)平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
a.構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触面積によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
NN5.直線上で位置合わせされていない少なくとも4つのモニタリングマークを有するいずれかの先行するデバイス実施形態のデバイスを含む画像化ベースのアッセイ用のデバイス。
NN6.画像化装置を用いてサンプル中の微小特徴をアッセイするための装置であって、システムは、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と
を含む、装置。
NN7.画像化ベースのアッセイを行うためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、
(c)命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されると、デバイスのモニタリングマークを用いて微小特徴に関係する特性を決定する、非一時的コンピュータ可読媒体と
を含む、システム。
NN8.画像化装置を用いてサンプル中の微小特徴をアッセイするためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、
(c)命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されると、デバイスのモニタリングマークを用いて微小特徴に関係する特性をアッセイし、命令には機械学習が含まれる、非一時的コンピュータ可読媒体と
を含む、システム。
NN9.画像化装置を用いてサンプル中の微小特徴をアッセイするための方法であって、
(a)任意の先行する実施形態のデバイス、装置、またはシステムを取得することと、
(b)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触面積上にサンプルを堆積させることであって、サンプルには微小特徴が含まれる、堆積させることと、
(c)微小特徴をアッセイすることと
を含む、方法。
NN10.画像化装置を用いてサンプル中の微小特徴をアッセイするための方法であって、
(a)任意の先行する実施形態のデバイス、装置、またはシステムを取得することと、
(b)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触面積上にサンプルを堆積させることであって、サンプルには微小特徴が含まれる、堆積させることと、
(c)微小特徴をアッセイすることであって、アッセイングには機械学習を用いるステップが含まれる、アッセイすることと
を含む、方法。
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触面積内に1つ以上のモニタリングマークが含まれる、取得することと、(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)のデバイスのサンプル接触面積内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いてサンプルの真の横寸法を決定することと
を含み。
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、
方法。
T2.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触面積内に1つ以上のモニタリングマークが含まれる、取得することと、
(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)におけるデバイスのサンプル接触面積内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いて、物理的評価基準(たとえばマイクロメートル)によって、画像化したサンプルの現実世界での真の横寸法及び座標を決定することと
を含み、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、
方法。
T3.サンプルからの微小特徴とモニタリングマークとはサンプル保持デバイス内に配置されている任意の先行する実施形態のデバイス、方法、またはシステム。
T4.決定することには、画像化装置が取り込んだサンプル画像内のモニタリングマークを検出して場所を特定することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
T5.決定することには、画像化装置が取り込んだサンプル画像から検出されたモニタリングマークに基づいてモニタリングマークグリッドを作成することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
T6.決定することには、作成されたモニタリングマークグリッドからホモグラフィ変換を計算することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
T7.決定することには、ホモグラフィ変換からTLDを推定することと、画像ベースのアッセイにおいて検出された微小特徴の面積、サイズ、及び濃度を決定することと、が含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
T8.TLD推定は画像化装置が取り込んだサンプル画像内の領域に基づいており、
(a)サンプルを取得することと、
(b)サンプルを、サンプル保持デバイス(たとえば、QMAXデバイス)内に装着することであって、モニタリングマークが存在し、モニタリングマークは、サンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置が上方から画像化することができるデバイス内に存在する、装着することと、
(c)微小特徴とモニタリングマークとを含むサンプル装着デバイス内のサンプルの画像を取り込むことと、
(d)画像化装置が取り込んだサンプル画像内のモニタリングマークを検出することと、
(e)サンプル画像を非重複領域に分割することと、
(f)局所領域で検出された4つを超える非共線のモニタリングマークを用いて、領域ベースのマークグリッドを各非重複領域に対して作成することと、
(g)画像化装置が取り込んだサンプル画像から検出されたモニタリングマークに基づいて、(f)にない他のすべての領域に対してマークグリッドを作成することと、
(h)(f)の各領域に対して領域特定のホモグラフィ変換を、(f)から作成したその独自の領域ベースのマークグリッドに基づいて計算することと、
(i)(g)で作成したマークグリッドに基づいて、(f)にない他のすべての領域に対してホモグラフィ変換を計算することと、
(j)(g)の領域ベースのホモグラフィ変換に基づいて、(f)の各領域に対して領域ベースのTLDを推定することと、
(k)(i)のホモグラフィ変換に基づいて、(f)にない他の領域に対してTLDを推定することと、
(l)(j)及び(k)から推定したTLDを適用して、画像ベースのアッセイにおいて各画像分割における画像化された微小特徴の面積及び濃度を決定することと
を含む、任意の先行する実施形態の方法、デバイス、またはシステム。
T9.サンプル保持デバイス内のモニタリングマークは、規定されたピッチ周期を伴う周期パターンに従って分布している任意の先行する実施形態の方法、デバイス、またはシステム。
T10.前記モニタリングマークを検出して、較正及び画像ベースのアッセイにおける測定精度の向上のための検出可能アンカーとして適用する任意の先行する実施形態の方法、デバイス、またはシステム。
T11.画像化装置が取り込んだサンプル画像内のモニタリングマークの検出では、エラー補正及び/または検出の信頼性用のサンプル保持デバイス内でのモニタリングマーク分布の周期性を用いる任意の先行する実施形態の方法、デバイス、またはシステム。
T12.画像ベースのアッセイにおける前記モニタリングマークの検出、特定、面積及び/または形状輪郭の推定は、機械学習(ML)を通して、MLベースのモニタリングマーク検出モデルと、画像ベースのアッセイにおいて前記デバイス上で画像化装置が取り込んだ画像から構築またはトレーニングされた装置とを用いて行う任意の先行する実施形態の方法、デバイス、またはシステム。
T13.画像ベースのアッセイにおける前記モニタリングマークの検出、特定、面積及び/または形状輪郭の推定は、画像処理、または機械学習と結合した画像処理を通して行う任意の先行する実施形態の方法、デバイス、またはシステム。
T14.検出したモニタリングマークを画像ベースのアッセイにおけるTLD推定に適用して、システムを較正し及び/または画像化ベースのアッセイにおける測定精度を向上させる任意の先行する実施形態の方法、デバイス、またはシステム。
T15.検出したモニタリングマークを画像ベースのアッセイにおける微小特徴サイズ、体積及び/または濃度の推定(これらに限定されない)に適用して、システムを較正し及び/または測定精度を向上させる任意の先行する実施形態の方法、デバイス、またはシステム。
T16.モニタリングマークの検出及び/またはTLD推定を画像ベースのアッセイにおける故障検出(サンプル保持デバイス内の欠陥、画像化装置内でのサンプル保持デバイスの置き違い、及び/または画像化装置のフォーカシング故障の検出が挙げられるが、これらに限定されない)に適用する任意の先行する実施形態の方法、デバイス、またはシステム。
T17.前記モニタリングマークを、画像ベースのアッセイにおいて物体の面積を推定するシステムにおいて適用するアンカーとして検出し、
i.サンプルを、画像ベースのアッセイにおいて前記デバイス内にモニタリングマークが存在するサンプル保持デバイスに装着することと、
ii.微小特徴とモニタリングマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むことと、
iii.サンプル保持デバイス上で画像化装置が取り込んだサンプル画像内のモニタリングマークを検出して、画像ベースのアッセイにおいてTLDを決定して面積推定値を計算し、画像化した物体のサイズを画像内の画素から決定し、現実世界でのマイクロメートルでのその物理的寸法を決定する任意の先行する実施形態の方法、デバイス、またはシステム。
T18.システムには、
i.デジタル画像内のモニタリングマークを検出することと、
ii.モニタリングマークグリッドを作成することと、
iii.モニタリングマークグリッドに基づいて画像変換を計算することと、
iv.画像ベースのアッセイにおいてサンプル画像内の物体の面積と現実世界でのその物理的寸法とを推定することと
を含む、任意の先行する実施形態の方法、デバイス、またはシステム。
T19.検出したモニタリングマークから作成したモニタリングマークグリッドを用いてホモグラフィ変換を計算して、TLD、画像化装置が取り込んだサンプル画像内での物体の面積、及び現実世界での物体の物理的寸法を推定する任意の先行する実施形態の方法、デバイス、またはシステム。
T20.方法には、
i.画像ベースのアッセイにおいて画像化装置が取り込んだサンプル画像を非重複領域に分割することと、
ii.画像内の局所的なモニタリングマークを検出することと、
iii.領域内で4つを超える非共線のモニタリングマークが検出された場合にその領域に対する領域ベースのマークグリッドを作成することと、
iv.画像化装置が取り込んだサンプル画像内で検出されたモニタリングマークに基づいて、他のすべての領域に対するマークグリッドを作成することと、
v.(iii)の各領域に対して、作成した領域ベースのマークグリッドから領域ベースのホモグラフィ変換を計算することと、
vi.(iv)で作成したマークグリッドに基づいて、(iii)にない他のすべての領域に対してホモグラフィ変換を計算することと、
vii.(v)及び(vi)から生成したホモグラフィ変換に基づいて、各領域に対してTLDを推定し、画像ベースのアッセイにおいて各領域におけるサンプルの画像内での物体の面積と現実世界でのそのサイズとを決定することと
が含まれる、任意の先行する実施形態の方法、デバイス、またはシステム。
T21.アッセイは医療、診断、化学的または生物学的試験である任意の先行する実施形態の方法、デバイス、またはシステム。
T22.前記微小特徴は細胞である任意の先行する実施形態の方法、デバイス、またはシステム。
T23.前記微小特徴は血球である任意の先行する実施形態の方法、デバイス、またはシステム。
T24.前記微小特徴はタンパク質、ペプチド、DNA、RNA、核酸、小分子、細胞、またはナノ粒子である任意の先行する実施形態の方法、デバイス、またはシステム。
T25.前記微小特徴には標識が含まれる任意の先行する実施形態の方法、デバイス、またはシステム。
T26.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
(a)サンプル画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り込み、画像にはサンプル及びモニタリングマークの両方が含まれる、受け取ることと、
(b)検出モデルを用いて画像を解析して画像の2Dデータアレイを作成することであって、2Dデータアレイには画像内の各場所に対する微小特徴の確率データが含まれ、検出モデルはトレーニングプロセスを通して設定され、トレーニングプロセスには、
i.注釈付きデータセットを畳み込みニューラルネットワークに供給することであって、注釈付きデータセットは、テストサンプルと同じタイプのサンプルからであり、同じ微小特徴に対するものである、供給することと、
ii.畳み込みによって検出モデルをトレーニングして設定することと
が含まれる、作成することと、
(c)2Dデータアレイを解析して、局所的な信号ピークを、
i.信号リストプロセス、または
ii.局所的な検索プロセス
を用いて検出することと、
(d)局所的な信号ピーク情報に基づいて微小特徴の量を計算することと
に適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
T27.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
前記プログラムをコンピューティングデバイス上でまたはネットワーク接続によってコンピューティングクラウドにおいて実行したときに、
(a)サンプル中の物体とサンプル保持デバイス上で画像化装置が取り込んだサンプル画像内の前記物体の画素輪郭マップとの間の推論のパターンを表すことと、
(b)サンプル画像内の推論パターンから検出した少なくとも1つの物体の画像を数値的に再構成して、物体にフォーカスが合っている場合に推論モジュールによって特定された物体を囲む輪郭マスクを作成することと、
(c)サンプル画像の少なくとも1つの部分を、サンプル画像の選択部分における少なくとも1つの物体に対して特定することと、
(d)、前記少なくとも1つの部分から物体の少なくとも1つの特徴を計算して、画像化装置が取り込んだサンプル画像の選択部分における物体を特定することと、
(e)サンプル画像の選択部分から、選択部分における検出した物体のカウント及びその濃度を計算することと
に適用及び適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
T28.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
(a)サンプル画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り込み、画像にはサンプル及びモニタリングマークの両方が含まれる、受け取ることと、
(b)画像を解析して微小特徴の量を計算することであって、解析では機械学習とモニタリングマークの画像によって得られる情報とに基づく検出モデルを用いる、計算することと
に適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
任意の先行する実施形態のコンピュータプログラムを含むコンピュータ可読記憶媒体またはメモリ記憶ユニットをさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
任意の先行する実施形態の計算デバイスを含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
任意の先行する実施形態のコンピュータプログラム製品を含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
任意の先行する実施形態のコンピュータ可読記憶媒体または記憶ユニットを含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
サンプルを分析するためのデバイスであって、
第1のプレート、第2のプレート、表面増幅層、及び捕捉剤を含み、
(a)第1及び第2のプレートは、互いに対して移動して異なる構成になることができ、その対応する表面上に、標的検体を含むサンプルに接触するためのサンプル接触面積を有し、
(b)表面増幅層はサンプル接触面積の1つ上にあり、
(c)捕捉剤は表面増幅層上に固定化され、捕捉剤は標的検体に特異的に結合し、表面増幅層は標的検体または標的検体に取り付けられた標識からの光信号を、それらが表面増幅層の付近にあるときに、それらがミクロン以上離れているときよりもはるかに大きく増幅し、
構成の1つは開構成であり、2つのプレートの内面間の平均間隔は少なくとも200umであり、
構成のもう一つは閉構成であり、サンプルの少なくとも一部は2つのプレート間にあり、プレートの内面間の平均間隔は200um未満である、デバイス。
サンプルを分析するためのデバイスであって、
第1のプレート、第2のプレート、表面増幅層、及び捕捉剤を含み、
(a)第1及び第2のプレートは、互いに対して移動して異なる構成になることができ、その対応する表面上に、標的検体を含むサンプルに接触するためのサンプル接触面積を有し、
(b)表面増幅層はサンプル接触面積の1つ上にあり、
(c)捕捉剤は表面増幅層上に固定化され、捕捉剤は標的検体に特異的に結合し、
表面増幅層は標的検体に取り付けられた標識からの光信号を、それが表面増幅層の付近にあるときに、それがミクロン以上離れているときよりもはるかに大きく増幅し、構成の1つは開構成であり、2つのプレートの内面間の平均間隔は少なくとも200umであり、
構成のもう一つは閉構成であり、サンプルの少なくとも一部は2つのプレート間にあり、プレートの内面間の平均間隔は200um未満であり、
閉構成におけるサンプルの厚さ、閉構成においてサンプルに溶解した標識の濃度、及び表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された任意の標識が閉構成において未結合標識を洗い流すことなく見えるように、構成されている、デバイス。
任意の先行する実施形態のデバイスとデバイスを読み取るための読取機とを含む装置。
任意の先行する実施形態のデバイスを用いる均一アッセイ法であって、閉構成におけるサンプルの厚さ、標識の濃度、及び増幅表面の増幅率は、増幅表面上に結合された標識(複数可)を、未結合標識を洗い流すことなく見えるように構成されている、均一アッセイ法。
方法を、
任意の先行する実施形態のいずれかのデバイスを取得することと、
プレートが開構成にあるときにサンプルを一方または両方のプレート上に堆積させることと、
プレートを閉じて閉構成にすることと、
サンプル接触面積を読み取りデバイスを用いて読み取って信号の画像を形成することと
によって行う、任意の先行する実施形態の方法。
増幅表面に結合された標識は60秒未満で見える任意の先行する実施形態のデバイスまたは方法。
方法は、任意の生物学的材料または増幅表面に結合された標識を洗浄ステップを用いて取り除くことなく信号を読み取る均一アッセイである任意の先行する実施形態のデバイスまたは方法。
増幅表面に結合された標識を画素化された読み取り方法によって読み取る任意の先行する実施形態のデバイスまたは方法。
増幅表面に結合された標識を一括の読み取り方法によって読み取る任意の先行する実施形態のデバイスまたは方法。
アッセイは検出感度が0.1nM以下である任意の先行する実施形態のデバイスまたは方法。
方法生物学的材料または増幅表面に結合された標識は読み取り前にスポンジによって取り除かれる任意の先行する実施形態のデバイスまたは方法。
信号増幅層にはD2PAが含まれる任意の先行する実施形態のデバイスまたは方法。
信号増幅層には金属材料層が含まれる任意の先行する実施形態のデバイスまたは方法。
信号増幅層には、金、銀、銅、アルミニウム、それらの合金、及びそれらの組み合わせからなる群から選択される材料で形成される連続的な金属膜が含まれる任意の先行する実施形態のデバイスまたは方法。
異なる金属の層は、光信号を高めるために局所的に高めるかもしくは反射体として働くかまたは両方を行う任意の先行する実施形態のデバイスまたは方法。
信号増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にある任意の先行する実施形態のデバイスまたは方法。
金属材料層は均一な金属層、ナノ構造の金属層、または組み合わせである任意の先行する実施形態のデバイスまたは方法。
プラズモン増強によって信号を増幅する任意の先行する実施形態のデバイスまたは方法。
アッセイには標識をラマン散乱によって検出することが含まれる任意の先行する実施形態のデバイスまたは方法。
捕捉剤は抗体である任意の先行する実施形態のデバイスまたは方法。
捕捉剤はポリヌクレオチド任意の先行する実施形態のデバイスまたは方法。
デバイスにはさらに、プレートの1つ上に固定されたスペーサが含まれ、スペーサは閉構成における第1のプレートと第2のプレートとの間の間隔を調整する任意の先行する実施形態のデバイスまたは方法。
表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された単一標識からの光信号が見えるように調整される任意の先行する実施形態のデバイスまたは方法。
表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された単一標識からの光信号が見えるように調整され、捕捉剤に結合された見える単一標識は別個にカウントされる任意の先行する実施形態のデバイスまたは方法。
閉構成における第1のプレートと第2のプレートとの間の間隔は、捕捉剤に対する標的検体の飽和結合時間が300秒以下になるように構成されている任意の先行する実施形態のデバイスまたは方法。
閉構成における第1のプレートと第2のプレートとの間の間隔は、捕捉剤に対する標的検体の飽和結合時間が60秒以下になるように構成されている任意の先行する実施形態のデバイスまたは方法。
表面増幅層の増幅率は、単一標識からの光信号が見えるように調整される任意の先行する実施形態のデバイスまたは方法。
捕捉剤は核酸である任意の先行する実施形態のデバイスまたは方法。
捕捉剤はタンパク質である任意の先行する実施形態のデバイスまたは方法。
捕捉剤は抗体である任意の先行する実施形態のデバイスまたは方法。
第2のプレートのサンプル接触面積は試薬保存部位を有し、保存部位は閉構成における第1のプレート上の結合部位のほぼ上方にある任意の先行する実施形態のデバイスまたは方法。
試薬保存部位には標的検体に結合する検出剤が含まれる任意の先行する実施形態のデバイスまたは方法。
検出剤には標識が含まれる任意の先行する実施形態のデバイスまたは方法。
捕捉剤及び検出剤の両方が標的検体に結合して、標識を含むサンドイッチを形成する任意の先行する実施形態のデバイスまたは方法。
信号増幅層には金属材料層が含まれる任意の先行する実施形態のデバイスまたは方法。
信号増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にある任意の先行する実施形態のデバイスまたは方法。
金属材料層は均一な金属層、ナノ構造の金属層、または組み合わせである任意の先行する実施形態のデバイスまたは方法。
増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にあり、誘電体材料層は厚さが0.5nm、1nm、5nm、10nm、20nm、50nm、00nm、200nm、500nm、1000nm、2um、3um、5um、10um、20um、30um、50um、100um、200um、500um、またはいずれか2つの値の範囲内である任意の先行する実施形態のデバイスまたは方法。
方法にはさらに、画像の面積内の信号を定量化してサンプル中の1つ以上の検体の量の推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
方法には、画像の面積における検体と捕捉剤との間の個々の結合事象を特定してカウントすることによって、サンプル中の1つ以上の検体の量の推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
特定してカウントするステップには、(1)バックグラウンド信号の局所的な強度を決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号強度を決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
特定してカウントするステップには、(1)バックグラウンド信号の局所的なスペクトルを決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号スペクトルを決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
特定してカウントするステップには、(1)バックグラウンド信号の局所的なラマンシグネチャを決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号ラマンシグネチャを決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
特定してカウントするステップには、局所的な強度、スペクトル、及びラマンシグネチャのうちの1つ以上を決定することが含まれる任意の先行する実施形態のデバイスまたは方法。
方法には、画像の面積における一括の信号を定量化することによって、サンプル中の1つ以上の検体の量を推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
第2のプレートのサンプル接触面積は試薬保存部位を有し、保存部位は、閉構成では、第1のプレート上の結合部位のほぼ上方にある任意の先行する実施形態のデバイスまたは方法。
方法にはさらに、標的検体を検出剤によって標識化するステップが含まれる任意の先行する実施形態のデバイスまたは方法。
検出剤には標識が含まれる任意の先行する実施形態のデバイスまたは方法。
捕捉剤及び検出剤の両方が標的検体に結合してサンドイッチを形成する任意の先行する実施形態のデバイスまたは方法。
方法にはさらに、読み取りデバイスによって画像化された面積におけるサンプルの体積を測定することが含まれる任意の先行する実施形態のデバイスまたは方法。
標的検体はタンパク質、ペプチド、DNA、RNA、核酸、小分子、細胞、またはナノ粒子である任意の先行する実施形態のデバイスまたは方法。
画像は信号の位置、局所的な強度、及び局所的なスペクトルを示す任意の先行する実施形態のデバイスまたは方法。
信号は、蛍光、エレクトロルミネッセンス、化学発光、及び電気化学発光信号からなる群から選択される発光信号任意の先行する実施形態のデバイスまたは方法。
信号はラマン散乱信号である任意の先行する実施形態のデバイスまたは方法。
信号は、プレートと読み取りデバイスとの間の局所的な電気的、局所的な機械的、局所的な生物学的、または局所的な光学的相互作用に起因する力である任意の先行する実施形態のデバイスまたは方法。
スペーサはピラー形状を有し、ほぼ均一な断面を有する任意の先行する実施形態の方法またはデバイス。
スペーサ間距離(SD)は約120um(マイクロメートル)以下である任意の先行する実施形態の方法またはデバイス。
スペーサ間距離(SD)は約100um(マイクロメートル)以下である任意の先行する実施形態の方法またはデバイス。
スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD/(hE))が、5x10um/GPa以下である任意の先行する実施形態の方法またはデバイス。
スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD/(hE))が、5x10um/GPa以下である任意の先行する実施形態の方法またはデバイス。
スペーサは、ピラー形状、実質的に平坦な上面、所定の略均一な高さ、及び検体のサイズよりも少なくとも約2倍大きい所定の一定のスペーサ間距離を有し、スペーサのYoung率×スペーサの充填率は2MPa以上であり、充填率はスペーサ接触面積対全プレート面積の比であり、各スペーサに対して、スペーサの横寸法対その高さの比は少なくとも1(イチ)である任意の先行する実施形態の方法またはデバイス。
スペーサは、ピラー形状、実質的に平坦な上面、所定の略均一な高さ、及び検体のサイズよりも少なくとも約2倍大きい所定の一定のスペーサ間距離を有し、スペーサのYoung率×スペーサの充填率は2MPa以上であり、充填率はスペーサ接触面積対全プレート面積の比であり、各スペーサに対して、スペーサの横寸法対その高さの比は少なくとも1(イチ)であり、スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD/(hE))が、5x10um/GPa以下である任意の先行する実施形態の方法またはデバイス。
スペーサの間隔間距離対スペーサの平均幅の比は2以上であり、スペーサの充填率にスペーサのYoung率を乗じたものは2MPa以上である任意の先行する実施形態の方法またはデバイス。
検体はタンパク質、ペプチド、核酸、合成化合物、または無機化合物である任意の先行する実施形態の方法またはデバイス。
サンプルは、羊水、房水、硝子体、血液(たとえば、全血、分画血液、血漿または血清)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、呼気、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹腔液、胸膜液、膿、粘膜分泌物、唾液、呼気凝縮液、皮脂、***、痰、汗、滑液、涙、嘔吐物、及び尿から選択された生物学的サンプルである任意の先行する実施形態の方法またはデバイス。
スペーサはピラーの形状を有し、ピラーの幅対高さの比は1以上である任意の先行する実施形態の方法またはデバイス。
プレートの一方または両方に堆積されるサンプルの体積は分かっていない任意の先行する実施形態の方法またはデバイス。
スペーサはピラーの形状を有し、ピラーは略均一な断面を有する任意の先行する実施形態の方法またはデバイス。
サンプルは、特定の病気のステージと相関する化合物または生体分子の検出、精製、及び定量化用である任意の先行する実施形態の方法またはデバイス。
サンプルは、感染症及び寄生病、負傷、心血管疾患、がん、精神障害、神経精神障害、肺疾患、腎臓病、ならびに他及び器質性疾患に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは微生物の検出、精製、及び定量化に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは環境(たとえば、水、土壌、または生物学的サンプル)からのウィルス、菌類、及び細菌に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、食品の安全または国の安全に危険を引き起こす化合物または生物学的サンプル(たとえば、有毒廃棄物、炭疽)の検出、定量化に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、医療用または生理モニタにおけるバイタルパラメータの定量化に関係する任意の先行する実施形態の方法またはデバイス。
サンプルはブドウ糖、血液、酸素レベル、全血球計算に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、生物学的サンプルからの特異的DNAまたはRNAの検出及び定量化に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、ゲノム解析用の染色体及びミトコンドリア内のDNAにおける遺伝子配列の配列決定及び比較に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、たとえば医薬品の合成または精製中の反応生成物の検出に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは細胞、組織、体液、及び糞便である任意の先行する実施形態の方法またはデバイス。
サンプルは、ヒト、獣医、農業、食品、環境、及び薬物検査の分野におけるサンプルである任意の先行する実施形態の方法またはデバイス。
サンプルは、毛髪、指の爪、耳垢、呼気、結合組織、筋肉組織、神経組織、上皮組織、軟骨、がんサンプル、または骨から選択された生物学的サンプルである任意の先行する実施形態の方法またはデバイス。
スペーサ間距離は5um〜120umの範囲である任意の先行する実施形態の方法またはデバイス。
スペーサ間距離は120um〜200umの範囲である任意の先行する実施形態の方法またはデバイス。
柔軟なプレートは厚さが20um〜250umの範囲であり、Young率が0.1〜5GPaの範囲である任意の先行する実施形態の方法またはデバイス。
柔軟なプレートは、柔軟なプレートの厚さ×柔軟なプレートのYoung率が60〜750GPa−umの範囲である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも1mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも3mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも5mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも10mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも20mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は20mm〜100mmの範囲の側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は、厚さ均一性が最大で+/−5%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は、厚さ均一性が最大で+/−10%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は、厚さ均一性が最大で+/−20%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は、厚さ均一性が最大で+/−30%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
5つ以上のモニタリングマークを有し、モニタリングマークのうちの少なくとも3つは直線上にない任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
各プレートには、その対応する外面上に、プレートを同時に強制する不正確な押圧を印加するための力面積が含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
一方または両方のプレートが柔軟である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
スペーサ間距離(IDS)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD4/(hE))が、5x106um3/GPa以下である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
スペーサの少なくとも1つがサンプル接触面積の内部にある任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
検体の脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
アルゴリズムの脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
手動による圧痕力及び押圧の脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
アルゴリズムは非一時的コンピュータ可読媒体上に記憶され、アルゴリズムには、実行されると、デバイスのモニタリングマークを用いて検体に対応する特性を決定する方法を実施する命令が含まれる任意の先行する実施形態のデバイス、システム、または方法。
マークのいくつかの例
本発明では、いくつかの実施形態において、マークはスペーサと同じ形状を有する。
いくつかの実施形態では、マークは周期的または非周期的である。
いくつかの実施形態では、2つのマーク間の距離は予め決められて分かっているが、プレート上の絶対座標は分かっていない。
いくつかの実施形態では、マークの形状は予め決められて分かっている。
いくつかの実施形態では、プレートの位置とは関係なく画像化光学系の視野内に常にマークがあるようなプレート内の分布を有するようにマークは構成されている。
いくつかの実施形態では、マークのプレート内での分布は、プレートの位置とは関係なく画像化光学系の視野内に常にマークがあり、またマークの数が局所的な光学情報に対して十分であるように構成されている。
いくつかの実施形態では、マークを用いてサンプルの局所面積の光学特性を制御し、面積サイズは1um^2、5um^2、10um^2、20um^2、50um^2、100um^2、200um^2、500um^2、1000um^2、2000um^2、5000um^2、10000um^2、100000um^2、500000um^2、またはいずれか2つの値の間の範囲である。
「限定された画像化光学系」の使用
本発明では、いくつかの実施形態において、画像化アッセイに対する光学システはム「限定された画像化光学系」を有している。限定された画像化光学系のいくつかの実施形態には、限定することなく、以下が含まれる。
1.限定された画像化光学系システムであって、
結像レンズと、
画像化センサと、を含み、
画像化センサはスマートフォンのカメラの一部であり、
結像レンズの少なくとも1つはスマートフォンのカメラの一部である、限定された画像化光学系システム。
2.物理による光学解像度が、1um、2um、3um、5um、10um、50umよりも悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
3.物理による光学解像度が、1um、2um、3um、5um、10um、50umよりも悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
4.物理あたりの好ましい光学解像度は1um〜3umである任意の先行する実施形態の限定された画像化光学系システム。
5.開口数が1、0.15、0.2、0.2、0.25、0.3、0.35、0.4、0.45、0.5未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
6.好ましい開口数は0.2〜0.25である任意の先行する実施形態の限定された画像化光学系システム。
7.作動距離が0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
8.作動距離が0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
9.好ましい作動距離は0.5mm〜1mmである任意の先行する実施形態の限定された画像化光学系システム。
10.焦点深度が100nm、500nm、1um、2um、10um、100um、1mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
11.焦点深度が100nm、500nm、1um、2um、10um、100um、1mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
12.画像センサはスマートフォンカメラモジュールの一部である任意の先行する実施形態の限定された画像化光学系システム。
13.画像センサの対角長さは、1インチ、1/2インチ、1/3インチ、1/4インチ未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
14.結像レンズは少なくとも2つのレンズを含み、1つのレンズはスマートフォンのカメラモジュールの一部である任意の先行する実施形態の限定された画像化光学系システム。
15.少なくとも1つの外部レンズはスマートフォンの内部レンズと対になっている任意の先行する実施形態の限定された画像化光学系システム。
16.外部レンズの光軸はスマートフォンの内部レンズと位置合わせされており、位置合わせ許容範囲は、0.1mm、0.2mm、0.5mm、1mm未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
17.外部レンズの高さは、2mm、5mm、10mm、15mm、20m未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
18.外部レンズの好ましい高さは3mm〜8mmである任意の先行する実施形態の限定された画像化光学系システム。
19.外部レンズの好ましい高さは3mm〜8mmである任意の先行する実施形態の限定された画像化光学系システム。
20.外部レンズの直径が、2mm、4mm、8mm、10mm、15mm、20mm未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
21.物理あたりの光学倍率が、0.1X、0.5X、1X、2X、4X、5X、10X未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
22.物理あたりの好ましい光学倍率は0.1X、0.5X、1X、2X、4X、5X、10X未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
「限定されたサンプル操作」の使用
本発明では、いくつかの実施形態において、画像化アッセイに対するサンプル位置決めシステムが「限定されたサンプル操作」を有している。限定されたサンプル操作のいくつかの実施形態には、限定することなく、以下が含まれる。
限定されたサンプル操作システムの説明。
1.限定されたサンプル操作システムであって、
サンプルホルダを含み、
サンプルホルダはサンプルカードを収容するための容器を有する限定されたサンプル操作システム。
2.光軸に沿った方向でサンプルを位置決めする精度は、0.1um、1um、10um、100um、1mmより悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
3.光軸に沿った方向でサンプルを位置決めする好ましい精度は50um〜200umである任意の先行する実施形態の限定されたサンプル操作システム。
4.光軸に垂直な平面内でサンプルを位置決めする精度は、0.01um、0.1um、1um、10um、100um、1mmより悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
5.光軸に垂直な平面内でサンプルを位置決めする好ましい精度は100um〜1mmである任意の先行する実施形態の限定されたサンプル操作システム。
6.サンプルカードを位置決めするレベル誤差は、0.01度、0.1度、0.5度、1度、10度より悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
7.サンプルカードを位置決めする好ましいレベル誤差は0.5度〜10度である任意の先行する実施形態の限定されたサンプル操作システム。
8.サンプルカードを位置決めする好ましいレベル誤差は0.5度〜10度である任意の先行する実施形態の限定されたサンプル操作システム。
モニタリングマークの鋭いエッジ
用語「鋭い光学的エッジ」は、以下の特性を伴う特定の光学システムが取り込んだ画像内の物体のエッジまたは境界を指す。画像内の物体のエッジまたは境界において、光強度(R、G、B、グレー、色相、輝度を含むが、これらに限定されない)が場所に対して大きく変化する。たとえば、定量的には、図19に示すように、境界において、規格化強度が90%から10%まで減少する距離(X90%)は、このような光学システムによる画像内の物体の長さの5%未満でなければならない。言い換えれば、境界勾配=90%/X90%>1800%/物体の長さである。鋭いエッジの例は、平坦な頂部とほぼ90度の側壁とを有するピラースペーサのエッジである。鋭いエッジがない物体の例は球体である。
モニタマークを用いたTLD及び体積推定の例
図7Aに、本発明のいくつかの実施形態で用いるサンプル保持デバイス、QMAXデバイス、及びそのモニタマーク、ピラーの実施形態を示す。QMAXデバイス内のピラーによって、サンプル保持デバイスの2つの平行なプレート間のギャップが均一になる。ギャップは狭く、検体がギャップ内で単層を形成する場合に検体のサイズに関連している。また、QMAXデバイス内のモニタリングマークはピラーの特別な形態であり、結果として、それらはサンプルによって浸漬されておらず、画像ベースのアッセイにおいて画像化装置によってサンプルとともに画像化することができる。
モニタマークを用いたTLD(真の横寸法)推定の例
TLD及び真の体積推定に対する本発明のいくつかの実施形態では、モニタマーク(ピラー)を検出可能アンカーとして用いる。しかし、モニタリングマークの検出を、画像ベースのアッセイにおけるTLD推定に適した精度で行うのは難しい。その理由は、これらのモニタリングマークはサンプル保持デバイスの内部の検体に浸透して周りを囲まれているからである。それらは、レンズからの歪み、サンプル中の微小物体からの光回折、微視的レベルでの欠陥、フォーカシングの誤位置合わせ、サンプル画像内のノイズなどが原因で画像内で歪んでボケている。また画像化装置が汎用デバイスからのカメラ(たとえばスマートフォンからのカメラ)だとさらに難しくなる。なぜならば、このようなカメラは、いったん製造を離れると、専用のハードウェアによって較正されることはないからである。
本発明では、モニタマークをTLD推定用の検出可能アンカーとして検出及び場所特定することを機械学習のフレームワークにおいて定式化し、専用の機械学習モデルを、モニタマークを微視的画像化において検出するように構築/トレーニングする。また、本発明のいくつかの実施形態におけるモニタマークの分布は、周期的となるように、また所定のパターンで分布するように意図的に形成されている。このため、本発明におけるアプローチはより堅固で信頼性の高いものとなっている。
本発明の実施形態には以下が含まれる。
(1)サンプルをサンプル保持デバイス(たとえば、QMAXデバイス)に装着することであって、既知の構成を伴うモニタマークがデバイス内に存在し、モニタマークはサンプル中に浸漬しておらず、画像化装置によって画像化することができる、装着すること。
(2)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むこと。
(3)サンプル画像内のモニタマークを検出するように機械学習(ML)モデルを構築及びトレーニングすること。
(4)(3)からの前記ML検出モデルを用いて、サンプル画像から、サンプル保持デバイス内のモニタマークを検出して場所を特定すること。
(5)(4)で検出したモニタマークからマークグリッドを作成すること。
(6)作成したモニタマークグリッドに基づいてホモグラフィ変換を計算すること。
(7)(6)からのホモグラフィ変換から、サンプル画像の真の横寸法を推定して保存すること。
(8)(7)から推定したTLDを以後の画像ベースのアッセイにおいて適用して検体の面積、サイズ、体積、及び濃度を決定すること。
本発明のいくつかの実施形態では、領域ベースのTLD推定及び較正を画像ベースのアッセイにおいて用いる。それには以下が含まれる。
(1)サンプルをサンプル保持デバイス(たとえば、QMAXデバイス)に装着することであって、デバイス内にモニタマークが存在し、モニタはサンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置によって画像化することができる、装着すること。
(2)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むこと。
(3)画像化装置が取り込んだサンプル画像からモニタリングマークを検出するために、機械学習(ML)モデルを構築及びトレーニングすること。
(4)画像化装置が取り込んだサンプル画像を非重複領域に分割すること。
(5)(3)のMLモデルを用いて、画像化装置が取り込んだサンプル画像からモニタマークを検出して場所を特定すること。
(6)局所領域で検出された4つを超える非共線のモニタマークを用いて各領域に対する領域ベースのマークグリッドを作成すること。
(7)画像化装置が取り込んだサンプル画像から検出したモニタマークに基づいて、(6)にないすべての領域に対してマークグリッドを形成すること。
(8)(6)の各領域に対して領域特定のホモグラフィ変換を、(6)で作成したその独自の領域ベースのマークグリッドに基づいて計算すること。
(9)(7)で作成したマークグリッドに基づいて、他のすべての領域に対してホモグラフィ変換を計算すること。
(10)(8)で生成した領域ベースのホモグラフィ変換に基づいて、(6)の各領域に対して領域ベースのTLDを推定すること。
(11)(9)からのホモグラフィ変換に基づいて、他の領域に対してTLDを推定すること。
(12)(10)及び(11)から推定したTLDを保存して、分割した領域上での以後の画像ベースのアッセイにおいて適用すること。
モニタマークが所定の周期パターンで、たとえばQMAXデバイス内に分布するとき、それらは特定のピッチで周期的に生じて分布する。その結果、モニタマーク検出は、前述した手順においてより堅固で信頼性の高いものとなる。その理由は、周期性により、すべてのモニタマークをほんの少数の検出されたものから特定して決定することができるからであり、検出した場所及び構成が所定の周期パターンに従わない場合には検出誤差を補正してなくすことができる。
用語「モニタリングマーク」、「モニタマーク」、及び「マーク」は、本発明の説明において交換可能である。
用語「画像化装置」及び「カメラ」は本発明の説明において交換可能である。
用語「ノイズ除去」は受信信号からノイズを取り除くプロセスを指す。一例は、画像化装置/カメラからの画像が種々の供給源(ホワイトノイズ、ごま塩ノイズ、ガウシアンノイズなどを含むが、これらに限定されない)からノイズを拾う可能性があるために、サンプル画像内のノイズを取り除くことである。ノイズ除去する方法としては、線形及び非線形フィルタリング、ウェーブレット変換、統計的方法、深層学習などが挙げられるが、これらに限定されない。
用語「画像正規化」は、処理した画像内の画素強度値の範囲を変えるアルゴリズム、方法、及び装置を指す。たとえば、ヒストグラムストレッチングによってコントラストを増加させること、各画像から平均の画素値を差し引くことなどが挙げられるが、これらに限定されない。
本発明のいくつかの実施形態では、サンプル保持デバイス(たとえば、QMAXデバイス)内のモニタリングマークを利用する方法及びアルゴリズムを考案している。これには、画像化装置内の以下のパラメータの推定及び調整が含まれるが、これらに限定されない。
1.シャッタ速度
2.ISO
3.フォーカス(レンズ位置)
4.露出補正
5.ホワイトバランス:温度、色合い
6.ズーミング(倍率)
マークとともに用いる画像処理/解析アルゴリズムの例
本発明のいくつかの実施形態では、画像処理/解析を、本発明におけるモニタリングマークを用いて適用して強化している。それらには、以下の画像処理アルゴリズム及び方法が含まれるが、これらに限定されない。
1.ヒストグラムベースの演算として以下が挙げられるが、これらに限定されない。
a.コントラストストレッチング
b.均等化
c.最小値フィルタ
d.中央値フィルタ
e.最大値フィルタ
2.数学ベースの演算としては以下が挙げられるが、これらに限定されない。
a.二項演算:NOT、OR、AND、XOR、SUBなど
b.算術ベースの演算:ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、INVERTなど
3.空間及び周波数ドメイン両方における畳み込みベースの演算としては、フーリエ変換、DCT、整数変換、ウェーブレット変換などが挙げられるが、これらに限定されない。
4.平滑化演算としては以下が挙げられるが、これらに限定されない。
a.線形フィルタ:均一フィルタ、三角フィルタ、ガウシアンフィルタなど
b.非線形フィルタ:中間フィルタ、桑原フィルタなど
5.微分ベースの演算としては以下が挙げられるが、これらに限定されない。
a.一次微分:勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、など
b.二次微分:基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタなど
c.より高次数微分による他のフィルタなど
6.形態ベースの演算としては以下が挙げられるが、これらに限定されない。
a.拡張及び腐食
b.ブール型畳み込み
c.開閉
d.ヒットアンドミス演算
e.セグメンテーション及び輪郭
f.スケルトン
g.伝搬
h.グレー値形態処理:グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖など
i.形態学的平滑化、形態学的勾配、形態学的ラプラシアンなど。
画像処理/解析手法の他の例
本発明のいくつかの実施形態では、画像処理/解析アルゴリズムを、モニタリングマークとともに用いてこれによって向上させている。それらには以下が含まれるが、これらに限定されない。
1.画像の向上及び復元としては以下が挙げられるが、これらに限定されない。
a.シャープニング及びアンシャープニング
b.ノイズ抑制
c.歪み抑制
2.画像セグメンテーションとしては以下が挙げられるが、これらに限定されない。
a.閾値化−固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、など
b.エッジ発見−勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順など
c.二値数学的形態−ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、など
d.グレー値数学形態−トップハット変換、適応性のある閾値化、局所的コントラストストレッチングなど
3.特徴抽出及びマッチングとしては以下が挙げられるが、これらに限定されない。
a.独立成分分析
b.ISOマップ
c.主成分分析及びカーネル主成分分析
d.潜在意味解析
e.最小二乗及び部分的最小二乗
f.多因子次元削減及び非線形次元削減
g.多重線形主成分分析
h.多重線形部分空間学習
i.半定値埋め込み
j.オートエンコーダ/デコーダ
4.物体検出、分類、及び場所特定。
5.画像理解。
例E1.モニタリングマークを用いた微視的画像化の改善
本発明におけるモニタリングマークを使用することを用いて、微視的画像化におけるフォーカスを向上させる。詳細には、鋭いエッジを伴うモニタリングマークによって、特に弱光環境及び微視的画像化における特定のフォーカス設定のフォーカス状態を解析するためのフォーカス評価アルゴリズムに対する検出可能な(目に見える特徴)が得られる。画像ベースのアッセイの実施形態では、フォーカス評価アルゴリズムはオートフォーカス実施態様における中心である。
いくつかの診断応用例(たとえば、比色分析の吸収ベースのヘモグロビンテスト、及び細胞濃度が非常に低いサンプルに対するCBC)においては、サンプル画像内の検体によって得られる検出可能な特徴では、フォーカス評価アルゴリズムを正確かつ滑らかに実行させるには十分でないことが多い。鋭いエッジを伴うモニタリングマーク(たとえば、QMAXデバイス内のモニタリングマーク)によって、画像ベースのアッセイにおいて必要な精度及び信頼性をフォーカス評価プログラムが実現するためのさらなる検出可能な特徴が得られる。
いくつかの診断応用例では、サンプル中の検体は不均一に分布している。検体によって得られる特徴に単に基づくだけでは、何らかの偏ったフォーカス設定が生じて、いくつかの局所的な高濃度領域に対してフォーカシングの重みが高くなって、低い検体濃度領域が標的でなくなる傾向がある。本発明のいくつかの実施形態では、この影響を、強力なエッジを有し、正確に処理される周期パターンで一様に分布するモニタリングマークの情報からのフォーカシング調整を用いて制御する。
加えて、各画像化装置の画像化解像度は部分的に、その画像化装置センサ内の画素数(100万〜数100万画素で変化する)によって限定される。いくつかの微視的画像化応用例では、検体はサンプル中のサイズが小さいかまたは極めて小さく、たとえば、人血中の血小板のサイズは直径が約1.4umである。画像センサの解像度が限定されていると、標的検出プログラムに特定の数の画素が必要なときに、FOVの利用可能なサイズだけでなく、画像ベースのアッセイにおけるデバイスの能力が著しく制約される。
単一画像超解像度(SISR)は、画像処理及び/または機械学習技術を用いて、当初のソース画像をより高い解像度にアップサンプルし、補間によって生じたボケをできる限り取り除いて、新しく生成された画像上でも物体検出プログラムを実行できるようにする技術である。これによって、前述した制約が著しく減り、本来は不可能ないくつかの応用例が可能になる。形状及び構造が分かっているモニタリングマーク(たとえば、QMAXカード内のモニタマーク)を使えば、SISRアルゴリズムを評価して、ほとんどの既存の従来技術のアルゴリズムによって生じるオーバーシャープニング効果を回避するための局所的な参照として機能することができる。
本発明のいくつかの実施形態では、画像ベースのアッセイにおける物理的なSNR(信号対雑音)制限を壊すために画像融合を行う。
信号対雑音比は、微視的画像化において画像化装置が取り込んだサンプル画像の品質を測定する。画像化装置にはコスト、技術、製造などに起因する実際的な制限が存在する。ある状況では、たとえば巡回健康管理では、応用例に要求されるSNRは、通常の画像化装置で得られる可能性があるものよりも高い。本発明のいくつかの実施形態では、複数の画像を取り込んで処理して(同じ及び/または異なる画像化設定を用いて、たとえば異なるフォーカス深さでフォーカスされた複数の画像を1つの超焦点画像に合併する3D融合の実施形態によって)、SNRがより高い出力画像(複数可)を生成して、このような応用例を可能にする。
しかし、画像化装置または複数の画像化装置が取り込んだ画像には、物理的制限及び実装制約によって生じるいくつかの不完全性及び欠陥が伴う傾向がある。画像ベースのアッセイにおけるサンプルの微視的画像化において状況は深刻になる。なぜならば、サンプル中の検体はサイズが極めて小さく、はっきりしたエッジ特徴がない場合が多いからである。本発明のいくつかの実施形態では、サンプル保持デバイス(たとえば、QMAXカード)内のモニタリングマークを用いて解決方法の改善を図る。
このような実施形態の1つは、画像化装置が取り込んだサンプル画像内の歪みを処理することである。単純な歪みパラメータが分かっている場合には状況は比較的である(ほとんどの製造では、比歪みを記述するためにそのレンズに対する曲線/テーブルを出しており、他の歪みは明確な実験において測定することができる)。しかし、歪みパラメータが分かっていないときには(フォーカス場所及びサンプルによっても変化する可能性がある)、モニタリングマークを用いて、新しいアルゴリズムによって、サンプル保持デバイス(たとえばQMAXカード)の規則的かつ周期的にさえ配置されたモニタリングマークを用いて、歪みパラメータを反復的に推定することができ、単一の座標参照を使う必要がない。
さらなる例
本発明では、いくつかの実施形態において、サンプル保持デバイスは、画像ベースのアッセイにおける微視的特徴を解析するためのいくつかの特別なモニタリングマークを伴う平坦面を有する。いくつかの典型的な実施形態を以下のように列記する。
画像ベースのアッセイにおける微視的サンプルの画像に対する真の横寸法(TLD)推定。真の横寸法(TLD)によって、画像化した検体の現実世界での物理的寸法が決定され、サンプル画像の現実世界での座標(画像ベースのアッセイにおける濃度推定に関係する)も決定される。モニタリングマークを検出可能アンカーとして用いてTLDを決定し、画像ベースのアッセイにおける精度を向上させることができる。本発明の一実施形態では、モニタリングマークを機械学習モデルを用いて検出する。ここからサンプル画像のTLD/FoVが得られる。また、モニタリングマークがサンプル保持デバイスの平坦面上に周期的な分布パターンを有している場合には、画像ベースのアッセイにおいて、モニタリングマークの検出及びサンプル当たりベースのTLD/FoV推定がより信頼性高くかつ堅固になる可能性がある。
検体の分析を、特定の波長の光または多波長の光において検体化合物から測定した応答を用いて行って、検体濃度を予測する。サンプル中に浸漬していないモニタリングマークを用いて、ゼロ濃度に対応するバックグラウンドの光吸収を決定し、光吸収を通して検体濃度を決定することができる。このアプローチは本発明におけるHgBテストである。加えて、各モニタリングマークは、濃度推定を堅固で信頼性の高いものにするための、バックグラウンド吸収に対する独立した検出器として働くことができる。
画像ベースのアッセイ用の微視的画像化におけるフォーカシング均一に分布したモニタリングマークを用いてフォーカス精度を向上させることができる。(a)これは、信頼性の高いフォーカシングを行うために、サンプルに特徴がない/必要な特徴よりも少ない場合に最小量の視覚特徴を得るために用いることができる。これは、モニタリングマークのエッジ内容に起因する弱光において行うことができる。(b)これは、フォーカス判定を偏りのないものにするために、サンプル中の特徴が不均一に分布しているときに視覚特徴を得るために用いることができる。(c)これによって、フォーカス評価アルゴリズムにおける重みを調整するために、サンプルの中身による影響がない/少ない/異なる局所的な照明条件に対する参照を得ることができる。
モニタリングマークは、画像不完全性(原因は、限定することなく、不均一に分布した照明、種々のタイプの画像歪み、ノイズ、及び不完全な画像前処理動作)を検出及び/または補正するための参照として用いることができる。たとえば、図18に示すように、3D世界における直線がサンプル画像内で曲線にマッピングされたときに、マークの位置を用いて比歪みを検出及び/または補正することができる。本明細書で説明するサンプル保持デバイスのモニタリングマークの位置変化に基づいて、画像全体の比分布パラメータを推定することができる。また想定した比歪みパラメータに基づいて歪みが取り除かれた再生画像内の水平/垂直線の線形試験によって、比歪みパラメータの値を反復的に推定することができる。
機械学習(ML)計算の例
機械学習を用いて、サンプル画像内の検体を検出するとともに、検体をそれらの場所に対して覆う境界ボックスを計算する1つの方法を、処理の推論プロセスにおいてトレーニングされた機械学習モデルを用いて行う。機械学習法を用いてサンプル画像内の検体を検出して場所を特定する別の方法は、画素レベルでのサンプル画像内の検体の注釈を伴う検出及びセグメンテーションモデルを構築及びトレーニングすることである。このアプローチでは、画像ベースのアッセイにおいて検体を覆う密な二値画素マスクを用いて、サンプル画像内の検体を検出して場所を特定することができる。
人血中のヘモグロビンを試験するときには、画像を所与の狭帯域波長において取り込んだ後に、検体面積及び参照面積を通る平均エネルギーを解析する。所与の波長及び検体サンプル面積の高さにおける検体の既知の吸収レートに基づいて、濃度を推定することができる。しかしこの測定値にはノイズがある。ノイズを消すために、異なる波長の光を用いて複数の画像を取り込むことができ、機械学習回帰を用いてより正確で堅固な推定を実現することができる。機械学習ベースの推論では、サンプルの複数の入力画像を取り込んで(異なる波長で取り込む)、単一の濃度数を出力する。
E.機械学習のアルゴリズム
E−1.アッセイ及び画像化用のQMAXデバイス
本発明によれば、生物学的検体の検出及び場所特定用のデバイスとして、QMAXデバイス、画像化装置、及びコンピューティングユニットを含むものが開示されている。QMAXデバイス上で生物学的サンプルが疑われている。本開示によって、サンプルに含まれる検体のカウント及び場所を取得する。
本発明によれば、画像化装置によって生物学的サンプルの画像を取り込む。画像をコンピューティングユニットに送り出す。コンピューティングユニットは、画像化装置に物理的に直接接続するか、ネットワークを通して接続するか、または画像転送を通して間接的に接続することができる。
E−2.ワークフロー
開示した検体検出及び場所特定では機械学習深層学習を用いる。機械学習アルゴリズムは、データから学習することができるアルゴリズムである。機械学習のより厳密な定義は、「コンピュータプログラムがタスクT及び性能指標Pのあるクラスに対して経験Eから学習すると言われるのは、Tのタスクにおけるその性能(Pによって測定される)が経験Eによって向上する場合である」である。データから学習してデータを予測することができるアルゴリズムの研究及び構築を探索する。このようなアルゴリズムでは、サンプル入力からモデルを構築することを通してデータ駆動の予測または判定を行うことによって、厳密に静的なプログラム命令に従うことが打開される。
深層学習は、データにおける高水準抽象化のモデリングを試みるアルゴリズムの組に基づく特定の種類の機械学習である。単純な場合では、2組のニューロンが存在し得る。1組は入力信号を受け取り、1組は出力信号を送る。入力層は入力を受け取ると、入力の修正バージョンを次の層に伝える。深いネットワークでは、入力と出力との間に多くの層(及びニューロンで形成されてはいないが、そのように考えることに役立ち得る層)が存在するため、アルゴリズムが複数の線形及び非線形変換からなる複数の処理層を用いることが可能になる。
開示した検体検出及び場所特定ワークフローは、図6Aに示すように2つのステージ(トレーニング及び予測)からなる。以下の段落でトレーニング及び予測ステージについて説明する。
トレーニング
トレーニングステージでは、注釈付きトレーニングデータが畳み込みニューラルネットワーク内に送られる。畳み込みニューラルネットワークは、既知の格子状トポロジを有するデータを処理するための特殊な種類のニューラルネットワークである。例としては、時系列データ(一定の時間間隔でサンプルを取り込む1Dグリッドと考えられる)及び画像データ(2Dグリッドの画素と考えられる)が挙げられる。畳み込みネットワークは実際の応用においてかなりの成功を収めている。名称「畳み込みニューラルネットワーク」は、ネットワークが畳み込みと言われる数学演算を用いていることを示している。畳み込みは特殊な種類の線形動作である。畳み込みネットワークは単に、それらの層の少なくとも1つにおいて汎用行列乗算の代わりに畳み込みを用いるニューラルネットワークである。
トレーニングデータには検出すべき検体に対して注釈を付ける。注釈はトレーニングデータに検体が存在するか否かを示す。注釈は、検体または検体の中心場所を完全に含む境界ボックスの形態で行うことができる。後者の場合、中心場所をさらに変換して、検体を覆う円にする。
トレーニングデータのサイズが大きいときには2つの問題がある。注釈(通常、人が行う)に時間がかかること、そしてトレーニングにコンピューティング費用がかかることである。これらの問題を打開するために、トレーニングデータを小さいサイズのパッチに分割した後に、これらのパッチ(またはこれらのパッチの一部)に対して注釈を付けてトレーニングすることができる。
注釈を付けたトレーニングデータを畳み込みニューラルネットワーク内に送って、モデルトレーニングを行う。出力はモデルであり、これを用いて画像上で画素レベルの予測を行うことができる。完全畳み込みネットワーク(FCN)を伴うCaffeライブラリを用いる。他の畳み込みニューラルネットワークアーキテクチャを用いることもできる。たとえばテンソルフローである。
トレーニングステージでは予測ステージで用いるモデルを生成する。モデルを予測ステージで入力画像に対して繰り返して用いることができる。したがって、コンピューティングユニットに必要なのは、生成されたモデルにアクセスすることだけである。トレーニングデータにアクセスする必要はなく、トレーニングステージをコンピューティングユニット上で実行する必要もない。
予測
予測ステージでは、入力画像に検出コンポーネントを適用し、続いて場所特定コンポーネントを適用する。予測ステージの出力は、サンプルに含まれる検体のカウントとともに各検体の場所である。
検出コンポーネントでは、入力画像とともにトレーニングステージから生成されたモデルを畳み込みニューラルネットワーク内に送る。検出ステージの出力は、ヒートマップの形態の画素レベルの予測である。ヒートマップは入力画像と同じサイズとすることができるか、または入力画像の縮小バージョンとすることができる。ヒートマップ内の各画素は0〜1の値を有し、これは画素が検体に属するか否かの確率(確信)と考えることができる。値が大きいほど検体に属する可能性が高い。
ヒートマップは場所特定コンポーネントの入力である。検体中心を局在化するアルゴリズムについて開示する。主な考え方はヒートマップから局所的なピークを反復的に検出することである。ピークを見つけた後で、ピークを囲むが値がより小さい局所面積を計算する。この領域をヒートマップから取り除いて、残りの画素から次のピークを見つける。プロセスを繰り返すだけで、すべての画素がヒートマップから取り除かれる。
場所特定アルゴリズムの一実施形態は、ヒートマップ値をソートして、最高値から最低値までの1次元の順序付きリストにすることである。そして、最高値の画素を選択して、その画素をその隣とともにリストから取り除く。リスト内の最高値の画素を選択するプロセスを繰り返し、リストからすべての画素が取り除かれるまで行う。
アルゴリズムグローバルサーチ(ヒートマップ)
入力:
ヒートマップ
出力:
座位
座位←{}
ソート(ヒートマップ)
while(ヒートマップが空でない){
s←ポップ(ヒートマップ)
D←{半径Rを伴うsとしてのディスク中心}
ヒートマップ=ヒートマップ\D//ヒートマップからDを取り除く
座位にsを加える
ソートした後、ヒートマップは1次元の順序付きリストであり、ヒートマップ値は最高から最低まで順序付けされている。各ヒートマップ値はその対応する画素座標に付随している。ヒートマップにおける第1の項目は最高値を伴うものであり、ポップ(ヒートマップ)関数の出力である。1つのディスクが生成される。その中心は最高ヒートマップ値を伴うものの画素座標である。ディスク内部に画素座標が存在するすべてのヒートマップ値をヒートマップから取り除く。アルゴリズムは、現在のヒートマップにおける最高値を繰り返しポップアップさせて、その周りのディスクを取り除く。これを項目がヒートマップから取り除かれるまで行う。
順序付きリストヒートマップでは、各項目には前の項目及び後の項目についての情報がある。順序付きリストから項目を取り除くときに、図6Bに例示するように以下の変化を行う。
・取り除く項目がx、その前の項目がx、その後の項目がxであると仮定する。
・前の項目xに対して、その後の項目を、取り除く項目の後の項目と再規定する。したがって、xの後の項目は今度はxとなる。
・取り除く項目xに対して、その前の項目及び後の項目を規定しない。その結果、取り除く項目が、順序付きリストから取り除かれる。
・後の項目xに対して、その前の項目を、取り除いた項目の前の項目に再規定する。したがって、xの前の項目は今度はxとなる。
順序付きリストからすべての項目が取り除かれたら、場所特定アルゴリズムは完了する。設定座位内の要素の数は検体のカウントであり、場所情報は設定座位における各sに対する画素座標である。
別の実施形態では局所的なピークを探す。これは、最高ヒートマップ値を伴うものには必要ではない。各局所的なピークを検出するために、ランダム開始点から始めて極大値を探す。ピークを見つけたら、ピークを囲むが値がより小さい局所面積を計算する。この領域をヒートマップから取り除いて、残りの画素から次のピークを見つける。プロセスを繰り返すだけで、すべての画素がヒートマップから取り除かれる。
アルゴリズムローカルサーチ(s、ヒートマップ)
入力:
s:出発地(x、y)
ヒートマップ
出力:
s:局所的なピークの場所
値>0の画素のみを考える。アルゴリズムカバー(s、ヒートマップ)
入力:
s:局所的なピークの場所
ヒートマップ:
出力:
カバー:ピークによってカバーされる画素の組:
これは、sから始まる幅優先探索アルゴリズムであり、訪問点の条件の一つが変更されいる。ヒートマップ[p]>0及びヒートマップ[p]<=ヒートマップ[q]の場合に、現在位置qの隣pをカバーに加えるだけである。したがって、カバー内の各画素には局所的なピークsに至る非下降経路がある。
アルゴリズム場所特定(ヒートマップ)
入力:
ヒートマップ
出力:
座位
座位←{}
画素←{ヒートマップからのすべての画素}
while画素が空でない{
s←画素からの任意の画素
s←ローカルサーチ(s、ヒートマップ)//sは今度は局所的なピークである
sを囲む半径Rの局所領域を精査して、より良好な局所的なピークを探す
r←カバー(s、ヒートマップ)
画素←画素\r//カバー内のすべての画素を取り除く
座位にsを加える
E−3.本発明の例
EA1.データ分析用の深層学習の方法であって、
(f)テストサンプルの画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り込み、画像にはテストサンプル中の検体からの検出可能信号が含まれる、受け取ることと、
(g)検出モデルを用いて画像を解析して画像の2Dデータアレイを作成することであって、2Dデータアレイには画像内の各場所に対する検体の確率データが含まれ、検出モデルはトレーニングプロセスを通して設定され、トレーニングプロセスには、iii.注釈付きデータセットを畳み込みニューラルネットワークに供給することであって、注釈付きデータセットは、テストサンプルと同じタイプのサンプルからのもので、同じ検体に対するものである、供給することと、
iv.畳み込みによって検出モデルをトレーニングして設定することと、が含まれる、作成することと、
(h)2Dデータアレイを解析して、
iii.信号リストプロセスまたは
iv.局所的な検索プロセスを用いて、局所的な信号ピークを検出することと、
(i)局所的な信号ピーク情報に基づいて検体の量を計算することと、が含まれる方法。
EB1.データ分析用のシステムであって、
QMAXデバイス、画像化装置、及びコンピューティングユニットを含み、
(a)QMAXデバイスは、テストサンプルの少なくとも一部を極めて均一な厚さの層に圧縮するように構成され、
(b)画像化装置は、均一な厚さの層においてサンプルの画像を形成するように構成され、画像にはテストサンプル中の検体からの検出可能信号が含まれ、
(c)コンピューティングユニットは、
i.画像化装置から画像を受け取ることと、
ii.検出モデルを用いて画像を解析して、画像の2Dデータアレイを作成することであって、2Dデータアレイには画像内の各場所に対する検体の確率データが含まれ、検出モデルはトレーニングプロセスを通して設定され、トレーニングプロセスには、
注釈付きデータセットを畳み込みニューラルネットワークに供給することであって、注釈付きデータセットは、テストサンプルと同じタイプのサンプルからのもので、同じ検体に対するものである、供給することと、
畳み込みによって検出モデルをトレーニングして設定することと、が含まれる作成することと、
iii.(c)2Dデータアレイを解析して、信号リストプロセスまたは局所的な検索プロセスを用いて局所的な信号ピークを検出することと、
iv.局所的な信号ピーク情報に基づいて検体の量を計算することと、を行うように構成される、システム。
EA2.信号リストプロセスには、
i.2Dデータアレイから局所的なピークを反復的に検出し、検出した局所的なピークを囲む局所面積を計算し、検出ピークを取り除いて局所面積データを信号リストに順番に入れることによって、信号リストを設けることと、
ii.信号リストから最高信号を、また最高信号の周りから信号を順次かつ繰り返して取り除くことによって、局所的な信号ピークを検出することと、が含まれる実施形態EA1の方法。
EA3.局所的な検索プロセスには、
i.ランダム点から始めることによって2Dデータアレイ内の極大値を探すことと、ii.ピークを囲むが値がより小さい局所面積を計算することと、
iii.2Dデータアレイから極大値と周囲のより小さい値とを取り除くことと、
iv.ステップi〜iiiを繰り返して局所的な信号ピークを検出することと、が含まれるEA実施形態の任意の実施形態の方法。
EA4.注釈付きデータセットを注釈前に分割するいずれかの先行するEA実施形態の方法。
EB2.画像化装置にはカメラが含まれる実施形態EB1のシステム。
EB3.カメラはモバイル通信デバイスの一部である実施形態EB2のシステム。
EB4.コンピューティングユニットはモバイル通信デバイスの一部であるいずれかの先行するEB実施形態のシステム。
エラー危険性を特定して測定信頼性を向上させる例
いくつかの実施形態では、アッセイの信頼性を向上させるための方法であって、(a)QMAXカード上のサンプルを画像化することと、
(b)エラー危険因子を分析することと、
(c)エラー危険因子が閾値よりも高い場合に、カードがカードの測定結果を報告することを拒否することと、を含み、
エラー危険因子は、以下の因子のうちの1つまたはそれらの任意の組み合わせである、方法。因子は以下であるが、これらに限定されない。(1)血液のエッジ、(2)血液中の気泡、(3)血液量が少なすぎるかまたは血液量が多すぎる、(4)スペーサの下の血球、(5)塊状の血球、(6)溶解した血球、(7)サンプル画像が露出過多である、(8)サンプル画像が露出不足である、(8)サンプルのフォーカスが不十分である、(9)間違ったレバー位置としての光学システムエラー、(10)カードが閉じていない、(11)スペーサがないカードとしての間違ったカード、(12)カード内のホコリ、(13)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する間違ったカード、(19)血液が乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)血液サンプルではないかまたは標的血液サンプルではないなど。
いくつかの実施形態では、エラー危険分析器が、デバイス内での生物学的及び化学的応用における以下のケースを検出し、識別し、分類し、訂正及び/または補正することができる。(1)サンプルのエッジにおいて、(2)サンプル中の気泡、(3)サンプル量が少なすぎるかまたはサンプル量が多すぎる、(4)スペーサの下のサンプル、(5)塊状のサンプル、(6)溶解したサンプル、(7)サンプル画像が露出過多である、(8)サンプル画像が露出不足である、(8)サンプルのフォーカスが不十分である、(9)間違ったレバーとしての光学システムエラー、(10)カードが閉じていない、(11)スペーサがないカードとしての間違ったカード、(12)カード内のホコリ、(13)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する間違ったカード、(19)サンプルが乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)サンプルが間違っているなど。閾値は集団テストから決定する。
閾値は機械学習から決定する。
モニタリングマークはエラー危険因子を特定するための対照として用いる。
モニタリングマークはエラー危険因子の閾値を評価するための対照として用いる。
さらなる例
例A1は、画像化ベースのアッセイを改善する装置を使用する方法である。方法には以下が含まれていてもよい。複数のモニタリング構造を含むサンプルホルダのサンプル画像を受け取ることであって、複数のモニタリング構造はサンプルホルダの少なくとも1つのプレートの接触面上に一体化され、複数のモニタリング構造はパターンに従って配置され、接触面は、複数の検体を含むサンプルと接触している、受け取ることと、機械学習モデルを用いてサンプル画像内の複数のモニタリング構造を検出することと、任意的に、検出した複数のモニタリング構造のエラー補正を、複数のモニタリング構造に付随する所定の構造特性を用いて行うことと、検出した複数のモニタリング構造に基づいて、サンプル画像に付随する真の横寸法値を決定することと、真の横寸法値に基づいて、サンプル画像内の検出した複数のモニタリング構造の場所と、サンプルホルダに関係づけられる実際の画像プランにおける複数のモニタリング構造に対する所定の分布パターンとの間のホモグラフィ変換を決定することと、ホモグラフィ変換に基づいて、複数の検体を含むサンプル画像を実際の画像プランにおける対応する斜視図に変換することと、サンプル画像内の複数の検体の少なくとも1つに付随する少なくとも1つの形態的特性を計算すること。
例A2では、例A1の方法にさらに、複数の各モニタリング構造に対する中心を検出することと、少なくとも4つの非共線点を含む複数のモニタリング構造の検出した中心に基づいてホモグラフィ変換を決定することと、が含まれていてもよい。
例A3では、例A1の方法においてさらに、サンプル画像を非重複の画像パッチに分割し、非重複の各画像パッチには、複数のモニタリング構造の少なくとも4つの非共線の検出した中心が含まれ、パッチ特定のホモグラフィ変換を推定して、前記画像パッチを補償するために適用し、他の画像パッチに対しては、グローバルなホモグラフィ変換を、全体画像内の複数のモニタリング構造の検出した中心に基づいて推定して適用してもよい。
例A4では、例A1の方法においてさらに、モニタリング構造はピラーまたはモニタリングマークであってもよい。いくつかの実施態様では、ピラーは、ナノ構造サンプルホルダの少なくとも1つのプレートの1つまたは2つの接触面に実質的に垂直に一体化されていてもよい。他の実施態様では、モニタリングマークは1つまたは2つの接触面上のマーキングされた領域である。マーキングされた領域の光学特性(たとえば、透明度)は、1つまたは2つの接触面上のマーキングされていない領域とは異なっていてもよい。たとえば、マーキングされた領域は、ナノ材料の薄層を塗布したかまたは刻んだ表面積とすることができ、一方で、マーキングされていない領域はどのナノ材料によっても覆われていない。
例A5では、例A1の方法においてさらに、機械学習モデルを、標識化されたトレーニング画像組を用いてトレーニングしてもよく、機械学習モデルを、標識化されたトレーニング画像組を用いてパラメータがトレーニングされたRetinerNetまたは畳み込みニューラルネットワーク(CNN)とすることができてもよい。
例A6では、例A1の方法においてさらに、所定の構造特性には、複数のモニタリング構造に付随する周期性、形状、またはサイズのうちの少なくとも1つが含まれていてもよい。モニタリング構造を系統立ったパターンに従って配列することができる。周期性は、測定単位(たとえば線形測定値、たとえばインチまたはミリメートルなど、または面積測定値、たとえば平方インチ、または平方ミリメートルなど)内でのモニタリング構造の数を指してもよい。形状は、各モニタリング構造の幾何学的構成を指してもよい。モニタリング構造は、断面が三角形、矩形、四角形、円、多角形、または任意の好適な2D形状である円柱形構造にすることができる。サイズは、モニタリング構造の断面の面積を指してもよい。ある実施態様では、モニタリング構造は実質的に同一な形状及びサイズを有していてもよい。別の実施態様では、モニタリング構造は種々の形状及びサイズを有していてもよく、一方で、異なるモニタリング構造の場所はサンプルホルダの製造中に予め決まっている。
例A7では、例A1の方法においてさらに、少なくとも1つの形態的特性には、複数の検体のうちの1つのサイズまたは長さのうちの少なくとも1つが含まれていてもよい。サイズは面積測定値とすることができる。長さは軸に沿った線形測定値とすることができる。たとえば、円の場合、長さは直径とすることができ、矩形の場合、長さは高さ、幅、または対角長さとすることができる。
例A8は、画像ベースのアッセイにおけるマイクロ選択的画像アッセイング(MSIA)の方法である。方法には以下が含まれる。サンプル保持デバイス内のアッセイング用のサンプルの画像を取り込むことであって、サンプル保持デバイスは例A1に記載したサンプルホルダとすることができ、サンプル保持デバイス内のサンプルは既知の均一な高さを含み、検体は対象面積内で単層を形成する、取り込むことと、サンプル画像のTLDまたはFoVを推定して、画像ベースのアッセイングにおける面積、サイズ、及び体積の推定値を決定することと、アッセイング用サンプルの画像内での気泡またはホコリを含む欠陥を検出して、トレーニングされた機械学習モデルによってサンプル中のこれらの欠陥の画像をセグメント化することと、サンプル画像内のセグメント化された欠陥の全面積を推定して、(b)から推定したTLD/FoVを用いてそれらの実際の面積サイズを計算することと、(d)からの面積推定値とサンプル保持デバイス内のサンプルの既知の高さとにより、アッセイング用サンプルの画像内の検出した欠陥の全表面積に対応するサンプルの実際の体積を推定することと、アッセイング用サンプルの画像内の検出した欠陥の表面積を取り除き、残りのサンプルの全体積を、検出した欠陥の表面積の下の全体積に対応する(e)から欠陥体積推定値を差し引くことによって更新することと、更新したサンプル画像の選択面積とマイクロ選択的画像アッセイングに対する(f)からの更新したサンプル体積とに対して、画像ベースのアッセイングを行うこと。
例A9では、例A8の方法においてさらに、マイクロ選択的画像アッセイング(MSIA)は、A4のサンプル保持デバイス内のモニタリング構造を用いてサンプル画像のTLD/FoVを推定し、A1の実施形態を通してサンプル画像をその実際の寸法にマッピングしてもよい。
例A10では、例A8の方法においてさらに、マイクロ選択的画像アッセイング(MSIA)は、以下を含む他の選択基準に基づいてもよい。a)気泡及びホコリを含むサンプル中の欠陥の分布と、b)アッセイング用サンプルの画像内でのピラー及びモニタリングマーク及び他の人工物の場所と、c)アッセイング用サンプルの画像内での検体の分布及び状態(たとえば、検体クラスタリングの状態及びフォーカシング状態)。
例A11では、例A8の方法においてさらに、マイクロ選択的画像アッセイング(MSIA)は、サンプル画像から複数標的アッセイングを実行してもよく、複数標的アッセイングは、サンプルの1つの単一画像からの複数のアッセイングアプリケーションに対して、異なる試薬またはサンプル高さによって規定される面積を伴う面積/ゾーン選択に基づいてもよい。
例A12では、例A8またはA11のいずれかの方法においてさらに、機械学習モデルを、画像ベースのアッセイにおける欠陥検出及びセグメンテーションに対して画像化装置が取り込んだ標識化されたトレーニング画像サンプル上でトレーニングしてもよい。
例A13では、例A8またはA11のいずれかの方法においてさらに、機械学習モデルをトレーニングして、サンプル画像内の検体を検出し、検出した検体のサイズを、例A1の方法と例A8に記載したサンプル保持デバイスの構造とを用いて決定してもよい。
例A14は、ピラーまたはモニタリングマークを用いる画像ベースのアッセイングを、アッセイング用サンプルの画像内のピラーまたはモニタリングマークの画像を用いてモニタして、画像保持デバイスの品質及びサンプル調製の品質を決定する方法であり、方法には、サンプル保持デバイス内の欠落しているピラーまたは壊れたピラーに対応する面積を検出することであって、欠落しているピラーまたは壊れたピラーはアッセイングに対する有効なサンプル体積に影響する、検出することと、サンプル画像内の気泡及びホコリを検出して、アッセイング操作における欠点またはサンプル保持デバイス内の欠陥を示すことと、が含まれる。
例A15では、例A14の方法にはさらに、アッセイング用サンプルの画像内のピラーまたはモニタリングマークの画像を用いて、画像ベースのアッセイングにおける画像化装置の動作(たとえば、フォーカシング、コントラストストレッチング、ISO調整、及びフィルタリング)を検出して調整することが含まれていてもよい。
例BA−1は、インテリジェントアッセイモニタ方法であって、方法には以下が含まれる。サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を、処理装置によって受け取ることと、処理装置が画像上で第1の機械学習モデルを実行することによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値との間の変化を、処理装置によって決定することと、処理装置が変化に基づくことによって、第1の情報及び第2の情報をエンコードする画像を補正することと、補正した画像を処理装置が用いることによって、生物学的サンプルの生物学的特性を補正すること。
例BA−2では、例BAの方法−1においてさらに、サンプルカードには、第1のプレートと、第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、第1のプレートを囲んで、生物学的サンプルが堆積される薄層を形成することができる第2のプレートと、が含まれていてもよい。
例BA−3では、例BA−1またはBA−2のいずれかの方法においてさらに、複数のモニタマークは複数のピラーに対応してもよい。
例BA−4では、例BAの方法−3においてさらに、複数のピラーの少なくとも2つが真の横寸法(TLD)によって分離され、処理装置が画像上で第1の機械学習モデルを実行することによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することには、処理装置が画像上で第1の機械学習モデルを実行することによって、TLDを決定することが含まれていてもよい。
例BB−1は画像システムであって以下が含まれる。サンプルカードであって、第1のプレートと、第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、第1のプレートを囲んで、生物学的サンプルが堆積される薄層を形成することができる第2のプレートと、を含むサンプルカードと、コンピューティングデバイスであって、処理装置を含み、処理装置は光学センサに通信可能に結合されて、光学センサから、サンプルカード内に堆積される生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を受け取ることと、画像上で第1の機械学習モデルを用いて、複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値トの間の変化を決定することと、変化に基づいて、第1の情報及び第2の情報をエンコードする画像を補正することと、補正した画像に基づいて、生物学的サンプルの生物学的特性を測定することと、を行うコンピューティングデバイス。
例DA−1は、薄層サンプルカード内のサンプルの体積を測定するための方法であって、方法には以下が含まれる。画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準にはサンプルの第1のプレートに垂直に一体化された複数のピラーが含まれ、複数の各ピラーは実質的に同一の高さ(H)を有する、受け取ることと、処理装置が機械学習モデルを用いることによって、複数の無サンプルサブ領域を決定することであって、複数の無サンプルサブ領域は、ピラー、気泡、または不純物要素のうちの少なくとも1つに対応する、決定することと、処理装置によって、サンプルが占有する面積を、画像から複数の無サンプルサブ領域を取り除くことによって計算することと、処理装置によって、サンプルの体積を、計算した面積及び高さ(H)に基づいて計算することと、処理装置が体積に基づくことによって、サンプルの生物学的特性を決定すること。
A1:画像化ベースのアッセイを改善する装置を用いる方法であって、
a)複数のモニタリング構造を含むサンプルホルダのサンプル画像を受け取ることであって、複数のモニタリング構造は、サンプルホルダの少なくとも1つのプレートの接触面上に一体化され、複数のモニタリング構造はパターンに従って配置され、接触面は複数の検体を含むサンプルと接触している、受け取ることと、
b)機械学習モデルを用いてサンプル画像内の複数のモニタリング構造を検出することと、
c)検出した複数のモニタリング構造のエラー補正を、複数のモニタリング構造に付随する所定の構造特性を用いて行うことと、
d)検出した複数のモニタリング構造に基づいて、サンプル画像に付随する真の横寸法値を決定することと、
e)真の横寸法値に基づいて、サンプル画像内の検出した複数のモニタリング構造の場所と、サンプルホルダに関係づけられる実際の画像プランにおける複数のモニタリング構造に対する所定の分布パターンとの間のホモグラフィ変換を決定することと、f)ホモグラフィ変換に基づいて、複数の検体を含むサンプル画像を実際の画像プランにおける対応する斜視図に変換することと、
g)サンプル画像内の複数の検体の少なくとも1つに付随する少なくとも1つの形態的特性を計算することと、を含む方法。
A2:複数の各モニタリング構造に対する中心を検出することと、
少なくとも4つの非共線点を含む複数のモニタリング構造の検出した中心に基づいてホモグラフィ変換を決定することと、をさらに含むA1の方法。
A3:サンプル画像を非重複の画像パッチに分割し、非重複の各画像パッチには、複数のモニタリング構造の少なくとも4つの非共線の検出した中心が含まれ、パッチ特定のホモグラフィ変換を推定して、前記画像パッチを補償するために適用し、他の画像パッチに対しては、グローバルなホモグラフィ変換を、全体画像内の複数のモニタリング構造の検出した中心に基づいて推定して適用するA1の方法。
D1:モニタリング構造はピラーまたはモニタリングマークであるA1の方法。
D2:機械学習モデルを、標識化されたトレーニング画像組を用いてトレーニングし、機械学習モデルは、標識化されたトレーニング画像組を用いてパラメータがトレーニングされたRetinerNetであるA1の方法。
D3:所定の構造特性には、複数のモニタリング構造に付随する周期性、形状、またはサイズのうちの少なくとも1つが含まれるA1の方法。
D4:少なくとも1つの形態的特性には、複数の検体のうちの1つのサイズまたは長さのうちの少なくとも1つが含まれるA1の方法。
A4:画像ベースのアッセイにおけるマイクロ選択的画像アッセイング(MSIA)の方法であって、
a)サンプル保持デバイス内のアッセイング用のサンプルの画像を取り込むことであって、サンプル保持デバイスはA1(a)に記載したものであり、サンプル保持デバイス内のサンプルは既知の均一な高さを含み、検体は対象面積内で単層を形成する、取り込むことと、
b)(a)からのサンプル画像のTLD/FoVを推定して、結果として、画像ベースのアッセイングにおける面積、サイズ、及び体積を得ることと、
c)アッセイング用サンプルの画像内での気泡またはホコリを含む欠陥を検出して、トレーニングされた機械学習モデルによってサンプル中のこれらの欠陥の画像をセグメント化することと、
d)サンプル画像内のセグメント化された欠陥の全面積を推定して、(b)から推定したTLD/FoVを用いてそれらの実際の面積サイズを計算することと、
e)(d)からの面積推定値とサンプル保持デバイス内のサンプルの既知の高さとにより、アッセイング用サンプルの画像内の検出した欠陥の全表面積に対応するサンプルの実際の体積を推定することと、
f)アッセイング用サンプルの画像内の検出した欠陥の表面積を取り除き、残りのサンプルの全体積を、検出した欠陥の表面積の下の全体積に対応する(e)から欠陥体積推定値を差し引くことによって更新することと、
g)更新したサンプル画像の選択面積とマイクロ選択的画像アッセイングに対する(f)からの更新したサンプル体積とに対して、画像ベースのアッセイングを行うことと、を含む方法。
A5:マイクロ選択的画像アッセイング(MSIA)は、A4のサンプル保持デバイス内のモニタリング構造を用いてサンプル画像のTLD/FoVを推定し、A1の実施形態を通してサンプル画像をその実際の寸法にマッピングするA4の方法。
A6:マイクロ選択的画像アッセイング(MSIA)は、
a)気泡及びホコリを含むサンプル中の欠陥の分布と、
b)アッセイング用サンプルの画像内でのピラー及びモニタリングマーク及び他の人工物の場所と、
c)アッセイング用サンプルの画像内での検体の分布及び状態(たとえば、検体クラスタリングの状態及びフォーカシング状態)を含む他の選択基準に基づくA4の方法。
A7:マイクロ選択的画像アッセイング(MSIA)は、サンプル画像から複数標的アッセイングを実行し、複数標的アッセイングは、サンプルの1つの単一画像からの複数のアッセイングアプリケーションに対して、異なる試薬またはサンプル高さによって規定される面積を伴う面積/ゾーン選択に基づくA4の方法。
A8:機械学習モデルを、画像ベースのアッセイにおける欠陥検出及びセグメンテーションに対して画像化装置が取り込んだ標識化されたトレーニング画像サンプル上でトレーニングするA4またはA7のいずれかの方法。
A9:機械学習モデルをトレーニングして、サンプル画像内の検体を検出し、検出した検体のサイズを、A1とA4に記載したサンプル保持デバイスの構造とを用いて決定するA4またはA7のいずれかの方法。
A10:ピラーまたはモニタリングマークを用いる画像ベースのアッセイングを、アッセイング用サンプルの画像内のピラーまたはモニタリングマークの画像を用いてモニタして、画像保持デバイスの品質及びサンプル調製の品質を決定する方法であって、
a)サンプル保持デバイス内の欠落しているピラーまたは壊れたピラーを検出することであって、欠落しているピラーまたは壊れたピラーはアッセイングに対する有効なサンプル体積に影響する、検出することと、
b)ピラーまたはモニタリングマーク上の物体または検体を検出することであって、物体または検体は、サンプル保持デバイス内のサンプルの高さ及び結果としてアッセイング用のサンプルの有効な体積に影響する、検出することと、
c)サンプル画像内の気泡及びホコリを検出して、アッセイング操作における欠点またはサンプル保持デバイス内の欠陥を示すことと、を含む方法。
A12:アッセイング用サンプルの画像内のピラーまたはモニタリングマークの画像を用いて画像ベースのアッセイングにおける画像化装置の動作を(たとえば、フォーカシング、コントラストストレッチング、ISO調整、及びフィルタリング)検出して調整することをさらに含むA10の方法。
定義
別に定義がない限り、本明細書で用いる技術及び科学用語はすべて、本開示が属する技術分野において通常の知識を有する者によって広く理解されるものと同じ意味を有する。本教示を実施または試験する際に、本明細書で説明したものと同様または同等である任意の方法及び材料を用いることもできるが、ここではいくつかの典型的な方法及び材料について説明する。
「QMAX」(Q:定量化、M:拡大、A.試薬の添加、X:加速、自己校正型圧縮オープンフロー(SCOF)とも言われる)デバイス、アッセイ、方法、キット、及びシステムは、以下の文献に記載されている。米国特許仮出願第62/202,989号(2015年8月10日に出願)、米国特許仮出願第62/218,455号(2015年9月14日に出願)、米国特許仮出願第62/293,188号(2016年2月9日に出願)、米国特許仮出願第62/305,123号(2016年3月8日に出願)、米国特許仮出願第62/369,181号(2016年7月31日に出願)、米国特許仮出願第62/394,753号(2016年9月15日に出願)、PCT出願(指定国は米国)第PCT/US2016/045437号(2016年8月10日に出願)、PCT出願(指定国は米国)第PCT/US2016/051775号(2016年9月14日に出願)、PCT出願(指定国は米国)第PCT/US2016/051794号(2016年9月15日に出願)、及びPCT出願(指定国は米国)第PCT/US2016/054025号(2016年9月27日に出願)。これらの開示はすべて、それらの全体及びすべての目的に対して参照により本明細書に組み込まれている。
用語「サンプル」は、本明細書で用いる場合、対象とする1つ以上の検体または実体を含む材料または材料の混合物に関する。いくつかの実施形態では、サンプルは生物学的サンプル(たとえば、細胞、組織、体液、及び糞便)から取得してもよい。対象とする体液としては以下が挙げられるが、これらに限定されない。羊水、房水、硝子体、血液(たとえば、全血、分画血液、血漿、血清、など)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹腔液、胸膜液、膿、粘膜分泌物、唾液、皮脂(皮膚オイル)、***、痰、汗、滑液、涙、嘔吐物、尿及び吐出凝縮液。特定の実施形態において、サンプルを被検者(たとえば、ヒト)から取得してもよく、被検者アッセイにおいて用いる前に処理してもよい。たとえば、分析前に、タンパク質/核酸を、使用前の組織サンプルから既知の方法で抽出してもよい。特定の実施形態において、サンプルは臨床サンプル、たとえば、患者から収集したサンプルであってもよい。
用語「検体」は、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、及び異なる形状のナノ粒子を指す。いくつかの実施形態では、「検体」は、本明細書で用いる場合、本方法での試験に適した任意の物質である。
本明細書で用いる場合、「診断サンプル」は、被検者から得られた身体副産物(たとえば、体液)である任意の生物学的サンプルを指す。診断サンプルは液体の形態で被検者から直接取得してもよいし、または最初に身体副産物を溶液(たとえば、緩衝液)に入れることによって被検者から得てもよい。典型的な診断サンプルとしては以下が挙げられるが、これらに限定されない。唾液、血清、血液、痰、尿、汗、涙液、***、糞便、呼気、生検材料、粘液など。
本明細書で用いる場合、「環境サンプル」は環境から取得した任意のサンプルを指す。環境サンプルとしては、河、湖、池、海、氷河、氷山、雨、雪、下水、貯水池、水道水、飲料水などからの液体サンプル、土壌、堆肥、砂、岩、コンクリート、木材、レンガ、下水などからの固体サンプル、及び空気、水中排熱口、産業排気ガス、車両排気ガスなどからの気体サンプルを挙げてもよい。典型的に、液体状でないサンプルは、本方法でサンプルを分析する前に液体状に変換する。
本明細書で用いる場合、「食品サンプル」は飼料用(たとえば、食用)に適した任意のサンプルを指す。食品サンプルとしては、生の食材、調理済み食品、植物及び動物性食物源、予備加工済み食品、ならびに部分または完全加工食品などを挙げてもよい。典型的に、液体状でないサンプルは、本方法でサンプルを分析する前に液体状に変換する。
用語「診断」は、本明細書で用いる場合、対象とする疾患または症状を特定し、予後を予測し、及び/または治療反応を予測するための方法または検体を用いることを指す。診断としては、疾患または症状を有する可能性または素因を予測すること、疾患または症状の重症度を推定すること、疾患または症状が進行するリスクを決定すること、治療に対する臨床反応を評価すること、及び/または治療に対する反応を予測することを挙げてもよい。
「バイオマーカー」は、本明細書で用いる場合、対象とするサンプル中で見出されるとともに、サンプルを取得する被検者における対象とする疾患または症状の診断に役立つか、または存在に関係付けられるか、または素因であることが分かっている任意の分子または化合物である。バイオマーカーとしては以下が挙げられるが、これらに限定されない。ポリペプチドまたはその錯体(たとえば、抗原、抗体)、核酸(たとえば、DNA、miRNA、mRNA)、薬物代謝物、脂質、炭水化物、ホルモン、ビタミンなどであって、対象とする疾患または症状に関係付けられることが分かっているものである。
「症状」は、本明細書で健康状態の診断に対して用いる場合、他の生理的状態と区別できる精神または身体の生理的状態を指す。健康状態は、場合によっては疾患とは診断されない場合がある。対象とする健康状態の典型的なものとしては以下が挙げられるが、これらに限定されない。栄養上の健康;加齢;環境毒素、駆除剤、除草剤、合成ホルモン類似体への暴露;妊娠;更年期;男性更年期;睡眠;ストレス;前糖尿病;運動;疲労;化学的バランスなど。
本明細書で用いる場合及び添付の請求項では、単数形「a」、「an」、及び「the」には、文脈上明らかに別の意味が示される場合(たとえば、用語「単一」を用いたとき)を除き、複数の指示対象が含まれることに注意されたい。たとえば、「検体」に言及した場合、単一の検体及び複数の検体が含まれ、「捕捉剤」に言及した場合、単一の捕捉剤及び複数の捕捉剤が含まれ、「検出剤」に言及した場合、単一の検出剤及び複数検出剤が含まれ、参照「薬剤」に言及した場合、単一の薬剤及び複数の薬剤が含まれる。
本明細書で用いる場合、用語「適応されている」及び「構成されている」は、要素、コンポーネント、または他の主題が、所与の機能を行うようにデザイン及び/または意図されていることを意味する。したがって、用語「適応されている」及び「構成されている」を用いることは、所与の要素、コンポーネント、または他の主題が単に所与の機能を行うことが「できる」ことを意味すると解釈してはならない。同様に、特定の機能を行うように構成されていると説明された主題を、それに加えてまたはその代わりに、その機能を行う働きをすると記載してもよい。
本明細書で用いる場合、2つ以上の実体のリストを参照して語句「少なくとも1つ」及び「1つ以上」は、実体のリストにおける実体のいずれか1つ以上を意味し、実体のリスト内で具体的に列記されたすべての実体の少なくとも1つに限定されない。たとえば、「A及びBの少なくとも1つ」(または、同様な意味合いで「AまたはBの少なくとも1つ」または、同様な意味合いで「A及び/またはBの少なくとも1つ」)は、A単独、B単独、またはA及びBの組み合わせを指してもよい。
本明細書で用いる場合、第1の実体と第2の実体との間に用語「及び/または」が置かれている場合、(1)第1の実体、(2)第2の実体、(3)第1の実体及び第2の実体のうちの1つを意味する。「及び/または」によって列記された複数の実体は、同様に、すなわち実体の「1つ以上」がそのように結合されると、解釈しなければならない。「及び/または」節によって具体的に特定した実体以外の他の実体が、具体的に特定したこれらの実体に関係していようと関係していまいと、任意的に存在してもよい。
本明細書で数値範囲について述べた場合、本発明には、端点が含まれる実施形態、両方の端点が除外される実施形態、及び一方の端点が含まれて他方が除外される実施形態が含まれる。別段の指定がない限り両方の端点が含まれることを前提としなければならない。さらに、別途記載がないかまたは別途文脈及び当業者の理解から明らかでない限り。
関連出願の相互参照
本出願は、米国特許仮出願第62/719,129号(2018年8月16日に出願)及び米国特許仮出願第62/764,886号(2018年8月16年に出願)の優先権の利益を主張する。これらの内容を基にしており、それらはその全体において参照により本明細書に組み込まれている。本明細書で述べる任意の刊行物または特許文献の全体の開示は、参照により全体的に組み込まれている。
分野
とりわけ、本発明は、生物学的及び化学的アッセイ、コンピューテーショナル画像化、人工知能、及び機械学習を行うデバイス及び方法に関する。
背景
生物学的及び化学的アッセイ(全血球計算を含む)において、精度は極めて重要である。しかし、器具の使用及び動作においてエラーは避けられない。特に、低コスト器具を用いるとき及びリソースが限られた状態においてそうである。本発明では、とりわけ、サンプルにおける画像ベースの生物学的/化学的アッセイングの精度を向上させるためのデバイス及び方法を提供する。
概要
以下の概要では、本発明のすべての特徴及び態様を含むことは意図していない。
本発明の一態様は、アッセイング精度、効率、エラー検出、モニタリング、またはそれらの任意の組み合わせに対して特別にデザインされたモニタリング構造を伴うサンプル保持デバイスを用いて画像化ベースのアッセイを改善する方法である。
本発明の別の態様は、画像化装置が取り込んだサンプルの単一画像に対して複数のアッセイングアプリケーションを実行することができるマイクロ選択的画像アッセイング(MSIA)の方法である。
本発明の別の態様は、アッセイング用サンプルの画像からモニタリング構造を検出してその中心の場所を特定する方法である。本方法では、複数のモニタリング構造に付随する所定の構造特性を用いてエラー補正に機械学習を組み合わせている。
本発明の別の態様は、画像ベースのアッセイングにおいて真の横寸法(TLD)を推定する方法である。ここから、サンプル画像内の検体の実際の寸法または形態的特徴を決定することができる。
本発明の別の態様は、サンプル画像内の関心面積に対する実際の面積及び付随するサンプル体積を決定する方法である。これにより、柔軟性及び細分性に対して任意の選択したサブ面積に対して画像ベースのアッセイングを行うことができる。
本発明の別の態様は、サンプル保持デバイス内のモニタリング構造の画像から画像ベースのアッセイングにおけるサンプル保持デバイスの品質及びサンプル調製の品質をモニタする方法である。
本発明の別の態様は、サンプル保持デバイス内の予めデザインされたモニタリング構造を用いて画像ベースのアッセイングにおける画像化装置の動作を調整する方法である。
本発明の別の態様は、画像化装置が取り込んだサンプル画像から画像ベースのアッセイングにおける欠陥または異物(たとえば、気泡、ホコリなど)を取り除く方法である。
本発明の別の態様は、インテリジェントモニタリング構造を用いた画像ベースのアッセイに対する機械学習モデルを構築する方法である。サンプルの原画像及び変換後のサンプル画像に基づく2つのアプローチについて説明する。
本発明の別の態様は、本明細書で説明する方法及びアルゴリズムを用いた、全血球計算(CBC)における赤血球に対する画像ベースのアッセイングの実際の使用事例である。
画像化ベースのアッセイを改善する装置を用いる方法であって、
(a)互いに面する第1のプレート及び第2のプレートと、一方または両方のプレートのサンプル接触面上の複数のモニタリング構造とを含むサンプルホルダを有することであって、モニタリング構造は、幾何学的及び/または光学的特性の少なくとも1つの予めデザインされた所定のパラメータを有し、サンプル接触面はサンプルと接触する、有することと、
(b)検体を含むかまたは含むと疑われるサンプルを2つのプレートの対応するサンプル接触面の間に挟んで200um厚以下の薄層を形成することであって、サンプル接触面上のサンプルを試薬と混合して反応させ、挟むこと、混合させること、または反応させることはエラーの影響を受けやすい、形成することと、
(c)画像化装置を用いて、サンプルとサンプル接触領域上のモニタリング構造とを同時に画像化することであって、画像化装置は画像化における欠陥の影響を受けやすく、画像化動作はエラーの影響を受けやすい、画像化することと、
(d)ステップ(c)で取り込んだ画像をアルゴリズムを用いて解析して、検体に関係するパラメータを検出することであって、解析には、画像を、少なくとも1つの予めデザインされた所定のパラメータと比較することと、少なくとも1つの予めデザインされた所定のパラメータを用いて欠陥及びエラーを検出及び/または補正することとが含まれる、検出することと、を含む方法。
当業者であれば分かるように、以下に説明する図面は単に例示を目的としている。図面は本教示の範囲を限定することは決して意図していない。図面は全体的に一定の割合というわけではない。実験データポイントを示す図において、データポイントを接続する線は単にデータの視認をガイドするためのものであり、他の意味はない。
[本発明1001]
画像処理及び機械学習を用いた携帯型アッセイング(QMAXカード付き)の方法及び装置−濃度推定(CBC)、セグメンテーションなどに対する例。
AA−1.
薄層サンプルを含む画像システムのシステムエラーを補正するための方法であって、
前記画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードに付随する画像及び第1のパラメータを受け取ることと、
前記処理装置によって、第1の機械学習モデルを用いることによって、前記画像システムの前記システムエラーを、前記第1のパラメータを前記サンプルカードの製造中に決定される前記モニタ基準に付随する第2のパラメータと比較することによって決定することと、
前記処理装置によって、前記システムエラーを考慮して前記サンプルカードの前記画像を補正することと、
前記処理装置によって、前記補正した画像を用いることによって、前記サンプルの生物学的特性を決定することと
を含む、前記方法。
[本発明1002]
AA−2.
前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、例AA−1の方法。
[本発明1003]
AA−3.
前記サンプルは、動物から収集した生物学的サンプルである、例AA−1の方法。
[本発明1004]
ピラーを用いたTLD(FoV)推定と、マーカー(ピラー)を用いてQカードの前記画像化からの画像補正を行うことに対する例
BA−1.
インテリジェントアッセイモニタ方法であって、
サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を、処理装置によって受け取ることと、
前記処理装置によって、前記画像に対して第1の機械学習モデルを実行することによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
前記処理装置によって、前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
前記処理装置によって、前記変化に基づいて、前記第1の情報及び前記第2の情報をエンコードする前記画像を補正することと、
前記処理装置によって、前記補正した画像を用いることによって、前記生物学的サンプルの生物学的特性を決定することと
を含む、前記インテリジェントアッセイモニタ方法。
[本発明1005]
BA−2.
前記サンプルカードには、第1のプレートと、前記第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、前記第1のプレートを囲んで前記生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、が含まれる、例BA−1の方法。
[本発明1006]
BA−3.
前記複数のモニタマークは前記複数のピラーに対応する、例BA−2の方法。
[本発明1007]
BA−4.
前記複数のピラーのうち少なくとも2つが真の横寸法(TLD)によって分離され、
前記処理装置によって、前記画像に対して第1の機械学習モデルを実行することによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することには、前記処理装置によって、前記画像に対して前記第1の機械学習モデルを実行することによって、前記TLDを決定することが含まれる、
例BA−3の方法。
[本発明1008]
BB−1.
画像システムであって、
第1のプレートと、前記第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、前記第1のプレートを囲んで前記生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、を含むサンプルカードと、
コンピューティングデバイスと
を含み、
前記コンピューティングデバイスは、
光学センサに通信可能に結合された処理装置を含み、前記処理装置は、
前記光学センサから、前記サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を受け取ることと、
前記画像に対して第1の機械学習モデルを用いることによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
前記変化に基づいて、前記第1の情報及び前記第2の情報をエンコードする前記画像を補正することと、
前記補正した画像に基づいて、前記生物学的サンプルの生物学的特性を決定することと
を行う、
前記画像システム。
[本発明1009]
アッセイングにおける前記カードの不適切な閉検出に対するピラー上の物体の検出に対する例
CA−1.
薄層サンプルのアッセイ画像に記録された人間操作エラーを補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルカードの第1のプレート上に一体化された複数のナノ構造が含まれ、前記サンプルは、前記サンプルカードの開構成において前記第1のプレート上に堆積され、前記サンプルカードの閉構成において前記サンプルカードの第2のプレートによって囲まれる、前記受け取ることと、
前記処理装置によって、前記画像を、前記サンプルに対応する第1のサブ領域と前記複数のナノ構造に対応する第2のサブ領域とにセグメント化することと、
前記処理装置によって、前記第2のサブ領域を、前記サンプルの製造中に与えられる前記モニタ基準と比較して、前記第2のサブ領域のうちの少なくとも1つに前記ナノ構造以外の異物が含まれるか否かを判定することと、
前記第2のサブ領域のうちの少なくとも1つに前記ナノ構造以外の異物が含まれるという決定に応じて、前記サンプルカードの操作に付随するエラーを決定することと、
前記画像から前記少なくとも1つのサブ領域を取り除くことによって前記サンプルカードの前記画像を補正することと
を含む、前記方法。
[本発明1010]
CA−2.
前記異物は前記サンプルの一部、気泡、または不純物のうちの1つである、例CA−1の方法。
[本発明1011]
アッセイングにおける欠陥(たとえば気泡、ホコリなど)及び補助構造(たとえば、ピラー)除去に対する例
DA−1.
薄層サンプルカード内のサンプルの体積を測定するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルの第1のプレートに垂直に一体化された複数のピラーが含まれ、前記複数の各ピラーは高さ(H)が実質的に同一である、前記受け取ることと、
前記処理装置によって、機械学習モデルを用いることによって、複数の無サンプルサブ領域を決定することであって、前記複数の無サンプルサブ領域は、ピラー、気泡、または不純物要素のうちの少なくとも1つに対応する、前記決定することと、
前記処理装置によって、前記画像から前記複数の無サンプルサブ領域を取り除くことによって前記サンプルによって占有された面積を計算することと、
前記処理装置によって、前記計算した面積及び前記高さ(H)に基づいて前記サンプルの体積を計算することと、
前記処理装置によって、前記体積に基づいて、前記サンプルの生物学的特性を決定することと
を含む、前記方法。
[本発明1012]
ESX105信頼(1028_03)に対する例−アッセイ結果の信頼を判断するために用いる
a.MLベースの境界ボックス検出と画像処理ベースの形状決定とを結合する形状セグメンテーション
b.アッセイングにおける検体検出の一様性(IQRベースの外れ値検出)
c.MLを用いた塊状検体検出
d.MLを用いたカード上の乾燥テクスチャ検出
e.MLを用いた欠陥(たとえば、ホコリ、オイルなど)検出
f.MLを用いた気泡検出
EA−1.
画像アッセイ結果に付随する信頼価値測定値を決定するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルの第1のプレートに一体化された複数のナノ構造が含まれる、前記受け取ることと、
前記処理装置によって、前記画像を、前記サンプルに対応する第1のサブ領域と前記複数のナノ構造に対応する第2のサブ領域とにセグメント化することと、
前記処理装置によって、第1の機械学習モデルを用いることによって、前記第1のサブ領域または前記第2のサブ領域のうちの少なくとも1つにおける不適合な要素を決定することと、
前記処理装置によって、前記第1のサブ領域及び前記第2のサブ領域に基づいて、前記サンプルの生物学的特性を決定することと、
前記処理装置によって、前記不適合な要素の統計分析に基づいて、前記生物学的特性に付随する前記信頼価値測定値を計算することと、
前記処理装置によって、前記信頼価値測定値に基づいて、前記サンプルに対するさらなる操作を決定することと
を含む、前記方法。
[本発明1013]
EA−2.
前記処理装置によって、前記信頼価値測定値に基づいて、前記生物学的特性は信頼性が高いと判定することと、
前記処理装置によって、前記生物学的特性を表示デバイスに送ることと
をさらに含む、例EA−1の方法。
[本発明1014]
EA−3.
前記処理装置によって、前記信頼価値測定値に基づいて、前記生物学的特性はそれほど信頼性は高くないと判定することと、
前記処理装置によって、前記生物学的特性及び前記対応する信頼価値測定値を表示デバイスに送って前記生物学的特性を受け入れるか廃棄するかをユーザが判定できるようにすることと
をさらに含む、例EA−1の方法。
[本発明1015]
EA−4.
前記処理装置によって、前記画像を、前記サンプルに対応する第1のサブ領域と前記複数のナノ構造に対応する第2のサブ領域とにセグメント化すること、
前記処理装置によって、画像処理方法を用いることによって、前記画像に対して第1の画像セグメンテーションを行うことによって、第1のセグメンテーション結果を生成することと、
前記処理装置によって、第2の機械学習モデルを用いることによって、前記画像に対して第2の画像セグメンテーションを行うことによって、第2のセグメンテーション結果を生成することと、
前記処理装置によって、前記第1のセグメンテーション結果と前記第2のセグメンテーション結果とを結合することによって、前記画像を、前記サンプルに対応する前記第1のサブ領域と前記複数のナノ構造に対応する前記第2のサブ領域とにセグメント化すること

例EA−1の方法。
[本発明1016]
EA−5.
前記処理装置によって、第1の機械学習モデルを用いることによって、前記第1のサブ領域または前記第2のサブ領域のうちの少なくとも1つにおける不適合な要素を決定することには、
前記処理装置によって、前記サンプル中の少なくとも1つの検体の分布不均一に基づいて、前記不適合要素を決定すること、
前記処理装置によって、前記サンプルの塊状検体検出に基づいて、前記不適合要素を決定すること、
前記処理装置によって、前記サンプル中の乾燥テクスチャの検出に基づいて、前記不適合要素を決定すること、
前記処理装置によって、前記サンプル中の不純物の検出に基づいて、前記不適合要素を決定すること、または
前記処理装置によって、前記サンプル中の気泡の検出に基づいて、前記不適合要素を決定すること
のうちの少なくとも1つが含まれる、例EA−1の方法。
[本発明1017]
セグメンテーションに基づく中身を伴う単一カードに対するマルチセグメント化された試験に対する例
FA−1.
単一のサンプルカードを用いて複数の検体の測定値を決定するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルの第1のプレートに一体化された複数のナノ構造が含まれる、前記受け取ることと、
前記処理装置によって、第1の機械学習モデルを用いることによって、前記画像を、前記サンプルに含まれる第1の検体に付随する第1のサブ領域と、前記サンプルに含まれる第2の検体に付随する第2の領域と、前記複数のナノ構造に対応する第3のサブ領域とにセグメント化することと、
前記処理装置によって、前記複数のナノ構造に対応する前記第3のサブ領域に基づいて、2つの隣接するナノ構造間の真の横方向距離(TLD)を決定することと、
前記処理装置によって、前記TLDに基づいて、前記第1のサブ領域の第1の累積面積を決定し、さらに前記第1の累積面積と前記複数のナノ構造に付随する高さとに基づいて第1の体積を決定することと、
前記処理装置によって、前記TLDに基づいて、前記サブ領域の第2の累積面積を決定し、さらに前記第2の累積面積と前記複数のナノ構造に付随する高さとに基づいて第2の体積を決定することと、
前記処理装置によって、前記第1の体積内の前記第1の検体のカウントに基づいて、前記第1の検体の第1の測定値を決定することと、
前記処理装置によって、前記第2の体積内の前記第2の検体のカウントに基づいて、前記第2の検体の第2の測定値を決定することと
を含む、前記方法。
[本発明1018]
ピラーベースの分光光度計のシステム及び装置に対する例
GA−1.
複数のナノピラーを含むサンプルカード内に与えられたサンプルの生物学的特性を測定するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルの第1のプレートに一体化された複数のナノ構造が含まれる、前記受け取ることと、
前記処理装置によって、前記画像を、前記サンプルに対応する第1のサブ領域と前記複数のナノピラーに対応する第2のサブ領域とにセグメント化することと、
前記処理装置によって、前記第1のサブ領域の第1の分光光度測定値を決定することと、
前記処理装置によって、前記第2のサブ領域の第2の分光光度測定値を決定することと、
前記処理装置によって、前記第1の分光光度測定値と第2の分光光度測定値との間の比に基づいて、前記サンプルの生物学的特性を決定することと
を含む、方法。
[本発明1019]
大量の小さくて繰り返される物体の標識化に対する例
HA−1.
トレーニングデータを作成するために画像内の複数の物体を標識化するための方法であって、
処理装置によって、グラフィックユーザインターフェースにおける前記画像を受け取ることと、
前記処理装置によって、前記グラフィックユーザインターフェースを通して、前記画像内の位置の選択を受け取ることと、
前記処理装置によって、前記位置の近くの複数の画素に基づいて、前記位置を囲む境界ボックスを計算することと、
前記処理装置によって、前記グラフィックユーザインターフェースにおける前記画像に重ねられた前記境界ボックスの表示をもたらすことと、
ユーザ確認を受け取ることに応じて、前記境界ボックス内の領域をトレーニングデータとして標識化することと
を含む、前記方法。
[本発明1020]
IA−1.
アッセイ画像を作成するための方法であって、
複数のマーカー要素を含むサンプルカードを用意することと、
開構成の前記サンプルカードの第1のプレート上にサンプルを堆積させることと、
前記サンプルカードを閉じて、前記サンプルカードの第2のプレートを前記第1のプレートに対して押して、閉構成にすることであって、前記閉構成にある前記第1のプレート及び前記第2のプレートは、略均一な厚さの前記サンプルと前記複数のマーカー要素とを含む薄層を形成する、前記閉構成にすることと、
処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、前記命令は前記処理装置によって実行されると、
略均一な厚さの前記サンプルと前記複数のマーカー要素とを含む前記サンプルカードの画像を取り込むことと、
前記画像内の前記複数のマーカー要素を検出することと、
前記検出した複数のマーカー要素を前記サンプルカードに付随するモニタ基準と比較して、前記複数のマーカー要素と前記モニタ基準との間の幾何学的マッピングを決定することと、
前記幾何学的マッピングに基づいて前記画像システムの非理想因子を決定することと、
前記非理想因子を補正するように前記サンプルカードの前記画像を処理することと
を行う、前記用意することと
を含む、前記方法。
[本発明1021]
IB−1.
アッセイ画像を作成するための方法であって、
複数のマーカー要素を含むサンプルカードを用意することと、
開構成の前記サンプルカードの第1のプレート上にサンプルを堆積させることと、
前記サンプルカードを閉じて、前記サンプルカードの第2のプレートを前記第1のプレートに対して押して、閉構成にすることであって、前記閉構成にある前記第1のプレート及び前記第2のプレートは、略均一な厚さの前記サンプルと前記複数のマーカー要素とを含む薄層を形成する、前記閉構成にすることと、
処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、前記命令は前記処理装置によって実行されると、
略均一な厚さの前記サンプルと前記複数のマーカー要素とを含む前記サンプルカードの画像を取り込むことと、
前記画像を複数のサブ領域に分割することと、
機械学習モデル及び前記複数のマーカー要素を用いて、前記複数の各サブ領域が前記画像システムの要求を満たすか否かを判定することと、
サブ領域が前記要求を満たさないという判定に応じて、前記第1のサブ領域を不適合であると標識化することと、
前記サブ領域が前記要求を満たすという判定に応じて、前記第1のサブ領域を適合していると標識化することと、
前記画像の前記適合しているサブ領域を用いてアッセイ分析を実行することと
を行う、前記用意することと
を含む、前記方法。
[本発明1022]
IC−1.
画像システムの非理想因子を補正するための方法であって、
前記画像システムの処理装置によって、サンプルカードの画像を受け取ることであって、前記サンプルカードには、前記サンプルカードのプレート上に堆積された略均一な層のサンプルと前記サンプルカードに付随する複数のマーカー要素とが含まれる、前記受け取ることと、
前記処理装置によって、前記画像内の前記複数のマーカー要素を検出することと、
前記検出した複数のマーカー要素を前記サンプルカードに付随するモニタ基準と比較して、前記複数のマーカー要素と前記モニタ基準との間の幾何学的マッピングを決定することと、
前記幾何学的マッピングに基づいて前記画像システムの前記非理想因子を決定することと、
前記サンプルカードの前記画像を処理して前記非理想因子を補正することと
を含む、前記方法。
[本発明1023]
ID−1.
画像システムの非理想因子を補正するための方法であって、
前記画像システムの処理装置によって、サンプルカードの画像を受け取ることであって、前記サンプルカードには、前記サンプルカードのプレート上に堆積された略均一な層のサンプルと前記サンプルカードに付随する複数のマーカー要素とが含まれる、前記受け取ることと、
前記処理装置によって、前記画像を複数のサブ領域に分割することと、
前記処理装置によって、機械学習モデル及び前記複数のマーカー要素を用いて、前記複数の各サブ領域が前記画像システムの要求を満たすか否かを判定することと、
サブ領域が前記要求を満たさないという判定に応じて、前記処理装置によって、前記第1のサブ領域を不適合であると標識化することと、
前記サブ領域が前記要求を満たすという判定に応じて、前記処理装置によって、前記第1のサブ領域を適合していると標識化することと、
前記処理装置によって、前記画像の前記適合しているサブ領域を用いてアッセイ分析を行うことと
を含む、前記方法。
[本発明1024]
IE−1.
画像システムであって、
第1のプレート、第2のプレート、及び複数のマーカー要素を含むサンプルカードを保持するアダプタと、
前記アダプタに結合されたモバイルコンピューティングデバイスと
を含み、
前記モバイルコンピューティングデバイスは、
前記複数のマーカー要素及び前記サンプルカードの画像を取り込む光学センサであって、前記サンプルカードには、前記サンプルカードの前記第1のプレートと前記第2のプレートとの間に堆積された略均一な層のサンプルが含まれる、前記光学センサと、
前記光学センサに通信可能に結合された処理装置と
を含み、
前記処理装置は、
前記光学センサが取り込んだ前記画像を受け取ることと、
前記画像内の前記複数のマーカー要素を検出することと、
前記検出した複数のマーカー要素を前記サンプルカードに付随するモニタ基準と比較して、前記複数のマーカー要素と前記モニタ基準との間の幾何学的マッピングを決定することと、
前記幾何学的マッピングに基づいて前記画像システムの非理想因子を決定することと、
前記非理想因子を補正するように前記サンプルカードの前記画像を処理することと
を行う、
前記画像システム。
[本発明1025]
IF−1.
画像システムであって、
第1のプレート、第2のプレート、及び複数のマーカー要素を含むサンプルカードを保持するアダプタと、
前記アダプタに結合されたモバイルコンピューティングデバイスと
を含み、
前記モバイルコンピューティングデバイスは、
前記複数のマーカー要素及び前記サンプルカードの画像を取り込む光学センサであって、前記サンプルカードには、前記サンプルカードの前記第1のプレートと前記第2のプレートとの間に堆積された略均一な層のサンプルが含まれる、前記光学センサと、
前記光学センサに通信可能に結合された処理装置と
を含み、
前記処理装置は、
前記光学センサが取り込んだ前記画像を受け取ることと、
前記画像を複数のサブ領域に分割することと、
機械学習モデル及び前記複数のマーカー要素を用いて、前記複数の各サブ領域が前記画像システムの要求を満たすか否かを判定することと、
サブ領域が前記要求を満たさないという判定に応じて、前記第1のサブ領域を不適合であると標識化することと、
前記サブ領域が前記要求を満たすという判定に応じて、前記第1のサブ領域を適合していると標識化することと、
前記画像の前記適合しているサブ領域を用いてアッセイ分析を実行することと
を行う、
前記画像システム。
[本発明1026]
IG−1.
モバイル画像化デバイスであって、
光学センサと、
前記光学センサに通信可能に結合された処理装置と
を含み、
前記処理装置は、
前記光学センサが取り込んだ画像を受け取ることであって、前記画像には、複数のマーカー要素と、サンプルカードの第1のプレートと第2のプレートとの間に堆積された略均一な層のサンプルとが含まれる、前記受け取ることと、
前記画像内の前記複数のマーカー要素を検出することと、
前記検出した複数のマーカー要素を前記サンプルカードに付随するモニタ基準と比較して、前記複数のマーカー要素と前記モニタ基準との間の幾何学的マッピングを決定することと、
前記幾何学的マッピングに基づいて前記画像システムの非理想因子を決定することと、
前記非理想因子を補正するように前記サンプルカードの前記画像を処理することと
を行う、
前記モバイル画像化デバイス。
[本発明1027]
IH−1.
モバイル画像化デバイスであって、
光学センサと、
前記光学センサに通信可能に結合された処理装置と
を含み、
前記処理装置は、
前記光学センサが取り込んだ前記画像を受け取ることであって、前記画像には、複数のマーカー要素と、サンプルカードの第1のプレートと第2のプレートとの間に堆積された略均一な層のサンプルとが含まれる、前記受け取ることと、
前記画像を複数のサブ領域に分割することと、
機械学習モデル及び前記複数のマーカー要素を用いて、前記複数の各サブ領域が前記画像システムの要求を満たすか否かを判定することと、
サブ領域が前記要求を満たさないという判定に応じて、前記第1のサブ領域を不適合であると標識化することと、
前記サブ領域が前記要求を満たすという判定に応じて、前記第1のサブ領域を適合していると標識化することと、
前記画像の前記適合しているサブ領域を用いてアッセイ分析を実行することと
を行う、
前記モバイル画像化デバイス。
[本発明1028]
II−1.
インテリジェントアッセイモニタ方法であって、
サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を、処理装置によって受け取ることと、
前記処理装置によって、前記画像に対して第1の機械学習モデルを実行することによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
前記処理装置によって、前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
前記処理装置によって、前記変化に基づいて、前記第1の情報及び前記第2の情報をエンコードする前記画像を補正することと、
前記処理装置によって、前記補正した画像を用いることによって、前記生物学的サンプルの生物学的特性を決定することと
を含む、前記インテリジェントアッセイモニタ方法。
[本発明1029]
II−2.
前記サンプルカードには、第1のプレートと、前記第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、前記第1のプレートを囲んで前記生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、が含まれる、例II−1の方法。
[本発明1030]
II−3.
前記複数のモニタマークは前記複数のピラーに対応する、発明II−2の方法。
[本発明1031]
II−4.
前記複数のモニタマークは、前記第1のプレートまたは前記第2のプレートの少なくとも一方内に与えられる、発明II−2の方法。
[本発明1032]
II−5.
前記処理装置によって、前記画像に対して第1の機械学習モデルを実行することによって、前記複数のモニタマークに付随する前記幾何学的特徴の前記測定値を決定することには、
前記処理装置によって、第1の機械学習モデルを実行することによって、前記画像から前記複数のモニタマークを特定することと、
前記処理装置によって、前記特定した複数のモニタマークに基づいて、前記幾何学的特徴の前記測定値を決定することと
がさらに含まれる、II−1の方法。
[本発明1033]
II−6.
前記処理装置によって、前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の前記変化を決定することには、
前記処理装置によって、システムエラーまたは人間操作エラーの一方を決定することと、
前記システムエラーまたは前記人間操作エラーの前記決定した一方を、前記処理装置に付随する表示デバイス上に示すことと
がさらに含まれる、請求項II−1の方法。
[本発明1034]
II−7.
画像システムであって、
第1のプレートと、前記第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、前記第1のプレートを囲んで前記生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、を含むサンプルカードと、
コンピューティングデバイスと
を含み、
前記コンピューティングデバイスは、光学センサに通信可能に結合された処理装置を含み、
前記処理装置は、
前記光学センサから、前記サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を受け取ることと、
前記画像に対して第1の機械学習モデルを用いることによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
前記変化に基づいて、前記第1の情報及び前記第2の情報をエンコードする前記画像を補正することと、
前記補正した画像に基づいて、前記生物学的サンプルの生物学的特性を決定することと
を行う、
前記画像システム。
[本発明1035]
IJ−1.
薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
モニタ基準を含むサンプルカードであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含む、前記サンプルカードを用意することと、
前記サンプルカードの前記プレート上にサンプルを堆積させることと、
処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、前記命令は前記処理装置によって実行されると、
前記サンプルと前記モニタ基準とを含む前記サンプルカードの画像を取り込むことと、
前記サンプルカードの前記画像を前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像システムの非理想因子を決定することと、
前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
を行う、前記用意することと
を含む、前記方法。
[本発明1036]
IJ−2.
薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
前記処理装置によって、前記サンプルカードの前記画像を前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像システムの非理想因子を決定することと、
前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
を含む、前記方法。
[本発明1037]
IJ−3.
薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
前記処理装置によって、機械学習モデルを用いて、前記画像システムの非理想因子を決定することであって、前記サンプルカードの画像を前記サンプルカードの製造中に決定される前記モニタ基準の幾何学的値と比較することによって、前記機械学習モデルをトレーニングする、前記決定することと、
前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
を含む、前記方法。
[本発明1038]
IJ−4.
モバイル画像化デバイスであって、
光学センサと、
前記光学センサに通信可能に結合された処理装置と
を含み、
前記処理装置は、
サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
前記サンプルカードの前記画像を前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記モバイル画像化システムの非理想因子を決定することと、
前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
を行う、
前記モバイル画像化デバイス。
[本発明1039]
IJ−5.
画像システムであって、
モニタ基準を含むサンプルカードを保持するアダプタであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、サンプルは前記プレート上に堆積されている、前記アダプタと、
前記アダプタに結合されたモバイルコンピューティングデバイスと
を含み、
前記モバイルデバイスは、
光学センサと、
前記光学センサに通信可能に結合された処理装置と
を含み、
前記処理装置は、
前記サンプルカードの画像を受け取ることと、
前記プレート上に堆積された前記サンプルを含むサンプルカードの前記画像を、前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像システムの非理想因子を決定することと、
前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
を行う、
前記画像システム。
[本発明1040]
IJ−6.
サンプルカードであって、
前記サンプルカードのプレート上に複数のナノ構造を含むモニタ基準であって、サンプルは前記プレート上に堆積され、前記サンプルカードを、処理装置と光学センサとを含む画像システムに結合されたアダプタに差し込んで、前記サンプルカードの画像を取り込む、前記モニタ基準を含み、
前記処理装置は、
前記サンプルカードの前記画像を受け取ることと、
前記プレート上に堆積された前記サンプルを含むサンプルカードの前記画像を、前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像システムの非理想因子を決定することと、
前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
を行う、
前記サンプルカード。
[本発明1041]
IJ−7.
薄層サンプルを含む画像システムのシステムエラーを補正するための方法であって、
前記画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードに付随する画像及び第1のパラメータを受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
前記処理装置によって、前記第1のパラメータを前記サンプルカードの製造中に決定される前記モニタ基準に付随する第2のパラメータと比較することによって、前記画像システムの前記システムエラーを決定することと、
前記システムエラーを考慮して前記サンプルカードの前記画像を補正することと
を含む、前記方法。
[本発明1042]
IJ−8.
薄層サンプルのアッセイ画像に記録された人間操作エラーを補正するための方法であって、
画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
前記処理装置によって、機械学習モデルを用いて、前記サンプルカードの前記画像を前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像内に反映された人間操作エラーを決定することであって、前記人間操作エラーには前記画像システムの取り扱いミスが含まれる、前記決定することと、
前記画像内に反映された前記人間操作エラーを取り除くことによって前記サンプルカードの前記画像を補正することと
を含む、前記方法。
画像化ベースのアッセイにおいて用いるデバイスの側面図である。Aは突起物型モニタリングマークを伴う固相表面を例示する図である。Bは溝型モニタリングマークを伴う固相表面を例示する図である。モニタリングマークに対応する特性(たとえば、ピッチ及び距離)をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。 図2Aは、画像化ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマーク(たとえば、突起物型)をどのようにスペーサとは別個の構造にすることができるかを例示する。モニタリングマークに対応する特性をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。図2Bは、画像化ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマークをどのようにスペーサと同じ構造にすることができるかを例示する。モニタリングマークに対応する特性をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。 図2Cは、画像ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマーク(たとえば、溝型)をどのようにスペーサとは別個の構造にすることができるかを例示する。モニタリングマークに対応する特性をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。 図2Dは、画像ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマークをどのようにスペーサとは別個の構造にして、デバイスのサンプル接触領域上に配置することができるかを例示する図である。モニタリングマークをどのようにスペーサとは別個の構造にして、デバイスのサンプル接触領域上に配置することができるかを例示する図である。図2Eは、画像ベースのアッセイにおいて用いるデバイスの側面図である。モニタリングマークをどのようにスペーサとは別個の構造にして、デバイスのサンプル接触領域上に配置することができるかを例示する図である。モニタリングマークに対応する特性をアルゴリズム内で用いて、サンプル中の検体の特性を決定することができる。 モニタリングマーク(たとえば、ピラー)を画像化処理及び/または機械学習とともに用いるためのアルゴリズムの典型的な図及びワークフローである。 本発明のいくつかの実施形態による2つのステージ(トレーニング及び予測)からなる検体検出及び場所特定ワークフローを示す図である。 本発明のいくつかの実施形態により順序付きリストから1つの項目を取り除くプロセスを示す図である。 画像ベースのアッセイングにおいて用いるQMAXカードの実施形態を示す図である。 QMAXカードのサンプル保持デバイスを伴う画像ベースのアッセイのフロー図である。 画像ベースのアッセイにおけるピラーまたはモニタリングマークに基づくTLD/FoV推定のフロー図である。 ピラーまたはモニタリングマーク検出に対する機械学習モデルをトレーニングするフロー図である。 画像変換ベースの機械学習モデルに対するトレーニングデータベースを作成するフロー図である。 画像変換ベースのピラーまたはモニタリングマーク検出に対する画像変換モデルをトレーニングするフロー図である。 サンプル保持デバイス内のピラーを伴う画像ベースのアッセイに対するサンプル画像である。 ピラーまたはモニタリングマーク検出において用いる変換画像内の検出ピラーを示す図である。 アッセイング用サンプルにおける気泡及びホコリの欠陥を例示する図である。 画像化装置を用いる画像ベースのアッセイにおけるサンプル保持デバイス、ピラーまたはモニタリングマークを伴うQMAXカードの3つの側面図である。 大きな気泡を伴うサンプルの画像である。 サンプル画像内の検出ピラーを例示する図である。 光強度曲線対場所のプロットである。
例示的な態様の詳細な説明
以下の詳細な説明では、本発明のいくつかの実施形態を一例として限定としてではなく例示する。本明細書で用いるセクションヘッディング及びサブタイトルは、単に構成上の目的であり、決して記載の主題を限定するものと解釈してはならない。セクションヘッディング及び/またはサブタイトル下の内容は、セクションヘッディング及び/またはサブタイトルには限定されず、本発明の全体の記載に適用される。
任意の刊行物についてその引用は、出願日前のその開示を見るためであり、先行発明により本特許請求の範囲にはこのような刊行物に先行する権利はないと認めるものであると解釈してはならない。さらに、示した刊行物の日付は、独立に確認する必要があり得る実際の刊行日付とは異なる可能性がある。
サンプル中の検体をアッセイするための画像ベースのアッセイにおいて、画像化装置を用いてサンプルホルダ内のサンプルの画像を作成し、アッセイング用の検体またはサンプルの特性を決定する際に画像を用いる。
しかし、多くの要因によって画像が歪められる可能性がある(すなわち、実際のサンプルとは異なるかまたは画像が不完全な状態である)。画像歪みによって、検体の特性を決定する際に不正確さが生じる可能性がある。たとえば、1つの事実は不十分なフォーカシングである。これは、フォーカシングにおいて好ましい鋭いエッジが生物学的サンプル自体にないために生じる。フォーカシングが不十分だと、物体寸法が実際のものとは異なり、他の物体(たとえば、血球)を特定することができなくなる可能性がある。別の例は、レンズが完全ではない場合があることである。その結果、サンプルの場所が異なると歪みの度合いが異なることになる。また別の例は、サンプルホルダが光学画像化システムの同じ平面内にないことである。その結果、ある面積ではフォーカスが良好で、別の面積ではフォーカシングが不十分になる。
本発明は、画像ベースのアッセイングにおいて歪んだ画像から「真の」画像を得て、したがってアッセイの精度を向上させることができるデバイス及び方法に関する。
本発明の一態様は、隣接する表面と平行な光学的に観察可能な平坦面を有するモニタリングマークを用いるデバイス及び方法である。
本発明の別の態様は、QMAXカードを用いて、サンプルの少なくとも一部に、QMAXカードのサンプル保持面積内に均一な厚さの層を形成させ、カード上のモニタリングマークを用いてアッセイ精度を向上させるデバイス及び方法である。
本発明の別の態様は、画像ベースのアッセイにおいてモニタリングマークとともにコンピューテーショナル画像化、人工知能、及び/または機械学習を用いるデバイス及び方法である。
別に定義がない限り、本明細書で用いる技術用語及び科学用語はすべて、本開示が属する当業者が広く理解しているものと同じ意味を有する。本教示を実施または試験する際に、本明細書で説明したものと同様または同等の任意の方法及び材料を用いることもできるが、ここではいくつかの典型的な方法及び材料について説明する。
用語「横寸法」は、画像化している薄いサンプル層の平面内の直線寸法を指す。
用語「真の横寸法(TLD)」及び「視野(FoV)」は交換可能である。
用語「サンプル中の微小特徴」は、サンプル中の物質の検体、微細構造、及び/または微小変化を指し得る。検体は、粒子、細胞、巨大分子(たとえば、タンパク質、核酸、及び他の部分)を指す。微細構造は異なる材料における微小規模の差を指し得る。微小変化はサンプルの局所的な特性の微小規模の変化を指す。微小変化の例は局所的な光学指数及び/または局所的な質量の変化である。細胞の例は血球、たとえば白血球、赤血球、及び血小板である。
用語「サンプル」は、本明細書で用いる場合、対象とする1つ以上の検体または実体を含む材料または材料の混合物に関する。ある実施形態では、サンプルは被検者からの体液サンプルである。ある場合には、固体または半固体サンプルを用意することができる。サンプルには被検者から収集した組織及び/または細胞を含むことができる。サンプルは生物学的サンプルとすることができる。生物学的サンプルの例としては以下を挙げることができるが、これらに限定されない。血液、血清、血漿、鼻腔スワブ、鼻咽頭洗浄液、唾液、尿、胃液、脊髄液、涙、糞便、粘液、汗、耳垢、オイル、腺分泌物、脳脊髄液、組織、***、膣液、腫瘍性組織から得られる間質液、眼液、脊髄液、咽頭スワブ、吐出凝縮液(たとえば呼気)、毛髪、指の爪、皮膚、生検材料、胎盤液、羊水、臍帯血、リンパ液、体腔液、痰、膿、微生物叢、胎便、母乳、及び/または他の排出物。
サンプルには鼻咽頭洗浄液が含まれていてもよい。鼻腔スワブ、咽頭スワブ、糞便サンプル、毛髪、指の爪、耳垢、呼気、及び他の固体、半固体、または気体サンプルを、その分析の前に、たとえば、固定時間または可変時間の間、抽出緩衝液内で処理してもよい。次に抽出緩衝液またはその一定分量を、必要に応じて他の流体サンプルと同様に処理してもよい。被検者の組織サンプルの例としては以下を挙げてもよいが、これらに限定されない。結合組織、筋肉組織、神経組織、上皮組織、軟骨、がんサンプル、または骨。特定の実施形態において、サンプルを被検者(たとえば、ヒト)から取得してもよく、被検者アッセイにおいて使用する前に処理してもよい。たとえば、分析前に、タンパク質/核酸を、使用前の組織サンプルから既知の方法で抽出してもよい。特定の実施形態において、サンプルは臨床サンプル、たとえば、患者から収集したサンプルであってもよい。サンプルは食品、環境などのサンプルとすることもできる。サンプルのいくつかは、形状が変形できるが自由流動性ではない(たとえば痰)。
用語「検体」は、本発明での試験に適した任意の物質を指す。検体には以下が含まれるが、これらに限定されない。原子、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、細菌、及び異なる形状のナノ粒子。バイオマーカーは検体である。
本明細書で用いる場合、用語「決定する」、「測定する」、及び「評価する」、及び「アッセイする」は交換可能に使用され、定量的決定及び定性的決定の両方が含まれる。
本明細書で用いる場合、用語「発光標識」は、外部励起の下で光を放出することができる標識を指す。これは発光とすることができる。蛍光標識(色素分子または量子ドットを含む)及び発光標識(たとえば、電気または化学発光標識)は、発光標識の型である。外部励起は、蛍光の場合は光(光子)、エレクトロルミネッセンスの場合は電流、及び化学発光の場合は化学反応である。外部励起は上記の組み合わせとすることができる。
語句「標識化検体」は、発光標識によって検出可能に標識化された検体であって、標識の存在を評価することによって検体を検出することができるものを指す。標識化検体を直接標識化してもよいし(すなわち、検体自体を標識に直接共役させることを、たとえば、強い結合、たとえば、共有または非共有結合を介して行ってもよい)、または標識化検体を間接的に標識化してもよい(すなわち、直接標識化した二次的な捕捉剤によって検体を結合する)。
核酸に対する用語「ハイブリッド形成する」及び「結合する」は交換可能に使用する。
用語「ハイブリッド形成」は、1つ以上のポリヌクレオチドが反応して、ヌクレオチド残基の塩基間の水素結合を介して安定している錯体を形成する反応を指す。水素結合は、ワトソンクリック塩基対合、フーグスティーン結合、または任意の他の配列特異的な方法によって生じてもよい。錯体は、二重構造を形成する2本の撚り線、多鎖錯体を形成する3本以上の撚り線、単一の自己ハイブリッド形成撚り線、またはこれらの任意の組み合わせが含まれていてもよい。
当業者に知られているように、ハイブリッド形成は種々の厳重さの条件下で行うことができる。好適なハイブリッド形成条件は、捕捉配列と標的核酸との間の認識相互作用が十分に特定的かつ十分に安定であることである。ハイブリッド形成反応の厳重さを増加させる条件は広く知られており、当該技術分野において公表されている。たとえば、Greenら(2012)の以下を参照されたい。
用語「スペーサ」と「光学式校正マーク」及び「光学式校正マーク」と「ピラー」は交換可能である。
用語「アッセイ」は、実験室、薬剤、薬理学、環境生物学、健康管理、及び分子生物学(これらに限定されない)における調査(分析的)手順を指し、標的実体(すなわち検体)の存在、量、濃度、または機能活性の定性的評価または定量的測定のためであるがこれらに限定されない。検体は、薬剤、生化学物質、または生物もしくは有機サンプル(たとえば、人血)中の細胞とすることができる。
用語「画像ベースのアッセイ」は、画像化装置が取り込んだサンプル画像を用いるアッセイング手順を指す。サンプルは、医療用サンプル、生物学的サンプル、及び化学サンプルとすることができるが、これらに限定されない。
用語「画像化装置」は、物体の画像を取り込むことができる任意のデバイスを指す。これには、顕微鏡、スマートフォン、または種々の波長で画像を取り込むことができる特別なデバイス内のカメラが含まれるが、これらに限定されない。
用語「サンプル特徴」は、潜在的に興味深い状態を表すサンプルの何らかの特性を指す。ある実施形態では、サンプル特徴は、サンプル画像内に現れる特徴であり、機械学習モデルまたはいくつかの他のアルゴリズムによってセグメント化して分類することができる。サンプル特徴の例としては、サンプル中の検体タイプ、たとえば、赤血球、白血球、及び腫瘍細胞が挙げられるがこれらに限定されず、検体形状、カウント、サイズ、体積、濃度などが挙げられる。
用語「サンプル中の欠陥」は、理想的なサンプル状態において存在するべきではないかまたはサンプルにおいて考慮すべきではない異物及び人工物を指す。これらは、汚染物質(たとえば、ホコリ、気泡など)及び周辺物体(たとえば、サンプル中の構造的物体、たとえば、サンプル保持デバイス内のモニタマーク(たとえばピラー))に由来する可能性があるが、これらに限定されない。サンプル中の欠陥は、アッセイング用のサンプル中で著しいサイズである可能性があり、また著しい量の体積を取る可能性がある(たとえば、気泡)。これらは、サンプル中に異なる形状、サイズ、量、及び濃度で現れる可能性があり、またサンプルに依存してサンプル毎に変わる可能性もある。
用語、検体の「形態的特徴」は、検体の外観(たとえば形状、色彩、サイズなど)及び構造を指す。
用語「ホモグラフィ変換」は、射影空間の同型写像によって引き起こされる共線変換のクラスを指す。像平面及び現実世界での対応する物理面を特性評価することは、画像処理の分野において知られており、カメラモデルに適用される。
用語「機械学習」は、多くの場合に統計的手法及び人工ニューラルネットワークを用いて、明示的なプログラムミングなしにデータから「学習する」(すなわち、特定のタスクに対する性能を徐々に向上させる)能力をコンピュータに与える人工知能の分野におけるアルゴリズム、システム及び装置を指す。
用語「人工ニューラルネットワーク」は、一般的に何らかのタスク特定のルールを用いたプログラミングなしに例を考えることによってタスクの実行を「学習する」ことができる、生物学的ネットワークから着想を得た階層コネクショニストシステムを指す。
用語「畳み込みニューラルネットワーク」は、通常は視覚画像の解析に適用される多層フィードフォワード人工ニューラルネットワークのクラスを指す。
用語「深層学習」は、いくつかの深いネットワーク構造を用いてデータから学習する人工知能(AI)における幅広いクラスの機械学習方法を指す。
用語「機械学習モデル」は、データからの機械学習におけるトレーニングプロセスから構築されたトレーニングされたコンピューテーショナルモデルを指す。トレーニングされた機械学習モデルは、コンピュータによる推論ステージの間に適用され、自力で特定のタスクを実行する(たとえば、物体を検出して分類する)能力をコンピュータに与える。機械学習モデルの例としては、ResNet、DenseNetなどが挙げられる。これらは、その層状ネットワーク構造における深さから「深層学習モデル」という名前もつけられている。
用語「画像セグメンテーション」は、デジタル画像を複数の画像パッチセグメント(画素の組、多くの場合に、そのセグメント境界輪郭によって囲まれた画像セグメントを覆うビットマップマスクの組を伴う)に分割する画像解析プロセスを指す。画像セグメンテーションは、画像処理における画像セグメンテーションアルゴリズム(たとえば、ウォーターシェッド、グラブカット、平均シフトなど)を通して実現することができ、また専用の機械学習アルゴリズム(たとえば、MaskRCNNなど)を通して実現することもできる。
A.固相表面上のモニタリングマーク
A1−1.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
(a)微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のモニタリングマークであって、
i.サンプルからの異なる材料で形成され、
ii.微細構造のアッセイ中は、サンプル中部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
iii.横直線寸法が約1um(ミクロン)以上であり、
iv.少なくとも1つの横直線寸法が300um以下である、モニタリングマークと
を含み、
アッセイ中に、少なくとも1つのモニタリングマークが、検体のアッセイ中に用いられる画像化装置によって画像化され、モニタリングマークの幾何学的パラメータ(たとえば形状及びサイズ)及び/またはモニタリングマーク間のピッチは、(a)予め決められて検体のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
A1−2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
1つ以上のモニタリングマークであって、各モニタリングマークは固相表面からの突起物または溝を含み、
i.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
ii.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
iii.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
iv.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
v.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、モニタリングマークと
を含む、デバイス。
B.QMAXカード上のモニタリングマーク
A2−1.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
v.モニタリングマークはサンプルからの異なる材料で形成され、
vi.モニタリングマークは微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
vii.モニタリングマークは横直線寸法が約1um(ミクロン)以上であり、少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう1つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である。
A2−2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
v.各モニタリングマークは一方または両方のサンプル接触領域上に突起物または溝を含み、
vi.突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
vii.平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
viii.平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
ix.少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
x.平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である。
A3.画像ベースのアッセイ用のデバイスであって、いずれかの先行するデバイス実施形態のデバイスであって、少なくとも5つのモニタリングマークを有し、モニタリングマークのうちの少なくとも3つは直線上で位置合わせされていないデバイスを含むデバイス。
A4.画像化装置を用いてサンプル中の検体をアッセイするための装置であって、システムには、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と
が含まれる、装置。
A5.画像化ベースのアッセイを行うためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)検体を含むサンプルをアッセイするときに用いる画像化装置と、
(c)デバイスのモニタリングマークを用いて検体に関係する特性を決定するアルゴリズムと
を含む、システム。
いくつかの実施形態では、薄層の厚さは、検体がサンプルホルダ内に単層を形成するように構成されている。用語「単層」の意味は、サンプルホルダ内部の薄いサンプル層において、サンプル層の平面に垂直な方向において2つの隣接する検体の間に実質的な重なりがないということである。
C.コンピューテーション画像化、人工知能、及び/または機械学習を伴うモニタリングマーク
本発明の別の態様は、サンプル保持デバイスのピラーまたはモニタリングマークを、コンピューテーショナル画像化、人工知能、及び/または機械学習とともに用いることである。画像を処理して画像内の物体を現実世界でのその実際の寸法にマッピングするアルゴリズムを用いて、測定値から画像を形成するプロセスを有する。本発明では機械学習(ML)を適用して、MLモデルによって取り込まれ、画像化装置が取り込んだサンプル画像から構築及びトレーニングされたサンプル中の物体の顕著な特徴を学習する。本発明の推論プロセスにインテリジェントな決定ロジックを組み込んで適用して、MLモデルに埋め込まれた知識によりサンプル中の対象物体を検出して分類する。
図9に、本発明におけるTLD(真の横寸法)/FoV(視野)推定に対するプロセス100のブロック図を示す。プロセス100の種々の実施態様において、操作を取り除いてもよいし、結合してもよいし、サブ操作に分解してもよい。プロセスは操作モジュール101から始まる。ここでは、プロセスがアッセイング用サンプルの画像を取り込む。画像は画像化装置がサンプル保持デバイス(たとえば、QMAXカード)に対して取り込む。サンプル保持デバイスは、ピラーまたはモニタリングマークとモニタリングマークの以前のセクションで説明した構造とをQMAXカード上に有する。操作モジュール101からの取り込み画像を入力として操作モジュール102に送り、操作モジュール102では、アッセイング用の画像を処理及び検索して、ピラーまたはモニタリングマークの中心を検出して場所を特定する。典型的な実施態様では、プロセス102は、アッセイング用の画像内のピラーまたはモニタリングマークを検出するための事前トレーニングされた機械学習モデル(M_ピラー)を有する。
前述したように、本発明におけるピラーまたはモニタリングマークは、既知の形状及び寸法を有し、高精度のナノインプリント製造プロセスによって製造される。また、これらのピラーまたはモニタリングマークは、サンプル保持デバイス内に所定の周期パターンで分布し、それらの間に既知のピッチ間隔を有する。本発明におけるこれらの特徴は、プロセス100にとって重要になる。なぜならば、ピラーまたはモニタリングマークは小さく(約〜30ミクロン)、サンプル保持デバイス内でサンプルによって囲まれ、サンプル中の粒子間の強力な光散乱及び回折を受けるからである。加えて、それらは、多くの場合に画像化装置のフォーカスが合っていない。なぜならば、画像化装置は、画像ベースのアッセイ用のサンプル中の検体にフォーカスしており、サンプルホルダの構造にはフォーカスしていないからである。結果として、機械学習モデルを用いて検出した場合でもエラーが生じる。ピラーの一部が検出されないか、誤って検出されるか、または間違っているかたもしくは不正確な中心位置で検出され、その結果、検出したピラー及び中心位置をそのまま使用することは信頼性できず、TLD/FoV推定に対してエラーが持ち込まれる。
図9に例示したように、プロセス100において操作モジュール103が操作モジュール102から検出ピラー及びその中心を取って、本発明で説明したピラーまたはモニタリングマークの特性に基づいて後エラー補正及び推定改良を実行する。詳細には、検出ピラーを所定の既知の周期パターンで位置合わせしなければならず、2つの隣接するピラー中心間の距離は既知のピッチ間隔に従わなければならない等。操作モジュール103が取る操作は、誤検出をなくして、検出ピラーを製造から既知のデザインパターンで位置合わせすることによって、その分布の周期性を用いて他を見つけ、ピラー中心の位置をそれらの間の既知の周期性及びピッチ間隔に従って調整することである。本発明において操作モジュール102及び103が取る操作を組み合わせることによって、ピラーまたはモニタリングマーク検出が、TLD/FoV推定に対する精度に対して堅固になる。
プロセス100の操作モジュール103において、操作モジュール102及び103からの検出ピラー中心に基づいてホモグラフィ変換を推定する。ホモグラフィ変換は画像処理の技術分野で知られており、画像化装置がサンプル上で取り込んだ画像を、取り込んでいる画像内の物体と、画像化されている現実世界の実際の物体との間の透視投影によってモデリングするものである。この透視投影は、以下に説明する変換行列Hによって記述されるホモグラフィ変換(別名:透視変換)によって特徴付けることができる。
Figure 2021535369
x’=Hxによって表される。ここで、Hは3x3の非特異同次変換行列であり、画像化装置が取り込んだ画像内の物体を、画像化されている実際のサンプルプランにおける物体にマッピングするものである。ここから、画像化装置が取り込んだ画像での物体の長さまたは面積が現実世界でのその実際のサイズにマッピングされ、またこれによって、物体のTLD/FoV及び画像での物体の実際のサイズを決定することができる。
しかし、変換行列Hを決定するためには、画像化装置が取り込んだ画像から画像化されている実際のサンプルプランへのHのマッピングに対応する少なくとも4対の点を知る必要がある。また、これら4対の点は、画像化装置が取り込んだ画像と画像化されている実際のサンプルプランとを、それらの間のホモグラフィ変換を通して結合するアンカーとして用いられ、H行列を非特異にするためには少なくとも4つの非共線のピラー中心が必要である。操作モジュール102における操作によって、また操作モジュール103においてピラーまたはモニタリングマークの構造的特徴を適用することによって、4つを超える非共線のピラー中心点を検出することができ、また実際の画像プランにおけるそれらの対応する位置を、サンプル保持デバイス内のピラーまたはモニタリングマークの構造的特徴に基づいて決定することができる。したがって、プロセス100の操作モジュール104によって、TLD/FoV推定に対するホモグラフィ変換行列Hが、操作モジュール103からの検出ピラー中心に基づいて推定される。また操作モジュール104において、推定された変換行列Hを用いて、以後の画像ベースのアッセイング処理においてTLD/FoV推定を行う。
本発明では、ピラーまたはモニタリングマーク検出に対する専用の機械学習モデルをトレーニングデータから構築する。本発明のいくつかの実施形態では、ピラー及びモニタリングマーク検出をアッセイング用の画像上で直接行う。図10に、アッセイング用の原入力画像上でピラーまたはモニタリングマーク検出用の機械学習モデルを構築するためのプロセス200のブロック図を示す。プロセスは操作モジュール201から始まる。ここで、プロセスはトレーニングデータベースDB0内の画像化装置からアッセイング用の画像の組を取得する。これらの画像は、サンプル保持デバイス(たとえば、QMAXカード)内のサンプル上で画像を取り込むことによって収集される。操作モジュール202では、各トレーニング画像をDB0から取得し、各画像内のピラーまたはモニタリングマークに標識化する。標識化した画像を、機械学習モデルトレーニング用の第2のトレーニングデータベースDB1内に保存する。このトレーニングデータセットDB1は、ピラーまたはモニタリングマークを検出するトレーニング機械学習モデル専用であり、サンプル中の検体を検出するための典型的なトレーニングデータベースとは異なる。
操作モジュール203では、新しいトレーニングデータベースDB1を操作モジュール202から取得し、機械学習モデル構造を、深層ニューラルネットワークの形態で選択して、トレーニングデータベースDB1に対してモデルをトレーニングする。本発明のいくつかの実施形態では、RetinaNetの機械学習モデルを使用し、いくつかの他の実施形態では、Fast−RCNNの機械学習モデルを選択する。Tensorflow及びPyTourchを用いて、機械学習モデルを、ピラーまたはモニタリングマーク検出用のトレーニングデータベースDB1を用いてトレーニングする。プロセス200は操作モジュール205で終了する。ここでは、操作モジュール204から取得した機械学習モデルを検証して、アッセイングアプリケーション用に保存する。
図11は、ピラー及びモニタリングマーク検出用の画像変換ベースの機械学習アプローチに対する特別なトレーニングデータベースを形成するブロック図である。プロセス300は操作モジュール301から始まる。ここでは、画像化装置が取り込んだアッセイング用の画像からなるトレーニング画像データベースDB1Aを取得する。操作モジュール302では、DB1Aからの画像をピラーまたはモニタリングマークに対して標識化する。DB1A内の標識化した画像を操作モジュール303に入力する。ここでは、それらを、標識化したピラーまたはモニタリングマークをその輪郭に沿って白色マスクで覆うことによって変換する。操作モジュール303からの変換画像を操作モジュール304に入力する。ここでは、それらを、操作モジュール303からの白色マスクに覆われていない画像内の面積上に黒色マスクを適用することによってさらに変換する。本発明において、ピラーに対して白色マスクを使用し、白色マスクに覆われていない面積に対して黒色マスクを使用することには、2つの利点がある。第1に、ピラーと他の面積との間のコントラストが最大になり、第2に、バックグラウンドにおけるノイズが抑えられる。その結果、ピラーまたはモニタリングマーク及びそれらの中心の以後の検出がより堅固になる。操作モジュール304では、302及び303による変換画像を検証して、ピラーまたはモニタリングマーク検出において画像変換モデルをトレーニングするための新しい対象画像トレーニングデータベースDB2Aに保存する。
図12に、ピラー及びモニタマーク検出用の画像変換ベースの機械学習モデルを構築するブロック図を示す。プロセス400は操作モジュール401から始まる。操作モジュール401は、アッセイング用に画像化装置が取り込んだ画像からなるトレーニング画像データベースDB1Aをロードする。操作モジュール402は、前述したプロセス300を用いてDB1A内の画像を変換することによって取得した対象画像トレーニングデータベースDB2Aをロードする。操作モジュール403では、DB1Aトレーニング画像データベース及び対になる対象画像トレーニングデータベースDB2Aを、トレーニング対象として操作モジュール402から取得する。ここでは、機械学習フレームワークを選択して、アッセイング用に画像化装置が取り込んだ原画像を、対象画像トレーニングデータベース内の白色ピラーまたはモニタリングマスク及び黒色バックグラウンドの新しい画像に変換する機械学習モデルをトレーニングする。本発明のいくつかの実施形態では、画素間(P2P)変換の機械学習フレームワークを選択し、本発明のいくつかの他の実施形態では、CycleGANの機械学習フレームワークを使用する。操作モジュール403は、プロセス300からのトレーニング画像データベースDB1A及び対になる対象画像変換データベースDB2Aを用いて、機械学習モデルTModelをトレーニングする。本発明の一実施形態では、ピラー及びモニタリングマーク検出には以下の操作が含まれる。
1.アッセイング用の画像を入力として取得する
2.画像変換モデルTModelを適用してアッセイング用の入力画像を変換して、本明細書で説明した白色マスクでピラーまたはモニタリングマークを覆い、残りの面積を黒色マスクで覆った画像にする
3.変換画像内のピラーまたはモニタリングマークを検出する
4.検出ピラーまたはモニタリングマーク中心を原入力画像に再マッピングして戻す5.検出ピラーまたはモニタリングマークの場所で、原入力画像に対して、サンプル保持デバイス内の予めデザインされたピラーまたはモニタリングマーク構造からの制限を用いてエラー補正を行う
6.サンプル画像内の検出ピラーまたはモニタリングマークの中心を決定して、それらの場所の精緻化を、サンプル保持デバイス内でのそれらの既知の分布構造の制約に従って行う
7.サンプル画像上での正則変換を、検出ピラーまたはモニタリングマーク中心に基づいて推定して、以後の画像ベースのアッセイングに対するTLD/FoVを決定する
図17は、赤血球をアッセイするために画像化装置が取り込んだサンプルの実際の画像である。明らかに、サンプル画像内のノイズレベルが非常に高く、またサンプル画像において、モニタリング構造(たとえば、サンプルホルダ内のピラーまたはモニタリングマーク)のフォーカスが不十分である。なぜならば、画像ベースのアッセイングにおいて、検体にフォーカスしており、予備参照にはフォーカスしていないからである。この結果、サンプル画像内のピラーまたはモニタリングマークの検出及び場所特定が困難になる。図18に、本明細書で説明するシステム及び方法を用いた変換画像に基づいて赤血球をアッセイする際のサンプル画像からのモニタリングマークのピラーの検出結果を示す。
本発明のいくつかの実施形態では、アッセイング用の画像を交わらないパッチに分割して、パッチ依存性の正則変換を各画像パッチに対して推定することを、そのパッチ内に少なくとも4つの検出した非共線のピラー中心がある場合に行う。そうでない場合には、画像内のすべての検出ピラー中心から推定した正則変換を用いて、画像ベースのアッセイングにおけるTLD/FoVを決定する。
関心面積選択、体積推定、及び欠陥除去を伴うマイクロ選択的画像アッセイング
本明細書で説明するTLD/FoV推定の方法によって、画像ベースのアッセイングにおける他の応用例に対する可能性が開かれる。本発明のいくつかの実施形態では、画像ベースのアッセイングにおいて欠陥(たとえば、気泡、ホコリなど)除去することに適用される。気泡及びホコリは、環境、アッセイング操作、及びアッセイング用に用いているサンプルのタイプに応じて、サンプル中に生じる可能性がある。アッセイング用のサンプル中のこれらの欠陥は、アッセイング精度を上げるためにサンプルから取り去らなければならない。しかし、これは、これらの欠陥が生じてサンプル保持デバイスの閉空間内に閉じ込められたら、極めて難しい可能性がある。さらに、多くの場合に、デバイスは押圧シールされていて、再び開けてはならない。
図15に、気泡及びホコリの両方がサンプル中に生じた状況を示す。本発明のいくつかの実施形態では、以下を含むマイクロ選択的画像アッセイングを実行する。
1.アッセイング用サンプルの画像を入力として取得する
2.(1)からのサンプル画像のTLD/FoVを面積、サイズに対して推定して、結果としてサンプル体積推定を行う
3.アッセイング用サンプルの画像内の欠陥(たとえば、気泡、ホコリなど)を検出して、サンプル中のこれらの欠陥の画像を、トレーニングされた機械学習モデルによってセグメント化する
4.サンプル画像内のセグメント化された欠陥の全面積を推定して、それらの実際の面積サイズを、サンプル保持デバイスのピラー及びモニタリングマークを用いて(2)から推定したTLD/FoVを用いることによって計算する
5.アッセイング用サンプルの画像内の検出した欠陥の全表面積に対応するサンプルの実際の体積を、(4)からの面積推定値とサンプル保持デバイス内のサンプルの既知の高さとから推定する
6.アッセイング用サンプルの画像内の検出した欠陥の表面積を取り除いて、サンプルの全体積の更新を、サンプル画像内の検出した欠陥の表面積の下の全体積に対応する欠陥体積推定値を(5)から差し引くことによって行う
7.(6)からの更新したサンプル体積を伴う更新したサンプル画像内の選択面積上で画像ベースのアッセイングを行う
本発明のいくつかの実施形態では、サンプル画像から取り除く面積は、検出した欠陥の面積よりもマージンΔだけ大きく、結果として、欠陥面積の拡大により、画像ベースのアッセイングにおいて仮想的に取り除かれる体積は大きくなる。このような操作の効果の1つは、アッセイング結果に対する欠陥の悪影響がさらに減ることである。なぜならば、検体が欠陥に付く可能性があり、検体分布の局所的な均一性が影響を受ける可能性があるからである。
本明細書で説明するように、本発明では、重要なことに、サンプル保持デバイス(たとえば、QMAXカード)の構造、及びその内部のピラーまたはモニタリングマークを用いている。詳細には、サンプル保持デバイス(たとえば、QMAXカード)上で画像化装置が取り込んだサンプル画像は疑似3D画像である、なぜならば、サンプル保持デバイス内のサンプルの高さは先験的に知られており均一だからである。したがって、サンプル画像内の物体の表面積に対応するサンプル体積は、当初のサンプルプランにおけるその実際の面積サイズを取得できたら、決定することができる。
当初のサンプルプランにおける実際の面積の推定値を取得するために、サンプル保持デバイス内のピラーまたはモニタリングマークの構造を用いて、より信頼性の高いTLD/FoV推定値を得る。これは、画像ベースのアッセイにおけるマイクロ選択的画像アッセイングの典型例である。すなわち、アッセイング処理が、アッセイング用に画像化装置が取り込んだサンプル画像から特定の面積/体積を選択することができる。
たとえば、本発明のいくつかの実施形態では、選択する特定の面積は、検体が、サンプル保持デバイス内のサンプルの画像及びサンプルの均一な高さから決定される選択面積のサンプル体積とクラスタを形成していないところである。
いくつかの実施形態では、より良好なアッセイング精度が得られるように、欠陥がより少ない、信号対雑音比がより良好である、フォーカス状態などに基づいて、サンプル画像内の面積を選択する。FoV推定用の機械学習ベースのピラー及びモニタリングマーク検出と機械学習ベースの欠陥検出及びセグメンテーションとを組み合わせて、サンプルの変動を減らすことで、本発明で説明したアプローチは画像ベースのアッセイングにおいて柔軟で弾力性あるものとなる。
モニタリングマークを用いてアッセイ操作をモニタリングする
いくつかの実施形態では、対象物体(たとえば細胞)が単層を形成する(すなわちサンプル層に垂直な方向において物体間の著しい重なりがない)ように、サンプルの厚さは薄い厚さに設定されている。
したがって、画像化装置を用いてQMAXカードの製造品質を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触領域内にある、取得することと、
(b)画像化装置を取得することと、
(c)(a)のデバイスのサンプル接触領域内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(d)画像化装置を用いて、薄いサンプル層の1つ以上の画像を取り込むことと、
(e)モニタリングマークの画像を用いてQMAXカードの製造品質を決定することと
を含む、方法。
加えて、画像化装置を用いてQMAXカードの製造品質を決定するための方法であって、
(a)先行する実施形態におけるデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを有し、モニタリングマークはサンプル接触領域内にある、取得することと、
(b)画像化装置を取得することと、
(c)(a)のデバイスのサンプル接触領域内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことと、
(e)モニタリングマークの画像を用いてQMAXカードの製造品質を決定することと
を含む、方法。
製造品質を決定することには、1つ以上のモニタリングマークの特性(たとえば、長さ、幅、ピッチ、ウェビング)を測定することと、測定した特性を基準値と比較してQMAXカードの製造品質を決定することと、が含まれる任意の先行する実施形態の方法。
製造品質を決定することには、1つ以上の第1のモニタリングマークの第1の特性(たとえば、量、長さ、幅、ピッチ、ウェビング)を測定することと、測定した第1の特性を1つ以上の第2のモニタリングマークの第2の特性(たとえば、数、長さ、幅、ピッチ、ウェビング)と比較してQMAXカードの製造品質を決定することと、が含まれる任意の先行する実施形態の方法。
任意の先行する実施形態のデバイスを用いてサンプルを分析する間にアッセイングを行う任意の先行する実施形態の方法。
本発明の一態様は、2つの移動可能なプレートを有するQMAXカードを用いてアッセイするために、薄いサンプルの内部に配置したモニタリングマークを用いてQMAXカードに対する動作状態をモニタすることができる。動作状態には、サンプルが適切に装着されているか否か、2つのプレートが適切に閉じているか否か、2つのプレート間のギャップが所定の値と同じまたはほぼ同じであるか否かを含めることができる。
いくつかの実施形態では、2つの移動可能なプレートを含んで閉構成において2つのプレート間に所定のギャップを有するQMAXカードに対して、QMAXカードベースのアッセイの動作状態を、閉構成においてモニタリングマークの画像を取り込むことによってモニタする。たとえば、2つのプレートが適切に閉じていない場合、モニタリングマークは、画像において、2つのプレートが適切に閉じている状況とは異なって見える。サンプルに囲まれている(適切に閉じている)モニタリングマークは、サンプルに囲まれていない(適切に閉じていない)モニタリングマークとは見え方が異なる。したがって、サンプル装着状態に関係する情報を得ることができる。第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含むデバイスの動作状態を、モニタリングマークを用いてモニタするためのデバイスであって、
i.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
ii.第1のプレート及び第2のプレートはそれぞれ、分析しているサンプルと接触するためのサンプル接触領域を含む内面を含み、
iii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iv.モニタリングマークはその寸法の少なくとも1つが、(a)予め決められて分かっており、(b)画像化装置によって観察可能であり、
v.モニタリングマークは、少なくとも1つの横直線寸法が300um以下の微細構造であり、
vi.モニタリングマークはサンプルの内部にあり、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
もう一つの構成は閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
2つのプレートを閉構成に到達させるときに力を用いた後に、モニタリングマークを画像化して、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否かを判定し、及び/または(ii)サンプルが要望どおりに装着されたか否かを判定する。
いくつかの実施形態では、モニタリングマークの画像を用いて、2つのプレートが意図する閉構成(サンプルがほぼ所定の厚さの厚さを有するように調整される)に到達したか否かを判定する。
いくつかの実施形態では、モニタリングマークの画像を用いて、サンプルが要望どおりに装着されたか否かを判定する。
いくつかの実施形態では、モニタリングマークを画像化して、2つのプレートが意図する閉構成(サンプル厚さが所定の厚さに調整される)に到達したか否かを判定し、サンプルが要望どおりに装着されたか否かを判定する。
いくつかの実施形態では、スペーサはモニタリングマークとして機能する。
いくつかの実施形態では、システムには、デバイスと、コンピューテーショナルデバイスと、命令を有する非一時的コンピュータ可読媒体と、が含まれている。命令は、実行されると、アッセイングにおいて決定処理を実行する。
いくつかの実施形態では、命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、薄いサンプル層とともにモニタリングマークの1つ以上の画像を用いて、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否か、または(ii)サンプルが要望どおりに装着されたか否かを判定することを含む方法を実施する。
いくつかの実施形態では、システムは、命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、本開示の任意の方法を実施する非一時的コンピュータ可読媒体を含んでいる。
W−1.モニタリングマークを用いてデバイスの動作状態をモニタするための方法であって、
a)任意の先行する実施形態のデバイスを取得することであって、デバイスは、2つの移動可能なプレート、スペーサ、及び1つ以上のモニタリングマークを含み、モニタリングマークはサンプル接触領域内にある、取得することと、
b)画像化装置を取得することと、
c)(a)のデバイスのサンプル接触領域内にサンプルを堆積させて、2つのプレートを強制的に閉構成にすることと、
d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことと、
e)モニタリングマークの画像を用いて、(i)2つのプレートが意図する閉構成に到達した結果、サンプル厚さがほぼ所定の厚さに調整されたか否か、または(ii)サンプルが要望どおりに装着されたか否かを判定することと
を含む、方法。
いくつかの例
単一プレート
AA−1.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
I.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能である、エッジを有し、
II.少なくとも1つの横直線寸法が300um以下の微細構造であり、
III.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
AA−1.2.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
i.固相表面からの突起物または溝を含み、
ii.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であり、エッジを有し、iii.少なくとも1つの横直線寸法が300um以下の微細構造であり、
iv.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
一定間隔の2つのプレート
AA−2.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、及び1つ以上のモニタリングマークを含み、
i.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
ii.サンプルの少なくとも一部は、第1及び第2のプレートによって、200um以下の実質的に一定の厚さの薄層内に制限され、
iii.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
iv.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
v.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
2つの移動可能なプレート
AA−3.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
a.第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
ii.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
iii.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
iv.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
v.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
vi.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
vii.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化され、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
微視的マークを有するサンプルホルダを用いた画像取り込み改善
BB−1.サンプル中の微小特徴の画像取り込みを改善するための装置であって、
(c)いずれかの先行するデバイス実施形態のデバイスと、
(d)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、を含み、
画像化装置は画像を取り込み、少なくとも1つの画像はサンプルの一部及びモニタリングの両方を含む、装置。
CB−2.サンプル中の微小特徴の画像取り込みを改善するためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、
(c)マークをパラメータとして用いるとともに、次の画像に対する画像化装置の設定を調整する画像化処理方法を用いるアルゴリズムと
を含む、システム。
C.微視的マークを有するサンプルホルダを用いた画像化解析
CC−1.サンプル中の微小特徴の画像の解析を改善するための装置であって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)マークと、微小特徴を含むかまたは含むと疑われるサンプルとの画像を受け取る際に用いられるコンピューテーションデバイスと、を含み、
コンピューテーションデバイスは、マークをパラメータとして用いるとともに画像の画質を向上させる画像化処理方法を用いるアルゴリズムを実行する、装置。
CC−2.サンプル中の微小特徴の画像の解析を改善するためのシステムであって、(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むかまたは含むと疑われるサンプルをサンプル及びマークの1つまたは複数の画像を取り込むことによってアッセイする際に用いられる画像化装置と、
(c)マークをパラメータとして用いるとともに(c)で取り込んだ少なくとも1つの画像の画質を向上させる画像化処理方法を用いるアルゴリズムと、を含むシステム。
CC−3.サンプル中の微小特徴をアッセイするためのコンピュータプログラム製品であって、プログラムには、少なくとも1つの画像において、
(a)サンプル及びモニタリングマーク(複数可)の画像を受け取ることであって、サンプルはいずれかの先行するデバイス請求項のデバイス内に装着され、画像は画像化装置が取り込む、受け取ることと、
(b)画像を処理及び解析して微小特徴の量を計算することであって、解析では、機械学習とモニタリングマーク(複数可)の画像によって得られる情報とに基づく検出モデルを用いる、計算することと、に適用及び適応されるコンピュータプログラムコードが含まれる、コンピュータプログラム製品。
CC−4.サンプル中の微小特徴をアッセイするためのコンピューティングデバイスであって、本発明の実施形態のいずれかでアルゴリズムを動作させるコンピューティングデバイスが含まれるコンピューテーションデバイス。
CC−5.画質の改善には、ノイズ除去、画像正規化、画像シャープニング、画像スケーリング、位置合わせ、超解像度、ボケ修正、及びそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.画像化処理方法には、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算、シェーディング補正、画像向上及び/または復元、セグメンテーション、特徴抽出及び/またはマッチング、物体検出及び/または分類及び/または場所特定、画像理解、ならびにそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.1.ヒストグラムベースの演算には、コントラストストレッチング、均等化、最小値フィルタリング、中央値フィルタリング、最大値フィルタリング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.2.数学ベースの演算には、二値演算(たとえば、NOT、OR、AND、XOR、及びSUB)、算術ベースの演算(たとえば、ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、及びINVERT)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.3.畳み込みベースの演算には、空間ドメインでの演算、フーリエ変換、DCT、整数変換、周波数ドメインでの演算、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.4.平滑化演算には、線形フィルタ、均一フィルタ、三角フィルタ、ガウシアンフィルタ、非線形フィルタ、中間フィルタ、桑原フィルタ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.5.微分ベースの演算には、一次微分演算、勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、二次微分フィルタ、基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタ、三次微分フィルタ、より高次数の微分フィルタ(たとえば、三次微分フィルタよりも高次数)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.6.形態ベースの演算には、拡張、腐食、ブール型畳み込み、開及び/または閉、ヒットアンドミス演算、輪郭、スケルトン、伝搬、グレー値形態処理、グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖、形態学的平滑化、形態学的勾配、形態学的ラプラシアン、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.7.画像向上及び/または復元には、シャープニング、アンシャープニング、ノイズ抑制、歪み抑制、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.8.セグメンテーションには、閾値化、固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、エッジ発見、勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順、二値数学的形態、ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、グレー値数学形態、トップハット変換、閾値化、局所的コントラストストレッチング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.9.特徴抽出及び/またはマッチングには、独立成分分析、ISOマップ、カーネル主成分分析、潜在意味解析、部分的最小二乗、主成分分析、多因子次元削減、非線形次元削減、多重線形主成分分析、多重線形部分空間学習、半定値埋め込み、オートエンコーダ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
A.微視的マークを有するサンプルホルダ
単一プレート
AA−1.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
i.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
ii.少なくとも1つの横直線寸法が300um以下の微細構造であり、
iii.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
AA−1.2.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
(a)厚さが200um以下であり微小特徴を含むかまたは含むと疑われる薄いサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のマークと、を含み、マークは、
i.固相表面からの突起物または溝を含み、
ii.鋭いエッジであって、(i)予め決められて分かっている形状及び寸法を有し、(ii)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
iii.少なくとも1つの横直線寸法が300um以下の微細構造であり、
iv.サンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
一定間隔の2つのプレート
AA−2.1.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、及び1つ以上のモニタリングマークを含み、i.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
ii.サンプルの少なくとも一部は、第1及び第2のプレートによって、200um以下の実質的に一定の厚さの薄層内に制限され、
iii.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
iv.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
v.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化される、デバイス。
2つの移動可能なプレート
AA−3.画像化装置を用いて、薄いサンプル内の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
I.第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
i.第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むかまたは含むと疑われるサンプルと接触するためのサンプル接触領域を含む内面を含み、
ii.第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
iii.モニタリングマークは、鋭いエッジであって、(a)予め決められて分かっている形状及び寸法を有し、(b)微小特徴を画像化する画像化装置によって観察可能であるエッジを有し、
iv.モニタリングマークは少なくとも1つの横直線寸法が300um以下の微細構造であり、
v.モニタリングマークはサンプルの内部にあり、
マークの少なくとも1つはアッセイ中に画像化装置によって画像化され、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(a)スペーサとは異なる構造であるか、または(b)スペーサとして用いられるものと同じ構造である、デバイス。
B.微視的マークを有するサンプルホルダを用いた画像取り込み改善
BB−1.サンプル中の微小特徴の画像取り込みを改善するための装置であって、
(e)いずれかの先行するデバイス実施形態のデバイスと、
(f)微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と
を含み、
画像化装置は画像を取り込み、少なくとも1つの画像はサンプルの一部及びモニタリングの両方を含む、装置。
CB−2.サンプル中の微小特徴の画像取り込みを改善するためのシステムであって、
i.いずれかの先行するデバイス実施形態のデバイスと、
ii.微小特徴を含むかまたは含むと疑われるサンプルをアッセイする際に用いられる画像化装置と、
iii.命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、マークをパラメータとして用いるとともに、次の画像に対する画像化装置の設定を調整する画像化処理方法を用いる、非一時的コンピュータ可読媒体と
を含む、システム。
C.微視的マークを有するサンプルホルダを用いた画像化解析
CC−1.サンプル中の微小特徴の画像の解析を改善するための装置であって、
a)いずれかの先行するデバイス実施形態のデバイスと、
b)マークと、微小特徴を含むかまたは含むと疑われるサンプルとの画像を受け取る際に用いられるコンピューテーションデバイスと
を含み、
コンピューテーションデバイスは、マークをパラメータとして用いるとともに画像の画質を向上させる画像化処理方法を用いるアルゴリズムを実行する、装置。
CC−2.サンプル中の微小特徴の画像の解析を改善するためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むかまたは含むと疑われるサンプルをサンプル及びマークの1つまたは複数の画像を取り込むことによってアッセイする際に用いられる画像化装置と、
(c)命令を有する非一時的コンピュータ可読媒体であって、命令は、実行されると、マークをパラメータとして用いるとともに、(c)で取り込んだ少なくとも1つの画像の画質を向上させる画像化処理方法を用いる、非一時的コンピュータ可読媒体と
を含む、システム。
CC−3.サンプル中の微小特徴をアッセイするためのコンピュータプログラム製品であって、プログラムには、少なくとも1つの画像において、
(a)サンプル及びモニタリングマーク(複数可)の画像を受け取ることであって、サンプルはいずれかの先行するデバイス請求項のデバイス内に装着され、画像は画像化装置が取り込む、受け取ることと、
(b)画像を処理及び解析して微小特徴の量を計算することであって、解析では、機械学習とモニタリングマーク(複数可)の画像によって得られる情報とに基づく検出モデルを用いる、計算することと
に適用及び適応されるコンピュータプログラムコード手段が含まれる、コンピュータプログラム製品。
CC−4.サンプル中の微小特徴をアッセイするためのコンピューティングデバイスであって、本発明の実施形態のいずれかでアルゴリズムを動作させるコンピューティングデバイスが含まれるコンピューテーションデバイス。
CC−5.画質の改善には、ノイズ除去、画像正規化、画像シャープニング、画像スケーリング、位置合わせ(たとえば、顔検出用)、超解像度、ボケ修正、及びそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.画像化処理方法には、ヒストグラムベースの演算、数学ベースの演算、畳み込みベースの演算、平滑化演算、微分ベースの演算、形態ベースの演算、シェーディング補正、画像向上及び/または復元、セグメンテーション、特徴抽出及び/またはマッチング、物体検出及び/または分類及び/または場所特定、画像理解、ならびにそれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.1.ヒストグラムベースの演算には、コントラストストレッチング、均等化、最小値フィルタリング、中央値フィルタリング、最大値フィルタリング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.2.数学ベースの演算には、二値演算(たとえば、NOT、OR、AND、XOR、及びSUB)、算術ベースの演算(たとえば、ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、及びINVERT)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.3.畳み込みベースの演算には、空間ドメインでの演算、フーリエ変換、DCT、整数変換、周波数ドメインでの演算、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.4.平滑化演算には、線形フィルタ、均一フィルタ、三角フィルタ、ガウシアンフィルタ、非線形フィルタ、中間フィルタ、桑原フィルタ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.5.微分ベースの演算には、一次微分演算、勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、二次微分フィルタ、基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタ、三次微分フィルタ、より高次数の微分フィルタ(たとえば、三次微分フィルタよりも高次数)、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.6.形態ベースの演算には、拡張、腐食、ブール型畳み込み、開及び/または閉、ヒットアンドミス演算、輪郭、スケルトン、伝搬、グレー値形態処理、グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖、形態学的平滑化、形態学的勾配、形態学的ラプラシアン、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.7.画像向上及び/または復元には、シャープニング、アンシャープニング、ノイズ抑制、歪み抑制、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.8.セグメンテーションには、閾値化、固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、エッジ発見、勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順、二値数学的形態、ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、グレー値数学形態、トップハット変換、閾値化、局所的コントラストストレッチング、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
CC−6.9.特徴抽出及び/またはマッチングには、独立成分分析、ISOマップ、カーネル主成分分析、潜在意味解析、部分的最小二乗、主成分分析、多因子次元削減、非線形次元削減、多重線形主成分分析、多重線形部分空間学習、半定値埋め込み、オートエンコーダ、及びこれらの任意の組み合わせからなる群から選択される少なくとも1つが含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いてサンプルの真の横寸法を決定することと
を含み、(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、方法。
T2.各モニタリングマークは固相表面からの突起物または溝を含む任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T3.微細構造は鋭いエッジを有さない任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T4.サンプルは、生物学的サンプル、化学サンプル、及び鋭いエッジを有さないサンプルからなる群から選択される任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T5.(i)画像化を調整すること、(ii)サンプル画像を処理すること、(iii)微小特徴に関係する特性を決定こと、または(iv)それらの任意の組み合わせを行うアルゴリズム内で、モニタリングマークをパラメータとして用いるとともに画像化処理方法を用いる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
T6.スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有する任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
AA.サンプルの薄層の画像化を改善するための方法及びデバイス。
AA1.サンプルの薄層の画像化を改善するための方法であって、
(a)マーキングされたサンプルホルダを取得することであって、サンプルはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、
(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いてサンプルの真の横寸法を決定することと
を含み、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、
方法。
A−1
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
i.任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、
ii.画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的なコンピュータ可読媒体とを取得することと、
iii.(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
iv.画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
v.アルゴリズムを用いてサンプルの真の横寸法を決定することと
を含み、
(a)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(b)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、
方法。
NN1.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
(a)微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
(b)1つ以上のモニタリングマークであって、モニタリングマークは、
i.サンプルからの異なる材料で形成され、
ii.微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
iii.その横直線寸法が約1um(ミクロン)以上であり、
iv.少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、検体のアッセイ中に用いられる画像化装置によって画像化され、モニタリングマークの幾何学的パラメータ(たとえば形状及びサイズ)及び/またはモニタリングマーク間のピッチは、(a)予め決められて検体のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
NN2.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
微小特徴を含むサンプルと接触するためのサンプル接触領域を含む固相表面と、
1つ以上のモニタリングマークであって、各モニタリングマークは固相表面からの突起物または溝を含む1つ以上のモニタリングマークと、を含み、
(a)突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
(b)平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、(c)平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
(d)少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
(e)平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられる、デバイス。
NN3.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
(a)第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
(b)第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
(c)第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
(d)スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
(e)モニタリングマークはサンプルからの異なる材料で形成され、
(f)モニタリングマークは微細構造のアッセイ中にサンプルの内部にあり、サンプルはサンプル接触領域上に厚さ200um未満の薄層を形成し、
(g)モニタリングマークは横直線寸法が約1um(ミクロン)以上であり、少なくとも1つの横直線寸法が300um以下であり、
アッセイ中に、少なくとも1つのモニタリングマークが、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
NN4.画像化装置を用いてサンプル中の微小特徴をアッセイするためのデバイスであって、
第1のプレート、第2のプレート、スペーサ、及び1つ以上のモニタリングマークを含み、
(a)第1のプレート及び第2のプレートは、互いに対して移動して異なる構成になることができ、
(b)第1のプレート及び第2のプレートはそれぞれ、微小特徴を含むサンプルと接触するためのサンプル接触領域を含む内面を含み、
(c)第1のプレート及び第2のプレートの一方または両方は、対応するプレートの内面に永続的に固定されるスペーサを含み、
(d)スペーサは200ミクロン以下の略均一な高さと固定のスペーサ間距離(ISD)とを有し、
(e)各モニタリングマークは一方または両方のサンプル接触領域上に突起物または溝を含み、
(f)突起物または溝は、突起物または溝に隣接する固相表面の一部である隣接表面と実質的に平行な平坦面を含み、
(g)平坦面と隣接表面との間の距離は約200ミクロン(um)以下であり、
(h)平坦面は(a)直線寸法が少なくとも約1um以上で(b)少なくとも1つの直線寸法が150um以下の面積であり、
(i)少なくとも1つのモニタリングマークの平坦面は、微小特徴のアッセイ中に用いられる画像化装置によって画像化され、
(j)平坦面の形状、平坦面の寸法、平坦面と隣接表面との間の距離、及び/またはモニタリングマーク間のピッチは、(a)予め決められて微小特徴のアッセイ前に分かっており、(b)微小特徴に関係する特性を決定するアルゴリズム内でパラメータとして用いられ、
a.構成の1つは開構成であり、2つのプレートは部分的または完全に分離して離れており、プレート間の間隔はスペーサによって調整されず、サンプルは一方または両方のプレート上に堆積され、
構成のもう一つは閉構成であり、開構成でサンプルが堆積された後に構成され、力面積に不正確な押圧を印加することによってプレートが強制的に閉構成にされ、閉構成では、サンプルの少なくとも一部が、2つのプレートによって圧縮されて極めて均一な厚さの層になり、プレートに対して実質的に停滞しており、均一な厚さの層は2つのプレートのサンプル接触領域によって制限され、プレート及びスペーサによって調整され、
モニタリングマークは、(i)スペーサとは異なる構造であるか、または(ii)スペーサとして用いられるものと同じ構造である、デバイス。
NN5.直線上で位置合わせされていない少なくとも4つのモニタリングマークを有するいずれかの先行するデバイス実施形態のデバイスを含む画像化ベースのアッセイ用のデバイス。
NN6.画像化装置を用いてサンプル中の微小特徴をアッセイするための装置であって、システムは、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と
を含む、装置。
NN7.画像化ベースのアッセイを行うためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、
(c)命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されると、デバイスのモニタリングマークを用いて微小特徴に関係する特性を決定する、非一時的コンピュータ可読媒体と
を含む、システム。
NN8.画像化装置を用いてサンプル中の微小特徴をアッセイするためのシステムであって、
(a)いずれかの先行するデバイス実施形態のデバイスと、
(b)微小特徴を含むサンプルをアッセイする際に用いられる画像化装置と、
(c)命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されると、デバイスのモニタリングマークを用いて微小特徴に関係する特性をアッセイし、命令には機械学習が含まれる、非一時的コンピュータ可読媒体と
を含む、システム。
NN9.画像化装置を用いてサンプル中の微小特徴をアッセイするための方法であって、
(a)任意の先行する実施形態のデバイス、装置、またはシステムを取得することと、
(b)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには微小特徴が含まれる、堆積させることと、
(c)微小特徴をアッセイすることと
を含む、方法。
NN10.画像化装置を用いてサンプル中の微小特徴をアッセイするための方法であって、
(a)任意の先行する実施形態のデバイス、装置、またはシステムを取得することと、
(b)サンプルを取得して、(a)におけるデバイス、装置、またはシステム内のサンプル接触領域上にサンプルを堆積させることであって、サンプルには微小特徴が含まれる、堆積させることと、
(c)微小特徴をアッセイすることであって、アッセイングには機械学習を用いるステップが含まれる、アッセイすることと
を含む、方法。
T1.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)のデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いてサンプルの真の横寸法を決定することと
を含み。
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、
方法。
T2.歪んだ画像から、サンプルホルダ上のサンプルの真の横寸法(TLD)を決定するための方法であって、
(a)任意の先行する実施形態のデバイスを取得することであって、デバイスにはサンプル接触領域内に1つ以上のモニタリングマークが含まれる、取得することと、
(b)画像化装置と、コンピューテーションハードウェアと、アルゴリズムを含む非一時的コンピュータ可読媒体とを取得することと、
(c)(a)におけるデバイスのサンプル接触領域内に、微小特徴を含む薄いサンプル層を堆積させることと、
(d)画像化装置を用いて、薄いサンプル層とともにモニタリングマークの1つ以上の画像を取り込むことであって、画像化装置は薄いサンプル層の上方に位置する、取り込むことと、
(e)アルゴリズムを用いて、物理的評価基準(たとえばマイクロメートル)によって、画像化したサンプルの現実世界での真の横寸法及び座標を決定することと
を含み、
(i)アルゴリズムは、コンピュータシステム上で実行されるコンピュータコードであり、
(ii)アルゴリズムはモニタリングマークの画像をパラメータとして用いる、
方法。
T3.サンプルからの微小特徴とモニタリングマークとはサンプル保持デバイス内に配置されている任意の先行する実施形態のデバイス、方法、またはシステム。
T4.決定することには、画像化装置が取り込んだサンプル画像内のモニタリングマークを検出して場所を特定することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
T5.決定することには、画像化装置が取り込んだサンプル画像から検出されたモニタリングマークに基づいてモニタリングマークグリッドを作成することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
T6.決定することには、作成されたモニタリングマークグリッドからホモグラフィ変換を計算することが含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
T7.決定することには、ホモグラフィ変換からTLDを推定することと、画像ベースのアッセイにおいて検出された微小特徴の面積、サイズ、及び濃度を決定することと、が含まれる任意の先行する実施形態のデバイス、方法、またはシステム。
T8.TLD推定は画像化装置が取り込んだサンプル画像内の領域に基づいており、
(a)サンプルを取得することと、
(b)サンプルを、サンプル保持デバイス(たとえば、QMAXデバイス)内に装着することであって、モニタリングマークが存在し、モニタリングマークは、サンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置が上方から画像化することができるデバイス内に存在する、装着することと、
(c)微小特徴とモニタリングマークとを含むサンプル装着デバイス内のサンプルの画像を取り込むことと、
(d)画像化装置が取り込んだサンプル画像内のモニタリングマークを検出することと、
(e)サンプル画像を非重複領域に分割することと、
(f)局所領域で検出された4つを超える非共線のモニタリングマークを用いて、領域ベースのマークグリッドを各非重複領域に対して作成することと、
(g)画像化装置が取り込んだサンプル画像から検出されたモニタリングマークに基づいて、(f)にない他のすべての領域に対してマークグリッドを作成することと、
(h)(f)の各領域に対して領域特定のホモグラフィ変換を、(f)から作成したその独自の領域ベースのマークグリッドに基づいて計算することと、
(i)(g)で作成したマークグリッドに基づいて、(f)にない他のすべての領域に対してホモグラフィ変換を計算することと、
(j)(g)の領域ベースのホモグラフィ変換に基づいて、(f)の各領域に対して領域ベースのTLDを推定することと、
(k)(i)のホモグラフィ変換に基づいて、(f)にない他の領域に対してTLDを推定することと、
(l)(j)及び(k)から推定したTLDを適用して、画像ベースのアッセイにおいて各画像分割における画像化された微小特徴の面積及び濃度を決定することと
を含む、任意の先行する実施形態の方法、デバイス、またはシステム。
T9.サンプル保持デバイス内のモニタリングマークは、規定されたピッチ周期を伴う周期パターンに従って分布している任意の先行する実施形態の方法、デバイス、またはシステム。
T10.前記モニタリングマークを検出して、較正及び画像ベースのアッセイにおける測定精度の向上のための検出可能アンカーとして適用する任意の先行する実施形態の方法、デバイス、またはシステム。
T11.画像化装置が取り込んだサンプル画像内のモニタリングマークの検出では、エラー補正及び/または検出の信頼性用のサンプル保持デバイス内でのモニタリングマーク分布の周期性を用いる任意の先行する実施形態の方法、デバイス、またはシステム。
T12.画像ベースのアッセイにおける前記モニタリングマークの検出、特定、面積及び/または形状輪郭の推定は、機械学習(ML)を通して、MLベースのモニタリングマーク検出モデルと、画像ベースのアッセイにおいて前記デバイス上で画像化装置が取り込んだ画像から構築またはトレーニングされた装置とを用いて行う任意の先行する実施形態の方法、デバイス、またはシステム。
T13.画像ベースのアッセイにおける前記モニタリングマークの検出、特定、面積及び/または形状輪郭の推定は、画像処理、または機械学習と結合した画像処理を通して行う任意の先行する実施形態の方法、デバイス、またはシステム。
T14.検出したモニタリングマークを画像ベースのアッセイにおけるTLD推定に適用して、システムを較正し及び/または画像化ベースのアッセイにおける測定精度を向上させる任意の先行する実施形態の方法、デバイス、またはシステム。
T15.検出したモニタリングマークを画像ベースのアッセイにおける微小特徴サイズ、体積及び/または濃度の推定(これらに限定されない)に適用して、システムを較正し及び/または測定精度を向上させる任意の先行する実施形態の方法、デバイス、またはシステム。
T16.モニタリングマークの検出及び/またはTLD推定を画像ベースのアッセイにおける故障検出(サンプル保持デバイス内の欠陥、画像化装置内でのサンプル保持デバイスの置き違い、及び/または画像化装置のフォーカシング故障の検出が挙げられるが、これらに限定されない)に適用する任意の先行する実施形態の方法、デバイス、またはシステム。
T17.前記モニタリングマークを、画像ベースのアッセイにおいて物体の面積を推定するシステムにおいて適用するアンカーとして検出し、
i.サンプルを、画像ベースのアッセイにおいて前記デバイス内にモニタリングマークが存在するサンプル保持デバイスに装着することと、
ii.微小特徴とモニタリングマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むことと、
iii.サンプル保持デバイス上で画像化装置が取り込んだサンプル画像内のモニタリングマークを検出して、画像ベースのアッセイにおいてTLDを決定して面積推定値を計算し、画像化した物体のサイズを画像内の画素から決定し、現実世界でのマイクロメートルでのその物理的寸法を決定する任意の先行する実施形態の方法、デバイス、またはシステム。
T18.システムには、
i.デジタル画像内のモニタリングマークを検出することと、
ii.モニタリングマークグリッドを作成することと、
iii.モニタリングマークグリッドに基づいて画像変換を計算することと、
iv.画像ベースのアッセイにおいてサンプル画像内の物体の面積と現実世界でのその物理的寸法とを推定することと
を含む、任意の先行する実施形態の方法、デバイス、またはシステム。
T19.検出したモニタリングマークから作成したモニタリングマークグリッドを用いてホモグラフィ変換を計算して、TLD、画像化装置が取り込んだサンプル画像内での物体の面積、及び現実世界での物体の物理的寸法を推定する任意の先行する実施形態の方法、デバイス、またはシステム。
T20.方法には、
i.画像ベースのアッセイにおいて画像化装置が取り込んだサンプル画像を非重複領域に分割することと、
ii.画像内の局所的なモニタリングマークを検出することと、
iii.領域内で4つを超える非共線のモニタリングマークが検出された場合にその領域に対する領域ベースのマークグリッドを作成することと、
iv.画像化装置が取り込んだサンプル画像内で検出されたモニタリングマークに基づいて、他のすべての領域に対するマークグリッドを作成することと、
v.(iii)の各領域に対して、作成した領域ベースのマークグリッドから領域ベースのホモグラフィ変換を計算することと、
vi.(iv)で作成したマークグリッドに基づいて、(iii)にない他のすべての領域に対してホモグラフィ変換を計算することと、
vii.(v)及び(vi)から生成したホモグラフィ変換に基づいて、各領域に対してTLDを推定し、画像ベースのアッセイにおいて各領域におけるサンプルの画像内での物体の面積と現実世界でのそのサイズとを決定することと
が含まれる、任意の先行する実施形態の方法、デバイス、またはシステム。
T21.アッセイは医療、診断、化学的または生物学的試験である任意の先行する実施形態の方法、デバイス、またはシステム。
T22.前記微小特徴は細胞である任意の先行する実施形態の方法、デバイス、またはシステム。
T23.前記微小特徴は血球である任意の先行する実施形態の方法、デバイス、またはシステム。
T24.前記微小特徴はタンパク質、ペプチド、DNA、RNA、核酸、小分子、細胞、またはナノ粒子である任意の先行する実施形態の方法、デバイス、またはシステム。
T25.前記微小特徴には標識が含まれる任意の先行する実施形態の方法、デバイス、またはシステム。
T26.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
(a)サンプル画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り込み、画像にはサンプル及びモニタリングマークの両方が含まれる、受け取ることと、
(b)検出モデルを用いて画像を解析して画像の2Dデータアレイを作成することであって、2Dデータアレイには画像内の各場所に対する微小特徴の確率データが含まれ、検出モデルはトレーニングプロセスを通して設定され、トレーニングプロセスには、
i.注釈付きデータセットを畳み込みニューラルネットワークに供給することであって、注釈付きデータセットは、テストサンプルと同じタイプのサンプルからであり、同じ微小特徴に対するものである、供給することと、
ii.畳み込みによって検出モデルをトレーニングして設定することと
が含まれる、作成することと、
(c)2Dデータアレイを解析して、局所的な信号ピークを、
i.信号リストプロセス、または
ii.局所的な検索プロセス
を用いて検出することと、
(d)局所的な信号ピーク情報に基づいて微小特徴の量を計算することと
に適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
T27.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
前記プログラムをコンピューティングデバイス上でまたはネットワーク接続によってコンピューティングクラウドにおいて実行したときに、
(a)サンプル中の物体とサンプル保持デバイス上で画像化装置が取り込んだサンプル画像内の前記物体の画素輪郭マップとの間の推論のパターンを表すことと、
(b)サンプル画像内の推論パターンから検出した少なくとも1つの物体の画像を数値的に再構成して、物体にフォーカスが合っている場合に推論モジュールによって特定された物体を囲む輪郭マスクを作成することと、
(c)サンプル画像の少なくとも1つの部分を、サンプル画像の選択部分における少なくとも1つの物体に対して特定することと、
(d)、前記少なくとも1つの部分から物体の少なくとも1つの特徴を計算して、画像化装置が取り込んだサンプル画像の選択部分における物体を特定することと、
(e)サンプル画像の選択部分から、選択部分における検出した物体のカウント及びその濃度を計算することと
に適用及び適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
T28.前記アルゴリズムには、コンピュータプログラムコード手段を含むコンピュータプログラム製品が含まれ、コンピュータプログラムコード手段は、少なくとも1つの画像において、
(a)サンプル画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り込み、画像にはサンプル及びモニタリングマークの両方が含まれる、受け取ることと、
(b)画像を解析して微小特徴の量を計算することであって、解析では機械学習とモニタリングマークの画像によって得られる情報とに基づく検出モデルを用いる、計算することと
に適応される、任意の先行する実施形態の方法、デバイス、またはシステム。
任意の先行する実施形態のコンピュータプログラムを含むコンピュータ可読記憶媒体またはメモリ記憶ユニットをさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
任意の先行する実施形態の計算デバイスを含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
任意の先行する実施形態のコンピュータプログラム製品を含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
任意の先行する実施形態のコンピュータ可読記憶媒体または記憶ユニットを含むコンピューティング配置またはモバイル装置をさらに含む任意の先行する実施形態の方法、デバイス、またはシステム。
サンプルを分析するためのデバイスであって、
第1のプレート、第2のプレート、表面増幅層、及び捕捉剤を含み、
(a)第1及び第2のプレートは、互いに対して移動して異なる構成になることができ、その対応する表面上に、標的検体を含むサンプルに接触するためのサンプル接触領域を有し、
(b)表面増幅層はサンプル接触領域の1つ上にあり、
(c)捕捉剤は表面増幅層上に固定化され、捕捉剤は標的検体に特異的に結合し、表面増幅層は標的検体または標的検体に取り付けられた標識からの光信号を、それらが表面増幅層の付近にあるときに、それらがミクロン以上離れているときよりもはるかに大きく増幅し、
構成の1つは開構成であり、2つのプレートの内面間の平均間隔は少なくとも200umであり、
構成のもう一つは閉構成であり、サンプルの少なくとも一部は2つのプレート間にあり、プレートの内面間の平均間隔は200um未満である、デバイス。
サンプルを分析するためのデバイスであって、
第1のプレート、第2のプレート、表面増幅層、及び捕捉剤を含み、
(a)第1及び第2のプレートは、互いに対して移動して異なる構成になることができ、その対応する表面上に、標的検体を含むサンプルに接触するためのサンプル接触領域を有し、
(b)表面増幅層はサンプル接触領域の1つ上にあり、
(c)捕捉剤は表面増幅層上に固定化され、捕捉剤は標的検体に特異的に結合し、
表面増幅層は標的検体に取り付けられた標識からの光信号を、それが表面増幅層の付近にあるときに、それがミクロン以上離れているときよりもはるかに大きく増幅し、構成の1つは開構成であり、2つのプレートの内面間の平均間隔は少なくとも200umであり、
構成のもう一つは閉構成であり、サンプルの少なくとも一部は2つのプレート間にあり、プレートの内面間の平均間隔は200um未満であり、
閉構成におけるサンプルの厚さ、閉構成においてサンプルに溶解した標識の濃度、及び表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された任意の標識が閉構成において未結合標識を洗い流すことなく見えるように、構成されている、デバイス。
任意の先行する実施形態のデバイスとデバイスを読み取るための読取機とを含む装置。
任意の先行する実施形態のデバイスを用いる均一アッセイ法であって、閉構成におけるサンプルの厚さ、標識の濃度、及び増幅表面の増幅率は、増幅表面上に結合された標識(複数可)を、未結合標識を洗い流すことなく見えるように構成されている、均一アッセイ法。
方法を、
任意の先行する実施形態のいずれかのデバイスを取得することと、
プレートが開構成にあるときにサンプルを一方または両方のプレート上に堆積させることと、
プレートを閉じて閉構成にすることと、
サンプル接触領域を読み取りデバイスを用いて読み取って信号の画像を形成することと
によって行う、任意の先行する実施形態の方法。
増幅表面に結合された標識は60秒未満で見える任意の先行する実施形態のデバイスまたは方法。
方法は、任意の生物学的材料または増幅表面に結合された標識を洗浄ステップを用いて取り除くことなく信号を読み取る均一アッセイである任意の先行する実施形態のデバイスまたは方法。
増幅表面に結合された標識を画素化された読み取り方法によって読み取る任意の先行する実施形態のデバイスまたは方法。
増幅表面に結合された標識を一括の読み取り方法によって読み取る任意の先行する実施形態のデバイスまたは方法。
アッセイは検出感度が0.1nM以下である任意の先行する実施形態のデバイスまたは方法。
方法生物学的材料または増幅表面に結合された標識は読み取り前にスポンジによって取り除かれる任意の先行する実施形態のデバイスまたは方法。
信号増幅層にはD2PAが含まれる任意の先行する実施形態のデバイスまたは方法。
信号増幅層には金属材料層が含まれる任意の先行する実施形態のデバイスまたは方法。
信号増幅層には、金、銀、銅、アルミニウム、それらの合金、及びそれらの組み合わせからなる群から選択される材料で形成される連続的な金属膜が含まれる任意の先行する実施形態のデバイスまたは方法。
異なる金属の層は、光信号を高めるために局所的に高めるかもしくは反射体として働くかまたは両方を行う任意の先行する実施形態のデバイスまたは方法。
信号増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にある任意の先行する実施形態のデバイスまたは方法。
金属材料層は均一な金属層、ナノ構造の金属層、または組み合わせである任意の先行する実施形態のデバイスまたは方法。
プラズモン増強によって信号を増幅する任意の先行する実施形態のデバイスまたは方法。
アッセイには標識をラマン散乱によって検出することが含まれる任意の先行する実施形態のデバイスまたは方法。
捕捉剤は抗体である任意の先行する実施形態のデバイスまたは方法。
捕捉剤はポリヌクレオチド任意の先行する実施形態のデバイスまたは方法。
デバイスにはさらに、プレートの1つ上に固定されたスペーサが含まれ、スペーサは閉構成における第1のプレートと第2のプレートとの間の間隔を調整する任意の先行する実施形態のデバイスまたは方法。
表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された単一標識からの光信号が見えるように調整される任意の先行する実施形態のデバイスまたは方法。
表面増幅層の増幅率は、捕捉剤に直接または間接的に結合された単一標識からの光信号が見えるように調整され、捕捉剤に結合された見える単一標識は別個にカウントされる任意の先行する実施形態のデバイスまたは方法。
閉構成における第1のプレートと第2のプレートとの間の間隔は、捕捉剤に対する標的検体の飽和結合時間が300秒以下になるように構成されている任意の先行する実施形態のデバイスまたは方法。
閉構成における第1のプレートと第2のプレートとの間の間隔は、捕捉剤に対する標的検体の飽和結合時間が60秒以下になるように構成されている任意の先行する実施形態のデバイスまたは方法。
表面増幅層の増幅率は、単一標識からの光信号が見えるように調整される任意の先行する実施形態のデバイスまたは方法。
捕捉剤は核酸である任意の先行する実施形態のデバイスまたは方法。
捕捉剤はタンパク質である任意の先行する実施形態のデバイスまたは方法。
捕捉剤は抗体である任意の先行する実施形態のデバイスまたは方法。
第2のプレートのサンプル接触領域は試薬保存部位を有し、保存部位は閉構成における第1のプレート上の結合部位のほぼ上方にある任意の先行する実施形態のデバイスまたは方法。
試薬保存部位には標的検体に結合する検出剤が含まれる任意の先行する実施形態のデバイスまたは方法。
検出剤には標識が含まれる任意の先行する実施形態のデバイスまたは方法。
捕捉剤及び検出剤の両方が標的検体に結合して、標識を含むサンドイッチを形成する任意の先行する実施形態のデバイスまたは方法。
信号増幅層には金属材料層が含まれる任意の先行する実施形態のデバイスまたは方法。
信号増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にある任意の先行する実施形態のデバイスまたは方法。
金属材料層は均一な金属層、ナノ構造の金属層、または組み合わせである任意の先行する実施形態のデバイスまたは方法。
増幅層には金属材料層と金属材料層上の誘電体材料とが含まれ、捕捉剤は誘電体材料上にあり、誘電体材料層は厚さが0.5nm、1nm、5nm、10nm、20nm、50nm、00nm、200nm、500nm、1000nm、2um、3um、5um、10um、20um、30um、50um、100um、200um、500um、またはいずれか2つの値の範囲内である任意の先行する実施形態のデバイスまたは方法。
方法にはさらに、画像の面積内の信号を定量化してサンプル中の1つ以上の検体の量の推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
方法には、画像の面積における検体と捕捉剤との間の個々の結合事象を特定してカウントすることによって、サンプル中の1つ以上の検体の量の推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
特定してカウントするステップには、(1)バックグラウンド信号の局所的な強度を決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号強度を決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
特定してカウントするステップには、(1)バックグラウンド信号の局所的なスペクトルを決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号スペクトルを決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
特定してカウントするステップには、(1)バックグラウンド信号の局所的なラマンシグネチャを決定すること、(2)1つの標識、2つの標識、3つの標識、及び4つ以上の標識に対する局所的な信号ラマンシグネチャを決定すること、(3)画像化した面積における標識の総数を決定すること、が含まれる任意の先行する実施形態のデバイスまたは方法。
特定してカウントするステップには、局所的な強度、スペクトル、及びラマンシグネチャのうちの1つ以上を決定することが含まれる任意の先行する実施形態のデバイスまたは方法。
方法には、画像の面積における一括の信号を定量化することによって、サンプル中の1つ以上の検体の量を推定値を得ることが含まれる任意の先行する実施形態のデバイスまたは方法。
第2のプレートのサンプル接触領域は試薬保存部位を有し、保存部位は、閉構成では、第1のプレート上の結合部位のほぼ上方にある任意の先行する実施形態のデバイスまたは方法。
方法にはさらに、標的検体を検出剤によって標識化するステップが含まれる任意の先行する実施形態のデバイスまたは方法。
検出剤には標識が含まれる任意の先行する実施形態のデバイスまたは方法。
捕捉剤及び検出剤の両方が標的検体に結合してサンドイッチを形成する任意の先行する実施形態のデバイスまたは方法。
方法にはさらに、読み取りデバイスによって画像化された面積におけるサンプルの体積を測定することが含まれる任意の先行する実施形態のデバイスまたは方法。
標的検体はタンパク質、ペプチド、DNA、RNA、核酸、小分子、細胞、またはナノ粒子である任意の先行する実施形態のデバイスまたは方法。
画像は信号の位置、局所的な強度、及び局所的なスペクトルを示す任意の先行する実施形態のデバイスまたは方法。
信号は、蛍光、エレクトロルミネッセンス、化学発光、及び電気化学発光信号からなる群から選択される発光信号任意の先行する実施形態のデバイスまたは方法。
信号はラマン散乱信号である任意の先行する実施形態のデバイスまたは方法。
信号は、プレートと読み取りデバイスとの間の局所的な電気的、局所的な機械的、局所的な生物学的、または局所的な光学的相互作用に起因する力である任意の先行する実施形態のデバイスまたは方法。
スペーサはピラー形状を有し、ほぼ均一な断面を有する任意の先行する実施形態の方法またはデバイス。
スペーサ間距離(SD)は約120um(マイクロメートル)以下である任意の先行する実施形態の方法またはデバイス。
スペーサ間距離(SD)は約100um(マイクロメートル)以下である任意の先行する実施形態の方法またはデバイス。
スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD/(hE))が、5x10um/GPa以下である任意の先行する実施形態の方法またはデバイス。
スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD/(hE))が、5x10um/GPa以下である任意の先行する実施形態の方法またはデバイス。
スペーサは、ピラー形状、実質的に平坦な上面、所定の略均一な高さ、及び検体のサイズよりも少なくとも約2倍大きい所定の一定のスペーサ間距離を有し、スペーサのYoung率×スペーサの充填率は2MPa以上であり、充填率はスペーサ接触面積対全プレート面積の比であり、各スペーサに対して、スペーサの横寸法対その高さの比は少なくとも1(イチ)である任意の先行する実施形態の方法またはデバイス。
スペーサは、ピラー形状、実質的に平坦な上面、所定の略均一な高さ、及び検体のサイズよりも少なくとも約2倍大きい所定の一定のスペーサ間距離を有し、スペーサのYoung率×スペーサの充填率は2MPa以上であり、充填率はスペーサ接触面積対全プレート面積の比であり、各スペーサに対して、スペーサの横寸法対その高さの比は少なくとも1(イチ)であり、スペーサ間距離(ISD)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD/(hE))が、5x10um/GPa以下である任意の先行する実施形態の方法またはデバイス。
スペーサの間隔間距離対スペーサの平均幅の比は2以上であり、スペーサの充填率にスペーサのYoung率を乗じたものは2MPa以上である任意の先行する実施形態の方法またはデバイス。
検体はタンパク質、ペプチド、核酸、合成化合物、または無機化合物である任意の先行する実施形態の方法またはデバイス。
サンプルは、羊水、房水、硝子体、血液(たとえば、全血、分画血液、血漿または血清)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、呼気、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹腔液、胸膜液、膿、粘膜分泌物、唾液、呼気凝縮液、皮脂、***、痰、汗、滑液、涙、嘔吐物、及び尿から選択された生物学的サンプルである任意の先行する実施形態の方法またはデバイス。
スペーサはピラーの形状を有し、ピラーの幅対高さの比は1以上である任意の先行する実施形態の方法またはデバイス。
プレートの一方または両方に堆積されるサンプルの体積は分かっていない任意の先行する実施形態の方法またはデバイス。
スペーサはピラーの形状を有し、ピラーは略均一な断面を有する任意の先行する実施形態の方法またはデバイス。
サンプルは、特定の病気のステージと相関する化合物または生体分子の検出、精製、及び定量化用である任意の先行する実施形態の方法またはデバイス。
サンプルは、感染症及び寄生病、負傷、心血管疾患、がん、精神障害、神経精神障害、肺疾患、腎臓病、ならびに他及び器質性疾患に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは微生物の検出、精製、及び定量化に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは環境(たとえば、水、土壌、または生物学的サンプル)からのウィルス、菌類、及び細菌に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、食品の安全または国の安全に危険を引き起こす化合物または生物学的サンプル(たとえば、有毒廃棄物、炭疽)の検出、定量化に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、医療用または生理モニタにおけるバイタルパラメータの定量化に関係する任意の先行する実施形態の方法またはデバイス。
サンプルはブドウ糖、血液、酸素レベル、全血球計算に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、生物学的サンプルからの特異的DNAまたはRNAの検出及び定量化に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、ゲノム解析用の染色体及びミトコンドリア内のDNAにおける遺伝子配列の配列決定及び比較に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは、たとえば医薬品の合成または精製中の反応生成物の検出に関係する任意の先行する実施形態の方法またはデバイス。
サンプルは細胞、組織、体液、及び糞便である任意の先行する実施形態の方法またはデバイス。
サンプルは、ヒト、獣医、農業、食品、環境、及び薬物検査の分野におけるサンプルである任意の先行する実施形態の方法またはデバイス。
サンプルは、毛髪、指の爪、耳垢、呼気、結合組織、筋肉組織、神経組織、上皮組織、軟骨、がんサンプル、または骨から選択された生物学的サンプルである任意の先行する実施形態の方法またはデバイス。
スペーサ間距離は5um〜120umの範囲である任意の先行する実施形態の方法またはデバイス。
スペーサ間距離は120um〜200umの範囲である任意の先行する実施形態の方法またはデバイス。
柔軟なプレートは厚さが20um〜250umの範囲であり、Young率が0.1〜5GPaの範囲である任意の先行する実施形態の方法またはデバイス。
柔軟なプレートは、柔軟なプレートの厚さ×柔軟なプレートのYoung率が60〜750GPa−umの範囲である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも1mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも3mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも5mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも10mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は少なくとも20mmの側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は20mm〜100mmの範囲の側面積上で均一である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は、厚さ均一性が最大で+/−5%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は、厚さ均一性が最大で+/−10%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は、厚さ均一性が最大で+/−20%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
均一厚さのサンプルの層は、厚さ均一性が最大で+/−30%またはそれよりも良好である任意の先行する実施形態の方法またはデバイス。
5つ以上のモニタリングマークを有し、モニタリングマークのうちの少なくとも3つは直線上にない任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
各プレートには、その対応する外面上に、プレートを同時に強制する不正確な押圧を印加するための力面積が含まれる任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
一方または両方のプレートが柔軟である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
スペーサ間距離(IDS)の4乗を柔軟なプレートの厚さ(h)及びYoung率(E)で割ったもの(ISD4/(hE))が、5x106um3/GPa以下である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
スペーサの少なくとも1つがサンプル接触領域の内部にある任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
検体の脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
アルゴリズムの脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
手動による圧痕力及び押圧の脂肪仕様である任意の先行する実施形態の方法、デバイス、コンピュータプログラム製品、またはシステム。
アルゴリズムは非一時的コンピュータ可読媒体上に記憶され、アルゴリズムには、実行されると、デバイスのモニタリングマークを用いて検体に対応する特性を決定する方法を実施する命令が含まれる任意の先行する実施形態のデバイス、システム、または方法。
マークのいくつかの例
本発明では、いくつかの実施形態において、マークはスペーサと同じ形状を有する。
いくつかの実施形態では、マークは周期的または非周期的である。
いくつかの実施形態では、2つのマーク間の距離は予め決められて分かっているが、プレート上の絶対座標は分かっていない。
いくつかの実施形態では、マークの形状は予め決められて分かっている。
いくつかの実施形態では、プレートの位置とは関係なく画像化光学系の視野内に常にマークがあるようなプレート内の分布を有するようにマークは構成されている。
いくつかの実施形態では、マークのプレート内での分布は、プレートの位置とは関係なく画像化光学系の視野内に常にマークがあり、またマークの数が局所的な光学情報に対して十分であるように構成されている。
いくつかの実施形態では、マークを用いてサンプルの局所面積の光学特性を制御し、面積サイズは1um^2、5um^2、10um^2、20um^2、50um^2、100um^2、200um^2、500um^2、1000um^2、2000um^2、5000um^2、10000um^2、100000um^2、500000um^2、またはいずれか2つの値の間の範囲である。
「限定された画像化光学系」の使用
本発明では、いくつかの実施形態において、画像化アッセイに対する光学システはム「限定された画像化光学系」を有している。限定された画像化光学系のいくつかの実施形態には、限定することなく、以下が含まれる。
1.限定された画像化光学系システムであって、
結像レンズと、
画像化センサと、を含み、
画像化センサはスマートフォンのカメラの一部であり、
結像レンズの少なくとも1つはスマートフォンのカメラの一部である、限定された画像化光学系システム。
2.物理による光学解像度が、1um、2um、3um、5um、10um、50umよりも悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
3.物理による光学解像度が、1um、2um、3um、5um、10um、50umよりも悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
4.物理あたりの好ましい光学解像度は1um〜3umである任意の先行する実施形態の限定された画像化光学系システム。
5.開口数が1、0.15、0.2、0.2、0.25、0.3、0.35、0.4、0.45、0.5未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
6.好ましい開口数は0.2〜0.25である任意の先行する実施形態の限定された画像化光学系システム。
7.作動距離が0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
8.作動距離が0.2mm、0.5mm、1mm、2mm、5mm、10mm、20mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
9.好ましい作動距離は0.5mm〜1mmである任意の先行する実施形態の限定された画像化光学系システム。
10.焦点深度が100nm、500nm、1um、2um、10um、100um、1mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
11.焦点深度が100nm、500nm、1um、2um、10um、100um、1mmであるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
12.画像センサはスマートフォンカメラモジュールの一部である任意の先行する実施形態の限定された画像化光学系システム。
13.画像センサの対角長さは、1インチ、1/2インチ、1/3インチ、1/4インチ未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
14.結像レンズは少なくとも2つのレンズを含み、1つのレンズはスマートフォンのカメラモジュールの一部である任意の先行する実施形態の限定された画像化光学系システム。
15.少なくとも1つの外部レンズはスマートフォンの内部レンズと対になっている任意の先行する実施形態の限定された画像化光学系システム。
16.外部レンズの光軸はスマートフォンの内部レンズと位置合わせされており、位置合わせ許容範囲は、0.1mm、0.2mm、0.5mm、1mm未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
17.外部レンズの高さは、2mm、5mm、10mm、15mm、20m未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
18.外部レンズの好ましい高さは3mm〜8mmである任意の先行する実施形態の限定された画像化光学系システム。
19.外部レンズの好ましい高さは3mm〜8mmである任意の先行する実施形態の限定された画像化光学系システム。
20.外部レンズの直径が、2mm、4mm、8mm、10mm、15mm、20mm未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
21.物理あたりの光学倍率が、0.1X、0.5X、1X、2X、4X、5X、10X未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
22.物理あたりの好ましい光学倍率は0.1X、0.5X、1X、2X、4X、5X、10X未満であるか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定された画像化光学系システム。
「限定されたサンプル操作」の使用
本発明では、いくつかの実施形態において、画像化アッセイに対するサンプル位置決めシステムが「限定されたサンプル操作」を有している。限定されたサンプル操作のいくつかの実施形態には、限定することなく、以下が含まれる。
限定されたサンプル操作システムの説明。
1.限定されたサンプル操作システムであって、
サンプルホルダを含み、
サンプルホルダはサンプルカードを収容するための容器を有する限定されたサンプル操作システム。
2.光軸に沿った方向でサンプルを位置決めする精度は、0.1um、1um、10um、100um、1mmより悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
3.光軸に沿った方向でサンプルを位置決めする好ましい精度は50um〜200umである任意の先行する実施形態の限定されたサンプル操作システム。
4.光軸に垂直な平面内でサンプルを位置決めする精度は、0.01um、0.1um、1um、10um、100um、1mmより悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
5.光軸に垂直な平面内でサンプルを位置決めする好ましい精度は100um〜1mmである任意の先行する実施形態の限定されたサンプル操作システム。
6.サンプルカードを位置決めするレベル誤差は、0.01度、0.1度、0.5度、1度、10度より悪いか、またはいずれか2つの値の間の範囲にある任意の先行する実施形態の限定されたサンプル操作システム。
7.サンプルカードを位置決めする好ましいレベル誤差は0.5度〜10度である任意の先行する実施形態の限定されたサンプル操作システム。
8.サンプルカードを位置決めする好ましいレベル誤差は0.5度〜10度である任意の先行する実施形態の限定されたサンプル操作システム。
モニタリングマークの鋭いエッジ
用語「鋭い光学的エッジ」は、以下の特性を伴う特定の光学システムが取り込んだ画像内の物体のエッジまたは境界を指す。画像内の物体のエッジまたは境界において、光強度(R、G、B、グレー、色相、輝度を含むが、これらに限定されない)が場所に対して大きく変化する。たとえば、定量的には、図19に示すように、境界において、規格化強度が90%から10%まで減少する距離(X90%)は、このような光学システムによる画像内の物体の長さの5%未満でなければならない。言い換えれば、境界勾配=90%/X90%>1800%/物体の長さである。鋭いエッジの例は、平坦な頂部とほぼ90度の側壁とを有するピラースペーサのエッジである。鋭いエッジがない物体の例は球体である。
モニタマークを用いたTLD及び体積推定の例
図7Aに、本発明のいくつかの実施形態で用いるサンプル保持デバイス、QMAXデバイス、及びそのモニタマーク、ピラーの実施形態を示す。QMAXデバイス内のピラーによって、サンプル保持デバイスの2つの平行なプレート間のギャップが均一になる。ギャップは狭く、検体がギャップ内で単層を形成する場合に検体のサイズに関連している。また、QMAXデバイス内のモニタリングマークはピラーの特別な形態であり、結果として、それらはサンプルによって浸漬されておらず、画像ベースのアッセイにおいて画像化装置によってサンプルとともに画像化することができる。
モニタマークを用いたTLD(真の横寸法)推定の例
TLD及び真の体積推定に対する本発明のいくつかの実施形態では、モニタマーク(ピラー)を検出可能アンカーとして用いる。しかし、モニタリングマークの検出を、画像ベースのアッセイにおけるTLD推定に適した精度で行うのは難しい。その理由は、これらのモニタリングマークはサンプル保持デバイスの内部の検体に浸透して周りを囲まれているからである。それらは、レンズからの歪み、サンプル中の微小物体からの光回折、微視的レベルでの欠陥、フォーカシングの誤位置合わせ、サンプル画像内のノイズなどが原因で画像内で歪んでボケている。また画像化装置が汎用デバイスからのカメラ(たとえばスマートフォンからのカメラ)だとさらに難しくなる。なぜならば、このようなカメラは、いったん製造を離れると、専用のハードウェアによって較正されることはないからである。
本発明では、モニタマークをTLD推定用の検出可能アンカーとして検出及び場所特定することを機械学習のフレームワークにおいて定式化し、専用の機械学習モデルを、モニタマークを微視的画像化において検出するように構築/トレーニングする。また、本発明のいくつかの実施形態におけるモニタマークの分布は、周期的となるように、また所定のパターンで分布するように意図的に形成されている。このため、本発明におけるアプローチはより堅固で信頼性の高いものとなっている。
本発明の実施形態には以下が含まれる。
(1)サンプルをサンプル保持デバイス(たとえば、QMAXデバイス)に装着することであって、既知の構成を伴うモニタマークがデバイス内に存在し、モニタマークはサンプル中に浸漬しておらず、画像化装置によって画像化することができる、装着すること。
(2)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むこと。
(3)サンプル画像内のモニタマークを検出するように機械学習(ML)モデルを構築及びトレーニングすること。
(4)(3)からの前記ML検出モデルを用いて、サンプル画像から、サンプル保持デバイス内のモニタマークを検出して場所を特定すること。
(5)(4)で検出したモニタマークからマークグリッドを作成すること。
(6)作成したモニタマークグリッドに基づいてホモグラフィ変換を計算すること。
(7)(6)からのホモグラフィ変換から、サンプル画像の真の横寸法を推定して保存すること。
(8)(7)から推定したTLDを以後の画像ベースのアッセイにおいて適用して検体の面積、サイズ、体積、及び濃度を決定すること。
本発明のいくつかの実施形態では、領域ベースのTLD推定及び較正を画像ベースのアッセイにおいて用いる。それには以下が含まれる。
(1)サンプルをサンプル保持デバイス(たとえば、QMAXデバイス)に装着することであって、デバイス内にモニタマークが存在し、モニタはサンプル中に浸漬しておらず、画像ベースのアッセイにおいて画像化装置によって画像化することができる、装着すること。
(2)検体とモニタマークとを含むサンプル保持デバイス内のサンプルの画像を取り込むこと。
(3)画像化装置が取り込んだサンプル画像からモニタリングマークを検出するために、機械学習(ML)モデルを構築及びトレーニングすること。
(4)画像化装置が取り込んだサンプル画像を非重複領域に分割すること。
(5)(3)のMLモデルを用いて、画像化装置が取り込んだサンプル画像からモニタマークを検出して場所を特定すること。
(6)局所領域で検出された4つを超える非共線のモニタマークを用いて各領域に対する領域ベースのマークグリッドを作成すること。
(7)画像化装置が取り込んだサンプル画像から検出したモニタマークに基づいて、(6)にないすべての領域に対してマークグリッドを形成すること。
(8)(6)の各領域に対して領域特定のホモグラフィ変換を、(6)で作成したその独自の領域ベースのマークグリッドに基づいて計算すること。
(9)(7)で作成したマークグリッドに基づいて、他のすべての領域に対してホモグラフィ変換を計算すること。
(10)(8)で生成した領域ベースのホモグラフィ変換に基づいて、(6)の各領域に対して領域ベースのTLDを推定すること。
(11)(9)からのホモグラフィ変換に基づいて、他の領域に対してTLDを推定すること。
(12)(10)及び(11)から推定したTLDを保存して、分割した領域上での以後の画像ベースのアッセイにおいて適用すること。
モニタマークが所定の周期パターンで、たとえばQMAXデバイス内に分布するとき、それらは特定のピッチで周期的に生じて分布する。その結果、モニタマーク検出は、前述した手順においてより堅固で信頼性の高いものとなる。その理由は、周期性により、すべてのモニタマークをほんの少数の検出されたものから特定して決定することができるからであり、検出した場所及び構成が所定の周期パターンに従わない場合には検出誤差を補正してなくすことができる。
用語「モニタリングマーク」、「モニタマーク」、及び「マーク」は、本発明の説明において交換可能である。
用語「画像化装置」及び「カメラ」は本発明の説明において交換可能である。
用語「ノイズ除去」は受信信号からノイズを取り除くプロセスを指す。一例は、画像化装置/カメラからの画像が種々の供給源(ホワイトノイズ、ごま塩ノイズ、ガウシアンノイズなどを含むが、これらに限定されない)からノイズを拾う可能性があるために、サンプル画像内のノイズを取り除くことである。ノイズ除去する方法としては、線形及び非線形フィルタリング、ウェーブレット変換、統計的方法、深層学習などが挙げられるが、これらに限定されない。
用語「画像正規化」は、処理した画像内の画素強度値の範囲を変えるアルゴリズム、方法、及び装置を指す。たとえば、ヒストグラムストレッチングによってコントラストを増加させること、各画像から平均の画素値を差し引くことなどが挙げられるが、これらに限定されない。
本発明のいくつかの実施形態では、サンプル保持デバイス(たとえば、QMAXデバイス)内のモニタリングマークを利用する方法及びアルゴリズムを考案している。これには、画像化装置内の以下のパラメータの推定及び調整が含まれるが、これらに限定されない。
1.シャッタ速度
2.ISO
3.フォーカス(レンズ位置)
4.露出補正
5.ホワイトバランス:温度、色合い
6.ズーミング(倍率)
マークとともに用いる画像処理/解析アルゴリズムの例
本発明のいくつかの実施形態では、画像処理/解析を、本発明におけるモニタリングマークを用いて適用して強化している。それらには、以下の画像処理アルゴリズム及び方法が含まれるが、これらに限定されない。
1.ヒストグラムベースの演算として以下が挙げられるが、これらに限定されない。
a.コントラストストレッチング
b.均等化
c.最小値フィルタ
d.中央値フィルタ
e.最大値フィルタ
2.数学ベースの演算としては以下が挙げられるが、これらに限定されない。
a.二項演算:NOT、OR、AND、XOR、SUBなど
b.算術ベースの演算:ADD、SUB、MUL、DIV、LOG、EXP、SQRT、TRIG、INVERTなど
3.空間及び周波数ドメイン両方における畳み込みベースの演算としては、フーリエ変換、DCT、整数変換、ウェーブレット変換などが挙げられるが、これらに限定されない。
4.平滑化演算としては以下が挙げられるが、これらに限定されない。
a.線形フィルタ:均一フィルタ、三角フィルタ、ガウシアンフィルタなど
b.非線形フィルタ:中間フィルタ、桑原フィルタなど
5.微分ベースの演算としては以下が挙げられるが、これらに限定されない。
a.一次微分:勾配フィルタ、基本的な微分フィルタ、プレヴィット勾配フィルタ、ソーベル勾配フィルタ、代替的な勾配フィルタ、ガウシアン勾配フィルタ、など
b.二次微分:基本的な二次微分フィルタ、周波数ドメインラプラシアン、ガウシアン二次微分フィルタ、代替的なラプラシアンフィルタ、勾配方向での二次微分(SDGD)フィルタなど
c.より高次数微分による他のフィルタなど
6.形態ベースの演算としては以下が挙げられるが、これらに限定されない。
a.拡張及び腐食
b.ブール型畳み込み
c.開閉
d.ヒットアンドミス演算
e.セグメンテーション及び輪郭
f.スケルトン
g.伝搬
h.グレー値形態処理:グレーレベル拡張、グレーレベル腐食、グレーレベル開口、グレーレベル閉鎖など
i.形態学的平滑化、形態学的勾配、形態学的ラプラシアンなど。
画像処理/解析手法の他の例
本発明のいくつかの実施形態では、画像処理/解析アルゴリズムを、モニタリングマークとともに用いてこれによって向上させている。それらには以下が含まれるが、これらに限定されない。
1.画像の向上及び復元としては以下が挙げられるが、これらに限定されない。
a.シャープニング及びアンシャープニング
b.ノイズ抑制
c.歪み抑制
2.画像セグメンテーションとしては以下が挙げられるが、これらに限定されない。
a.閾値化−固定閾値化、ヒストグラム由来の閾値化、ISOデータアルゴリズム、背景対称性アルゴリズム、三角アルゴリズム、など
b.エッジ発見−勾配ベースの手順、ゼロ交差ベースの手順、プラスベースの手順など
c.二値数学的形態−ソルトオアペッパーフィルタリング、孔を伴う物体の分離、物体内の孔の充填、境界接触物体の除去、エクソスケルトン、接触物体、など
d.グレー値数学形態−トップハット変換、適応性のある閾値化、局所的コントラストストレッチングなど
3.特徴抽出及びマッチングとしては以下が挙げられるが、これらに限定されない。
a.独立成分分析
b.ISOマップ
c.主成分分析及びカーネル主成分分析
d.潜在意味解析
e.最小二乗及び部分的最小二乗
f.多因子次元削減及び非線形次元削減
g.多重線形主成分分析
h.多重線形部分空間学習
i.半定値埋め込み
j.オートエンコーダ/デコーダ
4.物体検出、分類、及び場所特定。
5.画像理解。
例E1.モニタリングマークを用いた微視的画像化の改善
本発明におけるモニタリングマークを使用することを用いて、微視的画像化におけるフォーカスを向上させる。詳細には、鋭いエッジを伴うモニタリングマークによって、特に弱光環境及び微視的画像化における特定のフォーカス設定のフォーカス状態を解析するためのフォーカス評価アルゴリズムに対する検出可能な(目に見える特徴)が得られる。画像ベースのアッセイの実施形態では、フォーカス評価アルゴリズムはオートフォーカス実施態様における中心である。
いくつかの診断応用例(たとえば、比色分析の吸収ベースのヘモグロビンテスト、及び細胞濃度が非常に低いサンプルに対するCBC)においては、サンプル画像内の検体によって得られる検出可能な特徴では、フォーカス評価アルゴリズムを正確かつ滑らかに実行させるには十分でないことが多い。鋭いエッジを伴うモニタリングマーク(たとえば、QMAXデバイス内のモニタリングマーク)によって、画像ベースのアッセイにおいて必要な精度及び信頼性をフォーカス評価プログラムが実現するためのさらなる検出可能な特徴が得られる。
いくつかの診断応用例では、サンプル中の検体は不均一に分布している。検体によって得られる特徴に単に基づくだけでは、何らかの偏ったフォーカス設定が生じて、いくつかの局所的な高濃度領域に対してフォーカシングの重みが高くなって、低い検体濃度領域が標的でなくなる傾向がある。本発明のいくつかの実施形態では、この影響を、強力なエッジを有し、正確に処理される周期パターンで一様に分布するモニタリングマークの情報からのフォーカシング調整を用いて制御する。
加えて、各画像化装置の画像化解像度は部分的に、その画像化装置センサ内の画素数(100万〜数100万画素で変化する)によって限定される。いくつかの微視的画像化応用例では、検体はサンプル中のサイズが小さいかまたは極めて小さく、たとえば、人血中の血小板のサイズは直径が約1.4umである。画像センサの解像度が限定されていると、標的検出プログラムに特定の数の画素が必要なときに、FOVの利用可能なサイズだけでなく、画像ベースのアッセイにおけるデバイスの能力が著しく制約される。
単一画像超解像度(SISR)は、画像処理及び/または機械学習技術を用いて、当初のソース画像をより高い解像度にアップサンプルし、補間によって生じたボケをできる限り取り除いて、新しく生成された画像上でも物体検出プログラムを実行できるようにする技術である。これによって、前述した制約が著しく減り、本来は不可能ないくつかの応用例が可能になる。形状及び構造が分かっているモニタリングマーク(たとえば、QMAXカード内のモニタマーク)を使えば、SISRアルゴリズムを評価して、ほとんどの既存の従来技術のアルゴリズムによって生じるオーバーシャープニング効果を回避するための局所的な参照として機能することができる。
本発明のいくつかの実施形態では、画像ベースのアッセイにおける物理的なSNR(信号対雑音)制限を壊すために画像融合を行う。
信号対雑音比は、微視的画像化において画像化装置が取り込んだサンプル画像の品質を測定する。画像化装置にはコスト、技術、製造などに起因する実際的な制限が存在する。ある状況では、たとえば巡回健康管理では、応用例に要求されるSNRは、通常の画像化装置で得られる可能性があるものよりも高い。本発明のいくつかの実施形態では、複数の画像を取り込んで処理して(同じ及び/または異なる画像化設定を用いて、たとえば異なるフォーカス深さでフォーカスされた複数の画像を1つの超焦点画像に合併する3D融合の実施形態によって)、SNRがより高い出力画像(複数可)を生成して、このような応用例を可能にする。
しかし、画像化装置または複数の画像化装置が取り込んだ画像には、物理的制限及び実装制約によって生じるいくつかの不完全性及び欠陥が伴う傾向がある。画像ベースのアッセイにおけるサンプルの微視的画像化において状況は深刻になる。なぜならば、サンプル中の検体はサイズが極めて小さく、はっきりしたエッジ特徴がない場合が多いからである。本発明のいくつかの実施形態では、サンプル保持デバイス(たとえば、QMAXカード)内のモニタリングマークを用いて解決方法の改善を図る。
このような実施形態の1つは、画像化装置が取り込んだサンプル画像内の歪みを処理することである。単純な歪みパラメータが分かっている場合には状況は比較的である(ほとんどの製造では、比歪みを記述するためにそのレンズに対する曲線/テーブルを出しており、他の歪みは明確な実験において測定することができる)。しかし、歪みパラメータが分かっていないときには(フォーカス場所及びサンプルによっても変化する可能性がある)、モニタリングマークを用いて、新しいアルゴリズムによって、サンプル保持デバイス(たとえばQMAXカード)の規則的かつ周期的にさえ配置されたモニタリングマークを用いて、歪みパラメータを反復的に推定することができ、単一の座標参照を使う必要がない。
さらなる例
本発明では、いくつかの実施形態において、サンプル保持デバイスは、画像ベースのアッセイにおける微視的特徴を解析するためのいくつかの特別なモニタリングマークを伴う平坦面を有する。いくつかの典型的な実施形態を以下のように列記する。
画像ベースのアッセイにおける微視的サンプルの画像に対する真の横寸法(TLD)推定。真の横寸法(TLD)によって、画像化した検体の現実世界での物理的寸法が決定され、サンプル画像の現実世界での座標(画像ベースのアッセイにおける濃度推定に関係する)も決定される。モニタリングマークを検出可能アンカーとして用いてTLDを決定し、画像ベースのアッセイにおける精度を向上させることができる。本発明の一実施形態では、モニタリングマークを機械学習モデルを用いて検出する。ここからサンプル画像のTLD/FoVが得られる。また、モニタリングマークがサンプル保持デバイスの平坦面上に周期的な分布パターンを有している場合には、画像ベースのアッセイにおいて、モニタリングマークの検出及びサンプル当たりベースのTLD/FoV推定がより信頼性高くかつ堅固になる可能性がある。
検体の分析を、特定の波長の光または多波長の光において検体化合物から測定した応答を用いて行って、検体濃度を予測する。サンプル中に浸漬していないモニタリングマークを用いて、ゼロ濃度に対応するバックグラウンドの光吸収を決定し、光吸収を通して検体濃度を決定することができる。このアプローチは本発明におけるHgBテストである。加えて、各モニタリングマークは、濃度推定を堅固で信頼性の高いものにするための、バックグラウンド吸収に対する独立した検出器として働くことができる。
画像ベースのアッセイ用の微視的画像化におけるフォーカシング均一に分布したモニタリングマークを用いてフォーカス精度を向上させることができる。(a)これは、信頼性の高いフォーカシングを行うために、サンプルに特徴がない/必要な特徴よりも少ない場合に最小量の視覚特徴を得るために用いることができる。これは、モニタリングマークのエッジ内容に起因する弱光において行うことができる。(b)これは、フォーカス判定を偏りのないものにするために、サンプル中の特徴が不均一に分布しているときに視覚特徴を得るために用いることができる。(c)これによって、フォーカス評価アルゴリズムにおける重みを調整するために、サンプルの中身による影響がない/少ない/異なる局所的な照明条件に対する参照を得ることができる。
モニタリングマークは、画像不完全性(原因は、限定することなく、不均一に分布した照明、種々のタイプの画像歪み、ノイズ、及び不完全な画像前処理動作)を検出及び/または補正するための参照として用いることができる。たとえば、図18に示すように、3D世界における直線がサンプル画像内で曲線にマッピングされたときに、マークの位置を用いて比歪みを検出及び/または補正することができる。本明細書で説明するサンプル保持デバイスのモニタリングマークの位置変化に基づいて、画像全体の比分布パラメータを推定することができる。また想定した比歪みパラメータに基づいて歪みが取り除かれた再生画像内の水平/垂直線の線形試験によって、比歪みパラメータの値を反復的に推定することができる。
機械学習(ML)計算の例
機械学習を用いて、サンプル画像内の検体を検出するとともに、検体をそれらの場所に対して覆う境界ボックスを計算する1つの方法を、処理の推論プロセスにおいてトレーニングされた機械学習モデルを用いて行う。機械学習法を用いてサンプル画像内の検体を検出して場所を特定する別の方法は、画素レベルでのサンプル画像内の検体の注釈を伴う検出及びセグメンテーションモデルを構築及びトレーニングすることである。このアプローチでは、画像ベースのアッセイにおいて検体を覆う密な二値画素マスクを用いて、サンプル画像内の検体を検出して場所を特定することができる。
人血中のヘモグロビンを試験するときには、画像を所与の狭帯域波長において取り込んだ後に、検体面積及び参照面積を通る平均エネルギーを解析する。所与の波長及び検体サンプル面積の高さにおける検体の既知の吸収レートに基づいて、濃度を推定することができる。しかしこの測定値にはノイズがある。ノイズを消すために、異なる波長の光を用いて複数の画像を取り込むことができ、機械学習回帰を用いてより正確で堅固な推定を実現することができる。機械学習ベースの推論では、サンプルの複数の入力画像を取り込んで(異なる波長で取り込む)、単一の濃度数を出力する。
E.機械学習のアルゴリズム
E−1.アッセイ及び画像化用のQMAXデバイス
本発明によれば、生物学的検体の検出及び場所特定用のデバイスとして、QMAXデバイス、画像化装置、及びコンピューティングユニットを含むものが開示されている。QMAXデバイス上で生物学的サンプルが疑われている。本開示によって、サンプルに含まれる検体のカウント及び場所を取得する。
本発明によれば、画像化装置によって生物学的サンプルの画像を取り込む。画像をコンピューティングユニットに送り出す。コンピューティングユニットは、画像化装置に物理的に直接接続するか、ネットワークを通して接続するか、または画像転送を通して間接的に接続することができる。
E−2.ワークフロー
開示した検体検出及び場所特定では機械学習深層学習を用いる。機械学習アルゴリズムは、データから学習することができるアルゴリズムである。機械学習のより厳密な定義は、「コンピュータプログラムがタスクT及び性能指標Pのあるクラスに対して経験Eから学習すると言われるのは、Tのタスクにおけるその性能(Pによって測定される)が経験Eによって向上する場合である」である。データから学習してデータを予測することができるアルゴリズムの研究及び構築を探索する。このようなアルゴリズムでは、サンプル入力からモデルを構築することを通してデータ駆動の予測または判定を行うことによって、厳密に静的なプログラム命令に従うことが打開される。
深層学習は、データにおける高水準抽象化のモデリングを試みるアルゴリズムの組に基づく特定の種類の機械学習である。単純な場合では、2組のニューロンが存在し得る。1組は入力信号を受け取り、1組は出力信号を送る。入力層は入力を受け取ると、入力の修正バージョンを次の層に伝える。深いネットワークでは、入力と出力との間に多くの層(及びニューロンで形成されてはいないが、そのように考えることに役立ち得る層)が存在するため、アルゴリズムが複数の線形及び非線形変換からなる複数の処理層を用いることが可能になる。
開示した検体検出及び場所特定ワークフローは、図6Aに示すように2つのステージ(トレーニング及び予測)からなる。以下の段落でトレーニング及び予測ステージについて説明する。
トレーニング
トレーニングステージでは、注釈付きトレーニングデータが畳み込みニューラルネットワーク内に送られる。畳み込みニューラルネットワークは、既知の格子状トポロジを有するデータを処理するための特殊な種類のニューラルネットワークである。例としては、時系列データ(一定の時間間隔でサンプルを取り込む1Dグリッドと考えられる)及び画像データ(2Dグリッドの画素と考えられる)が挙げられる。畳み込みネットワークは実際の応用においてかなりの成功を収めている。名称「畳み込みニューラルネットワーク」は、ネットワークが畳み込みと言われる数学演算を用いていることを示している。畳み込みは特殊な種類の線形動作である。畳み込みネットワークは単に、それらの層の少なくとも1つにおいて汎用行列乗算の代わりに畳み込みを用いるニューラルネットワークである。
トレーニングデータには検出すべき検体に対して注釈を付ける。注釈はトレーニングデータに検体が存在するか否かを示す。注釈は、検体または検体の中心場所を完全に含む境界ボックスの形態で行うことができる。後者の場合、中心場所をさらに変換して、検体を覆う円にする。
トレーニングデータのサイズが大きいときには2つの問題がある。注釈(通常、人が行う)に時間がかかること、そしてトレーニングにコンピューティング費用がかかることである。これらの問題を打開するために、トレーニングデータを小さいサイズのパッチに分割した後に、これらのパッチ(またはこれらのパッチの一部)に対して注釈を付けてトレーニングすることができる。
注釈を付けたトレーニングデータを畳み込みニューラルネットワーク内に送って、モデルトレーニングを行う。出力はモデルであり、これを用いて画像上で画素レベルの予測を行うことができる。完全畳み込みネットワーク(FCN)を伴うCaffeライブラリを用いる。他の畳み込みニューラルネットワークアーキテクチャを用いることもできる。たとえばテンソルフローである。
トレーニングステージでは予測ステージで用いるモデルを生成する。モデルを予測ステージで入力画像に対して繰り返して用いることができる。したがって、コンピューティングユニットに必要なのは、生成されたモデルにアクセスすることだけである。トレーニングデータにアクセスする必要はなく、トレーニングステージをコンピューティングユニット上で実行する必要もない。
予測
予測ステージでは、入力画像に検出コンポーネントを適用し、続いて場所特定コンポーネントを適用する。予測ステージの出力は、サンプルに含まれる検体のカウントとともに各検体の場所である。
検出コンポーネントでは、入力画像とともにトレーニングステージから生成されたモデルを畳み込みニューラルネットワーク内に送る。検出ステージの出力は、ヒートマップの形態の画素レベルの予測である。ヒートマップは入力画像と同じサイズとすることができるか、または入力画像の縮小バージョンとすることができる。ヒートマップ内の各画素は0〜1の値を有し、これは画素が検体に属するか否かの確率(確信)と考えることができる。値が大きいほど検体に属する可能性が高い。
ヒートマップは場所特定コンポーネントの入力である。検体中心を局在化するアルゴリズムについて開示する。主な考え方はヒートマップから局所的なピークを反復的に検出することである。ピークを見つけた後で、ピークを囲むが値がより小さい局所面積を計算する。この領域をヒートマップから取り除いて、残りの画素から次のピークを見つける。プロセスを繰り返すだけで、すべての画素がヒートマップから取り除かれる。
場所特定アルゴリズムの一実施形態は、ヒートマップ値をソートして、最高値から最低値までの1次元の順序付きリストにすることである。そして、最高値の画素を選択して、その画素をその隣とともにリストから取り除く。リスト内の最高値の画素を選択するプロセスを繰り返し、リストからすべての画素が取り除かれるまで行う。
アルゴリズムグローバルサーチ(ヒートマップ)
入力:
ヒートマップ
出力:
座位
座位←{}
ソート(ヒートマップ)
while(ヒートマップが空でない){
s←ポップ(ヒートマップ)
D←{半径Rを伴うsとしてのディスク中心}
ヒートマップ=ヒートマップ\D//ヒートマップからDを取り除く
座位にsを加える
ソートした後、ヒートマップは1次元の順序付きリストであり、ヒートマップ値は最高から最低まで順序付けされている。各ヒートマップ値はその対応する画素座標に付随している。ヒートマップにおける第1の項目は最高値を伴うものであり、ポップ(ヒートマップ)関数の出力である。1つのディスクが生成される。その中心は最高ヒートマップ値を伴うものの画素座標である。ディスク内部に画素座標が存在するすべてのヒートマップ値をヒートマップから取り除く。アルゴリズムは、現在のヒートマップにおける最高値を繰り返しポップアップさせて、その周りのディスクを取り除く。これを項目がヒートマップから取り除かれるまで行う。
順序付きリストヒートマップでは、各項目には前の項目及び後の項目についての情報がある。順序付きリストから項目を取り除くときに、図6Bに例示するように以下の変化を行う。
・取り除く項目がx、その前の項目がx、その後の項目がxであると仮定する。
・前の項目xに対して、その後の項目を、取り除く項目の後の項目と再規定する。したがって、xの後の項目は今度はxとなる。
・取り除く項目xに対して、その前の項目及び後の項目を規定しない。その結果、取り除く項目が、順序付きリストから取り除かれる。
・後の項目xに対して、その前の項目を、取り除いた項目の前の項目に再規定する。したがって、xの前の項目は今度はxとなる。
順序付きリストからすべての項目が取り除かれたら、場所特定アルゴリズムは完了する。設定座位内の要素の数は検体のカウントであり、場所情報は設定座位における各sに対する画素座標である。
別の実施形態では局所的なピークを探す。これは、最高ヒートマップ値を伴うものには必要ではない。各局所的なピークを検出するために、ランダム開始点から始めて極大値を探す。ピークを見つけたら、ピークを囲むが値がより小さい局所面積を計算する。この領域をヒートマップから取り除いて、残りの画素から次のピークを見つける。プロセスを繰り返すだけで、すべての画素がヒートマップから取り除かれる。
アルゴリズムローカルサーチ(s、ヒートマップ)
入力:
s:出発地(x、y)
ヒートマップ
出力:
s:局所的なピークの場所
値>0の画素のみを考える。アルゴリズムカバー(s、ヒートマップ)
入力:
s:局所的なピークの場所
ヒートマップ:
出力:
カバー:ピークによってカバーされる画素の組:
これは、sから始まる幅優先探索アルゴリズムであり、訪問点の条件の一つが変更されいる。ヒートマップ[p]>0及びヒートマップ[p]<=ヒートマップ[q]の場合に、現在位置qの隣pをカバーに加えるだけである。したがって、カバー内の各画素には局所的なピークsに至る非下降経路がある。
アルゴリズム場所特定(ヒートマップ)
入力:
ヒートマップ
出力:
座位
座位←{}
画素←{ヒートマップからのすべての画素}
while画素が空でない{
s←画素からの任意の画素
s←ローカルサーチ(s、ヒートマップ)//sは今度は局所的なピークである
sを囲む半径Rの局所領域を精査して、より良好な局所的なピークを探す
r←カバー(s、ヒートマップ)
画素←画素\r//カバー内のすべての画素を取り除く
座位にsを加える
E−3.本発明の例
EA1.データ分析用の深層学習の方法であって、
(f)テストサンプルの画像を受け取ることであって、サンプルはQMAXデバイス内に装着され、画像はQMAXデバイスに接続された画像化装置が取り込み、画像にはテストサンプル中の検体からの検出可能信号が含まれる、受け取ることと、
(g)検出モデルを用いて画像を解析して画像の2Dデータアレイを作成することであって、2Dデータアレイには画像内の各場所に対する検体の確率データが含まれ、検出モデルはトレーニングプロセスを通して設定され、トレーニングプロセスには、iii.注釈付きデータセットを畳み込みニューラルネットワークに供給することであって、注釈付きデータセットは、テストサンプルと同じタイプのサンプルからのもので、同じ検体に対するものである、供給することと、
iv.畳み込みによって検出モデルをトレーニングして設定することと、が含まれる、作成することと、
(h)2Dデータアレイを解析して、
iii.信号リストプロセスまたは
iv.局所的な検索プロセスを用いて、局所的な信号ピークを検出することと、
(i)局所的な信号ピーク情報に基づいて検体の量を計算することと、が含まれる方法。
EB1.データ分析用のシステムであって、
QMAXデバイス、画像化装置、及びコンピューティングユニットを含み、
(a)QMAXデバイスは、テストサンプルの少なくとも一部を極めて均一な厚さの層に圧縮するように構成され、
(b)画像化装置は、均一な厚さの層においてサンプルの画像を形成するように構成され、画像にはテストサンプル中の検体からの検出可能信号が含まれ、
(c)コンピューティングユニットは、
i.画像化装置から画像を受け取ることと、
ii.検出モデルを用いて画像を解析して、画像の2Dデータアレイを作成することであって、2Dデータアレイには画像内の各場所に対する検体の確率データが含まれ、検出モデルはトレーニングプロセスを通して設定され、トレーニングプロセスには、
注釈付きデータセットを畳み込みニューラルネットワークに供給することであって、注釈付きデータセットは、テストサンプルと同じタイプのサンプルからのもので、同じ検体に対するものである、供給することと、
畳み込みによって検出モデルをトレーニングして設定することと、が含まれる作成することと、
iii.(c)2Dデータアレイを解析して、信号リストプロセスまたは局所的な検索プロセスを用いて局所的な信号ピークを検出することと、
iv.局所的な信号ピーク情報に基づいて検体の量を計算することと、を行うように構成される、システム。
EA2.信号リストプロセスには、
i.2Dデータアレイから局所的なピークを反復的に検出し、検出した局所的なピークを囲む局所面積を計算し、検出ピークを取り除いて局所面積データを信号リストに順番に入れることによって、信号リストを設けることと、
ii.信号リストから最高信号を、また最高信号の周りから信号を順次かつ繰り返して取り除くことによって、局所的な信号ピークを検出することと、が含まれる実施形態EA1の方法。
EA3.局所的な検索プロセスには、
i.ランダム点から始めることによって2Dデータアレイ内の極大値を探すことと、ii.ピークを囲むが値がより小さい局所面積を計算することと、
iii.2Dデータアレイから極大値と周囲のより小さい値とを取り除くことと、
iv.ステップi〜iiiを繰り返して局所的な信号ピークを検出することと、が含まれるEA実施形態の任意の実施形態の方法。
EA4.注釈付きデータセットを注釈前に分割するいずれかの先行するEA実施形態の方法。
EB2.画像化装置にはカメラが含まれる実施形態EB1のシステム。
EB3.カメラはモバイル通信デバイスの一部である実施形態EB2のシステム。
EB4.コンピューティングユニットはモバイル通信デバイスの一部であるいずれかの先行するEB実施形態のシステム。
エラー危険性を特定して測定信頼性を向上させる例
いくつかの実施形態では、アッセイの信頼性を向上させるための方法であって、(a)QMAXカード上のサンプルを画像化することと、
(b)エラー危険因子を分析することと、
(c)エラー危険因子が閾値よりも高い場合に、カードがカードの測定結果を報告することを拒否することと、を含み、
エラー危険因子は、以下の因子のうちの1つまたはそれらの任意の組み合わせである、方法。因子は以下であるが、これらに限定されない。(1)血液のエッジ、(2)血液中の気泡、(3)血液量が少なすぎるかまたは血液量が多すぎる、(4)スペーサの下の血球、(5)塊状の血球、(6)溶解した血球、(7)サンプル画像が露出過多である、(8)サンプル画像が露出不足である、(8)サンプルのフォーカスが不十分である、(9)間違ったレバー位置としての光学システムエラー、(10)カードが閉じていない、(11)スペーサがないカードとしての間違ったカード、(12)カード内のホコリ、(13)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する間違ったカード、(19)血液が乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)血液サンプルではないかまたは標的血液サンプルではないなど。
いくつかの実施形態では、エラー危険分析器が、デバイス内での生物学的及び化学的応用における以下のケースを検出し、識別し、分類し、訂正及び/または補正することができる。(1)サンプルのエッジにおいて、(2)サンプル中の気泡、(3)サンプル量が少なすぎるかまたはサンプル量が多すぎる、(4)スペーサの下のサンプル、(5)塊状のサンプル、(6)溶解したサンプル、(7)サンプル画像が露出過多である、(8)サンプル画像が露出不足である、(8)サンプルのフォーカスが不十分である、(9)間違ったレバーとしての光学システムエラー、(10)カードが閉じていない、(11)スペーサがないカードとしての間違ったカード、(12)カード内のホコリ、(13)カード内のオイル、(14)カード上の焦点面から汚れが出ている、(15)カードが読取機の内部の正しい位置にない、(16)カードが空である、(17)カード内の製造エラー、(18)他の応用例に対する間違ったカード、(19)サンプルが乾燥している、(20)カードの有効期限が切れている、(21)血球の分布が大きく変化している、(22)サンプルが間違っているなど。閾値は集団テストから決定する。
閾値は機械学習から決定する。
モニタリングマークはエラー危険因子を特定するための対照として用いる。
モニタリングマークはエラー危険因子の閾値を評価するための対照として用いる。
さらなる例
例A1は、画像化ベースのアッセイを改善する装置を使用する方法である。方法には以下が含まれていてもよい。複数のモニタリング構造を含むサンプルホルダのサンプル画像を受け取ることであって、複数のモニタリング構造はサンプルホルダの少なくとも1つのプレートの接触面上に一体化され、複数のモニタリング構造はパターンに従って配置され、接触面は、複数の検体を含むサンプルと接触している、受け取ることと、機械学習モデルを用いてサンプル画像内の複数のモニタリング構造を検出することと、任意的に、検出した複数のモニタリング構造のエラー補正を、複数のモニタリング構造に付随する所定の構造特性を用いて行うことと、検出した複数のモニタリング構造に基づいて、サンプル画像に付随する真の横寸法値を決定することと、真の横寸法値に基づいて、サンプル画像内の検出した複数のモニタリング構造の場所と、サンプルホルダに関係づけられる実際の画像プランにおける複数のモニタリング構造に対する所定の分布パターンとの間のホモグラフィ変換を決定することと、ホモグラフィ変換に基づいて、複数の検体を含むサンプル画像を実際の画像プランにおける対応する斜視図に変換することと、サンプル画像内の複数の検体の少なくとも1つに付随する少なくとも1つの形態的特性を計算すること。
例A2では、例A1の方法にさらに、複数の各モニタリング構造に対する中心を検出することと、少なくとも4つの非共線点を含む複数のモニタリング構造の検出した中心に基づいてホモグラフィ変換を決定することと、が含まれていてもよい。
例A3では、例A1の方法においてさらに、サンプル画像を非重複の画像パッチに分割し、非重複の各画像パッチには、複数のモニタリング構造の少なくとも4つの非共線の検出した中心が含まれ、パッチ特定のホモグラフィ変換を推定して、前記画像パッチを補償するために適用し、他の画像パッチに対しては、グローバルなホモグラフィ変換を、全体画像内の複数のモニタリング構造の検出した中心に基づいて推定して適用してもよい。
例A4では、例A1の方法においてさらに、モニタリング構造はピラーまたはモニタリングマークであってもよい。いくつかの実施態様では、ピラーは、ナノ構造サンプルホルダの少なくとも1つのプレートの1つまたは2つの接触面に実質的に垂直に一体化されていてもよい。他の実施態様では、モニタリングマークは1つまたは2つの接触面上のマーキングされた領域である。マーキングされた領域の光学特性(たとえば、透明度)は、1つまたは2つの接触面上のマーキングされていない領域とは異なっていてもよい。たとえば、マーキングされた領域は、ナノ材料の薄層を塗布したかまたは刻んだ表面積とすることができ、一方で、マーキングされていない領域はどのナノ材料によっても覆われていない。
例A5では、例A1の方法においてさらに、機械学習モデルを、標識化されたトレーニング画像組を用いてトレーニングしてもよく、機械学習モデルを、標識化されたトレーニング画像組を用いてパラメータがトレーニングされたRetinerNetまたは畳み込みニューラルネットワーク(CNN)とすることができてもよい。
例A6では、例A1の方法においてさらに、所定の構造特性には、複数のモニタリング構造に付随する周期性、形状、またはサイズのうちの少なくとも1つが含まれていてもよい。モニタリング構造を系統立ったパターンに従って配列することができる。周期性は、測定単位(たとえば線形測定値、たとえばインチまたはミリメートルなど、または面積測定値、たとえば平方インチ、または平方ミリメートルなど)内でのモニタリング構造の数を指してもよい。形状は、各モニタリング構造の幾何学的構成を指してもよい。モニタリング構造は、断面が三角形、矩形、四角形、円、多角形、または任意の好適な2D形状である円柱形構造にすることができる。サイズは、モニタリング構造の断面の面積を指してもよい。ある実施態様では、モニタリング構造は実質的に同一な形状及びサイズを有していてもよい。別の実施態様では、モニタリング構造は種々の形状及びサイズを有していてもよく、一方で、異なるモニタリング構造の場所はサンプルホルダの製造中に予め決まっている。
例A7では、例A1の方法においてさらに、少なくとも1つの形態的特性には、複数の検体のうちの1つのサイズまたは長さのうちの少なくとも1つが含まれていてもよい。サイズは面積測定値とすることができる。長さは軸に沿った線形測定値とすることができる。たとえば、円の場合、長さは直径とすることができ、矩形の場合、長さは高さ、幅、または対角長さとすることができる。
例A8は、画像ベースのアッセイにおけるマイクロ選択的画像アッセイング(MSIA)の方法である。方法には以下が含まれる。サンプル保持デバイス内のアッセイング用のサンプルの画像を取り込むことであって、サンプル保持デバイスは例A1に記載したサンプルホルダとすることができ、サンプル保持デバイス内のサンプルは既知の均一な高さを含み、検体は対象面積内で単層を形成する、取り込むことと、サンプル画像のTLDまたはFoVを推定して、画像ベースのアッセイングにおける面積、サイズ、及び体積の推定値を決定することと、アッセイング用サンプルの画像内での気泡またはホコリを含む欠陥を検出して、トレーニングされた機械学習モデルによってサンプル中のこれらの欠陥の画像をセグメント化することと、サンプル画像内のセグメント化された欠陥の全面積を推定して、(b)から推定したTLD/FoVを用いてそれらの実際の面積サイズを計算することと、(d)からの面積推定値とサンプル保持デバイス内のサンプルの既知の高さとにより、アッセイング用サンプルの画像内の検出した欠陥の全表面積に対応するサンプルの実際の体積を推定することと、アッセイング用サンプルの画像内の検出した欠陥の表面積を取り除き、残りのサンプルの全体積を、検出した欠陥の表面積の下の全体積に対応する(e)から欠陥体積推定値を差し引くことによって更新することと、更新したサンプル画像の選択面積とマイクロ選択的画像アッセイングに対する(f)からの更新したサンプル体積とに対して、画像ベースのアッセイングを行うこと。
例A9では、例A8の方法においてさらに、マイクロ選択的画像アッセイング(MSIA)は、A4のサンプル保持デバイス内のモニタリング構造を用いてサンプル画像のTLD/FoVを推定し、A1の実施形態を通してサンプル画像をその実際の寸法にマッピングしてもよい。
例A10では、例A8の方法においてさらに、マイクロ選択的画像アッセイング(MSIA)は、以下を含む他の選択基準に基づいてもよい。a)気泡及びホコリを含むサンプル中の欠陥の分布と、b)アッセイング用サンプルの画像内でのピラー及びモニタリングマーク及び他の人工物の場所と、c)アッセイング用サンプルの画像内での検体の分布及び状態(たとえば、検体クラスタリングの状態及びフォーカシング状態)。
例A11では、例A8の方法においてさらに、マイクロ選択的画像アッセイング(MSIA)は、サンプル画像から複数標的アッセイングを実行してもよく、複数標的アッセイングは、サンプルの1つの単一画像からの複数のアッセイングアプリケーションに対して、異なる試薬またはサンプル高さによって規定される面積を伴う面積/ゾーン選択に基づいてもよい。
例A12では、例A8またはA11のいずれかの方法においてさらに、機械学習モデルを、画像ベースのアッセイにおける欠陥検出及びセグメンテーションに対して画像化装置が取り込んだ標識化されたトレーニング画像サンプル上でトレーニングしてもよい。
例A13では、例A8またはA11のいずれかの方法においてさらに、機械学習モデルをトレーニングして、サンプル画像内の検体を検出し、検出した検体のサイズを、例A1の方法と例A8に記載したサンプル保持デバイスの構造とを用いて決定してもよい。
例A14は、ピラーまたはモニタリングマークを用いる画像ベースのアッセイングを、アッセイング用サンプルの画像内のピラーまたはモニタリングマークの画像を用いてモニタして、画像保持デバイスの品質及びサンプル調製の品質を決定する方法であり、方法には、サンプル保持デバイス内の欠落しているピラーまたは壊れたピラーに対応する面積を検出することであって、欠落しているピラーまたは壊れたピラーはアッセイングに対する有効なサンプル体積に影響する、検出することと、サンプル画像内の気泡及びホコリを検出して、アッセイング操作における欠点またはサンプル保持デバイス内の欠陥を示すことと、が含まれる。
例A15では、例A14の方法にはさらに、アッセイング用サンプルの画像内のピラーまたはモニタリングマークの画像を用いて、画像ベースのアッセイングにおける画像化装置の動作(たとえば、フォーカシング、コントラストストレッチング、ISO調整、及びフィルタリング)を検出して調整することが含まれていてもよい。
例BA−1は、インテリジェントアッセイモニタ方法であって、方法には以下が含まれる。サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を、処理装置によって受け取ることと、処理装置が画像上で第1の機械学習モデルを実行することによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値との間の変化を、処理装置によって決定することと、処理装置が変化に基づくことによって、第1の情報及び第2の情報をエンコードする画像を補正することと、補正した画像を処理装置が用いることによって、生物学的サンプルの生物学的特性を補正すること。
例BA−2では、例BAの方法−1においてさらに、サンプルカードには、第1のプレートと、第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、第1のプレートを囲んで、生物学的サンプルが堆積される薄層を形成することができる第2のプレートと、が含まれていてもよい。
例BA−3では、例BA−1またはBA−2のいずれかの方法においてさらに、複数のモニタマークは複数のピラーに対応してもよい。
例BA−4では、例BAの方法−3においてさらに、複数のピラーの少なくとも2つが真の横寸法(TLD)によって分離され、処理装置が画像上で第1の機械学習モデルを実行することによって、複数のモニタマークに付随する幾何学的特徴の測定値を決定することには、処理装置が画像上で第1の機械学習モデルを実行することによって、TLDを決定することが含まれていてもよい。
例BB−1は画像システムであって以下が含まれる。サンプルカードであって、第1のプレートと、第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、第1のプレートを囲んで、生物学的サンプルが堆積される薄層を形成することができる第2のプレートと、を含むサンプルカードと、コンピューティングデバイスであって、処理装置を含み、処理装置は光学センサに通信可能に結合されて、光学センサから、サンプルカード内に堆積される生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を受け取ることと、画像上で第1の機械学習モデルを用いて、複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、幾何学的特徴の測定値とサンプルカードによって与えられる幾何学的特徴のグラウンドトゥルース値トの間の変化を決定することと、変化に基づいて、第1の情報及び第2の情報をエンコードする画像を補正することと、補正した画像に基づいて、生物学的サンプルの生物学的特性を測定することと、を行うコンピューティングデバイス。
例DA−1は、薄層サンプルカード内のサンプルの体積を測定するための方法であって、方法には以下が含まれる。画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、モニタ基準にはサンプルの第1のプレートに垂直に一体化された複数のピラーが含まれ、複数の各ピラーは実質的に同一の高さ(H)を有する、受け取ることと、処理装置が機械学習モデルを用いることによって、複数の無サンプルサブ領域を決定することであって、複数の無サンプルサブ領域は、ピラー、気泡、または不純物要素のうちの少なくとも1つに対応する、決定することと、処理装置によって、サンプルが占有する面積を、画像から複数の無サンプルサブ領域を取り除くことによって計算することと、処理装置によって、サンプルの体積を、計算した面積及び高さ(H)に基づいて計算することと、処理装置が体積に基づくことによって、サンプルの生物学的特性を決定すること。
A1:画像化ベースのアッセイを改善する装置を用いる方法であって、
a)複数のモニタリング構造を含むサンプルホルダのサンプル画像を受け取ることであって、複数のモニタリング構造は、サンプルホルダの少なくとも1つのプレートの接触面上に一体化され、複数のモニタリング構造はパターンに従って配置され、接触面は複数の検体を含むサンプルと接触している、受け取ることと、
b)機械学習モデルを用いてサンプル画像内の複数のモニタリング構造を検出することと、
c)検出した複数のモニタリング構造のエラー補正を、複数のモニタリング構造に付随する所定の構造特性を用いて行うことと、
d)検出した複数のモニタリング構造に基づいて、サンプル画像に付随する真の横寸法値を決定することと、
e)真の横寸法値に基づいて、サンプル画像内の検出した複数のモニタリング構造の場所と、サンプルホルダに関係づけられる実際の画像プランにおける複数のモニタリング構造に対する所定の分布パターンとの間のホモグラフィ変換を決定することと、f)ホモグラフィ変換に基づいて、複数の検体を含むサンプル画像を実際の画像プランにおける対応する斜視図に変換することと、
g)サンプル画像内の複数の検体の少なくとも1つに付随する少なくとも1つの形態的特性を計算することと、を含む方法。
A2:複数の各モニタリング構造に対する中心を検出することと、
少なくとも4つの非共線点を含む複数のモニタリング構造の検出した中心に基づいてホモグラフィ変換を決定することと、をさらに含むA1の方法。
A3:サンプル画像を非重複の画像パッチに分割し、非重複の各画像パッチには、複数のモニタリング構造の少なくとも4つの非共線の検出した中心が含まれ、パッチ特定のホモグラフィ変換を推定して、前記画像パッチを補償するために適用し、他の画像パッチに対しては、グローバルなホモグラフィ変換を、全体画像内の複数のモニタリング構造の検出した中心に基づいて推定して適用するA1の方法。
D1:モニタリング構造はピラーまたはモニタリングマークであるA1の方法。
D2:機械学習モデルを、標識化されたトレーニング画像組を用いてトレーニングし、機械学習モデルは、標識化されたトレーニング画像組を用いてパラメータがトレーニングされたRetinerNetであるA1の方法。
D3:所定の構造特性には、複数のモニタリング構造に付随する周期性、形状、またはサイズのうちの少なくとも1つが含まれるA1の方法。
D4:少なくとも1つの形態的特性には、複数の検体のうちの1つのサイズまたは長さのうちの少なくとも1つが含まれるA1の方法。
A4:画像ベースのアッセイにおけるマイクロ選択的画像アッセイング(MSIA)の方法であって、
a)サンプル保持デバイス内のアッセイング用のサンプルの画像を取り込むことであって、サンプル保持デバイスはA1(a)に記載したものであり、サンプル保持デバイス内のサンプルは既知の均一な高さを含み、検体は対象面積内で単層を形成する、取り込むことと、
b)(a)からのサンプル画像のTLD/FoVを推定して、結果として、画像ベースのアッセイングにおける面積、サイズ、及び体積を得ることと、
c)アッセイング用サンプルの画像内での気泡またはホコリを含む欠陥を検出して、トレーニングされた機械学習モデルによってサンプル中のこれらの欠陥の画像をセグメント化することと、
d)サンプル画像内のセグメント化された欠陥の全面積を推定して、(b)から推定したTLD/FoVを用いてそれらの実際の面積サイズを計算することと、
e)(d)からの面積推定値とサンプル保持デバイス内のサンプルの既知の高さとにより、アッセイング用サンプルの画像内の検出した欠陥の全表面積に対応するサンプルの実際の体積を推定することと、
f)アッセイング用サンプルの画像内の検出した欠陥の表面積を取り除き、残りのサンプルの全体積を、検出した欠陥の表面積の下の全体積に対応する(e)から欠陥体積推定値を差し引くことによって更新することと、
g)更新したサンプル画像の選択面積とマイクロ選択的画像アッセイングに対する(f)からの更新したサンプル体積とに対して、画像ベースのアッセイングを行うことと、を含む方法。
A5:マイクロ選択的画像アッセイング(MSIA)は、A4のサンプル保持デバイス内のモニタリング構造を用いてサンプル画像のTLD/FoVを推定し、A1の実施形態を通してサンプル画像をその実際の寸法にマッピングするA4の方法。
A6:マイクロ選択的画像アッセイング(MSIA)は、
a)気泡及びホコリを含むサンプル中の欠陥の分布と、
b)アッセイング用サンプルの画像内でのピラー及びモニタリングマーク及び他の人工物の場所と、
c)アッセイング用サンプルの画像内での検体の分布及び状態(たとえば、検体クラスタリングの状態及びフォーカシング状態)を含む他の選択基準に基づくA4の方法。
A7:マイクロ選択的画像アッセイング(MSIA)は、サンプル画像から複数標的アッセイングを実行し、複数標的アッセイングは、サンプルの1つの単一画像からの複数のアッセイングアプリケーションに対して、異なる試薬またはサンプル高さによって規定される面積を伴う面積/ゾーン選択に基づくA4の方法。
A8:機械学習モデルを、画像ベースのアッセイにおける欠陥検出及びセグメンテーションに対して画像化装置が取り込んだ標識化されたトレーニング画像サンプル上でトレーニングするA4またはA7のいずれかの方法。
A9:機械学習モデルをトレーニングして、サンプル画像内の検体を検出し、検出した検体のサイズを、A1とA4に記載したサンプル保持デバイスの構造とを用いて決定するA4またはA7のいずれかの方法。
A10:ピラーまたはモニタリングマークを用いる画像ベースのアッセイングを、アッセイング用サンプルの画像内のピラーまたはモニタリングマークの画像を用いてモニタして、画像保持デバイスの品質及びサンプル調製の品質を決定する方法であって、
a)サンプル保持デバイス内の欠落しているピラーまたは壊れたピラーを検出することであって、欠落しているピラーまたは壊れたピラーはアッセイングに対する有効なサンプル体積に影響する、検出することと、
b)ピラーまたはモニタリングマーク上の物体または検体を検出することであって、物体または検体は、サンプル保持デバイス内のサンプルの高さ及び結果としてアッセイング用のサンプルの有効な体積に影響する、検出することと、
c)サンプル画像内の気泡及びホコリを検出して、アッセイング操作における欠点またはサンプル保持デバイス内の欠陥を示すことと、を含む方法。
A12:アッセイング用サンプルの画像内のピラーまたはモニタリングマークの画像を用いて画像ベースのアッセイングにおける画像化装置の動作を(たとえば、フォーカシング、コントラストストレッチング、ISO調整、及びフィルタリング)検出して調整することをさらに含むA10の方法。
定義
別に定義がない限り、本明細書で用いる技術及び科学用語はすべて、本開示が属する技術分野において通常の知識を有する者によって広く理解されるものと同じ意味を有する。本教示を実施または試験する際に、本明細書で説明したものと同様または同等である任意の方法及び材料を用いることもできるが、ここではいくつかの典型的な方法及び材料について説明する。
「QMAX」(Q:定量化、M:拡大、A.試薬の添加、X:加速、自己校正型圧縮オープンフロー(SCOF)とも言われる)デバイス、アッセイ、方法、キット、及びシステムは、以下の文献に記載されている。米国特許仮出願第62/202,989号(2015年8月10日に出願)、米国特許仮出願第62/218,455号(2015年9月14日に出願)、米国特許仮出願第62/293,188号(2016年2月9日に出願)、米国特許仮出願第62/305,123号(2016年3月8日に出願)、米国特許仮出願第62/369,181号(2016年7月31日に出願)、米国特許仮出願第62/394,753号(2016年9月15日に出願)、PCT出願(指定国は米国)第PCT/US2016/045437号(2016年8月10日に出願)、PCT出願(指定国は米国)第PCT/US2016/051775号(2016年9月14日に出願)、PCT出願(指定国は米国)第PCT/US2016/051794号(2016年9月15日に出願)、及びPCT出願(指定国は米国)第PCT/US2016/054025号(2016年9月27日に出願)。これらの開示はすべて、それらの全体及びすべての目的に対して参照により本明細書に組み込まれている。
用語「サンプル」は、本明細書で用いる場合、対象とする1つ以上の検体または実体を含む材料または材料の混合物に関する。いくつかの実施形態では、サンプルは生物学的サンプル(たとえば、細胞、組織、体液、及び糞便)から取得してもよい。対象とする体液としては以下が挙げられるが、これらに限定されない。羊水、房水、硝子体、血液(たとえば、全血、分画血液、血漿、血清、など)、母乳、脳脊髄液(CSF)、耳垢(耳糞)、乳糜、糜粥、内リンパ、外リンパ、糞便、胃酸、胃液、リンパ液、粘液(鼻漏及び痰を含む)、心膜液、腹腔液、胸膜液、膿、粘膜分泌物、唾液、皮脂(皮膚オイル)、***、痰、汗、滑液、涙、嘔吐物、尿及び吐出凝縮液。特定の実施形態において、サンプルを被検者(たとえば、ヒト)から取得してもよく、被検者アッセイにおいて用いる前に処理してもよい。たとえば、分析前に、タンパク質/核酸を、使用前の組織サンプルから既知の方法で抽出してもよい。特定の実施形態において、サンプルは臨床サンプル、たとえば、患者から収集したサンプルであってもよい。
用語「検体」は、分子(たとえば、タンパク質、ペプチド、DNA、RNA、核酸、または他の分子)、細胞、組織、ウィルス、及び異なる形状のナノ粒子を指す。いくつかの実施形態では、「検体」は、本明細書で用いる場合、本方法での試験に適した任意の物質である。
本明細書で用いる場合、「診断サンプル」は、被検者から得られた身体副産物(たとえば、体液)である任意の生物学的サンプルを指す。診断サンプルは液体の形態で被検者から直接取得してもよいし、または最初に身体副産物を溶液(たとえば、緩衝液)に入れることによって被検者から得てもよい。典型的な診断サンプルとしては以下が挙げられるが、これらに限定されない。唾液、血清、血液、痰、尿、汗、涙液、***、糞便、呼気、生検材料、粘液など。
本明細書で用いる場合、「環境サンプル」は環境から取得した任意のサンプルを指す。環境サンプルとしては、河、湖、池、海、氷河、氷山、雨、雪、下水、貯水池、水道水、飲料水などからの液体サンプル、土壌、堆肥、砂、岩、コンクリート、木材、レンガ、下水などからの固体サンプル、及び空気、水中排熱口、産業排気ガス、車両排気ガスなどからの気体サンプルを挙げてもよい。典型的に、液体状でないサンプルは、本方法でサンプルを分析する前に液体状に変換する。
本明細書で用いる場合、「食品サンプル」は飼料用(たとえば、食用)に適した任意のサンプルを指す。食品サンプルとしては、生の食材、調理済み食品、植物及び動物性食物源、予備加工済み食品、ならびに部分または完全加工食品などを挙げてもよい。典型的に、液体状でないサンプルは、本方法でサンプルを分析する前に液体状に変換する。
用語「診断」は、本明細書で用いる場合、対象とする疾患または症状を特定し、予後を予測し、及び/または治療反応を予測するための方法または検体を用いることを指す。診断としては、疾患または症状を有する可能性または素因を予測すること、疾患または症状の重症度を推定すること、疾患または症状が進行するリスクを決定すること、治療に対する臨床反応を評価すること、及び/または治療に対する反応を予測することを挙げてもよい。
「バイオマーカー」は、本明細書で用いる場合、対象とするサンプル中で見出されるとともに、サンプルを取得する被検者における対象とする疾患または症状の診断に役立つか、または存在に関係付けられるか、または素因であることが分かっている任意の分子または化合物である。バイオマーカーとしては以下が挙げられるが、これらに限定されない。ポリペプチドまたはその錯体(たとえば、抗原、抗体)、核酸(たとえば、DNA、miRNA、mRNA)、薬物代謝物、脂質、炭水化物、ホルモン、ビタミンなどであって、対象とする疾患または症状に関係付けられることが分かっているものである。
「症状」は、本明細書で健康状態の診断に対して用いる場合、他の生理的状態と区別できる精神または身体の生理的状態を指す。健康状態は、場合によっては疾患とは診断されない場合がある。対象とする健康状態の典型的なものとしては以下が挙げられるが、これらに限定されない。栄養上の健康;加齢;環境毒素、駆除剤、除草剤、合成ホルモン類似体への暴露;妊娠;更年期;男性更年期;睡眠;ストレス;前糖尿病;運動;疲労;化学的バランスなど。
本明細書で用いる場合及び添付の請求項では、単数形「a」、「an」、及び「the」には、文脈上明らかに別の意味が示される場合(たとえば、用語「単一」を用いたとき)を除き、複数の指示対象が含まれることに注意されたい。たとえば、「検体」に言及した場合、単一の検体及び複数の検体が含まれ、「捕捉剤」に言及した場合、単一の捕捉剤及び複数の捕捉剤が含まれ、「検出剤」に言及した場合、単一の検出剤及び複数検出剤が含まれ、参照「薬剤」に言及した場合、単一の薬剤及び複数の薬剤が含まれる。
本明細書で用いる場合、用語「適応されている」及び「構成されている」は、要素、コンポーネント、または他の主題が、所与の機能を行うようにデザイン及び/または意図されていることを意味する。したがって、用語「適応されている」及び「構成されている」を用いることは、所与の要素、コンポーネント、または他の主題が単に所与の機能を行うことが「できる」ことを意味すると解釈してはならない。同様に、特定の機能を行うように構成されていると説明された主題を、それに加えてまたはその代わりに、その機能を行う働きをすると記載してもよい。
本明細書で用いる場合、2つ以上の実体のリストを参照して語句「少なくとも1つ」及び「1つ以上」は、実体のリストにおける実体のいずれか1つ以上を意味し、実体のリスト内で具体的に列記されたすべての実体の少なくとも1つに限定されない。たとえば、「A及びBの少なくとも1つ」(または、同様な意味合いで「AまたはBの少なくとも1つ」または、同様な意味合いで「A及び/またはBの少なくとも1つ」)は、A単独、B単独、またはA及びBの組み合わせを指してもよい。
本明細書で用いる場合、第1の実体と第2の実体との間に用語「及び/または」が置かれている場合、(1)第1の実体、(2)第2の実体、(3)第1の実体及び第2の実体のうちの1つを意味する。「及び/または」によって列記された複数の実体は、同様に、すなわち実体の「1つ以上」がそのように結合されると、解釈しなければならない。「及び/または」節によって具体的に特定した実体以外の他の実体が、具体的に特定したこれらの実体に関係していようと関係していまいと、任意的に存在してもよい。
本明細書で数値範囲について述べた場合、本発明には、端点が含まれる実施形態、両方の端点が除外される実施形態、及び一方の端点が含まれて他方が除外される実施形態が含まれる。別段の指定がない限り両方の端点が含まれることを前提としなければならない。さらに、別途記載がないかまたは別途文脈及び当業者の理解から明らかでない限り。

Claims (42)

  1. 画像処理及び機械学習を用いた携帯型アッセイング(QMAXカード付き)の方法及び装置−濃度推定(CBC)、セグメンテーションなどに対する例。
    AA−1.
    薄層サンプルを含む画像システムのシステムエラーを補正するための方法であって、
    前記画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードに付随する画像及び第1のパラメータを受け取ることと、
    前記処理装置によって、第1の機械学習モデルを用いることによって、前記画像システムの前記システムエラーを、前記第1のパラメータを前記サンプルカードの製造中に決定される前記モニタ基準に付随する第2のパラメータと比較することによって決定することと、
    前記処理装置によって、前記システムエラーを考慮して前記サンプルカードの前記画像を補正することと、
    前記処理装置によって、前記補正した画像を用いることによって、前記サンプルの生物学的特性を決定することと
    を含む、前記方法。
  2. AA−2.
    前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、例AA−1に記載の方法。
  3. AA−3.
    前記サンプルは、動物から収集した生物学的サンプルである、例AA−1に記載の方法。
  4. ピラーを用いたTLD(FoV)推定と、マーカー(ピラー)を用いてQカードの前記画像化からの画像補正を行うことに対する例
    BA−1.
    インテリジェントアッセイモニタ方法であって、
    サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を、処理装置によって受け取ることと、
    前記処理装置によって、前記画像に対して第1の機械学習モデルを実行することによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
    前記処理装置によって、前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
    前記処理装置によって、前記変化に基づいて、前記第1の情報及び前記第2の情報をエンコードする前記画像を補正することと、
    前記処理装置によって、前記補正した画像を用いることによって、前記生物学的サンプルの生物学的特性を決定することと
    を含む、前記インテリジェントアッセイモニタ方法。
  5. BA−2.
    前記サンプルカードには、第1のプレートと、前記第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、前記第1のプレートを囲んで前記生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、が含まれる、例BA−1に記載の方法。
  6. BA−3.
    前記複数のモニタマークは前記複数のピラーに対応する、例BA−2に記載の方法。
  7. BA−4.
    前記複数のピラーのうち少なくとも2つが真の横寸法(TLD)によって分離され、
    前記処理装置によって、前記画像に対して第1の機械学習モデルを実行することによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することには、前記処理装置によって、前記画像に対して前記第1の機械学習モデルを実行することによって、前記TLDを決定することが含まれる、
    例BA−3に記載の方法。
  8. BB−1.
    画像システムであって、
    第1のプレートと、前記第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、前記第1のプレートを囲んで前記生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、を含むサンプルカードと、
    コンピューティングデバイスと
    を含み、
    前記コンピューティングデバイスは、
    光学センサに通信可能に結合された処理装置を含み、前記処理装置は、
    前記光学センサから、前記サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を受け取ることと、
    前記画像に対して第1の機械学習モデルを用いることによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
    前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
    前記変化に基づいて、前記第1の情報及び前記第2の情報をエンコードする前記画像を補正することと、
    前記補正した画像に基づいて、前記生物学的サンプルの生物学的特性を決定することと
    を行う、
    前記画像システム。
  9. アッセイングにおける前記カードの不適切な閉検出に対するピラー上の物体の検出に対する例
    CA−1.
    薄層サンプルのアッセイ画像に記録された人間操作エラーを補正するための方法であって、
    画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルカードの第1のプレート上に一体化された複数のナノ構造が含まれ、前記サンプルは、前記サンプルカードの開構成において前記第1のプレート上に堆積され、前記サンプルカードの閉構成において前記サンプルカードの第2のプレートによって囲まれる、前記受け取ることと、
    前記処理装置によって、前記画像を、前記サンプルに対応する第1のサブ領域と前記複数のナノ構造に対応する第2のサブ領域とにセグメント化することと、
    前記処理装置によって、前記第2のサブ領域を、前記サンプルの製造中に与えられる前記モニタ基準と比較して、前記第2のサブ領域のうちの少なくとも1つに前記ナノ構造以外の異物が含まれるか否かを判定することと、
    前記第2のサブ領域のうちの少なくとも1つに前記ナノ構造以外の異物が含まれるという決定に応じて、前記サンプルカードの操作に付随するエラーを決定することと、
    前記画像から前記少なくとも1つのサブ領域を取り除くことによって前記サンプルカードの前記画像を補正することと
    を含む、前記方法。
  10. CA−2.
    前記異物は前記サンプルの一部、気泡、または不純物のうちの1つである、例CA−1に記載の方法。
  11. アッセイングにおける欠陥(たとえば気泡、ホコリなど)及び補助構造(たとえば、ピラー)除去に対する例
    DA−1.
    薄層サンプルカード内のサンプルの体積を測定するための方法であって、
    画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルの第1のプレートに垂直に一体化された複数のピラーが含まれ、前記複数の各ピラーは高さ(H)が実質的に同一である、前記受け取ることと、
    前記処理装置によって、機械学習モデルを用いることによって、複数の無サンプルサブ領域を決定することであって、前記複数の無サンプルサブ領域は、ピラー、気泡、または不純物要素のうちの少なくとも1つに対応する、前記決定することと、
    前記処理装置によって、前記画像から前記複数の無サンプルサブ領域を取り除くことによって前記サンプルによって占有された面積を計算することと、
    前記処理装置によって、前記計算した面積及び前記高さ(H)に基づいて前記サンプルの体積を計算することと、
    前記処理装置によって、前記体積に基づいて、前記サンプルの生物学的特性を決定することと
    を含む、前記方法。
  12. ESX105信頼(1028_03)に対する例−アッセイ結果の信頼を判断するために用いる
    a.MLベースの境界ボックス検出と画像処理ベースの形状決定とを結合する形状セグメンテーション
    b.アッセイングにおける検体検出の一様性(IQRベースの外れ値検出)
    c.MLを用いた塊状検体検出
    d.MLを用いたカード上の乾燥テクスチャ検出
    e.MLを用いた欠陥(たとえば、ホコリ、オイルなど)検出
    f.MLを用いた気泡検出
    EA−1.
    画像アッセイ結果に付随する信頼価値測定値を決定するための方法であって、
    画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルの第1のプレートに一体化された複数のナノ構造が含まれる、前記受け取ることと、
    前記処理装置によって、前記画像を、前記サンプルに対応する第1のサブ領域と前記複数のナノ構造に対応する第2のサブ領域とにセグメント化することと、
    前記処理装置によって、第1の機械学習モデルを用いることによって、前記第1のサブ領域または前記第2のサブ領域のうちの少なくとも1つにおける不適合な要素を決定することと、
    前記処理装置によって、前記第1のサブ領域及び前記第2のサブ領域に基づいて、前記サンプルの生物学的特性を決定することと、
    前記処理装置によって、前記不適合な要素の統計分析に基づいて、前記生物学的特性に付随する前記信頼価値測定値を計算することと、
    前記処理装置によって、前記信頼価値測定値に基づいて、前記サンプルに対するさらなる操作を決定することと
    を含む、前記方法。
  13. EA−2.
    前記処理装置によって、前記信頼価値測定値に基づいて、前記生物学的特性は信頼性が高いと判定することと、
    前記処理装置によって、前記生物学的特性を表示デバイスに送ることと
    をさらに含む、例EA−1に記載の方法。
  14. EA−3.
    前記処理装置によって、前記信頼価値測定値に基づいて、前記生物学的特性はそれほど信頼性は高くないと判定することと、
    前記処理装置によって、前記生物学的特性及び前記対応する信頼価値測定値を表示デバイスに送って前記生物学的特性を受け入れるか廃棄するかをユーザが判定できるようにすることと
    をさらに含む、例EA−1に記載の方法。
  15. EA−4.
    前記処理装置によって、前記画像を、前記サンプルに対応する第1のサブ領域と前記複数のナノ構造に対応する第2のサブ領域とにセグメント化すること、
    前記処理装置によって、画像処理方法を用いることによって、前記画像に対して第1の画像セグメンテーションを行うことによって、第1のセグメンテーション結果を生成することと、
    前記処理装置によって、第2の機械学習モデルを用いることによって、前記画像に対して第2の画像セグメンテーションを行うことによって、第2のセグメンテーション結果を生成することと、
    前記処理装置によって、前記第1のセグメンテーション結果と前記第2のセグメンテーション結果とを結合することによって、前記画像を、前記サンプルに対応する前記第1のサブ領域と前記複数のナノ構造に対応する前記第2のサブ領域とにセグメント化すること

    例EA−1に記載の方法。
  16. EA−5.
    前記処理装置によって、第1の機械学習モデルを用いることによって、前記第1のサブ領域または前記第2のサブ領域のうちの少なくとも1つにおける不適合な要素を決定することには、
    前記処理装置によって、前記サンプル中の少なくとも1つの検体の分布不均一に基づいて、前記不適合要素を決定すること、
    前記処理装置によって、前記サンプルの塊状検体検出に基づいて、前記不適合要素を決定すること、
    前記処理装置によって、前記サンプル中の乾燥テクスチャの検出に基づいて、前記不適合要素を決定すること、
    前記処理装置によって、前記サンプル中の不純物の検出に基づいて、前記不適合要素を決定すること、または
    前記処理装置によって、前記サンプル中の気泡の検出に基づいて、前記不適合要素を決定すること
    のうちの少なくとも1つが含まれる、例EA−1に記載の方法。
  17. セグメンテーションに基づく中身を伴う単一カードに対するマルチセグメント化された試験に対する例
    FA−1.
    単一のサンプルカードを用いて複数の検体の測定値を決定するための方法であって、
    画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルの第1のプレートに一体化された複数のナノ構造が含まれる、前記受け取ることと、
    前記処理装置によって、第1の機械学習モデルを用いることによって、前記画像を、前記サンプルに含まれる第1の検体に付随する第1のサブ領域と、前記サンプルに含まれる第2の検体に付随する第2の領域と、前記複数のナノ構造に対応する第3のサブ領域とにセグメント化することと、
    前記処理装置によって、前記複数のナノ構造に対応する前記第3のサブ領域に基づいて、2つの隣接するナノ構造間の真の横方向距離(TLD)を決定することと、
    前記処理装置によって、前記TLDに基づいて、前記第1のサブ領域の第1の累積面積を決定し、さらに前記第1の累積面積と前記複数のナノ構造に付随する高さとに基づいて第1の体積を決定することと、
    前記処理装置によって、前記TLDに基づいて、前記サブ領域の第2の累積面積を決定し、さらに前記第2の累積面積と前記複数のナノ構造に付随する高さとに基づいて第2の体積を決定することと、
    前記処理装置によって、前記第1の体積内の前記第1の検体のカウントに基づいて、前記第1の検体の第1の測定値を決定することと、
    前記処理装置によって、前記第2の体積内の前記第2の検体のカウントに基づいて、前記第2の検体の第2の測定値を決定することと
    を含む、前記方法。
  18. ピラーベースの分光光度計のシステム及び装置に対する例
    GA−1.
    複数のナノピラーを含むサンプルカード内に与えられたサンプルの生物学的特性を測定するための方法であって、
    画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準には前記サンプルの第1のプレートに一体化された複数のナノ構造が含まれる、前記受け取ることと、
    前記処理装置によって、前記画像を、前記サンプルに対応する第1のサブ領域と前記複数のナノピラーに対応する第2のサブ領域とにセグメント化することと、
    前記処理装置によって、前記第1のサブ領域の第1の分光光度測定値を決定することと、
    前記処理装置によって、前記第2のサブ領域の第2の分光光度測定値を決定することと、
    前記処理装置によって、前記第1の分光光度測定値と第2の分光光度測定値との間の比に基づいて、前記サンプルの生物学的特性を決定することと
    を含む、方法。
  19. 大量の小さくて繰り返される物体の標識化に対する例
    HA−1.
    トレーニングデータを作成するために画像内の複数の物体を標識化するための方法であって、
    処理装置によって、グラフィックユーザインターフェースにおける前記画像を受け取ることと、
    前記処理装置によって、前記グラフィックユーザインターフェースを通して、前記画像内の位置の選択を受け取ることと、
    前記処理装置によって、前記位置の近くの複数の画素に基づいて、前記位置を囲む境界ボックスを計算することと、
    前記処理装置によって、前記グラフィックユーザインターフェースにおける前記画像に重ねられた前記境界ボックスの表示をもたらすことと、
    ユーザ確認を受け取ることに応じて、前記境界ボックス内の領域をトレーニングデータとして標識化することと
    を含む、前記方法。
  20. IA−1.
    アッセイ画像を作成するための方法であって、
    複数のマーカー要素を含むサンプルカードを用意することと、
    開構成の前記サンプルカードの第1のプレート上にサンプルを堆積させることと、
    前記サンプルカードを閉じて、前記サンプルカードの第2のプレートを前記第1のプレートに対して押して、閉構成にすることであって、前記閉構成にある前記第1のプレート及び前記第2のプレートは、略均一な厚さの前記サンプルと前記複数のマーカー要素とを含む薄層を形成する、前記閉構成にすることと、
    処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、前記命令は前記処理装置によって実行されると、
    略均一な厚さの前記サンプルと前記複数のマーカー要素とを含む前記サンプルカードの画像を取り込むことと、
    前記画像内の前記複数のマーカー要素を検出することと、
    前記検出した複数のマーカー要素を前記サンプルカードに付随するモニタ基準と比較して、前記複数のマーカー要素と前記モニタ基準との間の幾何学的マッピングを決定することと、
    前記幾何学的マッピングに基づいて前記画像システムの非理想因子を決定することと、
    前記非理想因子を補正するように前記サンプルカードの前記画像を処理することと
    を行う、前記用意することと
    を含む、前記方法。
  21. IB−1.
    アッセイ画像を作成するための方法であって、
    複数のマーカー要素を含むサンプルカードを用意することと、
    開構成の前記サンプルカードの第1のプレート上にサンプルを堆積させることと、
    前記サンプルカードを閉じて、前記サンプルカードの第2のプレートを前記第1のプレートに対して押して、閉構成にすることであって、前記閉構成にある前記第1のプレート及び前記第2のプレートは、略均一な厚さの前記サンプルと前記複数のマーカー要素とを含む薄層を形成する、前記閉構成にすることと、
    処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、前記命令は前記処理装置によって実行されると、
    略均一な厚さの前記サンプルと前記複数のマーカー要素とを含む前記サンプルカードの画像を取り込むことと、
    前記画像を複数のサブ領域に分割することと、
    機械学習モデル及び前記複数のマーカー要素を用いて、前記複数の各サブ領域が前記画像システムの要求を満たすか否かを判定することと、
    サブ領域が前記要求を満たさないという判定に応じて、前記第1のサブ領域を不適合であると標識化することと、
    前記サブ領域が前記要求を満たすという判定に応じて、前記第1のサブ領域を適合していると標識化することと、
    前記画像の前記適合しているサブ領域を用いてアッセイ分析を実行することと
    を行う、前記用意することと
    を含む、前記方法。
  22. IC−1.
    画像システムの非理想因子を補正するための方法であって、
    前記画像システムの処理装置によって、サンプルカードの画像を受け取ることであって、前記サンプルカードには、前記サンプルカードのプレート上に堆積された略均一な層のサンプルと前記サンプルカードに付随する複数のマーカー要素とが含まれる、前記受け取ることと、
    前記処理装置によって、前記画像内の前記複数のマーカー要素を検出することと、
    前記検出した複数のマーカー要素を前記サンプルカードに付随するモニタ基準と比較して、前記複数のマーカー要素と前記モニタ基準との間の幾何学的マッピングを決定することと、
    前記幾何学的マッピングに基づいて前記画像システムの前記非理想因子を決定することと、
    前記サンプルカードの前記画像を処理して前記非理想因子を補正することと
    を含む、前記方法。
  23. ID−1.
    画像システムの非理想因子を補正するための方法であって、
    前記画像システムの処理装置によって、サンプルカードの画像を受け取ることであって、前記サンプルカードには、前記サンプルカードのプレート上に堆積された略均一な層のサンプルと前記サンプルカードに付随する複数のマーカー要素とが含まれる、前記受け取ることと、
    前記処理装置によって、前記画像を複数のサブ領域に分割することと、
    前記処理装置によって、機械学習モデル及び前記複数のマーカー要素を用いて、前記複数の各サブ領域が前記画像システムの要求を満たすか否かを判定することと、
    サブ領域が前記要求を満たさないという判定に応じて、前記処理装置によって、前記第1のサブ領域を不適合であると標識化することと、
    前記サブ領域が前記要求を満たすという判定に応じて、前記処理装置によって、前記第1のサブ領域を適合していると標識化することと、
    前記処理装置によって、前記画像の前記適合しているサブ領域を用いてアッセイ分析を行うことと
    を含む、前記方法。
  24. IE−1.
    画像システムであって、
    第1のプレート、第2のプレート、及び複数のマーカー要素を含むサンプルカードを保持するアダプタと、
    前記アダプタに結合されたモバイルコンピューティングデバイスと
    を含み、
    前記モバイルコンピューティングデバイスは、
    前記複数のマーカー要素及び前記サンプルカードの画像を取り込む光学センサであって、前記サンプルカードには、前記サンプルカードの前記第1のプレートと前記第2のプレートとの間に堆積された略均一な層のサンプルが含まれる、前記光学センサと、
    前記光学センサに通信可能に結合された処理装置と
    を含み、
    前記処理装置は、
    前記光学センサが取り込んだ前記画像を受け取ることと、
    前記画像内の前記複数のマーカー要素を検出することと、
    前記検出した複数のマーカー要素を前記サンプルカードに付随するモニタ基準と比較して、前記複数のマーカー要素と前記モニタ基準との間の幾何学的マッピングを決定することと、
    前記幾何学的マッピングに基づいて前記画像システムの非理想因子を決定することと、
    前記非理想因子を補正するように前記サンプルカードの前記画像を処理することと
    を行う、
    前記画像システム。
  25. IF−1.
    画像システムであって、
    第1のプレート、第2のプレート、及び複数のマーカー要素を含むサンプルカードを保持するアダプタと、
    前記アダプタに結合されたモバイルコンピューティングデバイスと
    を含み、
    前記モバイルコンピューティングデバイスは、
    前記複数のマーカー要素及び前記サンプルカードの画像を取り込む光学センサであって、前記サンプルカードには、前記サンプルカードの前記第1のプレートと前記第2のプレートとの間に堆積された略均一な層のサンプルが含まれる、前記光学センサと、
    前記光学センサに通信可能に結合された処理装置と
    を含み、
    前記処理装置は、
    前記光学センサが取り込んだ前記画像を受け取ることと、
    前記画像を複数のサブ領域に分割することと、
    機械学習モデル及び前記複数のマーカー要素を用いて、前記複数の各サブ領域が前記画像システムの要求を満たすか否かを判定することと、
    サブ領域が前記要求を満たさないという判定に応じて、前記第1のサブ領域を不適合であると標識化することと、
    前記サブ領域が前記要求を満たすという判定に応じて、前記第1のサブ領域を適合していると標識化することと、
    前記画像の前記適合しているサブ領域を用いてアッセイ分析を実行することと
    を行う、
    前記画像システム。
  26. IG−1.
    モバイル画像化デバイスであって、
    光学センサと、
    前記光学センサに通信可能に結合された処理装置と
    を含み、
    前記処理装置は、
    前記光学センサが取り込んだ画像を受け取ることであって、前記画像には、複数のマーカー要素と、サンプルカードの第1のプレートと第2のプレートとの間に堆積された略均一な層のサンプルとが含まれる、前記受け取ることと、
    前記画像内の前記複数のマーカー要素を検出することと、
    前記検出した複数のマーカー要素を前記サンプルカードに付随するモニタ基準と比較して、前記複数のマーカー要素と前記モニタ基準との間の幾何学的マッピングを決定することと、
    前記幾何学的マッピングに基づいて前記画像システムの非理想因子を決定することと、
    前記非理想因子を補正するように前記サンプルカードの前記画像を処理することと
    を行う、
    前記モバイル画像化デバイス。
  27. IH−1.
    モバイル画像化デバイスであって、
    光学センサと、
    前記光学センサに通信可能に結合された処理装置と
    を含み、
    前記処理装置は、
    前記光学センサが取り込んだ前記画像を受け取ることであって、前記画像には、複数のマーカー要素と、サンプルカードの第1のプレートと第2のプレートとの間に堆積された略均一な層のサンプルとが含まれる、前記受け取ることと、
    前記画像を複数のサブ領域に分割することと、
    機械学習モデル及び前記複数のマーカー要素を用いて、前記複数の各サブ領域が前記画像システムの要求を満たすか否かを判定することと、
    サブ領域が前記要求を満たさないという判定に応じて、前記第1のサブ領域を不適合であると標識化することと、
    前記サブ領域が前記要求を満たすという判定に応じて、前記第1のサブ領域を適合していると標識化することと、
    前記画像の前記適合しているサブ領域を用いてアッセイ分析を実行することと
    を行う、
    前記モバイル画像化デバイス。
  28. II−1.
    インテリジェントアッセイモニタ方法であって、
    サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を、処理装置によって受け取ることと、
    前記処理装置によって、前記画像に対して第1の機械学習モデルを実行することによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
    前記処理装置によって、前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
    前記処理装置によって、前記変化に基づいて、前記第1の情報及び前記第2の情報をエンコードする前記画像を補正することと、
    前記処理装置によって、前記補正した画像を用いることによって、前記生物学的サンプルの生物学的特性を決定することと
    を含む、前記インテリジェントアッセイモニタ方法。
  29. II−2.
    前記サンプルカードには、第1のプレートと、前記第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、前記第1のプレートを囲んで前記生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、が含まれる、例II−1に記載の方法。
  30. II−3.
    前記複数のモニタマークは前記複数のピラーに対応する、請求項II−2に記載の方法。
  31. II−4.
    前記複数のモニタマークは、前記第1のプレートまたは前記第2のプレートの少なくとも一方内に与えられる、請求項II−2に記載の方法。
  32. II−5.
    前記処理装置によって、前記画像に対して第1の機械学習モデルを実行することによって、前記複数のモニタマークに付随する前記幾何学的特徴の前記測定値を決定することには、
    前記処理装置によって、第1の機械学習モデルを実行することによって、前記画像から前記複数のモニタマークを特定することと、
    前記処理装置によって、前記特定した複数のモニタマークに基づいて、前記幾何学的特徴の前記測定値を決定することと
    がさらに含まれる、II−1に記載の方法。
  33. II−6.
    前記処理装置によって、前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の前記変化を決定することには、
    前記処理装置によって、システムエラーまたは人間操作エラーの一方を決定することと、
    前記システムエラーまたは前記人間操作エラーの前記決定した一方を、前記処理装置に付随する表示デバイス上に示すことと
    がさらに含まれる、請求項II−1に記載の方法。
  34. II−7.
    画像システムであって、
    第1のプレートと、前記第1のプレートの表面に実質的に垂直に一体化された複数のピラーと、前記第1のプレートを囲んで前記生物学的サンプルが堆積する薄層を形成することができる第2のプレートと、を含むサンプルカードと、
    コンピューティングデバイスと
    を含み、
    前記コンピューティングデバイスは、光学センサに通信可能に結合された処理装置を含み、
    前記処理装置は、
    前記光学センサから、前記サンプルカード内に堆積する生物学的サンプルの第1の情報と複数のモニタマークの第2の情報とをエンコードする画像を受け取ることと、
    前記画像に対して第1の機械学習モデルを用いることによって、前記複数のモニタマークに付随する幾何学的特徴の測定値を決定することと、
    前記幾何学的特徴の前記測定値と前記サンプルカードによって与えられる前記幾何学的特徴のグラウンドトゥルース値との間の変化を決定することと、
    前記変化に基づいて、前記第1の情報及び前記第2の情報をエンコードする前記画像を補正することと、
    前記補正した画像に基づいて、前記生物学的サンプルの生物学的特性を決定することと
    を行う、
    前記画像システム。
  35. IJ−1.
    薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
    モニタ基準を含むサンプルカードであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含む、前記サンプルカードを用意することと、
    前記サンプルカードの前記プレート上にサンプルを堆積させることと、
    処理装置と命令を記憶する非一時的な記憶媒体とを含む画像システムを用意することであって、前記命令は前記処理装置によって実行されると、
    前記サンプルと前記モニタ基準とを含む前記サンプルカードの画像を取り込むことと、
    前記サンプルカードの前記画像を前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像システムの非理想因子を決定することと、
    前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
    を行う、前記用意することと
    を含む、前記方法。
  36. IJ−2.
    薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
    画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
    前記処理装置によって、前記サンプルカードの前記画像を前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像システムの非理想因子を決定することと、
    前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
    を含む、前記方法。
  37. IJ−3.
    薄層サンプルのアッセイ画像における非理想因子を補正するための方法であって、
    画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
    前記処理装置によって、機械学習モデルを用いて、前記画像システムの非理想因子を決定することであって、前記サンプルカードの画像を前記サンプルカードの製造中に決定される前記モニタ基準の幾何学的値と比較することによって、前記機械学習モデルをトレーニングする、前記決定することと、
    前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
    を含む、前記方法。
  38. IJ−4.
    モバイル画像化デバイスであって、
    光学センサと、
    前記光学センサに通信可能に結合された処理装置と
    を含み、
    前記処理装置は、
    サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
    前記サンプルカードの前記画像を前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記モバイル画像化システムの非理想因子を決定することと、
    前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
    を行う、
    前記モバイル画像化デバイス。
  39. IJ−5.
    画像システムであって、
    モニタ基準を含むサンプルカードを保持するアダプタであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、サンプルは前記プレート上に堆積されている、前記アダプタと、
    前記アダプタに結合されたモバイルコンピューティングデバイスと
    を含み、
    前記モバイルデバイスは、
    光学センサと、
    前記光学センサに通信可能に結合された処理装置と
    を含み、
    前記処理装置は、
    前記サンプルカードの画像を受け取ることと、
    前記プレート上に堆積された前記サンプルを含むサンプルカードの前記画像を、前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像システムの非理想因子を決定することと、
    前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
    を行う、
    前記画像システム。
  40. IJ−6.
    サンプルカードであって、
    前記サンプルカードのプレート上に複数のナノ構造を含むモニタ基準であって、サンプルは前記プレート上に堆積され、前記サンプルカードを、処理装置と光学センサとを含む画像システムに結合されたアダプタに差し込んで、前記サンプルカードの画像を取り込む、前記モニタ基準を含み、
    前記処理装置は、
    前記サンプルカードの前記画像を受け取ることと、
    前記プレート上に堆積された前記サンプルを含むサンプルカードの前記画像を、前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像システムの非理想因子を決定することと、
    前記非理想因子を考慮して前記サンプルカードの前記画像を補正することと
    を行う、
    前記サンプルカード。
  41. IJ−7.
    薄層サンプルを含む画像システムのシステムエラーを補正するための方法であって、
    前記画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードに付随する画像及び第1のパラメータを受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
    前記処理装置によって、前記第1のパラメータを前記サンプルカードの製造中に決定される前記モニタ基準に付随する第2のパラメータと比較することによって、前記画像システムの前記システムエラーを決定することと、
    前記システムエラーを考慮して前記サンプルカードの前記画像を補正することと
    を含む、前記方法。
  42. IJ−8.
    薄層サンプルのアッセイ画像に記録された人間操作エラーを補正するための方法であって、
    画像システムの処理装置によって、サンプルとモニタ基準とを含むサンプルカードの画像を受け取ることであって、前記モニタ基準は前記サンプルカードのプレート上に複数のナノ構造を含み、前記サンプルは前記プレート上に堆積されている、前記受け取ることと、
    前記処理装置によって、機械学習モデルを用いて、前記サンプルカードの前記画像を前記サンプルカードの製造中に決定される前記モニタ基準の複数の幾何学的値と比較することによって、前記画像内に反映された人間操作エラーを決定することであって、前記人間操作エラーには前記画像システムの取り扱いミスが含まれる、前記決定することと、
    前記画像内に反映された前記人間操作エラーを取り除くことによって前記サンプルカードの前記画像を補正することと
    を含む、前記方法。
JP2021507893A 2018-08-16 2019-08-16 インテリジェントモニタリング構造を用いた画像ベースのアッセイ Pending JP2021535369A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862764887P 2018-08-16 2018-08-16
US201862719129P 2018-08-16 2018-08-16
US201862764886P 2018-08-16 2018-08-16
US62/764,887 2018-08-16
US62/764,886 2018-08-16
US62/719,129 2018-08-16
US201862719201P 2018-08-17 2018-08-17
US62/719,201 2018-08-17
PCT/US2019/046971 WO2020055543A1 (en) 2018-08-16 2019-08-16 Image-based assay using intelligent monitoring structures

Publications (1)

Publication Number Publication Date
JP2021535369A true JP2021535369A (ja) 2021-12-16

Family

ID=69776888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507893A Pending JP2021535369A (ja) 2018-08-16 2019-08-16 インテリジェントモニタリング構造を用いた画像ベースのアッセイ

Country Status (4)

Country Link
EP (1) EP3837525A4 (ja)
JP (1) JP2021535369A (ja)
CN (1) CN113227754A (ja)
WO (1) WO2020055543A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020247409A1 (en) * 2019-06-02 2020-12-10 Essenlix Corporation Fast staining of biomaterials enhanced by image processing and artificial intelligence
US20230408534A1 (en) * 2020-10-08 2023-12-21 Essenlix Corporation Assay Error Reduction
WO2022125594A1 (en) * 2020-12-07 2022-06-16 Essenlix Corporation Pedestal card and methods for liquid sample control and assay
KR102509215B1 (ko) * 2021-02-08 2023-03-14 국민대학교산학협력단 인쇄회로기판의 코팅 영역 검출 방법 및 장치
CN113344783B (zh) * 2021-06-08 2022-10-21 哈尔滨工业大学 一种热力图感知的金字塔人脸超分辨率网络
CN116109982B (zh) * 2023-02-16 2023-07-28 哈尔滨星云智造科技有限公司 一种基于人工智能的生物样本采集有效性检验方法
CN117556245B (zh) * 2024-01-04 2024-03-22 信联电子材料科技股份有限公司 一种四甲基氢氧化铵生产过滤杂质检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014069248A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2015514997A (ja) * 2012-04-20 2015-05-21 スリップチップ, エルエルシー サンプル調製または自律分析のための流体デバイスおよびシステム
JP2015533086A (ja) * 2012-10-03 2015-11-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 組み合わされた試料検査
JP2018063187A (ja) * 2016-10-13 2018-04-19 ヤマハ発動機株式会社 容器構造体及びこれを用いた撮像システム
WO2018102748A1 (en) * 2016-12-01 2018-06-07 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
US20180202903A1 (en) * 2015-08-10 2018-07-19 Essenlix Corporation Bio/chemical assay devices and methods for simplified steps, small samples, accelerated speed, and ease-of-use

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6905881B2 (en) * 2000-11-30 2005-06-14 Paul Sammak Microbead-based test plates and test methods for fluorescence imaging systems
US7181081B2 (en) * 2001-05-04 2007-02-20 Legend Films Inc. Image sequence enhancement system and method
GB201105474D0 (en) * 2011-03-31 2011-05-18 Albagaia Ltd Testing apparatus
US8774515B2 (en) * 2011-04-20 2014-07-08 Xerox Corporation Learning structured prediction models for interactive image labeling
US9060685B2 (en) * 2012-03-26 2015-06-23 Nec Laboratories America, Inc. Whole tissue classifier for histology biopsy slides
WO2018107105A1 (en) * 2016-12-08 2018-06-14 Essenlix Corporation Assay sample cards and adaptors and use of the same
US9756324B1 (en) * 2017-04-10 2017-09-05 GELT Inc. System and method for color calibrating an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015514997A (ja) * 2012-04-20 2015-05-21 スリップチップ, エルエルシー サンプル調製または自律分析のための流体デバイスおよびシステム
JP2015533086A (ja) * 2012-10-03 2015-11-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 組み合わされた試料検査
WO2014069248A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US20180202903A1 (en) * 2015-08-10 2018-07-19 Essenlix Corporation Bio/chemical assay devices and methods for simplified steps, small samples, accelerated speed, and ease-of-use
JP2018063187A (ja) * 2016-10-13 2018-04-19 ヤマハ発動機株式会社 容器構造体及びこれを用いた撮像システム
WO2018102748A1 (en) * 2016-12-01 2018-06-07 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices

Also Published As

Publication number Publication date
EP3837525A1 (en) 2021-06-23
WO2020055543A1 (en) 2020-03-19
EP3837525A4 (en) 2023-03-08
CN113227754A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US11674883B2 (en) Image-based assay performance improvement
US11719618B2 (en) Assay accuracy improvement
JP2021535369A (ja) インテリジェントモニタリング構造を用いた画像ベースのアッセイ
US10755406B2 (en) Systems and methods for co-expression analysis in immunoscore computation
CN111512383B (zh) 用于图像处理的自动测定评估和归一化
US9697582B2 (en) Methods for obtaining and analyzing images
US11733151B2 (en) Assay detection, accuracy and reliability improvement
US20220351860A1 (en) Federated learning system for training machine learning algorithms and maintaining patient privacy
CN112689757A (zh) 使用crof和机器学习的基于图像测定的***和方法
US20220351379A1 (en) Non-tumor segmentation to support tumor detection and analysis
CN113966522A (zh) 基于成像的测定的有效训练和准确度改进
US20230408534A1 (en) Assay Error Reduction
US20220404342A1 (en) Improvements of Lateral Flow Assay and Vertical Flow Assay
WO2022126010A1 (en) Systems and methods for generating histology image training datasets for machine learning models
Can et al. Techniques for cellular and tissue-based image quantitation of protein biomarkers

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230616

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230626

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230925

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240319