JP7128203B2 - スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 - Google Patents
スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 Download PDFInfo
- Publication number
- JP7128203B2 JP7128203B2 JP2019555778A JP2019555778A JP7128203B2 JP 7128203 B2 JP7128203 B2 JP 7128203B2 JP 2019555778 A JP2019555778 A JP 2019555778A JP 2019555778 A JP2019555778 A JP 2019555778A JP 7128203 B2 JP7128203 B2 JP 7128203B2
- Authority
- JP
- Japan
- Prior art keywords
- tile
- images
- image
- processors
- overlap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 107
- 238000007670 refining Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 47
- 210000001519 tissue Anatomy 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 239000000243 solution Substances 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 239000012530 fluid Substances 0.000 description 11
- 238000000701 chemical imaging Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 239000012472 biological sample Substances 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 239000000834 fixative Substances 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 239000000427 antigen Substances 0.000 description 4
- 102000036639 antigens Human genes 0.000 description 4
- 108091007433 antigens Proteins 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- -1 exudate (eg Substances 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 3
- OKKJLVBELUTLKV-UHFFFAOYSA-N Methanol Chemical compound OC OKKJLVBELUTLKV-UHFFFAOYSA-N 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 2
- 108090000790 Enzymes Proteins 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- GYHFUZHODSMOHU-UHFFFAOYSA-N nonanal Chemical compound CCCCCCCCC=O GYHFUZHODSMOHU-UHFFFAOYSA-N 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000008188 pellet Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000012488 sample solution Substances 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001502050 Acis Species 0.000 description 1
- 241000224489 Amoeba Species 0.000 description 1
- 206010003445 Ascites Diseases 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 239000011547 Bouin solution Substances 0.000 description 1
- 239000004971 Cross linker Substances 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- SXRSQZLOMIGNAQ-UHFFFAOYSA-N Glutaraldehyde Chemical compound O=CCCCC=O SXRSQZLOMIGNAQ-UHFFFAOYSA-N 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 238000011887 Necropsy Methods 0.000 description 1
- 108091034117 Oligonucleotide Proteins 0.000 description 1
- 229930040373 Paraformaldehyde Natural products 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 1
- JLCPHMBAVCMARE-UHFFFAOYSA-N [3-[[3-[[3-[[3-[[3-[[3-[[3-[[3-[[3-[[3-[[3-[[5-(2-amino-6-oxo-1H-purin-9-yl)-3-[[3-[[3-[[3-[[3-[[3-[[5-(2-amino-6-oxo-1H-purin-9-yl)-3-[[5-(2-amino-6-oxo-1H-purin-9-yl)-3-hydroxyoxolan-2-yl]methoxy-hydroxyphosphoryl]oxyoxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxyoxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methyl [5-(6-aminopurin-9-yl)-2-(hydroxymethyl)oxolan-3-yl] hydrogen phosphate Polymers Cc1cn(C2CC(OP(O)(=O)OCC3OC(CC3OP(O)(=O)OCC3OC(CC3O)n3cnc4c3nc(N)[nH]c4=O)n3cnc4c3nc(N)[nH]c4=O)C(COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3CO)n3cnc4c(N)ncnc34)n3ccc(N)nc3=O)n3cnc4c(N)ncnc34)n3ccc(N)nc3=O)n3ccc(N)nc3=O)n3ccc(N)nc3=O)n3cnc4c(N)ncnc34)n3cnc4c(N)ncnc34)n3cc(C)c(=O)[nH]c3=O)n3cc(C)c(=O)[nH]c3=O)n3ccc(N)nc3=O)n3cc(C)c(=O)[nH]c3=O)n3cnc4c3nc(N)[nH]c4=O)n3cnc4c(N)ncnc34)n3cnc4c(N)ncnc34)n3cnc4c(N)ncnc34)n3cnc4c(N)ncnc34)O2)c(=O)[nH]c1=O JLCPHMBAVCMARE-UHFFFAOYSA-N 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 150000001299 aldehydes Chemical class 0.000 description 1
- 238000000627 alternating current impedance spectroscopy Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000007864 aqueous solution Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000941 bile Anatomy 0.000 description 1
- 239000013060 biological fluid Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000003103 bodily secretion Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000005081 chemiluminescent agent Substances 0.000 description 1
- KRVSOGSZCMJSLX-UHFFFAOYSA-L chromic acid Substances O[Cr](O)(=O)=O KRVSOGSZCMJSLX-UHFFFAOYSA-L 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 239000003431 cross linking reagent Substances 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- AWJWCTOOIBYHON-UHFFFAOYSA-N furo[3,4-b]pyrazine-5,7-dione Chemical compound C1=CN=C2C(=O)OC(=O)C2=N1 AWJWCTOOIBYHON-UHFFFAOYSA-N 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011532 immunohistochemical staining Methods 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000003446 ligand Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000004949 mass spectrometry Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229960002523 mercuric chloride Drugs 0.000 description 1
- LWJROJCJINYWOX-UHFFFAOYSA-L mercury dichloride Chemical compound Cl[Hg]Cl LWJROJCJINYWOX-UHFFFAOYSA-L 0.000 description 1
- 229910021645 metal ion Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- WSFSSNUMVMOOMR-NJFSPNSNSA-N methanone Chemical compound O=[14CH2] WSFSSNUMVMOOMR-NJFSPNSNSA-N 0.000 description 1
- 238000004452 microanalysis Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000012454 non-polar solvent Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 239000012285 osmium tetroxide Substances 0.000 description 1
- 229910000489 osmium tetroxide Inorganic materials 0.000 description 1
- 239000007800 oxidant agent Substances 0.000 description 1
- 229920002866 paraformaldehyde Polymers 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- OXNIZHLAWKMVMX-UHFFFAOYSA-N picric acid Chemical compound OC1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-N 0.000 description 1
- 210000002381 plasma Anatomy 0.000 description 1
- 239000002798 polar solvent Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000013062 quality control Sample Substances 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000000080 wetting agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本開示は、隣接する画像タイル対の間の導出された空間的関係、例えば、x方向とy方向の両方におけるタイルのオーバーラップおよびシフト(図9Aおよび図9B参照)に基づいて画像を共にスティッチングする方法を対象とする。局所的レジストレーションソリューションに到達するとき、本開示は、隣接する画像タイル対の予想オーバーラップ領域内の全てのピクセルを比較する。空間的関係を、ランタイム時に損なうことなく計算できることを保証するために、本明細書で開示される方法は、多重解像度フレームワークを使用し、隣接する画像タイル対間で使用されるコスト関数は、その対の2つの画像間の予想共通領域のグレースケール表現の間の正規化相互相関スコアである。さらに、本明細書で開示される方法は、適切な瞬間が予め計算されるように積分画像をさらに利用し、それにより、正規化相互相関ピークは、減少した時間で見出すことができる。実際には、隣接するタイル画像間の全ての予想共通領域についての正規化相互相関スコアが、2つの画像の第1および第2の瞬間の予め計算された値を使用することによって「迅速に(quickly)」計算され得ると出願人等は思う。最後に、空間的関係が導出されると、空間的関係および正規化相互相関スコア(すなわち、信頼値)は、大域的重み付き最小2乗ソルバーにおいて使用できるため、全てのタイルについての最良ロケーションが、決定され、同じグリッド上に設置され、特に、多くのデータを含まない領域において、スティッチングアーチファクトエラーの低減を可能にする。
試料を分析するためのコンピュータベース試料分析器10が図1に示される。コンピュータベース試料分析器10は、撮像装置12(例えば、試料担持顕微鏡スライドをスキャンするための手段を有する装置)およびコンピュータ14を備えることができ、それにより、撮像装置12およびコンピュータは、(例えば、直接的にまたはネットワーク20を通じて間接的に)通信可能に共に結合することができる。他のコンピュータデバイスまたはシステムを利用することができること、および、本明細書で述べるコンピュータシステムが、さらなるコンポーネント、例えば、試料分析器、顕微鏡、または撮像システム、自動化スライド調製機器などに通信可能に結合することができることを当業者は理解するであろう。これらのさらなるコンポーネントの一部および利用することができる種々のコンピュータは、本明細書でされに述べられる。
初期ステップとして、また、図3を参照して、コンピュータシステムは、(例えば、画像を取得するために)画像採取モジュール201および/または(例えば、画像を予め処理するために)画像処理モジュール11を実行する(ステップ250)。採取されるとおよび/または処理されると、複数の画像は、局所的レジストレーションモジュール212に提供され、それにより、隣接する画像タイル対の間の空間的関係を導出することができる(ステップ320)。
幾つかの実施形態において、複数の受信された画像は、試料担持顕微鏡スライド上の少なくとも関心領域の異なる部分に対応する一連の画像タイルである。幾つかの実施形態において、オーバーラップは、各画像タイル対の間、例えば、水平画像タイル対の間または垂直画像タイル対の間に存在する。画像スティッチングがよりよく促進され、試料担持顕微鏡スライドのどの領域も見落とされないように、画像間に少なくともある程度のオーバーラップを設けることが望ましい(図5A参照)。成功裏のスティッチングのために必要とされるまたは推奨されるオーバーラップの量は、隣接する画像タイル対の間のオーバーラップ領域内で選択されるテンプレート内などで、マッチング領域および/またはピクセルの種々の数学的属性を比較するために、本明細書で開示する方法についての任意のオーバーラップ領域内のマッチングピクセルの間で変動する。
幾つかの実施形態において、複数の受信された画像は、グレースケールに変換されて、複数のグレースケール画像タイルを提供する(ステップ310)。幾つかの実施形態において、その方法は、RGBカラー画像からグレースケール画像を抽出することであり、そうする技法は、当業者に知られている。幾つかの実施形態において、ルミナンス(明るさ)チャネルが利用される(そして、クロミナンス(カラー)チャネルは利用されない、なぜならば、2つの隣接する画像領域が比較されるとき、カラーチャネル間においてよりも、ルミナンスチャネル間により多くの対応が存在することが予想されることになるからである)。
概して、局所的レジストレーションモジュール212は、隣接する画像タイル対間の、すなわち、全ての水平画像タイル対間および全ての垂直画像タイル対間の、空間的関係、変位、または幾何学的形成を推定する(ステップ320)ために使用される。幾つかの実施形態において、局所的レジストレーションモジュール212は、2つの隣接する画像タイル間の最良マッチング領域であって、第1の方向にオーバーラップおよび第1の方向に垂直な第2の方向にシフトが存在する。最良マッチング領域を見出すために使用される。幾つかの実施形態において、局所的レジストレーションモジュール212は、隣接する画像タイル対間の空間的関係(例えば、タイルオーバーラップおよびタイルシフトの値)、隣接する画像タイル対間の考えられる最良マッチングについての正規化相互相関スコア、および、隣接する画像タイル対間のマッチング領域について計算される標準偏差スコアを出力する。
幾つかの実施形態において、正規化相互相関(NCC)は、隣接する画像タイルのオーバーラップ領域を比較するために使用される。正規化相互相関は、画像のマッチング部分を必要とし、したがって、2つのオブジェクト間の類似度(ここでは、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する画像内のマッチングしたピクセル)を確立する多くの用途で広く使用される技法である。
である。ここで、nはt(x,y)およびf(x,y)内のピクセルの数であり、
はfの平均であり、σfはfの標準偏差である。関数解析学用語において、これは、2つの正規化ベクトルのドット積(dot product)と考えられ得る。すなわち、
F(x,y)=f(x,y)-f および T(x,y)=t(x,y)-t
である場合、上記合計は、
に等しい。ここで、<・,・>は内積であり、||・||はL2ノルムである。そのため、fおよびtが実行列である場合、それらの正規化相互相関は、単位ベクトルFとTとの間の角度のコサインに等しく、したがって、Fが、正のスカラーで乗算されたTに等しい場合でその場合にのみ1である。
幾つかの実施形態において、NCCスコアは積分画像を使用して計算される。幾つかの実施形態において、計算複雑度を低減するために、2つの隣接する画像のオーバーラップ領域間のNCCスコアは、積分画像を使用して計算することができ、それにより、任意の計算コストまたは複雑度は少なくとも部分的に低減される。
Iintg(x4,y4)+Iintg(x1,y1)-Iintg(x2,y2)-Iintg(x3,y3)
I1(x,y)=sum{1<=i<=x,1<=j<=y}X(i,j)
sum of X(i,j){x1<=i<=x2,y1<=j<=y2}=I1(x2,y2)-I1(x1-1,y1-1)
I2(x,y)=sum{1<=i<=x,1<=j<=y}X2(i,j)(ここで、X2(i,j)=X(i,j)*X(i,j))
sum of X2(i,j){x1<=i<=x2,y1<=j<=y2}=I2(x2,y2)-I2(x1-1,y1-1)
Dot(X,Y)=sum{1<=i<=M1,1<=j<= N1}X(i,j)*Y(i,j)
であり、ここで、XおよびYは共にM1xN1画像である。
全ての隣接するグレースケール画像タイル対の間の空間的関係が、局所的レジストレーションモジュール212によって決定される(ステップ320)と、大域的配置モジュール213は、スキャンされたタイル画像を互いに対して配置する(ステップ340)ために使用される。幾つかの実施形態において、大域的配置は、正則化器(regularizer)として働き、局所的レジストレーションが、(例えば、空白マッチングに対して空白が存在する領域において)失敗したか、または、成功するのに不十分なデータを有した場合を補償する。
幾つかの実施形態において、また、画像タイルを設置する前に、決定された空間的関係が調整される(ステップ330)。幾つかの実施形態において、空間的関係は、任意の2つの隣接するグレースケール画像タイル対の間のマッチングの信頼性に基づいて調整される。ここで、用語「信頼性(reliability)」は、任意の所与の領域内でマッチングする少数のピクセルが存在する場合がある、または、その領域が十分に高いコントラストを持たない、すなわち、低コントラストである場合があることを指す。幾つかの実施形態において、任意の2つの隣接するグレースケール画像タイル対の間の空間的関係が、信頼性があると考えられるか否かの判定は、2つの隣接するグレースケール画像タイル対におけるマッチング領域から標準偏差値を導出すること、および、その標準偏差値を標準偏差閾値と比較することを含む。
画像タイル対の間の空間的関係の最適調整(ステップ330)に続いて、重み付き最小2乗ソルバーが使用されて、導出された空間的関係に基づいてタイル配置を決定する(ステップ340)。幾つかの実施形態において、重み付き最小2乗ソルバーは、導出されたNCCスコアを重みとして利用する。
である。
2つのフレームL(左)およびR(右)を仮定する、ここで、フレーム間の共通x交差部はdxであり、RはLの上のdy単位である;
(Lx,Ly)がLのトップ左角である場合、R(Rx,Ry)のトップ左角は次の通りである:
Rx=Lx+(幅-dx)(xは左から右に増加する)
Ry=Ly+(-dy)(yはトップからボトムに増加する)
タイルの間のMの行およびNの列について、M(N-1)のそのような対が得られる。
トップ画像(T)およびボトム画像(B)を考える。ここで、共通y交差部はdyであり、Tは、Bの右にdx単位のところに位置する;
(Tx,Ty)がTのトップ左角である場合、Bのトップ左角R(Bx,By)は:
Bx=Tx-dx;By=Ty+(高さ-dy)
として与えられる。
本開示のコンピュータシステムは、組織試料に対して1つまたは複数の調製プロセスを実施し得る試料処理装置に結び付けることができる。調製プロセスは、限定することなく、試料を脱パラフィンすること、試料を調節すること(例えば、細胞調節)、試料を染色すること、抗原賦活(antigen retrieval)を実施すること、免疫組織化学染色(標識化を含む)または他の反応を実施すること、および/またはインサイチューハイブリダイゼーション(例えば、SISH、FISHなど)染色(標識化を含む)または他の反応、ならびに、顕微鏡検査、微小分析、質量分析法、または他の分析法のために試料を調製するための他のプロセスを実施することを含み得る。
次に続く例の全ては、M×Nタイル(M行およびN列)を有する全スライドスキャンを仮定する。
入力:M×Nタイル;左右タイル対の間のx軸に沿うオーバーラップはx1<=dx<=x2である;右タイルに適用されると、右タイルを左タイルに整列させることになるyシフトは-ymax<=dy<=ymaxで変動し得る。
出力:M×(N-1)の左右画像対の場合、各対(i,j)について計算される:
dxLR(i,j):左タイル(i番目の行、j番目の列)と右タイル(i番目の行、(j+1)番目の列)との間のx軸に沿うオーバーラップ
dyLR(i,j):上記で述べたタイル対間のy軸に沿うシフト:dyLR(i,j)が正である場合、右タイルを左タイルに整列させるために、右タイルが下にシフトされなければならないことが意味される
confLR(i,j):上記で述べた左右タイル対についてのマッチング領域間のNCCが考えられるときのNCCスコア
stdLR(i,j):左と右の両方のタイルのためのマッチング領域について計算される、標準偏差の最大が考えられるときの標準偏差スコア
方法:
FORi=1:M//行インデックス(row index)
FORj=1:M//列インデックス(col index)
左タイル(i番目の行、j番目の列)および右タイル(i番目の行、(j+1)番目の列)の考えられる全てのマッチング領域の間のNCCを計算する、x1<=dx<=x2およびymin<=dy<=ymaxを仮定する(すなわち、右タイルの仮定される下方変位について左右マッチングを考える)
左タイル(i番目の行、j番目の列)および右タイル(i番目の行、(j+1)番目の列)の考えられる全てのマッチング領域の間のNCCを計算する、x1<=dx<=x2および-ymax<=dy<=-yminを仮定する(すなわち、右タイルの仮定される上方変位について左右マッチングを考える)
右タイルの垂直変位がない場合を考える必要がないようにするために、dyの小さい値(例えば、ymin=40ピクセル)が使用される。左タイルと右タイルとの間の非常に小さいオーバーラップを考えることは、NCCスコアが計算されるときに数値不安定性につながり得る(スコアが、非常に少数のピクセルにわたって計算されるため)。ゾーン-ymax<=dy<=-yminを回避しながら、NCCが計算されると、より意味のあるNCCスコアを返す。
END FOR//FOR 列=1:N-1
END FOR//FOR 行=1:M
条件1:1番目の列は正のdyを有し、一方、2番目の列は負のdyを有する:
S1=(全てのM×(N-1)のタイル対セットを考慮するNCCスコア)の平均(条件1の場合)
条件2:1番目の列は負のdyを有し、一方、2番目の列は正のdyを有する:
S2=(全てのM×(N-1)のタイル対セットを考慮するNCCスコア)の平均(条件2の場合)
S1>=S2である場合(If)、条件1が有効である
そうでなければ(Else) 条件2が有効である
出力:条件1が有効か、条件2が有効かに応じて、dxLR(i,j)、dyLR(i,j)、confLR(i,j)、stdLR(i,j)(1<=i<=M、1<=j<=N)を返す
入力:M×Nタイル;ボトム・トップタイル対の間のy軸に沿うオーバーラップはy1<=dy<=y2である;トップタイルに適用されると、トップタイルをボトムタイルに整列させることになるxシフトは-xmax<=dx<=xmaxで変動し得る。
出力:(M-1)×Nのボトム・トップ画像対の場合、各対(i,j)について計算される:
dyLR(i,j):トップタイル(i番目の行、j番目の列)とボトムタイル((i+1)番目の行、j番目の列)との間のy軸に沿うオーバーラップ
dxBT(i,j):上記で述べたボトム・トップタイル対の間のx軸に沿うシフト:dx(i,j)が正である場合、トップタイルをボトムタイルに整列させるために、トップタイルが右にシフトされなければならないことが意味される
confBT(i,j):上記で述べた左右タイル対についてのマッチング領域間のNCCが考えられるときのNCCスコア
stdBT(i,j):トップとボトムの両方のタイルのためのマッチング領域について計算される、標準偏差の最大が考えられるときの標準偏差スコア
方法:
FOR j=1:N//列インデックス
FOR i=1:M-1//行インデックス
トップタイル(i番目の行、j番目の列)およびボトムタイル(i+1番目の行、j番目の列)の考えられる全てのマッチング領域の間のNCCを計算する、y1<=dy<=y2およびxmin<=dx<=xmaxを仮定する
END FOR//FOR 行=1:M-1
END FOR//FOR 列=1:N
出力:dxBT(i,j)、dyBT(i,j)、confLR(i,j)、stdBT(i,j)(1<=i<=M、1<=j<=N)を返す
For j=1:N//列インデックス
For j=1:M-1//行インデックス
stdBT(i,j)<σ1の場合、
confBT(i,j)=δ1
end if//end if:
end for//行インデックス
end for//列インデックス
ここで、Avgdxodd(i)は、タイルがi番目の行にあると共に、左タイルが奇数の列に存在するときの、左右タイル対についての平均オーバーラップである。同様に、Avgdyodd(i)は、タイルがi番目の行にあると共に、左タイルが奇数の列内に存在するときの、左右タイル対についての平均yシフトである。
/*------------------------------------------*/
For i=1:M
Avgdxodd(i)={dxLR(i,j)、1<=j<=N}の平均
Avgdyodd(i)={dyLR(i,j)、1<=j<=N}の平均
Avgdxeven(i)={dxLR(i,j)、2<=j<=N}の平均
Avgdxeven(i)={dyLR(i,j)、2<=j<=N}の平均
End for
/*------------------------------------------*/
以下のモジュールは、左右タイル対について(dx,dy)値ならびにNCCベース信頼値がどのように更新されるかを述べる。
/*------------------------------------------*/
For j=1:2:N//ここで、左タイルが奇数列にある場合が考えられる
For i=1:M//ここで、全ての行にわたって反復される
stdLR(i,j)<σ1かつconfLR(i,j)>δ2である場合、
//修正は必要とされない
そうでなければ(Else)
dxLR(i,j)=Avgdxodd(i,j)
dyLR(i,j)=Avgdyodd(i,j)
confLR(i,j)=δ1
End if
End for//行にわたる反復の終了
End for//奇数列にわたる反復の終了
/*------------------------------------------*/
For j=2:2:N//ここで、左タイルが偶数列にある場合を考える
For i=1:M//ここで、全ての行にわたって反復する
stdLR(i,j)>σ1かつconfLR(i,j)>δ2
//修正は必要とされない
Else
dxLR(i,j)=Avgdxeven(i,j)
dyLR(i,j)=Avgdyeven(i,j)
confLR(i,j)=δ1
End if
End for//行にわたる反復の終了
End for//偶数列にわたる反復の終了
/*------------------------------------------*/
タイルのM×Nセットについて、全てのタイルについて(x,y)トップ左ロケーションが計算される必要がある。基準ポイントとして、(0,0)を(1,1)番目のタイルのトップ左角であると仮定する。(Fx(i,j),Fy(i,j))が(i,j)タイルのためのトップ左角についての(x,y)座標であるとする。Htが1タイル画像についての行の数(高さ)を示し、Wdが1タイル画像についての列の数(幅)を示すとする。
/*------------------------------------------*/
以下は、左から右へのタイルマッチングからの(dx,dy)値が、タイル(x,y)位置を決定するためにどのように使用されるかを示す。
For i=1:M//行インデックス
For j=1:N-1//列インデックス
Fx(i,j+1)=Fx(i,j)+(Wd-dxLR(i,j))
Fy(i,j+1)=Fy(i,j)-(dyLR(i,j))
End for//列インデックス
End for//行インデックス
/*------------------------------------------*/
/*------------------------------------------*/
以下は、ボトムからトップへのタイルマッチングからの(dx,dy)値が、タイル(x,y)位置を決定するためにどのように使用されるかを示す。
For j=1:N//列インデックス
For j=1:M-1//行インデックス
Fx(i+1,j)=Fx(i,j)+(-dxBT(i,j))
Fy(i+1,j)=Fy(i,j)+(Ht-dyBT(i,j))
End for//行インデックス
End for//列インデックス
/*------------------------------------------*/
Fx項とdx項との間のマッピングを考慮して、以下の式が得られる。
AX=D(ここで、Wは既知であり、Dは観測ベクトルであり、Xは決定される)
ここで、Xは(M×N)×1ベクトル(未知変数:全てのタイルのトップ左のx座標を含む)であり;
Dは、(M×(N-1)+N×(M-1))×1ベクトルであり(左右対の場合、dxオーバーラップ、および、トップ・ボトム対の場合、dxシフト);
Aは、(M×(N-1)+N×(M-1))×(M×N)行列である。
X=[Fx(1,1)Fx(1,2)Fx(1,3)…Fx(1,N)Fx(2,1)Fx(2,2)…Fx(2,N)…Fx(M,N)]T(そのため、Xは、各画像タイルについてトップ左角のX座標を示し、タイルは行方向であると考えられる)
そのため、Xi=Fx(ceil(i/N),mod(i/N))//iがNの倍数であるとき、mod(i/N)がNで置換される
表記の使用に関するノート:mがnの倍数である場合、mod(m,n)=n(かつ非ゼロ)
D=「(dxLR(1,1)-Wd)(dxLR(1,2)-Wd)dxLR(1,3)-Wd)…(dxLR(M,N-1)-Wd)dxBT(1,1)dxBT(2,1)dxBT(3,1)…dxBT(M-1,1)dxBT(1,2)dxBT(2,2)dxBT(3,2)…dxBT(M-1,N)」T
そのため、Dにおいて、左右マッチングベースのdx項は、最初に行方向に考えられ、ボトム・トップマッチングベースのdx項は、次に列方向に考えられる。
Di=dxLR(ceil(i/(N-1)),mod(i,N-1))-Wd
//iがN-1の倍数であるとき、mod(i,N-1)がN-1(1<=i<=){M×(N-1)}で置換される
Di=dxBT(mod((i-(M×(N-1))),M-1),ceil((i-(M×(N-1)))/(M-1));
{M×(N-1)+1}<=i<={M×(N-1)+N×(M-1)}の場合
行列Aは、疎行列であり、非ゼロ項のみは次の通りである:
W内の第1のM×(N-1)行は、M{(N-1)×(N-1)}ブロック行列からなり、各ブロック行列は、主対角線上に1を、また、対角線のすぐ右の全ての要素について-1を有する。
/*------------------------------------------*/
For 1<=i<={M×(N-1)}
A(i,i)=1
A(i,i+1)=-1
End for
/*------------------------------------------*/
/*------------------------------------------*/
For {M×(N-1)+1}<=i<={M×(N-1)+N×(M-1)}
考慮中の列(column_being_considered)=ceil((i-(M×(N-1)))/(M-1))
考慮中の行(row_being_considered)=mod((i-(M×(N-1))),(M-1))
A(i,N×{考慮中の行-1}+考慮中の列)=1
A(i,N×{考慮中の行-1}+考慮中の列+N)=-1
End for
/*------------------------------------------*/
今や、線形最小2乗の形態でセットアップされた問題が得られる。ここで、未知数の数は(M×N)であり、式の数は{M×(N-1)+N×(M-1)}である。そのように、未知数より多い式が得られ、Xについて解くため三角形形態のA行列を得るためにQR分解が使用される。
今や、重み付き最小2乗において、重みが各式に関連付けられる。ここで、各式は、dx項(dxLRまたはdxBT)を考える:そのように、各dx項が、対応するNCCベース信頼スコアに関連付けられる。
そのため、最終目標は、J=(D-AX)TW(D-AX)を最小にすることである;
したがって、Xopt=arg minX{(D-AX)TW(D-AX)}
である。
ここで、Wは、(M×(N-1)+N×(M-1))×(M×(N-1)+N×(M-1))の正方行列であり、非ゼロ対角線項のみを有する;
ここで、
W(i,i)=confLR(ceil(i/(N-1)),mod(i,N-1));1<=i<={Mx(N - 1)}
および for {Mx(N-1)+1|}<=i<={Mx(N-1)+Nx(M-1)}
W(i,i)=confBT(mod((i-(Mx(N-1))),M-1),ceil((i-(Mx(N-1)))/(M-1)))
Fxについて解かれると、Fyについて解くために、同様の重み付き最小2乗ベース公式が使用され得る。上記で述べたように、トップ左タイルのトップ左角が原点と見なされる。
したがって、全ての他のx-y座標は、トップ左タイルのトップ左角を基準に考えられる。
/*------------------------------------------*/
原点X=Fx(1,1)
原点Y=Fy(1,1)
For i=1:M//行インデックス
For j=1:N-1//列インデックス
Fx(i,j)=Fx(i,j)-原点X
Fy(i,j)=Fy(i,j)-原点X
End for//For j=1:N-1
End for//For i=1:M
/*------------------------------------------*/
Claims (31)
- 1つまたは複数のプロセッサを備えるコンピューティングデバイスによって、試料担持スライドのタイル画像をスティッチングするコンピュータ実装式方法であって、
(a)前記1つまたは複数のプロセッサが、前記試料担持スライドの各タイル画像についてグレースケールタイル画像を導出すること、
(b)前記1つまたは複数のプロセッサが、隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーションを実施することであって、前記空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関(NCC)スコアを使用して決定される、局所的レジストレーションを実施すること、および、
(c)前記1つまたは複数のプロセッサが、全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施することを含み、前記大域的配置は、全ての隣接するグレースケールタイル画像の間の決定された前記空間的関係と、重みとしての前記NCCスコアとを利用する、重み付き最小2乗によって決定される、
方法。 - 前記1つまたは複数のプロセッサは、隣接するグレースケールタイル画像の各対についての前記空間的関係を、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、前記第1および第2の低解像度サブサンプリング画像は、隣接するグレースケールタイル画像対のオーバーラップ領域から導出される、候補空間的関係を計算すること、(ii)順次解像度が高くなるサブサンプリング画像において前記候補空間的関係を洗練すること、および、(iii)オリジナル解像度の前記隣接するグレースケールタイル画像対の前記オーバーラップ領域において最も高いNCCスコアを有する洗練された前記候補空間的関係を、決定された前記空間的関係として選択すること、によって決定する、請求項1に記載の方法。
- 前記1つまたは複数のプロセッサは、前記第1および第2の低解像度サブサンプリング画像間の前記候補空間的関係を、前記第1および第2の低解像度サブサンプリング画像のNCCドメインにおいてピークのロケーションを決定することによって導出する、請求項2に記載の方法。
- 前記1つまたは複数のプロセッサは、前記候補空間的関係であって、前記候補空間的関係のピークロケーションが予め規定されたNCC閾値を満たす、前記候補空間的関係を保持する、請求項3に記載の方法。
- 前記予め規定されたNCC閾値は、トップNCCスコアの予め規定されたパーセンテージである、請求項4に記載の方法。
- 前記1つまたは複数のプロセッサは、前記候補空間的関係を、前記NCCドメインにおいて各ピークの更新されたロケーションを決定することによって洗練し、各ピークの前記ロケーションの更新を、順次解像度が高くなるサブサンプリング画像の対内で実施し、順次解像度が高くなるサブサンプリング画像の各対は、前記隣接するグレースケールタイル画像対の前記オーバーラップ領域に対応する、請求項3に記載の方法。
- 順次解像度が高くなるサブサンプリング画像の各対は、直近下位の解像度のサブサンプリング画像と比較して、1というダウンサンプリング係数に達するまでの、ダウンサンプリング係数の所定の減少を含む、請求項6に記載の方法。
- 前記ダウンサンプリング係数の変化は、2から4に及ぶ、請求項7に記載の方法。
- 前記第1および第2のサブサンプリング画像は、第1の解像度を提供するために第1のダウンサンプリング係数を有し、ここで、順次解像度が高くなるサブサンプリング画像の第1の対は、前記第1の解像度の2倍の解像度である解像度を有する、請求項6に記載の方法。
- 前記1つまたは複数のプロセッサは、前記NCCスコアを、全てのサブサンプリング画像解像度について、積分画像を使用して計算する、請求項6に記載の方法。
- 前記1つまたは複数のプロセッサは、前記NCCスコアを、少なくとも1つのサブサンプリング画像解像度について、積分画像を使用して計算する、請求項6に記載の方法。
- 前記1つまたは複数のプロセッサは、前記NCCスコアを、予め計算された積分画像を使用して計算する、請求項1に記載の方法。
- 前記1つまたは複数のプロセッサが、前記隣接するグレースケールタイル画像対においてマッチング領域間の標準偏差を計算するステップをさらに含む、請求項2に記載の方法。
- 隣接するグレースケールタイル画像間の前記空間的関係は、タイルオーバーラップおよびタイルシフトである、請求項1に記載の方法。
- 前記1つまたは複数のプロセッサは、タイルシフトおよびタイルオーバーラップの値を、全ての水平タイル画像対および全ての垂直タイル画像対について計算する、請求項14に記載の方法。
- 前記1つまたは複数のプロセッサが、隣接するグレースケールタイル画像対の間の前記タイルオーバーラップおよびタイルシフトの値は信頼性があるか否かを判定することをさらに含む、請求項14に記載の方法。
- 前記タイルオーバーラップおよびタイルシフトの値は信頼性があるか否かを判定することは、前記1つまたは複数のプロセッサが、前記隣接するグレースケールタイル画像対におけるマッチング領域から導出される標準偏差を標準偏差閾値と比較することを含み、前記タイルオーバーラップおよびタイルシフトの値は、前記標準偏差が前記標準偏差閾値より小さい場合、信頼性がない、請求項16に記載の方法。
- 前記タイルオーバーラップおよびタイルシフトの値が、信頼性がないと判定される場合、(i)前記1つまたは複数のプロセッサが、平均オーバーラップおよび平均シフトの値をタイルオーバーラップおよびタイルシフトの値としてそれぞれ割り当てること、または、(ii)前記1つまたは複数のプロセッサが、より低い信頼スコアを、前記信頼性がない隣接するグレースケールタイル画像に割り当てることを含む、請求項17に記載の方法。
- 前記1つまたは複数のプロセッサは、平均オーバーラップ値および平均シフト値を、左右タイル画像について、それぞれ、タイルオーバーラップおよびタイルシフトの値として割り当てる、請求項14に記載の方法。
- 前記1つまたは複数のプロセッサが、より低い信頼スコアを、信頼性がないトップ・ボトムタイル画像に割り当てる、請求項14に記載の方法。
- 各サブサンプリング画像は、隣接するグレースケールタイル画像対の前記対の1つのグレースケール画像から、前記1つまたは複数のプロセッサが導出したクロッピングされた画像である、請求項2に記載の方法。
- 前記1つまたは複数のプロセッサが、計算されたタイル画像配置に基づいて前記タイル画像の全てを共にスティッチングするステップをさらに含む、請求項1に記載の方法。
- 前記空間的関係はタイルオーバーラップおよびタイルシフトを含み、左右タイル画像対について、前記1つまたは複数のプロセッサは、前記左右タイル画像対の左タイルと前記左右タイル画像対の右タイルとの間のx軸に沿うオーバーラップについてタイルオーバーラップを導出し、前記左右タイル画像対の間のy軸に沿うシフトについてタイルシフトを導出する、請求項1に記載の方法。
- 前記タイルシフトが正値を有する場合、前記右タイルは、前記左タイルと整列するように、下方にシフトされるべきである、請求項23に記載の方法。
- 前記空間的関係はタイルオーバーラップおよびタイルシフトを含み、トップ・ボトムタイル画像対について、前記1つまたは複数のプロセッサは、前記トップ・ボトムタイル画像対のトップタイルと前記トップ・ボトムタイル画像対のボトムタイルとの間のy軸に沿うオーバーラップについてタイルオーバーラップを導出し、前記トップ・ボトムタイル画像対の間のx軸に沿うシフトについてタイルシフトを導出する、請求項1に記載の方法。
- 前記タイルシフトが正値を有する場合、前記トップタイルは、前記ボトムタイルと整列するように、右にシフトされるべきである、請求項25に記載の方法。
- 前記1つまたは複数のプロセッサが、関心領域識別を実施することをさらに含む、請求項1に記載の方法。
- 1つまたは複数のプロセッサを備えるコンピューティングデバイスによって、試料担持スライドのタイル画像をスティッチングするコンピュータ実装式方法であって、(a)前記1つまたは複数のプロセッサが、隣接するタイル画像のオーバーラップ領域内でマッチングピクセルを識別するために局所的レジストレーションモジュールを実行することであって、前記局所的レジストレーションは、前記隣接するタイル画像の前記オーバーラップ領域において最良の正規化相互相関(NCC)スコアをもたらす空間的関係として表現され、前記正規化相互相関(NCC)スコアは多重解像度フレームワーク内で計算される、局所的レジストレーションモジュールを実行すること、および、(b)前記1つまたは複数のプロセッサが、全てのタイル画像を互いに対して位置決めするために大域的配置モジュールを実行することを含む、
方法。 - 前記1つまたは複数のプロセッサは、隣接するグレースケールタイル画像の各対についての空間的関係を、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、前記第1および第2の低解像度サブサンプリング画像は、隣接するタイル画像対のオーバーラップ領域から導出される、候補空間的関係を計算すること、(ii)順次解像度が高くなるサブサンプリング画像において前記候補空間的関係を洗練すること、および、(iii)オリジナル解像度の前記隣接するタイル画像対の前記オーバーラップ領域において最も高いNCCスコアを有する洗練された前記候補空間的関係を、決定された前記空間的関係として選択すること、によって決定する、請求項28に記載の方法。
- 1つまたは複数のプロセッサおよび少なくとも1つのメモリを備えるコンピューティングデバイスであって、前記少なくとも1つのメモリは、請求項1~29のいずれか一項に記載の方法をコンピューティングデバイスに実施させるために、前記1つまたは複数のプロセッサが実行するための非一時的コンピュータ可読命令を記憶する、コンピューティングデバイス。
- コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、コンピューティングデバイスの1つまたは複数のプロセッサによって前記コンピュータ実行可能命令が実行されると、請求項1~29のいずれか一項に記載の方法を前記コンピューティングデバイスに実施させる、非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762485818P | 2017-04-14 | 2017-04-14 | |
US62/485,818 | 2017-04-14 | ||
PCT/EP2018/058807 WO2018189039A1 (en) | 2017-04-14 | 2018-04-06 | Local tile-based registration and global placement for stitching |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020517017A JP2020517017A (ja) | 2020-06-11 |
JP7128203B2 true JP7128203B2 (ja) | 2022-08-30 |
Family
ID=62002115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555778A Active JP7128203B2 (ja) | 2017-04-14 | 2018-04-06 | スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11769223B2 (ja) |
EP (1) | EP3610451B1 (ja) |
JP (1) | JP7128203B2 (ja) |
CN (1) | CN110494891B (ja) |
WO (1) | WO2018189039A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110494891B (zh) | 2017-04-14 | 2023-11-28 | 文塔纳医疗***公司 | 用于拼接的基于分块的局部配准以及全局放置 |
EP3884259A1 (en) | 2018-11-20 | 2021-09-29 | Ventana Medical Systems, Inc. | Methods and systems for preparing and analyzing cellular samples for morphological characteristics and biomarker expression |
CN110475123B (zh) * | 2019-08-30 | 2021-08-03 | 杭州图谱光电科技有限公司 | 一种用于显微镜视频流的手动实时拼接方法 |
CN110753217B (zh) * | 2019-10-28 | 2022-03-01 | 黑芝麻智能科技(上海)有限公司 | 色彩平衡方法和装置、车载设备以及存储介质 |
JP7424076B2 (ja) * | 2020-01-29 | 2024-01-30 | 株式会社リコー | 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム |
CN111626933B (zh) * | 2020-05-14 | 2023-10-31 | 湖南国科智瞳科技有限公司 | 一种精准、快速的显微图像拼接方法及*** |
CN111935417B (zh) * | 2020-07-02 | 2021-12-14 | 清华大学 | 基于多尺度相机阵列的分级视频拼接方法及装置 |
CN114071010B (zh) * | 2020-07-30 | 2024-05-24 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN112102307B (zh) * | 2020-09-25 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | 全局区域的热度数据确定方法、装置及存储介质 |
US11941878B2 (en) | 2021-06-25 | 2024-03-26 | Raytheon Company | Automated computer system and method of road network extraction from remote sensing images using vehicle motion detection to seed spectral classification |
US11915435B2 (en) * | 2021-07-16 | 2024-02-27 | Raytheon Company | Resampled image cross-correlation |
CN113724307B (zh) * | 2021-09-02 | 2023-04-28 | 深圳大学 | 基于特征自校准网络的图像配准方法、装置及相关组件 |
CN113706433B (zh) * | 2021-10-28 | 2022-02-08 | 千乘镜像(北京)科技有限公司 | 一种图片合成方法、装置、电子设备及存储介质 |
JP2023159649A (ja) * | 2022-04-20 | 2023-11-01 | 株式会社Screenホールディングス | 画像取得装置および画像取得方法 |
WO2023248141A1 (en) * | 2022-06-22 | 2023-12-28 | Wyss Center For Bio And Neuro Engineering | Image compression and analysis |
WO2024054980A1 (en) * | 2022-09-09 | 2024-03-14 | Genentech, Inc. | Identification of duplication of sample images of tissue slices |
CN116579927B (zh) * | 2023-07-14 | 2023-09-19 | 北京心联光电科技有限公司 | 一种图像拼接方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000348159A (ja) | 1999-06-01 | 2000-12-15 | Ricoh Co Ltd | 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体 |
JP2004184240A (ja) | 2002-12-03 | 2004-07-02 | Topcon Corp | 画像測定装置、画像測定方法、画像処理装置 |
US20140355892A1 (en) | 2013-05-31 | 2014-12-04 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
US20160140746A1 (en) | 2013-07-22 | 2016-05-19 | Olympus Soft Imaging Solutions Gmbh | Method for creating a microscope image and method for operating a microscope |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5595707A (en) | 1990-03-02 | 1997-01-21 | Ventana Medical Systems, Inc. | Automated biological reaction apparatus |
CA2323463A1 (en) * | 1994-11-14 | 1996-05-23 | Sarnoff Corporation | Mosaic based image processing system and method for processing images |
DE69942975D1 (de) | 1998-02-27 | 2011-01-05 | Ventana Med Syst Inc | Automatisierter molekularer pathologieapparat mit unabhängigen objektträgerwärmern |
US20030211630A1 (en) | 1998-02-27 | 2003-11-13 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
US6582962B1 (en) | 1998-02-27 | 2003-06-24 | Ventana Medical Systems, Inc. | Automated molecular pathology apparatus having independent slide heaters |
US6711283B1 (en) | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
US7095905B1 (en) * | 2000-09-08 | 2006-08-22 | Adobe Systems Incorporated | Merging images to form a panoramic image |
US7006707B2 (en) * | 2001-05-03 | 2006-02-28 | Adobe Systems Incorporated | Projecting images onto a surface |
US7861169B2 (en) * | 2001-11-19 | 2010-12-28 | Ricoh Co. Ltd. | Multimedia print driver dialog interfaces |
US20060247863A1 (en) * | 2005-04-28 | 2006-11-02 | Bui Huy A | Optimizing maldi mass spectrometer operation by sample plate image analysis |
CA2507174C (en) * | 2005-05-13 | 2013-07-16 | Semiconductor Insights Inc. | Method of registering and aligning multiple images |
WO2008118886A1 (en) * | 2007-03-23 | 2008-10-02 | Bioimagene, Inc. | Digital microscope slide scanning system and methods |
US8600193B2 (en) * | 2008-07-16 | 2013-12-03 | Varian Medical Systems, Inc. | Image stitching and related method therefor |
BR112012009241A2 (pt) | 2009-10-19 | 2020-09-01 | Ventana Medical Systems,Inc. | ''dispositivio para obter uma imagem focada de um especime,método,meio legível por computador,dispositivo para um estagio de microscópio,dispositivo para cache de lâmina,dispositivopara varredura de lâmina e método para varrer a lâmina'' |
US20110115896A1 (en) * | 2009-11-19 | 2011-05-19 | Drexel University | High-speed and large-scale microscope imaging |
WO2012015732A1 (en) * | 2010-07-26 | 2012-02-02 | Siemens Corporation | Global error minimization in image mosaicking using graph laplacians and its applications in microscopy |
JP5743710B2 (ja) * | 2011-05-19 | 2015-07-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
AU2011205087B2 (en) * | 2011-07-29 | 2014-09-25 | Canon Kabushiki Kaisha | Multi-hypothesis projection-based shift estimation |
JP2013058124A (ja) * | 2011-09-09 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
US8698901B2 (en) * | 2012-04-19 | 2014-04-15 | Hewlett-Packard Development Company, L.P. | Automatic calibration |
CN103679636B (zh) * | 2013-12-23 | 2016-08-31 | 江苏物联网研究发展中心 | 基于点、线双重特征的快速图像拼接方法 |
EP3251088B1 (en) | 2015-01-31 | 2019-07-31 | Ventana Medical Systems, Inc. | Systems and methods for area-of-interest detection using slide thumbnail images |
CN110494891B (zh) | 2017-04-14 | 2023-11-28 | 文塔纳医疗***公司 | 用于拼接的基于分块的局部配准以及全局放置 |
-
2018
- 2018-04-06 CN CN201880024039.3A patent/CN110494891B/zh active Active
- 2018-04-06 WO PCT/EP2018/058807 patent/WO2018189039A1/en active Application Filing
- 2018-04-06 EP EP18718118.5A patent/EP3610451B1/en active Active
- 2018-04-06 JP JP2019555778A patent/JP7128203B2/ja active Active
-
2019
- 2019-10-11 US US16/599,449 patent/US11769223B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000348159A (ja) | 1999-06-01 | 2000-12-15 | Ricoh Co Ltd | 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体 |
JP2004184240A (ja) | 2002-12-03 | 2004-07-02 | Topcon Corp | 画像測定装置、画像測定方法、画像処理装置 |
US20140355892A1 (en) | 2013-05-31 | 2014-12-04 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
US20160140746A1 (en) | 2013-07-22 | 2016-05-19 | Olympus Soft Imaging Solutions Gmbh | Method for creating a microscope image and method for operating a microscope |
Also Published As
Publication number | Publication date |
---|---|
US20200043134A1 (en) | 2020-02-06 |
WO2018189039A1 (en) | 2018-10-18 |
CN110494891A (zh) | 2019-11-22 |
CN110494891B (zh) | 2023-11-28 |
EP3610451B1 (en) | 2021-09-29 |
EP3610451A1 (en) | 2020-02-19 |
JP2020517017A (ja) | 2020-06-11 |
US11769223B2 (en) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7128203B2 (ja) | スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 | |
US11836950B2 (en) | Quality metrics for automatic evaluation of dual ISH images | |
US10755406B2 (en) | Systems and methods for co-expression analysis in immunoscore computation | |
JP7425145B2 (ja) | 包括的なマルチアッセイ組織分析のためのシステムおよび方法 | |
US11657503B2 (en) | Computer scoring based on primary stain and immunohistochemistry images related application data | |
US11164316B2 (en) | Image processing systems and methods for displaying multiple images of a biological specimen | |
US10628658B2 (en) | Classifying nuclei in histology images | |
US11715557B2 (en) | Automatic assay assessment and normalization for image processing | |
US8131476B2 (en) | System and method for co-registering multi-channel images of a tissue micro array | |
US20220148176A1 (en) | Quantitation of Signal in Stain Agrregates | |
Antoranz et al. | COLLAGE: COnsensus aLignment of muLtiplexing imAGEs | |
Arzhaeva et al. | Mosaicing of microscope images in the presence of large areas with insufficient information content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7128203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |