TWI664582B - 細胞檢測方法、裝置與系統 - Google Patents

細胞檢測方法、裝置與系統 Download PDF

Info

Publication number
TWI664582B
TWI664582B TW107142496A TW107142496A TWI664582B TW I664582 B TWI664582 B TW I664582B TW 107142496 A TW107142496 A TW 107142496A TW 107142496 A TW107142496 A TW 107142496A TW I664582 B TWI664582 B TW I664582B
Authority
TW
Taiwan
Prior art keywords
cell
image
hyperspectral
module
cells
Prior art date
Application number
TW107142496A
Other languages
English (en)
Other versions
TW202020728A (zh
Inventor
陳永祥
Yung Hsiang Chen
王偉中
Wei Chung Wang
唐傳義
Chuan Yi Tang
郭景桓
Ching Huan Kuo
Original Assignee
靜宜大學
Providence University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 靜宜大學, Providence University filed Critical 靜宜大學
Priority to TW107142496A priority Critical patent/TWI664582B/zh
Application granted granted Critical
Publication of TWI664582B publication Critical patent/TWI664582B/zh
Priority to CN201911103101.0A priority patent/CN111239044A/zh
Priority to US16/683,339 priority patent/US11049249B2/en
Publication of TW202020728A publication Critical patent/TW202020728A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

提出一種細胞檢測方法、裝置與系統，在裝置中，高光譜模組用以取得影像中跨電磁波光譜的資訊，立體相機模組用以取得三維影像資訊，與高光譜模組組成三目顯微高光譜儀，裝置設有顯微光學模組，可讓高光譜模組與立體相機模組通過一鏡頭以共光路取得細胞與***出的多個細胞的高光譜與三維影像資訊。在所執行的檢測方法中，先取得一時間內的多張連續影像，設定一觀測影像陣列，其中包括多個觀測影像區域，在各觀測影像區域取得不同時間的多個特徵定位點的座標值，以取得連續時間的高光譜與三維影像資訊的變化得出整體性的細胞活動。

Description

細胞檢測方法、裝置與系統
說明書公開一種細胞檢測技術，特別是指取得細胞活動時的高光譜與三維影像資訊的細胞檢測方法、裝置與系統。
胚胎等這類細胞的監測技術在生物科技上是很重要的項目，如何快速、便利又有效量測細胞結構體的形變是生物科技業界致力發展的目標。
習知量測細胞位移的儀器可以分為接觸式與非接觸式兩種類型。其中接觸式的位移量測技術需要在位移方向上先設定一個參考點(不動點)，並同時校準儀器，設定這個參考點，再以儀器上的一個探針設定在另一個量測點，之後從探針位置的改變轉換得出參考點與量測點之間的相對移動。然而，在此接觸式的量測方法中，需要找出適合的參考點成為量測儀器中最富挑戰的問題，加上儀器與量測點需要接觸，也使得這個接觸式量測技術有較多的限制。
而非接觸式的方法多數是用光學原理進行量測，例如，可將光學系統的訊號源設在一個量測點，訊號源可為雷射、發光二極體(LED)、相機或其他。接著再感測訊號源的位置而得出相對位移，然而，非接觸式的量測技術仍需要一個用於比對的基準點，也就是一個不動的點，雖可以不用接觸細胞的量測點，但在量測 上仍有死角(blind spot)的問題。
習知技術已有採用雷射光學感測法量測細胞的移動，但是因為雷射光斑會發散，加上光源可能不穩定，使得量測時產生誤差。
說明書提出的細胞檢測方法、裝置與系統的主要技術目的是通過立體相機取得細胞的立體資訊，可避免平面影像因為細胞***產生堆疊後的影像死角，進而取得更完整的細胞影像資訊，並更準確地判斷細胞狀態，並同時共光路取得細胞的高光譜，可以得出複數光譜通道的影像值，進行更細緻的分割，增加影像辨識準確度。
根據實施例，提出一種細胞檢測方法，在方法中，以一特徵定位點座標系描述細胞***出多個細胞的過程，並以一細胞檢測裝置取得一時間內的多張連續影像，之後，於各觀測影像區域取得第一時間的多個特徵定位點的座標值，以此建立一參考影像，再於各觀測影像區域取得第二時間的該多個特徵定位點的座標值，可在各觀測影像區域中，根據參考影像，取一個時間內多個特徵定位點前後的變化，之後，根據觀測影像陣列中多個觀測影像區域的多個特徵定位點變化建立一形變向量圖，得出第一時間與第二時間內細胞的活動。如此，通過取得連續時間的多個觀測影像區域中高光譜與三維影像資訊的變化得出整體性的細胞活動。
進一步地，於涵蓋細胞與***出多個細胞的影像中取得一感興趣區域，以建立所述的觀測影像陣列影像。
在一實施例中，所述的細胞檢測裝置包括一高光譜模組與一立體相機模組，通過共光路取得涵蓋細胞與***出多個細胞的觀測影像陣列中多個觀測影像區域的高光譜與三維影像資訊。
進一步地，細胞檢測裝置以高光譜模組擷取一連續波長的影 像，繪製出感興趣區域內像素的光譜信息，執行光譜分類、合併以及去混合，區分出各觀測影像區域中細胞影像中不要的信息，以提高影像與數據品質。
說明書提出一種細胞檢測系統，即包括上述細胞檢測裝置與一電腦系統，可利用細胞檢測裝置產生的細胞與***出的細胞的影像高光譜與三維資訊，以電腦系統中的處理器執行所述的細胞檢測方法。
為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制者。
21‧‧‧高光譜模組
23‧‧‧立體相機模組
25‧‧‧顯微光學模組
251‧‧‧鏡頭
27‧‧‧待測物承載單元
30‧‧‧細胞檢測裝置
301‧‧‧立體相機
303‧‧‧光學結構
305‧‧‧待測物承載單元
307‧‧‧高光譜模組
41‧‧‧高光譜模組
43‧‧‧第一位置
43’‧‧‧第二位置
45‧‧‧顯微光學模組
451‧‧‧鏡頭
47‧‧‧待測物承載單元
61‧‧‧觀測影像陣列
601‧‧‧觀測影像區域
62‧‧‧觀測影像陣列
602‧‧‧觀測影像區域
63‧‧‧形變向量圖
70‧‧‧特徵定位點座標系
701‧‧‧第一觀測影像區域
P,Q,P’,Q’‧‧‧特徵定位點
70‧‧‧第二觀測影像區域
703‧‧‧參考點
步驟S501~S515‧‧‧細胞檢測流程
圖1A至1E顯示檢測細胞***的細胞活動資訊的情境示意圖；圖2顯示細胞檢測裝置的實施例示意圖；圖3顯示細胞檢測裝置的另一實施例示意圖；圖4顯示細胞檢測裝置的再一實施例示意圖；圖5顯示細胞檢測方法實施例流程圖；圖6A至圖6E顯示使用數位影像相關法描述特徵定位點隨著時間變化的演算示意圖；圖7顯示使用數位影像相關法描述觀測影像區域變化的實施例示意圖。
說明書公開一種細胞檢測方法、裝置與系統，其中檢測系統以一個光學系統實現，這個光學系統主要包括有一高光譜模組(hyperspectrum module)與一立體相機模組，兩者組成三目顯微高光譜儀，以共光路方式進行細胞檢測，其中高光譜模組主要是 能夠取得影像(如細胞與***出的多個細胞)中跨電磁波光譜的資訊，立體相機模組則是可以取得細胞與***出的多個細胞的三維影像資訊，使得細胞檢測系統可以得到更精確檢測結果。之後，將所取得的影像資訊結合數位影像相關法(digital image correlation method)，能計算細胞在活動(如細胞***(cell division))時的力學分析，可以得出細胞在高光譜與立體資訊分析下的活動資訊。
所述細胞檢測方法、裝置與系統提出一種非接觸式的細胞變化的量測技術，利用上述光學系統取得細胞高光譜與立體資訊，配合軟體影像分析的技術，更準確地量測細胞相對移動，並能通過網路系統進行遠距觀測的目的。
其中採用的高光譜儀產生的高光譜影像(hyperspectral image)為光譜維度上進行了細緻的分割，不僅是傳統灰階或是紅(R)綠(G)藍(B)的區別，而是在光譜維度上也有多個通道，例如可以把400nm至1000nm分為300個通道。通過高光譜儀獲得的數據是一個數據立方體，不但有影像的信息，還可以在光譜維度上進行展開，可以獲得影像上每個點的光譜數據，同時可以獲得任一光譜段的影像信號。高光譜影像在空間成像的同時，以相同的空間解析度紀錄幾十至成百的光譜通道數據，疊合後可構成高光譜影像立方體。這個以高光譜儀建立的影像立方體的每個像素均可擷取到一條連續的光譜曲線，在對高光譜影像進行處理和應用，可以利用影像的空間資訊外，還可利用其光譜資訊提升定量分析能力，大大提高待測物(如細胞)的檢測能力。
其中採用的立體相機可以採用數位攝影技術，能對拍攝到的細胞影像中的量測位置特定標點進行定位，可稱量測標點，並持續記錄不同時間的量測標點的位置，可計算出量測標點的位移，更者，所述細胞檢測系統採用了立體相機，或是其他產生立體資訊的照相技術，能更精準地得出細胞的活動。
當以影像分析技術得出細胞活動的相關信息(如移動、形變)後，可以繼續使用力學分析，若細胞為一種胚胎時，為一種胚胎力學分析。根據所提出的細胞檢測方法實施例，可以利用此細胞檢測系統取得一個連續時間的多次細胞影像與其中量測點的活動信息，可以建制縮時攝影(time lapse)的影像序列，此時，應用數位影像相關法，可進細胞三維生物力學分析，並可應用人工智能(AI)生醫影像辨識技術。
所述細胞檢測方法的主要目的之一是能夠通過影像技術判斷細胞活動，並能篩選出符合特定條件的細胞。舉例來說，若應用在細胞篩選的目的，目的之一是判斷出細胞中的缺陷，得出缺陷的位置、形狀與大小。例如，可先得出胚胎成長5天序列影像，使得在胚胎植入母體前，根據胚胎型態上的觀察標準，篩選出符合需求的胚胎，如活力強、基因表現正常的胚胎，如此，可以提高胚胎著床率與活產率。
實施例可參考圖1A至1E所示揭露書提出的細胞檢測方法、裝置與系統適用在檢測細胞***時提供更精確的細胞活動資訊的情境示意圖。
圖1A示意顯微影像中初始狀態細胞的樣態；接著一段時間後***成兩個細胞，如圖1B所示；兩個細胞接著會***成四個細胞，如圖1C所示，此時，有可能如圖1D顯示細胞之間可能有堆疊的情況發生，圖1E顯示***到八個細胞時，更可能有其他堆疊的情況，如此，如果僅藉由一個平面影像來判斷細胞活動，則可能會有誤判的問題。其中，當細胞***到四個或以上時，系統將可以立體圖表示***後細胞，立體影像可以觀測到垂直位移變化，將可以觀測到傳統無法看到的死角。
從以上細胞***的示意圖可知，若細胞在***時產生了平面影像無法檢測到的特徵時，則比較不容易作出正確的篩選決定，特別是應用在人工生育時胚胎從第一日(Day 1)到第五日(Day 5) 執行胚囊篩選的黃金時間，揭露書公開的細胞檢測系統所提出的解決方案就是通過高光譜與立體資訊而提供更準確的篩選資訊。
相關細胞檢測裝置可參考圖2所示的裝置實施例示意圖。
圖中示意顯示一個細胞檢測裝置的主要元件有高光譜模組21、立體相機模組23與顯微光學模組25，彼此結構上連結以得出三目顯微高光譜儀共光路的影像應用，所述三目即結合了高光譜模組21得出的影像以及立體相機模組23得出形成三維影像資訊的至少兩個影像。
其中高光譜模組21主要是能夠取得跨電磁波光譜的資訊，除了可見光外，還可處理不可見光的部分，如紅外線與紫外線，細胞檢測裝置通過高光譜模組21取得跨電磁波光譜資訊，可通過不同波段的電磁頻譜來檢測細胞，利用得到的光譜特性來識別細胞活動狀態，使得細胞檢測系統可以得到更精確檢測結果。
其中立體相機模組23的實施例之一是採用兩個鏡頭模組(鏡片與感光器)的照相機，兩個鏡頭模組的鏡頭彼此有一個距離差，模擬人眼之間的視差，可在同一時間分別取得一個待測物的兩張影像，兩張影像因為有像差(disparity)而得出待測物的三維影像資訊，包括平面二維影像資訊以及一個垂直影像資訊，如此，若應用在細胞檢測的用途，可以更精確地得到三維細胞活動的資訊。
顯微光學模組25則是細胞檢測裝置中的光學機構，通過結構與鏡片組的設計，讓高光譜模組21與立體相機模組23可以通過鏡頭251共光路取得待測物承載單元27上待測物(如細胞)的高光譜影像與立體資訊，以得到細胞的三目影像資訊。
圖3接著顯示細胞檢測裝置的實施例示意圖，此實施例顯示有一細胞檢測裝置30，其中包括具備雙鏡頭的立體相機301，通過光學結構303(在此並不贅述其中光學機構)以取得在焦距內待測物承載單元305上的待測物的三維影像資訊，配合高光譜模組307通過光學結構303在共光路下取得高光譜，同時得到細胞高光 譜與三維影像資訊。
圖4顯示細胞檢測裝置的再一實施例示意圖，此實施例顯示的細胞檢測裝置包括有高光譜模組41，通過顯微光學模組45與鏡頭451取得待測物承載單元47上待測物的高光譜，此例立體相機模組係以具有一個鏡頭的相機模組實現，先在第一位置43通過顯微光學模組45與鏡頭451先取得待測物的一個視角的影像，再於第二位置43’取得另一個視角的影像，因此可以形成待測物的三維影像資訊。
在取得細胞***立體影像的實施例中，可通過至少兩個視角的細胞影像(單一相機多個拍攝位置，或多相機同時拍攝)，其主要目的是重建細胞三維影像。
上述幾個細胞檢測裝置實施例可配合一個電腦系統執行細胞檢測方法，如通過電腦系統中的處理器執行一個運行細胞檢測方法的軟體程式，包括數位影像相關法(DIC)，主要的工作是取得細胞檢測裝置所得出的待測物的高光譜與三維影像資訊，能夠在其中決定作為檢測細胞活動的特徵定位點，並執行影像分析判斷細胞隨著時間的變化。
應用上述細胞檢測裝置所實施的細胞檢測方法可參考圖5顯示的實施例流程圖。
在描述細胞(如胚胎)成長力學時，成長過程具有一深度層層疊上三維細胞分析過程，所述細胞檢測方法主要是採用細胞力學分析的概念先建立一個時間內連續影像，就如縮時攝影一般的影像序列，可以取得細胞連續的高光譜與三維影像資訊，若要檢測細胞***時的活動，則一開始如步驟S501，先取得一段時間內的細胞***影像，在步驟S503中，通過高光譜與三維影像的處理建立精確的細胞三維的影像資訊。
在一實施例中，如步驟S505，根據演算的需求，或是實際上的影像分布，可將取得的三維影像資訊分割為多個觀測影像區 域，並能針對各個觀測影像區域分別判斷細胞上的特定位置的移動與相對變化，最後形成整體細胞活動的資訊。進一步地，當系統取得細胞的高光譜，更可以得出複數光譜通道的影像值，進行更細緻的分割，增加影像辨識準確度。
在一實施例中，如步驟S507，在各觀測影像區域上決定至少兩個特徵定位點，這些特徵定位點可能是影像上可辨識位置的明暗點、色塊或線條，並可予以編號。步驟如S509，細胞檢測系統通過軟體分析觀測影像區域的影像，取得其中可辨識位置，在第一時間設定一或多個特徵定位點的座標，如步驟S511，以此第一時機的特徵定位點的相關影像資訊建立參考影像，時間繼續進入第二時間。在步驟S513中，細胞檢測系統同樣通過軟體分析觀測影像區域以取得第二時間的一或多個特徵定位點的座標，再如步驟S515，能根據第一時間與第二時間的特徵定位點的座標計算位移，並可以根據多個特徵定位點隨時間的變化得出整體細胞的應變量。
圖6A至圖6E接著顯示使用數位影像相關法描述特徵定位點隨著時間變化的演算示意圖。
圖6A示意以平面圖形表示以一細胞檢測裝置拍攝涵蓋一細胞與***出的多個細胞在一段時間內的連續多張影像，細胞檢測裝置包括高光譜模組與立體相機模組，通過共光路取得涵蓋細胞與***出多個細胞的一觀測影像陣列中多個觀測影像區域的高光譜與三維影像資訊。
根據圖示之實施例，在第一時間拍攝得到細胞影像，其中分割為多乘多(mxn)陣列的觀測影像陣列61，其中涵蓋有多個觀測影像區域，細胞檢測系統根據每個觀測影像區域的影像特徵設定多個(至少兩個)特徵定位點，圖中示意表示一個觀測影像區域601(VIB)，並以圖6B放大顯示。圖6B中示意表示有4個特徵定位點，成為描述這個觀測影像區域601細胞活動的參考座標。
當時間進入第二時間，整個細胞活動變化為圖6C所示的觀測影像陣列62，其中對應第一時間取得的觀測影像區域601，相同的區域成為圖6D顯示的觀測影像區域602(VID)，在這個時間差在二維座標上可得出各特徵定位點位移變化，因此可以顯示出如圖6E顯示的形變向量圖63，當中每個向量都可表示特徵定位點在第一時間到第二時間的位移(距離)與移動方向，圖中有許多帶著箭頭的向量，不是規則地朝向同一個方向，可以藉此描述的細胞活動。實施例若以縮時攝影的概念取得一段時間的多張觀測影像陣列的影像資訊，並取得當中每個觀測影像區域的形變向量圖，即可準確地描述細胞活動以及檢測細胞，例如，若應用在胚胎篩選，可以藉此判斷出胚胎(或適用的細胞類型)中的缺陷，得出缺陷的位置、形狀與大小，進而在特定實施例中成為篩選細胞的依據。
根據實施例，檢測細胞活動的方法中可以採用數位影像相關法，數位影像相關法的主要概念是針對隨時間變化的影像比對變形前與變形後的影像，以獲得感興趣區域(Region of Interest，ROI)的位移與形變等資訊。在執行此數位影像相關法時，將變形前的影像設定為參考影像(reference image)，其中可設定用於量測形變的種子點(seed point)作為影像相關性比對的初始點，之後這個感興趣區域隨著時間產生形變，依據實際變形的情況與所需時間，再取得一或多張連續影像。此時，可以從待測物(細胞，如胚胎)表面特徵(大小、顏色、深度)設定子區域(subset)以及每個子區域間的間隔，通過參考影像比對得出影像的形變。最後，在一實施例，在影像分析的方法中，得出感興趣區域變形前後灰階值中最相似的區域，以計算出位移與應變量(感興趣區域產生的形變強度)。
實施例示意圖如圖7所示，其中描述的為使用數位影像相關法描述觀測影像區域變化的範例。
在檢測細胞過程中，可將一細胞與***出的多個細胞整體影像以圖7所描繪的特徵定位點座標系70描述，其中於涵蓋一個細胞與***出多個細胞的影像中選取感興趣區域，再從各觀測影像區域中取得第一時間的多個(至少兩個)特徵定位點座標值，並同時建立參考影像(reference image)，也就是圖中示意顯示的第一觀測影像區域701，其中設有細胞影像上第一時間的特徵定位點P與Q，根據實施例之一，可以選擇更多的特徵定位點，能更準確地描述細胞活動。
以系統設定的參考點703為基準，接著在第二時間(或是多次拍攝的多張影像)，第一觀測影像區域701描述的細胞產生變化，包括位移與形變，經影像分析得到位移量與形變產生的應變量，若以第一時間的特徵定位點P與Q為觀察活動的參考(相對參考點703)，在第二時間成為第二觀測影像區域702中的P’與Q’，如此，在各觀測影像區域中，根據參考影像，取得各特徵定位點前後的變化，產生如上述實施例所提出的形變向量圖，也就是經過一段時間(第一時間到第二時間)的分析，根據觀測影像陣列中多個觀測影像區域的多個特徵定位點變化建立形變向量圖，可讀出細胞隨著時間的活動。最後，根據一段時間內的多張高光譜與三維影像資訊的分析，通過取得連續時間的多個觀測影像區域中高光譜與三維影像資訊的變化得出整體性的細胞活動。
在以上影像分析的技術中，可同時取得細胞的高光譜影像，通過高光譜影像分析細胞影像的不同光譜特性，如此可建立出高光譜影像分析的模型，例如可利用大量光譜數據建立人工智慧(AI)數據影像資訊庫，如此可在細胞檢測方法中採用立體相機模組與高光譜模組形成的裝置執行影像分析時，藉由擷取一連續波長的影像，繪製出感興趣區域內影像像素的光譜信息，執行光譜分類、合併、去混合等處理，把各種光譜資訊分離、歸類，適合用來區分出各觀測影像區域中細胞影像中不要的信息，使得提 供的高光譜影像技術可以有效且精準地區分細胞影像中不同的光譜特性分析，最後提供細胞影像與定量空間分析的結果，提高影像與數據品質。
綜上所述，根據細胞檢測方法、裝置與系統的實施例，其中細胞檢測裝置主要以高光譜模組與立體相機模組得出細胞隨著時間的高光譜與三維影像資訊，配合數位影像相關法，這類非接觸式的光學檢測技術能夠準確地得出細胞的移動與形變，除了進一步得出三維方向的位移，還可加上立體角度的應變量，如此，藉由取得細胞在***時同時造成平面與垂直位移與應變得到更準確的細胞變化量。
應用上，所述細胞檢測方法與相關設置可得出細胞缺陷的位置、形狀與大小等資訊，以篩選出活力強、基因表現正常的胚胎，以提高著床率、活產率。
惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。

Claims (10)

  1. 一種細胞檢測方法，包括：以一特徵定位點座標系描述一細胞***出多個細胞的過程，並以一細胞檢測裝置取得一時間內的多張連續影像，其中該細胞檢測裝置包括一高光譜模組與一立體相機模組，通過共光路取得涵蓋該細胞與***出多個細胞的一觀測影像陣列中多個觀測影像區域的高光譜與三維影像資訊；於各觀測影像區域取得一第一時間的多個特徵定位點的座標值，以此建立一參考影像；於各觀測影像區域取得一第二時間的該多個特徵定位點的座標值；在各觀測影像區域中，根據該參考影像，取得該第二時間的該多個特徵定位點前後的變化；以及根據該觀測影像陣列中多個觀測影像區域的該多個特徵定位點變化建立一形變向量圖，得出該第一時間與該第二時間內細胞的活動；其中，通過取得連續時間的該多個觀測影像區域中高光譜與三維影像資訊的變化得出整體性的細胞活動。
  2. 如請求項1所述的細胞檢測方法，其中於涵蓋該細胞與***出多個細胞的影像中取得一感興趣區域，以建立該觀測影像陣列影像。
  3. 如請求項2所述的細胞檢測方法，其中該細胞的活動包括該第一時間至該第二時間的該多個特徵定位點的位移與該感興趣區域的形變。
  4. 如請求項1至3中任一項所述的細胞檢測方法，其中該細胞檢測裝置以該高光譜模組擷取一連續波長的影像，繪製出該感興趣區域內像素的光譜信息，執行光譜分類、合併以及去混合，區分出各觀測影像區域中細胞影像中不要的信息，以提高影像與數據品質。
  5. 如請求項4所述的細胞檢測方法，其中，根據該形變向量圖判斷出細胞中的缺陷，得出缺陷的位置、形狀與大小。
  6. 一種應用於如請求項1所述的細胞檢測方法的細胞檢測裝置，該細胞檢測裝置包括：一高光譜模組，用以取得包括一細胞與***出的多個細胞的影像中跨電磁波光譜的資訊；一立體相機模組，用以取得該細胞與***出的該多個細胞的三維影像資訊，其中，該高光譜模組與該立體相機模組組成一三目顯微高光譜儀，以共光路方式進行細胞檢測；以及一顯微光學模組，為該細胞檢測裝置中的光學機構，通過結構與鏡片組的設計，讓該高光譜模組與該立體相機模組通過一鏡頭以共光路取得該細胞與***出的多個細胞的高光譜與三維影像資訊。
  7. 如請求項6所述的細胞檢測裝置，其中該立體相機模組為一採用兩個鏡頭模組的照相機，同時取得具有視差的兩個影像；或具有一個鏡頭的照相機，先在一第一位置通過該顯微光學模組取得一個視角的影像，再於一第二位置取得另一個視角的影像，以形成三維影像資訊。
  8. 一種細胞檢測系統，包括：一高光譜模組，用以取得包括一細胞與***出的多個細胞的影像中跨電磁波光譜的資訊；一立體相機模組，用以取得該細胞與***出的該多個細胞的三維影像資訊，其中，該高光譜模組與該立體相機模組組成一三目顯微高光譜儀，以共光路方式進行細胞檢測；一顯微光學模組，為一光學機構，通過結構與鏡片組的設計，讓該高光譜模組與該立體相機模組通過一鏡頭以共光路取得該細胞與***出的多個細胞的高光譜與三維影像資訊；以及一電腦系統，以一處理器執行一細胞檢測方法，該方法包括：以一特徵定位點座標系描述一細胞***出多個細胞的過程，並以一細胞檢測裝置取得一時間內的多張連續影像，其中該細胞檢測裝置包括一高光譜模組與一立體相機模組，通過共光路取得涵蓋該細胞與***出多個細胞的一觀測影像陣列中多個觀測影像區域的高光譜與三維影像資訊；於各觀測影像區域取得一第一時間的多個特徵定位點的座標值，以此建立一參考影像；於各觀測影像區域取得一第二時間的該多個特徵定位點的座標值；在各觀測影像區域中，根據該參考影像，取得該第二時間的該多個特徵定位點前後的變化；以及根據該觀測影像陣列中多個觀測影像區域的該多個特徵定位點變化建立一形變向量圖，得出該第一時間與該第二時間內細胞的活動；其中，通過取得連續時間的該多個觀測影像區域中高光譜與三維影像資訊的變化得出整體性的細胞活動。
  9. 如請求項8所述的細胞檢測系統，其中於涵蓋該細胞與***出多個細胞的影像中取得一感興趣區域，以建立該觀測影像陣列影像，而該細胞的活動包括該第一時間至該第二時間的該多個特徵定位點的位移與該感興趣區域的形變。
  10. 如請求項8或9所述的細胞檢測系統，其中，通過該高光譜模組以相同的空間解析度紀錄多個光譜通道數據，疊合後可構成一高光譜影像立方體，以提高細胞的檢測能力；以該立體相機模組取得的三維影像資訊，以準確量測細胞相對移動與形變。
TW107142496A 2018-11-28 2018-11-28 細胞檢測方法、裝置與系統 TWI664582B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107142496A TWI664582B (zh) 2018-11-28 2018-11-28 細胞檢測方法、裝置與系統
CN201911103101.0A CN111239044A (zh) 2018-11-28 2019-11-12 细胞检测方法、装置与***
US16/683,339 US11049249B2 (en) 2018-11-28 2019-11-14 Method, apparatus and system for cell detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107142496A TWI664582B (zh) 2018-11-28 2018-11-28 細胞檢測方法、裝置與系統

Publications (2)

Publication Number Publication Date
TWI664582B true TWI664582B (zh) 2019-07-01
TW202020728A TW202020728A (zh) 2020-06-01

Family

ID=68049436

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107142496A TWI664582B (zh) 2018-11-28 2018-11-28 細胞檢測方法、裝置與系統

Country Status (3)

Country Link
US (1) US11049249B2 (zh)
CN (1) CN111239044A (zh)
TW (1) TWI664582B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862743A (zh) * 2019-11-27 2021-05-28 静宜大学 利用高光谱数据分析的人工智能的细胞检测方法及其***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112082957B (zh) * 2020-07-22 2023-03-31 北京理工大学 一种检测单克隆抗体的方法及其应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200940026A (en) * 2008-03-27 2009-10-01 Doheny Eye Inst Optical coherence tomography device, method, and system
TW201832181A (zh) * 2017-02-15 2018-09-01 美商脫其泰有限責任公司 圖像分析系統及相關方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5783900A (en) * 1999-07-02 2001-01-22 Hypermed, Inc. Integrated imaging apparatus
US8548745B2 (en) * 2000-06-08 2013-10-01 The Regents Of The University Of California Visual-servoing optical microscopy
US7756305B2 (en) * 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
EP1616286A1 (en) * 2003-04-02 2006-01-18 Amersham Biosciences UK Limited Method of, and computer software for, classification of cells into subpopulations
CN101903532A (zh) * 2008-03-24 2010-12-01 株式会社尼康 细胞观察的图像解析方法、图像处理程序和图像处理装置
CN101303315B (zh) * 2008-04-08 2011-07-20 上海理工大学 细胞分析的光纤共聚焦显微光谱与成像装置
WO2013109966A1 (en) * 2012-01-20 2013-07-25 The Trustees Of Dartmouth College Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance
US8849006B2 (en) * 2009-03-25 2014-09-30 Quorum Technologies Inc. Darkfield imaging system and methods for automated screening of cells
CN102576027B (zh) * 2009-08-22 2014-10-01 里兰斯坦福初级大学理事会 成像并评估胚胎、***和干细胞
WO2011054040A1 (en) * 2009-11-03 2011-05-12 Commonwealth Scientific And Industrial Research Organisation System and method for integration of spectral and 3-dimensional imaging data
CA2793874C (en) * 2010-03-23 2018-09-04 Steven Verdooner Apparatus and method for imaging an eye
WO2015085216A1 (en) * 2013-12-06 2015-06-11 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Spatial-domain low-coherence quantitative phase microscopy
CN103604737B (zh) * 2013-12-10 2015-11-25 山东大学 一种自动化血细胞识别装置及工作方法
JP2014157158A (ja) * 2014-04-17 2014-08-28 Olympus Corp 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
CN106461558B (zh) * 2014-05-26 2019-03-08 株式会社日立制作所 光学分析装置
CN106226247A (zh) * 2016-07-15 2016-12-14 暨南大学 一种基于高光谱显微成像技术的细胞检测方法
US20180211380A1 (en) * 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
CN107271037B (zh) * 2017-05-23 2019-06-18 天津大学 光谱显微成像方法及***
US11566993B2 (en) * 2018-01-24 2023-01-31 University Of Connecticut Automated cell identification using shearing interferometry
WO2019157078A1 (en) * 2018-02-06 2019-08-15 The Regents Of The University Of Michigan Systems and methods for analysis and remote interpretation of optical histologic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200940026A (en) * 2008-03-27 2009-10-01 Doheny Eye Inst Optical coherence tomography device, method, and system
TW201832181A (zh) * 2017-02-15 2018-09-01 美商脫其泰有限責任公司 圖像分析系統及相關方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862743A (zh) * 2019-11-27 2021-05-28 静宜大学 利用高光谱数据分析的人工智能的细胞检测方法及其***
TWI781408B (zh) * 2019-11-27 2022-10-21 靜宜大學 利用高光譜資料分析技術之人工智慧的細胞檢測方法及其系統

Also Published As

Publication number Publication date
CN111239044A (zh) 2020-06-05
US11049249B2 (en) 2021-06-29
US20200167924A1 (en) 2020-05-28
TW202020728A (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
JP7153418B2 (ja) オーバビューコントラスト画像を生成及び解析する方法
JP6855587B2 (ja) 視点から距離情報を取得するための装置及び方法
TWI774863B (zh) 用於獲得一對準晶粒對晶粒檢測影像之方法，用於半導體晶粒對晶粒檢測影像中之非暫時性電腦可讀儲存媒體，及半導體晶粒對晶粒檢測系統
US9405958B2 (en) Cell analysis method, cell analysis device, and cell analysis program
US20150362698A1 (en) Image Sensor for Depth Estimation
JP6594294B2 (ja) 顕微鏡画像の画像品質評価
TWI636231B (zh) 物體表面或內部光反射介面三維形貌偵測光學系統與方法
CN114241031B (zh) 基于双视角融合的鱼类体尺测量和体重预测的方法及装置
JP2016128816A (ja) プレノプティック・カメラを使った表面属性の推定
TWI664582B (zh) 細胞檢測方法、裝置與系統
KR102580984B1 (ko) 화상 처리 방법, 프로그램 및 기록 매체
JP2018029251A (ja) 検査装置、検査方法、およびプログラム
JP2018029250A (ja) 信号処理装置、信号処理方法、およびプログラム
CN109784200A (zh) 基于双目视觉的奶牛行为图像获取与体况智能监测***
CN109073362A (zh) 指标生成方法、测定方法及指标生成装置
JP2007252707A (ja) 画像解析装置及び画像解析プログラム
CN113446957B (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
JP2015059849A (ja) 色と三次元形状の計測方法及び装置
TWI731414B (zh) 文物數位典藏及修復系統
Marto et al. Structure from plenoptic imaging
Tsuruda et al. 3D body parts tracking of mouse based on RGB-D video from under an open field
CN206019600U (zh) 一种检测非球面透镜透射波面的***
JPH0875418A (ja) 物体の自動認識方法および自動認識装置
RU2693532C1 (ru) Способ повышения точности геометрических измерений, проводимых с помощью стереоскопического устройства на основе призменно-линзовой оптической системы
JP2014142213A (ja) 撮影パラメータ決定装置及びその制御方法