TWI537762B - Application of hyperfamily imaging to identification of cancerous lesions - Google Patents
Application of hyperfamily imaging to identification of cancerous lesions Download PDFInfo
- Publication number
- TWI537762B TWI537762B TW105100829A TW105100829A TWI537762B TW I537762 B TWI537762 B TW I537762B TW 105100829 A TW105100829 A TW 105100829A TW 105100829 A TW105100829 A TW 105100829A TW I537762 B TWI537762 B TW I537762B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- pathological
- images
- cancer
- component score
- Prior art date
Links
Landscapes
- Endoscopes (AREA)
Description
本創作是有關於一種辨識癌病變方法,特別是應用超頻譜影像與主成份分析以辨識癌病變的方法。
隨著超頻譜(Hyperspectral Image Technique)影像技術的成熟,開始將超頻譜影像技術應用於醫療檢測上。例如,初期的口腔癌檢測、腸病毒口腔病變檢測或直腸黏膜檢測等。依照儀器設備的不同有著不同種類的超頻譜影像技術。其中,一種現有的超頻譜影像系統係利用單點頻譜儀搭配二維掃描系統,雖然這種超頻譜影像系統能夠得到最佳的模擬頻譜以及空間解析度,不過卻需要花費較長的時間讀取資料。另一種超頻譜影像系統為利用數位相機搭配液晶可協調濾波片以及顯微鏡,其可應用於骨髓細胞的檢測,雖然這種方法可以將骨髓細胞中的成份分類出來,但因為受到液晶可協調濾波片控制的影響,會限制了頻譜資料讀取的速度。另外,又一種超頻譜影像系統則是使用超頻譜相機進行頻譜以及影像的分析,已應用在美容以及皮膚檢測上,雖然具有非常高的成像解析度但需要處理龐大的數據以及較高的成本。
早期的內視鏡局部檢測與診斷,是降低死亡率的關鍵,然而過去醫療上主要用來檢測食道早期癌的內視鏡技術為白光內視鏡術。白光內視鏡檢測依據早期食道癌黏膜呈三種特徵性變化:(1)黏膜顏色改變,有紅色與白色兩種形式。紅色變化為呈現邊界清楚的紅色區域,黏膜稍粗糙混濁,而少數則呈邊界不清的大片紅色區域;白色變化即黏膜白斑,呈分散、邊界清楚、大小不等、較粗糙、無光澤、稍***狀;(2)黏膜增厚與血管結構產生變化:正常食道黏膜上皮呈半透明狀,黏膜下血管網絡清晰可見,黏膜上皮癌變時,血管網絡則不能透見;(3)黏膜型態學變化,包括糜爛、斑塊、粗糙以及結節等,多呈混合性變化,上述三種變化均會使食道黏膜失去正常的結構和光澤,然而常規白光內視鏡檢測時,無法清楚地觀察到食道黏膜的細微構造,須透過活檢及染色技術的方式診斷。染色內視鏡術的檢測方式是指透過口服、注射、直接噴灑染劑,使病灶與正常黏膜顏色對比更加明顯,從而助於癌變的辨識及目標性活檢,提高早期食道癌檢測的診斷,而染色內視鏡術有以下幾種形式,如碘染色法,由於正常食道黏膜屬於鱗狀上皮細胞(Squamous Cell Epithelium),細胞中含有許多肝糖(Glycogen),因肝糖對碘溶液有強親和力而會被染成褐色;相反地,一旦黏膜出現病變時,富含肝糖的細胞會減少或消失,因此不容易被碘溶液染上顏色,所以依據此原理,在進行內視鏡檢查時,可以在食道表面噴灑碘溶液,若發現碘無法染色的區域,即高度懷疑是早期食道癌的可能,是最為普遍的染色鏡內鏡術。甲苯胺藍染色法,其為一種嗜酸性的染液,對癌細胞及細胞癌變前的DNA與RNA有親和力,故可用於檢測癌變病變與癌變。亞甲藍染色法,為一種吸收性染劑,正常食道鱗狀上皮細胞不吸收亞甲藍而不染色,但可被腸化細胞與柱狀細胞吸收而染成藍色,因此常用於食道腺癌的檢測,但在醫學文獻上表明亞甲藍可能造成DNA損傷,且耗時又仰賴操作者的經驗。醋酸染色法,其可使細胞內的細胞質蛋白產生可逆性變化,常用濃度為1.5~3%,噴灑2-3分鐘後食道鱗狀上皮黏膜仍維持白色,而柱狀上皮則轉為紅色,藉以識別殘存的柱狀細胞。由於染劑濃度分配不一、噴灑方法不當即染劑本身的限制等因素,可使病變處產生染色深淺、定位不準確或病灶遺漏等結果,經上述可得知單一染色法有一定的限制性,故可藉由雙重染色法來改善。
然而除了上述化學方式的染色內視鏡術,還有藉由光學變化的電子染色成像技術,如窄頻成像(Narrow Band Imaging,NBI)、智能電子分子分光比色內視鏡系統(Fujinon Intelligent Chromoendoscopy,FICE),兩種方法都是以一定波長光譜的選擇為基礎,但NBI是利用濾波器縮窄光譜的頻寬,而FICE則是將傳統白光影像分解成許多單一波長的分光影像,然後從中擷取合適波長的影像並加以合成。
有鑑於內視鏡術檢測的困難,另外有醫學文獻提出兩個靈敏且方便的臨床方法來辨別良性或惡性的病灶,即多光子顯微技術(Multiphoton Microscopy,MPM),以及隨著生物科學的進步,利用奈米粒子聚合物的表面增強拉曼光譜(Surface-enhanced Raman Scattering,SERS)也應用於癌細胞的檢測上。透過多光子顯微(MPM)技術中的雙光子激發螢光法(Two-Photon Excited Fluorescence,TPEF)及二倍頻(Second Harmonic Generation,SHG)之訊號,可以從背景訊號與自體螢光的差異性,得以辨識食道癌變病灶。如圖8所示,可以從SHG與TPEF的訊號強度比得知,癌化組織明顯低於正常組織,這清楚地表明膠原蛋白的含量、分佈,以及形態結構,會因為癌細胞占據黏膜下組織產生變化,因此該訊號強度比可作為一定量指標來區分正常、癌前病變與食道癌組織。另一方面,拉曼光譜可提供分子組成與生物組織結構的特定指紋形式之資訊,在診斷與評估癌症方面是可行的光學技術。然而一般的拉曼光譜技術主要有兩個缺失,即背景螢光干擾太強,以及拉曼散射的效率太低,造成實際臨床應用的困難,因此表面增強拉曼光譜(SERS)可以解決這些問題,微弱的拉曼訊號可增強至10的14次方倍,且背景的螢光訊號也會因奈米粒金屬表面上的分子吸收而大幅降低,如圖9所示,在未將奈米銀粒子滴入待測食道癌組織樣本時,其拉曼訊號相當薄弱,如圖9的拉曼光譜波形,而滴入平均直徑約25nm的奈米銀粒子於食道癌組織後兩分鐘,經量測後其拉曼訊號強度便大幅提升,如圖9的表面增強拉曼光譜波形。最後再透過圖10所示的結果,比較正常組織波形與癌變組織波形的表面增強拉曼光譜訊號,可以看出其頻譜差異性的波形。
然而,早期病灶在白光下檢視並不明顯,容易被忽略進而延誤治療。隨著近年來內視鏡技術的進展,利用內視鏡結合一些化學及光學的原理,能將微小的食道癌變病灶突顯出來,提高早期癌症的診斷率,如碘染色內視鏡術與窄頻成像內視鏡術(Narrow-band Imaging,NBI)。然而碘染色內視鏡術過程中會噴灑染劑來達到顯影的效果,因染劑分布不均勻而導致判別上的困難,另外染劑也可能令病患的胸口產生刺痛或灼熱等不適感。NBI則對影像分析存在著一定的主觀性,且受一些因素影響,例如若有出血或發炎性病灶出現時,便會導致視野較模糊、影像解析度較差,另外病患若有重大器官功能障礙,例如心臟、肺臟疾病、病情不穩定者,也須詳細評估其器官功能狀況,權衡是否適合接受檢查。目前在食道癌的檢測方面,係由NBI技術為目前主流,因不需噴灑染劑便能達到光學染色的效果且操作上相當容易,只需按一個按鍵便可任意從白光切換至NBI模式藉以反覆觀察,然而檢測的依據主要是觀察表層血管如上皮內乳頭狀微血管環(Intra-epithelial Papillary Capillary Loop,IPCL)的變化,但卻非常仰賴臨床醫師主觀的判斷。
關於前述NBI的工作原理,是利用氙燈(Xenon)通過一個特殊的濾光器,過濾出兩種窄頻的藍光及綠光(415 nm and 540 nm),然而因食道癌發展初期,常伴隨著黏膜表層血管增生,且可見光波長穿透深度根據波長越長其穿透深度越深,因此捨棄紅光的成分而只考慮藍、綠光,接著感光耦合元件(Charge-coupled Device,CCD)會接收到窄頻的藍光與綠光入射至黏膜的反射光,將其轉換成數位訊號並根據人類色視覺敏感度以色彩重新分配的方式將數位訊號分配至R、G、B三個頻道,即藍光(415 nm)分配至B及G頻道;綠光(540 nm)則分配至R頻道,最後經由色彩轉換處理讓原本只具有藍、綠色成分的內視鏡影像能在螢幕上呈現彩色的影像,如附件6所示,可以看到表層的血管會呈現棕色,而較深層的血管則呈現綠色,這樣的方式能將黏膜表層的細微血管呈現的更加銳利,且對比更加強烈,若再搭配放大內視鏡的使用便可將病灶放大80倍以上,使臨床醫師更能夠清楚地觀察病灶表面的紋路、微血管排列與粗細之變化,因此只要藉由觀察這些棕色病變區域的差異,便可有效地提高早期食道癌的診斷率。
主成份分析法(Principle Component Ananaysis)為多變量統計常用的方法,自從1960年後為人們應用在色彩科技上重要的一環,主成份分析的概念是在一個多變數的資料集合中,找出比原始變數少,而且可以保留其資料變化的子空間,將原始資料投影到此子空間分析。其主成份分析主要目的可分為兩個:第一個是定義出大量頻譜資訊的主軸方向,第二個是將資訊的數據精簡化,主要是將原始資料重組後,計算出相關性高且互相獨立之變數,再藉由分析得到主要成份,最後便可得到解釋原始資料中大部分數據的變異性。圖11中的例子來解釋主成份分析的幾何涵意,在圖11中有兩群分佈不均勻的資料點,從X1與Y1座標系看來,要單從X1或Y1座標來分出這兩群資料不太容易。因為資料從這兩個方向來看都無明顯分界區域。經過主成份分析運算後,可以得一個主軸方向如圖上的X2。因此將資料投影到X2後,所有資料都有一個新的座標值X2,顯然資料在X2上已有明顯分別,這就是主成份分析的特性。
因此若能利用超頻譜影像技術與主成份分析原理提供一種新的光學檢測方式,針對NBI內視鏡影像中食道癌變病灶的IPCL型態變化,以及白光與碘染色內視鏡影像中食道正常、癌前病變、癌變病灶的頻譜特徵,比較其主成份得分圖結果並藉由其頻譜特徵的趨勢,可協助臨床醫師快速地辨識食道早期癌變病灶。
本創作之目的在提供一種應用超頻譜影像辨識癌病變方法,以快速評估出病患在各個癌症分期的可能性。
根據上述之目的,本創作提供一種應用超頻譜影像辨識癌病變方法,包含下列步驟: 從一內視鏡獲得複數個第一病理影像,該複數個第一病理影像為複數個癌病變影像; 將該些第一病理影像匯入一影像處理模組以取得該些第一病理影像的複數個第一模擬頻譜,並根據該些第一模擬頻譜畫出一主成份得分圖; 根據該些第一模擬頻譜,在該主成份得分圖中定義複數個三角形範圍; 判斷一第二病理影像的一第二模擬頻譜的一主成份得分是否落入其中一個該些三角形範圍內; 當該第二模擬頻譜的該主成份得分落入其中一個該些三角形範圍內,確認該第二病理影像屬於某一該些癌病變影像。
透過本創作之應用超頻譜影像辨識癌病變方法,可以將癌病變影像數據化,利用主成份分析,有效並快速地提升醫生診斷效率,幫助病患進行早期治療。
圖1為本創作應用超頻譜影像辨識癌病變方法之實施例的流程圖。如圖1所示,在步驟S101中,從一內視鏡獲得複數個第一病理影像,該些第一病理影像為癌病變病理影像。超頻譜影像系統建構在內視鏡主機與高解析度的光譜儀,超頻譜影像系統可擷取24色塊(X-Rite,Mini Color Checkers)影像資訊。為了判斷癌變,要得到每張第一病理影像中每個畫素的頻譜,需要先找到光譜儀與內視鏡之間的關係矩陣。24色塊的頻譜需要在內視鏡的環境下透過光譜儀進行量測,其頻譜的範圍設在可見光的波段(380nm~780nm)。為了方便分析,將這些頻譜整理成一個401*24的矩陣,矩陣的每一列為波長所對應的強度值,每一行則代表色塊的數目。
這些24色塊同時在內視鏡的環境下拍攝,這些24色塊輸出的格式為sRGB(JPEG 影像的資料)。藉由電腦的計算,可以得到每個色塊中的紅(Red,R)、綠(Green,G)、藍(Blue,B)值(0~255),並轉換到尺度更小的範圍(0~1)的R
srgb 、G
srgb 與B
srgb 。藉由以下的公式,這些RGB值將被轉換成國際照明協會(International Commission on Illumination,CIE)規範下的三刺激值X、Y、Z,如下所示:
<TABLE border="1" borderColor="#000000" width="_0001"><TBODY><tr><td width="183" height="5"></td></tr><tr><td></td><td><img wi="135" he="77" file="02_image001.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(1)
其中 (2)
<TABLE border="1" borderColor="#000000" width="_0003"><TBODY><tr><td width="161" height="10"></td></tr><tr><td></td><td><img wi="231" he="77" file="02_image005.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(3)
由於s(標準,standard)RGB空間中的標準白為D65光源下的參考白光,D65光源為標準光源中最常用的人工日光,其與光譜儀在內視鏡光源下所量到的頻譜是不同的參考白光,所以這些RGB值需要藉由色適應轉作修正。為了能夠準確地估計色塊的頻譜值,內視鏡校正是必須的。同樣的,光譜儀所量測的頻譜也會藉由以下的方程式(4)到方程式(7)被轉換成CIE規範下的三刺激值X、Y、Z,其中S(λ)為內視鏡的光源頻譜,R(λ)為每個色塊的頻譜值,而
、
以及
為配色函數。
<TABLE border="1" borderColor="#000000" width="_0005"><TBODY><tr><td width="205" height="16"></td></tr><tr><td></td><td><img wi="183" he="58" file="02_image013.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(4)
<TABLE border="1" borderColor="#000000" width="_0006"><TBODY><tr><td width="205" height="19"></td></tr><tr><td></td><td><img wi="182" he="58" file="02_image015.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(5)
<TABLE border="1" borderColor="#000000" width="_0007"><TBODY><tr><td width="204" height="14"></td></tr><tr><td></td><td><img wi="183" he="58" file="02_image017.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(6)
其中 (7)
透過方程式(4)到(7)的計算將24色塊頻譜轉成XYZ值,經過色適應轉換後可以得到新的XYZ值,將XYZ值轉換成RGB值,並將此RGB值設為矩陣[A],透過RGB的三階多項式回歸,便能找到光譜儀與內視鏡之間的轉換關係。以下為三階多項式回歸的矩陣。
<TABLE border="1" borderColor="#000000" width="_0009"><TBODY><tr><td width="204" height="17"></td></tr><tr><td></td><td><img wi="170" he="29" file="02_image021.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(8)
其中
(9)
其中“R”,“G”,“B” 為內視鏡拍攝每個色塊所相對應的RGB值。色塊的RGB校正後會被轉成CIE標準的三刺激值XYZ,設它為[β]。最後,內視鏡與光譜儀的轉換矩陣[M]可由下式得到:
<TABLE border="1" borderColor="#000000" width="_0011"><TBODY><tr><td width="216" height="12"></td></tr><tr><td></td><td><img wi="158" he="27" file="02_image025.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(10)
對於內視鏡所拍攝的第一病理影像中的每個畫素,可以藉由RGB的相乘得到線性回歸矩陣[C]以及透過方程式(1)到(3)的計算得到相對應的XYZ值。每個色塊的模擬頻譜(Spectra)(波段由380nm到780nm)可藉由以下式子得到:
<TABLE border="1" borderColor="#000000" width="_0012"><TBODY><tr><td width="217" height="16"></td></tr><tr><td></td><td><img wi="240" he="86" file="02_image027.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(11)
在此步驟下,光譜儀所量測出物體的反射或是穿透頻譜,可以帶入式子(11)中的左邊項而計算出顏色,一張影像中的每個畫素都可透過此計算而完成色彩影像之再現,此一色彩影像為模擬光譜儀的量測而計算所得。
因此可以得到24色塊的內視鏡模擬頻譜與實際量測頻譜的比較(請參閱附件1)。另外,為了證實色彩再現的可行性,以色差公式評估實際內視鏡所拍攝24色塊的顏色所模擬出24色塊的顏色進行色差計算。色差的計算流程如以下所示:
首先,將兩儀器所量到的三刺激值XYZ轉成CIE1976規範之空間中的色度座標值 (L*,a*,b*),其中:
<TABLE border="1" borderColor="#000000" width="_0013"><TBODY><tr><td width="228" height="5"></td></tr><tr><td></td><td><img wi="135" he="48" file="02_image029.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(12)
(13)
<TABLE border="1" borderColor="#000000" width="_0014"><TBODY><tr><td width="228" height="22"></td></tr><tr><td></td><td><img wi="201" he="59" file="02_image033.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(14)
<TABLE border="1" borderColor="#000000" width="_0015"><TBODY><tr><td width="228" height="15"></td></tr><tr><td></td><td><img wi="269" he="67" file="02_image035.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(15)
接著,計算CIE1976規範之色度座標中兩點的歐基里德距離即為兩點的色差:
<TABLE border="1" borderColor="#000000" width="_0016"><TBODY><tr><td width="227" height="15"></td></tr><tr><td></td><td><img wi="267" he="36" file="02_image037.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(16)
運用以上公式計算24色塊的各個色差值,平均色差約為3.14(請參閱附件2),以一般標準來說,當色差值小於4時,人眼就很難判斷出差異。這樣的結果顯示上述的演算法能夠準確的實現色彩再現,因此能夠應用於任意影像的顏色表現。
在步驟S102中,將第一病理影像匯入一影像處理模組以取得該些第一病理影像的複數個第一模擬頻譜。影像處理模組可以是由安裝超頻譜影像處理功能的軟體的電腦所組成,而超頻譜影像處理功能的軟體可以藉由程式設計軟體(例如微軟Visual Basic等)撰寫而成。
根據組織病理學將白光、碘染色影像分成正常(Normal)、化生不良(Dysplasia)、介於化生不良與食道癌化(Dysplasia-ECA)之間、食道癌(ECA)四種型態,其中,發生不正常變化而成為腫瘤細胞時稱為化生不良。NBI放大影像則分為表皮內血管(Intraepithelial papillary capillary loop,IPCL)第4型,IPCL-IV,嚴重化生不良(Severe Dysplasia)、IPCL第5-1型,IPCL-V1嚴重化生不良、IPCL第5-1型,IPCL-V1食道鱗狀細胞癌(Squamous Cell Carcinoma,SCC)、IPCL第5-3型,食道鱗狀細胞癌(IPCL-V3 SCC)四種。
圖2為本創作之影像處理模組處理影像的步驟流程圖。如圖2所示,為了自動圈選IPCL並記錄第一病理影像的畫素座標,首先在步驟S201中,透過一影像灰階轉換模組將內視鏡所獲得之第一病理影像轉成灰階,影像灰階可以藉由具有影像處理功能的電腦來達成。接著在步驟S202中,利用一影像增強模組將將第一病理影像的影像對比增強,影像的對比增強同樣可以是具有影像處理功能的電腦所達成。然後在步驟S203中,在增強第一病理影像的對比後,再透過影像二值化模組將第一病理影像二值化,影像二值化模組可以透過在電腦中藉由程式設計軟體計算影像二值化。在步驟S204中,記錄二值化後之第一病理影像的畫素座標。然後在步驟S205中,透過細線化處理,便能根據二值化後之第一病理影像外圍的細線而將第一病理影像圈選出來,在步驟S206中,將已記錄的畫素座標匯出至一記事本。再利用具有超頻譜影像技術軟體的電腦讀取NBI內視鏡的病理影像,並同時讀取記事本中的畫素座標。
透過上述之步驟,藉由超頻譜影像技術轉換第一病理影像,並取得該第一病理影像的模擬頻譜。上述之影像處理步驟如灰階處理、影像對比增強、影像細線化處理與影像讀取等可以透過本創作的一影像處理模組來達成,影像處理模組為透過電腦行影像處理應用程式來進行影像處理的工作,而這些影像處理為本領域具有通常知識者所熟知,在此不再詳述。
透過超頻譜影像技術可得白光、碘染色、NBI內視鏡影像中病灶之平均反射頻譜,然而白光與碘染色內視鏡影像皆是取樣20X20共400個畫素;NBI內視鏡的複數個第一病理影像則是直接透過自動圈選IPCL型態,因此取樣的畫素較大量,但實驗過程中統一取一千個座標點,即會有一千組反射頻譜。
由圖3可知其反射頻譜差異是依照病變之程度(正常、癌前病變、癌)而具有頻譜反射率逐漸下降的趨勢,一般而言正常食道黏膜會比胃黏膜的顏色更白,當產生癌前病變與癌的病灶時,食道黏膜表面可能會因為凹陷或***的病灶產生而造成平整度不均,且黏膜上的病灶處相較於周圍黏膜更為暗紅,導致病灶越嚴重而頻譜反射率越低。此外,藍光與綠光的波段所對應的頻譜反射率明顯低於紅光波段處,且發現波長為530 nm處的頻譜反射率有下降的情形,係因食道癌產生伴隨黏膜組織內血管增生(angiogenesis),以供應癌細胞增額的營養與氧氣,而增多的血紅蛋白(heloglobin)對於藍光與綠光的吸收率較強所致,另外在波長約410 nm與520 nm處各有一波峰,該結果還需要研究更多的相關文獻才能確定其成因。相反地,碘染色內視鏡影像之反射頻譜差異如圖4所示,頻譜差異則是照正常、癌前病變、癌而具有頻譜反射率逐漸上升的趨勢,係因正常食道黏膜屬於鱗狀上皮細胞,碘溶液會與細胞內的肝糖反應而將黏膜染成褐色,在癌細胞占據上皮後造成肝糖減少或消失,碘溶液便無法將病灶處染色,因此黏膜上未被染色的區域為癌變病灶的可能性極高,且該區域依病灶嚴重程度而較周圍黏膜顏色漸白。NBI內視鏡影像之反射頻譜趨勢則如圖5所示,其差異為IPCL會根據病灶癌變程度而呈現更擴張、扭曲、不規整的型態而造成頻譜反射率大致呈現逐漸下降的趨勢。上述三種內視鏡影像的平均反射頻譜並不因內視鏡光源本身的影響而改變,內視鏡光源頻譜則如圖6所示。
透過主成份分析可得白光、碘染色、NBI內視鏡影像之頻譜特徵,再將其第一主成份與第二主成份透過Original軟體畫出如附件3、附件4與附件5所示之主成份得分圖。附件3為白光內視鏡影像其頻譜特徵的結果,可以發現癌(ECA)的落點約位於第一主成份(First Principle Component,FPC)-1.90~0.25之間,第二主成份(Second Principle Component,SPC)-0.35~0.35之間;化生不良-癌(Dysplasia-ECA)其範圍約為-0.90<FPC<0.05,-0.30<SPC<0.30;化生不良(Dysplasia)其範圍約為-0.75<FPC<1.00,-0.20<SPC<0.35;正常(Normal)則約為0.30<FPC<3.25,-0.75<SPC<1.25,然而化生不良、化生不良-癌、癌這三者之間有重疊處而將其視為模糊地帶,且正常食道黏膜其內視鏡影像的頻譜特徵有發散的趨勢,但大致上仍可看出正常食道黏膜至癌化的差異性,其具有由右至左的趨勢。碘染色內視鏡影像的頻譜特徵則如附件4所示,正常(Normal)其範圍約落在-1.90<FPC<-0.90,-0.19<SPC<0.10;化生不良(Dysplasia)其範圍約落在-0.80<FPC<0.50,-0.16<SPC<0.28;化生不良-癌(Dysplasia-ECA)其範圍約落在-0.40<FPC<1.70,-0.42<SPC<0.56;癌(ECA)其範圍則約落在0.00<FPC<2.20,-0.74<SPC<0.18,然而同樣地,在化生不良、化生不良-癌、癌這三者之間也具有模糊地帶,且食道黏膜化生不良-癌以及癌化的內視鏡影像皆有發散的趨勢,但大致上仍可看出其頻譜特徵差異性,相反地,其趨勢依正常食道黏膜至癌化則為由左至右。NBI內視鏡影像的頻譜特徵則如附件5所示,IPCL-V3 SCC約落在-1.70<FPC<-0.90,-0.15<SPC<0.02的範圍內;IPCL-V1 SCC其範圍約為-1.40<FPC<-0.30,-0.02<SPC<0.40;IPCL-V1嚴重化生不良(Severe Dysplasia)其範圍約為-0.75<FPC<1.25,-0.68<SPC<-0.01;IPCL-IV嚴重化生不良(Severe Dysplasia)其範圍則約為-0.60<FPC<1.60,0.05<SPC<0.31,可以發現這四種頻譜特徵所形成的模糊地帶範圍較小,且IPCL型態的頻譜特徵隨食道癌化程度越大有越收斂的情形。
繼續參閱圖1,應用超頻譜影像辨識癌病變方法即可將經過影像處理後的畫素座標配合主成份分析,評估出病患在各個癌症分期的可能性。在本創作的應用超頻譜影像辨識癌病變方法的步驟S103中,在該主成份分析圖中定義複數個三角形範圍。並在步驟S104中,判斷一第二病理影像的一第二模擬頻譜的一主成份得分是否落入其中一個該些三角形範圍內。
主成份是從容易觀望資料角度來觀察,所以也可以使各個數據的特徵更為清楚可見。而從主成份所看的各個樣本值可稱為主成份分數(Principle Component Score)。主成份分數的公式如下所示:
(17)
其中x
1i、x
2i、...、x
ni為第一個、第二個到第n個波長下對應的頻譜強度值;而x
1i、x
2i、...、x
ni為第一個、第二個到第n個波長下的平均頻譜強度值。這些係數a
j1、a
j2、...、a
jn為頻譜取共變異矩陣後的特徵向量的係數。根據主成份分析法的理論基礎,第一主成份(y
1)佔了原資料中最多的資訊,可視為綜合性的指標,第二主成份(y
2)佔原資料部分的資訊,可用來將各群組做分類。因此可利用前面章節所述的影像處理而得到的模擬頻譜,應用主成份分析模組畫出主成份得分圖,便能從中觀察病理影像的頻譜特徵之趨勢。
要評估出病患在各個癌症分期的可能性,可藉由判斷病患內視鏡影像(第二病理影像)的模擬頻譜(第二模擬頻譜)的主成份得分是否落在所定義的三角形範圍內,可以透過三角形面積的判別方式進行辨別。如圖7所示,利用超頻譜影像系統分析模擬所得到的內視鏡的影像頻譜,將其應用到主成份得分圖中,將所得到的平均模擬頻譜做分類,然後找出前述之三角形範圍的主成份分析所畫出的主成份得分圖中具有最大三角型面積為所定義的三角形範圍,舉例來說,先選取x軸最左側的點為基準點,然後任選兩點,利用電腦算出這三點的三角形面積,然後再任選兩點算出另外一個三角形面積,比較兩個三角形面積的大小,透過上述三角形面積的比較方法與電腦運算可以很快找到在主成份分析圖中具有最大面積的三角形範圍與其三點座標。當知道三角形三點的座標,就可以寫出向量AB與向量AC的座標表示。如:令三角形的三點座標為A(a1, a2)、B(b1, b2)、C(c1, c2),則向量AB=(b1-a1, b2-a2),向量AC=(c1-a1, c2-a2),而△ABC之面積可表示為:
<TABLE border="1" borderColor="#000000" width="_0018"><TBODY><tr><td width="141" height="14"></td></tr><tr><td></td><td><img wi="216" he="55" file="02_image047.jpg" img-format="jpg"></img></td></tr></TBODY></TABLE>(18)
依照上述表示△ABC面積,若任給X點且其座標為X(s,t),則可以再表示出△XAB,△XBC,△XAC三塊面積。可知道X點落在△ABC外部時,將會滿足下列條件:
△XAB+△XBC+△XAC>△ABC (19)
如果落在△ABC內部或者邊界上時,將會滿足下列條件:
△XAB+△XBC+△XAC=△ABC (20)
以三角形面積的判別方法,可以得知病患內視鏡影像模擬頻譜的主成份得分是否落在上述所定義的三角形範圍內,和落在IPCL-IV嚴重化生不良(Severe Dysplasia)、IPCL-V1嚴重化生不良(Severe Dysplasia)、IPCL-V1 SCC,以及IPCL-V3 SCC 哪一個分期的三角形範圍內。
最後在步驟S105中,當該第二模擬頻譜的該主成份得分落入其中一個該些三角形範圍內,確認該第二病理影像屬於一癌病變影像。四種不同癌化程度的辨別方式如下所示:
將主成份得分設為一待測點,若此待測點落於該三角形的範圍內,則可判定該病理影像為此癌症病理期。舉例來說,食道癌第1~4期:
1. IPCL-V3 SCC食道鱗狀細胞癌:設U點為待測點,若滿足下列條件,△UAB+△UBC+△UAC=△ABC,則病患為此食道癌分期。
2. IPCL-V1 SCC食道鱗狀細胞癌:設U點為待測點,若滿足下列條件,△UDE+△UEF+△UDF=△DEF,則病患為此癌症分期。
3. IPCL-V1嚴重化生不良IPCL第5-1型,嚴重化生不良(IPCL-V1 Severe Dysplasia),設U點為待測點,若滿足下列條件,△UGH+△UHI+△UGI=△GHI,則病患為此癌症分期。
4. IPCL-IV Severe Dysplasia,嚴重化生不良,設U點為待測點,若滿足下列條件:△UJK+△UKL+△UJL=△JKL,則病患為此癌症分期。
5. 若U點皆不滿足以上條件,則無法辨識。
透過上述之應用超頻譜影像辨識癌病變方法的,可以將癌病變影像數據化,利用主成份分析,可以快速評估出病患在各個癌症分期的可能性,有效並快速地提升醫生診斷效率,幫助病患進行早期治療。
無
圖1為本創作應用超頻譜影像辨識癌病變方法之實施例的流程圖。 圖2為本創作之影像處理模組處理影像的步驟流程圖。 圖3、圖4與圖5為反射頻譜平均結果的波形示意圖。 圖6為內視鏡光源頻譜圖。 圖7為主成份分析定義三角形範圍圖。 圖8為正常與癌變之SHG與TPEF的訊號強度比的比較示意圖。 圖9為食道組織滴入銀奈米粒子與未滴入之拉曼訊號強度比較圖。 圖10為正常食道組織與癌變之拉曼平均頻譜比較圖。 圖11為主成份分析主軸示意圖。
Claims (8)
- 一種應用超頻譜影像辨識癌病變方法,包含步驟: 從一內視鏡獲得複數個第一病理影像,該複數個第一病理影像為複數個癌病變影像; 將該些第一病理影像匯入一影像處理模組以取得該些第一病理影像的複數個第一模擬頻譜,並根據該些第一模擬頻譜畫出一主成份得分圖; 根據該些第一模擬頻譜,在該主成份得分圖中定義複數個三角形範圍; 判斷一第二病理影像的一第二模擬頻譜的一主成份得分是否落入其中一個該些三角形範圍內; 當該第二模擬頻譜的該主成份得分落入其中一個該些三角形範圍內,確認該第二病理影像屬於某一該些癌病變影像。
- 如請求項1所述之應用超頻譜影像辨識癌病變方法,其中該些第一病理影像與該第二病理影像透過一超頻譜影像系統以獲得該些第一模擬頻譜與該第二模擬頻譜。
- 如請求項1所述之應用超頻譜影像辨識癌病變方法,其中在將該些第一病理影像匯入該影像處理模組以取得該些第一病理影像的該第一模擬頻譜,並根據該些第一模擬頻譜畫出該主成份得分圖的該步驟更包含: 透過一影像灰階轉換模組將該些第一病理影像轉成灰階; 利用一影像增強模組將該些第一病理影像對比增強; 透過一影像二值化模組將該些第一病理影像二值化; 記錄二值化後的該些第一病理影像的複數個畫素座標; 將已記錄之該些第一病理影像的該些畫素座標匯出,以畫出該主成份得分圖。
- 如請求項1所述之應用超頻譜影像辨識癌病變方法,其中在該主成份得分圖中定義複數個三角形範圍的該步驟係應用一主成份分析法畫出該主成份得分圖,再判斷該第二病理影像的該第二模擬頻譜的該主成份得分是否落入其中一個該些三角形範圍內。
- 如請求項1所述之應用超頻譜影像辨識癌病變方法,其中當該第二模擬頻譜的該主成份得分落入其中一個該些三角形範圍內,確認該第二病理影像屬於某一該些癌病變影像的該步驟中,該主成份得分為一待測點,當該待測點位於其中一個該些三角形的範圍內,則可判定該第二病理影像為對應此其中一個該些三角形的一癌症病理期。
- 如請求項1所述之應用超頻譜影像辨識癌病變方法,其中該複數個第一病理影像為複數個食道癌病變影像。
- 如請求項1所述之應用超頻譜影像辨識癌病變方法,其中該些第一病理影像與該第二病理影像為表皮內血管的影像。
- 如請求項1所述之應用超頻譜影像辨識癌病變方法,其中根據該些第一模擬頻譜,在該主成份得分圖中定義複數個三角形範圍的該步驟中,該些三角形範圍係找到該些第一模擬頻譜在該主成分得分圖中具有最大三角形面積者為該些三角形範圍。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105100829A TWI537762B (zh) | 2016-01-12 | 2016-01-12 | Application of hyperfamily imaging to identification of cancerous lesions |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105100829A TWI537762B (zh) | 2016-01-12 | 2016-01-12 | Application of hyperfamily imaging to identification of cancerous lesions |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI537762B true TWI537762B (zh) | 2016-06-11 |
TW201725527A TW201725527A (zh) | 2017-07-16 |
Family
ID=56755888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105100829A TWI537762B (zh) | 2016-01-12 | 2016-01-12 | Application of hyperfamily imaging to identification of cancerous lesions |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI537762B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111212591A (zh) * | 2017-10-17 | 2020-05-29 | 富士胶片株式会社 | 医疗图像处理装置及内窥镜装置 |
TWI762388B (zh) * | 2021-07-16 | 2022-04-21 | 國立中正大學 | 以超頻譜檢測物件影像之方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111565620A (zh) * | 2017-12-27 | 2020-08-21 | 爱惜康有限责任公司 | 缺光环境中的荧光成像 |
TWI673683B (zh) * | 2018-03-28 | 2019-10-01 | National Yunlin University Of Science And Technology | 用於辨識組織病徵影像的系統及方法 |
-
2016
- 2016-01-12 TW TW105100829A patent/TWI537762B/zh active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111212591A (zh) * | 2017-10-17 | 2020-05-29 | 富士胶片株式会社 | 医疗图像处理装置及内窥镜装置 |
CN111212591B (zh) * | 2017-10-17 | 2022-08-02 | 富士胶片株式会社 | 医疗图像处理装置及内窥镜装置 |
US11574401B2 (en) | 2017-10-17 | 2023-02-07 | Fujifilm Corporation | Medical image processing apparatus and endoscope apparatus |
TWI762388B (zh) * | 2021-07-16 | 2022-04-21 | 國立中正大學 | 以超頻譜檢測物件影像之方法 |
Also Published As
Publication number | Publication date |
---|---|
TW201725527A (zh) | 2017-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9895112B2 (en) | Cancerous lesion identifying method via hyper-spectral imaging technique | |
Yang et al. | Noninvasive diagnostic adjuncts for the evaluation of potentially premalignant oral epithelial lesions: current limitations and future directions | |
Huang et al. | In vivo detection of epithelial neoplasia in the stomach using image-guided Raman endoscopy | |
Quang et al. | A tablet-interfaced high-resolution microendoscope with automated image interpretation for real-time evaluation of esophageal squamous cell neoplasia | |
TWI537762B (zh) | Application of hyperfamily imaging to identification of cancerous lesions | |
JP4632645B2 (ja) | イメージング装置およびプロセッサ装置 | |
Osawa et al. | Optimal band imaging system can facilitate detection of changes in depressed-type early gastric cancer | |
Jang | The past, present, and future of image-enhanced endoscopy | |
Bergholt et al. | Raman endoscopy for in vivo differentiation between benign and malignant ulcers in the stomach | |
Coda et al. | State of the art in advanced endoscopic imaging for the detection and evaluation of dysplasia and early cancer of the gastrointestinal tract | |
Tomie et al. | Blue laser imaging‐bright improves endoscopic recognition of superficial esophageal squamous cell carcinoma | |
Song et al. | Endoscopic detection of early upper GI cancers | |
US20150185151A1 (en) | Formulaic imaging for tissue diagnosis | |
Curvers et al. | Novel imaging modalities in the detection of oesophageal neoplasia | |
Song et al. | Early detection of early gastric cancer using image-enhanced endoscopy: Current trends | |
Wu et al. | Early identification of esophageal squamous neoplasm by hyperspectral endoscopic imaging | |
Shin et al. | Quantitative analysis of high-resolution microendoscopic images for diagnosis of neoplasia in patients with Barrett’s esophagus | |
Maher et al. | In vivo reflectance confocal microscopy for evaluating melanoma of the lip and its differential diagnoses | |
Yoshizawa et al. | Diagnosis of elevated-type early gastric cancers by the optimal band imaging system | |
Saito et al. | Linked-color Imaging May Help Improve the Visibility of Superficial Barrett's Esophageal Adenocarcinoma by Increasing the Color Difference | |
Lee et al. | Image-enhanced endoscopy in lower gastrointestinal diseases: Present and future | |
Glover et al. | A review of new and emerging techniques for optical diagnosis of colonic polyps | |
Chand et al. | Identifying oral cancer using multispectral snapshot camera | |
Banerjee et al. | Advances in endoscopic imaging: Advantages and limitations | |
Thong et al. | Hypericin fluorescence imaging of oral cancer: From endoscopy to real-time 3-dimensional endomicroscopy |