TWI762388B - 以超頻譜檢測物件影像之方法 - Google Patents
以超頻譜檢測物件影像之方法 Download PDFInfo
- Publication number
- TWI762388B TWI762388B TW110126333A TW110126333A TWI762388B TW I762388 B TWI762388 B TW I762388B TW 110126333 A TW110126333 A TW 110126333A TW 110126333 A TW110126333 A TW 110126333A TW I762388 B TWI762388 B TW I762388B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- host
- hyperspectral
- tested
- convolution
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 208000000461 Esophageal Neoplasms Diseases 0.000 title abstract description 11
- 206010030155 Oesophageal carcinoma Diseases 0.000 title abstract description 10
- 201000004101 esophageal cancer Diseases 0.000 title abstract description 10
- 238000000701 chemical imaging Methods 0.000 title abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 13
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 10
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000001228 spectrum Methods 0.000 description 21
- 239000000523 sample Substances 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 201000011510 cancer Diseases 0.000 description 11
- 238000001839 endoscopy Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 210000000981 epithelium Anatomy 0.000 description 5
- 238000005481 NMR spectroscopy Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 210000002808 connective tissue Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000003238 esophagus Anatomy 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 201000000274 Carcinosarcoma Diseases 0.000 description 3
- 206010018338 Glioma Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 201000001441 melanoma Diseases 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 206010025323 Lymphomas Diseases 0.000 description 2
- 206010039491 Sarcoma Diseases 0.000 description 2
- 238000002046 chromoendoscopy Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000029824 high grade glioma Diseases 0.000 description 2
- 208000032839 leukemia Diseases 0.000 description 2
- 201000011614 malignant glioma Diseases 0.000 description 2
- 210000004877 mucosa Anatomy 0.000 description 2
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 210000004876 tela submucosa Anatomy 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003394 haemopoietic effect Effects 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004927 skin cell Anatomy 0.000 description 1
- 210000004085 squamous epithelial cell Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/147—Determination of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
Abstract
本發明係有關一種以超頻譜檢測物件影像之方法，其先依據參考影像取得一超頻譜影像資訊，再藉此將輸入影像轉換出對應之超頻譜影像，以取得對應之特徵值，並進主成分分析，以簡化特徵值，然後透過卷積核取得特徵影像，再將特徵影像中以一預設框搭配一邊界框定位出一待測物件影像，經比對樣本影像，而將該待測物件影像分類為一目標物件影像或一非目標物件影像。藉此，透過卷積神經網路檢測影像擷取裝置所輸入之輸入影像是否為目標物件影像，因而輔助醫生判讀食道影像。
Description
本發明係有關一種影像處理之方法，尤其是一種以超頻譜檢測物件影像之方法。
食道為一連接咽部及胃部的管狀器官[2]，主要負責將口腔吞入的食物輸送至胃，正常食道黏膜有多層的鱗狀上皮細胞，厚度約200至500μm，由表面往下可分成以下幾層，分別是黏膜上皮層(EP)、黏膜固有層(LPM)、黏膜肌層(MM)、黏膜下層(SM)及固有肌層(MP)，食道癌是全球第八大常見癌症，而源於上皮組織的惡性腫瘤稱為癌症，另外，惡性腫瘤(Cancer，又稱為Malignant tumor)，一般會影響生理功能，更包括肉瘤(Sarcoma)、淋巴瘤(lymphoma)、白血病(leukemia)、黑色素瘤(melanoma)、癌肉瘤(carcinosarcoma)、惡性神經膠質瘤(Malignant glioma)。
其中，發生於結締組織的惡性腫瘤稱為肉瘤，所稱之結締組織包括纖維組織、脂肪(脂)組織、肌肉、血管、骨骼和軟骨。另外，淋巴瘤及白血病發生於造血組織。黑色素瘤發生於皮膚細胞。同時發生於上皮組織和結締組織的惡性腫瘤則稱為癌肉瘤。此外，惡性神經膠質瘤是發生在神經組織之惡性腫瘤。而食道癌之惡性腫瘤不僅僅浸潤於食道上的上皮組織，甚至是後期會浸潤至結締組織。
目前的疾病診斷技術通常依賴于單一的宏觀資料和資訊，如體溫、血壓、身體掃描圖像。例如，檢測癌症這類重大疾病，現在用於常用儀器大
多是基於影像技術的設備，包括X-射線、CT掃描和核磁共振(NMR)成像技術。當這些診斷設備組合使用時，對疾病的診斷在不同程度上的有用的。然而，當這些設備單獨使用時都不能在重大疾病發病的早期進行準確的、可信的、高效的、經濟的檢測。另外，很多這些現有設備體型較大且具有侵入性，如X-射線、CT掃描或核磁共振(NMR)成像技術。遂針對消化器官之病灶觀察發展出內視鏡檢查，以檢查消化器官上是否存在病灶。
另外，早期的食道癌卻不容易診斷，除了早期幾乎沒有任何症狀之外，即便是接受食道內視鏡檢查，還是有一部分的早期食道癌會看不出來，因為這些病灶的變化都很細微，往往只有些許顏色的改變，所以若是使用傳統內視鏡做檢測，則會有大量早期食道癌病變被忽略而延誤治療。因而針對不易察覺之病灶發展出碘染色內視鏡(Lugol chromoendoscopy)、窄頻影像技術(Narrow Band Image，NBI)、放大內視鏡(Magnifying Endoscopy)。
然而，內視鏡操作甚為複雜，既是需要醫護人員擁有內視鏡相關之專業證照，方可進行內視鏡檢測，更是要醫護人員一邊操作內視鏡並一邊分辨病灶，即使內視鏡檢測方式經過許多方式進行改良，但是仍不可避免遭遇到人工操作疏失，或者是內視鏡影像仍然不容易辨識。。
基於上述之問題，本發明提供一種以超頻譜檢測物件影像之方法，其藉由主機執行卷積運算，以將輸入影像套用卷積神經網路之運算，而獲得特徵影像，遂推算出待測物件影像，進一步透過待測物件影像比較樣本影像，以將待測物件影像分類為一目標物件影像或或一非目標物件影像，以避免人工影像辨識上的困難。
本發明之主要目的，提供一種以超頻譜檢測物件影像之方法，其藉由卷積神經網路之運算，而獲得特徵影像，遂推算出待測物件影像，進一步透過待測物件影像比較樣本影像，以將待測物件影像分類為一目標物件影像或或一非目標物件影像。
為達上述之目的，本發明揭示了一種以超頻譜檢測物件影像之方法，先由一主機依據一參考影像取得一超頻譜影像資訊，一影像擷取單元提供一輸入影像至一主機，該輸入影像包含至少一待測物件影像與一背景影像；然後，該主機依據該超頻譜影像資訊轉換該輸入影像，以取得一超頻譜影像，該主機依據該超頻譜影像進行分析，以取得複數個第一超頻特徵值；接續，該主機對該些個第一超頻特徵值進行一主成分分析運算，以產生對應之複數個第二特徵值，然後，該主機依據複數個卷積核用以對該些個第二特徵值進行至少一層卷積運算，取得一卷積結果，用以依據該卷積結果與該至少一待測物件影像取得至少一選取影像，其中，該些個卷積核包含複數個選取特徵值以及複數周邊特徵值，該至少一待測物件影像包含複數個周邊影像與該至少一選取影像，該些個周邊影像環繞於該至少一選取影像，該至少一選取影像對應於該些個選取特徵值，該些個周邊影像對應於該些個周邊特徵值；接著，該主機依據該至少一選取影像之邊緣產生至少一預設框，並擷取該輸入影像之一邊界框，進而讓該主機依據該預設框之一第一中心點比對該輸入影像之一邊界框之一第二中心點，以獲得該預設框與該邊界框之一中心偏移量，因而讓該主機依據該中心偏移量進行一回歸運算，以對位該預設框內之該待測物件影像，使該預設框與該邊界框之中心點疊合併連帶該選取影像往邊界框之中心點移動；最後由該主機依據該待測物件影像與至少一樣本影像進行比較，以產生一比較結果，藉此該主機依據該比較結果分類該輸入影像為一目標物件影像或或一非目標物件影像。藉此，本發明對於目標物件影像可由該主機卷積進行特徵偵測，再讓該主機依據該樣本影像作比對預設框所框選之待測物件影像，以分類輸入影像為目標物件影像或非目標物件影像，如此既可自動化辨識又可避免不易辨識的問題。
本發明提供一實施例，其中於該主機以複數個卷積核比對該些個第二特徵值之步驟中，該主機設定該些個卷積核為m×n×p並正規化該輸入影像之複數個像素值為複數個像素正規值，以該些個卷積核乘以該些個像素正規值，而於一卷積層擷取該些個第二特徵值，且m=n，m為1、3、5、10、19或38。
本發明提供一實施例，其中於依據該卷積結果與該至少一待測物件影像取得至少一選取影像之步驟中，該主機整合該些個選取特徵值所在區域而在該輸入影像上取得該至少一分佈區域，並以該至少一分佈區域建立該預設框。
本發明提供一實施例，其中於該主機轉換該輸入影像為複數個特徵值並以複數個卷積核偵測該些個特徵值之步驟中，該主機依據一單次多框目標檢測器模型分別對該輸入影像之每一像素進行卷積，以偵測該些個第二特徵值。
本發明提供一實施例，其中於該主機依據該中心偏移量進行一回歸運算之步驟中，該主機以該預設框之一第一位置、該邊界框之一第二位置與一縮放因子進行該回歸運算，而定位該待測物件影像。
本發明提供一實施例，其中於該主機依據該待測物件影像與至少一樣本影像進行比較之步驟中，該主機於一完全連接層進行該待測物件影像與該至少一樣本影像之分類比較。
本發明提供一實施例，其中於依據一比較結果分類該輸入影像為一目標物件影像或一非目標物件影像之步驟中，當該主機未能針對該預設框中的該待測物件影像辨識出匹配於該至少一樣本影像時，該主機將該輸入影像分類至該非目標物件影像，反之，該主機將該輸入影像分類至該目標物件影像。
本發明提供一實施例，其中於依據一比較結果分類該輸入影像為一目標物件影像或一非目標物件影像之步驟中，當該主機將該輸入影像分類至該非目標物件影像時，該主機第二次比對該至少一樣本影像與該待測物件影像，當該主機判斷該待測物件影像之一近似度大於一近似閥值時，該主機將該輸入影像分類至該目標物件影像，反之，該主機將該輸入影像分類至該非目標物件影像。
本發明提供一實施例，其中該超頻譜影像資訊為對應於複數個白光影像與複數個窄帶影像，並包含複數個配色函數、一校正矩陣與一轉換矩陣
1:檢測系統
10:主機
12:處理單元
14:記憶體
16:儲存單元
20:影像擷取單元
30:資料庫
B:邊界框
Bc:第二中心點
BG:背景影像
BGI:周邊影像
C:卷積核
CNN:卷積神經網路
D:預設框
Dc:第一中心點
F1:第一超頻特徵值
F2:第二特徵值
HSA:超頻譜影像資訊
HYI:超頻譜影像
IMG:輸入影像
O1:待測物件影像
O1R:物件參考影像
O2:選取影像
P:卷積程式
R:比較結果
REF:參考影像
SA:樣本影像
TA:目標物件影像
NTA:非目標物件影像
S05至S70:步驟
第一圖：其為本發明之一實施例之卷積偵測影像之流程圖；第二A圖至第二H圖：其為本發明之一實施例之部分步驟示意圖；第三圖：其為本發明之一實施例之卷積核與輸入影像的示意圖；第四圖：其為本發明之一實施例之所在區域的示意圖；第五圖：其為本發明之一實施例之建立預設框的示意圖；第六圖：其為本發明之一實施例之中心點位移的示意圖；第七圖：其為本發明之一實施例之預設框與背景框對位的示意圖；以及第八圖：其為本發明之實際操作上的示意圖。
為使 貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以實施例及配合說明，說明如後：有鑑於習知內視鏡操作複雜所導致之人工操作疏失或者影像不容易辨識，據此，本發明遂提出一種以超頻譜檢測物件影像之方法，以解決習知內視鏡技術所造成之人工操作疏失或者影像不容易辨識之問題。
以下，將進一步說明本發明揭示一種以超頻譜檢測物件影像之方法所提供之特性、所搭配之系統：首先，請參閱第一圖，其為本發明之一實施例之回合制遊戲之流程圖。如圖所示，本發明之以超頻譜檢測物件影像之方法的步驟包含：步驟S05：依據參考影像取得超頻譜影像資訊；步驟S10：影像擷取單元擷取輸入影像至主機；步驟S12：依據超頻譜影像資訊轉換輸入影像，以取得超頻譜影像；步驟S14：依據超頻譜影像影像進行分析，以取得第一超頻影像向量與第一超頻特徵值；
步驟S16：對第一超頻影像向量與第一超頻特徵值進行主成分分析之運算，以產生第二影像向量與對應之第二特徵值；步驟S20：依據卷積核用以對第二影像向量與第二特徵值進行卷積運算，取得卷積結果，用以依據卷積結果與待測物件影像取得選取影像；步驟S30：主機依據選取影像之邊緣產生預設框；以及步驟S40：主機擷取輸入影像之邊界框用以比對預設框之一第一中心點與邊界框之一第二中心點，以獲得預設框與邊界框之中心偏移量；步驟S50：主機依據中心偏移量進行回歸運算，取得回歸運算結果；步驟S55：主機依據回歸運算結果與預設框用以對待測物件影像進行對位調整，使第一中心點往第二中心點移動時，連帶將選取影像移至第二中心點；步驟S60：主機依據待測物件影像與樣本影像進行比較，以產生比較結果；以及步驟S70：主機依據比較結果分類輸入影像為目標物件影像或非目標物件影像。
請一併參閱第二A圖至第二H圖，其為本發明之以超頻譜檢測物件影像之方法所搭配之檢測系統1，其包含一主機10與一影像擷取單元20，本實施例係以一主機10為具有一處理單元12、一記憶體14與一儲存單元16之電腦主機作為舉例，但並非僅限於此，更可為伺服器、筆記型電腦、平板電腦或具備運算能力基礎之電子裝置皆為本發明所指之主機10，資料庫30為建立於儲存單元16，但不限於此，更可為主機10之外接儲存單元；其中主機10藉由處理單元12執行一卷積程式P，對應建立一卷積神經網路CNN。此外，影像擷取單元20於本實施例為一內視鏡，應用探查體內器官組織，例如：膀胱鏡、胃鏡、大腸鏡、支氣管鏡、腹腔鏡。
於步驟S05中，如第二A圖所示，該主機10為讀取影像擷取單元20所對應之一參考影像REF，該輸入影像REF包含至少一待測物件影像O1與一背景
影像BG，其中該輸入影像REF可為儲存於資料庫30之白光影像(White light image)與窄帶影像(Narrow band image)，或由影像擷取單元20擷取於24色塊之參考色塊，本實施例之影像擷取單元20係以白光內視鏡OLYMPUS EVIS LUCERA CV-260 SL取得對應之該白光參考影像，並以窄帶內視鏡OLYMPUS EVIS LUCERA CLV-260取得對應之該窄帶參考影像，也就是說至少一物件參考影像O1R與一背景參考影像BGR分別存在於該參考影像REF之白光參考影像與窄帶參考影像中。
復參閱第二A圖所示，該主機10依據該參考影像REF取得一超頻譜影像資訊HSA，也就是藉由可見光超頻譜技術(Visible Hyperspectral Algorithm,VIS-HSA)針對影像擷取單元20所擷取之輸入影像進行運算，以求得轉換一般影像色域空間(即擷取影像之色域空間)至XYZ色域空間(1931XYZ Color space)(例如：從sRGB色域空間轉換至XYZ色域空間)的轉換方程式，其中本發明之該超頻譜影像資訊為對應於可見光超頻譜技術之可見光波段超頻譜，並對應於24色塊(X-Rite Classic,24 Color Checkers)，且該24色塊中包含自然界中常見的主要顏色(紅、綠、藍、灰)。該超頻譜影像資訊HSA為對應於上述之複數個白光影像與複數個窄帶影像，並包含複數個配色函數(Color matching functions,CMF)、一校正矩陣C與一轉換矩陣M。
承接上述，轉換首步需將參考影像REF和光譜儀轉換至相同的XYZ色域空間；參考影像REF的轉換公式如下：
其中，
f(n)為gamma函數，T為轉換矩陣，[M A ]為色適應轉換矩陣。
光譜儀所擷取之反射頻譜數據轉換至XYZ色域空間之公式如下：
其中，k如下式(八)：
此外，更可進一步透過下式(十)之校正矩陣C進行內視鏡影像校正：[C]=[XYZ Spectrum ]×pinv([V]) 式(十)
變數矩陣[V]是透過分析內視鏡可能造成誤差的因素所獲得，導致誤差產生的因素分別為：內視鏡非線性響應、內視鏡暗電流、濾色片分色不精確與色彩偏移(例如：白平衡)，藉此校正XYZ值[XYZ Spectrum ]。
其中，由於窄帶影像與白光影像在三階運算之運算結果為近似，因此非線性響應修正採用三階方程式進行，校正內視鏡非線性響應為採用下式(十一)：V Non-linear =[X 3 Y 3 Z 3 X 2 Y 2 Z 2 X Y Z 1]T 式(十一)
一般在內視鏡中的暗電流為一固定值，不會隨進光量的變化而產生大幅度的改變，故將暗電流之影響視為常數，並將暗電流的校正變數定義為VDark，並以下式(十二)校正暗電流之影響：VDark=[α] 式(十二)
濾色片分色不精確與色彩偏移的校正變數定義為V Color ，
、
、
為RGB色域空間轉至XYZ色域空間之配色函數，因而依據
、
、
三者之間的關聯性將X、Y、Z之間的可能性以排列組合的方式列出下式(十三)，以校正內視鏡影像於濾色片分色不精確與色彩偏移：V Color =[XYZ XY YZ XZ X Y Z]T 式(十三)
藉由上述式(十一)至式(十三)，推得下式(十四)校正之變數矩陣V：V=[X 3 Y 3 Z 3 X 2Y X 2Z Y 2Z XZ 2 YZ 2 XYZX 2 Y 2 Z 2 XY YZ XZ X Y Z α]T 式(十四)
藉由上述變數矩陣V搭配校正矩陣C，因而獲得校正後之X、Y、Z值[XYZCorrect]，如下式(十五)：[XYZCorrect]=[C]×[V] 式(十五)
白光影像於[XYZCorrect]與[XYZ Spectrum ]之平均誤差值為1.40，窄帶影像於[XYZCorrect]與[XYZ Spectrum ]之平均誤差值為2.39。
由於上述之計算為採用可見光波段380奈米至780奈米之光波長波段，因此內視鏡的校正結果須以色差表示，其中[XYZCorrect]與[XYZ Spectrum ]轉換至CIE DE2000對應之Lab色域空間，色域空間轉換函式如下式(十六)至式(十八)：
其中，f(n)如下式(十九)：
白光影像於經校正前色差值平均達到11.4，經校正後色差值平均為2.84，而窄帶影像於經校正前色差值平均達到29.14，經校正後色差值平均為2.58。
於步驟S10中，如第二B圖所示，主機10自影像擷取單元20取得一輸入影像IMG，其中該輸入影像IMG可如同參考影像REF具有白光影像與窄帶影像，其中本實施例之影像擷取單元20係以白光內視鏡OLYMPUS EVIS LUCERA CV-260 SL對應之該白光影像，並以窄帶內視鏡OLYMPUS EVIS LUCERA CLV-
260對應之該窄帶影像；於步驟S12中，主機10依據該輸入影像IMG之解析度符合一解析度門檻，例如：10奈米，判斷該輸入影像IMG為符合超頻譜影像(hyperspectral image)之解析度門檻，因此依據步驟S05所得之超頻譜影像資訊HSA將輸入影像IMG轉換為超頻譜影像HYI，而接續執行步驟S14。
接續上述，於步驟S14中，該主機依據依據該超頻譜影像HYI取出對應之複數個第一超頻特徵值F1。於步驟S16中，該主機10於步驟S14中取得之該些個第一超頻特徵值F1，以進行主成分分析(Principal components analysis，PCA)之運算，為簡化運算結果，以濾除較低變化量之特徵值，因而簡化該超頻譜影像HYI並產生複數個第二特徵值F2。PCA之運算式如下式(二十)：
而x 1i 至x ni 為表示第一個至第n個波長的頻譜強度值；
至
為表示第一個至第n個波長的頻譜期望值(平均頻譜強度值)，a j1至a jn 為表示頻譜進行共變異數計算之共變異數矩陣的特徵向量係數。經過主成分分析對401維度頻譜資訊降維後僅需求得前三維，以減少運算複雜度。
再者，先藉由上述所獲得之校正值[XYZCorrect]搭配上述24色塊對應之反射頻譜數據[R Spectrum ]，經運算求得對應之轉換矩陣M，如下式(二十一)：[M]=[Score]×pinv([V Color ]) 式(二十一)
[S Spectrum ]380-780=[EV][M][V Color ] 式(二十二)
其中，[Score]為透過反射頻譜數據[R Spectrum ]經主成分分析，而求得複數組主成分(EV)，本實施例係以其中12組解釋能力(權重百分比88.0417%、8.2212%、2.6422%、0.609%、0.22382%、0.10432%、0.054658%、0.0472%、0.02638%、0.012184%、0.010952%、0.0028714%)較佳之主成分進行降維運算，因而獲得模擬頻譜[S Spectrum ]380-780，而模擬頻譜[S Spectrum ]380-780與輸入影像IMG對應之[XYZ Spectrum ]的誤差於白光影像上從11.60修正為2.85，於窄帶影像上從29.14修正為2.60，因而達成肉眼無法輕易辨識出之顏色誤差，方便於使用者有色彩再現需求時，可獲得較佳之色彩再現效能，因而模擬出可見光波段範圍內較佳的超頻譜影像。
於步驟S20中，如第二C圖與第三圖所示，該主機10將該輸入影像IMG經步驟S14至步驟S16所得之第二特徵值F2，特別是在0與1之間，利用複數個卷積核C偵測該輸入影像IMG對應之複數個第二特徵值F2，而該些個卷積核C包含該至少一待測物件影像O2之複數個選取影像O2對應之選取特徵值F22與該至少一待測物件影像O1之相鄰周邊影像BGI對應之周邊特徵值F24，以篩選掉未包含待測物件影像O1之背景影像BG，其中，該主機依據一單次多框目標檢測器(Single Shot Multibox Detector)模型分別對該輸入影像之每一像素單元進行卷積，以偵測該些個特徵值，該些個卷積核C對應於該至少一待測物件影像O1之複數個選取影像O2對應之選取特徵值F22與相鄰邊緣之周邊影像BGI對應之周邊特徵值F24。
復參閱第二C圖與第三圖所示，該輸入影像IMG為m×n像素單元，並透過P個通道做特徵萃取，因此該些個卷積核O1為m×m×p單元，且m=n，例如：1×1×p、3×3×p、5×5×p、10×10×p、19×19×p或38×38×p，因而透過卷積核C偵測該輸入影像IMG上的待測物件影像O1與該背景影像BG，以濾除該背景影像BG，因而減少對該背景影像BG於後續步驟中處理，該輸入影像IMG對應之第二特徵值F2為經由處理單元12轉換為對應之選取特徵值F22與周邊特徵值F24，處理單元12透過卷積核C與該輸入影像IMG對應之第二特徵值F2相乘，而獲得不同卷積結果R，而獲得相同為1，相異為-1的值，因而將非相關之背景影像BG過濾掉，而如第四圖所示，在輸入影像IMG對應之第二特徵值F2取得部分該些個選取特徵值F22所對應之局部或全部該至少一待測物件影像O1，因而獲得局部或全部該至少一待測物件影像O1的所在區域A。
於步驟S30中，如第二D圖與第五圖所示，主機10依據該至少一待測物件影像O1的所在區域A取得至少一選取影像O2，也就是由卷積程式P取得選取特徵值F22與周邊特徵值F24並對應建立至少一預設框D，且如第六圖所示，相對於該輸入影像IMG之邊緣即為初始之邊界框B，其中預設框D的邊長尺寸min_size=s k ，最大邊長
，max_size=s k+1；於下式式(一)求得邊長尺寸s k ：
同時藉由下式(二)、式(三)而依據邊長尺寸s k 運算出高與寬：
其中h k 表示第k個特徵圖的矩形先驗框高的尺度，w k 表示矩形先驗框寬的尺度，而a r 表示預設框D之長寬比，a r 為大於0。
於步驟S40中，如第二F圖與第六圖所示，主機10藉由處理單元12擷取輸入影像IMG對應之邊界框B並執行卷積程式P，因而擷取該預設框D之一第一中心點Dc與該輸入影像IMG之一邊界框B之一第二中心點Bc，並針對第一中心點Dc與第二中心點Bc獲得對應之中心點偏移量DIS，接續於步驟S50中，如第二E圖與第七圖所示，主機10於處理單元12進一步依據該預設框D與該邊界框B之中心點偏移量DIS進行回歸運算LOOP，其運算如下：預設框D位置d=(d cx ,d cy ,d w ,d h )..................................式(四)
邊界框B位置b=(b cx ,b cy ,b w ,b h )......................式(五)
縮放因子l=(l cx ,l cy ,l w ,l h )................式(六)
b cx =d w l cx +d cx 式(七)
b cy =d h l cy +d cy 式(八)
b w =d w exp(l w ) 式(九)
b h =d h exp(l h ) 式(十)
先將邊界框B的中心座標對齊預設框D的中心座標，意思是將邊界框B的中心點「先平移」至預設框D的中心點，即第六圖之第一中心點Dc與第二中心點Bc重疊，如式(七)與式(八)，再將邊界框的尺寸大小「後縮放」至接近預設框D，如式(九)與式(十)，經由上述的平移變換與尺度縮放，可以使邊界框B無限接近預設框D的位置，藉此於步驟S55中，主機10藉由處理單元12執行之卷積程式P所搭配之卷積神經網路CNN，不斷地回歸運算至邊界框B的尺寸大小無限接近預設框D的位置，藉此將待測物件影像O1相對於預設框D與邊界框B疊合，
因而精確定義待測物件影像O1之位置，也就是使該第一中心點Dc往該第二中心點Bc移動時，連帶將該選取影像(即預設框D內之影像)移至該第二中心點Bc。
此外，為了較精確地定義待測物件影像O1之位置，更進一步搭配損失方程式，如下式(八)：
因而驗證預測預設框D之位置與待測物件影像O1之位置的誤差。
於步驟S60中，如第二G圖所示，主機10於處理單元12定位出待測物件影像O1之位置後，將待測物件影像O1與資料庫30中的樣本影像SA進行第一次比對，因而獲得一比較結果R，接續於步驟S70中，如第二H圖所示，主機10透過處理單元12所執行之卷積程式P依據比較結果R將該輸入影像IMG分類至一目標物件影像TA或一非目標物件影像NTA，例如：惡性腫瘤，當該主機10之處理單元12所執行之卷積程式P未能針對該預設框D中的該待測物件影像O1辨識出匹配於該至少一樣本影像SA時，該主機10將該輸入影像IMG分類至該非目標物件影像NTA，反之，該主機10之處理單元12所執行之卷積程式P將該輸入影像分類至該目標物件影像TA，再者，當該主機10之處理單元12所執行之卷積程式P將該輸入影像IMG分類至該非目標物件影像NTA時，卷積程式P會接續執行第二次比對該至少一樣本影像SA與該待測物件影像O1，當卷積程式P判斷該待測物件影像O1之比較結果R對於該目標物件影像TA之一近似度大於一近似閥值(例如：近似度0至1之間，而取0.5作為近似閥值)時，卷積程式P將該輸入影像IMG分類至該目標物件影像TA，反之，卷積程式P將該輸入影像IMG分類至該非目標物件影像NTA。
如第八圖所示，其為本發明於實際操作上的示意圖，其中，輸入影像IMG為一食道內視鏡影像，針對輸入影像IMG經本發明之以超頻譜檢測物件影像之方法，疊加了預設框D與邊界框B，並進行樣本影像之比對，而獲得比較結果R，而樣本影像為化生不良(Dysplasia)區域之食道內視鏡影像，因而準確率可達93.0%，且影像損失也下降至6.20，詳細還需醫師針對受檢者進行其他醫療診斷手段確診，因此本發明可藉此提供醫師做為症狀判斷之輔助證據。
綜上所述，本發明之以超頻譜檢測物件影像之方法，其提供主機取得超頻譜影像資訊，再依據超頻譜影像資訊將輸入影像轉換為超頻譜影像，以接續執行卷積程式，並讓主機建構卷積神經網路，以對影像擷取單元之輸入影像進行卷積，而篩選出欲偵測之篩選區域，藉此設立預設框於輸入影像上，並透過回歸運算以邊界框定位出待測物件影像之位置，最進行樣本影像之比較，以利用比較結果進行目標物件影像與非目標物件影像之分類。
故本發明實為一具有新穎性、進步性及可供產業上利用者，應符合我國專利法專利申請要件無疑，爰依法提出發明專利申請，祈 鈞局早日賜准專利，至感為禱。
惟以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍，舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾，均應包括於本發明之申請專利範圍內。
S05至S70:步驟
Claims (10)
- 一種以超頻譜檢測物件影像之方法，其步驟包含：一主機依據一參考影像取得一超頻譜影像資訊，該參考影像包含至少一物件參考影像與一背景參考影像；一影像擷取單元擷取一輸入影像至該主機，該輸入影像包含至少一待測物件影像與一背景影像；該主機依據該超頻譜影像資訊轉換該輸入影像，以取得一超頻譜影像；該主機依據該超頻譜影像進行分析，以取得複數個第一超頻影像向量與複數個第一超頻特徵值；該主機對該些個第一超頻特徵值進行一主成分分析運算，以簡化該超頻譜影像而產生對應之複數個第二特徵值；該主機依據複數個卷積核用以對該些個第二特徵值進行至少一層卷積運算，以濾除該背景影像而取得一卷積結果，用以依據該卷積結果與該至少一待測物件影像取得至少一選取影像，其中，該些個卷積核包含複數個選取特徵值以及複數周邊特徵值，該至少一待測物件影像包含複數個周邊影像與該至少一選取影像，該些個周邊影像環繞於該至少一選取影像，該至少一選取影像對應於該些個選取特徵值，該些個周邊影像對應於該些個周邊特徵值；該主機依據該至少一選取影像之邊緣產生至少一預設框；該主機擷取該輸入影像之一邊界框用以比對該預設框之一第一中心點與該邊界框之一第二中心點，以獲得該預設框與該邊界框之一中心偏移量，其中該邊界框對應於該輸入影像之一邊緣；該主機依據該中心偏移量進行一回歸運算，取得一回歸運算結果；該主機依據該回歸運算結果與該預設框用以對該待測物件影像進行對位調整，使該第一中心點往該第二中心點移動時，連帶將該選取影像移至該第二中心點； 該主機依據對位調整後之該待測物件影像與至少一樣本影像進行匹配比較，以產生一比較結果；以及該主機依據該比較結果判斷該輸入影像為一目標物件影像。
- 如請求項1所述之以超頻譜檢測物件影像之方法，其中於該主機依據複數個卷積核用以對該些個第二特徵值進行至少一層卷積運算之步驟中，該主機設定該些個卷積核為m×n×p並正規化該輸入影像之複數個像素值為複數個像素正規值，用以該些個卷積核乘以該些個像素正規值，而於一卷積層擷取該些個第二特徵值，且m=n，m為1、3、5、10、19或38。
- 如請求項1所述之以超頻譜檢測物件影像之方法，其中於依據該卷積結果與該至少一待測物件影像取得至少一選取影像之步驟中，該主機整合該些個選取特徵值所在區域而在該輸入影像上取得至少一分佈區域。
- 如請求項1所述之以超頻譜檢測物件影像之方法，其中於該主機依據複數個卷積核用以對該些個第二特徵值進行至少一層卷積運算之步驟中，該主機依據一單次多框目標檢測器模型分別對該輸入影像之每一像素進行卷積，以偵測該些個第二特徵值。
- 如請求項1所述之以超頻譜檢測物件影像之方法，其中於該主機依據該中心偏移量進行一回歸運算之步驟中，該主機以該預設框之一第一位置、該邊界框之一第二位置與一縮放因子進行該回歸運算，而定位該待測物件影像。
- 如請求項1所述之以超頻譜檢測物件影像之方法，其中於該主機依據該待測物件影像與至少一樣本影像進行匹配比較之步驟中，該主機於一完全連接層進行該待測物件影像與該至少一樣本影像之匹配比較。
- 如請求項1所述之以超頻譜檢測物件影像之方法，其中於依據一比較結果判斷該輸入影像為一目標物件影像之步驟中，當該主機 無法依據該至少一樣本影像判斷該輸入影像為一目標物件影像時，該主機依據該至少一樣本影像對該待測物件影像進行近似比較。
- 如請求項7所述之以超頻譜檢測物件影像之方法，其中於該主機依據該至少一樣本影像對該待測物件影像進行近似比較之步驟中，當該主機判斷該待測物件影像之一近似度大於一近似門檻值時，該主機將該輸入影像判斷為該目標物件影像。
- 如請求項1所述之以超頻譜檢測物件影像之方法，其中該超頻譜影像資訊為對應於該輸入影像之複數個白光影像與複數個窄帶影像，並包含複數個配色函數、一校正矩陣與一轉換矩陣。
- 如請求項1所述之以超頻譜檢測物件影像之方法，其中於該主機依據對位後之該待測物件影像與至少一樣本影像進行匹配比較之步驟中，該主機自一資料庫讀取該至少一樣本影像，以依據對位後之該待測物件影像進行該匹配比較。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110126333A TWI762388B (zh) | 2021-07-16 | 2021-07-16 | 以超頻譜檢測物件影像之方法 |
| US17/394,724 US11810300B2 (en) | 2021-07-16 | 2021-08-05 | Method for detecting image of esophageal cancer using hyperspectral imaging |
| JP2021135019A JP7142754B1 (ja) | 2021-07-16 | 2021-08-20 | 畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110126333A TWI762388B (zh) | 2021-07-16 | 2021-07-16 | 以超頻譜檢測物件影像之方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI762388B true TWI762388B (zh) | 2022-04-21 |
| TW202305737A TW202305737A (zh) | 2023-02-01 |
Family
ID=82199276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110126333A TWI762388B (zh) | 2021-07-16 | 2021-07-16 | 以超頻譜檢測物件影像之方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11810300B2 (zh) |
| JP (1) | JP7142754B1 (zh) |
| TW (1) | TWI762388B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI470203B (zh) * | 2012-01-12 | 2015-01-21 | Nat Univ Chung Cheng | 應用於癌細胞檢測的影像分析系統及方法 |
| TWI537762B (zh) * | 2016-01-12 | 2016-06-11 | Application of hyperfamily imaging to identification of cancerous lesions | |
| US9795303B2 (en) * | 2004-11-29 | 2017-10-24 | Hypermed Imaging, Inc. | Medical hyperspectral imaging for evaluation of tissue and tumor |
| CN108139207A (zh) * | 2015-10-16 | 2018-06-08 | 卡普索影像公司 | 用于撷取混合的结构光图像和正规图像的单一图像传感器 |
| CN109844092A (zh) * | 2017-03-10 | 2019-06-04 | 上海新申派科技有限公司 | 新型的疾病检测仪和方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10113910B2 (en) * | 2014-08-26 | 2018-10-30 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
| CA2980781C (en) * | 2015-03-27 | 2022-10-04 | Siu Wai Jacky MAK | Deformable and shape-able surgical lighting device and system |
| US9895112B2 (en) * | 2016-05-04 | 2018-02-20 | National Chung Cheng University | Cancerous lesion identifying method via hyper-spectral imaging technique |
| JP6657480B2 (ja) * | 2017-10-30 | 2020-03-04 | 公益財団法人がん研究会 | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム |
| GB201817092D0 (en) * | 2018-10-19 | 2018-12-05 | Cancer Research Tech Ltd | Apparatus and method for wide-field hyperspectral imaging |
| EP3716136A1 (en) * | 2019-03-26 | 2020-09-30 | Koninklijke Philips N.V. | Tumor boundary reconstruction using hyperspectral imaging |
-
2021
- 2021-07-16 TW TW110126333A patent/TWI762388B/zh active
- 2021-08-05 US US17/394,724 patent/US11810300B2/en active Active
- 2021-08-20 JP JP2021135019A patent/JP7142754B1/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9795303B2 (en) * | 2004-11-29 | 2017-10-24 | Hypermed Imaging, Inc. | Medical hyperspectral imaging for evaluation of tissue and tumor |
| TWI470203B (zh) * | 2012-01-12 | 2015-01-21 | Nat Univ Chung Cheng | 應用於癌細胞檢測的影像分析系統及方法 |
| CN108139207A (zh) * | 2015-10-16 | 2018-06-08 | 卡普索影像公司 | 用于撷取混合的结构光图像和正规图像的单一图像传感器 |
| TWI537762B (zh) * | 2016-01-12 | 2016-06-11 | Application of hyperfamily imaging to identification of cancerous lesions | |
| CN109844092A (zh) * | 2017-03-10 | 2019-06-04 | 上海新申派科技有限公司 | 新型的疾病检测仪和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7142754B1 (ja) | 2022-09-27 |
| TW202305737A (zh) | 2023-02-01 |
| JP2023013882A (ja) | 2023-01-26 |
| US11810300B2 (en) | 2023-11-07 |
| US20230015055A1 (en) | 2023-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8027533B2 (en) | Method of automated image color calibration | |
| US8472682B2 (en) | Medical image processing | |
| US8401258B2 (en) | Method to provide automated quality feedback to imaging devices to achieve standardized imaging data | |
| WO2019054045A1 (ja) | 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム | |
| CN106068092A (zh) | 图像处理装置 | |
| TWI738367B (zh) | 以卷積神經網路檢測物件影像之方法 | |
| CN106999045A (zh) | 器官图像拍摄装置以及程序 | |
| Zhang et al. | Computerized facial diagnosis using both color and texture features | |
| Ali et al. | Color-based template selection for detection of gastric abnormalities in video endoscopy | |
| TWI762388B (zh) | 以超頻譜檢測物件影像之方法 | |
| Zhang et al. | Medical biometrics: computerized TCM data analysis | |
| TWI803223B (zh) | 於超頻譜影像之物件偵測方法 | |
| TWI796156B (zh) | 以波段用於超頻譜檢測物件影像之方法 | |
| Akbari et al. | Hyperspectral imaging and diagnosis of intestinal ischemia | |
| CN115736791A (zh) | 内窥镜成像装置及方法 | |
| US20240065540A1 (en) | Apparatus and method for detecting cervical cancer | |
| TWI821149B (zh) | 內視鏡冗餘影像除去方法 | |
| JP7436066B2 (ja) | 眼底画像における動脈及び静脈を識別する方法 | |
| Obukhova et al. | Image processing algorithm for virtual chromoendoscopy (Tone Enhancement) in clinical decision support system | |
| US20230386660A1 (en) | System and method for detecting gastrointestinal disorders | |
| Wang | Digital tongue color imaging and analyzing for Traditional Chinese medicine applications | |
| Iliou et al. | Artificial spectral vision for studying the spectral, the spatial and the temporal characteristics of dynamic optical phenomena in biomedicine | |
| Bochko et al. | Spectral reflectance estimation for electronic endoscope | |
| Imtiaz | Color Image Enhancement Techniques for Endoscopic images |