TWI532460B - 從活體內多相機膠囊重建影像 - Google Patents

從活體內多相機膠囊重建影像 Download PDF

Info

Publication number
TWI532460B
TWI532460B TW103118368A TW103118368A TWI532460B TW I532460 B TWI532460 B TW I532460B TW 103118368 A TW103118368 A TW 103118368A TW 103118368 A TW103118368 A TW 103118368A TW I532460 B TWI532460 B TW I532460B
Authority
TW
Taiwan
Prior art keywords
image
images
capsule
camera
cameras
Prior art date
Application number
TW103118368A
Other languages
English (en)
Other versions
TW201509363A (zh
Inventor
康懷 王
晨雨 吳
Original Assignee
卡普索影像股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 卡普索影像股份有限公司 filed Critical 卡普索影像股份有限公司
Publication of TW201509363A publication Critical patent/TW201509363A/zh
Application granted granted Critical
Publication of TWI532460B publication Critical patent/TWI532460B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Description

從活體內多相機膠囊重建影像 相關申請案對照參考
本發明主張2013年5月29日所提出申請名稱為「Reconstruction of Images from an in vivo Multi-Cameras Capsule」之第61/828,653號美國臨時性專利申請案的優先權。本發明係關於2006年12月19日所提出申請名稱為「In Vivo Image Capturing System Including Capsule Enclosing A Camera」之第11/642,275號美國專利申請案、2008年11月25日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」之第12/323,219號美國專利申請案、2010年10月19日所提出名稱為「Panoramic Imaging System」之第7,817,354號美國專利案、以及2012年9月25曰所申請提出名稱為「Camera System with Multiple Pixel Arrays on a Chip」之第13/626,168號美國專利申請案。特此將所述美國臨時性專利申請案、美國專利申請案及美國專利案的完整內容引用合併。
本發明係關於從使用附有多個相機之活體內膠囊所擷取之影像將影像重建。
用於令活體內體腔或管道成像的裝置在所屬領域屬於已知，並且包括內視鏡及自主性囊封相機。內視鏡屬於可撓性或剛性管，其透過孔口或手術開口進入體內，通常是經由嘴進入食道或經由直腸進入結腸。影像係使用鏡片成形於遠端，並且在體外藉由鏡片中繼系統或藉由凝聚性光纖束任一者予以輸送至近端。概念類似的儀器可能例如使用CCD或CMOS陣列以電子方式於遠端記錄影像，並且透過纜線將影像資料以電信號的方式轉送至近端。內視鏡允許醫師透過視場控制，並且是受到廣泛接受的診斷工具。然而，其的確有些限制，使病患承受危險，並且對於病患而言屬於侵入性且不舒服。其成本導致其作為例行健康籂檢工具的應用受到限制。
由於穿越盤繞的管道有困難，內視鏡無法到達大部分小腸道。因此，要通達整條結腸需要特殊的技術及預防措施，這將增加成本。內視鏡的危險包括有可能貫穿所穿越的肉體器官且麻醉會引起併發症。此外，必須在程序期間的病患痛苦、健康危害、以及麻醉相關的程序後停歇時間之間取得平衡。內視鏡是必要的醫療資源，其佔用臨床醫師大量的時間，因而很耗成本。
解決許多這些問題的替代活體內影像感測器為膠囊內視鏡。相機係連同用於將資料傳送到基地台接收器或收發機的無線傳送器予以裝在可吞式膠囊內。也可將體外的資料記錄器用於接收並且記錄傳送的資料。資料 主要包含數位相機所記錄的影像。膠囊也可包括用於從基地台傳送器接收指令或其他資料的無線接收器。除了射頻傳輸，另可使用較低頻率的電磁信號。電力可利用感應方式從外部電感器供應至膠囊內的內部電感器，或從膠囊內的電池供應。
2006年9月19曰所提出申請名稱為「In Vivo Autonomous Camera with On-Board Data Storage or Digital Wireless Transmission in Regulatory Approved Band」之第11/533,304號美國專利申請案揭露一種附有板上資料儲存器之自主性膠囊相機系統。這個申請案說明一種使用如半導體非揮發性歸檔記憶體以儲存所擷取影像的膠囊系統。在膠囊從身體離開後將其取回。將膠囊外殼打開，並且將儲存的影像轉送到電腦工作站以供儲存及分析用。對於透過無線傳輸所接收或從板上儲存器所取出任一者的膠囊影像，必須由診斷師將影像顯示並且進行檢查以辨別潛在的異常現象。
除了上述前視型膠囊相機以外，還有其他種提供側面圖或全景視圖的膠囊相機。為了適當檢視組織表面，需要側邊或反轉角度。習知的裝置因其視場(FOV)實質屬於前視型而無法看到此類表面。由於為了精確診斷需要徹底觀察息肉或其他不規則體，讓醫師看到這些器官的所有區域是重要的事情。由於習知的膠囊無法看到脊部週圍的隱藏區，故可能會漏掉不規則體，並且嚴重醫療狀況的關鍵診斷可能會有缺失。2006年12月19日所提出申 請名稱為「In vivo sensor with panoramic camera」之第11/642,275號美國專利申請案中揭露一種配置成用來擷取相機週圍環境全景影像的相機。全景相機系統配有相對於膠囊縱軸由視角範圍所界定的縱向視場(FOV)、以及縱軸附近方位角之全景範圍所界定的緯向視場，使得相機可擷取實質涵蓋360°緯度方向FOV的全景影像。
從概念上講，可將多個個別相機配置成將360°緯度方向的FOV完全或實質涵蓋。然而，此種全景膠囊系統由於可能需要多個影像感測器及相關電子裝置而可能昂貴。2007年1月17日所提出申請名稱為「Panoramic Imaging System」之第11/624,209號美國專利申請案中揭露一種有成本效益的全景膠囊系統。這個全景膠囊系統使用一種配置成結合許多視場以涵蓋360°視野的光學系統。再者，係將結合之視場投射到單一感測器上以節省成本。因此，這個單一感測器膠囊系統以較低成本有效起了多個相機的作用。2008年11月25日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」之第12/323,219號美國專利申請案、以及2012年9月25日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」之第13/626,168號美國專利申請案中進一步說明用以支援全景視圖之感測器結構及操作。
在自主性膠囊系統中，當膠囊相機行經胃腸(GI)道時，於進程期間收集多個影像還有其他資料。通常是將影像及資料顯示在顯示裝置上以供診斷師或醫療專 業人士進行檢查。為了提升檢查效率，係以某些如顯示速度、快轉、倒轉、以及停止之類的顯示控制將影像持續顯示成影片，允許使用者透過影像序列輕鬆地巡覽。將此組收集到的影像以影片資料方式表示，可實質改善檢查的效率。然而，每一個影像都僅提供胃腸道一小段有限的視野。宜將膠囊影像結合成一張表示內胃腸道表面剖視圖之大圖片。這張大圖片可利用高解析度大螢幕顯示裝置讓使用者可同時觀看更多資訊。在將影像之間多餘的重疊區移除後，可同時檢視大面積的內胃腸道表面。另外，大圖片可提供內胃腸道表面的全視圖或重要部位。診斷師或醫療專業人士應該更輕鬆且快速地認出如息肉之類的關注區。
一種顯示人類胃腸(GI)道影像之方法，該等影像係使用含複數個相機之膠囊裝置予以擷取，其中該複數個相機係固定配置在膠囊外殼內，並且該複數個相機之任意兩個鄰接相機具有重疊視場(FOV)，該方法包含：分別接收由該複數個相機所擷取的複數個影像序列，其中該複數個影像序列包含多組內影像，並且第i組內影像對應於該複數個相機於時間索引i所擷取的同時影像；藉由拚接該多組內影像而產生複合影像；以及在顯示裝置上顯示該複合影像。
101‧‧‧鏡片
102‧‧‧鏡片
111‧‧‧視場
112‧‧‧視場
120‧‧‧重疊區
130‧‧‧中心線
151‧‧‧影像感測器
152‧‧‧影像感測器
161‧‧‧區域
162‧‧‧區域
171‧‧‧虛箭頭
172‧‧‧虛箭頭
501‧‧‧影像
502‧‧‧影像
503‧‧‧影像
504‧‧‧影像
505‧‧‧原始影像
506‧‧‧原始影像
507‧‧‧原始影像
508‧‧‧原始影像
601‧‧‧翹曲局部變形區域
602‧‧‧翹曲影像
603‧‧‧區域
604‧‧‧影像
605‧‧‧區域
606‧‧‧影像
607‧‧‧翹曲局部變形區域
608‧‧‧翹曲影像
609‧‧‧複合影像
610‧‧‧複合影像
620‧‧‧顯示視窗
630‧‧‧捲軸
901‧‧‧腸道狀態
902‧‧‧腸道狀態
903‧‧‧腸道狀態
904‧‧‧腸道狀態
1101‧‧‧腸道狀態
1102‧‧‧腸道狀態
1103‧‧‧腸道狀態
1104‧‧‧腸道狀態
1105‧‧‧腸道狀態
1106‧‧‧腸道狀態
1107‧‧‧腸道狀態
1201‧‧‧關鍵影像
1202‧‧‧關鍵影像
1203‧‧‧關鍵影像
1204‧‧‧影像
1205‧‧‧影像
1206‧‧‧影像
1501‧‧‧鏡片
1502‧‧‧鏡片
1503‧‧‧鏡片
1504‧‧‧鏡片
1511‧‧‧視場
1512‧‧‧視場
1513‧‧‧視場
1514‧‧‧視場
1531‧‧‧重疊區
1532‧‧‧重疊區
1533‧‧‧重疊區
1534‧‧‧重疊區
第1A圖描述兩個附有重疊視場之相機的例示性組態。
第1B圖描述用以從第1A圖所示兩個相機擷取影像之影像感測器陣列的例示性組態。
第2圖描述第1A圖所示兩個相機所擷取影像的非重疊及重疊區。
第3圖描述用以將兩個重疊影像結合成一個寬影像的例示性影像融合。
第4A圖描述側視膠囊相機系統之膠囊旋轉及平移效應。
第4B圖描述側視膠囊相機系統之相機傾斜效應。
第5圖描述顯示根據本發明一具體實施例之膠囊相機系統所擷取多個影像的實施例，這多個影像係翹曲(warp)而形成複合影像。
第6圖描述所擷取影像局部變形(deformation)動態(時空)表示的實施例。
第7圖描述顯示根據本發明一具體實施例之膠囊相機系統所擷取多個影像的實施例，關鍵事件係基於排便而選擇的。
第8圖描述顯示根據本發明一具體實施例之膠囊相機系統所擷取多個影像的實施例，關鍵事件係基於轉動角度而選擇的。
第9圖描述顯示根據本發明一具體實施例之膠囊相機系統所擷取多個影像的實施例，排便狀態係分類成多個階段，並且與每一個階段有關的影像分成一組。
第10圖描述顯示根據本發明一具體實施例之膠囊相機系統所擷取多個影像的實施例，其中具有類似轉動角度的影像係分為一組以形成複合影像。
第11圖描述顯示根據本發明一具體實施例之膠囊相機系統所擷取多個影像的實施例，排便狀態係分類成多個階段，並且與一階段有關之影像可與群組中相鄰影像有間隙。
第12圖描述顯示根據本發明一具體實施例之膠囊相機系統所擷取多個影像的實施例，其中轉動角度係分類成多個階段，並且與一階段有關之影像可與群組中相鄰影像有間隙。
第13A圖描述具有多個局部變形之例示性影像序列。
第13B圖描述顯示根據本發明一具體實施例之膠囊相機系統所擷取多個影像的實施例，與局部變形對應之影像節段係同時顯示。
第14A圖描述在雲端中計算拚接的影像，並且將最終影片傳送到用戶端。
第14B圖描述在雲端中計算影像對之間的所有轉換，並且在用戶端機器上應用即時影像翹曲及混合的實施例。
第15圖描述四相機組態的實施例，兩鄰接相機之間有重疊視場以形成360°全視野全景影像。
第16A圖描述360°全視野全景影像的膠囊 旋轉及平移效應。
第16B圖描述360°全視野全景影像的轉動補償實施例。
將輕易理解的是，大體上如本文圖示所述及所示，可用各式各樣不同的組態，設置且設計本發明的組件。如此，如圖所示，底下本發明系統及方法具體實施例更詳細的說明意圖不在於限制本發明之範圍，如所主張之申請專利範圍所述，而只是表示本發明選擇之具體實施例。整篇說明書對於「一個具體實施例」、「一具體實施例」或類似用語之參照，意謂著可將配合具體實施例所述之特定特徵、結構或特性含括在本發明之至少一個具體實施例中。如此，整篇說明書各處出現的詞組「在一個具體實施例中」或「在一具體實施例中」不必然全都指到相同的具體實施例。
再者，可在一或多個具體實施例中以任何適宜的方式將所述特徵、結構或特性結合。然而，所屬領域技術熟練者將辨認的是，無需特定細節之一或多者，或利用其他方法、組件等即可實作本發明。在其他實例中，為了避免混淆本發明之態樣，未詳細顯示或說明眾所周知的結構或操作。藉由參照圖示，將最佳理解本發明之例示具體實施例，其中相同的零件在全文中係以相同的元件符號表示。底下的說明目的僅在於例示，並且單純地描述特定選擇的設備及方法具體實施例，其與本發明如本文申請 專利範圍所述者一致。
自主性膠囊相機在通過人類胃腸道成像進程期間，時常擷取數萬個影像。每一個影像都對應於相機光學器件視場內的場景。膠囊可具有前視相機或側視相機。在任一案例中，每一個影像都對應於胃腸道表面非常小的區域或區段。在計算攝影領域中，影像貼合技術已發展到將較小影像拼接成大圖片。在消費性數位相機中，已將這項技術用於允許使用者藉由繞著相機取景來擷取全景圖片。全景全自動建構係在2003年10月13日至16日，由Brown及Lowe在Proceedings of Ninth IEEE International Conference on Computer Vision第2卷第1218至1225頁名稱為「Recognising Panoramas」之文獻中揭露。Brown及Lowe使用基於轉動及縮放恆定局部特徵的影像比對技術以選取相配影像、以及機率模型供驗證。這方法對影像之次序、方向、縮放及光照不靈敏，對有雜訊影像也不靈敏。影像對齊及拚接之一般技術方法的回顧，可在2006年12月10日Microsoft Research Technical Report MSR-TR-2004-92由Szeliski所著的“Image Alignment and Stitching：A Tutorial”中找到。
對於影像貼合，首先辨別的是影像之間對應的部分、物件或區域。辨別對應的部分、物件或區域之後，可藉由對齊對應的部分、物件或區域而將影像拚接。可在像素域中直接比對兩個影像，並且像素式影像比對也稱為直接比對。然而，其將涉及非常密集的計算。一種替 代手段是使用特徵式影像比對。為每一個影像決定一組特徵點，並且藉由比較對應的特徵描述符進行比對。特徵點的數量通常遠小於對應影像之像素數量。因此，特徵式影像比對之計算負載實質較少於像素式影像比對。然而，逐對比對仍然耗時。通常是將k-d樹用於加速這個程序。於是，特徵式影像比對在此領域中廣泛受到使用。雖然如此，特徵式比對於某些影像仍無法有效工作。在這種情況下，總是可將直接影像比對當作後備模式，或較佳可為以上兩種方法的組合。
在兩個影像中決定特徵點時，這兩組特徵是在所選擇的準則下，藉由辨別這兩組之間的最佳比對來進行比對。特徵點在非平面場景中對應於某些不同特徵。此比對可能必須在兩個影像之影像擷取期間，考量場景中物件的三維幾何態樣。因此，這兩組特徵點是根據超出二維平移之數學模型進行比對。有各種讓這兩組特徵點產生關係的轉換模型。一種常用涉及轉動及平移的剛性模型。令x i(i [1,m])及y j(j [1,q])分別為對應於影像IA及IB特徵點的3x1行向量。X及Y是以x i及y j作為各自行向量的3×m及3×q矩陣。特徵點y j是根據(Ry j(P)-t) x i與對應之x i比對，其中R表示3×3旋轉矩陣，t表示3×1平移向量，以及P對應於m×q置換矩陣，若x i與y j相配，則pij=1，否則為0。若使用L 2 (平方)誤差度量，則針對給定轉動R、平移t及置換P的L 2 誤差為：
若將3×q矩陣T定義為T=[t,t,…,t]，則可將以上的方程式重新寫成：
可藉由同時對所有可能的轉動及置換，將方程式(2)中的誤差計量最小化，以在這兩組特徵之間求出最佳比對，這可能造成難克服的計算負載。為了克服有關轉動及置換同時最佳化的計算複雜性問題，可將最佳化程序分成兩個子問題，並且使用2007年10月14至21日Proceedings of IEEE 11th International Conference on Computer Vision第1至8頁Li等人所提「The 3D-3D Registration Problem Revisited」中所述的迭代程序予以解決。給定影像資訊，可應用影像比對簡化用以求出對應性的置換步驟。通常是藉由隨機抽樣一致性算法(RANSAC)及最小平方中值法(LMS)實現求出最佳轉換。
要說明多個影像之間的特徵點關係，除了用於特徵式影像對正之轉動模型外，還有其他轉換模型。例如，Szeliski在2006年12月10日Microsoft Research Technical Report MSR-TR-2004-92之「Image Alignment and Stitching：A Tutorial」中說明一種模型，其涉及與每一個影像有關的轉動及相機焦距。接著將旋轉矩陣及焦距更新程序用於辨別最佳比對。拚接問題僅考量2D影像座標。可 使用底下的方程式計算兩組影像點之間的轉換： u i =H ij u j ,H ij =K i R i R j T K j -1 , (3) u i及u j是u i=[xi,yi,1]、u j=[xj,yj,1]的齊次坐標。K是包含焦距及其他相機參數的3×3相機內部矩陣。R i及R j是每一個相機之3×3旋轉矩陣。H ij是介於兩個影像之間的3×3轉換矩陣，亦稱為單應性。更一般而言，H ij可具有兩個未知數(平移)、四個未知數(平移加上轉動)、6個未知數(仿射)或8個未知數(投影)。一般而言，單應性表示兩個影像之間的線性轉換。
對於膠囊相機的應用，一連串影像係在行經胃腸道之進程期間予以收集。期望能辨認並且比對對應之部分、物件或區域，以及拼接影像以形成供檢視之較大複合圖片。以上所述用於辨認、比對及拚接影像的技術係與膠囊相機應用有關。然而，針對膠囊影像，這種情況更有挑戰性。首先，物件距離(胃腸道表面對相機)通常非常靠近。常用的仿射相機模型是一種近似法，其僅在影像中所看到這組點相較於離相機之距離其深度變化小時才有效。在膠囊相機系統環境中，管腔壁與相機之間的短距離、以及折疊或其他理由引起的管腔壁不平，導致仿射相機模型失效。轉而應考慮更複雜的模型，如：投影模型。
除了距離問題以外，胃腸道之蠕動還將在擷取的影像中造成明顯的動作。此一局部變形無法以先前所述的線性轉換處理。非線性轉換函數f將取代方程式(3)中的轉換矩陣H ij，亦即u i=f(u j)。此非線性轉換函數包括 薄板(thin-plate)、徑向基底(radial basis)函數等。解決這個問題涉及非常複雜的非線性最佳化程序。另一方面，由於膠囊影像的畫面播放速率較低(每數秒一個畫面至每秒鐘數個畫面的等級)，接續影像之間可有顯眼的動作。在大部分影像比對研究中，係假設場景隨著某些移動物件呈現靜態。移動物件所涵蓋的區域通常小於重疊區。因此，影像比對將總是有某些允許合理效能的重疊靜態區。另一方面，兩個接續膠囊影像有時因管腔壁變形及相機移動而可對應於兩個不同的管腔壁場景。根據本發明之一方法將膠囊內的多個相機用於同時擷取多個膠囊影像而改善相機的可靠性，其中這多個影像有重疊。由於是在相同的時間場合擷取兩個影像的重疊區，故這兩個重疊區之間不涉及相對動作。因此，每一個時間場合都可針對重疊區導出更可靠的剛性相機模型，而不用顧及多個相機在重疊區之間的任何動作。一旦每一個時間場合都組成較大的圖片，便可在不同時框之間拚接更多重疊區。已觀察到的是，對應於胃腸道某些區段的影像含有少數特徵。在本發明之一個具體實施例中，影像特徵的推導可基於影像強度、漸層以及明暗資訊。也有需要校驗近場照明。
第1A圖描述根據本發明一具體實施例之例示性多相機設置。鏡片101及鏡片102將視場(FOV)111及112中的各自場景投射到影像感測器之各自部分上。視場111及視場112具有重疊區120。如第1B圖所示，將對應於鏡片101及102之場景投射到影像感測器151及152之 各自部分上。如第1B圖所示，將把重疊區120中的場景投射至影像感測器151之區域161、以及影像感測器152之區域162。虛箭頭171及172表示重疊區120之中間線。鏡片101及102兩者都固定置於膠囊外殼(第1A圖未示)內。因此，得以維持這兩個鏡片之相對位置及方向。可將膠囊中相機的光學系統校驗成適當對齊這兩個鏡片。將在校驗後，把重疊區的中心線130投射至影像感測器之已知位置171及172。根據本發明之一設置，可適當安置影像感測器子區域151及152以使位置171及172對應於重疊區之中間。在週圍表面與相機有不同距離的情況下，無法將虛箭頭171及172置於重疊區161及162之中間線。第1A圖所示的多個相機設置可藉由組合對應於兩個各自視場之兩個影像以提供延伸之視場。
每一個影像中的重疊區都可藉由相機姿勢位置予以導出或約束。此外，可將相機姿勢參數用於初始化影像之間的轉換。在本發明之又另一具體實施例中，膠囊之一側正接觸胃腸道壁。因此，成像表面為圓柱的一部分。重疊區可藉由兩個相鄰相機之重疊視場決定。在一個具體實施例中，可將影像比對最佳化下至子像素。在另一具體實施例中，可使用相機中所儲存的校驗影像，導出多個相機之相機姿勢位置。在又另一具體實施例中，可將此等相機姿勢參數用於約束影像之間的轉換。
內影像拚接
第2圖描述本揭示中使用的某些命名慣 例。影像IA及IB表示兩個分別由影像感測器子區域151及152所擷取的影像。每一個影像都由非重疊區(IA’或IB’)及重疊區(IA” or IB”)組成。在校驗後，可決定重疊區IA”及IB”至一特定精確度。習知的相機系統一次僅擷取一個影像(例如：IA)。影像比對、對正以及貼合係基於對應之影像序列I Aj ，其中j為影像序列之時間索引。一合併本發明一具體實施例之例示性系統擷取兩個同時序列I Aj 及I Bj ，其包括兩個對應於重疊區之子序列I Aj” 及I Bj” 。
由於子序列I Aj” 及I Bj” 對應於相同場景，這可在比對及對正過程中施加另外的限制條件。例如，可在時間場合j，將基於轉動R ABj 以及焦距fAj 與fBj 之相機模型用於兩個影像I Aj” 與I Bj” 之間的影像比對及對正。換句話說，吾人可使用方程式(3)以說明這兩個影像之間的轉換。
在習知的系統中，僅擷取一個序列。特徵提取、影像比對及對正係基於這個單一序列進行的。在合併有根據本發明一具體實施例多個相機的系統中，可在個別影像序列上進行習知的特徵提取、影像比對及對正。另外，可依據改善之可靠性及/或更快之演算法收斂，將多個序列中的已知重疊區用於改善系統效能。給定M個相機以及每一個相機所擷取之N個影像，總共有N×M個影像。一種選擇是無任何限制條件拼接全組影像。兩個影像之間的每一個轉換都因胃腸道局部變形而使用非線性模型。另一種選擇是應用兩步驟式拚接以加速並且改善效能。每一個時間索引都有M個來自不同相機之影像。由於是在相同 時間將其擷取，M個影像之重疊區中應觀察到相同內容。換句話說，這M個影像之間沒有局部變形。為了方便起見，這M個由M個相機在相同時間擷取的影像係稱為內影像。因此，可使用解答更加簡單且快速的線性相機模型將M個影像拚接。可使用非線性相機模型拚接N個組成影像。為了避免轉換失誤，針對一組成影像內之M個內影像所導出的H矩陣，必須與多個相機之已知相機相對位置一致。若需要細化，可將相機中所儲存或另可得自其它方式的影像資料，用於決定多個相機之精確絕對及相對位置。
重疊區影像融合
藉由使用IAj及IBj而非兩個獨立影像「組成」寬影像，較易於讓使用者檢視兩個對應於兩個視場的影像。第3圖描述根據本發明一具體實施例使用線性加權及線性像差調整之影像融合實施例。由於相機光學器件經過適當校驗，故得以在兩條虛線171及172針對重疊區中之兩個相機場景對齊特定視角。影像組成之簡單方法可在虛線171及172藉由修剪及剪接達成。然而，對於具有各種深度的週圍表面可能並非如此。雖然如此，無縫影像組成仍可藉由將兩個重疊區「融合」達成。有更先進的融合/混合技術，如：拉氏金字塔混合法(Laplacian pyramid blending)及漸層域混合法(gradient domain blending)。基本上，混合發生於不同頻域。更多細節可在2006年10月10日Microsoft Research Technical Report MSR-TR-2004-92由Szeliski所著的“Image Alignment and Stitching：A Tutorial”中找到。
來自多個相機之序列之影像拚接
膠囊相機系統可在行經胃腸道之進程期間快拍數萬個圖片。對於具有數位無線傳輸或板上儲存器任一者之膠囊系統，將重新播放擷取之影像以供醫療專業人士分析及檢查。為了讓檢視更有效率，通常是將擷取之影像持續重新播放成視訊序列。診斷師可在重新播放期間，儘可能快且有效率地尋找息肉或其他關注點。播放可用可控制畫面播放速率進行，並且可增加以縮短檢視時間。由於擷取的影像數量大，即使是將其持續重新播放成影片，要看過全部影像將需要一陣子。例如，以每秒30格畫面檢視30,000個成為視訊序列之影像將需要16.67分鐘不停檢視。若考量為了密切檢查可能異常現象所進行的暫停、較低畫面重新播放以及逆檢索，要完成檢查將可能用到30分鐘或更長時間。典型膠囊影像通常具有比顯示裝置可支援者低很多的解析度。因此，通常僅使用顯示螢幕的一小部分。再者，接續影像通常含有實質重疊區。因此，作為將影像顯示成視訊序列的替代作法，可拚接影像以形成一或多個大複合影像。大複合影像對應於胃腸道內面的剖視圖。在另一具體實施例中，為了穿隧檢視而形成拚接影像。可在高解析度顯示裝置上顯示大複合影像，以允許醫療專業人士快速認出整條胃腸道的任何異常現象或胃腸道的良好部分。若複合影像大小比顯示裝置的解析度大，則可顯示縮小之複合影像。或者，可顯示一部分複合影像，並且 提供使用者介面以允許通過複合影像使用移動瀏覽。
影像拚接或影像鑲嵌技術在數位攝影領域屬於已知。對影像拚接或影像鑲嵌過程輸入一組影像，這組影像涵蓋一場景，並且在影像之間總是有重疊區以允許適當影像對齊。影像必須在拚接之前先對齊或比對。直接(像素式)對齊及特徵式對正兩者都可使用。時常將特徵式比對用於減少所需計算量。影像比對在這個階段通常是為了保持低計算負載而個別成對進行。然而，個別比對可能造成大量總對齊誤差。為了減少總對齊誤差，將一種稱為光束法平差(Bundle Adjustment)的過程應用於同時調整所有影像之姿勢參數。在光束法平差期間，將移除無法適當對正的影像以緩解影像組合期間的潛在人工假影。逐對影像在光束法平差後已備妥要進行拚接或複合以產生較大圖片。所有影像都對正後，可針對所選擇之複合表面及檢視進行最終影像組合。接著使用適當加權及混合，將來源像素映射至最終複合表面。
由於胃腸道壁之焦距及局部移動較短，相較於數位攝影，膠囊影像的影像拚接更有挑戰性。再者，除了縱向移動外，膠囊相機在行經胃腸道時還可旋轉。第4A圖描述雙相機側視膠囊裝置經受膠囊旋轉所擷取影像之實施例，其中水平方向沿著胃腸道對應於縱向。膠囊旋轉將使擷取之影像垂直於縱向移位(亦即上移及下移)。由於膠囊裝置是由胃腸道之蠕動所推動，畫面至畫面的移動量無法均勻。
在習知的影像拚接方法中，每一對影像的重疊區都是在影像比對期間固有決定的。基本上，特徵提取及比對將跨越整個影像予以應用。所以，大部分相配特徵對都置於重疊區中。在根據本發明之系統中，每一對影像中的重疊區都可基於動作資訊予以決定。動作估測技術在本領域屬於已知。可將區塊式動作估測或光流式動作估測用於決定每一對影像中的重疊區。僅管動作估測可涉及大量計算，根據本發明之系統已可為了達成高效影像壓縮而使用動作估測。因此，將動作估測用於決定影像對中的重疊區無需任何另外的計算。動作估測用於影像拚接之目標在於決定重疊區。因此，全域動作向量為了這個目的將足夠。於是，所需的動作估測類型為全域動作估測。若使用局部動作估測，則可藉由處理局部動作向量或動作場而導出全域動作向量。例如，可挑選主導性動作向量作為全域動作向量。可藉由在影像對中辨別重疊區，將特徵式或像素式影像比對應用於重疊區，用以加速影像比對過程。
膠囊在胃腸道中行進時也可傾斜。膠囊傾斜將使擷取之影像順著縱向旋轉。第4B圖描述相機傾斜造成影像轉動的實施例。大部分動作估測技術都假設平移模型，並且未考量影像轉動。為了決定膠囊傾角，所選擇的動作估測技術將能夠操控影像轉動。或者，由於特徵式影像比對時常在影像比對模型中包括旋轉矩陣，可在影像比對過程期間，固有地注意影像轉動。膠囊裝置也可配有陀螺儀、加速計或電子羅盤以決定3D膠囊動作。在這種 情況下，可讀出並且將膠囊傾斜及/或移動參數用於輔助影像拚接。在第4A圖及第4B圖中，將兩次擷取所得之影像融合以形成寬影像。在另類組態中，兩個對應的相機可形成兩個獨立影像序列。可先在個別影像序列上進行影像拚接。接著可融合兩個拚接之複合影像以形成寬的拚接之複合影像。一替代解決方案是在每一個時間場合都將兩個來自兩個相機之影像拼接。由於在擷取兩個內影像時場景中未出現變動，此方案將較為容易。接著可在寬的拚接之影像序列上進行影像拚接。
在膠囊相機系統環境中，藉由膠囊系統提供並且控制照明光源。因此，光條件為已知。在一個本發明之具體實施例中，儲存影像之光線條件。可在影像拚接期間，取出並且將照明資訊用於補償照明變化。
可在一段時間拍攝供拚接之影像。在這段期間內可有物件動作。複合影像之每一個區域都可在影像拚接期間，從多個影像求出其對應性。混合這些對應區域，以在用於數位攝影之習知影像拼接中，獲得最終複合影像。由於影像中的動作，基於平均、中位數篩選(median filter)、或加權總和之影像混合將造成模糊(或雙影像)。為了產生非模糊複合影像供數位攝影應用，已在這領域開發各種先進影像混合技術。例如，2006年12月10日Microsoft Research Technical Report MSR-TR-2004-92由Szeliski所著的“Image Alignment and Stitching：A Tutorial”中提出稱為p-norm、Vornoi、weighted ROD vertex cover with feathering、graph cut seams with Poisson、拉氏金字塔混合法、漸層域混合法等影像混合技術。這些先進混合技術通常基於特定準則，自一影像選取用於混合之一或多個像素。儘管此類影像混合技術可產生非模糊複合影像，複合影像中某些物件及局部變形仍不可見。膠囊影像應用無法接受模糊物件，也無法接受遺漏物件。為了克服這些問題，根據本發明之系統對複合影像使用時空表示，這將能夠說明拚接場景之時變本質。
就胃腸道的特性而論，在本發明之一個具體實施例中，係藉由如彈性光譜成像色彩增強等色彩空間轉換預處理擷取之影像。這將改善影像特徵可見度及拚接效能。
給定排便之本質，膠囊可在一處停留一段時間，並且擷取相同場景之多個影像。在本發明之一個具體實施例中，可將相鄰影像之差異用於移除多餘影像。也可考慮將照明變異及漸層資訊用於評估相鄰影像之差異。於是，可實質縮減影像序列之大小及讀取時間。
時空表示
在本發明之一個具體實施例中，時空表示針對每一個由使用者所選擇之時間場合顯示靜態複合影像。例如，所有個別影像在時間索引1都將於第一影像坐標上翹曲。藉由將第一影像當作參考，第一影像所擷取之局部變形將顯示於第一複合影像中。在任何時間場合都可將捲軸用於允許使用者瀏覽時空影像。藉由將軸捲動至時 間索引i，螢幕上將顯示在第i個影像坐標上所有個別影像都翹曲之新複合影像。因此，可觀察藉由第i個影像擷取之局部變形。無論捲軸指標在何處，目前時間索引之局部變形將在螢幕上顯示，並且其他影像也將翹曲並且適用於目前時間。
對於某些胃腸道未清理好的區段，舉例而言，食物殘渣將在影像中出現。就診斷觀點而言，這可能沒有用，但卻可提供重要的影像特徵。在本發明之一個具體實施例中，將把色彩及圖樣分析應用於在拚接之前，從影像移除那些區域。也可將相同技術應用於移除有氣泡或水珠的情境(session)。可將機器學習演算法應用於檢測那些不想要的影像區域。
對於某些胃腸道無明顯影像強度及漸層特徵的區段，將把明暗資訊用於大致估計表面深度。可使用這個方法從估計之深度映射檢測如表面下腫瘤等病理特徵。在本發明之一個具體實施例中，若檢測到此類病理特徵，則將單純地把兩個影像堆疊在一起以避免遺失任何資訊。除了堆疊兩個影像外，將一影像重疊在另一者上面還可用於節省儲存器及讀取時間兩者，前提是未顯示病理特徵。可根據上述方法產生連續時空表示。
在本發明之另一具體實施例中，影像501至504對應於從t-2至t+1擷取之翹曲影像，如第5圖所示。使用者可選擇檢閱翹曲前的原始影像505至508。若相機數量等於一，則原始影像可為原來擷取之影像。否則，原 始影像表示來自由多個相機所擷取內影像之組成影像。根據本發明一具體實施例之使用者介面將顯示對應於影像501至504之組成影像。使用者可點選組成影像之任何區段，接著將顯示所有相關原始影像505至508。
第6圖表示使用者正從時間t至t-1(倒退)瀏覽時，根據本發明一具體實施例之時空表示實施例的複合影像。儘管第6圖描述水平捲動之實施例，垂直捲動也是可實現的。提供捲軸630以允許使用者跨越影像序列捲動。影像604表示在時間t所擷取單一之擷取影像或來自多個相機之複合影像。區域603顯示時間t時之局部變形。複合影像609對應於從t-4至t+3擷取之所有鄰接影像。如第6圖所示，在顯示視窗620中顯示複合影像。使用者可客製化鄰接影像之數量。所有鄰接影像都使用影像604以時間t為參考而翹曲。對應於原在時間t-1時所擷取影像(亦即影像606及區域605)之翹曲影像602及翹曲局部變形區域601，係示於第6圖中其應在時間t時出現的位置。當使用者將工具列捲回時間索引t-1時，將顯示另一複合影像610。在這個影像中，所有鄰接影像都以影像606作為參考而翹曲。影像區域605顯示在時間t-1時擷取之局部變形。對應於原在時間t時所擷取影像(亦即影像604及區域603)之翹曲影像608及翹曲局部變形區域607，係示於第6圖中其應在時間t-1時出現的位置。
在第6圖所示的具體實施例中，係以動態方式進行影像拚接。每一個有局部移動之區段都針對一特 定週期之不同時間場合拚接影像。由於膠囊裝置在胃腸道中行進較慢，每一個區段都可對應於多個接續影像之間的重疊區。因此，可呈現有局部移動之區段的時空表示。
在本發明之另一具體實施例中，時空表示將靜態複合影像循序顯示成影片。例如，本發明之一具體實施例可將每一個從t-4至t+3擷取之影像當作參考，用於顯示一系列來自複合影像之個別影像，而非顯示時間t時對應於複合影像609之靜態影像。於是，使用者不須要手動來回捲動。可由使用者選擇顯示此系列個別影像(如：從t-4至t+3)之時間視窗。將為了更好的空間時間視覺效果而顯示含鄰接變形之影片。拚接影像持續但平順之動作類似自然排便。用於產生拚接影像過程，也降低時常在習知膠囊影片中注意到與相機移動有關的抖動。
在本發明之一個具體實施例中，使用者可在瀏覽整個時空顯示時指定步驟。例如，目前顯示視窗顯示如第6圖中所示，一連串鄰接影像從時間索引t-4至t+3之複合影像或複合影片。在快轉時，步進也可前進到已與從t-4至t+3之週期重疊之下一個時間週期，而非單一畫面從t-3開始到t+4之步進。例如，步進可從t至t+8移至下一個週期。這可縮短讀取時間而不遺失跨越兩個顯示節段之邊界的資訊。
在本發明之一個具體實施例中，使用者可選取關鍵畫面作為參考，而非循序將每一個畫面當作參考來顯示複合影像。用以選取關鍵畫面之一項選擇是基於自 然排便。可將胃腸道之最大收縮及鬆弛視為關鍵事件，如：第7圖中的畫面ti+1、ti+4及ti+7。可藉由考量光源變化而實現此類關鍵事件之檢測。於是，得以追蹤光源變化。為了確保照明條件不變，來自膠囊之光照係自動調整。當胃腸道收縮時，膠囊靠近壁部，並且需要的光照較少。另一方面，當胃腸道鬆弛時，膠囊遠離壁部，並且提供良好影像品質所需的光照較多。藉由選擇周圍組織的反射模型(例如：朗伯面(Lambertian surface))，影像強度、輸入近場照明強度、以及光源與壁面之間距離之間的關聯性可根據底下的方程式予以說明： 其中I表示影像強度、φ是將表面光亮度映射至影像強度之相機回應函數、ρ是表示表面反射屬性之表面反照率。假設有V個光源，總表面光亮度為所有光源貢獻的加總。是第i個光源之強度/力度(strength)，是表面法線，γ i 是光源與表面場景點之間的距離。若光源之方向在調整光源時未變更，則輸入光線與表面法線之間的夾角將維持相同。距離愈遠，表面光亮度便愈暗，且更加需要光照。可藉由追蹤光照變化檢測胃腸道之收縮及鬆弛。因此，可將所觀察對應於最大及最小光照之畫面當作關鍵畫面。事先移除外生內容之效應，尤其是糞便內容，以避免影響光強度/影像強度之計算。可藉由不同色彩及/或其他手段之 比率以辨別糞便內容。此類關鍵畫面之檢測不受限於上述方法。例如，也可將機器學習方法用於檢測不同排便圖樣。上述時空表示縮短讀取時間，並且以更簡明的方式顯示胃腸道。
在本發明之另一具體實施例中，由於從不同角度檢視可為使用者提供不同資訊，故可將膠囊的轉動角度用於表示關鍵事件，而非將排便用於選取關鍵畫面。給定相鄰影像與經校驗相機內部矩陣K之間經過計算之轉換H，可基於方程式(3)估計相鄰影像之間的轉動角度。藉由使用者自動或手動選擇作為參考的影像，可將這些轉動角度分類成許多類別，如第8圖所示。影像ti及ti+2屬於群組1，影像ti+1、ti+5、ti+6、ti+8及ti+9屬於群組2，並且影像ti+3、ti+4及ti+7屬於群組3。每一個群組都可選擇一畫面作為關鍵畫面。另外，所有這些畫面都可選自時間視窗，其中大小是由使用者預先定義或選擇。
在如第9圖所示本發明之一個具體實施例中，腸道狀態901描述排便從鬆弛至收縮的中間狀態。腸道狀態902(粗體圓圈)描述胃腸道之收縮。腸道狀態903(虛圓)描述排便從收縮至鬆弛之中間狀態。腸道狀態904(粗體虛圓)描述胃腸道之鬆弛。可將排便分類成許多階段。例如，階段I表示收縮(902)，階段II表示鬆弛(904)，並且階段III表示中性狀態(901及903)。在時間ti擷取對應於腸道狀態901之影像ti。在時間ti+q1擷取對應於腸道狀態902之影像ti+q1。在時間ti+q2擷取對應於腸道狀 態903之影像ti+q2。在時間ti+q3擷取對應於腸道狀態904之影像ti+q3。每秒鐘通常出現數次膠囊影像擷取。因此，膠囊在這從ti至ti+q之時間視窗期間行進不多。若根據蠕動階段(亦即腸道收縮/鬆弛之狀態)將影像分組，每一組之影像即使未順著時間方向連續，仍可充分重疊。每一組/階段都可進行影像拼接，而非如上述將這從ti至ti+q之時間視窗中所有影像用於拚接。整個時間視窗僅必須顯示少數不同階段之少數拚接影像。階段數量反映階段變動將顯示的細節程度，這可由使用者決定。於是，可避免因不同階段之間變形大所導致具有寄生效應的拚接影像。
在如第10圖所示本發明之另一具體實施例中，關鍵影像1001至1003對應於三個因膠囊轉動從不同角度擷取之影像。在正常擷取頻率下，膠囊在這從ti至ti+q之時間視窗期間未行進太多。若根據不同角度將影像分組，每一組影像即使未順著時間方向連續，仍然充分重疊。僅拼接每一組/角度影像，而非如前述將這從ti至ti+q之時間視窗之所有影像用於拚接。對於整個時間視窗，三個不同角度僅需三個拚接影像。角度數量反映角度變動將顯示的細節程度，這可由使用者決定。可由使用者決定用於計算相鄰影像之間角度的參考影像。於是，可避免因不同檢視方向之間含糊度大所導致具有寄生效應的拚接影像。
第11圖顯示本發明之另一具體實施例。腸道狀態1101描述排便從鬆弛至收縮之中間狀態。腸道狀態1102(粗體圓圈)描述胃腸道之收縮。腸道狀態1103(虛 圓)描述排便從收縮至鬆弛之中間狀態。腸道狀態1104(粗體虛圓)描述胃腸道之鬆弛。可將排便分類成多個階段。例如，階段I表示收縮1102，階段II表示鬆弛1304，並且階段III表示中性狀態(1101及1103)。在時間ti擷取對應於腸道狀態1101之影像ti。在時間ti+q1擷取對應於腸道狀態1102之影像ti+q1。類似的是，分別在時間ti+q2及ti+q3擷取對應於腸道狀態1103及1104之影像ti+q2及ti+q3。在時間ti+qm+1擷取對應於腸道狀態1105之影像ti+qm+1。在時間ti+qm+2擷取對應於腸道狀態1106之影像ti+qm+2。在時間ti+qm+3擷取對應於腸道狀態1107之影像ti+qm+3。膠囊僅從ti+qm+1至ti+qm+3擷取與階段I及III有關的影像，原因有許多，如：壞影像、遮蔽等。因此，與階段II有關的影像在進行拚接時，從ti+qm+1至ti+qm+3將有間隙。當間隙大到無法在兩個相鄰階段II影像之間產生任何重疊時，將把拚接之影像分成兩部分以供顯示。
在如第12圖所示本發明之另一具體實施例中，關鍵影像1201至1203表示三個因膠囊轉動從不同角度擷取之影像。在正常擷取頻率下，膠囊在從ti至ti+q之時間視窗期間未行進太多。若根據轉動角度將影像分組，每一組影像即使未順著時間方向連續，仍然充分重疊。在這種情況下，由於膠囊在前行時未很常旋轉180°，故從ti+qm+1至ti+qm+3之時間視窗僅擷取對應於兩個角度群組之影像。影像1204及1206與影像1203屬於相同群組。影 像1205與影像1202屬於相同群組。因此，影像1201所屬群組在拚接影像時，從ti+qm+1至ti+qm+3將有間隙。根據本發明之一具體實施例，當間隙大到無法在此群組中兩個相鄰影像之間產生任何重疊時，係把拚接之影像分成兩部分以供顯示。
在本發明之一個具體實施例中，根據角度或階段將影像分組前，應用影像比對。位於群組邊界處之影像將與各自群組中之相鄰影像比對。將把這個影像指定給最相配的群組。
在本發明之另一具體實施例中，可將統計資訊用於影像分組。在時間視窗(如第9至12圖中的ti至ti+q)內計算影像階段或角度之統計分布。可根據統計資料將局部最大數(number of local maximum)用於將影像分組。拚接之影像提供對應於原擷取角度或階段之最佳表示。
在本發明之一個具體實施例中，一次顯示一個具有局部變形之區段。例如，區塊A、B、C、D及E表示如第13A圖所示影像序列不同時間節段中的不同局部變形。節段A對應於從ti至ti+2發生的變形，節段B對應於從ti+2至ti+12發生的變形，節段C對應於從ti+12至ti+15發生的變形，節段D對應於從ti+15至ti+22發生的變形，並且節段E對應於從ti+22至ti+29發生的變形。最長的變形為延續10秒的B。然而，使用者可能必須付出29秒以觀察所有的局部變形。若這些節段的影像總數量非常大，可能要長時間才能催動所有與這些節段有關的局部變形。為了加 速動態顯示，可將具有局部變形之節段區分成多個群組，每一組都由如同第13A圖描述之變形所組成。例如，節段A表示胃腸道之收縮，並且節段B表示胃腸道之鬆弛。這可在這些節段內的複合影像上，藉由應用局部變形偵測及分割來達成。可在動作中同時顯示群組，並且一次可重新播放一個與每一組有關的節段，如第13B圖所示。可在分割後同時開始顯示節段A、B、C、D及E。如第13B圖所示，較短區段(如：節段A)之顯示可重複多次。於是，可實質縮短需要的顯示時間。第13B圖中的實施例描述可將顯示時間從29秒縮短至10秒的案例。可將跨越相鄰群組之邊界的混合應用於確保顯示平順。
在本發明之一個具體實施例中，可將雲端運算用於減輕本地機器上的計算負載，如第14A圖所示。膠囊一旦取出，便可將所有擷取之影像上傳至雲端。所有如檢測特徵、計算影像對應性與轉換、以及影像翹曲與混合等計算都可在雲端實現。接著可將由拚接之大影像所組成經預先計算之多個視訊流下載到本地機器以供顯示。相較於原始影片大小，新影片之每一個畫面都對應於由u×v個原始影像所組成之複合影像，其中u是每一個相機所擷取畫面之數量，以及v是相機的數量。因此，新影片需要極大的儲存空間及/或長下載時間。為了解決這個問題，雲端中僅計算所有影像對之間的轉換。每一個複合影像之混合及最終呈現是如第14B圖所示，在本地機器上進行的。
使用四個相機擴充至360°全視野全景膠囊
第1A圖描述具有重疊視場之兩個相機的實施例。在本發明之一個具體實施例中，如第15圖所示使用四個相機。這四個相機係配置成使兩個鄰接相機之視場中心實質分開90°。這四個相機之四個鏡片(1501至1504)具有各自的視場1511至1514。兩個鄰接的視場具有重疊區1531至1534。這四個相機係配置成涵蓋群集之360°視場。
本系統係配置成實質同時從四個相機擷取影像。重疊區中的場景係由兩個鄰接相機同時擷取。如前述，可針對兩個鄰接相機，將內影像式姿勢估測用於改善姿勢估測的精確度。四個視場遭受環繞，並且四個鏡片之間有四個重疊區。可擴充內影像式姿勢估測以包括四個視場涵蓋360°的事實。例如，對於與鏡片1501及1502有關的相機，可將1531中與重疊區有關的影像用於輔助姿勢估測。對於與鏡片1502及1503有關的相機，可將1532中與重疊區有關的影像用於輔助姿勢估測。對於與鏡片1503及1504有關的相機，可將1533中與重疊區有關的影像用於輔助姿勢估測。再者，對於與鏡片1504及1501有關的相機，可將1534中與重疊區有關的影像用於輔助姿勢估測。內影像式姿勢估測之四捨五入(round)形成圓圈。若基於鏡片1501有關影像之姿勢估測與基於循環鏈之姿勢估測之間有任何矛盾，則誤差可透過另一循環鏈藉由重複姿勢估測而調整。
膠囊可在行經胃腸道時旋轉。膠囊旋轉的 效應將使擷取之影像如第4A圖所示上移及下移。對於360°全視野全景膠囊，來自四個相機之組成寬影像對應於全視野全景影像。擷取之影像將在膠囊旋轉時，如第16A圖所示順著垂直方向循環移位。陰影區對應於兩個相機之間的融合區域。全視野全景影像有四個融合區域。雖然如此，為了簡單起見，每一個影像中僅顯示一個融合區域。膠囊旋轉可藉由動作估測予以檢測。虛線是指關於第一影像之相對影像邊緣。本發明之一具體實施例將全域動作估測用於決定相機旋轉量，並且可補償旋轉。第16B圖描述轉動經補償影像之實施例。膠囊裝置也可配有陀螺儀、加速計或電子羅盤以決定相機轉動。膠囊轉動資訊可從裝置讀出並且用於轉動補償。
可用其他特定形式體現本發明而不脫離其精神或重要特性。要在所有態樣中將所述的實施例僅視為描述性並且非限制性。因此，本發明之範圍係由所附申請專利範圍而非前述說明所指示。申請專利範圍均等含義及範圍內的所有變更都要包含在其範圍內。
501‧‧‧影像
502‧‧‧影像
503‧‧‧影像
504‧‧‧影像
505‧‧‧原始影像
506‧‧‧原始影像
507‧‧‧原始影像
508‧‧‧原始影像

Claims (18)

  1. 一種顯示人類胃腸(GI)道的影像之方法，該等影像係使用含複數個相機之膠囊裝置予以擷取，其中該複數個相機係固定配置在膠囊外殼內，並且該複數個相機之任意兩個鄰接相機具有重疊視場(FOV)，該方法包含：接收由該複數個相機所分別擷取的複數個影像序列，其中該複數個影像序列包含多組內影像，並且第i組內影像對應於該複數個相機於時間索引i所擷取的同時影像；藉由拚接該多組內影像而產生複合影像，其中，該多組內影像對應於不同的時間實例；以及在顯示裝置上顯示該複合影像。
  2. 如申請專利範圍第1項所述之方法，其中係先將每一個影像序列內對應於每一個相機之影像成員拚接以形成子複合影像，並且接著將對應於該複數個相機之該等子複合影像融合以形成該複合影像。
  3. 如申請專利範圍第1項所述之方法，其中係先將每一組內影像中的影像成員融合以產生寬影像，並且基於多個寬影像產生該複合影像，其中每一個寬影像對應於一組內影像。
  4. 如申請專利範圍第1項所述之方法，其中係將該複數個影像序列中相鄰影像之間的差異用於決定多餘影像，將該多餘影像從該拚接該多組內影像排除。
  5. 如申請專利範圍第1項所述之方法，其中一影像序列 中兩個鄰接影像的特徵係予以檢測，並且若該兩個鄰接影像的特徵不同，則不將該兩個鄰接影像拚接成該複合影像。
  6. 如申請專利範圍第1項所述之方法，其中係將相機傾斜參數、相機轉動參數、或相機平移參數用於輔助拚接該多組內影像。
  7. 如申請專利範圍第1項所述之方法，其中該拚接該多組內影像使用光條件補償該複數個影像序列內的照明變化，其中與該光條件有關之光條件係從該膠囊裝置取出。
  8. 如申請專利範圍第1項所述之方法，其更包含基於所選擇時間索引之該組內影像使該複數個影像序列之該多組內影像翹曲，以對於該所選擇時間索引之該組內影像產生多組翹曲之內影像，其中該產生該複合影像係針對該所選擇時間索引而進行的，該拚接該多組內影像係基於該多組翹曲之內影像，該多組翹曲之內影像有關對應於該所選擇時間索引之該組內影像，並且該顯示該複合影像對應於顯示該所選擇索引之該複合影像。
  9. 如申請專利範圍第8項所述之方法，其中該所選擇時間索引係透過使用者介面由使用者選擇。
  10. 如申請專利範圍第8項所述之方法，與該複數個影像序列有關的影像特徵係為翹曲該複數個影像序列之該多組內影像或為拚接該多組翹曲之內影像而被提取。
  11. 一種顯示人類胃腸(GI)道影像之方法，該等人類胃腸(GI)道影像係使用膠囊相機擷取，該方法包含：接收由相機所擷取之影像序列；根據與該影像序列中每一個影像有關之影像特性，從該影像序列選擇一組關鍵影像；基於一關鍵影像令該影像序列中的該等影像翹曲以產生關於該關鍵影像之翹曲影像；基於關於該關鍵影像之該等翹曲影像，產生與該關鍵影像有關的複合影像；以及顯示該關鍵影像之該複合影像。
  12. 如申請專利範圍第11項所述之方法，其中根據該影像特性將該影像序列中的該等影像區分成多個群組。
  13. 如申請專利範圍第12項所述之方法，其中一關鍵影像係選自該多個群組之每一者。
  14. 如申請專利範圍第11項所述之方法，其中該影像特性對應於與該影像序列中每一個影像有關之蠕動階段。
  15. 如申請專利範圍第14項所述之方法，其中與每一個影像有關之該蠕動階段係決定自該相機所放射之光強度及每一個影像之影像強度。
  16. 如申請專利範圍第11項所述之方法，其中該影像特性對應於與該影像序列中每一個影像有關之膠囊轉動角。
  17. 如申請專利範圍第16項所述之方法，其中該膠囊轉動角係使用基於鄰接影像之動作估測予以決定。
  18. 如申請專利範圍第16項所述之方法，其中該膠囊轉動角係由膠囊相機配置之陀螺儀、加速計或電子羅盤所決定。
TW103118368A 2013-05-29 2014-05-27 從活體內多相機膠囊重建影像 TWI532460B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361828653P 2013-05-29 2013-05-29

Publications (2)

Publication Number Publication Date
TW201509363A TW201509363A (zh) 2015-03-16
TWI532460B true TWI532460B (zh) 2016-05-11

Family

ID=51989512

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103118368A TWI532460B (zh) 2013-05-29 2014-05-27 從活體內多相機膠囊重建影像

Country Status (6)

Country Link
US (3) US10068334B2 (zh)
EP (1) EP3005232A4 (zh)
JP (1) JP2016519968A (zh)
CN (3) CN105308621B (zh)
TW (1) TWI532460B (zh)
WO (2) WO2014193670A2 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600703B2 (en) * 2013-03-15 2017-03-21 Cognex Corporation Systems and methods for sorting image acquisition settings for pattern stitching and decoding using multiple captured images
CN104918534B (zh) * 2013-03-19 2017-03-15 奥林巴斯株式会社 内窥镜***
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2016160862A1 (en) * 2015-04-01 2016-10-06 Capso Vision Inc Method of overlap-dependent image stitching for images captured using a capsule camera
CN105308621B (zh) * 2013-05-29 2019-05-21 王康怀 从活体内多相机胶囊重建影像
US10212361B2 (en) * 2013-06-28 2019-02-19 Sony Corporation Information processing device, information processing method, and information processing system
US20150045619A1 (en) * 2013-08-09 2015-02-12 Chang Bing Show Chwan Memorial Hospital System and method for mosaicing endoscope images using wide angle view endoscope
KR20150026201A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
JP5942044B2 (ja) * 2014-02-14 2016-06-29 オリンパス株式会社 内視鏡システム
US11120547B2 (en) * 2014-06-01 2021-09-14 CapsoVision, Inc. Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
JP6017729B2 (ja) * 2014-06-27 2016-11-02 オリンパス株式会社 内視鏡システム
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US20160295126A1 (en) * 2015-04-03 2016-10-06 Capso Vision, Inc. Image Stitching with Local Deformation for in vivo Capsule Images
WO2016165016A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis-panorama
JP6072400B1 (ja) * 2015-07-28 2017-02-01 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2017044987A2 (en) * 2015-09-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal
EP3443416A4 (en) * 2016-04-28 2019-03-20 SZ DJI Technology Co., Ltd. SYSTEMS AND METHOD FOR GENERATING A SPHERICAL PANORAMIC IMAGE
US10257417B2 (en) 2016-05-24 2019-04-09 Microsoft Technology Licensing, Llc Method and apparatus for generating panoramic images
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10943342B2 (en) 2016-11-30 2021-03-09 Capsovision Inc. Method and apparatus for image stitching of images captured using a capsule camera
US10571679B2 (en) * 2017-01-06 2020-02-25 Karl Storz Imaging, Inc. Endoscope incorporating multiple image sensors for increased resolution
US10038894B1 (en) 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
WO2018186758A1 (en) * 2017-04-07 2018-10-11 Auckland Uniservices Limited System for transmitting and viewing a series of images
WO2018194599A1 (en) * 2017-04-19 2018-10-25 CapsoVision, Inc. Method of image processing and display for images captured by a capsule camera
US10742940B2 (en) 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
US11044445B2 (en) 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
EP3660786A4 (en) * 2017-07-25 2020-08-05 FUJIFILM Corporation METHOD FOR GENERATING A DAMAGE DIAGRAM, DEVICE FOR GENERATING A DAMAGE DIAGRAM, SYSTEM FOR GENERATING A DAMAGE DIAGRAM AND RECORDING MEDIUM
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US10699163B1 (en) * 2017-08-18 2020-06-30 Massachusetts Institute Of Technology Methods and apparatus for classification
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
US11039084B2 (en) 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
US11173785B2 (en) 2017-12-01 2021-11-16 Caterpillar Inc. Operator assistance vision system
US10510145B2 (en) * 2017-12-27 2019-12-17 Industrial Technology Research Institute Medical image comparison method and system thereof
US11055348B2 (en) * 2017-12-29 2021-07-06 Facebook, Inc. Systems and methods for automatically generating stitched media content
US11514579B2 (en) * 2018-06-04 2022-11-29 University Of Central Florida Research Foundation, Inc. Deformable capsules for object detection
US11857151B2 (en) * 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
US20200104977A1 (en) * 2018-09-30 2020-04-02 Augentix Inc. Method of Adaptive Image Stitching and Image Processing Device
US10506921B1 (en) * 2018-10-11 2019-12-17 Capso Vision Inc Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract
US20200118287A1 (en) * 2018-10-16 2020-04-16 Augentix Inc. Method of Assembly Calibration for Multi-Camera system and Related Device
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
WO2020142589A1 (en) * 2019-01-04 2020-07-09 Gopro, Inc. Face detection in spherical images
CN109934276B (zh) * 2019-03-05 2020-11-17 安翰科技(武汉)股份有限公司 基于迁移学习的胶囊内窥镜图像分类***及方法
CN109934772B (zh) 2019-03-11 2023-10-27 影石创新科技股份有限公司 一种图像融合方法、装置及便携式终端
WO2020190894A1 (en) 2019-03-15 2020-09-24 VergeSense, Inc. Arrival detection for battery-powered optical sensors
US11688048B2 (en) * 2019-04-03 2023-06-27 Digital Check Corp. Image stitching from multiple line scanners
KR102045871B1 (ko) * 2019-06-07 2019-11-18 주식회사 창성에이스산업 인공지능 기술에 기반한 화재감지시스템 및 인공지능 기술에 기반한 화재감지방법
US11191423B1 (en) 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging
CN110501344A (zh) * 2019-08-30 2019-11-26 无锡先导智能装备股份有限公司 电池物料在线检测方法
US11620808B2 (en) 2019-09-25 2023-04-04 VergeSense, Inc. Method for detecting human occupancy and activity in a work area
TWI759657B (zh) * 2019-12-05 2022-04-01 晶睿通訊股份有限公司 影像拼接方法及其相關監控攝影設備
AU2021281502A1 (en) * 2020-05-26 2023-01-19 Hover Inc. Systems and methods for image capture
CN111738300A (zh) * 2020-05-27 2020-10-02 复旦大学 一种交通标志及信号灯检测和识别的优化算法
US11972561B2 (en) * 2020-08-06 2024-04-30 Canon U.S.A., Inc. Auto-pullback triggering method for intracoronary imaging apparatuses or systems using blood clearing
US11602267B2 (en) 2020-08-28 2023-03-14 Karl Storz Imaging, Inc. Endoscopic system incorporating multiple image sensors for increased resolution
CN115841537A (zh) * 2020-10-19 2023-03-24 深圳硅基智控科技有限公司 组织腔体的三维图像的重建方法
CN113222820B (zh) * 2021-05-20 2024-05-07 北京航空航天大学 一种位姿信息辅助的航空遥感图像拼接方法
CN117918022A (zh) * 2021-09-16 2024-04-23 索高视觉有限公司 用不同内窥镜单元获取的图像的配准
DE102021133252A1 (de) 2021-12-15 2023-06-15 Karl Storz Se & Co. Kg Endoskopische Kapsel
DE102021133248B4 (de) 2021-12-15 2023-06-29 Karl Storz Se & Co. Kg Endoskopie-Vorrichtung und Endoskopie-System
CN114519671B (zh) * 2022-02-16 2022-11-01 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN114419041B (zh) * 2022-03-29 2022-06-21 武汉大学 病灶颜色的识别方法及装置
DE202023101183U1 (de) 2023-03-12 2023-03-22 Kusum Yadav Auf künstlicher Intelligenz und IoT basierendes intelligentes Gesundheitssystem, das Bildverarbeitung und tiefes Lernen nutzt, um chronischen Magen-Darm-Erkrankungen vorzubeugen und sie vorherzusagen
CN116912302B (zh) * 2023-09-12 2023-12-01 湖南大学 一种基于深度图像配准网络的高精度成像方法及***

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
US5547455A (en) * 1994-03-30 1996-08-20 Medical Media Systems Electronically steerable endoscope
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US5986668A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6081278A (en) * 1998-06-11 2000-06-27 Chen; Shenchang Eric Animation object having multiple resolution format
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
JP2002042109A (ja) * 2000-07-21 2002-02-08 Topcon Corp 医用画像合成処理装置及び方法並びに記憶媒体
EP1393567B1 (en) * 2001-01-16 2011-08-31 Given Imaging Ltd. System and method for wide field imaging of body lumens
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
JP4550048B2 (ja) * 2003-05-01 2010-09-22 ギブン イメージング リミテッド パノラマ視野の撮像装置
JP4631057B2 (ja) * 2004-02-18 2011-02-16 国立大学法人大阪大学 内視鏡システム
US20050215876A1 (en) * 2004-03-25 2005-09-29 Eastman Kodak Company Method and system for automatic image adjustment for in vivo image diagnosis
US8602971B2 (en) * 2004-09-24 2013-12-10 Vivid Medical. Inc. Opto-Electronic illumination and vision module for endoscopy
US20100010300A1 (en) * 2004-12-30 2010-01-14 Given Imaging Ltd. Device, System and Method for Orienting a Sensor In-Vivo
US7813590B2 (en) * 2005-05-13 2010-10-12 Given Imaging Ltd. System and method for displaying an in-vivo image stream
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
CN1920882A (zh) * 2005-08-24 2007-02-28 西门子共同研究公司 基于显著区域特征的医学图像三维多模配准的***和方法
US20070116119A1 (en) * 2005-11-23 2007-05-24 Capso Vision, Inc. Movement detection and construction of an "actual reality" image
JP5308615B2 (ja) * 2005-12-09 2013-10-09 株式会社アールエフ 医療システム
CN101449573B (zh) * 2006-01-18 2013-02-27 康生科技公司 具有全景照相机的体内传感器
ATE487995T1 (de) * 2006-03-13 2010-11-15 Given Imaging Ltd Kaskadenanalyse zur darmkontraktionsdetektion
WO2008012701A1 (en) * 2006-07-24 2008-01-31 Philips Intellectual Property And Standards Gmbh Capsule camera with variable illumination of the surrounding tissue
US9007478B2 (en) * 2007-01-09 2015-04-14 Capso Vision, Inc. Methods to compensate manufacturing variations and design imperfections in a capsule camera
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US7978932B2 (en) * 2007-08-02 2011-07-12 Mauna Kea Technologies Robust mosaicing method, notably with correction of motion distortions and tissue deformations for in vivo fibered microscopy
US20090074265A1 (en) * 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
WO2009060460A2 (en) * 2007-11-09 2009-05-14 Given Imaging Ltd. Apparatus and methods for capsule endoscopy of the esophagus
KR100919247B1 (ko) * 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
JP5388657B2 (ja) * 2009-04-01 2014-01-15 Ｈｏｙａ株式会社 画像処理装置、画像処理装置の作動方法、およびシステム
US8150124B2 (en) * 2009-10-12 2012-04-03 Capso Vision Inc. System and method for multiple viewing-window display of capsule images
CN101716077B (zh) * 2009-12-03 2012-09-12 西交利物浦大学 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其***
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
CN101807295B (zh) * 2010-03-26 2012-02-29 华中科技大学 一种遥感图像无缝镶嵌拼接线的生成方法
US8422755B2 (en) * 2010-06-11 2013-04-16 Given Imaging Ltd. System and method for synchronizing image sequences captured in-vivo for automatic comparison
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
CN102393953B (zh) * 2011-07-15 2013-06-26 汉王科技股份有限公司 图像帧拼接方法和装置
JP5959168B2 (ja) * 2011-08-31 2016-08-02 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5846841B2 (ja) * 2011-10-14 2016-01-20 株式会社東芝 医用画像表示装置
CN105308621B (zh) 2013-05-29 2019-05-21 王康怀 从活体内多相机胶囊重建影像

Also Published As

Publication number Publication date
US20160037082A1 (en) 2016-02-04
CN107920722A (zh) 2018-04-17
EP3005232A2 (en) 2016-04-13
US10068334B2 (en) 2018-09-04
US9672620B2 (en) 2017-06-06
JP2016519968A (ja) 2016-07-11
WO2014193670A4 (en) 2015-03-19
WO2014193670A3 (en) 2015-01-29
WO2017030747A1 (en) 2017-02-23
US20170046825A1 (en) 2017-02-16
CN107529944B (zh) 2019-07-26
WO2014193670A2 (en) 2014-12-04
EP3005232A4 (en) 2017-03-15
US9324172B2 (en) 2016-04-26
TW201509363A (zh) 2015-03-16
CN105308621B (zh) 2019-05-21
CN107920722B (zh) 2020-01-24
CN105308621A (zh) 2016-02-03
CN107529944A (zh) 2018-01-02
US20150221116A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
TWI532460B (zh) 從活體內多相機膠囊重建影像
CN100399978C (zh) 内窥镜***
US20090278921A1 (en) Image Stabilization of Video Play Back
US8150124B2 (en) System and method for multiple viewing-window display of capsule images
US8724868B2 (en) System and method for display of panoramic capsule images
JPH05108819A (ja) 画像処理装置
CN111035351B (zh) 用于胃肠道中的胶囊相机的行进距离测量的方法及装置
US20220012954A1 (en) Generation of synthetic three-dimensional imaging from partial depth maps
EP3148399B1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
US20160295126A1 (en) Image Stitching with Local Deformation for in vivo Capsule Images
JP2019080223A (ja) カメラシステム
CN110771140A (zh) 云台***及其图像处理方法、无人机
US20110085021A1 (en) System and method for display of panoramic capsule images
Liu et al. Global and local panoramic views for gastroscopy: an assisted method of gastroscopic lesion surveillance
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept
US11120547B2 (en) Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
CN110035687A (zh) 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置
CN108597004A (zh) 基于局部优化算法的牙齿咬合面全景图像拼接方法
CN110520893B (zh) 对通过胶囊相机所撷取的图像进行图像处理并显示的方法
Jiang et al. Consistent wce video frame interpolation based on endoscopy image motion estimation
US10624533B2 (en) Endoscope with images optimized based on depth map derived from structured light images
US11601732B2 (en) Display system for capsule endoscopic image and method for generating 3D panoramic view
Ali Total variational optical flow for robust and accurate bladder image mosaicing
Watras Multi-View Video Stitching with Maximized Field of View for Enhanced Laparoscopic Visualization
Hackner et al. Deep-learning based reconstruction of the stomach from monoscopic video data