CN105308621A - 从活体内多相机胶囊重建影像 - Google Patents

从活体内多相机胶囊重建影像 Download PDF

Info

Publication number
CN105308621A
CN105308621A CN201480030874.XA CN201480030874A CN105308621A CN 105308621 A CN105308621 A CN 105308621A CN 201480030874 A CN201480030874 A CN 201480030874A CN 105308621 A CN105308621 A CN 105308621A
Authority
CN
China
Prior art keywords
image
camera
capsule
methods according
relevant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480030874.XA
Other languages
English (en)
Other versions
CN105308621B (zh
Inventor
王康怀
伍晨愉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of CN105308621A publication Critical patent/CN105308621A/zh
Application granted granted Critical
Publication of CN105308621B publication Critical patent/CN105308621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

所揭露的是从活体内多相机胶囊重建影像的方法及设备。在本发明的一个具体实施例中，胶囊包含两个附有重迭视场(FOV)的相机。将内影像式姿势估测应用于与重迭区有关的子影像，以改善胶囊装置的姿势估测。在另一具体实施例中，通过使用重迭子影像的像差调整、线性加权总和，将对应于两个视场的两个影像融合。在又一具体实施例中，为了时空表示(time-space？representation)而将来自多相机胶囊的影像拚接。

Description

从活体内多相机胶囊重建影像
相关申请案对照参考
本发明主张2013年5月29日所提出申请名称为「ReconstructionofImagesfromaninvivoMulti-CamerasCapsule」的第61/828,653号美国临时性专利申请案的优先权。本发明关于2006年12月19日所提出申请名称为「InVivoImageCapturingSystemIncludingCapsuleEnclosingACamera」的第11/642,275号美国专利申请案、2008年11月25日所提出申请名称为「CameraSystemwithMultiplePixelArraysonaChip」的第12/323,219号美国专利申请案、2010年10月19日所提出名称为「PanoramicImagingSystem」的第7,817,354号美国专利案、以及2012年9月25曰所申请提出名称为「CameraSystemwithMultiplePixelArraysonaChip」的第13/626,168号美国专利申请案。特此将所述美国临时性专利申请案、美国专利申请案及美国专利案的完整内容引用合并。
技术领域
本发明涉及从使用附有多个相机的活体内胶囊所撷取的影像将影像重建。
背景技术
用于令活体内体腔或管道成像的装置在所属领域属于已知，并且包括内视镜及自主性囊封相机。内视镜属于可挠性或刚性管，其透过孔口或手术开口进入体内，通常是经由嘴进入食道或经由直肠进入结肠。影像使用镜片成形于远端，并且在体外通过镜片中继***或通过凝聚性光纤束任一者予以输送至近端。概念类似的仪器可能例如使用CCD或CMOS阵列以电子方式于远端记录影像，并且透过缆线将影像资料以电信号的方式转送至近端。内视镜允许医师透过视场控制，并且是受到广泛接受的诊断工具。然而，其的确有些限制，使病患承受危险，并且对于病患而言属于侵入性且不舒服。其成本导致其作为例行健康籂检工具的应用受到限制。
由于穿越盘绕的管道有困难，内视镜无法到达大部分小肠道。因此，要通达整条结肠需要特殊的技术及预防措施，这将增加成本。内视镜的危险包括有可能贯穿所穿越的肉体器官且麻醉会引起并发症。此外，必须在程序期间的病患痛苦、健康危害、以及麻醉相关的程序后停歇时间之间取得平衡。内视镜是必要的医疗资源，其占用临床医师大量的时间，因而很耗成本。
解决许多这些问题的替代活体内影像感测器为胶囊内视镜。相机连同用于将资料传送到基地台接收器或收发机的无线传送器予以装在可吞式胶囊内。也可将体外的资料记录器用于接收并且记录传送的资料。资料主要包含数位相机所记录的影像。胶囊也可包括用于从基地台传送器接收指令或其他资料的无线接收器。除了射频传输，另可使用较低频率的电磁信号。电力可利用感应方式从外部电感器供应至胶囊内的内部电感器，或从胶囊内的电池供应。
2006年9月19曰所提出申请名称为「InVivoAutonomousCamerawithOn-BoardDataStorageorDigitalWirelessTransmissioninRegulatoryApprovedBand」的第11/533,304号美国专利申请案揭露一种附有板上资料储存器的自主性胶囊相机***。这个申请案说明一种使用如半导体非挥发性归档记忆体以储存所撷取影像的胶囊***。在胶囊从身体离开后将其取回。将胶囊外壳打开，并且将储存的影像转送到电脑工作站以供储存及分析用。对于透过无线传输所接收或从板上储存器所取出任一者的胶囊影像，必须由诊断师将影像显示并且进行检查以辨别潜在的异常现象。
除了上述前视型胶囊相机以外，还有其他种提供侧面图或全景视图的胶囊相机。为了适当检视组织表面，需要侧边或反转角度。习知的装置因其视场(FOV)实质属于前视型而无法看到此类表面。由于为了精确诊断需要彻底观察息肉或其他不规则体，让医师看到这些器官的所有区域是重要的事情。由于习知的胶囊无法看到脊部周围的隐藏区，故可能会漏掉不规则体，并且严重医疗状况的关键诊断可能会有缺失。2006年12月19日所提出申请名称为「Invivosensorwithpanoramiccamera」的第11/642,275号美国专利申请案中揭露一种配置成用来撷取相机周围环境全景影像的相机。全景相机***配有相对于胶囊纵轴由视角范围所界定的纵向视场(FOV)、以及纵轴附近方位角的全景范围所界定的纬向视场，使得相机可撷取实质涵盖360°纬度方向FOV的全景影像。
从概念上讲，可将多个个别相机配置成将360°纬度方向的FOV完全或实质涵盖。然而，此种全景胶囊***由于可能需要多个影像感测器及相关电子装置而可能昂贵。2007年1月17日所提出申请名称为「PanoramicImagingSystem」的第11/624,209号美国专利申请案中揭露一种有成本效益的全景胶囊***。这个全景胶囊***使用一种配置成结合许多视场以涵盖360°视野的光学***。再者，将结合的视场投射到单一感测器上以节省成本。因此，这个单一感测器胶囊***以较低成本有效起了多个相机的作用。2008年11月25日所提出申请名称为「CameraSystemwithMultiplePixelArraysonaChip」的第12/323,219号美国专利申请案、以及2012年9月25日所提出申请名称为「CameraSystemwithMultiplePixelArraysonaChip」的第13/626,168号美国专利申请案中进一步说明用以支援全景视图的感测器结构及操作。
在自主性胶囊***中，当胶囊相机行经胃肠(GI)道时，于进程期间收集多个影像还有其他资料。通常是将影像及资料显示在显示装置上以供诊断师或医疗专业人士进行检查。为了提升检查效率，以某些如显示速度、快转、倒转、以及停止之类的显示控制将影像持续显示成影片，允许使用者透过影像序列轻松地巡览。将此组收集到的影像以影片资料方式表示，可实质改善检查的效率。然而，每一个影像都仅提供胃肠道一小段有限的视野。宜将胶囊影像结合成一张表示内胃肠道表面剖视图的大图片。这张大图片可利用高解析度大萤幕显示装置让使用者可同时观看更多资讯。在将影像之间多余的重迭区移除后，可同时检视大面积的内胃肠道表面。另外，大图片可提供内胃肠道表面的全视图或重要部位。诊断师或医疗专业人士应该更轻松且快速地认出如息肉之类的关注区。
附图说明
图1A描述两个附有重迭视场的相机的例示性组态。
图1B描述用以从图1A所示两个相机撷取影像的影像感测器阵列的例示性组态。
图2描述图1A所示两个相机所撷取影像的非重迭及重迭区。
图3描述用以将两个重迭影像结合成一个宽影像的例示性影像融合。
图4A描述侧视胶囊相机***的胶囊旋转及平移效应。
图4B描述侧视胶囊相机***的相机倾斜效应。
图5描述显示根据本发明一具体实施例的胶囊相机***所撷取多个影像的实施例，这多个影像翘曲(warp)而形成复合影像。
图6描述所撷取影像局部变形(deformation)动态(时空)表示的实施例。
图7描述显示根据本发明一具体实施例的胶囊相机***所撷取多个影像的实施例，关键事件基于排便而选择的。
图8描述显示根据本发明一具体实施例的胶囊相机***所撷取多个影像的实施例，关键事件基于转动角度而选择的。
图9描述显示根据本发明一具体实施例的胶囊相机***所撷取多个影像的实施例，排便状态分类成多个阶段，并且与每一个阶段有关的影像分成一组。
图10描述显示根据本发明一具体实施例的胶囊相机***所撷取多个影像的实施例，其中，具有类似转动角度的影像分为一组以形成复合影像。
图11描述显示根据本发明一具体实施例的胶囊相机***所撷取多个影像的实施例，排便状态分类成多个阶段，并且与一阶段有关的影像可与群组中相邻影像有间隙。
图12描述显示根据本发明一具体实施例的胶囊相机***所撷取多个影像的实施例，其中，转动角度分类成多个阶段，并且与一阶段有关的影像可与群组中相邻影像有间隙。
图13A描述具有多个局部变形的例示性影像序列。
图13B描述显示根据本发明一具体实施例的胶囊相机***所撷取多个影像的实施例，与局部变形对应的影像节段同时显示。
图14A描述在云端中计算拚接的影像，并且将最终影片传送到用户端。
图14B描述在云端中计算影像对之间的所有转换，并且在用户端机器上应用即时影像翘曲及混合的实施例。
图15描述四相机组态的实施例，两邻接相机之间有重迭视场以形成360°全视野全景影像。
图16A描述360°全视野全景影像的胶囊旋转及平移效应。
图16B描述360°全视野全景影像的转动补偿实施例。
具体实施方式
将轻易理解的是，大体上如本文图示所述及所示，可用各式各样不同的组态，设置且设计本发明的组件。如此，如图所示，底下本发明***及方法具体实施例更详细的说明意图不在于限制本发明的范围，如所主张的权利要求书所述，而只是表示本发明选择的具体实施例。整篇说明书对于「一个具体实施例」、「一具体实施例」或类似用语的参照，意谓着可将配合具体实施例所述的特定特征、结构或特性含括在本发明的至少一个具体实施例中。如此，整篇说明书各处出现的词组「在一个具体实施例中」或「在一具体实施例中」不必然全都指到相同的具体实施例。
再者，可在一或多个具体实施例中以任何适宜的方式将所述特征、结构或特性结合。然而，所属领域技术熟练者将辨认的是，无需特定细节的一或多者，或利用其他方法、组件等即可实作本发明。在其他实例中，为了避免混淆本发明的态样，未详细显示或说明众所周知的结构或操作。通过参照图示，将最佳理解本发明的例示具体实施例，其中，相同的零件在全文中以相同的元件符号表示。底下的说明目的仅在于例示，并且单纯地描述特定选择的设备及方法具体实施例，其与本发明如本文权利要求书所述者一致。
自主性胶囊相机在通过人类胃肠道成像进程期间，时常撷取数万个影像。每一个影像都对应于相机光学器件视场内的场景。胶囊可具有前视相机或侧视相机。在任一案例中，每一个影像都对应于胃肠道表面非常小的区域或区段。在计算摄影领域中，影像贴合技术已发展到将较小影像拼接成大图片。在消费性数位相机中，已将这项技术用于允许使用者通过绕着相机取景来撷取全景图片。全景全自动建构在2003年10月13日至16日，由Brown及Lowe在ProceedingsofNinthIEEEInternationalConferenceonComputerVision第2卷第1218至1225页名称为「RecognisingPanoramas」的文献中揭露。Brown及Lowe使用基于转动及缩放恒定局部特征的影像比对技术以选取相配影像、以及机率模型供验证。这方法对影像的次序、方向、缩放及光照不灵敏，对有杂讯影像也不灵敏。影像对齐及拚接的一般技术方法的回顾，可在2006年12月10日MicrosoftResearchTechnicalReportMSR-TR-2004-92由Szeliski所著的“ImageAlignmentandStitching:ATutorial”中找到。
对于影像贴合，首先辨别的是影像之间对应的部分、物件或区域。辨别对应的部分、物件或区域之后，可通过对齐对应的部分、物件或区域而将影像拚接。可在像素域中直接比对两个影像，并且像素式影像比对也称为直接比对。然而，其将涉及非常密集的计算。一种替代手段是使用特征式影像比对。为每一个影像决定一组特征点，并且通过比较对应的特征描述符进行比对。特征点的数量通常远小于对应影像的像素数量。因此，特征式影像比对的计算负载实质较少于像素式影像比对。然而，逐对比对仍然耗时。通常是将k-d树用于加速这个程序。于是，特征式影像比对在此领域中广泛受到使用。虽然如此，特征式比对于某些影像仍无法有效工作。在这种情况下，总是可将直接影像比对当作后备模式，或较佳可为以上两种方法的组合。
在两个影像中决定特征点时，这两组特征是在所选择的准则下，通过辨别这两组之间的最佳比对来进行比对。特征点在非平面场景中对应于某些不同特征。此比对可能必须在两个影像的影像撷取期间，考量场景中物件的三维几何态样。因此，这两组特征点是根据超出二维平移的数学模型进行比对。有各种让这两组特征点产生关系的转换模型。一种常用涉及转动及平移的刚性模型。令xi(i∈[1,m])及yj(j∈[1,q])分别为对应于影像IA及IB特征点的3x1行向量。X及Y是以xi及yj作为各自行向量的3×m及3×q矩阵。特征点yj是根据 与对应的xi比对，其中，R表示3×3旋转矩阵，t表示3×1平移向量，以及P对应于m×q置换矩阵，若xi与yj相配，则pij＝1，否则为0。若使用L2(平方)误差度量，则针对给定转动R、平移t及置换P的L2误差为：
d ( X , Y | P , R , t ) = 1 m Σ i = 1 m | | x i - Ry j ( P ) - t | | 2 . - - - ( 1 )
若将3×q矩阵T定义为T＝[t,t,…,t]，则可将以上的方程式重新写成：
d ( X , Y | P , R , T ) = 1 m | | X - ( R Y - T ) P T | | 2 . - - - ( 2 )
可通过同时对所有可能的转动及置换，将方程式(2)中的误差计量最小化，以在这两组特征之间求出最佳比对，这可能造成难克服的计算负载。为了克服有关转动及置换同时最佳化的计算复杂性问题，可将最佳化程序分成两个子问题，并且使用2007年10月14至21日ProceedingsofIEEE11thInternationalConferenceonComputerVision第1至8页Li等人所提「The3D-3DRegistrationProblemRevisited」中所述的迭代程序予以解决。给定影像资讯，可应用影像比对简化用以求出对应性的置换步骤。通常是通过随机抽样一致性算法(RANSAC)及最小平方中值法(LMS)实现求出最佳转换。
要说明多个影像之间的特征点关系，除了用于特征式影像对正的转动模型外，还有其他转换模型。例如，Szeliski在2006年12月10日MicrosoftResearchTechnicalReportMSR-TR-2004-92的「ImageAlignmentandStitching:ATutorial」中说明一种模型，其涉及与每一个影像有关的转动及相机焦距。接着将旋转矩阵及焦距更新程序用于辨别最佳比对。拚接问题仅考量2D影像座标。可使用底下的方程式计算两组影像点之间的转换：
u i = H i j u j , H i j = K i R i R j T K j - 1 , - - - - ( 3 )
ui及uj是ui＝[xi,yi,1]、uj＝[xj,yj,1]的齐次坐标。K是包含焦距及其他相机参数的3×3相机内部矩阵。Ri及Rj是每一个相机的3×3旋转矩阵。Hij是介于两个影像之间的3×3转换矩阵，亦称为单应性。更一般而言，Hij可具有两个未知数(平移)、四个未知数(平移加上转动)、6个未知数(仿射)或8个未知数(投影)。一般而言，单应性表示两个影像之间的线性转换。
对于胶囊相机的应用，一连串影像在行经胃肠道的进程期间予以收集。期望能辨认并且比对对应的部分、物件或区域，以及拼接影像以形成供检视的较大复合图片。以上所述用于辨认、比对及拚接影像的技术与胶囊相机应用有关。然而，针对胶囊影像，这种情况更有挑战性。首先，物件距离(胃肠道表面对相机)通常非常靠近。常用的仿射相机模型是一种近似法，其仅在影像中所看到这组点相较于离相机的距离其深度变化小时才有效。在胶囊相机***环境中，管腔壁与相机之间的短距离、以及折迭或其他理由引起的管腔壁不平，导致仿射相机模型失效。转而应考虑更复杂的模型，如：投影模型。
除了距离问题以外，胃肠道的蠕动还将在撷取的影像中造成明显的动作。此一局部变形无法以先前所述的线性转换处理。非线性转换函数f将取代方程式(3)中的转换矩阵Hij，亦即ui＝f(uj)。此非线性转换函数包括薄板(thin-plate)、径向基底(radialbasis)函数等。解决这个问题涉及非常复杂的非线性最佳化程序。另一方面，由于胶囊影像的画面播放速率较低(每数秒一个画面至每秒钟数个画面的等级)，接续影像之间可有显眼的动作。在大部分影像比对研究中，假设场景随着某些移动物件呈现静态。移动物件所涵盖的区域通常小于重迭区。因此，影像比对将总是有某些允许合理效能的重迭静态区。另一方面，两个接续胶囊影像有时因管腔壁变形及相机移动而可对应于两个不同的管腔壁场景。根据本发明的一方法将胶囊内的多个相机用于同时撷取多个胶囊影像而改善相机的可靠性，其中，这多个影像有重迭。由于是在相同的时间场合撷取两个影像的重迭区，故这两个重迭区之间不涉及相对动作。因此，每一个时间场合都可针对重迭区导出更可靠的刚性相机模型，而不用顾及多个相机在重迭区之间的任何动作。一旦每一个时间场合都组成较大的图片，便可在不同时框之间拚接更多重迭区。已观察到的是，对应于胃肠道某些区段的影像含有少数特征。在本发明的一个具体实施例中，影像特征的推导可基于影像强度、渐层以及明暗资讯。也有需要校验近场照明。
图1A描述根据本发明一具体实施例的例示性多相机设置。镜片101及镜片102将视场(FOV)111及112中的各自场景投射到影像感测器的各自部分上。视场111及视场112具有重迭区120。如图1B所示，将对应于镜片101及102的场景投射到影像感测器151及152的各自部分上。如图1B所示，将把重迭区120中的场景投射至影像感测器151的区域161、以及影像感测器152的区域162。虚箭头171及172表示重迭区120的中间线。镜片101及102两者都固定置于胶囊外壳(图1A未示)内。因此，得以维持这两个镜片的相对位置及方向。可将胶囊中相机的光学***校验成适当对齐这两个镜片。将在校验后，把重迭区的中心线130投射至影像感测器的已知位置171及172。根据本发明的一设置，可适当安置影像感测器子区域151及152以使位置171及172对应于重迭区的中间。在周围表面与相机有不同距离的情况下，无法将虚箭头171及172置于重迭区161及162的中间线。图1A所示的多个相机设置可通过组合对应于两个各自视场的两个影像以提供延伸的视场。
每一个影像中的重迭区都可通过相机姿势位置予以导出或约束。此外，可将相机姿势参数用于初始化影像之间的转换。在本发明的又另一具体实施例中，胶囊的一侧正接触胃肠道壁。因此，成像表面为圆柱的一部分。重迭区可通过两个相邻相机的重迭视场决定。在一个具体实施例中，可将影像比对最佳化下至子像素。在另一具体实施例中，可使用相机中所储存的校验影像，导出多个相机的相机姿势位置。在又另一具体实施例中，可将此等相机姿势参数用于约束影像之间的转换。
内影像拚接
图2描述本揭示中使用的某些命名惯例。影像IA及IB表示两个分别由影像感测器子区域151及152所撷取的影像。每一个影像都由非重迭区(IA’或IB’)及重迭区(IA”orIB”)组成。在校验后，可决定重迭区IA”及IB”至一特定精确度。习知的相机***一次仅撷取一个影像(例如：IA)。影像比对、对正以及贴合基于对应的影像序列IAj，其中，j为影像序列的时间索引。一合并本发明一具体实施例的例示性***撷取两个同时序列IAj及IBj，其包括两个对应于重迭区的子序列IAj”及IBj”。
由于子序列IAj”及IBj”对应于相同场景，这可在比对及对正过程中施加另外的限制条件。例如，可在时间场合j，将基于转动RABj以及焦距fAj与fBj的相机模型用于两个影像IAj”与IBj”之间的影像比对及对正。换句话说，吾人可使用方程式(3)以说明这两个影像之间的转换。
在习知的***中，仅撷取一个序列。特征提取、影像比对及对正基于这个单一序列进行的。在合并有根据本发明一具体实施例多个相机的***中，可在个别影像序列上进行习知的特征提取、影像比对及对正。另外，可依据改善的可靠性及/或更快的演算法收敛，将多个序列中的已知重迭区用于改善***效能。给定M个相机以及每一个相机所撷取的N个影像，总共有N×M个影像。一种选择是无任何限制条件拼接全组影像。两个影像之间的每一个转换都因胃肠道局部变形而使用非线性模型。另一种选择是应用两步骤式拚接以加速并且改善效能。每一个时间索引都有M个来自不同相机的影像。由于是在相同时间将其撷取，M个影像的重迭区中应观察到相同内容。换句话说，这M个影像之间没有局部变形。为了方便起见，这M个由M个相机在相同时间撷取的影像称为内影像。因此，可使用解答更加简单且快速的线性相机模型将M个影像拚接。可使用非线性相机模型拚接N个组成影像。为了避免转换失误，针对一组成影像内的M个内影像所导出的H矩阵，必须与多个相机的已知相机相对位置一致。若需要细化，可将相机中所储存或另可得自其它方式的影像资料，用于决定多个相机的精确绝对及相对位置。
重迭区影像融合
通过使用IAj及IBj而非两个独立影像「组成」宽影像，较易于让使用者检视两个对应于两个视场的影像。图3描述根据本发明一具体实施例使用线性加权及线性像差调整的影像融合实施例。由于相机光学器件经过适当校验，故得以在两条虚线171及172针对重迭区中的两个相机场景对齐特定视角。影像组成的简单方法可在虚线171及172通过修剪及剪接达成。然而，对于具有各种深度的周围表面可能并非如此。虽然如此，无缝影像组成仍可通过将两个重迭区「融合」达成。有更先进的融合/混合技术，如：拉氏金字塔混合法(Laplacianpyramidblending)及渐层域混合法(gradientdomainblending)。基本上，混合发生于不同频域。更多细节可在2006年12月10日MicrosoftResearchTechnicalReportMSR-TR-2004-92由Szeliski所著的“ImageAlignmentandStitching:ATutorial”中找到。
来自多个相机的序列的影像拚接
胶囊相机***可在行经胃肠道的进程期间快拍数万个图片。对于具有数位无线传输或板上储存器任一者的胶囊***，将重新播放撷取的影像以供医疗专业人士分析及检查。为了让检视更有效率，通常是将撷取的影像持续重新播放成视讯序列。诊断师可在重新播放期间，尽可能快且有效率地寻找息肉或其他关注点。播放可用可控制画面播放速率进行，并且可增加以缩短检视时间。由于撷取的影像数量大，即使是将其持续重新播放成影片，要看过全部影像将需要一阵子。例如，以每秒30格画面检视30,000个成为视讯序列的影像将需要16.67分钟不停检视。若考量为了密切检查可能异常现象所进行的暂停、较低画面重新播放以及逆检索，要完成检查将可能用到30分钟或更长时间。典型胶囊影像通常具有比显示装置可支援者低很多的解析度。因此，通常仅使用显示萤幕的一小部分。再者，接续影像通常含有实质重迭区。因此，作为将影像显示成视讯序列的替代作法，可拚接影像以形成一或多个大复合影像。大复合影像对应于胃肠道内面的剖视图。在另一具体实施例中，为了穿隧检视而形成拚接影像。可在高解析度显示装置上显示大复合影像，以允许医疗专业人士快速认出整条胃肠道的任何异常现象或胃肠道的良好部分。若复合影像大小比显示装置的解析度大，则可显示缩小的复合影像。或者，可显示一部分复合影像，并且提供使用者介面以允许通过复合影像使用移动浏览。
影像拚接或影像镶嵌技术在数位摄影领域属于已知。对影像拚接或影像镶嵌过程输入一组影像，这组影像涵盖一场景，并且在影像之间总是有重迭区以允许适当影像对齐。影像必须在拚接之前先对齐或比对。直接(像素式)对齐及特征式对正两者都可使用。时常将特征式比对用于减少所需计算量。影像比对在这个阶段通常是为了保持低计算负载而个别成对进行。然而，个别比对可能造成大量总对齐误差。为了减少总对齐误差，将一种称为光束法平差(BundleAdjustment)的过程应用于同时调整所有影像的姿势参数。在光束法平差期间，将移除无法适当对正的影像以缓解影像组合期间的潜在人工假影。逐对影像在光束法平差后已备妥要进行拚接或复合以产生较大图片。所有影像都对正后，可针对所选择的复合表面及检视进行最终影像组合。接着使用适当加权及混合，将来源像素映射至最终复合表面。
由于胃肠道壁的焦距及局部移动较短，相较于数位摄影，胶囊影像的影像拚接更有挑战性。再者，除了纵向移动外，胶囊相机在行经胃肠道时还可旋转。图4A描述双相机侧视胶囊装置经受胶囊旋转所撷取影像的实施例，其中，水平方向沿着胃肠道对应于纵向。胶囊旋转将使撷取的影像垂直于纵向移位(亦即上移及下移)。由于胶囊装置是由胃肠道的蠕动所推动，画面至画面的移动量无法均匀。
在习知的影像拚接方法中，每一对影像的重迭区都是在影像比对期间固有决定的。基本上，特征提取及比对将跨越整个影像予以应用。所以，大部分相配特征对都置于重迭区中。在根据本发明的***中，每一对影像中的重迭区都可基于动作资讯予以决定。动作估测技术在本领域属于已知。可将区块式动作估测或光流式动作估测用于决定每一对影像中的重迭区。仅管动作估测可涉及大量计算，根据本发明的***已可为了达成高效影像压缩而使用动作估测。因此，将动作估测用于决定影像对中的重迭区无需任何另外的计算。动作估测用于影像拚接的目标在于决定重迭区。因此，全域动作向量为了这个目的将足够。于是，所需的动作估测类型为全域动作估测。若使用局部动作估测，则可通过处理局部动作向量或动作场而导出全域动作向量。例如，可挑选主导性动作向量作为全域动作向量。可通过在影像对中辨别重迭区，将特征式或像素式影像比对应用于重迭区，用以加速影像比对过程。
胶囊在胃肠道中行进时也可倾斜。胶囊倾斜将使撷取的影像顺着纵向旋转。图4B描述相机倾斜造成影像转动的实施例。大部分动作估测技术都假设平移模型，并且未考量影像转动。为了决定胶囊倾角，所选择的动作估测技术将能够操控影像转动。或者，由于特征式影像比对时常在影像比对模型中包括旋转矩阵，可在影像比对过程期间，固有地注意影像转动。胶囊装置也可配有陀螺仪、加速计或电子罗盘以决定3D胶囊动作。在这种情况下，可读出并且将胶囊倾斜及/或移动参数用于辅助影像拚接。在图4A及图4B中，将两次撷取所得的影像融合以形成宽影像。在另类组态中，两个对应的相机可形成两个独立影像序列。可先在个别影像序列上进行影像拚接。接着可融合两个拚接的复合影像以形成宽的拚接的复合影像。一替代解决方案是在每一个时间场合都将两个来自两个相机的影像拼接。由于在撷取两个内影像时场景中未出现变动，此方案将较为容易。接着可在宽的拚接的影像序列上进行影像拚接。
在胶囊相机***环境中，通过胶囊***提供并且控制照明光源。因此，光条件为已知。在一个本发明的具体实施例中，储存影像的光线条件。可在影像拚接期间，取出并且将照明资讯用于补偿照明变化。
可在一段时间拍摄供拚接的影像。在这段期间内可有物件动作。复合影像的每一个区域都可在影像拚接期间，从多个影像求出其对应性。混合这些对应区域，以在用于数位摄影的***均、中位数筛选(medianfilter)、或加权总和的影像混合将造成模糊(或双影像)。为了产生非模糊复合影像供数位摄影应用，已在这领域开发各种先进影像混合技术。例如，2006年12月10日MicrosoftResearchTechnicalReportMSR-TR-2004-92由Szeliski所著的“ImageAlignmentandStitching:ATutorial”中提出称为p-norm、Vornoi、weightedRODvertexcoverwithfeathering、graphcutseamswithPoisson、拉氏金字塔混合法、渐层域混合法等影像混合技术。这些先进混合技术通常基于特定准则，自一影像选取用于混合的一或多个像素。尽管此类影像混合技术可产生非模糊复合影像，复合影像中某些物件及局部变形仍不可见。胶囊影像应用无法接受模糊物件，也无法接受遗漏物件。为了克服这些问题，根据本发明的***对复合影像使用时空表示，这将能够说明拚接场景的时变本质。
就胃肠道的特性而论，在本发明的一个具体实施例中，通过如弹性光谱成像色彩增强等色彩空间转换预处理撷取的影像。这将改善影像特征可见度及拚接效能。
给定排便的本质，胶囊可在一处停留一段时间，并且撷取相同场景的多个影像。在本发明的一个具体实施例中，可将相邻影像的差异用于移除多余影像。也可考虑将照明变异及渐层资讯用于评估相邻影像的差异。于是，可实质缩减影像序列的大小及读取时间。
时空表示
在本发明的一个具体实施例中，时空表示针对每一个由使用者所选择的时间场合显示静态复合影像。例如，所有个别影像在时间索引1都将于第一影像坐标上翘曲。通过将第一影像当作参考，第一影像所撷取的局部变形将显示于第一复合影像中。在任何时间场合都可将卷轴用于允许使用者浏览时空影像。通过将轴卷动至时间索引i，萤幕上将显示在第i个影像坐标上所有个别影像都翘曲的新复合影像。因此，可观察通过第i个影像撷取的局部变形。无论卷轴指标在何处，目前时间索引的局部变形将在萤幕上显示，并且其他影像也将翘曲并且适用于目前时间。
对于某些胃肠道未清理好的区段，举例而言，食物残渣将在影像中出现。就诊断观点而言，这可能没有用，但却可提供重要的影像特征。在本发明的一个具体实施例中，将把色彩及图样分析应用于在拚接之前，从影像移除那些区域。也可将相同技术应用于移除有气泡或水珠的情境(session)。可将机器学习演算法应用于检测那些不想要的影像区域。
对于某些胃肠道无明显影像强度及渐层特征的区段，将把明暗资讯用于大致估计表面深度。可使用这个方法从估计的深度映射检测如表面下肿瘤等病理特征。在本发明的一个具体实施例中，若检测到此类病理特征，则将单纯地把两个影像堆迭在一起以避免遗失任何资讯。除了堆迭两个影像外，将一影像重迭在另一者上面还可用于节省储存器及读取时间两者，前提是未显示病理特征。可根据上述方法产生连续时空表示。
在本发明的另一具体实施例中，影像501至504对应于从t-2至t+1撷取的翘曲影像，如图5所示。使用者可选择检阅翘曲前的原始影像505至508。若相机数量等于一，则原始影像可为原来撷取的影像。否则，原始影像表示来自由多个相机所撷取内影像的组成影像。根据本发明一具体实施例的使用者介面将显示对应于影像501至504的组成影像。使用者可点选组成影像的任何区段，接着将显示所有相关原始影像505至508。
图6表示使用者正从时间t至t-1(倒退)浏览时，根据本发明一具体实施例的时空表示实施例的复合影像。尽管图6描述水平卷动的实施例，垂直卷动也是可实现的。提供卷轴630以允许使用者跨越影像序列卷动。影像604表示在时间t所撷取单一的撷取影像或来自多个相机的复合影像。区域603显示时间t时的局部变形。复合影像609对应于从t-4至t+3撷取的所有邻接影像。如图6所示，在显示视窗620中显示复合影像。使用者可客制化邻接影像的数量。所有邻接影像都使用影像604以时间t为参考而翘曲。对应于原在时间t-1时所撷取影像(亦即影像606及区域605)的翘曲影像602及翘曲局部变形区域601，示于图6中其应在时间t时出现的位置。当使用者将工具列卷回时间索引t-1时，将显示另一复合影像610。在这个影像中，所有邻接影像都以影像606作为参考而翘曲。影像区域605显示在时间t-1时撷取的局部变形。对应于原在时间t时所撷取影像(亦即影像604及区域603)的翘曲影像608及翘曲局部变形区域607，示于图6中其应在时间t-1时出现的位置。
在图6所示的具体实施例中，以动态方式进行影像拚接。每一个有局部移动的区段都针对一特定周期的不同时间场合拚接影像。由于胶囊装置在胃肠道中行进较慢，每一个区段都可对应于多个接续影像之间的重迭区。因此，可呈现有局部移动的区段的时空表示。
在本发明的另一具体实施例中，时空表示将静态复合影像循序显示成影片。例如，本发明的一具体实施例可将每一个从t-4至t+3撷取的影像当作参考，用于显示一系列来自复合影像的个别影像，而非显示时间t时对应于复合影像609的静态影像。于是，使用者不须要手动来回卷动。可由使用者选择显示此系列个别影像(如：从t-4至t+3)的时间视窗。将为了更好的空间时间视觉效果而显示含邻接变形的影片。拚接影像持续但平顺的动作类似自然排便。用于产生拚接影像过程，也降低时常在习知胶囊影片中注意到与相机移动有关的抖动。
在本发明的一个具体实施例中，使用者可在浏览整个时空显示时指定步骤。例如，目前显示视窗显示如图6中所示，一连串邻接影像从时间索引t-4至t+3的复合影像或复合影片。在快转时，步进也可前进到已与从t-4至t+3的周期重迭的下一个时间周期，而非单一画面从t-3开始到t+4的步进。例如，步进可从t至t+8移至下一个周期。这可缩短读取时间而不遗失跨越两个显示节段的边界的资讯。
在本发明的一个具体实施例中，使用者可选取关键画面作为参考，而非循序将每一个画面当作参考来显示复合影像。用以选取关键画面的一项选择是基于自然排便。可将胃肠道的最大收缩及松弛视为关键事件，如：图7中的画面ti+1、ti+4及ti+7。可通过考量光源变化而实现此类关键事件的检测。于是，得以追踪光源变化。为了确保照明条件不变，来自胶囊的光照自动调整。当胃肠道收缩时，胶囊靠近壁部，并且需要的光照较少。另一方面，当胃肠道松弛时，胶囊远离壁部，并且提供良好影像品质所需的光照较多。通过选择周围组织的反射模型(例如：朗伯面(Lambertiansurface))，影像强度、输入近场照明强度、以及光源与壁面之间距离之间的关联性可根据底下的方程式予以说明：
其中，I表示影像强度、是将表面光亮度映射至影像强度的相机回应函数、ρ是表示表面反射属性的表面反照率。假设有V个光源，总表面光亮度为所有光源贡献的加总。是第i个光源之强度/力度(strength)，是表面法线，γi是光源与表面场景点之间的距离。若光源的方向在调整光源时未变更，则输入光线与表面法线之间的夹角将维持相同。距离愈远，表面光亮度便愈暗，且更加需要光照。可通过追踪光照变化检测胃肠道的收缩及松弛。因此，可将所观察对应于最大及最小光照的画面当作关键画面。事先移除外生内容的效应，尤其是粪便内容，以避免影响光强度/影像强度的计算。可通过不同色彩及/或其他手段的比率以辨别粪便内容。此类关键画面的检测不受限于上述方法。例如，也可将机器学习方法用于检测不同排便图样。上述时空表示缩短读取时间，并且以更简明的方式显示胃肠道。
在本发明的另一具体实施例中，由于从不同角度检视可为使用者提供不同资讯，故可将胶囊的转动角度用于表示关键事件，而非将排便用于选取关键画面。给定相邻影像与经校验相机内部矩阵K之间经过计算的转换H，可基于方程式(3)估计相邻影像之间的转动角度。通过使用者自动或手动选择作为参考的影像，可将这些转动角度分类成许多类别，如图8所示。影像ti及ti+2属于群组1，影像ti+1、ti+5、ti+6、ti+8及ti+9属于群组2，并且影像ti+3、ti+4及ti+7属于群组3。每一个群组都可选择一画面作为关键画面。另外，所有这些画面都可选自时间视窗，其中，大小是由使用者预先定义或选择。
在如图9所示本发明的一个具体实施例中，肠道状态901描述排便从松弛至收缩的中间状态。肠道状态902(粗体圆圈)描述胃肠道的收缩。肠道状态903(虚圆)描述排便从收缩至松弛的中间状态。肠道状态904(粗体虚圆)描述胃肠道的松弛。可将排便分类成许多阶段。例如，阶段I表示收缩(902)，阶段II表示松弛(904)，并且阶段III表示中性状态(901及903)。在时间ti撷取对应于肠道状态901的影像ti。在时间ti+q1撷取对应于肠道状态902的影像ti+q1。在时间ti+q2撷取对应于肠道状态903的影像ti+q2。在时间ti+q3撷取对应于肠道状态904的影像ti+q3。每秒钟通常出现数次胶囊影像撷取。因此，胶囊在这从ti至ti+q的时间视窗期间行进不多。若根据蠕动阶段(亦即肠道收缩/松弛的状态)将影像分组，每一组的影像即使未顺着时间方向连续，仍可充分重迭。每一组/阶段都可进行影像拼接，而非如上述将这从ti至ti+q的时间视窗中所有影像用于拚接。整个时间视窗仅必须显示少数不同阶段的少数拚接影像。阶段数量反映阶段变动将显示的细节程度，这可由使用者决定。于是，可避免因不同阶段之间变形大所导致具有寄生效应的拚接影像。
在如图10所示本发明的另一具体实施例中，关键影像1001至1003对应于三个因胶囊转动从不同角度撷取的影像。在正常撷取频率下，胶囊在这从ti至ti+q的时间视窗期间未行进太多。若根据不同角度将影像分组，每一组影像即使未顺着时间方向连续，仍然充分重迭。仅拼接每一组/角度影像，而非如前述将这从ti至ti+q的时间视窗的所有影像用于拚接。对于整个时间视窗，三个不同角度仅需三个拚接影像。角度数量反映角度变动将显示的细节程度，这可由使用者决定。可由使用者决定用于计算相邻影像之间角度的参考影像。于是，可避免因不同检视方向之间含糊度大所导致具有寄生效应的拚接影像。
图11显示本发明的另一具体实施例。肠道状态1101描述排便从松弛至收缩的中间状态。肠道状态1102(粗体圆圈)描述胃肠道的收缩。肠道状态1103(虚圆)描述排便从收缩至松弛的中间状态。肠道状态1104(粗体虚圆)描述胃肠道的松弛。可将排便分类成多个阶段。例如，阶段I表示收缩1102，阶段II表示松弛1304，并且阶段III表示中性状态(1101及1103)。在时间ti撷取对应于肠道状态1101的影像ti。在时间ti+q1撷取对应于肠道状态1102的影像ti+q1。类似的是，分别在时间ti+q2及ti+q3撷取对应于肠道状态1103及1104的影像ti+q2及ti+q3。在时间ti+qm+1撷取对应于肠道状态1105的影像ti+qm+1。在时间ti+qm+2撷取对应于肠道状态1106的影像ti+qm+2。在时间ti+qm+3撷取对应于肠道状态1107的影像ti+qm+3。胶囊仅从ti+qm+1至ti+qm+3撷取与阶段I及III有关的影像，原因有许多，如：坏影像、遮蔽等。因此，与阶段II有关的影像在进行拚接时，从ti+qm+1至ti+qm+3将有间隙。当间隙大到无法在两个相邻阶段II影像之间产生任何重迭时，将把拚接的影像分成两部分以供显示。
在如图12所示本发明的另一具体实施例中，关键影像1201至1203表示三个因胶囊转动从不同角度撷取的影像。在正常撷取频率下，胶囊在从ti至ti+q的时间视窗期间未行进太多。若根据转动角度将影像分组，每一组影像即使未顺着时间方向连续，仍然充分重迭。在这种情况下，由于胶囊在前行时未很常旋转180°，故从ti+qm+1至ti+qm+3的时间视窗仅撷取对应于两个角度群组的影像。影像1204及1206与影像1203属于相同群组。影像1205与影像1202属于相同群组。因此，影像1201所属群组在拚接影像时，从ti+qm+1至ti+qm+3将有间隙。根据本发明的一具体实施例，当间隙大到无法在此群组中两个相邻影像之间产生任何重迭时，把拚接的影像分成两部分以供显示。
在本发明的一个具体实施例中，根据角度或阶段将影像分组前，应用影像比对。位于群组边界处的影像将与各自群组中的相邻影像比对。将把这个影像指定给最相配的群组。
在本发明的另一具体实施例中，可将统计资讯用于影像分组。在时间视窗(如图9至图12中的ti至ti+q)内计算影像阶段或角度的统计分布。可根据统计资料将局部最大数(numberoflocalmaximum)用于将影像分组。拚接的影像提供对应于原撷取角度或阶段的最佳表示。
在本发明的一个具体实施例中，一次显示一个具有局部变形的区段。例如，区块A、B、C、D及E表示如图13A所示影像序列不同时间节段中的不同局部变形。节段A对应于从ti至ti+2发生的变形，节段B对应于从ti+2至ti+12发生的变形，节段C对应于从ti+12至ti+15发生的变形，节段D对应于从ti+15至ti+22发生的变形，并且节段E对应于从ti+22至ti+29发生的变形。最长的变形为延续10秒的B。然而，使用者可能必须付出29秒以观察所有的局部变形。若这些节段的影像总数量非常大，可能要长时间才能催动所有与这些节段有关的局部变形。为了加速动态显示，可将具有局部变形的节段区分成多个群组，每一组都由如同图13A描述的变形所组成。例如，节段A表示胃肠道的收缩，并且节段B表示胃肠道的松弛。这可在这些节段内的复合影像上，通过应用局部变形侦测及分割来达成。可在动作中同时显示群组，并且一次可重新播放一个与每一组有关的节段，如图13B所示。可在分割后同时开始显示节段A、B、C、D及E。如图13B所示，较短区段(如：节段A)的显示可重复多次。于是，可实质缩短需要的显示时间。图13B中的实施例描述可将显示时间从29秒缩短至10秒的案例。可将跨越相邻群组的边界的混合应用于确保显示平顺。
在本发明的一个具体实施例中，可将云端运算用于减轻本地机器上的计算负载，如图14A所示。胶囊一旦取出，便可将所有撷取的影像上传至云端。所有如检测特征、计算影像对应性与转换、以及影像翘曲与混合等计算都可在云端实现。接着可将由拚接的大影像所组成经预先计算的多个视讯流下载到本地机器以供显示。相较于原始影片大小，新影片的每一个画面都对应于由u×v个原始影像所组成的复合影像，其中，u是每一个相机所撷取画面的数量，以及v是相机的数量。因此，新影片需要极大的储存空间及/或长下载时间。为了解决这个问题，云端中仅计算所有影像对之间的转换。每一个复合影像的混合及最终呈现是如图14B所示，在本地机器上进行的。
使用四个相机扩充至360°全视野全景胶囊
图1A描述具有重迭视场的两个相机的实施例。在本发明的一个具体实施例中，如图15所示使用四个相机。这四个相机配置成使两个邻接相机的视场中心实质分开90°。这四个相机的四个镜片(1501至1504)具有各自的视场1511至1514。两个邻接的视场具有重迭区1531至1534。这四个相机配置成涵盖群集的360°视场。
本***配置成实质同时从四个相机撷取影像。重迭区中的场景由两个邻接相机同时撷取。如前述，可针对两个邻接相机，将内影像式姿势估测用于改善姿势估测的精确度。四个视场遭受环绕，并且四个镜片之间有四个重迭区。可扩充内影像式姿势估测以包括四个视场涵盖360°的事实。例如，对于与镜片1501及1502有关的相机，可将1531中与重迭区有关的影像用于辅助姿势估测。对于与镜片1502及1503有关的相机，可将1532中与重迭区有关的影像用于辅助姿势估测。对于与镜片1503及1504有关的相机，可将1533中与重迭区有关的影像用于辅助姿势估测。再者，对于与镜片1504及1501有关的相机，可将1534中与重迭区有关的影像用于辅助姿势估测。内影像式姿势估测的四舍五入(round)形成圆圈。若基于镜片1501有关影像的姿势估测与基于循环链的姿势估测之间有任何矛盾，则误差可透过另一循环链通过重复姿势估测而调整。
胶囊可在行经胃肠道时旋转。胶囊旋转的效应将使撷取的影像如图4A所示上移及下移。对于360°全视野全景胶囊，来自四个相机的组成宽影像对应于全视野全景影像。撷取的影像将在胶囊旋转时，如图16A所示顺着垂直方向循环移位。阴影区对应于两个相机之间的融合区域。全视野全景影像有四个融合区域。虽然如此，为了简单起见，每一个影像中仅显示一个融合区域。胶囊旋转可通过动作估测予以检测。虚线是指关于第一影像的相对影像边缘。本发明的一具体实施例将全域动作估测用于决定相机旋转量，并且可补偿旋转。图16B描述转动经补偿影像的实施例。胶囊装置也可配有陀螺仪、加速计或电子罗盘以决定相机转动。胶囊转动资讯可从装置读出并且用于转动补偿。
可用其他特定形式体现本发明而不脱离其精神或重要特性。要在所有态样中将所述的实施例仅视为描述性并且非限制性。因此，本发明的范围由所附权利要求书而非前述说明所指示。权利要求书均等含义及范围内的所有变更都要包含在其范围内。
权利要求书(按照条约第19条的修改)
1.一种显示人类胃肠(GI)道的影像的方法，该等影像使用含多个相机的胶囊装置予以撷取，其中，该多个相机固定配置在胶囊外壳内，并且该多个相机的任意两个邻接相机具有重迭视场(FOV)，该方法包含：
接收由该多个相机所分别撷取的多个影像序列，其中，该多个影像序列包含多组内影像，并且第i组内影像对应于该多个相机于时间索引i所撷取的同时影像；
通过拚接该多组内影像而产生复合影像，该多组内影像对应于不同时间场合；以及
在显示装置上显示该复合影像。
2.根据权利要求1所述的方法，其中，先将每一个影像序列内对应于每一个相机的影像成员拚接以形成子复合影像，并且接着将对应于该多个相机的该等子复合影像融合以形成该复合影像。
3.根据权利要求1所述的方法，其中，先将每一组内影像中的影像成员融合以形成宽影像，并且基于多个宽影像形成该复合影像，其中，每一个宽影像对应于一组内影像。
4.根据权利要求1所述的方法，其中，将该多个影像序列中相邻影像之间的差异用于决定多余影像，将该多余影像从该拚接该多组内影像排除。
5.根据权利要求4所述的方法，其中，考虑该相邻影像的照明变异或渐层资讯用于评估该相邻影像之间的差异。
6.根据权利要求1所述的方法，其中，一影像序列中两个邻接影像的特征予以检测，并且若该两个邻接影像的特征不同，则该拚接该多组内影像排除该两个邻接影像的至少一个。
7.根据权利要求6所述的方法，其中，若该两个邻接影像的特征不同，则显示该两个邻接影像在该显示装置上的独立显示区域。
8.根据权利要求1所述的方法，其中，将相机倾斜参数、相机转动参数、或相机动作参数用于辅助拚接该多组内影像。
9.根据权利要求8所述的方法，其中，基于动作估测决定该相机倾斜参数、相机转动参数、或相机动作参数。
10.根据权利要求8所述的方法，其中，通过该胶囊装置配置的陀螺仪、加速计或电子罗盘决定该相机倾斜参数、相机转动参数、或相机动作参数。
11.根据权利要求1所述的方法，其中，该拚接该多组内影像使用光条件补偿该多个影像序列内的照明变化，其中，与该光条件有关的光条件从该胶囊装置取出。
12.根据权利要求1所述的方法，其中，含有气泡或水珠的影像区域从该拚接该多组内影像排除。
13.根据权利要求1所述的方法，其更包含基于所选择时间索引的该组内影像使该多个影像序列的该多组内影像翘曲，以对于该所选择时间索引的该组内影像产生多组翘曲的内影像，其中，该产生该复合影像针对该所选择时间索引而进行的，该拚接该多组内影像基于该多组翘曲的内影像，该多组翘曲的内影像有关对应于该所选择时间索引的该组内影像，并且该显示该复合影像对应于显示该所选择索引的该复合影像。
14.根据权利要求13所述的方法，其中，该所选择时间索引透过使用者介面由使用者选择。
15.根据权利要求13所述的方法，其中，对于在时间索引范围内的各所选择时间索引进行该基于所选择时间索引的该组内影像使该多个影像序列的该多组内影像翘曲及对于该所选择索引的该显示该复合影像。
16.根据权利要求15所述的方法，其中，该时间索引范围透过使用者介面由使用者选择。
17.根据权利要求13所述的方法，其中，与该多个影像序列有关的影像特征为翘曲该多个影像序列的该多组内影像或为拚接该多组翘曲的内影像而被提取。
18.根据权利要求17所述的方法，其中，与该多个影像序列有关的该影像特征基于该影像的强度、渐层或明暗资讯而被提取。
19.根据权利要求17所述的方法，其中，颜色转换应用至该多个影像序列以增强该影像特征的可见度。
20.根据权利要求17所述的方法，其中，与一组内影像的两个邻接影像有关的影像特征之间的特征比对基于转换模型且与该多个相机有关的相机姿势参数用以初始化该转换模型。
21.根据权利要求20所述的方法，其中，使用储存在该胶囊装置中的校验影像导出与该多个相机有关的该相机姿势参数且导出的该相机姿势参数储存在该胶囊装置中。
22.根据权利要求17所述的方法，其中，辨别在一影像序列中两个邻接影像之间的重迭区域以加速基于该影像特征的影像比对，其中，使用动作估测以决定该重迭区域。
23.根据权利要求22所述的方法，其中，使用全局动作估测以决定该重迭区域。
24.一种显示人类胃肠(GI)道影像的方法，该等人类胃肠(GI)道影像使用胶囊相机撷取，该方法包含：
接收由相机所撷取的影像序列；
根据与该影像序列中每一个影像有关的影像特性，从该影像序列选择一组关键影像；
基于一关键影像令该影像序列中的该等影像翘曲以产生关于该关键影像的翘曲影像；
基于关于该关键影像的该等翘曲影像，产生与该关键影像有关的复合影像；以及
显示该关键影像的该复合影像。
25.根据权利要求24所述的方法，其中，根据该影像特性将该影像序列中的该等影像区分成多个群组。
26.根据权利要求25所述的方法，其中，一关键影像选自该多个群组的每一者。
27.根据权利要求26所述的方法，其中，该产生与该关键影像有关的复合影像基于在相同组作为该关键影像的该影像的该等翘曲影像。
28.根据权利要求27所述的方法，其中，若间隙存在于该相同组的该影像中，与该关键影像有关的该复合影像独立为两个部分显示，该两个部分对应该间隙两侧上该相同组的影像。
29.根据权利要求24所述的方法，其中，该影像特性对应于与该影像序列中每一个影像有关的蠕动阶段。
30.根据权利要求29所述的方法，其中，与每一个影像有关的该蠕动阶段决定自该相机所放射的光强度及每一个影像的影像强度。
31.根据权利要求29所述的方法，其中，使用机器学习决定与每一个影像有关的该蠕动阶段。
32.根据权利要求24所述的方法，其中，该影像特性对应于与该影像序列中每一个影像有关的胶囊转动角。
33.根据权利要求32所述的方法，其中，该胶囊转动角使用基于邻接影像的动作估测予以决定。
34.根据权利要求32所述的方法，其中，该胶囊转动角由胶囊相机配置的陀螺仪、加速计或电子罗盘所决定。

Claims (34)

1.一种显示人类胃肠(GI)道的影像的方法，该等影像使用含多个相机的胶囊装置予以撷取，其中，该多个相机固定配置在胶囊外壳内，并且该多个相机的任意两个邻接相机具有重迭视场(FOV)，该方法包含：
接收由该多个相机所分别撷取的多个影像序列，其中，该多个影像序列包含多组内影像，并且第i组内影像对应于该多个相机于时间索引i所撷取的同时影像；
通过拚接该多组内影像而产生复合影像；以及
在显示装置上显示该复合影像。
2.根据权利要求1所述的方法，其中，先将每一个影像序列内对应于每一个相机的影像成员拚接以形成子复合影像，并且接着将对应于该多个相机的该等子复合影像融合以形成该复合影像。
3.根据权利要求1所述的方法，其中，先将每一组内影像中的影像成员融合以产生宽影像，并且基于多个宽影像产生该复合影像，其中，每一个宽影像对应于一组内影像。
4.根据权利要求1所述的方法，其中，将该多个影像序列中相邻影像之间的差异用于决定多余影像，将该多余影像从该拚接该多组内影像排除。
5.根据权利要求4所述的方法，其中，考虑该相邻影像的照明变异或渐层资讯用于评估该相邻影像之间的差异。
6.根据权利要求1所述的方法，其中，一影像序列中两个邻接影像的特征予以检测，并且若该两个邻接影像的特征不同，则不将该两个邻接影像拚接成该复合影像。
7.根据权利要求6所述的方法，其中，若该两个邻接影像的特征不同，则显示该两个邻接影像在该显示装置上的独立显示区域。
8.根据权利要求1所述的方法，其中，将相机倾斜参数、相机转动参数、或相机平移参数用于辅助拚接该多组内影像。
9.根据权利要求8所述的方法，其中，基于动作估测决定该相机倾斜参数、相机转动参数、或相机平移参数。
10.根据权利要求8所述的方法，其中，通过该胶囊装置配置的陀螺仪、加速计或电子罗盘决定该相机倾斜参数、相机转动参数、或相机平移参数。
11.根据权利要求1所述的方法，其中，该拚接该多组内影像使用光条件补偿该多个影像序列内的照明变化，其中，与该光条件有关的光条件从该胶囊装置取出。
12.根据权利要求1所述的方法，其中，含有气泡或水珠的影像区域从该拚接该多组内影像排除。
13.根据权利要求1所述的方法，其更包含基于所选择时间索引的该组内影像使该多个影像序列的该多组内影像翘曲，以对于该所选择时间索引的该组内影像产生多组翘曲的内影像，其中，该产生该复合影像针对该所选择时间索引而进行的，该拚接该多组内影像基于该多组翘曲的内影像，该多组翘曲的内影像有关对应于该所选择时间索引的该组内影像，并且该显示该复合影像对应于显示该所选择索引的该复合影像。
14.根据权利要求13所述的方法，其中，该所选择时间索引透过使用者介面由使用者选择。
15.根据权利要求13所述的方法，其中，对于在时间索引范围内的各所选择时间索引进行该基于所选择时间索引的该组内影像使该多个影像序列的该多组内影像翘曲及对于该所选择索引的该显示该复合影像。
16.根据权利要求15所述的方法，其中，该时间索引范围透过使用者介面由使用者选择。
17.根据权利要求13所述的方法，其中，与该多个影像序列有关的影像特征为翘曲该多个影像序列的该多组内影像或为拚接该多组翘曲的内影像而被提取。
18.根据权利要求17所述的方法，其中，与该多个影像序列有关的该影像特征基于该影像的强度、渐层或明暗资讯而被提取。
19.根据权利要求17所述的方法，其中，颜色转换应用至该多个影像序列以增强该影像特征的可见度。
20.根据权利要求17所述的方法，其中，与一组内影像的两个邻接影像有关的影像特征之间的特征比对基于转换模型且与该多个相机有关的相机姿势参数用以初始化该转换模型。
21.根据权利要求20所述的方法，其中，使用储存在该胶囊装置中的校验影像导出与该多个相机有关的该相机姿势参数且导出的该相机姿势参数储存在该胶囊装置中。
22.根据权利要求17所述的方法，其中，辨别在一影像序列中两个邻接影像之间的重迭区域以加速基于该影像特征的影像比对，其中，使用动作估测以决定该重迭区域。
23.根据权利要求22所述的方法，其中，使用全局动作估测以决定该重迭区域。
24.一种显示人类胃肠(GI)道影像的方法，该等人类胃肠(GI)道影像使用胶囊相机撷取，该方法包含：
接收由相机所撷取的影像序列；
根据与该影像序列中每一个影像有关的影像特性，从该影像序列选择一组关键影像；
基于一关键影像令该影像序列中的该等影像翘曲以产生关于该关键影像的翘曲影像；
基于关于该关键影像的该等翘曲影像，产生与该关键影像有关的复合影像；以及
显示该关键影像的该复合影像。
25.根据权利要求24所述的方法，其中，根据该影像特性将该影像序列中的该等影像区分成多个群组。
26.根据权利要求25所述的方法，其中，一关键影像选自该多个群组的每一者。
27.根据权利要求26所述的方法，其中，该产生与该关键影像有关的复合影像基于在相同组作为该关键影像的该影像的该等翘曲影像。
28.根据权利要求27所述的方法，其中，若间隙存在于该相同组的该影像中，与该关键影像有关的该复合影像独立为两个部分显示，该两个部分对应该间隙两侧上该相同组的影像。
29.根据权利要求24所述的方法，其中，该影像特性对应于与该影像序列中每一个影像有关的蠕动阶段。
30.根据权利要求29所述的方法，其中，与每一个影像有关的该蠕动阶段决定自该相机所放射的光强度及每一个影像的影像强度。
31.根据权利要求29所述的方法，其中，使用机器学习决定与每一个影像有关的该蠕动阶段。
32.根据权利要求24所述的方法，其中，该影像特性对应于与该影像序列中每一个影像有关的胶囊转动角。
33.根据权利要求32所述的方法，其中，该胶囊转动角使用基于邻接影像的动作估测予以决定。
34.根据权利要求32所述的方法，其中，该胶囊转动角由胶囊相机配置的陀螺仪、加速计或电子罗盘所决定。
CN201480030874.XA 2013-05-29 2014-05-19 从活体内多相机胶囊重建影像 Active CN105308621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361828653P 2013-05-29 2013-05-29
US61/828,653 2013-05-29
PCT/US2014/038533 WO2014193670A2 (en) 2013-05-29 2014-05-19 Reconstruction of images from an in vivo multi-camera capsule

Publications (2)

Publication Number Publication Date
CN105308621A true CN105308621A (zh) 2016-02-03
CN105308621B CN105308621B (zh) 2019-05-21

Family

ID=51989512

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480030874.XA Active CN105308621B (zh) 2013-05-29 2014-05-19 从活体内多相机胶囊重建影像
CN201680020175.6A Active CN107529944B (zh) 2013-05-29 2016-03-30 用于使用胶囊相机所拍摄影像的重叠相依影像拼接方法
CN201680047653.2A Active CN107920722B (zh) 2013-05-29 2016-07-25 针对自胶囊相机所撷取的图像通过对象检测进行重建

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201680020175.6A Active CN107529944B (zh) 2013-05-29 2016-03-30 用于使用胶囊相机所拍摄影像的重叠相依影像拼接方法
CN201680047653.2A Active CN107920722B (zh) 2013-05-29 2016-07-25 针对自胶囊相机所撷取的图像通过对象检测进行重建

Country Status (6)

Country Link
US (3) US10068334B2 (zh)
EP (1) EP3005232A4 (zh)
JP (1) JP2016519968A (zh)
CN (3) CN105308621B (zh)
TW (1) TWI532460B (zh)
WO (2) WO2014193670A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064951A (zh) * 2018-10-16 2020-04-24 多方科技(广州)有限公司 用于多摄相机***的装设校准方法及相关装置
CN112348940A (zh) * 2020-10-19 2021-02-09 深圳硅基智控科技有限公司 基于光流获得组织腔体三维图像的处理方法

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600703B2 (en) * 2013-03-15 2017-03-21 Cognex Corporation Systems and methods for sorting image acquisition settings for pattern stitching and decoding using multiple captured images
CN104918534B (zh) * 2013-03-19 2017-03-15 奥林巴斯株式会社 内窥镜***
EP2957216A4 (en) * 2013-04-12 2016-11-09 Olympus Corp ENDOSCOPE SYSTEM AND METHOD OF OPERATION FOR ENDOSCOPE SYSTEM
WO2014193670A2 (en) * 2013-05-29 2014-12-04 Capso Vision, Inc. Reconstruction of images from an in vivo multi-camera capsule
WO2016160862A1 (en) * 2015-04-01 2016-10-06 Capso Vision Inc Method of overlap-dependent image stitching for images captured using a capsule camera
WO2014208378A1 (ja) * 2013-06-28 2014-12-31 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US20150045619A1 (en) * 2013-08-09 2015-02-12 Chang Bing Show Chwan Memorial Hospital System and method for mosaicing endoscope images using wide angle view endoscope
KR20150026201A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
EP3106080A4 (en) * 2014-02-14 2017-10-25 Olympus Corporation Endoscope system
US11120547B2 (en) * 2014-06-01 2021-09-14 CapsoVision, Inc. Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
JP6017729B2 (ja) * 2014-06-27 2016-11-02 オリンパス株式会社 内視鏡システム
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US20160295126A1 (en) * 2015-04-03 2016-10-06 Capso Vision, Inc. Image Stitching with Local Deformation for in vivo Capsule Images
US20160307350A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis - panorama
US20170071456A1 (en) * 2015-06-10 2017-03-16 Nitesh Ratnakar Novel 360-degree panoramic view formed for endoscope adapted thereto with multiple cameras, and applications thereof to reduce polyp miss rate and facilitate targeted polyp removal
JP6072400B1 (ja) * 2015-07-28 2017-02-01 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN109362234B (zh) * 2016-04-28 2021-11-30 深圳市大疆创新科技有限公司 用于获得球面全景图像的***和方法
US10257417B2 (en) 2016-05-24 2019-04-09 Microsoft Technology Licensing, Llc Method and apparatus for generating panoramic images
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
CN110035687B (zh) * 2016-11-30 2022-02-11 卡普索影像公司 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置
US10571679B2 (en) 2017-01-06 2020-02-25 Karl Storz Imaging, Inc. Endoscope incorporating multiple image sensors for increased resolution
US10038894B1 (en) * 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
WO2018186758A1 (en) * 2017-04-07 2018-10-11 Auckland Uniservices Limited System for transmitting and viewing a series of images
CN110520893B (zh) * 2017-04-19 2023-05-05 卡普索影像公司 对通过胶囊相机所撷取的图像进行图像处理并显示的方法
US11044445B2 (en) 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
US10742940B2 (en) 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
WO2019021729A1 (ja) * 2017-07-25 2019-01-31 富士フイルム株式会社 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US10699163B1 (en) * 2017-08-18 2020-06-30 Massachusetts Institute Of Technology Methods and apparatus for classification
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
US11039084B2 (en) * 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
US11173785B2 (en) 2017-12-01 2021-11-16 Caterpillar Inc. Operator assistance vision system
US10510145B2 (en) 2017-12-27 2019-12-17 Industrial Technology Research Institute Medical image comparison method and system thereof
US11055348B2 (en) * 2017-12-29 2021-07-06 Facebook, Inc. Systems and methods for automatically generating stitched media content
US11514579B2 (en) * 2018-06-04 2022-11-29 University Of Central Florida Research Foundation, Inc. Deformable capsules for object detection
US11857151B2 (en) * 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
US20200104977A1 (en) * 2018-09-30 2020-04-02 Augentix Inc. Method of Adaptive Image Stitching and Image Processing Device
US10506921B1 (en) * 2018-10-11 2019-12-17 Capso Vision Inc Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract
US20220009086A1 (en) * 2018-12-09 2022-01-13 Pramod Kumar Verma Stick device and user interface
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
US11636708B2 (en) * 2019-01-04 2023-04-25 Gopro, Inc. Face detection in spherical images
CN109934276B (zh) * 2019-03-05 2020-11-17 安翰科技(武汉)股份有限公司 基于迁移学习的胶囊内窥镜图像分类***及方法
CN109934772B (zh) 2019-03-11 2023-10-27 影石创新科技股份有限公司 一种图像融合方法、装置及便携式终端
EP3938975A4 (en) 2019-03-15 2022-12-14 Vergesense, Inc. ARRIVAL DETECTION OF BATTERY POWERED OPTICAL SENSORS
US11688048B2 (en) * 2019-04-03 2023-06-27 Digital Check Corp. Image stitching from multiple line scanners
KR102045871B1 (ko) * 2019-06-07 2019-11-18 주식회사 창성에이스산업 인공지능 기술에 기반한 화재감지시스템 및 인공지능 기술에 기반한 화재감지방법
US11191423B1 (en) 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging
CN110501344A (zh) * 2019-08-30 2019-11-26 无锡先导智能装备股份有限公司 电池物料在线检测方法
US11620808B2 (en) 2019-09-25 2023-04-04 VergeSense, Inc. Method for detecting human occupancy and activity in a work area
TWI759657B (zh) * 2019-12-05 2022-04-01 晶睿通訊股份有限公司 影像拼接方法及其相關監控攝影設備
EP4154172A4 (en) * 2020-05-26 2024-01-24 Hover Inc. SYSTEMS AND METHODS FOR IMAGE CAPTURE
CN111738300A (zh) * 2020-05-27 2020-10-02 复旦大学 一种交通标志及信号灯检测和识别的优化算法
US11972561B2 (en) * 2020-08-06 2024-04-30 Canon U.S.A., Inc. Auto-pullback triggering method for intracoronary imaging apparatuses or systems using blood clearing
US11602267B2 (en) 2020-08-28 2023-03-14 Karl Storz Imaging, Inc. Endoscopic system incorporating multiple image sensors for increased resolution
CN113222820B (zh) * 2021-05-20 2024-05-07 北京航空航天大学 一种位姿信息辅助的航空遥感图像拼接方法
CN117918022A (zh) * 2021-09-16 2024-04-23 索高视觉有限公司 用不同内窥镜单元获取的图像的配准
DE102021133252A1 (de) 2021-12-15 2023-06-15 Karl Storz Se & Co. Kg Endoskopische Kapsel
DE102021133248B4 (de) 2021-12-15 2023-06-29 Karl Storz Se & Co. Kg Endoskopie-Vorrichtung und Endoskopie-System
CN114519671B (zh) * 2022-02-16 2022-11-01 天津中科无人机应用研究院 无人机遥感影像动态快速拼接方法
CN114419041B (zh) * 2022-03-29 2022-06-21 武汉大学 病灶颜色的识别方法及装置
DE202023101183U1 (de) 2023-03-12 2023-03-22 Kusum Yadav Auf künstlicher Intelligenz und IoT basierendes intelligentes Gesundheitssystem, das Bildverarbeitung und tiefes Lernen nutzt, um chronischen Magen-Darm-Erkrankungen vorzubeugen und sie vorherzusagen
CN116912302B (zh) * 2023-09-12 2023-12-01 湖南大学 一种基于深度图像配准网络的高精度成像方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US20090074265A1 (en) * 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
CN101449573A (zh) * 2006-01-18 2009-06-03 康生科技公司 具有全景照相机的体内传感器
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
CN101627621A (zh) * 2007-01-09 2010-01-13 卡普索影像股份有限公司 用于补偿胶囊照相机中的制造偏差和设计缺陷的方法
US20110085022A1 (en) * 2009-10-12 2011-04-14 Capso Vision, Inc. System and method for multiple viewing-window display of capsule images

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
US5547455A (en) * 1994-03-30 1996-08-20 Medical Media Systems Electronically steerable endoscope
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US5986668A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6081278A (en) * 1998-06-11 2000-06-27 Chen; Shenchang Eric Animation object having multiple resolution format
US6359617B1 (en) * 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
JP2002042109A (ja) * 2000-07-21 2002-02-08 Topcon Corp 医用画像合成処理装置及び方法並びに記憶媒体
ATE523034T1 (de) * 2001-01-16 2011-09-15 Given Imaging Ltd System und verfahren zur weitwinkelabbildung von körperlumen
US7194112B2 (en) 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
JP4550048B2 (ja) * 2003-05-01 2010-09-22 ギブン イメージング リミテッド パノラマ視野の撮像装置
US7922652B2 (en) * 2004-02-18 2011-04-12 Osaka University Endoscope system
US20050215876A1 (en) * 2004-03-25 2005-09-29 Eastman Kodak Company Method and system for automatic image adjustment for in vivo image diagnosis
US8602971B2 (en) * 2004-09-24 2013-12-10 Vivid Medical. Inc. Opto-Electronic illumination and vision module for endoscopy
US20100010300A1 (en) * 2004-12-30 2010-01-14 Given Imaging Ltd. Device, System and Method for Orienting a Sensor In-Vivo
US7813590B2 (en) * 2005-05-13 2010-10-12 Given Imaging Ltd. System and method for displaying an in-vivo image stream
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
CN1920882A (zh) * 2005-08-24 2007-02-28 西门子共同研究公司 基于显著区域特征的医学图像三维多模配准的***和方法
WO2007062404A2 (en) * 2005-11-23 2007-05-31 Capso Vision, Inc. Movement detection and construction of an 'actual reality' image
JP5308615B2 (ja) * 2005-12-09 2013-10-09 株式会社アールエフ 医療システム
DE602007010433D1 (de) * 2006-03-13 2010-12-23 Given Imaging Ltd Kaskadenanalyse zur darmkontraktionsdetektion
WO2008012701A1 (en) * 2006-07-24 2008-01-31 Philips Intellectual Property And Standards Gmbh Capsule camera with variable illumination of the surrounding tissue
US7978932B2 (en) * 2007-08-02 2011-07-12 Mauna Kea Technologies Robust mosaicing method, notably with correction of motion distortions and tissue deformations for in vivo fibered microscopy
WO2009060460A2 (en) * 2007-11-09 2009-05-14 Given Imaging Ltd. Apparatus and methods for capsule endoscopy of the esophagus
KR100919247B1 (ko) * 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
JP5388657B2 (ja) * 2009-04-01 2014-01-15 Ｈｏｙａ株式会社 画像処理装置、画像処理装置の作動方法、およびシステム
CN101716077B (zh) * 2009-12-03 2012-09-12 西交利物浦大学 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其***
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20120019613A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
CN101807295B (zh) * 2010-03-26 2012-02-29 华中科技大学 一种遥感图像无缝镶嵌拼接线的生成方法
US8422755B2 (en) 2010-06-11 2013-04-16 Given Imaging Ltd. System and method for synchronizing image sequences captured in-vivo for automatic comparison
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
CN102393953B (zh) * 2011-07-15 2013-06-26 汉王科技股份有限公司 图像帧拼接方法和装置
JP5959168B2 (ja) * 2011-08-31 2016-08-02 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5846841B2 (ja) * 2011-10-14 2016-01-20 株式会社東芝 医用画像表示装置
WO2014193670A2 (en) 2013-05-29 2014-12-04 Capso Vision, Inc. Reconstruction of images from an in vivo multi-camera capsule

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101449573A (zh) * 2006-01-18 2009-06-03 康生科技公司 具有全景照相机的体内传感器
CN101627621A (zh) * 2007-01-09 2010-01-13 卡普索影像股份有限公司 用于补偿胶囊照相机中的制造偏差和设计缺陷的方法
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US20090074265A1 (en) * 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
US20110085022A1 (en) * 2009-10-12 2011-04-14 Capso Vision, Inc. System and method for multiple viewing-window display of capsule images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064951A (zh) * 2018-10-16 2020-04-24 多方科技(广州)有限公司 用于多摄相机***的装设校准方法及相关装置
CN112348940A (zh) * 2020-10-19 2021-02-09 深圳硅基智控科技有限公司 基于光流获得组织腔体三维图像的处理方法

Also Published As

Publication number Publication date
US9672620B2 (en) 2017-06-06
CN107529944A (zh) 2018-01-02
WO2014193670A3 (en) 2015-01-29
TW201509363A (zh) 2015-03-16
US20150221116A1 (en) 2015-08-06
US20170046825A1 (en) 2017-02-16
JP2016519968A (ja) 2016-07-11
WO2017030747A1 (en) 2017-02-23
EP3005232A2 (en) 2016-04-13
CN107920722A (zh) 2018-04-17
CN107920722B (zh) 2020-01-24
WO2014193670A4 (en) 2015-03-19
US10068334B2 (en) 2018-09-04
US9324172B2 (en) 2016-04-26
CN105308621B (zh) 2019-05-21
TWI532460B (zh) 2016-05-11
CN107529944B (zh) 2019-07-26
US20160037082A1 (en) 2016-02-04
EP3005232A4 (en) 2017-03-15
WO2014193670A2 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
CN105308621A (zh) 从活体内多相机胶囊重建影像
Wei et al. A survey on image and video stitching
CN104463778B (zh) 一种全景图生成方法
US9578309B2 (en) Adjustable parallax distance, wide field of view, stereoscopic imaging system
CN104365092B (zh) 用于图像融合的方法和设备
Yuan et al. Multiscale gigapixel video: A cross resolution image matching and warping approach
CN107833179A (zh) 一种红外图像的快速拼接方法及***
CN101146231A (zh) 根据多视角视频流生成全景视频的方法
EP3148399A1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
US20160295126A1 (en) Image Stitching with Local Deformation for in vivo Capsule Images
CN110771140A (zh) 云台***及其图像处理方法、无人机
Iakovidis et al. Efficient homography-based video visualization for wireless capsule endoscopy
CN110278366A (zh) 一种全景图像虚化方法、终端及计算机可读存储介质
US20090059018A1 (en) Navigation assisted mosaic photography
CN110035687B (zh) 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置
US11120547B2 (en) Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
CN109544455B (zh) 一种超长高清实景长卷无缝融合方法
Popovic et al. Design and implementation of real-time multi-sensor vision systems
Pandey et al. A novel technique for mosaicing of medical images
CN112991207B (zh) 全景深度估计方法、装置、终端设备及存储介质
CN114222063B (zh) 亿级像素的图片与视频数据的处理方法和装置
CN108234904A (zh) 一种多视频融合方法、装置与***
CN110520893B (zh) 对通过胶囊相机所撷取的图像进行图像处理并显示的方法
Jiang et al. Consistent wce video frame interpolation based on endoscopy image motion estimation
Hackner et al. Deep-learning based reconstruction of the stomach from monoscopic video data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant