CN104885120A - 用于显示图像流的***和方法 - Google Patents

用于显示图像流的***和方法 Download PDF

Info

Publication number
CN104885120A
CN104885120A CN201380069007.2A CN201380069007A CN104885120A CN 104885120 A CN104885120 A CN 104885120A CN 201380069007 A CN201380069007 A CN 201380069007A CN 104885120 A CN104885120 A CN 104885120A
Authority
CN
China
Prior art keywords
image
pixel
generating portion
offset
merging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380069007.2A
Other languages
English (en)
Inventor
艾迪·埃克
海加·克鲁普尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Given Imaging Ltd
Original Assignee
Given Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Given Imaging Ltd filed Critical Given Imaging Ltd
Publication of CN104885120A publication Critical patent/CN104885120A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

一种显示通过体内成像胶囊捕获的图像流的***和方法，可包括显示合并图像的图像流，所述合并图像从多个原始图像中生成。为了生成合并图像，可将多个原始图像映射到选定模板，所述模板至少包括映射图像部分和生成图像部分。所述生成图像部分可通过复制来自映射图像部分的补丁而被填充，且生成部分和映射图像部分之间的边缘可变平滑并被混合。通过计算生成部分中的像素补偿值而进行平滑化，并且对于生成部分中的每个像素，将所计算的像素补偿值加到像素色值上。

Description

用于显示图像流的***和方法
技术领域
本发明涉及一种用于显示和/或回放图像流的方法和***，更具体地，本发明涉及一种用于有效显示例如由胶囊内窥镜生成的图像流的多个图像的方法和***。
背景技术
图像流可以由一系列的静止图像聚集而成并向用户显示。图像可从各种来源中创建或收集，例如，使用基文影像公司的商业化的SB2或ESO2可吞咽胶囊产品。例如，专利号为5,604,531和/或7,009,634归属Iddan等人的美国专利，委托给本申请的共同受让人并通过引用方式合并于此，其介绍了一种体内成像***，其中在一个实施例中包括可吞咽或者可吸收的胶囊。成像***在胶囊通过内腔的同时，捕获内腔例如胃肠道(GI)的图像并将其传输至外部记录装置。胶囊可以不同的进展速度沿着内腔部分前进，以非一致的速度移动，取决于肠的蠕动运动该速度可以更快或更慢。可收集大量图像用于观察，并且例如按顺序组合。可以从原始图像流中选择图像用于显示，并可以向用户显示原始图像流的子集。对整套所捕获的图像进行回放花费的时间可以相对较长，例如可花费若干小时。
回放的医生可希望查看图像的缩减集，其包括重要的或临床感兴趣的图像，并且其没有忽略任何相关的临床信息。缩减或缩短的影片可包括具有临床重要性的图像，比如被选择在胃肠道内预定位置的图像，以及具有病理学或畸形的图像。例如，申请号为10/949,220归属Davidson等人的美国专利申请，委托给本申请的共同受让人并通过引用方式合并于此，在一个实施例中介绍了一种例如通过选择遵循预定标准的图像来编辑图像流的方法。
为了缩短回放时间，原始图像流可被分割成两个或多个图像流的子集，可以同时或基本上同时显示图像流子集。专利号为7,505,062归属于Davidson等人的美国专利，委托给本申请的共同受让人并通过引用方式合并于此，介绍了一种显示来自贯穿多个连续时间段的原始图像流的图像的方法，其中，在每个时间段中显示来自原始图像流的一套连续图像，由此提高了可回放的原始图像流的速率，而不减少图像显示时间。后置处理可被用于融合同时或基本上同时示出的图像。例如，在委托给本发明的共同受让人并通过引用方式合并于此的专利号为7,474,327的美国专利中描述的实施例中可发现融合图像的实例。
与回放单个图像流比较，同时显示多个图像流的子集可产生对于用户在回放时更具挑战性的影片。例如，当同时查看多个图像流的子集时，图像被典型地以更快的总速率显示，并且用户需要对存在于多个被同时显示的图像中的可能病理解剖更加集中、专心和警觉。
发明内容
一种用于显示由体内成像胶囊捕获的图像流的***和方法可包括生成合并图像，所述合并图像包括映射图像部分和生成部分。映射图像部分可包括边界像素，该边界像素表示合并图像的映射部分和生成部分之间的边界。生成部分可包括与边界像素和内部像素邻近的像素。
可进行生成部分的像素的距离变换，而且对于每个像素，可计算像素离最近的边界像素的距离。可计算生成部分中像素的补偿值。计算生成部分中与边界像素邻近的像素PA的补偿值，例如，是通过计算PA的色值和至少一个相邻像素的平均值、中值、广义平均值或加权平均数之间的差实现的。相邻像素可选自与PA邻近的边界像素。
在一些实施例中，可基于已被指定补偿值的至少一个相邻像素的补偿值，计算生成部分中内部像素的补偿值。例如，计算生成部分中内部像素的补偿值，可通过计算被指定补偿值的至少一个相邻像素的平均值、中值、广义平均值或加权平均数乘以衰减系数实现。
对于生成部分中的每个像素，可将被计算的像素补偿值加到像素色值上，从而获得新的像素色值。可以显示合并图像，其包括映射图像部分和具有新的像素色值的生成部分。
所述方法可包括从体内成像胶囊中接收用于并行显示的一组原始图像；和选择用于显示所述图像组的模板。所述模板可包括至少一个映射图像部分和一个生成部分。原始图像可被映射到被选择模板中的映射图像部分上。可生成或合成对于合并图像预定区域(例如，根据被选择的模板)的填充，从而产生合并图像的生成部分。通过将补丁从映射图像部分复制到生成部分，可生成填充。
例如基于计算的距离可以对生成部分中的像素分类，并根据分类的顺序可计算内部像素的补偿值。映射图像部分的边界像素可包括作为对应生成部分的邻近像素的像素。
本发明的实施例可包括一种用于显示合并图像的***，所述合并图像可包括至少一个映射图像部分和一个生成部分。映射图像部分可包括边界像素，并且生成部分可包括与所述边界像素和内部像素邻近的像素。所述***可包括处理器以计算例如生成部分的像素，像素至最近边界像素的距离值。处理器可计算与边界像素邻近的生成部分的像素的补偿值。基于已指定补偿值的至少一个相邻像素的补偿值，可计算生成部分中的内部像素的补偿值。对于生成部分中的每个像素，可将计算的像素补偿值加到像素的色值上，以获得新的像素色值。所述***可包括存储单元，用于存储距离值、补偿值和新的像素色值；和显示器，用于显示合并图像，所述合并图像包括映射图像部分和具有新的像素色值的生成部分。
在一些实施例中，存储单元可存储来自体内成像胶囊的一组原始图像，用于并行显示。处理器可选择用于显示所述图像组的模板，所述模板可包括至少一个映射图像部分和一个生成部分。处理器可将原始图像映射到所述选择模板中的映射图像部分，从而产生映射图像部分。处理器可生成合并图像的预定区域的填充，从而产生生成部分。例如，处理器可通过将补丁从映射图像部分复制到生成部分而生成填充。
在一些实施例中，处理器可基于计算的距离值在生成部分中分类像素，并根据分类的顺序计算内部像素的补偿值。
本发明的实施例包括一种变形视频流的多个图像以适应符合人类视野的方法。可使用失真最小化技术，以基于模板图案将图像变形为新的轮廓，所述模板图案具有圆角和类椭圆形。可将变形的图像显示为视频流。模板图案可包括映射图像部分和合成部分。通过将映射图像部分的区域复制到合成部分，并使映射图像部分和合成部分之间的边缘平滑化，可计算合成部分的值。
附图说明
从下面结合附图的详细说明中，将对本发明进行更全面的理解和领会，其中：
图1示出了根据本发明一个实施例的体内成像***的示意图；
图2描绘了根据本发明一个实施例的体内图像流的典型图形用户界面显示；
图3A-3C描绘了根据本发明一个实施例的典型双重图像显示；
图3D描绘了根据本发明一个实施例的典型双重图像模板；
图4描绘了根据本发明一个实施例的典型三重图像显示；
图5描绘了根据本发明一个实施例的典型四重图像显示；
图6为描绘根据本发明一个实施例的用于显示合成图像的方法的流程图；
图7A为描绘根据本发明一个实施例的用于生成合成图像的预定空部的方法的流程图；
图7B为描绘根据本发明一个实施例用于对合成图像中生成部分的边缘平滑化的方法的流程图；
图7C为如图5所示合成的四重图像的左上部显示的放大图。
具体实施方式
在下面的描述中，将对本发明的各个方面进行描述。为了说明的目的，提出了特定的配置和细节，为的是提供对本发明的全面理解。然而，对本领域技术人员而言也显而易见的是，不具有此处给出的特定细节时，可以实施本发明。而且，为了不使本发明不清楚，可以省略或简化熟知的特点。
根据本发明的一个实施例的***和方法使得用户可在不增加对编辑的图像流的总体查看时间的情况下，用更长的时间周期查看图像流的图像。可选地，根据一个实施例的***和方法可被用于增加用户可回放图像流的速率，而不牺牲可在流中描绘的细节。在特定实施例中，从横贯胃肠道的可吞咽或者可消化胶囊中收集图像。图像可被组合成图像流或影片。在一些实施例中，可以产生原始图像流或完整的图像流，其包括在成像过程中所捕获或接收的所有图像(例如，整套的帧)。来自图像流的多个图像可被同时或基本上同时显示在屏幕或监视器上。
在其它实施例中，减小或编辑的图像流可包括图像的选择(例如，捕获的帧的子集)，其根据一个或多个预定标准选择。在一些实施例中，可从原始图像流中省略图像，例如，原始图像流可包括比通过可吞咽胶囊捕获的图像数量更少的图像。例如，过饱和的，污染的，包括肠道内含物或浑浊的图像，和/或与相邻图像非常类似的图像，可从由成像胶囊捕获的整套图像中移除，而且原始图像流可包括由成像胶囊捕获的图像的子集，在这些情况下，减小的图像流可包括根据预定标准选自原始图像流的减小的图像子集。
本发明的实施例可包括物品，比如计算机或处理器可读非临时性存储介质，比如例如存储器，硬盘驱动器或USB闪存装置编码、包括或存储指令，例如，计算机可执行指令，当由处理器或控制器执行时，其导致处理器或控制器实施此处公开的方法。
参考图1，其示出根据本发明一个实施例的体内成像***的示意图。在一个示例实施例中，***包括胶囊40，其具有一个或多个成像器46用于捕获图像，一个或多个照明源42用于照明身体内腔，和传输器41用于向接收装置传输图像和可能的其他信息。体内成像装置可与专利号为5,604,531和/或7,009,634归属Iddan等人的美国专利，和/或申请号为11/603,123归属Gilad的美国专利申请相一致，但在可选实施例中可以为体内成像装置的其他类别。通过成像***捕获的图像可以为包括例如圆形、正方形、矩形、八角形、六角形等任何合适的形状。典型地，位于患者体外的一个或多个位置的是图像接收器12，包括天线或天线阵列(未示出)；图像接收器存储单元16；数据处理器14；数据处理器存储单元19；以及图像监视器18，用于显示，除了别的以外，由胶囊40记录的图像。典型地，数据处理器存储单元19包括图像数据库21。处理器14和/或其他处理器，或图像显示发生器24，可以被配置为执行由本文中描述的方法，例如，被连接到存储到当由处理器执行时使得处理器执行此方法的存储单元或存储器的指令或软件。
典型地，数据处理器14、数据处理器存储单元19和监视器18为个人电脑或工作站的部件，其包括标准组件，比如处理器14、存储器、硬盘驱动器和比如鼠标和键盘的输入输出装置，尽管替换配置是可能的。数据处理器14可包括任何标准的数据处理器，比如微处理器，多重处理器、加速板，或任何其它串联或并联高性能数据处理器。数据处理器14作为其功能性的部分，典型地充当控制器的作用，控制图像(例如，其图像，在各种窗口中的图像位置，图像显示的计时或持续时间等)的显示。图像监视器18典型地为常规的视频显示器，但是另外也可以是任何能够提供图像或其它数据的其它装置。图像监视器18典型地以静止和移动图片的形式呈现图像数据，并可另外呈现其它信息。在一个典型实施例中，在窗口内显示各种类型的信息。窗口可以是例如显示器或监视器上的部分或区域(可能勾画轮廓或形成边界)，其它窗口可被使用。多个监视器可被用于显示图像和其它数据，例如，图像监视器也可以包括在图像接收器12中。数据处理器14或其它处理器可实施如此处描述的方法。例如，图像显示发生器24或其它模块可以是由数据处理器14执行的软件，或可以是例如执行软件或由专门电路控制的处理器14或另一个处理器。
在运行时，成像器46捕获图像并将表示图像的数据发送至传输器41，其使用例如电磁无线电波传输图像至图像接收器12。图像接收器12将图像数据传递至图像接收器存储单元16。在数据收集的特定时间周期后，存储在存储单元16中的图像数据可被发送至数据处理器14或数据处理器存储单元19。例如，图像接收器12或图像接收器存储单元16可以从患者的身体上取下，并经由标准数据链接，例如串联、并联、USB，或已知结构的无线接口被连接到包括数据处理器14和数据处理器存储单元19的个人电脑或工作站。然后图像数据从图像接收器存储单元16被传递至数据处理器存储单元19内的图像数据库21。典型地，图像流作为一系列图像被存储在图像数据库21中，其可以各种已知方式实现。数据处理器14可以分析数据并将分析的数据提供至图像监视器18，其中用户查看图像数据。数据处理器14与基本操作软件，比如操作***和装置驱动器结合，操作软件，控制数据处理器14的运行。典型地，软件控制数据处理器14包括以C++语言书写的编码，并可使用各种开发平台，比如Microsoft的.NET平台实现，但是可以各种已知的方法实现。
数据处理器14可包括或执行图形软件和/或硬件。数据处理器14可基于多个预定标准对每个帧分配一个或多个分数、等级或测量。当在此使用时，“分数”可以是总分数或等级，其中(在一个实施例中)，分数越高，帧越可能被包括在影片中，并且(在另一个实施例中)，分数可与特定性质，例如质量分数、病理分数、类似分数，或表示帧所具有的质量的量或可能性的另一个分数或测量相联系。数据处理器14可选择具有用于显示的最佳范围内的分数的帧和/或移除具有次佳范围内的分数的帧。分数可代表，例如，(常规或加权)平均帧值或与多个预定标准相联系的分项分数。选择的帧的子集可以作为编辑(缩减的)影片或图像流而被按顺序放映。
在原始流和/或缩减流中的图像可根据捕获的时序时间而被顺序排序(且因此流可具有顺序)，或可以根据不同标准(比如图像之间的相似度、色彩水平、照明水平、图像中的物体与体内装置的估计距离、图像的疑似病理分类等)而被排列。
数据处理器14可包括，或可操作地连接至图像显示发生器24。图像显示发生器24可被用于从多个图像中生成用于显示的单个合并图像。例如，图像显示发生器24可例如，从图像数据库21中接收多个原始图像帧，例如图像流，并生成包括多个图像帧的合并图像。
如此处所用的原始图像帧指的是单个图像帧，其通过成像器，例如体内成像装置而被捕获。在一些实施例中，原始图像帧可经过特定的图像预处理操作，比如图像强度的定心、标准化，统一图像的形状和尺寸等。
如此处所用的合并图像为由多个比如由胶囊40捕获的原始图像组成的单个图像。合并图像中的每个图像可在不同时间下被捕获。合并图像典型地具有预定形状或轮廓(例如由模板限定)。使用圆形或类椭圆形，模板图案的预定形状或轮廓被设计为更好地适应人类视野。模板图案的形成，使得在原始图像中捕获的所有视觉数据被运输或显示到用户，且没有(大量或显著的)视觉数据丢失或移除。由于人类的视野是圆形的，如果合并图像为矩形，可能难以查看位于合并图像角落中的细节。
构成合并图像的每个原始图像可被映射至合并图像中的预定区域。原始图像的形状或轮廓典型地不同于原始图像所映射至的合并图像中的区域的形状或轮廓。
用户可选择被显示为单个合并图像的原始图像的数量。基于将被同时显示的选择的图像的数量(例如1、2、3、4，16)，可生成单个的合并图像。图像显示发生器24可映射所选择数量的原始图像至合并图像中的预定区域，并可生成用于显示为图像流的合并图像。
在一些实施例中，图像显示发生器24可确定被显示的合并图像的性质，例如，屏幕上的位置和尺寸，从多个原始图像中生成的合并图像的形状和/或轮廓，自动生成和施加至图像容量的图像以填充模板的预定区域，和/或生成映射图像之间的边界。如果用户选择例如，四个图像以同时显示，则图像显示发生器24可确定、产生或(例如从存储模板的清单中)选择模板(其可包括合并图像的轮廓或外形和尺寸)，从流中选择四个原始图像，并根据合并图像模板的四个预定区域映射四个原始图像，从而生成单个合并图像。该过程的实施可用于整个图像流，例如用于初始捕获图像流中的所有图像，或用于其部分(例如用于编辑的图像流)。
收集和存储的图像数据(例如原始图像流)可被无限期地存储、传递至其它位置、操作或分析。健康专家可以，例如使用图像用以分析胃肠道的病理状态或畸形，并且，另外***可提供关于这些病理位置的信息。使用一种***，其中数据处理器存储单元19首先收集数据，然后将数据传递至数据处理器14，图像数据不是被实时查看，其它配置容许实时查看，例如在作为图像接收器12的部分的显示器或监视器上查看图像。
由胶囊40记录和传输的图像数据可以是数字颜色图像数据，尽管在替代实施例中，可以使用其它图像形式。在一个典型实施例中，根据已知方法，图像数据的每帧包括320行，每行320像素，每个像素包括颜色和亮度的字节。例如，在每个像素中，颜色可由四个子像素的拼接呈现，每个子像素对应于原色，比如红、绿或蓝(其中一个原色可被呈现两次)。总的像素亮度可由一个字节(即0-255)亮度值记录。图像可以例如按顺序被存储在数据处理器存储单元19中。存储的数据含有一个或多个像素性质，包括颜色和亮度。可以使用其它图像形式。
数据处理器存储单元19可存储一系列由胶囊40记录的图像。胶囊40记录的图像，例如当其移动通过患者的胃肠道时，可以被连续组合，以形成作为图像流的一系列可显示的图像。当查看图像流时，用户被典型地在监视器18上呈现一个或多个窗口；在替代实施例中，不需使用多个窗口，且只有图像流可被显示。在提供多个窗口的一个实施例中，例如，图像窗口可提供图像流，或者只是该图像的部分。另一个窗口可包括可以改变图像显示的按钮或其它控制；例如，停止、播放、暂停、捕获图像、步进、快进、倒回或其它控制。这样的控制可以通过例如指示设备，比如鼠标或轨迹球启动。典型地，图像流可以被冻结，以便查看一帧，加速或反转；可跳过部分；或者任何其它查看图像的方法都可用于图像流。
在一个实施例中，原始图像流，例如由体内成像胶囊捕获的图像流可根据不同的选择标准被编辑或缩减。例如在归属Davidson等人，委托给本申请的共同受让人并通过引用方式合并于此的公开号为2006/0074275的美国专利申请[0032]段中公开的选择标准的实例，包括基于数字的标准，基于质量的标准，基于注释的标准，色彩差异标准，和/或与预先存在的图像，比如描绘畸形的图像的类同物。所编辑或缩减的图像流可包括与原始图像流相比缩减数量的图像。在一些实施例中，查看者为了节省时间可查看缩减流，例如取代查看原始图像流。
当查看体内图像流时，例如根据当捕获图像时体内装置的估计速度，或根据流中连续图像之间的相似性，图像的显示速率可变化。例如，在专利号为6,709,387的美国专利中公开的实施例中，图像处理器与至少两个图像帧关联，从而确定其相似性范围，并且用以生成与所述相似性关联的帧显示速率，其中当所述帧一般不同时，所述帧显示速率较慢，且当所述帧一般类似时显示速率较快。
图像流可通过在单个窗口中显示合并图像而呈现给查看者，使得整个图像流中或编辑的图像流中的一组连续或邻近的(例如，按时间相互贴近，或以捕获时间)帧可以被基本上同时显示。根据一个实施例，在每个时段中(例如一个或多个图像将被显示在窗口中的周期)，在图像流中连续的多个图像被显示为单个合并图像。时段的持续时间对于所有时段可以一致，或者变化。
在一个典型实施例中，为了改进对病理的可见性，并产生人类视野的更适合或舒服的查看，图像显示发生器24可映射或弯曲原始图像(至预定成形的区域)，以生成合并图像的更平滑轮廓。例如使用本领域已知的共形映射技术(保留局部角度的转换，也称共形转换，角度保留转换，或双全纯映射)，可以实施这种映射。映射图像部分的模板设计可以典型地为对称的，例如，每个图像可以与其它含有合并图像的原始图像类似或相等的形状和尺寸被显示。例如，图像可被反转并呈现为镜像，图像可具有其取向或被修改，或图像可被另外处理，以增加对称性。在一个实例中，原始图像可以是圆形，并且合并图像可具有圆形的矩形形状。
在一些实施例中，用于产生合并图像的模板可包括预定空部，该空部未通过失真最小化技术(例如共形映射算法)而被填充。在一个实例中，原始图像可以是圆形，并且在合并图像中的映射区域的形状可以是正方形或者类似于具有圆角的矩形。当将已知的失真最小化技术应用于正方形区域时，失真最小化技术可在角上生成图像部分的较大的放大。因此，本发明的实施例使用具有圆形角的映射模板，而未通过失真最小化技术被填充的空部(例如在合并图像的中间，和连接映射图像的角处，如图3D所示)，可通过其它方法填充。在一些实施例中，图像显示发生器24可生成对于合并图像的预定空部的填充。当显示图像时，模板可限定一组图像将怎样被放置和/或图像将怎样被成形或修改。
当多个图像被同时显示时，图像流的查看时间可被缩减。例如，如果图像流从合并图像中生成，每个合并图像均包括同时显示的两个或多个原始图像，并且在每个连续时段中，连续的合并图像被显示(例如，具有在不同时段中显示的非重复的原始图像，使得每个图像只在一个时段中显示)，然后，图像流的总体查看时间可被缩减至初始时间的一半，或每个时段的持续时间可以较长，从而使查看者有更多时间在显示器上检查图像，或两者都可发生。例如，如果原始图像流可以每秒20帧被显示，则在每个时段中同时显示的两个图像可以每秒10帧被显示。因此，每秒相同数量的总体帧被显示，但是，用户可查看多达两倍的信息，并且每帧被显示长度为两倍。
图像流的总体显示时间和每个图像出现在显示器上的持续时间之间存在权衡。例如，总体查看时间可与原始图像流的总体查看时间相同，但是每帧被显示至用户更长的时间周期。在另一个实例中，如果用户以一个速率舒适地查看单个显示图像，增加第二图像将容许用户增大总体查看速率而不减少每帧被显示的时间。在替代实施例中，当图像流被作为单个图像流显示时和当其作为合并图像流而被显示时的显示速率之间的关系可以不同；例如，所得的合并图像流可以与原始图像流相同的速率被显示。因此，显示方法可以不仅减少图像流的总体查看时间，而且增加屏幕上一些或所有图像的显示时间的持续时间。
在一个典型实施例中，用户可在每个时段查看单个图像和每个时段查看多个图像之间切换模式，例如，使用比如按键的控制或者使用指示设备(例如鼠标或触摸板)选择的屏幕上的按钮。用户可以类似于控制单个图像显示的方式，例如通过使用屏幕上控制来控制多个图像显示。
现在参考图2，其描绘了根据本发明的一个实施例的体内图像流的典型的图形用户接口显示。显示器300包括各种用户接口选择和典型的合并图像流窗口340。显示器300可显示在例如图像监视器18上。合并图像流窗口340可包括被合并到单个窗口中的多个原始图像。合并的图像可包括多个图像部分(或区域)，例如部分341、342、343、344。每个图像部分或区域可对应于不同的原始图像，例如原始捕获图像流中的不同图像。原始图像可被弯曲或映射到图像部分341-344中，并可被融合在一起(例如在图像部分341-344之间具有平滑边缘，或不具有平滑的边界)。
颜色条362可被显示在显示器300上，并且可表示图像或流中合并图像的平均颜色。时间间隔可被表示在分隔的时间轴上，或在颜色条362上，并且可表示当前显示在窗口340中的图像的捕获时间。一组控制器314可改变图像流在合并图像窗口340中的显示。控制器314可包括例如停止、播放、暂停、捕获图像、步进、快进、倒回或其它控制，用于冻结、加速、或倒转窗口340中的图像流。查看速度条312可由用户调节，例如，滑触头可表示每秒钟显示帧(例如合并帧或单个帧)的数量。时间指示器310可提供流逝的或与目前所示图像，编辑图像流和/或原始未编辑图像流的总长度相关的绝对时间表示。目前所示图像流逝的绝对时间可以例如为在第一次启动成像装置(例如图1的胶囊40)或图像接收器(例如图1的图像接收器12)开始接收来自成像装置的传输的时刻和捕获或接收当前被显示图像的时刻之间流逝的时间量。
使用控制器316，用户可以使用输入装置(例如鼠标、触摸板或图1的其它输入装置24)，捕获并存储一个或多个当前显示的图像作为缩略图像(例如从作为窗口340中的合并图像出现的多个图像中)。
缩略图像354、356可以参照在颜色条(或时间条)362上的适合的有关帧捕获时间而被显示。相关注释或概要355、357可包括对于每个缩略图像的图像捕获时间，以及与当前缩略图像相关的概要信息。
胶囊定位窗口350可包括在患者胃肠道内的成像装置的当前位置和/或取向，并且可显示胃肠道的不同片段为不同颜色。在捕获当前显示图像(或多个图像时)，突出的片段可表示成像装置的位置。进度条或图表352可表示由成像装置经过的整个路径长度，并可提供在当前显示图像被捕获的时间下经过的路径的百分数的估计或计算。
控制器322可容许查看者在例如未编辑图像流的人工查看模式和用户可只查看来自根据预定标准编辑的流的图像子集的自动编辑查看模式之间选择。视图布局控制器323容许查看者在单个窗口(在窗口340中显示一个图像)中查看图像流，或查看包括两个图像(双重)、四个图像(四重)或拼接视图布局中的较大数量图像(例如9、16)的合并图像之间选择。显示预览控制器321可向查看者显示来自原始流的所选图像，例如选为感兴趣的或具有临床价值(QV)的，其余的图像(CQV)或只是具有疑似出血迹象的图像(SBI)。
图像调节控制器324可容许用户改变显示图像的性质(例如强度、颜色等)，同时变焦控制器325能够增加或降低在窗口340中的显示图像的尺寸。使用控制器326，用户可选择哪些显示部分被示出(例如缩略、定位、进度条等)。
现在参考图3A-3C，其描绘了根据本发明的实施例的典型合并双重图像显示窗口280、281、282。在图3A中，合并图像280包括两个图像部分(或区域)210和211，其分别对应于来自原始捕获图像流的两个原始连续图像201、202。原始图像201、202为圆形，分离的，同时在合并图像280中，原始图像被再次成形为图像部分210、211的所选形状(或模板)。重要的是注意到图像部分(或区域)210、211不包括部分(或区域)230、231、250和251。
在一个实施例中，为了再次成形原始(例如圆形)图像为所选模板轮廓，失真最小化映射技术，例如共形映射技术或“平均值坐标”技术(例如由Michael S.Floater著的“平均值坐标”，http://cs.brown.edu/courses/cs224/papers/mean-value.pdf)可被应用。共形映射转换在区域中一点处相交的任意的曲线对，使得映射图像曲线以相同的角相交。对于图像的共形映射存在已知的解决方案，例如，Torbin A.Driscoll的Schwarz-Christoffel工具箱(SC工具箱)版本2.3为用于以MATLAB版本6.0或随后(在http://www.math.udel.edu/～driscoll/software/SC/中工具箱可用)的Schwarz-Christoffel共形映射的交互计算和形象化的M文件的汇编。
可使用失真最小化映射的其它方法。例如，“尽可能刚性”(ASAP)技术为变形技术，其混合给定的二或三维形状内部而非其边界。从随着其从其来源变化至目标结构，局部体积发生最小失真的意义上讲变形是刚性的。“尽可能刚性”技术的一个实施例在Alexar、Cohen-Or和Levin的文章“尽可能刚性成形插值”，或T.Igarashi、T.Moscovich和J.F.Hughes的文章“尽可能刚性成形操作”中被公开。另一种技术，称作“尽可能相似”技术，在例如Levi Z.和Gotsman C.的由IEEE形象化和计算机制图学报，于2012年发表的“D-Snake：通过尽可能相似模板变形的图像登记”中被描述。其它技术也有可能，例如，全纯映射和准共形映射。
失真最小化映射可以大量计算，因此在一些实施例中，失真最小化映射的计算可以在体内图像显示给查看者之前离线实施一次。计算的映射可以随后用于从患者汇集的图像流，并且映射可以在图像处理时被应用。失真最小化映射转换可以例如从规范的圆形至所选的模板轮廓，例如矩形、六角形或任何其它形状而被运算。该初始运算可被一次完成，且结果可被应用于由每个使用的胶囊捕获的图像。运算可以应用于每个捕获帧。在一些实施例中也可使用在线计算。
可以产生对图像的区域或部分填充的需求，因为如果原始图像形状被转变成不同的形状(例如，在如图5所示的四重合并图像的情况下，圆形图像可以转化成具有角的形状)，共形映射在转换图像的角处可生成原始图像的大的放大率。因此，圆形角(而不是直角)可用于图像部分模板中，并且作为圆形角的结果生成的合并图像的空部或部分可被填充或生成。
失真最小化映射算法可被用于转换原始图像至不同形状的图像，例如，原始图像201可被转换成对应的映射图像部分210，且原始图像211转换为对应的映射图像部分202。在一些实施例中，在原始图像201被映射至图像部分210后，合并图像模板的余下的预定空区或部分230和250可被自动填充或生成。类似地，原始图像202可被映射到图像部分211，而模板的余下的预定空部231和251可被自动填充或生成。
填充物可以例如为用于填充或复制图像或监视器显示的一部分的包含物。生成对部分或区域230、250的填充，或填充区域的实施可例如通过将附近的补丁或部分从映射图像部分210复制成有待生成或填充的部分或区域，并且对所产生的边缘平滑化。该方法的优势是附近补丁的局部质地是类似的，并且运动方向是连续的。在产生于合并图像的图像流中，由于补丁总是从原始图像中的相同地点复制，在生成部分或区域的面积中的视频流是连续的，由于帧之间的过渡局部等同于部分被复制的地点中的过渡。这容许在视频中独立合成序列帧，而不检查以前和/或后续的帧，由于帧的序列保持一致和流畅。
在一个实施例中，可选择补丁，例如使得补丁的尺寸和形状与需要被填充或生成的部分或区域的尺寸和形状相同。在其它实施例中，可选择补丁，使得补丁的尺寸和/或形状不同于需要被生成或填充的区域或部分的尺寸和形状，并且补丁可以相应地缩放，调整尺寸和/或再次成形，以适应生成的部分或区域。
在合并图像(其被显示为图像流的部分)中合成(或生成)区域或部分可需要快速处理，例如为的是保持图像流的帧显示速率，并且用于保留处理资源用于另外的任务。用于平滑合并图像中填充(或生成)部分边缘的方法在此处的图7B中描述。
一旦部分230、250和231、251被填充或生成，可生成(映射)图像部分210、211之间的边界。使用若干方法可进一步处理边界。在一个实施例中，边界可被混合、平滑或融合，且两个图像部分210、211可被归并成具有不明显边界的单个合并图像，例如如区域220所示。在另一个实施例中，边界可保持明显，例如如图3B所示，且分隔线218可加到合并图像上，以突出两个图像部分212、213之间的分离。在又一个实施例中，不需添加分隔线，且两个图像部分可简单地互相靠近放置，例如，如边缘222所示，其示出了图3C中图像部分214和图像部分215之间的边界。边缘222可限定或是区域或图像部分214的边界，且边界可由像素构成。
现在参考图3D，其描绘了根据本发明的实施例的典型双重合并图像模板。模板260包括映射图像部分270、271，其目的为映射所选的两个原始图像，用于双重合并图像的显示。部分261和262为预定的空部，其目的为使用如此处所述的填充方法被生成或填充。部分261和262对应于图像部分270，而部分262和263对应于图像部分271。线条273表示图像部分270和图像部分271之间的分离。
现在参考图4，其描绘了根据本发明的实施例的典型三重合并图像显示。合并图像400包括三个图像部分441、442和443，其分别对应于来自捕获图像流的三个原始图像。原始图像可以例如是圆形并且分离的(例如类似于图3A中的图像201和202)，而在合并图像400中，原始图像再次成形至图像部分441、442和443的所选形状(或模板)。原始图像也可以任何其它形状，例如正方形、矩形等成形。
类似于上面图3A的描述，为了映射或再次成形原始(例如圆形)图像401、402、403至图像部分441、442和443的所选模板形状，可应用失真最小化技术。在将原始图像映射至图像部分441、442和443的新的形状或轮廓之后，部分410-415可保持空白。部分410-415可以例如如参考图3A的部分230、231、250和251描述的生成或填充。
一旦部分410-415被填充或生成，使用若干方法，可以生成图像部分441、442和443之间的边界。在一个实施例中，边界可以是平滑或融合的，并且三个图像部分441、442和443可以合并成具有不明显边界的单个合并图像，例如如区域420、422和424所示。在另一个实施例中，边界可保持明显，例如如图3B所示，具有分隔线，以突出三个图像部分441、442和443之间的分离。在又一个实施例中，不需要添加分隔线，且三个图像部分可简单地互相邻近放置，例如类似于边缘222，其表示或为图3C中的图像部分214和图像部分215之间的边界。
现在参考图5，其描绘了根据本发明的实施例的典型四重图像显示。例如由于对人类视野的更好利用，合并图像500的圆形轮廓可改进查看图像流的过程。所得到的合并图像例如与原始图像轮廓，比如圆形或矩形比较，可以更便于查看。合并图像500包括四个图像部分541、542、543和544，其分别对应于来自捕获图像流的四个原始图像。图像部分541-544通过轴550和轴551表示，其将合并图像500分成四个子部分，对应于用于生成每个部分的原始图像。原始图像的成形与图像部分541、542、543和544的预定形状不同。图像在合并图像500上的位置可由一模板限定，该模板确定映射图像在哪出现，其何时被应用至模板。
在该实例中，例如使用共形映射技术，原始图像被映射至图像部分541-544。重要的是注意到图像部分541-544不包括内部部分或区域501-504，其目的为在共形映射过程后保持为空白。原因是如果使用相同的共形映射技术以便同样将原始图像映射至这些部分，映射过程可在角区域(由内部部分501-504表示)处生成大的放大率，并且可在原始图像中捕获的目标之间产生成比例的失真视图。
内部部分501-504可通过例如如关于图3A所描述的填充技术生成或填充。邻近映射图像部分之间(例如在映射图像部分541和542或541和544之间)的边界可被平滑化(例如如图5所示)，由线条分离，或者可保持为不具有明显分隔的接触图像。
一旦内部部分501-504被生成或填充，使用一个或多个若干方法可生成映射图像部分541-544之间的边界。在一个实施例中，边界可被平滑化或融合，并且四个映射图像部分541-544可归并成具有不明显边界的单个合并图像，例如如连接区域520-523中所示。在另一个实施例中，边界可保持明显，例如如图3B所示，具有分隔线，以突出映射图像部分541-544之间的分离。在又一个实施例中，不需添加分隔线，且四个映射部分可简单地相互邻近放置，例如类似于边缘222，其表示图3C中映射图像部分214和映射图像部分215之间的边界。可使用其他方法。
现在参考图6，其为描绘用于显示根据本发明的实施例的合并图像的方法的流程图。在操作600中，可接收多个原始图像(例如从内存，或从体内成像胶囊中)用于同时显示，例如，以相同时间或基本上同时，在相同屏幕或展示器上显示。可选择多个原始图像，用于同时显示为合并图像，选择来自在体内，例如通过可吞咽成像胶囊捕获的图像流。在一个实施例中，多个图像可以是时间排序的连续图像，随着其穿过胃肠道时由成像胶囊捕获。例如从存储单元(例如存储器19)或图像数据库(例如图像数据库21)中可接收原始图像。在用于同时显示的多个图像中的图像数量可以被预定或自动确定(例如通过处理器14或显示发生器24)，或可以作为输入从用户(其可选择，例如双重、三重或四重合并图像显示)接收。
在将同时显示在合并图像中的图像数量被确定之后，可以在操作610中选择或创建用于显示的模板，例如自动通过处理器(比如处理器14或显示发生器24)，或基于来自用户的输入。所选模板可选自存储在存储单元(例如存储器19)中的一组预定模板，所述存储单元被可操作地连接至处理器。在一个实施例中，若干预定结构可用，例如对于每个作为合并图像同时显示在屏幕上的图像数量，可预定一个或多个模板。在其它实施例中，模板可被快速设计，例如根据用户输入，比如希望的原始图像的数量，从而合并和期望的合并图像的轮廓。
多个原始图像可被映射或应用至所选的模板，或映射或应用至模板中的区域，在操作620中，以产生合并图像。所产生的合并图像将多个原始图像结合到具有预定轮廓的单个图像中。每个原始图像可被映射到或应用到所选模板的一部分或区域。例如根据图像性质，例如按时间顺序的捕获时间，图像可被映射至合并图像部分在一个实施例中，来自具有最早捕获时间或捕获时间戳的多个原始图像的图像，可以在双重视野(例如至图3A的双重合并图像中的映射图像部分210)中被映射或应用至模板左侧。例如基于在图像(例如具有最高病理分数的图像或来自用于同时显示的多个图像，最有可能包括病理现象的图像)中捕获的病理可能性，可选择其它映射配置。
在一些实施例中，将原始图像映射到所选模板的预定区域可通过保角映射技术实施。由于保角映射在原始图像中保持曲线的局域角，变换图像结果保持在原始图像中捕获的目标的形状(例如，在体内组织中)。保角映射保持在原始图像中目标的角度和形状，但不必要保持其尺寸。映射原始图像可以根据各种失真最小化映射技术实施，例如“尽可能刚性”变形技术、“尽可能相同”失真技术，或本领域已知的其他变形或失真技术。
在一些实施例中，所选模板可包括合并图像的预定区域，在映射原始图像之后其保持是空的。由于映射算法的内在性能，这些区域不被映射，其可引起在合并图像的特定区域中放大的角。因此，可使用填充算法，以便以对观察专家有用的方式(操作630)填充这些区域。被填充区域可以生成，使得当呈献给用户时，可保持图像流的自然流动。可以使用不同方法填充合并图像的预定空区；一个这样的方法被呈现在图7A和7B中。
在使用填充算法填充预定区域之后，显示发生器24可生成图像部分之间的边界(操作640)。边界可选自不同的边界类型。所选的边界类型可以预定，例如设置在处理器(例如处理器14，或显示发生器24)或存储单元(例如存储器19)中，或可由用户根据个人偏好经由用户接口进行人工选择。一种边界类型可包括分隔线，其可被加到合并图像上，以突出每个图像部分并限定每个原始图像所映射的区域。另一个选择可包括保持不具有明确边界，例如没有额外分隔线的合并图像。
在另一个实施例中，合并图像的图像部分之间的边界可被混合，融合或平滑化，以便创建从一个图像部分至另一个的不明显过渡。例如，平滑化操作可包括图像混合或交叉化图像合并技术。一个典型方法被描述在P’erez等人所著的“Poisson图像编辑”中，其公开了无缝图像混合算法，其使用离散Poisson方程确定最终图像。
在确定边界后，典型地作为体内胃肠道成像步骤的图像流的一部分，最终合并图像可被显示至用户(操作650)。图像可被显示在例如外部监视器或屏幕上(例如监视器18)，其可被可操作地连接至工作站或计算机，其包括例如数据处理器14、显示发生器24和存储器19。
现在参考图7A，其为描绘在根据本发明实施例的用于合并图像中生成或填充预定空部或区域的方法的流程图。在操作700中，处理单元(例如显示发生器24)可接收具有原始图像没有被映射的至少一个预定空部的合并图像。例如，在完成图6的操作620之后可接收合并图像。
预定空部的轮廓或边界可被获得或确定，例如存储在存储单元19中，具有相同轮廓、形状或边界的图像部分或补丁可从合并图像的附近映射图像区域复制(操作702)。例如在图5中，使用选自映射图像部分544的图像补丁505，填充预定空部501。所注意的是，图像补丁505和部分501具有相同尺寸并具有相同轮廓，因此，将图像补丁505复制到部分501中不需要对复制补丁的额外处理。图像补丁可选自对应映射图像部分中的固定位置，因此对于每个合并图像，图像补丁(其被复制到空部中)的位置或坐标事先已知。例如，合并图像模板的预定空部的尺寸和轮廓被典型地预先确定(例如，该信息可与合并图像模板一起存储)。相应地，选自映射图像部分的图像补丁的位置、尺寸和轮廓也被预先确定。在补丁505被复制到预定空部501中后，预定空部501成为“生成部分”(或生成区域或填充部分)501。
在如图5所示的示例中，图像补丁505可选自映射图像部分，使得，例如图像补丁505的右下角P邻近(或接触)图像部分544和预定空部501之间的边界，且图像补丁505的转角相对于预定空部501为零。在其它实施例中，可选择图像补丁相对于预定空部的不同转角，并可从对应的图像部分中选择图像补丁的不同坐标位置。当图像补丁选自每个合并图像中的相同区域(例如相同位置、尺寸和形状)时，产生的生成部分总是从映射图像部分中的相同坐标获得，并在合并图像流中产生的视频图像流变得平滑和流畅。
在一些实施例中，所选的补丁或区域不必与预定空部相同(例如在尺寸和/或形状上)。典型地，所选补丁可在形状和尺寸上类似，然而不必相同。例如，可选择比预定空部更大的补丁，并调整尺寸(和/或再次成形)以适应预定空部。类似地，所选补丁可小于预定空部，并可被调整尺寸(和/或再次成形)以适应区域。所注意的是，如果所选补丁太大，则由于所选补丁中捕获的目标运动的增大(连续图像之间)，与映射图像部分中捕获的目标运动或流动相比，调整尺寸可引起连续合并图像之间的视频流的显著速度差异。
在操作704中，通过放置或安插复制的补丁或部分到合并图像中的填充或生成部分中而产生的边缘或边界可被平滑、融合或混合，例如如图7B所述。当补丁被复制到生成、合成或填充部分时，可以各种方法实施对所创建边缘的平滑化。例如，一种方法在由ZeevFarbman、Gil Hoffer、Yaron Lipman、Daniel Cohen-Or和Dani Lischinski所著，发表在“即时图像克隆的坐标”，ACM制图学报28(3)(Proc.ACM SIGGRAPH 2009)，2009年8月的文章“即时图像克隆的坐标”中被发现。文章介绍了基于坐标的方法，其中在复制区域的每个内部像素处的插值的给定是通过沿边界的值的加权组合。方法是基于平均值坐标(MVC)。这些坐标可以计算很昂贵，由于在边界内的每个像素值取决于所有边界像素。
现在参考图7B，其为描绘用于对根据本发明的实施例的合并图像中填充、合成或生成部分的边缘平滑化的方法的流程图。一个补偿值可生成并分配给合成或生成部分中的每个像素，为的是产生映射图像部分和生成或合成部分之间的平滑边缘。像素补偿值可存储在存储单元19中。例如，可使用下面的一组操作(可使用其它操作)。
在第一个阶段，在操作750中，可计算与边界像素相邻的生成部分的像素的补偿值。边界像素可以是包括合成或生成部分和对应图像部分之间的边界的像素中的像素。在一个实施例中，边界像素可以是合成或生成部分的像素，其为对应的映射图像部分的邻近像素。在另一个实施例中，边界像素可以是映射图像部分的像素，其为对应的合成或生成部分(但是不包含在合成部分内)的邻近像素。
在下面的实施例中，边界像素被定义为邻近生成或合成部分的映射图像部分的像素。邻近边界像素设置的生成部分中的像素PA的补偿值，可通过寻找至少一个相邻边界像素的色值(其可包括多个颜色元素，比如红色、绿色、和蓝色值，或单个元素，即强度值)和像素PA的色值(例如R、G、B色值或强度值)之间的差来计算。相邻像素可选自映射图像部分的区域，靠近生成部分501(例如包含在对应图像部分544内的区域，其与边界509邻近，其表示映射图像部分544和生成部分501之间的边界)。
像素的色值可以本领域已知的各种形式表示，例如使用RGB、YUV或YCrCb色空间。可使用其它色空间或颜色表示法。在一些实施例中，不是所有颜色元素被用于计算像素的补偿值，例如如果像素色值以RGB色空间表示的话，只有红色元素可以使用。
在一个实施例中，可选择多于一个的相邻像素用于计算与边界像素邻近的像素PA的补偿值。例如，与图7中的边界像素邻近的像素P1的补偿值可被计算为多个相邻边界像素(其在映射部分544中)的平均值，即三个相邻边界像素P4、P5和P6：
(方程1) O ( P 1 ) = 1 3 ( c ( P 4 ) + c ( P 5 ) + c ( P 6 ) ) ,
其中，O(P1)表示像素P1的补偿值，且c(Pi)表示像素Pi的色值。
在填充或生成部分的像素上可实施距离转换操作(操作752)。距离转换可包括标注或分配具有距离(例如在像素中测量)的生成部分的每个像素至合成或生成部分的边界或至最近的边界像素。像素的距离值可被存储在存储单元19中。例如，图7C为图5所示的填充、合成或生成部分501以及其对应图像部分544的放大视图(图5A和7C中的对应元素的数字被重复)。填充或生成部分501的像素边界沿着边界线509设置，P4、P5和P6为典型的生成部分501的边界像素，而P1、P2、P3和P8为典型的邻近边界像素的像素。如此处使用的第一像素的相邻像素，可包括邻近、对角或接触第一像素的像素。例如，像素P1(其为邻近边界像素P4和P6的生成部分501中的像素)与最近相邻边界像素P4(或P6，其两者被包含在映射图像部分544中)之间的距离是一个像素。因此，在距离转换操作中，像素P1被分配距离值1。类似地，像素P2、P3和P8的距离值被分配距离值1。例如在存储单元19中，距离值存储在填充或生成部分的每个像素中。
在操作754中，在填充、合成或生成部分501中的像素可根据其与填充或生成部分的边界的计算距离被存储(使用距离转换操作的结果)。可以只实施一次分类，并用于每个合并图像，使得设置在模板的特定坐标中的每个像素接收固定的或永久的分类值，例如对应其从边界的计算距离。根据像素的分类值，可在每个像素上实施下一步操作。例如，如操作756中所说明的计算内部像素的补偿值，可根据被分类的顺序实施。在生成部分中每个像素的分类值例如可被存储在例如存储器19中。分类可以是从像素离边界线509的最小距离至最大距离。
在补偿值计算的第二阶段中，在操作756中，生成部分501内部的像素(其可被称作生成部分的“内部像素”，并包括除了与边界像素直接邻近的像素之外的生成部分的所有像素，例如，在距离转换中接收值“1”的像素)可以例如根据在操作754中计算的分类顺序被扫描或分析。每个内部像素的补偿值可基于例如已经被分配补偿值的至少一个相邻像素的补偿值来计算。内部像素的补偿值可被存储在存储单元19中。
计算内部像素补偿值的顺序可以通过启动从靠近边界像素(与边界距离为最小的像素，例如，距离小于两个像素)的内部像素的计算，并且逐渐增大与边界像素的距离。内部像素的补偿值可基于已经被分配补偿值的一个或多个相邻像素而被计算。计算可包括运算已经被分配补偿值的所选相邻像素的补偿值的平均值、平均数、加权平均数或广义平均值，乘以衰减系数(例如0.9或0.95)。例如，与边界509具有两个像素距离的内部像素P7的补偿值可由下式计算：
(方程2) O ( P 7 ) = 1 2 ( O ( P 8 ) + O ( P 2 ) ) D ,
其中O(Pi)表示像素Pi的补偿值，并且D为衰减系数。由于P8和P2为邻近边界像素的像素，其补偿值可在第一阶段中计算，例如如操作750中所述。因此，这些像素已具有分配给它们的补偿值，并可计算具有与边界线509有两个像素距离的内部像素的补偿值。其它像素可用于计算补偿值，例如，只使用单个的相邻像素(例如，只有P8，只有P2，或只有P3)，或可使用三个或多个相邻像素。
衰减系数的目的是具有在生成部分中的内部像素的补偿值，其与边界相对较远地设置，会聚至0，为了产生生成部分中的颜色逐渐转变至复制补丁的原始颜色。从邻近边界像素的生成部分的像素至其距离与边界最远的像素的颜色转变，可成为逐步的，且这可产生平滑化或混合效果。因此，可根据分类顺序，例如从邻近边界像素的像素至远离边界的内部像素，实施平滑化操作。
在操作758中，在生成部分中的每个像素的色值(例如RGB色值或强度值)可被加到相对应的像素补偿值上，从而生成新的像素色值，且新的像素色值可被分配至像素。每个像素的新的像素色值可被存储在例如存储器19中。因此，生成部分中的像素色值可逐步与邻近边界的图像部分的颜色混合，以获得图像部分和生成部分之间的平滑的或混合边缘。
由于生成(或填充，或合成)部分可以为合并图像模板中的固定的预定区域，上述的操作752和754可以只实施一次，并用于任何图像流的所有的合并图像帧。
本发明实施例的一个优势为计算速度。对于每个像素，最多八个值(如果使用所有周围的相邻像素)可被平均，并且实际上具有分配补偿值的相邻像素的数量可明显更少(例如三个或四个相邻像素)。另外整个平均序列可以被离线确定。
另外可使用其它混合或平滑化方法或替代所述方法，例如，交叉化、离散Poisson方程等。可使用其它组操作。特定实施例的特点可与此处所示的其它实施例一起使用。
本发明的***和方法可容许以有效方式并以较短时间查看图像流。本领域技术人员可理解的是，本发明不被上文所特别示意或描述的内容限制。而本发明的范围由权利要求限定。

Claims (20)

1.一种用于合成合并图像中的部分的方法，所述合并图像包括映射图像部分和生成部分，所述映射图像部分包括边界像素，且所述生成部分包括邻近所述边界像素和内部像素的像素，所述方法包括：
进行所述生成部分的像素的距离变换，从而为每个像素计算所述像素离最近的边界像素的距离；
计算邻近所述边界像素的在所述生成部分中像素的补偿值；
基于已指定补偿值的至少一个相邻像素的补偿值计算在所述生成部分中内部像素的补偿值；
对于所述生成部分中的每个像素，将所计算的所述像素的补偿值加到所述像素的色值上，以获得新的像素色值。
2.如权利要求1所述的方法包括：
从体内成像胶囊中接收用于并行显示的一组原始图像；和
选择用于显示所述图像组的模板，所述模板包括至少一个映射图像部分和一个生成部分。
3.如权利要求2所述的方法包括：
将所述原始图像映射到所选择的模板中的所述映射图像部分上。
4.如权利要求3所述的方法包括：
生成对于所述合并图像的预定区域的填充，从而产生所述合并图像的所述生成部分。
5.如权利要求4所述的方法，其中，通过将补丁从所述映射图像部分复制到所述生成部分以实现所述生成。
6.如权利要求1所述的方法，包括显示所述合并图像，所述合并图像包括所述映射图像部分和具有新的像素色值的所述生成部分。
7.如权利要求1所述的方法，包括基于被计算的距离在所述生成部分中分类像素，并根据被分类的顺序计算内部像素的所述补偿值。
8.如权利要求1所述的方法，其中，所述映射图像部分的所述边界像素包括作为所述对应生成部分的邻近像素的像素。
9.如权利要求1所述的方法，其中，计算所述生成部分中邻近边界像素的像素PA的补偿值，是通过计算PA的色值和至少一个相邻像素的平均值、中值、广义平均值或加权平均数之间的差，所述相邻像素选自邻近PA的所述边界像素。
10.如权利要求1所述的方法，其中，计算所述生成部分中的内部像素的补偿值，是通过计算被指定补偿值的至少一个相邻像素的平均值、中值、广义平均值或加权平均数乘以衰减系数。
11.一种用于显示合并图像的***，所述合并图像包括映射图像部分和生成部分，所述映射图像部分包括边界像素，所述生成部分包括邻近所述边界像素和内部像素的像素，所述***包括：
处理器，用于为所述生成部分的每个像素计算所述像素至所述最近的边界像素的距离值；
计算邻近所述边界像素的所述生成部分的所述像素的补偿值；
基于已被指定补偿值的至少一个相邻像素的补偿值，计算在所述生成部分中的内部像素的补偿值；
对于所述生成部分中的每个像素，将所计算的所述像素的补偿值加到所述像素的色值上，以获得新的像素色值；
存储单元，用于存储所述距离值、所述补偿值和所述新的像素色值；
和
显示器，用于显示所述合并图像，所述合并图像包括所述映射图像部分和具有所述新的像素色值的所述生成部分。
12.如权利要求11所述的***，其中，所述存储单元用于存储来自体内成像胶囊的一组原始图像，用于并行显示。
13.如权利要求12所述的***，其中，所述处理器用于选择显示所述图像组的模板，所述模板包括至少一个映射图像部分和一个生成部分。
14.如权利要求12所述的***，其中，所述处理器用于将所述原始图像映射到所选择的模板中的映射图像部分，从而产生所述映射图像部分。
15.如权利要求12所述的***，其中，所述处理器用于生成所述合并图像的预定区域的填充，从而产生所述生成部分。
16.如权利要求15所述的***，其中，所述处理器用于通过将补丁从所述映射图像部分复制到所述生成部分以生成填充。
17.如权利要求11所述的***，其中，所述处理器用于基于被计算的距离值在所述生成部分中分类像素，并根据分类的顺序计算内部像素的所述补偿值。
18.一种变形视频流的多个图像以适应人类视野的方法，所述方法包括：
使用失真最小化技术以基于模板图案将图像变形为新的轮廓，所述模板图案具有圆角和类椭圆形；和
将所变形的图像显示为视频流。
19.如权利要求18所述的方法，其中，所述模板图案包括映射图像部分和合成部分。
20.如权利要求19所述的方法，其中，所述映射图像部分和所述合成部分之间的边界通过以下步骤计算：
进行所述合成部分的像素的距离变换，从而为每个像素计算所述像素离所述最近边界像素的距离；
计算邻近边界像素的所述合成部分中的像素的补偿值，所述边界像素位于所述映射图像部分和所述合成部分的相邻像素中；
基于已指定补偿值的至少一个相邻像素的所述补偿值，计算在所述合成部分中的内部像素的补偿值；
对于所述合成部分中的每个像素，将被计算的所述像素的补偿值加到所述像素的色值上，从而获得新的像素色值。
CN201380069007.2A 2012-12-31 2013-12-30 用于显示图像流的***和方法 Pending CN104885120A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261747514P 2012-12-31 2012-12-31
US61/747,514 2012-12-31
PCT/IL2013/051081 WO2014102798A1 (en) 2012-12-31 2013-12-30 System and method for displaying an image stream

Publications (1)

Publication Number Publication Date
CN104885120A true CN104885120A (zh) 2015-09-02

Family

ID=51019997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380069007.2A Pending CN104885120A (zh) 2012-12-31 2013-12-30 用于显示图像流的***和方法

Country Status (4)

Country Link
US (1) US20150334276A1 (zh)
EP (1) EP2939210A4 (zh)
CN (1) CN104885120A (zh)
WO (1) WO2014102798A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470322A (zh) * 2018-03-09 2018-08-31 北京小米移动软件有限公司 处理人脸图像的方法、装置及可读存储介质
CN108537730A (zh) * 2018-03-27 2018-09-14 宁波江丰生物信息技术有限公司 一种图像拼接方法
WO2019085760A1 (zh) * 2017-11-01 2019-05-09 欧阳聪星 一种图像处理方法及装置
CN109788904A (zh) * 2016-06-30 2019-05-21 基文影像公司 评估和监测受试者胃肠道的粘膜疾病的***和方法
CN110782975A (zh) * 2019-10-28 2020-02-11 杭州迪英加科技有限公司 一种显微镜下病理切片图像的呈现方法及装置
CN111583147A (zh) * 2020-05-06 2020-08-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN112700513A (zh) * 2019-10-22 2021-04-23 阿里巴巴集团控股有限公司 图像处理方法及装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892506B2 (en) * 2015-05-28 2018-02-13 The Florida International University Board Of Trustees Systems and methods for shape analysis using landmark-driven quasiconformal mapping
US20170228930A1 (en) * 2016-02-04 2017-08-10 Julie Seif Method and apparatus for creating video based virtual reality
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
WO2018101936A1 (en) * 2016-11-30 2018-06-07 CapsoVision, Inc. Method and apparatus for image stitching of images captured using a capsule camera
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
US11244454B2 (en) 2018-04-03 2022-02-08 Boston Scientific Scimed, Inc. Systems and methods for diagnosing and/or monitoring disease
US10506921B1 (en) * 2018-10-11 2019-12-17 Capso Vision Inc Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract
USD991278S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface for auxiliary reading
USD991279S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface
KR102462656B1 (ko) * 2020-09-07 2022-11-04 전남대학교 산학협력단 캡슐 내시경 영상의 디스플레이 시스템 및 3차원 파노라믹 뷰의 생성 방법
US11651472B2 (en) * 2020-10-16 2023-05-16 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027500A1 (en) * 2002-02-12 2004-02-12 Tal Davidson System and method for displaying an image stream
CN1767623A (zh) * 2004-10-25 2006-05-03 索尼公司 视频信号处理装置和视频信号处理方法
CN100389428C (zh) * 2001-10-24 2008-05-21 Nik软件公司 用于利用图像基准点处理数字图像的方法和设备
US20100067786A1 (en) * 1999-04-26 2010-03-18 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613048A (en) * 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
JP2000175205A (ja) * 1998-12-01 2000-06-23 Asahi Optical Co Ltd 画像読取装置
US7085319B2 (en) * 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US7113617B2 (en) * 2000-12-12 2006-09-26 Hewlett-Packard Development Company, L.P. Method of computing sub-pixel Euclidean distance maps
US6781591B2 (en) * 2001-08-15 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Blending multiple images using local and global information
JP2003250047A (ja) * 2002-02-22 2003-09-05 Konica Corp 画像処理方法、記憶媒体、画像処理装置、及び画像記録装置
JP2003333319A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd 画像合成用の付加画像抽出装置及び方法
JP4213943B2 (ja) * 2002-07-25 2009-01-28 富士通マイクロエレクトロニクス株式会社 画質を向上させた画像処理回路
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
EP2077512A1 (en) * 2004-10-04 2009-07-08 Clearpace Software Limited Method and system for implementing an enhanced database
KR100634453B1 (ko) * 2005-02-02 2006-10-16 삼성전자주식회사 자동노출이 제어된 영상에 대한 부호화 모드 결정 방법
US7813590B2 (en) * 2005-05-13 2010-10-12 Given Imaging Ltd. System and method for displaying an in-vivo image stream
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4351658B2 (ja) * 2005-07-21 2009-10-28 マイクロン テクノロジー， インク． メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
IL182332A (en) * 2006-03-31 2013-04-30 Given Imaging Ltd A system and method for assessing a patient's condition
JP5536450B2 (ja) * 2006-06-28 2014-07-02 バイオ−ツリー システムズ， インコーポレイテッド ビン方式微小血管密度法、およびその装置
US20080101713A1 (en) * 2006-10-27 2008-05-01 Edgar Albert D System and method of fisheye image planar projection
EP2050395A1 (en) * 2007-10-18 2009-04-22 Paracelsus Medizinische Privatuniversität Methods for improving image quality of image detectors, and systems therefor
JP2009237747A (ja) * 2008-03-26 2009-10-15 Denso Corp データポリモーフィング方法及びデータポリモーフィング装置
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
CN102246204B (zh) * 2008-12-11 2015-04-29 图象公司 用于使用标度空间来处理图像的设备和方法
US8109440B2 (en) * 2008-12-23 2012-02-07 Gtech Corporation System and method for calibrating an optical reader system
JP5197414B2 (ja) * 2009-02-02 2013-05-15 オリンパス株式会社 画像処理装置及び画像処理方法
US9330476B2 (en) * 2009-05-21 2016-05-03 Adobe Systems Incorporated Generating a modified image with additional content provided for a region thereof
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
JP5249423B2 (ja) * 2009-10-07 2013-07-31 富士通株式会社 基地局、中継局、及び方法
JP5909187B2 (ja) * 2009-10-14 2016-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ フィルタ処理およびエッジ符号化
US8724022B2 (en) * 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
US8218038B2 (en) * 2009-12-11 2012-07-10 Himax Imaging, Inc. Multi-phase black level calibration method and system
US9186410B2 (en) * 2010-03-01 2015-11-17 The University Of British Columbia Derivatized hyperbranched polyglycerols
US20120113239A1 (en) * 2010-11-08 2012-05-10 Hagai Krupnik System and method for displaying an image stream
US8655055B2 (en) * 2011-05-04 2014-02-18 Texas Instruments Incorporated Method, system and computer program product for converting a 2D image into a 3D image
US9424765B2 (en) * 2011-09-20 2016-08-23 Sony Corporation Image processing apparatus, image processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067786A1 (en) * 1999-04-26 2010-03-18 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels
CN100389428C (zh) * 2001-10-24 2008-05-21 Nik软件公司 用于利用图像基准点处理数字图像的方法和设备
US20040027500A1 (en) * 2002-02-12 2004-02-12 Tal Davidson System and method for displaying an image stream
CN1767623A (zh) * 2004-10-25 2006-05-03 索尼公司 视频信号处理装置和视频信号处理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788904A (zh) * 2016-06-30 2019-05-21 基文影像公司 评估和监测受试者胃肠道的粘膜疾病的***和方法
WO2019085760A1 (zh) * 2017-11-01 2019-05-09 欧阳聪星 一种图像处理方法及装置
US11107188B2 (en) 2017-11-01 2021-08-31 Beijing Keeyoo Technologies Co., Ltd Image processing method and device
CN108470322A (zh) * 2018-03-09 2018-08-31 北京小米移动软件有限公司 处理人脸图像的方法、装置及可读存储介质
CN108537730A (zh) * 2018-03-27 2018-09-14 宁波江丰生物信息技术有限公司 一种图像拼接方法
CN108537730B (zh) * 2018-03-27 2021-10-22 宁波江丰生物信息技术有限公司 一种图像拼接方法
CN112700513A (zh) * 2019-10-22 2021-04-23 阿里巴巴集团控股有限公司 图像处理方法及装置
CN110782975A (zh) * 2019-10-28 2020-02-11 杭州迪英加科技有限公司 一种显微镜下病理切片图像的呈现方法及装置
CN110782975B (zh) * 2019-10-28 2022-07-22 杭州迪英加科技有限公司 一种显微镜下病理切片图像的呈现方法及装置
CN111583147A (zh) * 2020-05-06 2020-08-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111583147B (zh) * 2020-05-06 2023-06-06 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2014102798A1 (en) 2014-07-03
US20150334276A1 (en) 2015-11-19
EP2939210A4 (en) 2016-03-23
EP2939210A1 (en) 2015-11-04

Similar Documents

Publication Publication Date Title
CN104885120A (zh) 用于显示图像流的***和方法
Ying et al. X2CT-GAN: reconstructing CT from biplanar X-rays with generative adversarial networks
CN105719324B (zh) 图像处理装置以及图像处理方法
CN103168315B (zh) 手持式设备上的立体(3d)全景图创建
CN103856727B (zh) 一种多路实时视频拼接处理***
US8532359B2 (en) Biodata model preparation method and apparatus, data structure of biodata model and data storage device of biodata model, and load dispersion method and apparatus of 3D data model
JP4440067B2 (ja) 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
US20050008254A1 (en) Image generation from plurality of images
US10248756B2 (en) Anatomically specific movie driven medical image review
CN103026382B (zh) 多个图像的融合
EP2112817A1 (en) Composition analysis method, image device having composition analysis function, composition analysis program, and computer-readable recording medium
CN1542698A (zh) 颜色梯度路径
CN104350742A (zh) 用于显示图像流的***和方法
CN102622750A (zh) 基于交互式区域生长的胃部ct序列图像分割方法
CN104025150A (zh) 图像处理装置、图像显示***、图像处理方法和图像处理程序
JP2018156640A (ja) 学習方法およびプログラム
US20170027536A1 (en) Apparatus and method for reconstructing panoramic x-ray image
JP2011224128A (ja) 脊椎疾患診断支援装置、及び脊椎疾患診断支援プログラム
CN104685536A (zh) 用于优化子图像视图的实时图像处理
CN104011531A (zh) 图像处理装置、图像显示***、图像处理方法以及图像处理程序
JP2008259697A (ja) 画像処理方法および装置ならびにプログラム
JP5487264B2 (ja) 生体データモデル作成方法及びその装置
US9842398B2 (en) Dynamic local registration system and method
KR102223475B1 (ko) 다중 파노라믹 영상 표시방법 및 이를 위한 영상 표시장치
JP5857606B2 (ja) 奥行き製作支援装置、奥行き製作支援方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150902

WD01 Invention patent application deemed withdrawn after publication