CN108139207A - 用于撷取混合的结构光图像和正规图像的单一图像传感器 - Google Patents

用于撷取混合的结构光图像和正规图像的单一图像传感器 Download PDF

Info

Publication number
CN108139207A
CN108139207A CN201680059418.7A CN201680059418A CN108139207A CN 108139207 A CN108139207 A CN 108139207A CN 201680059418 A CN201680059418 A CN 201680059418A CN 108139207 A CN108139207 A CN 108139207A
Authority
CN
China
Prior art keywords
image
structure light
regular
row pixel
regular image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680059418.7A
Other languages
English (en)
Other versions
CN108139207B (zh
Inventor
王康怀
徐毅
G·威尔逊
伍晨愉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capso Vision Inc
Original Assignee
Capso Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capso Vision Inc filed Critical Capso Vision Inc
Publication of CN108139207A publication Critical patent/CN108139207A/zh
Application granted granted Critical
Publication of CN108139207B publication Critical patent/CN108139207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

公开一种使用集成图像传感器以撷取混合的结构光图像与正规图像的方法和设备，其中，该结构光图像使用短于该正规图像的帧期间加以撷取。为了实现该结构光图像的较短帧期间，该结构光图像可以对应于以降低的动态范围、降低的空间分辨率、或其组合所撷取的图像。该撷取过程包括施加复位信号至像素阵列以复位该像素阵列的行像素、从该像素阵列的该行像素读出模拟信号、以及使用一个或多个模拟‑数字转换器转换该像素阵列的该行像素的该模拟信号成为该图像的数字输出。

Description

用于撷取混合的结构光图像和正规图像的单一图像传感器
相关申请案对照参考
本发明是关于2015年10月26日提出申请的美国专利申请案第14/884,788号。特此将该美国专利申请案的全部内容引用含括于本文。
技术领域
本发明涉及一种能够撷取结构光图像和正规(regular)图像的单一图像传感器，其中，该结构光图像将用于衍生出对应的正规图像的深度或形状等相关信息。
背景技术
用于身体内体腔或通道的成像装置是本领域已知的，包括内视镜和自主式胶囊相机。内视镜是柔性或刚性的管状物，经由孔口或外科开口进入体内，典型地是经口进入食道或是经直肠到结肠。在前端使用透镜，经由透镜中继***或是同调光纤束，传送到人体外的远程形成图像。概念上类似的仪器可在远程记录电子图像，例如使用CCD或CMOS阵列，并且将图像数据作为电子信号通过电缆传送到近端。内视镜允许医师控制视野(field ofview)，是被广泛接受的诊断工具。
胶囊内视镜是在近年发展来替代体内内视镜的。胶囊内视镜是在一个吞服型的胶囊内容纳摄影机以及一个用于发送数据(主要包括：数字相机记录图像)到身体之外的基地台接收机或收发信机和数据记录器的无线电发射机。该胶囊还可以包括一个无线电接收机，用于从基地台发射器接收指令或其他数据。也可以使用较低频率的电磁信号，以代替射频传输。能源可以从外部电感感应地供给胶囊内部电感，或由胶囊内的电池供应。
一个自主胶囊相机***与机载数据存储，披露在US 7,983,458，题为〞In vivoautonomous camera with on-board data storage or digital wireless transmissionin regulatory approved band〞于2011年7月19日获准专利。胶囊相机的机载储存器将撷取的图像存储在机载的非易失性储存器中。胶囊相机从人体中退出取回。经胶囊相机输出端存取，存储在胶囊相机里非易失性储存器中的图像。
虽然经内视镜撷取的二维图像已经有助于诊断，理想的是，能够撷取胃肠(gastrointestinal；GI)道的图像与深度信息(即，三维(3D)图像)，以提高诊断精度或舒解诊断过程。在三维成像的领域中，针对场景中的结构(texture)信息，三维图像可以使用普通相机撷取，而针对视野的深度信息，三维图像可以使用分立的(separate)深度摄影机(例如，时差测距(Time of flight)摄影机)撷取。三维图像也可以使用多个摄影机，其中多个摄影机通常采用平面设置，以撷取不同视角的场景。然后，点对应地建立多个三维的三角视图。然而，因为空间是非常有限的，这些多摄影机***可能不容易适于胃肠道环境。在过去的二十年中，结构光的技术已经发展到使用单个相机来衍生出场景中目标的深度或形状。在结构光***，光源通常是用投射仪投射已知的几何图案到场景中的目标。一个正规相机可用于撷取图像不论其是否具有投射图案。以结构光撷取的图像可以被用于衍生出与场景中的目标关联的形状。深度或形状信息使用正规图像，这是以非结构化泛光灯光撷取，用于创建目标的三维结构模型。结构光的技术已是公知的领域。例如，在〞结构光三维表面成像教程〞(Geng,in Advances in Optics and Photonics,Vol.3,Issue 2,pp.128-160,March31,2011)，对结构光技术使用各种结构光图案的描述和相应的性能进行了比较。在另一个例子中，不同的设计，标定和实施问题，描述于〞使用结构光的三维计算机视觉：设计，标定和实施问题〞(DePiero et al.,Advances in Computers,Volume 43,January 1,1996,pages 243-278)。因此，结构光的技术细节，这里不再重复。
尽管结构光的技术可能比其他技术更适合胃肠道的三维成像，但应用于胃肠道仍有其预期的问题。例如，大多数的结构光应用旨在用于固定物体。因此，在撷取的结构光图像和正规图像之间目标没有移动。然而，在对胃肠道成像的胶囊相机应用中，无论是胶囊相机和胃肠(GI)部分(例如小肠和结肠)是可以移动的。因此，当它们连续撷取该结构光图像和正规图像时，其间会有相对运动。此外，胶囊相机是应用于对功率非常敏感的环境。除了撷取正规图像外，使用结构光会消耗***能源。此外，如果获取每个正规图像后再取结构光图像，有用的帧速率将下降一半。如果维持正规图像相同的帧速率，该***将以两倍帧速率来撷取图像，和消耗两倍的功率在图像撷取。因此，理想的是开发用于在胃肠道中，可以克服这里提到了这些问题的结构光应用。
发明内容
揭露一种使用集成图像传感器以撷取混合的结构光图像与正规图像的方法及装置，其中，该结构光图像是使用短于该正规图像的帧期间加以撷取。为了实现该结构光图像的更短帧期间，该结构光图像可对应于以降低的动态范围、降低的空间分辨率、或其组合所撷取的图像。该撷取过程包括施加复位信号至像素阵列以复位该像素阵列里的行像素(rows of pixels)、从该像素阵列的行像素读出模拟信号、以及使用一个或多个模拟-数字转换器(analog-to-digital converter；ADC)转换该像素阵列的该行像素的该模拟信号成为该图像的数字输出。
降低的动态范围可对应于模拟-数字转换器的降低的分辨率。降低的动态范围也可对应于斜坡基准电压的降低的斜坡期间，其中，该斜坡基准电压被该一个或多个模拟-数字转换器用来与输入模拟电压进行比较。当使用逐次逼近(successive approximation)ADC时，该降低的动态范围可对应于逐次逼近的降低的数量，用于改善供应给该逐次逼近ADC以与输入模拟电压进行比较的基准电压。该降低的动态范围也可以对应于该图像传感器的降低的积累时间(integration time)，以积累电荷。在这种情况下，来自该图像传感器的该行像素的该第一模拟信号的模拟增益对于该结构光图像是增加的。
该方法可以更包括在结构光图像帧期间的该积累时间投射具有第一强度的结构光、以及在该第一正规图像帧期间的积累时间投射具有第二强度的非结构光到该场景。可以使用具有至少两种不同的颜色或图案的多个光源来产生该结构光。在一个实施例中，与该多个光源之一者或该多个光源的组合相关的光频谱，实质上是不同于与环境光或由该非结构光照射的预期场景相关的第二频谱。该图像传感器可以对应于彩色图像传感器，至少包括用于排列成马赛克图案的第一颜色的第一像素和第二颜色的第二像素，并且该第一频谱集中在与该第一像素相关联的第一颜色。
该非结构光可以使用窄带照明或荧光激发产生。该第一强度实质上高于该第二强度。在另一种情况下，该第一强度的期间可实质上短于人类视觉暂留时间
在一个实施例中，用于该结构光图像的该图像传感器的该行像素之间的最小行复位时间(reset time)实质上短于用于该正规图像的该图像传感器的该行像素之间的最小行复位时间。
该方法可以更包括产生第一控制信号以形成被触发以撷取该结构光图像的结构光的步骤。该结构光可在该结构光图像的积累期间施加。该结构光可在第一行积累结束前和最后一行积累开始后施加。该方法可以更包括产生第二控制信号，以形成被触发以撷取该第二正规图像的第二光的步骤。
该方法可以更包括提供该结构光图像以衍生出该正规图像的深度或形状信息的步骤。施加该第一复位信号、读出第一模拟信号、以及转换第一模拟信号的步骤，只施加到像素阵列的选定行，以降低结构光图像期间。因此，与该正规图像相比，该结构光图像具有降低的垂直分辨率。上面提到的结构光图像期间等于包括用于撷取该结构光图像的该第一复位时间、该第一积累时间和该第一读出时间的总和。该像素阵列的选定行可对应于像素阵列每N行的其中一行，其中，N是大于1的整数。经由对每一个选择行施加次抽样，可以进一步减少结构光图像的期间。在一个实施例中，可重复撷取包含结构光图像和正规图像的串接(tandem)图像的过程，以获得结构光图像序列及正规图像序列，其中，该结构光图像序列被用于衍生出深度或形状信息，而正规图像序列是用于观看。
在另一个实施例中，不论是否使用较低的动态范围，都可以降低结构光图像的空间分辨率。换句话说，该结构光图像也可以在正规的动态范围撷取，但具有较低的空间分辨率。例如，图像传感器可以被设置为只输出被选择的行。替代地，图像传感器可以被设置为每行输出次抽样的像素。此外，图像传感器可经设置只输出被选择行的次抽样像素。在另一个实施例中，相比于正规图像，第一结构光图像能够在垂直方向、水平方向或两者的较小的图像区域被撷取。
在一个实施例中，集成图像传感器是在一个密封的胶囊外壳里，为人体胃肠道取像，该方法更包括，产生第一控制信号，以在该密封的胶囊外壳内形成被触发以撷取结构光图像的第一光，并产生第二控制信号，以在该密封的胶囊外壳内形成被触发以撷取正规图像的第二光。
在另一个实施例中，第一结构光图像可对应于多个结构光图像，经由产生序列控制信号而形成序列结构光并撷取该多个结构光图像。该结构光可来自相对于该场景中的目标的位于不同方向的不同光源、来自从相同投射机但具有不同图案、或是图案和位置两者的组合。
相比于单一结构光图像，多个结构光图像可以衍生更多的三维点。因此，在本发明的一个实施例中，可以连续地撷取多个结构光图像。
在另一个实施例中，该方法经由撷取有结构光图像在其间的第一正规图像和第二正规图像，而产生组合正规图像。接着组合该第一和第二正规图像，以产生该组合正规图像。该结构光图像的帧期间短于该第一正规图像的帧期间和该第二正规图像的帧期间的总和。该第一正规图像的第一积累时间可长于或短于该第二正规图像的第二积累时间，以使该第一正规图像在该组合正规图像中分别具有高于或低于该第二正规图像的加权(weighting)。例如，该第一积累时间可以是该第二积累时间的长度的三倍。该组合的图像具有对应于该第一正规图像的3/4和该第二正规图像的1/4的加权总和的效果。该第一正规图像和该第二正规图像也可以具有相同的积累时间，以在该组合正规图像形成相同的加权。
在又一个实施例中，揭露一种针对单一传感器的双重曝光控制，以撷取结构光图像和正规图像。该***经由施加第一曝光控制至图像传感器以调整用于一个或多个结构光图像结构光源、与该图像传感器相关的第一增益或第一积累时间、或其组合，而在来自结构光源的结构光下的该图像传感器的视野中，撷取该一个或多个结构光图像。该***也经由施加第二曝光控制至该图像传感器，以调整用于一个或多个正规图像的结构光、与该图像传感器相关的第二增益或第二积累时间、或其组合，而在该图像传感器的视野里，撷取该一个或多个正规图像。该正规图像与该结构光图像是以交织的方式撷取。该第一曝光控制可以基于该第二曝光控制来确定、或该第二曝光控制可基于该第一曝光控制来确定。该第二曝光控制还可以包括调整用于该正规图像的非结构光源。
附图说明
图1标出示例性的8位的动态范围的模拟-数字转换器。
图2A-2B示出作为用于模拟-数字转换器的基准信号的斜坡(ramp)电压波形，在此示出的波形是9位(图2A)和6位(图2B)的动态分辨率。
图3示出根据本发明的一个实施例用于撷取串接的结构光图像与正规图像的像素阵列的示例性方块图。
图4A示出用于撷取两个正规图像的示例性时序图。
图4B示出根据本发明的一个实施例串接结构光图像和正规图像的一个例子。
图5示出根据本发明的一个实施例对应于图4B的示例性时序，用来施加结构光以撷取结构光图像，其中，明确示出该结构光的持续时间，并为了明确说明而删除一些符号。
图6示出根据本发明的一个实施例施加结构光用于撷取结构光图像和正规图像的另一视图。
图7A示出用于根据本发明的一个实施例撷取两时段(two-session)图像的示例性时序图，其中，第一正规次图像(sub-image)在该第一时段被撷取，而由结构光图像和第二正规次图像组成的混合图像在第二时段被撷取，最终输出为此正规图像的组合，而第一时段的积累期间是大致与第二时段的积累期间相同。
图7B示出类似于图7A的示例性时序图，其中，第一时段的积累期间大约是第二时段的积累期间的三倍。
图8示出根据本发明的一个实施例用于撷取串接的结构光图像与正规图像，其中，该结构光图像具有比正规图像较低的动态范围的示例性流程图。
图9示出根据本发明的另一个实施例用于撷取串接的结构光图像与正规图像，其中，该结构光图像具有比正规图像较低的动态范围的示例性流程图。
具体实施方式
将容易理解，本发明的部件，如通常所述和附图中示出本发明，可以配置和设计成各种不同的结构。因此，本***和本发明的方法的实施例的以下更详细的说明，如在图中表示的，并非意在限制本发明的范围，如所请求的，但仅仅是代表性选择的本发明的实施例的。贯穿本说明书中对“一个实施例”，“一个实施例”或类似语言意味着一个特定特征，结构，或与该实施例描述的特征可以被包括在至少一个本发明的实施例。因此，“在一个实施例中”的短语的出现或“在实施例中”在各个地方整个说明书不一定都指同一实施例。
此外，描述的特征，结构或特性可以以任何合适的方式在一个或多个实施例相结合。本领域的有关技术人员然而将认识到，本发明可以在没有一个的或多个具体细节的情况下实践，或利用其它方法，组件等。在其它实例中，公知的结构或操作未示出或详细描述，以避免模糊本发明的态样。本发明的说明的实施例将通过参考附图最好地理解，其中相同的部件由相同的数字始终指定。下面的描述旨在仅通过例子的方式，并简单地示出的装置和方法是与根据本文权利要求书所述发明一致的某些选定的实施例。
内视镜通常通过自然开口***人体，例如口或***。因此，内视镜最好是小尺寸以使侵入最小化。当用内视镜撷取胃肠道的及时图像或视频来取得或衍生出深度或形状信息时，关键的是要保持小尺寸的外形。此外，除小尺寸，并连同对应的图像或视频撷取深度信息的能力外，此相机还发现它在其它应用中需要紧凑的尺寸，例如一个可佩戴的装置。
一种撷取深度信息的技术，是使用通带(passband)相当窄的彩色滤光器，其放置在选定的传感器像素的前端，同时采集的颜色信息和深度信息。具有在滤波器通带的光谱的环境光源投射在传感器的能量可忽略。使用RGB像素的情况下，可添加第四类型的像素，来撷取照射在这些像素的前端，经滤波器的通带的光谱的光。然后，将具有实质上在通带的光谱的结构光投射到场景。然而，使用该方法会令这样的图像传感器撷取的图像或视频的空间分辨率降低。
另一种技术是通过投射于RGB传感器可见的结构光图案，来获得深度信息以及三维布局(topology)。然而，及时图像及/或视频会被迭加在其上的结构光混淆。本发明描述的方法，利用单个照相机使用结构光，来撷取图像或及时视频取得深度的信息。
正如前面提到的，传统结构光配合单个相机的方式会有几个缺点。例如，可以使用帧速率每秒30帧的相机。一种传统的方法采取及时视频，其中交错图像对应于有和没有结构光的图像。一个问题是，深度信息是以1/30秒远离对应的要观看的图像。如果在场景中有任何运动，则深度信息可能不能准确地表示在1/30秒远离对应的图像的三维布局。此外，在这个例子，该要观看的视频的有效帧速率降至每秒15帧。
在一些视频应用中，帧速率是对于预期应用是至关重要的。例如，撷取快速移动的视频目标，如行进中的子弹，需要一个高帧速率的摄影机，有每秒100或更高的帧速率。在这种情况下，使用结构光将削减帧速率到一半，并可能妨碍预期的应用。对于胶囊相机，胃肠(GI)道中的视频通常是每秒几帧，而相机可以以两倍于原始帧速率操作，以补偿由于撷取结构光图像所致的有效帧速率降低。然而，这将导致两倍功率消耗，这是胶囊中功率有限的环境所不希望的。
每个帧速率有一个相应的帧期间。在帧期间，传感器将花费帧期间的子集(subset)，用于累积电荷以响应发射到传感器上的入射光。该积累时间必须足够小，使得图像实质上是静止，以避免任何运动令所撷取的图像模糊。
图1标出的ADC(模拟-数字转换器)，是可用于图像传感器的一个例子。该ADC包括比较器(110)比较输入的模拟信号(120)与基准信号(130)。来自连接到像素的模拟电路的模拟信号(120)是耦合到比较器的一个端子以与斜坡电压进行比较。在一个实施例中，可以使用数字逻辑电路的时脉(clock)来产生斜坡电压，使得斜坡电压根据每个驱动时脉而逐步升高。图2A和2B示出分别对应于9位(即512级)和6位(即64级)斜坡电压的两个例子。用来产生斜坡电压的相同时脉也由计数器(140)计数。当斜坡电压水平达到连接到像素的像素模拟读出电路的模拟信号(120)时，比较器输出将切换(例如，从高到低或低到高)来指示该事件。同时，比较器输出信号将触发寄存器(150)以便锁存一计数器值，其计数指示斜坡电压值越过模拟信号(120)的时脉的数目。来自像素的输出经常使用相关双抽样(correlateddouble sampling；CDS)技术来测量两次，这是众所周知的，用来克服由于像素的制造误差导致的固定模式噪声。可以使用模拟电路(例如，相关双抽样)或数字电路来移除偏移(offset)复位信号。对于数字实施例，在积累期间之后，在复位之后的数字计数器读数可以从像素的数字计数器读数减去。
有几个因素决定该像素能多快地积累电荷和信号能多快地被读出。另外，如图1的例子，来自连接到每个像素的模拟电路的模拟输出信号(120)与基准信号(即，电压斜坡)进行比较。取决于期望的数字像素分辨率(如，9位对比6位)，可产生相应的斜坡信号。读出速度将取决于计数器、比较器及其他相关电路的速度。对应于更高的数字分辨率(即，更高的动态范围)的斜坡信号，需要更长的时间来产生。实施6位的动态范围如图2B，会比实施9位的动态范围如图2A快8倍。
执行ADC还有其它的变型，如逐次逼近ADC(successive approximation ADC)。就逐次逼近ADC而言，基准电压以粗略等级开始。取决于输入电压是否高于或低于基准电压，基准电压的改善(refine)是以先前电压区间的一半，来增加或减少先前的基准电压。改善的基准电压被用来作为当前的基准电压来逐次比较。达到所希望的分辨率时结束处理。在每一轮逐次逼近，一个位被用于指示该输入电压是比基准电压高或低。因此，ADC的分辨率与逐次逼近ADC的逐次逼近次数有关。在一般情况下，动态范围越高，读出会越长。不仅需要更多的比较，而且，因为斜坡电压或基准电压的精度要求变高，电压将需要更长的时间来稳定。该传感器阵列具有一个固定的大RC常数，这需要一定的时间来解决，以符合精度的基本要求。在高动态范围的情况下，承载基准电压(即，斜坡基准信号)的导线需要更多的时间稳定，由于导线的电感，连同R(电阻)和C(电容)。传感器阵列的导线长度通常在千微米(μm)的等级，这可能导致周围的电感约为几耐米亨利(nH)。不像电阻，电感不会按导体截面比例成反比缩小。图像/视频能为场景中的目标提供一种详细的色调，高动态范围为此质量的一个重要因素。另一方面，结构光图案的图像，基于已知的模式，如网格的几何信息，主要用于衍生出深度/形状信息。此衍生出的重要信息与网网格线的位置有关。因此，在动态范围的要求，实质上低于由人肉眼观看的正规图像。
由于结构光图像需要的动态范围，比正规图像少得多，因此本发明采取不同动态范围要求的优势，以缩短结构光图像的帧期间。图3标出一个集成图像传感器结合本发明实施例的简化***方块图。集成图像传感器包括一个像素阵列(310)，该像素阵列反应于由该像素阵列所接收到的光能量以产生信号数据，该信号数据的电压水平取决于接收到的该光能量；输出电路(320)耦合到该像素阵列，以存取由像素阵列所产生的信号数据；一个或多个模拟-数字转换器(ADC，330)具有第一动态范围及第二动态范围；以及时序/控制电路(340a和340b)。像素阵列可以包括多个单色像素或彩色像素。像素阵列可以基于CMOS技术或CCD技术。在时序/控制电路的控制下，输出电路被耦合到像素阵列。例如，在时序/控制电路的控制下，像素阵列输出可以逐行地被传输到输出电路。输出电路还可以包括放大器和CDS电路，其中，CDS电路是用来处理复位后各个像素的偏移。而时序/控制电路(340a和340b)被示为两个单独的区块，它们也可以被实施为一个统一的区块。
该ADC电路是能够在第一动态范围和第二动态范围内操作的。第一动态范围比该第二动态范围小。例如，第一动态范围可以是6位，而第二动态范围可以是9位。单一ADC可以有不同的动态范围。由于是以串行代替平行来撷取结构光图像和正规图像，因此可以使用具有可调整动态范围的单一ADC。例如，可自动调整的ADC公开在US8,369,458，2013年2月5日授予Wong等人。时序/控制电路可以包括行扫描电路和列扫描电路。时序/控制电路还负责产生各种控制信号，如复位信号。在后面中，提供了关于设置该图像传感器，来撷取结构光图像和正规图像的优选实施例。
图4A示出了时序用于正规图像传感器的例子，其中该行时序在水平方向逐帧示出，在垂直方向上从第一行(顶部)到最后一行(底部)。在一个典型的图像传感器中，该图像像素逐行读出。每行的操作分为若干阶段，包括行复位、积累(integration)和读出。通常是逐行交错操作，如图4A所示。然而，对于一个当前行的读出操作必须等待，直到前一个行的读出完成。对于正规图像传感器，相同的帧时间，同样的时序模式逐帧重复使用。所有图像有相同的期间时间。图4A标出用于典型图像传感器的一般时序图。时序图可以不按比例绘制。
图4B示出根据本发明的一个实施例用于撷取混合结构光图像和正规图像的时序例子，其中，该结构光使用较小动态范围。结构光图像的帧持续时间(frame duration)比随后的正规图像的帧持续时间短得多，如图4B所示。图4B的时序图不按比例绘制，特别是结构光的部分。结构光的部分已经为了说明详情而放大。如图4B所示，与结构光图像相关联的时序信号以粗体-斜体显示。较小的动态范围是可以实现的，例如，减少与基准电压的比较，其通过具有较大级距(step)的斜坡上升电压所产生，如图2A和2B所示。或者，基准电压可以在起始电压和结束电压之间的较小的斜坡范围产生。因为结构光图像的读出速度比正规图像更快，因此结构光图像可以被挤压在正规图像的复位时序的期间内。由于该结构光图像不需要像正规图像一样的高动态范围，因此结构光图像的复位不需要像正规图像那样的彻底。因此，结构光可用较短的复位时间。因此，在一个实施例中，结构光图像的图像传感器中的行像素之间的最小行复位时间，可以比正规图像的图像传感器中的行像素之间的最小行复位时间短得多。
图5与图4B相同，除去一些符号，方便演示时序的设置。指示结构光的持续时间。结构光的持续时间实质上可以接近第一行积累阶段结束的时候。另一方面，结构光的持续时间必须在结构光图像的最后一行的积分阶段内。理想的结构光脉冲持续时间是从最后一行开始积累到第一行开始读出。为了加快撷取结构光图像，以及降低其它光源(例如环境光)的能量影响，当场景进入照相机时，结构光的持续时间被设定的很短。如果积累需要比所期望更长的时间，则可以经由增加强度或持续时间来增加结构光脉冲能量。在一个优选的实施例中，与正规光源或环境光的光强度相比，结构光的强度实质上更强。然而，结构光可用于比人的视觉暂留时间实质上还要短的期间，由相对较弱的非结构光和信/噪比很强的结构光来曝光场景的图像。非结构光可以对应于宽带、窄带或者荧光的光。结构光脉冲的能量可以由***功率来限制，或由不会扰人、分散或是暴露于结构光场景的人眼睛不会受损的前提来限制。另一种能量的限制可能会是医疗成像应用时的组织光能量损伤门坎。可以增加传感器的模拟增益，使得从结构光照射而产生的像素亮度，远高于背景噪声和来自其它光源的亮度，而结构光的能量是在可接受的低水平。增加的增益会导致较大的噪声放大和缩小传感器的动态范围。
当主要预期应用是用在胃肠道时，使用持续时间短的和高强度的结构光，也可以令非胃肠应用程序受益。例如，本发明也可以适用于传统摄影在自然场景撷取混合的正规图像和结构光图像，和从结构化图像中获得的深度或形状信息的场景三维图像。为了从结构光图像获得更多可靠的深度或形状信息，希望选择一种结构光源，其光谱与基本场景的环境光彩色频谱或一个/多个非结构光非常不同。
虽然有读出的方案可能在积累期间开始更高(即，最显著)的位，但具有较大的动态范围的读出将需要更长的时间来完成。这是因为更多的比较及需要较长的基准电压稳定时间。因此，降低结构光图像的动态范围，将能够减少行的处理时间。这也适用于在全局快门模式(global shutter mode)下操作的图像传感器。因此，与提供给该ADC来与输入的模拟电压进行比较的基准电压有关的稳定时间，在第一结构光图像比正规图像来的短。由于需要的精度较小，因此复位信号并不需要被保持到像素及/或相关电路复位到理想水平那么久。
如图5所示，优选的结构光适用在特定的时间，以使持续时间短，但短的持续时间至少占所有行像素积累时间的一部分。从该帧信号和时脉可衍生出触发该结构光的控制信号。然而，结构光的控制信号也可能来自于集成传感器的其他模块。在另一实施例中，一个来自传感器的控制信号的固定或可编程的延迟，可被用来调整时序以适合***优化设计。
在一个实施例中，结构光使用多个光源生成，其中至少有两种不同的颜色或图案。通过使用多种颜色，可以选择颜色或颜色组合，以使所选择的颜色光谱，实质上不同于预期的场景中正规图像被照射的非结构光或环境光线的光谱。结构光相关的光谱与预期场景中正规图像相关的光谱实质上是不同的。图像传感器可以对应于彩色图像传感器，包括安排成镶嵌图案的至少第一和第二像素，而结构光的相关的光谱，实质上集中在第一或第二色彩像素的光谱上。第一或第二像素的光谱实质上对应于该结构光频谱，通过读出选定的数字输出，结构光图像可以在降低空间分辨率的条件下被撷取。
在胶囊的应用中，集成图像传感器是密封在胶囊外壳的里面，在人体的胃肠道取像。由于在胃肠道没有环境光，因此胶囊装置必需为正规图像提供结构光及一般照明。在这种情况下，上述结构光图像的结构光源和正规图像的照明光源可以被密封在外壳中。
图6示出对应于图5时序图的另一视角。其中的结构化图像与正规图像的图像读数显著使用不同的填充图案(fill-pattern)。结构光图像相关的时序信号示于图6，在此，sli-复位对应于结构光图像的复位；sli-积累期间对应于结构光图像的积累期间；以及sli-读出对应于结构光图像的读出。结构光的持续时间也示于图6，其中该结构光在sli-积累期间施加。撷取结构光图像的整个期间，可以发生在正规图像复位的复位期间内。如图6所示的例子，相比于正规图像的复位期间，结构光图像复位是非常短的。如图6时序图所示，示出用于撷取结构光与正规图像的串接图像的循环，其中用于正规图像的时序被修改。特别是，撷取正规图像的复位期间实质上降低，来容纳结构光图像的撷取。因此，结合本发明实施例的图6所示时序图，可以被认为是两个分开的图像或是结构光图像和修改时序的正规图像的组合。
另外，在上述公开的实施例中，撷取结构光图像在时间上接近到正规图像，从而为相关正规图像提供更准确的深度/形状信息。在另一个实施例中，公开一个两时段撷取的方法，其中，正规图像被分成两个次图像，其间撷取结构光图像。正规图像的正规积累时间在两个次图像之间被分割。两个正规次图像的数字输出被组合形成一个正规的图像输出。这种方法具有几个优点。首先，每个次图像是使用一个用于正规图像的ADC转换成数字输出。因此，每个次图像与单一时段方法中的正规图像，具有相同的动态范围。当组合两个次图像的数字输出时，最终的正规图像仍然保留全动态范围。假设一个像素的完全积累时间将获得的模拟信号被数字化为128，每个时段使用一半的积累时间，像素将获得一半的模拟信号量，从而将被数字化到64。半积累时间是重要的，因为积累时间是总期间的重要组件。因此，每个时段仅使用一半的积累时间，将导致总时间比其它的来得短。
图7A示出根据本发明的实施例的例子一个两时段的方法。在第一时段，撷取使用正规时序的正规图像。在第二时段，撷取混合图像，其包括结构光图像和一个修改时序的正规图像。结构光图像在两个时段读出之间被撷取。第一时段的读出可被暂时存储在图像传感器内部或是外部的储存器或缓冲器中。当第二时段的读出完成后，从两个时段的两个读出值组合在一起。由于结构光图像在一个正规场景图像的两幅次图像之间撷取的，该结构光图像应该非常接近所撷取的正规场景图像时间。因此，结构光图像应密切地关联到正规场景图像。从两个时段相关的两个次图像的读出，组合成一个正规图像。在一个实施例中，一组交织的正规次图像和结构光图像被连续撷取。例如，奇数的图像是正规图像，而偶数图像是结构光图像。图像1和3是两个次图像，可以被组合成正规图像以对应于图像2，一个结构光图像。同样，图像3和5是两个次图像，可以被组合成正规图像以对应于图像4，一个结构光图像。图像5和7可以被组合成正规图像以对应于图像6，一个结构光图像。这个过程可以持续使用每一正规次图像，在一般都使用两次。在这种情况下，图像1、3、5、7...的加权系数，可以是50/50/50/50...，或者它可以是60/40/60/40/60...。两个组合的加权原则是100％的目标(targeted)积累时间。
如图7A所示，两个次图像的积累时间大致相同。然而，这两个积累时间也可以是不同的。例如，第一次图像的积累时间可以是第二次图像积累时间(本发明中也称为积累期间)的三倍，如图7B所示。在这种情况下，当从两个次图像的数字输出被组合时，组合图像具有的第一次图像(即3/4)和第二次图像(1/4)的加权效果。没有必要在不同的积累时间执行加权，因为加权将反映在各个积累期间中累积的电荷。较长积累期间导致更多的积累电荷，从而导致较高的模拟信号。因此，两个数字读数的总和表示两个次图像加权总和，其中加权因子对应于积累期间。
在结构光图像的另一应用中，相比于一个或多个相关正规图像的单个结构光图像，多个结构光影像图像用来获得更多的三维点(3D points)。例如，在横贯人体的胃肠(GI)道时，可以连续地由胶囊相机撷取多个结构光图像。可以在多个结构光图像之间、之前或之后撷取正规图像。所撷取的结构光图像可以用于推衍出胃肠道的三维模型。此三维胃肠道模型用于检查相关的胃肠道正规图像是有用的。
对于两时段正规图像与居间撷取结构光图像，为如上述用于降低结构光图像的帧期间。例如，该结构光图像可以被图像传感器，以相对于第一正规图像和第二正规图像降低的动态范围来撷取。结构光图像也可以在比第一正规图像和第二正规图像较低的空间分辨率被撷取。此外，相比于第一正规图像和第二正规图像，可以在垂直、水平或两个方向上的缩小图像区域来撷取结构光图像。
在某些情况下，只对选择的图像区域的深度或形状信息有兴趣。在这些情况下，可以仅对所选择的图像区域撷取结构光图像。因此，提供一种替代方法，以减少结构光图像的帧期间。相比于正规图像，缩小图像区域可以对应于一个在垂直、水平或两个方向缩小的图像区域。该方法也可以与其他方法组合，如减少动态范围或降低空间分辨率，来降低结构光图像的帧期间。
降低空间分辨率本身可以用作一种技术，以减少对结构光图像的帧期间。例如，保留所选行像素并跳过图像传感器其余的行像素，得以较低的垂直分辨率来撷取该结构光图像。
对于内视镜应用，包括一个胶囊内视镜的应用，不存在环境光，上述内视镜的照明是唯一的光源。因此，每行的积累时间不需要相同，只要对每一行的曝光持续时间是相同的。对于内视镜的环境，结构光图像比正规图像有较低动态范围，也受益于结构光图像和正规图像之间时间接近度。因此，根据本发明，结构光图像应该承担与正规图像相关的更准确地深度或形状信息。
对于能量敏感的应用，如胶囊内视镜和可穿戴的设备，其较小的动态范围也节省了能源，因为较少比较操作和更短的积累时间，它需要较少的结构光能量。另一方面，由于结构光图像的信噪比不是很重要，因此它的增益可以被设置为非常地高，以进一步节省能源。
一种照相机***通常包括曝光控制功能，以控制图像传感器的操作参数，以便撷取的图像其整体强度是在一定范围内，有正确的水平以利于观看。图像强度是从像素强度而得。详细的控制往往是受摄影***设计者的偏好。例如，图像强度被图像的中心部分的像素强度的平均值来确定。在另一实例中，中心部分的像素强度的平均值被用作该图像强度。在另一实例中，以图像的多个区域来代替中央部分。如果强度被发现是太高，则该增益或积累时间可以减少。如果强度太低，那么增益或积累时间可以增加。此外，从一个图像到下一个的调整量，可以根据有多少的强度从该优选标准或范围偏离。
一种照相机***还可以提供照明，以增加环境光。从相机***的照明也可以是唯一的照明源，如一个正规的内视镜或胶囊内视镜。对于用于管道检查或深海勘探的照相机，照相机的照明也唯一照明光源。在这样的***中，曝光控制将控制增益、积累时间、照明强度、及/或能量或是它们的组合。如果图像强度太强，则(增益×积累时间×光能量)的值将降低以用于随后的图像或图像。另一方面，如果图像强度太弱，则(增益×积累时间×光能量)的值将增加以用于后续图像或图像。从一个图像到下一个的调整量，可能取决于有多少的强度从优选标准或范围偏离。
本发明的一个实施例，提出使用单一图像传感器，撷取结构光图像和正规图像的双重曝光控制。根据本实施例，同一图像传感器有两个曝光控制回路，一个用于结构光图像和另一个用于正规图像。在该正规图像照明实质上依赖于由照相机***控制光源的情况下(例如，可忽略的或没有环境光)，其曝光条件是非常类似于结构光与正规光，两者离现场的距离实际上相同。因此，可使用一个曝光的控制回路，而另一曝光控制则取决于第一曝光控制回路。例如，结构光的(增益×积累时间×光能量)可线性地依赖于正规光图像的(增益×积累时间×光能量)，反之亦然。在另一个实施例中，使用其他的依赖方式。例如，也可以使用γ型依赖(gamma-type dependence)或强度分布依赖。
在存在环境光的情况下，结构光需要足够强，以使结构光图像中的结构光图案更易辨别以便分析。在这种情况下，光的强度在上述分析是由环境光线和光或光线投射到场景，是由相机***的曝光控制来控制的。在这种情况下，如果环境光线是足够的，则正规图像有可能不需要由摄影机控制光线投射。然而，结构光有另一限制，即投射结构光必须足够强，以显示其在结构光图像的图案及/或颜色。如果结构光的光谱实质上集中在图像传感器的一个特定的颜色光谱，要考虑结构光图像特定颜色的强度及/或总强度。在一个实施例中，如果结构光源能够产生多种颜色，那么要考虑在正规图像中的每个彩色分量的强度。选择结构光源颜色相应于正规图像中更弱的颜色，以使该结构颜色突出或具有统计学上比背景更高的信号比，以令分析更加简单。
图8示出，根据本发明的实施例，用于撷取混合结构光图像和正规图像的示例性流程图。步骤810，在第一帧期间，使用图像传感器撷取第一结构光图像。步骤820，在第二帧期间，使用图像传感器撷取正规图像，其中，第一帧期间比第二帧期间短，且第一结构光图像是在正规图像之前或之后撷取的。
图9示出，根据本发明的实施例，用于撷取串接的结构光图像和正规图像的示例性流程图，其中，该结构光图像具有比正规图像较低动态范围。步骤910，施加第一复位信号到像素阵列来复位像素阵列的行像素。步骤920，暴露图像传感器的行像素至结构光，以形成来自该行像素的第一模拟信号。步骤930，利用一个或多个模拟-数字转换器，转换来自图像传感器的行像素的第一模拟信号成为用于第一结构光图像的第一数字输出。步骤940，施加第二复位信号到该像素阵列，以复位该像素阵列的行像素。步骤950，暴露行像素至非结构光，以形成来自该行像素的第二模拟信号。步骤960，利用一个或多个模拟-数字转换器，转换来自行像素的第二模拟信号，成为用于正规图像的第二数字输出。在步骤960，第一结构光图像是在正规图像之前或之后撷取的，其中，第一动态范围比该第二动态范围来得小。
本发明可以以其他特定形式体现而不背离其精神或本质特征。所描述的实施例在所有方面都仅是说明性的而不是限制性加以考虑。因此，本发明的范围是由所附的权利要求书而不是由前面的描述指示。所有改变的含义和权利要求书的等效的范围内的是在其范围之内。
权利要求书(按照条约第19条的修改)
1.一种使用包括图像传感器的照相机以撷取场景的图像的方法，该方法包括：
在第一帧期间使用该图像传感器撷取形成在共图像平面上的第一结构光图像，其中，所述撷取该第一结构光图像包括：
施加第一复位信号至该图像传感器，以复位该图像传感器的行像素；
曝露该图像传感器的该行像素至结构光，以形成来自该行像素的第一模拟信号；
使用一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的该第一模拟信号成为用于该第一结构光图像的第一数字输出；
在第二帧期间使用该图像传感器撷取形成在与该共图像平面相同的图像平面上的正规图像，其中，该第一帧期间比该第二帧期间短，且所述撷取该正规图像包括：
施加第二复位信号至该图像传感器，以复位该图像传感器的该行像素；
曝露该图像传感器的该行像素至非结构光，以形成来自该行像素的第二模拟信号；以及
使用该一个或多个模拟-数字转换器，转换来自该行像素的该第二模拟信号成为用于该正规图像的第二数字输出；以及
其中，该第一结构光图像在该正规图像之前或之后撷取。
2.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光图像是以该图像传感器的降低的动态范围撷取。
3.根据权利要求2所述的方法，其中，该降低的动态范对应于该一个或多个模拟-数字转换器的降低的分辨率。
4.根据权利要求2所述的方法，其中，该降低的动态范围对应于用于产生斜坡基准电压的降低的斜坡期间，其中，该一个或多个模拟-数字转换器使用该斜坡基准电压与输入模拟电压进行比较。
5.根据权利要求2所述的方法，其中，该一个或多个模拟-数字转换器对应于一个或多个逐次逼近模拟-数字转换器，而该降低的动态范围对应于用来改善基准电压的逐次逼近的减少的数量，该基准电压供应至该一个或多个逐次逼近模拟-数字转换器以与输入模拟电压进行比较。
6.根据权利要求2所述的方法，其中，该降低的动态范围对应于该图像传感器用来积累电荷的降低的积累时间。
7.根据权利要求6所述的方法，其中，来自该图像传感器的该行像素的该第一模拟信号的增益对于该第一结构光图像是增加的。
8.根据权利要求1所述的方法，更包括在该第一帧期间的第一积累时间，投射具有第一强度的该结构光到该场景。
9.根据权利要求8所述的方法，其中，该第一强度的期间实质上短于人类视觉暂留时间。
10.根据权利要求8所述的方法，其中，该结构光使用具有至少两种不同颜色或图案的多个光源来产生。
11.根据权利要求10所述的方法，更包括当使用两个不同的结构光源产生该结构光时，从该图像传感器产生不同的第一控制信号，以针对该两个不同的结构光源触发所述投射该结构光。
12.根据权利要求8所述的方法，其中，与该结构光相关联的第一光谱实质上不同于与预期场景的第二正规图像相关联的第二光谱。
13.根据权利要求12所述的方法，其中，该图像传感器对应于彩色图像传感器，该彩色图像传感器至少包括排列成马赛克图案的用于第一颜色的第一像素和用于第二颜色的第二像素，并且该第一光谱实质上集中在一种颜色。
14.根据权利要求13所述的方法，其中，经由仅读出与实质上相应于该第一光谱的该种颜色的像素关联的选择的数字输出，以降低的空间分辨率撷取该第一结构光图像。
15.根据权利要求8所述的方法，更包括在该第二帧期间的第二积累时间，投射具有第二强度的非结构光到该场景。
16.根据权利要求15所述的方法，更包括从该图像传感器产生第一控制信号以触发所述投射该结构光，以及产生第二控制信号以触发所述投射该非结构光。
17.根据权利要求15所述的方法，其中，该非结构光对应于宽带。
18.根据权利要求15所述的方法，其中，使用窄带照明或荧光激发，产生该非结构光。
19.根据权利要求15所述的方法，其中，该结构光的该第一强度实质上高于该非结构光的该第二强度。
20.根据权利要求1所述的方法，其中，该第一结构光图像的第一积累时间实质上短于该正规图像的第二积累时间。
21.根据权利要求1所述的方法，其中，用于该第一结构光图像的该图像传感器的该行像素之间的第一最小行复位时间实质上短于用于该正规图像的该图像传感器的该行像素之间的第二最小行复位时间。
22.根据权利要求1所述的方法，其中，与提供给该一个或多个模拟-数字转换器来与输入的模拟电压进行比较的基准电压有关的稳定时间，用于该第一结构光图像比用于该正规图像来的短。
23.根据权利要求1所述的方法，其中，该结构光在用于该第一结构光图像的该图像传感器的积累期间施加，并且该结构光与最后一行积累时间的开始实质上同时开始，并且与第一行读出期间的开始实质上同时结束。
24.根据权利要求1所述的方法，更包括提供该第一结构光图像以衍生出该正规图像的深度或形状信息。
25.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光影像是以较低的空间分辨率撷取。
26.根据权利要求25所述的方法，其中，经由只保留选择的行像素并跳过该图像传感器的其余行像素，以降低的垂直分辨率来撷取该第一结构光图像。
27.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光图像是以在垂直方向、水平方向或两者上的降低的图像区域来撷取。
28.根据权利要求1所述的方法，其中，重复地产生及提供后续第一结构光图像和后续正规图像，以形成第一结构光图像序列及正规图像序列，其中，该第一结构光图像序列被用于衍生出用于观看的正规图像序列的深度或形状信息。
29.根据权利要求1所述的方法，更包括：
在第三帧期间撷取形成在与该共图像平面相同的该图像平面上的第二结构光图像，其中，该第三帧期间短于该第二帧期间，并且所述撷取该第二结构光图像包括：
施加第三复位信号至该图像传感器，以复位该图像传感器的该行像素；
曝露该行像素至非结构光，以形成来自该行像素的第三模拟信号；
使用该一个或多个模拟-数字转换器，转换来自该行像素的该第三模拟信号成为用于该第二结构光图像的第三数字输出；以及
其中，该正规图像在该第一结构光图像和该第二结构光图像之间、之前或之后撷取。
30.根据权利要求1所述的方法，其中，重复所述撷取该第一结构光图像，以产生多个第一结构光图像。
31.一种使用包括图像传感器的照相机以撷取场景的图像的方法，该方法包括：
在第一帧期间使用该图像传感器撷取结构光图像，其中，所述撷取该结构光图像包括：
施加第一复位信号至该像传感器，以复位该图像传感器的行像素；
曝露该图像传感器的该行像素至结构光，以形成来自该行像素的第一模拟信号；
使用一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的该第一模拟信号成为用于该结构光图像的第一数字输出；
在该结构光图像之前在第二帧期间使用该图像传感器撷取一组第一正规图像，其中，撷取一个第一正规图像包括：
施加第二复位信号至该图像传感器，以复位该图像传感器的该行像素；
曝露该行像素至非结构光，以形成来自该行像素的第二模拟信号；以及
使用该一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的第二模拟信号成为用于一个第一正规图像的第二数字输出；以及
在该结构光图像之后在第三帧期间撷取一组第二正规图像，其中，撷取一个第二正规图像包括：
施加第三复位信号至该图像传感器，以复位该图像传感器的该行像素；
曝露该行像素至该非结构光，以形成来自该行像素的第三模拟信号；以及
使用该一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的第三模拟信号成为用于一个第二正规图像的第三数字输出；以及
组合该组第一正规图像和该组第二正规图像，以形成组合正规图像；以及
其中，该第一帧期间短于该第二帧期间与第三帧期间的总和。
32.根据权利要求31所述的方法，其中，该组第一正规图像组由M个第一正规图像组成，而该组第二正规图像组由N个第二正规图像组成，并且其中，M和N为正整数。
33.根据权利要求32所述的方法，其中，M和N等于1，并且该第一正规图像的第一积累时间长于或短于该第二正规图像的第二积累时间，以使该第一正规图像在该组合正规图像中的加权分别高于或低于该第二正规图像。
34.根据权利要求32所述的方法，其中，M和N等于1，并且该第一正规图像的第一积累时间近似于该第二正规图像的第二积累时间，以使该第一正规图像与该第二正规图像在该组合正规图像中具有相同的加权。
35.根据权利要求32所述的方法，其中，该组第一正规图像和该组第二正规图像的组合是使用该组第一正规图像和该组第二正规图像的加权总和，以形成该组合正规图像，并且其中，该组第一正规图像和该组第二正规图像的总加权等于100％。
36.根据权利要求32所述的方法，其中，M和N等于1，具有图像索引i的该第一正规图像与具有图像索引(i+2)的该第二正规图像被组合成一个组合正规图像，用于具有图像索引(i+1)的该结构光图像，并且，以及具有图像索引(i+2)的该第一正规图像与具有图像索引(i+4)的该第二正规图像被组合成一个组合正规图像，用于具有图像索引(i+3)的该结构光图像，其中，i是正整数。
37.根据权利要求31所述的方法，更包括暂时存储该组第一正规图像或该组第二正规图像在整合于该照相机内的缓冲器中，以形成该组合正规图像。
38.根据权利要求31所述的方法，其中，相比于该第一正规图像和该第二正规图像，该结构光图像是以该图像传感器的降低的动态范围撷取。
39.根据权利要求31所述的方法，其中，相比于该第一正规图像和该第二正规图像，该结构光图像是以较低的空间分辨率撷取。
40.根据权利要求31所述的方法，其中，相比于该第一正规图像和该第二正规图像，该结构光图像是以在垂直方向、水平方向或两者的降低的图像区域撷取。
41.一种集成图像传感器，包括：
像素阵列，反应于由该像素阵列所接收到的光能量，以产生像素信号，该像素信号的电压水平取决于接收到的该光能量；
一个或多个输出电路，耦合到该像素阵列，以存取由该像素阵列产生的该像素信号；
一个或多个模拟-数字转换器，具有第一动态范围和第二动态范围；
一个或多个时序和控制电路，配置为：
在第一帧期间，经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至结构光以形成来自该行像素的第一模拟信号、以及使用一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出，而撷取形成在共图像平面上的该结构光图像；以及
在比该第一帧期间还长的第二帧期间，经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至非结构光以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于正规图像的第二数字输出，而撷取形成在与该共图像平面相同的图像平面上的该正规图像。
42.根据权利要求41所述的集成图像传感器，其中，该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器，以提供该第一动态范围和该第二动态范围两者。
43.根据权利要求41所述的集成图像传感器，其中，该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器，以提供该第一动态范围和该第二动态范围两者。
44.根据权利要求41所述的集成图像传感器，其中，该一个或多个时序和控制电路更配置为相比于该正规图像，该结构光图像是以较低的空间分辨率撷取。
45.一种胶囊相机***，包括：
像素阵列，反应于由该像素阵列所接收到的光能量，以产生像素信号，该像素信号的电压水平取决于接收到的该光能量；
结构光源；
非结构光源；
一个或多个输出电路，耦合到该像素阵列，以存取由该像素阵列所产生的该像素信号；
一个或多个模拟-数字转换器，具有第一动态范围及第二动态范围；
一个或多个时序和控制电路，其中，该一个或多个时序和控制电路被配置为：
在第一帧期间，经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟信号、以及使用一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出，而撷取形成在共图像平面上的该结构光图像；以及
在比该第一帧期间还长的第二帧期间，经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于正规图像的第二数字输出，而撷取形成在与该共图像平面相同的图像平面上的该正规图像；以及
其中，该结构光图像在该正规图像之前或之后撷取。
46.根据权利要求45所述的胶囊相机***，更包括适于吞服的胶囊外壳，其中，该像素阵列、该结构光源、该非结构光源、该一个或多个输出电路、以及该一个或多个时序和控制电路均被封装及密封在该胶囊外壳里。
47.根据权利要求45所述的胶囊相机***，其中，该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器，以提供该第一动态范围和该第二动态范围两者。
48.根据权利要求45所述的胶囊相机***，其中，该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器，以提供该第一动态范围和该第二动态范围两者。
49.根据权利要求45所述的胶囊相机***，其中，相比于该正规图像，该结构光图像是以较低的空间分辨率撷取。
50.一种相机***，包括：
像素阵列，反应于由该像素阵列所接收到的光能量，以产生像素信号，该像素信号的电压水平取决于接收到的该光能量；
结构光源；
非结构光源；
一个或多个输出电路，耦合到该像素阵列，以存取由该像素阵列所产生的像素信号；
一个或多个模拟-数字转换器，具有第一动态范围及第二动态范围；
一个或多个时序和控制电路，其中，该一个或多个时序和控制电路被配置为：
在第一帧期间，经由施加第一复位信号到该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出，而撷取该结构光图像；
在该结构光图像之前在第二帧期间，经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于第一正规图像的第二数字输出，而撷取该第一正规图像；以及
在该结构光图像之后在第三帧期间，经由施加第三复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至来自该非结构光源的该第二照射以形成来自该行像素的第三模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第三模拟信号成为用于第二正规图像的第三数字输出，而撷取该第二正规图像；
组合该第二数字输出和该第三数字输出，以形成组合正规图像；以及
其中，该结构光图像是在该第一正规图像和该第二正规图像之间撷取，并且该第一帧期间短于该第二帧期间及该第三帧期间的总和。
51.根据权利要求50所述的相机***，其中，相比于该第一正规图像和该第二正规图像，该结构光图像以较低的空间分辨率撷取。
52.根据权利要求50所述的相机***，其中，该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器，以提供该第一动态范围和第二动态范围两者。
53.根据权利要求50所述的相机***，其中，该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器，以提供该第一动态范围和第二动态范围两者。
54.一种用于体内观察的胶囊内视镜，包括：
适于被吞服的胶囊外壳；
像素阵列，反应于由该像素阵列所接收到的光能量，以产生像素信号，该像素信号的电压水平取决于接收到的该光能量；
结构光源；
非结构光源；
一个或多个输出电路，耦合到该像素阵列，以存取由该像素阵列所产生的该像素信号；
一个或多个模拟-数字转换器，具有第一动态范围及第二动态范围；
一个或多个时序和控制电路，其中，该一个或多个时序和控制电路被配置为：
在第一帧期间，经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出，而撷取该结构光图像；
在该结构光图像之前在第二帧期间，经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至环境光或来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于第一正规图像的第二数字输出，而撷取该第一正规图像；以及
在该结构光图像之后在第三帧期间，经由施加第三复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至该环境光或来自该非结构光源的该第二照射以形成来自该行像素的第三模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第三模拟信号成为用于第二正规图像的第三数字输出，而撷取该第二正规图像；以及
组合该第二数字输出和该第三数字输出，以形成组合正规图像；以及
其中，该结构光图像在该第一正规图像和该第二正规图像之间撷取，并且该第一帧期间短于该第二帧期间及该第三帧期间的总和；以及
其中，该像素阵列、该结构光源、该非结构光源、该一个或多个输出电路、以及该一个或多个时序和控制电路均被封装及密封在该胶囊外壳里。
55.根据权利要求54所述的胶囊内视镜，其中，相比于该第一正规图像和该第二正规图像，该结构光图像以较低的空间分辨率撷取。
56.根据权利要求54所述的胶囊内视镜，其中，该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器，以提供该第一动态范围和第二动态范围两者。
57.根据权利要求54所述的胶囊内视镜，其中，该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器，以提供该第一动态范围和第二动态范围两者。
58.一种使用单一图像传感器撷取图像序列的方法，该方法包括：
经由施加第一曝光控制以调整用于一个或多个结构光图像的结构光源、与该图像传感器相关的第一增益或第一积累时间、或其组合，而在来自结构光源的结构光下，使用该图像传感器撷取该一个或多个结构光图像；以及
经由施加第二曝光控制至该图像传感器以调整用于一个或多个正规图像的与该图像传感器相关的第二增益或第二积累时间、或其组合，而使用该图像传感器撷取该一个或多个正规图像，其中，以交织的方式撷取该一个或多个正规图像与该一个或多个结构光图像；以及
其中，该第一曝光控制是基于该第二曝光控制来确定，或该第二曝光控制是基于该第一曝光控制来确定。
59.(删除)
60.根据权利要求58所述的方法，其中，该第二曝光控制更包括调整用于该一个或多个正规图像的非结构光源。

Claims (60)

1.一种使用包括图像传感器的照相机以撷取场景的图像的方法，该方法包括：
在第一帧期间使用该图像传感器撷取第一结构光图像，其中，所述撷取该第一结构光图像包括：
施加第一复位信号至该图像传感器，以复位该图像传感器的行像素；
曝露该图像传感器的该行像素至结构光，以形成来自该行像素的第一模拟信号；
使用一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的该第一模拟信号成为用于该第一结构光图像的第一数字输出；
在第二帧期间使用该图像传感器撷取正规影像图像，其中，该第一帧期间比该第二帧期间短，且所述撷取该正规图像包括：
施加第二复位信号至该图像传感器，以复位该图像传感器的该行像素；
曝露该图像传感器的该行像素至非结构光，以形成来自该行像素的第二模拟信号；以及
使用该一个或多个模拟-数字转换器，转换来自该行像素的该第二模拟信号成为用于该正规图像的第二数字输出；以及
其中，该第一结构光图像在该正规图像之前或之后撷取。
2.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光图像是以该图像传感器的降低的动态范围撷取。
3.根据权利要求2所述的方法，其中，该降低的动态范对应于该一个或多个模拟-数字转换器的降低的分辨率。
4.根据权利要求2所述的方法，其中，该降低的动态范围对应于用于产生斜坡基准电压的降低的斜坡期间，其中，该一个或多个模拟-数字转换器使用该斜坡基准电压与输入模拟电压进行比较。
5.根据权利要求2所述的方法，其中，该一个或多个模拟-数字转换器对应于一个或多个逐次逼近模拟-数字转换器，而该降低的动态范围对应于用来改善基准电压的逐次逼近的减少的数量，该基准电压供应至该一个或多个逐次逼近模拟-数字转换器以与输入模拟电压进行比较。
6.根据权利要求2所述的方法，其中，该降低的动态范围对应于该图像传感器用来积累电荷的降低的积累时间。
7.根据权利要求6所述的方法，其中，来自该图像传感器的该行像素的该第一模拟信号的增益对于该第一结构光图像是增加的。
8.根据权利要求1所述的方法，更包括在该第一帧期间的第一积累时间，投射具有第一强度的该结构光到该场景。
9.根据权利要求8所述的方法，其中，该第一强度的期间实质上短于人类视觉暂留时间。
10.根据权利要求8所述的方法，其中，该结构光使用具有至少两种不同颜色或图案的多个光源来产生。
11.根据权利要求10所述的方法，更包括当使用两个不同的结构光源产生该结构光时，从该图像传感器产生不同的第一控制信号，以针对该两个不同的结构光源触发所述投射该结构光。
12.根据权利要求8所述的方法，其中，与该结构光相关联的第一光谱实质上不同于与预期场景的第二正规图像相关联的第二光谱。
13.根据权利要求12所述的方法，其中，该图像传感器对应于彩色图像传感器，该彩色图像传感器至少包括排列成马赛克图案的用于第一颜色的第一像素和用于第二颜色的第二像素，并且该第一光谱实质上集中在一种颜色。
14.根据权利要求13所述的方法，其中，经由仅读出与实质上相应于该第一光谱的该种颜色的像素关联的选择的数字输出，以降低的空间分辨率撷取该第一结构光图像。
15.根据权利要求8所述的方法，更包括在该第二帧期间的第二积累时间，投射具有第二强度的非结构光到该场景。
16.根据权利要求15所述的方法，更包括从该图像传感器产生第一控制信号以触发所述投射该结构光，以及产生第二控制信号以触发所述投射该非结构光。
17.根据权利要求15所述的方法，其中，该非结构光对应于宽带。
18.根据权利要求15所述的方法，其中，使用窄带照明或荧光激发，产生该非结构光。
19.根据权利要求15所述的方法，其中，该结构光的该第一强度实质上高于该非结构光的该第二强度。
20.根据权利要求1所述的方法，其中，该第一结构光图像的第一积累时间实质上短于该正规图像的第二积累时间。
21.根据权利要求1所述的方法，其中，用于该第一结构光图像的该图像传感器的该行像素之间的第一最小行复位时间实质上短于用于该正规图像的该图像传感器的该行像素之间的第二最小行复位时间。
22.根据权利要求1所述的方法，其中，与提供给该一个或多个模拟-数字转换器来与输入的模拟电压进行比较的基准电压有关的稳定时间，用于该第一结构光图像比用于该正规图像来的短。
23.根据权利要求1所述的方法，其中，该结构光在用于该第一结构光图像的该图像传感器的积累期间施加，并且该结构光与最后一行积累时间的开始实质上同时开始，并且与第一行读出期间的开始实质上同时结束。
24.根据权利要求1所述的方法，更包括提供该第一结构光图像以衍生出该正规图像的深度或形状信息。
25.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光影像是以较低的空间分辨率撷取。
26.根据权利要求25所述的方法，其中，经由只保留选择的行像素并跳过该图像传感器的其余行像素，以降低的垂直分辨率来撷取该第一结构光图像。
27.根据权利要求1所述的方法，其中，相比于该正规图像，该第一结构光图像是以在垂直方向、水平方向或两者上的降低的图像区域来撷取。
28.根据权利要求1所述的方法，其中，重复地产生及提供后续第一结构光图像和后续正规图像，以形成第一结构光图像序列及正规图像序列，其中，该第一结构光图像序列被用于衍生出用于观看的正规图像序列的深度或形状信息。
29.根据权利要求1所述的方法，更包括：
在第三帧期间撷取第二结构光图像，其中，该第三帧期间短于该第二帧期间，并且所述撷取该第二结构光图像包括：
施加第三复位信号至该图像传感器，以复位该图像传感器的该行像素；
曝露该行像素至非结构光，以形成来自该行像素的第三模拟信号；
使用该一个或多个模拟-数字转换器，转换来自该行像素的该第三模拟信号成为用于该第二结构光图像的第三数字输出；以及其中，该正规图像在该第一结构光图像和该第二结构光图像之间、之前或之后撷取。
30.根据权利要求1所述的方法，其中，重复所述撷取该第一结构光图像，以产生多个第一结构光图像。
31.一种使用包括图像传感器的照相机以撷取场景的图像的方法，该方法包括：
在第一帧期间使用该图像传感器撷取结构光图像，其中，所述撷取该结构光图像包括：
施加第一复位信号至该像传感器，以复位该图像传感器的行像素；
曝露该图像传感器的该行像素至结构光，以形成来自该行像素的第一模拟信号；
使用一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的该第一模拟信号成为用于该结构光图像的第一数字输出；
在第二帧期间使用该图像传感器撷取一组第一正规图像，其中，撷取一个第一正规图像包括：
施加第二复位信号至该图像传感器，以复位该图像传感器的该行像素；
曝露该行像素至非结构光，以形成来自该行像素的第二模拟信号；以及
使用该一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的第二模拟信号成为用于一个第一正规图像的第二数字输出；以及
在第三帧期间撷取一组第二正规图像，其中，撷取一个第二正规图像包括：
施加第三复位信号至该图像传感器，以复位该图像传感器的该行像素；
曝露该行像素至该非结构光，以形成来自该行像素的第三模拟信号；以及
使用该一个或多个模拟-数字转换器，转换来自该图像传感器的该行像素的第三模拟信号成为用于一个第二正规图像的第三数字输出；以及
组合该组第一正规图像和该组第二正规图像，以形成组合正规图像；以及
其中，该结构光图像是在该组第一正规图像和该组第二正规图像之间撷取，并且该第一帧期间短于该第二帧期间与第三帧期间的总和。
32.根据权利要求31所述的方法，其中，该组第一正规图像组由M个第一正规图像组成，而该组第二正规图像组由N个第二正规图像组成，并且其中，M和N为正整数。
33.根据权利要求32所述的方法，其中，M和N等于1，并且该第一正规图像的第一积累时间长于或短于该第二正规图像的第二积累时间，以使该第一正规图像在该组合正规图像中的加权分别高于或低于该第二正规图像。
34.根据权利要求32所述的方法，其中，M和N等于1，并且该第一正规图像的第一积累时间近似于该第二正规图像的第二积累时间，以使该第一正规图像与该第二正规图像在该组合正规图像中具有相同的加权。
35.根据权利要求32所述的方法，其中，该组第一正规图像和该组第二正规图像的组合是使用该组第一正规图像和该组第二正规图像的加权总和，以形成该组合正规图像，并且其中，该组第一正规图像和该组第二正规图像的总加权等于100％。
36.根据权利要求32所述的方法，其中，M和N等于1，具有图像索引i的该第一正规图像与具有图像索引(i+2)的该第二正规图像被组合成一个组合正规图像，用于具有图像索引(i+1)的该结构光图像，并且，以及具有图像索引(i+2)的该第一正规图像与具有图像索引(i+4)的该第二正规图像被组合成一个组合正规图像，用于具有图像索引(i+3)的该结构光图像，其中，i是正整数。
37.根据权利要求31所述的方法，更包括暂时存储该组第一正规图像或该组第二正规图像在整合于该照相机内的缓冲器中，以形成该组合正规图像。
38.根据权利要求31所述的方法，其中，相比于该第一正规图像和该第二正规图像，该结构光图像是以该图像传感器的降低的动态范围撷取。
39.根据权利要求31所述的方法，其中，相比于该第一正规图像和该第二正规图像，该结构光图像是以较低的空间分辨率撷取。
40.根据权利要求31所述的方法，其中，相比于该第一正规图像和该第二正规图像，该结构光图像是以在垂直方向、水平方向或两者的降低的图像区域撷取。
41.一种集成图像传感器，包括：
像素阵列，反应于由该像素阵列所接收到的光能量，以产生像素信号，该像素信号的电压水平取决于接收到的该光能量；
一个或多个输出电路，耦合到该像素阵列，以存取由该像素阵列产生的该像素信号；
一个或多个模拟-数字转换器，具有第一动态范围和第二动态范围；
一个或多个时序和控制电路，配置为：
在第一帧期间，经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至结构光以形成来自该行像素的第一模拟信号、以及使用一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出，而撷取该结构光图像；以及
在比该第一帧期间还长的第二帧期间，经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至非结构光以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于正规图像的第二数字输出，而撷取该正规图像。
42.根据权利要求41所述的集成图像传感器，其中，该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器，以提供该第一动态范围和该第二动态范围两者。
43.根据权利要求41所述的集成图像传感器，其中，该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器，以提供该第一动态范围和该第二动态范围两者。
44.根据权利要求41所述的集成图像传感器，其中，该一个或多个时序和控制电路更配置为相比于该正规图像，该结构光图像是以较低的空间分辨率撷取。
45.一种胶囊相机***，包括：
像素阵列，反应于由该像素阵列所接收到的光能量，以产生像素信号，该像素信号的电压水平取决于接收到的该光能量；
结构光源；
非结构光源；
一个或多个输出电路，耦合到该像素阵列，以存取由该像素阵列所产生的该像素信号；
一个或多个模拟-数字转换器，具有第一动态范围及第二动态范围；
一个或多个时序和控制电路，其中，该一个或多个时序和控制电路被配置为：
在第一帧期间，经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟信号、以及使用一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出，而撷取该结构光图像；以及
在比该第一帧期间还长的第二帧期间，经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于正规图像的第二数字输出，而撷取该正规图像。
46.根据权利要求45所述的胶囊相机***，更包括适于吞服的胶囊外壳，其中，该像素阵列、该结构光源、该非结构光源、该一个或多个输出电路、以及该一个或多个时序和控制电路均被封装及密封在该胶囊外壳里。
47.根据权利要求45所述的胶囊相机***，其中，该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器，以提供该第一动态范围和该第二动态范围两者。
48.根据权利要求45所述的胶囊相机***，其中，该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器，以提供该第一动态范围和该第二动态范围两者。
49.根据权利要求45所述的胶囊相机***，其中，相比于该正规图像，该结构光图像是以较低的空间分辨率撷取。
50.一种相机***，包括：
像素阵列，反应于由该像素阵列所接收到的光能量，以产生像素信号，该像素信号的电压水平取决于接收到的该光能量；
结构光源；
非结构光源；
一个或多个输出电路，耦合到该像素阵列，以存取由该像素阵列所产生的像素信号；
一个或多个模拟-数字转换器，具有第一动态范围及第二动态范围；
一个或多个时序和控制电路，其中，该一个或多个时序和控制电路被配置为：
在第一帧期间，经由施加第一复位信号到该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出，而撷取该结构光图像；
在第二帧期间，经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于第一正规图像的第二数字输出，而撷取该第一正规图像；以及
在第三帧期间，经由施加第三复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至来自该非结构光源的该第二照射以形成来自该行像素的第三模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第三模拟信号成为用于第二正规图像的第三数字输出，而撷取该第二正规图像；组合该第二数字输出和该第三数字输出，以形成组合正规图像；以及
其中，该结构光图像是在该第一正规图像和该第二正规图像之间撷取，并且该第一帧期间短于该第二帧期间及该第三帧期间的总和。
51.根据权利要求50所述的相机***，其中，相比于该第一正规图像和该第二正规图像，该结构光图像以较低的空间分辨率撷取。
52.根据权利要求50所述的相机***，其中，该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器，以提供该第一动态范围和第二动态范围两者。
53.根据权利要求50所述的相机***，其中，该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器，以提供该第一动态范围和第二动态范围两者。
54.一种用于体内观察的胶囊内视镜，包括：
适于被吞服的胶囊外壳；
像素阵列，反应于由该像素阵列所接收到的光能量，以产生像素信号，该像素信号的电压水平取决于接收到的该光能量；
结构光源；
非结构光源；
一个或多个输出电路，耦合到该像素阵列，以存取由该像素阵列所产生的该像素信号；
一个或多个模拟-数字转换器，具有第一动态范围及第二动态范围；
一个或多个时序和控制电路，其中，该一个或多个时序和控制电路被配置为：
在第一帧期间，经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出，而撷取该结构光图像；
在第二帧期间，经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至环境光或来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于第一正规图像的第二数字输出，而撷取该第一正规图像；以及
在第三帧期间，经由施加第三复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至该环境光或来自该非结构光源的该第二照射以形成来自该行像素的第三模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第三模拟信号成为用于第二正规图像的第三数字输出，而撷取该第二正规图像；以及
组合该第二数字输出和该第三数字输出，以形成组合正规图像；以及
其中，该结构光图像在该第一正规图像和该第二正规图像之间撷取，并且该第一帧期间短于该第二帧期间及该第三帧期间的总和；以及
其中，该像素阵列、该结构光源、该非结构光源、该一个或多个输出电路、以及该一个或多个时序和控制电路均被封装及密封在该胶囊外壳里。
55.根据权利要求54所述的胶囊内视镜，其中，相比于该第一正规图像和该第二正规图像，该结构光图像以较低的空间分辨率撷取。
56.根据权利要求54所述的胶囊内视镜，其中，该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器，以提供该第一动态范围和第二动态范围两者。
57.根据权利要求54所述的胶囊内视镜，其中，该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器，以提供该第一动态范围和第二动态范围两者。
58.一种使用单一图像传感器撷取图像序列的方法，该方法包括：
经由施加第一曝光控制以调整用于一个或多个结构光图像的结构光源、与该图像传感器相关的第一增益或第一积累时间、或其组合，而在来自结构光源的结构光下，使用该图像传感器撷取该一个或多个结构光图像；以及
经由施加第二曝光控制至该图像传感器以调整用于一个或多个正规图像的与该图像传感器相关的第二增益或第二积累时间、或其组合，而使用该图像传感器撷取该一个或多个正规图像，其中，以交织的方式撷取该一个或多个正规图像与该一个或多个结构光图像。
59.根据权利要求58所述的方法，其中，该第一曝光控制是基于该第二曝光控制来确定，或该第二曝光控制是基于该第一曝光控制来确定。
60.根据权利要求58所述的方法，其中，该第二曝光控制更包括调整用于该一个或多个正规图像的非结构光源。
CN201680059418.7A 2015-10-16 2016-09-22 用于撷取混合的结构光图像和正规图像的单一图像传感器 Active CN108139207B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/884,788 US9936151B2 (en) 2015-10-16 2015-10-16 Single image sensor for capturing mixed structured-light images and regular images
US14/884,788 2015-10-16
PCT/US2016/052975 WO2017065949A1 (en) 2015-10-16 2016-09-22 Single image sensor for capturing mixed structured-light images and regular images

Publications (2)

Publication Number Publication Date
CN108139207A true CN108139207A (zh) 2018-06-08
CN108139207B CN108139207B (zh) 2020-09-18

Family

ID=58517756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680059418.7A Active CN108139207B (zh) 2015-10-16 2016-09-22 用于撷取混合的结构光图像和正规图像的单一图像传感器

Country Status (6)

Country Link
US (3) US9936151B2 (zh)
EP (1) EP3362989B1 (zh)
JP (3) JP6803908B2 (zh)
CN (1) CN108139207B (zh)
TW (1) TWI596931B (zh)
WO (1) WO2017065949A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005370A (zh) * 2018-07-27 2018-12-14 Oppo广东移动通信有限公司 结构光投射器的控制***和电子装置
CN110677603A (zh) * 2019-09-16 2020-01-10 上海集成电路研发中心有限公司 一种用于单帧分段曝光的图像传感器
CN110708481A (zh) * 2019-09-16 2020-01-17 上海集成电路研发中心有限公司 一种基于差异复位的去除固定模式噪声方法
US11115607B2 (en) 2018-07-27 2021-09-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Control system for structured light projector and electronic device
CN113574408A (zh) * 2019-03-27 2021-10-29 松下知识产权经营株式会社 固体摄像装置
CN114127509A (zh) * 2019-08-27 2022-03-01 索尼集团公司 测距***和电子设备
TWI762388B (zh) * 2021-07-16 2022-04-21 國立中正大學 以超頻譜檢測物件影像之方法

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US10531074B2 (en) * 2015-10-16 2020-01-07 CapsoVision, Inc. Endoscope employing structured light providing physiological feature size measurement
US10469775B2 (en) * 2017-03-31 2019-11-05 Semiconductor Components Industries, Llc High dynamic range storage gate pixel circuitry
JP7005175B2 (ja) * 2017-05-30 2022-01-21 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10740954B2 (en) 2018-03-17 2020-08-11 Nvidia Corporation Shadow denoising in ray-tracing applications
US10969273B2 (en) * 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US10553180B1 (en) 2018-03-21 2020-02-04 Facebook Technologies, Llc Dynamically structured protective film for maximum display resolution
JP6891345B2 (ja) * 2018-03-21 2021-06-18 キャプソ・ヴィジョン・インコーポレーテッド 構造化光を生理学的特徴サイズ測定に利用する内視鏡
US11054632B1 (en) 2018-03-21 2021-07-06 Facebook Technologies, Llc Liquid filled pixelated film
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
JP6810299B2 (ja) * 2018-04-26 2021-01-06 富士フイルム株式会社 画像処理装置、方法、及びプログラム並びに撮像装置
US10685594B2 (en) 2018-05-08 2020-06-16 Facebook Technologies, Llc Calibrating brightness variation in a display
TWI734079B (zh) * 2018-05-29 2021-07-21 大陸商廣州印芯半導體技術有限公司 影像感測系統及其多功能影像感測器
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US11019294B2 (en) * 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10991079B2 (en) * 2018-08-14 2021-04-27 Nvidia Corporation Using previously rendered scene frames to reduce pixel noise
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US10506921B1 (en) 2018-10-11 2019-12-17 Capso Vision Inc Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
JP7116925B2 (ja) * 2019-03-22 2022-08-12 株式会社エビデント 観察装置の作動方法、観察装置、およびプログラム
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US10735683B1 (en) * 2019-04-09 2020-08-04 Obsidian Sensors, Inc. Systems and methods for low-power image digitization
US11943561B2 (en) * 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US20200397239A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
CN113785561B (zh) 2019-08-01 2023-12-19 松下知识产权经营株式会社 摄像装置
US11038704B2 (en) * 2019-08-16 2021-06-15 Logitech Europe S.A. Video conference system
US11258982B2 (en) 2019-08-16 2022-02-22 Logitech Europe S.A. Video conference system
US11088861B2 (en) 2019-08-16 2021-08-10 Logitech Europe S.A. Video conference system
US11095467B2 (en) 2019-08-16 2021-08-17 Logitech Europe S.A. Video conference system
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11252366B2 (en) * 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
US11219358B2 (en) 2020-03-02 2022-01-11 Capso Vision Inc. Method and apparatus for detecting missed areas during endoscopy
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
CN113395496B (zh) * 2020-09-28 2024-03-29 腾讯科技（深圳）有限公司 图像处理装置、图像处理方法、电子设备以及存储介质
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
JP2021058776A (ja) * 2021-01-20 2021-04-15 株式会社三洋物産 遊技機
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
TW202247000A (zh) * 2021-05-19 2022-12-01 英屬開曼群島商大峽谷智慧照明系統股份有限公司 使用智慧人因照明系統作為提供人因照明的共享平台
CN114219841B (zh) * 2022-02-23 2022-06-03 武汉欧耐德润滑油有限公司 基于图像处理的润滑油罐体参数自动识别方法
US20230410336A1 (en) 2022-06-15 2023-12-21 CapsoVision, Inc. Method and Apparatus for Identifying Capsule Camera Location inside Gastrointestinal Tract

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1415267A (zh) * 2001-10-18 2003-05-07 韩国电工技术研究院 荧光内窥镜装置和使用该装置在身体内对组织成像的方法
WO2003105289A2 (en) * 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US20060268153A1 (en) * 2005-05-11 2006-11-30 Xenogen Corporation Surface contruction using combined photographic and structured light information
JP2007175447A (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp 被検体内観察システム
CN102429625A (zh) * 2010-09-29 2012-05-02 富士胶片株式会社 内窥镜装置
CN103069453A (zh) * 2010-07-05 2013-04-24 苹果公司 操作设备以捕捉高动态范围图像
CN103561267A (zh) * 2013-09-10 2014-02-05 罗天明 基于运动信息与深度信息的3d视频编码传输方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5962844A (en) * 1997-09-03 1999-10-05 Foveon, Inc. Active pixel image cell with embedded memory and pixel level signal processing capability
US6665010B1 (en) * 1998-07-21 2003-12-16 Intel Corporation Controlling integration times of pixel sensors
EP1126698B1 (en) 1998-10-07 2003-12-10 Hamamatsu Photonics K.K. High-speed vision sensor
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US7605940B2 (en) * 1999-09-17 2009-10-20 Silverbrook Research Pty Ltd Sensing device for coded data
US6469289B1 (en) * 2000-01-21 2002-10-22 Symagery Microsystems Inc. Ambient light detection technique for an imaging array
US20030117491A1 (en) 2001-07-26 2003-06-26 Dov Avni Apparatus and method for controlling illumination in an in-vivo imaging device
US7447747B2 (en) * 2003-02-04 2008-11-04 Aol Llc Method for flexible, safe, robust, and efficient generation and serving of multi-source world-wide web content pages
EP2716353B1 (en) * 2003-11-24 2021-01-13 Intertape Polymer Corp. Process for preparing a self-adhesive composition using a planetary extruder
US7605852B2 (en) * 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
GB0423011D0 (en) 2004-10-16 2004-11-17 Koninkl Philips Electronics Nv Method and apparatus for analogue to digital conversion
EP1659776A1 (en) * 2004-11-23 2006-05-24 Dialog Semiconductor GmbH An image sensor having resolution adjustment employing an analog column averaging/row averaging for high intensity light or row binning for low intensity light
US7983458B2 (en) 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
US7534988B2 (en) * 2005-11-08 2009-05-19 Microsoft Corporation Method and system for optical tracking of a pointing object
EP2064676B1 (en) 2006-09-21 2011-09-07 Thomson Licensing A method and system for three-dimensional model acquisition
US7616243B2 (en) 2007-03-07 2009-11-10 Altasens, Inc. Method and apparatus for improving and controlling dynamic range in an image sensor
US7995798B2 (en) 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
TWI357974B (en) * 2007-11-05 2012-02-11 Ind Tech Res Inst Visual navigation system and method based on struc
US8369458B2 (en) 2007-12-20 2013-02-05 Ralink Technology Corporation Wireless receiving system with an adaptively configurable analog to digital converter
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
US8285025B2 (en) * 2008-03-25 2012-10-09 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
FR2935076A1 (fr) 2008-08-18 2010-02-19 St Microelectronics Sa Convertisseur analogique-numerique
US8299472B2 (en) * 2009-12-08 2012-10-30 Young-June Yu Active pixel sensor with nanowire structured photodetectors
US8723118B2 (en) * 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
JP5830270B2 (ja) * 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
US8803979B2 (en) * 2011-09-29 2014-08-12 Aptina Imaging Corporation Self test of image signal chain while running in streaming mode
US9429417B2 (en) * 2012-05-17 2016-08-30 Hong Kong Applied Science and Technology Research Institute Company Limited Touch and motion detection using surface map, object shadow and a single camera
US9019488B2 (en) * 2012-06-25 2015-04-28 Recognition Robotics, Inc. Wheel toe and camber measurement system
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9524059B2 (en) * 2013-03-15 2016-12-20 Texas Instruments Incorporated Interaction detection using structured light images
US8934133B2 (en) * 2013-03-25 2015-01-13 Eastman Kodak Company High-speed multi-color printing
JP2015084319A (ja) * 2013-09-17 2015-04-30 株式会社リコー 被処理物改質装置、印刷装置、印刷システムおよび印刷物の製造方法
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
EP2871843B1 (en) * 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
US9357150B2 (en) 2013-12-03 2016-05-31 Capso Vision Inc. Image sensor with integrated power conservation control
US10145678B2 (en) * 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1415267A (zh) * 2001-10-18 2003-05-07 韩国电工技术研究院 荧光内窥镜装置和使用该装置在身体内对组织成像的方法
WO2003105289A2 (en) * 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US20060268153A1 (en) * 2005-05-11 2006-11-30 Xenogen Corporation Surface contruction using combined photographic and structured light information
JP2007175447A (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp 被検体内観察システム
CN103069453A (zh) * 2010-07-05 2013-04-24 苹果公司 操作设备以捕捉高动态范围图像
CN102429625A (zh) * 2010-09-29 2012-05-02 富士胶片株式会社 内窥镜装置
CN103561267A (zh) * 2013-09-10 2014-02-05 罗天明 基于运动信息与深度信息的3d视频编码传输方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005370A (zh) * 2018-07-27 2018-12-14 Oppo广东移动通信有限公司 结构光投射器的控制***和电子装置
CN109005370B (zh) * 2018-07-27 2020-07-03 Oppo广东移动通信有限公司 结构光投射器的控制***和电子装置
US11115607B2 (en) 2018-07-27 2021-09-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Control system for structured light projector and electronic device
CN113574408A (zh) * 2019-03-27 2021-10-29 松下知识产权经营株式会社 固体摄像装置
CN114127509A (zh) * 2019-08-27 2022-03-01 索尼集团公司 测距***和电子设备
CN110677603A (zh) * 2019-09-16 2020-01-10 上海集成电路研发中心有限公司 一种用于单帧分段曝光的图像传感器
CN110708481A (zh) * 2019-09-16 2020-01-17 上海集成电路研发中心有限公司 一种基于差异复位的去除固定模式噪声方法
CN110677603B (zh) * 2019-09-16 2021-09-14 上海集成电路研发中心有限公司 一种用于单帧分段曝光的图像传感器和数据采集方法
TWI762388B (zh) * 2021-07-16 2022-04-21 國立中正大學 以超頻譜檢測物件影像之方法

Also Published As

Publication number Publication date
TWI596931B (zh) 2017-08-21
EP3362989A4 (en) 2019-06-05
US9936151B2 (en) 2018-04-03
JP6803908B2 (ja) 2020-12-23
US20170111600A1 (en) 2017-04-20
CN108139207B (zh) 2020-09-18
US11102428B2 (en) 2021-08-24
JP2018533870A (ja) 2018-11-15
EP3362989B1 (en) 2022-09-21
US20200007802A1 (en) 2020-01-02
WO2017065949A1 (en) 2017-04-20
EP3362989A1 (en) 2018-08-22
US20180160061A1 (en) 2018-06-07
JP2021010173A (ja) 2021-01-28
US10447950B2 (en) 2019-10-15
TW201715881A (zh) 2017-05-01
JP2021007241A (ja) 2021-01-21
JP7114666B2 (ja) 2022-08-08
JP7114667B2 (ja) 2022-08-08

Similar Documents

Publication Publication Date Title
CN108139207A (zh) 用于撷取混合的结构光图像和正规图像的单一图像传感器
WO2019133741A1 (en) Hyperspectral imaging with tool tracking in a light deficient environment
CN105939451B (zh) 用于胶囊内窥镜***的图像曝光处理***及方法
US11187657B2 (en) Hyperspectral imaging with fixed pattern noise cancellation
EP2992810A1 (en) Continuous video in a light deficient environment
US10785428B2 (en) Single image sensor for capturing mixed structured-light images and regular images
WO2020256976A1 (en) Laser mapping imaging with fixed pattern noise cancellation
WO2017065053A1 (ja) 内視鏡装置
CN105635532B (zh) 成像方法、图像传感器、成像装置及电子装置
CN103190881A (zh) 胶囊式内窥镜及其图像处理方法
JP2023062217A (ja) データ生成方法、学習方法及び推定方法
TW200610391A (en) Camera device used in endoscope
CN109788891A (zh) 内窥镜镜体、内窥镜处理器和内窥镜用适配器
CN108392165A (zh) 用于具有针对物体缩放的距离测量的内视镜的方法和器具
JP2011103586A (ja) 撮影装置および該撮影装置によって撮影した画像の画像処理方法
CN101305613A (zh) 具有降低的照明要求的图像传感器阵列
CN117082233A (zh) 内窥镜摄像***延时测试方法、装置、设备及***
ITCT20020016U1 (it) Sistema a conteggio di fotoni ad elevata dinamica basato si intensific atore di immagini accoppiato ad un sensore cmos - aps.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant