CN107707789B - 提供场景彩色高分辨率图像的方法、计算设备和存储介质 - Google Patents

提供场景彩色高分辨率图像的方法、计算设备和存储介质 Download PDF

Info

Publication number
CN107707789B
CN107707789B CN201710650538.0A CN201710650538A CN107707789B CN 107707789 B CN107707789 B CN 107707789B CN 201710650538 A CN201710650538 A CN 201710650538A CN 107707789 B CN107707789 B CN 107707789B
Authority
CN
China
Prior art keywords
color
image
mapping
high resolution
monochrome
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710650538.0A
Other languages
English (en)
Other versions
CN107707789A (zh
Inventor
菲利普·肖恩·斯特森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107707789A publication Critical patent/CN107707789A/zh
Application granted granted Critical
Publication of CN107707789B publication Critical patent/CN107707789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40012—Conversion of colour to monochrome
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/465—Conversion of monochrome to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/841—Camera processing pipelines; Components thereof for processing colour signals to modify gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

公开了使用单色成像器和颜色映射传感器进行单色‑彩色映射。本文档描述了使用单色成像器和颜色映射传感器来实现单色‑彩色映射的技术和装置。这些技术和装置能够实现比许多常规传感器阵列更好的分辨率、色深、或者低光敏度。

Description

提供场景彩色高分辨率图像的方法、计算设备和存储介质
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求2016年8月8日提交的题为“Monochrome-ColorMapping Using a Monochromatic Imager and a Color Map Sensor(使用单色成像器和颜色映射传感器进行单色-彩色映射)”的美国临时专利申请序列号62/372,143的优先权，其公开内容以引用的方式全部并入本文。
技术领域
本申请涉及使用单色成像器和颜色映射传感器进行单色-彩色映射。
背景技术
数码相机的图像质量主要由相机的图像传感器中的像素的大小和数目决定。像素的大小决定了相机灵敏度，该相机灵敏度是相机捕获光的能力的度量。灵敏度越高，导致在给定曝光时间内捕获到的光量越大，从而提高了信噪比，该信噪比是图像质量的度量。图像传感器的分辨率决定了相机捕获细节的能力，图像传感器的分辨率由像素的数目结合相机镜头的光学分辨率来量度。
在现代的智能电话和其它小型设备中，工业设计已经趋向于更薄的形状因子，该更薄的形状因子约束了相机所能具有的高度。这种约束在可达到的图像质量与相机所在区域的智能电话厚度之间产生了矛盾，这是因为由于镜头高度是传感器大小的函数而造成相机的传感器大小决定了总体的相机高度。这种矛盾通常导致像素大小和相机灵敏度减小或者像素数和分辨率减小。像素大小和相机灵敏度的减小降低了低光图像质量，从而致使该光线下的图像有噪声，或者需要更长的曝光时间，这能够因相机或者拍摄对象运动而导致图像模糊。进一步地，像素数和分辨率的减小可以导致图像细节更低。
一些不完整的常规解决方案包括多孔径“阵列”相机以解决在可达到的图像质量与相机厚度之间的这种约束。利用多个成像器，可以在给定曝光时间内捕获附加光，而不会增加高度。然而，使用多个成像器来实现更高质量的图像要求计算上昂贵的技术以将来自每个相机的图像融合成单个图像。即使利用了这些计算上昂贵的技术，仍然能够存在肉眼可注意到的伪像。
该背景技术描述被提供用于大体上呈现本公开的场境(context)的目的。除非本文另有指示，否则在本部分中描述的材料既不明显地也不暗含地被承认是本公开或者随附权利要求书的现有技术。
发明内容
根据本发明的一个方面，提供了一种用于提供场景的彩色高分辨率图像的方法，包括：
捕获所述场景的高分辨率单色图像；
捕获相同场景的低分辨率彩色图像，所捕获的低分辨率彩色图像的分辨率低于所捕获的高分辨率单色图像的分辨率；
使用非线性灰度将来自所捕获的的高分辨率单色图像的单色光度映射到与来自所捕获的的低分辨率彩色图像的颜色相对应的彩色光度以产生映射，所述映射将所捕获的高分辨率单色图像中的所述单色光度关联到与来自所捕获的低分辨率彩色图像的颜色相对应的所述彩色光度，所述非线性灰度基于所捕获的高分辨率单色图像的像素数目和所捕获的低分辨率彩色图像的另一像素数目而被降尺度到颜色标度；
使用所述映射，利用与所捕获的低分辨率彩色图像的所述彩色光度相对应的所述颜色，对所捕获的高分辨率单色图像着色，所述着色生成所述场景的彩色高分辨率图像；以及
提供所述场景的所述彩色高分辨率图像。
根据本发明的另一个方面，提供了一种计算设备，包括：
单色成像器；
颜色映射传感器；
实现映射模块的电子电路***，所述映射模块能够执行操作，所述操作包括：
从所述单色成像器接收场景的高分辨率单色图像；
根据所述高分辨率单色图像来确定非线性灰度，所述非线性灰度相对于高光度样本的数目具有更大数目的低光度样本，其中所述更大数目的高光度样本的光度高于所述数目的所述低光度样本的光度；
从所述颜色映射传感器接收相同场景的低分辨率彩色图像，所述低分辨率彩色图像的分辨率低于所述高分辨率单色图像的分辨率；
根据所述低分辨率彩色图像的颜色确定颜色标度；
将所述非线性灰度映射到所述颜色标度以生成映射，所述映射将所述非线性灰度与所述颜色标度相关联；以及
使用所述映射对所述场景的所述高分辨率单色图像着色。
根据本发明的另一个方面，提供了一个或多个非暂时性计算机可读存储介质，所述计算机可读存储介质具有存储于其上的指令，所述指令响应于由一个或多个计算机处理器执行而执行操作，所述操作包括：
接收场景的高分辨率单色图像，所述场景的所述高分辨率单色图像是在第一时间拍摄的；
接收低分辨率彩色图像，相同场景的所述低分辨率彩色图像是在第二时间拍摄的，所述第二时间不等于所述第一时间，并且所述低分辨率彩色图像的分辨率低于所述高分辨率单色图像的分辨率；
使用非线性灰度将来自所述高分辨率单色图像的单色光度映射到与来自所述低分辨率彩色图像的颜色相对应的彩色光度以产生映射，所述映射将所述高分辨率单色图像中的所述单色光度关联到与来自所述低分辨率彩色图像的颜色相对应的所述彩色光度，所述非线性灰度基于所述高分辨率单色图像的像素数目和所述低分辨率彩色图像的另一像素数目而被降尺度到颜色标度；
使用所述映射，利用与所述低分辨率彩色图像的所述彩色光度相对应的所述颜色，对所述高分辨率单色图像着色，所述着色提供了所述场景的彩色高分辨率图像；以及
提供所述场景的所述彩色高分辨率图像。
附图说明
参照以下附图来描述用于使用单色成像器和颜色映射传感器进行单色-彩色映射的技术和装置。在整个附图中使用相同的附图标记来引用类似的特征和组件。
图1图示了可以实现使用单色成像器和颜色映射传感器进行单色-彩色映射的示例环境。
图2图示了图1的计算设备的详细示例。
图3图示了图1的示例单色图像连同示例灰度。
图4图示了图1的示例彩色图像连同示例颜色标度。
图5图示了图3的灰度和图4的颜色标度的示例映射。
图6图示了具有三个彩色传感器的图1的阵列相机的示例。
图7图示了单色-彩色映射的示例方法。
图8图示了单色-彩色映射的另一示例方法。
图9图示了根据一个或者多个实施例的、可以使用单色成像器和颜色映射传感器来实现单色-彩色映射的电子设备的各个组件。
具体实施方式
常规的传感器阵列使用图像传感器阵列来实现最终图像。这些传感器阵列使得相机相对于最终图像的质量而言能够具有低Z-高度。例如，相较于提供相似图像质量的单个传感器，可以将传感器阵列设计为具有低Z-高度。这是由于在传感器大小与将图像聚焦到传感器上的镜头的Z-高度之间的关系。基于传感器阵列的相机使用多个更小的传感器，从而允许z-高度更短，并且然后对每个传感器的输出进行组合。这样一来，这些相机可以创建在质量方面与单个更大传感器相似的合成图像。可以通过将单色和彩色图像传感器组合成阵列来进一步增强这种方法，因为单色传感器比同等大小的彩色传感器收集多两倍、三倍、或者更多倍的光。单色传感器在分辨率方面也具有优势。
例如，考虑常规的传感器具有重复的2x 2像素网格，该像素具有红色像素、蓝色像素、和两个绿色像素以捕获图像。每一个像素分别感测红色、一个蓝色、和两个绿色。除了颜色绿色之外，这两个绿色用于确定分辨率(例如，清晰度)，而蓝色像素和红色像素用于建立场景的红色分量和蓝色分量。通过计算上昂贵的插值处理，这些像素用于重构红色、绿色、和蓝色的全分辨率帧。然而，该插值仅仅可以实际恢复传感器分辨率大约50％的细节(例如，对于一百万像素的成像器恢复五十万像素)。
为了使该分辨率最大化，一些常规的传感器阵列使用小的彩色像素来增加传感器中的像素的数目，并且由此保持低的传感器的大小，这进而保持低的Z-高度。然而，小彩色像素往往不能很好地应对噪声，因为每个像素捕获光的能力受到大小的限制，并且由此小像素比大像素的信噪比更差。然而，常规的传感器阵列往往放弃使用大像素，这是因为使用大像素会增加Z-高度或者减小图像的最终分辨率。
此外，这些常规的传感器阵列要求对图像进行融合以创建最终图像。该融合往往要求确定对每个传感器的输出的逐像素组合。将数百万个像素彼此匹配不仅在计算上昂贵，而且遗憾的是往往误差很多。这些误差容易在最终图像中产生视觉伪像。
然而，作为替代考虑使用单色成像器和颜色映射传感器进行单色-彩色映射。通过将颜色映射到单色图像，而不是进行逐像素融合，可以改进图像质量、计算成本、和Z-高度。此外，单色传感器固有地能提供比常规Bayer(彩色)传感器更高的分辨率和信噪比，这是因为它不要求插值并且收集的光是常规Bayer传感器的两倍或者更多倍。颜色映射传感器的主要目的是捕获的图像捕获调色板(palette)。因此，其分辨率不是特别重要。可以选取更少更大的像素，从而改进颜色映射传感器的信噪比和灵敏度。
以下的讨论首先描述了操作环境、计算设备和阵列相机的详细示例、示例彩色和单色图像和标度、示例方法，并且然后描述了示例成像设备的详细描述。
示例环境
图1图示了可以实施使用单色成像器和颜色映射传感器的单色-彩色映射的示例环境100。示例环境100包括计算设备102，在该计算设备102中阵列相机104捕获场景106的图像。阵列相机104包括单色成像器108和颜色映射传感器110。在本实施例中，单色成像器108和颜色映射传感器110均包括镜头堆栈112。每个单色成像器108和颜色映射传感器110的镜头堆栈112的Z-高度取决于相应像素传感器的面积(与Z轴垂直)，并且因此Z-高度可能会取决于传感器面积而更大或者更小。
单色成像器108还包括单色像素传感器114。此处，单色成像器108是单色的，具有透明的滤光器。该单色方面改进了在低光情形中的信噪比，并且，如上面指出的，尽管是单色的(例如，灰度)，但对于给定的像素数实现了高细节。因此，单色成像器108通过单色像素传感器114实现了比具有相同数目的像素的彩色传感器更高的细节。由于改进了信噪比(SNR)，单色成像器108还可以在低光环境中表现得更好。
在一些情况下，单色成像器108还包括滤光器，该滤光器准许红外辐射被单色像素传感器114感测到。通常，因为红外辐射抑制了颜色保真度，所以红外辐射是彩色像素传感器所不期望的。然而，此处，单色成像器108是单色的，并且因此不存在该典型限制。进一步地，通过允许红外辐射被感测到，成像器所捕获的带宽扩展到近红外(IR)。这也改进了低光场景中的SNR，在一些情况下，这种改进如此明显使得单色成像器108可以在接近黑暗中捕获到图像。在一些情况下，IR感测可以准许更快的曝光时间，并且准许更好地捕获场景中的移动物体，这对于静态图像和在录制视频时捕获多个图像可以是有用的，对于高分辨率地捕获视频尤其有用。虽然如此设想，但是IR并非是本技术所要求的。
此处，颜色映射传感器110是具有镜头堆栈112和彩色像素传感器116中的一个的色敏成像器。注意，不要求特定类型的成像器，因为只要能捕获场景的颜色即可。这些颜色不必在特定区域或者区中，或者不必构造以使得建立基于位置的像素到像素的关系。如图所示，颜色映射传感器110包括色敏像素，尽管这可以通过使用滤光器而非不同传感器来实现。此处，颜色映射传感器110通过Bayer滤色来感测三种颜色，即蓝色、绿色、和红色，尽管也可以用其它颜色的组合来取代。
该图示以此处假设为像素的方形的数目和大小方式示出了单色像素传感器114和彩色像素传感器116的分辨率。虽然为了视觉的清楚而进行了简化(针对该类型的图示，不可能示出数百万个像素)，但是单色像素传感器114包括四倍于彩色像素传感器116的像素数目，彩色像素传感器116进而包括是单色像素传感器114的那些像素的四倍大小的像素。因此，单色成像器108捕获到场景106的高分辨率单色图像118，而颜色映射传感器110捕获到分辨率更低但保真度高的彩色图像120(在图示中，未示出颜色)。通常，越小的像素具有越低的吸收光子的能力，并且因此所述像素具有越低的克服传感器在低光下的噪声的能力。因此，彩色像素传感器116的更大像素允许更好的信噪比，这有助于捕获到准确的颜色表征并且用于低光场景。
在已经对单色成像器108和颜色映射传感器110进行大体描述之后，本讨论现在转向图2，图2更详细图示了图1的计算设备102。计算设备102被图示为具有多个非限制性的示例设备：智能电话102-1、膝上型计算机102-2、电视机102-3、台式计算机102-4、平板计算机102-5、和相机102-6。计算设备102包括处理器202和计算机可读介质204，该计算机可读介质204包括存储器介质206和存储介质208。作为计算机可读存储器204上的计算机可读指令来实施的应用和/或操作***(未示出)可以由处理器202执行以提供本文描述的一些或者所有功能。计算机可读介质204还包括映射模块210。如上面指出的，计算设备102包括单色成像器108和颜色映射传感器110，该单色成像器108和颜色映射传感器110进而分别包括单色像素传感器114和彩色像素传感器116。还可以包括聚焦模块或者光平衡模块(未示出)，该聚焦模块或者光平衡模块可以通过软件或者硬件或者两者在各个成像器之间提供聚集或者平衡光。
在一些情况下，计算设备102与阵列相机104或者其元件通信，但可以不必包括阵列相机104或者其元件。作为替代，计算设备102经由一个或者多个I/O端口212从阵列相机104接收所捕获的图像。该I/O端口212可以包括各种各样的端口，诸如作为示例而不是限制，高清多媒体(HDMI)、数字视频接口(DVI)、显示端口、光纤或者基于光的端口、音频端口(例如，模拟、光学、或者数字端口)、USB端口、串行高级技术附件(SATA)端口、基于高速***组件互连(PCI)的端口或者卡槽、串行端口、并行端口、或者其它遗留端口。计算设备102还可以包括用于通过有线、无线、或者光学网络传送数据的网络接口214。作为示例而不是限制，网络接口214可以通过局域网(LAN)、无线广局域网(WLAN)、个域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络、网状网络等来传送数据。
更详细地讲，映射模块210能够进行单色-彩色映射以通过利用捕获到的场景的颜色对高分辨率单色图像着色来产生高分辨率彩色图像。如图2所示，映射模块210包括或者有权访问灰度216和颜色标度218。利用灰度216和颜色标度218，映射模块210将灰度216映射到颜色标度218以产生映射220。
通过图示的方式，考虑图3和图4。图3示出了根据图1所示的单色图像118确定的示例灰度302。如上面指出的，映射模块210基于场景的高分辨率单色图像(例如，单色图像118)来确定灰度，诸如灰度302。
将该灰度302简化为示出仅仅32个灰度明暗度，尽管实际数目可以高达数百万个不同的明暗度，所示的32个明暗度仅仅是为了视觉的简洁。注意，灰度不需要是线性的，并且往往不是线性的。一些图像相当暗，并且因此可能具有相对少数目的高光度样本(例如，白色，如在白色样本304处示出的)和大量的低光度样本(；例如，黑色和深灰色，如在暗色样本306处示出的)。因此，假设单色成像器针对某个场景感测到了1百万个光度——其中800,000个可能相当亮，并且仅200,000暗；或者正相反；或者大多数光度可能都集中在标度的中间。所使用的灰度由单色成像器的像素的光度来规定，并且因此可以扩缩到这些捕获的光度。为了看到更多的细节，提出了放大窗，该放大窗示出了鹦鹉羽毛的更多细节。
同样，图4示出了根据图1所示的彩色图像120确定的颜色标度402的示例(都未示出颜色，但标注了颜色)。映射模块210基于场景的颜色——诸如场景106的彩色图像120的颜色——来确定该场景的颜色标度，此处是在颜色标度402中。由于单色图像118具有彩色图像120的像素数目的四倍的像素数目，所以颜色标度402有可能具有灰度302的数目的四分之一。因此，将一个映射到另一个可能会要求将灰度降尺度(downscaling)到颜色标度。此处，颜色标度402也被示出具有32种颜色，尽管实际数目可以到数千或者数百万。
将彩色图像与单色图像粗略对准提供了建立哪种颜色与给定灰度值相对应所需的线索。虽然在无颜色线索的情况下可能对黑白图像着色，但该着色是基于假设而非场景的真实颜色映射来对场景的颜色的合成。所提出的技术通过在捕获单色图像的同时捕获图像的调色板，消除了这种不明确性。
这种颜色映射技术的一个长处是颜色标度中的颜色属于实际场景——这有助于准确地将颜色映射到灰度，因为可能的颜色的数目不是无限的，而相反包括该场景的颜色，而不是其它场景或者所有可能的颜色。如在彩色图像120中标注的，颜色包括各个白色明暗度、绿色明暗度、少量蓝绿色(teal)明暗度、稍带橙色的中黄和深黄。还存在灰色和绿灰色、以及深灰色和黑色。色谱中存在未包括在彩色图像120中的许多颜色——深橙、紫色、红色、大部分蓝色、粉色等。因此，将颜色映射到灰度可以是准确的。注意，在图像的一些而非所有位置上示出了图3和图4的图像中的采样位置——这是为了视觉的简洁——可以在与针对灰度302示出的那些位置或者针对彩色图像120中的所有位置不同的位置处对颜色进行采样。
在场景中得出的颜色参见图5，图5详细图示了颜色标度402的颜色。示出的颜色包括白色502、黄色504、绿色506、蓝绿色508、绿灰色510、灰色512、深灰色514、和黑色516。将这些颜色与灰度302进行比较，该灰度302的范围是从光度最大值518到光度最小值520。注意，可以将颜色表示为光度，并且因此可以基于光度来映射这两种标度的光度，尽管该关系不太可能是线性的。虽然该图示示出了在映射522处的一对一映射，但是灰度302不等于颜色标度402中的光度的颜色范围。为解决此问题，映射模块可以调整灰度或者颜色标度。该调整可以通过光平衡来进行，可以是线性的、或者可以是非线性的。灰度的光度往往在整体上高于颜色标度的光度，并且因此平衡可能会将颜色标度的光度中的大多数或者全部移得更高。灰度的光度更高是由于使用了透明的滤光器——未滤除颜色的带宽，所以光度往往更高。
回到图1和图2，再次考虑阵列相机104。阵列相机104不需要具有单独的成像器。相反，可以将单色成像器和颜色映射传感器整合为单个成像器。例如，单个成像器可以具有相对少数目的彩色像素，所述彩色像素散布在单色成像器中。这可以节省一些生产成本，尽管使用单个成像器可能减少上面指出的一些Z-高度优势。在一些情况下，将颜色映射到灰度可以得益于这种单成像器设计，因为可以将在某个位置处捕获到颜色以低计算成本容易地与相邻单色像素相关联。该单个成像器也可以与其它颜色映射传感器组合，其中使用大多为单色成像器中的彩色像素使颜色从颜色传感器到灰度的映射更为准确，因为可以容易地将在单色像素中分散的彩色像素相关联。
阵列相机104的另一替选方案包括使用多个彩色像素传感器116。因此，可以使用三个单独的传感器，每一个传感器用于三种颜色中的一个，诸如，红色、绿色、蓝色；或者品红色、黄色、青色(cyan)；或者本领域中已知的其它组合。此方案在图6中图示，具有红色传感器602、蓝色传感器604、绿色传感器606、和单色传感器608。注意，这些颜色传感器中的每一个可以与单色传感器608一样大，而不要求附加Z-高度，并且具有更大的像素以便实现上面指出的各种优点。在这种情况下，颜色映射传感器110和映射模块210可以将来自这三个传感器的颜色组合成颜色标度。
示例方法
以下讨论描述了通过其来实现技术以使得能够使用单色成像器和颜色映射传感器进行单色-彩色映射的方法。可以利用上述环境和诸如如图1至图6所述的示例传感器阵列和成像器来实现这些方法。示出和/或描述这些方法的操作的顺序不旨在被解释为限制，并且可以将任何数目的所描述的方法操作或者所描述的方法操作的任何组合按照任何顺序进行组合以实现方法或者替选方法。
考虑图7，图7图示了示例方法700，示例方法700的操作可由诸如映射模块210的图2和图9的元件执行。在702处，从单色成像器接收场景的高分辨率单色图像。如上面指出的，该图像可以来自具有相对高分辨率的成像器，诸如图1和图3的单色图像118。该高分辨率可以高于根据其确定颜色标度的图像，尽管并不要求如此。进一步地，该高分辨率单色图像不要求来自单个成像器，尽管组合单色图像所需的计算成本能够是这样做的障碍。
在704处，基于该场景的高分辨率单色图像来确定灰度。如所指出的，灰度能够作为来自单色图像的光度的标度，尽管线性的标度不太可能。灰度图像可以包括成百上千个光度。
在706处，从颜色映射传感器接收该场景的颜色。如上面指出的，这可以通过整合到通常高分辨率的单色传感器、单独的传感器、多个传感器等中的像素来进行。不要求确切的图像、或者与高分辨率图像的图像关联性。可以在单色图像之前或者之后同时地或者按照快速更替(rapid succession)的方式捕获场景的这些颜色。因此，如果出于电力或者计算原因期望按照快速更替的方式进行捕获，则本技术准许这样做，因为不要求彩色图像与单色图像的完美匹配。
在708处，基于场景的颜色来确定场景中的颜色的颜色标度。如在图1和图4中的示例中指出的，可以通过所拍摄的场景的一个或者多个彩色图像来确定场景的颜色，尽管并不要求如此——仅颜色是准许的，即使所述颜色未处于该场景的适当位置或者准确分辨率。
在710处，将颜色映射到灰度标度以生成映射，该映射将适当的颜色值与每个灰度值相关联。将灰度映射到颜色标度的该映射可以将灰度中的光度与颜色标度中的光度相关联。在一些情况下，灰度和颜色标度是光度的线性标度，灰度表示灰色的光度，并且颜色标度表示以红色、绿色、和蓝色捕获的光度的组合。在其它情况下，这些标度不是线性的，这是因为一些光度(彩色或者单色)被更高度地或者不平均地表示。
在712处，使用映射对场景的高分辨率单色图像着色。在图5中示出了彩色到单色的简化映射，尽管如上面指出的，该映射可以更加复杂并且往往会涉及许多样本，而非图5所示的32个样本。
与许多常规技术不同，可以在不进行对常规图像处理常见的许多计算任务——诸如去马赛克——的情况下，映射爱色和单色标度并且着色以产生最终图像。与使用阵列相机的常规技术相反，不使用像素到像素的、基于位置的匹配，从而节省了大量的计算成本，并且提供了往往优异的最终图像。
在714处，提供场景的经着色的高分辨率单色图像。该图像往往在捕获之后迅速显示，诸如通过渲染在图2的计算设备102的显示器222上来显示。
进一步考虑图8，图8图示了示例方法800，示例方法800的操作可由图2和图9的元件执行，诸如映射模块210。方法700和800可以单独地或者结合地、整体地或者部分地操作。
在802处，将来自场景的高分辨率单色图像的单色光度映射到与来自该场景的彩色图像的颜色相对应的彩色光度。可以同时地、按照快速更替的方式、或者在相异的时间捕获该场景的高分辨率单色图像和彩色图像。如上面指出的，该映射将高分辨率单色图像中的单色光度关联到与来自场景的彩色图像的颜色相对应的彩色光度，尽管不要求完全相同的场景或者该场景的捕获。
如上面部分地指出的，高分辨率单色图像的光度的范围可以不等于彩色图像中光度的范围。在这样的情况下，将单色光度映射到彩色光度包括调整所述范围中的一个，或者可以对这些范围中的一个进行光平衡。标度可以具有不同数目的样本，在这样的情况下，该映射将一个标度的多个光度映射到另一个标度的单个光度(例如，将高分辨率单色图像中的多个单色光度映射到来自场景的彩色图像的单个颜色)。
虽然未必总是如此，但是可以在与单色图像相异的时间捕获场景的彩色图像。考虑例如，在黄昏很晚时或者在一个灰暗的阴天捕获的常常拍摄的场景(著名的建筑、常常拍摄的山、著名的公园、或者常常被他人或者仅由拍摄该图像的用户拍摄的人)的图像。在询问用户他们是否想要对图像的颜色进行更改/改善之后，或者基于同时捕获的彩色图像的颜色映射颜色较差或者颜色保真度较差，可以使用来自相同或者相似场景的颜色映射。
进一步地，考虑如下情况：用户快速拍摄了许多照片，诸如通过视频捕获、在一分钟内对相同的人或者场景拍摄了五张或者十张图像、或者通过组合(一些相机拍摄简短的视频剪辑并且然后拍摄最终图像)。针对颜色映射，可以单独地或者结合同步的彩色图像来使用来自在用户选取图像之前的五秒钟拍摄的图像的颜色。例如，如果用户拍摄了儿童的照片但该儿童的眼睛部分闭着，并且然后迅速拍摄了其中该儿童的眼睛是睁着的另一张照片，但是颜色保真度不如先前眼睛部分闭着的那张照片那么好，则可以使用来自先前的照片的颜色对该儿童眼睛睁着的稍后的单色图像着色。
在804处，通过使用映射，利用与该场景的彩色图像的彩色光度相对应的颜色，对该场景的高分辨率单色图像着色。在一些情况下，映射模块210利用来自该场景的彩色图像的颜色中的相应颜色对该场景的高分辨率单色图像的像素或者像素区域着色。这可以逐区域地进行，也可以逐像素地进行，诸如为特定颜色设置每个灰色光度，并且然后利用这些灰色光度对像素处的单色图像着色，并且对单色图像中存在的每个灰色光度进行诸如此类的操作。
在806处，将该场景的彩色高分辨率图像提供至诸如捕获该图像的计算设备的显示器。
示例电子设备
图9图示了可以被实现为如参照先前图1至图8中任何一个图所描述的成像设备的示例电子设备900的各个组件。该电子设备可以以消费设备、计算机设备、便携式设备、用户设备、通信设备、电话设备、导航设备、游戏设备、音频设备、相机设备、消息传送设备、媒体播放设备、和/或其它类型的电子设备的任何形式，被实现为固定或者移动设备中的任何一个或者其组合，诸如参照图1、图2和图6描述的阵列相机104。
电子设备900包括实现设备数据904的有线和/或无线通信的通信收发器902，所述设备数据904诸如如上所述的所接收的数据、所传送的数据、或者传感器数据。示例通信收发器包括NFC收发器、符合各种IEEE 802.15(BluetoothTM)标准的WPAN无线电、符合各种IEEE802.11(WiFiTM)标准中任何一种标准的WLAN无线电、用于蜂窝电话的WWAN(符合3GPP)无线电、符合各种IEEE 802.16(WiMAXTM)标准的无线城域网(WMAN)无线电、和无线局域网(LAN)以太网收发器。
电子设备900还可以包括一个或者多个数据输入端口906，经由该数据输入端口906可以接收任何类型的数据、媒体内容、和/或输入，诸如用户可选择的输入、消息、音乐、电视内容、录制的视频内容、以及从任何内容和/或数据源(例如，其它图像设备或者成像器)接收到的任何其它类型的音频、视频和/或图像数据。数据输入端口906可以包括用于闪存、DVD、CD等的USB端口、同轴电缆端口、和其它串行或者并行接口(包括内部连接器)。这些数据输入端口可以用于将电子设备耦合至组件(例如，阵列相机104)、***设备、或者诸如键盘、麦克风、或者相机的附件。
本示例的电子设备900包括处理器***908(例如，应用处理器、微处理器、数字信号处理器、控制器等中的任何一个)、或者处理(即，执行)计算机可执行指令以控制设备的操作的处理器和存储器***(例如，实施在Soc中)。***处理器908(处理器908)可以被实现为应用处理器、嵌入式控制器、微控制器等。可以至少部分地将处理***实现在硬件中，该硬件可以包括集成电路或者片上***、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、和以硅和/或其它硬件实施的其它实施方式的组件。
替选地或者另外地，电子设备900可以利用电子电路***中的任何一个或者组合来实现，该电子电路***可以包括软件、硬件、固件、或者与处理和控制电路结合来实现的固定逻辑电路***，该电子电路***概括地用910标识(电子电路***910)。该电子电路***910可以实现映射模块210，如上面通过计算机可读介质上的处理指令、通过逻辑电路***和/或硬件——诸如现场可编程门阵列(FPGA)等指出的。使用单色成像器和颜色映射传感器进行的单色-彩色映射的仅硬件设备可以实现为包括：在不具有计算机处理器的情况下经由电压信号基于灰度光度来对彩色光度着色的那些设备。
虽然未示出，但是电子设备900可以包括***总线、交换网板(crossbar)、或者联接设备内的各个组件的数据传送***。***总线可以包括不同总线结构中的任何一种或者组合，诸如存储器总线或者存储器控制器、***总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或者局部总线。
电子设备900还包括实现数据存储的一个或者多个存储器设备912，该存储器设备912的示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪存、EPROM、EEPROM等)、和磁盘存储设备。存储器设备912提供数据存储机构以存储设备数据904、任何类型的信息和/或数据、和各种设备应用920(例如，软件应用)。例如，可以将操作***914作为软件指令保持在存储器设备912内并且由处理器908执行。在一些方面中，映射模块210作为可执行指令或者代码包含在电子设备900的存储器设备912中。虽然将映射模块210表示为软件实施方式，但是可以将映射模块210实现为任何形式的控制应用、软件应用、电子电路***模块、或者安装在阵列相机104上的硬件或者固件。
电子设备900还包括音频/视频处理***916，其处理音频数据和/或将音频数据和视频数据传递到音频***918和/或传递到显示***922(例如，智能电话或者相机的屏幕)。音频***918和/或显示***922可以包括处理、显示、和/或以其他方式渲染音频、视频、显示、和/或图像数据的任何设备。可以经由RF(射频)链路、S-视频链路、HDMI(高清多媒体接口)、复合视频链路、分量视频链路、DVI(数字视频接口)、模拟音频连接、或者其它相似的通信链路——诸如媒体数据端口924，将显示数据和音频信号传送到音频组件和/或传送到显示组件。在一些实施方式中，音频***918和/或显示***922是电子设备900的外部组件。替选地或者另外地，显示***922可以是示例电子设备的集成组件，诸如集成触摸接口的一部分。电子设备900包括阵列相机104或者能够访问阵列相机104，该阵列相机104包括单色成像器和颜色映射传感器110。映射模块210从阵列相机104接收传感器数据，此处传感器数据被示出为存储在存储器设备912中，该传感器数据在被处理器908执行时构建上述最终图像。
虽然已经以特征和/或方法特定的语言描述了使用单色成像器和颜色映射传感器进行单色-彩色映射的实施例，但是随附权利要求书的主题不必局限于所描述的具体特征或者方法。相反，这些具体特征和方法的公开是作为通过使用单色成像器和颜色映射传感器进行单色-彩色映射的示例实施方式。

Claims (18)

1.一种用于提供场景的彩色高分辨率图像的方法，包括：
捕获所述场景的高分辨率单色图像；
捕获相同场景的低分辨率彩色图像，所捕获的低分辨率彩色图像的分辨率低于所捕获的高分辨率单色图像的分辨率；
使用非线性灰度将来自所捕获的的高分辨率单色图像的单色光度映射到与来自所捕获的的低分辨率彩色图像的颜色相对应的彩色光度以产生映射，所述映射将所捕获的高分辨率单色图像中的所述单色光度关联到与来自所捕获的低分辨率彩色图像的颜色相对应的所述彩色光度，所述非线性灰度基于所捕获的高分辨率单色图像的像素数目和所捕获的低分辨率彩色图像的另一像素数目而被降尺度到颜色标度；
使用所述映射，利用与所捕获的低分辨率彩色图像的所述彩色光度相对应的所述颜色，对所捕获的高分辨率单色图像着色，所述着色生成所述场景的彩色高分辨率图像；以及
提供所述场景的所述彩色高分辨率图像。
2.根据权利要求1所述的方法，其中，使用所述映射对所捕获的高分辨率单色图像着色是利用来自所捕获的低分辨率彩色图像的所述颜色中的相应颜色来对所捕获的高分辨率单色图像的像素或者像素区域着色。
3.根据权利要求1所述的方法，其中，将所述单色光度映射到所述彩色光度包括：调整所述单色光度的范围或所述彩色光度的另一范围。
4.根据权利要求3所述的方法，其中，调整所述光度范围中的一个是使所捕获的低分辨率彩色图像或者所捕获的高分辨率单色图像彼此光平衡。
5.根据权利要求1所述的方法，其中，所捕获的高分辨率单色图像和所捕获的低分辨率彩色图像在相异的时间被捕获。
6.根据权利要求1所述的方法，其中，所述非线性灰度是根据所捕获的高分辨率单色图像确定的。
7.根据权利要求1所述的方法，其中，捕获所述高分辨率单色图像包括捕获红外辐射，所述红外辐射的捕获通过改善的信噪比来有效地改善单色成像器的性能。
8.根据权利要求7所述的方法，其中，所述改善的信噪比使得所述单色成像器能够在接近黑暗的环境中捕获所述高分辨率单色图像。
9.一种计算设备，包括：
单色成像器；
颜色映射传感器；
实现映射模块的电子电路***，所述映射模块能够执行操作，所述操作包括：
从所述单色成像器接收场景的高分辨率单色图像；
根据所述高分辨率单色图像来确定非线性灰度，所述非线性灰度相对于高光度样本的数目具有更大数目的低光度样本，其中所述更大数目的高光度样本的光度高于所述数目的所述低光度样本的光度；
从所述颜色映射传感器接收相同场景的低分辨率彩色图像，所述低分辨率彩色图像的分辨率低于所述高分辨率单色图像的分辨率；
根据所述低分辨率彩色图像的颜色确定颜色标度；
将所述非线性灰度映射到所述颜色标度以生成映射，所述映射将所述非线性灰度与所述颜色标度相关联；以及
使用所述映射对所述场景的所述高分辨率单色图像着色。
10.根据权利要求9所述的计算设备，其中，将所述非线性灰度映射到所述颜色标度是将所述非线性灰度中的光度与所述颜色标度中的光度相关联。
11.根据权利要求10所述的计算设备，其中，所述非线性灰度中的光度的范围不等于所述颜色标度中的光度的另一范围，并且所述映射调整了所述非线性灰度的所述光度的范围或者所述颜色标度中的光度的其他范围。
12.根据权利要求9所述的计算设备，其中，所述单色成像器和所述颜色映射传感器整合为单个成像器。
13.根据权利要求12所述的计算设备，其中，所述单个成像器具有散布在所述单色成像器中的相对少数目的彩色像素。
14.根据权利要求9所述的计算设备，其中，所述颜色映射传感器具有彩色像素阵列，所述彩色像素大于所述单色成像器的单色像素。
15.根据权利要求9所述的计算设备，其中，所述颜色映射传感器是第一颜色映射传感器并且所述场景的所述颜色是所述场景的第一颜色，并且所述计算设备进一步包括第二颜色映射传感器和第三颜色映射传感器，所述第二颜色映射传感器捕获所述场景的第二颜色并且所述第三颜色映射传感器捕获所述场景的第三颜色，以及其中，将所述非线性灰度映射到所述颜色标度是将所述非线性灰度映射到所述场景中的所述第一颜色、所述第二颜色和所述第三颜色中的每一个。
16.根据权利要求9所述的计算设备，其中，所述高分辨率单色图像和所述低分辨率彩色图像被同时捕获。
17.一个或多个非暂时性计算机可读存储介质，所述计算机可读存储介质具有存储于其上的指令，所述指令响应于由一个或多个计算机处理器执行而执行操作，所述操作包括：
接收场景的高分辨率单色图像，所述场景的所述高分辨率单色图像是在第一时间拍摄的；
接收低分辨率彩色图像，相同场景的所述低分辨率彩色图像是在第二时间拍摄的，所述第二时间不等于所述第一时间，并且所述低分辨率彩色图像的分辨率低于所述高分辨率单色图像的分辨率；
使用非线性灰度将来自所述高分辨率单色图像的单色光度映射到与来自所述低分辨率彩色图像的颜色相对应的彩色光度以产生映射，所述映射将所述高分辨率单色图像中的所述单色光度关联到与来自所述低分辨率彩色图像的颜色相对应的所述彩色光度，所述非线性灰度基于所述高分辨率单色图像的像素数目和所述低分辨率彩色图像的另一像素数目而被降尺度到颜色标度；
使用所述映射，利用与所述低分辨率彩色图像的所述彩色光度相对应的所述颜色，对所述高分辨率单色图像着色，所述着色提供了所述场景的彩色高分辨率图像；以及
提供所述场景的所述彩色高分辨率图像。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，所述指令进一步执行操作，所述操作包括：
接收第二彩色图像，所述第二彩色图像与所述高分辨率单色图像的捕获同时地被捕获，所述第二彩色图像是所述场景而非相似场景，以及
其中，映射所述单色光度是将所述单色光度映射到与来自所述彩色图像的颜色相对应的所述彩色光度并且映射到与来自所述第二彩色图像的第二颜色相对应的第二彩色光度。
CN201710650538.0A 2016-08-08 2017-08-02 提供场景彩色高分辨率图像的方法、计算设备和存储介质 Active CN107707789B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662372143P 2016-08-08 2016-08-08
US62/372,143 2016-08-08
US15/439,882 2017-02-22
US15/439,882 US10341628B2 (en) 2016-08-08 2017-02-22 Monochrome-color mapping using a monochromatic imager and a color map sensor

Publications (2)

Publication Number Publication Date
CN107707789A CN107707789A (zh) 2018-02-16
CN107707789B true CN107707789B (zh) 2020-11-03

Family

ID=61069902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710650538.0A Active CN107707789B (zh) 2016-08-08 2017-08-02 提供场景彩色高分辨率图像的方法、计算设备和存储介质

Country Status (4)

Country Link
US (1) US10341628B2 (zh)
CN (1) CN107707789B (zh)
DE (1) DE202017104747U1 (zh)
WO (1) WO2018031288A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341628B2 (en) 2016-08-08 2019-07-02 Google Llc Monochrome-color mapping using a monochromatic imager and a color map sensor
KR101823272B1 (ko) * 2016-12-01 2018-01-29 삼성전기주식회사 카메라 모듈
US10142543B1 (en) * 2017-05-12 2018-11-27 Mediatek Inc. Power reduction in a multi-sensor camera device by on-demand sensors activation
US10567645B2 (en) * 2017-05-17 2020-02-18 Samsung Electronics Co., Ltd. Method and apparatus for capturing video data
US10645357B2 (en) 2018-03-01 2020-05-05 Motorola Mobility Llc Selectively applying color to an image
CN108391102A (zh) * 2018-05-09 2018-08-10 清华大学 图像传感设备、图像处理设备、计算装置和图像重构方法
CN108377325A (zh) * 2018-05-21 2018-08-07 Oppo广东移动通信有限公司 拍摄装置、电子设备及图像获取方法
US11418713B2 (en) * 2020-04-02 2022-08-16 Qualcomm Incorporated Input based launch sequences for a camera application

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227595A (ja) * 2004-03-12 2004-08-12 Mitsubishi Electric Corp 地図検索装置およびその装置におけるラスターデータの格納方法
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
JP2013135305A (ja) * 2011-12-26 2013-07-08 Konica Minolta Advanced Layers Inc 信号処理装置、撮像装置、及び撮像システム
CN104796577A (zh) * 2015-03-20 2015-07-22 南京理工大学 基于emccd和单色ccd的彩色夜视成像装置及方法
CN105308953A (zh) * 2013-07-19 2016-02-03 谷歌技术控股有限责任公司 用于捕获图像的不均匀传感器阵列
CN105721841A (zh) * 2014-12-18 2016-06-29 全视科技有限公司 高分辨率阵列摄像机

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473736A (en) 1992-06-08 1995-12-05 Chroma Graphics Method and apparatus for ordering and remapping colors in images of real two- and three-dimensional objects
US5534915A (en) 1992-09-30 1996-07-09 American Film Technologies, Inc. Method of color enhancing a monochrome image using multiple base colors for selected regions of the monochrome image
US6292212B1 (en) 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
US6477270B1 (en) 1999-10-21 2002-11-05 Yecheng Wu Method for converting a high resolution image to true color using a low resolution color image
US20060126085A1 (en) 2004-12-10 2006-06-15 Owen Robert A Non-linear colorization for imaging systems
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
JP2011239259A (ja) 2010-05-12 2011-11-24 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN103329541A (zh) 2010-10-22 2013-09-25 新不伦瑞克大学 摄像机成像***和方法
US9930316B2 (en) 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
US8724894B1 (en) 2012-12-03 2014-05-13 Rockwell Collins, Inc. Colorization of digital imagery
US9135888B2 (en) 2013-03-15 2015-09-15 L-3 Communications Cincinnati Electronics Corporation System and method for converting an image to an intensity based colormap
GB2554794B (en) 2016-08-08 2019-06-26 Google Llc Monochrome-color mapping using a monochromatic imager and a color map sensor.
US10341628B2 (en) 2016-08-08 2019-07-02 Google Llc Monochrome-color mapping using a monochromatic imager and a color map sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227595A (ja) * 2004-03-12 2004-08-12 Mitsubishi Electric Corp 地図検索装置およびその装置におけるラスターデータの格納方法
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
JP2013135305A (ja) * 2011-12-26 2013-07-08 Konica Minolta Advanced Layers Inc 信号処理装置、撮像装置、及び撮像システム
CN105308953A (zh) * 2013-07-19 2016-02-03 谷歌技术控股有限责任公司 用于捕获图像的不均匀传感器阵列
CN105721841A (zh) * 2014-12-18 2016-06-29 全视科技有限公司 高分辨率阵列摄像机
CN104796577A (zh) * 2015-03-20 2015-07-22 南京理工大学 基于emccd和单色ccd的彩色夜视成像装置及方法

Also Published As

Publication number Publication date
WO2018031288A1 (en) 2018-02-15
DE202017104747U1 (de) 2018-03-20
CN107707789A (zh) 2018-02-16
US10341628B2 (en) 2019-07-02
US20180041742A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
CN107707789B (zh) 提供场景彩色高分辨率图像的方法、计算设备和存储介质
US11210799B2 (en) Estimating depth using a single camera
US10366475B2 (en) Imaging device, and image processing method and program for imaging device
KR102240659B1 (ko) 시야의 가리움에 기초한 카메라 선택
EP3542347B1 (en) Fast fourier color constancy
US8031243B2 (en) Apparatus, method, and medium for generating image
US20150022643A1 (en) Asymmetric Sensor Array for Capturing Images
US20130329101A1 (en) Camera system with multi-spectral filter array and image processing method thereof
US20220138964A1 (en) Frame processing and/or capture instruction systems and techniques
EP3414890B1 (en) Devices and methods for high dynamic range video
GB2554794B (en) Monochrome-color mapping using a monochromatic imager and a color map sensor.
US20200228770A1 (en) Lens rolloff assisted auto white balance
KR102285756B1 (ko) 전자 시스템 및 영상 처리 방법
US20230033956A1 (en) Estimating depth based on iris size
US20200228769A1 (en) Lens rolloff assisted auto white balance
WO2023192706A1 (en) Image capture using dynamic lens positions
JP6209950B2 (ja) 色再現特性作成装置、色再現特性作成システム、プログラムおよび色再現特性作成方法
WO2023178588A1 (en) Capturing images using variable aperture imaging devices
US20240078635A1 (en) Compression of images for generating combined images
CN118435618A (zh) 利用传感器内变焦的高动态范围（hdr）摄影
KR20240074767A (ko) 컬러 어레이들에 대해 비정수 비율 변환을 사용한 이미지 데이터 프로세싱
Koskiranta Improving automatic imaging algorithms with dual camera system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant