CN109842749B - 用于恢复图像的方法和设备 - Google Patents

用于恢复图像的方法和设备 Download PDF

Info

Publication number
CN109842749B
CN109842749B CN201811396084.XA CN201811396084A CN109842749B CN 109842749 B CN109842749 B CN 109842749B CN 201811396084 A CN201811396084 A CN 201811396084A CN 109842749 B CN109842749 B CN 109842749B
Authority
CN
China
Prior art keywords
sensing element
color
target
sensing elements
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811396084.XA
Other languages
English (en)
Other versions
CN109842749A (zh
Inventor
赵良镐
姜德宁
南东暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109842749A publication Critical patent/CN109842749A/zh
Application granted granted Critical
Publication of CN109842749B publication Critical patent/CN109842749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一种用于恢复图像的方法和设备，所述设备被配置为：使用由接收与入射在目标感测元件上的光线相似的光线的其他感测元件检测的颜色值来恢复目标感测元件的颜色信息。

Description

用于恢复图像的方法和设备
本申请要求于2017年11月24日提交到韩国知识产权局的第10-2017-0158646号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
与示例性实施例一致的方法和设备涉及用于恢复图像的技术。
背景技术
由于光学技术和图像处理技术的发展，正在广泛的领域(例如，多媒体内容、安全和识别)中使用拍摄设备。例如，拍摄设备可被安装在移动装置、相机、车辆或计算机中，并且可被配置为拍摄图像、识别对象或获取数据以控制装置。拍摄设备的体积可基于例如透镜的大小、透镜的焦距或传感器的大小来确定。例如，拍摄设备的体积可基于透镜的大小或传感器的大小来调节。随着传感器的大小减小，入射在传感器上的光的量可减少。因此，图像的分辨率可降低，或者可能难以在低照度环境中执行拍摄。为了减小拍摄设备的体积，包括多个小的透镜的多透镜可被使用。当透镜的大小减小时，透镜的焦距可减小。因此，可基于多透镜来减小拍摄设备的体积。
发明内容
一个或多个示例性实施例可至少解决以上问题和/或缺点以及以上没有描述的其他缺点。此外，示例性实施例不需要克服以上描述的缺点，并且示例性实施例可不克服以上描述的任何问题。
根据示例性实施例的一个方面，提供一种用于恢复图像的设备，所述设备包括：多个透镜，被配置为使多条光线通过；传感器，包括目标感测元件和其他感测元件，其中，目标感测元件接收通过所述多个透镜之中的一个透镜的目标光线，其他感测元件基于目标光线的方向来确定；处理器，被配置为基于由所述其他感测元件检测的颜色信息来恢复与目标感测元件对应的颜色信息。
处理器还可被配置为：将接收通过与目标光线所穿过的透镜不同的透镜并且与目标光线的方向相比具有方向的最小差的另一条光线的感测元件确定为所述其他感测元件。
处理器还可被配置为：将接收与另一条光线的方向和由目标感测元件接收的目标光线的方向之间的角度的差对应的另一条光线的感测元件确定为所述其他感测元件，所述角度的差小于或等于阈值角度。
处理器还可被配置为：按照由感测元件接收的光线的方向与由目标感测元件接收的目标光线的方向之间的角度的差的升序顺序，将预定数量的感测元件确定为所述其他感测元件。
处理器还可被配置为：基于恢复的颜色信息来恢复颜色图像。
目标感测元件可从所述多条光线之中的到达目标感测元件的目标光线检测与第一颜色对应的颜色值。所述其他感测元件可从所述多条光线之中的到达所述其他感测元件的另一条光线检测与第二颜色对应的颜色值，第二颜色与第一颜色不同。处理器还可被配置为：基于与由所述其他感测元件检测的第二颜色对应的颜色值来估计与目标感测元件的位置相关联的第二颜色所对应的颜色值。
处理器还可被配置为：基于由所述其他感测元件检测的颜色信息和由与目标感测元件在空间上相邻的相邻感测元件检测的颜色信息来估计与目标感测元件的位置对应的颜色信息。
处理器还可被配置为：将第一权重施加到由相邻感测元件检测的颜色信息，并将第二权重施加到由所述其他感测元件检测的颜色信息。
处理器还可被配置为：随着由目标感测元件接收的目标光线的方向与由所述其他感测元件接收的另一条光线的方向之间的角度减小，将更高的权重施加到由所述其他感测元件检测的颜色信息。
所述多个透镜可相对于包括在传感器中的所述多个感测元件偏心地布置。
根据示例性实施例的另一方面，还提供一种恢复图像的方法，所述方法包括：使用包括多个感测元件的传感器接收穿过多个透镜的多条光线；基于目标光线的方向选择与接收穿过所述多个透镜之中的一个透镜的目标光线的目标感测元件不同的其他感测元件；基于由所述其他感测元件检测的颜色信息来恢复与目标感测元件对应的颜色信息。
选择其他感测元件的步骤可包括：将接收沿着与目标光线的方向不同的最小差对应的方向通过与目标光线所穿过的透镜不同的透镜的另一条光线的感测元件确定为所述其他感测元件。
选择其他感测元件的步骤可包括：将接收与另一条光线的方向和由目标感测元件接收的目标光线的方向之间的角度的差对应的另一条光线的感测元件确定为所述其他感测元件，所述角度的差小于或等于阈值角度。
选择其他感测元件的步骤可包括：按照由感测元件接收的光线的方向与由目标感测元件接收的目标光线的方向之间的角度的差的升序顺序，将预定数量的感测元件确定为所述其他感测元件。
所述方法还可包括：基于恢复的颜色信息来恢复颜色图像。
接收所述多条光线的步骤可包括：从所述多条光线之中的到达目标感测元件的目标光线检测与第一颜色对应的颜色值，并从所述多条光线之中的到达所述其他感测元件的另一条光线检测与第二颜色对应的颜色值，第二颜色与第一颜色不同。恢复颜色信息的步骤可包括：基于与由所述其他感测元件检测的第二颜色对应的颜色值来估计与目标感测元件的位置相关联的第二颜色所对应的颜色值。
恢复颜色信息的步骤可包括：基于由所述其他感测元件检测的颜色信息和由与目标感测元件在空间上相邻的相邻感测元件检测的颜色信息来估计与目标感测元件的位置对应的颜色信息。
估计颜色信息的步骤可包括：将第一权重施加到由相邻感测元件检测的颜色信息，并将第二权重施加到由所述其他感测元件检测的颜色信息。
恢复颜色信息的步骤可包括：随着由目标感测元件接收的目标光线的方向与由所述其他感测元件接收的另一条光线的方向之间的角度减小，将更高的权重施加到由所述其他感测元件检测的颜色信息。
根据示例性实施例的另一方面，还提供一种用于恢复图像的设备，所述设备包括：多个透镜，被配置为使多条光线通过；传感器，包括目标感测元件和第二感测元件，其中，目标感测元件被配置为接收穿过所述多个透镜之中的第一透镜的目标光线，第二感测元件被配置为接收穿过所述多个透镜之中的第二透镜的第二光线，第一透镜不同于第二透镜；以及处理器，被配置为基于目标光线的方向与第二光线的方向之间的差来确定第二感测元件，并被配置为基于由第二感测元件检测的颜色信息来恢复与目标感测元件对应的颜色信息。
处理器还可被配置为：将被配置为接收第二光线的感测元件确定为第二感测元件，其中，第二光线的方向与目标光线的方向之间的差小于或等于阈值。
处理器还可被配置为：将被配置为接收第二光线的感测元件确定为第二感测元件，其中，第二光线的方向与由目标感测元件接收的目标光线的方向之间的角度的差小于或等于阈值。
处理器还可被配置为：按照由预定数量的感测元件接收的光线的方向分别与由目标感测元件接收的目标光线的方向之间的角度的差的升序顺序，将所述预定数量的感测元件确定为第二感测元件。
所述多个透镜可相对于包括在传感器中的所述多个感测元件分别偏心地且非一对一对应地布置。
根据示例性实施例的另一方面，还提供一种用于恢复图像的方法，所述方法包括：通过包括多个感测元件的传感器接收穿过多个透镜的多条光线；选择被配置为基于目标光线的方向接收穿过所述多个透镜之中的第二透镜的第二光线的第二感测元件，其中，第二感测元件不同于被配置为接收穿过所述多个透镜之中的第一透镜的目标光线目标感测元件；基于由第二感测元件检测的颜色信息来恢复与目标感测元件对应的颜色信息，其中，基于目标光线的方向与第二光线的方向之间的差来选择第二感测元件。
选择第二感测元件的步骤可包括：将被配置为接收第二光线的感测元件确定为第二感测元件，其中，第二光线的方向与目标光线的方向之间的差小于或等于阈值。
选择第二感测元件的步骤可包括：将被配置为接收第二光线的感测元件确定为第二感测元件，其中，第二光线的方向与目标光线的方向之间的角度的差小于或等于阈值。
选择第二感测元件的步骤可包括：按照由预定数量的感测元件接收的光线的方向分别与由目标感测元件接收的目标光线的方向之间的角度的差的升序顺序，将所述预定数量的感测元件确定为第二感测元件。
根据示例性实施例的另一方面，还提供一种用于恢复图像的设备，所述设备包括：多个透镜，被配置为使多条光线通过；传感器，包括目标感测元件和第二感测元件，其中，目标感测元件被配置为接收穿过所述多个透镜之中的第一透镜的目标光线，第二感测元件被配置为接收穿过所述多个透镜之中的第二透镜的第二光线；以及处理器，被配置为：基于目标光线的视点与第二光线的视点之间的差低于阈值，确定第二感测元件，并且基于由第二感测元件检测的颜色信息来恢复与目标感测元件对应的颜色信息。
处理器还可被配置为：基于由第二感测元件检测的颜色信息以及由在空间上与目标感测元件相邻的相邻感测元件检测的颜色信息，来确定与目标感测元件的位置对应的颜色信息。
处理器还可被配置为：将第一权重施加到由所述相邻感测元件检测的颜色信息，将第二权重施加到由第二感测元件检测的颜色信息，其中，处理器还被配置为：随着目标光线的视点与第二光线的视点之间的差减小，增大施加到由第二感测元件检测的颜色信息的第二权重，并减小施加到由所述相邻感测元件检测的颜色信息的第一权重。
附图说明
通过参照附图描述特定的示例性实施例，以上和/或其它方面将更加清楚，其中：
图1是示出根据示例性实施例的图像恢复设备的示图；
图2是示出根据示例性实施例的图像恢复设备的框图；
图3是示出根据示例性实施例的图像恢复方法的流程图；
图4是示出根据示例性实施例的包括多个感测元件的传感器的示图；
图5是示出根据示例性实施例的通过透镜接收光线的感测元件的示图；
图6是示出根据示例性实施例的使用接收已经穿过另一透镜的光线的其他感测元件来恢复目标感测元件的颜色信息的示例的示图；
图7是单维地示出根据示例性实施例的接收具有与由目标感测元件接收的光线的方向性相似的方向性的光线的感测元件的示图；
图8是示出根据示例性实施例的图像恢复方法的流程图；
图9是示出根据示例性实施例的图像恢复的示例的示图；
图10和图11是示出根据示例性实施例的将实现图像恢复设备的设备的示例的示图。
具体实施方式
现在将详细参照在附图中示出示例的示例性实施例，其中，相同的参考标号始终表示相同的元件。以下通过参照附图描述示例性实施例以解释本公开。
下面的结构或功能的描述是示例性的，仅用于描述示例性实施例，而示例性实施例的范围不限于本说明书中提供的描述。本领域的普通技术人员可对其进行各种改变和修改。
除非上下文另外明确地指示，否则如在此所使用的单数形式也意在包括复数形式。还应理解，当在本说明书中使用术语“包括”和/或“包含”时，表明存在叙述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
除非在此另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本领域的普通技术人员通常理解的含义相同的含义。除非在此另外定义，否则在通用词典中定义的术语应被解释为具有与相关领域中的上下文含义匹配的含义，并且将不被解释为理想化或过于正式的含义。
关于分配给附图中的元件的参考标号，应注意，在任何可能的地方，即使相同的元件在不同的附图中示出，相同的元件也将由相同的参考标号指定。此外，在实施例的描述中，当认为对公知的相关结构或功能的详细描述将导致本公开的模糊解释时，将省略这样的描述。
图1是示出根据示例性实施例的图像恢复设备的示图。
由图像恢复设备100拍摄并恢复的图像的质量可基于包括在传感器120中的感测元件的数量和入射在感测元件上的光的量来确定。例如，图像的分辨率可基于包括在传感器120中的感测元件的数量来确定，图像恢复设备100的灵敏度(诸如，相机的ISO)可基于入射在感测元件上的光的量来确定。入射在感测元件上的光的量可基于感测元件的大小来确定。当感测元件的大小增大时，入射在感测元件上的光的量和传感器120的动态范围可增大。因此，由传感器120拍摄的图像的分辨率可随着包括在传感器120中的感测元件的数量增加而增大。此外，随着感测元件的大小增大，即使在低照度下，传感器120可操作以提高图像恢复设备100的灵敏度。
图像恢复设备100的体积可基于透镜111的焦距f来确定。例如，图像恢复设备100的体积可基于透镜111与传感器120之间的间隙来确定。因为传感器120需要位于透镜111的焦距f处以便收集由透镜111折射的光190，所以包括在图像恢复设备100中的传感器120和透镜111可需要彼此分开透镜111的焦距f的距离。透镜111的焦距f可基于图像恢复设备100的视角和透镜111的大小(例如，透镜111的孔径的半径)来确定。当视角被固定时，焦距f可与透镜111的大小成比例地增大。此外，透镜111的大小可基于传感器120的大小来确定。例如，为了在视角的预定范围内拍摄图像，透镜111的大小可需要随着传感器120的大小增大而增大。
如上所述，为了在保持视角和图像的分辨率的同时提高图像恢复设备100的灵敏度，图像恢复设备100的体积可被增大。例如，为了在保持图像的分辨率的同时提高图像恢复设备100的灵敏度，包括在传感器120中的多个感测元件中的每个的大小可需要在保持感测元件的数量的同时增大。因此，传感器120的大小可增大。在这个示例中，为了保持视角，透镜111的大小可随着传感器120的大小增大而增大，并且透镜111的焦距f可增大。因此，图像恢复设备100的体积可增大。
为了减小图像恢复设备100的体积，在保持传感器120的分辨率的同时减小感测元件的大小或者在保持感测元件的大小的同时降低传感器120的分辨率的设计方案可被使用。在一个示例中，当在保持传感器120的分辨率的同时减小感测元件的大小时，传感器120的大小和透镜111的焦距f可减小，这可导致图像恢复设备100的体积的减小。然而，在这个示例中，图像恢复设备100的灵敏度也可减小，低照度图像的质量可被降低。在另一示例中，当在保持感测元件的大小的同时减小传感器120的分辨率时，传感器120的大小和透镜111的焦距f可减小，这可导致图像恢复设备100的体积的减小。然而，在这个示例中，图像的分辨率可被减小。
下面的示例实施例可提供在满足期望的视角、期望的分辨率和期望的灵敏度的同时减小图像恢复设备100的体积的技术。例如，通过在保持传感器120的大小的同时减小透镜111的大小，透镜111的焦距f可减小，然后图像恢复设备100的厚度也可减小。参照图1，图像恢复设备100可包括透镜阵列110和传感器120。透镜阵列110可包括多个透镜，传感器120可包括多个感测元件。
当包括在透镜阵列110中的多个透镜中的每个的大小减小时，也就是说，当包括在相同的区域中的透镜的数量增加时，透镜111的焦距f和图像恢复设备100的厚度可减小。在这个示例中，图像恢复设备100可通过对由透镜阵列110拍摄的低分辨率图像进行组合，来恢复原始的高分辨率图像。因此，可通过划分并增加透镜阵列110中的透镜的数量来实现更薄的相机。
多个透镜中的每个(例如，透镜阵列110的透镜111)可覆盖与透镜111的大小对应的传感器120的预定区域。穿过透镜111的光190可入射在包括在传感器120的预定区域中的感测元件上。光190可包括多条光线。光线191可对应于光子101的流动。传感器120中的多个感测元件中的每个可基于穿过透镜阵列110的透镜的光线191产生感测信息。例如，感测元件121可基于通过透镜111入射的光线191产生感测信息。图像恢复设备100可基于从传感器120输出的感测信息，来确定对应于与包括在图像恢复设备100的视场中的视点相关联的原始颜色信号的颜色信息(例如，颜色值)。此外，图像恢复设备100可基于确定的颜色信息来恢复拍摄的图像。
感测元件121可包括用于感测预定颜色的滤色器。感测元件121可产生与预定颜色对应的颜色值作为感测信息。包括在传感器120中的多个感测元件中的每个可被布置为使得与相应的感测元件在空间上相邻的相邻感测元件感测不同的颜色。
当感测信息的多样性被充分确保时，并且当感测信息和与图像恢复设备100的视场中的视点对应的原始信号信息之间的满秩关系形成时，与传感器120的最大分辨率对应的拍摄的图像可被得到。可基于图像恢复设备100的参数(例如，透镜阵列110中的透镜的数量或传感器120中的感测元件的数量)来确保感测信息的多样性。
图2是示出根据示例性实施例的图像恢复设备的框图。
图像恢复设备200可包括透镜210、传感器220和处理器230。
如上所述，透镜210可折射并使光线通过。透镜210可被实现为包括多个透镜的透镜阵列。多个透镜可相对于包括在传感器220中的多个感测元件偏心地布置。在一个示例中，多个透镜可相对于包括在传感器220中的多个感测元件不作为一对一关系的偏心地布置。在一个示例中，多个透镜可相对于传感器220来布置，使得多个感测元件中的每个接收与多个视点对应的光线。在俯视图中，多个透镜可被布置为使得多个透镜中的每个的边界不与多个感测元件中的每个的边界重叠。
如上所述，传感器220可基于光线产生感测信息。传感器220可包括多个感测元件。多个感测元件中的每个可产生与由相应的感测元件接收的光线对应的颜色信息作为感测信息。例如，与多个视点对应的光线可入射在感测元件上。感测元件可产生与彼此重叠的入射光线对应的颜色信息。在本公开中，颜色信息可包括与将由感测元件检测的颜色对应的强度值。
传感器220可包括接收穿过多个透镜之中的一个透镜的目标光线的目标感测元件和基于目标光线的方向确定的其他感测元件。
处理器230可基于由其他感测元件检测的颜色信息来恢复与目标感测元件对应的颜色信息。处理器230可将接收穿过与目标光线所穿过的透镜不同的透镜并且与目标光线的方向相比具有方向的最小差的另一条光线的感测元件确定为其他感测元件。处理器230可基于由接收与该方向的最小差对应的另一条光线的感测元件检测的颜色信息，来恢复与目标感测元件对应的颜色信息。
图3是示出根据示例性实施例的图像恢复方法的流程图。
在操作310中，图像恢复设备可使用包括多个感测元件的传感器，接收穿过多个透镜的多条光线。例如，与多个视点中的每个对应的光线可入射在多个感测元件中的每个上。此外，多条光线可入射在单个感测元件上。
在操作320中，图像恢复设备可基于目标光线的方向，选择与接收穿过多个透镜之中的一个透镜的目标光线的目标感测元件不同的其他感测元件。目标感测元件可接收多条目标光线。图像恢复设备可基于多条目标光线中的至少一条目标光线的方向来选择另一目标感测元件。在一个示例中，图像恢复设备可将接收沿着与目标光线的方向的最小差对应的方向通过与目标光线所穿过的透镜不同的透镜的另一条光线的感测元件确定为其他感测元件。
在操作330中，图像恢复设备可基于由其他感测元件检测的颜色信息，来恢复与目标感测元件对应的颜色信息。目标感测元件可从多条光线之中的到达目标感测元件的目标光线，检测与第一颜色对应的颜色值。其他感测元件可从多条光线之中的到达其他感测元件的另一条光线，检测与第二颜色对应的颜色值，第二颜色与第一颜色不同。处理器可基于与由其他感测元件检测的第二颜色对应的颜色值，来估计与目标感测元件的位置相关联的第二颜色对应的颜色值。
当目标感测元件未检测到预定颜色时，图像恢复设备可使用由布置在颜色将被检测的不同位置的其他感测元件检测的颜色值，来恢复与目标感测元件对应的颜色信息。在这个示例中，其他感测元件可接收具有与入射在目标感测元件上的光线的方向性相似的方向性的光线，从而更准确地估计未由目标感测元件检测的颜色的颜色值。
如在操作330中所述，图像恢复设备可通过针对多个感测元件中的每个恢复颜色信息来产生感测信息矩阵。例如，感测信息矩阵的每个元素可表示由感测元件检测的颜色值或与布置感测元件的位置对应的颜色值。
图4是示出根据示例性实施例的包括多个感测元件的传感器的示图。
参照图4，传感器420可包括多个感测元件。多个感测元件可被布置在二维(2D)平面上。多个感测元件中的每个可检测与单个颜色对应的强度值并产生颜色信息。目标感测元件421可从多条光线之中的到达目标感测元件421的目标光线，检测与第一颜色(例如，红色)对应的颜色值。此外，目标感测元件421可从多条光线之中的到达其他感测元件的另一条光线，检测与第二颜色(例如，蓝色或绿色)对应的颜色值，第二颜色与第一颜色不同。
多个感测元件中的每个可响应于光线被接收，来检测与红色、蓝色和绿色中的一个对应的强度值。在图4中，R表示检测红色的感测元件，G表示检测绿色的感测元件，B表示检测蓝色的感测元件。此外，感测元件基于预定模式来布置。传感器420可包括基于例如拜尔模式(Bayer pattern)布置的感测元件。
在传感器420中，用于检测红色的感测元件和用于检测绿色的感测元件可交替地布置在奇数行中。此外，用于检测绿色的感测元件和用于检测蓝色的感测元件可交替地布置在偶数行中。虽然图4示出包括7×7个感测元件的传感器420作为示例，但是实施例不限于该示例。
多个感测元件中的每个可检测，但不限于，与红色、绿色和蓝色中的一个对应的强度值。多个感测元件中的每个还可检测与各个颜色坐标系中的多种颜色中的一种对应的强度值。
为了便于描述，下面将基于布置在第一行450中的感测元件来描述恢复多个感测元件中的每个中的颜色信息的方法。图像恢复设备可以以同样的方式恢复布置在其余行中的感测元件的颜色信息。
图5是示出根据示例性实施例的通过透镜接收光线的感测元件的示图。
传感器可接收与多个视点590中的每个对应的光线X1至光线X7。光线X1至光线X7可通过透镜510被传感器检测到。为了简明，将基于如图4中所示的与传感器420的第一行450对应的感测元件S1至感测元件S7来提供图5的描述。
感测元件S1至感测元件S7可感测彼此重叠并已经穿过多个透镜的光线X1至光线X7之间的重叠光线。参照图5，当包括在透镜阵列中的透镜的数量增加时，针对透镜阵列，透镜510与传感器之间的焦距可减小。感测元件S1可产生彼此重叠的光线X1和光线X2的重叠的感测信息(例如，颜色值)。图像恢复设备可恢复重叠的感测信息以恢复图像。
由感测元件S1至感测元件S7产生的感测信息可被建模为原始信号信息(例如，与从多个视点590中的每个入射的光线对应的颜色值)，如下面等式1中所示。
[等式1]
S＝T·X
在等式1中，S表示指示由多个感测元件中的每个感测的感测信息(例如，检测的颜色值)的矩阵。X表示指示与从每个视点入射在感测元件S1至感测元件S7上的光线对应的信号值(例如，入射光线的颜色值)的矩阵。T表示代表由感测元件S1至感测元件S7检测的感测信息和关于与入射光线对应的信号的信息之间的关系的转换矩阵。图5的光线X1至光线X7、透镜和感测元件S1至感测元件S7可如下面等式2中所示进行建模。
[等式2]
Figure BDA0001875215270000111
可基于透镜510和传感器的布置、包括在透镜阵列中的透镜的数量以及包括在传感器中的感测元件S1至感测元件S7的数量，来确定与配置传感器的感测元件S1至感测元件S7对应的感测信息(例如，颜色信息)和与从多个视点中的每个入射的光线X1至光线X7对应的原始信号(例如，上述的转换矩阵)之间的关系。
当转换矩阵T的逆矩阵存在时，转换矩阵T可具有满秩。因此，拍摄设备的参数可被调节，使得转换矩阵T具有满秩。由于转换矩阵T具有逆矩阵，因此，指示信号值的矩阵X可通过将转换矩阵T的逆矩阵乘以指示由感测元件检测的感测信息的矩阵S来计算，如下面等式3中所示。
[等式3]
X＝T-1·S
针对配置颜色坐标系的每种颜色，图像恢复设备可使用与等式3相似的模型。在图5的示例中，可针对红色、绿色和蓝色对感测元件S1至感测元件S7和与原始信号对应的光线X1至光线X7之间的关系进行建模，如下面等式4中所示。
[等式4]
RX＝TR -1.RS
GX＝TG -1.GS
BX＝TB -1.BS
在等式4中，RX表示指示与从多个视点590中的每个入射的光线X1至光线X7对应的红色的颜色值的颜色信号矩阵。GX表示指示与从多个视点590中的每个入射的光线X1至光线X7对应的绿色的颜色值的颜色信号矩阵。BX表示指示与从多个视点590中的每个入射的光线X1至光线X7对应的蓝色的颜色值的颜色信号矩阵。RS、GS和BS可以是指示与布置在传感器中的感测元件S1至感测元件S7的位置对应的红色、绿色和蓝色的感测信息矩阵(例如，包括每个感测元件所感测的颜色信息的感测信息矩阵)。TR，TG和TB可以是用于将与红色、绿色和蓝色对应的颜色信号矩阵转换为感测信息矩阵的转换矩阵。
为了满足满秩，所有颜色(例如，红色、绿色和蓝色)的颜色值可针对多个感测元件中的每个进行采样。如图5中所示，感测元件S1至感测元件S7中的每个可检测与单个颜色对应的颜色值，因此，可如下面等式5中所示执行建模。
[等式5]
Figure BDA0001875215270000131
在等式5中，针对与传感器的第一行450对应的R/G模式，RS1、RS3、RS5和RS7表示由被配置为检测红色的感测元件S1、感测元件S3、感测元件S5和感测元件S7检测的颜色信息(例如，颜色值)。GS2、GS4和GS6表示由被配置为检测绿色的感测元件S2、感测元件S4和感测元件S6检测的颜色信息(例如，颜色值)。
等式6示出通过使用等式5针对红色对感测元件S1至感测元件S7与光线X1至光线X7之间的关系进行建模而获得的结果。
[等式6]
RS1＝RX1+RX2
RS3＝RX5+RX6
RS5＝RX2+RX3
RS7＝RX6+RX7
在等式6中，由于与将被恢复的信号的红色相关联的六项颜色信息RX1、RX2、RX3、RX5、RX6和RX7以及四个建模的等式被获得，因此，原始信号可能无法通过基于等式6进行建模来恢复。
等式7示出使用等式5获得的传感器与红色光线之间的关系。
[等式7]
GS2＝GX3+GX4
GS4＝GX1+GX7
GS6＝GX4+GX5
在等式7中，由于与将被恢复的信号的绿色相关联的五项颜色信息GX1、GX3、GX4、GX5和GX7以及三个建模的方程被获得，因此，原始信号可能无法通过基于等式7进行建模来恢复。
图像恢复设备建议恢复原始信号的颜色信息的方案如下。
图6是示出根据示例性实施例的使用接收已经穿过另一透镜的光线的其他感测元件来恢复目标感测元件的颜色信息的示例的示图。
图像恢复设备的处理器可将接收沿着与目标光线的方向的最小差对应的方向穿过与目标光线所穿过的透镜不同的透镜的另一条光线的感测元件确定为其他感测元件。
参照图6，图像恢复设备可包括第一透镜611、第二透镜612和第三透镜613，以及包括第一感测元件621、第二感测元件622和第三感测元件623的传感器620。第一光线691可通过穿过第一透镜611入射在第一感测元件621上。第一感测元件621可产生对应于绿色的颜色值作为感测信息。图像恢复设备可使用由其他感测元件检测的颜色信息，来估计在布置第一感测元件621的位置处的红色的颜色值。
假设第二光线692和第三光线693具有与第一光线691的方向相似的方向。第二光线692可通过穿过第二透镜612入射在第二感测元件622上。第三光线693可通过穿过第三透镜613入射在第三感测元件623上。第二感测元件622和第三感测元件623可产生对应于红色的颜色值作为感测信息。如图6中所示，图像恢复设备可基于与由第二感测元件622和第三感测元件623检测的红色对应的颜色信息，来恢复与第一感测元件621的红色相关联的颜色信息。
图像恢复设备的处理器可将接收与另一条光线的方向和由目标感测元件接收的目标光线的方向之间的角度的差小于或等于阈值角度对应的另一条光线的感测元件确定为其他感测元件。阈值角度可变化。
此外，图像恢复设备的处理器可按照由感测元件接收的光线的方向与由目标感测元件接收的目标光线的方向之间的角度的差的升序顺序，将与最靠前的预定数量的差对应的预定数量的感测元件确定为其他感测元件。图像恢复设备可基于由接收具有与入射在目标感测元件上的光线的方向相似的方向的光线的感测元件检测的颜色信息，来恢复目标感测元件的颜色信息。感测元件的数量可变化。
图像恢复设备可存储沿着相似的多个方向入射光线的多个感测元件彼此映射的映射信息。为了恢复关于目标感测元件的预定颜色(例如，可能未由目标感测元件检测的颜色)的信息，图像恢复设备可基于映射信息来搜索能够检测相应的颜色的感测元件。在这个示例中，基于映射信息找到的感测元件可接收具有与由目标感测元件接收的光线相似方向的光线。
当与仅使用与目标感测元件在空间上相邻的相邻感测元件相比时，图像恢复设备可使用由接收与入射在目标感测元件的光线相似方向的光线的其他感测元件检测的颜色信息，来恢复更准确的颜色信息。
图7是单维地示出根据示例性实施例的接收具有与由目标感测元件接收的光线的方向性相似的方向性的光线的感测元件的示图。
如上所述，为了***目标感测元件的颜色信息，图像恢复设备可参照接收具有与入射在目标感测元件的光线相似方向的光线的其他感测元件，而不是与目标感测元件在空间上相邻的相邻感测元件。例如，透镜711和透镜712可被布置为针对感测元件S1至S7略微偏心。图像恢复设备可使用由接收穿过相邻透镜的光线的感测元件检测的颜色信息，从而提高***的精度。
在下文中，将参照图7描述恢复与第二感测元件S2 451的红色对应的颜色信息的过程。
当与第二感测元件S2 451在空间上相邻的第一感测元件S1和第三感测元件S3453被使用时，第二感测元件S2 451的红色颜色信息可使用“(RS1+RS3)/2”来计算。这里，RS1表示由第一感测元件S1检测的红色颜色信息，RS3表示由第三感测元件S3 453检测的红色颜色信息。
第二感测元件S2 451可产生指示入射光线791(例如，光线X3和光线X4)的组合的强度值的感测信息。与第二感测元件S2 451对应的原始红色信号可被表示为“RX3+RX4”，RX3是与光线X3的红色分量对应的颜色值，RX4是与光线X4的红色分量对应的颜色值。
如图7中所示，光线X3可入射在第五感测元件S5 452上。因此，代替红色颜色信息RS1，由第五感测元件S5 452检测的颜色信息RS5可被估计为与红色颜色信息RS2最相似的感测信息。这样，代替使用由在空间上相邻的感测元件检测的简单颜色信息，图像恢复设备可使用由接收具有与入射在目标感测元件的光线相似方向的光线的其他感测元件检测的颜色信息，从而更准确地恢复颜色图像。
此外，图像恢复设备的处理器可基于由与目标感测元件在空间上相邻的相邻感测元件检测的颜色信息以及由其他感测元件检测的颜色信息，来估计与目标感测元件的位置对应的颜色信息。在图7的这个例子中，光线X4可不入射在被配置为检测红色的感测元件上。因此，除了由其他感测元件检测的颜色信息之外，图像恢复设备还可使用由相邻感测元件检测的颜色信息。
[等式8]
Figure BDA0001875215270000151
等式8表示基于由第五感测元件S5 452检测的颜色信息RS5和由第三感测元件S3453检测的颜色信息(例如，颜色值RS3)执行的第二感测元件S2451的红色颜色信息的恢复。在这个示例中，第二感测元件S2 451可对应于目标感测元件，第五感测元件S5 452可对应于其他感测元件，第三感测元件S3 453可对应于相邻感测元件。如图7中所示，颜色信息RS5可指示光线RX2和光线RX3的组合的颜色值，颜色值RS3可以是光线RX5和光线RX6的组合的颜色值。
如等式8中所示，图像恢复设备可将权重分配给由多个感测元件中的每个检测的颜色信息。在一个示例中，处理器可将第一权重(例如，1-α)施加到由相邻感测元件检测的颜色信息，并将第二权重(例如，α)施加到由其他感测元件检测的颜色信息。图像恢复设备可对不能检测红色的感测元件S4和S6建模，如下面等式9中所示。
[等式9]
Figure BDA0001875215270000161
[等式10]
Figure BDA0001875215270000162
图像恢复设备可使用由接收具有与入射在目标感测元件的光线相似方向的光线的其他感测元件检测的颜色值，来估计将被***的目标感测元件的颜色值。
等式8至等式10的描述基于这样的情况：图像恢复设备参照接收具有与同一行上的目标感测元件的光线的方向性相似的方向性的光线的其他感测元件的颜色信息。然而，实施例不限于此。例如，图像恢复设备还可使用接收穿过在2D空间上与由目标感测元件接收的光线通过的透镜水平或垂直地相邻的透镜的光线的感测元件的颜色信息。
等式8至10是用于解释图7中所示的结构的等式，可如下面等式11中所示针对红色对这些等式进行概括。
[等式11]
Figure BDA0001875215270000163
在等式11中，RSi表示将针对第i个目标感测元件恢复的颜色值，RSj表示由第j个其他感测元件检测的颜色值，αj表示施加到由第j个其他感测元件检测的颜色值的权重，N表示接收具有与由第i个目标感测元件接收的光线的方向相似的方向的光线的其他感测元件的数量。同样地，图像恢复设备可针对所有颜色，使用等式11计算由接收具有与目标感测元件的光线相似方向的光线的其他感测元件检测的颜色信息的加权平均值。
此外，随着由目标感测元件接收的目标光线的方向与由其他感测元件接收的另一条光线的方向之间的角度的差减小，处理器可将更高的权重施加到由其他感测元件检测的颜色信息。
图8是示出根据示例性实施例的图像恢复方法的流程图。
在操作810中，图像恢复设备可使用多透镜的阵列来拍摄图像。多透镜的阵列可使光线通过。传感器可从入射光线产生指示与将由多个感测元件中的每个检测的颜色对应的颜色值的感测信息。
在操作820中，图像恢复设备可针对颜色***搜索最相似的光线。为了恢复目标感测元件的颜色信息，图像恢复设备可选择接收具有与入射在目标感测元件上的光线相似方向的光线的其他感测元件。
在操作830中，图像恢复设备可针对目标感测元件，使用具有与入射在目标感测元件的光线最相似方向的光线来***颜色。图像恢复设备可基于由接收相似方向的光线的其他感测元件检测的颜色信息，来估计与目标感测元件对应的颜色信息。图像恢复设备可针对配置颜色坐标系的多种颜色中的每种，来恢复与目标感测元件对应的颜色信息。当颜色坐标系被配置有红绿蓝(RGB)时，并且当目标感测元件(例如，被配置为检测绿色或蓝色的感测元件)未检测到红色时，图像恢复设备可使用被配置为检测红色的其他感测元件来估计与目标感测元件对应的红色的颜色值。图像恢复设备可针对目标感测元件确定与红色、绿色和蓝色对应的颜色信息。
在操作840中，图像恢复设备可针对每种颜色通道恢复图像。例如，图像恢复设备的处理器可基于在操作830中恢复的颜色信息来恢复颜色图像。图像恢复设备可通过对针对配置颜色坐标系的多种颜色中的每种恢复的颜色信息进行组合来恢复颜色图像。
图9是示出根据示例性实施例的图像恢复的示例的示图。
图像恢复设备可通过执行参照图1至图7描述的操作，来确定针对包括在传感器中的多个感测元件中的每个的所有颜色的颜色信息。例如，颜色坐标系可被配置有第一颜色、第二颜色和第三颜色。在这个示例中，当预定的感测元件被配置为检测第一颜色时，图像恢复设备可将由感测元件检测的颜色值用于第一颜色。对于未被感测元件检测的第二颜色或第三颜色，图像恢复设备可基于与由其他感测元件检测的第二颜色或第三颜色对应的颜色值，来估计与感测元件相关联的第二颜色或第三颜色的颜色值。第一颜色至第三颜色可对应于RGB系的红色、绿色和蓝色。然而，颜色坐标系的类型不限于此。
图9示出图像恢复设备针对配置颜色坐标系的多种颜色之中的一种颜色恢复与多个感测元件中的每个对应的颜色信息的示例。图像恢复设备可恢复所有颜色的颜色信息。
如参照等式3所讨论的，原始信号X(例如，与图9的预定颜色对应的颜色信号)可基于感测信息矩阵S和转换矩阵的逆矩阵T-1的矩阵乘积来估计。转换矩阵的逆矩阵T-1可基于感测元件与视点之间的对应关系来确定。转换矩阵T可以是通过对如下结构进行建模而获得的矩阵：在该结构中，与多个视点对应的光线由于透镜和传感器的布置而在单个感测元件中重叠和感测。感测信息矩阵S可以是与多个感测元件中的每个对应的感测信息，并且可包括由多个感测元件中的每个检测的颜色信息(例如，颜色值)。
如图9中所示，图像恢复设备可通过将逆矩阵T-1施加到感测信息矩阵S来恢复原始颜色信号X。在这个示例中，逆矩阵T-1可通过基于感测元件与视点之间的对应关系的转换矩阵的逆转换来获得。如参照图9所述，图像恢复设备可通过使用等式3和等式4将逆矩阵T-1施加到针对多种颜色中的每种的感测信息来恢复颜色信息。图像恢复设备可基于针对多种颜色中的每种恢复的颜色信息来恢复颜色图像。
图10和图11是示出根据示例性实施例的可实施图像恢复设备的设备的示例的示图。
图像恢复设备可适用于各种技术领域。图像恢复设备可被设计为使得包括多个透镜的透镜阵列与包括多个感测元件的传感器分开相对小的长度。例如，图像恢复设备可被实现为具有用于高清晰度拍摄的大的传感器的超薄相机。
参照图10，图像恢复设备1010可被实现为智能手机装置1000的前侧相机。图像恢复设备1010的传感器可被实现为全帧传感器。此外，透镜阵列可被实现为微镜头。
参照图11，图像恢复设备1110可被实现为安装在车辆1100的前侧或后侧上的弯曲的相机。然而，实施例不限于此。例如，图像恢复设备可适用于数字单镜头反光(DSLR)相机、无人机、闭路电视(CCTV)、网络相机、全景相机、电影或广播视频相机和虚拟现实/增强现实(VR/AR)相机。此外，图像恢复设备可适用于各种领域(例如，柔性/可伸缩相机、复眼相机和接触镜头式相机)。
在此描述的单元可使用硬件组件和软件组件来实现。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频-数字转换器和处理装置。可使用一个或多个通用或专用计算机(诸如，例如，处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或者能够以限定的方式响应和执行指令的任何其他装置)来实现处理装置。处理装置可运行操作***(OS)以及在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行，访问、存储、操作、处理并且创建数据。为了简明的目的，处理装置的描述用作单数，然而，本领域的技术人员将理解，处理装置可包括多个处理元件以及多种类型的处理元件。例如，处理装置可包括多个处理器或者一个处理器和一个控制器。此外，不同的处理配置是可行的，诸如并行处理器。
软件可包括计算机程序、代码段、指令或它们的一些组合，以单独地或共同地指示或配置处理装置按照期望的那样操作。可以以任何类型的机器、组件、物理装备或虚拟装备、计算机存储介质或装置或者以能够向处理装置提供指令或数据或者由处理装置解释的指令或数据的传播信号，来永久地或暂时地实现软件和数据。软件还可被分布在联网计算机***上，使得软件以分布方式被存储和执行。具体地，可通过一个或多个计算机可读记录介质来存储软件和数据。
根据上述实施例的方法可被记录、存储或固定在包括将由计算机执行的程序指令的一个或多个非暂时性计算机可读介质中，以使得处理器执行程序指令。介质还可单独地包括程序指令、数据文件、数据结构等，或与程序指令、数据文件、数据结构等相结合。记录在介质上的程序指令可以是专门设计和构造的程序指令，或者它们具有公知的种类，并且对计算机软件领域的技术人员可用。非暂时性计算机可读介质的示例包括磁介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，CD ROM盘和DVD)；磁光介质(诸如，光盘)；以及被专门配置为存储并执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括诸如由编译器产生的机器代码以及包含可由计算机使用解释器执行的高级代码的文件二者。描述的硬件装置可被配置为作为一个或多个软件模块以执行以上描述的的操作和方法，反之亦然。
上面已经描述了许多示例实施例。然而，应理解，可对这些示例实施例进行各种修改。例如，如果描述的技术以不同的顺序执行，和/或如果描述的***、架构、装置或电路中的组件以不同的方式组合和/或由其他组件或它们的等同物代替或补充，则可实现合适的结果。
因此，其他实施方式在权利要求的范围内。

Claims (20)

1.一种用于恢复图像的设备，所述设备包括：
多个透镜，被配置为使多条光线通过；
传感器，包括多个感测元件，所述多个感测元件包括目标感测元件和其他感测元件，其中，目标感测元件接收通过所述多个透镜之中的一个透镜的目标光线，所述其他感测元件基于目标光线的方向来确定；
处理器，被配置为：基于由所述其他感测元件检测的颜色信息来恢复与目标感测元件对应的颜色信息，
其中，所述多个感测元件中的每个被布置为使得与相应的感测元件在空间上相邻的相邻感测元件感测不同的颜色。
2.根据权利要求1所述的设备，其中，处理器还被配置为：将接收通过与目标光线所穿过的透镜不同的透镜并且与目标光线的方向相比具有方向的最小差的另一条光线的感测元件确定为所述其他感测元件。
3.根据权利要求1所述的设备，其中，处理器还被配置为：将接收与另一条光线的方向和由目标感测元件接收的目标光线的方向之间的角度的差对应的另一条光线的感测元件确定为所述其他感测元件，所述角度的差小于或等于阈值角度。
4.根据权利要求1所述的设备，其中，处理器还被配置为：按照由感测元件接收的光线的方向与由目标感测元件接收的目标光线的方向之间的角度的差的升序顺序，将与最靠前的预定数量的差对应的预定数量的感测元件确定为所述其他感测元件。
5.根据权利要求1所述的设备，其中，处理器还被配置为：基于恢复的颜色信息来恢复颜色图像。
6.根据权利要求1所述的设备，其中，目标感测元件从所述多条光线之中的到达目标感测元件的目标光线检测与第一颜色对应的颜色值，
所述其他感测元件从所述多条光线之中的到达所述其他感测元件的另一条光线检测与第二颜色对应的颜色值，第二颜色与第一颜色不同，
处理器还被配置为：基于与由所述其他感测元件检测的第二颜色对应的颜色值，来估计与目标感测元件的位置相关联的第二颜色所对应的颜色值。
7.根据权利要求1所述的设备，其中，处理器还被配置为：基于由所述其他感测元件检测的颜色信息和由与目标感测元件在空间上相邻的相邻感测元件检测的颜色信息，来估计与目标感测元件的位置对应的颜色信息。
8.根据权利要求7所述的设备，其中，处理器还被配置为：将第一权重施加到由所述相邻感测元件检测的颜色信息，并将第二权重施加到由所述其他感测元件检测的颜色信息。
9.根据权利要求1所述的设备，其中，处理器还被配置为：随着由目标感测元件接收的目标光线的方向与由所述其他感测元件接收的另一条光线的方向之间的角度的差减小，将更高的权重施加到由所述其他感测元件检测的颜色信息。
10.根据权利要求1所述的设备，其中，所述多个透镜相对于包括在传感器中的所述多个感测元件偏心地布置。
11.一种恢复图像的方法，所述方法包括：
使用包括多个感测元件的传感器接收穿过多个透镜的多条光线；
基于目标光线的方向选择与接收穿过所述多个透镜之中的一个透镜的目标光线的目标感测元件不同的其他感测元件；
基于由所述其他感测元件检测的颜色信息来恢复与目标感测元件对应的颜色信息，
其中，所述多个感测元件中的每个被布置为使得与相应的感测元件在空间上相邻的相邻感测元件感测不同的颜色。
12.根据权利要求11所述的方法，其中，选择其他感测元件的步骤包括：将接收沿着与目标光线的方向的最小差对应的方向通过与目标光线所穿过的透镜不同的透镜的另一条光线的感测元件确定为所述其他感测元件。
13.根据权利要求11所述的方法，其中，选择其他感测元件的步骤包括：将接收与另一条光线的方向和由目标感测元件接收的目标光线的方向之间的角度的差对应的另一条光线的感测元件确定为所述其他感测元件，所述角度的差小于或等于阈值角度。
14.根据权利要求11所述的方法，其中，选择其他感测元件的步骤包括：按照由感测元件接收的光线的方向与由目标感测元件接收的目标光线的方向之间的角度的差的升序顺序，将与最靠前的预定数量的差对应的预定数量的感测元件确定为所述其他感测元件。
15.根据权利要求11所述的方法，还包括：
基于恢复的颜色信息来恢复颜色图像。
16.根据权利要求11所述的方法，其中，接收所述多条光线的步骤包括：
从所述多条光线之中的到达目标感测元件的目标光线检测与第一颜色对应的颜色值，
从所述多条光线之中的到达所述其他感测元件的另一条光线检测与第二颜色对应的颜色值，第二颜色与第一颜色不同，
恢复颜色信息的步骤包括：
基于与由所述其他感测元件检测的第二颜色对应的颜色值，来估计与目标感测元件的位置相关联的第二颜色所对应的颜色值。
17.根据权利要求11所述的方法，其中，恢复颜色信息的步骤包括：基于由所述其他感测元件检测的颜色信息和由与目标感测元件在空间上相邻的相邻感测元件检测的颜色信息，来估计与目标感测元件的位置对应的颜色信息。
18.根据权利要求17所述的方法，其中，估计颜色信息的步骤包括：将第一权重施加到由所述相邻感测元件检测的颜色信息，并将第二权重施加到由所述其他感测元件检测的颜色信息。
19.根据权利要求11所述的方法，其中，恢复颜色信息的步骤包括：随着由目标感测元件接收的目标光线的方向与由所述其他感测元件接收的另一条光线的方向之间的角度的差减小，将更高的权重施加到由所述其他感测元件检测的颜色信息。
20.一种存储指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，使得处理器执行权利要求11的方法。
CN201811396084.XA 2017-11-24 2018-11-22 用于恢复图像的方法和设备 Active CN109842749B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170158646A KR102565277B1 (ko) 2017-11-24 2017-11-24 영상 복원 장치 및 방법
KR10-2017-0158646 2017-11-24

Publications (2)

Publication Number Publication Date
CN109842749A CN109842749A (zh) 2019-06-04
CN109842749B true CN109842749B (zh) 2021-12-07

Family

ID=64453345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811396084.XA Active CN109842749B (zh) 2017-11-24 2018-11-22 用于恢复图像的方法和设备

Country Status (5)

Country Link
US (2) US10902557B2 (zh)
EP (1) EP3490251A1 (zh)
JP (1) JP7264624B2 (zh)
KR (1) KR102565277B1 (zh)
CN (1) CN109842749B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030724B2 (en) 2018-09-13 2021-06-08 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
KR102653106B1 (ko) 2018-10-18 2024-04-01 삼성전자주식회사 영상 처리 장치 및 방법
KR20210081767A (ko) 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
KR20220053361A (ko) 2020-10-22 2022-04-29 삼성전자주식회사 이미징 장치
JP6898684B1 (ja) * 2020-11-17 2021-07-07 株式会社シンカ・アウトフィットＮｑ 解析装置
KR20230037953A (ko) 2021-09-10 2023-03-17 삼성전자주식회사 컬러 변환 방법 및 이를 수행하는 전자 장치와 이미지 센서
KR20230111379A (ko) 2022-01-18 2023-07-25 삼성전자주식회사 이미지 센서 및 이미징 장치
CN116381954B (zh) * 2023-06-05 2023-09-22 河南百合特种光学研究院有限公司 一种高斯转平顶紫外激光整形镜头***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106641B (zh) * 2006-06-26 2010-09-08 三星电机株式会社 用于图像处理的方法和设备
CN102822863A (zh) * 2010-03-31 2012-12-12 佳能株式会社 图像处理设备和使用该图像处理设备的图像拾取设备
CN103873837A (zh) * 2012-12-14 2014-06-18 三星泰科威株式会社 用于颜色恢复的设备和方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
KR100617781B1 (ko) * 2004-06-29 2006-08-28 삼성전자주식회사 이미지 센서의 화질 개선장치 및 방법
WO2007060847A1 (ja) * 2005-11-22 2007-05-31 Matsushita Electric Industrial Co., Ltd. 撮像装置
US8319846B2 (en) * 2007-01-11 2012-11-27 Raytheon Company Video camera system using multiple image sensors
JP4905326B2 (ja) 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
KR100924121B1 (ko) * 2007-12-15 2009-10-29 한국전자통신연구원 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
JP5446797B2 (ja) * 2009-12-04 2014-03-19 株式会社リコー 撮像装置
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US20120188409A1 (en) 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
CN103688536B (zh) 2011-05-30 2016-05-11 株式会社尼康 图像处理装置、图像处理方法
JP5984493B2 (ja) 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
KR101328741B1 (ko) * 2012-01-03 2013-11-11 중앙대학교 산학협력단 색상 채널을 이용한 영상 개선 장치 및 방법
KR101958910B1 (ko) * 2012-10-26 2019-03-15 에스케이 텔레콤주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
JP6190119B2 (ja) 2013-02-08 2017-08-30 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP6406804B2 (ja) * 2013-08-27 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
KR102564478B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
KR102646437B1 (ko) 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
KR102397089B1 (ko) 2017-07-28 2022-05-12 삼성전자주식회사 이미지 처리 방법 및 이미지 처리 장치
KR102447101B1 (ko) 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
KR102556420B1 (ko) 2017-09-25 2023-07-17 삼성전자주식회사 디스플레이 장치
KR102427854B1 (ko) 2017-09-25 2022-08-01 삼성전자주식회사 영상 렌더링 방법 및 장치
KR102495359B1 (ko) 2017-10-27 2023-02-02 삼성전자주식회사 객체 트래킹 방법 및 장치
KR102410834B1 (ko) 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
KR102547822B1 (ko) 2017-11-24 2023-06-26 삼성전자주식회사 Hud 시스템 및 hud를 위한 광학 소자
US11375092B2 (en) * 2018-10-04 2022-06-28 Samsung Electronics Co., Ltd. Image sensor and image sensing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106641B (zh) * 2006-06-26 2010-09-08 三星电机株式会社 用于图像处理的方法和设备
CN102822863A (zh) * 2010-03-31 2012-12-12 佳能株式会社 图像处理设备和使用该图像处理设备的图像拾取设备
CN103873837A (zh) * 2012-12-14 2014-06-18 三星泰科威株式会社 用于颜色恢复的设备和方法

Also Published As

Publication number Publication date
US11334968B2 (en) 2022-05-17
JP7264624B2 (ja) 2023-04-25
JP2019097169A (ja) 2019-06-20
CN109842749A (zh) 2019-06-04
US10902557B2 (en) 2021-01-26
KR102565277B1 (ko) 2023-08-09
US20190164255A1 (en) 2019-05-30
KR20190060441A (ko) 2019-06-03
EP3490251A1 (en) 2019-05-29
US20210218944A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
CN109842749B (zh) 用于恢复图像的方法和设备
EP3328058B1 (en) Multi-lens based capturing apparatus and method
EP3816929A1 (en) Method and apparatus for restoring image
US11375092B2 (en) Image sensor and image sensing method
US10924667B2 (en) Image sensor and image sensing method
CN106488215B (zh) 图像处理方法和设备
CN110896467A (zh) 用于恢复图像的方法和设备
US11734877B2 (en) Method and device for restoring image obtained from array camera
US11778350B2 (en) Lens array camera and method of driving lens array camera
CN113645422A (zh) 图像传感器
KR102644944B1 (ko) 이미지 센서 및 이미지 센싱 방법
KR102653106B1 (ko) 영상 처리 장치 및 방법
CN113971629A (zh) 图像恢复方法和装置
WO2018139250A1 (ja) 全天球撮像装置
WO2018078222A1 (en) Multiple view colour reconstruction
CN114596201A (zh) 用于处理图像的方法和设备
KR20210137886A (ko) 이미지 센서

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant