CN101106641B - 用于图像处理的方法和设备 - Google Patents

用于图像处理的方法和设备 Download PDF

Info

Publication number
CN101106641B
CN101106641B CN2007101126721A CN200710112672A CN101106641B CN 101106641 B CN101106641 B CN 101106641B CN 2007101126721 A CN2007101126721 A CN 2007101126721A CN 200710112672 A CN200710112672 A CN 200710112672A CN 101106641 B CN101106641 B CN 101106641B
Authority
CN
China
Prior art keywords
image
surveyed area
lens
sub
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101126721A
Other languages
English (en)
Other versions
CN101106641A (zh
Inventor
成基荣
金圣洙
朴斗植
李皓荣
金昌容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of CN101106641A publication Critical patent/CN101106641A/zh
Application granted granted Critical
Publication of CN101106641B publication Critical patent/CN101106641B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供了一种从通过小型相机模块获得的图像来恢复具有高分辨率的图像的方法和设备。所述方法包括：通过包括多个透镜和分别与所述多个透镜相应的多个图像检测区域的相机模块来获得多个原始颜色分开图像；产生与检测区域相应的第一中间图像；将第一中间图像划分成多个像素组；通过将各个原始颜色分开图像中相同位置的像素的像素信息映射到与所述相同位置相应的第一中间图像中像素组的预定像素上，来产生第二中间图像；和通过对第二中间图像插值来产生最终图像。所述像素组包括与颜色滤波器的排列模式相应的多个像素。

Description

用于图像处理的方法和设备
本申请要求分别于2006年6月26日和2007年10月27日在韩国知识产权局提交的第10-2006-0057661号和10-2006-0105349号韩国专利申请的优先权，该申请完全公开于此以资参考。
技术领域
本发明涉及一种恢复图像的方法，更具体地讲，涉及一种从通过小型相机模块获得的图像来恢复具有高分辨率的图像的方法。
背景技术
包括具有高分辨率的相机模块(例如，数字相机和带相机的电话)的数字设备正被广泛使用。通常，相机模块包括透镜和图像传感器。透镜聚集从目标反射的光，图像传感器检测和识别透镜聚集的光，并将光转换成电子图像信号。可将图像传感器分类成摄像管和固态图像传感器，固态图像传感器的代表性示例包括电荷耦合器件(CCD)和金属氧化硅(MOS)装置。
图1示出传统相机模块的操作原理。
在相机模块中，相对孔径越大，获得的目标的图像就越大，F数(F/#)越大，获得的图像越清楚越清晰。这里，相对孔径是通过将透镜(即，透镜A(11)或透镜B(12))的孔径D除以焦距，即D/f而获得的值，图像(即，图像A(12)或图像B(22))的亮度与相对孔径的平方成比例。同时，F数是相对孔径的倒数，即f/D。F数越大，到达相机模块的图像传感器的每单位面积上的光量就越少。F数越小，到达图像传感器的每单位面积上的光量就越多，从而可获得具有高分辨率的亮图像。
如图1所示，透镜的孔径越大，分辨率越大。然而，尽管该优点，但焦距也变长，从而限制相机模块的小型化。相反，如果透镜的孔径小，则用于形成目标的图像的焦距也减小。因此，尽管相机模块可被小型化，但是难以获得具有高分辨率的图像。
为了解决该问题，提出了许多发明，例如，第2003-0084343号韩国专利申请，但是仍没有解决该总问题。
发明内容
因此，本发明的一方面在于提供一种从通过小型相机模块获得的具有低分辨率的图像来恢复具有高分辨率的图像的方法。
本发明的其他方面和/或优点在下面的描述中将被部分地阐述，部分地，将从描述中变得清楚，或可通过实施本发明来了解本发明。
通过提供一种恢复图像的方法来实现以上和/或其他方面，所述方法包括：通过包括多个透镜和分别与所述多个透镜相应的多个图像检测区域的相机模块来获得多个原始颜色分开图像；产生与检测区域相应的第一中间图像；将第一中间图像划分成多个像素组；产生第二中间图像，产生第二中间图像的步骤包括：将各个原始颜色分开图像中相同位置的像素的像素信息映射到与各个相同位置相应的第一中间图像中像素组的预定像素上；和产生最终图像，产生最终图像的步骤包括对第二中间图像插值，其中，每个像素组包括与颜色滤波器的排列模式相应的多个像素。
还通过提供一种恢复图像的方法来实现以上和/或其他方面，所述方法包括：通过包括多个透镜和分别与所述多个透镜相应的多个图像检测区域的相机模块来获得多个原始颜色分开图像；产生中间图像，产生中间图像的步骤包括：根据相机模块的颜色滤波器的排列模式将各个原始颜色分开图像中相同位置的像素的像素信息进行重新排列；和产生最终图像，产生最终图像的步骤包括将中间图像去马赛克。
根据本发明的另一方面，提供了一种恢复图像的设备，所述设备包括：相机模块；输入模块，接收通过相机模块获得的多个原始颜色分开图像，所述相机模块包括多个透镜和分别与所述多个透镜相应的多个图像检测区域；中间图像产生模块，产生与图像检测区域相应并被划分成多个像素组的第一中间图像，并通过将各个原始颜色分开图像中相同位置的像素的像素信息映射到与所述相同位置相应的第一中间图像中像素组的多个像素的一个预定像素上来产生第二中间图像；最终图像产生模块，通过对第二中间图像插值来产生最终图像；和颜色滤波器，其中，每个像素组包括与颜色滤波器的排列模式相应的多个像素。
根据本发明的另一方面，提供了一种恢复图像的设备，所述设备包括：输入模块，通过相机模块接收多个原始颜色分开图像，所述相机模块包括多个透镜和分别与所述多个透镜相应的多个图像检测区域；颜色滤波器；图像产生模块，通过根据颜色滤波器的排列模式将各个原始颜色分开图像中相同位置的像素的像素信息重新排列来产生中间图像；和最终图像产生模块，通过将中间图像去马赛克来产生最终图像。
附图说明
从下面结合附图对实施例的描述，本发明的这些和/或其他方面和优点将变得清楚，并更容易理解，其中：
图1示出传统相机模块的操作原理；
图2是示出根据本发明实施例的用于恢复图像的设备的结构的框图；
图3是示出根据本发明实施例的相机模块的内部结构的透视图；
图4A至图4C是示出根据本发明实施例的图3的滤波器单元的结构的各种实施例的示图；
图5示出根据本发明实施例的处理图3的滤波器单元的工艺；
图6是根据本发明实施例的用于形成图3的图像传感器单元的单位像素的剖视图；
图7A和图7B示出根据本发明实施例的关于微透镜和光电检测器之间的距离倾斜入射到图6的微透镜上的光束的会聚程度；
图8示出图3所示的多个子检测区域上形成的原始图像；
图9A和图9B示出根据本发明实施例的恢复图像的方法；
图10A和10B示出图9A中的产生最终图像(S840)的特定示例性操作；
图11A和11B示出图9A中示出的产生最终图像(S840)的其他特定示例性操作；和
图12是示出根据本发明另一实施例的相机模块的内部结构的透视图。
具体实施方式
现在将详细阐述本发明的实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。以下将通过参照附图来描述所述实施例以解释本发明。
图2是示出根据本发明实施例的用于恢复图像的设备100的结构的框图。
图2的用于恢复图像的设备100包括：相机模块200，聚集入射光，并产生多个原始颜色分开图像；图像产生模块800，基于相机模块200提供的原始颜色分开图像，来产生最终图像；和显示模块900，显示图像产生模块800提供的最终图像。
首先，现在将参照图3至图7B来解释相机模块200。
图3是示出根据本发明实施例的相机模块的结构的透视图。图3的相机模块200包括：透镜单元300、滤波器单元400和图像传感器单元500。
透镜单元300可包括用于聚集入射光的多个透镜310至340。这里，不限制透镜的数量，并且可按多种排列同平面地来排列多个透镜310至340。例如，可以按横向或按纵向将所述多个透镜排列成一条线或按宽×高矩阵的形式来排列所述多个透镜。以下，为了便于解释，将解释透镜单元300包括按2×2(宽×高)矩阵的形式排列的4个透镜的实施例。
可选择地，可在相同位置或不同位置排列多个透镜310至340。例如，如果将各个透镜310至340都排列在参考位置，则各个透镜340至340的位置被认为彼此相同。这里，所述参考位置指的是与预定透镜相应的子滤波区域的中心。另一方面，各个透镜340至340可按下列方式排列，即将第一透镜310从参考位置向右移动一个像素，第二透镜320位于参考位置，将第三透镜330从参考位置向下移动一个像素，将第四透镜340从参考位置成对角地移动一个像素，即，在向右和向下方向上都从参考位置移动一个像素。
滤波器单元400对多个透镜310至340聚集的光进行滤波，将光实现为原始的基色。为此，滤波器单元400可包括与多个透镜310至340相应的多个子滤波区域410至440，其中，形成了具有不同颜色的颜色滤波器。例如，如上所述，在透镜单元300包括按2×2矩阵的形式排列的4个透镜的情况下，滤波器单元400具有第一子滤波区域410、第二子滤波区域420、第三子滤波区域430、第四子滤波区域440，所述子滤波区域410至440按2×2形式排列。
另外，可关于每个子滤波区域中形成的颜色滤波器的透光率来将滤波区域划分成第一滤波区域410、420和430以及第二滤波区域440。这里，第一滤波区域可包括多个子滤波区域。同时，第二滤波区域包括单个子滤波区域。
根据本发明的实施例，在与第二滤波区域相应的子滤波区域中，可形成这样的颜色滤波器，该颜色滤波器的透光率比在与第一滤波区域相应的子滤波区域中形成的颜色滤波器的透光率高。例如，可分别在第一至第三子滤波区域410至430中形成红色、绿色和蓝色滤波器。同时，在第二滤波区域中包括的第四子滤波区域440中，可形成具有透光率比红色、绿色和蓝色高的颜色的滤波器，例如，灰色滤波器。在上述示例中，透光率按蓝色、红色、绿色滤波器的顺序变高，灰色滤波器具有比绿色滤波器的透光率高的透光率。
在另一实施例中，在第四子滤波区域440中可形成除了灰色之外的其他颜色的颜色滤波器。例如，可形成白色(非颜色滤波器)、黄色、青色和红紫色中的任何一个的颜色滤波器。然而，在第四子滤波区域中形成的颜色滤波器的颜色不限于这些示例，比第一滤波区域的子滤波区域中形成的颜色滤波器的透光率高的任何颜色的颜色滤波器可被认为包括在本发明的范围内。
因此，如果在与第二滤波区域440相应的子滤波区域中形成的颜色滤波器具有比在与第一滤波区域相应的子滤波区域410至430中形成的颜色滤波器高的透光率，则通过各个子滤波区域的光量变的不同。这意味着，出现了到达图像传感器单元500(稍后将被解释)的光量不同，以及在传感器单元500中可同时实现高灵敏度检测功能和低灵敏度检测功能。
更具体地讲，图像传感器单元500的检测区域510至540可被划分成分别与多个子滤波区域410至440相应的多个子检测区域510至540。同时，到达多个子检测区域510至540之中与第二滤波区域中包括的子滤波区域相应的子检测区域的光量，大于到达与第一滤波区域中包括的子滤波区域410、420或430相应的子检测区域的光量。因此，可以说，与第二滤波区域中包括的子滤波区域相应的子检测区域，具有比与第一滤波区域中包括的子滤波区域410、420或430相应的子检测区域的检测功能相对较高的灵敏度的检测功能。
在上述示例中，可将图像传感器单元500的检测区域划分成分别与第一子滤波区域410至第四子滤波区域440相应的第一子检测区域510至第四子检测区域540。到达第四子检测区域540的光量大于达到第一子检测区域510的光量。这是因为，在与第四子检测区域540相应的第四子滤波区域440中形成了灰色滤波器，而在与第一子检测区域510相应的第一子滤波区域410中形成了具有比灰色滤波器的透光率低的透光率的红色滤波器。因此，第四子检测区域540具有比第一子检测区域510的检测功能相对较高的灵敏度的检测功能。同样地，因为达到第二子检测区域520的光量小于到达第四子检测区域540的光量，以及到达第三子检测区域530的光量也小于到达第四子检测区域540的光量，所以可以说，第二子检测区域520和第三子检测区域530中的每一个具有比第四子检测区域540的检测功能低的灵敏度的检测功能。
除了上述部件，为了阻止预定波长的光(例如，红外线)，滤波器单元400可选择性地包括红外线阻挡滤波器460。红外线阻挡滤波器460阻止到达图像传感器的红外线，并防止可见光范围内的图像信息被损坏。即，图像传感器的灵敏度对红外线也有响应，如果使用了红外线阻挡滤波器460，则红外线被阻止，以使对可见光范围内的图像信息的可能损坏可被防止。根据传统图像传感器的结构，不能以集成的形式来实现颜色滤波器和红外线阻挡滤波器，但是根据本发明的实施例，可按集成形式来制造颜色滤波器470和红外线阻挡滤波器460。可根据颜色来将颜色滤波器层470划分成多个区域，即，470G和470R。
红外线阻挡滤波器460可被置于基底450和颜色滤波器层470之间，或被置于颜色滤波器层470的上部。另外，如果颜色滤波器层470形成于基底450的一个表面上，则红外线阻挡滤波器460可形成于基底450的另一表面上。图4A至图4C是通过沿剖切平面线III-III’剖切图3的滤波器单元400获得的剖视图，并示出了用于形成颜色滤波器470和红外线阻挡滤波器460的位置的各种实施例。图4A示出在基底450的一个表面上顺序地形成红外线阻挡滤波器460和颜色滤波器470。图4B示出在基底450的一个表面上顺序地形成颜色滤波器470和红外线阻挡滤波器460。图4C示出在在基底450的一个表面上形成颜色滤波器470，以及在在基底450的另一表面上形成红外线阻挡滤波器460。
同时，可通过将多个基底(在各个基底上形成有不同颜色滤波器)划分成多个子基底，然后将具有不同颜色滤波器的每个子基底组合来制造上述滤波器单元400。
图5示出根据本发明实施例的处理滤波器单元400的工艺。例如，为了形成具有图4C中示出的结构的滤波器单元，首先，在第一至第四基底中的每一个的一个表面上形成红外线阻挡滤波器460层。然后，在第一至第四基底的另一面上分别覆盖红色、绿色、蓝色和灰色滤波器，以形成颜色滤波器层470。然后，将每一基底四等分，以构成4个子基底。通过组合形成有不同颜色滤波器的子基底，形成了具有图4C示出的结构的滤波器单元400。根据上述工艺，省略了形成颜色滤波器图案的工艺，从而可减少将被用于形成颜色滤波器的油墨的量。
同时，图像传感器500检测通过各个子滤波区域410至440的光，并将光转换成电信号。为此，图像传感器单元500包括：光检测单元(未示出)，检测通过各个子滤波区域410至440的光；和电路单元(未示出)，将光检测单元检测到的光转换成电信号以产生数据。
这里，现在将参照图6更详细地解释图像传感器单元500。图6是用于形成根据本发明实施例的图像传感器单元500的单位像素的剖视图。
参照图6，在基底550上形成光电检测器560(例如，光电二极管PD)。在每个PD之间形成装置隔离膜570a、570b。
在光电检测器560的顶部形成用于形成电路单元的金属线层(metalwiring layer)590。另外，在光电检测器560和金属线层590之间形成金属层间介电(IMD)层580a，金属线层590可被设计为不阻止入射到光电检测器560上的光的路径。尽管图6示出金属线层590的一个层被形成，但是必要时可形成多个金属线层590。然后，在每个金属线层590上形成IMD层580b，以隔离金属线层590。
在最高IMD层580b的顶部形成用于增强光电检测器560的光电灵敏度的微透镜(ML)595。通常，光电检测器560不占用单位像素区域的整个区域，而是占用单位像素区域的预定部分。因此，占空比，即，光电检测器560占用的区域与整个单位像素区域的比是小于1的值，这意味着，部分入射光损失。然而，如果在IMD层580b的顶部形成ML 595，则通过ML 595来聚集入射光束，以使得在光电检测器560上会聚的光量增加。
另外，与传统技术不同，颜色滤波器层470和平坦化层(planarizing layer)(参照图7B)不形成在上面描述的结构的图像传感器单元500中，因此光损失和串扰被减少。这将参照图7A和图7B被更详细地解释。
图7A和图7B示出关于ML 595和光电检测器560之间的距离倾斜入射到图6的ML 595上的光束的会聚程度。这里，图7A是根据本发明实施例的图像传感器中单位像素的剖视图，而图7B是根据传统技术的图像传感器中的单位像素的剖视图。
参照图7B，通常，ML 595焦点的位置被固定到光电检测器560的位置，在这种情况下，所有垂直入射到ML 595上的光束被会聚在光电检测器560上。然而，倾斜入射到ML 595上的光束不会聚在光电检测器560上，一些光束损失或入射到相邻像素的光电检测器560上，从而引起串扰。然而，如果颜色滤波器层470和平坦化层被移除，与本发明的实施例相同，则ML 595和光电检测器560之间的间隔变窄，甚至倾斜入射到ML 595上的光束会聚在相应像素的光电检测器560上。
每个都具有上述结构的多个像素形成检测区域510至540。这里，可将所述检测区域划分成分别与上述滤波器单元400的子滤波区域相应的多个子检测区域。即，根据上述示例，可将图像传感器单元500的检测区域510至540划分成分别与第一子滤波区域410至第四子滤波区域440相应的第一子检测区域510至第四子检测区域540。第一检测区域510检测通过红色滤波器的光，第二检测区域520检测通过绿色滤波器的光，第三检测区域530检测通过蓝色滤波器的光，第四检测区域540检测通过灰色滤波器的光。结果，可获得图8的多个原始图像511至541。
同时，可关于光电灵敏度来将被划分成多个子检测区域510至540的检测区域划分成低灵敏度检测区域和高灵敏度检测区域。关于到达每个子检测区域的光量来划分低灵敏度检测区域和高灵敏度检测区域。同时，到达每个子检测区域的光量依据与每个子检测区域相应的子滤波区域中形成的颜色滤波器而变化。因此，在关于颜色滤波器的透光率被划分成第一和第二滤波区域的滤波区域中，可分别将与第一滤波区域相应的检测区域和与第二滤波区域相应的检测区域分类为低灵敏度检测区域和高灵敏度检测区域。
更具体地讲，在上述示例中，第一子检测区域510至第三子检测区域530对应于低灵敏度检测区域，第四子检测区域540对应于高灵敏度检测区域。这是因为，在第四子滤波区域440中形成的灰色滤波器具有比分别在第一子滤波区域410至第三子滤波区域430中形成的红色、绿色和蓝色滤波器中的每一个的透光率更高的透光率，因此，到达第四子检测区域540的光量大于到达第一子检测区域510至第三子检测区域530中每一个的光量。
因此，如果在图像传感器单元500中实现低灵敏度检测区域和高灵敏度检测区域，则图像产生模块800(稍后将被解释)可通过使用从高灵敏度检测区域和低灵敏度检测区域获得的亮度信息(Y’)来恢复图像。因此，即使在照明度差异大的环境下，也可获得清楚的图像。即，可实现宽动态范围(WDR)功能。
再次参照图2，图像产生模块800从相机模块200接收多个原始颜色分开图像511、521、531和541，并在图10B的显示模块900上产生最终图像。为此，图像产生模块包括：输入模块810、中间图像产生模块820和最终图像产生模块830。
输入模块810接收相机模块200提供的多个原始图像511、521、531和541的输入。即，输入模块810接收第一子检测区域510获得的红色图像、第二子检测区域520获得的绿色图像、第三子检测区域530获得的蓝色图像、以及第四子检测区域540获得的灰色图像。红色、绿色、蓝色图像提供通过最终图像产生模块830产生显示模块900上的最终图像所需的颜色信息，这稍后将进行解释。同时，灰色图像提供产生在显示模块900上的最终图像所需的亮度信息。
可选择地，当相机模块200提供的多个原始图像511、521、531和541具有非均衡灵敏度级时，输入模块810可基于特定的原始图像的灵敏度来调整剩余原始图像的灵敏度级。例如，输入模块810可基于最小灵敏度级来调整各个原始图像的灵敏度级。更详细地讲，假设第一至第四原始图像511、521、531和541分别具有5、7、10、9的灵敏度级，则输入模块810基于第一原始图像511的灵敏度级将剩余原始图像的灵敏度级调整到5。
同时，即使各个透镜310至340在相机模块200的固定位置，也可能由于外部震动等导致各个透镜的位置与它们的指定位置没有对准。各个透镜310至340的这种未对准使得原始图像511、521、531和541分别偏离它们在各个子检测区域510、520、530和540上的指定位置，从而难以获得清楚、清晰的图像。因此，有必要校准光学上的未对准，光学上的未对准可能引起原始图像511、521、531和541形成在与它们的指定位置未对准的位置上。
当形成的原始图像511、521、531和541的位置与它们的指定位置不同时，输入模块810校准原始图像511、521、531和541位置的未对准。更详细地讲，当从预定目标反射的光束通过透镜单元200和滤波器单元300到达子检测区域510、520、530和540时，在分别与各个透镜310、320、330和340相应的各个子检测区域510、520、530和540上形成原始图像511、521、531和541。这里，输入模块810检查在子检测区域510、520、530和540上形成的各个原始图像511、521、531和541的位置，并校准位置的未对准，这将参照图8进行更详细的解释。
图8示出在多个子检测区域形成的原始图像。
参照图8，尽管第二原始图像521的位置与指定位置700相同，但是第一原始图像511从指定位置700向右移动了一个像素。第三原始图像531从指定位置700向下移动了一个像素，第四原始图像541从指定位置700对角移动了一个像素，即，从指定位置700在向右和向下方向上移动各一个像素。
在这种情况下，输入模块810将第一原始图像511整体向右方向上移动一个像素，然后将第三原始图像531整体向上方向上移动一个像素，从而校准了原始图像511和531的光学上的未对准，从而原始图像511和531正常地位于它们的指定位置。以这种方式，输入模块810将第四原始图像541整体向上方向上移动一个像素，然后将原始图像541整体向左方向上移动一个像素，从而校准了第四原始图像541的光学上的未对准，从而第四原始图像541正常地位于它的指定位置。
将原始图像511、521、531和541提供给稍后将解释的中间图像产生模块820。
中间图像产生模块820将输入模块810提供的各个原始图像511、521、531和541的相同位置的像素的像素信息进行重新排列，从而可产生对每个颜色具有比原始图像分辨率高的中间图像。此时，中间图像可具有与检测区域510、520、530和540相同的分辨率。例如，如果上述图像传感器单元500的每个子检测区域具有分辨率4×4，则中间图像可具有与整个检测区域510、520、530和540相同的分辨率8×8。将中间图像提供给稍后将解释的最终图像产生模块830。
基于从中间图像产生模块820接收的中间图像，最终图像产生模块830产生最终图像90。稍后将参照图9A至图11B来解释关于中间图像和最终图像的产生的更具体的细节。
显示模块900显示最终图像产生模块830提供的最终图像。显示模块900可按例如平板显示器或触摸屏的形式来实现，但是并不限于这些形式。
接着，现在将参照图9A和图9B来解释根据本发明实施例的恢复图像的方法。图9A是示出根据本发明实施例的恢复图像的方法的流程图，图9B示出通过相机模块200获得多个原始图像511、521、531和541的处理。
为了便于解释，假设分别在第一子滤波区域410至第四子滤波区域440中形成红色、绿色、蓝色和灰色滤波器。另外，假设图像传感器500的检测区域510、520、530和540形成有8×8像素(宽×高)，每个子检测区域510、520、530和540形成有4×4(宽×高)像素。
首先，在操作S810，通过四个透镜310、320、330和340将从预定目标10反射的光束聚集。分别通过与透镜310、320、330和340相应的子滤波区域410、420、430和440传输通过透镜310、320、330和340聚集的光束。通过子滤波区域410、420、430和440传输的光束分别被会聚在与子滤波区域410、420、430和440相应的子检测区域510、520、530和540。结果，在操作S820滤波之后，在操作S830，通过各个子检测区域510、520、530和540获得多个原始图像511、521、531和541。通过每个子检测区域510、520、530和540获得的图像具有整个检测区域510、520、530和540的分辨率的四分之一的分辨率。即，因为整个检测区域510、520、530和540的分辨率是8×8，所以多个原始图像511、521、531和541中的每一个具有4×4的分辨率。在操作S830，当多个原始图像具有非均衡灵敏度级时，获得原始图像的步骤可包括：基于所述多个原始图像之中的特定原始图像的灵敏度来校准原始图像的灵敏度的非均衡，所述特定原始图像具有最小灵敏度级。另外，在操作S830，当原始图像511、521、531和541的位置与指定位置不同时，获得原始图像的步骤可包括：校准原始图像511、521、531和541的位置的未对准。然后，在操作S840，基于所述多个原始图像，图像产生模块800产生具有比原始图像511、521、531和541中的每一个的分辨率高的分辨率的最终图像90。稍后将参照图10A至图11B来解释关于产生最终图像的更具体的细节。
在操作S850，通过显示模块900来显示图像产生模块800产生的最终图像90。
接着，参照图10A和图10B来解释根据本发明实施例的产生最终图像的操作。这里，图10A是更详细地示出根据本发明实施例的产生最终图像的操作的流程图，图10B示出在图10A中示出的产生最终图像的处理。
可将根据本发明实施例的产生最终图像的处理应用于当透镜单元300的多个透镜310至340都位于参考位置时的情况。
首先，如果相机模块200提供了多个原始图像511、521、531和541，则中间图像产生模块820产生具有与检测区域510、520、530和540相应的分辨率的第一中间图像。例如，在操作S841，产生如图10B所示具有与检测区域相同分辨率的第一中间图像。这里，可将第一中间图像划分成与颜色滤波的排列模式相应的包括多个像素的多个像素组610、620、630和640。例如，可将第一中间图像划分成多个像素组610、620、630和640，每个像素组由2×2虚拟像素(宽×高)构成。这里，在每个像素组610、620、630和640中，可将像素划分成：主像素611、621、631和641，其上映射有颜色和亮度信息；和子像素612、622、632和642，位于主像素611、621、631和641的附近，不具有信息。
可将主像素的位置设置到每个像素组中的多个位置。例如，在如图10B所示的2×2像素构成的每个像素组中，可将与第一行第一列相应的位置确定为主像素的位置。作为另一示例，可将每个像素组中与第一行第二列相应的位置确定为主像素的位置。
因此，如果产生了第一中间图像，则中间图像产生模块820将各个原始颜色分开图像中相同位置的像素的像素信息映射到与该相同位置相应的像素组的主像素上。例如，中间图像产生模块820将各个原始颜色分开图像的第一行第一列的像素的像素信息映射到位于中间图像中的第一行第一列的像素组610的主像素611上。同样，中间图像产生模块820将各个原始颜色分开图像的第一行第二列的像素的像素信息映射到位于第一中间图像的第一行第二列的像素组620的主像素621上。
另外，中间图像产生模块820基于各个原始的颜色分开图像中相同位置的像素的像素信息中的颜色信息来计算亮度信息，并将计算的亮度信息映射到每个像素组的主像素上。例如，中间图像产生模块820基于位于红色、绿色和蓝色图像的第一行第一列的像素提供的颜色信息来计算亮度信息。然后，将计算的亮度信息映射到位于第一中间图像的第一行第一列的像素组的主像素上。
参照图10B，可以看出，将分别由第一至第三子检测区域510、520和530提供的红色(R)、绿色(G)和蓝色(B)颜色信息、第四子检测区域540提供的亮度信息(Y’)、以及从3条颜色信息中检测的亮度信息(Y)映射到各个像素组的主像素上。例如，可以看出，在第一像素组610的主像素611上，映射以下信息：位于红色图像511的第一行第一列的像素的红色(R)颜色信息、位于绿色图像521的第一行第一列的像素的绿色(G)颜色信息、位于蓝色图像531的第一行第一列的像素的蓝色(B)颜色信息、位于灰色图像541的第一行第一列的像素的亮度信息(Y’)、以及基于三条颜色信息检测到的亮度信息(Y)。同样，可以看出，在第二像素组620的主像素621上，映射以下信息：位于红色图像511的第一行第二列的像素的红色(R)颜色信息、位于绿色图像521的第一行第二列的像素的绿色(G)颜色信息、位于蓝色图像531的第一行第二列的像素的蓝色(B)颜色信息、位于灰色图像541的第一行第二列的像素的亮度信息(Y’)、以及基于已经提供的三条颜色信息而检测到的亮度信息(Y)。
因此，在操作S842，中间图像产生模块820产生第二中间图像600，在第二中间图像600中，3条颜色信息和2条亮度信息被映射到每个像素组的主像素上。这里，在第二中间图像600中，因为3条颜色信息都被映射到各个像素组的主像素中，所以在后面的处理中可跳过去马赛克操作。
然后，通过使用插值方法，在操作S843，中间图像产生模块820对第二中间图像进行插值。即，中间图像产生模块820基于像素组610、620和630的主像素611、621和631的信息来计算将被记录在每个子像素中的像素信息。
中间图像产生模块820可根据各种算法来对第二中间图像600进行插值。例如，可从与子像素相邻的主像素拥有的信息来计算将被记录在第二中间图像600的每个子像素中的像素信息。更具体地讲，在图10B中，将被记录在位于第一像素组610的主像素611和第二像素组620的主像素621之间的子像素612中的像素信息可被确定为两个主像素611和621的像素信息的平均值。同样，将被记录在位于第二像素组620的主像素621和第三像素组630的主像素631之间的子像素622中的像素信息可被确定为两个主像素621和631的像素信息的平均值。
如果以这样的方式来执行第二中间图像600的插值，则在操作S844，最终图像产生模块830对插值的第二中间图像执行去模糊。结果，从通过每个子检测区域获得的具有低分辨率(即，子检测区域的分辨率)的原始颜色分开图像来产生具有高分辨率(即，子检测区域的分辨率×4)的最终图像90。
接着，将参照图11A和图11B来解释根据本发明另一实施例的产生最终图像的操作。这里，图11A是更详细地示出根据本发明实施例的产生最终图像的操作的流程图，图11B示出用于对图11A的像素信息进行重新排列的操作S846。
可将根据本发明的该实施例的产生最终图像的方法应用于以下情况：相机模块200中的透镜单元300的多个透镜位于从预定透镜的位置移动了预定数量的像素的位置。在下文中，基于以下假设进行解释：从第二透镜的位置，第一透镜向右移动一个像素，第三透镜向下移动一个像素，第四透镜对角移动一个像素，即，从预定透镜的位置在向右和向下方向上各移动一个像素。
如果从相机模块200提供了多个原始图像511、521、531和541，则在操作S846，中间图像产生模块820通过根据颜色滤波器的排列模式对各个原始图像511、521、531和541中相同位置的像素的像素信息进行重新排列，来产生中间图像60。
更具体地讲，可将中间图像60划分成与颜色滤波器的排列模式相应的包括多个像素的多个像素组。例如，如果滤波器单元400中形成的颜色滤波器的模式是1×4矩阵形式，则可将中间图像划分成多个像素组，每个像素组由1×4像素(宽×高)构成。如果滤波器单元400中形成的颜色滤波器的模式是2×2矩阵形式，则可将中间图像划分成多个像素组，每个像素组由2×2像素(宽×高)构成。
图11B示出将虚拟图像划分成多个像素组61、62、63和64的情况，其中，每一组都由2×2像素(宽×高)构成。
参照图11B，可以看出，可根据颜色滤波器的模式，将位于各个原始图像511、521、531和541的第一行第一列的像素的像素信息映射到位于中间图像60的第一行第一列的像素组61上。
如果产生了如图11B所示的中间图像60，则在操作S847，中间图像产生模块820对中间图像执行去马赛克。将去马赛克后的中间图像提供给最终图像产生模块830。
然后，在操作S848，最终图像产生模块830对去马赛克的中间图像执行去模糊。结果，从通过每个子检测区域获得的具有低分辨率(即，子检测区域的分辨率)的原始颜色分开图像来产生具有高分辨率(即，子检测区域的分辨率×4)的最终图像90。
接着，将解释根据本发明第二实施例的相机模块20。图12是根据本发明第二实施例的相机模块20的内部结构的透视图。根据本发明第二实施例的相机模块20除了以下特征外，具有与图3的根据本发明第一实施例的相机模块200相同的结构。
即，在根据第二实施例的相机模块20中，构成透镜单元30的多个透镜31、32、33和34具有彼此不同的颜色。这里，可关于透光率来将透镜单元30划分成第一组和第二组。第一组可包括多个透镜，第二组可包括一个透镜。
这里，第二组中包括的透镜34可具有比第一组中包括的透镜31、32和33透光率高的颜色。例如，如果在4个透镜之中，第一组包括具有红色的第一透镜31、具有绿色的第二透镜32和具有蓝色的第三透镜33，则第二组中包括的第四透镜34可具有比红色、绿色和蓝色的透光率高的透光率的颜色，例如，它可具有灰色。
因此，当多个透镜31、32、33和34具有不同颜色时，在滤波器单元40中不形成单独的颜色滤波器层。在滤波器单元40中可选择性地形成红外线阻挡滤波器(未示出)。
另外，将图像传感器单元500的检测区域划分成分别与透镜31、32、33和34相应的多个子检测区域510、520、530和540。通过各个子检测区域510、520、530和540可获得通过各个透镜31、32、33和34的原始图像511、521、531和541。
根据如上所述的用于恢复图像的方法和设备，可获得一个或多个下面的效果。
所述方法和设备提供了可用小型相机模块获得高分辨率图像的优点。
相机模块可被小型化，从而当设计安装有相机模块的数字装置时更多数量的选项是可用的。
颜色滤波器层和用于使颜色滤波器层平坦化的平坦化层不是形成在图像传感器的内部，因此微透镜和光电检测器之间的间距变窄，从而由于平坦化层的厚度导致的光损失和串扰可被减少。
另外，因为颜色滤波器不形成在图像传感器上，而是形成在独立的基底上，所以图像传感器的制造工艺可被简化。
由于省略了形成颜色滤波器图案的工艺，从而可节省用于形成颜色滤波器层的油墨。
通过使用具有不同透光率的颜色滤波器，甚至不用改变图像传感器单元的结构，就可同时实现高灵敏度检测区域和低灵敏度检测区域。
尽管已显示和描述了本发明的一些实施例，但是本领域的技术人员应该理解，在不脱离本发明的原理和精神的情况下，可在这些实施例中进行改变，其中，本发明的范围由权利要求及其等同物限定。

Claims (42)

1.一种恢复图像的方法，包括：
通过包括多个透镜和分别与所述多个透镜相应的多个图像检测区域的相机模块来获得多个原始颜色分开图像；
从所述多个原始颜色分开图像产生具有与检测区域的分辨率相应的分别率的第一中间图像；
将第一中间图像划分成多个像素组；
产生第二中间图像，产生第二中间图像的步骤包括：将各个原始颜色分开图像中相同位置的像素的像素信息映射到与各个相同位置相应的第一中间图像中像素组的预定像素上；和
产生最终图像，产生最终图像的步骤包括对第二中间图像插值，其中，每个像素组包括与颜色滤波器的排列模式相应的多个像素。
2.如权利要求1所述的方法，其中，当所述多个原始颜色分开图像的位置与各个子检测区域的指定位置未对准时，获得原始颜色分开图像的步骤包括：校准所述原始颜色分开图像的位置的未对准。
3.如权利要求1所述的方法，其中，当所述多个原始颜色分开图像具有非均衡灵敏度级时，获得原始图像的步骤包括：基于所述多个原始颜色分开图像之中特定原始颜色分开图像的灵敏度，来校准所述多个原始颜色分开图像的灵敏度的非均衡，所述特定原始颜色分开图像具有最低灵敏度级。
4.如权利要求1所述的方法，其中，获得原始颜色分开图像的步骤包括：
通过使用所述多个透镜来聚集入射光；
通过分别与所述多个透镜相应的多个滤波区域来对入射光进行滤波，在每个滤波区域中形成有不同的颜色滤波器；和
通过图像检测区域来获得所述原始颜色分开图像，所述图像检测区域形成有距所述多个滤波区域的预定间隔，并分别与滤波区域相应。
5.如权利要求4所述的方法，还包括：根据各个颜色滤波器的透光率来将滤波区域划分成第一滤波区域和第二滤波区域，在第一滤波区域中形成的颜色滤波器的透光率高于在第二滤波区域中形成的颜色滤波器的透光率，将图像检测区域划分成分别与第一滤波区域和第二滤波区域相应的第一检测区域和第二检测区域，第一检测区域中包括的子检测区域上会聚的光量大于第二检测区域中包括的子检测区域上会聚的光量。
6.如权利要求5所述的方法，其中，所述像素信息包括由第一检测区域中包括的子检测区域提供的亮度信息和由第二检测区域中包括的子检测区域提供的颜色信息。
7.如权利要求1所述的方法，其中，获得多个原始图像的步骤包括：
通过使用多个透镜来聚集入射光，所述多个透镜具有不同颜色；和
通过分别与所述多个透镜相应的多个图像检测区域来获得多个原始颜色分开图像。
8.如权利要求7所述的方法，还包括：根据透镜的透光率来将透镜划分成第一透镜单元和第二透镜单元，第一透镜单元中包括的透镜的透光率高于第二透镜单元中包括的透镜的透光率，将检测区域划分成分别与第一透镜单元和第二透镜单元相应的第一检测区域和第二检测区域，第一检测区域中包括的子检测区域上会聚的光量大于第二检测区域中包括的子检测区域上会聚的光量。
9.如权利要求8所述的方法，其中，所述像素信息包括由第一检测区域中包括的子检测区域提供的亮度信息和由第二检测区域中包括的子检测区域提供的颜色信息。
10.如权利要求1所述的方法，其中，所述多个透镜同平面放置。
11.一种恢复图像的方法，包括：
通过包括多个透镜和分别与所述多个透镜相应的多个图像检测区域的相机模块来获得多个原始颜色分开图像；
产生中间图像，产生中间图像的步骤包括：根据相机模块的颜色滤波器的排列模式将各个原始颜色分开图像中相同位置的像素的像素信息进行重新排列；和
产生最终图像，产生最终图像的步骤包括将中间图像去马赛克。
12.如权利要求11所述的方法，还包括：将除了所述多个透镜中的一个预定透镜之外的透镜置于从所述预定透镜的位置移动预定数量像素的位置。
13.如权利要求11所述的方法，其中，当所述多个原始颜色分开图像的位置与相机模块的各个子检测区域的指定位置未对准时，获得原始图像的步骤包括：校准所述原始颜色分开图像的位置的未对准。
14.如权利要求11所述的方法，其中，当所述多个原始颜色分开图像具有非均衡灵敏度级时，获得原始图像的步骤包括：基于所述多个原始颜色分开图像之中特定原始颜色分开图像的灵敏度，来校准所述多个原始颜色分开图像的灵敏度的非均衡，所述特定原始颜色分开图像具有最低灵敏度级。
15.如权利要求11所述的方法，其中，获得多个原始图像的步骤包括：
通过使用所述多个透镜来聚集入射光；
通过分别与所述多个透镜的区域相应的多个滤波区域来对入射光进行滤波，在每个滤波区域中形成有不同的颜色滤波器；和
通过图像检测区域来获得所述原始颜色分开图像，所述图像检测区域形成有距所述多个滤波区域的预定间隔，并分别与滤波区域相应。
16.如权利要求15所述的方法，还包括：根据各个颜色滤波器的透光率来将滤波区域划分成第一滤波区域和第二滤波区域，在第一滤波区域中形成的颜色滤波器的透光率高于在第二滤波区域中形成的颜色滤波器的透光率，将图像检测区域划分成分别与第一滤波区域和第二滤波区域相应的第一检测区域和第二检测区域，第一检测区域中包括的子检测区域上会聚的入射光的量大于第二检测区域中包括的子检测区域上会聚的入射光的量。
17.如权利要求16所述的方法，其中，所述像素信息包括由第一检测区域中包括的子检测区域提供的亮度信息和由第二检测区域中包括的子检测区域提供的颜色信息。
18.如权利要求11所述的方法，其中，获得多个原始图像的步骤包括：
通过使用具有不同颜色的多个透镜来聚集入射光；和
通过分别与所述多个透镜相应的多个图像检测区域来获得所述多个原始颜色分开图像。
19.如权利要求18所述的方法，还包括：根据透镜的透光率来将透镜划分成第一透镜单元和第二透镜单元，第一透镜单元中包括的透镜的透光率高于第二透镜单元中包括的透镜的透光率，将检测区域划分成分别与第一透镜单元和第二透镜单元相应的第一检测区域和第二检测区域，第一检测区域中包括的子检测区域上会聚的入射光的量大于第二检测区域中包括的子检测区域上会聚的入射光的量。
20.如权利要求19所述的方法，其中，所述像素信息包括由第一检测区域中包括的子检测区域提供的亮度信息和由第二检测区域中包括的子检测区域提供的颜色信息。
21.如权利要求11所述的方法，还包括：同平面排列所述多个透镜。
22.一种恢复图像的设备，包括：
相机模块；
输入模块，接收通过相机模块获得的多个原始颜色分开图像，所述相机模块包括多个透镜和分别与所述多个透镜相应的多个图像检测区域；
中间图像产生模块，产生与图像检测区域相应并被划分成多个像素组的第一中间图像，通过将各个原始颜色分开图像中相同位置的像素的像素信息映射到与所述相同位置相应的第一中间图像中像素组的多个像素的一个预定像素上来产生第二中间图像；
最终图像产生模块，通过对第二中间图像插值来产生最终图像；和
颜色滤波器，
其中，每个像素组包括与颜色滤波器的排列模式相应的多个像素。
23.如权利要求22所述的设备，其中，当所述多个原始颜色分开图像的位置与图像检测区域的各个子检测区域的指定位置未对准时，输入模块校准所述原始颜色分开图像的位置的未对准。
24.如权利要求22所述的设备，其中，当所述多个原始颜色分开图像具有非均衡灵敏度级时，输入模块基于所述多个原始颜色分开图像之中一个特定原始颜色分开图像的灵敏度，来校准所述多个原始颜色分开图像的灵敏度的不均衡，所述特定原始颜色分开图像具有最低灵敏度级。
25.如权利要求22所述的设备，其中，相机模块还包括：
透镜单元，包括多个透镜，其中，所述多个透镜聚集入射光；
滤波器单元，通过分别与所述多个透镜相应的多个滤波区域来对入射光进行滤波，在每个滤波区域中形成有不同的颜色滤波器；和
图像传感器单元，通过图像检测区域来获得所述原始颜色分开图像，所述图像检测区域形成有距所述多个滤波区域的预定间隔，并分别与滤波区域相应。
26.如权利要求25所述的设备，其中，根据各个颜色滤波器的透光率来将滤波区域划分成第一滤波区域和第二滤波区域，在第一滤波区域中形成的颜色滤波器的透光率高于在第二滤波区域中形成的颜色滤波器的透光率，将图像检测区域划分成分别与第一滤波区域和第二滤波区域相应的第一检测区域和第二检测区域，第一检测区域中包括的子检测区域上会聚的入射光的量大于第二检测区域中包括的子检测区域上会聚的入射光的量。
27.如权利要求26所述的设备，其中，所述像素信息包括由第一检测区域中包括的子检测区域提供的亮度信息和由第二检测区域中包括的子检测区域提供的颜色信息。
28.如权利要求22所述的设备，其中，相机模块还包括：
包括透镜的多个透镜单元，其中，所述多个透镜具有不同颜色，并聚集入射光；和
图像传感器单元，通过分别与所述多个透镜的区域相应的多个图像检测区域来获得多个原始颜色分开图像。
29.如权利要求28所述的设备，其中，根据透镜的透光率来将透镜划分成第一透镜单元和第二透镜单元，第一透镜单元中包括的透镜的透光率高于第二透镜单元中包括的透镜的透光率，将检测区域划分成分别与第一透镜单元和第二透镜单元相应的第一检测区域和第二检测区域，第一检测区域中包括的子检测区域上会聚的入射光的量大于第二检测区域中包括的子检测区域上会聚的光量。
30.如权利要求29所述的设备，其中，所述像素信息包括由第一检测区域中包括的子检测区域提供的亮度信息和由第二检测区域中包括的子检测区域提供的颜色信息。
31.如权利要求22所述的设备，其中，所述多个透镜同平面排列。
32.一种恢复图像的设备，包括：
输入模块，通过相机模块接收多个原始颜色分开图像，所述相机模块包括多个透镜和分别与所述多个透镜相应的多个图像检测区域；
颜色滤波器；
图像产生模块，通过根据颜色滤波器的排列模式将各个原始颜色分开图像中相同位置的像素的像素信息重新排列来产生中间图像；和
最终图像产生模块，通过将中间图像去马赛克来产生最终图像。
33.如权利要求32所述的设备，其中，在所述多个透镜中，除了预定透镜之外的透镜被置于从所述预定透镜的位置移动预定数量像素的位置。
34.如权利要求32所述的设备，其中，当所述多个原始颜色分开图像的位置与图像检测区域的各个子检测区域的指定位置未对准时，输入模块校准原始图像的位置的未对准。
35.如权利要求32所述的设备，其中，当所述多个原始颜色分开图像具有非均衡灵敏度级时，输入模块基于所述多个原始颜色分开图像之中一个特定原始颜色分开图像的灵敏度，来校准所述多个原始颜色分开图像的灵敏度的非均衡，所述特定原始颜色分开图像具有最低灵敏度级。
36.如权利要求32所述的设备，其中，相机模块还包括：
透镜单元，包括多个透镜，其中，所述多个透镜聚集入射光；
滤波器单元，通过分别与所述多个透镜相应的多个滤波区域来对入射光进行滤波，在每个滤波区域中形成有不同的颜色滤波器；和
图像传感器单元，通过图像检测区域来获得所述原始颜色分开图像，所述图像检测区域形成有距所述滤波区域的预定间隔，并分别与滤波区域相应。
37.如权利要求36所述的设备，其中，根据各个颜色滤波器的透光率来将滤波区域划分成第一滤波区域和第二滤波区域，在第一滤波区域中形成的颜色滤波器的透光率高于在第二滤波区域中形成的颜色滤波器的透光率，将图像检测区域划分成分别与第一滤波区域和第二滤波区域相应的第一检测区域和第二检测区域，第一检测区域中包括的子检测区域上会聚的入射光的量大于第二检测区域中包括的子检测区域上会聚的入射光的量。
38.如权利要求37所述的设备，其中，所述像素信息包括由第一检测区域中包括的子检测区域提供的亮度信息和由第二检测区域中包括的子检测区域提供的颜色信息。
39.如权利要求32所述的设备，其中，相机模块还包括：
多个透镜，所述多个透镜具有不同颜色；和
图像传感器单元，通过分别与所述多个透镜相应的多个图像检测区域来获得所述多个原始颜色分开图像。
40.如权利要求39所述的设备，其中，根据透镜的透光率来将透镜划分成第一透镜单元和第二透镜单元，第一透镜单元中包括的透镜的透光率高于第二透镜单元中包括的透镜的透光率，将检测区域划分成分别与第一透镜单元和第二透镜单元相应的第一检测区域和第二检测区域，第一检测区域中包括的子检测区域上会聚的入射光的量大于第二检测区域中包括的子检测区域上会聚的入射光的量。
41.如权利要求40所述的设备，其中，所述像素信息包括由第一检测区域中包括的子检测区域提供的亮度信息和由第二检测区域中包括的子检测区域提供的颜色信息。
42.如权利要求32所述的设备，其中，所述多个透镜同平面排列。
CN2007101126721A 2006-06-26 2007-06-26 用于图像处理的方法和设备 Expired - Fee Related CN101106641B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2006-0057661 2006-06-26
KR1020060057661 2006-06-26
KR20060057661 2006-06-26
KR1020060105349 2006-10-27
KR1020060105349A KR100827242B1 (ko) 2006-06-26 2006-10-27 이미지 복원 방법 및 장치
KR10-2006-0105349 2006-10-27

Publications (2)

Publication Number Publication Date
CN101106641A CN101106641A (zh) 2008-01-16
CN101106641B true CN101106641B (zh) 2010-09-08

Family

ID=38473901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101126721A Expired - Fee Related CN101106641B (zh) 2006-06-26 2007-06-26 用于图像处理的方法和设备

Country Status (5)

Country Link
US (1) US20080030596A1 (zh)
EP (1) EP1873713A3 (zh)
JP (1) JP2008011532A (zh)
KR (1) KR100827242B1 (zh)
CN (1) CN101106641B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842749A (zh) * 2017-11-24 2019-06-04 三星电子株式会社 用于恢复图像的方法和设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
KR101086501B1 (ko) 2008-11-26 2011-11-25 주식회사 하이닉스반도체 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
JP2011035737A (ja) * 2009-08-03 2011-02-17 Olympus Corp 撮像装置、電子機器、画像処理装置及び画像処理方法
JP5404376B2 (ja) * 2009-12-24 2014-01-29 株式会社東芝 カメラモジュール及び画像処理装置
AU2011296953A1 (en) * 2010-09-03 2013-03-14 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
US20180357750A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Demosaicking for multi-cell image sensor
KR102653106B1 (ko) * 2018-10-18 2024-04-01 삼성전자주식회사 영상 처리 장치 및 방법
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
KR20210051242A (ko) 2019-10-30 2021-05-10 삼성전자주식회사 멀티 렌즈 영상 복원 장치 및 방법
CN115280766B (zh) * 2020-03-06 2024-05-03 Oppo广东移动通信有限公司 图像传感器、成像装置、电子设备、图像处理***及信号处理方法
KR20230111379A (ko) 2022-01-18 2023-07-25 삼성전자주식회사 이미지 센서 및 이미징 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP2002135796A (ja) * 2000-10-25 2002-05-10 Canon Inc 撮像装置
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
KR100748325B1 (ko) * 2001-06-28 2007-08-09 매그나칩 반도체 유한회사 이미지센서
KR20030039713A (ko) * 2001-11-14 2003-05-22 주식회사 하이닉스반도체 이미지센서 및 그 제조 방법
US20050128509A1 (en) * 2003-12-11 2005-06-16 Timo Tokkonen Image creating method and imaging device
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置
US7123298B2 (en) * 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
JP4797151B2 (ja) * 2004-01-26 2011-10-19 テッセラ・ノース・アメリカ・インコーポレイテッド サブピクセル解像度を有する薄型カメラ
KR20050103027A (ko) * 2004-04-23 2005-10-27 매그나칩 반도체 유한회사 노치 필터를 갖는 이미지센서 및 그 제조 방법
KR100640972B1 (ko) * 2004-07-15 2006-11-02 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그의 제조 방법
JP2006066596A (ja) * 2004-08-26 2006-03-09 Fuji Photo Film Co Ltd 撮像素子、着色マイクロレンズアレイの製造方法、および画像撮影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842749A (zh) * 2017-11-24 2019-06-04 三星电子株式会社 用于恢复图像的方法和设备
CN109842749B (zh) * 2017-11-24 2021-12-07 三星电子株式会社 用于恢复图像的方法和设备

Also Published As

Publication number Publication date
JP2008011532A (ja) 2008-01-17
EP1873713A2 (en) 2008-01-02
KR20070122347A (ko) 2007-12-31
EP1873713A3 (en) 2010-01-20
CN101106641A (zh) 2008-01-16
KR100827242B1 (ko) 2008-05-07
US20080030596A1 (en) 2008-02-07

Similar Documents

Publication Publication Date Title
CN101106641B (zh) 用于图像处理的方法和设备
EP1871091A2 (en) Camera Module
US10158832B2 (en) Lens and color filter arrangement, super-resolution camera system and method
US10015416B2 (en) Imaging systems with high dynamic range and phase detection pixels
CN1934872B (zh) 具有子像素分辨率的薄式照相机
KR101244147B1 (ko) 물리 정보 취득 방법, 물리 정보 취득 장치 및 반도체 장치
JP4709958B2 (ja) 各センサ素子領域上に像を形成する結像素子アレイを備えたカラーイメージセンサ
KR101442313B1 (ko) 카메라 센서 교정
CN103579268B (zh) 具有色彩滤光器的分割图像传感器的透镜阵列
CN204697179U (zh) 具有像素阵列的图像传感器
US9535197B2 (en) Color filter array, image sensor including the same, and infrared data acquisition method using the same
EP0944267A2 (en) A color filter array in a color image pickup device
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
JP2007520107A (ja) センサ素子の各領域上に画像を形成する撮像素子を備えたカラーイメージセンサ
JP2006033493A (ja) 撮像装置
TWI600927B (zh) 用於減少顏色混疊之彩色濾光器陣列圖案
CN102710902A (zh) 多通道图像传感器
WO2008042137A2 (en) Imaging method, apparatus and system having extended depth of field
JP2001523929A (ja) 光電子カメラおよびそれで画像をフォーマッティングする方法
CN101098399A (zh) 恢复高像素图像的设备和方法
US8711257B2 (en) Color imaging device
EP2784820A1 (en) Solid state imaging device
EP1575303A1 (en) Color filter patterns for image sensors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100908

Termination date: 20170626

CF01 Termination of patent right due to non-payment of annual fee