CN105721841A - 高分辨率阵列摄像机 - Google Patents

高分辨率阵列摄像机 Download PDF

Info

Publication number
CN105721841A
CN105721841A CN201510795403.4A CN201510795403A CN105721841A CN 105721841 A CN105721841 A CN 105721841A CN 201510795403 A CN201510795403 A CN 201510795403A CN 105721841 A CN105721841 A CN 105721841A
Authority
CN
China
Prior art keywords
image
resolution
image sensor
pixel data
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510795403.4A
Other languages
English (en)
Other versions
CN105721841B (zh
Inventor
刘成明
单继璋
刘关松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN105721841A publication Critical patent/CN105721841A/zh
Application granted granted Critical
Publication of CN105721841B publication Critical patent/CN105721841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请案涉及一种高分辨率阵列摄像机。一种产生高分辨率彩色图像的方法包含将第一图像聚焦到具有P分辨率的单色图像传感器上及将第二图像聚焦到具有Q分辨率的彩色图像传感器上,其中Q<P,且其中所述第一图像为与所述第二图像相同的图像。产生代表来自所述单色图像传感器的所述第一图像的P分辨率像素数据。产生代表来自所述彩色图像传感器的所述第二图像的Q分辨率像素数据。组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据以产生R分辨率彩色图像,其中P<R≤(P+Q)。

Description

高分辨率阵列摄像机
技术领域
本发明涉及摄像机。详细地说,本发明的实施例为相关高分辨率彩色图像摄像机。
背景技术
图像传感器用于广泛范围的应用中,所述应用包含(例如)智能手机、网络摄像机、数字摄像机,以及其它商业及医学应用。随着技术不断地进步,越来越多地需求较小且较高分辨率的图像传感器。举例来说,越来越多地需求具有0.8μm像素的彩色图像传感器。然而,与制造1.12μm彩色图像传感器相比较,制造0.8μm彩色图像传感器较昂贵。因而,期望用以产生类似于用0.8μm彩色图像传感器所提供的彩色图像的彩色图像的较不昂贵方式。
发明内容
一方面,本申请案涉及一种产生高分辨率彩色图像的方法。所述方法包括:将第一图像聚焦到具有P分辨率的单色图像传感器上;将第二图像聚焦到具有Q分辨率的彩色图像传感器上,其中Q<P,且其中所述第一图像为与所述第二图像相同的图像;产生代表来自所述单色图像传感器的所述第一图像的P分辨率像素数据;产生代表来自所述彩色图像传感器的所述第二图像的Q分辨率像素数据;及组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据以产生R分辨率彩色图像,其中P<R≤(P+Q)。
另一方面,本申请案涉及一种阵列摄像机。所述阵列摄像机包括:第一摄像机模块,其包含:第一透镜***;具有P分辨率的单色图像传感器,其中所述第一透镜***经光学耦合以将第一图像聚焦到所述单色图像传感器上;第二摄像机模块,其包含:第二透镜***,其中所述第二透镜***与所述第一透镜***相同;具有Q分辨率的彩色图像传感器,其中Q<P,其中所述第二透镜***经光学耦合以将第二图像聚焦到所述彩色图像传感器上,其中所述第一图像为与所述第二图像相同的图像;及处理块,其经耦合以从代表所述第一图像的所述第一摄像机模块接收P分辨率像素数据及从代表所述第二图像的所述第二摄像机模块接收Q分辨率像素数据,其中所述处理块经耦合以组合来自所述第一摄像机模块的所述P分辨率像素数据与来自所述第二摄像机的所述Q分辨率像素数据以产生R分辨率彩色图像,其中P<R≤(P+Q)。
附图说明
参考以下诸图描述本发明的非限制性且非详尽的实施例,其中相似的参考数字是指贯穿各种视图的相似部分,除非另有指定。
图1展示根据本发明的教示的包含两个摄像机模块的成像***的实例。
图2示意性地展示根据本发明的教示的不具有彩色滤光片阵列的第一图像传感器及具有彩色滤光片阵列的第二图像传感器。
图3展示根据本发明的教示的实例成像***的框图。
图4展示根据本发明的教示的其中具有相同大小的两个图像被组合的实例。
图5A展示根据本发明的教示的由具有Y信息的像素数据的第一分辨率的第一图像传感器产生的实例第一图像。
图5B展示根据本发明的教示的由具有YUV信息的像素数据的第二分辨率的第二图像传感器产生的实例第二图像。
图5C展示根据本发明的教示的其中第一及第二图像经组合而引起具有第三分辨率的第三图像的实例。
图6A展示根据本发明的教示的具有均匀分布相异的实例图像。
图6B展示根据本发明的教示的具有经重新采样内插像素的实例图像。
图7展示根据本发明的教示的实例,其中任意单位的第一行中的第二图像的第一及最后像素在垂直及水平方向两者上从任意单位的第一行中的第一图像的第一及最后像素移位了像素的一半以形成第三图像。
图8展示根据本发明的教示的用于组合彩色图像与单色图像的实例过程的流程图,其中与单色图像相比较,彩色图像具有较低分辨率。
图9为根据本发明的教示的展示可经执行以组合单色图像与彩色图像的处理的实例的进一步细节的实例流程图的说明。
对应的参考字符指示贯穿图式的若干视图的对应组件。所属领域的技术人员将了解,图中的元件是出于简单及清楚起见而说明,且未必按比例绘制。举例来说,图中的一些元件的尺寸可相对于其它元件而被夸示以帮助改进对本发明的各种实施例的理解。并且,为了促进对本发明的这些各种实施例的较不妨碍的观察,常常不描绘在商业可行实施例中有用或必要的常见而很好理解的元件。
具体实施方式
揭示用于实施高分辨率阵列摄像机的方法及设备。在以下描述中,陈述众多特定细节以提供对本发明的透彻理解。然而,相关领域的技术人员将认识到,可在不用所述特定细节中的一或多者或用其它方法、组件、材料等等的情况下实践本文中描述的技术。在其它情况下,未详细地展示或描述众所周知的结构、材料或操作以避免混淆某些方面。
贯穿本说明书而对“一个实施例”或“实施例”的参考意味着结合所述实施例而描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因而,贯穿本说明书在各种地方出现的短语“在一个实施例中”或“在实施例中”未必都是指同一实施例。此外,在一或多个实施例中可以任何合适方式组合特定特征、结构或特性。
贯穿本说明书,使用若干专门术语。这些术语具有在它们出自的领域中的普通含义,除非本文有特定定义或它们的使用上下文另有清楚表明。举例来说,在包含意义上(例如,如在“及/或”中)使用术语“或”,除非上下文另有清楚指示。
如将展示,根据本发明的教示的实例阵列摄像机包含第一摄像机模块及第二摄像机模块。在一个实例中,两个摄像机模块具有相同的透镜***。在所述实例中,第一摄像机模块包含具有为P的分辨率的单色图像传感器,且第二摄像机模块包含具有为Q的分辨率的彩色图像传感器,其中Q<P。在所述实例中,通过组合具有为P的分辨率的单色图像与具有为Q的分辨率的彩色图像而产生具有为R的分辨率的彩色图像。在所述实例中,P<R≤(P+Q)。
在以下描述中,出于解释目的而提供实例,其包含(例如)对应于28兆像素分辨率的0.8μm彩色图像传感器、对应于13兆像素分辨率的1.12μm彩色图像传感器,及对应于20兆像素分辨率的0.9μm单色图像传感器。
详细地说,在一个实例中,根据本发明的教示,由1.12μm彩色图像传感器产生的彩色图像与由0.9μm单色图像传感器产生的单色图像组合以产生彩色图像,与由0.8μm彩色图像传感器提供的图像相比较,所述彩色图像几乎没有如由观察者所感知的视觉差异。在所述实例中,1.12μm彩色图像传感器及0.9μm单色图像传感器两者相比于0.8μm彩色图像传感器较不昂贵。换句话说,1.12μm彩色图像传感器与0.9μm单色图像传感器的组合相比于0.8μm彩色图像传感器仍较不昂贵。因而,在一个实例中,使用具有两个摄像机模块的阵列摄像机。一个摄像机模块包含1.12μm彩色图像传感器,且另一摄像机模块包含0.9μm单色图像传感器。在所述实例中,1.12μm彩色图像传感器及0.9单色图像传感器两者具有相同大小的有效面积以检测聚焦到摄像机模块上的图像。因此,1.12μm彩色图像传感器及0.9μm单色图像传感器两者检测相同图像。
举例说明,图1展示根据本发明的教示的包含彼此靠近地安置的两个摄像机模块102及104的本发明的成像***100的实例。在所述实例中,摄像机模块102包含透镜或可包含一或多个透镜(未展示)的透镜***106,及外壳110中的图像传感器108。类似地,摄像机模块104包含透镜或可包含一或多个透镜(未展示)的透镜***112,及外壳116中的图像传感器114。在一个实例中,透镜***106与透镜***112相同,且各自包含多个透镜。摄像机模块102及104可安置在衬底118上。图像传感器108及114可电耦合到包含衬底118上的电子电路的处理块。在一个实例中,由透镜***106聚焦在图像传感器108上的图像120为与由透镜***112聚焦在图像传感器114上的图像122相同的图像。在另一实例中,图像120可与图像122稍微不同。
在所描绘的实例中,图像传感器108及图像传感器114的相应有效面积具有相同大小,但具有不同分辨率或不同数目个像素。举例来说,在一个实例中,图像传感器108的分辨率为P(例如,P=20兆像素),且图像传感器114的分辨率为Q(例如,Q=13兆像素),且P大于Q(P>Q)。换句话说,图像传感器108的像素间距小于图像传感器114的像素间距。
此外,在所描绘的实例中,图像传感器108为单色图像传感器,即,不存在彩色滤光片,且图像传感器114为彩色图像传感器。因而,在所描绘的实例中,彩色图像传感器114包含彩色滤光片阵列,例如(举例来说)拜耳(Bayer)彩色滤光片阵列。
图2示意性地展示根据本发明的教示的不具有彩色滤光片阵列的图像传感器108及具有彩色滤光片阵列的图像传感器114。在所述实例中说明拜耳彩色滤光片阵列,其中R代表彩色滤光片阵列的红色滤光片,G代表彩色滤光片阵列的绿色滤光片,且B代表彩色滤光片阵列的蓝色滤光片。因此,图像传感器108产生包含代表图像120的亮度信号(Y)的P像素数据。图像传感器114产生代表图像122的Q像素数据,其中每一个别像素数据可为红(R)信号、绿(G)信号或蓝(B)信号。在标准去马赛克(demosaicing)内插之后,图像传感器114产生Q像素数据,其中每一像素数据具有经内插的R信号、G信号及B信号(RGB)。可将经内插的Q像素数据从RGB信号转换成亮度及色度信号(YUV)。因而,图像传感器108产生Y的P像素数据,且图像传感器114产生YUV的Q像素数据,其中Q<P。
在另一实例中,应了解,如果假设R=G=B,那么可将P像素数据转换成RGB信号。因而,在此实例中,图像传感器108产生RGB的P像素数据,且图像传感器114产生RGB的Q像素数据,Q<P。
图3展示根据本发明的教示的实例成像***300的框图。在所述实例中,单色摄像机模块302展示由包含于单色摄像机模块302内的单色图像传感器(例如(举例来说)图像传感器108)产生的Y信息的P像素数据,且彩色摄像机模块304展示由包含于彩色摄像机模块304内的彩色图像传感器(例如(举例来说)图像传感器114)产生的YUV信息的Q像素数据,其中Q<P。在所述实例中,来自单色摄像机模块302的数据与来自彩色摄像机模块304的数据经耦合以由处理块306接收,其中来自单色摄像机模块302的P像素数据与来自彩色摄像机模块304的Q像素数据经组合而引起YUV的R像素数据,其中P<R≤(P+Q),如所展示。
因而,应了解,根据本发明的教示,包含于单色摄像机模块302中的具有分辨率P的单色图像传感器与包含于彩色摄像机模块304中的具有分辨率Q(其中Q<P)的彩色图像传感器经耦合以由处理块306接收及利用以产生具有分辨率R的彩色输出,其中P<R≤(P+Q)。
图4展示其中具有相同大小的两个图像可被组合的实例。举例来说,图4说明具有Y信息的P像素数据的第一图像402,及也具有Y信息的相同P像素数据的第二图像404。在所述实例中,第二图像404在垂直及水平方向两者上从第一图像402移位了像素的一半。当第一图像402与第二图像404被组合时,其引起具有Y信息的2P像素数据的第三图像406。类似地,如果第一图像402及第二图像404中的每一者具有YUV的P像素数据,那么所得的第三图像406具有YUV的2P像素数据。换句话说,所得图像的分辨率加倍。这是因为第一图像402及第二图像404的像素不完全地重叠。
如果第一图像402具有P像素数据,第二图像404具有Q像素数据,那么所得的第三图像406具有R像素数据,其中R=P+Q。然而,这仅当P=Q且第二图像404在垂直及水平方向两者上从第一图像402移位了像素的一半时才成立。当P≠Q时,第一图像402及第二图像404的一些像素可完全地重叠。如果第一图像402的像素与第二图像404的像素完全地重叠,那么两个完全重叠像素可仅被看作一像素。因此,所得的第三图像406具有R像素数据,其中R≤(P+Q)。
举例说明,图1的图像传感器108为具有第一像素间距的单色图像传感器,其中分辨率实质上等于20兆像素,且图1的图像传感器114为具有第二像素间距的彩色图像传感器,其中分辨率实质上等于13兆像素。在那个实例中,图像传感器108及114的有效面积相同。因而,图像传感器108的第一像素间距小于图像传感器114的第二像素间距。假设√20M:√13M≈6:5,且假设(6×6):(5×5)≈20M:13M,那么图像传感器108的6×6像素占用与图像传感器114的5×5像素大致相同的任意单位面积。
图5A展示根据本发明的教示的由图像传感器108产生的实例图像502,其具有第一像素间距,其中分辨率为Y信息的像素数据的20兆像素。在任意单位面积中存在6×6像素。图5B展示根据本发明的教示的由图像传感器114产生的实例图像504,其具有第二像素间距,其中分辨率为YUV信息的像素数据的13兆像素。在所述实例中,图像502的第一像素间距小于图像504的第二像素间距,使得即使图像502具有20兆像素的分辨率且图像504具有13兆像素的分辨率,图像502的大小也与图像504的大小相同。在相同的任意单位面积中存在5×5像素。图5C展示根据本发明的教示的其中图像502与图像504是由处理块306组合(即,重叠)而引起图像506的实例。
参考所描绘的实例中的图像506的第一行508,图像502及图像504的第一及最后像素完全地重叠。图像504的中心像素520在图像502的两个像素522及524之间居中。在所述实例中,像素520可被看作像素522及524之间的分离像素。在所描绘的实例中,仅使图像504的像素520与图像502的像素相异地分离。因此,在所说明的实例中,第一行508将具有7个相异像素。类似地,第一列510将具有7个相异像素。因而,在所说明的实例中,在任意单位面积中将存在7×7相异像素。因此,根据本发明的教示,假设(6×6):(5×5):(7×7)≈20M:13M:28M,那么图像502与图像504的组合产生具有实质上等于28兆像素的分辨率的图像506。
因此,假设图像506具有Y信息的28兆像素,这是由于图像502具有Y信息的20兆像素且图像504具有YUV信息的13兆像素。此外,根据本发明的教示,由于人类感知对颜色信息较不敏感,故图像504的YUV信息的数据的13兆像素的色度信号(UV)足以贯穿图像506的数据的28兆像素而分布。因此,根据本发明的教示,图像506将具有YUV的数据的28兆像素。
在一个实例中,根据本发明的教示,由于任意单位面积中的7×7相异像素中的信息可能不均匀地分布,故由处理块306重新采样图像506的任意单位面积以具有均匀地分布的7×7像素602,如图6A中描绘的实例中所展示。根据本发明的教示,被说明为星形的经最近重新采样的7×7像素602的值可由处理块306从图像502的被说明为点形的像素604及图像504的被说明为三角形的像素606内插,如图6B所展示。
在一个实例中,为了确定图像506的7×7像素的YUV值,首先由处理块306将图像502的6×6像素的Y值转换成YUV值,其中假设B=G=R。接着,根据本发明的教示,可接着由处理块306在任意内插窗中从图像502的6×6像素的经变换YUV值及图像504的5×5像素的YUV值内插图像506的7×7像素的YUV值。
当然,应了解,根据本发明的教示,上文所提及的数字是出于解释目的而论述的实例,且可利用其它数字。
因此,一般来说,第一图像具有Y信息(即,单色)的数据的P像素的分辨率且第二图像具有YUV信息(即,彩色)的数据的Q像素的分辨率,其中Q<P。在所述实例中,第一图像的像素间距小于第二图像的像素间距。然而,第一图像及第二图像的面积大小相同。举例来说,第一图像是由具有m×m像素的单位面积代表。第二图像是由具有n×n数据像素的相同单位面积代表,其中n<m。第一图像及第二图像的单位面积重叠。第一图像及第二图像的单位面积的第一行的第一及最后像素完全地重叠。估计第一行中相异地分离的像素的数目,其可为k,其中k>m>n。
由处理块通过组合第一图像与第二图像而产生的第三图像是由具有k×k像素的相同单位面积大小代表。假设R=G=B,那么将第一图像的Y值转换成YUV值。在任意内插窗中从第一图像的经变换YUV值及第二图像的YUV值内插第三图像的k×k像素的YUV值。k×k像素代表具有YUV信息的数据的R像素的图像。第三图像具有YUV信息的数据的R像素,其中P<R≤(P+Q)。在另一实例中,可代替YUV值而使用RGB值。
图7展示根据本发明的教示的实例,其中任意单位的第一行中的第二图像504的第一及最后像素704在垂直及水平方向两者上从任意单位的第一行中的第一图像502的第一及最后像素702移位了像素的一半以形成第三图像。如所述实例中所展示,第三图像的单位面积可具有l×l像素,其中l>k。因而,通过组合第一图像与第二图像而形成的第三图像可具有YUV信息的R'像素数据,其中R'>R。在另一实例中,第二图像504的像素704可从第一图像502的像素702移位了像素的一小部分而非一半。
图8展示根据本发明的教示的可由用于组合单色图像与彩色图像的处理块306执行的实例过程的流程图800,其中与单色图像相比较,彩色图像具有较低分辨率。
在过程框802中,补偿单色图像及彩色图像的亮度值。举例来说,在一个实例中,将两个图像的全局平均亮度值归一化为相同。在过程框804中,校正透镜畸变对两个图像的影响。在过程框806中,使用全局仿射变换来校正两个图像或图像两者中的一图像。在一个实例中,全局仿射变换包含移位、旋转及尺度变换,其引起在移位、旋转及尺度方面具有正确对准的单色图像及彩色图像。在过程框808中,将彩色图像重新采样为与单色图像相同的样本。在过程框810中,从彩色图像的原始样本点的亮度值内插彩色图像的新样本点的亮度值。在过程框812中,使具有相同样本点的两个图像的块匹配。在过程框814中,组合两个图像而引起彩色输出图像。在过程框816中,输出经组合的彩色图像。
图9为根据本发明的教示的给出可由处理块306执行以实现过程框814的处理的一个实例的实例流程图的说明。在过程框902中,使具有P分辨率(√P×√P像素)的原始单色图像与具有Q分辨率(√Q×√Q像素)的原始彩色图像重叠,其中P>Q。单色图像及彩色图像的大小面积相同。在一个实例中,单色图像的第一行的第一样本点与彩色图像的第一行的第一样本点完全地重叠。在过程框904中,估计经重叠图像的第一行中的相异分离样本点的数目,其(例如)等于√R,其中P<R≤(P+Q)。在过程框906中,产生新彩色图像。在所述实例中,新彩色图像具有等于R的分辨率,其中(√R×√R)样本点均匀地分布。在过程框908中,假设R=G=B,那么将单色图像的Y信息转换成YUV信息。在过程框910中,在任意内插窗中从具有P分辨率的单色图像的像素的YUV值及具有Q分辨率的彩色图像的像素的YUV值内插新彩色图像的样本点处的YUV信息。
在一个实例中,由0.9μm单色图像传感器产生具有P=20兆像素的分辨率的单色图像,且由1.12μm彩色图像传感器产生具有Q=13兆像素的分辨率的彩色图像。在所述实例中,根据本发明的教示,所得的彩色图像具有R=28兆像素的分辨率,其为与由较昂贵的0.8μm彩色图像传感器产生的彩色图像相同的分辨率。
本发明的所说明的实施例的以上描述(包含说明书摘要中描述的内容)不希望为详尽的或将本发明限于所揭示的精确形式。相关领域的技术人员将认识到,虽然出于说明目的而在本文描述本发明的特定实施例及其实例,但在本发明的范围内的多种修改为可能的。
鉴于以上详细描述,可对本发明作出这些修改。所附权利要求书中使用的术语不应被认作将本发明限于本说明书中揭示的特定实施例。更确切地,本发明的范围将完全地由所附权利要求书确定,所述权利要求书应根据所建立的权利要求书解释的公认原则予以解释。

Claims (19)

1.一种产生高分辨率彩色图像的方法,其包括:
将第一图像聚焦到具有P分辨率的单色图像传感器上;
将第二图像聚焦到具有Q分辨率的彩色图像传感器上,其中Q<P,且其中所述第一图像为与所述第二图像相同的图像;
产生代表来自所述单色图像传感器的所述第一图像的P分辨率像素数据;
产生代表来自所述彩色图像传感器的所述第二图像的Q分辨率像素数据;及
组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据以产生R分辨率彩色图像,其中P<R≤(P+Q)。
2.根据权利要求1所述的方法,其中用第一透镜***将所述第一图像聚焦到所述单色图像传感器上,其中用第二透镜***将所述第二图像聚焦到所述彩色图像传感器上,其中所述第二透镜***与所述第一透镜***相同。
3.根据权利要求1所述的方法,其中组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据包括将与来自所述彩色图像传感器的所述Q分辨率像素数据的第一行重叠的来自所述单色图像传感器的所述P分辨率像素数据的第一行的相异分离样本点的数目估计为等于√R,其中来自所述单色图像传感器的所述P分辨率像素数据的所述第一行的第一样本点与来自所述彩色图像传感器的所述Q分辨率像素数据的所述第一行的第一样本点完全地重叠。
4.根据权利要求1所述的方法,其中来自所述单色图像传感器的所述P分辨率像素数据具有第一像素间距,其中来自所述彩色图像传感器的所述Q分辨率像素数据具有第二像素间距,其中所述第一像素间距小于所述第二像素间距,且其中由所述单色图像传感器产生的单色图像的大小为与由所述彩色图像传感器产生的彩色图像相同的大小。
5.根据权利要求1所述的方法,其中组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据包括在所述R分辨率彩色图像中均匀地分布√R×√R像素。
6.根据权利要求5所述的方法,其中组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据进一步包括在任意内插窗中从由所述单色图像传感器产生的单色图像的像素的YUV值及从由所述彩色图像传感器产生的彩色图像的像素的YUV值内插所述R分辨率彩色图像的所述√R×√R像素中的像素的YUV值。
7.根据权利要求6所述的方法,其中组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据进一步包括在考虑R=G=B的情况下从由所述单色图像传感器产生的所述单色图像的像素的Y值转换由所述单色图像传感器产生的所述单色图像的像素的所述YUV值。
8.根据权利要求6所述的方法,其中组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据进一步包括从由所述彩色图像传感器产生的所述彩色图像的像素的RGB值转换由所述彩色图像传感器产生的所述彩色图像的像素的所述YUV值。
9.根据权利要求1所述的方法,其中所述单色图像传感器的所述P分辨率实质上等于20兆像素,其中所述彩色图像传感器的所述Q分辨率实质上等于13兆像素,且其中通过组合代表来自所述单色图像传感器的所述第一图像的所述P分辨率像素数据与代表来自所述彩色图像传感器的所述第二图像的所述Q分辨率像素数据而产生的所述彩色图像的所述R分辨率实质上等于28兆像素。
10.根据权利要求9所述的方法,其中所述单色图像传感器包括0.9μm单色图像传感器,其中所述彩色图像传感器包括1.12μm彩色图像传感器,且其中所述彩色图像的所述R分辨率对应于0.8μm彩色图像传感器。
11.一种阵列摄像机,其包括:
第一摄像机模块,其包含:
第一透镜***;
具有P分辨率的单色图像传感器,其中所述第一透镜***经光学耦合以将第一图像聚焦到所述单色图像传感器上;
第二摄像机模块,其包含:
第二透镜***,其中所述第二透镜***与所述第一透镜***相同;
具有Q分辨率的彩色图像传感器,其中Q<P,其中所述第二透镜***经光学耦合以将第二图像聚焦到所述彩色图像传感器上,其中所述第一图像为与所述第二图像相同的图像;及
处理块,其经耦合以从代表所述第一图像的所述第一摄像机模块接收P分辨率像素数据及从代表所述第二图像的所述第二摄像机模块接收Q分辨率像素数据,其中所述处理块经耦合以组合来自所述第一摄像机模块的所述P分辨率像素数据与来自所述第二摄像机模块的所述Q分辨率像素数据以产生R分辨率彩色图像,其中P<R≤(P+Q)。
12.根据权利要求11所述的阵列摄像机,其中所述处理块经耦合以将与来自所述第二摄像机模块的所述Q分辨率像素数据的第一行重叠的来自所述第一摄像机模块的所述P分辨率像素数据的第一行的相异分离样本点的数目估计为等于√R,其中来自所述第一摄像机模块的所述P分辨率像素数据的所述第一行的第一样本点与来自所述第二摄像机模块的所述Q分辨率像素数据的所述第一行的第一样本点完全地重叠。
13.根据权利要求11所述的阵列摄像机,其中来自所述第一摄像机模块的所述P分辨率像素数据具有第一像素间距,其中来自所述第二摄像机模块的所述Q分辨率像素数据具有第二像素间距,其中所述第一像素间距小于所述第二像素间距,且其中由所述第一摄像机模块产生的单色图像的大小为与由所述第二摄像机模块产生的彩色图像相同的大小。
14.根据权利要求11所述的阵列摄像机,其中所述处理块经耦合以产生√R×√R像素均匀地分布的所述R分辨率彩色图像。
15.根据权利要求14所述的阵列摄像机,其中所述处理块经耦合以在任意内插窗中从由所述第一摄像机模块产生的单色图像的像素的YUV值及从由所述第二摄像机模块产生的彩色图像的像素的YUV值内插所述R分辨率彩色图像的所述√R×√R像素中的像素的YUV值。
16.根据权利要求15所述的阵列摄像机,其中所述处理块经耦合以在考虑R=G=B的情况下从由所述第一摄像机模块产生的所述单色图像的像素的Y值转换由所述第一摄像机模块产生的所述单色图像的像素的所述YUV值。
17.根据权利要求15所述的阵列摄像机,其中所述处理块经耦合以从由所述第二图像传感器产生的所述彩色图像的像素的RGB值转换由所述第二摄像机模块产生的所述彩色图像的像素的所述YUV值。
18.根据权利要求11所述的阵列摄像机,其中所述单色图像传感器的所述P分辨率实质上等于20兆像素,其中所述彩色图像传感器的所述Q分辨率实质上等于13兆像素,且其中由所述处理块产生的所述彩色图像的所述R分辨率实质上等于28兆像素。
19.根据权利要求18所述的阵列摄像机,其中所述单色图像传感器包括0.9μm单色图像传感器,其中所述彩色图像传感器包括1.12μm彩色图像传感器,且其中由所述处理块产生的所述彩色图像具有实质上等于28兆像素的所述R分辨率对应于0.8μm彩色图像传感器。
CN201510795403.4A 2014-12-18 2015-11-18 高分辨率阵列摄像机 Active CN105721841B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/574,761 US9319585B1 (en) 2014-12-18 2014-12-18 High resolution array camera
US14/574,761 2014-12-18

Publications (2)

Publication Number Publication Date
CN105721841A true CN105721841A (zh) 2016-06-29
CN105721841B CN105721841B (zh) 2017-09-19

Family

ID=55700166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510795403.4A Active CN105721841B (zh) 2014-12-18 2015-11-18 高分辨率阵列摄像机

Country Status (4)

Country Link
US (1) US9319585B1 (zh)
CN (1) CN105721841B (zh)
HK (1) HK1221841A1 (zh)
TW (1) TWI549519B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107347139A (zh) * 2017-06-30 2017-11-14 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN107707789A (zh) * 2016-08-08 2018-02-16 谷歌有限责任公司 使用单色成像器和颜色映射传感器进行单色‑彩色映射
WO2018170918A1 (en) * 2017-03-24 2018-09-27 Huawei Technologies Co., Ltd. Multi-camera system for low light
CN109644258A (zh) * 2016-08-31 2019-04-16 华为技术有限公司 用于变焦摄影的多相机***
CN110418111A (zh) * 2019-07-27 2019-11-05 上海安科迪智能科技有限公司 一种阵列摄像机中超高清视频信号传输***及方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989647B (zh) * 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
EP3148177A4 (en) * 2014-10-22 2018-01-24 Yulong Computer Telecommunication Technologies (Shenzhen) Co., Ltd. Image generation method based on dual camera module and dual camera module
US9743015B2 (en) * 2015-05-22 2017-08-22 Samsung Electronics Co., Ltd. Image capturing apparatus and method of controlling the same
US20170318273A1 (en) * 2016-04-28 2017-11-02 Qualcomm Incorporated Shift-and-match fusion of color and mono images
KR102603426B1 (ko) * 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
TWI622810B (zh) * 2017-04-26 2018-05-01 和碩聯合科技股份有限公司 成像裝置及成像方法
US10567645B2 (en) * 2017-05-17 2020-02-18 Samsung Electronics Co., Ltd. Method and apparatus for capturing video data
CN108024056B (zh) 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
WO2020090154A1 (ja) * 2018-10-29 2020-05-07 パナソニックIpマネジメント株式会社 情報提示方法、情報提示装置、及び、情報提示システム
EP3704668A4 (en) * 2018-12-17 2021-04-07 SZ DJI Technology Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694165A (en) * 1993-10-22 1997-12-02 Canon Kabushiki Kaisha High definition image taking apparatus having plural image sensors
US20120026366A1 (en) * 2009-04-07 2012-02-02 Nextvision Stabilized Systems Ltd. Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov
US8115825B2 (en) * 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
US5978023A (en) * 1996-10-10 1999-11-02 Florida Atlantic University Color video camera system and method for generating color video signals at increased line and/or frame rates
US6208382B1 (en) * 1998-07-29 2001-03-27 Florida Atlantic University Color video processing system and method
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
US7483065B2 (en) * 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
US7855752B2 (en) * 2006-07-31 2010-12-21 Hewlett-Packard Development Company, L.P. Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694165A (en) * 1993-10-22 1997-12-02 Canon Kabushiki Kaisha High definition image taking apparatus having plural image sensors
US8115825B2 (en) * 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
US8681250B2 (en) * 2008-02-20 2014-03-25 Apple Inc. Electronic device with two image sensors
US20120026366A1 (en) * 2009-04-07 2012-02-02 Nextvision Stabilized Systems Ltd. Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707789A (zh) * 2016-08-08 2018-02-16 谷歌有限责任公司 使用单色成像器和颜色映射传感器进行单色‑彩色映射
CN107707789B (zh) * 2016-08-08 2020-11-03 谷歌有限责任公司 提供场景彩色高分辨率图像的方法、计算设备和存储介质
CN109644258A (zh) * 2016-08-31 2019-04-16 华为技术有限公司 用于变焦摄影的多相机***
US10616493B2 (en) 2016-08-31 2020-04-07 Huawei Technologies Co., Ltd. Multi camera system for zoom
CN109644258B (zh) * 2016-08-31 2020-06-02 华为技术有限公司 用于变焦摄影的多相机***
WO2018170918A1 (en) * 2017-03-24 2018-09-27 Huawei Technologies Co., Ltd. Multi-camera system for low light
CN110235441A (zh) * 2017-03-24 2019-09-13 华为技术有限公司 用于低照度的多摄像头***
CN110235441B (zh) * 2017-03-24 2021-01-15 华为技术有限公司 用于低照度的多摄像头***
CN107347139A (zh) * 2017-06-30 2017-11-14 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN110418111A (zh) * 2019-07-27 2019-11-05 上海安科迪智能科技有限公司 一种阵列摄像机中超高清视频信号传输***及方法

Also Published As

Publication number Publication date
TWI549519B (zh) 2016-09-11
CN105721841B (zh) 2017-09-19
TW201626792A (zh) 2016-07-16
HK1221841A1 (zh) 2017-06-09
US9319585B1 (en) 2016-04-19

Similar Documents

Publication Publication Date Title
CN105721841A (zh) 高分辨率阵列摄像机
JP4424088B2 (ja) 撮像装置
US20100214473A1 (en) Image display system, image display apparatus, and control method for image display apparatus
CN102640500A (zh) 图像处理设备
CN105122793A (zh) 图像处理装置、摄像装置及图像处理程序
CN103597811A (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
JPWO2012081175A1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
JPWO2017154628A1 (ja) 画像処理装置および方法
CN102959959A (zh) 固态成像装置驱动方法、固态成像装置及成像设备
CN102685407A (zh) 图像处理
US20110037830A1 (en) Plug and play multiplexer for any stereoscopic viewing device
CN105791793A (zh) 图像处理方法及其电子装置
CN110809885A (zh) 图像传感器瑕疵检测
WO2004049297A3 (en) Image signal generation unit, digital camera, and image signal generation method
CN103813124A (zh) 图像处理装置和图像处理方法
US10679589B2 (en) Image processing system, image processing apparatus, and program for generating anamorphic image data
WO2015186510A1 (ja) 撮像装置および方法、並びにプログラム
WO2014091706A1 (ja) 撮像装置
CN112073596B (zh) 特定黑白视频信号的仿真彩色处理方法及***
US20140036045A1 (en) Image processing apparatus, image processing method, and program
JP4178250B2 (ja) 撮像素子用のカラーフィルターブロック
JP6742480B2 (ja) 投影表示設備及び表示方法
CN106817576A (zh) 一种fpga板以及裸眼3d显示设备
JP2003189262A (ja) 3次元y/c櫛形フィルターおよびインターレース・プログレッシブ変換器を単チップ集積する方法およびそのシステム
CN114880052A (zh) 显示装置及其显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Omnivision Tech Inc.

COR Change of bibliographic data
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1221841

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1221841

Country of ref document: HK