附图说明
参考以下诸图描述本发明的非限制性且非详尽的实施例,其中相似的参考数字是指贯穿各种视图的相似部分,除非另有指定。
图1展示根据本发明的教示的包含两个摄像机模块的成像***的实例。
图2示意性地展示根据本发明的教示的不具有彩色滤光片阵列的第一图像传感器及具有彩色滤光片阵列的第二图像传感器。
图3展示根据本发明的教示的实例成像***的框图。
图4展示根据本发明的教示的其中具有相同大小的两个图像被组合的实例。
图5A展示根据本发明的教示的由具有Y信息的像素数据的第一分辨率的第一图像传感器产生的实例第一图像。
图5B展示根据本发明的教示的由具有YUV信息的像素数据的第二分辨率的第二图像传感器产生的实例第二图像。
图5C展示根据本发明的教示的其中第一及第二图像经组合而引起具有第三分辨率的第三图像的实例。
图6A展示根据本发明的教示的具有均匀分布相异的实例图像。
图6B展示根据本发明的教示的具有经重新采样内插像素的实例图像。
图7展示根据本发明的教示的实例,其中任意单位的第一行中的第二图像的第一及最后像素在垂直及水平方向两者上从任意单位的第一行中的第一图像的第一及最后像素移位了像素的一半以形成第三图像。
图8展示根据本发明的教示的用于组合彩色图像与单色图像的实例过程的流程图,其中与单色图像相比较,彩色图像具有较低分辨率。
图9为根据本发明的教示的展示可经执行以组合单色图像与彩色图像的处理的实例的进一步细节的实例流程图的说明。
对应的参考字符指示贯穿图式的若干视图的对应组件。所属领域的技术人员将了解,图中的元件是出于简单及清楚起见而说明,且未必按比例绘制。举例来说,图中的一些元件的尺寸可相对于其它元件而被夸示以帮助改进对本发明的各种实施例的理解。并且,为了促进对本发明的这些各种实施例的较不妨碍的观察,常常不描绘在商业可行实施例中有用或必要的常见而很好理解的元件。
具体实施方式
揭示用于实施高分辨率阵列摄像机的方法及设备。在以下描述中,陈述众多特定细节以提供对本发明的透彻理解。然而,相关领域的技术人员将认识到,可在不用所述特定细节中的一或多者或用其它方法、组件、材料等等的情况下实践本文中描述的技术。在其它情况下,未详细地展示或描述众所周知的结构、材料或操作以避免混淆某些方面。
贯穿本说明书而对“一个实施例”或“实施例”的参考意味着结合所述实施例而描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因而,贯穿本说明书在各种地方出现的短语“在一个实施例中”或“在实施例中”未必都是指同一实施例。此外,在一或多个实施例中可以任何合适方式组合特定特征、结构或特性。
贯穿本说明书,使用若干专门术语。这些术语具有在它们出自的领域中的普通含义,除非本文有特定定义或它们的使用上下文另有清楚表明。举例来说,在包含意义上(例如,如在“及/或”中)使用术语“或”,除非上下文另有清楚指示。
如将展示,根据本发明的教示的实例阵列摄像机包含第一摄像机模块及第二摄像机模块。在一个实例中,两个摄像机模块具有相同的透镜***。在所述实例中,第一摄像机模块包含具有为P的分辨率的单色图像传感器,且第二摄像机模块包含具有为Q的分辨率的彩色图像传感器,其中Q<P。在所述实例中,通过组合具有为P的分辨率的单色图像与具有为Q的分辨率的彩色图像而产生具有为R的分辨率的彩色图像。在所述实例中,P<R≤(P+Q)。
在以下描述中,出于解释目的而提供实例,其包含(例如)对应于28兆像素分辨率的0.8μm彩色图像传感器、对应于13兆像素分辨率的1.12μm彩色图像传感器,及对应于20兆像素分辨率的0.9μm单色图像传感器。
详细地说,在一个实例中,根据本发明的教示,由1.12μm彩色图像传感器产生的彩色图像与由0.9μm单色图像传感器产生的单色图像组合以产生彩色图像,与由0.8μm彩色图像传感器提供的图像相比较,所述彩色图像几乎没有如由观察者所感知的视觉差异。在所述实例中,1.12μm彩色图像传感器及0.9μm单色图像传感器两者相比于0.8μm彩色图像传感器较不昂贵。换句话说,1.12μm彩色图像传感器与0.9μm单色图像传感器的组合相比于0.8μm彩色图像传感器仍较不昂贵。因而,在一个实例中,使用具有两个摄像机模块的阵列摄像机。一个摄像机模块包含1.12μm彩色图像传感器,且另一摄像机模块包含0.9μm单色图像传感器。在所述实例中,1.12μm彩色图像传感器及0.9单色图像传感器两者具有相同大小的有效面积以检测聚焦到摄像机模块上的图像。因此,1.12μm彩色图像传感器及0.9μm单色图像传感器两者检测相同图像。
举例说明,图1展示根据本发明的教示的包含彼此靠近地安置的两个摄像机模块102及104的本发明的成像***100的实例。在所述实例中,摄像机模块102包含透镜或可包含一或多个透镜(未展示)的透镜***106,及外壳110中的图像传感器108。类似地,摄像机模块104包含透镜或可包含一或多个透镜(未展示)的透镜***112,及外壳116中的图像传感器114。在一个实例中,透镜***106与透镜***112相同,且各自包含多个透镜。摄像机模块102及104可安置在衬底118上。图像传感器108及114可电耦合到包含衬底118上的电子电路的处理块。在一个实例中,由透镜***106聚焦在图像传感器108上的图像120为与由透镜***112聚焦在图像传感器114上的图像122相同的图像。在另一实例中,图像120可与图像122稍微不同。
在所描绘的实例中,图像传感器108及图像传感器114的相应有效面积具有相同大小,但具有不同分辨率或不同数目个像素。举例来说,在一个实例中,图像传感器108的分辨率为P(例如,P=20兆像素),且图像传感器114的分辨率为Q(例如,Q=13兆像素),且P大于Q(P>Q)。换句话说,图像传感器108的像素间距小于图像传感器114的像素间距。
此外,在所描绘的实例中,图像传感器108为单色图像传感器,即,不存在彩色滤光片,且图像传感器114为彩色图像传感器。因而,在所描绘的实例中,彩色图像传感器114包含彩色滤光片阵列,例如(举例来说)拜耳(Bayer)彩色滤光片阵列。
图2示意性地展示根据本发明的教示的不具有彩色滤光片阵列的图像传感器108及具有彩色滤光片阵列的图像传感器114。在所述实例中说明拜耳彩色滤光片阵列,其中R代表彩色滤光片阵列的红色滤光片,G代表彩色滤光片阵列的绿色滤光片,且B代表彩色滤光片阵列的蓝色滤光片。因此,图像传感器108产生包含代表图像120的亮度信号(Y)的P像素数据。图像传感器114产生代表图像122的Q像素数据,其中每一个别像素数据可为红(R)信号、绿(G)信号或蓝(B)信号。在标准去马赛克(demosaicing)内插之后,图像传感器114产生Q像素数据,其中每一像素数据具有经内插的R信号、G信号及B信号(RGB)。可将经内插的Q像素数据从RGB信号转换成亮度及色度信号(YUV)。因而,图像传感器108产生Y的P像素数据,且图像传感器114产生YUV的Q像素数据,其中Q<P。
在另一实例中,应了解,如果假设R=G=B,那么可将P像素数据转换成RGB信号。因而,在此实例中,图像传感器108产生RGB的P像素数据,且图像传感器114产生RGB的Q像素数据,Q<P。
图3展示根据本发明的教示的实例成像***300的框图。在所述实例中,单色摄像机模块302展示由包含于单色摄像机模块302内的单色图像传感器(例如(举例来说)图像传感器108)产生的Y信息的P像素数据,且彩色摄像机模块304展示由包含于彩色摄像机模块304内的彩色图像传感器(例如(举例来说)图像传感器114)产生的YUV信息的Q像素数据,其中Q<P。在所述实例中,来自单色摄像机模块302的数据与来自彩色摄像机模块304的数据经耦合以由处理块306接收,其中来自单色摄像机模块302的P像素数据与来自彩色摄像机模块304的Q像素数据经组合而引起YUV的R像素数据,其中P<R≤(P+Q),如所展示。
因而,应了解,根据本发明的教示,包含于单色摄像机模块302中的具有分辨率P的单色图像传感器与包含于彩色摄像机模块304中的具有分辨率Q(其中Q<P)的彩色图像传感器经耦合以由处理块306接收及利用以产生具有分辨率R的彩色输出,其中P<R≤(P+Q)。
图4展示其中具有相同大小的两个图像可被组合的实例。举例来说,图4说明具有Y信息的P像素数据的第一图像402,及也具有Y信息的相同P像素数据的第二图像404。在所述实例中,第二图像404在垂直及水平方向两者上从第一图像402移位了像素的一半。当第一图像402与第二图像404被组合时,其引起具有Y信息的2P像素数据的第三图像406。类似地,如果第一图像402及第二图像404中的每一者具有YUV的P像素数据,那么所得的第三图像406具有YUV的2P像素数据。换句话说,所得图像的分辨率加倍。这是因为第一图像402及第二图像404的像素不完全地重叠。
如果第一图像402具有P像素数据,第二图像404具有Q像素数据,那么所得的第三图像406具有R像素数据,其中R=P+Q。然而,这仅当P=Q且第二图像404在垂直及水平方向两者上从第一图像402移位了像素的一半时才成立。当P≠Q时,第一图像402及第二图像404的一些像素可完全地重叠。如果第一图像402的像素与第二图像404的像素完全地重叠,那么两个完全重叠像素可仅被看作一像素。因此,所得的第三图像406具有R像素数据,其中R≤(P+Q)。
举例说明,图1的图像传感器108为具有第一像素间距的单色图像传感器,其中分辨率实质上等于20兆像素,且图1的图像传感器114为具有第二像素间距的彩色图像传感器,其中分辨率实质上等于13兆像素。在那个实例中,图像传感器108及114的有效面积相同。因而,图像传感器108的第一像素间距小于图像传感器114的第二像素间距。假设√20M:√13M≈6:5,且假设(6×6):(5×5)≈20M:13M,那么图像传感器108的6×6像素占用与图像传感器114的5×5像素大致相同的任意单位面积。
图5A展示根据本发明的教示的由图像传感器108产生的实例图像502,其具有第一像素间距,其中分辨率为Y信息的像素数据的20兆像素。在任意单位面积中存在6×6像素。图5B展示根据本发明的教示的由图像传感器114产生的实例图像504,其具有第二像素间距,其中分辨率为YUV信息的像素数据的13兆像素。在所述实例中,图像502的第一像素间距小于图像504的第二像素间距,使得即使图像502具有20兆像素的分辨率且图像504具有13兆像素的分辨率,图像502的大小也与图像504的大小相同。在相同的任意单位面积中存在5×5像素。图5C展示根据本发明的教示的其中图像502与图像504是由处理块306组合(即,重叠)而引起图像506的实例。
参考所描绘的实例中的图像506的第一行508,图像502及图像504的第一及最后像素完全地重叠。图像504的中心像素520在图像502的两个像素522及524之间居中。在所述实例中,像素520可被看作像素522及524之间的分离像素。在所描绘的实例中,仅使图像504的像素520与图像502的像素相异地分离。因此,在所说明的实例中,第一行508将具有7个相异像素。类似地,第一列510将具有7个相异像素。因而,在所说明的实例中,在任意单位面积中将存在7×7相异像素。因此,根据本发明的教示,假设(6×6):(5×5):(7×7)≈20M:13M:28M,那么图像502与图像504的组合产生具有实质上等于28兆像素的分辨率的图像506。
因此,假设图像506具有Y信息的28兆像素,这是由于图像502具有Y信息的20兆像素且图像504具有YUV信息的13兆像素。此外,根据本发明的教示,由于人类感知对颜色信息较不敏感,故图像504的YUV信息的数据的13兆像素的色度信号(UV)足以贯穿图像506的数据的28兆像素而分布。因此,根据本发明的教示,图像506将具有YUV的数据的28兆像素。
在一个实例中,根据本发明的教示,由于任意单位面积中的7×7相异像素中的信息可能不均匀地分布,故由处理块306重新采样图像506的任意单位面积以具有均匀地分布的7×7像素602,如图6A中描绘的实例中所展示。根据本发明的教示,被说明为星形的经最近重新采样的7×7像素602的值可由处理块306从图像502的被说明为点形的像素604及图像504的被说明为三角形的像素606内插,如图6B所展示。
在一个实例中,为了确定图像506的7×7像素的YUV值,首先由处理块306将图像502的6×6像素的Y值转换成YUV值,其中假设B=G=R。接着,根据本发明的教示,可接着由处理块306在任意内插窗中从图像502的6×6像素的经变换YUV值及图像504的5×5像素的YUV值内插图像506的7×7像素的YUV值。
当然,应了解,根据本发明的教示,上文所提及的数字是出于解释目的而论述的实例,且可利用其它数字。
因此,一般来说,第一图像具有Y信息(即,单色)的数据的P像素的分辨率且第二图像具有YUV信息(即,彩色)的数据的Q像素的分辨率,其中Q<P。在所述实例中,第一图像的像素间距小于第二图像的像素间距。然而,第一图像及第二图像的面积大小相同。举例来说,第一图像是由具有m×m像素的单位面积代表。第二图像是由具有n×n数据像素的相同单位面积代表,其中n<m。第一图像及第二图像的单位面积重叠。第一图像及第二图像的单位面积的第一行的第一及最后像素完全地重叠。估计第一行中相异地分离的像素的数目,其可为k,其中k>m>n。
由处理块通过组合第一图像与第二图像而产生的第三图像是由具有k×k像素的相同单位面积大小代表。假设R=G=B,那么将第一图像的Y值转换成YUV值。在任意内插窗中从第一图像的经变换YUV值及第二图像的YUV值内插第三图像的k×k像素的YUV值。k×k像素代表具有YUV信息的数据的R像素的图像。第三图像具有YUV信息的数据的R像素,其中P<R≤(P+Q)。在另一实例中,可代替YUV值而使用RGB值。
图7展示根据本发明的教示的实例,其中任意单位的第一行中的第二图像504的第一及最后像素704在垂直及水平方向两者上从任意单位的第一行中的第一图像502的第一及最后像素702移位了像素的一半以形成第三图像。如所述实例中所展示,第三图像的单位面积可具有l×l像素,其中l>k。因而,通过组合第一图像与第二图像而形成的第三图像可具有YUV信息的R'像素数据,其中R'>R。在另一实例中,第二图像504的像素704可从第一图像502的像素702移位了像素的一小部分而非一半。
图8展示根据本发明的教示的可由用于组合单色图像与彩色图像的处理块306执行的实例过程的流程图800,其中与单色图像相比较,彩色图像具有较低分辨率。
在过程框802中,补偿单色图像及彩色图像的亮度值。举例来说,在一个实例中,将两个图像的全局平均亮度值归一化为相同。在过程框804中,校正透镜畸变对两个图像的影响。在过程框806中,使用全局仿射变换来校正两个图像或图像两者中的一图像。在一个实例中,全局仿射变换包含移位、旋转及尺度变换,其引起在移位、旋转及尺度方面具有正确对准的单色图像及彩色图像。在过程框808中,将彩色图像重新采样为与单色图像相同的样本。在过程框810中,从彩色图像的原始样本点的亮度值内插彩色图像的新样本点的亮度值。在过程框812中,使具有相同样本点的两个图像的块匹配。在过程框814中,组合两个图像而引起彩色输出图像。在过程框816中,输出经组合的彩色图像。
图9为根据本发明的教示的给出可由处理块306执行以实现过程框814的处理的一个实例的实例流程图的说明。在过程框902中,使具有P分辨率(√P×√P像素)的原始单色图像与具有Q分辨率(√Q×√Q像素)的原始彩色图像重叠,其中P>Q。单色图像及彩色图像的大小面积相同。在一个实例中,单色图像的第一行的第一样本点与彩色图像的第一行的第一样本点完全地重叠。在过程框904中,估计经重叠图像的第一行中的相异分离样本点的数目,其(例如)等于√R,其中P<R≤(P+Q)。在过程框906中,产生新彩色图像。在所述实例中,新彩色图像具有等于R的分辨率,其中(√R×√R)样本点均匀地分布。在过程框908中,假设R=G=B,那么将单色图像的Y信息转换成YUV信息。在过程框910中,在任意内插窗中从具有P分辨率的单色图像的像素的YUV值及具有Q分辨率的彩色图像的像素的YUV值内插新彩色图像的样本点处的YUV信息。
在一个实例中,由0.9μm单色图像传感器产生具有P=20兆像素的分辨率的单色图像,且由1.12μm彩色图像传感器产生具有Q=13兆像素的分辨率的彩色图像。在所述实例中,根据本发明的教示,所得的彩色图像具有R=28兆像素的分辨率,其为与由较昂贵的0.8μm彩色图像传感器产生的彩色图像相同的分辨率。
本发明的所说明的实施例的以上描述(包含说明书摘要中描述的内容)不希望为详尽的或将本发明限于所揭示的精确形式。相关领域的技术人员将认识到,虽然出于说明目的而在本文描述本发明的特定实施例及其实例,但在本发明的范围内的多种修改为可能的。
鉴于以上详细描述,可对本发明作出这些修改。所附权利要求书中使用的术语不应被认作将本发明限于本说明书中揭示的特定实施例。更确切地,本发明的范围将完全地由所附权利要求书确定,所述权利要求书应根据所建立的权利要求书解释的公认原则予以解释。