CN103597811A - 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置 - Google Patents
拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置 Download PDFInfo
- Publication number
- CN103597811A CN103597811A CN201280028247.3A CN201280028247A CN103597811A CN 103597811 A CN103597811 A CN 103597811A CN 201280028247 A CN201280028247 A CN 201280028247A CN 103597811 A CN103597811 A CN 103597811A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- phase difference
- difference detection
- detection pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title description 2
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims description 17
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000007792 addition Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 17
- 241000219739 Lens Species 0.000 description 10
- 210000000695 crystalline len Anatomy 0.000 description 10
- 238000009877 rendering Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- FYZYXYLPBWLLGI-AUOPOVQUSA-N Genipin 1-beta-gentiobioside Chemical compound C([C@H]1O[C@H]([C@@H]([C@@H](O)[C@@H]1O)O)O[C@@H]1OC=C([C@@H]2[C@H]1C(=CC2)CO)C(=O)OC)O[C@@H]1O[C@H](CO)[C@@H](O)[C@H](O)[C@H]1O FYZYXYLPBWLLGI-AUOPOVQUSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
多个像素2被以正方格子形式布置,RGB的滤色器以拜耳排列布置,并且获取用于右眼的拍摄图像信号的第一相差检测像素3和获取用于左眼的拍摄图像信号的第二相差检测像素4的对设置在所述正方格子形式中的离散的且周期性的位置上,所述第一相差检测像素3在水平方向和垂直方向两者上被以2n+1个像素(n=1,2,…)的间隔设置在所述正方格子形式的各个像素之中,而所述对的所述第二相差检测像素4被设置在具有同色滤色器并且相对于所述第一相差检测像素间隔开两个像素的像素上。
Description
技术领域
本发明涉及一种拍摄立体移动图像和平面移动图像的图像拍摄元件,以及一种装配有该图像拍摄元件的图像拍摄装置。
背景技术
存在在例如以下专利文献1中描述的拍摄立体图像(在下文中,还被称为3D图像)的常规图像拍摄装置。该常规图像拍摄装置被适配成包括两个相机以用左和右相机拍摄相同被摄体来再现被摄体的立体图像。然而,该常规立体图像拍摄装置具有的问题是,它需要两个相机,因此成本增加并且装置的尺寸增加。
因此,已经提出了在以下专利文献2中被描述为能够用单个相机来拍摄被摄体的立体图像的图像拍摄装置的常规技术。立体图像拍摄装置被适配成将二维地布置在固态图像拍摄元件的表面上的多个像素(光电转换元件:光电二极管)划分成两个组,使得来自当从右侧查看被摄体时的方向的光进入到一个组中而来自当从左侧查看被摄体时的方向的光进入到另一个组中。
根据常规技术,存在的问题是,尽管被摄体的立体图像可以用单个相机(图像拍摄元件)来拍摄,但是被摄体的二维图像(平面图像,在下文中,还被称为2D图像)可能未被摄影。
近来,对图像拍摄装置的需求正在不断增加以及因此,对于在专利文献1和2中所描述的常规技术来说难以实现的、能够同时地摄制3D移动图像和2D移动图像以及低成本和小型化的移动图像摄影功能正是所要求的。
引用列表
专利文献
专利文献1:JP-A-11-341522
专利文献2:JP-A-2003-7994
发明内容
技术问题
本发明的目的是提供能够适当地处理3D移动图像摄影和2D移动图像摄影两者的图像拍摄元件以及装配有该图像拍摄元件的图像拍摄装置。
问题的解决方案
本发明的图像拍摄元件其特征在于,多个像素被以正方格子形式布置,滤色器被布置在拜耳(Bayer)排列中,获取用于右眼和左眼的拍摄图像信号中的一个的第一相差检测像素和获取用于右眼和左眼的拍摄图像信号中的另一个的第二相差检测像素的对被设置在所述正方格子形式中的离散的且周期性的位置上,所述第一相差检测像素在水平方向和垂直方向两者上被以2n+1个像素(n=1,2,…)的间隔提供在所述正方格子形式的各个像素之中,而所述对的第二相差检测像素被提供在具有同色滤色器并且相对于所述第一相差检测像素间隔开两个像素的像素上。因此,相差检测像素对的滤色器排列可以以拜耳排列布置。
本发明的图像拍摄装置的特征在于,包括当拍摄立体移动图像时读取相差检测像素的拍摄图像信号的图像拍摄元件驱动单元。所述图像拍摄装置其特征在于,当拍摄平面移动图像时,除相差检测像素以外的像素的拍摄图像信号被读取。
发明的有益效果
根据本发明,用单个图像拍摄元件来拍摄高质量的立体移动图像和平面移动图像两者成为可能。
附图说明
图1是根据本发明的实施例的图像拍摄装置(数字相机)的外观的透视图。
图2是图1中所图示的图像拍摄装置的配置的功能框图。
图3是图示图2中所图示的固态图像拍摄元件的表面的图。
图4是说明其中利用图3中所图示的固态图像拍摄元件拍摄3D移动图像的情况的图。
图5是说明用其3D图像可以使用相差检测像素来摄影的原理的图。
图6是说明利用根据其中以五像素间隔提供相差检测像素的实施例的固态图像拍摄元件读取2D移动图像的状态的图。
图7是图示在生成2D移动图像数据的相同时间的过程序列的流程图。
图8是说明其中从图5的固态图像拍摄元件读取具有HD图像质量的2D移动图像的情况的图。
图9是说明其中利用图8的读取方法进一步执行水平像素加法的情况的图。
具体实施方式
在下文中,将参考附图对本发明的实施例进行描述。
图1是根据本发明的实施例的图像拍摄装置(数字相机)的外观的透视图。在单眼的图像拍摄装置(数字相机)10中,收纳摄影透镜12的透镜镜筒被可伸缩地附接到相机壳体11的前部。快门释放按钮14被提供在相机壳体11的上表面的右端部分处,而未在图1中图示的液晶显示单元(图2的显示单元28)被提供在相机壳体11的后面。
图2是图1中所图示的图像拍摄装置10的配置的功能框图。图像拍摄装置10包括摄影透镜12和定位于摄影透镜12的背部以置于其成像平面上的CMOS型固态图像拍摄元件21。摄影透镜12和固态图像拍摄元件21通过来自待在下面描述的***控制单元(CPU)29的指令而被驱动。
固态图像拍摄元件21在本实施例中是CMOS型图像传感器,但可以是CCD型或其它类型的固态图像拍摄元件。
本实施例的图像拍摄装置10还包括获取拍摄数字图像信号以执行插值处理、白平衡校正以及RGB/YC转换处理的数字信号处理单元26、将拍摄图像信号压缩为JPEG格式等的图像数据或者对图像数据进行解压的压缩/解压处理单元27、显示菜单等或直通图像或拍摄图像的显示单元28、全面控制整个数字相机的***控制单元(CPU)29、诸如帧存储器的内部存储器30、与存储JPEG图像数据等的记录媒体32接口对接的媒体接口(I/F)单元31、以及使这些构件与彼此连接的总线40。
另外,用于输入来自用户的指令的操纵单元33和通过来自***控制单元29的指令来发射光的闪光灯25被连接到***控制单元29。
图像拍摄装置10基于通过用户来自操纵单元33的选择指令来摄影被摄体的高清晰度2D静止图像、与高清晰度静止图像相比具有较低分辨率的2D移动图像或3D移动图像,并且基于这些选择指令来执行固态图像拍摄元件21的驱动控制或图像处理。
图3是图示固态图像拍摄元件21的表面的图,并且图示了像素排列和各个像素上的滤色器排列。各个正方形2表示形成在半导体衬底上的各个像素(光电转换元件),而在各个像素上描述的R、G以及B表示层叠在各个像素2上的三原色滤光片的颜色(R=红、G=绿、B=蓝)。信号读出电路或垂直扫描电路或水平扫描电路等可能与典型的CMOS型图像传感器的那些相同以及因此省略其图示。
在本实施例的固态图像拍摄元件21中各个像素2被以正方格子形式布置并且RGB滤色器被以拜耳排列布置在其上。微透镜(未图示)被层叠在待与各个像素相对应的RGB滤色器上。在固态图像拍摄元件21中,设置存在于离散的且周期性的位置的像素2作为相差检测像素。在本实施例中,在垂直方向上间隔开两像素的两个像素被设置为像素对,并且该像素对的一个像素和另一个像素的遮光膜的开口2a和2b分别在与彼此相反的方向上相对于各个像素的中心被偏心地形成,以便配置相差检测像素。
在正常的像素(非相差检测像素的像素)中,如在图3的左上侧用虚线矩形框所描述的,开有具有基本上与像素的光接收表面相同的尺寸的遮光膜的开口1。与这相比,相差检测像素的像素对的遮光膜的开口2a、2b比遮光膜的开口1要小以及因此,遮光膜的开口2a与开口1相比仅左半边是开的,而遮光膜的开口2b与所图示的示例中的开口1相比仅右半边是开的。另外,遮光膜的开口1在图3中被图示在仅一个框上,但也被提供在其它正常的像素上(因为图变复杂了,所以图示被省略)。
遮光膜的开口2a的打开中心位置被提供成相对于像素的中心为向左偏心的,而遮光膜的开口2b的打开中心位置被提供成相对于像素的中心为向右偏心的。如图1中所图示的,透镜12被布置在固态图像拍摄元件21前面,穿过透镜12通过遮光膜的开口2a被像素所接收的光是主要来自透镜12的左边(也就是说,主要来自当用左眼查看被摄体时的方向)的光,而通过遮光膜的开口2b被像素所接收的光是主要来自透镜12的右边(也就是说,主要来自当用右眼查看被摄体时的方向)的光。
也就是说,在构成相差检测像素的各个像素对之中,具有遮光膜的开口2a的拍摄图像信号成为当用左眼查看被摄体时的图像,而具有遮光膜的开口2b的像素的拍摄图像信号是当用右眼查看被摄体时的图像。因此,可以通过组合两个拍摄图像信号来再现被摄体的立体图像。
构成本实施例的相差检测像素的像素对的一个像素3(第一像素,例如,具有遮光膜的开口2a的像素)被采用使得在垂直方向和水平方向两者上每三个像素地设置像素作为相差检测像素,而像素对的另一个像素4(第二像素,例如,具有遮光膜的开口2b的像素)在垂直方向上(也可在水平方向上)提供在第一像素3下方2个像素处。然而,一般而言,可以在水平方向和垂直方向两者上每2n+1个像素设置第一像素3。由此,相差检测像素对的配置位置被确定以及因此,相差检测像素对的滤色器排列也成为具有RGB原色的拜耳排列。
另外,在下文中,假定构成相差检测像素的像素对的第一像素和第二像素分别由标号3和4来表示,而并非相差检测像素的具有遮光膜的开口1的常规像素由标号2来表示。
图4图示了当利用图3中所图示的固态图像拍摄元件21拍摄立体移动图像时读取拍摄图像信号的像素对,并且仅由在图中用粗线框图示的相差检测像素3、4所检测到的拍摄图像信号在水平和垂直方向两者上通过像素交织读出而被读取。
摄影通过例如卷帘驱动来执行,并且当拍摄图像信号被从固态图像拍摄元件21读取时,所述读取被仅从其中设置相差检测像素3、4的水平线以水平线的顺序执行。
并且,对第一像素3(遮光膜的开口2a被装配在其上的像素)的拍摄图像信号执行图像处理作为当用左眼查看被摄体时的图像数据,且对第二像素4(遮光膜的开口2b被装配在其上的像素)的拍摄图像信号执行图像处理作为当用右眼查看被摄体时的图像数据,以使图像处理之后的被摄体图像彼此相关联,以将各个帧的拍摄图像数据记录在存储器中,使得被摄体的立体移动图像可以被记录。替换地,它同样可以被记录为立体静止图像。
因为从固态图像拍摄单元21读取的用于左眼的拍摄图像信号和用于右眼的拍摄图像信号分别成为从拜耳排列的像素读取的信号,所以用于现有拜耳排列的图像处理引擎可以被用于图像处理以及因此,可以实现低成本。
图5是说明能够用相差检测像素对来拍摄被摄体的立体图像的原理的图。相差检测像素对在水平方向上以需要的间隔布置,并且通过遮光膜的开口2a所获得的拍摄图像信号的改变被定义为信号f(x)而通过遮光膜的开口2b所获得的拍摄图像信号的改变被定义为信号g(x)。
信号f(x)和信号g(x)通过接收在相同水平线上的来自相同被摄体的光来获得,并且成为在水平方向上彼此移位的相同波形,使得两个信号之间的偏差量成为相差的量。相差的量是根据到被摄体的距离的视差,并且具有相差的量的用于右眼的拍摄图像信号和用于左眼的拍摄图像信号被从固态图像拍摄元件21读取以及因此,生成被摄体的立体图像成为可能。
接下来,使用图像拍摄装置10来摄影2D移动图像的情况将被描述。如上所述,3D移动图像可以使用图像拍摄装置10来摄影,但可能存在其中一些用户偏爱2D移动图像的情况。另外,还存在其中用于再现3D图像的监视器或电视接收机不存在并且该监视器或电视接收机被适配成仅再现2D图像的情况。替换地,存在其中3D移动图像和2D移动图像两者都被要求同时摄影的情况。因此,本实施例的图像拍摄装置10装配有用于3D图像以及2D移动图像的摄影功能。
图6是说明其中2D移动图像被摄影的第一实施例的图。在本实施例的固态图像拍摄元件21中,相差检测像素被以五像素间隔提供。像素排列和滤色器排列是与图3和图4的那些相同的。在本实施例中,图6中图示的被黑粗线框围绕的常规像素在2D移动图像摄影时被使用。
被图6的黑粗线框围绕的像素是与在水平方向和垂直方向两者上以五像素间隔(2n+1:n=2)提供的相差检测像素对相邻并且位于其垂直下方的像素,而且成为一对常规像素2。在本实施例中,移动图像使用由常规像素对的各个像素2所检测到的拍摄图像信号的加法平均值来生成。加法平均值被使用以便提高S/N。
在摄影3D移动图像和2D移动图像两者的情况下,可以读取其中存在相差检测像素3、4的像素线(水平线)和其中存在用于摄影2D移动图像的常规像素对2的像素线的各个拍摄图像信号。因此,3D移动图像和2D移动图像可以被同时地摄影。
当加法平均值被用作生成2D移动图像的数据时,各个信号配置位置成为像素对的加法重心位置并且成为最靠近3D图像的各个像素位置的位置。因此,可以获得相同图像具有相同分辨率的3D移动图像和2D移动图像。
在图6的实施例中,2D移动图像使用与相差检测像素3、4相邻并且位于其垂直下方的像素来拍摄,但可以使用与相差检测像素3、4相邻并且位于其垂直上方的像素。替换地,位于在相差检测像素3、4的水平右侧的相邻像素可以被使用并且另外,位于在相差检测像素3、4的水平左侧的相邻像素可以被使用。即使当任何相邻像素被使用时,从其像素配置读取的信号的颜色配置也成为拜耳排列。因此,可以使用用于拜耳排列的图像处理引擎以便低成本的实施方式成为可能。
当2D移动图像使用位于水平右侧或水平左侧的常规像素2来拍摄时,可以从固态图像拍摄元件21从相同的水平线读取3D移动图像数据和2D移动图像数据,在短时间内同时地读取3D移动图像和2D移动图像成为可能。
图7是图示当执行根据第二实施例的2D移动图像数据的摄影时的处理序列的流程图。在图6的实施例中,2D移动图像使用常规像素对的加法平均值来生成,但不限于此。2D移动图像可以要么通过仅使用像素对的一个像素的拍摄图像信号要么通过在固态图像拍摄元件外部对像素对的两个拍摄图像信号相加来生成。2D移动图像生成方法的选择可以由摄影场景的亮度来确定。
在本实施例中,在步骤S1处摄影场景的亮度被确定,并且当亮度是预定阈值α或更多时,过程进行到步骤S2。像素对的一个像素的拍摄图像信号被采用或者像素对的两个像素的加法平均值被采用并且然后,过程进行到步骤S4。
作为步骤S1的确定结果,场景的亮度在小于预定阈值α情况下是暗的,过程进行到步骤S3以便实现高灵敏度,并且像素对的两个像素的拍摄图像信号被相加,过程进行到步骤S4。在步骤S4处2D移动图像数据被生成并且过程结束。
另外,当3D移动图像和2D移动图像未被同时地摄影而是仅2D移动图像被摄影时,可以摄影具有宽动态范围的移动图像。施加到像素的信号读出电路的重置信号或读出信号被调整以相对于水平线中的另一个像素对的另一个像素2的曝光时间来缩短所述另一个像素对的一个像素2的曝光时间以执行摄影,并且两个拍摄图像信号被加起来,使得可以获得具有宽动态范围的2D移动图像。
图8是说明根据第三实施例从固态图像拍摄元件读取2D移动图像的拍摄图像信号的读取方法的图。在第一和第二实施例中,描述了生成具有与3D移动图像相同的分辨率的2D移动图像的情况,但存在其中与3D移动图像分离地需要增加水平分辨率的2D移动图像的情况。例如,存在其中要求具有16:9的纵横比的HD质量的移动图像的情况。
由图像拍摄装置10所摄影的图像的纵横比通常是4:3,但存在其中人们喜欢用具有16:9的纵横比的电视接收机的大屏幕来欣赏移动图像的情况。在这样的情况下,以下第三实施例的读取方法可能被期望采用并且通过图像拍摄装置10的菜单画面而被选择。
在图8中,在仅包括由加粗黑线边界所表示的常规像素的水平线中的像素被选择以读取2D图像的拍摄图像信号。在这种情况下,在水平线中不执行像素交织而在垂直线中执行像素交织,而不用读取相差检测像素3、4存在于其中的水平线和在垂直方向上与相差检测像素3相邻并且直接地位于相差检测像素3之上的水平线。摄影通过例如卷帘驱动来执行,并且当从固态图像拍摄元件21读取拍摄图像信号时,所述读取被以水平线的顺序执行。
在图8中所图示的读取方法中,因为具有同色的像素的拍摄图像信号通过在垂直方向上的两个像素来读取,所以当垂直方向的具有同色的两个像素被加起来时,信号的色排列成为拜耳排列。除具有同色的两个像素的加法以外,可以采用加法平均值。可以根据如在图7的实施例中所描述的摄影场景的亮度来进行关于采用哪一个的确定。
根据实施例,2D移动图像使用在读出线中水平方向的所有常规像素2的拍摄图像信号来生成,抑制诸如假色或锯齿的图像质量劣化的原因成为可能。
另外,在图8中所图示的实施例中,位于正好在相差检测像素3之上的水平线未被设置,但该水平线也可以被设置为读出线以读取像素2的拍摄图像信号。当这么做时,因为作为读出线的三行的GBGB...的线和三行的RGRG...的另一条线被交替地布置,所以尽管2像素加法在图8中作为示例被描述,但是通过执行垂直方向的3像素加法可以实现较高灵敏度。
在垂直方向上具有同色的2像素的加法(在修改示例中,3像素加法)在图8中被说明,但可以执行水平方向的具有同色的像素的加法。加法的示例在图9中被图示。图9的最后一级的滤色器排列成为BGBG...,并且其中五个G像素经历5像素加法的示例被图示在其中。被相加的G像素的信号的位置成为五个G像素的加法重心位置。B像素的5像素加法被提供成与G像素的5像素加法范围的一部分重叠。类似地,R像素的5像素加法或G像素的5像素加法在其中滤色器排列在读出线中成为GRGR...的线中被执行。同样地,因为水平方向的像素被加起来,所以锯齿的生成变得较低。
另外,在这个示例中,将针对像素“5像素加法”进行描述,但2像素加法或3像素加法可以被采用并且加法根据旨在被获得的移动图像的分辨率而被确定。可以如图7中所描述的根据摄影场景的亮度来确定用于加法的像素的数目。
在其中HD的2D静止图像使用固态图像拍摄元件21来摄影的情况下,所有像素中的每一个的拍摄图像信号被读取。因此,可以获得与像素的数目成比例的高清晰度图像。在这种情况下,因为相差检测像素3、4的遮光膜的开口2a、2b比常规像素2的遮光膜的开口1(图3)窄,所以其灵敏度是低的。因此,相差检测像素3、4的拍摄图像信号通过使用具有同色并且位于其附近的常规像素2的数据来执行插值操作而被校正,否则,通过将由数字信号处理26相对于相差检测像素3、4的拍摄图像信号所执行的放大处理的放大率设置为大于相对于常规像素2的拍摄图像信号的放大率,来校正拍摄图像信号。
如上所述,根据上面描述的实施例,当3D图像被拍摄时,图像处理使用仅相差检测像素的拍摄图像信号来执行,而当不是静止图像的2D图像被拍摄时,图像处理仅使用除相差检测像素以外的常规像素的拍摄图像信号来执行。因此,3D图像和2D图像两者都被一起摄影并且从固态图像拍摄元件21读取,而且然后,两个图像可以通过图像处理来区分以作为各个图像数据存储在记录媒体中。另外,当2D移动图像被拍摄时,可以根据摄影场景的亮度来控制用于加法的像素的数目以及因此,可以生成具有需要的灵敏度的移动图像。
另外,当像素加法像在上面描述的实施例中那样被执行时,加法重心位置被设置为相差检测像素的位置,使得场景中的相差不规则性可以被消除,以及因此获得高质量移动图像成为可能。
如上所述,本实施例的图像拍摄元件其特征在于,多个像素被以正方格子形式布置,滤色器以拜耳排列布置,获取用于右眼和左眼的拍摄图像信号中的一个的第一相差检测像素和获取用于右眼和左眼的拍摄图像信号中的另一个的第二相差检测像素的对设置在所述正方格子形式中的离散的且周期性的位置上,所述第一相差检测像素在水平方向和垂直方向两者上以2n+1个像素(n=1,2,…)的间隔设置在所述正方格子形式的各个像素之中,而所述对的所述第二相差检测像素被设置在具有同色滤色器并且相对于所述第一相差检测像素间隔开两个像素的像素上。因此,相差检测像素对的滤色器排列可以以拜耳排列布置。
另外,本实施例的图像拍摄元件的特征是上面描述的图像拍摄元件并且n=2。因此,最大化立体图像的分辨率成为可能。
另外,本实施例的图像拍摄装置的特征是,包括当拍摄立体移动图像时读取相差检测像素的拍摄图像信号的图像拍摄元件驱动单元。
另外,本实施例的图像拍摄装置其特征在于,当拍摄平面移动图像时,除所述相差检测像素以外的像素的拍摄图像信号被读取。
另外,本实施例的图像拍摄装置特征是,还包括图像处理单元,所述图像处理单元通过使用在除所述相差检测像素以外的像素之中具有同色滤色器的多个相邻像素中的任何一个的拍摄图像信号或者使用所述多个像素的拍摄图像信号的加法平均值来生成平面移动图像。因此,可以迅速地获得2D移动图像并且可以获得具有高S/N的2D移动图像。
另外,本实施例的图像拍摄装置其特征在于,当摄影场景是暗的时,所述图像处理单元通过对在除所述相差检测像素以外的像素之中具有同色滤色器的多个相邻像素的拍摄图像信号相加来生成平面移动图像。因此,可以获得具有高灵敏度的2D移动图像。
另外,本实施例的图像拍摄装置其特征在于,所述平面移动图像和所述立体移动图像被同时地拍摄。因此,可以在短时间内获得两种类型的移动图像。
另外,本实施例的图像拍摄装置的平面移动图像其特征在于,仅垂直方向的像素交织被执行而不用对图像拍摄元件的水平方向的像素执行像素交织以产生具有16:9的纵横比的图像。因此,获得能够被用具有16:9的纵横比的电视接收机的大屏幕查看的2D移动图像成为可能。
另外,本实施例的图像拍摄装置其特征在于,当拍摄高质量的平面静止图像时,拍摄图像信号被从图像拍摄元件的所有像素读取,并且相差检测像素的拍摄图像信号被校正以生成具有高清晰度的平面静止图像。因为常规像素被布置在相差检测像素附近,所以可以容易地且可靠地执行校正,并且可以容易地获得具有高清晰度的高质量平面静止图像。
根据上面所描述的实施例,以低成本并且在短时间内获得满足用户的需求的移动图像成为可能。
工业适用性
根据本发明的图像拍摄装置可以摄影静止图像以及3D移动图像和2D移动图像,并且可以被用作例如装配有移动图像摄影功能的数字相机。
虽然详细地并且参考特定实施例对本发明进行了描述,但是对于本领域的普通技术人员而言显而易见的是,在不背离本发明的范围或精神的情况下可以作出各种改变和修改。本申请基于并且要求于2011年6月9日向日本专利局提交的日本专利申请No.2011-129618的优先权,其公开内容通过引用整体地结合在本文中。
附图标记列表
1 常规像素的遮光膜的开口
2 像素(光电转换元件)
2a、2b 相差检测像素的遮光膜的开口
3、4 相差检测像素
10 图像拍摄装置
12 摄影透镜
26 数字信号处理单元
29 ***控制单元
Claims (9)
1.一种图像拍摄元件,其中
多个像素被以正方格子形式布置,滤色器以拜耳排列布置,获取用于右眼和左眼的拍摄图像信号中的一个的第一相差检测像素和获取用于所述右眼和所述左眼的所述拍摄图像信号中的另一个的第二相差检测像素的对被设置在所述正方格子形式中的离散的且周期性的位置上,所述第一相差检测像素在水平方向和垂直方向两者上以2n+1个像素(n=1,2,…)的间隔设置在所述正方格子形式的各像素之中,而所述对的所述第二相差检测像素被设置在具有同色的滤色器并且相对于所述第一相差检测像素间隔开两个像素的像素上。
2.根据权利要求1所述的图像拍摄元件,其中n=2。
3.一种图像拍摄装置,所述图像拍摄装置包括:
根据权利要求1或2所述的图像拍摄元件;以及
图像拍摄元件驱动单元,所述图像拍摄元件驱动单元当拍摄立体移动图像时读取所述相差检测像素的拍摄图像信号。
4.根据权利要求3所述的图像拍摄装置,其中,当拍摄平面移动图像时,除所述相差检测像素以外的所述像素的拍摄图像信号被读取。
5.根据权利要求4所述的图像拍摄装置,还包括:
图像处理单元,所述图像处理单元通过使用在除所述相差检测像素以外的所述像素之中具有同色滤色器的多个相邻像素中的任何一个像素的拍摄图像信号或者使用所述多个像素的拍摄图像信号的加法平均值来生成所述平面移动图像。
6.根据权利要求4所述的图像拍摄装置,其中,当所述摄影场景是暗的时,所述图像处理单元通过对在除所述相差检测像素以外的所述像素之中具有同色滤色器的所述多个相邻像素的拍摄图像信号相加来生成所述平面移动图像。
7.根据权利要求3至6中任何一项所述的图像拍摄装置,其中所述平面移动图像和所述立体移动图像被同时地拍摄。
8.根据权利要求3至6中任何一项所述的图像拍摄装置,其中所述平面移动图像被以仅所述垂直方向的像素交织被执行而不用对所述图像拍摄元件的所述水平方向的所述像素执行像素交织的方式产生成为具有16:9的纵横比的图像。
9.根据权利要求3至8中任何一项所述的图像拍摄装置,其中当拍摄高质量的平面静止图像时,从所述图像拍摄元件的所有像素读取拍摄图像信号,并且所述相差检测像素的拍摄图像信号被校正以生成具有高清晰度的所述平面静止图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011129618 | 2011-06-09 | ||
JP2011-129618 | 2011-06-09 | ||
PCT/JP2012/062276 WO2012169318A1 (ja) | 2011-06-09 | 2012-05-14 | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103597811A true CN103597811A (zh) | 2014-02-19 |
CN103597811B CN103597811B (zh) | 2015-07-29 |
Family
ID=47295888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280028247.3A Expired - Fee Related CN103597811B (zh) | 2011-06-09 | 2012-05-14 | 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140092220A1 (zh) |
EP (1) | EP2720455B1 (zh) |
JP (1) | JP5493054B2 (zh) |
CN (1) | CN103597811B (zh) |
WO (1) | WO2012169318A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104185983A (zh) * | 2012-03-16 | 2014-12-03 | 株式会社尼康 | 摄像元件、摄像装置以及摄像*** |
CN107819979A (zh) * | 2016-09-14 | 2018-03-20 | 奥林巴斯株式会社 | 摄像元件、摄像装置 |
CN114208153A (zh) * | 2019-08-20 | 2022-03-18 | 华为技术有限公司 | 不使用防抖的多重拍摄图像捕获 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011136031A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 撮像装置 |
JP6205770B2 (ja) * | 2012-03-16 | 2017-10-04 | 株式会社ニコン | 撮像素子および撮像システム |
JP6148530B2 (ja) * | 2013-05-02 | 2017-06-14 | キヤノン株式会社 | 固体撮像装置及びカメラ |
JP6052057B2 (ja) * | 2013-05-22 | 2016-12-27 | ソニー株式会社 | 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器 |
JP2016009043A (ja) * | 2014-06-24 | 2016-01-18 | ソニー株式会社 | イメージセンサ、演算方法、および電子装置 |
KR102294316B1 (ko) * | 2014-08-04 | 2021-08-26 | 엘지이노텍 주식회사 | 이미지 센서 및 이를 포함하는 촬상 장치 |
CA2935825A1 (en) | 2016-07-11 | 2018-01-11 | Steeper Energy Aps | Process for producing low sulphur renewable oil |
CN110447223B (zh) | 2017-03-16 | 2021-07-27 | 富士胶片株式会社 | 摄像装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2008147821A (ja) * | 2006-12-07 | 2008-06-26 | Sony Corp | 撮像素子および撮像装置 |
JP2008312073A (ja) * | 2007-06-16 | 2008-12-25 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
JP2009204987A (ja) * | 2008-02-28 | 2009-09-10 | Sony Corp | 撮像装置および撮像素子 |
JP2010081609A (ja) * | 2008-09-25 | 2010-04-08 | Samsung Electronics Co Ltd | 立体イメージセンサ |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
JPH11341522A (ja) | 1998-05-22 | 1999-12-10 | Fuji Photo Film Co Ltd | 立体画像撮影装置 |
JP2007279512A (ja) * | 2006-04-10 | 2007-10-25 | Fujifilm Corp | 立体カメラ及び立体撮像素子 |
JP4946313B2 (ja) * | 2006-09-27 | 2012-06-06 | 株式会社ニコン | 撮像装置 |
JP4349407B2 (ja) * | 2006-11-17 | 2009-10-21 | ソニー株式会社 | 撮像装置 |
JP5098405B2 (ja) * | 2007-04-11 | 2012-12-12 | 株式会社ニコン | 撮像素子、焦点検出装置および撮像装置 |
US7745779B2 (en) * | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP5276371B2 (ja) * | 2008-07-09 | 2013-08-28 | キヤノン株式会社 | 撮像装置 |
JP2010020015A (ja) * | 2008-07-09 | 2010-01-28 | Canon Inc | 撮像装置 |
JP5159700B2 (ja) * | 2009-05-19 | 2013-03-06 | キヤノン株式会社 | 光学装置及び焦点検出方法 |
JP5232118B2 (ja) * | 2009-09-30 | 2013-07-10 | 富士フイルム株式会社 | 撮像デバイスおよび電子カメラ |
JP2011129618A (ja) | 2009-12-16 | 2011-06-30 | Fuji Electric Co Ltd | 薄膜形成装置 |
JP2012182332A (ja) * | 2011-03-02 | 2012-09-20 | Sony Corp | 撮像素子および撮像装置 |
WO2012132122A1 (ja) * | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及びその合焦制御方法 |
-
2012
- 2012-05-14 CN CN201280028247.3A patent/CN103597811B/zh not_active Expired - Fee Related
- 2012-05-14 EP EP12797532.4A patent/EP2720455B1/en not_active Not-in-force
- 2012-05-14 JP JP2013519426A patent/JP5493054B2/ja not_active Expired - Fee Related
- 2012-05-14 WO PCT/JP2012/062276 patent/WO2012169318A1/ja active Application Filing
-
2013
- 2013-12-06 US US14/099,387 patent/US20140092220A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2008147821A (ja) * | 2006-12-07 | 2008-06-26 | Sony Corp | 撮像素子および撮像装置 |
JP2008312073A (ja) * | 2007-06-16 | 2008-12-25 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
JP2009204987A (ja) * | 2008-02-28 | 2009-09-10 | Sony Corp | 撮像装置および撮像素子 |
JP2010081609A (ja) * | 2008-09-25 | 2010-04-08 | Samsung Electronics Co Ltd | 立体イメージセンサ |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104185983A (zh) * | 2012-03-16 | 2014-12-03 | 株式会社尼康 | 摄像元件、摄像装置以及摄像*** |
CN104185983B (zh) * | 2012-03-16 | 2016-10-26 | 株式会社尼康 | 摄像元件、摄像装置以及摄像*** |
US9906770B2 (en) | 2012-03-16 | 2018-02-27 | Nikon Corporation | Image sensor, image-capturing apparatus and image capturing system |
US10412358B2 (en) | 2012-03-16 | 2019-09-10 | Nikon Corporation | Image sensor, image-capturing apparatus and image-capturing system |
CN107819979A (zh) * | 2016-09-14 | 2018-03-20 | 奥林巴斯株式会社 | 摄像元件、摄像装置 |
CN107819979B (zh) * | 2016-09-14 | 2020-06-30 | 奥林巴斯株式会社 | 摄像元件、摄像装置 |
CN114208153A (zh) * | 2019-08-20 | 2022-03-18 | 华为技术有限公司 | 不使用防抖的多重拍摄图像捕获 |
CN114208153B (zh) * | 2019-08-20 | 2023-03-10 | 华为技术有限公司 | 不使用防抖的多重拍摄图像捕获 |
Also Published As
Publication number | Publication date |
---|---|
EP2720455B1 (en) | 2016-06-22 |
EP2720455A1 (en) | 2014-04-16 |
JPWO2012169318A1 (ja) | 2015-02-23 |
WO2012169318A1 (ja) | 2012-12-13 |
CN103597811B (zh) | 2015-07-29 |
EP2720455A4 (en) | 2015-04-15 |
US20140092220A1 (en) | 2014-04-03 |
JP5493054B2 (ja) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103597811B (zh) | 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置 | |
US9661210B2 (en) | Image pickup device and image pickup apparatus | |
JP5472584B2 (ja) | 撮像装置 | |
JP5640143B2 (ja) | 撮像装置及び撮像方法 | |
JP5816015B2 (ja) | 固体撮像装置及びカメラモジュール | |
CN105306786B (zh) | 用于具有相位检测像素的图像传感器的图像处理方法 | |
US8456565B2 (en) | Imaging device | |
CN204697179U (zh) | 具有像素阵列的图像传感器 | |
US8593509B2 (en) | Three-dimensional imaging device and viewpoint image restoration method | |
WO2012039180A1 (ja) | 撮像デバイス及び撮像装置 | |
WO2012036019A1 (ja) | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム | |
JP5901935B2 (ja) | 固体撮像装置及びカメラモジュール | |
WO2012057621A1 (en) | System and method for imaging using multi aperture camera | |
JP5597777B2 (ja) | カラー撮像素子及び撮像装置 | |
JPWO2013099638A1 (ja) | 撮像素子及び撮像装置 | |
JP2012015819A (ja) | 立体画像撮像装置 | |
JPWO2012169140A1 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
JP2013201466A (ja) | 立体画像撮像装置 | |
WO2013069445A1 (ja) | 立体撮像装置及び画像処理方法 | |
WO2012169301A1 (ja) | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 | |
JP5033711B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP5634614B2 (ja) | 撮像素子及び撮像装置 | |
JP6022428B2 (ja) | 画像撮影装置及び画像撮影方法 | |
JP2013157807A (ja) | 画像信号処理方法及び画像信号処理回路、並びに撮像装置 | |
JP6345851B1 (ja) | 高速度ビデオカメラ用カラー固体撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150729 Termination date: 20180514 |
|
CF01 | Termination of patent right due to non-payment of annual fee |