CN109983758A - 成像元件、成像方法以及电子设备 - Google Patents

成像元件、成像方法以及电子设备 Download PDF

Info

Publication number
CN109983758A
CN109983758A CN201780072808.2A CN201780072808A CN109983758A CN 109983758 A CN109983758 A CN 109983758A CN 201780072808 A CN201780072808 A CN 201780072808A CN 109983758 A CN109983758 A CN 109983758A
Authority
CN
China
Prior art keywords
pixel
image
array unit
unit
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780072808.2A
Other languages
English (en)
Other versions
CN109983758B (zh
Inventor
千田圭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN109983758A publication Critical patent/CN109983758A/zh
Application granted granted Critical
Publication of CN109983758B publication Critical patent/CN109983758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

公开了一种成像元件、成像方法、以及电子设备，成像元件能够获得更好的相机抖动减少效果。其中多个像素布置成矩阵形式的像素阵列单元通过EIS成像输出多个帧，在EIS成像中短曝光时间成像以高速连续执行。另外，曝光控制单元基于指示在像素阵列单元抖动时发生的物理抖动的抖动信息确定像素阵列单元的抖动是否超过规定值，并且控制像素阵列单元使得像素阵列单元执行EIS成像直到确定像素阵列单元的抖动超过规定值的时间。该技术能应用于例如具有电子相机抖动减小功能的CMOS图像传感器。

Description

成像元件、成像方法以及电子设备
技术领域
本公开涉及图像拾取元件、图像拾取方法和电子设备，具体地，涉及实现更好的图像稳定效果的图像拾取元件、图像拾取方法和电子设备。
背景技术
传统地，作为用于校正由于在捕获图像时相机抖动而发生的模糊的技术，一般使用光学图像稳定(OIS)和电子图像稳定(EIS)。
例如，在光学图像稳定中，图像模糊能通过沿与陀螺仪传感器等检测到的移动相反的方向移动透镜以移位形成在图像拾取元件上的图像来校正。
然而，光学图像稳定使用于移动透镜的***复杂化并且例如增加其功耗，此外，由于图像拾取元件和用于图像稳定的控制***被提供为单独的部分，因此难以将其彼此结合来控制。此外，在光学图像稳定中，需要在每个校正方向上提供驱动部分，并且为了避免***的复杂性，在紧凑的设备中仅校正偏航方向和俯仰方向上的模糊并且不校正滚转方向上的模糊。
另一方面，在电子图像稳定中，能通过执行用于叠加多个图像的图像处理来校正图像的模糊，所述多个图像通过连续执行可能导致很少模糊的短时间曝光的高速成像而获得。
例如，专利文献1公开了一种图像处理方法，其能够从在适当曝光下以比快门速度快的速度捕获的多个图像输出转换为与适当曝光相同亮度的清晰图像。另外，专利文献2公开了一种固态图像拾取元件，其能够根据基于由陀螺仪传感器检测到的模糊角度的校正量和构成图像的像素的布置位置来有效地校正由于相机抖动而在图像中发生的变形。
引文列表
专利文献
专利文献1：国际公开第2014/156731号
专利文献2：日本专利申请公开第2005-38396号
发明内容
本发明要解决的问题
然而，在传统的电子图像稳定中，由于其图像稳定效果低于光学图像稳定，因此需要能够获得更好的图像稳定效果的电子图像稳定。
本公开鉴于这种情况做出，并且本公开的目的是获得更好的图像稳定效果。
问题的解决方案
根据本公开的一个方面的图像拾取元件包括：像素阵列单元，该像素阵列单元包括布置成阵列的多个像素，并且配置为通过EIS成像输出多个帧，EIS成像以高速连续地执行短时间曝光成像；以及曝光控制单元，配置为基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息来确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行EIS成像直到确定像素阵列单元的模糊超过规定值。
根据本公开的一个方面的图像拾取方法是图像拾取装置的图像拾取方法，该图像拾取装置具有像素阵列单元，该像素阵列单元包括布置成阵列的多个像素并通过EIS成像输出多个帧，该EIS成像以高速连续地执行短时间曝光成像，该方法包括：基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息确定像素阵列单元的模糊是否超过规定值；以及使像素阵列单元执行EIS成像直到确定像素阵列单元的模糊超过所述规定值。
根据本公开的一个方面的电子设备包括图像拾取元件，该图像拾取元件具有：像素阵列单元，包括布置成阵列的多个像素并且配置为通过EIS成像输出多个帧，EIS成像以高速连续地执行短时间曝光成像；以及曝光控制单元，配置为基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息来确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行EIS成像直到确定像素阵列单元的模糊超过规定值。
根据本公开的一个方面，其中多个像素布置成阵列的像素阵列单元通过EIS成像输出多个帧，EIS成像以高速连续地执行短时间曝光成像。然后，基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行EIS成像直到确定像素阵列单元的模糊超过规定值。
发明的效果
根据本公开的一个方面，能获得更好的图像稳定效果。
附图说明
图1是示出使用本技术的图像拾取元件的一实施方式的配置示例的框图。
图2是示出传统OIS成像和EIS成像的图。
图3是示出使用本技术的EIS成像的图。
图4是示出使用本技术的EIS成像的图。
图5是示出图像与陀螺仪数据之间的同步的图。
图6是用于说明其中组合频闪光发射的EIS成像的图。
图7是示出图像拾取装置的配置示例的框图。
图8是示出图像传感器的使用示例的图。
具体实施方式
在下文中，应用本技术的具体实施方式将参照附图被详细描述。
<图像拾取元件的配置示例>
图1是示出应用本技术的图像拾取元件的一实施方式的配置示例的框图。
图1所示的图像拾取元件11形成有层叠存储芯片13，其层叠在具有传感器基板和信号处理基板的层叠结构的成像芯片12上，并且成像芯片12与陀螺仪传感器14和发光器件15连接。
成像芯片12包括像素阵列单元21、模数转换器(ADC)单元22、陀螺仪接口单元23、曝光控制单元24、图像合成单元25、输出帧配置单元26、输出单元27、以及输入单元28。
像素阵列单元21是形成有多个像素的成像平面，所述多个像素布置成阵列以接收由未示出的光学***会聚的光，并输出与每个像素接收的光的光量对应的水平的像素信号。例如，在曝光控制单元24的控制下，像素阵列单元21连续地执行EIS成像，其通过以短曝光时间高速成像来引起很少的模糊，并输出组成多个帧的像素信号。
ADC单元22对从像素阵列单元21输出的像素信号执行例如相关双采样(CDS)的处理，以执行像素信号的AD转换并去除复位噪声。
陀螺仪接口单元23获取从陀螺仪传感器14输出的陀螺仪数据(模糊信息)，并根据需要将陀螺仪数据(模糊信息)提供给曝光控制单元24、图像合成单元25和输出帧配置单元26。另外，如稍后将参照图5描述地，陀螺仪接口单元23管理陀螺仪数据的提供，使得图像和陀螺仪数据同步。
曝光控制单元24基于从陀螺仪接口单元23提供的陀螺仪数据和经由输入单元28从未示出的外部处理器提供的控制信息(曝光时间、增益等)执行曝光控制。例如，曝光控制单元24使像素阵列单元21通过将由处理器给出的曝光时间分成导致很少模糊的短曝光时间来执行EIS成像。此外，在完成通过像素阵列单元21的EIS成像的情况下，曝光控制单元24使图像合成单元25执行图像合成。此外，曝光控制单元24使发光器件15在预定时间执行频闪光发射。
像素信号从ADC单元22提供给图像合成单元25，并且图像合成单元25执行图像合成，用于在曝光控制单元24的控制下合成由像素阵列单元21捕获的多个帧并且将合成的图像提供给输出帧配置单元26。例如，基于从陀螺仪接口单元23提供的陀螺仪数据获得的移动矢量，图像合成单元25执行图像处理，用于随着在校正图像中产生的相机抖动的方向上移位多个帧中的每个帧而合成多个帧中的每个帧。
输出帧配置单元26以输出格式形成帧，其中嵌入数据等被添加到从图像合成单元25提供的图像，并经由输出单元27输出帧。
输出单元27是用于根据例如相机串行接口2(CSI)将从输出帧配置单元26提供的输出帧输出到图像拾取元件11外部的接口。
输入单元28是例如根据相机控制接口(CCI)从处理器(未示出)接收控制信息并将控制信息提供给曝光控制单元24的接口。
存储芯片13包括图像数据缓冲器29，并且图像数据缓冲器29临时存储例如图像合成单元25用于执行图像合成的多个帧。
陀螺仪传感器14安装在图像拾取元件11的附近，并且物理地(不通过处理图像)检测图像拾取元件11已抖动的抖动角度。例如，陀螺仪传感器14是检测角速度的检测单元，并输出陀螺仪数据，该陀螺仪数据指示由从在恒定时间检测到的角速度获得的抖动角度表示的相机抖动量。
在曝光控制单元24的控制下，发光器件15向对象发射具有强亮度的频闪光。
图像拾取元件11以这种方式配置，使得曝光控制单元24能基于从陀螺仪传感器14输出的陀螺仪数据来确定像素阵列单元21的模糊是否超过规定值(例如，角速度：2度/秒)，并使像素阵列单元21执行EIS成像直到确定模糊超过规定值。利用这种配置，图像拾取元件11能通过延长EIS图像的总曝光时间比从处理器给出的曝光时间长来获取更高质量的EIS图像。或者，即使在从处理器给出的曝光时间内，图像拾取元件11也能避免在EIS图像中出现模糊。
注意，在互补金属氧化物半导体(CMOS)图像传感器中，一般由焦平面快门捕获图像，其中对于每行像素顺序地开始曝光并且读出像素信号。在以下参照附图的描述中，由这种焦平面快门获取的图像由平行四边形表示。
<传统OIS成像和EIS成像>
参照图2，传统OIS成像和EIS成像将被描述。
例如，在OIS成像中，执行普通成像，其中根据从处理器给出的曝光时间和增益来获取由OIS稳定的图像。
此外，在EIS成像中，由处理器给出的曝光时间(等于OIS成像中的曝光时间)被分成短时间段(其不会引起相机抖动)，多个帧被捕获，并且帧被合成从而获取单个稳定的EIS图像。
在这种OIS成像和EIS成像中，根据从处理器给出的成像条件(曝光时间、增益等)执行成像。由于该成像条件基于从其OIS性能等推测的最长曝光时间来控制，所以通过在允许图像稳定特性的范围内利用长时间曝光进一步执行成像，可以期望更高的图像质量。
<使用本技术的EIS成像>
参照图3和图4，图1的图像拾取元件11的EIS成像将被描述。
例如，在图3和图4中，虚线平行四边形表示由处理器给出的曝光时间，并且，通常，控制被执行使得EIS成像的曝光时间的总和变得等于由处理器给出的曝光时间。
相反，在图像拾取元件11中，曝光控制单元24经由陀螺仪接口单元23直接观察从陀螺仪传感器14输出的陀螺仪信息，并确定陀螺仪数据超过规定值的大的模糊(虚直线)是否已发生。然后，曝光控制单元24使像素阵列单元21继续EIS成像，直到确定陀螺仪数据超过规定值的大的模糊已经发生。
例如，如图3所示，在已经过处理器给出的曝光时间之后发生陀螺仪数据超过规定值的大的模糊的情况下，曝光控制单元24使像素阵列单元21终止那时的EIS成像。然后，曝光控制单元24使图像合成单元25使用紧接在模糊发生之前的帧来合成图像，并且图像合成单元25合成帧以输出单个稳定的EIS图像。
结果，图像拾取元件11能将EIS成像中的曝光时间的总和延长到比从处理器给出的曝光时间长。一般地，特别是在低照度环境中，由于在曝光时间的总和较长的情况下能提高图像质量，因此图像拾取元件11能获取具有更好的图像稳定效果的高质量图像。
另一方面，如图4所示，在经过处理器给出的曝光时间之前发生使陀螺仪数据超过规定值的大的模糊的情况下，在那时，曝光控制单元24使像素阵列单元21终止EIS成像。然后，曝光控制单元24使图像合成单元25使用紧接在模糊发生之前的帧来合成图像，并且图像合成单元25合成帧以输出单个稳定的EIS图像。
结果，图像拾取元件11能在图像模糊发生之前终止EIS成像，并且排除包括已发生的这种模糊的图像而不在图像合成中使用。在这种情况下，图像拾取元件11不能获取如参照图3描述的高质量图像；然而，能防止由于相机抖动引起的成像失败。
如上所述，在图像拾取元件11中，成像芯片12直接获取从陀螺仪传感器14输出的陀螺仪数据并且尽可能长地执行曝光，使得与传统技术相比，例如，图像质量能在低照度环境下的成像中改善。此外，即使在由处理器给出的曝光时间期间发生意外的大的相机抖动的情况下，图像拾取元件11也能避免成像失败。
此外，在OIS成像中，例如，由于图像稳定功能通过在消除相机抖动的方向上移动光学部件和图像拾取元件中的一个来实现，因此驱动部件需要提供给每个校正轴。因此，一般地，在诸如被称为智能电话的小型设备中采用的图像拾取装置中，仅校正了在偏航方向和俯仰方向上的模糊。另一方面，图像拾取元件11能利用EIS成像，并且除了偏航方向和俯仰方向之外还能校正滚转方向上的模糊，而无需添加驱动部件等。
<陀螺仪数据的同步>
参照图5，图像拾取元件11中的图像与陀螺仪数据之间的同步将被描述。
一般地，在EIS成像中合成多个帧的情况下帧之间的位移信息是重要的，并且相机抖动能通过消除位移来校正。此外，在用于图像拾取元件11的CMOS图像传感器中，焦平面快门用作电子快门***，从而发生图像中的读取时间偏差。为此，在由于焦平面快门引起的图像中的读取时间偏差和由于相机抖动引起的帧之间的位置偏差重叠的情况下，可能发生图像质量的进一步劣化。
因此，图像拾取元件11使图像与陀螺仪数据同步，准确地识别每帧中垂直方向上的每个位置的抖动量，并正确地校正这些偏差，从而能有效地执行对图像中引起的相机抖动的校正。
在图5的上侧，通过由像素阵列单元21执行EIS成像而获取的多个帧被示出，并且在图5的下侧，曝光开始时间和读取时间被示出。
作为一示例，曝光在第一帧1和第二帧2中由虚线围绕的垂直方向上的位置将被考虑。这里，在帧1中由虚线围绕的位置处的曝光中心是时间T1+((时间T2-T1)/2。此外，在帧2中由虚线围绕的位置处的曝光中心是时间T3+((时间T4-T3)/2。然后，用于叠加EIS成像中的帧的运动矢量是从帧1的曝光中心到帧2的曝光中心的移动量。
然后，在图像拾取元件11中，曝光控制单元24能使从陀螺仪接口单元23提供的陀螺仪数据与像素阵列单元21的成像时间同步，使得从帧1的曝光中心到帧2的曝光中心的运动矢量能被精确地获取。
换言之，通过同步图像读取和陀螺仪数据读取，图像拾取元件11能精确地识别帧之间在垂直方向上的每个位置处的位移量。结果，图像合成单元25能使用针对每个帧的垂直方向上的每个位置同步的位移量来合成帧。因此，图像拾取元件11抑制图像质量的劣化(该图像质量的劣化通过重叠由焦平面快门引起的图像内的读取时间偏差和由于相机抖动引起的帧之间的位置偏差导致)，以执行更有效的图像稳定。换言之，由于图像拾取元件11能基于高精度和详细的位移量执行图像稳定，因此帧同步能以高质量执行，并且能实现通过合成多个帧而获得的EIS图像的改善的图像质量。
另外，在图像拾取元件11中，由于成像芯片12和陀螺仪传感器14能彼此结合地执行控制，因此与传统图像拾取元件(其中使用这种结合的控制是困难的)相比，能最大化作为安装图像稳定的结果的曝光时间延长的效果。
<与频闪光发射结合的EIS成像>
参照图6，与频闪光发射相结合的EIS成像将被描述。
如图6所示，首先，曝光控制单元24将要提供给发光器件15的发光信号设定为H电平，并使发光器件15发射频闪光。然后，与发光信号同步，曝光控制单元24使像素阵列单元21在发射频闪光同时用频闪光照射对象的时段内执行EIS成像。结果，获取通过对用频闪光照射的对象成像而获得的EIS图像。
此后，曝光控制单元24将要提供给发光器件15的发光信号设定为L电平，并且终止通过发光器件15的频闪光的光发射。然后，曝光控制单元24使像素阵列单元21再次执行EIS成像以避免频闪光发射的定时完成，并且基于陀螺仪数据执行长期EIS成像，如以上参照图3和图4所述。结果，获取通过对频闪光未到达的背景成像而获得的EIS图像。
以这种方式，在图像拾取元件11中，由像素阵列单元21进行的EIS成像结合提供给发光器件15的发光信号(发送到外部的控制信号)被控制，并且在获取对象的EIS图像及其背景的EIS图像之后，合成这些图像。利用这种配置，图像拾取元件11能将在具有频闪光的环境中的图像和在没有频闪光的环境中的图像存储为单个EIS图像。因此，能获得与作为成像技术之一的慢同步成像相同的效果。这里，图6示出了使用前帘同步的示例；然而，可以采用后帘同步。
此外，仍在对象的EIS图像和背景的EIS图像被合成的情况下，图像拾取元件11能使用陀螺仪数据并获取其中偏差被防止的EIS图像。
这里，如上所述，除了在图像拾取元件11内部执行处理之外，例如，可以有一配置，其中基于陀螺仪数据的运动矢量被添加到多个帧并且在随后的阶段中输出到处理器，并且在处理器中执行合成处理。
例如，在传统的EIS成像中，由于在一次成像中仅使用一个连续帧，因此在使用频闪光的成像中，即使对于多个短时间曝光帧，也需要同步以保持屏幕内的亮度均匀性。然而，传统上难以对短时间曝光的多个帧执行这种控制。
另一方面，在图像拾取元件11中，EIS成像连续高速执行两次，并且保持并使用EIS成像期间的运动矢量信息，使得在表观成像时间延长的同时，由频闪光发射等引起的成像环境的改变能被控制。利用这种配置，图像拾取元件11能在低照度环境中实现高图像质量。
如上所述，图像拾取元件11通过EIS成像连续地获取多个帧，使得即使在低照度环境中也能结合频闪光发射等获取更好的EIS图像。
注意，上述图像拾取元件11可应用于例如各种电子设备，诸如包括数字静态照相机或数字摄像机的图像拾取***、具有图像拾取功能的移动电话、或具有图像拾取功能的其它设备。
<图像拾取装置的配置示例>
图7是示出要安装在电子设备中的图像拾取装置的配置示例的框图。
如图7所示，图像拾取装置101包括光学***102、图像拾取元件103、信号处理电路104、监视器105和存储器106，并且能捕获静止图像和运动图像。
光学***102包括一个或更多个透镜，并且将来自对象的图像光(入射光)引导到图像拾取元件103，以在图像拾取元件103的光接收表面(传感器部分)上形成图像。
作为图像拾取元件103，上述图像拾取元件11被应用。在图像拾取元件103中，根据经由光学***102在光接收表面上形成的图像，电子被累积一定时间段。然后，与在图像拾取元件103中累积的电子对应的信号被提供给信号处理电路104。
信号处理电路104对从图像拾取元件103输出的像素信号执行各种信号处理。通过由信号处理电路104执行信号处理而获得的图像(图像数据)被提供给监视器105并显示，或提供给存储器106并存储(记录)。
在如上所述配置的图像拾取装置101中，通过应用上述图像拾取元件11，例如，即使在低照度环境中也能获取高质量图像。
<图像传感器的使用示例>
图8是示出上述图像传感器(图像拾取元件11)的使用示例的图。
上述图像传感器能在各种情况下用于感测光，诸如可见光、红外光、紫外光和X射线，例如，如下所述。
·用于捕获要观看的图像的电子设备，诸如数码相机或具有相机功能的手机
·用于交通的设备，诸如用于捕获车辆前方和后方、周围环境、车辆内部等的图像的车载传感器、用于监视行驶车辆或街道的监控摄像机、用于为了安全驾驶(诸如自动停止、驾驶员状况的识别)测量车辆之间的距离等的距离测量传感器等
·家用电器(诸如电视机、冰箱和空调)中提供的设备，用于捕获用户手势的图像并根据手势执行设备操作
·医疗或保健中使用的设备，诸如内窥镜和使用红外光接收的血管造影设备
·用于安全的设备，诸如用于犯罪预防的监控摄像机或用于人员识别的相机
·用于美容护理的设备，诸如用于捕获皮肤图像的皮肤测量设备、用于捕获头皮图像的显微镜等
·用于运动的设备，诸如用于运动的运动相机、可穿戴式相机等
·用于农业的设备，诸如用于监控田地或农产品状况的摄像机
注意，本技术还可以具有以下配置。
(1)
一种图像拾取元件，包括：
像素阵列单元，包括布置成阵列的多个像素并且配置为通过电子图像稳定(EIS)成像输出多个帧，所述电子图像稳定成像以高速连续地执行短时间曝光成像；以及
曝光控制单元，配置为基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息来确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行EIS成像直到确定像素阵列单元的模糊超过规定值。
(2)
根据(1)所述的图像拾取元件，其中
即使在从外部处理器给出的曝光时间已经过去的情况下，曝光控制单元也使像素阵列单元执行EIS成像直到确定像素阵列单元的模糊超过规定值。
(3)
根据(1)所述的图像拾取元件，其中
即使在没有经过从外部处理器给出的曝光时间的情况下，曝光控制单元也在确定像素阵列单元的模糊超过规定值的情况下使像素阵列单元终止EIS成像。
(4)
根据(1)至(3)中任一项所述的图像拾取元件，还包括：
图像合成单元，配置为执行图像处理，用于在根据模糊信息校正模糊的方向上移位从像素阵列单元输出的多个帧并合成所述帧。
(5)
根据(4)所述的图像拾取元件，其中
图像合成单元使用与由像素阵列单元捕获的帧中的每个位置同步的模糊信息来执行用于合成所述帧的图像处理。
(6)
根据(1)至(5)中任一项所述的图像拾取元件，其中
曝光控制单元结合用于执行外部设备的预定控制的控制信号控制像素阵列单元的EIS成像。
(7)
一种图像拾取装置的图像拾取方法，所述图像拾取装置具有像素阵列单元，像素阵列单元包括布置成阵列的多个像素并通过电子图像稳定(EIS)成像输出多个帧，电子图像稳定成像以高速连续地执行短时间曝光成像，该方法包括：
基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息确定像素阵列单元的模糊是否超过规定值；以及
使像素阵列单元执行EIS成像直到确定像素阵列单元的模糊超过规定值。
(8)
一种具有图像拾取元件的电子设备，该图像拾取元件包括：
像素阵列单元，包括布置成阵列的多个像素并且配置为通过电子图像稳定(EIS)成像输出多个帧，电子图像稳定成像以高速连续地执行短时间曝光成像；以及
曝光控制单元，配置为基于指示在像素阵列单元抖动的情况下的物理模糊的模糊信息来确定像素阵列单元的模糊是否超过规定值，并且使像素阵列单元执行EIS成像直到确定像素阵列单元的模糊超过规定值。
注意，本实施方式不限于上述实施方式，并且可以在本公开的范围内进行各种改变。
附图标记列表
11图像拾取元件
12成像芯片
13存储芯片
14陀螺仪传感器
15发光器件
21像素阵列单元
22 ADC单元
23陀螺仪接口单元
24曝光控制单元
25图像合成单元
26输出帧配置单元
27输出单位
28输入单元
29图像数据缓冲器。

Claims (8)

1.一种图像拾取元件，包括：
像素阵列单元，包括布置成阵列的多个像素并且配置为通过电子图像稳定(EIS)成像输出多个帧，所述电子图像稳定成像以高速连续地执行短时间曝光成像；以及
曝光控制单元，配置为基于指示在所述像素阵列单元抖动的情况下的物理模糊的模糊信息来确定所述像素阵列单元的模糊是否超过规定值，并且使所述像素阵列单元执行电子图像稳定成像直到确定所述像素阵列单元的所述模糊超过所述规定值。
2.根据权利要求1所述的图像拾取元件，其中
即使在从外部处理器给出的曝光时间已经过去的情况下，所述曝光控制单元也使所述像素阵列单元执行电子图像稳定成像直到确定所述像素阵列单元的所述模糊超过所述规定值。
3.根据权利要求1所述的图像拾取元件，其中
即使在没有经过从外部处理器给出的曝光时间的情况下，所述曝光控制单元也在确定所述像素阵列单元的所述模糊超过规定值的情况下使所述像素阵列单元终止所述电子图像稳定成像。
4.根据权利要求1所述的图像拾取元件，还包括
图像合成单元，配置为执行图像处理，用于在根据所述模糊信息校正所述模糊的方向上移位从所述像素阵列单元输出的多个帧并合成所述帧。
5.根据权利要求4所述的图像拾取元件，其中
所述图像合成单元使用与由所述像素阵列单元捕获的所述帧中的每个位置同步的所述模糊信息来执行用于合成所述帧的图像处理。
6.根据权利要求1所述的图像拾取元件，其中
所述曝光控制单元连同用于执行外部设备的预定控制的控制信号，来控制所述像素阵列单元的电子图像稳定成像。
7.一种图像拾取装置的图像拾取方法，所述图像拾取装置具有像素阵列单元，所述像素阵列单元包括布置成阵列的多个像素并通过电子图像稳定(EIS)成像输出多个帧，所述电子图像稳定成像以高速连续地执行短时间曝光成像，所述方法包括：
基于指示在所述像素阵列单元抖动的情况下的物理模糊的模糊信息确定所述像素阵列单元的模糊是否超过规定值；以及
使所述像素阵列单元执行电子图像稳定成像直到确定所述像素阵列单元的所述模糊超过所述规定值。
8.一种具有图像拾取元件的电子设备，所述图像拾取元件包括：
像素阵列单元，包括布置成阵列的多个像素并且配置为通过电子图像稳定(EIS)成像输出多个帧，所述电子图像稳定成像以高速连续地执行短时间曝光成像；以及
曝光控制单元，配置为基于指示在所述像素阵列单元抖动的情况下的物理模糊的模糊信息来确定所述像素阵列单元的模糊是否超过规定值，并且使所述像素阵列单元执行电子图像稳定成像直到确定所述像素阵列单元的所述模糊超过所述规定值。
CN201780072808.2A 2016-12-02 2017-11-17 成像元件、成像方法以及电子设备 Active CN109983758B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-235132 2016-12-02
JP2016235132 2016-12-02
PCT/JP2017/041418 WO2018101077A1 (ja) 2016-12-02 2017-11-17 撮像素子および撮像方法、並びに電子機器

Publications (2)

Publication Number Publication Date
CN109983758A true CN109983758A (zh) 2019-07-05
CN109983758B CN109983758B (zh) 2021-11-16

Family

ID=62242576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072808.2A Active CN109983758B (zh) 2016-12-02 2017-11-17 成像元件、成像方法以及电子设备

Country Status (5)

Country Link
US (1) US11095816B2 (zh)
JP (1) JP7118893B2 (zh)
KR (1) KR102423991B1 (zh)
CN (1) CN109983758B (zh)
WO (1) WO2018101077A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193866A (zh) * 2020-01-08 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111193867A (zh) * 2020-01-08 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111246088A (zh) * 2020-01-13 2020-06-05 Oppo广东移动通信有限公司 防抖方法、电子设备和计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095816B2 (en) 2016-12-02 2021-08-17 Sony Semiconductor Solutions Corporation Image pickup element, image pickup method, and electronic device for image stabilization
EP4135311A4 (en) 2021-06-29 2023-05-03 Samsung Electronics Co., Ltd. METHOD OF IMAGE STABILIZATION AND ELECTRONIC DEVICE THEREFOR
KR20230001760A (ko) * 2021-06-29 2023-01-05 삼성전자주식회사 이미지 안정화 방법 및 이를 위한 전자 장치

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122446A (en) * 1998-05-08 2000-09-19 Olympus Optical Co., Ltd. Blur correction camera
CN1879401A (zh) * 2003-11-11 2006-12-13 精工爱普生株式会社 图像处理装置、图像处理方法、其程序以及记录媒体
CN101026691A (zh) * 2006-02-23 2007-08-29 奥林巴斯映像株式会社 电子式抖动校正装置
US20080166115A1 (en) * 2007-01-05 2008-07-10 David Sachs Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
CN101345824A (zh) * 2007-07-09 2009-01-14 三星电子株式会社 补偿相机的手抖动的方法和设备
CN101594464A (zh) * 2008-05-26 2009-12-02 奥林巴斯映像株式会社 成像设备和成像方法
CN101668125A (zh) * 2008-09-03 2010-03-10 索尼株式会社 成像装置、固态成像器件、图像处理装置、方法和程序
CN101692692A (zh) * 2009-11-02 2010-04-07 彭健 电子稳像方法及***
JP2010239227A (ja) * 2009-03-30 2010-10-21 Sumitomo Precision Prod Co Ltd ホスト機器
CN102480595A (zh) * 2010-11-19 2012-05-30 富士通株式会社 图像处理设备、图像处理方法和计算机可读信息记录介质
CN102540627A (zh) * 2010-10-19 2012-07-04 佳能株式会社 图像稳定性控制装置、摄像装置以及图像稳定性控制方法
CN102769718A (zh) * 2006-06-22 2012-11-07 核心无线许可有限公司 用于图像稳定化的方法和***
US20130201364A1 (en) * 2012-02-07 2013-08-08 Seiko Epson Corporation Image generating device and exposure start timing adjustment method
CN104145475A (zh) * 2012-03-09 2014-11-12 索尼公司 图像处理设备，图像处理方法和程序
CN104994305A (zh) * 2015-06-12 2015-10-21 青岛海信电器股份有限公司 一种拍照方法及设备
CN105100585A (zh) * 2014-05-20 2015-11-25 株式会社东芝 摄像机模块及图像传感器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP4613510B2 (ja) * 2003-06-23 2011-01-19 ソニー株式会社 画像処理方法および装置、並びにプログラム
KR20050038396A (ko) 2003-10-22 2005-04-27 주식회사 대우일렉트로닉스 영상 기기의 오디오 출력 제한방법
US7457789B2 (en) * 2005-08-17 2008-11-25 Tacton Systems Ab Configuration assistance for complex products
JP5024520B2 (ja) * 2006-10-03 2012-09-12 コニカミノルタアドバンストレイヤー株式会社 手振れ補正装置及びレンズユニット並びに撮像装置
JP2008219124A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
CN105191283B (zh) 2013-03-29 2019-10-22 索尼公司 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法
JP6209002B2 (ja) * 2013-07-16 2017-10-04 キヤノン株式会社 撮像装置およびその制御方法
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US11095816B2 (en) 2016-12-02 2021-08-17 Sony Semiconductor Solutions Corporation Image pickup element, image pickup method, and electronic device for image stabilization

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122446A (en) * 1998-05-08 2000-09-19 Olympus Optical Co., Ltd. Blur correction camera
CN1879401A (zh) * 2003-11-11 2006-12-13 精工爱普生株式会社 图像处理装置、图像处理方法、其程序以及记录媒体
CN101026691A (zh) * 2006-02-23 2007-08-29 奥林巴斯映像株式会社 电子式抖动校正装置
CN102769718A (zh) * 2006-06-22 2012-11-07 核心无线许可有限公司 用于图像稳定化的方法和***
US20080166115A1 (en) * 2007-01-05 2008-07-10 David Sachs Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
CN101345824A (zh) * 2007-07-09 2009-01-14 三星电子株式会社 补偿相机的手抖动的方法和设备
CN101594464A (zh) * 2008-05-26 2009-12-02 奥林巴斯映像株式会社 成像设备和成像方法
CN101668125A (zh) * 2008-09-03 2010-03-10 索尼株式会社 成像装置、固态成像器件、图像处理装置、方法和程序
JP2010239227A (ja) * 2009-03-30 2010-10-21 Sumitomo Precision Prod Co Ltd ホスト機器
CN101692692A (zh) * 2009-11-02 2010-04-07 彭健 电子稳像方法及***
CN102540627A (zh) * 2010-10-19 2012-07-04 佳能株式会社 图像稳定性控制装置、摄像装置以及图像稳定性控制方法
CN102480595A (zh) * 2010-11-19 2012-05-30 富士通株式会社 图像处理设备、图像处理方法和计算机可读信息记录介质
US20130201364A1 (en) * 2012-02-07 2013-08-08 Seiko Epson Corporation Image generating device and exposure start timing adjustment method
CN104145475A (zh) * 2012-03-09 2014-11-12 索尼公司 图像处理设备，图像处理方法和程序
CN105100585A (zh) * 2014-05-20 2015-11-25 株式会社东芝 摄像机模块及图像传感器
CN104994305A (zh) * 2015-06-12 2015-10-21 青岛海信电器股份有限公司 一种拍照方法及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193866A (zh) * 2020-01-08 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111193867A (zh) * 2020-01-08 2020-05-22 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111246088A (zh) * 2020-01-13 2020-06-05 Oppo广东移动通信有限公司 防抖方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
US20190281220A1 (en) 2019-09-12
US11095816B2 (en) 2021-08-17
JP7118893B2 (ja) 2022-08-16
JPWO2018101077A1 (ja) 2019-10-24
WO2018101077A1 (ja) 2018-06-07
KR20190089855A (ko) 2019-07-31
CN109983758B (zh) 2021-11-16
KR102423991B1 (ko) 2022-07-25

Similar Documents

Publication Publication Date Title
CN109983758A (zh) 成像元件、成像方法以及电子设备
US11050955B2 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
CN110290289B (zh) 图像降噪方法、装置、电子设备以及存储介质
JP5214538B2 (ja) 画像取得装置、画像合成方法、及び顕微鏡システム
US9185308B2 (en) Imaging apparatus and imaging method
WO2006013945A1 (ja) 撮像装置、撮像方法および撮像制御プログラム
US20070285521A1 (en) Image sensing apparatus, and control method, program, and storage medium of image sensing apparatus
JP2008228232A (ja) 撮像装置、撮像方法、プログラム、及び記憶媒体
JP2015011320A (ja) 撮像装置及びその制御方法
CN110198418A (zh) 图像处理方法、装置、存储介质及电子设备
JP2003319240A (ja) 撮像装置
WO2021033388A1 (ja) 撮像素子、撮像素子の駆動方法、及び、電子機器
JP6261397B2 (ja) 撮像装置及びその制御方法
WO2016175036A1 (ja) 固体撮像素子およびその駆動方法、並びに電子機器
JP2006135501A (ja) 撮像装置
JP2013118474A (ja) 撮像装置及び撮像装置の制御方法
JP2010093451A (ja) 撮像装置および撮像装置用プログラム
JP2020061605A (ja) 固体撮像装置と駆動方法および電子機器
JP2016025639A (ja) 撮像装置、画像信号転送制御方法およびプログラム
JP7458495B2 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
CN116709043B (zh) 一种拍摄方法及电子设备
US11563904B2 (en) Imaging apparatus and imaging control method
JP2018007076A (ja) 撮像装置および画像処理装置
JP6107882B2 (ja) 撮像装置、表示制御方法及びプログラム
JP2022120682A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant