CN110620872A - 图像传感器和包括该图像传感器的电子设备 - Google Patents

图像传感器和包括该图像传感器的电子设备 Download PDF

Info

Publication number
CN110620872A
CN110620872A CN201910446742.XA CN201910446742A CN110620872A CN 110620872 A CN110620872 A CN 110620872A CN 201910446742 A CN201910446742 A CN 201910446742A CN 110620872 A CN110620872 A CN 110620872A
Authority
CN
China
Prior art keywords
image
image sensor
still
internal memory
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910446742.XA
Other languages
English (en)
Inventor
白秉俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110620872A publication Critical patent/CN110620872A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

一种图像传感器，所述图像传感器包括：像素阵列，其具有多个像素；逻辑电路，其接收来自多个像素的像素信号以生成图像数据。该逻辑电路从所述图像数据生成预览图像以向外部输出所述预览图像。内部存储器存储由所述逻辑电路从所述图像数据生成的静止图像。该逻辑电路响应于从外部源接收到的拍摄命令，从存储在所述内部存储器中的所述静止图像中选择并输出与所述拍摄命令的事件发生点相对应的结果图像。

Description

图像传感器和包括该图像传感器的电子设备
相关申请的交叉引用
本申请要求于2018年6月20日提交到韩国知识产权局的申请号为10-2018-0070784的韩国专利申请的优先权的权益，该申请的全部公开内容通过引用整体并入本文。
技术领域
本公开涉及图像传感器和包括该图像传感器的电子设备。
背景技术
作为通过将来自外部源的光转换为电信号而生成图像的传感器，图像传感器响应于由用户的快门操作生成的拍摄命令而生成图像。用户希望使用图像传感器拍摄对象的图像，由于对象的运动，用户的快门操作发生的时间点与图像传感器响应于拍摄命令而生成电信号的时间点可能彼此不同。近来，为了明显减小用户的快门操作发生的时间点与图像传感器生成电信号的时间点之间的时间差，已经以各种方式开发了零快门延迟技术。
发明内容
本公开的一个方面提供一种图像传感器和包括该图像传感器的电子设备，其能够在实现零快门延迟功能的同时，有效地管理图像传感器以及连接到该图像传感器的总线、处理器、存储器等的资源和功耗。
根据本公开的实施例，一种图像传感器包括：像素阵列，其具有多个像素；逻辑电路，其接收来自所述多个像素的像素信号以生成图像数据，并从所述图像数据生成预览图像以向外部输出所述预览图像；以及内部存储器，其存储由所述逻辑电路从所述图像数据生成的静止图像。所述逻辑电路响应于从外部源接收到的拍摄命令，从存储在所述内部存储器中的所述静止图像中选择并输出与所述拍摄命令的事件发生点相对应的结果图像。
根据本公开的实施例，一种电子设备包括：图像传感器，其生成静止图像和分辨率低于所述静止图像的分辨率的预览图像，并且将所述静止图像存储在内部存储器中；输入单元，其生成拍摄命令；以及处理器，其响应于所述拍摄命令而在显示器上显示结果图像。所述结果图像是所述静止图像中的与生成所述拍摄命令的事件发生点相对应的一个静止图像。根据本公开的一个实施例，所述输入单元可以包括：触摸屏，所述触摸屏与所述显示器一体地设置；以及触摸控制器，所述触摸控制器从对所述触摸屏的触摸输入生成所述拍摄命令。
根据本公开的实施例，一种图像传感器包括：第一层，其包括具有多个像素的像素阵列；第二层，其包括逻辑电路，所述逻辑电路接收来自所述多个像素的像素信号，以生成静止图像，并调整所述静止图像的分辨率以生成预览图像，并且所述第二层设置在所述第一层下方；第三层，其包括存储所述静止图像的内部存储器，并设置在所述第二层下方。
根据本公开的实施例，一种电子设备包括图像传感器、输入设备、处理器和存储器。所述图像传感器生成在不同时间拍摄的图像。输入设备响应于快门激活而生成拍摄命令。所述处理器响应于接收到的拍摄命令而估计所述快门激活发生的时间。所述存储器存储图像并向所述处理器传送图像中的期望图像，所述期望图像是在最接近所述快门激活发生时的时间拍摄的图像。
附图说明
通过以下结合附图的详细描述，将更清楚地理解本公开的上述和其他方面、特征和其他优点，其中：
图1是示出根据示例实施例的电子设备的示意性框图；
图2示出了根据相关技术的操作图像传感器的方法；
图3示出了根据图2所示的相关技术方法的电子设备内的通信流程；
图4示出了根据示例实施例的操作图像传感器的方法；
图5示出了根据示例实施例的依照图4所示的方法的电子设备内的通信流程；
图6示出了根据另一示例实施例的操作图像传感器的方法；
图7示出了根据示例实施例的依照图6所示的方法的电子设备内的通信流程；
图8示出了根据另一示例实施例的依照图6所示的方法的电子设备内的通信流程；
图9示出了根据另一示例实施例的电子设备内的通信流程；
图10示出了根据又一示例实施例的电子设备内的通信流程；
图11是示出根据示例实施例的图像传感器的示意性透视图；以及
图12是示出根据另一示例实施例的图像传感器的示意性透视图。
具体实施方式
在下文中，将参考附图详细描述本公开的示例性实施例。
图1是示出根据示例实施例的电子设备的示意性框图。
参考图1，根据示例实施例的电子设备10可以包括显示器11、存储器12、输入单元13、图像传感器14、处理器15等。除了诸如智能手机、平板电脑、膝上型计算机、数码相机等移动设备之外，电子设备10还可以包括电视、台式计算机、监视器等。包括在电子设备10中的组件(诸如显示器11、存储器12、输入单元13、图像传感器14、处理器15等)可以通过总线16彼此通信以传输数据。
除了包括包含多个像素的像素阵列和将从多个像素生成的电荷转换为电信号以生成图像的逻辑电路之外，图像传感器14还可以包括存储数据的内部存储器。例如，内部存储器可以与像素阵列和逻辑电路一起被设置为单个封装件。
当使用图像传感器14执行相机功能时，逻辑电路可以使用从多个像素获得的电信号来生成静止图像和预览图像。例如，预览图像可以是在执行相机功能期间通过显示器11提供给用户的预览画面(preview screen)，并且可以具有小于通过图像传感器14拍摄对象的图像所生成的静止图像的尺寸和/或分辨率的尺寸和/或分辨率。
在示例实施例中，为了实现零快门延迟的功能，可以使用图像传感器14的内部存储器或安装在电子设备10上的存储器12。当执行相机功能并且在显示器11上显示预览图像时，图像传感器14可以将根据帧频生成的静止图像存储在内部存储器中。或者，处理器15可以从图像传感器14接收静止图像并将静止图像存储在存储器12中。
当通过输入单元13发生用户的快门操作时，快门操作的发生时间随后由图像传感器14或处理器15确定(例如，计算)，使得存储在内部存储器或存储器12中的静止图像中的、在所确定的快门操作发生时间拍摄的至少一个图像可以作为结果图像显示在显示器11上。结果图像可以显示在显示器11上并同时存储在存储器12中。例如，在用户的快门操作发生的时间点与输入单元13由于用户的快门操作而生成拍摄命令的时间点之间可能存在时间差。为了解决由于时间差而无法获得用户期望的某一时间点处的精确图像的问题，在示例实施例中，不管是否接收到拍摄命令，图像传感器14都将静止图像存储在内部存储器或存储器12中。当接收到拍摄命令时计算快门操作的发生时间，然后将这些静止图像中的至少一个静止图像作为结果图像显示在显示器11上并存储在存储器12中。
图2和图3是用于描述根据相关技术的图像传感器的操作的图。
首先，参考图2，当在电子设备10中执行相机功能时(S10)，图像传感器14允许执行预览模式(S11)，同时生成预览图像。预览图像可以被显示在显示器11上(S12)。预览图像可以指在用户执行通过图像传感器14拍摄静止图像的快门操作之前在显示器11上提供的预览图像。
在发生用户的快门操作等之后，图像传感器14可以接收与快门操作相对应的拍摄命令(S13)。图像传感器14的模式从预览模式被转换为拍摄模式(S14)、通过拍摄对象的图像获得结果图像(S15)、将图像处理过程应用于结果图像以及可以将结果图像显示在显示器11上(S16)。图像处理过程可以包括将与结果图像相对应的原始数据转换为预定图像格式，例如，诸如JPG、BMP、PNG等的格式。
这里，预览图像和结果图像可以具有不同的图像尺寸和/或分辨率。例如，静止图像可以具有在图像传感器14支持的范围内的最大尺寸和分辨率，而预览图像可以具有小于图像传感器所支持的最大尺寸和分辨率的尺寸和分辨率。例如，图像传感器14可以通过缩小(downscale)具有最大尺寸和分辨率的图像来生成预览图像。
因此，当执行相机功能时，通过显示器11显示预览图像。当接收到拍摄命令时，图像传感器14进入拍摄模式，从而获得结果图像。因此，在用户执行快门操作的时间点与图像传感器14接收到拍摄命令的时间点之间不可避免地存在时间差。因此，可能出现如下问题：根据拍摄条件，不能获得用户期望的结果图像。
参考图3，电子设备100可以包括显示器110、存储器120、输入单元130、图像传感器140、处理器150等。如果执行相机功能，则图像传感器140可以生成预览图像以将该预览图像发送到处理器150，并且处理器150可以控制显示器110来显示该预览图像。
输入单元130可以生成与用户的快门操作相对应的拍摄命令，以将拍摄命令发送到处理器150。当处理器150将拍摄命令发送到图像传感器140时，图像传感器140可以在接收到拍摄命令的时间点生成结果图像，并且在显示器110上显示该结果图像时将该结果图像存储在存储器120中。从用户执行快门操作的时间点开始，到图像传感器140经由处理器150接收到由输入单元130生成的拍摄命令之前经过了一段时间。图像传感器140响应于拍摄命令生成结果图像。因此，结果图像可能与用户期望的图像不同。
图4和图5是用于描述根据示例实施例的图像传感器的操作的图。
首先，参考图4，可以在电子设备100中执行相机功能(S20)。当执行相机功能时，图像传感器140通过显示器110显示预览图像(S21)、在多个连续时刻中的每一个时刻获得静止图像(S22)，然后将静止图像存储在存储器120中(S23)。例如，图像传感器140可以根据预设的帧频获得静止图像。存储静止图像的存储器可以是电子设备的存储器120。
然后，当发生用户的快门操作等并且处理器150随后接收到拍摄命令时(S24)，处理器150可以使用接收到拍摄命令的时间点、输入单元130与处理器150之间的数据传输速度等来计算发生快门操作的估计事件发生点(例如，事件发生时间)(S25)。处理器150可以从存储在存储器120中的静止图像中获得由图像传感器140在估计事件发生点或最接近估计事件发生点的时间点生成的静止图像作为结果图像(S26)。处理器150可以允许对结果图像进行图像处理，并且可以将结果图像显示在显示器110上(S27)。
当在与事件发生点一致的时间点没有由图像传感器140生成的静止图像时，处理器150可以从存储器120中提取由图像传感器140在事件发生点的预定时间范围内生成的所有静止图像，并且可以将这些静止图像显示在显示器110上。用户可以从显示在显示器110上的这些静止图像中选择至少一个静止图像，并且处理器150可以将用户所选择的静止图像作为结果图像存储在存储器120中。
图5是用于描述根据参考图4描述的方法的数据流的图。电子设备200可以包括显示器210、存储器220、输入单元230、图像传感器240、处理器250等。
首先，当执行相机功能时，图像传感器240可以生成预览图像以发送到处理器250，并且处理器250可以控制显示器210以显示预览图像。同时，图像传感器240可以生成静止图像并将这些静止图像存储在存储器220的缓冲器221中。例如，缓冲器221可以是以先进先出(FIFO)方式操作的环形缓冲器。换句话说，当缓冲器221的存储空间由于图像传感器240发送的静止图像而已满时，处理器250可以删除最早保存的静止图像并且可以存储最新生成的静止图像。
当输入单元230响应于用户的快门操作而生成拍摄命令时，处理器250可以响应于拍摄命令而选择存储在缓冲器221中的至少一个静止图像作为结果图像。例如，处理器250可以接收拍摄命令，然后可以计算用户的快门操作发生的估计事件发生点。处理器250进行如下操作：(1)提取存储在缓冲器221中并由图像传感器240在事件发生点或最接近事件发生点的时间点生成的静止图像作为结果图像；(2)在显示器210上显示该结果图像；以及(3)将该结果图像存储在存储器220中。例如，结果图像可以存储在存储器220中的除了缓冲器221之外的区域中。
图6至图8是用于描述根据示例实施例的图像传感器的操作的图。
首先，参考图6，可以通过在安装有图像传感器240的电子设备200中执行相机功能来开始根据示例实施例的图像传感器240的操作(S30)。当执行相机功能时，图像传感器240通过显示器210显示预览图像(S31)，并获得多个连续时刻中的每一时刻的静止图像(S32)，这些静止图像被存储在图像传感器240的内部存储器而不是存储器220中(S33)。内部存储器可以是与图像传感器一起被设置为单个封装件的存储器。
然后，在发生用户的快门操作等之后，处理器250接收与快门操作相对应的拍摄命令(S34)，并且可以计算关于拍摄命令的事件发生点(S35)。例如，事件发生点可以与用户的快门操作发生的时间点相对应，并且可以在接收到拍摄命令的时间点之前发生。因此，处理器250可以计算事件发生点的估计时间，或者估计在接收到拍摄命令之前多久事件发生点已经发生。处理器250可以将事件发生点(例如，时间)传送到图像传感器240，并且图像传感器240可以从存储在内部存储器中的静止图像中获得与事件发生点相对应的静止图像作为结果图像(S36)。图像传感器240可以将结果图像传送到处理器250，并且处理器250可以在显示器210上显示该结果图像(S37)。根据示例实施例，可以在图像传感器240或处理器250中执行关于结果图像的图像处理过程。
此外，以与根据示例实施例的上述方式不同的方式，图像传感器240可以直接从输入单元230接收拍摄命令。换句话说，由输入单元230响应于用户的快门操作而生成的拍摄命令可以传送到图像传感器，而不通过处理器250。图像传感器240可以使用内部固件等根据拍摄命令计算事件发生点，并且可以选择在事件发生点或最接近事件发生点的时间点拍摄的静止图像作为结果图像，并从内部存储器中提取该静止图像。在这种情况下，拍摄命令可以直接传送到图像传感器240，而不通过处理器250，因此可以更有效地运作电子设备200的内部资源。
图7和图8是用于描述根据参考图6描述的方法的数据流的图。
首先，参考图7，在电子设备300中执行相机功能之后，图像传感器340可以生成预览图像。预览图像可以由处理器350显示在显示器310上。此外，图像传感器340可以生成静止图像并将该静止图像存储在图像传感器340的内部存储器345中。静止图像可以根据预定帧频等生成，并且预览图像可以通过缩小静止图像来生成。内部存储器345可以是与图像传感器340一起被设置为单个封装件的存储器。因此，与通过处理器350将静止图像存储在存储器320中的情况相比，可以有效地运作连接存储器320、图像传感器340和处理器350的总线的资源。
当在执行相机功能期间检测到用户的快门操作时，输入单元330可以生成并输出拍摄命令。处理器350可以接收由输入单元330输出的拍摄命令，并且可以计算事件发生点，事件发生点是考虑了接收到拍摄命令的时间点、将处理器350连接到输入单元330的***总线的数据传输速度等，所估计的用户执行快门操作的时间点。处理器350可以将事件发生点发送到图像传感器340，并且图像传感器340可以从内部存储器345中提取与事件发生点或最接近事件发生点的时间点相对应的静止图像作为结果图像。图像传感器340可以输出结果图像，并且处理器350可以将结果图像显示在显示器310上同时将该结果图像存储在存储器320中。
接下来，参考图8，在电子设备400内执行相机功能之后，图像传感器440可以生成预览图像，并且预览图像可以通过处理器450显示在显示器410上。此外，图像传感器440可以根据预定帧频等生成静止图像，并且可以将这些静止图像存储在内部存储器445中。在示例实施例中，可以通过缩小静止图像来生成预览图像。内部存储器445可以是与图像传感器440一起被设置为单个封装件的存储器。因此，与通过处理器450将静止图像存储在存储器420中的情况相比，可以有效地运作连接存储器420、图像传感器440和处理器450的总线和互连线的资源。
例如，假设图像传感器440具有24兆像素的传感器阵列且以30帧/秒(fps)的帧频操作，并且单个像素由10位图像数据表示，则通过总线和处理器450传输到存储器420的每单位时间的数据量可以是7.2千兆位/秒(Gbps)。另一方面，根据图8所示的示例实施例，静止图像存储在图像传感器440的内部存储器445中，而不是通过总线和处理器450存储在存储器420中，从而可以减少数据传输量。仅在图像传感器440接收到拍摄命令并且从内部存储器445选择结果图像并将其传送到显示器410的操作中，才执行通过总线和处理器450的数据传输。因此，减少了数据传输量，因此可以有效地管理作为有限资源的总线，并且可以减少电子设备400的功耗。上面描述的示例可以类似地应用于参考图7描述的示例实施例。
在图8所示的示例实施例中，由输入单元430通过检测用户的快门操作而生成的拍摄命令可以直接输入到图像传感器440，而不通过处理器450。图像传感器440可以通过串行分组接口(SPI)和/或内部集成电路(I2C)接口等从输入单元430接收拍摄命令。安装在图像传感器440等中的固件可以基于接收到拍摄命令的时间点来计算发生用户的快门操作的估计事件发生点。图像传感器440可以从存储在内部存储器445中的静止图像中选择与事件发生点相对应或与最接近事件发生点的时间点相对应的静止图像作为结果图像，并且可以将该结果图像传输到处理器450。处理器450可以将结果图像存储在存储器420中，并且可以在显示器410上显示结果图像。
图9和图10是用于描述根据示例实施例的电子设备的操作的图。
首先，参考图9，电子设备500可以包括图像传感器510、处理器520、显示器530、存储器540等。图像传感器510可以包括像素阵列511、模拟前端(AFE)模块512、图像处理模块513(例如，图像信号处理(ISP)模块)、输出接口(I/F)514等。当在电子设备500中执行相机功能时，模拟前端模块512可以从像素阵列511获得像素信号，然后将像素信号转换为数字信号并将数字信号发送到图像处理模块513。模拟前端模块512可以包括用于获得像素信号的采样电路、用于将像素信号转换为数字信号的模数转换器(ADC)等。
图像处理模块513可以使用数字信号生成图像，并且可以通过输出接口514输出图像。例如，图像处理模块513可以生成：从包括在像素阵列511中的像素提供的具有最大分辨率的静止图像；以及通过缩小静止图像而生成的预览图像。输出接口514通过移动行业处理器接口(MIPI)等连接到处理器520的输入接口521，并且可以将静止图像和预览图像发送到处理器520。
处理器520可以包括输入接口521、核心522、显示器接口523、存储器接口524等。核心522可以是能够执行各种计算功能的组件。核心522可以通过显示器接口523将通过输入接口521接收到的预览图像输出到显示器530上。显示器530可以显示预览图像。
同时，核心522可以通过存储器接口524将通过图像传感器510接收到的静止图像存储在存储器540中。图像传感器510可以根据预定的帧频生成多个静止图像，并且核心522可以将这些静止图像存储在存储器520中。
当通过用户的快门操作等生成拍摄命令时，核心522可以计算与发生快门操作的时间点相对应的事件发生点，而不是与接收到拍摄命令的时间点相对应的事件发生点。例如，快门操作发生的时间点可以早于接收到拍摄命令的时间点。核心522可以从存储器540选择和提取与事件发生点相对应的静止图像作为结果图像，并且可以在显示器530上显示结果图像。此外，结果图像可以存储在存储器540的与存储其他静止图像的区域分开的区域中。
接下来，参考图10，电子设备600可以包括图像传感器610、处理器620、显示器630、存储器640等。图像传感器610可以包括像素阵列611、模拟前端模块612、图像处理模块613、输出接口614、内部存储器615等。处理器620可以包括输入接口621、核心622、显示器接口623、存储器接口624等。核心622可以是能够执行各种计算功能的组件。核心622可以通过显示器接口623将通过输入接口621接收到的预览图像输出在显示器630上。显示器630可以显示预览图像。核心622可以通过存储器接口624将通过图像传感器610接收到的静止图像存储在存储器640中。
当执行相机功能时，模拟前端模块612可以从像素阵列611获得像素信号，然后将像素信号转换为数字信号并将数字信号发送到图像处理模块613。图像处理模块613可以使用数字信号生成图像。
如先前所描述的，图像处理模块613可以根据预定帧频生成与包括在像素阵列611中的像素能够提供的最大分辨率相对应的静止图像。此外，图像处理模块613可以通过缩小静止图像来生成预览图像。图像处理模块613可以通过输出接口614将预览图像输出到处理器620，并且可以将静止图像存储在内部存储器615中。因此，与图9所示的示例实施例相比，可以省略以下操作：通过图像传感器610与处理器620之间的互连线和总线发送静止图像；以及通过处理器620与存储器640之间的互连线和总线将静止图像存储在存储器640中。因此，减少了通过互连线和总线的数据传输量，因此可以有效地管理有限资源并且可以降低功耗。
处理器620可以在显示器630上显示通过输入接口621接收到的预览图像。当检测到用户的快门操作时，处理器620可以选择存储在图像传感器610的内部存储器615中的那些静止图像中的至少一个静止图像作为结果图像、将该结果图像存储在存储器640中并在显示器630上显示结果图像。以与参考图9描述的示例实施例类似的方式，结果图像可以是由图像传感器610在用户的快门操作发生的时间点生成的静止图像。
图11和图12是示出根据示例实施例的图像传感器的示意性透视图。
首先，参考图11，根据示例实施例的图像传感器700可以包括第一层710、设置在第一层710下方的第二层720、设置在第二层720下方的第三层730等。第一层710、第二层720和第三层730沿竖直方向堆叠。在示例实施例中，第一层710和第二层720以晶片级堆叠，并且第三层730可以以芯片级附接到第二层720的下部。第一层710、第二层720和第三层730可以被设置为单个半导体封装件。
第一层710可以包括设置有多个像素PX的感测区域SA以及设置在感测区域SA周围的第一焊盘区域PA1。第一焊盘区域PA1包括多个上焊盘PAD，并且多个上焊盘PAD可以通过通路等连接到逻辑电路LC以及设置在第二层720的第二焊盘区域PA2中的焊盘。
多个像素PX中的每一个可以包括：(1)接收光并生成电荷的光电器件；(2)将由光电器件生成的电荷转换为电信号的像素电路；以及(3)其它。光电器件可以包括有机光电二极管、半导体光电二极管等。在示例实施例中，多个像素PX中的每个像素中可以包括多个半导体光电二极管。像素电路可以包括多个用于将由光电器件生成的电荷转换成电信号的晶体管。
第二层720可以包括形成在逻辑电路LC中的多个电路元件。包括在逻辑电路LC中的多个电路元件可以提供用于驱动设置在第一层710中的像素电路的电路，例如，行驱动器、列驱动器、定时控制器等。包括在逻辑电路LC中的多个电路元件可以通过第一焊盘区域PA1和第二焊盘区域PA2连接到像素电路。
设置在第二层720下方的第三层730可以包括存储芯片MC和虚设芯片DC(也称为虚设存储器)以及密封存储芯片MC和虚设芯片DC的保护层EN。例如，保护层EN可以是固定存储芯片MC和虚设芯片DC的密封剂。存储芯片MC可以是动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM)，并且虚设芯片DC可以不具有用于存储数据的功能。存储芯片MC可以通过凸块电连接到包括在第二层720的逻辑电路LC中的电路元件中的至少一部分电路元件。在示例实施例中，凸块可以是微凸块。
在示例实施例中，由逻辑电路LC生成的静止图像可以存储在第三层730的存储芯片MC中。因此，分辨率和容量相对地大于预览图像的分辨率和容量的静止图像根据帧频生成并且可以不被发送到图像传感器700的外部。因此，通过图像传感器700中的逻辑电路LC与存储芯片MC之间的互连线可以将静止图像存储在存储芯片MC中，所以可以在降低功耗的同时有效地运作包括图像传感器700的电子设备中的有限资源。
接下来，参考图12，根据示例实施例的图像传感器800可以包括第一层810和第二层820。第一层810可以包括设置有多个像素PX的感测区域SA、具有用于驱动多个像素PX的电路元件的逻辑电路区域LC以及设置在感测区域SA和逻辑电路区域LC周围的第一焊盘区域PA1。第一焊盘区域PA1包括多个上焊盘PAD，并且多个上焊盘PAD可以通过通路等连接到设置在第二层820中的存储芯片MC。第二层820可以包括存储芯片MC、虚设芯片DC以及密封存储芯片MC和虚设芯片DC的保护层EN。
在图12中所示的示例实施例中，在执行相机功能之后，逻辑电路LC可以针对每个预定帧频生成静止图像，并且可以将静止图像存储在存储芯片MC中。此外，逻辑电路LC可以生成并输出通过降低静止图像的分辨率和/或尺寸而获得的预览图像。仅将占据相对小的数据传输量的预览图像传输到图像传感器800的外部，而将静止图像存储在内部存储芯片MC中。因此，可以减少数据传输量。同时，当接收到拍摄命令时，图像传感器800可以从存储器芯片MC中选择与发生用户的快门操作的时间点相对应的静止图像，并输出静止图像作为结果图像，而无需在拍摄模式下生成单独的静止图像的过程。因此，可以实现零快门延迟的功能。
如上所述，根据本公开的示例实施例，可以在图像传感器中实现零快门延迟的功能。可以有效地管理图像传感器和连接到该图像传感器的资源(诸如处理器、总线、存储器等)，并且可以降低图像传感器和包括该图像传感器的电子设备的功耗。
如本领域中常见的，可以根据执行所描述的一个或更多个功能的块来描述和说明实施例。这些块(在本文中可以称为单元或模块等)可以由模拟电路和/或数字电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子元件、有源电子元件、光学组件、硬连线电路等)物理地实现，并且可以可选地由固件和/或软件驱动。例如，电路可以包含在一个或更多个半导体芯片中，或者包含在诸如印刷电路板等的基板支撑件上。构成块的电路可以由专用硬件实现，或者由处理器(例如，一个或更多个编程的微处理器和相关电路***)实现，或者由执行块的一些功能的专用硬件与执行块的其他功能的处理器的组合实现。在不脱离本公开的范围的情况下，实施例的每个块可以在物理上分成两个或更多个交互且分立的块。同样地，在不脱离本公开的范围的情况下，可以将实施例的块物理地组合成更复杂的块。
虽然上面已经示出和描述了示例实施例，但是对于本领域技术人员来说显而易见的是，在不脱离由所附权利要求限定的本公开的范围的情况下，可以进行各种修改和改变。

Claims (20)

1.一种图像传感器，所述图像传感器包括：
像素阵列，所述像素阵列具有多个像素；
逻辑电路，所述逻辑电路接收来自所述多个像素的像素信号以生成图像数据，并从所述图像数据生成预览图像以向外部输出所述预览图像；以及
内部存储器，所述内部存储器存储由所述逻辑电路从所述图像数据生成的静止图像，其中，
所述逻辑电路响应于从外部源接收到的拍摄命令，从存储在所述内部存储器中的所述静止图像中选择并输出与所述拍摄命令的事件发生点相对应的结果图像。
2.根据权利要求1所述的图像传感器，其中，所述预览图像的分辨率小于所述静止图像的分辨率。
3.根据权利要求1所述的图像传感器，其中，所述逻辑电路根据所述图像数据生成所述静止图像，并且通过缩小所述静止图像生成所述预览图像。
4.根据权利要求1所述的图像传感器，其中，所述逻辑电路包括：
采样电路，所述采样电路接收来自所述多个像素的所述像素信号；
模数转换器，所述模数转换器将所述像素信号转换为所述图像数据；以及
图像信号处理器，所述图像信号处理器使用所述图像数据生成所述静止图像和所述预览图像。
5.根据权利要求1所述的图像传感器，其中，
所述逻辑电路包括接口电路，所述接口电路接收所述拍摄命令并且发送所述预览图像和所述结果图像，并且
所述接口电路直接从输入设备接收所述拍摄命令。
6.根据权利要求1所述的图像传感器，其中，所述内部存储器包括缓冲器，所述缓冲器存储所述静止图像。
7.根据权利要求6所述的图像传感器，其中，所述缓冲器通过以先进先出方式进行操作来存储所述静止图像。
8.根据权利要求6所述的图像传感器，其中，当所述缓冲器的存储空间已满时，所述逻辑电路从所述静止图像中删除最先存储的静止图像，并存储新的静止图像。
9.根据权利要求1所述的图像传感器，其中，所述像素阵列、所述逻辑电路和所述内部存储器被包括在单个半导体封装件中，并且所述内部存储器设置在所述像素阵列和所述逻辑电路下方。
10.根据权利要求9所述的图像传感器，所述图像传感器还包括：虚设存储器，所述虚设存储器设置为处于与所述内部存储器相同的层。
11.根据权利要求1所述的图像传感器，其中，所述逻辑电路根据预定帧频从所述图像数据生成所述静止图像，并且将所述静止图像存储在所述内部存储器中。
12.一种电子设备，所述电子设备包括：
图像传感器，所述图像传感器生成静止图像和分辨率低于所述静止图像的分辨率的预览图像并且将所述静止图像存储在内部存储器中；
输入设备，所述输入设备生成拍摄命令；以及
处理器，所述处理器响应于所述拍摄命令而在显示器上显示结果图像，其中，
所述结果图像是所述静止图像中的与生成所述拍摄命令的事件发生点相对应的一幅静止图像。
13.根据权利要求12所述的电子设备，其中，
所述处理器根据所述拍摄命令确定所述事件发生点，并将所述事件发生点发送到所述图像传感器，并且
所述图像传感器从所述静止图像中选择所述结果图像，并将所述结果图像发送到所述处理器。
14.根据权利要求12所述的电子设备，其中，所述图像传感器直接地从所述输入设备接收所述拍摄命令、确定所述事件发生点、从所述静止图像中选择所述结果图像并将所述结果图像发送到所述处理器。
15.根据权利要求12所述的电子设备，其中，所述处理器将所述结果图像存储在与所述内部存储器不同的存储器中。
16.根据权利要求12所述的电子设备，其中，在生成所述拍摄命令之前，所述处理器在所述显示器上显示所述预览图像。
17.根据权利要求12所述的电子设备，其中，所述输入设备包括：
触摸屏，所述触摸屏与所述显示器一体地设置；以及
触摸控制器，所述触摸控制器从对所述触摸屏的触摸输入生成所述拍摄命令。
18.一种图像传感器，所述图像传感器包括：
第一层，所述第一层包括具有多个像素的像素阵列；
第二层，所述第二层包括逻辑电路，所述逻辑电路接收来自所述多个像素的像素信号以生成静止图像，并调整所述静止图像的分辨率以生成预览图像，其中，所述第二层设置在所述第一层下方；以及
第三层，所述第三层包括内部存储器并设置在所述第二层下方，所述内部存储器存储所述静止图像。
19.根据权利要求18所述的图像传感器，其中，所述第三层还包括：
虚设存储器，所述虚设存储器被设置为与所述内部存储器不同的半导体裸芯片；以及
密封剂，所述密封剂固定所述内部存储器和所述虚设存储器。
20.根据权利要求18所述的图像传感器，其中，所述第一层、所述第二层和所述第三层被设置为单个半导体封装件。
CN201910446742.XA 2018-06-20 2019-05-27 图像传感器和包括该图像传感器的电子设备 Pending CN110620872A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0070784 2018-06-20
KR1020180070784A KR20190143169A (ko) 2018-06-20 2018-06-20 이미지 센서, 및 이를 포함하는 전자 기기

Publications (1)

Publication Number Publication Date
CN110620872A true CN110620872A (zh) 2019-12-27

Family

ID=68921318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910446742.XA Pending CN110620872A (zh) 2018-06-20 2019-05-27 图像传感器和包括该图像传感器的电子设备

Country Status (3)

Country Link
US (1) US20190394402A1 (zh)
KR (1) KR20190143169A (zh)
CN (1) CN110620872A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954216A (zh) * 2021-02-19 2021-06-11 迅镭智能（广州）科技有限公司 一种基于高拍仪的图像处理方法及相关设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473014B (zh) * 2021-06-30 2022-11-18 北京紫光展锐通信技术有限公司 一种图像数据处理方法和电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532760B2 (en) * 2002-08-27 2009-05-12 Aptina Imaging Corporation CMOS image sensor apparatus with on-chip real-time pipelined JPEG compression module
US7884871B2 (en) * 2007-06-15 2011-02-08 Aptina Imaging Corporation Images with high speed digital frame transfer and frame processing
US20120033103A1 (en) * 2010-08-05 2012-02-09 Apple Inc. Raw-Split Mode Image Capture
KR101899851B1 (ko) * 2012-05-03 2018-09-18 삼성전자 주식회사 이미지 처리 장치 및 방법
KR101953614B1 (ko) * 2012-10-12 2019-05-22 삼성전자주식회사 카메라장치의 이미지처리장치 및 방법
US9319589B2 (en) * 2013-05-31 2016-04-19 Sony Corporation Device and method for capturing images and selecting a desired image by tilting the device
KR102619666B1 (ko) * 2016-11-23 2023-12-29 삼성전자주식회사 이미지 센서 패키지

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954216A (zh) * 2021-02-19 2021-06-11 迅镭智能（广州）科技有限公司 一种基于高拍仪的图像处理方法及相关设备

Also Published As

Publication number Publication date
US20190394402A1 (en) 2019-12-26
KR20190143169A (ko) 2019-12-30

Similar Documents

Publication Publication Date Title
US11196923B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
JP6042052B2 (ja) イメージセンサーモジュール、その製造方法、及びそれを含むイメージ処理システム
KR20170095784A (ko) 촬상소자 및 촬상장치
JP2017084892A (ja) 撮像装置
KR20150145537A (ko) 이미지 센서 구동 방법, 이를 채용한 이미지 센서 및 이를 포함하는 휴대용 전자 기기
KR20150098094A (ko) 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
KR102025935B1 (ko) 이미지 생성 장치 및 이미지 생성 방법
JP2008131407A (ja) 固体撮像素子およびそれを用いた撮像装置
US20170078602A1 (en) Image pickup device, control method, and image pickup apparatus
GB2417382A (en) Camera with scaleable resolution
US11252305B2 (en) Processing apparatus, image device and system with image data via single common data bus
CN110620872A (zh) 图像传感器和包括该图像传感器的电子设备
US20150381910A1 (en) Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program
KR20210114290A (ko) 이미지 센서 및 이를 포함하는 촬영 장치
JP2009089087A (ja) 固体撮像装置及び撮像装置
US20140125832A1 (en) Information processing device, imaging device, and information processing method
US20160014355A1 (en) Signal processing device and method, imaging device and solid state imaging element
US9094626B2 (en) Solid-state imaging device, method for controlling solid-state imaging device, and imaging device
JP6580111B2 (ja) 撮像素子および撮像装置
US11910115B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
US11546561B2 (en) Imaging apparatus, image data processing method of imaging apparatus, and program
KR102518373B1 (ko) 이미지 센서 및 이를 포함하는 전자 기기
KR20190029606A (ko) 촬상 제어 장치 및 촬상 제어 방법, 및 촬상 소자
US9979919B2 (en) Solid-state imaging device and imaging system
CN113491107A (zh) 成像元件、摄像装置、成像元件的工作方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191227