CN110113547A - 图像传感器、电子装置以及控制图像处理装置的方法 - Google Patents

图像传感器、电子装置以及控制图像处理装置的方法 Download PDF

Info

Publication number
CN110113547A
CN110113547A CN201811465182.4A CN201811465182A CN110113547A CN 110113547 A CN110113547 A CN 110113547A CN 201811465182 A CN201811465182 A CN 201811465182A CN 110113547 A CN110113547 A CN 110113547A
Authority
CN
China
Prior art keywords
image
pixel
processing
pixel image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811465182.4A
Other languages
English (en)
Other versions
CN110113547B (zh
Inventor
许在成
金敬镐
李元硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110113547A publication Critical patent/CN110113547A/zh
Application granted granted Critical
Publication of CN110113547B publication Critical patent/CN110113547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了图像传感器、电子装置以及控制图像处理装置的方法。所述电子装置包括：图像传感器，所述图像传感器包括配置为生成并输出像素图像的图像生成器、配置为处理像素图像的图像处理装置，以及配置为存储像素图像的存储单元；和应用处理器，所述应用处理器配置为生成模式设置信号，并且配置为将生成的模式设置信号发送至所述图像处理装置。图像处理装置配置为基于模式设置信号生成多个路径选择信号，所述多个路径选择信号用于选择图像处理装置用于处理像素图像的路径。图像处理装置基于用户的输入信号、像素图像的分析结果和图像传感器的运动信号中的至少一个来选择像素图像的压缩率，并基于选择的压缩率来压缩像素图像。

Description

图像传感器、电子装置以及控制图像处理装置的方法
相关申请的交叉引用
本申请要求于2018年1月31日向韩国知识产权局提交的韩国专利申请No.10-2018-0011881的优先权，其公开内容通过引用整体并入本文。
技术领域
与示例实施例一致的设备涉及堆叠式(stack type)图像传感器和包括堆叠式图像传感器的电子装置。
背景技术
能够高速传输的图像传感器可以具有包括大容量的帧缓冲器的堆叠结构。图像传感器将从像素阵列生成的像素图像高速输入到帧缓冲器，并将输入的像素图像存储在帧缓冲器中。像素图像从帧缓冲器中低速输出。因此，图像传感器可以在其中图像被缓慢显示的超慢速模式下操作。这种图像传感器在帧缓冲器中存储更多像素图像。因此，需要一种压缩图像以在帧缓冲器中存储更多图像并减少压缩期间的图像损失的新技术。
发明内容
本公开的各方面旨在提供一种图像传感器，其允许图像损失减少、根据用户的要求的像素图像的存储效率增加、以及图像输出端子的传输效率增加。
一种图像传感器，包括：第一芯片，其包括配置为生成并输出像素图像的图像生成器；第二芯片，其包括图像处理装置，所述图像处理装置配置为基于外部施加的模式设置信号确定多个模式中的一个模式，基于确定的模式生成多个路径选择信号，并且响应于所述多个路径选择信号处理像素图像；以及第三芯片，其包括存储从图像处理装置输出的像素图像的存储单元。第二芯片堆叠在第三芯片上并且第一芯片堆叠在第二芯片上，使得第二芯片位于第一芯片和第三芯片之间；或者第三芯片堆叠在第二芯片上并且第一芯片堆叠在第三芯片上，使得第三芯片位于第一芯片和第二芯片之间。
一种电子装置，包括：图像传感器，其包括配置为生成并输出像素图像的图像生成器、配置为处理像素图像的图像处理装置、以及配置为存储像素图像的存储单元；以及应用处理器，其配置为生成模式设置信号并且配置为将生成的模式设置信号发送至图像处理装置。图像处理装置配置为基于模式设置信号生成多个路径选择信号，所述多个路径选择信号用于选择图像处理装置用于处理像素图像的路径。图像处理装置基于用户的输入信号、像素图像的分析结果和图像传感器的运动信号中的至少一个来选择像素图像的压缩率，并基于选择的压缩率来压缩像素图像。
一种控制图像处理装置的方法包括：生成像素图像；基于像素图像的帧率在多个模式中确定一个模式，并响应于所确定的模式生成多个路径选择信号；当所述像素图像的帧率处于第一预定范围内时：确定第一模式，基于第一模式生成第一组路径选择信号，并且响应于第一组路径选择信号对像素图像执行第一处理，并对通过第一处理处理的像素图像执行第二处理；以及当所述像素图像的帧率处于第二预定范围内时：确定第二模式，基于第二模式生成第二组路径选择信号，并且响应于第二组路径选择信号对像素图像执行第一处理，压缩通过第一处理处理的像素图像，将压缩的像素图像存储在存储单元中，对从存储单元输出的压缩的像素图像进行解压缩，并对解压缩的像素图像执行第二处理。
附图说明
图1是示出根据示例实施例的电子装置的结构的框图。
图2是示出图1中所示的图像处理装置的示例结构的框图。
图3A和图3B是示出图1所示的具有堆叠结构的图像传感器的示例的概念图。
图4是示出图2、图3A和图3B中所示的第一图像信号处理器的示例结构的框图。
图5是示出图4中所示的第一图像信号处理器的示例的框图。
图6是用于描述操作图2中所示的压缩器(compressor)的示例方法的曲线图。
图7是示出根据示例实施例的图像处理装置的结构的框图。
图8是用于描述图7中所示的运动逻辑电路的示例操作的曲线图。
图9是示出操作图7中所示的运动逻辑电路的示例方法的流程图。
图10是示出根据示例实施例的控制图像处理装置的方法的流程图。
具体实施方式
图1是示出根据示例实施例的电子装置的结构的框图。
参照图1，根据示例实施例的电子装置10可以包括图像传感器100、应用处理器200和显示器300。
电子装置10可以是例如移动电话、平板电脑、膝上型电脑或其他个人电子装置。
图像传感器100可以生成与通过光学透镜接收到的对象对应的图像数据。
图像传感器100可以包括图像生成器110、图像处理装置120、存储单元130和接口140。
图像生成器110可以包括有源像素传感器(APS)。APS可以包括配置为生成与多条行线对应的像素信号的多个像素。所述像素可以响应于入射光而存储光电荷，并且可以生成与存储的光电荷对应的像素信号。
图像生成器110可以包括模数转换器，所述模数转换器配置为处理像素信号以生成像素图像PI并将生成的像素图像输出到图像处理装置120。在一个实施例中，像素图像PI可以表示形成单位图像的全部像素，其中单位图像可以指静止图像，也描述为图像帧；或者指一组连续的图像帧，例如视频，也被描述为视频图像。例如，像素图像可以是贝尔模板(Bayer pattern)、黑白模板(black and white pattern)等的格式。此外，像素图像PI可以包括2相位检测器(2PD)或多相位检测器(multi–PD)的相位检测像素以实现相位检测。而且，一个示例实施例中的像素值可以表示与形成像素图像的所有像素中的每个像素对应的模拟数据或数字数据。
图像处理装置120可以对从图像生成器110输入的像素图像PI进行图像处理。例如，图像处理装置120可以进行图像处理来改善像素图像PI的显示质量、来控制分辨率等。图像处理装置120可以将经图像处理的像素图像输入到存储单元130，或者可以从存储单元130输出经图像处理的像素图像，或者可以将经过图像处理的像素图像输出到接口140。
图像处理装置120可以以多个模式中的一种模式操作。例如，图像处理装置120可以包括运动图像捕捉模式、全景模式、超慢速模式、高速输出模式(FRS)等，但不限于此。
可以基于外部施加的模式设置信号ModeSEL来确定图像处理装置120的模式。例如，模式设置信号ModeSEL可以由从外部连接到图像传感器的应用处理器200提供。可选地，如下文进一步讨论的，可以基于输入的像素图像的帧率来确定图像处理装置120的模式。
存储单元130可以临时存储从图像处理装置120输入的像素图像。例如，存储单元130可以以帧为单位或者以基于根据预定比率划分帧的单位来存储多个像素图像。存储单元130可以包括易失性存储器，例如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等。替代性地，存储单元130可以包括非易失性存储器，例如闪速存储器、磁性RAM(MRAM)等。存储单元130可以是帧缓冲器。
接口140可以将经图像处理装置120处理的像素图像发送到设置在图像传感器100外部的显示装置。接口140可以包括支持移动工业处理器接口(MIPI)的接口，但不限于此。
图2是示出图1中所示的图像处理装置120的示例结构的框图。
参照图1和图2，根据示例实施例的图像处理装置120可以是图像处理器，并且可以包括控制器121、第一图像信号处理器122、第二图像信号处理器123、压缩器124、存储控制器125、解压缩器126、多个开关以及多个多路复用器。开关包括第一开关131、第二开关133和第三开关135。多路复用器包括第一多路复用器132、第二多路复用器134和第三多路复用器136。应当注意，除非上下文另有说明，否则本文使用的诸如“第一”，“第二”，“第三”等的术语仅用作命名约定，例如用于区分彼此不同的项目。即使在说明书中未使用这些术语描述特定元素，这些术语也可以作为简单的命名约定而在权利要求中使用。
此外，如所公开的技术领域中的传统一样,特征和实施例按照功能块、单元和/或模块描述并在附图中示出。本领域技术人员将理解，这些块、单元和/或模块(例如，图2中所示的控制器、信号处理器、多路复用器、开关等，以及其他图中所示的其他项目)由诸如以下的电子(或光学)电路物理地实现：可以使用基于半导体的制造技术(例如，用于制造集成电路)或其他制造技术形成的逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、布线连接等。在块、单元和/或模块由微处理器或类似物实现的情况下，可以使用软件(例如，微代码)对块、单元和/或模块进行编程以执行本文所讨论的各种功能，并且可以可选地由固件和/或软件驱动。替代性地，每个块、单元和/或模块可以由专用硬件实现，或者被实现为执行某些功能的专用硬件和执行其他功能的处理器(例如，一个或多个被编程的微处理器和相关电路)的组合。此外，在不脱离本发明构思的范围的情况下，实施例的每个块、单元和/或模块可以被物理地分成两个或更多个交互且分立的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，实施例的块、单元和/或模块可以物理地组合成更复杂的块、单元和/或模块。
控制器121可以基于图像处理装置120的模式生成一个或多个路径选择信号。例如，控制器121可以基于外部施加的模式设置信号ModeSEL生成到不同图像处理装置组件的多个路径选择信号。控制器121可以将所生成的路径选择信号输出到开关和多路复用器，并且可以控制图像处理装置120的图像处理路径。发送到多个对应的各个图像处理装置组件的多个路径选择信号的值可以控制所选择的路径。例如，如下文进一步讨论的，某些路径选择信号可以具有高值，而某些路径选择信号可以具有低值，并且基于所选择的模式，给定的一组路径选择信号可以被发送到不同的图像处理装置组件。
此外，控制器121可以控制第一图像信号处理器122和第二图像信号处理器123。例如，控制器121可以控制对第一图像信号处理器122的第一处理功能和第二图像信号处理器123的第二处理功能中的至少一部分的激活。
第一图像信号处理器122可以对从图像生成器110输入的像素图像执行第一处理。例如，第一处理可以包括图像缩放、降噪、动态范围补偿、防阴影(anti-shading)等中的一个或多个。此外，第一处理不限于此，而是可以执行与传统图像信号处理器中包括的图像处理有关的所有功能。第一图像信号处理器122可以通过第一开关131输出通过第一处理而处理的像素图像。
响应于并基于路径选择信号，第一开关131可以通过第十一输出端子S11或第十二输出端子S12中的一个输出通过第一处理而处理的像素图像。例如，当路径选择信号处于第一电平(level)时，第一开关131可以通过第十一输出端子S11输出通过第一处理而处理的像素图像。当路径选择信号处于第二电平时，第一开关131可以通过第十二输出端子S12输出通过第一处理而处理的像素图像。第十一输出端子S11可以连接到第一多路复用器132，第十二输出端子S12可以连接到第二多路复用器134。这些输出端子可以指从第一开关131输出信号的一组端子内的特定有序端子。例如，如果第一开关131的至少12个输出端子物理地排列在一行或多行中，则第十一输出端子S11可以是从各端子的一端开始的第十一个输出端子，以及第十二输出端子S12可以是从各端子的同一端开始的第十二个输出端子。为了命名的目的，第十一输出端子S11和第十二输出端子S12以及本文描述的其他输出和输入端子，如第十一、第十二、第二十一、第二十二、第三十一或第三十二，在本文也可以分别描述为第一和第二输出端子(或通过使用诸如第三或第四的其他名称描述)，这不涉及端子的任何特定定位或顺序。如果在权利要求中需要端子有顺序，则这种端子在本文将被称为“有序端子”。例如，第十一有序端子或第十二有序端子。本文描述的输入和输出端子可以是的引脚、焊盘、引线、导线或其他导电元件，其开始或终止来自特定组件的信号的通信或到特定组件的信号的通信。
第一多路复用器132可以响应路径选择信号，并且可以将通过第十一输入端子M11或第十二输入端子M12中的一个接收的像素图像输出到第二图像信号处理器123。第十一输入端子M11连接到第一开关131的第十一输出端子S11，并且第十二输入端子M12可以连接到解压缩器126。第十一输入端子M11和第十二输入端子M12可以指将信号输入到第一多路复用器132的一组端子内的特定有序端子。例如，如果第一多路复用器132的至少12个输出端子物理地排列在一行或多行中，则第十一输入端子M11可以是从各端子的一端开始的第十一个输入端子，第十二输入端子M12可以是从各端子的同一端开始的第十二个输入端子。在一个实施例中，当路径选择信号处于第一电平时，第一多路复用器132可以通过第十一输入端子M11接收通过第一处理而处理的像素图像。当路径选择信号处于第二电平时，第一多路复用器132可以通过第十二输入端子M12接收解压缩像素图像。例如，当路径选择信号处于第一电平时，第一多路复用器132可以选择输出通过第一处理而处理并在第十一输入端子M11处接收的像素图像。当路径选择信号处于第二电平时，第一多路复用器132可以选择输出在第十二输入端子M12处接收的解压缩像素图像。
第二图像信号处理器123可以对从第一多路复用器132输出的像素图像执行第二处理，并且可以将通过第二处理而处理的像素图像输出到第二开关133。例如，第二处理可以执行下述功能：该功能的部分与上述第一处理的至少一部分相同，但不限于此。第二处理可以包括与第一处理不同的功能。
响应于并基于路径选择信号，第二开关133可以通过第二十一输出端子S21或第二十二输出端子S22中的一个输出通过第二处理而处理的像素图像。这些输出端子可以指从第二开关133输出信号的一组端子内的特定有序端子。例如，如果第二开关133的至少22个输出端子物理地排列在一行或多行中，则第二十一输出端子S21可以是从各端子的一端开始的第二十一个输出端子，第二十二输出端子S22可以是从各端子的同一端开始的第二十二个输出端子。第二十一输出端子S21可以连接到第三多路复用器136，第二十二输出端子S22可以连接到第二多路复用器134。例如，当路径选择信号处于第一电平时，第二开关133可以通过第二十一输出端子S21将通过第二处理而处理的像素图像输出到第三多路复用器136。当路径选择信号处于第二电平时，第二开关133可以通过第二十二输出端子S22将通过第二处理而处理的像素图像输出到，例如，第二多路复用器134。
第二多路复用器134可以响应路径选择信号，并且可以将通过第二十一输入端子M21或第二十二输入端子M22中的一个接收的像素图像输出到压缩器124。这些输入端子可以指将信号输入到第二多路复用器134的一组端子内的特定有序的端子。例如，如果第二多路复用器134的至少22个输入端子物理地排列在一行或多行中，则第二十一输入端子M21可以是从各端子的一端开始的第二十一个输入端子，第二十二输入端子M22可以是从各端子的同一端开始的第二十二个输入端子。第二多路复用器134的第二十一输入端子M21连接到第一开关131的第十二输出端子S12，第二十二输入端子M22可以连接到第二开关133的第二十二输出端子S22。例如，当路径选择信号处于第一电平时，第二多路复用器134可以将通过第一处理而处理并通过第二十一输入端子M21接收的像素图像输出到压缩器124。当路径选择信号处于第二电平时，第二多路复用器134可以将通过第二处理而处理并通过第二十二输入端子M22接收的像素图像输出到压缩器124。
压缩器124可以压缩从第二多路复用器134输出的像素图像，并且可以将压缩像素图像CPI输出到第三开关135。作为示例，如下文进一步讨论的，压缩器124可以基于像素图像的特性或控制器121的输入来选择和使用压缩算法。
由压缩器124压缩的压缩像素图像CPI可以具有基于压缩率的各种图像质量。当压缩率增加时，压缩像素图像CPI的分辨率可以降低。例如，由压缩器124压缩像素图像PI的压缩率可以在20％至80％的范围内，并且压缩器124可以关于像素图像PI的分辨率选择压缩率。
例如，压缩器124可以基于像素图像PI的分析结果、图像传感器的运动信号和用户的输入信号中的至少一个来选择压缩率，并且可以基于选择的压缩率来压缩像素图像。例如，像素图像PI的分析结果可以包括像素图像的频率标量的分析结果或像素图像PI的缺陷像素检测结果。
响应于路径选择信号，第三开关135可以通过第三十一输出端子S31或第三十二输出端子S32中的任何一个输出压缩像素图像CPI。第三十一输出端子S31可以连接到存储控制器125，第三十二输出端子S32可以连接到第三多路复用器136。例如，当路径选择信号处于第一电平时，第三开关135可以通过第三十一输出端子S31将压缩像素图像CPI输出到存储控制器125。当路径选择信号处于第二电平时，第三开关135可以通过第三十二输出端子S32将压缩像素图像CPI输出到第三多路复用器136。第三十一输出端子S31和第三十二输出端子S32可以指从第三开关135输出信号的一组端子内的特定有序端子。例如，如果第三开关135的至少32个输出端子物理地排列在一行或多行中，第三十一输出端子S31可以是从各端子的一端开始的第三十一个输出端子，第三十二输出端子S32可以是从各端子的同一端开始的第三十二个输出端子。
存储控制器125可以将从第三开关135输出的压缩像素图像CPI输入到存储单元130，或者可以接收从存储单元130输出的压缩像素图像CPI以输出到解压缩器126。存储控制器125可以将由压缩器124预设的压缩算法的类型输出到解压缩器126。存储控制器125可以控制到存储单元130中的输入速度和从存储单元130的输出速度。例如，存储控制器125可以将到存储单元130中的输入速度控制为高速，并且可以将从存储单元130的输出速度控制为低速。例如，当图像处理装置120以慢动作模式操作时，通过存储控制器125从图像处理装置120输出到接口140的像素图像的帧率(每秒帧数)可以处于从图像生成器110输入到图像处理装置120的像素图像的帧率的1/10到1/40的范围内。
在一些实施例中，输入到存储单元130的数据具有与从存储单元130输出的数据相同的总大小。然而，当从存储单元130的输出时间大于到存储单元130中的输入时间时，从存储单元130的输出带宽可以小于到存储单元130中的输入带宽。当存储控制器125相对降低从存储单元130的输出速度，使得在解压缩器126和接口140之间每单位时间处理较少量的数据时，可以改善门数(gate count)和功耗方面的效率。
解压缩器126可以去除压缩像素图像的压缩，并且可以将解压缩像素图像输出到第一多路复用器132。压缩器124和解压缩器126可以包括压缩电路和逆功能的解压缩电路，所述解压缩电路配置为解压缩处于损失状态或有损状态的原始信号。压缩器124的压缩率可以使用固定方法或非固定方法。
第三多路复用器136可以响应于路径选择信号将通过第三十一输入端子M31或第三十二输入端子M32接收的像素图像中的一个输出到接口140。第三十一输入端子M31可以连接到第二开关133的第二十一输出端子S21，第三十二输入端子M32可以连接到第三开关135的第三十二输出端子S32。例如，当路径选择信号处于第一电平时，第三多路复用器136可以输出通过第二处理而处理并通过第三十一输入端子M31接收的像素图像。当路径选择信号处于第二电平时，第三多路复用器136可以输出通过第三十二输入端子M32接收的压缩像素图像。第三十一输入端子M31和第三十二输入端子M32可以指将信号输入到第三多路复用器136的一组端子内的特定有序端子。例如，如果第三多路复用器136的至少32个输入端子物理地排列在一行或多行中，第三十一输入端子M31可以是从各端子的一端开始的第三十一个输入端子，第三十二输入端子M32可以是从各端子的同一端开始的第三十二个输入端子。
当图像处理装置120的模式被确定为第一模式时，控制器121可以选择第一路径选择信号。第一路径选择信号可以包括施加到第一开关131、第一多路复用器132、第二开关133和第三多路复用器136的处于第一电平的多个信号。第一图像信号处理器122可以通过第一开关131和第一多路复用器132将通过第一处理而处理的像素图像输出到第二图像信号处理器123。第二图像信号处理器123可以对通过第一处理而处理的像素图像执行第二处理，并且可以通过第二开关133和第三多路复用器136将通过第二处理而处理的像素图像输出到接口140。
当图像处理装置120的模式被确定为第二模式时，控制器121可以选择第二路径选择信号。第二路径选择信号可以包括施加到第一开关131和第一多路复用器132的处于第二电平的多个信号，以及施加到第二开关133、第三开关135、第二多路复用器134以及第三多路复用器136的处于第一电平的多个信号。第一图像信号处理器122可以通过第一开关131和第二多路复用器134将通过第一处理而处理的像素图像输出到压缩器124。压缩器124可以压缩通过第一处理而处理的像素图像，并且可以通过第三开关135将压缩像素图像输出到存储控制器125。存储控制器125可以将压缩像素图像输出到存储单元130，并且可以接收从存储单元130输出的压缩像素图像以输出到解压缩器126。解压缩器126可以对压缩像素图像进行解压缩，并可以通过第一多路复用器132将解压缩像素图像输出到第二图像信号处理器123。第二图像信号处理器123可以对解压缩像素图像执行第二处理，并且可以通过第二开关133和第三多路复用器136将通过第二处理而处理的像素图像输出到接口140。
根据示例实施例，当确定的模式是第二模式和视频的慢动作模式时，从图像处理装置120输出的像素图像的帧率可以处于从图像生成器110输出到图像处理装置120的像素图像的帧率的1/10到1/40的范围内。在慢动作模式中，捕捉对象的运动以比实际运动更慢的速度被显示。例如，图像处理装置120可以响应于用户的输入信号以慢动作模式操作。
当图像处理装置120的模式被确定为第三模式时，控制器121可以选择第三路径选择信号。第三路径选择信号可以包括施加到第一开关131和第一多路复用器132的处于第一电平的多个信号，以及施加到第二开关133、第二多路复用器134、第三开关135以及第三多路复用器136的处于第二电平的多个信号。第一图像信号处理器122可以通过第一开关131和第一多路复用器132将通过第一处理而处理的像素图像输出到第二图像信号处理器123。第二图像信号处理器123可以对通过第一处理而处理的像素图像执行第二处理，并且可以通过第二开关133和第二多路复用器134将通过第二处理而处理的像素图像输出到压缩器124。压缩器124可以压缩通过第二处理而处理的像素图像，并且可以通过第三开关135和第三多路复用器136将压缩像素图像输出到接口140。
在一个实施例中，图像处理装置120在第一模式或第三模式中的操作可以是实时输出拍摄的图像。尽管相机被激活，但是在开始捕捉运动图像或图片之前，图像处理装置120可以在第一模式或第三模式下操作。此外，即使在开始捕捉运动图像或图片之后，图像处理装置120也可以在第一模式或第三模式下操作。例如，在相机被激活时，图像处理装置120可以在作为基本模式的第一模式下操作。在相机被激活的同时相机被快速晃动或移动的情况下，图像处理装置120可以在第三模式下操作。
根据本发明构思的测试结果，当图像处理装置120在第三模式下操作时，接口140可以每单位时间处理较少量的数据，并且可以发送较小带宽的图像。因此，可改善门数和功耗方面的效率。
在一个实施例中，图像处理装置120在第二模式下的操作可以是在慢动作模式下操作。也就是说，设置在第二模式中的图像处理装置120可以拍摄和存储图像，并将存储的图像输出为慢动作视频。例如，当根据模式设置信号确定图像处理装置120处于第二模式时，第一图像信号处理器122对拍摄的图像执行第一处理，压缩器124压缩拍摄的图像，并且存储单元130可以存储通过存储控制器125输入的压缩图像。在对将被输出为慢动作视频的图像进行捕获、压缩和存储全部完成之后，图像处理装置120可以通过解压缩器126和第二图像信号处理器123输出慢动作视频。
图3A和图3B是示出图1所示的具有堆叠结构的图像传感器的示例的概念图。在图3A和3B中，与图2中所示的元件相同的元件将由相同的附图标记表示，并且在下文中，为了描述的简洁，将省略关于上述内容的重复描述。
参照图3A，图像传感器100a可以包括第一芯片50a、第二芯片50b和第三芯片50c。图像传感器100a的第一芯片50a可以包括有源像素传感器(APS)110a。第二芯片50b可以包括图像处理装置120a。第二芯片50b的图像处理装置120a可以包括图2中描述的相同元件。第一芯片50a和第二芯片50b中的一个可以包括连接到APS 110a的模数转换器110b。第三芯片50c可以包括存储单元130。
图像传感器100a的第一至第三芯片50a、50b和50c可以顺序堆叠以形成堆叠结构。第三芯片50c可以位于最下层，第二芯片50b可以位于中间层，第一芯片50a可以位于最上层。替代性地，虽然附图中未示出，但是图像传感器100a可以包括位于最下层的第二芯片50b，位于中间层的形成在第二芯片50b上的第三芯片50c，以及位于最上层的形成在第三芯片50c上的第一芯片50a。
图像传感器100a可以包括配置为在第一芯片50a和第二芯片50b之间传输像素信号的多条信号传输线。此外，图像传感器100a可以包括配置为在第二芯片50b和第三芯片50c之间传输像素信号的多条传输线。
此外，图像传感器100a可以包括配置为利用非接触传输方法传输像素信号的非接触传输部。图像传感器100a的非接触传输部可以设置在第一芯片50a和第二芯片50b之间以及第二芯片50b和第三芯片50c之间。例如，非接触传输方法可以包括磁组合的传输方法或静电组合的传输方法，但不限于此。
参照图3B，图像传感器100b可以包括APS 110a的第一芯片50a和图像处理装置120b的第二芯片50b。第二芯片50b可以包括存储单元130。当第二芯片50b包括存储单元130时，图像处理装置120b和存储单元130之间的信号传输线的长度减小，因此，可以提升传输效率。此外，可以减小堆叠过程中的产量降低(yield degradation)。
图4是示出图2、图3A和图3B中所示的第一图像信号处理器122的结构的框图。
参照图2至图4，第一图像信号处理器122可包括缺陷像素检测器122a。缺陷像素检测器122a可以检测从图像生成器110输入的像素图像PI中的至少一个缺陷像素。例如，缺陷像素检测器122a可以顺序地接收像素图像PI的多个像素，并且可以从所述多个像素中确定缺陷像素。因此，可以检测缺陷像素。
当缺陷像素检测器122a检测到像素图像PI中的缺陷像素时，可以生成与缺陷像素对应的缺陷像素检测信号BP_det。将缺陷像素检测信号BP_det与像素图像PI一起输出到第一开关131。
例如，缺陷像素检测信号BP_det可以是与像素图像PI的数据不同的一位标记(onebit flag)。此外，缺陷像素检测信号BP_det可以包括将缺陷像素的像素值设置为诸如零的预定值的信号。缺陷像素检测信号BP_det可以用像素值为1的像素来替换实际像素值为0的像素。
此外，缺陷像素检测器122a可以检测相位检测像素以及缺陷像素，并且可以生成相位像素检测信号。相位像素检测信号可以和像素图像一起输出到第一开关131。
缺陷像素检测器122a可以包括静态检测器122a-1和动态检测器122a-2。APS可以包括由图像传感器的缺陷引起的永久缺陷像素。静态检测器122a-1可以检测像素图像的与APS的永久缺陷像素相对应的缺陷像素。由静态检测器122a-1检测到的缺陷像素被称为静态缺陷像素。
静态检测器122a-1可以从存储器接收永久缺陷像素的位置信息。在从图像生成器110接收的像素图像中的像素的位置包括在永久缺陷像素的位置信息中的情况下，该像素被检测为缺陷像素。永久缺陷像素可以是例如不能响应光变化的像素，因此无论其接收的光量如何都保持相同的输出信号。
静态检测器122a-1从其中存储永久缺陷像素的位置信息的存储器(未示出)接收永久缺陷像素的位置信息。静态检测器122a-1基于永久缺陷像素的输入位置信息检测像素图像中的缺陷像素。存储器可以是连接到图像传感器的外部装置，或者可以是包括在图像传感器中的元件。永久缺陷像素的位置信息可以包括在批量生产测试期间检测到的缺陷像素的位置信息，并且可被存储在存储器中。例如，永久缺陷像素的位置信息可以包括缺陷像素的坐标信息。
动态检测器122a-2可以在每帧的每个像素图像中检测从图像生成器110随机生成的缺陷像素。例如，可通过由于长时间使用导致的图像传感器的劣化而生成动态缺陷像素，并且生成的位置可以通过捕捉条件而改变。由动态检测器122a-2检测到的缺陷像素被称为动态缺陷像素。
动态检测器122a-2可以使用从图像生成器110输入的像素图像PI的任一像素的像素值和该像素周围预定区域中的周边像素的像素值来检测动态缺陷像素。根据示例实施例，当一个像素的坐标是(X1,Y1)时，周边像素的坐标可以是其中α是正整数。例如，像素图像的一个像素的坐标是(3,3)并且α是1，周边像素的坐标可以是(2,2)、(2,3)、(2,4)、(3,2)、(3,4)、(4,2)、(4,3)和(4,4)。例如，可以基于像素图像的像素数据的大小来改变α。然而，周边像素不限于以上描述。
动态检测器122a-2可以使用周边像素的像素值来设置缺陷像素的确定范围。例如，可以计算周边像素的平均亮度值，并且可以将根据计算结果的预定范围设置为正常像素范围。动态检测器122a-2可以检查像素图像的像素的像素值是否包括在由该像素的周边像素确定的正常像素范围中。当像素值不在正常像素范围内时，动态检测器122a-2将该像素检测为缺陷像素。
当图像处理装置120以第二模式或第三模式操作时，压缩器124可以接收缺陷像素检测信号BP_det，并且可以基于缺陷像素检测信号BP_det来压缩像素图像。例如，压缩器124可以比较从像素图像检测到的排除了缺陷像素的剩余像素的像素值，并且可以基于比较结果来压缩像素图像。
压缩器124可以基于预定标准对像素图像的像素进行分组，并且可以生成像素组。压缩器124可以将像素组的像素值与参考像素的像素值进行比较，并且可以压缩像素图像。例如，参考像素可以是像素组的相邻像素。替代性地，参考像素可以是与该像素组相邻的先前压缩的像素组的像素。
压缩器124可以使用缺陷像素检测信号BP_det生成排除了缺陷像素的像素组。此外，压缩器124可以使用缺陷像素检测信号BP_det从参考像素移除缺陷像素，并且可以将剩余参考像素与像素组进行比较。因此，可以基于比较结果来压缩像素图像。
此外，当压缩器124从缺陷像素检测器122a接收相位像素检测信号时，可以执行与接收缺陷像素检测信号BP_det时执行的压缩方法相同的压缩方法。因此，在这种情况下，压缩器124可以在执行压缩时移除从其接收到相位检测信号的像素。
图5是示出图4中所示的第一图像信号处理器的示例的框图。图6是用于描述操作图2中所示的压缩器的方法的曲线图。在图5中，与图4中所示的元件相同的元件将用相同的标号表示，并且在下文中，为了简化描述，将省略与上述有关的重复描述。
参照图5，第一图像信号处理器122-1还可包括高通滤波器122b。
高通滤波器122b可以生成与像素图像PI对应的频率标量FS。频率标量(FS)可以是与像素图像PI的相邻帧之间的图像改变量(例如，像素的亮度的改变量)对应的值。例如，频率标量FS可以由捕捉对象的运动程度确定。此外，像素图像PI的频率标量FS可以通过由图像传感器自身的运动引起的图像的抖动(agitation)来确定。高通滤波器122b可以生成像素图像PI的预定区域的频率标量。例如，预定区域可以是与动态检测器122a-2从像素图像分组的像素对应的区域。此外，预定区域可以是通过基于预定参考将像素图像划分为块而形成的区域。高通滤波器122b可以将频率标量和该像素图像一起输出到第一开关131。当图像处理装置120以第二模式或第三模式操作时，压缩器124可以接收与像素图像对应的频率标量FS，并且可以基于频率标量FS来压缩像素图像。例如，压缩器124可以基于与像素图像的预定区域对应的频率标量FS来确定像素图像的预定区域的压缩率。
参照图6，当与像素图像的预定区域对应的频率标量小于或等于第一参考值K1时，压缩器124可以选择预定区域中相对较高的第一压缩率H。当与预定区域对应的频率标量大于或等于第二参考值K2时，压缩器124可以选择预定区域中相对低的第二压缩率L。当与预定区域对应的频率标量在第一参考值K1至第二参考值K2的范围内时，压缩器124可以选择第一压缩率至第二压缩率之间的值，并且可以在预定区域中应用所选值。例如，当与预定区域对应的频率标量FS在第一参考值K1至第二参考值K2的范围内时，压缩率可以基于该频率标量FS在第一压缩率和第二压缩率之间线性地减小，但不限于此。以这种方式，K1和K2之间较高的频率标量FS值(例如，指示较高的模糊度(blur))可以导致较低的压缩率。
例如，当压缩器124使用配置为对像素图像中的像素和周边像素之间的差值进行编码的算法时，通过以与高频区域中的平坦区域的压缩率相同的压缩率来压缩像素图像，像素值损失可能增加。因此，压缩器124应当降低高频区域中的压缩率，高频区域中的像素值损失可因此降低。
图7是示出根据示例实施例的图像处理装置的结构的框图。图8是用于描述图7中所示的运动逻辑电路的操作的曲线图。图9是说明操作图7中所示的运动逻辑电路的方法的流程图。在图7中，与图2中所示的元件相同的元件将用相同的附图标记表示，并且在下文中，为了描述的简洁，将省略关于上述内容的重复描述。
参照图7，图像处理装置120c包括运动逻辑电路127。运动逻辑电路127可分析图像传感器的运动以将与像素图像对应的压缩率控制信号输出到压缩器124。响应于从运动逻辑电路127输入的压缩率控制信号，压缩器124可增加或减少压缩率来压缩像素图像。
运动逻辑电路127可以从运动检测传感器400接收图像传感器的运动信号。运动检测传感器400可以感测图像传感器的运动以生成运动信号。运动检测传感器400可以将生成的运动信号输出到运动逻辑电路127。例如，运动检测传感器400可被实施为与图像传感器分离的芯片，并且可被连接到图像传感器。此外，运动检测传感器可以包括在图像传感器中。
运动逻辑电路127可以分析从运动检测传感器400输入的运动信号。当分析结果的当前运动状态和/或未来运动状态大于或等于参考水平时，运动逻辑电路127可以生成配置为增加压缩率的压缩控制信号。此外，当分析结果的当前运动状态和/或未来运动状态小于或等于参考水平时，运动逻辑电路127可以生成配置为降低压缩率的压缩控制信号。术语“大于或等于参考水平”可以指示其中图像传感器中生成和处理的图像未被实际使用的状态。例如，术语“大于或等于参考水平”可以指示其中相机被激活但在开始捕捉运动图像或图片之前的状态。例如，参考水平可以指示如此大的运动程度(例如，紧接用户打开相机或选择模式之后，或者在用户完成预期视频之后但是相机仍然处于打开状态并且可能移动很多)以至于像素图像可能具有大的压缩率，因为该特定时间的图像将不太可能被使用。
术语“小于或等于参考水平”可以指示其中在图像传感器中生成和处理的图像被使用的状态。例如，术语“小于或等于参考水平”表示相机正在捕捉运动图像或图片的状态。
根据示例实施例，在当前正在捕捉运动图像的情况下，运动逻辑电路127可以不生成压缩控制信号，而不管运动的分析结果如何。
参照图8和图9，图8的曲线图描绘了与运动量对应的输入运动信号的值(Y轴，标记为“V”)和时间(X轴，标记为“t”)。当输入运动信号大于或等于第二参考电平V2时(在从时间t0到时间t1的Ta的范围内)，运动逻辑电路127可以确定图像传感器的当前运动状态是其中在图像传感器中生成和处理的图像未被实际使用的状态。运动逻辑电路127可以生成配置为增加压缩率的压缩控制信号。
当输入运动信号小于第一参考电平V1时(在从时间t2到时间t3的Tc的范围内)，运动逻辑电路127可以确定图像传感器的当前运动状态是其中由图像传感器生成和处理的图像被实际使用的状态。运动逻辑电路127可以生成配置为降低压缩率的压缩控制信号。
当输入运动信号再次大于第二参考电平V2时(在时间t4之后的Te范围内)，运动逻辑电路127可以确定图像传感器的当前运动状态是其中图像传感器生成和处理的图像未被实际使用的状态。运动逻辑电路127可以生成配置为增加压缩率的压缩控制信号。
当输入运动信号小于第二参考电平V2并且大于第一参考电平V1时(在从时间t1到时间t2的范围Tb中)，由于低的运动变化率，运动逻辑电路127可以确定图像传感器的当前运动状态是其中图像传感器生成和处理的图像被实际使用的状态。运动逻辑电路127可以生成配置为降低压缩率的压缩控制信号。
当输入运动信号大于第一参考电平V1并且小于第二参考电平V2时(在从时间t3到时间t4的范围Td内)，由于高的运动变化率，运动逻辑电路127可以确定图像传感器的当前运动状态是其中图像传感器中生成和处理的图像未被实际使用的状态。运动逻辑电路127可以生成配置为增加压缩率的压缩控制信号。
图9描绘了与图8中所示的曲线图和图7所示的示意图一致的流程图。例如，在步骤S1中，基于在预定时间段(例如，时间段Ta到Te中的任何一个时间段)期间由运动检测传感器400检测到的运动来输出运动信号。在步骤S2中，通过运动逻辑电路127分析运动信号。在步骤S3中，基于该分析，确定当前运动的程度是否导致高于特定参考水平(例如，V1)的值。如果不是(例如，步骤S3，“否”)，则输出降低压缩器的压缩率的压缩率控制信号(步骤S5)。如果是(例如，步骤S3，“是”)，则输出增加压缩器的压缩率的压缩率控制信号(步骤S4)。在步骤S6中，响应于压缩率控制信号，压缩器基于该压缩率来压缩图像。
图10是示出根据示例实施例的控制图像处理装置120的方法的流程图。
参照图2和图10，根据示例实施例的图像处理装置120可以基于像素图像PI的帧率来确定模式，所述像素图像PI通过图像生成器110输入到图像处理装置120。
在一个实施例中，当输入的像素图像PI的帧率包括在相对低的第一预定范围内时，图像处理装置120可以在第一模式下操作。当输入的像素图像PI的帧率包括在高于第一预定范围的第二预定范围内时，图像处理装置120可以以第二模式操作。当输入的像素图像PI的帧率包括在第一预定范围和第二预定范围之间的第三预定范围中时，图像处理装置120可以以第三模式操作。换言之，第三预定范围的最小值可以相对大于第一预定范围的最大值，并且第三预定范围的最大值可以相对小于第二预定范围的最小值。然而，第一预定范围至第三预定范围的关系不限于此。第一预定范围至第三预定范围可以是由用户预定的范围，可以是不同的范围，或者可以是其中它们的部分彼此重叠的范围。
在步骤SS1中，生成像素图像，例如通过有源像素传感器生成像素图像。然后，在步骤SS2中，对像素图像执行第一处理，如上文结合第一信号处理器122所讨论的。接下来，当输入的像素图像的帧率在第一预定范围内时(例如，低于预定值)，图像处理装置120可以将模式确定为第一模式(步骤SS3，“是”)。例如，该模式可以对应于用于常规速度而不是慢动作视频的较慢帧率。当图像处理装置120处于第一模式时，控制器121可以生成第一路径选择信号，并且可以将第一路径选择信号输出到第一开关131、第一多路复用器132、第二开关133和第三多路复用器136。在图像处理装置120的第一模式中，第一图像信号处理器122可以对像素图像执行第一处理(步骤SS2)，并且第二图像信号处理器123可以对通过第一处理而处理的像素图像执行第二处理(步骤SS4)。然后，将通过第二处理而处理的像素图像输出到接口140(步骤SS5)。
当输入的像素图像的帧率在第二预定范围内时，图像处理装置120可以将模式确定为第二模式(步骤SS6，“是”)。例如，该模式可以对应于比第一模式更快的帧率。当图像处理装置120处于第二模式时，控制器121可以产生第二路径选择信号，并且可以将第二路径选择信号输出到第一至第三开关131、133和135，以及第一至第三多路复用器132、134和136。在图像处理装置120的第二模式中，第一图像信号处理器122可以对像素图像执行第一处理(步骤SS2)，压缩器124可以压缩通过第一处理而处理的像素图像(步骤SS7)，压缩像素图像可以存储在存储单元中(步骤SS8)。此外，解压缩器126可以对从存储单元130输出的压缩像素图像进行解压缩(步骤SS8)，并且第二图像信号处理器123可以对解压缩像素图像执行第二处理(步骤SS9)。然后，将通过第二处理而处理的像素图像输出到接口140(步骤SS5)。
当输入的像素图像的帧率在第三预定范围内时，图像处理装置120可以将模式确定为第三模式(步骤SS10，“是”)。例如，该模式可以对应于比第一模式更快的帧率。在图像处理装置120的第三模式中，控制器121可以生成第三路径选择信号，并且可以将第三路径选择信号输出到第一至第三开关131、133和135以及第一至第三多路复用器132、134和136。在图像处理装置120的第三模式中，第一图像信号处理器122可以对像素图像执行第一处理(步骤SS2)，并且第二图像信号处理器123可以对通过第一处理而处理的像素图像执行第二处理(步骤SS11)。此外，压缩器124可以对通过第二处理而处理的像素图像进行压缩(步骤SS12)，并且第三多路复用器136可以输出压缩像素图像(步骤SS13)，例如输出到诸如接口140的接口。
根据一个示例实施例，可以基于电量条件(power condition)的状态来确定图像处理装置120的模式。当图像处理装置120的电量小于或等于预定参考值时(例如，包括图像处理装置120的电子装置的剩余电池电量低于特定水平)，图像处理装置120可以与像素图像的帧率无关地以预设模式操作以降低功耗。例如，预设模式可以是其中不压缩像素图像的第一模式。
根据示例实施例，由于基于从图像检测到的缺陷像素数据来压缩图像，因此可以实现配置为减少图像损失的图像传感器。
根据示例实施例，与图像的高频区域对应的压缩率被减小，并且该图像被压缩。因此，可以实现能够减少图像损失的图像传感器。
根据示例实施例，分析图像传感器的运动信号，并且基于该分析减小用于图像的压缩率。因此，该图像被压缩，并且可以实现能够减少图像损失的图像传感器。
虽然已经参考附图描述了示例实施例，但是本领域技术人员应该理解，在不脱离示例实施例的范围且不改变其基本特征的情况下，可以进行各种修改。因此，上述实施例应仅被认为是描述性的，而不是为了限制的目的。

Claims (20)

1.一种图像传感器，包括：
第一芯片，其包括配置为生成并输出像素图像的图像生成器；
第二芯片，其包括图像处理装置，所述图像处理装置配置为基于外部施加的模式设置信号确定多个模式中的一个模式，基于确定的模式生成多个路径选择信号，并且响应于所述多个路径选择信号处理所述像素图像；和
第三芯片，其包括存储从所述图像处理装置输出的所述像素图像的存储单元，
其中，所述第二芯片堆叠在所述第三芯片上并且所述第一芯片堆叠在所述第二芯片上，使得所述第二芯片位于所述第一芯片和所述第三芯片之间；或者所述第三芯片堆叠在所述第二芯片上并且所述第一芯片堆叠在所述第三芯片上，使得所述第三芯片位于所述第一芯片和所述第二芯片之间。
2.根据权利要求1所述的图像传感器，其中所述图像处理装置包括：
第一图像信号处理器，其配置为对从所述图像生成器输出的所述像素图像执行第一处理；
第一开关，其连接到所述第一图像信号处理器的输出端子，并且配置为响应于所述多个路径选择信号，通过第一输出端子和第二输出端子中的一个输出通过所述第一处理处理的所述像素图像；
压缩器，其配置为压缩通过所述第一处理处理的所述像素图像并输出压缩的像素图像；
存储控制器，其配置为将从所述压缩器输出的所述压缩的像素图像输出到所述存储单元，接收从所述存储单元输出的所述压缩的像素图像，并输出从所述存储单元输出的所述压缩的像素图像；
解压缩器，其配置为解压缩从所述存储控制器输出的所述压缩的像素图像；
第一多路复用器，其包括连接到所述第一开关的所述第一输出端子的第一输入端子和连接到所述解压缩器的输出端子的第二输入端子，所述第一多路复用器响应于所述多个路径选择信号输出通过所述第一处理处理并通过所述第一输入端子接收的所述像素图像和通过所述第二输入端子接收的解压缩的像素图像中的一个；
第二图像信号处理器，其配置为对通过所述第一多路复用器输出的通过所述第一处理处理的所述像素图像和所述解压缩的像素图像中的一个执行第二处理；以及
控制器，其配置为生成与所述确定的模式相对应的所述多个路径选择信号，并将生成的所述多个路径选择信号中的相应路径选择信号输出到所述第一开关和所述第一多路复用器。
3.根据权利要求2所述的图像传感器，其中：
所述第一图像信号处理器包括高通滤波器，所述高通滤波器配置为生成所述像素图像的预定区域的频率标量；并且
所述压缩器基于从所述高通滤波器输出的所述频率标量来控制与所述预定区域对应的压缩率。
4.根据权利要求2所述的图像传感器，其中：
所述第一图像信号处理器包括缺陷像素检测器，所述缺陷像素检测器配置为检测所述像素图像中的缺陷像素，以生成缺陷像素检测信号；并且
所述压缩器基于从所述缺陷像素检测器输出的所述缺陷像素检测信号来压缩所述像素图像。
5.根据权利要求2所述的图像传感器，其中：
当所述确定的模式是第一模式时，
所述控制器生成第一组路径选择信号；并且
响应于所述第一组路径选择信号，所述第一开关通过所述第一输出端子输出通过所述第一处理处理的所述像素图像，并且所述第一多路复用器将通过所述第一处理处理并通过所述第一输入端子接收的所述像素图像输出到所述第二图像信号处理器。
6.根据权利要求2所述的图像传感器，其中：
当所述确定的模式是第二模式时，
所述控制器生成第二组路径选择信号；并且
响应于所述第二组路径选择信号，所述第一开关通过所述第二输出端子将通过所述第一处理处理的所述像素图像输出到所述压缩器，并且所述第一多路复用器将所述解压缩的像素图像输出到所述第二图像信号处理器。
7.根据权利要求2所述的图像传感器，其中，所述图像处理装置包括：
第二开关，其连接到所述第二图像信号处理器的输出端子，并配置为响应于所述多个路径选择信号，通过第三输出端子和第四输出端子中的一个输出通过所述第二处理处理的所述像素图像；
第二多路复用器，其包括与所述第一开关的所述第二输出端子连接的第三输入端子和与所述第二开关的所述第四输出端子连接的第四输入端子，所述第二多路复用器响应于所述多个路径选择信号，将通过所述第一处理处理的所述像素图像和通过所述第二处理处理的所述像素图像中的一个输出到所述压缩器；
第三开关，其连接到所述压缩器的输出端子，所述第三开关响应于所述多个路径选择信号，通过第五输出端子和第六输出端子中的一个输出所述压缩的像素图像；以及
第三多路复用器，其包括与所述第二开关的所述第三输出端子连接的第五输入端子和与所述第三开关的所述第六输出端子连接的第六输入端子，所述第三多路复用器响应于所述多个路径选择信号，输出通过所述第二处理处理并通过所述第五输入端子接收的所述像素图像或通过所述第六输入端子接收的所述压缩的像素图像。
8.根据权利要求7所述的图像传感器，其中：
当所述确定的模式是第三模式时，
所述控制器生成第三组路径选择信号，并将生成的第三组路径选择信号输出到所述第一开关至所述第三开关和所述第一多路复用器至所述第三多路复用器；并且
响应于所述第三组路径选择信号，所述第一开关通过所述第一输出端子输出通过所述第一处理处理的所述像素图像，所述第一多路复用器将通过所述第一处理处理的所述像素图像输出到所述第二图像信号处理器，所述第二开关通过所述第四输出端子输出通过所述第二处理处理的所述像素图像，所述第二多路复用器将通过所述第二处理处理的所述像素图像输出到所述压缩器，所述第三开关通过所述第六输出端子输出所述压缩的像素图像，并且所述第三多路复用器输出所述压缩的像素图像。
9.一种电子装置，包括：
图像传感器，其包括配置为生成并输出像素图像的图像生成器、配置为处理所述像素图像的图像处理装置、以及配置为存储所述像素图像的存储单元；和
应用处理器，其配置为生成模式设置信号，并且配置为将生成的模式设置信号发送至所述图像处理装置，
其中，所述图像处理装置配置为基于所述模式设置信号生成多个路径选择信号，所述多个路径选择信号用于选择所述图像处理装置用于处理所述像素图像的路径，并且
其中，所述图像处理装置基于用户的输入信号、所述像素图像的分析结果和所述图像传感器的运动信号中的至少一个来选择所述像素图像的压缩率，并基于选择的压缩率来压缩所述像素图像。
10.根据权利要求9所述的电子装置，其中：
所述图像传感器包括：包括所述图像生成器的第一芯片，以及包括所述图像处理装置和所述存储单元的第二芯片；并且
所述第一芯片堆叠在所述第二芯片上。
11.根据权利要求9所述的电子装置，其中：
所述图像传感器包括：包括所述图像生成器的第一芯片、包括所述图像处理装置的第二芯片、以及包括所述存储单元的第三芯片；并且
所述第二芯片堆叠在所述第三芯片上并且所述第一芯片堆叠在所述第二芯片上，使得所述第二芯片位于所述第一芯片和所述第三芯片之间；或者所述第三芯片堆叠在所述第二芯片上并且所述第一芯片堆叠在所述第三芯片上，使得所述第三芯片位于所述第一芯片和所述第二芯片之间。
12.根据权利要求9所述的电子装置，其中，所述图像处理装置包括：
第一图像信号处理器，其配置为对从所述图像生成器输出的所述像素图像执行第一处理；
第一开关，其连接到所述第一图像信号处理器的输出端子，所述第一开关响应于所述多个路径选择信号，通过第一输出端子或第二输出端子输出通过所述第一处理处理的所述像素图像；
压缩器，其配置为压缩通过所述第一处理处理的所述像素图像并输出压缩的像素图像；
存储控制器，其配置为将从所述压缩器输出的所述压缩的像素图像输出到所述存储单元，以及接收从所述存储单元输出的所述压缩的像素图像，并输出从所述存储单元输出的所述压缩的像素图像；
解压缩器，其配置为解压缩从所述存储控制器输出的所述压缩的像素图像；
第一多路复用器，其包括连接到所述第一开关的所述第一输出端子的第一输入端子和连接到所述解压缩器的输出端子的第二输入端子，所述第一多路复用器响应于所述多个路径选择信号，输出通过所述第一处理处理并通所述过第一输入端子接收的所述像素图像或通过所述第二输入端子接收的所述解压缩的像素图像；
第二图像信号处理器，其配置为对通过所述第一多路复用器输出的通过所述第一处理处理的所述像素图像或所述解压缩的像素图像执行第二处理；和
控制器，其配置为生成与所述模式设置信号中指示的模式相对应的所述多个路径选择信号，并配置为将所生成的路径选择信号输出到所述第一开关和所述第一多路复用器。
13.根据权利要求12所述的电子装置，其中：
当所述模式是第一模式时，
所述控制器生成第一组路径选择信号；以及
响应于所述第一组路径选择信号，所述第一开关通过所述第一输出端子输出通过所述第一处理处理的所述像素图像，并且所述第一多路复用器将通过所述第一处理处理并通过所述第一输入端子接收的所述像素图像输出到所述第二图像信号处理器。
14.根据权利要求12所述的电子装置，其中：
当所述模式是第二模式时，
所述控制器生成第二组路径选择信号；并且
响应于所述第二组路径选择信号，所述第一开关通过所述第二输出端子将通过所述第一处理处理的所述像素图像输出到所述压缩器，并且所述第一多路复用器将所述解压缩的像素图像输出到所述第二图像信号处理器。
15.根据权利要求12所述的电子装置，其中，所述图像处理装置包括：
第二开关，其连接到所述第二图像信号处理器的输出端子，并且配置为响应于所述多个路径选择信号，通过第三输出端子和第四输出端子中的一个输出通过所述第二处理处理的所述像素图像；
第二多路复用器，其包括与所述第一开关的所述第二输出端子连接的第三输入端子和与所述第二开关的所述第四输出端子连接的第四输入端子，所述第二多路复用器响应于所述多个路径选择信号，将通过所述第一处理处理的所述像素图像和通过所述第二处理处理的所述像素图像中的一个输出到所述压缩器；
第三开关，其连接到所述压缩器的输出端子，所述第三开关响应于所述多个路径选择信号，通过第五输出端子和第六输出端子中的一个输出所述压缩的像素图像；以及
第三多路复用器，其包括与所述第二开关的所述第三输出端子连接的第五输入端子和与所述第三开关的所述第六输出端子连接的第六输入端子，所述第三多路复用器响应于所述多个路径选择信号，输出通过所述第二处理处理并通过所述第五输入端子接收的所述像素图像或通过所述第六输入端子接收的所述压缩的像素图像。
16.根据权利要求15所述的电子装置，其中：
当所述模式是第三模式时，
所述控制器生成第三组路径选择信号，并将生成的第三组路径选择信号输出到所述第一开关至所述第三开关和所述第一多路复用器至所述第三多路复用器；并且
响应于所述第三组路径选择信号，所述第一开关通过所述第一输出端子输出通过所述第一处理处理的所述像素图像，所述第一多路复用器将通过所述第一处理处理的所述像素图像输出到所述第二图像信号处理器，所述第二开关通过所述第四输出端子输出通过所述第二处理处理的所述像素图像，所述第二多路复用器将通过所述第二处理处理的所述像素图像输出到所述压缩器，所述第三开关通过所述第六输出端子输出所述压缩的像素图像，并且所述第三多路复用器输出所述压缩的像素图像。
17.根据权利要求12所述的电子装置，其中：
所述第一图像信号处理器包括高通滤波器，所述高通滤波器配置为生成所述像素图像的预定区域的频率标量；并且
所述压缩器基于从所述高通滤波器输出的所述频率标量来控制与所述预定区域对应的压缩率。
18.一种控制图像处理装置的方法，包括：
生成像素图像；
基于所述像素图像的帧率在多个模式中确定一个模式，并响应于所确定的模式生成多个路径选择信号；
当所述像素图像的帧率处于第一预定范围内时，
确定第一模式，
基于所述第一模式生成第一组路径选择信号，并且
响应于所述第一组路径选择信号对所述像素图像执行第一处理，并对通过所述第一处理处理的所述像素图像执行第二处理；以及
当所述像素图像的帧率处于第二预定范围内时，
确定第二模式，
基于所述第二模式生成第二组路径选择信号，并且
响应于所述第二组路径选择信号对所述像素图像执行所述第一处理，压缩通过所述第一处理处理的所述像素图像，将压缩的像素图像存储在存储单元中，对从所述存储单元输出的所述压缩的像素图像进行解压缩，并对解压缩的像素图像执行所述第二处理。
19.根据权利要求18所述的方法，还包括：
当所述像素图像的帧率处于第三预定范围内时，
确定第三模式；
基于所述第三模式生成第三组路径选择信号；以及
响应于所述第三组路径选择信号对所述像素图像执行所述第一处理，对通过所述第一处理处理的所述像素图像执行所述第二处理，压缩通过所述第二处理处理的所述像素图像，并输出压缩的像素图像。
20.根据权利要求18所述的方法，其中：
当所述像素图像的帧率处于所述第一预定范围内时，在所述像素图像从所述图像处理装置输出之前，所述像素图像未被压缩。
CN201811465182.4A 2018-01-31 2018-12-03 图像传感器、电子装置以及控制图像处理装置的方法 Active CN110113547B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180011881A KR102499033B1 (ko) 2018-01-31 2018-01-31 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
KR10-2018-0011881 2018-01-31

Publications (2)

Publication Number Publication Date
CN110113547A true CN110113547A (zh) 2019-08-09
CN110113547B CN110113547B (zh) 2023-06-27

Family

ID=67392557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811465182.4A Active CN110113547B (zh) 2018-01-31 2018-12-03 图像传感器、电子装置以及控制图像处理装置的方法

Country Status (3)

Country Link
US (1) US10904436B2 (zh)
KR (1) KR102499033B1 (zh)
CN (1) CN110113547B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258470A (zh) * 2020-10-20 2021-01-22 上海大学 基于缺陷检测的工业图像临界压缩率智能分析***及方法
CN113194313A (zh) * 2021-05-06 2021-07-30 展讯通信（上海）有限公司 视频帧压缩、解压方法和设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570479B2 (en) 2020-04-24 2023-01-31 Samsung Electronics Co., Ltd. Camera module, image processing device and image compression method
US11823417B2 (en) 2020-07-16 2023-11-21 Samsung Electronics Co., Ltd. Camera module, image processing system and image compression method
KR20220048090A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079589A1 (en) * 2008-09-26 2010-04-01 Sanyo Electric Co., Ltd. Imaging Apparatus And Mode Appropriateness Evaluating Method
CN103065604A (zh) * 2011-10-20 2013-04-24 三星电子株式会社 显示器驱动器和操作图像数据处理装置的方法
CN103974001A (zh) * 2013-01-24 2014-08-06 三星电子株式会社 图像传感器及其操作方法和包括该图像传感器的***
CN104518679A (zh) * 2013-10-07 2015-04-15 Abb公司 转换器电路
CN105474627A (zh) * 2013-08-12 2016-04-06 株式会社尼康 电子设备、电子设备的控制方法以及控制程序

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0390421B1 (en) 1989-03-30 1994-07-06 Canon Kabushiki Kaisha Still video camera
JPH10108121A (ja) 1996-09-25 1998-04-24 Nikon Corp 電子カメラ
US6650366B2 (en) 1998-03-26 2003-11-18 Eastman Kodak Company Digital photography system using direct input to output pixel mapping and resizing
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
US7020892B2 (en) * 1999-09-03 2006-03-28 Lsi Logic Corporation Time-shifted video signal processing
US7064784B2 (en) * 2000-10-19 2006-06-20 Canon Kabushiki Kaisha Image pickup apparatus adapted to carry out parallel operations in a continuous image pickup mode, and a control method
JP2003046707A (ja) * 2001-07-31 2003-02-14 Canon Inc 撮像装置、情報処理装置およびそれらの制御方法、画像処理装置およびその方法、並びに、画像処理システム
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
US20040135903A1 (en) 2002-10-11 2004-07-15 Brooks Lane C. In-stream lossless compression of digital image sensor data
JP4193804B2 (ja) * 2005-02-03 2008-12-10 カシオ計算機株式会社 撮像装置、画像記憶装置、撮像方法、記憶方法及びプログラム
JP4680166B2 (ja) * 2006-10-30 2011-05-11 ソニー株式会社 撮像装置および撮像方法
JP2009044639A (ja) * 2007-08-10 2009-02-26 Hitachi Ltd 映像記録装置及び映像記録方法
DE102007055322B4 (de) * 2007-11-20 2012-09-06 Continental Automotive Gmbh Herstellungsverfahren für eine Kamera
JP5123443B2 (ja) 2010-06-07 2013-01-23 オリンパスメディカルシステムズ株式会社 信号処理装置及び静止画生成方法
US8629919B2 (en) * 2010-08-18 2014-01-14 Canon Kabushiki Kaisha Image capture with identification of illuminant
US8637800B2 (en) * 2011-04-19 2014-01-28 Altasens, Inc. Image sensor with hybrid heterostructure
KR101893406B1 (ko) 2012-03-28 2018-08-30 삼성전자 주식회사 카메라의 이미지처리 장치 및 방법
CN104247401B (zh) * 2012-03-30 2019-07-02 株式会社尼康 拍摄元件以及拍摄装置
EP2654288B1 (en) 2012-04-16 2021-07-07 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
US11284133B2 (en) * 2012-07-10 2022-03-22 Avago Technologies International Sales Pte. Limited Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information
KR101953614B1 (ko) 2012-10-12 2019-05-22 삼성전자주식회사 카메라장치의 이미지처리장치 및 방법
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
KR20150014007A (ko) * 2013-07-25 2015-02-06 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
JP2015076502A (ja) * 2013-10-09 2015-04-20 ソニー株式会社 半導体装置およびその製造方法、並びに電子機器
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
CN111787246B (zh) * 2013-11-26 2023-07-14 株式会社尼康 摄像元件及摄像装置
US9525001B2 (en) * 2014-12-30 2016-12-20 Taiwan Semiconductor Manufacturing Co., Ltd. Semiconductor device and manufacturing method thereof
US9491495B2 (en) 2015-01-16 2016-11-08 Analog Devices Global Method and apparatus for providing input to a camera serial interface transmitter
KR20160109586A (ko) 2015-03-12 2016-09-21 삼성전자주식회사 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치
US10863131B2 (en) 2015-05-20 2020-12-08 Samsung Electronics Co., Ltd. Image sensor including parallel output of pixel signals from a pixel unit and image processing system including the same
JP6608185B2 (ja) * 2015-06-18 2019-11-20 キヤノン株式会社 積層型イメージセンサおよび撮像装置
JP6604782B2 (ja) 2015-09-08 2019-11-13 キヤノン株式会社 画像処理装置
US10638037B2 (en) * 2015-09-30 2020-04-28 Nikon Corporation Image-capturing device and image processing device
US10713749B2 (en) * 2016-09-08 2020-07-14 Sony Corporation Image sensor and driving method, and electronic apparatus
KR102483548B1 (ko) * 2017-10-31 2023-01-02 삼성전자주식회사 이미지 센싱 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079589A1 (en) * 2008-09-26 2010-04-01 Sanyo Electric Co., Ltd. Imaging Apparatus And Mode Appropriateness Evaluating Method
CN103065604A (zh) * 2011-10-20 2013-04-24 三星电子株式会社 显示器驱动器和操作图像数据处理装置的方法
CN103974001A (zh) * 2013-01-24 2014-08-06 三星电子株式会社 图像传感器及其操作方法和包括该图像传感器的***
CN105474627A (zh) * 2013-08-12 2016-04-06 株式会社尼康 电子设备、电子设备的控制方法以及控制程序
CN104518679A (zh) * 2013-10-07 2015-04-15 Abb公司 转换器电路

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258470A (zh) * 2020-10-20 2021-01-22 上海大学 基于缺陷检测的工业图像临界压缩率智能分析***及方法
CN112258470B (zh) * 2020-10-20 2021-10-08 上海大学 基于缺陷检测的工业图像临界压缩率智能分析***及方法
CN113194313A (zh) * 2021-05-06 2021-07-30 展讯通信（上海）有限公司 视频帧压缩、解压方法和设备
CN113194313B (zh) * 2021-05-06 2022-09-27 展讯通信（上海）有限公司 视频帧压缩、解压方法和设备

Also Published As

Publication number Publication date
CN110113547B (zh) 2023-06-27
US20190238751A1 (en) 2019-08-01
KR20190092757A (ko) 2019-08-08
US10904436B2 (en) 2021-01-26
KR102499033B1 (ko) 2023-02-13

Similar Documents

Publication Publication Date Title
CN110113547A (zh) 图像传感器、电子装置以及控制图像处理装置的方法
JP5141797B2 (ja) 画像表示装置および画像表示プログラムおよび画像表示方法
US6342900B1 (en) Information processing apparatus
CN101491083B (zh) 图像捕获装置和控制图像捕获装置的方法
EP2618565A1 (en) Image processing device, image processing method, data structure for video files, data compression device, data decoding device, data compression method, data decoding method, and data structure for compressed video files
KR20190133465A (ko) 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치
CN101739206A (zh) 图像处理设备、图像显示方法、及图像显示程序
US8797424B2 (en) Image processing apparatus for reading compressed data from memory via data bus and image processing method performed in the image processing apparatus
CN106934354B (zh) 一种fpga实现人脸检测的方法
CN101609662B (zh) 数码终端及使其输入图像与其显示屏匹配的方法
US8145039B2 (en) Information processing apparatus and method
US20100053326A1 (en) Image sensor, the operating method and usage thereof
US7174053B2 (en) Information processing apparatus
JP4157003B2 (ja) 画像処理装置
JP4923956B2 (ja) 画像表示装置および画像表示プログラムおよび画像表示方法
JP4010057B2 (ja) カメラ装置
JP4822507B2 (ja) 画像処理装置および画像処理装置に接続される装置
CN106201712B (zh) 增强现实中目标识别频率的调整方法、装置及移动终端
CN101467439B (zh) 拍摄装置
JP3858447B2 (ja) 電子カメラ装置
JPH10304230A (ja) 撮像システム及び記憶媒体
JP2007028208A (ja) 画像処理装置および撮像装置
CN104349089A (zh) 图像处理设备和存储介质
CN112905293B (zh) 图形加载方法与***以及图形渲染方法与***
JP2009213095A (ja) 画像ファイル作成装置、画像ファイル作成方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant