CN106254785A - 图像传感器及用于改进非可见照明的方法 - Google Patents

图像传感器及用于改进非可见照明的方法 Download PDF

Info

Publication number
CN106254785A
CN106254785A CN201610323185.9A CN201610323185A CN106254785A CN 106254785 A CN106254785 A CN 106254785A CN 201610323185 A CN201610323185 A CN 201610323185A CN 106254785 A CN106254785 A CN 106254785A
Authority
CN
China
Prior art keywords
imageing sensor
interest region
exposure
radiation source
rolling shutter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610323185.9A
Other languages
English (en)
Other versions
CN106254785B (zh
Inventor
单继璋
许明恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN106254785A publication Critical patent/CN106254785A/zh
Application granted granted Critical
Publication of CN106254785B publication Critical patent/CN106254785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明涉及图像传感器及用于改进非可见照明的方法。描述设备及方法的实施例。所述方法包含使用图像传感器捕获第一图像帧，所述图像传感器包含：包括被布置于行及列中的多个像素的像素阵列及光学耦合到所述像素阵列的彩色滤光器阵列。确定所述第一图像帧内的所关注区域，且所述图像传感器的曝光时间经调整以消除由所述图像传感器捕获到的很大一部分的所述可见光。结合所述像素阵列使用滚动快门程序以使用所述调整曝光时间捕获至少一个随后帧，且在所述滚动快门进入所述所关注区域时激活不可见辐射源，且当所述滚动快门离开所述所关注区域时去激活所述不可见辐射源。最后，输出所述所关注区域的图像。揭示及主张其它实施例。

Description

图像传感器及用于改进非可见照明的方法
技术领域
所揭示的实施例大体上涉及数字摄影，且特定来说(但非排他性地)，涉及改进在具有非可见波长下成像同时降低电力消耗的照明方案。
背景技术
将摄像机并入到许多种类的移动装置(例如手机、智能电话平板计算机及类似物)中，甚至现今实际上每个移动装置都包含摄像机。最初，摄像机的功能仅仅是为了拍照，但许多摄像机现在也用于额外功能，例如用户识别及验证、手势识别等等。出于各种原因，必须使用非可见(即，不可见)光(例如，红外)实施许多这些额外功能，且所以移动装置也必须包含提供所需非可见辐射的某个种类的辐射(即，光)源。
许多移动装置使用电池操作且因此受电力所制约，即其在电池耗尽之前仅可提供有限量的电力且必须被再充电。不管电池容量，用户也经常抱怨过短的电池寿命(电池在充电之间持续多久)。但在具有非可见光源的大多数装置中，其非常低效地使用，意味着非可见光源从电池汲取比所需更多的电力且导致比所需更短的电池寿命。
发明内容
一方面，本发明提供一种图像传感器，其包括：像素阵列，其包括被布置于行及列中的多个像素；彩色滤光器阵列，其光学耦合到所述像素阵列，所述彩色滤光器阵列包括多个平铺最小重复单元，每一最小重复单元包含：多个个别滤光器，其中所述个别滤光器的光谱光响应包含至少三个双带光谱光响应及一个单带光谱光响应；及耦合到所述像素阵列的电路及逻辑，其中所述逻辑包括当由所述电路执行时引起所述图像传感器做出以下操作的指令：使用图像传感器捕获第一图像帧，所述图像传感器包含：包括被布置于行及列中的多个像素的像素阵列及光学耦合到所述像素阵列的彩色滤光器阵列；确定所述第一图像帧内的所关注区域；调整所述图像传感器的曝光时间以消除由所述图像传感器捕获到的很大一部分的所述可见光；结合所述像素阵列使用滚动快门程序以使用所述调整曝光时间捕获至少一个随后帧；在所述滚动快门进入所述所关注区域时激活不可见辐射源，且当所述滚动快门离开所述所关注区域时去激活所述不可见辐射源；及输出所述所关注区域的图像。
另一方面，本发明提供一种方法，其包括：使用图像传感器捕获第一图像帧，所述图像传感器包含：包括被布置于行及列中的多个像素的像素阵列及光学耦合到所述像素阵列的彩色滤光器阵列；确定所述第一图像帧内的所关注区域；调整所述图像传感器的所述曝光时间以消除由所述图像传感器捕获到的很大一部分的所述可见光；结合所述像素阵列使用滚动快门程序以使用所述调整曝光时间捕获至少一个随后帧；在所述滚动快门进入所述所关注区域时激活不可见辐射源，且当所述滚动快门离开所述所关注区域时去激活所述不可见辐射源；及输出所述所关注区域的图像。
附图说明
参考以下图式描述本发明的非限制及非详尽实施例，其中贯穿各种视图相似的元件符号指代相似部件，除非另有说明。
图1A到1B是包含非可见照明的图像捕获装置的实施例的透视图及横截面图。
图2A是包含彩色滤光器阵列的图像传感器的实施例的示意图。
图2B到2C分别是一对前侧照明像素的实施例及一对后侧照明像素的实施例的横截面。
图3A到3B分别是通过平铺多个最小重复单元(MRU)形成的彩色滤光器阵列(CFA)的实施例的图及一对MRU的实施例的图。
图4是说明图像传感器中的滚动快门的操作的实施例的图。
图5是包含帧内所关注区域的图像帧的实施例的图。
图6是说明用于改进的非可见照明及图像捕获的过程的实施例的流程图。
图7A到7B是说明曝光时间调整的实施例的图。
图8是说明使用非可见波长光捕获所关注区域的图像期间各种事件的时序的实施例的时序图。
具体实施方式
描述改进图像捕获同时降低电力消耗的非可见照明方案的设备、***及方法的实施例。描述特定细节以提供对实施例的透彻理解，但相关领域的技术人员将认识到，可无需使用所描述的细节中的一或多者或使用其它方法、组件、材料等等实践本发明。在一些实例中，未详细展示或描述众所周知的结构、材料或操作，但尽管如此众所周知的结构、材料或操作涵盖于本发明的范围内。
贯穿此描述对“一个实施例”或“实施例”的参考意味着所描述的特征、结构或特性可包含于至少一个所描述实施例中，使得“在一个实施例”或“在实施例”的出现并不一定都指代相同实施例。此外，所描述的特定特征、结构或特性可以任何适合方式被组合于一或多个实施例中。
图1A到1B一起说明图像捕获装置100的实施例。所说明的装置100的实施例是摄像机，但在其它实施例中，装置100可为包含图像传感器的任何装置，例如移动电话、智能电话、模板、膝上型计算机等等。
装置100包含光学器件102，其用于将物体104的图像聚焦到所述装置内的图像传感器112上。在一个实施例中，图像传感器112可为CMOS图像传感器(例如图2A到2C中所展示的图像传感器)，但在其它实施例中，图像传感器112可为另一类型的图像传感器。可由不同光源照明物体104。其可由外部光源106照明，如果物体104在室外，那么外部光源106可保持其可为自然光(即，日光)，如果物体104在室内，那么外部光源106可保持其可为人造光。如果外部光源106将变暗以适当地照明物体104，那么安装在装置100上或安装在装置100中的板载可见光源108可取代或增补外部光源106以照明物体104。最后，可对特殊成像情况使用板载非可见(即，不可见)光源110使用非可见辐射照明物体104。在一个实施例中，非可见光源110可为红外光源，但在其它实施例中，非可见光源110可为以另一波长(例如紫外)发射的非可见光源。除其它事物之外，可针对特殊成像情况(例如身份验证)使用非可见光源110。例如，在智能电话中，可使用非可见波长执行视网膜扫描以验证试图使用所述智能电话的个人是其合法拥有者。但(当然)对非可见光源110的使用不限于此特定应用。可使用其的其它应用包含虹膜识别、静脉识别、手势检测、运动检测、人脸检测、接近检测等等。
在装置100的操作中，由外部光源106或板载可见光源108中的一者或两者照明物体104的所有或部分以用于正常(即，可见)成像。且如果呈现需要非可见光源110的情况，那么可使用非可见光源110照明物体104的所有或部分。无论使用何种光源照明物体104，从源入射到物体104上的光从所述物体反射且由光学器件102将其聚焦到图像传感器112上。图像传感器112具有曝光周期(在曝光周期期间其捕获由光学器件102聚焦到其上的光)且产生电信号，接着，所述电信号形成物体104的数字图像的基础。
在现存***中，当使用非可见光源110时，即使仅需要其捕获物体的部分图像，其也继续停留在图像传感器的整个曝光周期期间。例如，使用视网膜扫描的身份验证仅需人眼的图像，而非整个人或甚至整个人脸的图像。但如同非可见光源110的光源可使用显著的电量，且此可为具有电力约束的装置(例如，使用电池操作的装置)的问题。下文所描述的实施例通过使用非可见光源110的智能照明方案减少此问题。
图2A说明包含彩色像素阵列205、耦合到所述像素阵列的读出电路270、耦合到所述读出电路的功能逻辑215及耦合到所述像素阵列的控制电路220的互补金属氧化物半导体(CMOS)图像传感器200的实施例。彩色像素阵列205是具有X像素列及Y像素行的个别成像传感器或像素(例如，像素P1、P2……、Pn)的二维(“2D”)阵列。彩色像素阵列205可被实施为前侧照明图像传感器(如图2A中展示)或被实施为背侧照明图像传感器(如图2B中展示)。如所说明，所述阵列中的每一像素被布置到行(例如，行R1到Ry)及列(例如，列C1到Cx)中以采集个人、位置或物体的图像数据，接着可使用所述图像数据再现所述个人、位置或物体的2D图像。彩色像素阵列205使用耦合到所述像素阵列的彩色滤光器阵列(CFA)将色彩指派到每一像素，如下文结合所揭示的彩色滤光器阵列的实施例进一步论述。
在像素阵列205中的每一像素已采集其图像数据或图像电荷之后，由读出电路270读出所述图像数据且将其转移到功能逻辑215以用于存储、额外处理等等。读出电路270可包含放大电路、模/数(“ADC”)转换电路或其它电路。功能逻辑215可存储所述图像数据及/或通过应用后图像效果(例如，剪裁、旋转、消除红眼、调整亮度、调整对比度或其它)操纵所述图像数据。在一个实施例中也可使用功能逻辑215处理所述图像数据以校正(即，减少或移除)固定图案噪声。控制电路220耦合到像素阵列205以控制彩色像素阵列205的操作特性。举例来说，控制电路220可产生用于控制图像采集的快门信号。
图2B说明CMOS图像传感器中的一对前侧照明(FSI)像素250的实施例的横截面。FSI像素250的前侧是衬底202的侧，在其上安置光敏区域204及相关联像素电路且在其之上形成用于再分布信号的金属堆叠206。金属堆叠206包含金属层M1及M2，其经图案化以产生光学通道，入射到FSI像素250上的光可通过所述光学通道到达光敏或光电二极管(“PD”)区域204。为实施彩色图像传感器，前侧可包含彩色滤光器阵列201，其中其个别彩色滤光器(在此特定横截面中仅说明两个个别滤光器203及205)中的每一者被安置于辅助将入射光聚焦到PD区域204上的微透镜206下方。在一个实施例中，彩色滤光器阵列201可为由图3A到3B中所描述的最小重复单元及滤光器中的任何者形成的彩色滤光器阵列。
图2C说明CMOS图像传感器中的一对背侧照明(BSI)像素275的实施例的横截面。如在FSI像素250中，像素275的前侧是衬底202的上面安置有光敏区域204及相关联像素电路且之上形成有用于再分布信号的金属堆叠206的侧。背侧是衬底202的与前侧相对的侧。为实施彩色图像传感器，背侧可包含彩色滤光器阵列201，其中其个别彩色滤光器(在此特定横截面中说明个别滤光器203及205)中的每一者被安置于微透镜206的下方。在一个实施例中，彩色滤光器阵列201可为由图3A到3B中所描述的最小重复单元及滤光器中的任何者形成的彩色滤光器阵列。微透镜206辅助将入射光聚焦到光敏区域204上。像素275的背侧照明意味着金属堆叠206中的金属互连线不会遮盖被成像的物体与光敏区域204之间的路径，从而导致光敏区域204产生更大的信号。
图3A说明彩色滤光器阵列(CFA)300，其包含经平铺以形成所述CFA的多个最小重复单元(MRU)。CFA 300包含若干个别滤光器，其大体上对应于CFA耦合到或将耦合到的像素阵列中的个别像素的数目。每一个别滤光器光学耦合到像素阵列中的对应个别像素，且具有从一组光谱光响应选出的特定光谱光响应。特定光谱光响应对电磁光谱的某些部分具有高灵敏度但对所述光谱的其它部分具有低灵敏度。像素本身并未经色彩化，但因为CFA通过将滤光器放置在像素之上而将单独光响应指派到每一像素，所以通常将像素称为那个特定光响应的像素。因此，如果像素不具有滤光器或像素耦合到透明(即，无色或全色)滤光器，那么可将其称为“透明像素”，如果像素耦合到蓝滤光器，那么可将其称为“蓝像素”，如果像素耦合到绿滤光器，那么可将其称为“绿像素”，或如果像素耦合到红滤光器，那么可将其称为“红像素”等等。
经选择用于CFA中的所述组光谱光响应通常具有至少三个不同光响应，但在一些实施例中，其可包含四个或四个以上不同光响应。在CFA 300具有四个光谱光响应的实施例中，所述组光响应可为红、绿、蓝及透明或全色(即，中性或无色)。但在其它实施例中，CFA300可包含除所列出的光响应之外或代替所列出的光响应的其它光响应。例如，其它实施例可包含青(C)、洋红(M)及黄(Y)滤光器、透明(即，无色)滤光器、红外滤光器、紫外滤光器、x射线滤光器等等。在一些实施例中，也可使用对电磁光谱的多个部分具有高灵敏度的多带滤光器。
CFA 300中的个别滤光器被分组到最小重复单元(MRU)(例如MRU 302)中，且接着MRU 302经垂直及水平(如由箭头指示)平铺以形成CFA 300。最小重复单元是使得没有其它重复单元具有更少个别滤光器的重复单元。彩色滤光器阵列可包含若干不同重复单元，但如果在阵列中存在具有更少个别滤光器的另一重复单元，那么重复单元并非最小重复单元。可使用包含比针对MRU 302所说明的更多或更少数目个像素的MRU平铺CFA 300的其它实施例。
图3B说明最小重复单元(MRU)302的实施例。MRU 302包含被布置于M行及N列中的一组个别滤光器；在此实施例中，M＝N＝2，使得MRU 302是具有四个个别滤光器的2x 2MRU，但在其它实施例中，M及N可具有更大或更小值。在又另一实施例中，M及N无须具有相同值，使得MRU为矩形而非正方形。
MRU 302内的四个个别滤光器包含三个双带滤光器及一个单带滤光器。顾名思义，双带滤光器具有允许其过滤两个不同电磁波长带的光谱光响应。在所说明的实施例中，双带滤光器各自过滤可见波长(例如，红、蓝及绿)及非可见波长(例如，红外(IR)及近红外(NIR))，而单带滤光器过滤非可见波长。在其中单带滤光器的带匹配双带滤光器的非可见带的情况下，双带滤光器及单带滤光器的此布置允许彩色滤光器阵列300光学耦合到的任何图像传感器捕获非可见波长下的全分辨率图像，而非如果在彩色滤光器阵列中仅使用单带滤光器那么任何图像传感器将捕获到的四分之一分辨率图像。
在左侧的MRU实施例中，双带滤光器将红外作为其非可见波长且将红(R)、绿(G)及蓝(B)作为其可见波长。右侧所展示的实施例为类似的，除其使用不同原色组外。代替RGB色彩组，左侧的实施例使用由双带滤光器过滤的可见波长的青-洋红-黄(CMY)色彩组。在两个所说明的实施例中，单带滤光器是红外滤光器，使得由双带滤光器过滤的非可见波长大体上与由一个单带滤光器过滤的非可见波长相同。
图4说明CMOS图像传感器中通常发现的滚动快门的操作的实施例。尽管被称为“快门”，但滚动快门并非打开及关闭以将图像传感器曝露到光的机械装置。其代替地是用于曝露及读取CMOS图像传感器中的像素的程序。在滚动快门中，曝光针对不同行的像素在不同时间处起始及结束。第一行R1经受复位，接着自动曝露到光；因此集成(光电荷的产生)在复位不久之后起始。在预定时间的曝光(即，曝光时间)之后，在较短读出周期期间读出第一行光电荷。接着第二行复位且在所述第一行复位之后的预定时间处起始曝光及集成，但仅在所述第一行读出完成之后所述第二行读出才开始读出，此是因为图像传感器一次仅可读出一行像素。在图像传感器中从第一行R1到最后一行Ry逐行完成此复位、集成及信号读出过程以产生全图像帧。
在所说明的图中，滚动快门引起捕获到的每一帧显现为平行四边形，此是因为滚动快门稍微晚于先前行捕获每一随后行的方式。且尽管在图4中仅展示一个图像帧，但图像传感器通常在产生最后输出之前使用其滚动快门捕获多个帧(例如，参见图8)。出于其它目的(例如曝光调整或聚焦调整)使用捕获到的许多早期帧，接着在捕获或输出最后图像之前或当捕获或输出最后图像时丢弃所述早期帧。
图5说明可使用滚动快门捕获到的物体503的图像帧500的实施例。在一个实施例中，滚动快门在顶行R1处起始且在图4中所展示的程序中向下扫描通过Ry。
帧500包含垂直延伸于行Ri与行Rj之间且具有行中所测量的高度ΔR的所关注区域(ROI)502。帧500内还有上部区域504及下部区域506，上部区域504及下部区域506在帧500内但在ROI 502外：上部区域504从帧的顶部延伸到ROI 502在行Ri的开始处，而下部区域506从ROI 502在行Rj的结束处延伸到帧500的底部。
在一个实施例中，基于物体503的一或多个先前可见光帧确定帧500内ROI 502的位置。ROI 502包含待使用非可见光成像的物体503的特征。在所说明的实施例中，物体503是人脸且ROI 502涵盖人眼；例如，此实施例可对使用视网膜扫描的身份验证有用。在另一实施例中，ROI 502不仅包含人眼，且包含眼睛上方及下方的10％边缘以保证眼睛的全覆盖。但在其它实施例中，当然，取决于应用物体及所关注区域可为不同的。
图6说明在由使用彩色滤光器阵列(例如具有MRU 302的CFA 300)的图像捕获装置100捕获所关注区域(ROI)(参见图5)的图像期间用于提供有效非可见照明的过程600的实施例。过程在框602处起始。在框604处，使用外部光源或板载可见光源(参见图1A到1B)捕获可见波长下的物体的一或多个全分辨率帧。在框606处，使用在框604处捕获到的全分辨率帧(例如)使用特征识别软件确定帧内所关注区域。
在框608处，过程确定将大体上减少或消除由图像传感器捕获到的可见光的量的调整曝光时间。必要时，过程可继续到框610，其具有虚线轮廓以指示其为任选的，其中可捕获可见波长下的额外图像帧且可使用其确定调整曝光时间。在一个实施例中，框610处的过程可捕获减少曝光时间处的多个帧且使用捕获到的帧来外推所需调整曝光时间。但在其它实施例中，可不同地确定所述调整曝光时间。在确定所述调整曝光时间(其相反地与图像传感器的帧速率有关(曝光时间≈1/帧速率))之后，过程将图像传感器的曝光时间设定到所述调整曝光时间。在一个实施例中，可通过调整垂直消隐周期设定图像传感器的曝光时间，但在其它实施例中，(例如)可通过调整传感器的帧速率不同地设定所述曝光时间。
在框612处，过程确定非可见光源的延迟。参考图5，延迟大体上对应于从滚动快门何时起始扫描行R1处的帧直到其到达行Ri的时间，其标志ROI 502的开始。因此，延迟取决于Ri的值或(换句话说)取决于帧500内ROI 502的位置，也取决于框608处设定的调整曝光时间。
在框614处，过程确定且设定非可见光源的强度及脉冲持续时间。所述强度取决于例如调整曝光时间的因素；通常使调整曝光时间较短以排除尽可能多的可见光，但较短曝光时间可能需要比原本可能需要的强度更高强度的非可见脉冲。非可见脉冲的持续时间取决于滚动快门遍历ROI内的像素行花费的时间量，所述时间量又取决于曝光时间及ROI的尺寸。在图5中，例如，非可见光脉冲的持续时间取决于调整曝光时间，也取决于ROI 502的行高度ΔR。
在框616处，过程已设定调整曝光时间、延迟、持续时间及强度，过程在帧500的开始处起始滚动快门。在框618处，过程检查延迟是否到期。如果在框618处延迟尚未到期，那么其意味着滚动快门仍然在区域504中且尚未到达ROI 502，所以过程继续到框620，在框620处，滚动快门保持捕获图像帧的行。但如果在框618处延迟已到期，那么其意味着滚动快门已到达ROI 502且过程继续到框622，在框622处其在确定强度下激活非可见光源。
在框624处，过程检查非可见光源是否已持续确定持续时间接通。如果在框624处非可见光源未接通所述持续时间，那么其意味着滚动快门仍然在ROI 502内且过程返回到框622，在框622处，其保持在确定强度下激活的非可见光源。但如果在框624处非可见光源已持续确定持续时间接通，则意味着滚动快门已到达ROI 502的结束处且将进入其中不再需要非可见光源的区域506。因为延迟已到期，所以过程继续到其去激活非可见光源的框626。
在框628处，过程确定是否捕获到可接受的ROI图像。捕获到的ROI图像将为全分辨率图像，此是因为双带滤光器的使用，但并非延迟、持续时间及强度的每个组合都将产生可接受图像是可能的。如果在框628处过程确定捕获到可接受图像，那么过程继续到其停止的框430。但如果在框628处过程确定未捕获到可接受图像，那么其继续到框632。
在框632处，过程确定是否须更新ROI，(例如)此是因为物体503已相对于帧500移动。如果在框632处过程确定需要ROI更新，那么过程返回到框604且仔细检查过程600的剩余部分。但如果在框632处过程确定无须ROI更新，那么其返回到框608且仔细检查过程600的剩余部分。
图7A到7B说明对图像帧的曝光调整的效果的实施例。图7A展示表示单个帧的平行四边形，如上文图4所论述。在所说明的单个帧中，沿时间轴的侧的长度表示帧的曝光时间E。图7B展示缩短曝光时间以消除或大体上减少可见光的效果。缩短曝光时间的净效果是大体上减小平行四边形的宽度。ROI中的行的数目保持恒定，但因为平行四边形被窄化，所以可使用较短非可见照明脉冲快得多地捕获ROI 502的图像，同时排除可干扰非可见ROI图像的捕获的大部分或所有可见光。在实施例中，控制曝光时间使得由可见光产生的图像信号是由非可见IR光产生的图像信号的十分之一或更少。因为双带滤光器产生由可见光及非可见IR光两者引起的光电图像信号，所以过多可见光将导致对用于应用(例如人眼的虹膜识别)的所要IR图像的显著噪声。特定来说，对于可见光(例如，红、蓝及绿)通道，可将超出IR信号的10％的可见光噪声认为是过剩的。因此，可将IR图像产生的曝光时间设定到一水平，使得信噪比为10:1或更多。
若干因素决定所要的信噪比10或10以上的曝光时间。第一，包含高水平IR(例如，太阳下的室外照明)的环境光源意味着相对较小量的可见光噪声及相对较大量的IR信号，而某些类型的室内荧光灯(例如，节能灯)主要在可见范围中，借此引起相对高的可见光噪声量。第二，高瓦数的非可见IR LED光源增加IR信号与可见噪声比。第三，非可见IR LED光源与物体(例如，人眼)之间的距离影响物体上的非可见IR光的量，从而遵循平方反比关系(即，电力与距离的平方成反比)。第四，较长持续时间的非可见IR辐射(例如，非可见IR LED脉冲)增加IR信号与可见噪声比。第五，图像传感器像素(其包含双带可见加非可见IR像素)的较短曝光时间减少由可见光引起的噪声。除上文的五个因素之外，也应考虑若干其它因素。这些因素包含传感器类型(例如，前侧照明(或FSI)传感器趋向于具有比背侧照明(或BSI)传感器低的IR灵敏度)、对IR的像素的固有灵敏度、像素大小(例如，较大像素对IR更敏感)等等。在一个实验中，当IR LED持续0.5ms脉冲闪光时，8ms的像素曝光时间产生不能令人满意的小于10的IR信号与可见噪声比的结果。当将像素曝光时间减少到2.5ms时，IR信号与可见噪声比达到超过10的令人满意的水平。
图8说明用于实施过程600的功能的时序图的实施例。在图8中，顶部的水平轴表示时间，且因此水平轴下方的线说明过程600的实施方案中所使用的五个不同功能的时序。所说明的时序具有垂直消隐周期、曝光、数据输出、选通请求的断言及选通脉冲。
第一行展示垂直消隐周期的时序。垂直消隐周期(也被称为垂直消隐间隔)是当滚动快门完成帧的最后行的捕获与当其起始下一帧的第一行的捕获之间的时间。可使用垂直消隐周期调整图像帧的曝光时间；对于给定帧速率，较长消隐周期意味着较短曝光。第二行说明曝光，在此情况下，说明多个图像帧的捕获。在曝光线中，每一平行四边形801到805是图像帧，此意味着捕获到若干图像帧中的一些。如上文所解释，针对例如曝光时间调整的功能使用一或多个早期帧且接着将其丢弃。在图式中，使用第四完整帧804以用于ROI图像的捕获，但其它实施例可使用不同帧以用于ROI图像的捕获。
图8的第三行展示数据输出(即，来自每一捕获到的帧的图像数据的输出)的时序。第四行展示选通请求的断言。在较早帧中断言选通请求且在ROI的非可见图像捕获之后解除断言。第五及最后行展示选通提取的时序；如上文所论述，在由如上文所论述的ROI的滚动快门的曝光期间选通提取发生。
所说明的本发明的实施例的上文描述，包含说明书摘要中所描述的内容，不希望为详尽的或将本发明限制于所揭示的精确形式。如相关领域的技术人员应认识到，尽管出于说明的目的，本文描述本发明的特定实施例及实例，但在本发明的范围内，多种等效修改为可能的。鉴于上文详细的描述，可对本发明的实例做出这些修改。
所附权利要求书中所使用的术语不应被解释为将本发明限制于说明书及权利要求书中揭示的特定实施例。实情是，本发明的范围将完全由所附权利要求确定，所述权利要求应根据已经确定的权利要求解释的公认原则来解释。

Claims (14)

1.一种图像传感器，其包括：
像素阵列，其包括被布置于行及列中的多个像素；
彩色滤光器阵列，其光学耦合到所述像素阵列，所述彩色滤光器阵列包括多个平铺最小重复单元，每一最小重复单元包含：
多个个别滤光器，其中所述个别滤光器的光谱光响应包含至少三个双带光谱光响应及一个单带光谱光响应；及
耦合到所述像素阵列的电路及逻辑，其中所述逻辑包括当由所述电路执行时引起所述图像传感器做出以下操作的指令：
使用图像传感器捕获第一图像帧，所述图像传感器包含：包括被布置于行及列中的多个像素的像素阵列及光学耦合到所述像素阵列的彩色滤光器阵列；
确定所述第一图像帧内的所关注区域；
调整所述图像传感器的曝光时间以消除由所述图像传感器捕获到的很大一部分的所述可见光；
结合所述像素阵列使用滚动快门程序以使用所述调整曝光时间捕获至少一个随后帧；
在所述滚动快门进入所述所关注区域时激活不可见辐射源，且当所述滚动快门离开所述所关注区域时去激活所述不可见辐射源；及
输出所述所关注区域的图像。
2.根据权利要求1所述的图像传感器，其中每一双带光谱光响应包含可见光响应及非可见光响应，且其中所述单带光谱光响应是不可见光谱光响应。
3.根据权利要求2所述的图像传感器，其中所述不可见光响应是红外的。
4.根据权利要求2所述的图像传感器，其中所述可见光响应是从包含红、绿、蓝、蓝绿、洋红及黄的一组原色中选出。
5.根据权利要求1所述的图像传感器，其中所述最小重复单元为：
D1 D2
D3 S
其中D1、D2及D3表示个别双带滤光器，且S表示个别单带滤光器。
6.根据权利要求5所述的图像传感器，其中D1具有红及红外光谱光响应，D2具有绿及红外光谱光响应，D3具有蓝及红外光谱光响应，且S具有红外光谱光响应。
7.根据权利要求1所述的图像传感器，其进一步包括耦合到所述电路及逻辑的辐射源，其中所述辐射源在不可见波长下发射对应于所述单带滤光器的所述光谱光响应的辐射，且其中所述逻辑包含当由所述电路执行时引起所述电路选择性地激活及去激活所述辐射源的指令。
8.一种方法，其包括：
使用图像传感器捕获第一图像帧，所述图像传感器包含：包括被布置于行及列中的多个像素的像素阵列及光学耦合到所述像素阵列的彩色滤光器阵列；
确定所述第一图像帧内的所关注区域；
调整所述图像传感器的所述曝光时间以消除由所述图像传感器捕获到的很大一部分的所述可见光；
结合所述像素阵列使用滚动快门程序以使用所述调整曝光时间捕获至少一个随后帧；
在所述滚动快门进入所述所关注区域时激活不可见辐射源，且当所述滚动快门离开所述所关注区域时去激活所述不可见辐射源；及
输出所述所关注区域的图像。
9.根据权利要求8所述的方法，其中在所述滚动快门扫描通过所述所关注区域时激活所述不可见辐射源包括：
基于所述图像帧内的所述所关注区域的位置确定延迟、基于所述所关注区域的尺寸确定所述不可见辐射源的所述激活的持续时间及基于所述调整曝光时间确定所述不可见辐射源的强度。
10.根据权利要求9所述的方法，其中在所述滚动快门扫描通过所述所关注区域时激活所述不可见辐射源及当所述滚动快门离开所述所关注区域时去激活所述不可见辐射源包括：
在所述图像帧的起始时间之后等待所述延迟通过；
当所述延迟已到期时，在所述确定强度下激活所述不可见辐射源；
在激活所述不可见辐射源之后等待所述持续时间通过；及
当所述持续时间已到期时，去激活所述不可见辐射源。
11.根据权利要求8所述的方法，其中所述所关注区域的所述输出图像是所述不可见辐射的所述波长下的全分辨率图像。
12.根据权利要求8所述的方法，其中由过程确定所述调整曝光时间包括：
捕获在不同曝光时间处获得的一或多个可丢弃图像帧；及
基于所述一或多个可丢弃图像帧确定所述调整曝光时间。
13.根据权利要求12所述的方法，其中调整所述曝光时间包括调整垂直消隐间隔的所述长度。
14.根据权利要求8所述的方法，其中所述第一图像帧是可见光图像。
CN201610323185.9A 2015-06-03 2016-05-16 图像传感器及用于改进非可见照明的方法 Active CN106254785B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/729,585 2015-06-03
US14/729,585 US9674465B2 (en) 2015-06-03 2015-06-03 Non-visible illumination scheme

Publications (2)

Publication Number Publication Date
CN106254785A true CN106254785A (zh) 2016-12-21
CN106254785B CN106254785B (zh) 2019-05-17

Family

ID=57452652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610323185.9A Active CN106254785B (zh) 2015-06-03 2016-05-16 图像传感器及用于改进非可见照明的方法

Country Status (3)

Country Link
US (1) US9674465B2 (zh)
CN (1) CN106254785B (zh)
TW (1) TWI612371B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110462630A (zh) * 2019-05-27 2019-11-15 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备
CN111386529A (zh) * 2017-06-22 2020-07-07 宾通机器人公司 用于快速识别和处理图像关注区域的***和方法
CN111611952A (zh) * 2020-05-27 2020-09-01 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
CN113302912A (zh) * 2018-12-19 2021-08-24 法雷奥舒适驾驶助手公司 用于监控驾驶员的图像捕获设备和相关***
WO2022134744A1 (zh) * 2020-12-25 2022-06-30 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061210A1 (en) * 2015-08-26 2017-03-02 Intel Corporation Infrared lamp control for use with iris recognition authentication
CN107205126B (zh) * 2017-06-30 2020-04-24 联想(北京)有限公司 一种控制方法及处理装置
TWI630556B (zh) * 2017-07-26 2018-07-21 聚晶半導體股份有限公司 影像擷取裝置及其紅外線感測方法
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
US10771766B2 (en) * 2018-03-30 2020-09-08 Mediatek Inc. Method and apparatus for active stereo vision
KR102661955B1 (ko) 2018-12-12 2024-04-29 삼성전자주식회사 영상 처리 방법 및 장치
CN112036222B (zh) * 2019-06-04 2023-12-29 星宸科技股份有限公司 脸部辨识***及方法
JP2023530226A (ja) * 2020-05-29 2023-07-14 クイデル コーポレーション 疾病診断用の試料検定の遠隔評価用のシステム及び方法
CN114257712A (zh) * 2020-09-25 2022-03-29 华为技术有限公司 控制摄像头模组补光时间的方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
CN1155228C (zh) * 1996-12-25 2004-06-23 松下电器产业株式会社 曝光量控制装置
US20070221849A1 (en) * 2005-07-12 2007-09-27 Northrop Grumman Corporation Infrared laser illuminated imaging systems and methods
US20110260059A1 (en) * 2010-04-21 2011-10-27 Sionyx, Inc. Photosensitive imaging devices and associated methods
CN102246300A (zh) * 2008-12-15 2011-11-16 美商豪威科技股份有限公司 图像传感器内的紫外光滤光层
US20110298886A1 (en) * 2010-06-06 2011-12-08 Apple, Inc. Auto Exposure Techniques for Variable Lighting Conditions
CN102804379A (zh) * 2010-05-24 2012-11-28 全视科技有限公司 双面图像传感器
CN103902390A (zh) * 2014-03-12 2014-07-02 深圳创维－Rgb电子有限公司 基于Android的应用层的进程间通信方法及基础应用通信***
CN104280803A (zh) * 2013-07-01 2015-01-14 全视科技有限公司 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器
CN104519327A (zh) * 2013-10-07 2015-04-15 联咏科技股份有限公司 图像传感器及图像采集***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
JP2011259373A (ja) 2010-06-11 2011-12-22 Sony Corp 立体画像表示装置及び立体画像表示方法
US20140160253A1 (en) 2012-12-10 2014-06-12 Microsoft Corporation Hyperspectral imager

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
CN1155228C (zh) * 1996-12-25 2004-06-23 松下电器产业株式会社 曝光量控制装置
US20070221849A1 (en) * 2005-07-12 2007-09-27 Northrop Grumman Corporation Infrared laser illuminated imaging systems and methods
CN102246300A (zh) * 2008-12-15 2011-11-16 美商豪威科技股份有限公司 图像传感器内的紫外光滤光层
US20110260059A1 (en) * 2010-04-21 2011-10-27 Sionyx, Inc. Photosensitive imaging devices and associated methods
CN102804379A (zh) * 2010-05-24 2012-11-28 全视科技有限公司 双面图像传感器
US20110298886A1 (en) * 2010-06-06 2011-12-08 Apple, Inc. Auto Exposure Techniques for Variable Lighting Conditions
CN104280803A (zh) * 2013-07-01 2015-01-14 全视科技有限公司 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器
CN104519327A (zh) * 2013-10-07 2015-04-15 联咏科技股份有限公司 图像传感器及图像采集***
CN103902390A (zh) * 2014-03-12 2014-07-02 深圳创维－Rgb电子有限公司 基于Android的应用层的进程间通信方法及基础应用通信***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111386529A (zh) * 2017-06-22 2020-07-07 宾通机器人公司 用于快速识别和处理图像关注区域的***和方法
CN113302912A (zh) * 2018-12-19 2021-08-24 法雷奥舒适驾驶助手公司 用于监控驾驶员的图像捕获设备和相关***
CN110462630A (zh) * 2019-05-27 2019-11-15 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备
WO2020237482A1 (zh) * 2019-05-27 2020-12-03 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备
CN111611952A (zh) * 2020-05-27 2020-09-01 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
WO2022134744A1 (zh) * 2020-12-25 2022-06-30 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US9674465B2 (en) 2017-06-06
TWI612371B (zh) 2018-01-21
US20160360124A1 (en) 2016-12-08
TW201716849A (zh) 2017-05-16
CN106254785B (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN106254785A (zh) 图像传感器及用于改进非可见照明的方法
CN105075234B (zh) 电子设备、电子设备的控制方法以及控制程序
CN104113688B (zh) 一种图像处理方法及其电子设备
CN103220534B (zh) 图像撷取装置与方法
CN105580348B (zh) 摄像装置及摄像方法
CN102710902B (zh) 多通道图像传感器
CN105097855B (zh) 图像传感器像素及多色图像传感器像素
CN205726019U (zh) 成像***、成像设备和图像传感器
CN100536530C (zh) 影像暗角修正方法及其装置
CN104639921B (zh) 双像素大小彩色影像传感器及其制造方法
CN104604215A (zh) 摄像装置、摄像方法和程序
CN103126654A (zh) 一种近红外体表血管检测仪的检测***
CN105163039A (zh) 一种控制方法及装置
CN106601761A (zh) 具有黄色滤光单元的影像感测器
CN107426471A (zh) 相机模组和电子装置
CN110493536A (zh) 图像采集装置和图像采集的方法
CN110493535A (zh) 图像采集装置和图像采集的方法
CN106851139A (zh) 用于全局快门校正的像素电路及成像***
CN102629973B (zh) 摄像装置和摄像方法
US11689798B2 (en) Electronic device, image-capturing device, and image-capturing system
CN106133820A (zh) 显示装置及其控制方法、以及取景器装置
CN110445990A (zh) 一种补光装置及拍摄***
CN107172338B (zh) 一种摄像头及电子设备
CN101610355A (zh) 日夜两用摄像装置及其滤光片、光学***
CN201467300U (zh) 日夜两用摄像装置及其滤光片、光学***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1228144

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant