CN106657746A - 具有改进的红外灵敏度的自动车辆成像设备 - Google Patents

具有改进的红外灵敏度的自动车辆成像设备 Download PDF

Info

Publication number
CN106657746A
CN106657746A CN201611272762.2A CN201611272762A CN106657746A CN 106657746 A CN106657746 A CN 106657746A CN 201611272762 A CN201611272762 A CN 201611272762A CN 106657746 A CN106657746 A CN 106657746A
Authority
CN
China
Prior art keywords
pixel
equipment
area
infrared light
light pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611272762.2A
Other languages
English (en)
Inventor
刘友光
姚国辉
杨志庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Delphi Automotive Systems LLC
Original Assignee
Delphi Automotive Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Automotive Systems LLC filed Critical Delphi Automotive Systems LLC
Publication of CN106657746A publication Critical patent/CN106657746A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Mechanical Engineering (AREA)

Abstract

本发明涉及一种成像设备(10)，用于检测指示投射到设备(10)上的图像的光，所述成像设备包括可见光像素(12)的布置。每个可见光像素由第一面积(16)表征。设备(10)也包括与可见光像素(12)交织的红外光像素(18)的布置。每个红外光像素由大于第一面积(16)的第二面积(20)表征。可见光像素(12)可选择地由第一分辨率表征，使得红外光像素(18)由小于第一分辨率的第二分辨率表征。设备(10)还限定多个像素单元(22)。每个像素单元包括可见光像素和红外光像素的一部分，红外光像素是相邻的像素单元的一部分。

Description

具有改进的红外灵敏度的自动车辆成像设备
技术领域
本发明主要涉及一种成像设备，其包括可见光像素的布置和红外像素的布置，每个可见光像素由第一面积表征，红外像素与可见光像素交织(interleave)，每个红外像素由比第一面积大的第二面积表征。
背景技术
本发明旨在提供一种捕捉可见光图像和红外光图像的相机***。这样的相机***对于自动车辆将无生命物体与人和其他动物区分开来尤其有用。提出的相机***包括不同的或者独立的相机，每一个相机专门配置为捕捉可见光图像或者红外光图像。然而，这样的多相机***体积太大且需要将可见光图像与红外光图像对准。也提出了配备具有交织的可见光像素和红外光像素(即各自并排布置以使图像对准不是问题)的单个成像设备。然而，当与同等尺寸实例的可见光像素(图4)比较时，红外像素的相对灵敏度达不到期望。
发明内容
根据一个实施例，提供了一种成像设备，用于检测指示投射到设备上的图像的光。该设备包括可见光像素的布置。每个可见光像素由第一面积表征。该设备也包括与可见光像素交织的红外光像素的布置。每个红外光像素由大于第一面积的第二面积表征。
根据另一个实施例，提供了一种成像设备，用于检测指示投射到设备上的图像的光。该设备包括可见光像素的布置。可见光像素由第一分辨率表征。该设备也包括与可见光像素交织的红外光像素的布置。红外光像素由小于第一分辨率的第二分辨率表征。
在这些实施例的任一个中，设备限定了多个像素单元。每个像素单元包括可见光像素和红外光像素的一部分，该红外光像素是相邻的像素单元的一部分。
通过阅读下面的优选实施例的详细说明，进一步的特征和优点将更清楚，这将仅通过非限制性例子的方式并参考相应附图给出。
附图说明
现在将参考附图描述本发明，其中：
图1是根据一个实施例的形成成像设备的可见光像素和红外光像素的布置；
图2是根据一个实施例的形成成像设备的可见光像素和红外光像素的布置；
图3是根据一个实施例的形成成像设备的可见光像素和红外光像素的布置；
图4是根据一个实施例的形成成像设备的可见光像素和红外光像素的已知布置。
具体实施方式
图1示出了成像设备10的非限制性例子，以下称为设备10。应该意识到此处呈现的图例仅仅示出了设备10的一小部分，且这仅仅为了简化图例。预期的是设备10将有数千像素，例如1280*960像素的矩阵。如本领域技术人员公知的，设备可以是相机或者相机***的一部分，例如摄像机，用于检测指示投射到设备上的图像的光。公知的是相机可包括镜头组件(未示出)以将图像聚焦到设备10上，和控制器(未示出)以从由设备10限定的每个像素接收信号。这样的相机对操作像自动驾驶车辆或全自动车辆这样的自动车辆是有用的，其中自动车辆的驾驶员(未示出)比乘坐在自动车辆后座上的乘客(未示出)只是多参与了一些自动车辆操作而已。可选择地，自动车辆可以配置为部分自动，其中，例如，仅自动车辆的速度受控，其可或可不包括自动车辆上的制动器的自动操作，其中自动车辆的转向是操作者的责任。
继续参考图1，设备10包括可见光像素12的布置，其在该示例中是由颜色指定的，每个可见光像素12适于检测例如红色(R)、绿色(G)和蓝色(B)。可见光像素12的有效面积由边界14限定。边界14可用于从每个可见光像素12到设备10的接触截面(未示出)的导体的路由，例如控制器在该接触截面处可以与设备10电接触，以便设备10的图像信号可以由控制器存储或处理。在该例中，可见光像素12(R、G、B)的每个实例由第一面积16表征，即每个可见光像素12的第一尺寸或者第一面积值。
虽然此处描述的设备10的该示例或其他示例提出所有的可见光像素12是同样尺寸，即都由第一面积16的相同值表征，但这不是要求的。例如，认识到在某些情况下绿像素G具有比红像素R或蓝像素B更大面积可能是有利的，以便像素的组合对适于检测的光的各颜色具有更相似的灵敏度。
设备10包括与可见光像素12交织的红外光像素18的布置。如此处所用的，术语交织意味着可见光像素12和红外光像素18布置成使得基于可见光的图像和基于红外光的图像的对准是固有的。相比之下，例如，由Hogasten等提交的于2014年9月18日公开的世界知识产权组织公开文本WO2014/143338，示出位于成像设备的一半上的可见光像素的布置，而红外光像素的布置在设备的另一半上。这样的布置与此处所用的交织的意义是不一致的。
图4示出已知的成像设备99的例子，其中可见光像素(R、G、B)的每个实例和红外光像素(I)的每个实例具有相同的面积。如上所述，相似尺寸的可见光和红外光像素的该配置具有相对于可见光灵敏度的不期望的低红外光灵敏度。相比之下，此处描述的设备10有利地配置为使红外光像素18的每个图例(即红外光像素I)由大于第一面积16的第二面积20表征。由于红外光像素18的每个实例大于可见光像素12的每个实例，因此用于检测可见光图像和红外光图像的相对灵敏度更好地平衡。
公知的是对于自动车辆应用来说红外光图像的分辨率可以小于可见光图像的分辨率。进一步认识到通过布置多个像素单元22的每个实例，该多个像素单元22的每个实例表征为包括至少一个可见光像素和红外光像素的至少一部分，以使得边界14能够从红外光像素的尺寸为第一面积的实例的相邻实例移除；图1所示的布置中红外光像素18的每个实例都由像素单元22的相邻实例“共享”。也就是说，红外光像素18的每个实例由像素单元22的多于一个的实例共享。此处的例子示出了可见光分辨率相对于红外光分辨率的四比一比率，大于或小于四比一的其他比率是可预期的。通常，可见光像素12的布置由第一分辨率表征，红外光像素18的布置由小于第一分辨率的第二分辨率表征。
通过重新取向像素单元的实例并移除边界14，使得图4中所示的红外光像素I的四个实例能够如图1所示进行组合，红外光像素18的每个实例的有效面积(第二面积20)增加超过四倍，因为边界14的非有效面积可消除。也就是说，第二面积20比第一面积16的四倍还大。因此，设备10的红外光灵敏度相对于可见光灵敏度有利地增加。进一步注意的是，即使每个像素单元中的可见光像素包括红色像素R、绿色像素G和蓝色像素B，且红色像素R、绿色像素G和蓝色像素B的面积的组合用于确定第一面积16的较大值，例如第一面积16的三倍，第二面积20仍然大于第一面积16的三倍。
如上所述，设备限定了多个像素单元22，且像素单元22的每个实例包括至少一个可见光像素和红外光像素的一部分，红外光像素是像素单元22的相邻实例的一部分。在图1所示的例子中，红外光像素I由像素单元22的四个邻近实例共享。如果期望二比一的可见光对红外光的分辨率比率，成像设备可容易布置成使得只有像素单元22的两个相邻实例能共享红外光像素的一个实例。如图1所示，像素单元22的四个相邻实例布置成限定出正方形24，红外光像素I占据正方形24的中心部分。如果期望二比一的分辨率比率，那么预期其中像素单元22的两个相邻实例布置成限定出矩形(未示出)的布置。
图2示出设备10的可选实施例，这个例子是像素如何能布置成允许更容易的读出顺序和更简单的掩模工艺以便利用合适的滤光材料生产覆盖在每个像素上的滤光层(未示出)。这将允许使用通用的掩模来涂覆R、G、B和I滤光器颜色。当每个颜色的滤光器被涂覆时这通过偏置掩模来创建相应的开口而实现。例如在涂覆IR透光滤光器之后，在四个像素上或下简单移动掩模以偏移掩模开口到红色透光像素以便于红色滤光器的涂覆，然后再偏移滤光器到右或左侧四个像素以偏移掩模开口到绿色透光像素以便于绿色滤光器的涂覆，然后最终再上下偏移四个像素以偏移掩模开口到蓝色透光像素以便于蓝色滤光器的涂覆。通过这种配置，在单步或者重复过程中可以使用相同的掩模工具以涂布所有的不同颜色的滤光层。
图3示出设备10的另一个可选实施例，这个例子是像素如何能布置成为设备10提供一个在更低的分辨率下进行操作的可选方案，四个像素作为一个颜色部件以改善彩色相机的低光性能。传统的滤色器将需要混合颜色计算以便将四个像素组合成单个颜色部件，然后再与相邻的四个像素组合以计算更低分辨率的成像像素颜色(十六个像素用于在更低分辨率计算颜色表示以用于低光条件)，因为四个像素用于计算由设备10感知到的颜色，其中每个滤色器元件专用于单个像素。该例子使得具有更简单过程的附加操作模式成为可能，该过程是使用可扩展的颜色计算以在低光条件期间在更低分辨率下操作相机从而改善成像感应。设备10的该配置也能够用于所示的RCCI(红色，透明的，透明的，红外线)滤光器结构以获得相同的可扩展的功能。RCCI结构也用于自动车辆，其中黑白图像对于基于可见光的物体检测/分类是足够的，但是红色像素允许更容易检测到其他车辆的红色尾灯。
因此，提供了一种用于检测指示投射到设备10上的图像的光的成像设备(设备10)。设备10提供了相对于可见光的对于红外光的增加的相对灵敏度，同时保持设备10的总有效检测面积的充分使用。
虽然用优选实施例的方式描述了本发明，但它不试图被限制的，而是仅限于所附权利要求提供的内容。

Claims (18)

1.一种用于检测指示投射到设备(10)上的图像的光的成像设备(10)，所述设备(10)包括：
可见光像素(12)的布置，每个可见光像素由第一面积(16)表征；和
与所述可见光像素(12)交织的红外光像素(18)的布置，每个红外光像素由大于所述第一面积(16)的第二面积(20)表征。
2.根据权利要求1所述的设备(10)，其中可见光像素(12)的布置由第一分辨率表征，且红外光像素(18)的布置由小于所述第一分辨率的第二分辨率表征。
3.根据权利要求1所述的设备(10)，其中所述设备(10)限定多个像素单元(22)，且每个像素单元包括可见光像素和红外光像素的一部分，所述红外光像素是相邻的像素单元的一部分。
4.根据权利要求3所述的设备(10)，其中所述红外光像素由四个相邻的像素单元(22)共享。
5.根据权利要求4所述的设备(10)，其中所述四个邻近的像素单元(22)布置成限定正方形(24)，且所述红外光像素占据所述正方形(24)的中心部分。
6.根据权利要求1所述的设备(10)，其中所述第二面积(20)比所述第一面积(16)的四倍还大。
7.根据权利要求1所述的设备(10)，其中每个像素单元中的可见光像素(12)包括红色像素、绿色像素、和蓝色像素，所述红色像素、所述绿色像素、和所述蓝色像素的面积的组合确定所述第一面积，并且所述第二面积(20)大于所述第一面积。
8.一种用于检测指示投射到设备(10)上的图像的光的成像设备(10)，所述设备(10)包括：
由第一分辨率表征的可见光像素(12)的布置；和
与所述可见光像素(12)交织的红外光像素(18)的布置，所述红外光像素(18)由小于所述第一分辨率的第二分辨率表征。
9.根据权利要求8所述的设备(10)，其中所述可见光像素(12)由第一面积(16)表征，且所述红外光像素(18)由大于所述第一面积(16)的第二面积(20)表征。
10.根据权利要求8所述的设备(10)，其中所述设备(10)限定多个像素单元(22)，且每个像素单元包括可见光像素和红外光像素的一部分，所述红外光像素是相邻的像素单元的一部分。
11.根据权利要求10所述的设备(10)，其中所述红外光像素由四个相邻的像素单元(22)共享。
12.根据权利要求11所述的设备(10)，其中所述四个邻近的像素单元(22)布置成限定正方形(24)，且所述红外光像素占据所述正方形(24)的中心部分。
13.根据权利要求8所述的设备(10)，其中所述可见光像素(12)由第一面积(16)表征，且所述红外光像素(18)由比所述第一面积(16)四倍还大的第二面积(20)表征。
14.根据权利要求8所述的设备(10)，其中每个像素单元中的可见光像素(12)包括红色像素、绿色像素、和蓝色像素，所述红色像素、所述绿色像素、和所述蓝色像素的面积的组合确定所述第一面积，并且所述第二面积(20)大于所述第一面积。
15.一种用于检测指示投射到设备(10)上的图像的光的成像设备(10)，所述设备(10)配置为限定多个像素单元(22)，每个像素单元包括：
红色像素、绿色像素、蓝色像素，和红外光像素的一部分，所述红外光像素是相邻的像素单元的一部分。
16.根据权利要求15所述的设备(10)，其中所述红外光像素由四个相邻的像素单元(22)共享。
17.根据权利要求16所述的设备(10)，其中所述四个邻近的像素单元(22)布置成限定正方形(24)，且所述红外光像素占据所述正方形(24)的中心部分。
18.根据权利要求15所述的设备(10)，其中所述红色像素、所述绿色像素、和所述蓝色像素的面积的组合由第一面积表征，所述红外光像素由大于所述第一面积的第二面积(20)表征。
CN201611272762.2A 2015-10-28 2016-10-24 具有改进的红外灵敏度的自动车辆成像设备 Pending CN106657746A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/924,753 US20170127000A1 (en) 2015-10-28 2015-10-28 Automated vehicle imager device with improved infrared sensitivity
US14/924,753 2015-10-28

Publications (1)

Publication Number Publication Date
CN106657746A true CN106657746A (zh) 2017-05-10

Family

ID=57256062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611272762.2A Pending CN106657746A (zh) 2015-10-28 2016-10-24 具有改进的红外灵敏度的自动车辆成像设备

Country Status (3)

Country Link
US (1) US20170127000A1 (zh)
EP (1) EP3163867A1 (zh)
CN (1) CN106657746A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271012A (zh) * 2017-12-29 2018-07-10 维沃移动通信有限公司 一种深度信息的获取方法、装置以及移动终端
CN108391069A (zh) * 2018-04-28 2018-08-10 德淮半导体有限公司 图像传感器及成像设备
CN112352419A (zh) * 2018-06-08 2021-02-09 灵锐得公司 用于红外相机中的寄生热补偿的设备和方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900772A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种移动终端及图像拍摄方法
JP7281895B2 (ja) * 2018-12-06 2023-05-26 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005072358A2 (en) * 2004-01-28 2005-08-11 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
JP2006237737A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP2008079172A (ja) * 2006-09-25 2008-04-03 Mitsubishi Electric Corp ２波長イメージセンサおよび２波長イメージセンサを用いた撮像方法
EP2180513A1 (en) * 2008-10-27 2010-04-28 Stmicroelectronics SA Near infrared/color image sensor
WO2014143338A2 (en) 2012-12-21 2014-09-18 Flir Systems, Inc. Imager with array of multiple infrared imaging modules

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271012A (zh) * 2017-12-29 2018-07-10 维沃移动通信有限公司 一种深度信息的获取方法、装置以及移动终端
CN108391069A (zh) * 2018-04-28 2018-08-10 德淮半导体有限公司 图像传感器及成像设备
CN112352419A (zh) * 2018-06-08 2021-02-09 灵锐得公司 用于红外相机中的寄生热补偿的设备和方法

Also Published As

Publication number Publication date
EP3163867A1 (en) 2017-05-03
US20170127000A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
CN106657746A (zh) 具有改进的红外灵敏度的自动车辆成像设备
EP2918217B1 (en) Image processing device and endoscope
EP1503580B1 (de) Sensoranordnung mit einer Mehrzahl von Typen optischer Sensoren
US20100134616A1 (en) Color mask for an image sensor of a vehicle camera
CN103562933B (zh) 处理图像的方法和设备
CN1767606A (zh) 增强对比度
CN102341273A (zh) 障碍检测装置、具有该障碍检测装置的障碍检测***、以及障碍检测方法
EP3196075A1 (en) Vehicle rear lamp
WO2018057922A1 (en) Color filter array for machine vision system
CN109471276A (zh) 一种液晶屏色偏缺陷检测方法及装置
JP2003284060A (ja) 自動車のディスプレイユニット、自動車の夜間視認装置および自動車の赤外線夜間視認装置を備えた車両
JP3926673B2 (ja) 車種識別装置
CN107592909A (zh) 用于生成减少反射对比图像的方法及其装置
US7613326B2 (en) Method and apparatus for discriminating the colour of road markings
WO2014063701A1 (de) Sensoranordnung zur bilderfassung
CN104735433B (zh) 用于数字传感器的自适应滤色器
CN105810699B (zh) 具有支撑结构以提供经改进滤光器厚度均匀性的彩色滤光器阵列
CN116896805A (zh) 用于车辆门控地面照明灯的自适应颜色选择
CN107544163A (zh) 彩色滤光片的自动修补方法
DE102008031593A1 (de) Kamerasystem für Kraftfahrzeuge und Verfahren zum Darstellen von Bildern mittels eines Kamerasystems
JP3584507B2 (ja) パタンムラ検査装置
DE102012014994B4 (de) Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung
CN104253951B (zh) 用于调整显示屏上的图像表示的方法和设备
CN112785543B (zh) 一种双通道融合的交通相机图像增强方法
CN108370421A (zh) 一种彩色滤光片阵列以及利用其的图像传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510

WD01 Invention patent application deemed withdrawn after publication