CN112449081A - 一种用于校正tof图像传感器成像误差的方法 - Google Patents

一种用于校正tof图像传感器成像误差的方法 Download PDF

Info

Publication number
CN112449081A
CN112449081A CN201910802343.2A CN201910802343A CN112449081A CN 112449081 A CN112449081 A CN 112449081A CN 201910802343 A CN201910802343 A CN 201910802343A CN 112449081 A CN112449081 A CN 112449081A
Authority
CN
China
Prior art keywords
image sensor
light
signals
tof
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910802343.2A
Other languages
English (en)
Inventor
徐江涛
李嘉文
聂凯明
高静
苗津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201910802343.2A priority Critical patent/CN112449081A/zh
Publication of CN112449081A publication Critical patent/CN112449081A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种用于校正TOF图像传感器成像误差的方法，该方法在不提高工艺难度以及像素设计难度的条件上，通过公式计算，可在芯片外部通过处理数据的方式来解决红外光源发出的调制光在传播过程因各种反射折射导致物体的深度信息发生改变这一问题，通过在TOF芯片读出电路外加入数字校准或者芯片外加入校准模块来消除这一误差以提高TOF图像传感器的精度。

Description

一种用于校正TOF图像传感器成像误差的方法
技术领域
本发明属于TOF图像传感器中图像恢复领域，尤其一种用于校正TOF图像传感器成像误差的方法。
背景技术
飞行时间（ToF）图像传感器不同于普通的2D相机，利用计算红外光源发出的调制过的红外光到被照物体表面再反射到像素接收的时间来得到物体的深度信息。而TOF相机则是使用自己的光源同时传送两个图像：亮度图像和距离图像，以便将二者结合得到物体的3D点云图，从而可以得到物体的更多空间信息。
目前，尽管理论上的距离分辨率非常好，但由于相机内外的有源光的多次反射（取决于场景，移动场景以及相机几何形状），携带物体信息的红外光振幅和相位等都会受其影响发生改变，就使得对物体的距离计算产生误差，这一距离误差不可接受且不受控制。且这一误差无法通过调整像素结构或者电路结构优化。
发明内容
针对现有技术存在的问题，本发明提出一种用于校TOF图像传感器成像误差的方法，该方法在不提高工艺难度以及像素设计难度的条件上，解决红外光源发出的调制光在传播过程因各种反射折射导致物体的深度信息发生改变这一问题，通过在TOF芯片读出电路外加入数字校准或者芯片外加入校准模块来消除这一误差以提高TOF图像传感器的精度。
一种用于校正TOF图像传感器成像误差的方法，利用像素接收和测量入射光的振幅a和相移φ；
Figure 44974DEST_PATH_IMAGE001
其中c代表光速，f代表调制频率，φ代表发射波与接收波之间的相移，IR光的调制波，d代表物体的距离；
在像素i处测量的信号是：
Figure 620048DEST_PATH_IMAGE002
其中，I m (i)作为直接信号I d (i)和寄生分量I p (i)的信号的总和：
Figure 315603DEST_PATH_IMAGE003
在与图像中的像素i相对应的小区域上以不同的方式照亮相同的场景，同时使两次发射的信号幅度a d 的关系如下：
Figure 619152DEST_PATH_IMAGE004
其中k是两次拍摄过程中光强大小的比值，寄生分量I p (i)保持不变，由此，可以得到下式：
Figure 702645DEST_PATH_IMAGE005
因为φ d (i)不变，得到
Figure 78263DEST_PATH_IMAGE006
Figure 170984DEST_PATH_IMAGE007
通过已知的k可以得到：
Figure 50078DEST_PATH_IMAGE008
Figure 304473DEST_PATH_IMAGE009
以及
Figure 934431DEST_PATH_IMAGE010
从而可以得到（1），即得到了物体的距离信息d。
一种用于校正TOF图像传感器成像误差的方法，对于TOF成像***的距离误差有很好的补偿作用，可以在不对芯片内部结构进行修改以及增加电路设计难度的情况下，在外部对成像***进行优化。从计算的角度来看，这种修正很简单，可以在相机中实时完成并且可以适用于所有TOF相机甚至同样光路的其他光学***。同时这种纠正不仅对光反射误差有补偿，对其他一些噪声也有很好的减少。
附图说明
图1是算法流程图。
具体实施方式
下面结合本发明中的附图，对本发明中的技术方案进行进一步清楚完整的描述：
一种用于校正TOF图像传感器成像误差的方法，利用像素接收和测量入射光的振幅a和相移φ；
Figure 759737DEST_PATH_IMAGE001
其中c代表光速，f代表调制频率，φ代表发射波与接收波之间的相移，IR光的调制波，d代表物体的距离；
在像素i处测量的信号是：
Figure 493338DEST_PATH_IMAGE002
其中，I m (i)作为直接信号I d (i)和寄生分量I p (i)的信号的总和：
Figure 325159DEST_PATH_IMAGE003
在与图像中的像素i相对应的小区域上以不同的方式照亮相同的场景，同时使两次发射的信号幅度a d 的关系如下：
Figure 412719DEST_PATH_IMAGE004
其中k是两次拍摄过程中光强大小的比值，寄生分量I p (i)保持不变，由此，可以得到下式：
Figure 146712DEST_PATH_IMAGE005
因为φ d (i)不变，得到
Figure 30092DEST_PATH_IMAGE006
Figure 891868DEST_PATH_IMAGE007
通过已知的k可以得到：
Figure 127110DEST_PATH_IMAGE008
Figure 303008DEST_PATH_IMAGE009
以及
Figure 276780DEST_PATH_IMAGE010
从而可以得到（1），即得到了物体的距离信息d。
对于整个图像来说，可以在确定好一个像素i对应的视场范围后，以不同的光强或其他条件连续拍摄两张照片，在已知俩次拍摄条件的光强数值时，即已知公式中的k，则通过像素在俩次拍摄条件下接收到的信号值，将俩者作差，即可得到环境分量Ip，进一步可通过上述公式计算出单次拍摄中信号的相移φ，并最终得到真实的不掺杂环境分量的距离信息d。

Claims (1)

1.一种用于校正TOF图像传感器成像误差的方法，其特征在于：利用像素接收和测量入射光的振幅a和相移φ；
Figure 730400DEST_PATH_IMAGE001
其中c代表光速，f代表调制频率，φ代表发射波与接收波之间的相移，IR光的调制波，d代表物体的距离；
在像素i处测量的信号是：
Figure 447820DEST_PATH_IMAGE002
其中，I m (i)作为直接信号I d (i)和寄生分量I p (i)的信号的总和：
Figure 983975DEST_PATH_IMAGE003
在与图像中的像素i相对应的小区域上以不同的方式照亮相同的场景，同时使两次发射的信号幅度a d 的关系如下：
Figure 736030DEST_PATH_IMAGE004
其中k是两次拍摄过程中光强大小的比值，寄生分量I p (i)保持不变，由此可以得到下式：
Figure 758825DEST_PATH_IMAGE005
因为φ d (i)不变，得到
Figure 291438DEST_PATH_IMAGE006
Figure 693600DEST_PATH_IMAGE007
通过已知的k可以得到：
Figure 300162DEST_PATH_IMAGE008
Figure 329079DEST_PATH_IMAGE009
以及
Figure 755512DEST_PATH_IMAGE010
从而可以得到（1），即得到了物体的距离信息d。
CN201910802343.2A 2019-08-28 2019-08-28 一种用于校正tof图像传感器成像误差的方法 Pending CN112449081A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910802343.2A CN112449081A (zh) 2019-08-28 2019-08-28 一种用于校正tof图像传感器成像误差的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910802343.2A CN112449081A (zh) 2019-08-28 2019-08-28 一种用于校正tof图像传感器成像误差的方法

Publications (1)

Publication Number Publication Date
CN112449081A true CN112449081A (zh) 2021-03-05

Family

ID=74740682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802343.2A Pending CN112449081A (zh) 2019-08-28 2019-08-28 一种用于校正tof图像传感器成像误差的方法

Country Status (1)

Country Link
CN (1) CN112449081A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173184A1 (en) * 2011-01-05 2012-07-05 Samsung Electronics Co., Ltd. Depth sensor, defect correction method thereof, and signal processing system including the depth sensor
CN105572681A (zh) * 2014-10-31 2016-05-11 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
US20160344965A1 (en) * 2012-04-18 2016-11-24 Brightway Vision Ltd. Controllable gated sensor
US20170234985A1 (en) * 2016-02-11 2017-08-17 Massachusetts Institute Of Technology Methods and Apparatus for Time-of-Flight Imaging
US20180052231A1 (en) * 2016-08-22 2018-02-22 Samsung Electronics Co., Ltd. Method and device for acquiring distance information
CN108445500A (zh) * 2018-02-07 2018-08-24 余晓智 一种tof传感器的距离计算方法及***
CN109143252A (zh) * 2018-08-08 2019-01-04 合肥泰禾光电科技股份有限公司 Tof深度相机距离校准的方法及装置
US20190195991A1 (en) * 2017-12-22 2019-06-27 Denso Corporation Distance measuring apparatus, recognizing apparatus, and distance measuring method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120173184A1 (en) * 2011-01-05 2012-07-05 Samsung Electronics Co., Ltd. Depth sensor, defect correction method thereof, and signal processing system including the depth sensor
US20160344965A1 (en) * 2012-04-18 2016-11-24 Brightway Vision Ltd. Controllable gated sensor
CN105572681A (zh) * 2014-10-31 2016-05-11 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
US20170234985A1 (en) * 2016-02-11 2017-08-17 Massachusetts Institute Of Technology Methods and Apparatus for Time-of-Flight Imaging
US20180052231A1 (en) * 2016-08-22 2018-02-22 Samsung Electronics Co., Ltd. Method and device for acquiring distance information
US20190195991A1 (en) * 2017-12-22 2019-06-27 Denso Corporation Distance measuring apparatus, recognizing apparatus, and distance measuring method
CN108445500A (zh) * 2018-02-07 2018-08-24 余晓智 一种tof传感器的距离计算方法及***
CN109143252A (zh) * 2018-08-08 2019-01-04 合肥泰禾光电科技股份有限公司 Tof深度相机距离校准的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
底杉: "应用于TOF三维测距的CMOS图像传感器研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN111045029B (zh) 一种融合的深度测量装置及测量方法
US9753128B2 (en) Multi-path compensation using multiple modulation frequencies in time of flight sensor
US10677923B2 (en) Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP6480441B2 (ja) 飛行時間型カメラシステム
TWI710783B (zh) 可操作以辨認偽反射及補償由偽反射所造成之錯誤的光電模組
US11536804B2 (en) Glare mitigation in LIDAR applications
US9989630B2 (en) Structured-light based multipath cancellation in ToF imaging
CN102741702B (zh) 飞行时间相机***的杂散光补偿方法和***
CN209375823U (zh) 3d相机
WO2023015880A1 (zh) 训练样本集的获取方法、模型训练方法及相关装置
JP2010071976A (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
CN111538024B (zh) 一种滤波ToF深度测量方法及装置
CN110709722A (zh) 飞行时间摄像机
JP6319030B2 (ja) 目標検出装置
US11874403B2 (en) Reflectance sensing with time-of-flight cameras
CN107270867B (zh) 一种主动测距***以及方法
CN110986816B (zh) 一种深度测量***及其测量方法
CN212992427U (zh) 一种图像采集模组
CN112449081A (zh) 一种用于校正tof图像传感器成像误差的方法
CN116299341A (zh) 基于tof的双目深度信息获取***及方法
CN110456371B (zh) 一种激光雷达***及相关测量方法
CN113030999A (zh) 飞行时间感测***和其中使用的图像传感器
CN115824170A (zh) 一种摄影测量与激光雷达融合测量海洋波浪的方法
CN112213711A (zh) 一种tof相机的校准方法
CN118259254A (zh) 数据处理装置、深度检测装置与数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210305

WD01 Invention patent application deemed withdrawn after publication