CN110412604A - 一种应用于汽车舱室内的三维视觉感知传感*** - Google Patents

一种应用于汽车舱室内的三维视觉感知传感*** Download PDF

Info

Publication number
CN110412604A
CN110412604A CN201910692964.XA CN201910692964A CN110412604A CN 110412604 A CN110412604 A CN 110412604A CN 201910692964 A CN201910692964 A CN 201910692964A CN 110412604 A CN110412604 A CN 110412604A
Authority
CN
China
Prior art keywords
vision
indoor
perceives
sensor
converter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910692964.XA
Other languages
English (en)
Inventor
王臣豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Chunjian Intelligent Technology Co Ltd
Original Assignee
Suzhou Chunjian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Chunjian Intelligent Technology Co Ltd filed Critical Suzhou Chunjian Intelligent Technology Co Ltd
Priority to CN201910692964.XA priority Critical patent/CN110412604A/zh
Publication of CN110412604A publication Critical patent/CN110412604A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种应用于汽车舱室内的三维视觉感知传感***，包括三维视觉传感装置、电源、A/D转换器、编码模块和CPU；所述三维视觉传感装置包括发射模块和接收模块，所述发射模块至少包括垂直腔面发射激光器，所述接收模块包括传感芯片；所述电源分别与发射模块和接收模块信号连接，所述A/D转换器分别与发射模块和接收模块信号连接，所述编码模块与A/D转换器之间信号连接，所述编码模块和CPU之间信号连接。本发明的一种应用于汽车舱室内的三维视觉感知传感***，能够在多种光线下完成对汽车舱室内三维测量。

Description

一种应用于汽车舱室内的三维视觉感知传感***
技术领域
本发明涉及一种感知装置，尤其涉及一种应用于汽车舱室内的三维视觉感知传感***。
背景技术
现有车载技术多采用基于2D图像的传感器，主要目的是获取相机视角范围内的纹理信息，该纹理信息主要包括颜色信息、轮廓信息等，但不包括具体的空间距离信息。这些信息缺失，将无法准确判断于人员的某些动作行为，比如头部、身体、手的行为及移动，或者人员与其他汽车装置(如安全气囊、屏幕)的间距。
现有的一些三维测量方法如双目视觉方式，这些都是需要计算图像上的纹理差异来估算距离信息。如在光线合理和被测试物体纹理信息丰富的条件下可以得到准确信息，但是一旦光线不稳定，这些装置无法满足检测要求，不利于获取3D信息。
且现有的三维测量方式的测量范围比较小，无法满足检测要求。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种应用于汽车舱室内的三维视觉感知传感***，以在复杂的驾驶环境下准确检测驾驶舱内人员动作。
技术方案：为实现上述目的，本发明的一种应用于汽车舱室内的三维视觉感知传感***，包括三维视觉传感装置、电源、A/D转换器、编码模块和CPU；所述电源分别与A/D转换器和三维视觉传感装置电性连接，所述三维视觉传感装置与A/D转换器信号连接，所述A/D转换器与编码模块信号连接，所述编码模块与CPU信号连接。
进一步的，包括发射模块和接收模块；所述发射模块包括主动光源，所述接收模块包括镜头和传感芯片；所述主动光源与电源之间电性连接，所述主动光源与A/D转换器之间信号连接；所述传感芯片与电源之间电性连接，所述传感芯片与A/D转换器之间信号连接。
进一步的，所述主动光源至少包括垂直腔面发射激光器和激光二极管。
进一步的，所述主动光源呈抽对称的分布于接收模块的两侧。
进一步的，所述三维视觉传感装置还包括壳体；所述主动光源和接收模块固定于壳体的表面，所述主动光源的数量为四个，且每两个主动光源为一组分置于接收模块的两侧。
进一步的，所述镜头的选型范围在130°和140°之间。
进一步的，所述发射模块的发射源的波长范围为850nm至940nm之间。
本发明的有益效果如下所述：一种应用于汽车舱室内的三维视觉感知传感***，解决了传统2D图像文理数据在不同光线下数据显示不稳定以及涉及用户隐私的缺点。采用主动光源的方式，避免了不同光线下的数据不稳定问题，可以满足全天候的使用场景。通过只获取3D空间信息的情况，可以避免侵犯用户的隐私，通过这些信息可以检测到用户危险驾驶的行为。且本发明能够检测的视角范围约为120°，极大的提高了驾驶室内的监测范围。
附图说明
附图1为本发明所述的三维视觉传感模块的主视图；
附图2为本发明的原理示意图；
附图3为利用本发明监控驾驶舱环境和利用现有的2D图像监控装置监控驾驶舱环境的对比图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如附图1至2所述的一种应用于汽车舱室内的三维视觉感知传感***，包括三维视觉传感装置1、电源2、A/D转换器3、编码模块4和CPU5；所述电源2分别与A/D转换器3和三维视觉传感装置1电性连接，所述三维视觉传感装置1与A/D转换器3信号连接，所述A/D转换器3与编码模块4信号连接，所述编码模块4与CPU5信号连接。所述A/D转换器3、编码模块4和CPU5由另外的电源供电。在本实施例中所述A/D转换器3的型号为MIX75123、编码模块4的型号为MAX96705。
所述三维视距传感装置1包括壳体10、若干个发射模块6和接收模块7；所述发射模块呈轴对称的分布于接收模块7的两侧。所述发射模块6包括主动光源，所述主动光源至少包括垂直腔面发射激光器和激光二极管，具有体积小、圆形输出光斑、单纵模输出、阈值电流小、价格低廉、易集成为大面积阵列等优点。所述垂直腔面发射激光器(VCSEL)，每一颗VCSEL发射机也有一定的发射视场角(FOV)，但是VCSEL的FOV角度也是有一定限制，不能满足大范围的照射。所以本发明采用了4个VCSEL，且每两个一组分置在接收模块7的两侧。为了扩大整个***的监测范围，需要使视场角的检测范围大于120°来保证接收的数据正常。所述发射模块的发射源的波长范围为850nm至940nm之间。本实施例中所述垂直腔面发射激光器的型号为PCW_SMW_W0850。
所述接收模块7包括镜头8和传感芯片9；所述主动光源与电源2之间电性连接，所述主动光源与A/D转换器3之间信号连接；所述传感芯片9与电源2之间电性连接，所述传感芯片9与A/D转换器3之间信号连接。
传感芯片的主要原理可以通过连续正弦波调制来解释。
假设发射的正弦信号s(t)振幅是a，调制频率是f，即：
s(t)＝a·(1+sin(2πft))。
经过时延△t后接收到的信号为接收r(t)，衰减后的振幅为A，强度偏移(由环境光引起)为B，即：
四个采样时间间隔相等，均为T/4，即t0＝0
根据上述采样时间可以列出四个方程组，
从而可以计算出发射和接收的正弦信号的相位偏移
随后，计算物体和深度相机的距离d：
接收信号的衰减后的振幅A的计算结果：
接收信号强度偏移B的计算结果，反映了环境光：
A，B的值间接的反应了深度的测量精度，深度测量方差为σd
近红外光，遇物体后反射，传感芯片通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。镜头决定视场角的区域，为了保证有效视场角在120°，同时考虑镜头的畸变效应，在选型上，应选用130度以上的规格，最好不要超过140度，避免范围过大而损失关键数据。
在传感芯片的选型上，主要考虑芯片的规格和分辨率。传感芯片的规格需要满足汽车级的使用工况。分辨率主要是为后续提供有效数据，满足软件算法的计算条件。分辨率过低，会导致信息不全。本发明推荐两种分辨率要求：320*240和640*480。本发明中所述的传感芯片型号为MIX75023。
本发明的原理为TOF。所述TOF即time of flight，即飞行时间。TOF的原理为测量光在空间中飞行的时间，通过换算成距离，就可以测得摄像头与物体的距离。通常，TOF摄像头组成有一个发射模块，一个接收模块。发射模块可以是LED、激光等发射元件，它将发射例如850nm的调制红外光，物体经过反射后，由接收模块接收到反射的红外光。由于发射和接收的都是调制波，TOF摄像头可以计算发射和接收的相位差，通过换算得到深度值，即摄像头与物体的深度距离。
从利用本发明对驾驶舱的环境进行监控的截图(附图3中的左图)和利用现有的2D监控技术对驾驶舱的环境进行监控的截图(附图3中的右图)，能很好的保护驾驶人的隐私。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种应用于汽车舱室内的三维视觉感知传感***，其特征在于：包括三维视觉传感装置(1)、电源(2)、A/D转换器(3)、编码模块(4)和CPU(5)；所述电源(2)分别与A/D转换器(3)和三维视觉传感装置(1)电性连接，所述三维视觉传感装置(1)与A/D转换器(3)信号连接，所述A/D转换器(3)与编码模块(4)信号连接，所述编码模块(4)与CPU(5)信号连接。
2.根据权利要求1所述的一种应用于汽车舱室内的三维视觉感知传感***，其特征在于：包括发射模块(6)和接收模块(7)；所述发射模块(6)包括主动光源，所述接收模块(7)包括传感芯片(9)；所述主动光源与电源(2)之间电性连接，所述主动光源与A/D转换器(3)之间信号连接；所述传感芯片(9)与电源(2)之间电性连接，所述传感芯片(9)与A/D转换器(3)之间信号连接。
3.根据权利要求2所述的一种应用于汽车舱室内的三维视觉感知传感***，其特征在于：所述主动光源至少包括垂直腔面发射激光器和激光二极管。
4.根据权利要求2所述的一种应用于汽车舱室内的三维视觉感知传感***，其特征在于：所述主动光源呈抽对称的分布于接收模块(7)的两侧。
5.根据权利要求4所述的一种应用于汽车舱室内的三维视觉感知传感***，其特征在于：所述三维视觉传感装置还包括壳体(10)；所述主动光源和接收模块固定于壳体(10)的表面，所述主动光源的数量为四个，且每两个主动光源为一组分置于接收模块(7)的两侧。
6.根据权利要求2所述的一种应用于汽车舱室内的三维视觉感知传感***，其特征在于：所述接收模块(7)还包括镜头(8)，所述镜头(8)的选型范围在130°和140°之间。
7.根据权利要求2所述的一种应用于汽车舱室内的三维视觉感知传感***，其特征在于：所述发射模块的发射源的波长范围为850nm至940nm之间。
CN201910692964.XA 2019-07-30 2019-07-30 一种应用于汽车舱室内的三维视觉感知传感*** Pending CN110412604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910692964.XA CN110412604A (zh) 2019-07-30 2019-07-30 一种应用于汽车舱室内的三维视觉感知传感***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910692964.XA CN110412604A (zh) 2019-07-30 2019-07-30 一种应用于汽车舱室内的三维视觉感知传感***

Publications (1)

Publication Number Publication Date
CN110412604A true CN110412604A (zh) 2019-11-05

Family

ID=68364050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910692964.XA Pending CN110412604A (zh) 2019-07-30 2019-07-30 一种应用于汽车舱室内的三维视觉感知传感***

Country Status (1)

Country Link
CN (1) CN110412604A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786893B (zh) * 2021-10-19 2022-12-11 財團法人車輛研究測試中心 艙內監控與情境理解感知方法及其系統

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
US20150229912A1 (en) * 2014-02-10 2015-08-13 Microsoft Corporation Vcsel array for a depth camera
CN104898125A (zh) * 2014-02-06 2015-09-09 通用汽车环球科技运作有限责任公司 用于汽车的低成本小型lidar
CN106574973A (zh) * 2014-12-22 2017-04-19 谷歌公司 集成在同一半导体封装中的影像传感器和光源驱动器
EP3226024A1 (en) * 2016-03-31 2017-10-04 ams AG Optical 3-dimensional sensing system and method of operation
US20180100926A1 (en) * 2016-10-11 2018-04-12 Mitsubishi Electric Research Laboratories, Inc. Time-Of-Flight Sensor
CN207231419U (zh) * 2017-09-27 2018-04-13 绍兴晨璞网络科技有限公司 一种用于三维相机成像的激光***
CN207354504U (zh) * 2017-04-25 2018-05-11 湘潭大学 一种频率与曝光可调的飞行时间三维成像装置
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别***
CN207557973U (zh) * 2017-10-25 2018-06-29 北京中科慧眼科技有限公司 一种汽车、其自动驾驶***及其视觉感知设备
CN108801609A (zh) * 2018-09-14 2018-11-13 信利光电股份有限公司 一种窄带光谱镜头模组测试设备
CN109754425A (zh) * 2017-11-01 2019-05-14 浙江舜宇智能光学技术有限公司 Tof摄像模组的标定设备及其标定方法
CN109901134A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 广角tof模组及其应用

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
CN104898125A (zh) * 2014-02-06 2015-09-09 通用汽车环球科技运作有限责任公司 用于汽车的低成本小型lidar
US20150229912A1 (en) * 2014-02-10 2015-08-13 Microsoft Corporation Vcsel array for a depth camera
CN106574973A (zh) * 2014-12-22 2017-04-19 谷歌公司 集成在同一半导体封装中的影像传感器和光源驱动器
EP3226024A1 (en) * 2016-03-31 2017-10-04 ams AG Optical 3-dimensional sensing system and method of operation
US20180100926A1 (en) * 2016-10-11 2018-04-12 Mitsubishi Electric Research Laboratories, Inc. Time-Of-Flight Sensor
CN207354504U (zh) * 2017-04-25 2018-05-11 湘潭大学 一种频率与曝光可调的飞行时间三维成像装置
CN207231419U (zh) * 2017-09-27 2018-04-13 绍兴晨璞网络科技有限公司 一种用于三维相机成像的激光***
CN207557973U (zh) * 2017-10-25 2018-06-29 北京中科慧眼科技有限公司 一种汽车、其自动驾驶***及其视觉感知设备
CN109754425A (zh) * 2017-11-01 2019-05-14 浙江舜宇智能光学技术有限公司 Tof摄像模组的标定设备及其标定方法
CN109901134A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 广角tof模组及其应用
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别***
CN108801609A (zh) * 2018-09-14 2018-11-13 信利光电股份有限公司 一种窄带光谱镜头模组测试设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786893B (zh) * 2021-10-19 2022-12-11 財團法人車輛研究測試中心 艙內監控與情境理解感知方法及其系統

Similar Documents

Publication Publication Date Title
CN106772431B (zh) 一种结合tof技术和双目视觉的深度信息获取装置及其方法
US20190018141A1 (en) Determining positional information of an object in space
CN109889809A (zh) 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
US7123351B1 (en) Method and apparatus for measuring distances using light
US10684121B2 (en) Distance-measuring apparatus which uses different calculations depending on whether the object is dynamically changing
US10425628B2 (en) Alternating frequency captures for time of flight depth sensing
CN111685633A (zh) 一种摔倒检测方法
CN209676383U (zh) 深度相机模组、深度相机、移动终端以及成像装置
CN209894976U (zh) 时间飞行深度相机及电子设备
US20230221437A1 (en) Application specific integrated circuits for lidar sensor and multi-type sensor systems
CN110412604A (zh) 一种应用于汽车舱室内的三维视觉感知传感***
EP3646147B1 (en) Display apparatus for computer-mediated reality
US20210389459A1 (en) LiDAR DEVICE AND METHOD OF OPERATING THE SAME
JP7097565B2 (ja) 監視装置及び監視方法
US20230273357A1 (en) Device and method for image processing
CN111510700A (zh) 图像采集装置
US20230090576A1 (en) Dynamic control and configuration of autonomous navigation systems
KR20230158474A (ko) 센싱 시스템
CN113888702A (zh) 基于多tof激光雷达和rgb摄像头的室内高精度实时建模和空间定位的装置和方法
CN106842219B (zh) 一种用于混合现实设备的空间测距方法和***
KR20220106217A (ko) 3차원(3d) 모델링
US20240114119A1 (en) Image processing device, image processing method, and program
CN214503893U (zh) 三维成像装置及电子设备
CN216211121U (zh) 深度信息测量装置以及电子设备
US11885958B2 (en) Systems and methods for a dual axis resonant scanning mirror

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105