CN105376485B - 基于线阵式摄像机的双向实时车辆底盘图像合成方法 - Google Patents

基于线阵式摄像机的双向实时车辆底盘图像合成方法 Download PDF

Info

Publication number
CN105376485B
CN105376485B CN201510758083.5A CN201510758083A CN105376485B CN 105376485 B CN105376485 B CN 105376485B CN 201510758083 A CN201510758083 A CN 201510758083A CN 105376485 B CN105376485 B CN 105376485B
Authority
CN
China
Prior art keywords
image
sensor
vehicle
state
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510758083.5A
Other languages
English (en)
Other versions
CN105376485A (zh
Inventor
路通
高翔
赵荣
单睿
朱凯轩
彭攀
林雄
王握
张晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201510758083.5A priority Critical patent/CN105376485B/zh
Publication of CN105376485A publication Critical patent/CN105376485A/zh
Application granted granted Critical
Publication of CN105376485B publication Critical patent/CN105376485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了基于线阵式摄像机的双向实时车辆底盘图像合成方法，其中实时数据分析及拼接，包括以下步骤：步骤（1），接受到拼接信号后，取得线阵式摄像机每帧的图像，保存至临时文件夹，直至拼接信号结束；步骤（2），利用Sobel算子，计算每张图中是否存在有效内容，将有效图片路径保存至数组当中；步骤（3），根据数组中图片路径，将图片正序拼接为一张底盘合成图片；步骤（4），调整合成图片的分辨率和比例。本发明满足了大多数应用场合。本发明中的控制方法使得车辆底盘拼接自动实时完成，杜绝漏检发生，所得车底盘图像完整，清晰度高分辨率达数百万像素，支持双向实时拼接，适应大多数应用场景。

Description

基于线阵式摄像机的双向实时车辆底盘图像合成方法
技术领域
本发明涉及车辆底盘图像拼接合成方法，尤其涉及一种基于线阵式摄像机数据帧序列的实时车辆底盘图像拼接的方法。
背景技术
当前监狱、看守所、戒毒所等羁押场所的出入口车辆通道在对进出车辆底盘进行安全检查时主要依靠警察进行人工搜查，比较费力费时。因机动车辆底盘种类繁多，这就要求检查人员对各种车辆底盘具有相当的了解，且需要检查经验丰富又比较认真负责，一般检查人员检查起来就会比较缓慢，且容易造成漏检现象。目前即使少部分单位在出入口车辆通道受检区域的地面上安装了监控，但大都是一些非专业性、简易的监控，实际应用中都成了摆设，不能有效发挥监控检查作用，这样就造成漏检，易引发监管安全事故。
由于车辆底盘的隐蔽性加上羁押场所现有监控检查***的落后，罪犯利用底盘藏匿危险物品以及利用车辆底盘成功从监狱逃脱的案件在我国时有发生。例如，在2006年9月13日，在江苏省龙潭监狱服刑的徐某就藏匿在货车底部的备用轮胎上成功地从监狱逃脱；在2009年7月18日，因盗窃罪于2009年初被判3年的案犯陈某也通过藏匿在货车的底部成功地从浙江省金华监狱脱逃。类似的案件还有很多，这充分说明了开发一款智能高效的车辆底盘扫描检测***的必要性和迫切性，市场的需求催生了多种车辆底盘扫描检测***。
目前，车辆底盘扫描检测***根据车辆底盘成像摄像机设备分类，主要包括面阵相机阵列以及全景摄像机。但由于拍摄车底照片的环境限制，如物距短、角度大灯，都会使上诉设备由于自身特点的局限性，不能满足所有场合应用，尤其是对期望投资少、所处环境恶劣而又想获得较清晰车底图像的特定场合不适用。
使用面阵相机阵列进行车底盘图像拼接的特点是使用多台面阵相机同时拍摄车辆底盘，然后依次从各个相机获取数据帧先后完成车底盘横向拼接和纵向拼接，其硬件安装及视频数据帧处理流程过于复杂，速度慢，易受环境因素影响，难以达到实用效果，故目前市场上并没有采用此方案的实际产品。使用全景摄像机完成车底盘拼接的主要出发点是降低项目成本，全景摄像机拍摄到车底盘序列图像后，由于画面扭曲严重，首先必须进行精确的畸变纠正，在此基础上进行图像配准和融合拼接。真实场景中，全景摄像机外部参数在使用过程中会发生改变，导致畸变纠正不能精确的完成，再加上该方案采用特征点匹配，对图像质量依赖过大，而实际场景图像质量往往较差，从而极易引起图像配准过程不准确，其融合拼接的得到的车底盘图像质量必然较差，甚至不能得到拼接结果。特征点查找及匹配需要大量的计算，也导致该方案实时性不够。而且全景摄像机的价格昂贵。
再者，目前的车辆底盘检查***往往只允许车辆以一个方向通过检查，因此需要在进、出两个方向都安装底盘检测***。
发明内容
鉴于目前市场上车辆底盘安全检查***价格过高或拼接实时性不够、图像质量较差，尤其是不能让车辆双向地通过以合成底盘图像的问题，本发明提出了一种基于线阵式摄像机的双向实时车辆底盘图像合成方法。
线阵CCD摄像机一般为工业用途，具有高分辨率、像素位置信息强、结构紧凑及自扫描等特性，从而可用于大多对图像分辨率要求极高的场合。由于线阵CCD摄像机每次只拍一行像素，故对于图像畸变的控制有着不错的效果，当被拍摄物体沿与像素阵列垂直的方向运动时，线阵CCD摄像机连续高速逐行扫描，将这些像素行拼接起来就构成车辆底盘图像。线阵相机的快门时间为微秒级，所以对一般情况的车底检查有良好的成像检查效果。
本发明公开了一种基于线阵式摄像机的双向实时车辆底盘图像合成方法及***，从线阵式摄像机获取实时数据帧序列，当采集信结束后，处理数据采集图片序列并进行拼接。具体内容如下：
一种双向车辆底盘图像合成***，包括线第一方向传感器、第二方向传感器、I/O控制器、***主机、辅助照明设备和阵CCD摄像机，其特征在于还包括中间传感器，其中，第一方向传感器、第二方向传感器沿车辆行进方向安装，中间传感器、线阵CCD摄像机和辅助照明设备安装在第一方向传感器和第二方向传感器之间，且第一方向传感器、第二方向传感器、中间传感器和辅助照明设备均与I/O控制器相连接；I/O控制器和线阵CCD摄像机连接至***主机；其中，第一方向传感器、第二方向传感器负责判断车辆是否进入检测区域，线阵CCD摄像机是否应开始扫描；中间传感器负责判断线阵CCD摄像机是否应停止扫描；I/O控制器将接收到的信号传输至***主机并由***主机控制发出开启或关闭辅助照明设备的信号；***主机接收I/O控制器传输的传感器状态，判断车辆所处的位置状态，控制辅助照明设备和线阵CCD摄像机的开关，并对线阵CCD摄像机所采集到的帧图像进行处理并合成车辆底盘图像；辅助照明设备由***主机控制其状态，并由I/O控制器直接开启或关闭；线阵CCD摄像机由***主机控制开关状态，并将采集到的帧图像数据传输至***主机。
上述的双向车辆底盘图像合成***，其特征在于，所述第一方向传感器、第二方向传感器与线阵CCD摄像机的距离为3米以上，但第一方向传感器、第二方向传感器与线阵CCD摄像机的距离均不可超过车辆长度。
上述的一种双向车辆底盘图像合成***，其特征在于，所述线阵CCD摄像机为网络摄像机(Internet Protocol Camera，IPC)。
上述的双向车辆底盘图像合成***，其特征在于，所述线阵CCD摄像机垂直放置，镜头方向垂直向上，或者平放并使用与地面成斜角45°的反光镜反射光线，保证线阵CCD摄像机的成像方向与车辆行进方向一致。
上述的双向车辆底盘图像合成***，其特征在于，所述第一方向传感器、第二方向传感器、中间传感器为地感线圈或者雷达探测器。
上述的双向车辆底盘图像合成***，其特征在于，所述辅助照明设备为暖光灯。
一种双向车辆底盘图像合成方法，其特征在于，具体步骤如下：
第1步，初始化；将线阵CCD摄像机(7)、辅助照明设备(6)、***主机(5)、I/O控制器(4)、中间传感器(3)和第一方向传感器(1)、第二方向传感器(2)都通电，将第一方向传感器(1)、第二方向传感器(2)和中间传感器(3)都置为OFF，等待车辆进入检测区域；
第2步，当车辆进入检测区域触发一个方向传感器时，对应方向传感器的状态置为ON，I/O控制器(4)将对应方向传感器的状态发送给***主机(5)，***主机(5)通过I/O控制器(4)开启辅助照明设备(6)和线阵CCD摄像机(7)，开始采集帧图像，***主机(5)将采集到的帧图像保存至临时文件夹中；
第3步，当车辆继续前进触发中间传感器(3)时，中间传感器(3)的状态置为ON，I/O控制器(4)将中间传感器(3)的状态发送给***主机(5)；
第4步，当车辆离开中间传感器(3)时，I/O控制器(4)将中间传感器(3)的状态置为OFF，I/O控制器(4)将中间传感器(3)的状态发给***主机(5)，***主机(5)通过I/O控制器(4)关闭辅助照明设备(6)和线阵CCD摄像机(7)，线阵CCD摄像机(7)停止采集帧图像；
第5步，***主机(5)分析临时文件夹中的每帧图像是否存在有效内容，分析每帧图像是否存在有效内容的步骤如下：
第501步，将采集到的帧图像去彩色灰度化；
第502步，利用高斯算子卷积帧图像中的每一个像素点，
其中，IG为高斯滤波后的图像，Igray为原始采集到的帧图像去色彩灰度化后的图片，*表示矩阵卷积；
第503步，利用单向梯度卷积算子识别车辆主体信息，
其中，ISobel为经过Solel单向梯度卷积算子卷积后的图像；
第504步，对得到的图像每隔10行像素一取样，每取样一行仅取中间200像素的数值，若像素值大于阈值，便累加1，具体表示为
其中，Pi为像素值，T为设定阈值，n设为200，xi为当前像素最终判断值，X为最终的累加值，若X>100则图像有效，将图像路径保存至数组中；若X<100则图像无效，忽略无效图片；
通过第501至第504步分析过所采集的帧图像是否存在有效内容后，将存在有效内容的帧图像的存储路径保存至数组中，并根据数组中的存储路径，将存在有效内容的帧图像正序拼接为一张底盘合成图片；
第6步，当车辆继续前进并离开另一个方向传感器时，I/O控制器(4)将第一方向传感器(1)、第二方向传感器(2)和中间传感器(3)的状态均置为OFF，完成一次底盘图像合成。
***中各传感器的即时状态，即流程图的中所表示的ON/OFF状态就是流程保护变量。
上述的双向车辆底盘图像合成方法，其特征在于，所述第2步中当车辆进入检测区域触发一个方向传感器时，同时设定保护时间定时器，若在定时时间D内中间传感器的状态始终未改变，则停止采集帧图像，并忽略本次流程，回到第1步重新进行初始化；若定时时间D内，车辆触发中间传感器，进入到第3步时，则停止保护时间定时器的定时计数，继续采集帧图像。
上述的双向车辆底盘图像合成方法，其特征在于，所述定时时间D为10秒。
上述的双向车辆底盘图像合成方法，其特征在于，所述第5步中，在完成底盘图像的合成后，还包括调整所得合成图片长宽比的步骤。
上述的双向车辆底盘图像合成方法，其特征在于，所述合成图片的长宽比调整为3:1。
由于实际实施过程中，会有部分的无效图片，需要在第5步中利用第501至503步所述的主体识别算法，在将采集到的图像进行灰度化处理后，利用主体识别算法，计算每张图中是否存在有效内容，排除无效图片，以使图片更清晰完整。利用的梯度卷积算子包括：高斯算子和Sobel单向梯度卷积算子。
由于实际实施过程中，照明条件不同，可根据现场的照明情况调整打开辅助照明的时机，只要保证在采集数据之前就可以。
为了达到双向实时拼接车辆底盘，本发明使用线阵式摄像机获取车底盘数据帧序列，该序列中的数据帧具有普遍的单向光条、曝光不均等特点，使用本发明中的方法，依次完成数据帧图像预处理(即灰度化)、图像分析和拼接融合，最终得到完整的车底盘图像，可以克服上述不足，得到清晰、无畸变的车辆底盘图片。由于线阵式摄像机本身的技术特点，如响应慢、带宽高等，本发明方法使用三个传感器配合流程，比传统的检测成像装置增加了中间的中间传感器，通过中间传感器信号区别车辆的前进方向并控制帧图像的采集，实现了精确的控制，从而实现全自动双向拼接。
本发明使用多重保护流程机制，如保护时间D、流程保护变量等，在多数非正常干扰的情况下也能正常运行，从而使得***具有极强的鲁棒性，避免了误触发对***的影响。不管是白天还是夜晚，室外或者室内，通过本发明都能得到一张质量极佳的车底盘完整图像。
本发明可用于双向车底盘图像拼接，从而满足特定场合中的进出监测。
本发明中的控制方法使得车辆底盘拼接自动实时完成，杜绝漏检发生，所得车底盘图像完整，清晰度高分辨率达数百万像素，支持双向实时拼接，在成本控制、拼接所得车底盘图像质量、实时性及用户操作方式等各个方面，具有明显的优势，适应大多数应用场景。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和和其他方面的优点将会变得更加清楚。
图1为本发明流程图。
图2为本发明设备安装示意图，配合这些设备可实现双向实时全自动车底盘图像拼接。
图3为本发明中线阵相机在实际场景中获取的无车底内容的空白数据帧。
图4为本发明在梯度计算图3后的结果。
图5为本发明中线阵相机在实际场景中获取的有车底内容的有效数据帧。
图6为本发明在梯度计算图5后的结果。
图7为本发明未经图片分析或阈值在100以下，拼接后的示意图。
图8为本发明对拼接整体图片分析后的结果。
图9为本发明经过图片校正最后的结果。
图10为本发明在阈值在200以上，拼接后的示意图。
具体实施方式
本发明公开了一种基于线阵式摄像机的双向实时车辆底盘图像合成方法，该方案涉及双向控制流程及该流程下实时完成车辆底盘图像拼接的方法。摄像机安装在地平面以下，其上方安装辅助照明设备和高强度透光镜用来保护摄像机及透光，若干传感器获取车辆行进方向，使用本发明方案获得高质量车底盘图像时，建议车辆以较低速度(<15km/h)通过摄像机上方且不可逆行、不可停车，这适用于绝大多数应用场合。为保证相机采集数据的完整性，当车辆进入以摄像机作为中心的扫描区域时触发任一方向传感器，车辆底盘数据采集开始，一直到车辆离开扫描区域的中间传感器时结束采集信号，采集信号结束后，开始对其采集数据进行分析，找出有效车底图片后，正序拼接图片，拼接结束显示所得完整彩色车底盘图像给用户，至结束信号后的后期处理拼接过程耗时低于3秒。区别于面阵相机阵列或全景摄像机获取数据并完成底盘合成，本发明方案具有极强的实时性、可操作性及鲁棒性，保证车底盘图像完整且杜绝漏检的发生。
双向车底盘拼接流程，分为进库方向和出库方向两种情况。图1中，传感器1和传感器2二者构成图中方向传感器，用于感知车辆行进方向，A->B为进库方向，B->A为出库方向，为了满足相机有足够的触发时间，当方向传感器触发时，即使相机开始采集，并设置保护时间；传感器2是中间传感器，有信号时(ON)启动或终止保护时间计时器生命，以确保数据采集可以正常进行，无信号时(OFF)停止数据采集，并开始图片分析和拼接；设备4为I/O控制器，直接控制设备，当传感器状态发生改变时发送信号给设备5，设备5为使用了本发明方案进行车底盘拼接的***主机，设备6为辅助照明，设备7为IPC。下面结合图1～图9中的处理过程和处理效果来说明本发明方案的具体步骤。
一、进库
车辆进库(A->B)，包括以下步骤：
步骤1，设备1-7加电，***主机5维护一个状态表(第一方向传感器1状态，中间传感器3状态，第二方向传感器2状态)，初始状态所有传感器信号状态置为OFF，***主机5状态表为(OFF，OFF，OFF)，此时***置为空状态，无操作；
步骤2，车辆行进时首先触发传感器1，控制器4探测到传感器1状态为ON，控制器4发送“进库-ON”信号给***主机5，***主机5根据当前状态“空状态”置状态为“进库状态”，然后发送“打开辅助照明”信号给控制器4，控制器4打开辅助照明6，设置保护时间，相机7开始采集图片信息，获取实时数据；
步骤3，车辆继续前进，触发中间传感器3，控制器4探测到中间传感器3状态为ON，控制器4发送“启动拼接”信号给***主机5，***主机5根据当前状态“进库状态”，主机首先结束计时器生命，并继续采集图片数据；
步骤4，车辆继续前进，触发第二方向传感器2，控制器4探测到第二方向传感器2状态为ON，控制器4发送“出库-ON”信号给***主机，***主机5根据当前已处于状态“进库状态”判定“出库-ON”为无效信号，忽略该信号，***主机5继续维持在状态“进库状态”；
步骤5，车辆继续前进，控制器4探测到中间传感器3状态为OFF，控制器4发送“停止拼接”信号给***主机5，***主机5命令相机7停止采集数据，然后发送“关闭辅助照明”信号给控制器4，控制器4关闭辅助照明6，主机5开始分析已有数据并进行拼接，最后将所得车辆底盘完成图像显示到***主机5的界面；
步骤6，车辆继续前进，控制器4探测到第二方向传感器2状态为OFF，控制器4发送“出库-OFF”信号给***主机5，***主机5更新状态表为(OFF，OFF，OFF)，***主机5进入空状态，车辆入库操作结束；
二、出库
车辆出库(B->A)，包括以下步骤：
步骤1，设备1-7加电，***主机5状态表为(OFF，OFF，OFF)，此时***置为空状态，无操作；
步骤2，车辆行进时首先触发第二方向传感器2，控制器4探测到第二方向传感器2状态为ON，控制器4发送“出库-ON”信号给***主机5，***主机5根据当前状态“空状态”置状态为“出库状态”，然后发送“打开辅助照明”信号给控制器4，控制器4打开辅助照明6，设置保护时间，相机7开始采集图片信息，获取实时数据；
步骤3，车辆继续前进，触发中间传感器3，控制器4探测到中间传感器3状态为ON，控制器4发送“启动拼接”信号给***主机5，***主机5根据当前状态“出库状态”，主机首先结束计时器生命，并继续采集图片数据；
步骤4，车辆继续前进，触发第一方向传感器1，控制器4探测到传感器1状态为ON，控制器4发送“进库-ON”信号给***主机，***主机5根据当前已处于状态“出库状态”判定“进库-ON”为无效信号，忽略该信号，***主机5继续维持在状态“出库状态”；
步骤5，车辆继续前进，控制器4探测到中间传感器3状态为OFF，控制器4发送“停止拼接”信号给***主机5，***主机5命令相机7停止采集数据，然后发送“关闭辅助照明”信号给控制器4，控制器4关闭辅助照明6，主机5开始分析已有数据并进行拼接，最后将所得车辆底盘完成图像显示到***主机5的界面；
步骤6，车辆继续前进，控制器4探测到第一方向传感器1状态为OFF，控制器4发送“出进库-OFF”信号给***主机5，***主机5更新状态表为(OFF，OFF，OFF)，***主机5进入空状态，车辆出库操作结束；
为了得到完整的车辆底盘图像，需要保证一旦车辆进入流程(进库流程或出库流程)，处于流程中的任何时候***主机5都不应该进入空状态，这就要求流程中的任何时候传感器1-3至少有一个处于ON状态，即传感器1-3实际安装中相互之间的距离不宜超过车辆长度的两倍，且不得低于车辆长度。传感器1、3距线阵CCD摄像机3米以上，且不可超过车辆长度。
为确保相机有足够的触发时间，方向传感器1、2触发时即开始采集信息，但为在实际使用中避免误触发，导致相机无限制采集，必须设定一个保护时间T，一般为10s，在保护时间范围内，中间传感器触发，即停止保护时间计时器的生命，使采集继续进行，后续拼接控制由传感器接手；而计时器到时后，还未触发中间传感器，则认为是误触发，相机停止采集，并且置空流程，即将主机状态表设置为(OFF，OFF，OFF)，并将进库或者出库设置为空状态，删除已采集的图片，以便不影响下次正常流程。
本发明中进库、出库步骤2至步骤5中所提车底盘图像拼接方法，其实现的具体步骤是：当拼接信号结束后，根据数组中的路径按采集的顺序读取一张图片如图3或者图5，进行如下分析：
(1)将原彩色图片去彩色，将图片灰度化；
(2)由于直接灰度化的图片中的边缘位置过度的不清晰，导致纹理梯度不明显，所以利用高斯滤波算子，卷积图片每一个像素点，如下所示：
此公式中IG为高斯滤波后的图片，Igray为原始图片灰度化后的图片，操作符*表示矩阵卷积。
(3)由于线阵式摄像机的成像特点会使图片产生单一方向的条纹，如图3，为避免这些条纹对成像的干扰，所以利用单向梯度计算的方法，来识别车辆主体信息。将增强后的图片，与Sobel单向梯度卷积算子相卷积。
图3和图5，在卷积后的图片分别为图4和图6。图7为未经过图片分析处理直接拼接的图片，图8为在图7卷积后的图片。
(4)在经过上述将图片的边缘梯度更锐利，以便后续步骤的检测计算后，得到一张仅有车辆主体部分纹理的灰度图像，为算法效率考虑，采取每隔10行像素一取样，每取样一行仅取中间200像素的数值，若像素值大于阈值，便累加1。具体公式如下：
上述公式中，Pi为像素值，T为设定阈值，设定阈值范围为0-255，具体数值由实际情况而定。阈值的设定主要取决于环境的光线情况，阈值过低会导致车辆主体占图片比例较小，无用部分过大，阈值过高会导致车辆主体部分有缺失。例如下述效果的实验条件下，当阈值低于100时，拼接后效果为图7，也就是对原图片主体剪裁并未有任何影响；当阈值为150时，拼接后效果为图9，此时效果最好；当阈值高于200时，拼接后效果为图10，出现车辆部位图片缺失情况)，n通常为200，xi为当前像素最终判断值。最后将xi累加为X。若X＞100，则认为此图片有效。并将图片路径保存在数组当中；否则，认为此图片无效，忽略该图片。
说明书所述的第6步中，根据第5步中所得有效图片路径数组，按序列拼接图片，得到一张完整的底盘图片。
说明书中所述第5步，由于车速不同，而快门速度是固定的，这就导至图片有不同情况的畸变，所以后期根据不同的车辆，使用不同的比例调整，一般车辆为6000×2000，如图9所示。
实施例
下面结合附图对本发明方案进行更加详细的解释，如图1流程图所示：
步骤1，起始，向图2中所示中设备1-7加电，所有传感器信号状态置为OFF，***主机5状态表为(OFF，OFF，OFF)，此时***置为空状态，无操作；
步骤2，车辆进入检测区域时首先触发第一方向传感器1，控制器4探测到传感器1状态为ON，控制器4发送“进库-ON”信号给***主机5，***主机5根据当前状态“空状态”置状态为“进库状态”，然后发送“打开辅助照明”信号给控制器4，控制器4打开辅助照明6，设置保护时间，相机7开始采集图片信息，获取实时数据；
步骤3，车辆继续前进，触发中间传感器3，控制器4探测到中间传感器3状态为ON，控制器4发送“启动拼接”信号给***主机5，***主机5根据当前状态“进库状态”，主机首先结束计时器生命，并继续采集图片数据；
步骤4，车辆继续前进，触发第二方向传感器2，控制器4探测到传第二方向传感器2状态为ON，控制器4发送“出库-ON”信号给***主机，***主机5根据当前已处于状态“进库状态”判定“出库-ON”为无效信号，忽略该信号，***主机5继续维持在状态“进库状态”；车辆继续前进，离开中间传感器3，控制器4探测到中间传感器3状态为OFF，控制器4发送“停止拼接”信号给***主机5，***主机5命令相机7停止采集数据，然后发送“关闭辅助照明”信号给控制器4，控制器4关闭辅助照明6；
步骤5，主机5开始分析采集到的数据，依次读取每一张图片，如图3或图5，将每张图片按步骤501至504的顺序进行如下分析：
步骤501灰度化；
步骤502，将灰度化的图片，与高斯滤波算子相卷积，如下所示：
步骤503，然后将IG与Sobel梯度算子进行卷积，公式如下所示：
即可得到ISobel图像，此图像过滤了大部分杂乱纹理，并且突出了车底主体部分的纹理，如图4或图6所示，以便下一步的检测；
步骤504，每隔10行读取ISobel中心的n个像素值，若大于阈值T，累加1，具体公式如下：
若X＞100，则认为此图片中含有有效内容。并将图片路径保存在数组当中；否则，认为该图片无效，忽略该图片。
依次按步骤501至504的顺序读取每张图片，直至全部分析完成；
分析完成之后根据路径保存数组中的内容，依次拼接含有有效内容的帧图像，得到完整车辆底盘图片；
步骤6，由于车速不同，图片会有不同程度的畸变，所以将拼接完成的底盘图片进行比例校正，一般为长宽比3：1；
最后，将所得车辆底盘完成图像显示到***主机5的界面；并且将***主机5更新状态表为(OFF，OFF，OFF)，***主机5进入空状态，结束操作。
图2中传感器1、2、3可采用地感线圈，更优化选择使用雷达探测器，缩小感应面积，防止误操作。辅助灯光使用6使用暖光灯，7号设备线阵相机垂直放置，镜头方向垂直向上，或者平放并使用斜角45°的反光镜反射光线，线阵相机成像画面其高度方向与车行方向平行。优选车速低于15km/h，线阵相机宽度像素值为2048。按照相机厂商方面的硬件要求，为保证正常成像，网卡缓存需要在1GB以上，支持千兆以上传输速率，通过六类网线连接***主机5，通信链路质量好保证数据传输不延迟。
图3是实际场景中使用线阵相机获得一帧空白数据，图5为有车辆经过时一帧数据，图8是使用本发明得到的一张车底盘完整图像。
本发明提供了一种基于线阵相机的双向实时车辆底盘图像合成方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.一种双向车辆底盘图像合成方法，其特征在于，具体步骤如下：
第1步，初始化；将线阵CCD摄像机(7)、辅助照明设备(6)、***主机(5)、I/O控制器(4)、中间传感器(3)和第一方向传感器(1)、第二方向传感器(2)都通电，将第一方向传感器(1)、第二方向传感器(2)和中间传感器(3)都置为OFF，等待车辆进入检测区域；
第2步，当车辆进入检测区域触发一个方向传感器时，对应方向传感器的状态置为ON，I/O控制器(4)将对应方向传感器的状态发送给***主机(5)，***主机(5)通过I/O控制器(4)开启辅助照明设备(6)和线阵CCD摄像机(7)，开始采集帧图像，***主机(5)将采集到的帧图像保存至临时文件夹中；
第3步，当车辆继续前进触发中间传感器(3)时，中间传感器(3)的状态置为ON，I/O控制器(4)将中间传感器(3)的状态置发送给***主机(5)；
第4步，当车辆离开中间传感器(3)时，中间传感器(3)的状态置为OFF，I/O控制器(4)将中间传感器(3)的状态发给***主机(5)，***主机(5)通过I/O控制器(4)关闭辅助照明设备(6)和线阵CCD摄像机(7)，线阵CCD摄像机(7)停止采集帧图像；
第5步，***主机(5)分析临时文件夹中的每帧图像是否存在有效内容，分析每帧图像是否存在有效内容的步骤如下：
第501步，将采集到的帧图像去彩色灰度化；
第502步，利用高斯算子卷积帧图像中的每一个像素点，
其中，IG为高斯滤波后的图像，Igray为原始采集到的帧图像去色彩灰度化后的图片，*表示矩阵卷积；
第503步，利用单向梯度卷积算子识别车辆主体信息，
其中，ISobel为经过Solel单向梯度卷积算子卷积后的图像；
第504步，对得到的图像每隔10行像素一取样，每取样一行仅取中间200像素的数值，若像素值大于阈值，便累加1，具体表示为
其中，Pi为像素值，T为设定阈值，n设为200，xi为当前像素最终判断值，X为最终的累加值，若X>100则图像有效，将图像路径保存至数组中；若X<100则图像无效，忽略无效图片；
通过第501至第504步分析过所采集的帧图像是否存在有效内容后，将存在有效内容的帧图像的存储路径保存至数组中，并根据数组中的存储路径，将存在有效内容的帧图像正序拼接为一张底盘合成图片；
第6步，当车辆继续前进并离开另一个方向传感器时，I/O控制器(4)将第一方向传感器(1)、第二方向传感器(2)和中间传感器(3)的状态均置为OFF，完成一次底盘图像合成。
2.根据权利要求1中所述的双向车辆底盘图像合成方法，其特征在于，所述第2步中当车辆进入检测区域触发一个方向传感器时，同时设定保护时间定时器，若在定时时间D内中间传感器(3)的状态始终未改变，则停止采集帧图像，并忽略本次流程，回到第1步重新进行初始化；
若定时时间D内，车辆触发中间传感器(3)，进入到第3步时，则停止保护时间定时器的定时计数，继续采集帧图像。
3.根据权利要求2中所述的双向车辆底盘图像合成方法，其特征在于，所述定时时间D为10秒。
4.根据权利要求2所述的双向车辆底盘图像合成方法，其特征在于，所述第5步中，在完成底盘图像的合成后，还包括调整所得合成图片长宽比的步骤。
CN201510758083.5A 2015-11-09 2015-11-09 基于线阵式摄像机的双向实时车辆底盘图像合成方法 Active CN105376485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510758083.5A CN105376485B (zh) 2015-11-09 2015-11-09 基于线阵式摄像机的双向实时车辆底盘图像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510758083.5A CN105376485B (zh) 2015-11-09 2015-11-09 基于线阵式摄像机的双向实时车辆底盘图像合成方法

Publications (2)

Publication Number Publication Date
CN105376485A CN105376485A (zh) 2016-03-02
CN105376485B true CN105376485B (zh) 2018-06-29

Family

ID=55378244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510758083.5A Active CN105376485B (zh) 2015-11-09 2015-11-09 基于线阵式摄像机的双向实时车辆底盘图像合成方法

Country Status (1)

Country Link
CN (1) CN105376485B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105828028B (zh) * 2016-03-04 2018-11-02 恒大法拉第未来智能汽车（广东）有限公司 一种对车辆底部进行安全检测的方法及装置
CN105785464B (zh) * 2016-03-17 2018-04-13 广州市凌特电子有限公司 货柜车车身测量方法以及货柜车车身测量***
CN108257090B (zh) * 2018-01-12 2021-03-30 北京航空航天大学 一种面向机载行扫相机的高动态图像拼接方法
CN109492566B (zh) * 2018-10-31 2022-09-16 奇瑞汽车股份有限公司 车道位置信息获取方法、装置及存储介质
CN110602466A (zh) * 2019-10-29 2019-12-20 同方威视科技江苏有限公司 车辆监控方法、***、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10208198A (ja) * 1997-01-17 1998-08-07 Toyota Motor Corp 車両位置検出装置
CN102497488A (zh) * 2011-11-30 2012-06-13 广东威创视讯科技股份有限公司 一种图像黑边去除方法和装置
CN103646248B (zh) * 2013-11-28 2016-08-03 西安理工大学 基于双目线阵ccd汽车底盘成像的异物检测方法
CN103986912B (zh) * 2014-05-21 2017-04-12 南京大学 基于民用ipc的双向实时车辆底盘图像合成方法

Also Published As

Publication number Publication date
CN105376485A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
CN105376485B (zh) 基于线阵式摄像机的双向实时车辆底盘图像合成方法
CN101656023B (zh) 一种视频监视模式下的室内停车场管理方法
JP4970516B2 (ja) 周囲確認支援装置
CN103778786B (zh) 一种基于显著车辆部件模型的交通违章检测方法
CN103927878B (zh) 一种用于违章停车的自动抓拍装置及自动抓拍方法
US9317754B2 (en) Object identifying apparatus, moving body control apparatus, and information providing apparatus
KR101688695B1 (ko) 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CN105383381B (zh) 为了行驶安全的车辆控制方法及其装置
US20120242835A1 (en) Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device
CN104157143B (zh) 违章停车检测***及其检测方法
US20140184798A1 (en) Vehicle and method for operating a camera arrangement for a vehicle
CN103770708A (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
JP5967463B2 (ja) 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP5696927B2 (ja) 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
DE102006055908A1 (de) Verfahren zur automatischen Fernlichtsteuerung
CN202422423U (zh) 车辆牌照识别装置及***
CN107845264A (zh) 一种基于视频监控的交通量采集***及方法
TW201716266A (zh) 影像修補系統及其方法
CN107123274A (zh) 双车位视频检测装置及方法
JP2011150688A (ja) 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
US20160232415A1 (en) Detection detection of cell phone or mobile device use in motor vehicle
CN100499808C (zh) 基于目标的图像位置自动控制摄像机运动的方法
JP2011150687A (ja) 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
CN106815556B (zh) 一种多数据类型的平面群集运动数据采集***
CN105046223B (zh) 一种隧道入口“黑洞效应”严重程度的检测装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant