CN113076801A - 一种列车在途状态智能联动检测***及方法 - Google Patents
一种列车在途状态智能联动检测***及方法 Download PDFInfo
- Publication number
- CN113076801A CN113076801A CN202110237967.1A CN202110237967A CN113076801A CN 113076801 A CN113076801 A CN 113076801A CN 202110237967 A CN202110237967 A CN 202110237967A CN 113076801 A CN113076801 A CN 113076801A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- driver
- train
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 41
- 238000004891 communication Methods 0.000 claims abstract description 10
- 230000007613 environmental effect Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012806 monitoring device Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 19
- 230000006996 mental state Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 230000002618 waking effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种列车在途状态智能联动检测***及方法，所述***包括：图像采集装置，用于实时采集列车驾驶室内司机的脸部图像；服务器，用于获取图像采集装置采集司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；环境检测装置，用于实时采集列车驾驶室内的环境数据，并传送至服务器；语音装置，用于接收服务器的告警提醒信息，并将接收到的告警提醒信息通过语音播放设备进行语音播放，以对司机进行提醒；数据传输装置，用于图像采集装置、环境检测装置、语音装置与服务器之间的无线通信。
Description
技术领域
本发明涉及人工智能技术领域，特别是涉及一种列车在途状态智能联动检测***及方法。
背景技术
铁路轨道交通的快速发展，极大地方便了人民日常生活，促进了经济发展，同时也对列车的运营安全提出了更高的要求。目前，提高列车安全性的主要措施包括使用高度自动化的列车运行控制***控制列车运行、研发智能化的监测装备监督列车运行状态，但对列车司机的驾驶风险几乎没有监督防护措施。铁路轨道交通列车一般采用单司机驾驶，如果在驾驶列车过程中发生司机注意力下降、打瞌睡等状况时，容易造成安全事故。因此，对列车司机驾驶状态以及室内环境进行实时监测和管理，已成为保障列车运行安全的必要手段。
现有技术中对司机状态的检测技术主要包括基于运行状态的监测技术、面向列车司机生理信号的监测技术，其中，基于运行状态的监测技术是根据车体运行状态，间接监测司机驾驶状态的方法，通过安装在车上的各种传感器监测车体运行时的相关状态指标，例如从加速度、档位、运行车道、方向盘转向角等状态的更新来推断司机的状态，由于列车运行在特定的轨道上，所以该方式不适合对铁路轨道交通列车司机的驾驶状态进行监测；面向列车司机生理信号的监测技术，主要依据生理指标来分析司机的状态，包括获取司机的脑电信号、心电信号等，虽然该方法可靠性更高，但一般需通过接触式传感器采集生理信号，适应性受限。
总的来说，上述的监测方法由于手段单一，准确率不高，不适用于城市轨道交通列车司机驾驶状态的监测。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种列车在途状态智能联动检测***及方法，以实现列车在途状态的实时监控。
为达上述目的，本发明提出一种列车在途状态智能联动检测***，包括：
图像采集装置，用于实时采集列车驾驶室内司机的脸部图像；
服务器，用于获取图像采集装置采集司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；获取环境监测装置实时采集的环境数据，根据环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制；
环境检测装置，用于实时采集列车驾驶室内的环境数据，并传送至服务器；
语音装置，用于接收所述服务器的告警提醒信息，并将接收到的告警提醒信息通过语音播放设备进行语音播放，以对司机进行提醒；
数据传输装置，用于图像采集装置、环境检测装置、语音装置与服务器之间的无线通信。
优选地，所述图像采集装置、环境检测装置、语音装置、数据传输装置为设置于列车驾驶室内的前端设备。
优选地，服务器进一步包括：
图像预处理单元，用于对采集的图像进行滤波降噪处理和光照补偿处理；
人脸粗定位单元，用于利用高斯肤色模型对预处理后的图像中的人脸区域进行预分割，得到肤色区域与非肤色区域分离的人脸候选图像；
人脸检测单元，用于对人脸候选图像利用AdaBoost算法进行人脸精准检测，采用积分图法快速得到图像的矩形特征，并通过Adaboost算法训练分类器，通过提取的一个小的特征训练成为弱分类器，通过将弱分类器组合形成层叠的强分类器，对人脸候选图像做出判决，筛选出人脸和非人脸，确定人脸区域；
人眼区域定位单元，用于根据确定的人脸区域，运用先验知识初步确定人眼位置，然后利用模板匹配法准确定位人眼区域；
注意力判断单元，用于根据定位的人眼区域识别司机眼睛的睁闭状态，并结合连续帧中的司机眼睛状态来判断司机的注意力集中程度。
告警提醒单元，用于根据所述注意力判断单元的判断结果产生告警提醒信息至语音装置，以通过语音装置产生告警语音提醒司机；
环境数据处理单元，用于对获取的环境数据，根据环境数据产生相应的设备控制信号，以对驾驶室内的环境实现智能控制。
优选地，所述图像预处理单元利用非线性的中值滤波法去除所采集图像中的噪声，并利用直方图均衡化处理对所采集的图像进行光照补偿。
优选地，所述人脸粗定位单元具体用于：
将预处理后的图像从RGB颜色空间转换到HSV颜色空间；
根据HSV颜色空间中H分量的阈值获取图像中的肤色区域；
通过单高斯肤色模型将所述HSV颜色空间的图像转换为肤色似然图像，对肤色似然图像进行二值分割。
获取二值分割后的肤色似然图像和所述图像的肤色区域的共同部分，排除非肤色区域，得到肤色区域和非肤色区域分离的人脸候选图像。
优选地，所述人眼区域定位单元在人脸区域运用先验知识缩小眼睛的理论位置范围，将左右眼睛的位置估计出来，然后进行模板匹配，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来确定候选区域是否为人眼区域，当相关系数大于预先设定好的阈值时判断该区域为人眼区域，否则则不是人眼位置。
优选地，所述注意力判断单元还将确定的司机状态发送至监控中心，以于监控中心输出显示司机当前状态。
优选地，所述环境数据处理单元还将获取的环境数据发送至监控中心，以于监控中心实时输出列车当前环境数据。
优选地，所述数据传输装置包括车载无线通信主机，车载无线信道单元及天线，所述车载无线通信主机为所述数据传输装置的核心，根据信息传输优先级确定传输机制，对故障告警信息采用最高优先级实时传输方式，对车辆和乘客实时状态信息采用实时传输或周期传输方式，对低优先级信息采用静止信道大容量传输方式。
为达到上述目的，本发明还提供一种列车在途状态智能联动检测方法，包括如下步骤：
步骤S1，实时利用图像采集装置采集列车驾驶室内司机的脸部图像，利用环境监测装置采集驾驶室内的环境数据，并通过数据传输装置传送至服务器；
步骤S2，服务器实时获取图像采集装置采集的司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；
步骤S3，根据获取的环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。
与现有技术相比，本发明一种列车在途状态智能联动检测***及方法通过驾驶室内的各个环境因素进行实时监控，极大的保障了列车司机驾驶的环境需求，同时通过对列车司机的精神状态进行实时监控，减少了列车司机精神状态对列车行驶造成的危险因素，极大地保障了乘客们乘坐列车出行的人生安全，能够有效地减少列车事故发生的频率。
附图说明
图1为本发明一种列车在途状态智能联动检测***的***架构图；
图2为本发明具体实施例中车载无线传输平台的结构图；
图3为本发明一种列车在途状态智能联动检测方法的步骤流程图；
图4为本发明实施例中列车在途状态智能联动检测***的工作流程图；
图5为本发明实施例中列车驾驶过程中***监测示意图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种列车在途状态智能联动检测***的***架构图。如图1所示，本发明一种列车在途状态智能联动检测***，包括：
图像采集装置10，用于采集列车驾驶室内司机的脸部图像，并通过数据传输装置传送至服务器20。在本发明具体实施例中，图像采集单元10采用近红外摄像头采集司机的脸部图像，以确保在不同光照条件下都能得到高质量的脸部图像，近红外摄像头可设置于司机位置的正上方，以采集司机的正面人脸图像。
服务器20，用于获取图像采集装置10采集司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；获取环境监测装置实时采集的环境数据，根据环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。
在本发明具体实施例中，服务器20进一步包括：
图像预处理单元201，用于对采集的图像进行滤波降噪处理和光照补偿处理。在本发明具体实施例中，图像预处理单元201用非线性的中值滤波法去除所采集图像中的噪声，同时，利用直方图均衡化处理对所采集的图像进行光照补偿。由于滤波降噪处理和光照补偿等预处理技术采用的均为现有技术，在此不予赘述。
人脸粗定位单元202，用于利用高斯肤色模型对预处理后的图像中的人脸区域进行预分割，得到肤色区域与非肤色区域分离的人脸候选图像。
在本发明具体实施例中，利用高斯肤色模型进行人脸区域预分割的过程如下：
首先，将预处理后的图像从RGB颜色空间转换到HSV颜色空间。
由于在RGB颜色空间中，三个颜色分量都包含亮度信息且存在相关性，对亮度适应性差，HSV颜色空间中色度、亮度、饱和度可很好地分离，且与非肤色点重叠的较少，因此在本发明中，为更好地实现人脸区域检测，将图像从RGB颜色空间转换到HSV颜色空间。
其次，根据HSV颜色空间中H分量的阈值获取图像中的肤色区域。
由于HSV颜色空间中H分量对图像的肤色区域聚合程度较好，与人感受颜色的方式一致，可以更准确地反映目标的色彩性质，能降低图像对亮度变化的敏感性，因此，在本发明中，根据HSV颜色空间中H分量的阈值获取图像中的肤色区域。在本发明具体实施例中，分离图像在HSV颜色空间的三个分量，选择H分量作为肤色分割特征，得到去除非肤色区域的图像I1，H分量满足阈值范围H∈[a,b]，则认为是肤色区域，否则是非肤色区域，其中a,b为经验值。
然后通过单高斯肤色模型将所述HSV颜色空间的图像转换为肤色似然图像，对肤色似然图像进行二值分割，得到图像I2。
最后，获取二值分割后的肤色似然图像和所述图像的肤色区域的共同部分，排除非肤色区域，得到肤色区域和非肤色区域分离的人脸候选图像。
人脸检测单元203，用于对人脸候选图像利用AdaBoost算法进行人脸精准检测，采用积分图法快速得到图像的矩形特征(Haar特征)，并通过Adaboost算法训练分类器，通过提取的一个小的特征训练成为弱分类器，通过将弱分类器组合形成层叠的强分类器，对人脸候选图像做出判决，筛选出人脸和非人脸，确定人脸区域。
AdaBoost算法自提出后就在机器学习领域受到了极大的关注，自将其引入人脸检测问题后，国内外许多学者在此基础上对其作了研究和改进，使其人脸检测更加迅速和准确，从而现在AdaBoost算法已成为人脸检测的主流算法，其具体过程在此不予赘述。
人眼区域定位单元204，用于根据确定的人脸区域，运用先验知识初步确定人眼位置，然后利用模板匹配法准确定位人眼区域。
模板匹配方法的主要思路就是在图像灰度层次上直接比较目标模板和候选图像区域之间的相关性，计算二者之间的相关系数。在本发明具体实施例中，人脸检测单元104已通过AdaBoost算法找到人脸区域，因此可在此基础上运用先验知识缩小眼睛的理论位置范围，将左右眼睛的位置估计出来，然后进行模板匹配，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来确定候选区域是否为人眼区域，当相关系数大于预先设定好的阈值时判断该区域为人眼区域，否则则不是人眼位置。
注意力判断单元205，用于根据定位的人眼区域识别司机眼睛的睁闭状态，并结合连续帧中的司机眼睛状态来判断司机的注意力集中程度。在本发明具体实施例中，注意力判断单元205通过计算眼睛长宽比(EAR，Eye Aspect Ratio)确定司机眼睛的睁开度，并根据睁开度的变化判断司机的状态，一般来说，当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零，睁开度从大到小为进入闭眼期，从小到大为进入睁眼期，计算最长闭眼时间(可用帧数来代替)、闭眼次数为进入闭眼、进入睁眼的次数，并通过设定单位时间内闭眼次数、闭眼时间的阈值判断人是否已经疲劳。
优选地，注意力判断单元205还将确定的司机状态发送至监控中心，以于监控中心输出显示，便于监控中心工作人员监控，例如注意力判断单元205判断出当前司机正处于清醒驾驶的状态之中，则将其状态传送至监控中心，于监控中心显示“状态良好”，若判断出当前司机精神状态萎靡，注意力不集中等状态，则于监控中心显示“状态差”。
告警提醒单元206，用于根据注意力判断单元205的判断结果产生告警提醒信息至语音装置40，以通过语音装置40产生告警语音提醒司机。
环境数据处理单元207，用于对获取的环境数据，根据环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。例如当获取的环境数据中温度超过预设阈值时，则产生控制信号至驾驶室内的空调，以调节降低驾驶室内的温度，同时，环境数据处理单元207还将获取的环境数据发送至监控中心，以于监控中心输出显示，便于监控中心工作人员监控。
环境检测装置30，用于实时采集列车驾驶室内的温度、湿度、烟雾浓度等环境数据，并通过数据传输装置传送至服务器20。
在本发明具体实施例中，环境检测装置30通过温度传感器、湿度传感器以及烟雾传感器等传感器实时采集环境数据，将采集的环境数据通过数据传输装置传输至服务器。
语音装置40，用于接收服务器20的告警提醒信息，并将接收到的告警提醒信息通过语音播放设备进行语音播放，以对司机进行提醒。例如当注意力判断单元205判断出当前司机的精神状态不集中，则告警提醒单元206产生告警提示信息“你已疲劳驾驶，请更换司机驾驶”进行告警提醒，所述告警提示信息可以是预先设置的信息，也可以是告警提醒单元206接收监控中心工作人员的提醒信息，在此不做限制。
数据传输装置50，用于图像采集装置10、环境检测装置30、语音装置40与服务器20之间的无线通信。
在本发明具体实施例中，如图2所示，数据传输装置50由车载无线通信主机，车载无线信道单元及天线组成，其中车载无线信道单元及天线包括车载实时信道单元、车载实时信道天线、车载静止信道单元和车载静止天线。车载无线通信主机是整个数据传输装置的核心，它根据信息传输优先级确定传输机制，对故障告警信息采用最高优先级实时传输方式，对车辆和乘客实时状态信息采用实时传输或周期传输方式，对低优先级信息采用静止信道大容量传输方式。对需要传输的数据进行打包和缓存，并分发到相应的信道单元，对实时信道单元、静止信道单元进行控制，自动均衡实时无线信道与大容量静止信道的传输资源，实现列车在途状态信息向地面监控中心的实时传输。
图3为本发明一种列车在途状态智能联动检测方法的步骤流程图。如图3所示，本发明一种列车在途状态智能联动检测方法，包括如下步骤：
步骤S1，实时利用图像采集装置采集列车驾驶室内司机的脸部图像，利用环境监测装置采集驾驶室内的环境数据，并通过数据传输装置传送至服务器。
在本发明具体实施例中，图像采集装置采用近红外摄像头采集司机的脸部图像，以确保在不同光照条件下都能得到高质量的脸部图像，近红外摄像头可设置于司机位置的正上方，以采集司机的正面人脸图像。
环境检测装置30通过温度传感器、湿度传感器以及烟雾传感器等传感器实时采集环境数据，将采集的环境数据通过数据传输装置传输至服务器。
步骤S2，服务器实时获取图像采集装置采集的司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒。
具体地，步骤S2进一步包括：
步骤S200，对采集的图像进行滤波降噪处理和光照补偿处理。在本发明具体实施例中，利用非线性的中值滤波法去除所采集图像中的噪声，同时，利用直方图均衡化处理对所采集的图像进行光照补偿。由于滤波降噪处理和光照补偿等预处理技术采用的均为现有技术，在此不予赘述。
步骤S201，利用高斯肤色模型对预处理后的图像中的人脸区域进行预分割，得到肤色区域与非肤色区域分离的人脸候选图像。
在本发明具体实施例中，利用高斯肤色模型进行人脸区域预分割的过程如下：
首先，将预处理后的图像从RGB颜色空间转换到HSV颜色空间。
由于在RGB颜色空间中，三个颜色分量都包含亮度信息且存在相关性，对亮度适应性差，HSV颜色空间中色度、亮度、饱和度可很好地分离，且与非肤色点重叠的较少，因此在本发明中，为更好地实现人脸区域检测，将图像从RGB颜色空间转换到HSV颜色空间。
其次，根据HSV颜色空间中H分量的阈值获取图像中的肤色区域。
由于HSV颜色空间中H分量对图像的肤色区域聚合程度较好，与人感受颜色的方式一致，可以更准确地反映目标的色彩性质，能降低图像对亮度变化的敏感性，因此，在本发明中，根据HSV颜色空间中H分量的阈值获取图像中的肤色区域。在本发明具体实施例中，分离图像在HSV颜色空间的三个分量，选择H分量作为肤色分割特征，得到去除非肤色区域的图像I1，H分量满足阈值范围H∈[a,b]，则认为是肤色区域，否则是非肤色区域，其中a,b为经验值。
然后通过单高斯肤色模型将所述HSV颜色空间的图像转换为肤色似然图像，对肤色似然图像进行二值分割，得到图像I2。
最后，获取二值分割后的肤色似然图像和所述图像的肤色区域的共同部分，排除非肤色区域，得到肤色区域和非肤色区域分离的人脸候选图像。
步骤S202，对人脸候选图像利用AdaBoost算法进行人脸精准检测，采用积分图法快速得到图像的矩形特征(Haar特征)，并通过Adaboost算法训练分类器，通过提取的一个小的特征训练成为弱分类器，通过将弱分类器组合形成层叠的强分类器，对人脸候选图像做出判决，筛选出人脸和非人脸，确定人脸区域。
步骤S203，根据确定的人脸区域，运用先验知识初步确定人眼位置，然后利用模板匹配法准确定位人眼区域。
模板匹配方法的主要思路就是在图像灰度层次上直接比较目标模板和候选图像区域之间的相关性，计算二者之间的相关系数。在本发明具体实施例中，步骤S202已通过AdaBoost算法找到人脸区域，因此可在此基础上运用先验知识缩小眼睛的理论位置范围，将左右眼睛的位置估计出来，然后进行模板匹配，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来确定候选区域是否为人眼区域，当相关系数大于预先设定好的阈值时判断该区域为人眼区域，否则则不是人眼位置。
步骤S204，根据定位的人眼区域识别司机眼睛的睁闭状态，并结合连续帧中的司机眼睛状态来判断司机的注意力集中程度。在本发明具体实施例中，通过计算眼睛长宽比(EAR，Eye Aspect Ratio)确定司机眼睛的睁开度，并根据睁开度的变化判断司机的状态，一般来说，当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零，睁开度从大到小为进入闭眼期，从小到大为进入睁眼期，计算最长闭眼时间(可用帧数来代替)、闭眼次数为进入闭眼、进入睁眼的次数，并通过设定单位时间内闭眼次数、闭眼时间的阈值判断人是否已经疲劳。
优选地，当判断出司机的注意力集中程度后，还将确定的司机状态发送至监控中心，以于监控中心输出显示，便于监控中心工作人员监控，例如判断出当前司机正处于清醒驾驶的状态之中，则将其状态传送至监控中心，于监控中心显示“状态良好”，若判断出当前司机精神状态萎靡，注意力不集中等状态，则于监控中心显示“状态差”。
步骤S205，用于根据步骤S204的判断结果产生告警提醒信息至语音装置，以通过语音装置产生告警语音提醒司机。
步骤S3，根据获取的环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。
实施例
在本实施例中，在列车司机室内安装有红外高清摄像头、语音装置、环境检测装置以及数据传输装置等前端设备，如图4所示，***利用红外高清摄像头对司机的面部，行为动作进行图像采集以及利用环境检测装置，例如温度、湿度、烟雾传感器采集司机室内的温度、湿度、烟雾浓度等数据，并将这些数据实时传输至服务器，服务器将会对传输来的数据进行分析，根据采集到的司机面部、行为动作等数据对司机的精神状态得出判断结果，同时通过交换机将结果反应到监控大厅，以达到对司机精神状态实时监控的目的。
在驾驶过程中，如图5所示，***会时刻记录判断驾驶司机的精神状态，并将状态判断实时反馈显示在监控大厅上，在行使过程中，如果司机以精神饱满的状态进行驾驶，***会在监控中心显示“状态良好”表示此时司机正处于清醒驾驶的状态之中，如果此时司机的精神状态萎靡，出现疲劳，注意力不集中等状态时，***便会在监控中心显示“状态差”表示此时司机的精神状态并不适合驾驶列车，同时驾驶室内的语音***也会对司机发出语音提醒，警告司机此时应该需要换人驾驶，及时休息，以此保证司机在驾驶过程中的精神状态，极大的保障了乘客们的生命安全。
***还通过环境监测装置对司机室内的环境进行监控，以达到司机室内的一个环境舒适要求，同时，***还可对司机室内的环境进行智能控制，例如链接空调等设备，将室内的温度、达到一个舒适的要求状态，进而可以保证为司机驾驶提供一个舒适的环境。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (10)
1.一种列车在途状态智能联动检测***，包括：
图像采集装置，用于实时采集列车驾驶室内司机的脸部图像；
服务器，用于获取图像采集装置采集司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；获取环境监测装置实时采集的环境数据，根据环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制；
环境检测装置，用于实时采集列车驾驶室内的环境数据，并传送至服务器；
语音装置，用于接收所述服务器的告警提醒信息，并将接收到的告警提醒信息通过语音播放设备进行语音播放，以对司机进行提醒；
数据传输装置，用于图像采集装置、环境检测装置、语音装置与服务器之间的无线通信。
2.如权利要求1所述的一种列车在途状态智能联动检测***，其特征在于：所述图像采集装置、环境检测装置、语音装置、数据传输装置为设置于列车驾驶室内的前端设备。
3.如权利要求2所述的一种列车在途状态智能联动检测***，其特征在于，服务器进一步包括：
图像预处理单元，用于对采集的图像进行滤波降噪处理和光照补偿处理；
人脸粗定位单元，用于利用高斯肤色模型对预处理后的图像中的人脸区域进行预分割，得到肤色区域与非肤色区域分离的人脸候选图像；
人脸检测单元，用于对人脸候选图像利用AdaBoost算法进行人脸精准检测，采用积分图法快速得到图像的矩形特征，并通过Adaboost算法训练分类器，通过提取的一个小的特征训练成为弱分类器，通过将弱分类器组合形成层叠的强分类器，对人脸候选图像做出判决，筛选出人脸和非人脸，确定人脸区域；
人眼区域定位单元，用于根据确定的人脸区域，运用先验知识初步确定人眼位置，然后利用模板匹配法准确定位人眼区域；
注意力判断单元，用于根据定位的人眼区域识别司机眼睛的睁闭状态，并结合连续帧中的司机眼睛状态来判断司机的注意力集中程度。
告警提醒单元，用于根据所述注意力判断单元的判断结果产生告警提醒信息至语音装置，以通过语音装置产生告警语音提醒司机；
环境数据处理单元，用于对获取的环境数据，根据环境数据产生相应的设备控制信号，以对驾驶室内的环境实现智能控制。
4.如权利要求3所述的一种列车在途状态智能联动检测***，其特征在于：所述图像预处理单元利用非线性的中值滤波法去除所采集图像中的噪声，并利用直方图均衡化处理对所采集的图像进行光照补偿。
5.如权利要求4所述的一种列车在途状态智能联动检测***，其特征在于，所述人脸粗定位单元具体用于：
将预处理后的图像从RGB颜色空间转换到HSV颜色空间；
根据HSV颜色空间中H分量的阈值获取图像中的肤色区域；
通过单高斯肤色模型将所述HSV颜色空间的图像转换为肤色似然图像，对肤色似然图像进行二值分割。
获取二值分割后的肤色似然图像和所述图像的肤色区域的共同部分，排除非肤色区域，得到肤色区域和非肤色区域分离的人脸候选图像。
6.如权利要求5所述的一种列车在途状态智能联动检测***，其特征在于：所述人眼区域定位单元在人脸区域运用先验知识缩小眼睛的理论位置范围，将左右眼睛的位置估计出来，然后进行模板匹配，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来确定候选区域是否为人眼区域，当相关系数大于预先设定好的阈值时判断该区域为人眼区域，否则则不是人眼位置。
7.如权利要求6所述的一种列车在途状态智能联动检测***，其特征在于：所述注意力判断单元还将确定的司机状态发送至监控中心，以于监控中心输出显示司机当前状态。
8.如权利要求3所述的一种列车在途状态智能联动检测***，其特征在于：所述环境数据处理单元还将获取的环境数据发送至监控中心，以于监控中心实时输出列车当前环境数据。
9.如权利要求3所述的一种列车在途状态智能联动检测***，其特征在于：所述数据传输装置包括车载无线通信主机，车载无线信道单元及天线，所述车载无线通信主机为所述数据传输装置的核心，根据信息传输优先级确定传输机制，对故障告警信息采用最高优先级实时传输方式，对车辆和乘客实时状态信息采用实时传输或周期传输方式，对低优先级信息采用静止信道大容量传输方式。
10.一种列车在途状态智能联动检测方法，包括如下步骤：
步骤S1，实时利用图像采集装置采集列车驾驶室内司机的脸部图像，利用环境监测装置采集驾驶室内的环境数据，并通过数据传输装置传送至服务器；
步骤S2，服务器实时获取图像采集装置采集的司机的脸部图像，对脸部图像进行人脸检测确定人脸区域，并根据确定的人脸区域进一步确认人眼区域，根据确定的人眼区域判断司机的眼部状态，从而确定司机当前的状态，并通过语音装置向司机发出语音提醒；
步骤S3，根据获取的环境数据产生相应的设备控制信号至相应的设备，以对驾驶室内的环境实现智能控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110237967.1A CN113076801A (zh) | 2021-03-04 | 2021-03-04 | 一种列车在途状态智能联动检测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110237967.1A CN113076801A (zh) | 2021-03-04 | 2021-03-04 | 一种列车在途状态智能联动检测***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113076801A true CN113076801A (zh) | 2021-07-06 |
Family
ID=76609835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110237967.1A Pending CN113076801A (zh) | 2021-03-04 | 2021-03-04 | 一种列车在途状态智能联动检测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113076801A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102054163A (zh) * | 2009-10-27 | 2011-05-11 | 南京理工大学 | 基于单目视觉的驾驶员疲劳检测方法 |
| CN103065121A (zh) * | 2012-12-13 | 2013-04-24 | 李秋华 | 基于视频人脸分析的火车司机状态监控方法及装置 |
| US20130257620A1 (en) * | 2012-03-30 | 2013-10-03 | Utechzone Co., Ltd. | Device and method for detecting driver's attention through interactive voice questioning |
| CN104050456A (zh) * | 2014-06-27 | 2014-09-17 | 南京通用电器有限公司 | 一种基于不变矩的监测驾驶员眼睛状态的方法 |
| CN105426816A (zh) * | 2015-10-29 | 2016-03-23 | 深圳怡化电脑股份有限公司 | 一种处理人脸图像的方法及装置 |
| CN105512630A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 近实时效应的人眼检测与定位方法 |
| CN206348023U (zh) * | 2017-01-06 | 2017-07-21 | 邰海军 | 一种车内环境检测装置 |
| CN107133605A (zh) * | 2017-05-25 | 2017-09-05 | 上海复旦通讯股份有限公司 | 一种基于lte‑r网络的列车司机监控***及装置 |
| CN107292251A (zh) * | 2017-06-09 | 2017-10-24 | 湖北天业云商网络科技有限公司 | 一种基于人眼状态的驾驶员疲劳检测方法及*** |
| CN110334592A (zh) * | 2019-05-27 | 2019-10-15 | 天津科技大学 | 一种司机异常行为监测和安全保障***及其方法 |
| CN110582437A (zh) * | 2019-05-31 | 2019-12-17 | 驭势（上海）汽车科技有限公司 | 驾驶提醒方法、驾驶状态检测方法和计算设备 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
| CN111044105A (zh) * | 2019-12-31 | 2020-04-21 | 武汉工程大学 | 一种应用于物流车的环境数据监测***及方法 |
-
2021
- 2021-03-04 CN CN202110237967.1A patent/CN113076801A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102054163A (zh) * | 2009-10-27 | 2011-05-11 | 南京理工大学 | 基于单目视觉的驾驶员疲劳检测方法 |
| US20130257620A1 (en) * | 2012-03-30 | 2013-10-03 | Utechzone Co., Ltd. | Device and method for detecting driver's attention through interactive voice questioning |
| CN103065121A (zh) * | 2012-12-13 | 2013-04-24 | 李秋华 | 基于视频人脸分析的火车司机状态监控方法及装置 |
| CN104050456A (zh) * | 2014-06-27 | 2014-09-17 | 南京通用电器有限公司 | 一种基于不变矩的监测驾驶员眼睛状态的方法 |
| CN105426816A (zh) * | 2015-10-29 | 2016-03-23 | 深圳怡化电脑股份有限公司 | 一种处理人脸图像的方法及装置 |
| CN105512630A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 近实时效应的人眼检测与定位方法 |
| CN206348023U (zh) * | 2017-01-06 | 2017-07-21 | 邰海军 | 一种车内环境检测装置 |
| CN107133605A (zh) * | 2017-05-25 | 2017-09-05 | 上海复旦通讯股份有限公司 | 一种基于lte‑r网络的列车司机监控***及装置 |
| CN107292251A (zh) * | 2017-06-09 | 2017-10-24 | 湖北天业云商网络科技有限公司 | 一种基于人眼状态的驾驶员疲劳检测方法及*** |
| CN110334592A (zh) * | 2019-05-27 | 2019-10-15 | 天津科技大学 | 一种司机异常行为监测和安全保障***及其方法 |
| CN110582437A (zh) * | 2019-05-31 | 2019-12-17 | 驭势（上海）汽车科技有限公司 | 驾驶提醒方法、驾驶状态检测方法和计算设备 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
| CN111044105A (zh) * | 2019-12-31 | 2020-04-21 | 武汉工程大学 | 一种应用于物流车的环境数据监测***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108791299B (zh) | 一种基于视觉的驾驶疲劳检测及预警***及方法 | |
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及*** | |
| CN101639894B (zh) | 在线检测列车驾驶员行为和疲劳状态的方法及其检测*** | |
| CN104013414B (zh) | 一种基于移动智能手机的驾驶员疲劳检测*** | |
| Rongben et al. | Monitoring mouth movement for driver fatigue or distraction with one camera | |
| US8164463B2 (en) | Driver management apparatus and travel management system | |
| Hossain et al. | IOT based real-time drowsy driving detection system for the prevention of road accidents | |
| CN102436715B (zh) | 疲劳驾驶检测方法 | |
| CN103150560B (zh) | 一种汽车智能安全驾驶的实现方法 | |
| CN110532976A (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及*** | |
| CN106571015A (zh) | 基于互联网络的驾驶行为数据采集方法 | |
| CN106529496B (zh) | 一种机车乘务员实时视频疲劳检测的方法 | |
| CN110826369A (zh) | 一种驾驶员驾驶时注意力检测方法和*** | |
| CN109977930B (zh) | 疲劳驾驶检测方法及装置 | |
| CN103824420A (zh) | 基于心率变异性非接触式测量的疲劳驾驶识别*** | |
| CN105788176A (zh) | 疲劳驾驶监测提醒方法及*** | |
| CN104068868A (zh) | 一种基于机器视觉的驾驶人疲劳监测方法及装置 | |
| CN106295474B (zh) | 船舶驾驶员的疲劳检测方法、***和服务器 | |
| CN102201148A (zh) | 一种基于视觉的驾驶员疲劳检测方法及*** | |
| CN107571735A (zh) | 一种机动车驾驶员状态监测***及监测方法 | |
| CN104881956A (zh) | 一种疲劳驾驶预警*** | |
| CN107563346A (zh) | 一种基于人眼图像处理实现驾驶员疲劳判别的方法 | |
| CN109543577A (zh) | 一种基于面部表情特征的疲劳驾驶检测预警方法 | |
| CN113076801A (zh) | 一种列车在途状态智能联动检测***及方法 | |
| CN204706141U (zh) | 可穿戴设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210706 |