CN111597924A - 一种基于视觉的疲劳驾驶主机的检测***及方法 - Google Patents
一种基于视觉的疲劳驾驶主机的检测***及方法 Download PDFInfo
- Publication number
- CN111597924A CN111597924A CN202010353155.9A CN202010353155A CN111597924A CN 111597924 A CN111597924 A CN 111597924A CN 202010353155 A CN202010353155 A CN 202010353155A CN 111597924 A CN111597924 A CN 111597924A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- driving host
- information
- state
- fatigue driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 106
- 238000004458 analytical method Methods 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims description 21
- 238000007639 printing Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 235000012054 meals Nutrition 0.000 claims 2
- 238000007689 inspection Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000009434 installation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视觉的疲劳驾驶主机的检测***及方法，其***包括视频录像回放组件，根据工控机的控制指令实时生成时间戳信息，对预先存储的视频片段进行解析，并生成的解析文件；疲劳驾驶主机，接收解析文件，判断对应的驾驶员状态信息；工控机，向视频录像回放组件发送控制指令，根据驾驶员状态信息生成检测结果；扫描枪，扫描疲劳驾驶主机上的设备标识，读取设备信息；显示器，显示疲劳驾驶主机的设备信息和对应的检测结果。本发明通过对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并确定驾驶员状态信息，以确定疲劳驾驶主机是否合格，大大提高检测效率，避免随机因素影响果，不受外部因素的影响，保证出厂检验的有效性和一致性。
Description
技术领域
本发明涉及汽车零部件检测技术领域，尤其涉及一种基于视觉的疲劳驾驶主机的检测***及方法。
背景技术
随着汽车智能化、以及摄像技术的发展，越来越多的基于图像传感识别的产品被应用在汽车上，特别是近2-3年，基于视觉的疲劳驾驶预警开始广泛应用于汽车领域。
疲劳驾驶预警***主要功能是检测可能影响驾驶安全的行为，在为驾驶员提供安全预警的同时，为监管部门提供技术手段，常见的疲劳驾驶产品功能包括如下两个方面：
1、基于图像识别原理，对闭眼、打哈欠、打电话、低头分神、抽烟、左顾右盼等存在安全隐患的驾驶行为进行检测和预警提示。
2、通过汽车CAN总线发送对应的报警报文。
目前，相关疲劳驾驶产品的生产中普遍存在如下几个问题：
1、目前生产主要是采用检测员模拟闭眼、打哈欠、打电话等行为动作，来达到功能检测的目的，这种检测方法效率低下，且由于动作是检测员模拟的，随机性太大，不利于保证产品一致性。
2、疲劳驾驶检测的成功率会受到车辆的颠簸、摄像头的安装角度、阳光光线情况等各方面的影响。而在工厂的环境下，不可能完全模拟装车状态下的实际应用场景。
3、如何在不影响产能的情况下，做到人、机、物、料、法的有效控制和留存，是保证疲劳驾驶产品质量得到保证的关键。现有的疲劳驾驶产品的检测无法做到人、机、物、料、法的有效的控制、跟踪和留存。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于视觉的疲劳驾驶主机的检测***及方法。
本发明解决上述技术问题的技术方案如下：一种基于视觉的疲劳驾驶主机的检测***，包括视频录像回放组件、疲劳驾驶主机、工控机、扫描枪和显示器；
所述视频录像回放组件，用于根据所述工控机的控制指令实时生成时间戳信息，对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件实时发送至所述疲劳驾驶主机；
所述疲劳驾驶主机，用于接收所述解析文件，根据所述解析文件判断对应的驾驶员状态信息，并发送至所述工控机；
所述工控机，用于向所述视频录像回放组件发送控制指令，还用于根据所述疲劳驾驶主机发送的所述驾驶员状态信息与预先存储的所述视频片段对应的预设标准状态信息映射表进行比对，并生成检测结果；
所述扫描枪，用于扫描预先设置在所述疲劳驾驶主机上的设备标识，读取所述疲劳驾驶主机的设备信息并发送至所述工控机；
所述显示器，用于显示所述疲劳驾驶主机的设备信息和对应的检测结果。
本发明的有益效果是：本发明的基于视觉的疲劳驾驶主机的检测***，通过视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，然后由所述疲劳驾驶主机根据解析文件实时确定驾驶员状态信息，并由工控机根据预设标桩状态信息映射表实时确定所述疲劳驾驶主机确定的驾驶员状态信息是否准确，以确定疲劳驾驶主机是否合格，大大提高了检测效率，避免传统的检测中的随机性影响检测结果，不会受到车辆的颠簸、摄像头的安装角度、阳光光线情况等外部因素的影响，保证出厂检验的有效性，一致性，同时通过对所述设备信息进行跟踪，实现对产品检测有效的控制、跟踪和留存。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步：所述视频录像回放组件包括主控制器、存储器、解码模块和通讯模块，所述存储器、解码模块和通用模块分别与所述主控制模块电连接；
所述存储器，用于预先存储疲劳状态和非疲劳状态的视频片段；
所述通讯模块，用于所述主控制器与所述工控机进行通讯，并传送所述控制指令；
所述主控制器，用于根据所述控制指令读取预先存储在所述存储器中的疲劳状态和非疲劳状态的视频片段，并发送至所述解码模块；
所述解码模块，用于对所述疲劳状态和非疲劳状态的视频片段进行解码处理，生成的解析文件并发送至所述疲劳驾驶主机；
其中，所述解析文件包括图像帧以及对应的时间戳信息。
上述进一步方案的有益效果是：通过所述存储器预先存储疲劳状态和非疲劳状态的视频片段，这样通过所述主控制器根据所述控制指令读取预先存储在所述存储器中的疲劳状态和非疲劳状态的视频片段，然后由所述解码模块对所述疲劳状态和非疲劳状态的视频片段进行解码处理，这样即可得到多个图像帧，这样便于所述疲劳驾驶主机直接根据所述图像帧确定对应的驾驶员状态信息。由于在工厂只能模拟常规的场景、无法覆盖车辆颠簸、阳光剧烈变化、以及摄像头特殊的拍摄角度场景要求，本方法可以事先采集这些应用场景，保证这些场景在下线检测时进行覆盖，以提高下线检测的有效性。
进一步：所述解码模块生成解析文件的具体实现为：
所述解码模块对所述疲劳状态和非疲劳状态的视频片段进行解码处理，得到多个图像帧；
所述解码模块读取所述图像帧，将其与对应的所述时间戳信息关联并生成所述解析文件，将所述解析文件实时发送至所述疲劳驾驶主机。
上述进一步方案的有益效果是：通过将所述解码模块解码后得到的多个图像帧与对应的时间戳信息关联，这样后续工控机在收到所述图像帧对应的驾驶员状态后方便与预设标准状态信息映射表进行比对，以确定所述疲劳驾驶主机是否合格。
进一步：所述疲劳驾驶主机根据所述解析文件判断对应的驾驶员状态的具体实现为：
读取所述解析文件中的图像帧，并对所述图像帧进行图像特征提取处理，获取图像特征信息；
将所述图像特征信息与预先存储的多种疲劳状态图像特征信息进行匹配，如果二者匹配，则确定对应的驾驶员状态信息为疲劳状态，否则，确定对应的驾驶员状态信息为非疲劳状态；
读取所述解析文件中所述图像帧对应的时间戳信息，将其与对应的所述驾驶员状态信息关联，并发送至所述工控机。
上述进一步方案的有益效果是：通过对所述图像帧进行图像特征提取处理，提取图像特征信息，方便将所述图像特征性与对应的所述疲劳状态图像特征信息进行匹配，以准确确定对应的驾驶状态信息。
进一步：所述工控机生成所述检测结果的具体实现为：
读取所述驾驶员状态信息和对应的时间戳信息，并根据所述时间戳信息从预设标准状态信息映射表中读取对应的预设标准状态信息进行比对，如果二者匹配，则所述疲劳驾驶主机检测合格；否则，所述疲劳驾驶主机检测不合格。
上述进一步方案的有益效果是：通过所述时间戳信息即可从所述预设标准状态信息映射表中读取对应的预设标准状态信息，然后将所述驾驶员状态信息与对应的预设标准状态信息比对，从而可以准确判断所述疲劳驾驶主机是否合格，检测效率高，检测结果准确，产品出厂一致性好。
进一步：所述的基于视觉的疲劳驾驶主机的检测***还包括打印模块，用于在所述疲劳驾驶主机的检测结果为合格时，打印包含有所述检测结果和设备信息并粘贴于产品上的产品标签。
上述进一步方案的有益效果是：通过所述打印模块可以直接打印包含有所述检测结果和设备信息并粘贴于产品上的产品标签，方便对出厂产品进行标记，方便后续包装识别。
进一步：所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析之前，还对所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，以保证每个所述视频片段的初始解析顺序均被交换；
其中，每个所述视频片段包含多幅疲劳状态对应的图像帧或多幅非疲劳状态对应的图像帧。
上述进一步方案的有益效果是：通过将所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，这样可以使得检测结果不具备规律性，这样可以保证检测结果更加可靠。
本发明还提供了一种基于视觉的疲劳驾驶主机的检测方法, 包括如下步骤：
视频录像回放组件根据工控机的控制指令实时生成时间戳信息，对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件实时发送至疲劳驾驶主机；
疲劳驾驶主机接收所述解析文件，根据所述解析文件判断对应的驾驶员状态信息，并发送至所述工控机
所述工控机根据所述疲劳驾驶主机发送的所述驾驶员状态信息与预先存储的所述视频片段对应的预设标准状态信息映射表进行比对，并生成检测结果；
扫描枪扫描预先设置在所述疲劳驾驶主机上的设备标识，读取所述疲劳驾驶主机的设备信息并发送至所述工控机；
显示器显示所述疲劳驾驶主机的设备信息和对应的检测结果。
本发明的基于视觉的疲劳驾驶主机的检测方法，通过视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，然后由所述疲劳驾驶主机根据解析文件实时确定驾驶员状态信息，并由工控机根据预设标桩状态信息映射表实时确定所述疲劳驾驶主机确定的驾驶员状态信息是否准确，以确定疲劳驾驶主机是否合格，大大提高了检测效率，避免传统的检测中的随机性影响检测结果，可以覆盖车辆的颠簸、摄像头的安装角度、阳光光线情况等应用场景的测试，保证出厂检验的有效性，一致性，同时通过对所述设备信息进行跟踪，实现对产品检测有效的控制、跟踪和留存。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步：所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件发送至所述疲劳驾驶主机具体包括：
对所述疲劳状态和非疲劳状态的视频片段进行解码处理，得到多个图像帧；
读取所述图像帧，将其与对应的所述时间戳信息关联并生成所述解析文件，将所述解析文件实时发送至所述疲劳驾驶主机。
上述进一步方案的有益效果是：通过将所述解码模块解码后得到的多个图像帧与对应的时间戳信息关联，这样后续工控机在收到所述图像帧对应的驾驶员状态后方便与预设标准状态信息映射表进行比对，以确定所述疲劳驾驶主机是否合格。
进一步：所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析之前，还包括如下步骤：
对所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，以保证每个所述视频片段的初始解析顺序均被交换；
其中，每个所述视频片段包含多幅疲劳状态对应的图像帧或多幅非疲劳状态对应的图像帧。
上述进一步方案的有益效果是：通过将所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，这样可以使得检测结果不具备规律性，这样可以保证检测结果更加可靠。
附图说明
图1为本发明的基于视觉的疲劳驾驶主机的检测***结构示意图；
图2为本发明的基于视觉的疲劳驾驶主机的检测方法流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于视觉的疲劳驾驶主机的检测***, 包括视频录像回放组件、疲劳驾驶主机、工控机、扫描枪和显示器；
所述视频录像回放组件，用于根据所述工控机的控制指令实时生成时间戳信息，对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件实时发送至所述疲劳驾驶主机；
所述疲劳驾驶主机，用于接收所述解析文件，根据所述解析文件判断对应的驾驶员状态信息，并发送至所述工控机；
所述工控机，用于向所述视频录像回放组件发送控制指令，还用于根据所述疲劳驾驶主机发送的所述驾驶员状态信息与预先存储的所述视频片段对应的预设标准状态信息映射表进行比对，并生成检测结果；
所述扫描枪，用于扫描预先设置在所述疲劳驾驶主机上的设备标识，读取所述疲劳驾驶主机的设备信息并发送至所述工控机；
所述显示器，用于显示所述疲劳驾驶主机的设备信息和对应的检测结果。
本发明的基于视觉的疲劳驾驶主机的检测***，通过视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，然后由所述疲劳驾驶主机根据解析文件实时确定驾驶员状态信息，并由工控机根据预设标桩状态信息映射表实时确定所述疲劳驾驶主机确定的驾驶员状态信息是否准确，以确定疲劳驾驶主机是否合格，大大提高了检测效率，避免传统的检测中的随机性影响检测结果，不会受到车辆的颠簸、摄像头的安装角度、阳光光线情况等外部因素的影响，保证出厂检验的有效性，一致性，同时通过对所述设备信息进行跟踪，实现对产品检测有效的控制、跟踪和留存。
在本发明提供的一个或多个实施例中，所述视频录像回放组件包括主控制器、存储器、解码模块和通讯模块，所述存储器、解码模块和通用模块分别与所述主控制模块电连接；
所述存储器，用于预先存储疲劳状态和非疲劳状态的视频片段；
所述通讯模块，用于所述主控制器与所述工控机进行通讯，并传送所述控制指令；
所述主控制器，用于根据所述控制指令读取预先存储在所述存储器中的疲劳状态和非疲劳状态的视频片段，并发送至所述解码模块；
所述解码模块，用于对所述疲劳状态和非疲劳状态的视频片段进行解码处理，生成的解析文件并发送至所述疲劳驾驶主机；
其中，所述解析文件包括图像帧以及对应的时间戳信息。
通过所述存储器预先存储疲劳状态和非疲劳状态的视频片段，这样通过所述主控制器根据所述控制指令读取预先存储在所述存储器中的疲劳状态和非疲劳状态的视频片段，然后由所述解码模块对所述疲劳状态和非疲劳状态的视频片段进行解码处理，这样即可得到多个图像帧，这样便于所述疲劳驾驶主机直接根据所述图像帧确定对应的驾驶员状态信息。由于在工厂只能模拟常规的场景、无法覆盖车辆颠簸、阳光剧烈变化、以及摄像头特殊的拍摄角度场景要求，本方法可以事先采集这些应用场景，保证这些场景在下线检测时进行覆盖，以提高下线检测的有效性。
本发明中，所述存储器可以为内置的存储器，也可以是外挂的视频存储模块、SD卡和U盘等存储设备，所述通讯模块采用CAN通讯模块。另外，所述通讯模块与所述工控机之间通过CAN转USB模块连接，以进行控制指令的传输。
在本发明提供的一个或多个实施例中，所述解码模块生成解析文件的具体实现为：
所述解码模块对所述疲劳状态和非疲劳状态的视频片段进行解码处理，得到多个图像帧；
所述解码模块读取所述图像帧，将其与对应的所述时间戳信息关联并生成所述解析文件，将所述解析文件实时发送至所述疲劳驾驶主机。
通过将所述解码模块解码后得到的多个图像帧与对应的时间戳信息关联，这样后续工控机在收到所述图像帧对应的驾驶员状态后方便与预设标准状态信息映射表进行比对，以确定所述疲劳驾驶主机是否合格。
在本发明提供的一个或多个实施例中，所述疲劳驾驶主机根据所述解析文件判断对应的驾驶员状态的具体实现为：
读取所述解析文件中的图像帧，并对所述图像帧进行图像特征提取处理，获取图像特征信息；
将所述图像特征信息与预先存储的多种疲劳状态图像特征信息进行匹配，如果二者匹配，则确定对应的驾驶员状态信息为疲劳状态，否则，确定对应的驾驶员状态信息为非疲劳状态；
读取所述解析文件中所述图像帧对应的时间戳信息，将其与对应的所述驾驶员状态信息关联，并发送至所述工控机。
通过对所述图像帧进行图像特征提取处理，提取图像特征信息，方便将所述图像特征性与对应的所述疲劳状态图像特征信息进行匹配，以准确确定对应的驾驶状态信息。
在本发明提供的一个或多个实施例中，所述工控机生成所述检测结果的具体实现为：
读取所述驾驶员状态信息和对应的时间戳信息，并根据所述时间戳信息从预设标准状态信息映射表中读取对应的预设标准状态信息进行比对，如果二者匹配，则所述疲劳驾驶主机检测合格；否则，所述疲劳驾驶主机检测不合格。
通过所述时间戳信息即可从所述预设标准状态信息映射表中读取对应的预设标准状态信息，然后将所述驾驶员状态信息与对应的预设标准状态信息比对，从而可以准确判断所述疲劳驾驶主机是否合格，检测效率高，检测结果准确，产品出厂一致性好。
优选地，在本发明提供的一个或多个实施例中，所述的基于视觉的疲劳驾驶主机的检测***还包括打印模块，用于在所述疲劳驾驶主机的检测结果为合格时，打印包含有所述检测结果和设备信息并粘贴于产品上的产品标签。
通过所述打印模块可以直接打印包含有所述检测结果和设备信息并粘贴于产品上的产品标签，方便对出厂产品进行标记，方便后续包装识别。
优选地，实际中，当所述疲劳驾驶主机的检测结果不合格时，所述工控机根据所述检测结果和设备信息生成检测报告，该检测结果还包括具体的视频片段、对应的时间戳信息，并通过所述显示器进行显示，方便检测人员及时进行处理。疲劳驾驶主机通过can总线实时获取疲劳驾驶主机发送的用于代表检测的驾驶员状态（比如疲劳状态、打手机状态、抽烟状态等等）的指令，同时，疲劳驾驶主机将视频录像回放组件发送的解析文件通过CVBS接口输出给工控机，工控机实时将各个时间戳播放的图像帧进行记录，同时还可以发送给显示器显示，便于检测人员实时观察。
优选地，在本发明提供的一个或多个实施例中，所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析之前，还对所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，以保证每个所述视频片段的初始解析顺序均被交换；
其中，每个所述视频片段包含多幅疲劳状态对应的图像帧或多幅非疲劳状态对应的图像帧。
通过将所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，这样可以使得检测结果不具备规律性，这样可以保证检测结果更加可靠。
实际中，所述疲劳驾驶主机的检测结果***还包括键盘，用于输入检测参数、检测模式以及检测人员编号信号，方便实现人机交互，提高检测效率，并且绑定检测人员信息。优选地，在疲劳驾驶主机的检测结果为合格时，所述打印模块还将检测人员（编号）信号一并打印在产品标签上，方便后续追溯。
如图2所示，本发明还提供了一种基于视觉的疲劳驾驶主机的检测方法, 包括如下步骤：
S11：视频录像回放组件根据工控机的控制指令实时生成时间戳信息，对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件实时发送至疲劳驾驶主机；
S12：疲劳驾驶主机接收所述解析文件，根据所述解析文件判断对应的驾驶员状态信息，并发送至所述工控机；
S13：所述工控机根据所述疲劳驾驶主机发送的所述驾驶员状态信息与预先存储的所述视频片段对应的预设标准状态信息映射表进行比对，并生成检测结果；
S14：扫描枪扫描预先设置在所述疲劳驾驶主机上的设备标识，读取所述疲劳驾驶主机的设备信息并发送至所述工控机；
S15：显示器显示所述疲劳驾驶主机的设备信息和对应的检测结果。
本发明的基于视觉的疲劳驾驶主机的检测方法，通过视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，然后由所述疲劳驾驶主机根据解析文件实时确定驾驶员状态信息，并由工控机根据预设标桩状态信息映射表实时确定所述疲劳驾驶主机确定的驾驶员状态信息是否准确，以确定疲劳驾驶主机是否合格，大大提高了检测效率，避免传统的检测中的随机性影响检测结果，不会受到车辆的颠簸、摄像头的安装角度、阳光光线情况等外部因素的影响，保证出厂检验的有效性，一致性，同时通过对所述设备信息进行跟踪，实现对产品检测有效的控制、跟踪和留存。
在本发明提供的一个或多个实施例中，所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件发送至所述疲劳驾驶主机具体包括：
S21：对所述疲劳状态和非疲劳状态的视频片段进行解码处理，得到多个图像帧；
S22：读取所述图像帧，将其与对应的所述时间戳信息关联并生成所述解析文件，将所述解析文件实时发送至所述疲劳驾驶主机。
通过将所述解码模块解码后得到的多个图像帧与对应的时间戳信息关联，这样后续工控机在收到所述图像帧对应的驾驶员状态后方便与预设标准状态信息映射表进行比对，以确定所述疲劳驾驶主机是否合格。
在本发明提供的一个或多个实施例中，所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析之前，还包括如下步骤：
对所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，以保证每个所述视频片段的初始解析顺序均被交换；
其中，每个所述视频片段包含多幅疲劳状态对应的图像帧或多幅非疲劳状态对应的图像帧。
通过将所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，这样可以使得检测结果不具备规律性，这样可以保证检测结果更加可靠。
在本发明提供的一个或多个实施例中，所述疲劳驾驶主机根据所述解析文件判断对应的驾驶员状态的具体步骤包括：
S31：读取所述解析文件中的图像帧，并对所述图像帧进行图像特征提取处理，获取图像特征信息；
S32：将所述图像特征信息与预先存储的多种疲劳状态图像特征信息进行匹配，如果二者匹配，则确定对应的驾驶员状态信息为疲劳状态，否则，确定对应的驾驶员状态信息为非疲劳状态；
S33：读取所述解析文件中所述图像帧对应的时间戳信息，将其与对应的所述驾驶员状态信息关联，并发送至所述工控机。
通过对所述图像帧进行图像特征提取处理，提取图像特征信息，方便将所述图像特征性与对应的所述疲劳状态图像特征信息进行匹配，以准确确定对应的驾驶状态信息。
在本发明提供的一个或多个实施例中，所述工控机生成所述检测结果的具体步骤包括：
读取所述驾驶员状态信息和对应的时间戳信息，并根据所述时间戳信息从预设标准状态信息映射表中读取对应的预设标准状态信息进行比对，如果二者匹配，则所述疲劳驾驶主机检测合格；否则，所述疲劳驾驶主机检测不合格。
通过所述时间戳信息即可从所述预设标准状态信息映射表中读取对应的预设标准状态信息，然后将所述驾驶员状态信息与对应的预设标准状态信息比对，从而可以准确判断所述疲劳驾驶主机是否合格，检测效率高，检测结果准确，产品出厂一致性好。
优选地，在本发明提供的一个或多个实施例中，所述方法还包括如下步骤：
在所述疲劳驾驶主机的检测结果为合格时，打印包含有所述检测结果和设备信息并粘贴于产品上的产品标签。
通过所述打印模块可以直接打印包含有所述检测结果和设备信息并粘贴于产品上的产品标签，方便对出厂产品进行标记，方便后续包装识别。
优选地，在本发明提供的一个或多个实施例中，所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析之前，还还包括如下步骤：
对所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，以保证每个所述视频片段的初始解析顺序均被交换。
通过将所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，这样可以使得检测结果不具备规律性，这样可以保证检测结果更加可靠。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于视觉的疲劳驾驶主机的检测***, 其特征在于：包括视频录像回放组件、疲劳驾驶主机、工控机、扫描枪和显示器；
所述视频录像回放组件，用于根据所述工控机的控制指令实时生成时间戳信息，对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件实时发送至所述疲劳驾驶主机；
所述疲劳驾驶主机，用于接收所述解析文件，根据所述解析文件判断对应的驾驶员状态信息，并发送至所述工控机；
所述工控机，用于向所述视频录像回放组件发送控制指令，还用于根据所述疲劳驾驶主机发送的所述驾驶员状态信息与预先存储的所述视频片段对应的预设标准状态信息映射表进行比对，并生成检测结果；
所述扫描枪，用于扫描预先设置在所述疲劳驾驶主机上的设备标识，读取所述疲劳驾驶主机的设备信息并发送至所述工控机；
所述显示器，用于显示所述疲劳驾驶主机的设备信息和对应的检测结果。
2.根据权利要求1所述的基于视觉的疲劳驾驶主机的检测***, 其特征在于：所述视频录像回放组件包括主控制器、存储器、解码模块和通讯模块，所述存储器、解码模块和通用模块分别与所述主控制模块电连接；
所述存储器，用于预先存储疲劳状态和非疲劳状态的视频片段；
所述通讯模块，用于所述主控制器与所述工控机进行通讯，并传送所述控制指令；
所述主控制器，用于根据所述控制指令读取预先存储在所述存储器中的疲劳状态和非疲劳状态的视频片段，并发送至所述解码模块；
所述解码模块，用于对所述疲劳状态和非疲劳状态的视频片段进行解码处理，生成的解析文件并发送至所述疲劳驾驶主机；
其中，所述解析文件包括图像帧以及对应的时间戳信息。
3.根据权利要求2所述的基于视觉的疲劳驾驶主机的检测***, 其特征在于：所述解码模块生成解析文件的具体实现为：
所述解码模块对所述疲劳状态和非疲劳状态的视频片段进行解码处理，得到多个图像帧；
所述解码模块读取所述图像帧，将其与对应的所述时间戳信息关联并生成所述解析文件，将所述解析文件实时发送至所述疲劳驾驶主机。
4.根据权利要求1所述的基于视觉的疲劳驾驶主机的检测***, 其特征在于：所述疲劳驾驶主机根据所述解析文件判断对应的驾驶员状态的具体实现为：
读取所述解析文件中的图像帧，并对所述图像帧进行图像特征提取处理，获取图像特征信息；
将所述图像特征信息与预先存储的多种疲劳状态图像特征信息进行匹配，如果二者匹配，则确定对应的驾驶员状态信息为疲劳状态，否则，确定对应的驾驶员状态信息为非疲劳状态；
读取所述解析文件中所述图像帧对应的时间戳信息，将其与对应的所述驾驶员状态信息关联，并发送至所述工控机。
5.根据权利要求1所述的基于视觉的疲劳驾驶主机的检测***, 其特征在于：所述工控机生成所述检测结果的具体实现为：
读取所述驾驶员状态信息和对应的时间戳信息，并根据所述时间戳信息从预设标准状态信息映射表中读取对应的预设标准状态信息进行比对，如果二者匹配，则所述疲劳驾驶主机检测合格；否则，所述疲劳驾驶主机检测不合格。
6.根据权利要求5所述的基于视觉的疲劳驾驶主机的检测***, 其特征在于：还包括打印模块，用于在所述疲劳驾驶主机的检测结果为合格时，打印包含有所述检测结果和设备信息并粘贴于产品上的产品标签。
7.根据权利要求1-6任一项所述的基于视觉的疲劳驾驶主机的检测***, 其特征在于：所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析之前，还对所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，以保证每个所述视频片段的初始解析顺序均被交换；
其中，每个所述视频片段包含多幅疲劳状态对应的图像帧或多幅非疲劳状态对应的图像帧。
8.一种基于视觉的疲劳驾驶主机的检测方法, 其特征在于：包括如下步骤：
视频录像回放组件根据工控机的控制指令实时生成时间戳信息，对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件实时发送至疲劳驾驶主机；
疲劳驾驶主机接收所述解析文件，根据所述解析文件判断对应的驾驶员状态信息，并发送至所述工控机
所述工控机根据所述疲劳驾驶主机发送的所述驾驶员状态信息与预先存储的所述视频片段对应的预设标准状态信息映射表进行比对，并生成检测结果；
扫描枪扫描预先设置在所述疲劳驾驶主机上的设备标识，读取所述疲劳驾驶主机的设备信息并发送至所述工控机；
显示器显示所述疲劳驾驶主机的设备信息和对应的检测结果。
9.根据权利要求8所述的基于视觉的疲劳驾驶主机的检测份饭, 其特征在于：所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析，并将生成的包含有所述时间戳信息的解析文件发送至所述疲劳驾驶主机具体包括：
对所述疲劳状态和非疲劳状态的视频片段进行解码处理，得到多个图像帧；
读取所述图像帧，将其与对应的所述时间戳信息关联并生成所述解析文件，将所述解析文件实时发送至所述疲劳驾驶主机。
10.根据权利要求8或9所述的基于视觉的疲劳驾驶主机的检测份饭, 其特征在于：所述视频录像回放组件对预先存储的疲劳状态和非疲劳状态的视频片段进行解析之前，还包括如下步骤：
对所述疲劳状态和非疲劳状态的视频片段的解析顺序进行随机交换，以保证每个所述视频片段的初始解析顺序均被交换；
其中，每个所述视频片段包含多幅疲劳状态对应的图像帧或多幅非疲劳状态对应的图像帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010353155.9A CN111597924A (zh) | 2020-04-29 | 2020-04-29 | 一种基于视觉的疲劳驾驶主机的检测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010353155.9A CN111597924A (zh) | 2020-04-29 | 2020-04-29 | 一种基于视觉的疲劳驾驶主机的检测***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111597924A true CN111597924A (zh) | 2020-08-28 |
Family
ID=72185151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010353155.9A Pending CN111597924A (zh) | 2020-04-29 | 2020-04-29 | 一种基于视觉的疲劳驾驶主机的检测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597924A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592414A (zh) * | 2012-02-23 | 2012-07-18 | 北京智华驭新汽车电子技术开发有限公司 | 一种驾驶员主动安全预警***的测试平台 |
| CN202855049U (zh) * | 2012-02-23 | 2013-04-03 | 北京智华驭新汽车电子技术开发有限公司 | 一种驾驶员主动安全预警***的测试平台 |
| CN104182338A (zh) * | 2014-08-19 | 2014-12-03 | 苏州清研微视电子科技有限公司 | 一种疲劳驾驶预警产品检测精度的测试方法 |
-
2020
- 2020-04-29 CN CN202010353155.9A patent/CN111597924A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592414A (zh) * | 2012-02-23 | 2012-07-18 | 北京智华驭新汽车电子技术开发有限公司 | 一种驾驶员主动安全预警***的测试平台 |
| CN202855049U (zh) * | 2012-02-23 | 2013-04-03 | 北京智华驭新汽车电子技术开发有限公司 | 一种驾驶员主动安全预警***的测试平台 |
| CN104182338A (zh) * | 2014-08-19 | 2014-12-03 | 苏州清研微视电子科技有限公司 | 一种疲劳驾驶预警产品检测精度的测试方法 |
Non-Patent Citations (1)
| Title |
|---|
| 方奇敏: "基于视频分析的执勤人员疲劳和离岗检测***软件设计", 《中国优秀硕士学位论文全文数据库》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109911732B (zh) | 电梯维保的监测方法和*** | |
| CN110633612B (zh) | 一种巡检机器人的监控方法及*** | |
| CN103067736B (zh) | 一种基于字符识别的自动测试*** | |
| CN105913059B (zh) | 一种车辆vin码的自动识别***及其控制方法 | |
| CN111416960A (zh) | 一种基于云服务的视频监控*** | |
| CN107948585A (zh) | 录像标记方法、装置及计算机可读存储介质 | |
| CN212208379U (zh) | 一种自动考勤测温*** | |
| CN107784649A (zh) | 基于图像识别的芯棒测试远程报警***及方法 | |
| CN112100431A (zh) | Ocr***的评估方法、装置、设备及可读存储介质 | |
| CN103632276A (zh) | 手机扫描商品二维码调取实时视频的防伪***及方法 | |
| CN112183219A (zh) | 一种基于人脸识别的公共安全视频监测方法及*** | |
| US12026961B2 (en) | Method and device for monitoring a passenger of a vehicle, and system for analyzing the perception of objects | |
| CN115049955A (zh) | 一种基于视频分析技术的火灾探测分析方法及装置 | |
| CN112908017A (zh) | 车辆停放状态的检测方法、装置及设备 | |
| CN110738709A (zh) | 一种基于二维码的视频评测方法及其视频评测*** | |
| CN111597924A (zh) | 一种基于视觉的疲劳驾驶主机的检测***及方法 | |
| CN112528791A (zh) | 一种铁路站场防入侵***及方法 | |
| CN110705416A (zh) | 一种基于驾驶员面部图像建模的安全驾驶预警方法及*** | |
| CN110807453A (zh) | 基于ocr的产品字符在线检测方法、装置及*** | |
| CN115909194A (zh) | 一种基于图像识别的安防监控信息处理*** | |
| US11320809B2 (en) | Factory management system and control system | |
| CN112804492B (zh) | 一种电子猫眼的通信提示方法及装置 | |
| CN112132227B (zh) | 桥梁列车荷载作用时程提取方法、装置及终端设备 | |
| US11810149B2 (en) | Method and device for monitoring a passenger of a vehicle | |
| CN114419781A (zh) | 摄像设备被遮挡提醒方法、售货终端、存储介质及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200828 |