CN109858553B - 驾驶状态的监测模型更新方法、更新装置及存储介质 - Google Patents
驾驶状态的监测模型更新方法、更新装置及存储介质 Download PDFInfo
- Publication number
- CN109858553B CN109858553B CN201910103594.1A CN201910103594A CN109858553B CN 109858553 B CN109858553 B CN 109858553B CN 201910103594 A CN201910103594 A CN 201910103594A CN 109858553 B CN109858553 B CN 109858553B
- Authority
- CN
- China
- Prior art keywords
- monitoring model
- neural network
- convolutional neural
- network monitoring
- probability value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 254
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 174
- 239000013598 vector Substances 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 230000000750 progressive effect Effects 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 33
- 238000004891 communication Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 241001282135 Poromitra oscitans Species 0.000 description 4
- 241001122767 Theaceae Species 0.000 description 4
- 206010048232 Yawning Diseases 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种驾驶状态的监测模型更新方法，该方法包括：读取驾驶状态采集器采集的驾驶状态的新增样本数据，以及新增样本数据所属驾驶状态的第一类别；获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量；将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值；根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。本发明还公开了更新装置和存储介质。本发明能够实现通过增量数据动态更新异常驾驶状态监测模型，且能够在模型动态更新过程中保证模型的低冗余度，提高异常驾驶状态识别精度和模型鲁棒性。
Description
技术领域
本发明涉及通信技术领域，尤其涉及驾驶状态的监测模型更新方法、更新装置及存储介质。
背景技术
近年来疲劳驾驶、注意力分散、情绪化驾驶、突发性疾病等引起的交通事故也逐渐增多。为了从本质上减少交通事故状况的发生，建立了驾驶状态监测模型，可以监控驾驶员的驾驶行为并对异常驾驶行为给予警报，对提高驾驶员的驾驶能力并降低驾驶员的驾驶负荷，以及协调好驾驶员与车辆以及交通环境之间的关系，具有重要意义。
但是传统驾驶状态监测模型仅通过采集各类传感器信息，来判定驾驶员是否处于疲劳驾驶状态，识别异常驾驶状态单一，而影响驾驶状的因素往往存在多种方面，如认知负荷过重、外界干扰、车辆行驶状态等。仅仅判断疲劳驾驶的单一异常驾驶状态监测已经无法满足高精度、强鲁棒的要求，且由于监测模型是利用已有的标定数据训练分类模型，并利用该分类模型对驾驶状态进行识别分类。这类模型对用户的驾驶状态建模时，往往是对用户已有的驾驶状态建模，用于反映其当前驾驶模式。随着时间的推移，用户的驾驶状态很有可能发生变化，当用户出现一种新的异常驾驶行为时，监测模型无法对新行为进行正确的识别分类。当出现新的异常驾驶状态时，只能采取重新训练的方式，在这种处理方式中，需要的训练时间随样本数量的增加呈指数型增长，且模型冗余度较高，无法满足增量学习的要求。
发明内容
本发明的主要目的在于提出一种驾驶状态的监测模型更新方法、更新装置及存储介质，旨在实现通过增量数据动态更新异常驾驶状态监测模型，且能够在模型动态更新过程中保证模型的低冗余度，提高异常驾驶状态识别精度和模型鲁棒性。
为实现上述目的，本发明提供一种驾驶状态的监测模型更新方法，所述方法包括如下步骤：
读取驾驶状态采集器采集的驾驶状态的新增样本数据，以及新增样本数据所属驾驶状态的第一类别；
获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量；
将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值；
根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
优选地，所述获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量的步骤之前，所述方法还包括：
对所述新增样本数据进行预处理。
优选地，所述将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值的步骤包括：
将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的第一级分支节点，输出新增样本数据在第一级分支节点的样本概率值；
根据新增样本数据在第一级分支节点的样本概率值，计算新增样本数据在初始树卷积神经网络监测模型的第一级分支节点的输出概率值；
所述根据输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
优选地，所述根据新增样本数据在第一级分支节点的样本概率值，计算新增样本数据在初始树卷积神经网络监测模型的第一级分支节点的输出概率值的步骤包括：
取同一个第一级分支节点的多份新增样本数据的样本概率值的平均值作为该第一级分支节点的第一节点概率值；
对所述第一节点概率值进行softmax函数处理，获得新增样本数据在初始树卷积神经网络监测模型的各第一级分支节点的输出概率值。
优选地，所述根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
当各第一级分支节点的输出概率值均小于预设阈值时，将所述第一类别作为新的第一级分支节点加入初始树卷积神经网络监测模型中；
当各第一级分支节点的输出概率值中，有多个第一级分支节点的输出概率值大于预设阈值时，在初始卷积神经网络监测模型中生成新的第一级分支节点，将所述第一类别加入生成的新的第一级分支节点的子节点中；
对初始数卷积神经网络监测模型进行更新。
优选地，所述根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
当各第一级分支节点的输出概率值中，只有一个第一级分支节点的输出概率值大于预设阈值时，计算该第一级分支节点中的第二级分支节点的输出概率值；
根据第二级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型中所述第二级分支节点或第二级分支节点的递进子节点中，对初始树卷积神经网络监测模型进行更新。
优选地，将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的第一级分支节点，输出新增样本数据在第一级分支节点的样本概率值的步骤包括：
将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的各第一级分支节点；
获取初始树卷积神经网络模型的各第一级分支节点的权重值；
根据所述归一化特征向量和各第一级分支节点的权重值输出新增样本数据在各第一级分支节点的样本概率值。
优选地，所述根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中；
对所述节点进行梯度下降的训练，并更新初始卷积神经网络监测模型的节点权重，完成对初始树卷积神经网络监测模型的更新。
此外，为实现上述目的，本发明还提供一种更新装置，所述更新装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的驾驶状态的监测模型更新程序，所述驾驶状态的监测模型更新程序被所述处理器执行时实现如上所述的驾驶状态的监测模型更新方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有驾驶状态的监测模型更新程序，所述驾驶状态的监测模型更新程序被处理器执行时实现如上所述的驾驶状态的监测模型更新方法的步骤。
本发明读取驾驶状态采集器采集的驾驶状态的新增样本数据，以及新增样本数据所属驾驶状态的第一类别；获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量；将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值；根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
通过上述方式，本发明能够通过对新增样本数据进行处理，将处理后形成的归一化特征向量和新增样本数据所属驾驶状态的第一类别输入初始树卷积神经网络监测模型中，获得节点的输出概率值，根据输出概率值将所属驾驶状态的类别加入初始监测模型的节点中，更新初始树卷积神经网络监测模型，实现通过增量数据动态更新异常驾驶状态监测模型，且能够在模型动态更新过程中保证模型的低冗余度，提高异常驾驶状态识别精度和模型鲁棒性，有效解决批量学习训练时间指数增加的问题，大大缩短监测模型的训练时间
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明驾驶状态的监测模型更新方法第一实施例的流程示意图；
图3为本发明驾驶状态的监测模型更新方法第二实施例的流程示意图；
图4为本发明驾驶状态的监测模型更新方法第三实施例的流程示意图；
图5为本发明驾驶状态的监测模型更新方法第四实施例的流程示意图；
图6为本发明驾驶状态的监测模型更新方法第五实施例的流程示意图；
图7为本发明驾驶状态的监测模型更新方法第六实施例的流程示意图；
图8为本发明驾驶状态的监测模型更新方法第七实施例的流程示意图；
图9为本发明驾驶状态的监测模型更新方法第八实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：读取驾驶状态采集器采集的驾驶状态的新增样本数据，以及新增样本数据所属驾驶状态的第一类别；获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量；将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值；根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
现有的驾驶状态监测模型存在的识别单一异常状态、识别模型固定和无法满足增量学习更新的要求的问题。
本发明实现通过增量数据动态更新异常驾驶状态监测模型，且能够在模型动态更新过程中保证模型的低冗余度，提高异常驾驶状态识别精度和模型鲁棒性。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
优选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及驾驶状态的监测模型更新程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的驾驶状态的监测模型更新程序，并执行以下操作：
读取驾驶状态采集器采集的驾驶状态的新增样本数据，以及新增样本数据所属驾驶状态的第一类别；
获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量；
将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值；
根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
进一步地，处理器1001可以调用存储器1005中存储的驾驶状态的监测模型更新程序，还执行以下操作：所述获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量的步骤之前，所述方法还包括：
对所述新增样本数据进行预处理。
进一步地，处理器1001可以调用存储器1005中存储的驾驶状态的监测模型更新程序，还执行以下操作：所述将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值的步骤包括：
将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的第一级分支节点，输出新增样本数据在第一级分支节点的样本概率值；
根据新增样本数据在第一级分支节点的样本概率值，计算新增样本数据在初始树卷积神经网络监测模型的第一级分支节点的输出概率值；
所述根据输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
进一步地，处理器1001可以调用存储器1005中存储的驾驶状态的监测模型更新程序，还执行以下操作：所述根据新增样本数据在第一级分支节点的样本概率值，计算新增样本数据在初始树卷积神经网络监测模型的第一级分支节点的输出概率值的步骤包括：
取同一个第一级分支节点的多份新增样本数据的样本概率值的平均值作为该第一级分支节点的第一节点概率值；
对所述第一节点概率值进行softmax函数处理，获得新增样本数据在初始树卷积神经网络监测模型的各第一级分支节点的输出概率值。
进一步地，处理器1001可以调用存储器1005中存储的驾驶状态的监测模型更新程序，还执行以下操作：所述根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
当各第一级分支节点的输出概率值均小于预设阈值时，将所述第一类别作为新的第一级分支节点加入初始树卷积神经网络监测模型中；
当各第一级分支节点的输出概率值中，有多个第一级分支节点的输出概率值大于预设阈值时，在初始卷积神经网络监测模型中生成新的第一级分支节点，将所述第一类别加入生成的新的第一级分支节点的子节点中；
对初始数卷积神经网络监测模型进行更新。
进一步地，处理器1001可以调用存储器1005中存储的驾驶状态的监测模型更新程序，还执行以下操作：所述根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
当各第一级分支节点的输出概率值中，只有一个第一级分支节点的输出概率值大于预设阈值时，计算该第一级分支节点中的第二级分支节点的输出概率值；
根据第二级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型中所述第二级分支节点或第二级分支节点的递进子节点中，对初始树卷积神经网络监测模型进行更新。
进一步地，处理器1001可以调用存储器1005中存储的驾驶状态的监测模型更新程序，还执行以下操作：将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的第一级分支节点，输出新增样本数据在第一级分支节点的样本概率值的步骤包括：
将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的各第一级分支节点；
获取初始树卷积神经网络模型的各第一级分支节点的权重值；
根据所述归一化特征向量和各第一级分支节点的权重值输出新增样本数据在各第一级分支节点的样本概率值。
进一步地，处理器1001可以调用存储器1005中存储的驾驶状态的监测模型更新程序，还执行以下操作：所述根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中；
对所述节点进行梯度下降的训练，并更新初始卷积神经网络监测模型的节点权重，完成对初始树卷积神经网络监测模型的更新。
基于上述硬件结构，提出本发明方法实施例。
参照图2，图2为本发明驾驶状态的监测模型更新方法第一实施例的流程示意图，所述驾驶状态的监测模型更新方法包括：
步骤S10，读取驾驶状态采集器采集的驾驶状态的新增样本数据，以及新增样本数据所属驾驶状态的第一类别；
本发明应用于驾驶状态的监测***，驾驶状态的监测***包括初始树卷积神经网络监测模型的构建模块和监测模型动态更新模块，当***获得不属于预定义驾驶状态类别的第一类别的新增样本数据时，监测模型动态更新模块读取驾驶状态采集器采集到驾驶状态的新增样本数据，以及新增样本数据所属驾驶状态的类别。
步骤S20，获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量；
在实施例中，获取新增样本数据中的关键数据，如：驾驶状态采集器包括摄像头，摄像头摄取了视频新增样本数据，关键数据为视频图像中的驾驶员的脸部和手部等与所属驾驶状态类别相关的数据，可对新增样本数据的关键数据进行特征编码、池化、归一化等处理，形成归一化特征向量，如新增样本数据为视频新增样本数据，可对视频新增样本数据进行特征编码、池化和归一化等处理，形成描述视频的归一化特征向量，即形成描述新增样本的新增样本数据的归一化特征向量，假设要将眨眼增加进初始监测模型中，读取的眨眼新增样本数据，新增样本数据的关键数据为驾驶员的眼部和面部表情图像数据(即RGB数据)，对眼部和面部表情图像数据进行处理，形成描述视频的归一化特征向量。
步骤S30，将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值；
初始树卷积神经网络监测模型为Tree-CNN监测模型，针对异常驾驶状态监测，驾驶员的状态可以有四个基本维度，分别为认知的负荷、身体上的负荷、外界干扰和车辆的实际行驶情况，认知的负荷，如通过驾驶员的心率、皮肤电、肌电等生理数据判断驾驶员精神等负荷的情况，身体上的负荷，如通过摄像头采集眼镜的注视方向、打哈欠、眼睛眨眼的等情况来判断驾驶员瞌睡、疲劳等身体负荷情况。外界干扰，如通过摄像头拍摄驾驶员是不是在打手机，或者在开车的时候喝茶以及乘客的干扰等外界干扰情况。车辆的实际行驶情况，可通过车载CAN总线得到的车辆行驶信息来判断车辆实际行驶情况。
初始树卷积神经网络监测模型(Tree-CNN监测模型)的构建模块，先将异常数据分成几个维度，如上述的4个维度，然后再将各个维度依次进行划分，就像树一样不断的开枝散叶，最终叶节点得到的类别就是最终所要识别的类别，Tree-CNN监测模型包括根节点、分支节点、叶节点，叶节点为Tree-CNN监测模型中的最终节点，异常驾驶Tree-CNN监测模型中，异常驾驶可分为4个维度，4个维度继续划分，例如：4个维度的外界干扰维度继续划分为打手机、喝茶、乘客干扰3个类别，打手机、喝茶、乘客干扰为最终的节点，不再继续划分，则打手机类别、喝茶类别、乘客干扰类别为叶节点，若乘客干扰类别还可继续划分，划分为乘客打驾驶员、乘客抢方向盘两个类别，乘客打驾驶员节点、乘客抢方向盘节点为最终节点，不再继续划分，则乘客打驾驶员节点为叶节点，乘客干扰节点为乘客打驾驶员节点的根节点，乘客打驾驶员节点为乘客干扰的分支节点。
驾驶状态的监测***的初始监测模型构建方法包括：例如，驾驶状态采集器为车载摄像头时，
1)读取车载摄像头采集的异常驾驶状态数据及其类别；
2)对驾驶员视频进行关键的预处理，包括光照校正方法、连通成分快速标记、方向投影等；
3)对驾驶员脸部和手部等关键信息通过特征编码、池化和归一化等一系列操作，最终形成描述视频的归一化特征向量；
4)将提取的归一化特征向量与异常类别组合构建Tree-CNN监测模型。
当驾驶状态采集器还包括加速度陀螺仪传感器时，读取标定好的新类别的加速度陀螺仪传感器数据，同样进行2)和3)项处理，综合与车载摄像头采集的数据构建基于卷积神经网络的Tree-CNN监测模型，即构建形成初始的树卷积神经网络监测模型。
Tree-CNN监测模型借鉴了层分类器,树卷积神经网络由节点构成，和数据结构中的树一样，每个节点都有自己的ID、父亲(Parent)及孩子(Children)，网(Net，处理图像的卷积神经网络)，LT("Labels Transform",每个节点所对应的标签，对于根节点和枝节点来说，可以是对最终分类类别的一种划分，对于叶节点来说，就是最终的分类类别。)，其中最顶部为树的根节点。对于一个样本，首先会将其送到根节点网络去分类得到“super-classes”，然后根据所识别到的“super-classes”，然后根据根分类器得到的类别将样本送入对应的节点去作进一步的分类，得到一个更“具体”的类别，依次进行递归，直到分类出我们最终想要的类别。对于异常状态的细粒度分类，例如有下面一堆标签：疲劳驾驶、注意力分散，突发性疾病，情绪化驾驶。如果要识别情绪化驾驶，我们可能要经历这样的过程，先在这一堆中找到认知层面的异常状态，然后再找到情绪化驾驶。
将所述归一化特征向量和新增样本数据所属驾驶状态的第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值，例如：需要新增打哈欠、闭眼这两种异常驾驶行为，将这两类预先采集好的多个图像新增样本数据通过预处理得到特征向量的矩阵(如244*244*3)，然后输入到初始Tree-CNN监测模型的网络的第一级分支节点中，每层乘以初始模型训练时得到的权重，最终得到第一级分支节点的样本概率值O(k,m,i)，O(k,m,i)表示第i份新增样本数据属于第m类时第k个节点的样本概率值，其中k∈[1，K]，m∈[1，M]，i∈[1，I],K初始数卷积神经网络监测模型中第一级分支节点数，M表示新增样本数据中所属驾驶状态的类别数，I表示每一个新增类别的样本数。
取同一个第一级分支节点的多份新增样本数据的样本概率值的平均值作为该第一级分支节点的第一节点概率值，计算公式如下：
其中，K表示初始数卷积神经网络监测模型中第一级分支节点数，M表示新增样本数据中所属驾驶状态的类别数，I表示每一个新增类别的样本数；O(k,m,i)表示第i份新增样本数据属于第m类时第k个节点的样本概率值，Oavg(k,m)表示第m类的新增样本数据，在第k个第一级分支节点的第一节点概率值；
对第一节点概率值进行softmax函数处理，获得新增样本数据在初始树卷积神经网络监测模型的各第一级分支节点的输出概率值，计算公式如下：
其中，L(k,m)表示第m类的新增样本数据，在第k个第一级分支节点的输出概率值。
若第一级分支节点的输出概率值中，只有一个第一级分支节点的输出概率值大于初始Tree-CNN监测模型中的预设阈值时，继续按照上述计算方法，计算大于预设阈值的该第一级分支节点下的分支节点的输出概率值，即第二级分支节点的输出概率值，若第二级分支节点的输出概率值中只有一个第二级分支节点的输出概率值大于预设阈值时，以此类推，继续计算第三级分支节点的输出概率值，直到将第一类别加入Tree-CNN监测模型中成为叶节点。
步骤S40，根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，可以理解地，将第m类新增样本数据所属驾驶状态的第一类别，加入初始树卷积神经网络监测模型的节点中，
根据公式(3)，将第一级分支节点的输出概率值按照概率分布的情况进行排列，得到集合S。
S＝[lm1，lm2，lm3，…，lmM]，maxk(lm1(k))≥maxk(lm2(k))≥…≥maxk(lmM(k)) (3)
若输出集合S中有多个概率值大于预设阈值，在初始卷积神经网络监测模型中生成新的第一级分支节点，将所述第一类别加入生成的新的第一级分支节点的子节点中。例如新增的类别为车辆异常(刹车失灵、轮胎问题等)，则讲该车辆异常设置为新的第一级分支节点，与疲劳驾驶同级，将刹车失灵、轮胎问题加入车辆异常的子节点，形成叶节点。
如果输出集合S中所有的输出概率值都小于预设阈值时，将所述第一类别作为新的第一级分支节点加入初始树卷积神经网络监测模型中，第一级分支节点为叶节点。
如果输出集合S中最大输出概率值lm1大于预设阈值时，如公式(4)所示，即第一级分支节点的输出概率值中，只有一个第一级分支节点的输出概率值大于预设阈值时，可知第一类别与该第一级分支节点的关系较大，继续计算大于预设阈值的该第一级分支节点下的分支节点的输出概率值，即第二级分支节点的输出概率值，若第二级分支节点的输出概率值中只有一个第二级分支节点的输出概率值大于预设阈值时，以此类推，继续计算第三级分支节点的输出概率值，直到将第一类别加入Tree-CNN监测模型中成为叶节点。
通过上述方式，实现对新类别的学习，即为增量学习动态更新。例如新增类别不属于任何现有的大类，则将其单独与疲劳驾驶大类并列设置成叶子节点，以后再出现类似情况，则直接输出结果，不再继续划分。
当第一级分支节点M类完成上述操作后，将移动到树的第二级分支节点级别。第二级分支节点计算方法和将第一类别加入模型的方式相同，新的类别要加入模型中时。当进入下一个级别时，只显示那些分配给特定子节点的新增类别的样本图像。总的来说，对于一个级别，所有M类的样本图像都通过不同的子节点传递。例如，向一个子节点添加了两个新类。如果子节点是一个叶节点，则它将被更改为一个分支节点，该分支节点现在有3个子节点。如果子节点是一个分支节点，重复计算似然矩阵的过程，并确定如何将这两个新类添加到它的输出中。关于如何增长树的决定是半监督的:在给定约束情况下算法本身决定如何增长树。可以根据需求限制参数的值，如节点的最大子节点、树的最大深度等。在树中分配新类后，对修改后的/新节点进行基于监督梯度下降的训练。如此，则不必修改整个网络，而且只有受影响的部分网络需要重新训练/微调。改变了原有出现新的异常驾驶状态时，只能采取重新训练的方式，通过增量数据动态更新异常驾驶状态监测模型，能够在模型动态更新过程中保证模型的低冗余度，提高异常驾驶状态识别精度和模型鲁棒性。
进一步地，参照图3，图3为本发明驾驶状态的监测模型更新方法第二实施例的流程示意图。基于上述图2所示的实施例，步骤S20之前还可以包括：
步骤S50，对所述新增样本数据进行预处理；
对新增样本数据进行预处理，例如：车载摄像头采集的驾驶员视频新增样本数据时，对驾驶员视频进行关键的预处理，包括光照校正方法、连通成分快速标记、方向投影等；获取预处理后的新增样本数据的关键数据，将关键数据处理形成归一化特征向量。增加新增样本数据的准确性。
进一步地，参照图4，图4为本发明驾驶状态的监测模型更新方法第三实施例的流程示意图。基于上述的实施例，步骤S30还可以包括：
步骤S31，将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的第一级分支节点，输出新增样本数据在第一级分支节点的样本概率值；
将所述归一化特征向量和新增样本数据所属驾驶状态的第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值，例如：需要新增打哈欠、闭眼这两种异常驾驶行为，将这两类预先采集好的多个图像新增样本数据通过预处理得到特征向量的矩阵(如244*244*3)，然后输入到初始Tree-CNN监测模型的网络的第一级分支节点中，每层乘以初始模型训练时得到的权重，最终得到第一级分支节点的样本概率值O(k,m,i)，O(k,m,i)表示第i份新增样本数据属于第m类时第k个节点的样本概率值，其中k∈[1，K]，m∈[1，M]，i∈[1，I],K初始数卷积神经网络监测模型中第一级分支节点数，M表示新增样本数据中所属驾驶状态的类别数，I表示每一个新增类别的样本数。
步骤S32，根据新增样本数据在第一级分支节点的样本概率值，计算新增样本数据在初始树卷积神经网络监测模型的第一级分支节点的输出概率值；
进一步地，参照图5，图5为本发明驾驶状态的监测模型更新方法第四实施例的流程示意图。基于上述的实施例，步骤S32还可以包括：
步骤S321，取同一个第一级分支节点的多份新增样本数据的样本概率值的平均值作为该第一级分支节点的第一节点概率值；
第一节点概率值计算公式如下：
其中，K表示初始数卷积神经网络监测模型中第一级分支节点数，M表示新增样本数据中所属驾驶状态的类别数，I表示每一个新增类别的样本数；O(k,m,i)表示第i份新增样本数据属于第m类时第k个节点的样本概率值，Oavg(k,m)表示第m类的新增样本数据，在第k个第一级分支节点的第一节点概率值；
步骤S322，对所述第一节点概率值进行softmax函数处理，获得新增样本数据在初始树卷积神经网络监测模型的各第一级分支节点的输出概率值。
第一级分支节点的输出概率值计算公式如下：
其中，L(k,m)表示第m类的新增样本数据，在第k个第一级分支节点的输出概率值。
将新增样本数据所属驾驶状态的类别在第一级分支节点的样本概率值，根据步骤S321和步骤S322计算新增样本数据，在初始树卷积神经网络监测模型的第一级分支节点的第一节点概率值，对第一节点概率值进行处理获得第一级分支节点的输出概率值。
步骤S40还可以包括：
步骤S41，根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
根据第一级分支节点输出概率值与预设阈值的大小，将第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
进一步地，参照图6，图6为本发明驾驶状态的监测模型更新方法第五实施例的流程示意图。基于上述的实施例，步骤S41还可以包括：
步骤S411，当各第一级分支节点的输出概率值均小于预设阈值时，将所述第一类别作为新的第一级分支节点加入初始树卷积神经网络监测模型中；
各第一级分支节点的输出概率值均小于预设阈值时，将所述第一类别作为新的第一级分支节点加入初始树卷积神经网络监测模型中，第一级分支节点为叶节点。
步骤S412，当各第一级分支节点的输出概率值中，有多个第一级分支节点的输出概率值大于预设阈值时，在初始卷积神经网络监测模型中生成新的第一级分支节点，将所述第一类别加入生成的新的第一级分支节点的子节点中；
第一级分支节点的输出概率值中，有多个第一级分支节点的输出概率值大于预设阈值时，在初始卷积神经网络监测模型中生成新的第一级分支节点，将所述第一类别加入生成的新的第一级分支节点的子节点中。例如新增的类别为车辆异常(刹车失灵、轮胎问题等)，则讲该车辆异常设置为新的第一级分支节点，与疲劳驾驶同级，将刹车失灵、轮胎问题加入车辆异常的子节点，形成叶节点。
步骤S413，对初始数卷积神经网络监测模型进行更新。
将第一类别加入初始树卷积神经网络监测模型的节点中时，对修改后的/新节点进行基于监督梯度下降的训练，并更新初始卷积神经网络监测模型的节点权重，完成对初始树卷积神经网络监测模型的更新。
进一步地，参照图7，图7为本发明驾驶状态的监测模型更新方法第六实施例的流程示意图。基于上述的实施例，步骤S41还可以包括：
步骤S414，当各第一级分支节点的输出概率值中，只有一个第一级分支节点的输出概率值大于预设阈值时，计算该第一级分支节点中的第二级分支节点的输出概率值；
第一级分支节点的输出概率值中，只有一个第一级分支节点的输出概率值大于预设阈值时，可知第一类别与该第一级分支节点的关系较大，继续计算大于预设阈值的该第一级分支节点下的分支节点的输出概率值，即第二级分支节点的输出概率值。
步骤S415，根据第二级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型中所述第二级分支节点或第二级分支节点的递进子节点中，对初始树卷积神经网络监测模型进行更新。
若第二级分支节点的输出概率值中，有多个第二级分支节点的输出概率值大于预设阈值时，将所述第一类别加入生成的新的第二级分支节点的子节点中。
第二级分支节点的输出概率值都小于预设阈值时，将所述第一类别作为新的第二级分支节点加入初始树卷积神经网络监测模型中，第二级分支节点为叶节点。
若第二级分支节点的输出概率值中只有一个第二级分支节点的输出概率值大于预设阈值时，以此类推，继续计算第三级分支节点的输出概率值，直到将第一类别加入Tree-CNN监测模型中成为叶节点。
根据节点的输出概率值将所述所属驾驶状态的类别加入初始树卷积神经网络监测模型的节点中，对修改后的/新节点进行基于监督梯度下降的训练，并更新初始卷积神经网络监测模型的节点权重，完成对初始树卷积神经网络监测模型的更新，实现对新类别的学习，即为增量学习动态更新。
进一步地，参照图8，图8为本发明驾驶状态的监测模型更新方法第七实施例的流程示意图。基于上述的实施例，步骤S31还可以包括：
步骤S311，将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的各第一级分支节点；
将所述归一化特征向量和新增样本数据所属驾驶状态的第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值，例如：需要新增打哈欠、闭眼这两种异常驾驶行为，将这两类预先采集好的多个图像新增样本数据通过预处理得到特征向量的矩阵(如244*244*3)，然后输入到初始Tree-CNN监测模型的网络的第一级分支节点中。
步骤S312，获取初始树卷积神经网络模型的各第一级分支节点的权重值；
初始数卷积神经网络模型各级分支节点的权重值在训练时即形成，获取各第一级分支节点的权重值。
步骤S313，根据所述归一化特征向量和各第一级分支节点的权重值输出新增样本数据在各第一级分支节点的样本概率值。
将归一化特征向量乘以权重值输出新增样本数据在监测模型中的第一级分支节点的样本概率值O(k,m,i)，O(k,m,i)表示第i份新增样本数据属于第m类时第k个节点的样本概率值，其中k∈[1，K]，m∈[1，M]，i∈[1，I],K初始数卷积神经网络监测模型中第一级分支节点数，M表示新增样本数据中所属驾驶状态的类别数，I表示每一个新增类别的样本数。
进一步地，参照图9，图9为本发明驾驶状态的监测模型更新方法第八实施例的流程示意图。基于上述的实施例，步骤S40还可以包括：
步骤S42，根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中；
根据监测模型的节点的输出概率值，将所述驾驶状态的类别加入初始树卷积神经网络模型中的节点中，例如：向疲劳驾驶添加了打哈欠新类别，则与初始的低头等一样变为疲劳驾驶的分支节点，打哈欠、低头为监测模型的叶节点。
步骤S43，对所述节点进行梯度下降的训练，并更新初始卷积神经网络监测模型的节点权重，完成对初始树卷积神经网络监测模型的更新。
加入新的类别后，在树中分配新类后，对修改后的/新节点进行基于监督梯度下降的训练，更新初始模型的权重，完成对初始树卷积神经网络监测模型的更新。则不必修改整个网络，而且只有受影响的部分网络需要重新训练/微调。
本发明驾驶状态的监测模型更新装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的驾驶状态的监测模型更新程序，所述驾驶状态的监测模型更新程序被所述处理器执行时实现如上所述的驾驶状态的监测模型更新方法的步骤。
其中，在所述处理器上运行的驾驶状态的监测模型更新程序被执行时所实现的方法可参照本发明驾驶状态的监测模型更新方法各个实施例，此处不再赘述。
本发明还提供一种存储介质。
本发明存储介质上存储有驾驶状态的监测模型更新程序，所述驾驶状态的监测模型更新程序被处理器执行时实现如上所述的驾驶状态的监测模型更新方法的步骤。
其中，在所述处理器上运行的驾驶状态的监测模型更新程序被执行时所实现的方法可参照本发明驾驶状态的监测模型更新方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种驾驶状态的监测模型更新方法，其特征在于，所述方法包括如下步骤：
读取驾驶状态采集器采集的驾驶状态对应的新增样本数据，以及新增样本数据所属驾驶状态的第一类别，所述新增样本数据表示不属于预定义驾驶状态类别的数据；
获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量，所述新增样本数据中的关键数据为驾驶员的眼部表情图像数据和面部表情图像数据；
将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值；
根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
2.如权利要求1所述的驾驶状态的监测模型更新方法，其特征在于，所述获取新增样本数据中的关键数据，对所述关键数据进行处理形成归一化特征向量的步骤之前，所述方法还包括：
对所述新增样本数据进行预处理。
3.如权利要求2所述的驾驶状态的监测模型更新方法，其特征在于，所述将所述归一化特征向量和第一类别，作为初始树卷积神经网络监测模型的输入，获得新增样本数据在初始树卷积神经网络监测模型的节点的输出概率值的步骤包括：
将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的第一级分支节点，输出新增样本数据在第一级分支节点的样本概率值；
根据新增样本数据在第一级分支节点的样本概率值，计算新增样本数据在初始树卷积神经网络监测模型的第一级分支节点的输出概率值；
所述根据输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新。
4.如权利要求3所述的驾驶状态的监测模型更新方法，其特征在于，所述根据新增样本数据在第一级分支节点的样本概率值，计算新增样本数据在初始树卷积神经网络监测模型的第一级分支节点的输出概率值的步骤包括：
取同一个第一级分支节点的多份新增样本数据的样本概率值的平均值作为该第一级分支节点的第一节点概率值；
对所述第一节点概率值进行softmax函数处理，获得新增样本数据在初始树卷积神经网络监测模型的各第一级分支节点的输出概率值。
5.如权利要求3所述的驾驶状态的监测模型更新方法，其特征在于，所述根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
当各第一级分支节点的输出概率值均小于预设阈值时，将所述第一类别作为新的第一级分支节点加入初始树卷积神经网络监测模型中；
当各第一级分支节点的输出概率值中，有多个第一级分支节点的输出概率值大于预设阈值时，在初始卷积神经网络监测模型中生成新的第一级分支节点，将所述第一类别加入生成的新的第一级分支节点的子节点中；
对初始数卷积神经网络监测模型进行更新。
6.如权利要求5所述的驾驶状态的监测模型更新方法，其特征在于，所述根据第一级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
当各第一级分支节点的输出概率值中，只有一个第一级分支节点的输出概率值大于预设阈值时，计算该第一级分支节点中的第二级分支节点的输出概率值；
根据第二级分支节点的输出概率值，将所述第一类别加入初始树卷积神经网络监测模型中所述第二级分支节点或第二级分支节点的递进子节点中，对初始树卷积神经网络监测模型进行更新。
7.如权利要求6所述的驾驶状态的监测模型更新方法，其特征在于，
将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的第一级分支节点，输出新增样本数据在第一级分支节点的样本概率值的步骤包括：
将所述归一化特征向量和第一类别，输入初始树卷积神经网络监测模型的各第一级分支节点；
获取初始树卷积神经网络模型的各第一级分支节点的权重值；
根据所述归一化特征向量和各第一级分支节点的权重值输出新增样本数据在各第一级分支节点的样本概率值。
8.如权利要求7所述的驾驶状态的监测模型更新方法，其特征在于，所述根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中，对初始树卷积神经网络监测模型进行更新的步骤包括：
根据所述输出概率值将所述第一类别加入初始树卷积神经网络监测模型的节点中；
对所述节点进行梯度下降的训练，并更新初始卷积神经网络监测模型的节点权重，完成对初始树卷积神经网络监测模型的更新。
9.一种更新装置，其特征在于，所述更新装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的驾驶状态的监测模型更新程序，所述驾驶状态的监测模型更新程序被所述处理器执行时实现如权利要求1至8中任一项所述的驾驶状态的监测模型更新方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有驾驶状态的监测模型更新程序，所述驾驶状态的监测模型更新程序被处理器执行时实现如权利要求1至8中任一项所述的驾驶状态的监测模型更新方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910103594.1A CN109858553B (zh) | 2019-01-31 | 2019-01-31 | 驾驶状态的监测模型更新方法、更新装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910103594.1A CN109858553B (zh) | 2019-01-31 | 2019-01-31 | 驾驶状态的监测模型更新方法、更新装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109858553A CN109858553A (zh) | 2019-06-07 |
| CN109858553B true CN109858553B (zh) | 2023-12-12 |
Family
ID=66897446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910103594.1A Active CN109858553B (zh) | 2019-01-31 | 2019-01-31 | 驾驶状态的监测模型更新方法、更新装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109858553B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110693508A (zh) * | 2019-09-02 | 2020-01-17 | 中国航天员科研训练中心 | 多通道协同的心理生理主动感知方法及服务机器人 |
| CN112580795A (zh) * | 2019-09-29 | 2021-03-30 | 华为技术有限公司 | 一种神经网络的获取方法以及相关设备 |
| CN114091567A (zh) * | 2020-06-23 | 2022-02-25 | 华为技术有限公司 | 一种驾驶决策方法及装置 |
| CN113837834B (zh) * | 2021-09-22 | 2023-09-01 | 东北大学 | 一种基于深度学习的购物篮推荐方法 |
| CN114355184B (zh) * | 2022-01-05 | 2023-09-26 | 国网江苏省电力有限公司宿迁供电分公司 | 一种基于在线学习的高压断路器状态监测预警方法 |
| CN114565964A (zh) * | 2022-03-03 | 2022-05-31 | 网易（杭州）网络有限公司 | 情绪识别模型的生成方法、识别方法、装置、介质和设备 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007122362A (ja) * | 2005-10-27 | 2007-05-17 | Toyota Motor Corp | ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置 |
| CN101038623A (zh) * | 2006-03-13 | 2007-09-19 | 欧姆龙株式会社 | 特征点检测装置、特征点检测方法及特征点检测程序 |
| JP2007257043A (ja) * | 2006-03-20 | 2007-10-04 | Nissan Motor Co Ltd | 乗員状態推定装置および乗員状態推定方法 |
| CN102750827A (zh) * | 2012-06-26 | 2012-10-24 | 浙江大学 | 群体诱导信息下驾驶员响应行为的数据采样和辨识*** |
| CN104036299A (zh) * | 2014-06-10 | 2014-09-10 | 电子科技大学 | 一种基于局部纹理aam的人眼轮廓跟踪方法 |
| CN104504400A (zh) * | 2015-01-08 | 2015-04-08 | 中国科学院重庆绿色智能技术研究院 | 一种基于在线行为建模的驾驶员异常行为检测方法 |
| CN106909879A (zh) * | 2017-01-11 | 2017-06-30 | 开易（北京）科技有限公司 | 一种疲劳驾驶检测方法及*** |
| CN106934368A (zh) * | 2017-03-13 | 2017-07-07 | 长安大学 | 一种基于眼动指标数据的驾驶疲劳检测***及识别方法 |
| CN107316457A (zh) * | 2016-04-27 | 2017-11-03 | 上海炬宏信息技术有限公司 | 判断道路交通状况是否符合汽车自动驾驶的方法 |
| CN107437147A (zh) * | 2017-08-02 | 2017-12-05 | 辽宁友邦网络科技有限公司 | 还原货运物流情景的车辆行驶风险动态评估方法及其*** |
| CN107907886A (zh) * | 2017-11-07 | 2018-04-13 | 广东欧珀移动通信有限公司 | 行驶状况识别方法、装置、存储介质及终端设备 |
| CN108248608A (zh) * | 2017-12-28 | 2018-07-06 | 北京百度网讯科技有限公司 | 用于评估驾驶***的舒适度的方法和装置 |
| CN108363968A (zh) * | 2018-01-31 | 2018-08-03 | 上海瀚所信息技术有限公司 | 一种基于关键点提取的司机疲劳驾驶监测***和方法 |
| CN108423006A (zh) * | 2018-02-02 | 2018-08-21 | 辽宁友邦网络科技有限公司 | 一种辅助驾驶预警方法及*** |
| CN108520268A (zh) * | 2018-03-09 | 2018-09-11 | 浙江工业大学 | 基于样本选择和模型进化的黑盒对抗性攻击防御方法 |
| CN108596087A (zh) * | 2018-04-23 | 2018-09-28 | 合肥湛达智能科技有限公司 | 一种基于双网络结果的驾驶疲劳程度检测回归模型 |
| CN108688675A (zh) * | 2017-03-29 | 2018-10-23 | 马自达汽车株式会社 | 车辆驾驶支援*** |
| CN108806667A (zh) * | 2018-05-29 | 2018-11-13 | 重庆大学 | 基于神经网络的语音与情绪的同步识别方法 |
| CN109284661A (zh) * | 2017-07-21 | 2019-01-29 | 松下电器（美国）知识产权公司 | 学习数据生成装置、学习数据生成方法和程序 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4683123B2 (ja) * | 2008-12-24 | 2011-05-11 | 株式会社デンソー | 行動推定装置、プログラム |
| US9493130B2 (en) * | 2011-04-22 | 2016-11-15 | Angel A. Penilla | Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input |
| JP2015513330A (ja) * | 2012-01-13 | 2015-05-07 | パルス ファンクション エフ６ リミテッド | ３ｄ慣性センサ付きテレマティクス・システム |
| US10210761B2 (en) * | 2013-09-30 | 2019-02-19 | Sackett Solutions & Innovations, LLC | Driving assistance systems and methods |
| US20180025289A1 (en) * | 2016-07-20 | 2018-01-25 | Qualcomm Incorporated | Performance Provisioning Using Machine Learning Based Automated Workload Classification |
| US20180053102A1 (en) * | 2016-08-16 | 2018-02-22 | Toyota Jidosha Kabushiki Kaisha | Individualized Adaptation of Driver Action Prediction Models |
| US11573573B2 (en) * | 2017-06-06 | 2023-02-07 | Plusai, Inc. | Method and system for distributed learning and adaptation in autonomous driving vehicles |
-
2019
- 2019-01-31 CN CN201910103594.1A patent/CN109858553B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007122362A (ja) * | 2005-10-27 | 2007-05-17 | Toyota Motor Corp | ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置 |
| CN101038623A (zh) * | 2006-03-13 | 2007-09-19 | 欧姆龙株式会社 | 特征点检测装置、特征点检测方法及特征点检测程序 |
| JP2007257043A (ja) * | 2006-03-20 | 2007-10-04 | Nissan Motor Co Ltd | 乗員状態推定装置および乗員状態推定方法 |
| CN102750827A (zh) * | 2012-06-26 | 2012-10-24 | 浙江大学 | 群体诱导信息下驾驶员响应行为的数据采样和辨识*** |
| CN104036299A (zh) * | 2014-06-10 | 2014-09-10 | 电子科技大学 | 一种基于局部纹理aam的人眼轮廓跟踪方法 |
| CN104504400A (zh) * | 2015-01-08 | 2015-04-08 | 中国科学院重庆绿色智能技术研究院 | 一种基于在线行为建模的驾驶员异常行为检测方法 |
| CN107316457A (zh) * | 2016-04-27 | 2017-11-03 | 上海炬宏信息技术有限公司 | 判断道路交通状况是否符合汽车自动驾驶的方法 |
| CN106909879A (zh) * | 2017-01-11 | 2017-06-30 | 开易（北京）科技有限公司 | 一种疲劳驾驶检测方法及*** |
| CN106934368A (zh) * | 2017-03-13 | 2017-07-07 | 长安大学 | 一种基于眼动指标数据的驾驶疲劳检测***及识别方法 |
| CN108688675A (zh) * | 2017-03-29 | 2018-10-23 | 马自达汽车株式会社 | 车辆驾驶支援*** |
| CN109284661A (zh) * | 2017-07-21 | 2019-01-29 | 松下电器（美国）知识产权公司 | 学习数据生成装置、学习数据生成方法和程序 |
| CN107437147A (zh) * | 2017-08-02 | 2017-12-05 | 辽宁友邦网络科技有限公司 | 还原货运物流情景的车辆行驶风险动态评估方法及其*** |
| CN107907886A (zh) * | 2017-11-07 | 2018-04-13 | 广东欧珀移动通信有限公司 | 行驶状况识别方法、装置、存储介质及终端设备 |
| CN108248608A (zh) * | 2017-12-28 | 2018-07-06 | 北京百度网讯科技有限公司 | 用于评估驾驶***的舒适度的方法和装置 |
| CN108363968A (zh) * | 2018-01-31 | 2018-08-03 | 上海瀚所信息技术有限公司 | 一种基于关键点提取的司机疲劳驾驶监测***和方法 |
| CN108423006A (zh) * | 2018-02-02 | 2018-08-21 | 辽宁友邦网络科技有限公司 | 一种辅助驾驶预警方法及*** |
| CN108520268A (zh) * | 2018-03-09 | 2018-09-11 | 浙江工业大学 | 基于样本选择和模型进化的黑盒对抗性攻击防御方法 |
| CN108596087A (zh) * | 2018-04-23 | 2018-09-28 | 合肥湛达智能科技有限公司 | 一种基于双网络结果的驾驶疲劳程度检测回归模型 |
| CN108806667A (zh) * | 2018-05-29 | 2018-11-13 | 重庆大学 | 基于神经网络的语音与情绪的同步识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 一种考虑驾驶员姿态及光照因素的疲劳驾驶稳健检测算法;张旭东;严宏斌;张忠伟;周亚同;;电子技术(第12期);第13、26-30页 * |
| 基于深度时空域卷积神经网络的表情识别模型;杨格兰;邓晓军;刘琮;;中南大学学报(自然科学版)(第07期);第2311-2319页 * |
| 驾驶员眼部状态识别方法的研究;郭克友, 储江伟, 王荣本;***工程与电子技术(第10期);第1186-1188、1228页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109858553A (zh) | 2019-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858553B (zh) | 驾驶状态的监测模型更新方法、更新装置及存储介质 | |
| CN106682602B (zh) | 一种驾驶员行为识别方法及终端 | |
| CN109726771B (zh) | 异常驾驶检测模型建立方法、装置及存储介质 | |
| CN111310562B (zh) | 基于人工智能的车辆驾驶风险管控方法及其相关设备 | |
| CN110447232B (zh) | 用于确定用户情绪的电子设备及其控制方法 | |
| CN111008640B (zh) | 图像识别模型训练及图像识别方法、装置、终端及介质 | |
| KR20190094133A (ko) | 객체를 인식하는 인공 지능 장치 및 그 방법 | |
| CN113015984A (zh) | 卷积神经网络中的错误校正 | |
| CN111797854B (zh) | 场景模型建立方法、装置、存储介质及电子设备 | |
| CN109949438B (zh) | 异常驾驶监测模型建立方法、装置及存储介质 | |
| CN111091044B (zh) | 一种面向网约车的车内危险场景识别方法 | |
| CN110516113B (zh) | 一种视频分类的方法、视频分类模型训练的方法及装置 | |
| CN110264093B (zh) | 信用模型的建立方法、装置、设备及可读存储介质 | |
| CN110135497A (zh) | 模型训练的方法、面部动作单元强度估计的方法及装置 | |
| CN103106394A (zh) | 一种视频监控中的人体行为识别方法 | |
| CN111694954B (zh) | 图像分类方法、装置和电子设备 | |
| CN111340213B (zh) | 神经网络的训练方法、电子设备、存储介质 | |
| CN113269010B (zh) | 一种人脸活体检测模型的训练方法和相关装置 | |
| KR20200080418A (ko) | 단말기 및 그의 동작 방법 | |
| CN107423663A (zh) | 一种图像处理方法及终端 | |
| JP7483431B2 (ja) | データ分類装置、データ分類方法、およびプログラム | |
| CN115909296A (zh) | 一种基于深度学习神经元网络的驾驶员状态分析判断方法 | |
| CN111814523A (zh) | 人体活动识别方法及装置 | |
| CN111797878B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN111400715B (zh) | 分类引擎诊断方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 706, building 3b, hongrongyuan Shangjun phase II, Longping community, Dalang street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Jintu computing technology (Shenzhen) Co.,Ltd. Address before: 518000 area a, 18 / F, building 1, creative park, broadcasting group, No.1 Qingqing Road, Qinghu community, Longhua sub district office, Longhua District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN SEMISKY TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |