CN114359880B - 一种基于智能学习模型的乘车体验增强方法、装置及云端 - Google Patents

一种基于智能学习模型的乘车体验增强方法、装置及云端 Download PDF

Info

Publication number
CN114359880B
CN114359880B CN202210266834.1A CN202210266834A CN114359880B CN 114359880 B CN114359880 B CN 114359880B CN 202210266834 A CN202210266834 A CN 202210266834A CN 114359880 B CN114359880 B CN 114359880B
Authority
CN
China
Prior art keywords
learning model
vehicle
intelligent learning
scale response
enhancement method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210266834.1A
Other languages
English (en)
Other versions
CN114359880A (zh
Inventor
李建武
张松
王卫苹
刘凯
王国梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Technology Research Institute of Beijing Institute of Technology
Original Assignee
Advanced Technology Research Institute of Beijing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Technology Research Institute of Beijing Institute of Technology filed Critical Advanced Technology Research Institute of Beijing Institute of Technology
Priority to CN202210266834.1A priority Critical patent/CN114359880B/zh
Publication of CN114359880A publication Critical patent/CN114359880A/zh
Application granted granted Critical
Publication of CN114359880B publication Critical patent/CN114359880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于智能学习模型的乘车体验增强方法、装置及云端。本发明中通过焦距不同且共等效光轴的三个摄像装置采集车内图像，所采集车内图像因摄像装置焦距的不同而具有不同的观测尺度，使得拍摄目标在车内图像中的相对尺寸和细节丰富，为后续训练智能学习模型减少负担，大幅度减少智能学习模型所需的卷积层，提高算法效率；将多组车内图像按时序排列形成数据包，计算获取数据包内的每组车内图像的尺度响应图并对尺度响应图归一化，提高数据的可识别性，利用高可识别性的数据训练智能学习模型来推测乘客可能的实际需求，进而根据预测的实际需求执行相应的操作，有助于提升乘客的乘车体验。

Description

一种基于智能学习模型的乘车体验增强方法、装置及云端
技术领域
本发明涉及汽车智能控制技术领域，尤其涉及一种基于智能学习模型的乘车体验增强方法、装置及云端。
背景技术
伴随着互联网与移动通信技术的普及和人工智能、嵌入式芯片等新一代计算技术的快速发展，智能型传感器与智慧算法在智能驾驶应用方面发挥了越发重要的作用。传感器的微型化与计算能力的提升使得在汽车内部可以隐蔽式的部署多个传感器，在不干扰驾驶与乘坐的前提下感知车内环境，推测乘车人和司机的潜在需求。目前该类应用已有部分现实产品应用于新能源汽车、网约车等场景，为提升驾驶的舒适感和安全性，以及提升乘客乘坐的体验感起到了重要作用。
目前有以下几种实现方式：（1）通过一个或多个传感器感知用户行为，并对应进行自动调整设置。这种方式***简单，但能够完成的功能也较为简单，无法满足用户更智能的需求。（2）通过摄像头捕捉用户特定动作，例如摆手、摇头等，从而利用图像识别处理方法和/或神经网络方法进行识别，从而对应进行车辆的操控设置。这种方法更为智能，能够完成的设置更多，但需要用户按照规范的动作（标志性动作）进行，且动作数量有限，能调整设置的功能也有限。（3）通过语音识别进行控制，这种虽然能够完成复杂的车辆操控，但依然需要用户主动说出需求（标志性声音）才能够实现操控。由此可见，无论哪种方案，都需要事先约定好标志性的事件（语言、动作等）才能够完成对应的操控，这使得操控车辆功能的种类多少受限于算法复杂程度，且都需要用户主动声明需求才能满足，同时每个用户所能够实现的功能也是相同的，没有个性化的定制。实际上有些功能在一些用户那里根本用不到，但依然要为这些功能设置相应算法，增加了算法负担。为此，需要一种能够无需用户主动发出信号，可主动识别用户动作，对用户意图进行准确预测，从而增强用户乘车体验的技术。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供一种基于智能学习模型的乘车体验增强方法、装置及云端。
第一方面，本发明提供一种基于智能学习模型的乘车体验增强方法，包括：
控制三个摄像装置每隔预设时间间隔L同时拍摄一组车内图像
Figure DEST_PATH_IMAGE001
，三个摄像装置的等效光轴保持一致，且三个摄像装置的焦距f 1、f 2、f 3满足
Figure 263649DEST_PATH_IMAGE002
；
将多组车内图像打包生成一个包含时序信息和空间信息的数据包
Figure DEST_PATH_IMAGE003
，其中，数据包每个元素
Figure 507680DEST_PATH_IMAGE004
，t=1，2……T；
对于数据包每个元素
Figure 808211DEST_PATH_IMAGE004
中的每一个车内图像，计算生成与其对应的尺度响应图
Figure DEST_PATH_IMAGE005
、
Figure 703355DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE007
，将尺度响应图通过如下公式归一化：
Figure 532770DEST_PATH_IMAGE008
，
其中，
Figure DEST_PATH_IMAGE009
表示尺度响应图
Figure 264097DEST_PATH_IMAGE010
中空间坐标为（u，v）的点的取值，
Figure DEST_PATH_IMAGE011
为归一化的尺度响应图，
Figure 368319DEST_PATH_IMAGE012
为归一化的尺度响应图中空间坐标为（u，v）的点的取值，
Figure DEST_PATH_IMAGE013
，
Figure 586811DEST_PATH_IMAGE014
表示某个尺度响应图的所有像素的平均值，
Figure DEST_PATH_IMAGE015
为每一组车内图像的三个尺度响应图中所有像素的平均值的中间值；
以获得的归一化的尺度响应图为基础数据，训练创建对数据包内车内图像所含对象行为识别的智能学习模型。
更进一步地，计算车内图像的尺度响应图S的公式如下：
Figure 852707DEST_PATH_IMAGE016
；
其中，
Figure DEST_PATH_IMAGE017
表示车内图像I中坐标为(u,v)的像素值，
Figure 799892DEST_PATH_IMAGE018
为与I对应的尺度响应图S中坐标为(u,v)的像素值，
Figure DEST_PATH_IMAGE019
、
Figure 442225DEST_PATH_IMAGE020
为对应的两个高斯卷积窗，
Figure DEST_PATH_IMAGE021
、
Figure 187328DEST_PATH_IMAGE022
分别为高斯卷积窗
Figure 14338DEST_PATH_IMAGE019
、
Figure 844891DEST_PATH_IMAGE020
对应坐标(i,j)处的权重值，符号
Figure DEST_PATH_IMAGE023
表示卷积运算。
更进一步地，所述高斯卷积窗定义如下：
Figure 25337DEST_PATH_IMAGE024
；
其中，
Figure DEST_PATH_IMAGE025
表示自然指数函数， (i,j)表示高斯卷积窗某个点的坐标，高斯卷积窗的中心的坐标为(0,0)，
Figure 234732DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE027
为高斯卷积窗的参数。
更进一步地，所述智能学习模型所采用的神经网络模型包括输入层、隐藏层和输出层，其中，所述隐藏层为3层结构。
更进一步地，在训练智能学习模型时，人工标注训练智能学习模型的数据包的归一化尺度响应图所对应的实际需求标签形成训练样本；利用训练样本对智能学习模型所采用的神经网络模型进行训练，确定神经网络模型中相邻层之间的连接权重。
更进一步地，对神经网络模型的训练时，采用后向传播方法求取代价函数的极值，取代价函数极值时的连接权重构建智能学习模型。
更进一步地，预设的时间间隔取值0.5秒，每一个数据包中包含12组车内图像。
更进一步地，通过训练的智能学习模型对车内图像的数据包进行预测获取用户的实际需求，车载控制器根据用户的实际需求执行相应操作。
第二方面，本发明提供一种执行基于智能学习模型的乘车体验增强方法的装置，包括：图像采集模块，所述图像采集模块用于采集车内图像；
尺度响应图生成模块，所述尺度响应图生成模块针对数据包内的每组车内图像生成尺度响应图；
归一化模块，所述归一化模块对尺度响应图进行归一化；
智能学习模型模块，所述智能学习模型模块对进行尺度响应图归一化的数据包进行预测，获取用户的实际需求；
执行模块，所述执行模块根据用户的实际需求执行相应操作以满足用户的实际需求。
第三方面，本发明提供一种执行基于智能学习模型的乘车体验增强方法的云端，包括：处理器、存储器、通讯接口和总线，总线连接处理器、存储器和通讯接口，云端的通讯接口通过网络连接车辆，云端从车辆获取车内图像并存储于存储器，所述存储器存储至少一条指令，所述处理器读取并执行所述指令对存储于处理器的车内图像进行处理分析并将分析结果反馈给车辆以实现所述的基于智能学习模型的乘车体验增强方法。
本发明实施例提供的上述技术方案与现有技术相比具有如下优点：
本发明通过共等效光轴的三个摄像设备捕捉车内环境与乘客的行为，并据此推测乘客可能的实际需求，进而根据实际需求执行相应的操作有助于提升乘客的乘车体验。
本发明通过焦距不同的三个摄像装置，在等效光轴一致的情况下，对车内情况实现不同视野范围的采集，由于三个摄像装置的光轴近似一致，并且在空间上的差异远小于拍摄目标的空间尺寸，因此，可以近似认为所采集三张车内图像的主要区别是：因焦距的不同而具有不同的观测尺度，使得拍摄目标在车内图像中的相对尺寸和细节丰富，为后续训练智能学习模型减少负担，大幅度减少智能学习模型所需的卷积层，提高算法效率。
本发明通过计算原始的车内图像的尺度响应图，可以在过滤噪声的同时突出原始的车内图像的细节特征，与直接输入原始的车内图像相比，尺度响应图像在不同行为类别上的特征区别度更高，可识别性能更强。通过将数据包中的尺度响应图归一化，降低由于焦距不同导致的观测对象在不同图像中的亮度水平不均衡程度，能够进一步降低数据噪声，有助于提高数据的可识别性能。为智能识别模型提供识别性强的输入数据，提高预测的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于智能学习模型的乘车体验增强方法的流程图；
图2为本发明实施例提供的共等效光轴的三个摄像设备的设计示意图；
图3为本发明实施例提供的一种实现基于智能学习模型的乘车体验增强方法的装置的示意图；
图4为本发明实施例提供的一种实现基于智能学习模型的乘车体验增强方法的云端的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例1
参阅图1所示，本发明实施例提供一种基于智能学习模型的乘车体验增强方法，包括：
S100，利用三个摄像装置每隔预设时间间隔L同时拍摄一组车内图像
Figure 108010DEST_PATH_IMAGE001
；
具体的，三个摄像装置的等效光轴保持一致，且三个摄像装置的焦距f 1、f 2、f 3满足
Figure 284914DEST_PATH_IMAGE002
。参阅图2所示，一种可行的使三个摄像装置等效光轴保持的设计包括：镜头1，镜头1的轴线上分别设置第一分光单元2-1和第二分光单元2-2，且所述第一分光单元2-1和第二分光单元2-2有一条分光光路与镜头1的轴线共线，所述第二分光单元2-2处于第二分光单元2-1与镜头1轴线共线的分光光路上，摄像装置3-3处于第二分光单元与镜头1的轴线共线的分光光路上，所述第一分光单元2-1的另一个分光光路上设置一个摄像装置3-1，所述第二分光单元2-2的另一个分光光路上设置摄像装置3-2。摄像装置优选的焦距配置参数为
Figure 269050DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
。
具体实施过程中，作为一种优选，预设的间隔时间L取0.5秒。
本申请通过焦距不同的三个摄像装置，在等效光轴一致的情况下，对车内情况实现不同视野范围的采集，由于三个摄像装置的光轴近似一致，并且在空间上的差异远小于拍摄目标的空间尺寸，因此，可以近似认为所采集三张车内图像的主要区别是：因焦距的不同而具有不同的观测尺度，使得拍摄目标在车内图像中的相对尺寸和细节丰富，为后续训练智能学习模型减少负担，大幅度减少智能学习模型所需的卷积层，提高算法效率。
S200，将多组车内图像打包生成一个包含时序信息和空间信息的数据包
Figure 988744DEST_PATH_IMAGE003
，其中，数据包每个元素
Figure 32924DEST_PATH_IMAGE004
，t=1，2……T；具体实施过程中，作为一种优选，数据包内所含的车内图像的组数T取12。
S300，对于数据包每个元素
Figure 713435DEST_PATH_IMAGE004
中的每一个车内图像，计算生成与其对应的尺度响应图
Figure 501262DEST_PATH_IMAGE005
、
Figure 75463DEST_PATH_IMAGE006
、
Figure 290544DEST_PATH_IMAGE007
。
计算车内图像的尺度响应图S的公式如下：
Figure 442040DEST_PATH_IMAGE016
；
其中，
Figure 33558DEST_PATH_IMAGE017
表示车内图像I中坐标为(u,v)的像素值，
Figure 462265DEST_PATH_IMAGE018
为与I对应的尺度响应图S中坐标为(u,v)的像素值，
Figure 848247DEST_PATH_IMAGE019
、
Figure 503351DEST_PATH_IMAGE020
为对应的两个高斯卷积窗，
Figure 632981DEST_PATH_IMAGE021
、
Figure 916194DEST_PATH_IMAGE022
分别为高斯卷积窗
Figure 738657DEST_PATH_IMAGE019
、
Figure 864745DEST_PATH_IMAGE020
对应坐标(i,j)处的权重值，符号
Figure 63645DEST_PATH_IMAGE023
表示卷积运算。
所述高斯卷积窗定义如下：
Figure 201365DEST_PATH_IMAGE024
；
其中，
Figure 194729DEST_PATH_IMAGE025
表示自然指数函数， (i,j)表示高斯卷积窗某个点的坐标，高斯卷积窗的中心的坐标为(0,0)，
Figure 683479DEST_PATH_IMAGE026
、
Figure 30278DEST_PATH_IMAGE027
为高斯卷积窗的参数，
Figure 288084DEST_PATH_IMAGE026
、
Figure 452349DEST_PATH_IMAGE027
的大小决定高斯卷积窗的形态，具体实施过程中，作为一种优选，
Figure 162816DEST_PATH_IMAGE026
取值1.3，
Figure 562573DEST_PATH_IMAGE027
取值1.65，高斯卷积窗的尺寸选择17*17像素。
通过计算原始的车内图像的尺度响应图，可以在过滤噪声的同时突出原始的车内图像的细节特征，与直接输入原始的车内图像相比，尺度响应图像在不同行为类别上的特征区别度更高，可识别性能更强。
S400，将数据包内的尺度响应图通过如下公式归一化：
Figure 940465DEST_PATH_IMAGE008
，
其中，其中，
Figure 10052DEST_PATH_IMAGE009
表示尺度响应图
Figure 473395DEST_PATH_IMAGE010
中空间坐标为（u，v）的点的取值，
Figure 161996DEST_PATH_IMAGE011
为归一化的尺度响应图，
Figure 659974DEST_PATH_IMAGE012
为归一化的尺度响应图中空间坐标为（u，v）的点的取值，
Figure 900462DEST_PATH_IMAGE013
，
Figure 851101DEST_PATH_IMAGE014
表示某个尺度响应图的所有像素的平均值，
Figure 468027DEST_PATH_IMAGE015
为每一组车内图像的三个尺度响应图中所有像素的平均值的中间值。
通过将数据包中的尺度响应图归一化，降低由于焦距不同导致的观测对象在不同图像中的亮度水平不均衡程度，能够进一步降低数据噪声，有助于提高数据的可识别性能。
S500，以数据包内归一化的尺度响应图为基础数据，训练创建对数据包内车内图像所含对象行为识别的智能学习模型。
具体实施过程中，作为一种优选，所述智能学习模型所采用的神经网络模型包括输入层、隐藏层和输出层，其中，所述隐藏层为3层结构。
具体实施过程中，所述输入层的输入内容为尺度响应图归一化后的数据包，输入层的形式为：
Figure 679565DEST_PATH_IMAGE030
。
所述隐藏层为3层结构，其中，
第一层结构的定义如下：
Figure 356534DEST_PATH_IMAGE031
，
式中，
Figure 528889DEST_PATH_IMAGE032
表示以(u,v,t)为中心的卷积窗口，p、q、r表示卷积窗口中相对位置的整数坐标，其中，p、q为卷积窗口的空间维度，r为卷积窗口的时间维度，
Figure 683927DEST_PATH_IMAGE032
的卷积窗口大小为9*9*11，对应p、q的取值范围为-4到4，r的取值范围为-5到5。
Figure 766284DEST_PATH_IMAGE033
表示输入层的第c张尺度响应图在时间t+r时坐标(u+p,v+q)处的节点。
Figure 348575DEST_PATH_IMAGE034
为线性偏置量。
Figure 8226DEST_PATH_IMAGE035
为一非线性函数：
Figure 966955DEST_PATH_IMAGE036
；
其中，
Figure 153086DEST_PATH_IMAGE037
是经验参数，作为一种优选，
Figure 171857DEST_PATH_IMAGE037
取值0.007。min表示取两者的最小值，用于控制激励函数的值域在样本取值允许的范围内。
第二层结构的定义如下：
Figure 318805DEST_PATH_IMAGE038
；
其中，max表示对应第c张响应图中在时间轴上范围为4t+r的窗口内所有坐标为(u,v)的像素的最大值，r表示时间窗口中相对位置的正整数坐标，r取值范围为{0, 1, 2,3}。
Figure 815645DEST_PATH_IMAGE039
表示第一个隐藏层中坐标为(u, v,4t+r,c)的节点。
Figure 607015DEST_PATH_IMAGE040
为线性偏置量。第二层结构的每一个节点与第一层结构中时间上相邻的4个节点相连。
第三层结构的定义如下：
Figure 796688DEST_PATH_IMAGE041
；
其中，
Figure 430932DEST_PATH_IMAGE042
为第二层中的一个节点，p、q、r、c定义了节点的位置，
Figure 997042DEST_PATH_IMAGE043
表示第二层的节点
Figure 767552DEST_PATH_IMAGE042
与第三层节点
Figure 252760DEST_PATH_IMAGE044
之间的连接权重，
Figure 374300DEST_PATH_IMAGE045
为线性偏置量。
所述输出层的节点
Figure 212943DEST_PATH_IMAGE046
对应实际需求的概率，实际需求表示乘客在当前乘车环境下希望采取的某种措施或对于环境调整的某种需要，比如希望调整空调温度，关闭车窗，调整车内照明灯等。当
Figure 103538DEST_PATH_IMAGE047
值为0时，表示当前输入下乘客不可能具有该实际需求，当
Figure 504521DEST_PATH_IMAGE047
值为1时，表示当前输入下乘客一定具有实际需求。输出层节点数z等于需要识别的独立需求的数量。
在训练智能学习模型时，人工标注训练智能学习模型的数据包的归一化尺度响应图所对应的实际需求的标签形成训练样本；利用训练样本对智能学习模型所采用的神经网络模型进行训练，通过神经网络模型计算输入训练样本获取输出结果，采用后向传播方法求取代价函数的极值，取代价函数极值时的连接权重构建智能学习模型。
定义代价函数如下：
Figure 847777DEST_PATH_IMAGE048
；
其中，y表示实际需求的真实值，
Figure 755691DEST_PATH_IMAGE049
表示神经网络模型对输入进行计算后的输出结果，
Figure 500793DEST_PATH_IMAGE047
、
Figure 327803DEST_PATH_IMAGE050
分别为向量y、
Figure 158356DEST_PATH_IMAGE049
的分量。
Figure 338802DEST_PATH_IMAGE051
为控制系数，用于实现输出结果与真实值的归一化，可以提高模型对样本的拟合效果；参数
Figure 203989DEST_PATH_IMAGE052
有助于提高智能学习模型的噪声的鲁棒性。作为优选，取
Figure 342847DEST_PATH_IMAGE053
为0.83，
Figure 536062DEST_PATH_IMAGE054
为0.015。
训练出智能学习模型后，通过训练的智能学习模型对车内图像的数据包进行预测获取用户的实际需求，车载控制器根据用户的实际需求执行相应操作。
实施例2
参阅图3所示，本发明实施例提供一种执行基于智能学习模型的乘车体验增强方法的装置，用于实现所述的基于智能学习模型的乘车体验增强方法，包括：图像采集模块，所述图像采集模块用于采集车内图像；
尺度响应图生成模块，所述尺度响应图生成模块针对数据包内的每组车内图像生成对应的尺度响应图；
归一化模块，所述归一化模块对尺度响应图进行归一化；
智能学习模型模块，所述智能学习模型模块对进行尺度响应图归一化的数据包进行预测，获取用户的实际需求；
执行模块，所述执行模块根据用户的实际需求执行相应操作以满足用户的实际需求。
实施例3
参阅图4所示，本发明实施例提供一种执行基于智能学习模型的乘车体验增强方法的云端，云端为高算力的服务器集群，包括：至少两组能够组成集群的处理器、存储器、通讯接口和总线，总线连接处理器、存储器和通讯接口，云端的通讯接口通过网络连接车辆，云端从车辆获取车内图像并存储于存储器，所述存储器存储至少一条指令，所述处理器读取并执行所述指令对存储于处理器的车内图像进行处理分析并将分析结果反馈给车辆以实现所述的基于智能学习模型的乘车体验增强方法。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于智能学习模型的乘车体验增强方法，其特征在于，包括：
控制三个摄像装置每隔预设时间间隔L同时拍摄一组车内图像
Figure 913052DEST_PATH_IMAGE001
，三个摄像装置的等效光轴保持一致，且三个摄像装置的焦距f 1、f 2、f 3满足
Figure 524162DEST_PATH_IMAGE002
；
将多组车内图像打包生成一个包含时序信息和空间信息的数据包
Figure 113668DEST_PATH_IMAGE003
，其中，数据包每个元素
Figure 911860DEST_PATH_IMAGE004
，t=1，2……T；
对于数据包每个元素
Figure 376339DEST_PATH_IMAGE004
中的每一个车内图像，计算生成对应的尺度响应图
Figure 576377DEST_PATH_IMAGE005
、
Figure 100899DEST_PATH_IMAGE006
、
Figure 120807DEST_PATH_IMAGE007
，将尺度响应图通过如下公式归一化：
Figure 388978DEST_PATH_IMAGE008
，
其中，
Figure 177942DEST_PATH_IMAGE009
表示尺度响应图
Figure 138945DEST_PATH_IMAGE010
中空间坐标为（u，v）的点的取值，
Figure 646150DEST_PATH_IMAGE011
为归一化的尺度响应图，
Figure 953897DEST_PATH_IMAGE012
为归一化的尺度响应图中空间坐标为（u，v）的点的取值，
Figure 862947DEST_PATH_IMAGE013
，
Figure 729272DEST_PATH_IMAGE014
表示某个尺度响应图的所有像素的平均值，
Figure 723772DEST_PATH_IMAGE015
为每一组车内图像的三个尺度响应图中所有像素的平均值的中间值；
以获得的归一化的尺度响应图为基础数据，训练创建对数据包内车内图像所含对象行为识别的智能学习模型。
2.如权利要求1所述的基于智能学习模型的乘车体验增强方法，其特征在于，计算车内图像的尺度响应图S的公式如下：
Figure 333745DEST_PATH_IMAGE016
；
其中，
Figure 362881DEST_PATH_IMAGE017
表示车内图像I中坐标为(u,v)的像素值，
Figure 400107DEST_PATH_IMAGE018
为与I对应的尺度响应图S中坐标为(u,v)的像素值，
Figure 616325DEST_PATH_IMAGE019
、
Figure 29989DEST_PATH_IMAGE020
为对应的两个高斯卷积窗，
Figure 913631DEST_PATH_IMAGE021
、
Figure 121759DEST_PATH_IMAGE022
分别为高斯卷积窗
Figure 592316DEST_PATH_IMAGE019
、
Figure 278513DEST_PATH_IMAGE020
对应坐标(i,j)处的权重值，符号
Figure 282241DEST_PATH_IMAGE023
表示卷积运算。
3.如权利要求2所述的基于智能学习模型的乘车体验增强方法，其特征在于，所述高斯卷积窗定义如下：
Figure 661270DEST_PATH_IMAGE024
；
其中，
Figure 117659DEST_PATH_IMAGE025
表示自然指数函数， (i,j)表示高斯卷积窗某个点的坐标，高斯卷积窗的中心的坐标为(0,0)，
Figure 607546DEST_PATH_IMAGE026
、
Figure 200201DEST_PATH_IMAGE027
为高斯卷积窗的参数。
4.如权利要求1所述的基于智能学习模型的乘车体验增强方法，其特征在于，所述智能学习模型所采用的神经网络模型包括输入层、隐藏层和输出层，其中，所述隐藏层为3层结构；其中，
输入层的形式为：
Figure 750131DEST_PATH_IMAGE028
；
所述隐藏层中第一层结构的定义如下：
Figure 693816DEST_PATH_IMAGE029
，
式中，
Figure 987395DEST_PATH_IMAGE030
表示以(u,v,t)为中心的卷积窗口，p、q、r表示卷积窗口中相对位置的整数坐标，其中，p、q为卷积窗口的空间维度，r为卷积窗口的时间维度，
Figure 201600DEST_PATH_IMAGE031
表示输入层的第c张尺度响应图在时间t+r时坐标(u+p,v+q)处的节点，
Figure 922432DEST_PATH_IMAGE032
为线性偏置量；
Figure 87834DEST_PATH_IMAGE033
为一非线性函数：
Figure 185103DEST_PATH_IMAGE034
；
其中，
Figure 752351DEST_PATH_IMAGE035
是经验参数，min表示取两者的最小值，用于控制激励函数的值域在样本取值允许的范围内；
第二层结构的定义如下：
Figure 644083DEST_PATH_IMAGE036
；
其中，max表示对应第c张响应图中在时间轴上范围为4t+r的窗口内所有坐标为(u,v)的像素的最大值，r表示时间窗口中相对位置的正整数坐标，
Figure 296781DEST_PATH_IMAGE037
表示第一个隐藏层中坐标为(u, v,4t+r,c)的节点，
Figure 197741DEST_PATH_IMAGE038
为线性偏置量；
第三层结构的定义如下：
Figure 353916DEST_PATH_IMAGE039
；
其中，
Figure 682129DEST_PATH_IMAGE040
为第二层中的一个节点，p、q、r、c定义了节点的位置，
Figure 556544DEST_PATH_IMAGE041
表示第二层的节点
Figure 762660DEST_PATH_IMAGE040
与第三层节点
Figure 38921DEST_PATH_IMAGE042
之间的连接权重，
Figure 538035DEST_PATH_IMAGE043
为线性偏置量。
5.如权利要求1所述的基于智能学习模型的乘车体验增强方法，其特征在于，在训练智能学习模型时，人工标注训练智能学习模型的数据包的归一化尺度响应图所对应的实际需求标签形成训练样本；利用训练样本对智能学习模型所采用的神经网络模型进行训练，确定神经网络模型中相邻层之间的连接权重。
6.如权利要求5所述的基于智能学习模型的乘车体验增强方法，其特征在于，对神经网络模型的训练时，采用后向传播方法求取代价函数的极值，取代价函数极值时的连接权重构建智能学习模型。
7.如权利要求1所述的基于智能学习模型的乘车体验增强方法，其特征在于，预设的时间间隔取值0.5秒，每一个数据包中包含12组车内图像。
8.如权利要求1所述的基于智能学习模型的乘车体验增强方法，其特征在于，通过训练的智能学习模型对车内图像的数据包进行预测获取用户的实际需求，车载控制器根据用户的实际需求执行相应操作。
9.一种执行基于智能学习模型的乘车体验增强方法的装置，用于实现如权利要求1-8任一所述的基于智能学习模型的乘车体验增强方法，其特征在于，包括：图像采集模块，所述图像采集模块用于采集车内图像；
尺度响应图生成模块，所述尺度响应图生成模块针对数据包内的每组车内图像生成尺度响应图；
归一化模块，所述归一化模块对尺度响应图进行归一化；
智能学习模型模块，所述智能学习模型模块对进行尺度响应图归一化的数据包进行预测，获取用户的实际需求；
执行模块，所述执行模块根据用户的实际需求执行相应操作以满足用户的实际需求。
10.一种执行基于智能学习模型的乘车体验增强方法的云端，其特征在于，包括：处理器、存储器、通讯接口和总线，总线连接处理器、存储器和通讯接口，云端的通讯接口通过网络连接车辆，云端从车辆获取车内图像并存储于存储器，所述存储器存储至少一条指令，所述处理器读取并执行所述指令对存储于处理器的车内图像进行处理分析并将分析结果反馈给车辆以实现如权利要求1-8任一所述的基于智能学习模型的乘车体验增强方法。
CN202210266834.1A 2022-03-18 2022-03-18 一种基于智能学习模型的乘车体验增强方法、装置及云端 Active CN114359880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210266834.1A CN114359880B (zh) 2022-03-18 2022-03-18 一种基于智能学习模型的乘车体验增强方法、装置及云端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210266834.1A CN114359880B (zh) 2022-03-18 2022-03-18 一种基于智能学习模型的乘车体验增强方法、装置及云端

Publications (2)

Publication Number Publication Date
CN114359880A CN114359880A (zh) 2022-04-15
CN114359880B true CN114359880B (zh) 2022-05-24

Family

ID=81095169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210266834.1A Active CN114359880B (zh) 2022-03-18 2022-03-18 一种基于智能学习模型的乘车体验增强方法、装置及云端

Country Status (1)

Country Link
CN (1) CN114359880B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426645A (zh) * 2011-08-30 2012-04-25 北京航空航天大学 一种多视角多状态的步态识别方法
CN103679153A (zh) * 2013-12-16 2014-03-26 中国民航大学 手指多模态生物特征偏振成像***
CN104183127A (zh) * 2013-05-21 2014-12-03 北大方正集团有限公司 交通监控视频检测方法和装置
CN104573617A (zh) * 2013-10-28 2015-04-29 季春宏 一种摄像控制方法
CN105930774A (zh) * 2016-04-14 2016-09-07 中铁大桥勘测设计院集团有限公司 一种基于神经网络的桥梁螺栓脱落自动识别方法
CN106447762A (zh) * 2015-08-07 2017-02-22 中国科学院深圳先进技术研究院 基于光场信息的三维重建方法及***
CN109241870A (zh) * 2018-08-16 2019-01-18 中国矿业大学(北京) 基于步态识别的煤矿井下人员身份识别方法
CN111027586A (zh) * 2019-11-04 2020-04-17 天津大学 一种基于新型响应图融合的目标跟踪方法
CN113177518A (zh) * 2021-05-24 2021-07-27 西安建筑科技大学 一种利用弱监督区域推荐的车辆重识别方法
CN113947768A (zh) * 2021-10-15 2022-01-18 京东鲲鹏(江苏)科技有限公司 一种基于单目3d目标检测的数据增强方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461083A (zh) * 2020-05-26 2020-07-28 青岛大学 基于深度学习的快速车辆检测方法
CN111694977A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种基于数据增强的车辆图像检索方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426645A (zh) * 2011-08-30 2012-04-25 北京航空航天大学 一种多视角多状态的步态识别方法
CN104183127A (zh) * 2013-05-21 2014-12-03 北大方正集团有限公司 交通监控视频检测方法和装置
CN104573617A (zh) * 2013-10-28 2015-04-29 季春宏 一种摄像控制方法
CN103679153A (zh) * 2013-12-16 2014-03-26 中国民航大学 手指多模态生物特征偏振成像***
CN106447762A (zh) * 2015-08-07 2017-02-22 中国科学院深圳先进技术研究院 基于光场信息的三维重建方法及***
CN105930774A (zh) * 2016-04-14 2016-09-07 中铁大桥勘测设计院集团有限公司 一种基于神经网络的桥梁螺栓脱落自动识别方法
CN109241870A (zh) * 2018-08-16 2019-01-18 中国矿业大学(北京) 基于步态识别的煤矿井下人员身份识别方法
CN111027586A (zh) * 2019-11-04 2020-04-17 天津大学 一种基于新型响应图融合的目标跟踪方法
CN113177518A (zh) * 2021-05-24 2021-07-27 西安建筑科技大学 一种利用弱监督区域推荐的车辆重识别方法
CN113947768A (zh) * 2021-10-15 2022-01-18 京东鲲鹏(江苏)科技有限公司 一种基于单目3d目标检测的数据增强方法和装置

Also Published As

Publication number Publication date
CN114359880A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US10037471B2 (en) System and method for image analysis
CN107025802B (zh) 一种基于无人机寻找停车位的方法及无人机
CN111566612A (zh) 基于姿势和视线的视觉数据采集***
WO2018145028A1 (en) Systems and methods of a computational framework for a driver's visual attention using a fully convolutional architecture
CN107886043B (zh) 视觉感知的汽车前视车辆和行人防碰撞预警***及方法
US20140152549A1 (en) System and method for providing user interface using hand shape trace recognition in vehicle
JP2019015692A (ja) 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム
CN111572549A (zh) 驾驶环境调节方法、***、存储介质及电子设备
CN114973209A (zh) 识别驾驶员情绪的方法、装置、设备、介质和车辆
JP2019106193A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
CN115134537A (zh) 一种图像处理方法、装置及车辆
CN108881846B (zh) 信息融合方法、装置及计算机可读存储介质
CN114359880B (zh) 一种基于智能学习模型的乘车体验增强方法、装置及云端
JP6472504B1 (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
JP7230896B2 (ja) 車載センシング装置及びセンサパラメータ最適化装置。
KR102220912B1 (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
CN107832726B (zh) 使用者识别和确认装置及车用中央控制***
CN115635969A (zh) 一种车辆控制方法、装置及车辆
CN112686103A (zh) 一种车路协同的疲劳驾驶监测***
EP3553695A1 (en) Method and system for displaying image data from at least one night vision camera of a vehicle
US20220165067A1 (en) Method, system and computer program product for detecting movements of the vehicle body in the case of a motor vehicle
US20230033243A1 (en) Systems and methods for object proximity monitoring around a vehicle
US20230394842A1 (en) Vision-based system with thresholding for object detection
US20230274586A1 (en) On-vehicle device, management system, and upload method
CN115424356B (zh) 一种座舱内手势交互方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant