CN111881886A - 基于姿态识别的智能座椅控制方法及装置 - Google Patents

基于姿态识别的智能座椅控制方法及装置 Download PDF

Info

Publication number
CN111881886A
CN111881886A CN202010848452.0A CN202010848452A CN111881886A CN 111881886 A CN111881886 A CN 111881886A CN 202010848452 A CN202010848452 A CN 202010848452A CN 111881886 A CN111881886 A CN 111881886A
Authority
CN
China
Prior art keywords
target user
human body
posture
dimensional
key nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010848452.0A
Other languages
English (en)
Inventor
董秀园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010848452.0A priority Critical patent/CN111881886A/zh
Publication of CN111881886A publication Critical patent/CN111881886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及基于姿态识别的智能座椅控制方法及装置。该方法包括:通过图像数据采集装置获取目标用户的图像数据;通过姿态识别算法从所述图像数据中识别出所述目标用户,并输出所述智能座椅所需要的人体体态图;基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息;利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准;将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较;以及基于所述比较结果,对所述智能座椅适应性调整。

Description

基于姿态识别的智能座椅控制方法及装置
技术领域
本公开总体上涉及人工智能领域,具体地涉及基于姿态识别的智能座椅控制方法及装置。
背景技术
随着社会的发展,汽车逐渐普及成为人们日常的代步工具。其中,汽车座椅作为汽车的基本装置是汽车的重要***件,直接关系到乘员的驾乘舒适性和安全性。为此,在开始驾驶汽车之前,需要对汽车座椅进行调整以适应乘员。如果汽车座椅无法适应乘员,则乘员在驾驶过程中可能需要保持很蜷缩的姿势,这样就必然会使得乘员的全身的骨骼、肌肉处于紧张状态,增加驾驶疲劳感,甚至会影响行车安全。然而,从目前的汽车驾驶情况来看,很多新人都面临这个问题,甚至对于老司机而言,将汽车座椅调整到既舒适又安全的位置也是非常不容易的。
然而,在现有技术中,通常只是在人体感知的情况下对汽车座椅的座垫、靠背、头枕、腰垫等进行手动调节,但是调节效率比较低,即,舒适度及安全性需要不断重复调整获得。因此,需要设计一种新的智能汽车座椅控制方法及装置,能够依照用户个性化调整汽车座椅的坐垫高度、前后距离、靠背角度以及头枕位置,以满足舒适性及安全性的需求。
发明内容
鉴于上述技术问题,本公开内容提出了一种基于姿态识别的智能座椅控制方法及装置。该方法及装置通过多视角获取目标用户的视频和图像,重建三维姿态信息,从而全方位获取目标用户的姿态。此外,该智能座椅控制方法及装置还利用深度学习神经网络结合传统机器学习技术进行姿态分析,继而通过与参考者进行比较对所述智能座椅适应性调整,并将优化建议反馈给目标用户。
在本公开内容的一个方面,提供了一种基于姿态识别的智能座椅控制方法,包括如下步骤:通过图像数据采集装置获取目标用户的图像数据;通过姿态识别算法从所述图像数据中识别出所述目标用户,并输出所述智能座椅所需要的人体体态图;基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息;利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准;将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较;以及基于所述比较结果,对所述智能座椅适应性调整。
在一个优选实施方式中,所述图像数据采集装置包括以下至少一种:平面摄像头、深度摄像头、红外摄像头或热成像仪,其中所述深度摄像头包括以下至少一种:时间飞行摄像头、结构光摄像头或双目摄像头。
在另一优选实施方式中,所述输出所述智能座椅所需要的人体体态图进一步包括:通过人体的关键节点,确定人体的姿态,其中所述关键节点包括以下至少一种:肢体关节点、面部关键点,并且所述关键节点的位置信息用坐标表示;确定至少一个所述关键节点在所述图像数据中的位置坐标;确定至少一个所述关键节点的类别信息,其中所述类别信息包括:感兴趣的身体特征信息,所述感兴趣的身体特征信息包括:针对不同应用的人体监测任务和人体生物力学模型分析所需要的人体部位关键特征点;确定至少一个所述关键节点的状态信息,其中所述状态信息包括:可见、不可见、以及可推测或不可推测;以及通过所述关键节点之间的位置关系和可信度,将所述关键节点链接成所述人体体态图。
在又一优选实施方式中,所述姿态识别算法包括深度学习神经网络预测算法,其中深度学习神经网络需要进行训练,所述训练包括:准备人体姿态图像集,其中所述人体姿态图像集中的人体姿态图像数据根据所述关键节点被标记;以及利用所述人体姿态图像集对深度学习模型进行训练,通过误差反向传播更新所述深度学习神经网络的参数直至收敛,得到训练完备的所述深度学习神经网络。
在又一优选实施方式中,基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息进一步包括:获取所述图像数据采集装置的拍摄参数,根据所述拍摄参数建立三维空间坐标系,其中所述拍摄参数包括以下至少一种:摄像头的方位,角度和视角,焦距。
在又一优选实施方式中,基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息进一步包括:在单深度相机的情况下,通过将由所述深度相机获取的深度图像生成的所述人体体态图转换为三维点云图像,以重建所述目标用户的所述人体三维姿态信息;在平面相机和深度相机组合的情况下,通过将由所述平面相机获取的平面图像生成的所述人体体态图与由所述深度相机获取的深度图像转换的三维点云图像进行处理,以重建所述目标用户的所述人体三维姿态信息;或者在多视角图像数据采集装置组合的情况下,通过将图像数据采集装置在每个视角生成的所述人体体态图投射到所述三维空间坐标系中,以重建所述目标用户的所述人体三维姿态信息。
在又一优选实施方式中,利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准进一步包括全局骨骼缩放和局部骨骼缩放,其中所述全局骨骼缩放是指针对整个人体的关键节点的坐标集进行配准,所述局部骨骼缩放是指针对人体的关键节点中的局部关键节点的坐标进行配准,包括:计算所述目标用户与所述参考者的骨骼长度,其中所述骨骼长度为链接在一起的所述关键节点的所述位置坐标之间的距离,其中所述距离包括以下至少一种:欧式距离、标准化欧式距离、马氏距离、余弦距离;将所述目标用户的所述骨骼长度按照所述参考者的对应骨骼长度进行骨骼配准;或者将所述参考者的所述骨骼长度按照所述目标用户的对应骨骼长度进行骨骼配准。
在又一优选实施方式中,将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较进一步包括以下至少一种:通过计算所述目标用户的关键节点与所述参考者的对应关键节点在所述三维空间上的距离进行逐一比较,其中所述距离越大表示姿态差距越大;通过计算所述目标用户的多个关键节点与所述参考者的多个对应关键节点在所述三维空间上的距离并将所得距离求平均值进行比较,其中所述平均值越大表示姿态差距越大;以及通过计算所述目标用户的相链接关键节点组成的线段与所述参考者的对应相链接关键节点组成的线段之间的夹角进行比较,其中所述夹角越大表示姿态差距越大。
在又一优选实施方式中,基于所述比较结果,对所述智能座椅适应性调整进一步包括:基于对前述的一个或多个比较方式得到的比较结果加权所得的评分,适应性调整所述智能座椅的坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度;形成所述智能座椅的所述坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度针对所述目标用户的记忆,以便响应于识别出所述目标用户,直接将所述智能座椅调整至针对所述目标用户记忆的坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度;以及向所述目标用户反馈姿态优化建议。
在本公开内容的另一方面,提供了一种基于姿态识别的智能座椅控制装置,包括:图像采集模块,所述图像采集模块被配置为通过图像数据采集装置获取目标用户的图像数据;姿态识别模块,所述姿态识别模块被配置为通过姿态识别算法从所述图像数据中识别出所述目标用户,并输出所述智能座椅所需要的人体体态图;三维重建模块,所述三维重建模块被配置为基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息;骨骼配准模块,所述骨骼配准模块被配置为利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准;姿态比较模块,所述姿态比较模块被配置为将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较;以及自适应调整模块,所述自适应调整模块被配置为基于所述比较结果,对所述智能座椅适应性调整。
此外,该基于姿态识别的智能座椅控制装置能够实现如上文所述的基于姿态识别的智能座椅控制方法。
与现有技术相比,本公开内容的有益效果为:该方法和装置通过重建三维姿态信息并利用深度学习神经网络结合传统机器学习技术进行姿态分析,对所述智能座椅适应性调整,并将优化建议反馈给目标用户,从而可以有效提高目标用户的舒适性,减少行车过程中的盲区,继而避免交通事故的发生。
附图说明
在所附权利要求书中具体阐述了本发明的新颖性特征。通过参考以下附图和对附图中利用到本发明原理的说明性实施方式的详细阐述,将会对本发明的特征和优点取得更好的理解。附图仅用于示出实施方式,而并不应当被认为是对本发明的限制。而且在整个附图中,用相同的附图标记表示相同的元素,在附图中:
图1示出了依据本公开内容示例性实施方式的基于姿态识别的智能座椅控制方法的流程图;
图2示出了依据本公开内容示例性实施方式的摄像头的一种布置方式;
图3示出了依据本公开内容示例性实施方式的模型应用流程图;
图4示出了依据本公开内容示例性实施方式的深度学习网络模型的训练流程图;
图5示出了依据本公开内容示例性实施方式的身体关键特征点标记模板的示例;
图6示出了依据本公开内容示例性实施方式的坐姿分析所用的身体关键特征点示意图;
图7示出了依据本公开内容示例性实施方式的人体姿态三维重建流程的示例;
图8示出了依据本公开内容示例性实施方式的基于姿态识别的智能座椅控制装置的示意图;以及
图9示出了依据本公开内容示例性实施方式的基于姿态识别的智能汽车座椅的示意图。
具体实施方式
下面将参照附图更详细地描述本公开内容的示例性实施方式。虽然附图中显示了本公开内容的示例性实施方式,然而应当理解,可以以各种形式实现本公开内容,而不应被本文阐述的实施方式所限制。相反,提供这些实施方式是为了使本领域技术人员能够更透彻地理解本公开内容,以及将本公开内容的范围完整地传达给本领域技术人员。在以下详细描述中没有任何内容旨在表明任何特定组件、特征或步骤对于本发明是必不可少的。本领域技术人员将会理解,在不脱离本公开内容的范围内各种特征或步骤可以彼此替代或结合。
图1示出了依据本公开内容示例性实施方式的基于姿态识别的智能座椅控制方法的流程图。参见图1,该基于姿态识别的智能座椅控制方法可以包括如下步骤:在S101,通过图像数据采集装置获取目标用户的图像数据;在S102,通过姿态识别算法从所述图像数据中识别出所述目标用户,并输出所述智能座椅所需要的人体体态图;在S103,基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息;在S104,利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准;在S105,将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较;以及在S106,基于所述比较结果,对所述智能座椅适应性调整。
在一些实施方式中,摄像头可以包括以下至少一种:平面摄像头、深度摄像头、红外摄像头或热成像仪,其中所述深度摄像头可以包括以下至少一种:时间飞行摄像头、结构光摄像头或双目摄像头。其中,时间飞行摄像头(Time of flight,简称为TOF)是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,继而通过探测光脉冲的飞行时间来得到目标物到摄像头的距离信息。结构光摄像头是通过发射激光来扫描被测物,以得出被测物体表面到摄像头的距离信息。双目摄像头通过两个摄像头采集的图像的视差计算来确定拍摄目标到摄像头的距离信息。
对于采用平面摄像头与深度摄像头组合的方式,平面摄像头提供用户外观信息,深度摄像头提供用户距离摄像头拍摄方向的距离信息,以此可以解析出拍摄者的身体关节位置。采用平面摄像头与深度摄像头组合的配置方式允许当仅有单个视角时观测用户。该配置方式的核心是把平面色彩图像和深度点云进行在像素上进行叠加融合,这种像素级别的融合方法使得本发明的模型能够明确地推理局部外观和几何信息。此外,还可以采用双目摄像头作为优选方案,这是由于双目摄像头价格相对合理,既能输出平面色彩图像又能输出深度图像。
图2是本发明实施方式的摄像头的一种布置方式。如图2所示,摄像头202和摄像头203可以从多角度获取至少一个目标用户201的运动图像和/或视频数据。根据摄像机内参数与拍摄视图之间的相对姿态,基于图像特征信息(边缘、线、轮廓、兴趣点、角点和几何基元等)提取图像的特征点。针对提取的特征点进行视差估计,利用得到的视差信息重建三维空间场景,来求取目标用户身体骨骼关节在三维空间的位置。
在本实施方式中,所述输出所述智能座椅所需要的人体体态图可以进一步包括:通过人体的关键节点,确定人体的姿态,其中所述关键节点包括以下至少一种:肢体关节点、面部关键点,并且所述关键节点的位置信息用坐标表示;确定至少一个所述关键节点在所述图像数据中的位置坐标;确定至少一个所述关键节点的类别信息,其中所述类别信息包括:感兴趣的身体特征信息,所述感兴趣的身体特征信息包括:针对不同应用的人体监测任务和人体生物力学模型分析所需要的人体部位关键特征点;确定至少一个所述关键节点的状态信息,其中所述状态信息包括:可见、不可见、以及可推测或不可推测;以及通过所述关键节点之间的位置关系和可信度,将所述关键节点链接成所述人体体态图。
图3示出了本发明实施方式的模型应用流程图。如图3所示,该流程可以包括如下步骤:S301,对姿态识别深度学习网络模型进行训练;S302,利用训练完备的姿态识别深度学习神经网络进行推理。
在本实施方式中,所述姿态识别算法包括深度学习神经网络预测算法,其中深度学习神经网络需要进行训练。如图3所示,在S301,所述训练可以包括:准备人体姿态图像集,其中所述人体姿态图像集中的人体姿态图像数据根据所述关键节点被标记;以及利用所述人体姿态图像集对深度学习模型进行训练,通过误差反向传播更新所述深度学习神经网络的参数直至收敛,得到训练完备的所述深度学习神经网络。
图4是根据本发明实施方式的深度学习网络模型的训练流程图,如图4所示,该流程图可以包括:S401准备包含人体的图像集,并基于受力分析所需求的身体关键特征点,来标记人体图像中的人体,标记的特征点用于分辨不同的人体部位;S402构建神经网络模型;S403定义损失函数;S404模型训练:通过搭建的神经网络模型,以图像数据作为输入,输出预测的人体姿态特征点,计算预测特征点和标记的特征点之间的误差,通过误差的反向传播,来更新所述神经网络的参数直至收敛,得到训练完备的神经网络;优选采用交叉验证的方式来验证深度学习模型的训练程度,以增强其泛化能力和避免模型的过拟合。
在S401中,人体姿态图像集中的姿态图像是通过人工标注特征点标签的方式获取的。为了能够得到更多的训练用的人体姿态图像,可对图像进行预处理,预处理方式包括但不限于以下至少之一:旋转处理,裁剪处理,亮度调整,降采样处理。优选的,准备姿态图像数据库时,可根据现有的大量的经过标记的人体数据库进行修改,并根据对感兴趣部位进行生物力学分析所需要的特征点,来标注图像中的人体姿态。
图5示出了依据本公开内容示例性实施方式的身体关键特征点标记模板的示例。在一些实施方式中,可使用流行的公开数据集包括但不限于:Human 3.6M三维人体体态数据集、COCO人体体态数据集、MPII人体体态数据库等。在MPII数据集中,每个人物的均带有不同编号的14个身体关键特征点标记,例如右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶、脖子;每个标记记录了对应的身体关键特征点的坐标信息,其中身体关键特征点标记模板如图5所示。
图6示出了依据本公开内容示例性实施方式的坐姿分析所用的身体关键特征点示意图。在一些实施方式中,为了进行生物力学分析,以获知动作对肌肉、关节、骨骼的影响,提出了基于人体工学的更适应需求的人体体态特征标记方法,即针对不同的人体力学分析需求,额外标记图像中人体的重要特征点。如图6所示,对于目标用户的坐姿分析,所用的特征点包括但不限于如下身体特征:头部、颈部中心、肩部中心、背部中心、腰部、骶骨、髋关节、大腿骨、膝关节、坐骨接触点等。采取这种方式,对人体生物力学分析需要的关键点进行预测,不仅能够提高针对姿态识别任务的准确率,还能够进一步减少姿态识别模型的计算量以及预测时间。
在一些实施方式中,为了进一步提升身体关键特征点位置估计的准确度和稳定性,根据所述图像上标记的身体关键特征点在图像上的像素点位置为基准,生成置信区域。在这个区域,估计的身体关键特征点会有比较高的概率包含真实值。本领域技术人员应当理解,还可以采用其他置信区域生成方法生成置信区域。
在一些实施方式中,身体关键特征点监测深度学习神经网络结构包括自上而下的深度学习神经网络或者自下而上的深度学习神经网络,其中自下而上的方法是指先监测图像中所有的身体关键特征点,然后将所有的身体关键特征点分别分配到不同的人体实例上;以及自上而下的方法是指在图像上首先运行人体监测器,找到所有的人体实例,然后将所有的人体实例分隔为多个人体实例子图,对每个人体实例子图分别进行身体关键特征点的监测。这种方法识别单人的身体关键特征点的速度和准确程度较高,体现出很高的性能,对整张图像姿势识别的时间随人数增加而增加。但因为没能更细致地对人体关键点建模,所以识别复杂的人体姿态的准确度往往稍低。而自下而上的方法,在图像上首先监测图像中人体部位关键点,然后将图像中多人人体的部位关键点分别分配到不同的人体实例上。这种方法虽然不能得益于整体人体结构信息,但在图像中包含多个人体实例的情况下,对每个人身体关键特征点探测分类的准确度较高,且识别时间不会随探测人数增加而显著递增。
换言之,在多人姿态提取情况下,优选使用一种自下而上深度学习身体关键特征点监测神经网络架构模型。然而,在单人姿态提取情况下,为了提高对单人姿态探测的准确度,优选地采用自上而下的深度学习身体关键特征点监测神经网络架构模型。
在S302,利用训练完备的姿态识别深度学习神经网络进行推理可以包括:将上述图像或视频数据作为输入,通过训练完备的神经网络,输出估计的每个人体体态关键特征点,其中特征点信息包括:在图上的坐标、状态和置信度等。
图7示出了依据本公开内容示例性实施方式的人体姿态三维重建流程的示例。如图7所示,基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息可以进一步包括:获取所述图像数据采集装置的拍摄参数,根据所述拍摄参数建立三维空间坐标系,其中所述拍摄参数包括以下至少一种:摄像头的方位,角度和视角,焦距。
在S701,获取图像采集装置参数、拍摄的图像和通过步骤S302获取的预测的人体姿态特征点。在上述步骤中,获取的图像采集装置的参数包括:图像采集装置的位置信息和拍摄方向。在扫描前先获取各个摄像机的拍摄参数,并对相机的空间坐标系进行标定和调整。将摄像头放置在运动空间的某个或某些方位,从可选的多个视角采集用户动作信息,继而进行三维重建。然后对相机的位置进行标定。每个摄像头都可依据其所在位置的原点建立一个空间三维直角坐标系。在本实例中优选的定义方式为:坐标原点定于相机的镜头处,x、y轴与相机成像的面的两边平行,z轴定位于镜头拍摄光轴方向并垂直于相面。
在S702,匹配各视图中同一个人。在上述步骤中,通过算法匹配各视图中同一个人的方法包括但不限于:通过穿戴设备中的位置追踪确定目标用户的位置;在获取深度图像信息情况下,根据深度视图中定位的人体在三维空间的位置确定人体;以及在获取平面图像信息情况下,根据人体外观相似性和几何兼容性来计算跨多个视图的人体特征相似度。优选的是基于平面图像信息用上述姿态识别深度学习算法,计算特定卷积层输出特征结果,对特征结果进行匹配;可选的方法包括机器学习或光流法等。
在S703,根据匹配的图像数据和身体关键特征点信息重建目标的三维姿态信息。
在一些实施方式中,基于所述人体体态图通过三维重建算法重建所述目标运动者的人体三维姿态信息进一步包括:在单深度相机的情况下,通过将由所述深度相机获取的深度图像生成的所述人体体态图转换为三维点云图像,以重建所述目标用户的所述人体三维姿态信息;在平面相机和深度相机组合的情况下,通过将由所述平面相机获取的平面图像生成的所述人体体态图与由所述深度相机获取的深度图像转换的三维点云图像进行处理,以重建所述目标运动者的所述人体三维姿态信息;或者在多平面相机或多深度相机组合的情况下,通过三角测量方法根据多角度放置的相机的位置和相对姿态,以及基于S302输出的标记的人体姿态数据,将所述人体体态图投射到所述三维空间坐标系中,从而计算特征点三维空间坐标,来求取目标运动者身体骨骼关节在三维空间的位置。附加地或备选地,可以依据视频间的时间上下文的一致性,对匹配结果进行约束,提高三维空间身体姿态预测准确率。在本实施方式中,利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准可以进一步包括全局骨骼缩放和局部骨骼缩放,其中所述全局骨骼缩放是指针对整个人体的关键节点的坐标集进行配准,所述局部骨骼缩放是指针对人体的关键节点中的局部关键节点的坐标进行配准,包括:计算所述目标用户与所述参考者的骨骼长度,其中所述骨骼长度为链接在一起的所述关键节点的所述位置坐标之间的距离,其中所述距离可以包括以下至少一种:欧式距离、标准化欧式距离、马氏距离、余弦距离;将所述目标用户的所述骨骼长度按照所述参考者的对应骨骼长度进行骨骼配准;或者将所述参考者的所述骨骼长度按照所述目标用户的对应骨骼长度进行骨骼配准。
在一些实施方式中,利用三维空间中的体态关键节点将所述目标运动者与参考者进行骨骼配准,包括将S703获取的目标运动者的三维姿态数据点坐标集转换到参考者的基准三维空间体态特征坐标集所在坐标系中的数学计算过程。
例如,将目标运动者和参考者两个体态特征坐标考虑成两个点集,体态特征坐标集由至少一个特征关节坐标组成。配准目标对象可以分为基于全局骨骼配准和局部骨骼配准。全局骨骼配准是指针对整个人体姿态特征坐标集进行配准。局部骨骼配准是指针对人体姿态特征坐标集中局部关键特征坐标进行配准。
在一个优选实施方式中,配准方法是查找将两个姿态点集对齐的空间变换过程,从而判断当前目标姿态信息。其中,变换的过程包括:将多个姿态特征节点集合并为一个全局统一的模型;以及将当前的姿态特征节点集映射到参考节点集上以识别其特征或估计其姿态。
在一些实施方式中,将经骨骼配准的所述目标用户与所述参考者在预定某一时刻或连续时间段内的所述人体三维姿态信息进行比较可以进一步包括以下至少一种:通过计算所述目标用户的关键节点与所述参考者的对应关键节点在所述三维空间上的距离进行逐一比较,其中所述距离越大表示姿态差距越大;通过计算所述目标用户的多个关键节点与所述参考者的多个对应关键节点在所述三维空间上的距离并将所得距离求平均值进行比较,其中所述平均值越大表示姿态差距越大;以及通过计算所述目标用户的相链接关键节点组成的线段与所述参考者的对应相链接关键节点组成的线段之间的夹角进行比较,其中所述夹角越大表示姿态差距越大。
在本实施方式中,基于所述比较结果,对所述智能座椅适应性调整可以进一步包括:基于对上述的一个或多个比较方式得到的比较结果加权,得到距离评分,距离评分用于表示当前智能桌是否满足当前用户工作姿态人体工学的合理性,例如在被分为两类时,则可以在分类结果中包含“合理”和“不合理”两种质量因子;其中,质量因子“合理”表示无需调整,质量因子“不合理”表示需要适应性调整所述智能座椅的坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度以满足用户工作需求;形成所述智能座椅的所述坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度针对所述目标用户的记忆,以便响应于识别出所述目标用户,直接将所述智能座椅调整至针对所述目标用户记忆的坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度。
在一些实施方式中,可根据从上述图像预测的用户姿态,向所述目标用户反馈姿态优化建议。其中优化建议,包括但不限于:背部挺直,腰部前倾,头挺直等。
图8示出了依据本公开内容示例性实施方式的基于姿态识别的智能座椅控制装置的示意图。如图8所示,包括:图像采集模块801,所述图像采集模块被配置为通过图像数据采集装置获取目标用户的图像数据;姿态识别模块802,所述姿态识别模块被配置为通过姿态识别算法从所述图像数据中识别出所述目标用户,并输出所述智能座椅所需要的人体体态图;三维重建模块803,所述三维重建模块被配置为基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息;骨骼配准模块804,所述骨骼配准模块被配置为利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准;姿态比较模块805,所述姿态比较模块被配置为将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较;以及自适应调整模块806,所述自适应调整模块被配置为基于所述比较结果,对所述智能座椅适应性调整。
图9示出了依据本公开内容示例性实施方式的基于姿态识别的智能座椅的示意图。通过图9所示的示意图,本领域技术人员可以更直观地理解本公开的各实施方式。如图9所示,汽车座椅按照部位划分,大致可以分为前排座椅和后排座椅,其中前排座椅通常包括:头枕、靠背、坐垫、(扶手);后排座椅通常包括:(头枕)、靠背、坐垫、侧翼、(扶手)。对智能座椅适应性调整例如可以包括坐垫高度调节。在“标准的驾驶坐姿”下,当驾驶员的目光平视时,1)视线能够落在前挡风玻璃的中线上;2)视线向下能够看到仪表上的数据;3)视线不会被方向盘遮挡;4)能够透过挡风玻璃清楚地看到交通标志;5)头顶距离车顶的距离901至少保留10cm;6)手握方向盘的高度大约低于肩部10cm;以及7)方向盘下沿距大腿部有至少10-12cm左右的距离。对智能座椅适应性调整例如还可以包括座位前后调节。在“标准的驾驶坐姿”下,1)将手臂伸直搭在方向盘顶端902,手腕部位刚好能落在方向盘边缘上为宜;以及2)要保证右脚在踩下刹车时905,膝关节还处于弯曲状态,一般膝部903弯曲110-130度。对智能座椅适应性调整例如还可以包括座椅靠背调节。在“标准的驾驶坐姿”下,汽车座椅靠背与座椅的角度904一般大于90度并且小于120度,例如以100度为宜。对智能座椅适应性调整例如还可以包括头枕调节。在“标准的驾驶坐姿”下,1)使得头枕中间柔软部位与耳朵上沿/眼线平行;以及2)头枕距离头部约3cm的距离。此外,本领域技术人员还应当理解,虽然本文是以智能汽车座椅为例来说明本公开所涉及的智能座椅,但是本公开所涉及的智能座椅包括但不限于:汽车座椅、办公座椅、影院座椅、家居沙发、餐椅。
应当理解,本公开内容的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
在本文所提供的说明书中,说明了大量具体细节。然而,应当理解,本公开内容的实施方式可以在没有这些具体细节的情况下实践。在一些实施方式中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
虽然本文已经示出和描述了本发明的示例性实施方式,但对于本领域技术人员容易理解的是,这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解,在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围,并因此覆盖这些权利要求范围内的方法和结构及其等同项。

Claims (10)

1.一种基于姿态识别的智能座椅控制方法,其特征在于包括如下步骤:
通过图像数据采集装置获取目标用户的图像数据;
通过姿态识别算法从所述图像数据中识别出所述目标用户,并输出所述智能座椅所需要的人体体态图;
基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息;
利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准;
将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较;以及
基于所述比较结果,对所述智能座椅适应性调整。
2.根据权利要求1所述的方法,其特征在于所述图像数据采集装置包括以下至少一种:平面摄像头、深度摄像头、红外摄像头或热成像仪,其中所述深度摄像头包括以下至少一种:时间飞行摄像头、结构光摄像头或双目摄像头。
3.根据权利要求1所述的方法,其特征在于所述输出所述智能座椅所需要的人体体态图进一步包括:
通过人体的关键节点,确定人体的姿态,其中所述关键节点包括以下至少一种:肢体关节点、面部关键点,并且所述关键节点的位置信息用坐标表示;
确定至少一个所述关键节点在所述图像数据中的位置坐标;
确定至少一个所述关键节点的类别信息,其中所述类别信息包括:感兴趣的身体特征信息,所述感兴趣的身体特征信息包括:针对不同应用的人体监测任务和人体生物力学模型分析所需要的人体部位关键特征点;
确定至少一个所述关键节点的状态信息,其中所述状态信息包括:可见、不可见、以及可推测或不可推测;以及
通过所述关键节点之间的位置关系和可信度,将所述关键节点链接成所述人体体态图。
4.根据权利要求3所述的方法,其特征在于所述姿态识别算法包括深度学习神经网络预测算法,其中深度学习神经网络需要进行训练,所述训练包括:
准备人体姿态图像集,其中所述人体姿态图像集中的人体姿态图像数据根据所述关键节点被标记;以及
利用所述人体姿态图像集对深度学习模型进行训练,通过误差反向传播更新所述深度学习神经网络的参数直至收敛,得到训练完备的所述深度学习神经网络。
5.根据权利要求1所述的方法,其特征在于基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息进一步包括:
获取所述图像数据采集装置的拍摄参数,根据所述拍摄参数建立三维空间坐标系,其中所述拍摄参数包括以下至少一种:摄像头的方位,角度和视角,焦距。
6.根据权利要求5所述的方法,其特征在于基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息进一步包括:
在单深度相机的情况下,通过将由所述深度相机获取的深度图像生成的所述人体体态图转换为三维点云图像,以重建所述目标用户的所述人体三维姿态信息;
在平面相机和深度相机组合的情况下,通过将由所述平面相机获取的平面图像生成的所述人体体态图与由所述深度相机获取的深度图像转换的三维点云图像进行处理,以重建所述目标用户的所述人体三维姿态信息;或者
在多视角图像数据采集装置组合的情况下,通过将图像数据采集装置在每个视角生成的所述人体体态图投射到所述三维空间坐标系中,以重建所述目标用户的所述人体三维姿态信息。
7.根据权利要求3所述的方法,其特征在于利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准进一步包括全局骨骼缩放和局部骨骼缩放,其中所述全局骨骼缩放是指针对整个人体的关键节点的坐标集进行配准,所述局部骨骼缩放是指针对人体的关键节点中的局部关键节点的坐标进行配准,包括:
计算所述目标用户与所述参考者的骨骼长度,其中所述骨骼长度为链接在一起的所述关键节点的所述位置坐标之间的距离,其中所述距离包括以下至少一种:欧式距离、标准化欧式距离、马氏距离、余弦距离;
将所述目标用户的所述骨骼长度按照所述参考者的对应骨骼长度进行骨骼配准;或者
将所述参考者的所述骨骼长度按照所述目标用户的对应骨骼长度进行骨骼配准。
8.根据权利要求7所述的方法,其特征在于将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较进一步包括以下至少一种:
通过计算所述目标用户的关键节点与所述参考者的对应关键节点在所述三维空间上的距离进行逐一比较,其中所述距离越大表示姿态差距越大;
通过计算所述目标用户的多个关键节点与所述参考者的多个对应关键节点在所述三维空间上的距离并将所得距离求平均值进行比较,其中所述平均值越大表示姿态差距越大;以及
通过计算所述目标用户的相链接关键节点组成的线段与所述参考者的对应相链接关键节点组成的线段之间的夹角进行比较,其中所述夹角越大表示姿态差距越大。
9.根据权利要求8所述的方法,其特征在于基于所述比较结果,对所述智能座椅适应性调整进一步包括:
基于对权利要求8所述的一个或多个比较方式得到的比较结果加权所得的评分,适应性调整所述智能座椅的坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度;
形成所述智能座椅的所述坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度针对所述目标用户的记忆,以便响应于识别出所述目标用户,直接将所述智能座椅调整至针对所述目标用户记忆的坐垫高度、前后距离、腰部支撑幅度、靠背倾斜角度或者头枕弯曲度;以及
向所述目标用户反馈姿态优化建议。
10.一种采用权利要求1-9任一所述方法的装置,包括:
图像采集模块,所述图像采集模块被配置为通过图像数据采集装置获取目标用户的图像数据;
姿态识别模块,所述姿态识别模块被配置为通过姿态识别算法从所述图像数据中识别出所述目标用户,并输出所述智能座椅所需要的人体体态图;
三维重建模块,所述三维重建模块被配置为基于所述人体体态图通过三维重建算法重建所述目标用户的人体三维姿态信息;
骨骼配准模块,所述骨骼配准模块被配置为利用三维空间中的体态关键节点将所述目标用户与参考者进行骨骼配准;
姿态比较模块,所述姿态比较模块被配置为将经骨骼配准的所述目标用户与所述参考者的所述人体三维姿态信息进行比较;以及
自适应调整模块,所述自适应调整模块被配置为基于所述比较结果,对所述智能座椅适应性调整。
CN202010848452.0A 2020-08-21 2020-08-21 基于姿态识别的智能座椅控制方法及装置 Pending CN111881886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010848452.0A CN111881886A (zh) 2020-08-21 2020-08-21 基于姿态识别的智能座椅控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010848452.0A CN111881886A (zh) 2020-08-21 2020-08-21 基于姿态识别的智能座椅控制方法及装置

Publications (1)

Publication Number Publication Date
CN111881886A true CN111881886A (zh) 2020-11-03

Family

ID=73203041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848452.0A Pending CN111881886A (zh) 2020-08-21 2020-08-21 基于姿态识别的智能座椅控制方法及装置

Country Status (1)

Country Link
CN (1) CN111881886A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689498A (zh) * 2021-08-16 2021-11-23 江苏仁和医疗器械有限公司 基于人工智能的电动爬楼车辅助控制方法及***
CN113936335A (zh) * 2021-10-11 2022-01-14 苏州爱果乐智能家居有限公司 一种智能坐姿提醒方法和装置
CN114010444A (zh) * 2021-11-23 2022-02-08 力态生命科学(广东)有限公司 一种自适应的力态和体态矫正理疗床及其矫正方法
CN114714995A (zh) * 2022-05-09 2022-07-08 上汽大众汽车有限公司 一种基于人体参数化模型的车辆座舱匹配调节方法
CN114771442A (zh) * 2022-04-29 2022-07-22 中国第一汽车股份有限公司 一种车辆个性化设置方法及车辆

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093163A (zh) * 2006-06-20 2007-12-26 高田株式会社 车辆乘员座椅检测***、动作装置控制***、车辆
CN103796892A (zh) * 2011-07-05 2014-05-14 沙特***石油公司 用于监测车辆司机的健康状态和人体工程学状态的***、计算机介质和计算机实现方法
CN105109365A (zh) * 2015-09-18 2015-12-02 宇龙计算机通信科技(深圳)有限公司 一种调整汽车座位参数的方法及装置
CN105774703A (zh) * 2014-12-25 2016-07-20 中国科学院深圳先进技术研究院 一种舒适度调节方法及***
CN107139927A (zh) * 2017-04-07 2017-09-08 清华大学 一种自适应驾驶人体态的智能驾驶室控制方法和装置
CN110544301A (zh) * 2019-09-06 2019-12-06 广东工业大学 一种三维人体动作重建***、方法和动作训练***
DE102018124201A1 (de) * 2018-10-01 2020-04-02 Gestigon Gmbh Verfahren und System zur automatischen Verstellung eines Sitzes
CN111071113A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 车辆座椅智能调节方法和装置、车辆、电子设备、介质
CN213423969U (zh) * 2020-08-21 2021-06-11 董秀园 基于姿态识别的智能座椅控制装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093163A (zh) * 2006-06-20 2007-12-26 高田株式会社 车辆乘员座椅检测***、动作装置控制***、车辆
CN103796892A (zh) * 2011-07-05 2014-05-14 沙特***石油公司 用于监测车辆司机的健康状态和人体工程学状态的***、计算机介质和计算机实现方法
CN105774703A (zh) * 2014-12-25 2016-07-20 中国科学院深圳先进技术研究院 一种舒适度调节方法及***
CN105109365A (zh) * 2015-09-18 2015-12-02 宇龙计算机通信科技(深圳)有限公司 一种调整汽车座位参数的方法及装置
CN107139927A (zh) * 2017-04-07 2017-09-08 清华大学 一种自适应驾驶人体态的智能驾驶室控制方法和装置
DE102018124201A1 (de) * 2018-10-01 2020-04-02 Gestigon Gmbh Verfahren und System zur automatischen Verstellung eines Sitzes
CN111071113A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 车辆座椅智能调节方法和装置、车辆、电子设备、介质
CN110544301A (zh) * 2019-09-06 2019-12-06 广东工业大学 一种三维人体动作重建***、方法和动作训练***
CN213423969U (zh) * 2020-08-21 2021-06-11 董秀园 基于姿态识别的智能座椅控制装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689498A (zh) * 2021-08-16 2021-11-23 江苏仁和医疗器械有限公司 基于人工智能的电动爬楼车辅助控制方法及***
CN113936335A (zh) * 2021-10-11 2022-01-14 苏州爱果乐智能家居有限公司 一种智能坐姿提醒方法和装置
CN114010444A (zh) * 2021-11-23 2022-02-08 力态生命科学(广东)有限公司 一种自适应的力态和体态矫正理疗床及其矫正方法
CN114771442A (zh) * 2022-04-29 2022-07-22 中国第一汽车股份有限公司 一种车辆个性化设置方法及车辆
CN114714995A (zh) * 2022-05-09 2022-07-08 上汽大众汽车有限公司 一种基于人体参数化模型的车辆座舱匹配调节方法

Similar Documents

Publication Publication Date Title
CN213423969U (zh) 基于姿态识别的智能座椅控制装置
CN111881886A (zh) 基于姿态识别的智能座椅控制方法及装置
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
CN107818310B (zh) 一种基于视线的驾驶员注意力检测方法
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN111881888A (zh) 基于姿态识别的智能桌控制方法及装置
CN110555412B (zh) 基于rgb和点云相结合的端到端人体姿态识别方法
US20070183651A1 (en) System and method for detecting an occupant and head pose using stereo detectors
US11380009B2 (en) Physique estimation device and posture estimation device
EP4112372B1 (en) Method and system for driver posture monitoring
CN110853073A (zh) 确定关注点的方法、装置、设备、***及信息处理方法
JP2003015816A (ja) ステレオカメラを使用した顔・視線認識装置
KR20130107981A (ko) 시선 추적 장치 및 방법
US10882478B2 (en) Movement-based comfort adjustment
KR20210145984A (ko) 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법
EP3893090A1 (en) Method for eye gaze tracking
JP2022502757A (ja) 運転者注意状態推定
Wang et al. Automobile driver posture monitoring systems: A review
US20210035326A1 (en) Human pose estimation system
CN105814604B (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和***
CN109948672A (zh) 一种轮椅控制方法及***
CN113989936A (zh) 一种可识别儿童坐姿并自动语音纠正的台灯
CN113255476B (zh) 一种基于眼动追踪的目标跟踪方法、***及存储介质
KR20200069585A (ko) 지능형 차량 편의 제어 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination