CN104317397A - 车载人机交互方法 - Google Patents

车载人机交互方法 Download PDF

Info

Publication number
CN104317397A
CN104317397A CN201410542613.8A CN201410542613A CN104317397A CN 104317397 A CN104317397 A CN 104317397A CN 201410542613 A CN201410542613 A CN 201410542613A CN 104317397 A CN104317397 A CN 104317397A
Authority
CN
China
Prior art keywords
image
camera
gesture
vehicle
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410542613.8A
Other languages
English (en)
Inventor
沙文瀚
王建辉
李芳珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chery Automobile Co Ltd
Original Assignee
SAIC Chery Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Chery Automobile Co Ltd filed Critical SAIC Chery Automobile Co Ltd
Priority to CN201410542613.8A priority Critical patent/CN104317397A/zh
Publication of CN104317397A publication Critical patent/CN104317397A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于车辆智能控制技术领域，特别涉及一种车载人机交互方法，包括如下步骤：(A)启动摄像头，(B)摄像头获取驾驶室内图像，该图像中至少包含有驾驶员信息；图像处理模块从摄像头获取到的图像中识别手势；(C)若无识别手势，重复步骤B；若有识别手势，进入步骤D；(D)图像处理模块将识别手势进行匹配并输出相应的控制指令；(E)执行模块接收到控制指令后对车辆进行相应的控制；(F)重复步骤B，若手势存在且未发生变化，则继续重复步骤B；若手势存在且发生变化，则进入步骤D；若无识别手势，停止输出控制指令并重复步骤B。操作准确，避免了行车过程中驾驶员需低头按键带来的风险，同时还提高了驾驶员的驾车体验和舒适度。

Description

车载人机交互方法
技术领域
本发明属于车辆智能控制技术领域，特别涉及一种车载人机交互方法。
背景技术
随着汽车的日益普及和广泛使用，汽车的舒适性和安全性成为用户越来越关注的问题，人们在驾驶车辆的过程中，经常需要触碰按键去对车辆进行控制，比如空调开关、出风大小，音乐选择、音量大小调节、播放暂停，等等。
当前市场上销售的大部分车辆，由于仪表台附近的空间有限，大部分的开关都集中在中控台上，按键密集且位置接近。用户在不用眼睛观察的情况下直接用手操作很容易按错；道路状况突发情况较多，若用户在开车行驶的过程中关注按键操作，可能因为关注按键的短时间内错过重要车况信息，造成重大交通事故。常用的解决方案是采用多功能方向盘，但是多功能方向盘牵涉到河安全气囊***共用时钟弹簧，成本较高且功能数量受到局限，不能随意扩充及更改。
发明内容
本发明的目的在于提供一种车载人机交互方法，通过识别驾驶员手势对车辆进行控制，避免驾驶员关注按键操带来的事故风险。
为实现以上目的，本发明采用的技术方案为：一种车载人机交互方法，包括如下步骤：(A)启动摄像头，(B)摄像头获取驾驶室内图像，该图像中至少包含有驾驶员信息；图像处理模块从摄像头获取到的图像中识别手势；(C)若无识别手势，重复步骤B；若有识别手势，进入步骤D；(D)图像处理模块将识别手势与其存储的手势模板进行匹配；根据匹配到的手势模板，输出相应的控制指令；(E)执行模块接收到控制指令后对车辆进行相应的控制；(F)重复步骤B，若手势存在且未发生变化，则继续重复步骤B；若手势存在且发生变化，则进入步骤D；若无识别手势，停止输出控制指令并重复步骤B。
与现有技术相比，本发明存在以下技术效果：通过设置摄像头以及图像处理模块，对驾驶员的手势进行识别，当驾驶员需要进行操作时，只需要对着摄像头做出相应的手势，即能完成操作；通过手势识别，操作准确，且避免了行车过程中驾驶员需低头按键带来的风险，同时还提高了驾驶员的驾车体验和舒适度，以及整车的智能性。
附图说明
图1是本发明的流程图；
图2是本发明的原理框图。
具体实施方式
下面结合图1至图2，对本发明做进一步详细叙述。
参阅图1，一种车载人机交互方法，包括如下步骤：(A)启动摄像头，(B)摄像头获取驾驶室内图像，该图像中至少包含有驾驶员信息；图像处理模块从摄像头获取到的图像中识别手势；(C)若无识别手势，重复步骤B；若有识别手势，进入步骤D；(D)图像处理模块将识别手势与其存储的手势模板进行匹配；根据匹配到的手势模板，输出相应的控制指令；(E)执行模块接收到控制指令后对车辆进行相应的控制；(F)重复步骤B，若手势存在且未发生变化，则继续重复步骤B；若手势存在且发生变化，则进入步骤D；若无识别手势，停止输出控制指令并重复步骤B。用户在使用过程中，可以根据自己的习惯和需要将手势模板与相应的控制指令预先设定好，常用的调节如车辆音乐的音量调节、换歌、空调风量的调节等。
由于摄像头捕捉的范围较大，在使用过程中，驾驶员的眼睛可以不离开路面，直接对着摄像头能捕捉到的区域作出手势，经摄像头捕捉后输入至图像处理模块进行识别并输出相应的控制指令，避免了驾驶员观察按键所可能带来的事故隐患，同样地，这种操作方式对于驾驶员来说，操作更便利。
更进一步地，所述的步骤B中，图像处理模块按如下步骤获取识别手势：(B1)摄像头获取驾驶室内不含有驾驶员的图像，并以此图像作为初始背景图像；(B2)将摄像头获取到的含有驾驶员的图像与初始背景图像进行比较运算，得到前景图像；(B3)识别前景图像中的人手部分并提取人手图像；(B4)对人手图像进行滤波、边缘处理、边缘检测、边缘提取得到数字化的人手图形信息，将图像识别成图形信息，有很多算法可以实现，这里就不在详述。这里通过设置初始背景图像，并从前景图像中识别人手部分，可以减少识别的计算量。初始背景图像可以在摄像头安装完毕后，驾驶员不在座位上时，进行采集并存储在图像处理模块内。
摄像头会根据物体活动及静止的状态，分析是否有驾驶员及当无驾驶员时的车内画面，随着车内静态物品的更改，摄像头或图像处理模块会自学习并更新初始背景图像，以减少人手识别时的计算量。所述的步骤B2中，若前景图像中存在静止区域且静止时间满足阈值，则将该区域添加至初始背景图像中，所述的静止区域即每次处理得到的前景图像相同的区域，通俗点说，就是当摄像头获取到的图像中，某个区域的图像持续一段时间未发生变化，就将这个区域的图像视为背景图像，在进行人手识别之前，将其去除。需要注意的是，摄像头每次启动时，默认的背景图像就是最开始存储的图像，之后在进行手势识别的时候，所更改的背景图像只作为本次驾驶过程中的判定。
作为本发明的优选方案，按如下步骤启动摄像头：(A1)整车蓄电池电源接通后，***复位；(A2)***进行自检；(A3)点火开关ON档电源接通时，当检测到车辆的启动信号后，摄像头启动；点火开关ON档电源断开时，当检测到ALARM信号后，摄像头启动。这里设置有ALARM信号，可以保证即使车辆的点火开关ON档电源断开，也可以通过车载3G网络随时发送ALARM信号将摄像头启动，获取车内视频或图像信息，以达到远距离监控车辆的目的。
更进一步地，所述的图像处理模块分析摄像头获取到的图像的亮度，若亮度小于设定的阈值，则启用红外补光灯。对于夜晚或雨雪天气，当车内光线不足时，摄像头获取的图像光线较暗、模糊不清，不利于手势的识别，因此通过红外补光灯保证摄像头获取图片的清晰度，并且，红外补光灯的光线不会被人眼识别到，对驾驶员无任何影响。
由于驾驶员都是坐在驾驶室内的座椅上，故驾驶员做手势的时候，范围是有限的，为了保证摄像头能捕捉到驾驶员的手势，可以将所述的摄像头位于空调出风口下，摄像头的焦距在摄像头前10～40cm处。另外，在进行手势识别的时候，超出有效焦距范围之外的图像，直接用算法过滤处理，减少计算量。
参阅如图2，优选地，所述的图像处理模块还输出的控制信号可以为CAN信号、LIN信号、PIN信号，***预留的CAN和LIN两种网络以及6路PIN脚驱动常用的控制部件，能够满足绝大部分用户的需求。

Claims (7)

1.一种车载人机交互方法，包括如下步骤：
(A)启动摄像头，
(B)摄像头获取驾驶室内图像，该图像中至少包含有驾驶员信息；图像处理模块从摄像头获取到的图像中识别手势；
(C)若无识别手势，重复步骤B；若有识别手势，进入步骤D；
(D)图像处理模块将识别手势与其存储的手势模板进行匹配；根据匹配到的手势模板，输出相应的控制指令；
(E)执行模块接收到控制指令后对车辆进行相应的控制；
(F)重复步骤B，若手势存在且未发生变化，则继续重复步骤B；若手势存在且发生变化，则进入步骤D；若无识别手势，停止输出控制指令并重复步骤B。
2.如权利要求1所述的车载人机交互方法，其特征在于：所述的步骤B中，图像处理模块按如下步骤获取识别手势：
(B1)摄像头获取驾驶室内不含有驾驶员的图像，并以此图像作为初始背景图像；
(B2)将摄像头获取到的含有驾驶员的图像与初始背景图像进行比较运算，得到前景图像；
(B3)识别前景图像中的人手部分并提取人手图像；
(B4)对人手图像进行滤波、边缘处理、边缘检测、边缘提取得到数字化的人手图形信息。
3.如权利要求2所述的车载人机交互方法，其特征在于：所述的步骤B2中，若前景图像中存在静止区域且静止时间满足阈值，则将该区域添加至初始背景图像中，所述的静止区域即每次处理得到的前景图像相同的区域。
4.如权利要求3所述的车载人机交互方法，其特征在于：按如下步骤启动摄像头：
(A1)整车蓄电池电源接通后，***复位；
(A2)***进行自检；
(A3)点火开关ON档电源接通时，当检测到车辆的启动信号后，摄像头启动；点火开关ON档电源断开时，当检测到ALARM信号后，摄像头启动。
5.如权利要求4所述的车载人机交互方法，其特征在于：所述的图像处理模块分析摄像头获取到的图像的亮度，若亮度小于设定的阈值，则启用红外补光灯。
6.如权利要求5所述的车载人机交互方法，其特征在于：所述的摄像头位于空调出风口下，摄像头的焦距在摄像头前10～40cm处。
7.如权利要求6所述的车载人机交互方法，其特征在于：所述的图像处理模块还输出的控制信号可以为CAN信号、LIN信号、PIN信号。
CN201410542613.8A 2014-10-14 2014-10-14 车载人机交互方法 Pending CN104317397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410542613.8A CN104317397A (zh) 2014-10-14 2014-10-14 车载人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410542613.8A CN104317397A (zh) 2014-10-14 2014-10-14 车载人机交互方法

Publications (1)

Publication Number Publication Date
CN104317397A true CN104317397A (zh) 2015-01-28

Family

ID=52372636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410542613.8A Pending CN104317397A (zh) 2014-10-14 2014-10-14 车载人机交互方法

Country Status (1)

Country Link
CN (1) CN104317397A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224088A (zh) * 2015-10-22 2016-01-06 东华大学 一种基于手势识别的体感操控车载平板***及方法
CN106527674A (zh) * 2015-09-14 2017-03-22 上海羽视澄蓝信息科技有限公司 一种车载单目摄像机人机交互方法、设备及***
CN106886275A (zh) * 2015-12-15 2017-06-23 比亚迪股份有限公司 车载终端的控制方法、装置以及车辆
CN106933346A (zh) * 2017-01-20 2017-07-07 深圳奥比中光科技有限公司 车内操控空间的区划方法和设备
WO2017147877A1 (zh) * 2016-03-03 2017-09-08 邱琦 图像式识别方法
CN108482276A (zh) * 2018-02-02 2018-09-04 斑马网络技术有限公司 车辆屏幕信息显示方法及其***
CN108710436A (zh) * 2018-06-27 2018-10-26 常州星宇车灯股份有限公司 一种基于tof手势识别的控制***
CN108710857A (zh) * 2018-05-22 2018-10-26 深圳前海华夏智信数据科技有限公司 基于红外补光的人车识别方法及装置
CN108860025A (zh) * 2018-06-12 2018-11-23 重庆延锋安道拓汽车部件***有限公司 基于手势识别的座椅调节装置及调节方法
CN109366497A (zh) * 2018-11-12 2019-02-22 奇瑞汽车股份有限公司 车载机器人、车载机器人的控制方法、装置及存储介质
CN109934999A (zh) * 2017-12-16 2019-06-25 北京嘀嘀无限科技发展有限公司 一种共享电单车个性化信息提示方法及***
CN110889306A (zh) * 2018-09-07 2020-03-17 广州汽车集团股份有限公司 一种基于摄像头的车载手势识别方法及***
CN112069914A (zh) * 2020-08-14 2020-12-11 杭州鸿泉物联网技术股份有限公司 一种车辆的控制方法和***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201934A (zh) * 2006-12-15 2008-06-18 财团法人工业技术研究院 视频对象分段方法
CN102509073A (zh) * 2011-10-17 2012-06-20 上海交通大学 一种基于高斯背景模型的静态目标分割的方法
CN102968797A (zh) * 2012-12-03 2013-03-13 广州盈可视电子科技有限公司 一种图像前景和背景分割的方法和装置
CN103175287A (zh) * 2013-04-22 2013-06-26 清华大学 基于背景建模人物运动检测的空调节能控制方法及装置
US20130162535A1 (en) * 2007-10-22 2013-06-27 Mitsubishi Electric Corporation Manipulation input device which detects human hand manipulations from captured motion images
CN103294190A (zh) * 2012-02-06 2013-09-11 福特全球技术公司 通过手势识别与车辆控制交互的识别***
CN103440475A (zh) * 2013-08-14 2013-12-11 北京博思廷科技有限公司 一种自动取款机使用者人脸可见性判断***及方法
CN103455144A (zh) * 2013-08-22 2013-12-18 深圳先进技术研究院 车载人机交互***及方法
CN103631157A (zh) * 2012-08-29 2014-03-12 杨尧任 利用手势识别技术控制汽车电器的装置及其应用方法
CN103729858A (zh) * 2013-12-13 2014-04-16 广州中国科学院先进技术研究所 一种视频监控***中遗留物品的检测方法
US20140185872A1 (en) * 2012-12-28 2014-07-03 Hyundai Motor Company Method and system for recognizing hand gesture using selective illumination

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201934A (zh) * 2006-12-15 2008-06-18 财团法人工业技术研究院 视频对象分段方法
US20130162535A1 (en) * 2007-10-22 2013-06-27 Mitsubishi Electric Corporation Manipulation input device which detects human hand manipulations from captured motion images
CN102509073A (zh) * 2011-10-17 2012-06-20 上海交通大学 一种基于高斯背景模型的静态目标分割的方法
CN103294190A (zh) * 2012-02-06 2013-09-11 福特全球技术公司 通过手势识别与车辆控制交互的识别***
CN103631157A (zh) * 2012-08-29 2014-03-12 杨尧任 利用手势识别技术控制汽车电器的装置及其应用方法
CN102968797A (zh) * 2012-12-03 2013-03-13 广州盈可视电子科技有限公司 一种图像前景和背景分割的方法和装置
US20140185872A1 (en) * 2012-12-28 2014-07-03 Hyundai Motor Company Method and system for recognizing hand gesture using selective illumination
CN103175287A (zh) * 2013-04-22 2013-06-26 清华大学 基于背景建模人物运动检测的空调节能控制方法及装置
CN103440475A (zh) * 2013-08-14 2013-12-11 北京博思廷科技有限公司 一种自动取款机使用者人脸可见性判断***及方法
CN103455144A (zh) * 2013-08-22 2013-12-18 深圳先进技术研究院 车载人机交互***及方法
CN103729858A (zh) * 2013-12-13 2014-04-16 广州中国科学院先进技术研究所 一种视频监控***中遗留物品的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAODONG CAI，FALAH ALI, E. STIPIDIS: "Background Modeling for Detecting Move-then-stop Arbitrary-long time Video Objects", 《IMAGE ANALYSIS FOR MULTIMEDIA INTERACTIVE SERVICES, 2009. WIAMIS "09. 10TH WORKSHOP ON》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527674A (zh) * 2015-09-14 2017-03-22 上海羽视澄蓝信息科技有限公司 一种车载单目摄像机人机交互方法、设备及***
CN105224088A (zh) * 2015-10-22 2016-01-06 东华大学 一种基于手势识别的体感操控车载平板***及方法
CN106886275A (zh) * 2015-12-15 2017-06-23 比亚迪股份有限公司 车载终端的控制方法、装置以及车辆
CN106886275B (zh) * 2015-12-15 2020-03-20 比亚迪股份有限公司 车载终端的控制方法、装置以及车辆
WO2017147877A1 (zh) * 2016-03-03 2017-09-08 邱琦 图像式识别方法
CN106933346A (zh) * 2017-01-20 2017-07-07 深圳奥比中光科技有限公司 车内操控空间的区划方法和设备
CN106933346B (zh) * 2017-01-20 2019-07-26 深圳奥比中光科技有限公司 车内操控空间的区划方法和设备
CN109934999A (zh) * 2017-12-16 2019-06-25 北京嘀嘀无限科技发展有限公司 一种共享电单车个性化信息提示方法及***
CN108482276A (zh) * 2018-02-02 2018-09-04 斑马网络技术有限公司 车辆屏幕信息显示方法及其***
CN108710857A (zh) * 2018-05-22 2018-10-26 深圳前海华夏智信数据科技有限公司 基于红外补光的人车识别方法及装置
CN108860025A (zh) * 2018-06-12 2018-11-23 重庆延锋安道拓汽车部件***有限公司 基于手势识别的座椅调节装置及调节方法
CN108860025B (zh) * 2018-06-12 2024-05-14 安道拓(重庆)汽车部件有限公司 基于手势识别的座椅调节装置及调节方法
CN108710436A (zh) * 2018-06-27 2018-10-26 常州星宇车灯股份有限公司 一种基于tof手势识别的控制***
CN110889306A (zh) * 2018-09-07 2020-03-17 广州汽车集团股份有限公司 一种基于摄像头的车载手势识别方法及***
CN109366497A (zh) * 2018-11-12 2019-02-22 奇瑞汽车股份有限公司 车载机器人、车载机器人的控制方法、装置及存储介质
CN112069914A (zh) * 2020-08-14 2020-12-11 杭州鸿泉物联网技术股份有限公司 一种车辆的控制方法和***

Similar Documents

Publication Publication Date Title
CN104317397A (zh) 车载人机交互方法
TWI741512B (zh) 駕駛員注意力監測方法和裝置及電子設備
CN108725357B (zh) 基于人脸识别的参数控制方法、***与云端服务器
CN102707801B (zh) 车载识别控制***及其控制方法
CN109552340B (zh) 用于车辆的手势和表情控制
US11524578B2 (en) Control method and control device for vehicle display device
CN110114825A (zh) 语音识别***
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
CN104461005A (zh) 一种车载屏幕开关控制方法
JP2017511766A (ja) 自律運転システムおよび自律運転方法
CN110211586A (zh) 语音交互方法、装置、车辆以及机器可读介质
US20200070848A1 (en) Method and System for Initiating Autonomous Drive of a Vehicle
CN108423004A (zh) 一种双目识别驾驶员状态检测***及方法
CN104859559B (zh) 车辆内部环境的控制方法及装置
CN113591659B (zh) 一种基于多模态输入的手势操控意图识别方法及***
CN110070058A (zh) 一种车载手势识别装置及***
CN105835761A (zh) 一种控制车内氛围灯开关的方法及装置
CN107284449A (zh) 一种行车安全预警方法及***、汽车、可读存储介质
CN110825216A (zh) 一种驾驶员驾驶时人机交互的方法和***
CN114987500A (zh) 驾驶员状态监控方法、终端设备及存储介质
CN114701503A (zh) 车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质
CN107323343A (zh) 一种安全驾驶预警方法及***、汽车和可读存储介质
CN108459520B (zh) 用于车辆的自动显示方法及其***
CN107139724A (zh) 用于车辆的车载屏幕动态显示方法及其车载中控***
CN105398381A (zh) 一种车辆及其多功能安全控制***、控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150128