CN106448339A - 基于增强现实和生物反馈的驾驶培训*** - Google Patents

基于增强现实和生物反馈的驾驶培训*** Download PDF

Info

Publication number
CN106448339A
CN106448339A CN201610910634.XA CN201610910634A CN106448339A CN 106448339 A CN106448339 A CN 106448339A CN 201610910634 A CN201610910634 A CN 201610910634A CN 106448339 A CN106448339 A CN 106448339A
Authority
CN
China
Prior art keywords
user
training system
driving training
main frame
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610910634.XA
Other languages
English (en)
Inventor
杨辰光
黎伟豪
曹东璞
苏春翌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201610910634.XA priority Critical patent/CN106448339A/zh
Publication of CN106448339A publication Critical patent/CN106448339A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Rehabilitation Tools (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于增强现实和生物反馈的驾驶培训***，通过使用计算机模拟真实汽车内的环境如仪表、方向盘、换挡装置等以及路面情况，通过曲面3D显示器投影到半透明曲面玻璃板上显示成像，通过调整半透明曲面玻璃板的高度和水平角度，使虚拟影像和搭建的实物平台重合，方向盘、油门离合器及刹车合成、换挡装置带有力反馈，能够实时与模拟的车辆行驶状态同步，让用户体验到真实的驾驶体验。此外，该***具有自动纠错功能，带力反馈的方向盘提示用户转向，油门力反馈提示用户减速，同时通过使用无线肌电信号测量手环和易带式脑电采集头盔采集用户的生理信息，脑电信号提取注意力集中程度，肌电信号提取肌肉紧张程度，实时投影显示。

Description

基于增强现实和生物反馈的驾驶培训***
技术领域
本发明涉及人机交互技术领域，具体涉及一种基于增强现实和生物反馈的驾驶培训***。
背景技术
随着人口的增长，人均收入的增加，越来越多人购买了汽车，但随之而来的车祸事件也越发增多。这样，正确的驾驶技术十分必要。前瞻产业研究院发布的《2013-2017年中国机动车驾驶培训行业深度调研与投资战略规划分析报告》显示，截至2012年年底，全国共有驾驶员培训机构10347所，教练车37.7万辆，教练员43.9万人，分别比2006年增长42.2％、75.3％和106.6％。同时，驾校的学费日渐升高，但用户却得不到全面的指导。2015年中国颁布了《关于推进机动车驾驶人培训考试制度改革的意见》，现在可以驾驶证可以自学直考，不必非去驾校，一款便捷的虚拟驾驶培训***，可以缓解驾校压力从而降低驾校成本。虚拟驾驶，又称为汽车驾驶仿真，或者汽车模拟驾驶。是指利用现代高科技技术如：实时三维图像技术、汽车动力学仿真物理***、大视场显示技术(如多通道立体投影***)、六自由度运动平台(或三自由度运动平台)、用户输入硬件***、立体声音响、中控***等，让体验者在一个虚拟的驾驶环境中，感受到接近真实效果的视觉、听觉和体感的汽车驾驶体验。当前的虚拟驾驶产品，普遍不能反馈全面的用户驾驶过程的物理和生理信息和不能矫正用户的驾驶不良习惯，这样的虚拟驾驶产品性能是不够完善的。
近年来产生了许多与此相关的论文和专利，分别如下：
中国公开专利号：CN105390042A，名称：模拟驾驶平台。该设备仿照车内结构搭建出一个平台。该设备能在很大程度上模拟出真实的车内环境，但该设备没有触觉反馈，不能逼真地仿真出车辆的真实驾驶情况，更为重要的是该专利不能实时检测出用户的生理信息，没有自动纠错功能。
中国公开专利号：CN202171880U，名称：一种三维视景仿真驾驶***。该设备使用模拟驾驶座椅，配合投影仪，并利用计算机实时同步生成的立体三维虚拟场景，造成一套逼真、立体、完全沉浸的仿真驾驶***。但该设备同样没有实时监测用户的驾驶状态及驾驶姿势，不能实时对用户驾驶技能进行校正。实用性有待提高。
中国公开专利号：CN204856968U，名称：一种用于驾驶员学***台应有的体验与性能。一个成熟的驾驶培训***，在提供模拟驾驶的基本功能的同时，还应该带有矫正用户驾驶习惯的功能。
发明内容
本发明的目的是解决现有技术中的上述缺陷，如用户体验差，虚拟现实沉浸感不够强，没有加入触觉输入输出，没能实时检测用户生理信息、没能矫正用户驾驶习惯、反馈信号单一等问题，提供一种基于增强现实和生物反馈的驾驶培训***。
本发明的目的可以通过采取如下技术方案达到：
一种基于增强现实和生物反馈的驾驶培训***，所述驾驶培训***包括：曲面3D显示器2、半透明曲面玻璃板4、支撑平台7、控制主机8、方向盘6、油门离合器及刹车合成9和换挡装置12，其中，所述曲面3D显示器2与所述控制主机8通过信号线连接，用于将所述控制主机8产生的3D影像投影到所述半透明曲面玻璃板4上；所述曲面3D显示器2与所述半透明曲面玻璃板4由上至下分别设置于所述支撑平台7的上方，固定在与所述支撑平台7相连的显示器支架固定杆3；所述方向盘6和所述换挡装置12设置在所述支撑平台7上，所述油门离合器及刹车合成9设置在所述支撑平台7的下方，所述方向盘6、所述油门离合器及刹车合成9、所述换挡装置12与所述控制主机8通过信号线连接；
所述驾驶培训***还包括：脑电采集设备10和肌电采集设备14，其中，所述脑电采集设备10用于采集佩戴用户的脑电信号，然后将其信号输送到与所述脑电采集设备10信号连接的所述控制主机8进行处理；所述肌电采集设备14佩戴在用户的大臂和小臂上，用于采集用户的表面肌电信号，然后将其信号输送到与所述肌电采集设备14信号连接的所述控制主机8进行处理。
进一步地，所述曲面3D显示器2与所述半透明曲面玻璃板4分别通过3D显示器支架1与半透明曲面玻璃板支架5固定在所述显示器支架固定杆3上。
进一步地，所述半透明曲面玻璃板支架5通过转向角件及螺丝与所述显示器支架固定杆3固定连接，所述半透明曲面玻璃板支架5的高度和水平角度可根据需要调节。
进一步地，所述方向盘6、所述油门离合器及刹车合成9、所述换挡装置12为带力反馈的设备，上述设备在采集用户操作控制信息的同时，将来自所述控制主机8的用户精神状态信息、肌肉状态信息、模拟驾驶信息回馈给驾驶培训用户。
进一步地，所述脑电采集设备10为易带式脑电采集头盔，采集用于提取注意力集中程度的脑电信号。
进一步地，所述肌电采集设备14为无线肌电信号测量手环，采集用于提取肌肉紧张程度的肌电信号。
进一步地，所述驾驶培训***还包括：汽车座椅15，所述汽车座椅15的高度及前后位置可调节。
进一步地，所述汽车座椅15上设置有安全带13，与所述控制主机8通过信号线连接，所述控制主机8可检测所述汽车座椅15上的用户是否系扣安全带13，并将安全带系扣状态通过所述曲面3D显示器2投影显示在所述半透明曲面玻璃板4上。
进一步地，所述驾驶培训***还包括：多媒体音频装置11，所述多媒体音频装置11与所述控制主机8通过信号线连接，所述多媒体音频装置11用于播放所述控制主机8模拟车辆行驶时的引擎声、刹车时的刹车声。
本发明相对于现有技术具有如下的优点及效果：
1)本发明提供一种基于增强现实和生物反馈的驾驶培训***，能够让用户在室内进行真实逼真的驾驶训练，矫正司机的不良驾驶习惯。在虚拟现实技术方面，该***能将用户的生理信息、方向盘力反馈信息、虚拟路面情况、虚拟引擎声及刹车声等多信息进行融合处理，提高了人机互动的精确性和效率。
2)本***能够提供逼真的3D虚拟现实影像，拥有独特的视觉、听觉及触觉感受***，实现了三者的同步渲染和配合，大大增强了虚拟现实技术的沉浸感。
3)本***具有自动纠错功能和实时检测用户生理信息功能，脑电信号提取注意力集中程度，肌电信号提取肌肉紧张程度，实时投影到半透膜屏幕上，能更加全面训练用户驾驶技能。
附图说明
图1是本发明中基于增强现实和生物反馈的驾驶培训***的结构示意图；
图2是半透明曲面玻璃板支架的左视图；
图3是半透明曲面玻璃板支架的立体结构示意图；
图4是汽车仪表投影示意图；
图5是双臂肌肉状态界面示意图；
图6是多信息融合处理算法流程图；
其中，1---3D显示器支架，2---曲面3D显示器，3---显示器支架固定杆，4---半透明曲面玻璃板，5---半透明曲面玻璃板支架，6---方向盘，7---支撑平台，8---控制主机，9---油门离合器及刹车，10---脑电采集设备，11---多媒体音频装置，12---换挡装置，13---安全带，14---肌电采集设备，15---汽车座椅。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例公开了一种基于增强现实和生物反馈的驾驶培训***，通过使用计算机模拟真实汽车内的环境，通过曲面3D显示器显示。同时，该***含有车内的带力反馈的方向盘6、油门离合器及刹车合成9、换挡装置12来模拟车内操作环境，此外还含有多种信息采集设备，通过增强现实和生物反馈技术给用户营造一个逼真的模拟驾驶环境。
如附图1所示，图1公开了一种基于增强现实和生物反馈的驾驶培训***，该***包括下列组成构件：3D显示器支架1、曲面3D显示器2、显示器支架固定杆3、半透明曲面玻璃板4、半透明曲面玻璃板支架5、方向盘6、支撑平台7、控制主机8、油门离合器及刹车9、脑电采集设备10、多媒体音频装置11、换挡装置12、安全带13、肌电采集设备14、汽车座椅15。
所述曲面3D显示器2与所述控制主机8通过信号线连接，用于将所述控制主机8产生的3D影像投影到所述半透明曲面玻璃板4上。
通过使用曲面3D显示器2，从而加大模拟驾驶环境的显示范围，使用户拥有更加广阔的模拟驾驶环境。半透明曲面玻璃板4的使用是为了将虚拟模拟驾驶影像完整投影到半透明玻璃板上，同时，曲面玻璃板的曲面弧度需要根据2曲面3D显示器做特定的定制，以达到完美投影效果。
控制主机8通过计算机模拟出车内环境景象，由曲面3D显示器2通过半透明曲面玻璃板4的反射原理，使虚拟影像和用实物搭建的仿真驾驶平台重合并实时同步，这样就可以达到用户直接在操控虚拟影像的效果。通过调节3D显示器支架1的高度和位置从而调节曲面3D显示器2，通过调节半透明曲面玻璃板支架5可以调节半透明曲面玻璃板4的位置，在有必要的情况下还有添加3D眼镜，以满足不同用户的各种需求。
所述曲面3D显示器2与所述半透明曲面玻璃板4由上至下分别设置于所述支撑平台7的上方，固定在与所述支撑平台7相连的显示器支架固定杆3。
本实施例中，所述曲面3D显示器2与所述半透明曲面玻璃板4分别通过3D显示器支架1与半透明曲面玻璃板支架5固定在所述显示器支架固定杆3上。
其中，所述半透明曲面玻璃板支架5通过转向角件及螺丝与所述显示器支架固定杆3固定连接，所述半透明曲面玻璃板支架5的高度和水平角度可根据需要调节。
根据附图2和附图3中半透明曲面玻璃板支架的左视图和立体结构示意图所示，半透明曲面玻璃板支架5由两根型材a2和一根型材a3通过角件b1和螺丝b2组合成一U型支架，同样，由两根型材a1和一根型材a4通过角件b1和螺丝b2组合成另一U型支架，通过使用转向角件b3连接起型材a3和型材a4，由角件b1和螺丝b2固定在支撑平台7。由于型材自带的凹槽结构以及角件的使用，可以实现半透明曲面玻璃板支架5的高度和水平角度的调节。
该基于增强现实和生物反馈的驾驶培训***还包括：脑电采集设备10，所述脑电采集设备10用于采集佩戴用户的脑电信号，然后将其信号输送到与所述脑电采集设备10信号连接的所述控制主机8进行处理，最终，将用户的精神状态通过曲面3D显示器2投影显示在半透明曲面玻璃板4上。
本实施例中，脑电采集设备10采用易带式脑电采集头盔，易带式脑电采集头盔和控制主机中的脑电信号处理软件构成脑电采集分析***，该脑电采集分析***能实时采集用户脑电信号，把脑电信号实时反馈到控制主机中进行滤波、特征提取、分类等相关操作，主要用来提取驾驶员的脑电α波。
该基于增强现实和生物反馈的驾驶培训***还包括：肌电采集设备14，所述肌电采集设备14佩戴在用户的大臂和小臂上，用于采集用户的表面肌电信号，然后将其信号输送到与所述肌电采集设备14信号连接的所述控制主机8进行处理，最终，将用户的肌肉状态通过曲面3D显示器2投影显示在半透明曲面玻璃板4上。
本实施例中，肌电采集设备14采用无线肌电信号测量手环，无线肌电信号测量手环和控制主机中的肌电信号处理软件构成肌电信号采集分析***，该肌电信号采集分析***通过无线肌电信号测量手环上的EMG传感器对用户的sEMG进行实时采集，控制主机8接收到无线肌电信号测量手环的信号后，对信号使用自动小波变换算法进行滤波、去噪，对去噪后的信号进行快速傅里叶转换得到sEMG信号的频谱。当用户的sEMG频谱出现左移现象，则表明用户出现肌肉疲劳。肌电信号采集分析***主要通过肌电信号的采集，来监测驾驶员的手臂的紧张程度，控制主机8做出提示驾驶员调整状态和姿势。
该基于增强现实和生物反馈的驾驶培训***还包括：方向盘6、油门离合器及刹车合成9、换挡装置12，所述方向盘6和所述换挡装置12设置在所述支撑平台7上，所述油门离合器及刹车合成9设置在所述支撑平台7的下方，所述方向盘6、油门离合器及刹车合成9、换挡装置12与所述控制主机8通过信号线连接。用户坐在汽车座椅15上，可以方便操作方向盘6、油门离合器及刹车合成9、换挡装置12。
所述方向盘6、所述油门离合器及刹车合成9、所述换挡装置12为带力反馈的设备，上述设备在采集用户操作控制信息的同时，将来自控制主机8的信息，包含用户精神状态信息、肌肉状态信息、模拟驾驶信息回馈给用户，给用户真实的驾驶体验以及适当的驾驶提醒。
方向盘6、油门离合器及刹车合成9、换挡装置12与控制主机8上的相关处理软件构成力反馈***，可以实时向控制主机8反馈方向盘旋转角度及角速度，并从控制主机8中向用户回馈方向盘所在3D影像中的状态。当车辆速度过快时，油门上的力反馈装置震动，提醒用户松动油门。
该基于增强现实和生物反馈的驾驶培训***在模拟驾驶环境的同时，通过脑电采集设备10和肌电采集设备14实时检测用户的生理信息，如用户的肌肉紧张程度、疲劳程度及注意力集中程度，通过控制平台8的计算，判别出用户注意力集中度和驾驶双臂肌肉疲劳情况，并反馈给用户。
通过附图4的状态显示表显示在半透明曲面玻璃板4上。其状态主要分为肌肉状态和注意力状态，注意力状态分为好、中、差三个级别，而肌肉状态主要分为好、紧张、疲劳三个级别。此外，肌肉状态还细分到两只手臂的主要肌肉群，如附图5，当其肌肉群紧张时，其亮红灯，正常时亮绿灯。
总之，控制主机8根据用户的状态信息、驾驶输入信息以及正确的驾驶姿态信息，计算出用户的操作指导信息，反馈给力反馈设备，通过力反馈设备对用户进行操作指导，修改用户的不良驾驶习惯。
该基于增强现实和生物反馈的驾驶培训***还包括：多媒体音频装置11，所述多媒体音频装置11与所述控制主机8通过信号线连接，构成听觉反馈***，所述多媒体音频装置11用于播放所述控制主机8仿真出车辆行驶时的引擎声，刹车时的刹车声，提高了该基于增强现实和生物反馈的驾驶培训***在听觉上的体验和大大提高了虚拟环境的沉浸感。
所述汽车座椅15设置有安全带13，与所述控制主机8通过信号线连接，控制主机8可检测用户是否系扣安全带13，并将安全带系扣状态通过曲面3D显示器2投影显示在半透明曲面玻璃板4上。
下面，结合附图6对本发明公开的基于增强现实和生物反馈的驾驶培训***中多信息融合处理算法进行说明。首先，用户要在注意力集中时采集脑电信号，这个过程需要多次的训练，经过训练，可以得出用户的精神集中的脑电信号模型。然后，进入判别阶段。通过采集用户的实时脑电信号数据，期间利用频域滤波、空域滤波等算法对原始脑电信号进行预处理，提高信噪比，使得信号特征更为明显，将经过处理的脑电信号与用户之前的脑电信号模型进行对比，主要对比α波，当用户疲劳驾驶时α波会增强。同时也通过无线肌电信号测量手环对肌电信号进行采集，通过无线肌电信号测量手环上的EMG传感器对用户的sEMG进行实时采集，计算机接收到无线肌电信号测量手环的信号后，对信号使用自动小波变换算法进行滤波、去噪，对去噪后的信号进行快速傅里叶转换得到sEMG信号的频谱。当用户的sEMG频谱出现左移现象，则表明用户出现肌肉疲劳。判别得出用户状态后，通过计算机反馈给用户。用户在操作方向盘实物时，通过方向盘的力反馈，计算机可以得到用户操作方向盘的信息，如旋转角度、角速度，虚拟影像也会做出对应的操作。在逼真的虚拟驾驶环境中，在脑电和肌电信号的协助下，用户可以得到良好的驾驶体验和正确的驾驶指导。
综上所述，本发明公开的基于增强现实和生物反馈的驾驶培训***通过使用计算机模拟真实汽车内的环境如仪表、方向盘、换挡装置等等以及路面情况，通过曲面3D显示器投影，经半透明曲面玻璃板的反射成像原理显示成像，通过调整半透明曲面玻璃板的高度和水平角度，可以使虚拟影像和搭建的实物平台重合，方向盘、油门离合器及刹车合成、换挡装置带有力反馈，能够实时与模拟的车辆行驶状态同步，让用户体验到真实的驾驶体验。使用半透明曲面玻璃板，可以增大用户观看虚拟影像的可视范围，同时用户可以根据具体显示器的类型选择添加3D眼镜以增强沉浸感。此外，该***具有自动纠错功能，带力反馈的方向盘提示用户转向，油门力反馈提示用户减速，同时通过使用无线肌电信号测量手环和易带式脑电采集头盔采集用户的生理信息，脑电信号提取注意力集中程度，肌电信号提取肌肉紧张程度，实时投影到半透明曲面玻璃板上，达到实时提示用户驾驶状态，通过生物反馈，帮助用户了解并改善自我驾驶习惯。该***通过3D虚拟影像向用户无缝展现控制台仪表盘和车前路面信息，从而节省了硬件制作成本。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于增强现实和生物反馈的驾驶培训***，所述驾驶培训***包括：曲面3D显示器(2)、半透明曲面玻璃板(4)、支撑平台(7)、控制主机(8)、方向盘(6)、油门离合器及刹车合成9和换挡装置(12)，其中，所述曲面3D显示器(2)与所述控制主机(8)通过信号线连接，用于将所述控制主机(8)产生的3D影像投影到所述半透明曲面玻璃板(4)上；所述曲面3D显示器(2)与所述半透明曲面玻璃板(4)由上至下分别设置于所述支撑平台(7)的上方，固定在与所述支撑平台(7)相连的显示器支架固定杆(3)；所述方向盘(6)和所述换挡装置(12)设置在所述支撑平台(7)上，所述油门离合器及刹车合成(9)设置在所述支撑平台(7)的下方，所述方向盘(6)、所述油门离合器及刹车合成(9)、所述换挡装置(12)与所述控制主机(8)通过信号线连接；
其特征在于，所述驾驶培训***还包括：脑电采集设备(10)和肌电采集设备(14)，其中，所述脑电采集设备(10)用于采集佩戴用户的脑电信号，然后将其信号输送到与所述脑电采集设备(10)信号连接的所述控制主机(8)进行处理；所述肌电采集设备(14)佩戴在用户的大臂和小臂上，用于采集用户的表面肌电信号，然后将其信号输送到与所述肌电采集设备(14)信号连接的所述控制主机(8)进行处理。
2.根据权利要求1所述的基于增强现实和生物反馈的驾驶培训***，其特征在于，
所述曲面3D显示器(2)与所述半透明曲面玻璃板(4)分别通过3D显示器支架(1)与半透明曲面玻璃板支架(5)固定在所述显示器支架固定杆(3)上。
3.根据权利要求2所述的基于增强现实和生物反馈的驾驶培训***，其特征在于，
所述半透明曲面玻璃板支架(5)通过转向角件及螺丝与所述显示器支架固定杆(3)固定连接，所述半透明曲面玻璃板支架(5)的高度和水平角度可根据需要调节。
4.根据权利要求1所述的基于增强现实和生物反馈的驾驶培训***，其特征在于，
所述方向盘(6)、所述油门离合器及刹车合成(9)、所述换挡装置(12)为带力反馈的设备，上述设备在采集用户操作控制信息的同时，将来自所述控制主机(8)的用户精神状态信息、肌肉状态信息、模拟驾驶信息回馈给驾驶培训用户。
5.根据权利要求1所述的基于增强现实和生物反馈的驾驶培训***，其特征在于，
所述脑电采集设备(10)为易带式脑电采集头盔，采集用于提取注意力集中程度的脑电信号。
6.根据权利要求1所述的基于增强现实和生物反馈的驾驶培训***，其特征在于，
所述肌电采集设备(14)为无线肌电信号测量手环，采集用于提取肌肉紧张程度的肌电信号。
7.根据权利要求1所述的基于增强现实和生物反馈的驾驶培训***，其特征在于，
所述驾驶培训***还包括：汽车座椅(15)，所述汽车座椅(15)的高度及前后位置可调节。
8.根据权利要求7所述的基于增强现实和生物反馈的驾驶培训***，其特征在于，
所述汽车座椅(15)上设置有安全带(13)，与所述控制主机(8)通过信号线连接，所述控制主机(8)可检测所述汽车座椅(15)上的用户是否系扣安全带(13)，并将安全带系扣状态通过所述曲面3D显示器(2)投影显示在所述半透明曲面玻璃板(4)上。
9.根据权利要求1所述的基于增强现实和生物反馈的驾驶培训***，其特征在于，
所述驾驶培训***还包括：多媒体音频装置(11)，所述多媒体音频装置(11)与所述控制主机(8)通过信号线连接，所述多媒体音频装置(11)用于播放所述控制主机(8)模拟车辆行驶时的引擎声、刹车时的刹车声。
CN201610910634.XA 2016-10-19 2016-10-19 基于增强现实和生物反馈的驾驶培训*** Pending CN106448339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610910634.XA CN106448339A (zh) 2016-10-19 2016-10-19 基于增强现实和生物反馈的驾驶培训***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610910634.XA CN106448339A (zh) 2016-10-19 2016-10-19 基于增强现实和生物反馈的驾驶培训***

Publications (1)

Publication Number Publication Date
CN106448339A true CN106448339A (zh) 2017-02-22

Family

ID=58177134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610910634.XA Pending CN106448339A (zh) 2016-10-19 2016-10-19 基于增强现实和生物反馈的驾驶培训***

Country Status (1)

Country Link
CN (1) CN106448339A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937869A (zh) * 2017-04-06 2017-07-11 吴涛 基于虚拟驾驶平台的紧急制动工况下驾驶员生物电分析实验***
CN107545809A (zh) * 2017-09-28 2018-01-05 北京理工大学 训练方法及支架介入手术训练***
CN107773254A (zh) * 2017-12-05 2018-03-09 苏州创捷传媒展览股份有限公司 一种测试用户体验的方法及装置
CN107825469A (zh) * 2017-12-04 2018-03-23 河北工业大学 一种双臂移乘机器人模拟实验平台及其测试方法
CN109064829A (zh) * 2018-08-14 2018-12-21 山东省科学院自动化研究所 一种无人驾驶车辆视觉感知能力测试方法及***
CN109116977A (zh) * 2017-06-22 2019-01-01 韩国电子通信研究院 虚拟体验内容提供方法及用于其的装置
CN110236574A (zh) * 2019-07-15 2019-09-17 万东百胜(苏州)医疗科技有限公司 一种超声医师情绪量化方法与装置
CN110349469A (zh) * 2019-07-21 2019-10-18 李力 一种半实物仿真的轮毂螺栓预紧力控制训练***
CN111316342A (zh) * 2017-11-10 2020-06-19 株式会社艾洛克 四轮汽车的自动刹车模拟体验装置
CN111402670A (zh) * 2020-05-09 2020-07-10 中国人民解放军陆军装甲兵学院 一种高速履带车辆驾驶训练辅助指挥***
CN111450380A (zh) * 2020-03-30 2020-07-28 重庆大学 基于近红外脑功能成像的驾驶疲劳智能检测警示唤醒***
CN113190114A (zh) * 2021-04-14 2021-07-30 三峡大学 具有触觉模拟和情绪感知的虚拟场景体验***和方法
CN114387832A (zh) * 2022-01-12 2022-04-22 安徽云轩教育科技有限公司 一种利用ar技术的教学互动设备
CN114860078A (zh) * 2022-05-03 2022-08-05 吉林大学 车载终端界面虚拟旋钮的触觉反馈渲染方法与装置
US20230084753A1 (en) * 2021-09-16 2023-03-16 Sony Group Corporation Hyper realistic drive simulation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1220741A (zh) * 1996-06-04 1999-06-23 齐诺技术有限公司 显示多幅图像的多位观众***
CN101002686A (zh) * 2007-01-23 2007-07-25 武汉理工大学 基于驾驶模拟器的驾驶员疲劳状态分析实验***
CN104865703A (zh) * 2014-02-25 2015-08-26 崔海龙 高亮度平视显示设备
CN105511600A (zh) * 2015-07-31 2016-04-20 华南理工大学 一种基于混合现实的多媒体人机交互平台
CN206584583U (zh) * 2016-10-19 2017-10-24 华南理工大学 基于增强现实和生物反馈的驾驶培训***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1220741A (zh) * 1996-06-04 1999-06-23 齐诺技术有限公司 显示多幅图像的多位观众***
CN101002686A (zh) * 2007-01-23 2007-07-25 武汉理工大学 基于驾驶模拟器的驾驶员疲劳状态分析实验***
CN104865703A (zh) * 2014-02-25 2015-08-26 崔海龙 高亮度平视显示设备
CN105511600A (zh) * 2015-07-31 2016-04-20 华南理工大学 一种基于混合现实的多媒体人机交互平台
CN206584583U (zh) * 2016-10-19 2017-10-24 华南理工大学 基于增强现实和生物反馈的驾驶培训***

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937869A (zh) * 2017-04-06 2017-07-11 吴涛 基于虚拟驾驶平台的紧急制动工况下驾驶员生物电分析实验***
CN109116977A (zh) * 2017-06-22 2019-01-01 韩国电子通信研究院 虚拟体验内容提供方法及用于其的装置
CN107545809A (zh) * 2017-09-28 2018-01-05 北京理工大学 训练方法及支架介入手术训练***
CN111316342A (zh) * 2017-11-10 2020-06-19 株式会社艾洛克 四轮汽车的自动刹车模拟体验装置
CN107825469A (zh) * 2017-12-04 2018-03-23 河北工业大学 一种双臂移乘机器人模拟实验平台及其测试方法
CN107825469B (zh) * 2017-12-04 2023-09-08 河北工业大学 一种双臂移乘机器人模拟实验平台及其测试方法
CN107773254A (zh) * 2017-12-05 2018-03-09 苏州创捷传媒展览股份有限公司 一种测试用户体验的方法及装置
CN109064829A (zh) * 2018-08-14 2018-12-21 山东省科学院自动化研究所 一种无人驾驶车辆视觉感知能力测试方法及***
CN110236574A (zh) * 2019-07-15 2019-09-17 万东百胜(苏州)医疗科技有限公司 一种超声医师情绪量化方法与装置
CN110236574B (zh) * 2019-07-15 2024-06-07 万东百胜(苏州)医疗科技有限公司 一种超声医师情绪量化方法与装置
CN110349469A (zh) * 2019-07-21 2019-10-18 李力 一种半实物仿真的轮毂螺栓预紧力控制训练***
CN111450380A (zh) * 2020-03-30 2020-07-28 重庆大学 基于近红外脑功能成像的驾驶疲劳智能检测警示唤醒***
CN111402670A (zh) * 2020-05-09 2020-07-10 中国人民解放军陆军装甲兵学院 一种高速履带车辆驾驶训练辅助指挥***
CN113190114A (zh) * 2021-04-14 2021-07-30 三峡大学 具有触觉模拟和情绪感知的虚拟场景体验***和方法
US20230084753A1 (en) * 2021-09-16 2023-03-16 Sony Group Corporation Hyper realistic drive simulation
CN114387832A (zh) * 2022-01-12 2022-04-22 安徽云轩教育科技有限公司 一种利用ar技术的教学互动设备
CN114860078A (zh) * 2022-05-03 2022-08-05 吉林大学 车载终端界面虚拟旋钮的触觉反馈渲染方法与装置

Similar Documents

Publication Publication Date Title
CN106448339A (zh) 基于增强现实和生物反馈的驾驶培训***
CN206584583U (zh) 基于增强现实和生物反馈的驾驶培训***
CN110070944B (zh) 基于虚拟环境和虚拟角色的社会功能评估训练***
CN205903239U (zh) 基于虚拟现实的视力检查及训练装置
Li et al. The Effects of Applying Game-Based Learning to Webcam Motion Sensor Games for Autistic Students' Sensory Integration Training.
CN108919950A (zh) 基于Kinect的孤独症儿童互动影像装置及方法
CN102354349A (zh) 提高孤独症儿童社会互动能力的人机互动多模态早期干预***
CN111063416A (zh) 一种基于虚拟现实的阿尔兹海默症康复训练及能力评估***
CN101238985A (zh) 一种基于模拟驾驶平台的心理和行为监测***
CN110534180B (zh) 深度学习人机互适应运动想象脑机接口***和训练方法
NZ560457A (en) Image generation system
CN109876264A (zh) 一种神经发育障碍患者感统辅助训练方法及***
CN112244774A (zh) 脑机接口康复训练***及方法
CN109658771A (zh) 基于vr技术的神经发育障碍交通安全训练***及方法
CN105511600A (zh) 一种基于混合现实的多媒体人机交互平台
CN105853162A (zh) 多种模式的视力增视训练***及其训练方法
Deniaud et al. An investigation into physiological responses in driving simulators: An objective measurement of presence
CN111443799A (zh) 基于脑机接口的辅助学习方法、终端及计算机存储介质
CN111009318A (zh) 一种基于虚拟现实技术的自闭症训练***、方法及装置
EP2834802B1 (en) Apparatus and method for aiding learning
CN106618610A (zh) 一种面向害羞儿童社会技能训练的头戴终端***
RU2666517C1 (ru) Способ реабилитации пациентов с нарушением двигательной функции с использованием автоматизированной информационной системы для реализации аудиовизуальной биологической обратной связи
CN112245756A (zh) 一种基于单通道脑电的注意力训练方法
KR20120068625A (ko) 뇌파센서를 이용한 장애인용 드라이빙 시뮬레이터의 가감속 시스템 및 뇌파센서를 이용한 장애인용 차량의 가감속그 제어방법
WO2009022924A1 (en) Image generation system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222