CN114138113A - 一种车载ai机器人的触摸交互*** - Google Patents

一种车载ai机器人的触摸交互*** Download PDF

Info

Publication number
CN114138113A
CN114138113A CN202111441466.1A CN202111441466A CN114138113A CN 114138113 A CN114138113 A CN 114138113A CN 202111441466 A CN202111441466 A CN 202111441466A CN 114138113 A CN114138113 A CN 114138113A
Authority
CN
China
Prior art keywords
touch
robot
gesture
touch signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111441466.1A
Other languages
English (en)
Inventor
洪嫣
齐智谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Linyun Technology Co ltd
Original Assignee
Shanghai Linyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Linyun Technology Co ltd filed Critical Shanghai Linyun Technology Co ltd
Priority to CN202111441466.1A priority Critical patent/CN114138113A/zh
Publication of CN114138113A publication Critical patent/CN114138113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Toys (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种车载AI机器人的触摸交互***。该***包括触摸信号采集模块、触摸信号分析模块、机器人运动反馈和表情显示计算模块、机器人运动反馈和表情显示控制模块；其中：触摸信号采集模块采集接触面的触摸信号；触摸信号分析模块分析触摸信号，识别触摸手势和其方向；机器人运动反馈和表情显示计算模块按照定义好的交互用例，计算出机器人转动的方向、角度、时间和显示的表情内容；机器人运动反馈和表情显示控制模块控制机器人转向手势发出的乘员方向做出运动反馈，并显示表情与乘员互动。本发明将乘员对于车载机器人的自然肢体接触引入作为交互方式，使得AI机器人基于乘员的自然行为给予互动，增加AI机器人与车辆用户的情感交流。

Description

一种车载AI机器人的触摸交互***
技术领域
本发明属于人工智能技术领域，具体的说，涉及一种车载AI机器人的触摸交互***。
背景技术
现在汽车中，AI(Artificial Intelligence，人工智能)机器人采用基于语音指令的、触摸屏幕、按键等与乘员的交互方式， 这些常用的交互方式都属于精确指令类别的触发机制，对于车辆用户来说需要特定学习的过程。情感化设计是未来车辆设计的趋势之一，AI机器人的外观设计都趋于仿形生物，是情感化设计趋势的一种体现，类人形或宠物形态的机器人会吸引乘员自然的触摸和把玩，然而机器人并不会对特定指令以外的动作做出反馈。
发明内容
针对现有技术的不足，本发明提供一种车载机器人的触摸交互***，其将乘员对于车载机器人的自然肢体接触引入作为交互方式，使得AI机器人基于乘员的自然行为给予互动，降低了车辆用户的学习成本，增加AI机器人与车辆用户的情感交流。本交互***可以实现AI机器人基于自身外观面上受到的轻拍、重拍、抚摸、戳、点、按压等动作与乘员作出相应的互动。
本发明的技术方案具体介绍如下。
本发明提供一种车载AI机器人的触摸交互***，其包括触摸信号采集模块、触摸信
号分析模块、机器人运动反馈和表情显示计算模块和机器人运动反馈和表情显示控制模块；其中：
触摸信号采集模块，用于采集被划分为若干触摸感应区域的接触面的触摸信号；
触摸信号分析模块，通过分析触摸信号，识别出不同的触摸手势和触摸手势的方向；
机器人运动反馈和表情显示计算模块，按照定义好的交互用例，计算出机器人需转动的方向、角度、时间和机器人相应显示的表情内容；
机器人运动反馈和表情显示控制模块，根据机器人运动反馈和表情显示计算模块计算得到的数据，控制机器人转向触摸手势发出的乘员方向，做出相应的运动反馈，并生成视频信号，发送到机器人自带的屏幕，以显示表情与动作发出的乘员进行互动。
本发明中，触摸信号采集模块中用于采集触摸信号的接触面为车载AI机器人的外壳，其呈仿生曲面设置。
本发明中，车载AI机器人包括外壳、内壳以及设置在外壳和内壳之间的触摸膜片，
触摸动作的感应由触摸膜片在外壳壳体上实现。
本发明中，触摸膜片采用具有150~160%的拉伸率的PC为基材，用以匹配大曲率的
外壳和内壳，导电银浆均匀分布在基材表面形成感应电路。
本发明中，车载AI机器人采用双射注塑的制程工艺获得，具体包括：（1）一射成型
工艺形成产品内腔结构，触摸膜片和连接器埋入射出，连接器用于连接外部线束，触摸膜片表面印刷感应电路；（2）二射成型工艺形成产品外观面。
本发明中，触摸信号采集模块中，触摸感应区域的划分以能区分单个手指移动为标
准，触摸信号采用电容触摸芯片采集。
本发明中，触摸信号分析模块中，根据触摸信号识别触摸手势和触摸手势的方向的
方法如下：
当触摸信号为单触摸感应区域短触时，识别出触摸手势为点击；
当触摸信号为单触摸感应区域长触时，识别出触摸手势为戳；
当触摸信号为多个连续触摸感应区域短触时，识别出触摸手势为轻拍或重拍；
当触摸信号为多个连续触摸感应区域长触时，识别出触摸手势为抚摸或按压；
当触摸信号为多个连续触摸感应区域依次触摸时，识别出触摸手势的方向，依此推断
触摸动作来源于车内某个座位的乘员。
本发明中，触摸信号分析模块还进一步在识别出不同的触摸手势的基础上，对触摸
手势的力度进行识别区分。
本发明中，通过加速度传感器识别触摸手势动作的加速度进而对触摸手势的力度进行识别区分。
和现有技术相比，本发明的有益效果在于：
1）适用于曲面的触摸介质和制程工艺，能够支持仿生的造型设计；
2）本发明将乘员对于车载机器人的自然肢体接触引入作为交互方式，使得AI机器人基于乘员的自然行为给予互动，增加AI机器人与车辆用户的情感交流。本交互***可以实现AI机器人基于自身外观面上受到的轻拍、重拍、抚摸、戳、点、按压等动作与乘员作出相应的互动；
3）在识别触摸点位置的同时引入了加速度的识别以获得触摸力度的判断，能够区分多种带方向性和力度的单点或多点触摸手势，覆盖了正常成人和儿童对机器人常用的自然肢体接触和把玩等手势动作，实现了非精确指令性、非按钮类的触摸交互的自然交互方式，相较于现有的MEMS压力传感器、微压力应变器、压力电容等技术，对结构设计、外观设计和硬件设计的要求和复杂性大大降低。
附图说明
图1为车载AI机器人的外观面示意图。
图2为车载AI机器人的半球形外观面的壳体结构示意图。
图3为触摸膜片的断面示意图。
图4为触摸感应区域的划分示例。
图5为触摸芯片的工作流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细介绍。
图1为车载AI机器人的外观面示意图。外观面可以是非平面的球形、半球形等曲面造型。
触摸动作的感应由集成触摸膜片在壳体上实现，制程工艺采用双射注塑。以半球形外观面为例，壳体结构示意如图2所示。其内层和外层壳体都采用ABS工程塑料加工获得，可优选ABS(丙烯腈-丁二烯-苯乙烯共聚物)+PC(聚碳酸酯)+10%GF(玻璃纤维)材料加工，制程包括：一射成型工艺形成产品内腔结构，曲面触摸膜片和连接器埋入射出；二射成型工艺形成产品外观面。
触摸膜片以PC为基材，可提供150~160%的拉伸率，用以匹配大曲率的表面。导电银浆均匀分布在基材表面形成感应电路。图3为触摸膜片的断面示意图。
和车载AI机器人进行触摸交互时，为识别不同的手势和方向性，整个接触面划分为多个触摸感应区域。图3为24个触摸感应区域的划分示例。
触摸感应区域的划分以能区分单个手指移动为标准，以覆盖正常12岁以上未成年人和成年人的手部尺寸为目标。根据GB/T 26159-2010，以12周岁女性的食指近位宽平均值和食指长度平均值为设计参考，设定每个触摸区域直径或边长小于等于16mm，触摸区域之间的间隙小于等于5mm。
车载AI机器人的触摸交互***包括触摸信号采集模块、触摸信号分析模块、机器人运动反馈和表情显示计算模块和机器人运动反馈和表情显示控制模块。
触摸信号采集模块采集接触面的触摸信号，实施例中，触摸膜片感应到的信号由电容触摸芯片采集。在24个触摸感应区域的案例中，可选取Cypress的自容式电容触摸芯片CY8C41xx。触摸芯片将采集到的信号通过I2C(Inter-Integrated Circuit)传给触摸信号分析模块进行处理，其过程如图5所示。图中：GPIO为General-purpose input/output的缩写，表示通用型之输入输出；Pin是管脚；Capacitance-to-Current Converter表示电容电流转换器；Analog Multiplexer表示 模拟多路转换器；Current-To-Digital Converter表示电流数字转换器；Raw Count 表示原始计数值；Firmware Processing表示固件处理；Touch Status 表示触摸状态；SPI为Serial Peripheral Interface的缩写，表示串行外设接口。当感应触摸的传感器连接到触摸芯片的管脚上，触摸芯片内部 GPIO 单元的开关电容电路将传感器的电容量转换为一个等效的电流值。通过一个模拟多路转换器，某一路的电流值被传送到电流数字转换器，经过模数转换后输出原始计数值。经过固件的处理，某一个感应传感器对应的触摸状态得到判断。
触摸信号分析模块设在机器人端或者车辆端，触摸信号分析模块通过分析触摸信号，可识别出不同的触摸手势和触摸手势的方向：具体如下：
a.单触摸感应区域短触：点击；
b.单触摸感应区域长触：戳；
c.大面积（多个连续触摸感应区域）短触：轻拍、重拍等；
d.大面积（多个连续触摸感应区域）长触：抚摸、按压等；
e.多个连续区域触摸感应区域依次触摸：手势的方向性，依此推断触摸动作来源于车内某个座位的乘员。
为了进一步判断触摸手势的力度，可在机器人内部集成3轴加速度传感器，如IAM-20380，灵敏度可达到16384 LSB/g。当手势施加在机器人外部时，力度会引起整个机器人的运动即产生加速度。加速度传感器通过I2C将加速度信号传给触摸信号分析模块进行处理通过对加速度值的分析，可以在触摸信号识别的基础上区分出手势的细分，如轻拍和重拍、抚摸和按压等。
针对上述触摸信号分析模块分析获得的不同的手势，机器人运动反馈和表情显示计算模块按照定义好的交互用例，计算出机器人转动的方向、角度、时间和机器人显示的表情内容。交互用例举例：
1、当识别到的手势为抚摸，触摸的起始区域在机器人头部右侧，触摸的结束区域在机器人头部右侧靠近头顶，机器人会将头部向右上方转动，并显示向触摸结束区域眨眼和微笑的表情；
2、当识别到的手势为重拍，机器人会横向来回转动头部（类似摇头的动作），显示抗议的表情，并发出声音“请对我温柔一点”；等等。
最后机器人运动反馈和表情显示控制模块根据计算的结果，控制内部电机运动的方向、角度、时间，使得机器人转向手势发出的乘员方向，以及做出相应的运动反馈，生成视频信号，发送到机器人自带的屏幕，以显示表情与动作发出的乘员进行互动。
如上所述，这样AI机器人的运动和显示更接近于人类与生物进行肢体接触时所得到的反馈，使得交互方式也更趋于情感化设计，与机器人的外观相吻合。

Claims (9)

1.一种车载AI机器人的触摸交互***，其特征在于，其包括触摸信号采集模块、触摸信
号分析模块、机器人运动反馈和表情显示计算模块和机器人运动反馈和表情显示控制模块；其中：
触摸信号采集模块，用于采集被划分为若干触摸感应区域的接触面的触摸信号；
触摸信号分析模块，通过分析触摸信号，识别出不同的触摸手势和触摸手势的方向；
机器人运动反馈和表情显示计算模块，按照定义好的交互用例，计算出机器人需转动的方向、角度、时间和机器人相应显示的表情内容；
机器人运动反馈和表情显示控制模块，根据机器人运动反馈和表情显示计算模块计算得到的数据，控制机器人转向触摸手势发出的乘员方向，做出相应的运动反馈，并生成视频信号，发送到机器人自带的屏幕，以显示表情与动作发出的乘员进行互动。
2.根据权利要求1所述的触摸交互***，其特征在于，触摸信号采集模块中用于采集触
摸信号的接触面为车载AI机器人的外壳，车载AI机器人的外壳呈仿生曲面设置。
3.根据权利要求2所述的触摸交互***，其特征在于，车载AI机器人包括外壳、内壳以
及设置在外壳和内壳之间的触摸膜片，触摸动作的感应由触摸膜片在外壳壳体上实现。
4.根据权利要求3所述的触摸交互***，其特征在于，触摸膜片采用具有150~160%的拉
伸率的PC为基材，用以匹配大曲率的外壳和内壳，导电银浆均匀分布在基材表面形成感应电路。
5.根据权利要求2所述的触摸交互***，其特征在于，车载AI机器人采用双射注塑的
制程工艺获得，具体包括：（1）一射成型工艺形成产品内腔结构，触摸膜片和用于连接外部线束的连接器埋入射出；（2）二射成型工艺形成产品外观面。
6.根据权利要求1所述的触摸交互***，其特征在于，触摸信号采集模块中，触摸感应
区域的划分以能区分单个手指移动为标准，触摸信号采用电容触摸芯片采集。
7.根据权利要求1所述的触摸交互***，其特征在于，触摸信号分析模块中，根据触摸
信号识别触摸手势和触摸手势的方向的方法如下：
当触摸信号为单触摸感应区域短触时，识别出触摸手势为点击；
当触摸信号为单触摸感应区域长触时，识别出触摸手势为戳；
当触摸信号为多个连续触摸感应区域短触时，识别出触摸手势为轻拍或重拍；
当触摸信号为多个连续触摸感应区域长触时，识别出触摸手势为抚摸或按压；
当触摸信号为多个连续触摸感应区域依次触摸时，识别出触摸手势的方向，依此推断
触摸动作来源于车内某个座位的乘员。
8.根据权利要求1所述的触摸交互***，其特征在于，触摸信号分析模块还进一步在识
别出不同的触摸手势的基础上，对触摸手势的力度进行识别区分。
9.根据权利要求8所述的触摸交互***，其特征在于，通过加速度传感器识别触摸手势
动作的加速度进而对触摸手势的力度进行识别区分。
CN202111441466.1A 2021-11-30 2021-11-30 一种车载ai机器人的触摸交互*** Pending CN114138113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111441466.1A CN114138113A (zh) 2021-11-30 2021-11-30 一种车载ai机器人的触摸交互***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111441466.1A CN114138113A (zh) 2021-11-30 2021-11-30 一种车载ai机器人的触摸交互***

Publications (1)

Publication Number Publication Date
CN114138113A true CN114138113A (zh) 2022-03-04

Family

ID=80389927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111441466.1A Pending CN114138113A (zh) 2021-11-30 2021-11-30 一种车载ai机器人的触摸交互***

Country Status (1)

Country Link
CN (1) CN114138113A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104635562A (zh) * 2013-11-13 2015-05-20 沈阳新松机器人自动化股份有限公司 一种触觉传感器、触觉传感***及智能机器人
CN106393113A (zh) * 2016-11-16 2017-02-15 上海木爷机器人技术有限公司 机器人和机器人的交互控制方法
CN107463291A (zh) * 2017-07-28 2017-12-12 上海木爷机器人技术有限公司 基于触摸的具有人格化表现的机器人
CN110871446A (zh) * 2018-08-31 2020-03-10 比亚迪股份有限公司 车载机器人及其控制方法和***以及车辆和存储介质
CN210573253U (zh) * 2019-04-15 2020-05-19 上海蔚来汽车有限公司 车载智能交互***及具有该***的车辆
CN112035034A (zh) * 2020-08-27 2020-12-04 芜湖盟博科技有限公司 一种车载机器人交互方法
CN112571433A (zh) * 2020-12-14 2021-03-30 王永安 宠物机器人的情感交流方法
CN213859288U (zh) * 2020-09-30 2021-08-03 绍兴晨璞网络科技有限公司 一种人机交互的车载机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104635562A (zh) * 2013-11-13 2015-05-20 沈阳新松机器人自动化股份有限公司 一种触觉传感器、触觉传感***及智能机器人
CN106393113A (zh) * 2016-11-16 2017-02-15 上海木爷机器人技术有限公司 机器人和机器人的交互控制方法
CN107463291A (zh) * 2017-07-28 2017-12-12 上海木爷机器人技术有限公司 基于触摸的具有人格化表现的机器人
CN110871446A (zh) * 2018-08-31 2020-03-10 比亚迪股份有限公司 车载机器人及其控制方法和***以及车辆和存储介质
CN210573253U (zh) * 2019-04-15 2020-05-19 上海蔚来汽车有限公司 车载智能交互***及具有该***的车辆
CN112035034A (zh) * 2020-08-27 2020-12-04 芜湖盟博科技有限公司 一种车载机器人交互方法
CN213859288U (zh) * 2020-09-30 2021-08-03 绍兴晨璞网络科技有限公司 一种人机交互的车载机器人
CN112571433A (zh) * 2020-12-14 2021-03-30 王永安 宠物机器人的情感交流方法

Similar Documents

Publication Publication Date Title
US11743623B2 (en) Wearable interactive audio device
US10970936B2 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US9612661B2 (en) Closed loop feedback interface for wearable devices
JP2021072136A (ja) ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
CN107589782B (zh) 用于可穿戴设备的姿势控制接口的方法和装置
US20080147239A1 (en) Apparatus with Surface Information Displaying and Interaction Capability
KR100995130B1 (ko) 터치 센서와 가속도 센서를 이용한 사용자의 터치패턴 인식시스템
RU2431180C2 (ru) Указывающее устройство типа мыши, управляемое пользователем
EP2778847B1 (en) Contactor-based haptic feedback generation
JP2022546179A (ja) 神経筋制御に基づいて入力を実施するシステム、方法、およびインターフェース
KR101313106B1 (ko) 손가락 착용형 매개 장치 및 상기 장치를 이용한 손가락 동작 인식 방법
US11379037B2 (en) Sensor device and method
WO2009071919A1 (en) Controller
CN103703495A (zh) 一种遥控器、信息处理方法及***
WO2013127139A1 (zh) 一种操控电脑的装置及通过装置操控电脑的方法
KR20190092782A (ko) 손가락의 움직임 및 공간상에서의 손의 움직임을 인식할 수 있는 글러브형 모션인식 장치 및 방법
Shahmiri et al. Serpentine: A self-powered reversibly deformable cord sensor for human input
Nakajima et al. Emoballoon: A balloon-shaped interface recognizing social touch interactions
US20160014496A1 (en) Controller For Controlling An Electronic Device
CN114138113A (zh) 一种车载ai机器人的触摸交互***
CN113419622A (zh) 基于手势操作的潜艇作战指控***交互方法及设备
CN107247523B (zh) 一种多阵列的指尖触觉交互装置
Wagner et al. Smart glove with fully integrated textile sensors and wireless sensor frontend for the Tactile Internet
CN116185195A (zh) 一种基于多模态柔性传感的可穿戴手势交互***及其方法
CN115053510A (zh) 基于手套的人机接口

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination