CN114067032A - 一种车内全息卡通影像仿真交互方法 - Google Patents

一种车内全息卡通影像仿真交互方法 Download PDF

Info

Publication number
CN114067032A
CN114067032A CN202111304604.1A CN202111304604A CN114067032A CN 114067032 A CN114067032 A CN 114067032A CN 202111304604 A CN202111304604 A CN 202111304604A CN 114067032 A CN114067032 A CN 114067032A
Authority
CN
China
Prior art keywords
image
cartoon image
virtual
instruction
cartoon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111304604.1A
Other languages
English (en)
Inventor
黄志平
张胜
姚鸿飞
陈裕虎
曹志龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Changchun Auto Parts Co ltd
Original Assignee
Changshu Changchun Auto Parts Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Changchun Auto Parts Co ltd filed Critical Changshu Changchun Auto Parts Co ltd
Priority to CN202111304604.1A priority Critical patent/CN114067032A/zh
Publication of CN114067032A publication Critical patent/CN114067032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种车内全息卡通影像仿真交互方法,包括由全息投影模块显示由交互使用者指定的虚拟卡通形象并等待交互使用者发出指令,由指令采集模块采集交互使用者指令,由控制模块根据指令执行相应的车辆控制并形成反馈信息,扬声器模块将反馈信息转换为自然语音进行播放,全息投影模块显示与反馈信息对应虚拟卡通形象的动作图像,虚拟卡通形象由交互使用者预先建立,预先建立虚拟卡通形象的方法包括采集被建立者的头部影像并将头部影像转换为卡通头像,并嫁接至预置的身体动作视频形成各种动作图像,由不同的被建立者建立不同的虚拟卡通形象。本发明通过虚拟卡通形象的建立提升了人与车机的交互体验,更具趣味性。

Description

一种车内全息卡通影像仿真交互方法
技术领域
本发明涉及一种车内交互方法,特别是一种车内全息卡通影像仿真交互方法。
背景技术
随着车机智能化程度的增加,车机能够提供的交互功能越来越多,而传统以显示页面呈现功能操作的方式会使得交互操作变得繁琐,低头进行复杂操作使驾驶员视线长时间偏离行车前方存在安全隐患,其他位置乘客进行交互操作时也不便利。因此在现有技术中,提出了运用3D全息影像进行投影,然后与车内司机或者乘客进行交互操作的技术方案。比如公开号为CN112286357A的中国专利公开了一种行车人机交互方法,利用全息投影形成虚拟空间,收集指令后将交互结果与全息影像和声音进行输出,提高直观性。公开号为CN108919959A的中国专利公开了一种车辆人机交互方法,其通过将多个操作界面以全息投影方式展示并以手势识别构成操作指令进行交互,目的在于减少对驾驶员注意力的分散。这些方案对于交互信息的展示不够生动也难以构成独特的定制化效果。
发明内容
针对上述现有技术缺陷,本发明的任务在于提供一种车内全息卡通影像仿真交互方法,提升车内人员与车机的交互体验,增强趣味性。
本发明技术方案如下:一种车内全息卡通影像仿真交互方法,包括由全息投影模块显示虚拟卡通形象的全息影像并等待交互使用者发出指令,由指令采集模块采集交互使用者指令,由控制模块根据所述指令执行相应的车辆控制并形成反馈信息发送至扬声器模块,所述扬声器模块将所述反馈信息转换为自然语音进行播放,所述全息投影模块显示虚拟卡通形象的动作图像,所述动作图像与所述反馈信息对应,所述虚拟卡通形象由所述交互使用者预先建立,所述预先建立虚拟卡通形象的方法包括采集被建立者的头部影像并将头部影像转换为卡通头像,然后根据卡通头像的脖子位置的点信息,将卡通头像嫁接至预置的动作视频形成各种动作图像,由不同的被建立者建立不同的虚拟卡通形象,所述全息投影模块显示虚拟卡通形象时选择由所述交互使用者指定的虚拟卡通形象进行显示。
进一步地,所述预先建立虚拟卡通形象时,通过声音采集模块采集被建立者的语音,并根据被建立者的语音生成语音包,同一被建立者的语音包与虚拟卡通形象相互绑定,所述扬声器模块将所述反馈信息转换为自然语音进行播放时是根据当前虚拟卡通形象所对应的语音包将所述反馈信息转换为自然语音。通过本方案除了形象上模拟熟悉的人员外还从交互的语音上进行模拟,进一步增强交互的真实感。
进一步地,为了避免环境噪音对反馈信息的语音造成干扰,使得交互使用者难以确认反馈信息,所述全息投影模块显示虚拟卡通形象的动作图像的同时以文字方式显示所述反馈信息。
进一步地,所述建立预先建立虚拟卡通形象时以触摸显示屏显示生成的虚拟卡通形象并接收交互使用者的输入指令,根据所述输入指令对所述虚拟卡通形象作出装饰性修改,所述装饰性修改包括调整所述虚拟卡通形象的身型、发型及服饰。
进一步地,所述全息投影模块显示虚拟卡通形象并等待交互使用者发出指令前,由交互使用者选择预先建立虚拟卡通形象之一由所述全息投影模块显示。
进一步地,所述指令采集模块采集的指令包括手势指令、语音指令和按钮触发指令。
本发明与现有技术相比的优点在于:
采用由交互使用者建立并指定的虚拟卡通形象进行显示及语音交互,可以根据交互使用者的喜好形成特定的交互影像,形成与车辆进行拟人化当面沟通的感受,提升车内驾乘人员的交互体验。
附图说明
图1为实施例的车内全息卡通影像仿真交互方法所采用的***结构模块图。
图2为实施例的车内全息卡通影像仿真交互方法示意图。
具体实施方式
下面结合实施例对本发明作进一步说明,但不作为对本发明的限定。
请结合图1所示,本实施例的车内全息卡通影像仿真交互方法采用的***结构包括全息投影模块1、指令采集模块2、控制模块3、扬声器模块4以及视频采集模块5,其中全息投影模块1用于显示全息影像,包括显示虚拟卡通形象、文字甚至场景的全息影像,作为与驾乘人员的沟通界面。全息投影模块由投影设备和衍射体组成,衍射体为金字塔形透明衍射体,由投影设备将显示内容分别投射在金字塔形的四个侧面即形成全息影像,衍射体一般放置在仪表板的顶面居中位置,位于中控的上方。
指令采集模块2主要包括各种实体按键21、触摸屏22、手势传感装置23以及阵列麦克风24,指令采集模块2用于收集驾乘人员发出的各种指令信息,比如通过实体按键21调整音量、开关空调,通过触摸屏22进行建立虚拟卡通形象的操作,通过手势传感器23进行预设的操作,手势传感器23一般设置于仪表板朝向驾乘人员的一面,阵列麦克风24可以收集驾乘人员的语音指令。
控制模块3与全息投影模块1、指令采集模块2、扬声器模块4以及视频采集模块5连接,对由指令采集模块2发送的指令信息进行处理以产生反馈信息或者进一步控制车辆,然后将该反馈信息转换为音频信号由扬声器模块4播放,同时控制模块3还控制全息投影模块1的显示内容。在建立虚拟卡通形象时,通过视频采集模块5采集被建立者的影像,从而由控制模块3根据这些被建立者的影像而生成虚拟卡通形象。
基于上述***结构,请结合图2所示,本实施例的车内全息卡通影像仿真交互方法是这样的,首先由交互使用者建立若干的虚拟卡通形象,这些虚拟卡通形象建立依据即被建立者为现实中的人,一般选择亲人,也可以选择可获得人物头部影像的其他人。建立虚拟卡通形象时,首先利用视频采集模块拍摄被建立者的头部影像,通过自动识别人脸的正面,背面,左侧,右侧四个角度,提取四个角度的图片信息,提取照片上人脸的特征,如眼睛,眉毛,鼻子,嘴巴,耳朵,脸型特征等信息。然后通过算法,把相关的特征用线条进行重构,重构结束后,根据一定的审美意图,再进行一轮线条的美化,最终形成一个初步的卡通人物正脸数据。人脸的侧面以及背面使用相同的原理构建处另外三个角度的卡通人物头部数据。
根据上述建立的卡通人物头部数据,确定脖子位置的点信息,将卡通头像嫁接到预设的头部动作视频,前一步骤建立卡通人物头部数据时自动生成动作所需的动作辅助点,辅助线信息,所有的动作都是根据先前设置好的动作进行运动。通过本步骤生成正面,背面,左侧面,右侧面四个不同的角度的头部视频动作。
利用触摸屏显示各种款式的身形,发型,衣服,配饰等供交互使用者选择,交互使用者通过对触摸屏操作在卡通人物头部数据上,拖动的某个预设的身形到相应位置,形成一个完整的动漫人物,在此基础上,再进行发型,衣服,配饰等的选择搭配。在进行人物装扮时,只需要将已有的身形,发型,衣服,配饰等图案拖动到人物相应位置,就会出现装扮后的效果,当退出时,身上的装扮不进行变化。此处只需要装扮正面人脸的人物视频,其余三个角度的视频自动根据所选择的装扮信息进行自动同步装扮。商店的身形,发型,衣服,配饰有已经制作完成,可以直接购买,也可以自己购买了各个元素后进行自己设计。
虚拟卡通形象建立完成后,由被建立者或者是希望模拟的人员依据触摸屏上的文字进行朗读以获得声音数据,通过车载阵列麦克风把此段文字的声音输入进控制模块进行处理,控制模块通过对朗读的声音文字和***中的文字进行对比处理,得出每个字体的语音,语调,通过算法自动转换为人物语音包。将该人物语音包与建立的虚拟卡通形象进行绑定。未绑定有人物语音包的虚拟卡通形象与默认语音包绑定。
在首次进入交互状态时,例如是每次发动车辆后,或者是每天第一次发动车辆后,由全息投影模块显示默认的虚拟卡通形象。即将签署步骤建立的虚拟卡通形象中的默认值的4个角度的视频数据发送给全息投影模块。其中投影设备的将2D影像投影投射到衍射体,衍射体接收到投影设备投影过来的视频画面后,通过金字塔形的锥体进行层层衍射,从而在不同方位可以看到画面,在衍射体金字塔内形成3D效果。同时,触摸屏可提供其他已建立的虚拟卡通形象供选择。当交互使用者选择一个虚拟卡通形象或者不做选择则认为选择了默认的虚拟卡通形象后,进入交互状态,等待交互使用者发出指令。
此时,交互使用者可以通过指令采集模块的各个设备发出指令,例如由空调控制按钮打开空调,或者以语音的方式说出“打开空调”,当接收到该指令后,控制模块打开空调并以默认状态运行,然后形成反馈信息发送至扬声器模块,该反馈信息为空调为开启状态,制冷模式,运行温度为26℃,由扬声器模块将该反馈信息依据选择的虚拟卡通形象所对应的语音包转换为自然语音如“空调已制冷调节至26℃”进行播放,于此同时,全息投影模块显示的虚拟卡通形象做出打开空调的动作丰富视觉场景,由此交互使用者与车机的交互就变成了类似与熟悉的亲人间的沟通,交互体验得以提升。当交互使用者通过手势向左或向右摆动时,由手势传感器感知动作,控制模块则控制空调出风向左或向右调整,同样形成反馈信息发送至扬声器模块,由扬声器模块将该反馈信息依据选择的虚拟卡通形象所对应的语音包转换为自然语音“出风向左转动”或者“出风向由转动”,表示执行完成。
作为进一步优化的实施例,在进行交互过程中,由于某些控制可能影响新车安全性,而语音播放控制结果经常会受到环境噪音的影响而使交互使用者难以清楚分辨控制结果。因此在通过指令采集模块的各个设备发出指令,例如以语音的方式说出“开启定速巡航”时,控制模块使车辆执行定速巡航模式,形成反馈信息发送至扬声器模块,该反馈信息为定速巡航开启,巡航速度为80km/h,由扬声器模块将该反馈信息依据选择的虚拟卡通形象所对应的语音包转换为自然语音如“按80km/h巡航”进行播放,于此同时,全息投影模块显示的虚拟卡通形象做出定速巡航动作时在虚拟卡通形象旁以文字形式显示“巡航速度为80km/h”的提示,一边交互使用者随时确认巡航速度,提高驾驶安全性。
除上述实施例所示的指令式交互外,还可以结合现有的人工智能进行聊天式交互。比如:汽车的所有人把自己的信息输入到***中,比如上班时间时周一到周五,每天早上上班时间为9点钟,晚上下部时间为6点钟。车主可以他爱人形象建立为虚拟卡通形象,并绑定人物语音包。车主上车时,全息投影模块显示他爱人的虚拟卡通形象,软件会根据提取到的车辆信息在工作日的情况下,在上车的那一刻,他的爱人会说:“老公,欢迎回来,你是要去公司上班吗?”得到肯定答复后,***就会进行自动导航,自动选择最优去公司的路线。在路上觉得无聊时,车主可以和虚拟卡通形象进行聊天,讲笑话互动行为等。当车主下班时上车时,全息投影模块显示他爱人的虚拟卡通形象,软件会根据提取到的车辆信息在工作日的情况下,在上车的那一刻,虚拟卡通形象会说:“老公,上班辛苦了,现在是要回家吗?”当车主说:“暂时不回家,今天在外面吃饭。”然后,虚拟卡通形象问:“是否需要打电话通知家里人,今天不回去吃饭或者通知他们一起去吃饭?”得到肯定答案后,就拨通家里人电话。在拨电话的过程中,虚拟卡通形象展示为拨电话的动作。

Claims (7)

1.一种车内全息卡通影像仿真交互方法,其特征在于,包括由全息投影模块显示虚拟卡通形象的全息影像并等待交互使用者发出指令,由指令采集模块采集交互使用者指令,由控制模块根据所述指令执行相应的车辆控制并形成反馈信息发送至扬声器模块,所述扬声器模块将所述反馈信息转换为自然语音进行播放,所述全息投影模块显示虚拟卡通形象的动作图像,所述动作图像与所述反馈信息对应,所述虚拟卡通形象由所述交互使用者预先建立,所述预先建立虚拟卡通形象的方法包括采集被建立者的头部影像并将头部影像转换为卡通头像,然后根据卡通头像的脖子位置的点信息,将卡通头像嫁接至预置的动作视频形成各种动作图像,由不同的被建立者建立不同的虚拟卡通形象,所述全息投影模块显示虚拟卡通形象时选择由所述交互使用者指定的虚拟卡通形象进行显示。
2.根据权利要求1所述的车内全息卡通影像仿真交互方法,其特征在于,所述预先建立虚拟卡通形象时,通过声音采集模块采集被建立者的语音,并根据被建立者的语音生成语音包,统一被建立者的语音包与虚拟卡通形象相互绑定,所述扬声器模块将所述反馈信息转换为自然语音进行播放时是根据当前虚拟卡通形象所对应的语音包将所述反馈信息转换为自然语音。
3.根据权利要求1所述的车内全息卡通影像仿真交互方法,其特征在于,所述全息投影模块显示虚拟卡通形象的动作图像的同时以文字方式显示所述反馈信息。
4.根据权利要求1所述的车内全息卡通影像仿真交互方法,其特征在于,所述建立预先建立虚拟卡通形象时以触摸显示屏显示生成的虚拟卡通形象并接收交互使用者的输入指令,根据所述输入指令对所述虚拟卡通形象作出装饰性修改,所述装饰性修改包括调整所述虚拟卡通形象的身型、发型及服饰。
5.根据权利要求1所述的车内全息卡通影像仿真交互方法,其特征在于,所述建立预先建立虚拟卡通形象时以触摸显示屏显示生成的虚拟卡通形象并接收交互使用者的输入指令,根据所述输入指令对所述虚拟卡通形象作出装饰性修改,所述装饰性修改包括调整所述虚拟卡通形象的身型、发型及服饰。
6.根据权利要求1所述的车内全息卡通影像仿真交互方法,其特征在于,所述全息投影模块显示虚拟卡通形象并等待交互使用者发出指令前,由交互使用者选择预先建立虚拟卡通形象之一由所述全息投影模块显示。
7.根据权利要求1所述的车内全息卡通影像仿真交互方法,其特征在于,所述指令采集模块采集的指令包括手势指令、语音指令和按钮触发指令。
CN202111304604.1A 2021-11-05 2021-11-05 一种车内全息卡通影像仿真交互方法 Pending CN114067032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111304604.1A CN114067032A (zh) 2021-11-05 2021-11-05 一种车内全息卡通影像仿真交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111304604.1A CN114067032A (zh) 2021-11-05 2021-11-05 一种车内全息卡通影像仿真交互方法

Publications (1)

Publication Number Publication Date
CN114067032A true CN114067032A (zh) 2022-02-18

Family

ID=80274303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111304604.1A Pending CN114067032A (zh) 2021-11-05 2021-11-05 一种车内全息卡通影像仿真交互方法

Country Status (1)

Country Link
CN (1) CN114067032A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006377A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 实时互动动画的全息投影***、方法及人工智能机器人
CN108810521A (zh) * 2018-04-12 2018-11-13 中国第汽车股份有限公司 3d全息投影智能机器人
CN111124123A (zh) * 2019-12-24 2020-05-08 苏州思必驰信息科技有限公司 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制***
CN111290682A (zh) * 2018-12-06 2020-06-16 阿里巴巴集团控股有限公司 交互方法、装置及计算机设备
US20210034212A1 (en) * 2018-12-04 2021-02-04 Tencent Technology (Shenzhen) Company Limited Interactive control method and apparatus, storage medium, and electronic device
CN113436602A (zh) * 2021-06-18 2021-09-24 深圳市火乐科技发展有限公司 虚拟形象语音交互方法、装置、投影设备和计算机介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006377A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 实时互动动画的全息投影***、方法及人工智能机器人
CN108810521A (zh) * 2018-04-12 2018-11-13 中国第汽车股份有限公司 3d全息投影智能机器人
US20210034212A1 (en) * 2018-12-04 2021-02-04 Tencent Technology (Shenzhen) Company Limited Interactive control method and apparatus, storage medium, and electronic device
CN111290682A (zh) * 2018-12-06 2020-06-16 阿里巴巴集团控股有限公司 交互方法、装置及计算机设备
CN111124123A (zh) * 2019-12-24 2020-05-08 苏州思必驰信息科技有限公司 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制***
CN113436602A (zh) * 2021-06-18 2021-09-24 深圳市火乐科技发展有限公司 虚拟形象语音交互方法、装置、投影设备和计算机介质

Similar Documents

Publication Publication Date Title
WO2021077737A1 (zh) 基于车载数字人的交互
CN109710055A (zh) 车载智能交互***和车载交互终端的交互控制方法
DE102007037073A1 (de) Vorrichtung zur Informationsvermittlung
CN107577661A (zh) 一种针对虚拟机器人的交互输出方法以及***
JPWO2019093156A1 (ja) 表示処理装置および表示処理方法、並びにプログラム
JP4513143B2 (ja) 映像表示システム
CN114043939B (zh) 一种使用全息投影技术的车载中控***及控制方法
KR102650178B1 (ko) 가상 운전자 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램
CN115205917A (zh) 一种人机交互的方法及电子设备
CN114067032A (zh) 一种车内全息卡通影像仿真交互方法
CN112152894B (zh) 基于虚拟现实的家电控制方法及虚拟现实***
CN110682866A (zh) 通过感知驾车环境改变屏显的方法、***、设备及汽车
CN110979202B (zh) 改变汽车风格的方法、装置以及***
CN110822647B (zh) 空调器的控制方法、空调器及存储介质
CN112297842A (zh) 具有多种显示模式的自动驾驶车辆
CN111736700A (zh) 基于数字人的车舱交互方法、装置及车辆
CN115830724A (zh) 基于多模态识别的车载识别交互方法及***
JP3002136B2 (ja) 感情変換装置
CN115951779A (zh) 车载数字虚拟形象交互、生成方法、装置、设备及介质
JP7377615B2 (ja) 車両の非接触操作装置、および車両
CN110822661B (zh) 空调器的控制方法、空调器及存储介质
CN212208628U (zh) 智能座舱体验设备
JP2023500099A (ja) デジタルヒューマンに基づく車室インタラクション方法、装置及び車両
CN115086466B (zh) 一种基于移动终端的车载语音形象的定制方法及装置
CN221281510U (zh) 虚拟现实设备及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination