CN109840118A - 车载软件*** - Google Patents

Abstract

本发明提出一种车载软件***，包括：信息互联***主机以及与信息互联***主机连接的在方向盘上设置的语音按键、远程信息处理模块、扬声装置和声音接收装置，扬声装置和声音接收装置设置在驾驶员附近，远程信息处理模块与外部的服务器连接；信息互联***主机中至少包括采用Android框架设计的***软件模块、信息娱乐模块、应用软件模块、语音逻辑模块和语音识别模块；声音接收装置采集驾驶员的语音指令，信息互联***主机处理语音指令并通过扬声装置反馈处理结果。本发明解决了现有技术中驾驶员在行驶过程中高频率的手机使用增加安全隐患的技术问题。

Description

车载软件***

技术领域

本发明涉及车辆领域，尤其涉及一种车载软件***。

背景技术

随着手机以及通讯技术的迭代，手机即时通讯以及手机办公已经成为一种常态。现有车载信息娱乐***中，驾驶员只能通过语音进行控制部分设备，但在网络聊天、移动办公方面仍然依赖手机，因此暴露了当前车载信息娱乐***的不足，同时也增加了驾驶员因过度依赖手机而造成的危险驾驶的风险。

当前车载信息娱乐***呈现智能化、互联化的趋势，应用软件和驾驶员的交互方式的好坏，直接决定了用户体验。如果驾驶员在行驶过程中通过手机进行网络聊天和移动办公，高频率的手机使用势必会增加安全隐患，并提高违章风险；如果通过手机映射，不但对投射的软件有一定限制，而且通过娱乐***屏幕与手机交互，在易用性和实用性方面不及手机，降低了用户对***的好感度。

发明内容

基于以上问题，本发明提出一种，解决了现有技术中驾驶员在行驶过程中高频率的手机使用增加安全隐患的技术问题。

本发明提出一种车载软件***，包括：

信息互联***主机以及与信息互联***主机连接的在方向盘上设置的语音按键、远程信息处理模块、扬声装置和声音接收装置，扬声装置和声音接收装置设置在驾驶员附近，远程信息处理模块与外部的服务器连接；

信息互联***主机中至少包括采用Android框架设计的***软件模块、信息娱乐模块、应用软件模块、语音逻辑模块和语音识别模块；

声音接收装置采集驾驶员的语音指令，信息互联***主机处理语音指令并通过扬声装置反馈处理结果，若信息互联***主机无法处理方言语音，则信息互联***主机向远程信息处理模块发送请求信号，远程信息处理模块接收到请求信号后，将方言语音发送至外部的服务器并从外部的服务器获取处理结果后发送给信息互联***主机，语音按键控制语音指令的输入和/或通过语音按键与应用软件模块交互。

此外，所述声音接收装置采集驾驶员的语音指令，信息互联***主机处理语音指令并通过扬声装置反馈处理结果包括：

语音识别模块接收声音接收装置采集到语音指令后进行声纹识别，语音逻辑模块将识别后的指令发送给应用软件模块，应用软件模块内的应用软件执行指令后向语音逻辑模块反馈执行结果，语音逻辑模块接收到应用软件的反馈后，发送语音反馈信息给扬声装置，扬声装置播放语音反馈信息。

此外，所述语音逻辑模块接收到应用软件的反馈后，发送语音反馈信息给扬声装置，扬声装置播放语音反馈信息之后还包括：

生成下一步操作提示语音，提示语音包括：给出对语音按键的不同按压方式对应的下一步操作提示。

此外，语音逻辑模块将识别后的结果生成指令集合或根据识别后的结果在***软件模块中找到预设的指令集合并将指令集合发送给应用软件模块。

此外，对语音按键的短按、长按、双击或多击代表不同的指令。

此外，当应用软件未打开时，按压语音按键输入语音指令，语音指令通过语音识别模块和语音逻辑模块的处理后发送指令给应用软件，当应用软件已经开启后，应用软件既接收语音逻辑模块发送的指令，又接收语音按键的按键指令。

此外，在信息软件或聊天软件的界面下，通过语音按键的按压方式决定信息发送类型，信息发送类型包括文字方式和语音方式；

当信息发送类型为文字方式时，应用软件的消息以文字消息显示，当信息发送类型为语音方式时，应用软件的消息以语音消息显示。

此外，语音按键的不同按压方式代表的指令包括：应用软件开启、找到指定联系人、信息编辑、信息发送、信息发送后回到信息编辑状态、纠正信息、删除信息和撤回信息。

此外，当***软件模块监测到应用软件接收到信息时，自动切换至该应用软件，对应用软件当前页面的控件类型进行判断，若为文字类型，则提取控件内的文字信息进行语音合成后发送至扬声装置。

此外，应用软件模块的应用软件至少包括信息应用软件、聊天应用软件或邮件应用软件。

此外，采用Android***中的AccessiblityService的类函数实现信息互联***主机内部的功能。

通过采用上述技术方案，具有如下有益效果：

本发明解决了现有技术中驾驶员在行驶过程中高频率的手机使用增加安全隐患的技术问题。与现有技术相比，本发明提供的车载软件***具有以下优点：为多媒体控制、网络聊天和移动邮箱提供了一套完整的语音交互***，驾驶员在行车过程中仅需结合方向盘上的语音按键和语音，即可实现多媒体控制、软件操作、联系人检索，信息和邮件编辑、信息的发送和撤回等功能，并根据用户设置，***可以自动将信息、邮件进行语音播报。驾驶员使用手机和车载娱乐***通过蓝牙连接时，可以通过语音查找联系人，并进行拨打电话或者短信回复。在整个交互的过程中，驾驶员无需通过手势、触摸的方式控制车载信息娱乐***。在行驶过程中，在驾驶员视线不离开道路的前提下，可完成多媒体的控制、信息和邮件的回复。通过语音控制和语音信息播报的形式进行人机交互，大大提高了用户体验，降低了在行驶过程中使用网络聊天或移动办公软件对行车安全带来的安全隐患。

附图说明

图1是本发明一个实施例提供的车载软件***的模块图；

图2是本发明一个实施例提供的状态迁移图；

图3是本发明一个实施例提供的车载软件***使用过程中的软件流程图；

图4是本发明一个实施例提供的车载软件***使用过程中的软件流程图；

图5是本发明一个实施例提供的车载软件***使用过程中的软件流程图；

图6是本发明一个实施例提供的车载软件***使用过程中的软件流程图。

具体实施方式

以下结合具体实施方案和附图对本发明进行进一步的详细描述。其只意在详细阐述本发明的具体实施方案，并不对本发明产生任何限制，本发明的保护范围以权利要求书为准。

参照图1，本发明提出一种车载软件***，包括：

信息互联***主机以及与信息互联***主机连接的在方向盘上设置的语音按键、远程信息处理模块、扬声装置和声音接收装置，扬声装置和声音接收装置设置在驾驶员附近，远程信息处理模块与外部的服务器连接；

信息互联***主机中至少包括采用Android框架设计的***软件模块、信息娱乐模块、应用软件模块、语音逻辑模块和语音识别模块；

声音接收装置采集驾驶员的语音指令，信息互联***主机处理语音指令并通过扬声装置反馈处理结果，若信息互联***主机无法处理方言语音，则信息互联***主机向远程信息处理模块发送请求信号，远程信息处理模块接收到请求信号后，将方言语音发送至外部的服务器并从外部的服务器获取处理结果后发送给信息互联***主机，语音按键控制语音指令的输入和/或通过语音按键与应用软件模块交互。

本实施例中通过在车载中设计了车载软件***，从而通过语音和语音按键结合的方式实现驾驶员在汽车行驶过程中对软件的使用，使驾驶员在驾驶过程中不再依赖手机，不需要动手去查看手机和操作手机，而只需要通过方向盘上的语音按键和语音输入使用各种软件。

方向盘上的语音按键可以启动语音输入和语音识别，即语音按键作为驾驶员与应用软件模块的交互键。当操作语音按键后，信息互联***主机方能够处理语音指令。

在启动车辆，娱乐***主机完成初始化后，驾驶员可通过语音按键与娱乐***主机进行语音交互，例如长按语音按键时进行语音录入，或短按直接执行控制操作。每次驾驶员在录入语音后，在不同界面下，***都会进行反馈，例如通过特定的单频音作为操作执行完成的反馈音，如果识别错误或者查找失败，则会以语音的形式告知驾驶员。

当应用软件模块内的应用软件已经打开后，如微信软件打开后，可以通过长按语音按键输入语音，松开语音按键结束语音输入并发送语音，类似在手机上使用触屏上的虚拟语音按键。

对于一些方言语音，若信息互联***主机无法处理方言语音，则信息互联***主机向远程信息处理模块发送请求信号，远程信息处理模块接收到请求信号后，将方言语音发送至外部的服务器并从外部的服务器获取处理结果后发送给信息互联***主机，通过向外部的服务器求助的方式解决方言语音的识别问题。

***软件模块的作用为：主要包含***运行的操作***、软件基本框架、运行环境等，保证其他模块的基本运行和数据传输，并为模块间的通讯和交互提供服务支持。

信息娱乐模块的作用为：集成车载信息娱乐***的基本功能模块，比如收音机、多媒体、手机映射、蓝牙电话、车辆信息及设备控制、远程信息、用户设置，这类功能模块均包装为Android***应用。

应用软件模块的作用为：车载信息娱乐***视为用户的第二移动设备，***预装并针对用户常用的软件进行定向开发和优化，确保诸如微信、163邮箱、QQ邮箱等应用能够在车内让用户通过语音输入和控制。

语音逻辑模块的作用为：语音***交互逻辑，是用户语音和***交互的神经中枢。负责判断每一次用户使用语音按键的真实意图，并管理当前的***状态、软件状态查询、联系人检索、语音信息管理等。

语音识别模块的作用为：负责处理用户按压如长按语音按键输入时，通过内置的声音接收装置如麦克风采集驾驶员的声纹信息，将其进行降噪、滤波、平滑处理，并根据用户设置情况，决定是否使用远程深度神经网络模型从而获得更准确的识别结果，并将识别结果返回给语音逻辑模块。

可选地，***软件模块中还设置有逻辑***模块，在每次按键时都对当前状态进行管理，几种状态可以在***运行过程中相互切换，如图2所示，举例将逻辑定义为：

T1：长按语音键语音打开对应软件。

T2：长按语音键语音找到指定联系人，并进入编辑界面。

T3：长按语音键实现信息编辑。当用户配置信息类型为语音时，则在释放按键时立即执行T4。

T4：单击语音键实现信息发送。

T5：信息发送完成自动回到信息编辑状态。

T6：双击语音键实现信息纠正，删除上一次语音转化的文字信息。

T7：三击语音键撤回上一条信息。

可选地，***基于Android7.0开发，通过UI Automator Viewer查看预装软件的布局结构树，从而获得预装软件指定节点的resource-id和clickable属性，并利用AccessiblityService实时监控***事件，通过AccessibilityEvent接收指定事件并做出响应。如果***广播的事件和预装应用软件相关，则通过序列化接口获取事件对应的包，并进入对应软件，再对指定的控件进行点击，播放语音信息或者复制文字信息给语音合成模块。同样的，在语音编辑时，根据用户配置和语音逻辑判断，***将直接对指定控件进行操作，实现语音文字信息的编辑和发送，并可根据按键动作实现消息撤回动作。同样的，因为信息娱乐部分同样基于Android且定向开发为***应用，在开发过程中通过获取界面的布局结构树信息，所以可以通过同样的语音命令方式进入收音机、多媒体、蓝牙、车辆控制等界面，并利用AccessiblityService进行相应的控制，实现诸如电台切换、歌曲切换、短信播报、联系人查找、车辆设置等行为。

针对现有技术的不足以及当前人机交互体验过程中暴露的缺陷，本实施例提出了车载软件***，尤其适用于驾驶过程中的网络聊天和移动办公场景，通过对话的方式实现信息的收发和邮件处理，提升了用户的人机交互体验，并提高了行车安全性。

本实施例为聊天软件以及移动邮箱软件提供运行环境和数据服务，采集驾驶员语音并进行处理和分析，根据语音模型分析结果和用户设置决定是否使用外部的服务器解析，处理交互***逻辑和软件控制，同时将接收的信息以语音合成的形式告知驾驶员；所述服务器为语音解析服务器和应用软件网络服务器，其中语音解析服务器将车载端上传的语音信号通过深度神经网络模型进行解析和识别，并将识别结果返回至车载端。

本实施例解决了现有技术中驾驶员在行驶过程中高频率的手机使用增加安全隐患的技术问题。与现有技术相比，本实施例提供的车载软件***具有以下优点：为多媒体控制、网络聊天和移动邮箱提供了一套完整的语音交互***，驾驶员在行车过程中仅需结合方向盘上的语音按键和语音，即可实现多媒体控制、软件操作、联系人检索，信息和邮件编辑、信息的发送和撤回等功能，并根据用户设置，***可以自动将信息、邮件进行语音播报。驾驶员使用手机和车载娱乐***通过蓝牙连接时，可以通过语音查找联系人，并进行拨打电话或者短信回复。在整个交互的过程中，驾驶员无需通过手势、触摸的方式控制车载信息娱乐***。在行驶过程中，在驾驶员视线不离开道路的前提下，可完成多媒体的控制、信息和邮件的回复。通过语音控制和语音信息播报的形式进行人机交互，大大提高了用户体验，降低了在行驶过程中使用网络聊天或移动办公软件对行车安全带来的安全隐患。

在其中的一个实施例中，所述声音接收装置采集驾驶员的语音指令，信息互联***主机处理语音指令并通过扬声装置反馈处理结果包括：

语音识别模块接收声音接收装置采集到语音指令后进行声纹识别，语音逻辑模块将识别后的指令发送给应用软件模块，应用软件模块内的应用软件执行指令后向语音逻辑模块反馈执行结果，语音逻辑模块接收到应用软件的反馈后，发送语音反馈信息给扬声装置，扬声装置播放语音反馈信息。

本实施例中采用声纹识别的方式对语音进行识别，当应用软件执行指令后会反馈执行结果，语音逻辑模块通过扬声装置进行反馈，例如通过特定的单频音作为操作执行完成的反馈音，如果识别错误或者查找失败，则会以语音的形式告知驾驶员。通过对执行结果进行反馈，使驾驶员不需要查看屏幕即可以了解刚才的语音指令是否执行成功。

在其中的一个实施例中，所述语音逻辑模块接收到应用软件的反馈后，发送语音反馈信息给扬声装置，扬声装置播放语音反馈信息之后还包括：

生成下一步操作提示语音，提示语音包括：给出对语音按键的不同按压方式对应的下一步操作提示。

例如当微信软件已经被打开后，扬声装置播放语音反馈了打开成功的提示音后，还可以进一步发出提示语音“请输入需要查看的联系人名字”，通过提示，驾驶员能够更加准确的输入标准的语音指令，提高了语音指令识别的准确率。

在其中的一个实施例中，语音逻辑模块将识别后的结果生成指令集合或根据识别后的结果在***软件模块中找到预设的指令集合并将指令集合发送给应用软件模块。

例如当驾驶员输入的指令为“发微信给张三：9点开会”，那么这里面包括了三个指令：开启微信软件指令，在微信中找到张三联系人指令，发送9点开会的语音消息指令。所以语音逻辑模块将识别后的结果生成指令集合或根据识别后的结果在***软件模块中找到预设的指令集合并将指令集合发送给应用软件模块，应用软件模块接收到指令集合后一一执行指令。预设的指令集合为预先编辑的指令集合。通过语音逻辑模块将识别后的结果生成指令集合或根据识别后的结果在***软件模块中找到预设的指令集合并将指令集合发送给应用软件模块，使驾驶员不需要一步步发送语音指令，而只是将意图表达出来即可，相比于传统的语音识别，本实施例提供的方式更加智能，也使驾驶员只需要说出意图即可以帮助其实现功能。

在其中的一个实施例中，对语音按键的短按、长按、双击或多击代表不同的指令。

例如可以将不同的按压方式定义为：

T1：长按语音键语音打开对应软件。

T2：长按语音键语音找到指定联系人，并进入编辑界面。

T3：长按语音键实现信息编辑。当用户配置信息类型为语音时，则在释放按键时立即执行T4。

T4：单击语音键实现信息发送。

T5：信息发送完成自动回到信息编辑状态。

T6：双击语音键实现信息纠正，删除上一次语音转化的文字信息。

T7：三击语音键撤回上一条信息。

在其中的一个实施例中，当应用软件未打开时，按压语音按键输入语音指令，语音指令通过语音识别模块和语音逻辑模块的处理后发送指令给应用软件，当应用软件已经开启后，应用软件既接收语音逻辑模块发送的指令，又接收语音按键的按键指令。

当应用软件未打开时，此时按压语音按键输入语音以明确打开什么软件，当软件已经开启后，此时的语音按键针对的是当前的活动软件。

在其中的一个实施例中，在信息软件或聊天软件的界面下，通过语音按键的按压方式决定信息发送类型，信息发送类型包括文字方式和语音方式；

当信息发送类型为文字方式时，应用软件的消息以文字消息显示，当信息发送类型为语音方式时，应用软件的消息以语音消息显示。

用户可以通过语音按键设置应用软件的信息发送形式，如微信的文字消息或语音消息，无论哪种发送形式，***都会在用户使用语音按键后，进行状态管理，以防止错误的输入或者信息错发。当信息发送类型为文字方式时，语音逻辑模块会存储由语音识别模块返回的的语音文字内容，并更新在该软件的文字编辑状态下用户输入全部语音文字信息，用户可继续通过同样的方式进行信息添加，或者双击语音按键删除上一次的语音文字信息，直到单击语音按键，语音逻辑模块才会通过剪切板的形式输入至对话框并发送；当信息发送类型为语音方式时，在进入文字编辑状态后，长按语音时即开始进行语音录入，释放按键时则立即发送信息。

在其中的一个实施例中，语音按键的不同按压方式代表的指令包括：应用软件开启、找到指定联系人、信息编辑、信息发送、信息发送后回到信息编辑状态、纠正信息、删除信息和撤回信息。通过使语音按键的不同按压方式代表不同的指令，使用户能够通过语音按键控制应用软件。

在其中的一个实施例中，当***软件模块监测到应用软件接收到信息时，自动切换至该应用软件，对应用软件当前页面的控件类型进行判断，若为文字类型，则提取控件内的文字信息进行语音合成后发送至扬声装置。为了方便用户知晓刚收到的信息内容，所以将刚收到的信息或邮件内容转为声音播放。

在其中的一个实施例中，应用软件模块的应用软件至少包括信息应用软件、聊天应用软件或邮件应用软件。由于驾驶过程中，经常要处理文字信息和邮件等，所以本实施例主要针对聊天软件和邮件软件在驾驶中不方便使用而设计。

在其中的一个实施例中，采用Android***中的AccessiblityService的类函数实现信息互联***主机内部的功能。

利用AccessiblityService实时监控***事件，通过AccessibilityEvent接收指定事件并做出响应。利用AccessiblityService进行相应的控制，实现诸如电台切换、歌曲切换、短信播报、联系人查找、车辆设置等行为。通过Android***中的AccessiblityService的类函数实现各种辅助和控制功能，使软件得以在车载中使用。

可选地，用户还可设置语音合成发声单元的性别、语速、语种等。每次用户通过语音按键操作都会有相应的正反馈提示音或者负反馈语音提示。

例如，如图3所示，当驾驶员说出“打开微信”、“打开QQ邮箱”等语音指令时，语音逻辑模块根据声纹信息关键字定位软件ID，并搜索和检查对应软件状态，如果***成功进入对应软件则会通过正反馈提示音提示用户，否则会通过语音提示告知用户。如图4所示，当成功进入软件后，用户可通过诸如“发送微信给张三”、“发送短信给李四”等命令，通过声纹信息关键字进入不同页面并进行联系人检索，最后进入微信或者短信编辑界面，同样地，可通过类似“发送邮件给王经理”的语音指令，可进入邮件编辑界面。如图5所示，在进入编辑页面后，驾驶员即可通过自定义的信息发送类型，进行语音信息编辑。如图6所示，在***监测到对应的软件有信息接收时，将自动切换至指定软件页面，并对控件类型进行判断，提取控件内的文字信息进行语音合成后播放音频，或者直接播放语音信息。图3-图6中，为了图示显示需要，对名称进行了简写，其中图示中的“语音逻辑”代表语音逻辑模块的实例，“语音模块”代表语音识别模块的实例，“***软件”代表***软件模块的实例，“云端”和“云模型”代表外部的服务器的实例。

以上所述的仅是本发明的原理和较佳的实施例。应当指出，对于本领域的普通技术人员来说，在本发明原理的基础上，还可以做出若干其它变型，也应视为本发明的保护范围。

Claims (11)

1.一种车载软件***，其特征在于，包括：

信息互联***主机以及与信息互联***主机连接的在方向盘上设置的语音按键、远程信息处理模块、扬声装置和声音接收装置，扬声装置和声音接收装置设置在驾驶员附近，远程信息处理模块与外部的服务器连接；

信息互联***主机中至少包括采用Andro i d框架设计的***软件模块、信息娱乐模块、应用软件模块、语音逻辑模块和语音识别模块；

声音接收装置采集驾驶员的语音指令，信息互联***主机处理语音指令并通过扬声装置反馈处理结果，若信息互联***主机无法处理方言语音，则信息互联***主机向远程信息处理模块发送请求信号，远程信息处理模块接收到请求信号后，将方言语音发送至外部的服务器并从外部的服务器获取处理结果后发送给信息互联***主机，语音按键控制语音指令的输入和/或通过语音按键与应用软件模块交互。

2.根据权利要求1所述的车载软件***，其特征在于，

所述声音接收装置采集驾驶员的语音指令，信息互联***主机处理语音指令并通过扬声装置反馈处理结果包括：

语音识别模块接收声音接收装置采集到语音指令后进行声纹识别，语音逻辑模块将识别后的指令发送给应用软件模块，应用软件模块内的应用软件执行指令后向语音逻辑模块反馈执行结果，语音逻辑模块接收到应用软件的反馈后，发送语音反馈信息给扬声装置，扬声装置播放语音反馈信息。

3.根据权利要求2所述的车载软件***，其特征在于，

所述语音逻辑模块接收到应用软件的反馈后，发送语音反馈信息给扬声装置，扬声装置播放语音反馈信息之后还包括：

生成下一步操作提示语音，提示语音包括：给出对语音按键的不同按压方式对应的下一步操作提示。

4.根据权利要求2所述的车载软件***，其特征在于，

语音逻辑模块将识别后的结果生成指令集合或根据识别后的结果在***软件模块中找到预设的指令集合并将指令集合发送给应用软件模块。

5.根据权利要求1所述的车载软件***，其特征在于，

对语音按键的短按、长按、双击或多击代表不同的指令。

6.根据权利要求5所述的车载软件***，其特征在于，

当应用软件未打开时，按压语音按键输入语音指令，语音指令通过语音识别模块和语音逻辑模块的处理后发送指令给应用软件，当应用软件已经开启后，应用软件既接收语音逻辑模块发送的指令，又接收语音按键的按键指令。

7.根据权利要求5所述的车载软件***，其特征在于，

在信息软件或聊天软件的界面下，通过语音按键的按压方式决定信息发送类型，信息发送类型包括文字方式和语音方式；

当信息发送类型为文字方式时，应用软件的消息以文字消息显示，当信息发送类型为语音方式时，应用软件的消息以语音消息显示。

8.根据权利要求5所述的车载软件***，其特征在于，

语音按键的不同按压方式代表的指令包括：应用软件开启、找到指定联系人、信息编辑、信息发送、信息发送后回到信息编辑状态、纠正信息、删除信息和撤回信息。

9.根据权利要求1所述的车载软件***，其特征在于，

当***软件模块监测到应用软件接收到信息时，自动切换至该应用软件，对应用软件当前页面的控件类型进行判断，若为文字类型，则提取控件内的文字信息进行语音合成后发送至扬声装置。

10.根据权利要求1所述的车载软件***，其特征在于，

应用软件模块的应用软件至少包括信息应用软件、聊天应用软件或邮件应用软件。

11.根据权利要求1-10任一项所述的车载软件***，其特征在于，

采用Android***中的AccessiblityService的类函数实现信息互联***主机内部的功能。