CN104144162A - 一种智能语音联动喊话实现方法及*** - Google Patents

Abstract

本发明公开了一种智能语音联动喊话实现方法及***，该***主要包括：音频装置、视频装置、存储服务器、媒体服务器、管理服务器、客户端主要硬件设备；软件采用C/S架构；该方法主要包括：智能语音联动喊话可通过视频装置触发条件语音自动喊话；可通过客户端软件开启喊话功能与前端视频装置、语音装置进行现场语音喊话。理论上服务器可支持无限用户端接入，主要由带宽和电脑性能决定。采用本发明，可实现无人值守和实时作业环境中物（设备）、人之间的喊话告警和实时喊话交流，提升效率，保障安全。

Description

一种智能语音联动喊话实现方法及***

技术领域

本发明涉及多媒体技术和通信技术，特别涉及一种智能语音联动喊话的实现方法及***。

 

背景技术

多媒体技术和通信技术不断发展，现场喊话应用广泛应用，主要实现的方式有采用无线通信和语音技术集成的对讲机功能，见图1为现有技术中语音喊话流程图。该流程包括以下步骤：步骤101，设备之间打开或者关闭喊话功能，步骤102，用户之间单向喊话；有集成视频和音频通过有线或者无线通信传输的语音对讲；也有基于会议***开发的语音***。现有技术均为语音信息更流畅，信息更多样为目地进行开发，均为人之间直接沟通，基于点对点或者点对多点的人与人之间信息实时交互。

在实际应用中需要人或者物(设备)相互之间或者根据判断条件进行语音喊话，根据不同的条件选择不同喊话内容，应用智能语音联动喊话以管理为主要目的。而现有技术中不存在相应技术，因此本发明提供一种智能语音喊话方法，语音喊话的发起可以是前端智能视频装置触发也可以是后端客户开启喊话功能，本发明基于TCP/IP协议开发，提高语音喊话智能化、灵活、高效性，实现将语音和视频分流，实现前端智能语音联动喊话和客户端实时语音喊话功能。

 

发明内容

本发明针对现有技术的上述缺陷，提供一种解决无人值守环境智能语音喊话、同时兼容有人值守作业时实时语音喊话功能的智能语音联动喊话实现方法及***。

本发明提供了智能语音联动喊话实现方法及***，由于***和方法具有相同的特定技术特征：即可以是前端智能视频装置触发也可以是后端客户开启喊话功能，因此属于同一个发明构思，可以作为一件申请提出。

为实现上述发明目的，本发明的技术方案为：一种智能语音联动喊话实现方法，其特征在于，利用视频装置识别方法自动联动音频装置语音喊话和客户端实时喊话，该方法包括以下步骤：

A、前端视频装置根据智能分析模块分析事件类型决定是否自动联动语音喊话；需要智能语音联动喊话时，开启音频通道；

或 B、客户端开启实时喊话功能，经媒体服务器到达音频和视频装置与现场进行实时喊话；

所述的步骤A的具体过程如下：

A00,视频装置对设备、环境进行查看，利用智能分析模块对场景进行分析并采取喊话联动功作；

A01,视频装置分配喊话音频通道资源，准备音频喊话内容；

A02,发送喊话内容至音频装置，对现场进行喊话告警；

所述的步骤B中的具体过程如下：

B00，客户端用户开启喊话功能，此时管理服务器查看客户端状态、权限；

B01，管理服务器对客户端用户进行权限分配和认证，媒体服务器为视频装置分配通道资源；

B02，媒体服务器将客户端喊话内容转发至视频装置，由视频装置开启音频通道发送喊话内容；同时前端现场喊话内容由音频装置采集后上传至媒体服务器进而转发到客户端用户。

前述的一种智能语音联动喊话实现方法，在步骤A00中，智能联动语音喊话动作时，经分析视频场景未合乎智能喊话条件时不开启音频通道，智能分析模块对视频场景和喊话内容进行逻辑关联，采用事件方式，由事件类型判断喊话方式和喊话时长，根据定义分析事件等级将采用喊话告警提示、喊话报警处理、喊话信息通知管理人员处理；所述步骤A01中，喊话内容是以*.WAM文件格式录入视频装置SD卡中。

前述的一种智能语音联动喊话实现方法，在步骤B01中，当存在多客户端对同一视频装置和音频装置进行智能喊话操作，此时根据权限高低区别对待，若权限相同根据先到先得的顺序选择。

前述的一种智能语音联动喊话实现方法，在步骤B01中，管理服务器根据权限判断是否开启实时喊话后，管理服务器查询视频装置接入标识和IP地址是否正确，再查询视频装置运行状态和通信状态，一切正常时媒体服务器给视频装置分配音频通道资源并转发客户端用户音频数据给视频装置。

前述的一种智能语音联动喊话实现方法，客户端喊话完成后，客户端需要手动关闭喊话功能，此时媒体服务器将告知视频装置关闭音频通道释放资源。

前述的一种智能语音联动喊话实现方法，在对讲的过程中通信链路断开，管理服务器每5秒与前端视频装置进行1次心跳数据发送，如果5秒内未收到视频装置数据时，认为设备通信故障，将根据客户端ID将此信息通告客户端，在5个心跳周期内还未正常，通知媒体服务器关闭音频通道资源。

一种智能语音联动喊话***，其特征在于，由如下部分组成：

音频装置，包括音频播放单元和音频采集单元，分别用于将解码后音频内容对现场发出喊话内容、对现场喊话内容采集传送给视频装置编码；

视频装置，用于音频采集后进行编码再传送至媒体服务器和存储服务器，为音频播放内容提供解码功能，预存音频文件为智能语音喊话提供内容；

客户端，用于实时开启或关闭语音喊话，实时语音喊话经过媒体服务器和管理服务器处理后向音、视频装置提供实时语音喊话，也用于接收媒体服务器转发的音视频装置的现场语音喊话内容；

存储服务器，为喊话内容和过程提供存储空间；

媒体服务器，对前端接入的视频装置进行喊话音频通道资源分配和音、视频数据转发；

管理服务器，集中管理客户端、存储服务器、媒体服务器、视频装置设备信息、设备状态、用户权限。

前述的一种智能语音联动喊话***，视频装置设置智能分析模块，智能分析模块对视频场景和喊话内容进行逻辑关联，采用事件方式，由事件类型判断喊话方式和喊话时长，根据定义分析事件等级将采用喊话告警提示、喊话报警处理、喊话信息通知管理人员处理。

前述的一种智能语音联动喊话***，视频装置具有音频编解码单元、音频存储单元、音频发送单元；所述音频编解码单元为喊话音频提供G.711标准音频；所述音频存储单元，为可录入喊话音频内容的SD卡；所述音频发送单元，将音频装置采集信息发送至媒体服务器并转发给客户端。 

本发明提供智能语音联动喊话实现方法，体现喊话的灵活性，智能性；可以由前端视频装置根据视频分析结果智能联动喊话装置同时提供灵活的喊话内容，实现无人值守时物与物、物与人之间的信息传递；在有人值守时可以由客户端开启实时音频喊话实现人与人之间的信息传递。

 

附图说明

图1现有技术中的语音喊话流程图；

图2本发明实施例的前端视频装置智能联动语音喊话基本流程图；

图3本发明实施例的客户端开启实时语音喊话基本流程图；

图4本发明实施例的前端视频装置智能联动语音喊话详细流程图；

图5本发明实施例的客户端开启实时语音喊话详细流程图；

图6本发明实施例的***结构图；

图7本发明实施例前端设备结构图。

 

具体实施方案

为使本发明的目标、技术方案和优势更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明实施例提供的智能语音喊话主要由前端视频装置智能联动语音喊话和客户端开启实时语音喊话。参见图2和图3，图2和图3为本发明实施例的基本流程图。如图2 所示前端视频装置智能联动语音喊话，该流程包括以下步骤：

步骤201，视频装置录存喊话内容，设置视频装置智能分析触发语音喊话条件；

此处需要说明的是，步骤201预录音频内容可以上千个喊话音频，根据不同要求现场喊话内容预录存SD卡，预存音频格式为*.wam。

步骤202，前端视频装置根据视频智能分析结果联动开启语音喊话；

视频装置配置智能分析模块，对视频场景和喊话内容进行逻辑关联，采用事件方式，由事件类型判断喊话方式和喊话时长。

此处需要说明的是，事件方式根据定义分析事件等级将采用喊话告警提示、喊话报警处理、喊话信息通知管理人员处理；喊话时长定义，根据智能分析结果后采用喊话时长为连续5次。

步骤203，前端音频装置根据智能视频装置推送喊话内容，对周围进对喊话告警； 

如图3所示客户端开启实时语音喊话，该流程包括以下步骤：

步骤301，客户端开启实时语音喊话功能；

步骤302，媒体服务器转发语音喊话内容至前端视频装置，由视频装置将喊话内容推送至音频装置。 

步骤303，前端音频装置播放喊话内容，实时采集现场音频传输至客户端；

至此，通过上述步骤实现了本发明实施例提供的基本流程图。

以上对本发明的方法进行了基本描述，为使本发明的方法更加清楚，下面对本发明的方法进行详述。

参见图4和图5，为本发明的详细流程图。如图4 所示，前端视频装置智能联动语音喊话，该流程可包括以下步骤：

步骤401，视频装置在智能分析条件触发向音频装置发送智能语音喊话。

视频装置由智能分析模块对视频场景进行分析，在分析得出结果后决定是否采用联动语音喊话，如果需要采用联动喊话将自动打开喊话开关，准备向音频装置喊话。

步骤402，在分析条件未合乎智能喊话条件时不开启音频接口通道。

步骤403，在分析条件合乎智能喊话条件时联动视频装置的*.WAM音频内容，可根据不同喊话内容预录多个音源文件，分配需要喊话的音频内容。

步骤404，开启喊话功能，打开音频通道开关。

此处需要说明，实时音频喊话采用G.711编解码格式，与视频信息分开。

步骤405，对现场进行喊话，发送喊话音频内容。

此处需要说明，音频装置和视频装置此时只进行单向喊话，对现场状态进行声音采集。喊话完成后，视频装置关闭音频通道。

如图5 所示，客户端开启实时语音喊话，该流程可包括以下步骤：

步骤501，客户端用户向前端视频装置发送启用实时喊话功能。

这里需要说明的是，当存在多客户端对同一视频装置和音频装置进行智能喊话操作，此时根据不同权限高低去区别对待；如果权限相同根据先到先得的顺序选 择，同时最高相同权限用户进行60秒计时，轮换方式到下一个客户端用户。

步骤502，管理服务器对客户端用户进行权限分配和认证，客户端用户认证通过，有权开启喊话时将点击“开启喊话”成功。

步骤503，管理服务器在收到开启喊话功能指令后，检查视频装置接入标识和IP地址是否规范。

此处需要说明的是，管理服务器对视频装置、客户端、媒体服务器、进行接入规范性管理，同时进行运行状态进行检测。

步骤504，管理服务器对视频装置通信状态和运行状态进行检测。

步骤505，管理服务器检测状态正常后，媒体服务器分配视频装置通道资源，同时分配音频内存缓冲区，将音频转发至视频装置。

步骤506，视频装置开启喊话功能音频端口，对客户端音频数据进行解码；同时对音频装置声音采集进行编码上传至媒体服务器。

步骤507，音频装置发出实时客户端作业人员喊话内容，同时对现场声音进行采集。

此处需要说明的是，现场通过音频装置与客户端喊话完成后，客户端需要手动关闭喊话功能，此时媒体服务器将通告视频装置关闭音频通道释放资源。

步骤508，喊话内容形成音频文件经视频装置编码上传至媒体服务器同时转发一份至存储服务器。

至此，结束本发明实施提供的流程。

以上所述中还有一特殊情况，在对讲的过程中通信链路断开，管理服务器每5秒与前端视频装置进行1次心跳数据发送，如果5秒内未收到视频装置数据时，认为设备通信故障，将根据客户端ID将此信息通告客户端，在5个心跳周期内还未正常，通知媒体服务器关闭音频通道资源。客户端喊话功能同关闭。

以上是对本发明喊话实现方法进行的描述，下面结合具体实施例对本发明提供的***和设备进行描述。

参见图6，图6为本发明***结构图，如图6所示该***包括音频装置601，视频装置602,管理服务器603，存储服务器604，媒体服务器605，客户端606。

其中音频装置601与视频装置602之间双向数据通信，音频装置601为视频装置602提供现场声音采集数据，视频装置602为音频装置601提供喊话声音源或者客户端实时喊话声音音源。

视频装置602与管理服务器603为单向数据通信，视频装置初始化时向管理服务器注册，发送设备类型ID和IP地址与管理服务器进行确认，如果正确将正常注册到管理服务器，否则管理服务器将不进行处理。正常后每5秒向管理服务器发送心跳数据，每5秒发送一次状态数据。

存储服务器604与管理服务器603进行单向数据通信，存储服务器初始化时向管理服务器注册，发送设备类型ID和IP地址与管理服务器进行确认，如果正确将正常注册到管理服务器，否则管理服务器将不进行处理。正常后每5秒向管理服务器发送心跳数据，每5秒发送一次状态数据。

存储服务器604与媒体服务器605双向通信，存储服务器只接收媒体服务器转发音频数据。

媒体服务器605与管理服务器603进行单向数据通信，媒体服务器初始化时向管理服务器注册，发送设备类型ID和IP地址与管理服务器进行确认，如果正确将正常注册到管理服务器，否则管理服务器将不进行处理。正常后每5秒向管理服务器发送心跳数据，每5秒发送一次状态数据。

媒体服务器605与客户端606双向数据通信，客户端接入媒体服务器数据，同时媒体服务器也转发客户端音频数据。

本发明实施例中前端设备音频装置，视频装置具体实现中有多种结构形式，下图7所示的其中一种结构为例进行描述。参见图7，图7 为本发明实施例提供了前端设备的一种结构图。如图7所示，该音频装置包括音频播放单元701、音频采集单元702；视频装置包括音频发送单元703，音频存储单元704，音频编/解码单元705

其中音频播放单元701，对视频装置发送喊话内容进行播放，对客户端喊话内容进行播放。音频采集单元702，对现场声音进行采集拾音上传。音频发送单元703，由视频装置音频发送单元将音频数据经TCP/IP协议打包发送至媒体服务器。

音频存储单元704，视频装置对音频采集单元数据进行存储，直接存储到SD卡，也可以由媒体服务器转发至存储服务器存储。

音频编解码单元705，主要进行音频发送前处理，编/解码成G.711格式。

由以上技术方案可以看出，本发明提供智能语音联动喊话实现方法，体现喊话的灵活性，智能性；可以由前端视频装置根据视频分析结果智能联动喊话装置同时提供灵活的喊话内容实现无人值守时物与物、物与人之间的信息传递；在有人值守时可以由客户端开启实时音频喊话实现人与人之间的信息传递。

发明可用其他的不违背本发明的精神和主要特征的具体形式来概括，因此，本发明的上述实施方案都只能认为是对本发明的说明而不能限制本发明，在与本发明的权利要求相当的含义和范围内任何改变，都应认为是包括在权利要求书的范围内。

Claims (9)

1.一种智能语音联动喊话实现方法，其特征在于，利用视频装置识别方法自动联动音频装置语音喊话和客户端实时喊话，该方法包括以下步骤：

A、前端视频装置根据智能分析模块分析事件类型决定是否自动联动语音喊话；需要智能语音联动喊话时，开启音频通道；

或 B、客户端开启实时喊话功能，经媒体服务器到达音频和视频装置与现场进行实时喊话；

所述的步骤A的具体过程如下：

A00,视频装置对设备、环境进行查看，利用智能分析模块对场景进行分析并采取喊话联动功作；

A01,视频装置分配喊话音频通道资源，准备音频喊话内容；

A02,发送喊话内容至音频装置，对现场进行喊话告警；

所述的步骤B中的具体过程如下：

B00，客户端用户开启喊话功能，此时管理服务器查看客户端状态、权限；

B01，管理服务器对客户端用户进行权限分配和认证，媒体服务器为视频装置分配通道资源；

B02，媒体服务器将客户端喊话内容转发至视频装置，由视频装置开启音频通道发送喊话内容；同时前端现场喊话内容由音频装置采集后上传至媒体服务器进而转发到客户端用户。

2.根据权利要求1所述的一种智能语音联动喊话实现方法，其特征在于，在步骤A00中，智能联动语音喊话动作时，经分析视频场景未合乎智能喊话条件时不开启音频通道，智能分析模块对视频场景和喊话内容进行逻辑关联，采用事件方式，由事件类型判断喊话方式和喊话时长，根据定义分析事件等级将采用喊话告警提示、喊话报警处理、喊话信息通知管理人员处理；所述步骤A01中，喊话内容是以*.WAM文件格式录入视频装置SD卡中。

3.根据权利要求1所述的一种智能语音联动喊话实现方法，其特征在于：在步骤B01中，当存在多客户端对同一视频装置和音频装置进行智能喊话操作，此时根据权限高低区别对待，若权限相同根据先到先得的顺序选择。

4.根据权利要求1所述的一种智能语音联动喊话实现方法，其特征在于，在步骤B01中，管理服务器根据权限判断是否开启实时喊话后，管理服务器查询视频装置接入标识和IP地址是否正确，再查询视频装置运行状态和通信状态，一切正常时媒体服务器给视频装置分配音频通道资源并转发客户端用户音频数据给视频装置。

5.根据权利要求1所述的一种智能语音联动喊话实现方法，其特征在于，客户端喊话完成后，客户端需要手动关闭喊话功能，此时媒体服务器将告知视频装置关闭音频通道释放资源。

6.根据权利要求1所述的一种智能语音联动喊话实现方法，其特征在于，在对讲的过程中通信链路断开，管理服务器每5秒与前端视频装置进行1次心跳数据发送，如果5秒内未收到视频装置数据时，认为设备通信故障，将根据客户端ID将此信息通告客户端，在5个心跳周期内还未正常，通知媒体服务器关闭音频通道资源。

7.一种智能语音联动喊话***，其特征在于，由如下部分组成：

音频装置，包括音频播放单元和音频采集单元，分别用于将解码后音频内容对现场发出喊话内容、对现场喊话内容采集传送给视频装置编码；

视频装置，用于音频采集后进行编码再传送至媒体服务器和存储服务器，为音频播放内容提供解码功能，预存音频文件为智能语音喊话提供内容；

客户端，用于实时开启或关闭语音喊话，实时语音喊话经过媒体服务器和管理服务器处理后向音、视频装置提供实时语音喊话，也用于接收媒体服务器转发的音视频装置的现场语音喊话内容；

存储服务器，为喊话内容和过程提供存储空间；

媒体服务器，对前端接入的视频装置进行喊话音频通道资源分配和音、视频数据转发；

管理服务器，集中管理客户端、存储服务器、媒体服务器、视频装置设备信息、设备状态、用户权限。

8.根据权利要求7所述的一种智能语音联动喊话***，其特征在于：视频装置设置智能分析模块，智能分析模块对视频场景和喊话内容进行逻辑关联，采用事件方式，由事件类型判断喊话方式和喊话时长，根据定义分析事件等级将采用喊话告警提示、喊话报警处理、喊话信息通知管理人员处理。

9.根据权利要求7所述的一种智能语音联动喊话***，其特征在于：视频装置具有音频编解码单元、音频存储单元、音频发送单元；所述音频编解码单元为喊话音频提供G.711标准音频；所述音频存储单元，为可录入喊话音频内容的SD卡；所述音频发送单元，将音频装置采集信息发送至媒体服务器并转发给客户端。