CN113626204A - 一种交互式的全媒体数字信息处理方法及*** - Google Patents

Abstract

本发明提出了一种交互式的全媒体数字信息处理方法及***，涉及数据处理领域。一种交互式的全媒体数字信息处理方法包括：对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源；将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群；利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令；接收到网络串口服务器接收到的交互指令并生成数字信号展示。其能够使全媒体的交互服务响应更快，延时更低。此外本发明还提出了一种交互式的全媒体数字信息处理***，包括：特征提取模块、扩展模块、交互模块及展示模块。

Description

一种交互式的全媒体数字信息处理方法及***

技术领域

本发明涉及数据处理领域，具体而言，涉及一种交互式的全媒体数字信息处理方法及***。

背景技术

全球化信息经济的发展，必然导致信息技术在企业管理中的不断深入应用，传统的企业管理模式显然已不能适应时代的要求。随着银行、医院、交通、电力、商场、学校、超市、体育场馆、机场、政府等领域对联网型信息发布全媒体化的需求，早前出现的单机板广告播放机仅单向播放广告的功能已经不能满足客户的需求，代之而来的是基于网络平台，提供实时、集中控制管理和自动播出数字全媒体信息发布***。目前，国内的全媒体信息发布***依据不同的设计理念和不同的应用领域，分为基于PC平台和基于专用平台的两大架构。这两大架构从***组成、应用领域和产品特性等方面均有自身优缺点。

媒体的所有服务一般集中部署到远离用户端的服务器，用户端产生和使用的媒体内容全部需要传输到服务器，使用媒体应用服务进行处理。在当前互联网海量用户使用的情况下，由于服务器互联网网络带宽和处理能力有限，必然导致瓶颈。造成大量需要低时延响应媒体应用的卡顿和迟滞，极大降低了用户体验。

发明内容

本发明的目的在于提供一种交互式的全媒体数字信息处理方法，其能够使全媒体的交互服务响应更快，延时更低。

本发明的另一目的在于提供一种交互式的全媒体数字信息处理***，其能够运行一种交互式的全媒体数字信息处理方法。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种交互式的全媒体数字信息处理方法，其包括对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源；将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群；利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令；接收到网络串口服务器接收到的交互指令并生成数字信号展示。

在本发明的一些实施例中，上述对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源包括：全媒体数字信息标识和特征提取，对用于描述全媒体数字信息的报文数据结构进行定义。

在本发明的一些实施例中，上述还包括：对于图像信息的特征提取图像的颜色、纹理、轮廓、形状、位置、空间特征，对于视频信息的特征提取关键帧、运动目标特征和运动摄像视频特征，对于音频信息的特征提取音频媒体特征。

在本发明的一些实施例中，上述将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群包括：全媒体应用终端中距离较近的两个数据源通过边缘计算建立连接关系，同时全媒体应用终端与服务器建立连接关系。

在本发明的一些实施例中，上述还包括：全媒体应用计算集群中边缘计算的数量根据用户访问量情况进行动态扩展。

在本发明的一些实施例中，上述利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令包括：采用多级混合的分层体系结构，传输全媒体数字信息，通过多层次传输过程达到减少累积时延的目的，实时完成数据源的传输任务。

在本发明的一些实施例中，上述还包括：全媒体数字信息与媒体应用终端展现层的连接接口为WEB网络接口。

第二方面，本申请实施例提供一种交互式的全媒体数字信息处理***，其包括特征提取模块，用于对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源；

扩展模块，用于将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群；

交互模块，用于利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令；

展示模块，用于接收到网络串口服务器接收到的交互指令并生成数字信号展示。

在本发明的一些实施例中，上述包括：用于存储计算机指令的至少一个存储器；与上述存储器通讯的至少一个处理器，其中当上述至少一个处理器执行上述计算机指令时，上述至少一个处理器使上述***执行：特征提取模块、扩展模块、交互模块及展示模块。

第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如一种交互式的全媒体数字信息处理方法中任一项的方法。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

能兼容多种全媒体信息，避免交互应用全媒体信息在传递过程中的丢失，且处理能力满足媒体应用需求，可以实现硬件的小微化，大幅降低能耗发热，从而实现装置的小型化和移动便携，便于装置部署和安装；方便各类移动媒体应用终端的访问，能够灵活扩展、实时性强地完成全媒体信息处理任务，并可根据当前的媒体规模，选择合适的分层结构，具有累积时延小，灵活性高的有益效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种交互式的全媒体数字信息处理方法步骤示意图；

图2为本发明实施例提供的一种交互式的全媒体数字信息处理方法详细步骤示意图；

图3为本发明实施例提供的一种交互式的全媒体数字信息处理***模块示意图；

图4为本发明实施例提供的一种电子设备。

图标：10-特征提取模块；20-扩展模块；30-交互模块；40-展示模块；101-存储器；102-处理器；103-通信接口。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

请参阅图1，图1为本发明实施例提供的一种交互式的全媒体数字信息处理方法步骤示意图，其如下所示：

步骤S100，对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源；

在一些实施方式中，全媒体信息的对象标识主要是通过相关工具箱的辅助，以全自动或半自动(需要用户部分干预)的方式对音频、静态图像、视频镜头等数据中包含的对象进行标识，以便针对对象进行特征提取、描述和查询。全媒体的对象标识属于局部特征处理，如果是针对全媒体数据进行整体内容检索，通常只需要提取全局特征，而不需要对象标识功能。

特征提取是指对音频、视频、图像等全媒体数据自动或半自动提取用户感兴趣的，适合检索要求的特征。特征提取可以是全局性的，如针对某幅图像或某个视频场景，也可以是局部性的(只针对某个对象)，如图像中的子区域、视频中的运动图像等。对于图像信息的特征提取主要是提取图像的颜色、纹理、轮廓、形状、位置、空间等特征。对于视频信息，是提取关键帧、运动目标特征和运动摄像视频特征。对于音频信息而言，是提取音频媒体特征。以视频信息为例，其各种不同层次检索特征的提取常需要借助一定工具来完成，需要先将原始视频分割为各个镜头外，还要检测出各种摄像机动作，包括水平/垂直扫射、变焦、跟踪、前进/后退、升降、左右移动等。进一步地，还要对前后视频片段相关的语义基元进行内容辨识等。

步骤S110，将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群；

在一些实施方式中，方便各类移动媒体应用终端的访问，克服网络布线的局限，装置部署更加灵活，更重要的是，可以通过WLAN和4G移动通信，将多个计算集群连接起来，实现无线可扩展的媒体应用计算集群，根据用户访问量情况动态扩展边缘计算处理能力

步骤S120，利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令；

在一些实施方式中，采用FPGA处理器对视频图像的灰度级及色调进行增强处理；在图像的空域增强方法中，利用直方图的变化展现图像中每个灰度级出现的概率：根据图像对应的直方图进行直方图计算，得出对应灰度级的像素个数；通过直方图均衡化方法，增强图像的对比变化。

步骤S130，接收到网络串口服务器接收到的交互指令并生成数字信号展示。

在一些实施方式中，接收的交互指令信息，对全媒体进行信息储存，并且通过数据传输输送到主控服务器，数据闪存临时储存交互指令数据，音频处理将音频指令信息通过数据传输再次输送到主控服务器，图文处理将图文指令信息通过数据传输模块再次输送到主控服务器。

实施例2

请参阅图2，图2为本发明实施例提供的一种交互式的全媒体数字信息处理方法详细步骤示意图，其如下所示：

步骤S200，全媒体数字信息标识和特征提取，对用于描述全媒体数字信息的报文数据结构进行定义。

步骤S210，对于图像信息的特征提取图像的颜色、纹理、轮廓、形状、位置、空间特征，对于视频信息的特征提取关键帧、运动目标特征和运动摄像视频特征，对于音频信息的特征提取音频媒体特征。

步骤S220，全媒体应用终端中距离较近的两个数据源通过边缘计算建立连接关系，同时全媒体应用终端与服务器建立连接关系。

步骤S230，全媒体应用计算集群中边缘计算的数量根据用户访问量情况进行动态扩展。

步骤S240，采用多级混合的分层体系结构，传输全媒体数字信息，通过多层次传输过程达到减少累积时延的目的，实时完成数据源的传输任务。

步骤S250，全媒体数字信息与媒体应用终端展现层的连接接口为WEB网络接口。

在一些实施方式中，获取教学过程中的音频与视频信息，采用多级混合的分层体系结构对其进行接收与混合；该***在接收到两个视频图像或音频流的信息时，便开始对其进行混合，在混合过程中继续接收其他的媒体信息，在较少的累积时延内完成更多的操作，实现***的实时性；当***的参与成员规模为R时，其中某一个分层结构str 1的累积时延为最佳分层体系的累积时延为AccTime(R)；混合器对媒体单元进行混合所需时间为MixTime，媒体信息在节点间传输时间为TransTime，媒体单元之间的对应项可进行比较和运算；利用该结构的实时性与灵活性，可有效完成***的网络传输任务。

实施例3

请参阅图3，图3为本发明实施例提供的一种交互式的全媒体数字信息处理***模块示意图，其如下所示：

特征提取模块10，用于对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源；

扩展模块20，用于将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群；

交互模块30，用于利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令；

展示模块40，用于接收到网络串口服务器接收到的交互指令并生成数字信号展示。

如图4所示，本申请实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。

还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是但不限于，随机存取存储器101(Random Access Memory，RAM)，只读存储器101(Read Only Memory，ROM)，可编程只读存储器101(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器101(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器101(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器102，包括中央处理器102(Central Processing Unit，CPU)、网络处理器102(Network Processor，NP)等；还可以是数字信号处理器102(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请所提供的实施例中，应该理解到，所揭露的方法及***和方法，也可以通过其它的方式实现。以上所描述的方法及***实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法及***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

另一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器101(ROM，Read-Only Memory)、随机存取存储器101(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请实施例提供的一种交互式的全媒体数字信息处理方法及***，能兼容多种全媒体信息，避免交互应用全媒体信息在传递过程中的丢失，且处理能力满足媒体应用需求，可以实现硬件的小微化，大幅降低能耗发热，从而实现装置的小型化和移动便携，便于装置部署和安装；方便各类移动媒体应用终端的访问，能够灵活扩展、实时性强地完成全媒体信息处理任务，并可根据当前的媒体规模，选择合适的分层结构，具有累积时延小，灵活性高的有益效果。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种交互式的全媒体数字信息处理方法，其特征在于，包括：

对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源；

将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群；

利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令；

接收到网络串口服务器接收到的交互指令并生成数字信号展示。

2.如权利要求1所述的一种交互式的全媒体数字信息处理方法，其特征在于，所述对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源包括：

全媒体数字信息标识和特征提取，对用于描述全媒体数字信息的报文数据结构进行定义。

3.如权利要求2所述的一种交互式的全媒体数字信息处理方法，其特征在于，还包括：

对于图像信息的特征提取图像的颜色、纹理、轮廓、形状、位置、空间特征，对于视频信息的特征提取关键帧、运动目标特征和运动摄像视频特征，对于音频信息的特征提取音频媒体特征。

4.如权利要求1所述的一种交互式的全媒体数字信息处理方法，其特征在于，所述将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群包括：

全媒体应用终端中距离较近的两个数据源通过边缘计算建立连接关系，同时全媒体应用终端与服务器建立连接关系。

5.如权利要求4所述的一种交互式的全媒体数字信息处理方法，其特征在于，还包括：

全媒体应用计算集群中边缘计算的数量根据用户访问量情况进行动态扩展。

6.如权利要求1所述的一种交互式的全媒体数字信息处理方法，其特征在于，所述利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令包括：

采用多级混合的分层体系结构，传输全媒体数字信息，通过多层次传输过程达到减少累积时延的目的，实时完成数据源的传输任务。

7.如权利要求6所述的一种交互式的全媒体数字信息处理方法，其特征在于，还包括：

全媒体数字信息与媒体应用终端展现层的连接接口为WEB网络接口。

8.一种交互式的全媒体数字信息处理***，其特征在于，包括：

特征提取模块，用于对全媒体数字信息进行特征提取，得到基于内容的全媒体数字信息检索的多层次数据源；

扩展模块，用于将多层次数据源之间建立连接关系，形成可扩展的全媒体应用计算集群；

交互模块，用于利用可编程单元阵列FPGA对计算集群并行快速处理，对全媒体数字信息进行数据显示增强处理并发送交互指令；

展示模块，用于接收到网络串口服务器接收到的交互指令并生成数字信号展示。

9.如权利要求8所述的一种交互式的全媒体数字信息处理***，其特征在于，包括：

用于存储计算机指令的至少一个存储器；

与所述存储器通讯的至少一个处理器，其中当所述至少一个处理器执行所述计算机指令时，所述至少一个处理器使所述***执行：特征提取模块、扩展模块、交互模块及展示模块。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images