发明内容
本申请提出了一种用于分析图像素材的方法、装置、设备以及存储介质。
根据第一方面,本申请提供了一种用于分析图像素材的方法,方法包括:获取待分析的图像素材;基于待分析的图像素材与第一素材库中的各个图像素材的对比结果,判断第一素材库中是否存在与待分析的图像素材相似的图像素材;响应于第一素材库中不存在与待分析的图像素材相似的图像素材,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集;基于图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征的比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材;响应于第二素材库中存在与待分析的图像素材一致的图像素材,将判断结果进行反馈。
在一些实施例中,基于图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征的比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材,包括:基于特征描述标准,对图像特征集中的各个图像特征和第二素材库中的各个图像素材对应的特征进行描述,生成图像特征集对应的特征描述信息和第二素材库中的各个图像素材对应的特征描述信息,其中,图像特征包括从图像素材中截取得到的图片,特征描述标准用于表征对图像特征中的图片方向和图片尺寸进行规范;基于图像特征集对应的特征描述信息与第二素材库中的各个图像素材对应的特征描述信息的对比结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材。
在一些实施例中,方法还包括:利用哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第一图像素材哈希值并进行存储;基于第一图像素材哈希值与区块链中各个图像素材对应的哈希值的比对结果,判断区块链中是否存在与待分析的图像素材相似的图像素材。
在一些实施例中,方法还包括:利用感知哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第二图像素材哈希值并进行存储;利用汉明距离算法,基于区块链中各个图像素材,对第二图像素材哈希值进行测算;根据测算结果判断区块链中是否存在与待分析的图像素材相似的图像素材。
在一些实施例中,方法还包括:响应于第二素材库中存在与待分析的图像素材一致的图像素材,提取待分析的图像素材中的文字信息并进行存储;基于图像合规性判定规则,对文字信息进行判定,并将判定结果进行反馈。
在一些实施例中,方法还包括:响应于第一素材库中存在与待分析的图像素材相似的图像素材,将判断结果进行反馈。
在一些实施例中,方法还包括:基于反馈的结果,对待分析的图像素材进行管理。
第二方面,本申请提供了一种用于分析图像素材的装置,装置包括:获取单元,被配置成获取待分析的图像素材;图像素材对比单元,被配置成基于待分析的图像素材与第一素材库中的各个图像素材的对比结果,判断第一素材库中是否存在与待分析的图像素材相似的图像素材;特征提取单元,被配置成响应于第一素材库中不存在与待分析的图像素材相似的图像素材,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集,其中,图像特征包括具有突出特征的图片信息;特征比对单元,被配置成基于图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征的比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材;第一反馈单元,被配置成响应于第二素材库中存在与待分析的图像素材一致的图像素材,将判断结果进行反馈。
在一些实施例中,特征比对单元包括:特征描述模块,被配置成基于特征描述标准,对图像特征集中的各个图像特征和第二素材库中的各个图像素材对应的特征进行描述,生成图像特征集对应的特征描述信息和第二素材库中的各个图像素材对应的特征描述信息,其中,特征描述标准用于表征对图像特征中的图片方向和图片尺寸进行规范;图像素材判断模块,被配置成基于图像特征集对应的特征描述信息与第二素材库中的各个图像素材对应的特征描述信息的对比结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材。
在一些实施例中,装置还包括:第一哈希值求解单元,被配置成利用哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第一图像素材哈希值并进行存储;第一图像素材判断单元,被配置成基于第一图像素材哈希值与区块链中各个图像素材对应的哈希值的比对结果,判断区块链中是否存在与待分析的图像素材相似的图像素材。
在一些实施例中,装置还包括:第二哈希值求解单元,被配置成利用感知哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第二图像素材哈希值并进行存储;第二图像素材判断单元,被配置成利用汉明距离算法,基于区块链中各个图像素材,对第二图像素材哈希值进行测算;根据测算结果判断区块链中是否存在与待分析的图像素材相似的图像素材。
在一些实施例中,装置还包括:图像文字提取单元,被配置成响应于第二素材库中存在与待分析的图像素材一致的图像素材,提取待分析的图像素材中的文字信息并进行存储;图像合规判定单元,被配置成基于图像合规性判定规则,对文字信息进行判定,并将判定结果进行反馈。
在一些实施例中,装置还包括:第二反馈单元,被配置成响应于第一素材库中存在与待分析的图像素材相似的图像素材,将判断结果进行反馈。
在一些实施例中,装置还包括:图像素材管理单元,被配置成基于反馈的结果,对待分析的图像素材进行管理。
第三方面,本申请提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
第四方面,本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
根据本申请的技术采用获取待分析的图像素材,基于待分析的图像素材与第一素材库中的各个图像素材的对比结果,判断第一素材库中是否存在与待分析的图像素材相似的图像素材,响应于第一素材库中不存在与待分析的图像素材相似的图像素材,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集,基于图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征的比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材,响应于第二素材库中存在与待分析的图像素材一致的图像素材,将判断结果进行反馈,在图像素材对比过程中进一步优化算法,避免了现有技术中利用原值哈希进行对比,仅能对完全一致的图片进行判定,当侵权人将图片进行格式转换、图片压缩或图片裁切等操作后,则无法进行维权的问题,提升了图像素材的分析能力,提高了图像素材维权的准确率,同时解决了图像素材被二次修改,例如嵌入海报中或增加图片说明文字等不能被维权的问题,扩大了图像素材的保护范围。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的用于分析图像素材的方法的第一实施例的示意图100。该用于分析图像素材的方法,包括以下步骤:
步骤101,获取待分析的图像素材。
在本实施例中,用于分析图像素材的方法的执行主体可以通过有线连接方式或者无线连接方式从其他电子设备或者本地获取待分析的图像素材,其中,图片素材的获取方式可以包括:接收客户通过管理后台上传的图片素材、接收移动端通过手机软件上传的图片素材、通过网络爬虫获取互联网中的图片素材。利用移动端处理入口,方便任何人实时采集图像信息并上传至***。
步骤102,基于待分析的图像素材与第一素材库中的各个图像素材的对比结果,判断第一素材库中是否存在与待分析的图像素材相似的图像素材。
在本实施例中,上述执行主体可以将待分析的图像素材与第一素材库中的各个图像素材进行对比,查验第一素材库中是否存在相同或类似的图像素材。第一素材库可以为***中的素材库。
步骤103,响应于第一素材库中不存在与待分析的图像素材相似的图像素材,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集。
在本实施例中,当上述执行主体判定第一素材库中不存在与待分析的图像素材相似的图像素材时,对待分析的图像素材进行特征提取,找出图像素材中特征性强的内容和特征性强的图片,得到待分析的图像素材对应的图像特征集。
进一步说明,图像素材可能会发生旋转,裁剪,变形等其他侵权使用的情况,但在待分析的图像素材与第一素材库中的各个图像素材的对比过程中无法判定,即判定第一素材库中不存在与待分析的图像素材相似的图像素材,需要对图像素材进行进一步的判定。
步骤104,基于图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征的比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材。
在本实施例中,上述执行主体可以利用特征比对算法,将图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征进行比对,根据比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材。第二素材库可以为***中的维权素材库。特征比对算法可以表征对图像特征集中的各个图像特征进行边检测、角点检测、直线检测、圆检测及尺度不变特征变换的特征点检测。特征一致性的判定方法是先找出特征显著的特征点,然后再分别描述两个特征点,最后比较两个描述的的相似程度来判断是否为同一个特征。
步骤105,响应于第二素材库中存在与待分析的图像素材一致的图像素材,将判断结果进行反馈。
在本实施例中,当上述执行主体判定第二素材库中存在与待分析的图像素材一致的图像素材时,将判断结果反馈给***运维管理人员。
继续参见图2,本实施例的用于分析图像素材的方法200运行于电子设备201中。电子设备201首先获取客户端发送的待分析的图像素材202,然后电子设备201基于待分析的图像素材与第一素材库中的各个图像素材的对比结果,判断第一素材库中是否存在与待分析的图像素材相似的图像素材203,当电子设备判定第一素材库中不存在与待分析的图像素材相似的图像素材时,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集204,基于图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征的比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材205,当电子设备判定第二素材库中存在与待分析的图像素材一致的图像素材时,将判断结果反馈至***运维管理人员206。
本申请的上述实施例提供的方法,采用获取待分析的图像素材,基于待分析的图像素材与第一素材库中的各个图像素材的对比结果,判断第一素材库中是否存在与待分析的图像素材相似的图像素材,响应于第一素材库中不存在与待分析的图像素材相似的图像素材,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集,基于图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征的比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材,响应于第二素材库中存在与待分析的图像素材一致的图像素材,将判断结果进行反馈,在图像素材对比过程中进一步优化算法,避免了现有技术中利用原值哈希进行对比,仅能对完全一致的图片进行判定,当侵权人将图片进行格式转换、图片压缩或图片裁切等操作后,则无法进行维权的问题,提升了图像素材的分析能力,提高了图像素材维权的准确率,同时解决了图像素材被二次修改,例如嵌入海报中或增加图片说明文字等不能被维权的问题,扩大了图像素材的保护范围。
进一步参考图3,其示出了用于分析图像素材的方法的第二实施例的示意图300。该方法的流程包括以下步骤:
步骤301,获取待分析的图像素材。
步骤302,利用哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第一图像素材哈希值并进行存储。
在本实施例中,执行主体可以利用哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第一图像素材哈希值并进行存储。其中,存储可以包括:本地库存储、云存储、区块链存储和司法背书。
步骤303,基于第一图像素材哈希值与区块链中各个图像素材对应的哈希值的比对结果,判断区块链中是否存在与待分析的图像素材相似的图像素材。
在本实施例中,执行主体可以将计算得到的第一图像素材哈希值与区块链中各个图像素材对应的哈希值进行比对,基于比对的结果,判断区块链中是否存在与待分析的图像素材相似的图像素材。
在本实施例的一些可选的实现方式中,方法还可以包括:利用感知哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第二图像素材哈希值并进行存储;利用汉明距离算法,基于区块链中各个图像素材,对第二图像素材哈希值进行测算;根据测算结果判断区块链中是否存在与待分析的图像素材相似的图像素材。实现一种新的图像素材是否相似的判定方法。
步骤304,响应于第一素材库中不存在与待分析的图像素材相似的图像素材,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集。
在本实施例的一些可选的实现方式中,方法还包括:响应于第一素材库中存在与待分析的图像素材相似的图像素材,将判断结果进行反馈。通过该判断过程,避免相似图像素材再次进行特征提取及判定的过程,降低了***负担,同时提升了***效率。
步骤305,基于特征描述标准,对图像特征集中的各个图像特征和第二素材库中的各个图像素材对应的特征进行描述,生成图像特征集对应的特征描述信息和第二素材库中的各个图像素材对应的特征描述信息。
在本实施例中,执行主体可以基于特征描述标准,对图像特征集中的各个图像特征和第二素材库中的各个图像素材对应的特征进行描述,生成图像特征集对应的特征描述信息和第二素材库中的各个图像素材对应的特征描述信息,其中,图像特征包括从图像素材中截取得到的图片,特征描述标准用于表征对图像特征中的图片方向和图片尺寸进行规范。
具体说明,描述一个特征其实就是描述特征与它周围内容的相互关系。为了能够更好的匹配特征,通过描述特征使得图像特征集对应的特征描述信息与第二素材库中的各个图像素材对应的特征描述信息相近或相同,即两个特征表示为同一个特征是可信的(即特征相似度概率高),因此描述必须是有代表性的,具有排他性的。
进一步说明,特征相同即特征不变性,常见表述方式就是旋转不变性和尺度不变性,还有一些具有仿射不变性的特征。旋转不变性,只要对特征定义方向,然后在同一个方向上进行特征描述就可以实现旋转不变性。尺度不变性的实现需要给特征加上尺度因子,在进行描述的时候,将尺度统一就可以实现尺度不变性。旋转不变性和尺度不变性的原理,就是我们在描述一个特征之前,将两张图像素材变换到同一个方向和同一个尺度上,然后再在这个统一标准上来描述特征。
步骤306,基于图像特征集对应的特征描述信息与第二素材库中的各个图像素材对应的特征描述信息的对比结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材。
在本实施例中,执行主体可以将图像特征集对应的特征描述信息与第二素材库中的各个图像素材对应的特征描述信息进行对比,基于对比结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材。如果描述非常的相似或者相同,那么就可以判断为两个特征是同一特征。
步骤307,响应于第二素材库中存在与待分析的图像素材一致的图像素材,将判断结果进行反馈。
在本实施例的一些可选的实现方式中,方法还包括:响应于第二素材库中存在与待分析的图像素材一致的图像素材,利用光学字符识别技术,提取待分析的图像素材中的文字信息并进行存储;基于图像合规性判定规则,对文字信息进行判定,并将判定结果进行反馈。通过光学字符识别(OCR)算法进行图像上文字信息的提取及判定,对图像素材涉密、涉敏、涉黄、涉恐等进行判断定,进一步对图像素材进行维权辅助信息定位。
在本实施例的一些可选的实现方式中,方法还包括:基于反馈的结果,对待分析的图像素材进行管理。在管理人员收到图像素材一致的反馈信息后,将会发起维权取证,此时将会整合涉及维权作品的关键信息、侵权信息、存证区块链交易信息、司法区块链交易信息等进行电子证据整理、提取、同步***、以及司法机构等。
在本实施例中,步骤301、304和307的具体操作与图1所示的实施例中的步骤101、103和105的操作基本相同,在此不再赘述。
从图3中可以看出,与图1对应的实施例相比,本实施例中的用于分析图像素材的方法的示意图300采用利用哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第一图像素材哈希值并进行存储,基于第一图像素材哈希值与区块链中各个图像素材对应的哈希值的比对结果,判断区块链中是否存在与待分析的图像素材相似的图像素材,响应于第一素材库中不存在与待分析的图像素材相似的图像素材,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集,基于特征描述标准,对图像特征集中的各个图像特征和第二素材库中的各个图像素材对应的特征进行描述,生成图像特征集对应的特征描述信息和第二素材库中的各个图像素材对应的特征描述信息,其中,特征描述标准用于表征对图像特征中的图片方向和图片尺寸进行规范,基于图像特征集对应的特征描述信息与第二素材库中的各个图像素材对应的特征描述信息的对比结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材,在图像素材对比上进一步优化算法,利用图像特征提取及特征描述,对维权图像素材中的旋转图像、截图、文字图像,角度拍摄造成的变形图像等特殊侵权图像进行筛查,解决了现有技术中无法对图片中的部分旋转图片或部分剪裁图片进行维权的问题,提高了图像素材的分析能力;通过区块链构建去中心化的库图像存储方案,确保现有多媒体原始上传信息及时被存储,解决不被信任、内容容易被篡改等问题,并同时提供司法背书。
进一步参考图4,作为对上述图1所示方法的实现,本申请提供了一种用于分析图像素材的装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的用于分析图像素材的装置400包括:获取单元401、图像素材对比单元402、特征提取单元403、特征比对单元404和第一反馈单元405。获取单元,被配置成获取待分析的图像素材;图像素材对比单元,被配置成基于待分析的图像素材与第一素材库中的各个图像素材的对比结果,判断第一素材库中是否存在与待分析的图像素材相似的图像素材;特征提取单元,被配置成响应于第一素材库中不存在与待分析的图像素材相似的图像素材,对待分析的图像素材进行特征提取,得到待分析的图像素材对应的图像特征集,其中,图像特征包括具有突出特征的图片信息;特征比对单元,被配置成基于图像特征集中的各个图像特征与第二素材库中的各个图像素材对应特征的比对结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材;第一反馈单元,被配置成响应于第二素材库中存在与待分析的图像素材一致的图像素材,将判断结果进行反馈。
在本实施例中,用于分析图像素材的装置400的获取单元401、图像素材对比单元402、特征提取单元403、特征比对单元404和第一反馈单元405的具体处理及其所带来的技术效果可分别参考图1对应的实施例中的步骤101到步骤105的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,特征比对单元包括:特征描述模块,被配置成基于特征描述标准,对图像特征集中的各个图像特征和第二素材库中的各个图像素材对应的特征进行描述,生成图像特征集对应的特征描述信息和第二素材库中的各个图像素材对应的特征描述信息,其中,特征描述标准用于表征对图像特征中的图片方向和图片尺寸进行规范;图像素材判断模块,被配置成基于图像特征集对应的特征描述信息与第二素材库中的各个图像素材对应的特征描述信息的对比结果,判断第二素材库中是否存在与待分析的图像素材一致的图像素材。
在本实施例的一些可选的实现方式中,装置还包括:第一哈希值求解单元,被配置成利用哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第一图像素材哈希值并进行存储;第一图像素材判断单元,被配置成基于第一图像素材哈希值与区块链中各个图像素材对应的哈希值的比对结果,判断区块链中是否存在与待分析的图像素材相似的图像素材。
在本实施例的一些可选的实现方式中,装置还包括:第二哈希值求解单元,被配置成利用感知哈希算法,对待分析的图像素材进行求解,得到待分析的图像素材对应的第二图像素材哈希值并进行存储;第二图像素材判断单元,被配置成利用汉明距离算法,基于区块链中各个图像素材,对第二图像素材哈希值进行测算;根据测算结果判断区块链中是否存在与待分析的图像素材相似的图像素材。
在本实施例的一些可选的实现方式中,装置还包括:图像文字提取单元,被配置成响应于第二素材库中存在与待分析的图像素材一致的图像素材,提取待分析的图像素材中的文字信息并进行存储;图像合规判定单元,被配置成基于图像合规性判定规则,对文字信息进行判定,并将判定结果进行反馈。
在本实施例的一些可选的实现方式中,装置还包括:第二反馈单元,被配置成响应于第一素材库中存在与待分析的图像素材相似的图像素材,将判断结果进行反馈。
在本实施例的一些可选的实现方式中,装置还包括:图像素材管理单元,被配置成基于反馈的结果,对待分析的图像素材进行管理。
如图5所示,是根据本申请实施例的用于分析图像素材的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的用于分析图像素材的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的用于分析图像素材的方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的用于分析图像素材的方法对应的程序指令/模块(例如,附图4所示的获取单元401、图像素材对比单元402、特征提取单元403、特征比对单元404和第一反馈单元405)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的用于分析图像素材的方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据用于分析图像素材的电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至用于分析图像素材的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于分析图像素材的方法的电子设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息,以及产生与用于分析图像素材的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过获取训练样本集,其中,训练样本集中的训练样本包括语音信息、与每条语音信息对应的拼音信息和拼音信息的类别信息,拼音信息通过对每条语音信息进行标注而得到,利用机器学习算法,将训练样本集中的训练样本包括的语音信息和与每条语音信息对应的拼音信息作为输入数据,将拼音信息的类别信息作为输出数据,训练得到拼音类别确定模型,其中,拼音类别确定模型包括语音特征提取子模型、拼音特征提取子模型和拼音类别确定子模型,语音特征提取子模型用于确定语音信息中的语音特征,拼音特征提取子模型用于确定拼音信息中的拼音特征,拼音类别确定子模型用于基于语音特征提取子模型确定的语音特征和拼音特征提取子模型确定的拼音特征确定拼音信息的类别,采用拼音信息替代现有的汉字信息作为建模单元,将最终需要识别的语音信息中的同音字类别进行了合并,避免了现有用汉字信息进行语音识别而造成同音字识别混淆的问题,提高了模型对同音字的识别效果,并提高了语音识别结果的准确率,由于合并了语音信息中的同音字类别,使输出的拼音类别数量大幅减小,降低了模型的训练难度,提高了模型对近音字的区分度,从而提高了模型性能。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。