CN108492347A - 图像生成方法、装置与计算机可读存储介质 - Google Patents

图像生成方法、装置与计算机可读存储介质 Download PDF

Info

Publication number
CN108492347A
CN108492347A CN201810340384.XA CN201810340384A CN108492347A CN 108492347 A CN108492347 A CN 108492347A CN 201810340384 A CN201810340384 A CN 201810340384A CN 108492347 A CN108492347 A CN 108492347A
Authority
CN
China
Prior art keywords
oscillogram
segment
design
draw
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810340384.XA
Other languages
English (en)
Other versions
CN108492347B (zh
Inventor
邓立邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Phase Intelligent Technology Co Ltd
Original Assignee
Guangdong Phase Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Phase Intelligent Technology Co Ltd filed Critical Guangdong Phase Intelligent Technology Co Ltd
Priority to CN201810340384.XA priority Critical patent/CN108492347B/zh
Publication of CN108492347A publication Critical patent/CN108492347A/zh
Application granted granted Critical
Publication of CN108492347B publication Critical patent/CN108492347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种图像生成方法、装置与计算机可读存储介质，该方法包括：提取目标音频的振幅特征和频率特征，生成波形图；采用相似度算法对波形图进行聚类分组处理，生成多个片段波形图；根据片段波形图的峰值和波长，生成片段波形图对应的绘制图案；以片段波形图对应的绘制图案的中心为原点建立坐标系，计算片段波形图对应的绘制图案的向量；根据片段波形图对应的绘制图案的向量，按照片段波形图的时间顺序将片段波形图对应的绘制图案在画布上进行叠加，生成目标音频对应的图像。通过上述方法能够将音频与图像结合，生成与音频一一对应的图像，极大地降低图像绘制的时长，满足人们对图像作品的定制性需求。

Description

图像生成方法、装置与计算机可读存储介质
技术领域
本发明涉及图像生成技术领域，具体涉及一种图像生成方法、装置与计算机可读存储介质。
背景技术
绘画艺术创作是艺术家以社会生活为源泉，经历生活积累、创作构思、艺术表达三大阶段后的创作灵感迸发结果。但是这种绘画创作方式耗时长，绘画作品只能表达艺术家的思想。而随着计算机和人工智能技术的发展，如何结合声音，让机器进行具有“人类思维”的绘画创作，降低绘画创作的时长，以满足人们对绘画作品的定制性需求成为本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种图像生成方法、装置与计算机可读存储介质，能够将音频与图像结合，生成与音频一一对应的图像，极大地降低图像绘制的时长，满足人们对图像作品的定制性需求。
本发明实施例提供了一种图像生成方法，包括：
提取目标音频的振幅特征和频率特征，生成波形图；
采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；
根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；
以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；
根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。
优选地，所述根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案之后，还包括：
将所述片段波形图中的振幅特征进行累加，获得所述片段波形图对应的音量累加值；
根据所述片段波形图对应的音量累加值以及设定比例，调整所述片段波形图对应的绘制图案的面积。
优选地，所述根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案，具体包括：
计算所述片段波形图中所有波长的总和，并生成以所述波长的总和为周长的圆；
根据所述片段波形图中波长，按照设定方向将所述片段波形图中的波的最低点映射到所述圆的圆周上，并将所述片段波形图围绕所述圆；
连接所述片段波形图的峰值点，生成所述片段波形图对应的绘制图案。
优选地，所述以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量，具体包括：
以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述绘制图案的顶角对应的坐标；
将所述绘制图案中所有顶角对应的坐标进行累加，计算所述绘制图案的向量。
优选地，所述根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像，具体包括：
以画布的中心为原点建立坐标系；
将位于第一时间顺序的所述片段波形图对应的绘制图案映射到画布上，其中，位于第一时间顺序的所述片段波形图对应的绘制图案的中心与所述画布的中心重叠；
根据位于相邻时间顺序的两个所述片段波形图对应的绘制图案的向量差，计算位于下一个时间顺序的所述片段波形图对应的绘制图案的在所述画布对应的坐标系上的位置，并将下一个时间顺序的所述片段波形图对应的绘制图案映射到所述位置上；
当位于下一个时间顺序的所述片段波形图对应的绘制图案为最后一个绘制图案时，生成所述目标音频对应的图像。
优选地，所述图像生成方法还包括：
提取所述片段波形图的音色特征；
根据预设的填充对照表，获取与所述片段波形图的音色特征对应的填充图案，并将所述填充图案填充到所述片段波形图对应的绘制图案中。
优选地，所述填充图案包括多种不同透明度的色块或多种不同的材质的纹理。
本发明实施例还提供了一种图像生成装置，包括：
第一波形图生成模块，用于提取目标音频的振幅特征和频率特征，生成波形图；
第二波形图生成模块，用于采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；
图案绘制模块，用于根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；
向量计算模块，用于以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；
图像绘制模块，用于根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。
本发明实施例还提供了一种图像生成装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的图像生成方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的图像生成方法。
相对于现有技术，本发明实施例提供的一种图像生成方法的有益效果在于：所述图像生成方法，包括：提取目标音频的振幅特征和频率特征，生成波形图；采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。通过上述方法能够将音频与图像结合，生成与音频一一对应的图像，极大地降低图像绘制的时长，满足人们对图像作品的定制性需求。本发明实施例还提供了一种图像生成装置与计算机可读存储介质。
附图说明
图1是本发明实施例提供的一种图像生成方法的流程图；
图2是本发明实施例提供的一种图像生成装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其是本发明实施例提供的一种图像生成方法的流程图，所述图像生成方法包括：
S100：提取目标音频的振幅特征和频率特征，生成波形图；
S200：采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；
S300：根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；
S400：以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；
S500：根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。
在本实施例中，所述目标音频可以是从本地数据库中提取的一个音频文件或者从互联网上传到设定的音频输入端口的音频文件。在本实施例中采用相似度算法将所述目标音频对应的波形图进行聚类，将所述波形图中相似的一段波形划分为一组，生成多个所述片段波形图；根据不同片段波形图的波长和峰值，生成不同的绘制图案，并在画布上叠加绘制图案生成所述目标音频对应的图像；上述方法能够将目标音频与图像结合，生成与目标音频对应的图像，极大地降低图像绘制的时长，满足人们对图像作品的定制性需求。
在一种可选的实施例中，在S300根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案之后，还包括：
将所述片段波形图中的振幅特征进行累加，获得所述片段波形图对应的音量累加值；
根据所述片段波形图对应的音量累加值以及设定比例，调整所述片段波形图对应的绘制图案的面积。
在本实施例中，通过叠加任意一个片段波形图中所有波的振幅，计算任意一个片段波形图对应的音量累加值，例如10db；而所述设定比例为1db＝5px；则所述任意一个片段波形图的面积大小为50px。通过本实施例，能够极大地利用目标音频的特征参数，提高所绘制的图像的丰富性。
在一种可选的实施例中，S300：根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案，具体包括：
计算所述片段波形图中所有波长的总和，并生成以所述波长的总和为周长的圆；
根据所述片段波形图中波长，按照设定方向将所述片段波形图中的波的最低点映射到所述圆的圆周上，并将所述片段波形图围绕所述圆；
连接所述片段波形图的峰值点，生成所述片段波形图对应的绘制图案。
在本实施例中，以所述片段波形图的所有波长的总和为周长画圆，并按照设定方向将所述片段波形图中的波的最低点映射到所述圆的圆周上以及将所述片段波形图围绕所述圆，此时，所述片段波形图远离所述圆；然后以直线连接所述片段波形图的峰值点，生成所述片段波形图对应的绘制图案；所述绘制图像为多边形，所述设定方向为顺时针方向或逆时针方向。通过上述方法可以生成对应所述片段波形图的唯一多边形，实现所述片段波形图向多边形图案的转换。
在一种可选的实施例中，S400：以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量，具体包括：
以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述绘制图案的顶角对应的坐标；
将所述绘制图案中所有顶角对应的坐标进行累加，计算所述绘制图案的向量。
在本实施例中，以所述片段波形图对应的绘制图案的中心为原点建立坐标系，可以计算所述绘制图案的顶角对应的坐标，例如绘制图案A的顶角坐标分别为a1(0，3.3)、a2(3.1，1)、a3(2，-2.7)、a4(-2，-2.7)、a5(-3.1，1)；绘制图案B的顶角坐标分别为b1(0，1.6)、b2(1.4，1)、b3(1.5,-0.3)、b4(0.7,-1.4)、b5(-0.7,-1.4)、b6(-1.5，-0.3)、b7(-1.4,1)；绘制图案C的顶角坐标分别为c1(1.7，2.6)、c2(3，-0.5)、c3(0.6,-2.9)、c4(-2.7,-1.5)、c5(-2,-2.4)；此时，通过加法运算分别得出绘制图案A的向量为(0,-0.1),绘制图案B的向量为(0,0.2),绘制图案C的向量为(0.6,4.7)。
在一种可选的实施例中，S500：根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像，具体包括：
以画布的中心为原点建立坐标系；
将位于第一时间顺序的所述片段波形图对应的绘制图案映射到画布上，其中，位于第一时间顺序的所述片段波形图对应的绘制图案的中心与所述画布的中心重叠；
根据位于相邻时间顺序的两个所述片段波形图对应的绘制图案的向量差，计算位于下一个时间顺序的所述片段波形图对应的绘制图案的在所述画布对应的坐标系上的位置，并将下一个时间顺序的所述片段波形图对应的绘制图案映射到所述位置上；
当位于下一个时间顺序的所述片段波形图对应的绘制图案为最后一个绘制图案时，生成所述目标音频对应的图像。
以上述绘制图案A、绘制图案B、绘制图案C为例，其中，绘制图案A位于所述波形图的第一时间顺序、绘制图案B位于所述波形图的第二时间顺序、绘制图案C所述波形图的第三时间顺序；首先将绘制图像A映射到画布的中心位置，使得绘制图像A的中心与画布的中心重叠；计算绘制图像A与绘制图像B的向量差(0-0，0.2-(-0.2))＝(0,0.3)，根据向量差(0,0.3)将绘制图像B沿向量差(0,0.3)的向量方向移动0.3的单位距离到所述画布的对应位置；计算绘制图像C与绘制图像B的向量差，绘制图像C采用与绘制图像B相同的方法移动至所述画布的对应位置。通过上述方法可以多个绘制图像移动至所述画布的不同位置，最终生成所述目标音频对应的图像。
在一种可选的实施例中，所述图像生成方法还包括：
提取所述片段波形图的音色特征；
根据预设的填充对照表，获取与所述片段波形图的音色特征对应的填充图案，并将所述填充图案填充到所述片段波形图对应的绘制图案中。
在一种可选的实施例中，所述填充图案包括多种不同透明度的色块或多种不同的材质的纹理。
在本实施例中，还可以通过对应使用不同透明度的色块或不同材质的纹理将得到的多个所述绘制图案进行填充。所述预设的填充对照表记录了各种不同透明度或不同材质纹理与不同音色的对应关系，如从细锐的高音到浑厚的低音分别对应10％-90％由低到高的透明度，而材质则对应从轻软的羽毛、丝绒、过渡到使用厚重的石材、金属纹理等。通过提取目标音频的音色特征，可以进一步提高所绘制的图像的丰富性。
请参阅图2，其是本发明实施例提供的一种图像生成装置的示意图，所述图像生成装置包括：
第一波形图生成模块1，用于提取目标音频的振幅特征和频率特征，生成波形图；
第二波形图生成模块2，用于采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；
图案绘制模块3，用于根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；
向量计算模块4，用于以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；
图像绘制模块5，用于根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。
在本实施例中，所述目标音频可以是从本地数据库中提取的一个音频文件或者从互联网上传到设定的音频输入端口的音频文件。在本实施例中采用相似度算法将所述目标音频对应的波形图进行聚类，将所述波形图中相似的一段波形划分为一组，生成多个所述片段波形图；根据不同片段波形图的波长和峰值，生成不同的绘制图案，并在画布上叠加绘制图案生成所述目标音频对应的图像；上述装置能够将目标音频与图像结合，生成与目标音频对应的图像，极大地降低图像绘制的时长，满足人们对图像作品的定制性需求。
在一种可选的实施例中，所述图像生成装置还包括：
音量计算模块，用于将所述片段波形图中的振幅特征进行累加，获得所述片段波形图对应的音量累加值；
图案面积调整模块，用于根据所述片段波形图对应的音量累加值以及设定比例，调整所述片段波形图对应的绘制图案的面积。
在本实施例中，通过叠加任意一个片段波形图中所有波的振幅，计算任意一个片段波形图对应的音量累加值，例如10db；而所述设定比例为1db＝5px；则所述任意一个片段波形图的面积大小为50px。通过本实施例，能够极大地利用目标音频的特征参数，提高所绘制的图像的丰富性。
在一种可选的实施例中，图案绘制模块3包括：
圆生成单元，用于计算所述片段波形图中所有波长的总和，并生成以所述波长的总和为周长的圆；
波形图变形单元，用于根据所述片段波形图中波长，按照设定方向将所述片段波形图中的波的最低点映射到所述圆的圆周上，并将所述片段波形图围绕所述圆；
点连线单元，用于连接所述片段波形图的峰值点，生成所述片段波形图对应的绘制图案。
在本实施例中，以所述片段波形图的所有波长的总和为周长画圆，并按照设定方向将所述片段波形图中的波的最低点映射到所述圆的圆周上以及将所述片段波形图围绕所述圆，此时，所述片段波形图远离所述圆；然后以直线连接所述片段波形图的峰值点，生成所述片段波形图对应的绘制图案；所述绘制图像为多边形，所述设定方向为顺时针方向或逆时针方向。通过上述装置可以生成对应所述片段波形图的唯一多边形，实现所述片段波形图向多边形图案的转换。
在一种可选的实施例中，向量计算模块4包括：
第一坐标计算单元，用于以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述绘制图案的顶角对应的坐标；
向量计算单元，用于将所述绘制图案中所有顶角对应的坐标进行累加，计算所述绘制图案的向量。
在本实施例中，以所述片段波形图对应的绘制图案的中心为原点建立坐标系，可以计算所述绘制图案的顶角对应的坐标，例如绘制图案A的顶角坐标分别为a1(0，3.3)、a2(3.1，1)、a3(2，-2.7)、a4(-2，-2.7)、a5(-3.1，1)；绘制图案B的顶角坐标分别为b1(0，1.6)、b2(1.4，1)、b3(1.5,-0.3)、b4(0.7,-1.4)、b5(-0.7,-1.4)、b6(-1.5，-0.3)、b7(-1.4,1)；绘制图案C的顶角坐标分别为c1(1.7，2.6)、c2(3，-0.5)、c3(0.6,-2.9)、c4(-2.7,-1.5)、c5(-2,-2.4)；此时，通过加法运算分别得出绘制图案A的向量为(0,-0.1),绘制图案B的向量为(0,0.2),绘制图案C的向量为(0.6,4.7)。
在一种可选的实施例中，图像绘制模块5包括：
画布坐标系建立单元，用于以画布的中心为原点建立坐标系；
第一映射单元，用于将位于第一时间顺序的所述片段波形图对应的绘制图案映射到画布上，其中，位于第一时间顺序的所述片段波形图对应的绘制图案的中心与所述画布的中心重叠；
第二映射单元，用于根据位于相邻时间顺序的两个所述片段波形图对应的绘制图案的向量差，计算位于下一个时间顺序的所述片段波形图对应的绘制图案的在所述画布对应的坐标系上的位置，并将下一个时间顺序的所述片段波形图对应的绘制图案映射到所述位置上；
图像生成单元，用于当位于下一个时间顺序的所述片段波形图对应的绘制图案为最后一个绘制图案时，生成所述目标音频对应的图像。
以上述绘制图案A、绘制图案B、绘制图案C为例，其中，绘制图案A位于所述波形图的第一时间顺序、绘制图案B位于所述波形图的第二时间顺序、绘制图案C所述波形图的第三时间顺序；首先将绘制图像A映射到画布的中心位置，使得绘制图像A的中心与画布的中心重叠；计算绘制图像A与绘制图像B的向量差(0-0，0.2-(-0.2))＝(0,0.3)，根据向量差(0,0.3)将绘制图像B沿向量差(0,0.3)的向量方向移动0.3的单位距离到所述画布的对应位置；计算绘制图像C与绘制图像B的向量差，绘制图像C采用与绘制图像B相同的装置移动至所述画布的对应位置。通过上述装置可以多个绘制图像移动至所述画布的不同位置，最终生成所述目标音频对应的图像。
在一种可选的实施例中，所述图像生成装置还包括：
音色提取模块，用于提取所述片段波形图的音色特征；
填充模块，用于根据预设的填充对照表，获取与所述片段波形图的音色特征对应的填充图案，并将所述填充图案填充到所述片段波形图对应的绘制图案中。
在一种可选的实施例中，所述填充图案包括多种不同透明度的色块或多种不同的材质的纹理。
在本实施例中，还可以通过对应使用不同透明度的色块或不同材质的纹理将得到的多个所述绘制图案进行填充。所述预设的填充对照表记录了各种不同透明度或不同材质纹理与不同音色的对应关系，如从细锐的高音到浑厚的低音分别对应10％-90％由低到高的透明度，而材质则对应从轻软的羽毛、丝绒、过渡到使用厚重的石材、金属纹理等。通过提取目标音频的音色特征，可以进一步提高所绘制的图像的丰富性。
本发明实施例还提供了一种图像生成装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的图像生成方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述图像生成装置中的执行过程。例如，所述计算机程序可以被分割成如图2所示的第一波形图生成模块1、第二波形图生成模块2、图案绘制模块3、向量计算模块4、图像绘制模块5，各模块具体功能如下：第一波形图生成模块1，用于提取目标音频的振幅特征和频率特征，生成波形图；第二波形图生成模块2，用于采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；图案绘制模块3，用于根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；向量计算模块4，用于以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；图像绘制模块5，用于根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。。
所述图像生成装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像生成装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是图像生成装置的示例，并不构成对图像生成装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像生成装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述图像生成装置的控制中心，利用各种接口和线路连接整个图像生成装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述图像生成装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述图像生成装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的图像生成方法。
相对于现有技术，本发明实施例提供的一种图像生成方法的有益效果在于：所述图像生成方法，包括：提取目标音频的振幅特征和频率特征，生成波形图；采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。通过上述方法能够将音频与图像结合，生成与音频一一对应的图像，极大地降低图像绘制的时长，满足人们对图像作品的定制性需求。本发明实施例还提供了一种图像生成装置与计算机可读存储介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种图像生成方法，其特征在于，包括：
提取目标音频的振幅特征和频率特征，生成波形图；
采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；
根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；
以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；
根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。
2.如权利要求1所述的图像生成方法，其特征在于，所述根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案之后，还包括：
将所述片段波形图中的振幅特征进行累加，获得所述片段波形图对应的音量累加值；
根据所述片段波形图对应的音量累加值以及设定比例，调整所述片段波形图对应的绘制图案的面积。
3.如权利要求1所述的图像生成方法，其特征在于，所述根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案，具体包括：
计算所述片段波形图中所有波长的总和，并生成以所述波长的总和为周长的圆；
根据所述片段波形图中波长，按照设定方向将所述片段波形图中的波的最低点映射到所述圆的圆周上，并将所述片段波形图围绕所述圆；
连接所述片段波形图的峰值点，生成所述片段波形图对应的绘制图案。
4.如权利要求3所述的图像生成方法，其特征在于，所述以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量，具体包括：
以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述绘制图案的顶角对应的坐标；
将所述绘制图案中所有顶角对应的坐标进行累加，计算所述绘制图案的向量。
5.如权利要求4所述的图像生成方法，其特征在于，所述根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像，具体包括：
以画布的中心为原点建立坐标系；
将位于第一时间顺序的所述片段波形图对应的绘制图案映射到画布上，其中，位于第一时间顺序的所述片段波形图对应的绘制图案的中心与所述画布的中心重叠；
根据位于相邻时间顺序的两个所述片段波形图对应的绘制图案的向量差，计算位于下一个时间顺序的所述片段波形图对应的绘制图案的在所述画布对应的坐标系上的位置，并将下一个时间顺序的所述片段波形图对应的绘制图案映射到所述位置上；
当位于下一个时间顺序的所述片段波形图对应的绘制图案为最后一个绘制图案时，生成所述目标音频对应的图像。
6.如权利要求1所述的图像生成方法，其特征在于，所述图像生成方法还包括：
提取所述片段波形图的音色特征；
根据预设的填充对照表，获取与所述片段波形图的音色特征对应的填充图案，并将所述填充图案填充到所述片段波形图对应的绘制图案中。
7.如权利要求6所述的图像生成方法，其特征在于，所述填充图案包括多种不同透明度的色块或多种不同的材质的纹理。
8.一种图像生成装置，其特征在于，包括：
第一波形图生成模块，用于提取目标音频的振幅特征和频率特征，生成波形图；
第二波形图生成模块，用于采用相似度算法对所述波形图进行聚类分组处理，生成多个片段波形图；
图案绘制模块，用于根据所述片段波形图的峰值和波长，生成所述片段波形图对应的绘制图案；
向量计算模块，用于以所述片段波形图对应的绘制图案的中心为原点建立坐标系，计算所述片段波形图对应的绘制图案的向量；
图像绘制模块，用于根据所述片段波形图对应的绘制图案的向量，按照所述片段波形图的时间顺序将所述片段波形图对应的绘制图案在画布上进行叠加，生成所述目标音频对应的图像。
9.一种图像生成装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的图像生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的图像生成方法。
CN201810340384.XA 2018-04-11 2018-04-11 图像生成方法、装置与计算机可读存储介质 Active CN108492347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810340384.XA CN108492347B (zh) 2018-04-11 2018-04-11 图像生成方法、装置与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810340384.XA CN108492347B (zh) 2018-04-11 2018-04-11 图像生成方法、装置与计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108492347A true CN108492347A (zh) 2018-09-04
CN108492347B CN108492347B (zh) 2022-02-15

Family

ID=63316057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810340384.XA Active CN108492347B (zh) 2018-04-11 2018-04-11 图像生成方法、装置与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108492347B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853675A (zh) * 2019-10-24 2020-02-28 广州大学 一种音乐联觉绘画的装置及其实现方法
CN110978881A (zh) * 2019-12-12 2020-04-10 广东智媒云图科技股份有限公司 一种基于音频文件的沙画绘制方法、装置及终端设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037181A1 (en) * 1999-10-14 2001-11-01 Masaya Matsuura Audio processing and image generating apparatus, audio processing and image generating method, recording medium and program
CN101577114A (zh) * 2009-06-18 2009-11-11 北京中星微电子有限公司 一种音频可视化实现方法及装置
CN103489454A (zh) * 2013-09-22 2014-01-01 浙江大学 基于波形形态特征聚类的语音端点检测方法
CN104167211A (zh) * 2014-08-08 2014-11-26 南京大学 基于分层事件检测和上下文模型的多源场景声音摘要方法
CN104424955A (zh) * 2013-08-29 2015-03-18 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备
US20160247520A1 (en) * 2015-02-25 2016-08-25 Kabushiki Kaisha Toshiba Electronic apparatus, method, and program
CN106504767A (zh) * 2016-10-12 2017-03-15 耿梁宸 借助声音波形的乐器调音和歌曲音高判断方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037181A1 (en) * 1999-10-14 2001-11-01 Masaya Matsuura Audio processing and image generating apparatus, audio processing and image generating method, recording medium and program
CN101577114A (zh) * 2009-06-18 2009-11-11 北京中星微电子有限公司 一种音频可视化实现方法及装置
CN104424955A (zh) * 2013-08-29 2015-03-18 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备
CN103489454A (zh) * 2013-09-22 2014-01-01 浙江大学 基于波形形态特征聚类的语音端点检测方法
CN104167211A (zh) * 2014-08-08 2014-11-26 南京大学 基于分层事件检测和上下文模型的多源场景声音摘要方法
US20160247520A1 (en) * 2015-02-25 2016-08-25 Kabushiki Kaisha Toshiba Electronic apparatus, method, and program
CN106504767A (zh) * 2016-10-12 2017-03-15 耿梁宸 借助声音波形的乐器调音和歌曲音高判断方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853675A (zh) * 2019-10-24 2020-02-28 广州大学 一种音乐联觉绘画的装置及其实现方法
CN110978881A (zh) * 2019-12-12 2020-04-10 广东智媒云图科技股份有限公司 一种基于音频文件的沙画绘制方法、装置及终端设备

Also Published As

Publication number Publication date
CN108492347B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN108898643B (zh) 图像生成方法、装置与计算机可读存储介质
CN108615253B (zh) 图像生成方法、装置与计算机可读存储介质
CN108970113B (zh) 一种碰撞检测方法、装置、设备及介质
CN107204034B (zh) 一种图像处理方法及终端
CN108961303A (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN109559366A (zh) 盆栽植物生长过程的显示方法、装置、存储介质及设备
CN108960250B (zh) 图像至旋律的转换方法、装置与计算机可读存储介质
JP7383714B2 (ja) 動物顔部の画像処理方法と装置
US20200327316A1 (en) Interactive method for generating strokes with chinese ink painting style and device thereof
CN108805171A (zh) 图像至音乐旋律的转换方法、装置与计算机可读存储介质
CN110070499A (zh) 图像处理方法、装置和计算机可读存储介质
CN111047509A (zh) 一种图像特效处理方法、装置及终端
CN111383232A (zh) 抠图方法、装置、终端设备及计算机可读存储介质
CN108492347A (zh) 图像生成方法、装置与计算机可读存储介质
CN109784301A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110570497B (zh) 基于图层叠加的绘画方法、装置、终端设备及存储介质
CN109697748A (zh) 模型压缩处理方法、模型贴图处理方法装置、存储介质
CN108986181B (zh) 基于圆点的图像处理方法、装置与计算机可读存储介质
CN110189252B (zh) 生成平均脸图像的方法和装置
CN109145688A (zh) 视频图像的处理方法及装置
CN109697083B (zh) 数据的定点化加速方法、装置、电子设备及存储介质
CN110378336A (zh) 训练样本中目标物体的语义级标注方法、装置及存储介质
CN108805095A (zh) 图片处理方法、装置、移动终端及计算机可读存储介质
CN109934896B (zh) 一种绘画方法、装置、终端设备及计算机可读存储介质
CN109191539B (zh) 基于图像的油画生成方法、装置与计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant