CN108960250A - 图像至旋律的转换方法、装置与计算机可读存储介质 - Google Patents

图像至旋律的转换方法、装置与计算机可读存储介质 Download PDF

Info

Publication number
CN108960250A
CN108960250A CN201810427683.7A CN201810427683A CN108960250A CN 108960250 A CN108960250 A CN 108960250A CN 201810427683 A CN201810427683 A CN 201810427683A CN 108960250 A CN108960250 A CN 108960250A
Authority
CN
China
Prior art keywords
image
point
color
articulation
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810427683.7A
Other languages
English (en)
Other versions
CN108960250B (zh
Inventor
邓立邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Phase Intelligent Technology Co Ltd
Original Assignee
Guangdong Phase Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Phase Intelligent Technology Co Ltd filed Critical Guangdong Phase Intelligent Technology Co Ltd
Priority to CN201810427683.7A priority Critical patent/CN108960250B/zh
Publication of CN108960250A publication Critical patent/CN108960250A/zh
Application granted granted Critical
Publication of CN108960250B publication Critical patent/CN108960250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/145—Composing rules, e.g. harmonic or musical rules, for use in automatic composition; Rule generation algorithms therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Auxiliary Devices For Music (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种图像至旋律的转换方法、装置与计算机可读存储介质，该方法包括：获取目标图像中各像素点的HSB值并进行颜色聚类处理，获得目标图像对应的颜色聚类图像；对颜色聚类图像中的各色块进行归一化处理，获得目标图像对应的发音点图像并映射到预先建立的网格中，建立发音点图像中各发音点与网格中各音阶的映射关系；根据映射关系，沿网格的设定方向提取发音点图像中发音点对应的音阶，并采用通过颜色聚类图像确定的演奏乐器对应的虚拟乐器将发音点图像中发音点对应的音阶转换为音频，生成目标图像对应的旋律。通过上述方法能够将目标图像转换为一段特定的旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。

Description

图像至旋律的转换方法、装置与计算机可读存储介质
技术领域
本发明涉及图像及音乐处理技术领域，具体涉及一种图像至旋律的转换方法、装置与计算机可读存储介质。
背景技术
音乐是人类情感的一种表现形式，而旋律是构成音乐的最基本要素，音乐艺术家通过创作旋律，来完成音乐创作。随着数字音乐和计算机相关技术的不断发展，越来越多的人想利用计算机技术自动创作音乐满足个性化需求，例如为一段拍摄的视频配一段独特的背景音乐，为一组照片配一段浏览时的旋律、为手机设置独个性化一无二的来电铃声等，然而，对于一般人来说创作属于自己的美妙旋律及音乐是非常困难的，而且，目前音乐创作需要专用的计算机设备和***，成本高、耗时且操作复杂，尤其对普通用户来说学习成本非常高，不容易上手使用。
发明内容
本发明的目的是提供一种图像至旋律的转换方法、装置与计算机可读存储介质，能够将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。
本发明实施例提供了一种图像至旋律的转换方法，包括：
获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
根据所述颜色聚类图像，提取所述目标图像的主色调；
根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型；
根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
优选地，所述图像至旋律的转换方法还包括：
采集多个演奏乐器的音乐作品对应的封面图像；
提取任意一个所述封面图像中各像素点的HSB值，并根据所述HSB值对任意一个所述封面图像的各像素点进行颜色聚类处理，获得任意一个所述封面图像对应的模板颜色聚类图像，共获得N个模板颜色聚类图像；
计算所述模板颜色聚类图像中各色块的面积占比，获得所述模板颜色聚类图像对应的主色调和主色调面积占比，作为所述模板颜色聚类图像的颜色分布；
对N个所述模板颜色聚类图像的颜色分布以及所述模板颜色聚类图像对应的演奏乐器进行统计分析，建立所述模板颜色聚类图像的颜色分布与所述模板颜色聚类图像对应的演奏乐器的映射关系，生成所述色调乐器对照表。
优选地，所述根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型，具体包括：
计算所述目标图像对应的颜色聚类图像中各色块的面积占比，获得所述目标图像的主色调对应的主色调面积占比；
将所述目标图像的主色调以及主色调面积占比与所述色调乐器对照表中的多个颜色分布比进行比较，确定所述色调乐器对照表中与所述目标图像的主色调以及主色调面积占比的差值最小的颜色分布对应的演奏乐器，作为所述颜色聚类图像中主色调对应的演奏乐器的类型；
根据所述目标图像的主色调以及所述主色调面积占比，确定所述颜色聚类图像中各色块对应的演奏乐器的音量占比。
优选地，所述获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像，具体包括：
获取目标图像中各像素点的HSB值；
根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；
计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；
当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。
优选地，所述对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像，具体包括：
获取所述颜色聚类图像中面积最小的色块，并将所述面积最小的色块设置为一个发音点；
将所述颜色聚类图像中的其他色块调整为所述发音点的整数倍；
根据所述颜色聚类图像中各色块对应的发音点，生成所述发音点图像。
优选地，所述将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系，具体包括：
根据所述发音点的面积以及预设比例，设置方格面积并建立所述网格；其中，所述网格的每一行对应一个音阶，所述网格的每一列对应一个时间点；
将所述发音点图像中各发音点映射到所述网格中；
当发音点分布在所述网格的网格线上时，分别计算所述发音点在相接于所述网格线的相邻方格中的面积占比，并将所述发音点分配到所述发音点在相邻方格中面积占比较大的一个方格中；
根据所述发音点图像中各发音点在所述网格中的位置以及所述网格中每行对应的音阶，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系。
优选地，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律，具体包括：
所述设定方向为所述网格每列对应的时间点形成的时间轴方向；
根据所述映射关系，按照所述网格对应的时间轴方向提取所述发音点图像中发音点对应的音阶；
当多个发音点位于所述网格中的任意一行相邻的方格中时，将所述多个发音点调整为所述任意一行对应的音阶的长音；
按照所述时间轴方向，提取所述反应点图像中发音点对应的时间点；
根据所述发音点图像中发音点对应的音阶以及时间点，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
优选地，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律，之后还包括：
调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并采用所述虚拟乐器重新生成所述目标图像对应的旋律，共获得所述目标图像对应的N首旋律；
分别将所述目标图像对应的N首旋律转换为波形图，共获得N个波形图；
分计算任意一个所述波形图与预存在波形图模板数据库中的多个模板波形图的相似度，并提取任意一个所述波形图相对于所述多个模板波形图的相似度的最大值，作为任意一个所述波形图的参考值；
从所述N个波形图中提取最大参考值对应的波形图；
提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律。
本发明实施例还提供了一种图像至旋律的转换装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像至旋律的转换方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的图像至旋律的转换方法。
相对于现有技术，本发明实施例提供的一种图像至旋律的转换方法的有益效果在于：所述图像至旋律的转换方法，包括：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；根据所述颜色聚类图像，提取所述目标图像的主色调；根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型；根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。通过上述方法能够将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。本发明实施例还提供了一种图像至旋律的转换装置与计算机可读存储介质。
附图说明
图1是本发明实施例提供的一种图像至旋律的转换方法的流程图；
图2是本发明实施例提供的一种图像至旋律的转换装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其是本发明实施例提供的一种图像至旋律的转换方法的流程图，所述图像至旋律的转换方法包括：
S100：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
S200：对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
S300：将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
S400：根据所述颜色聚类图像，提取所述目标图像的主色调；
S500：根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型；
S600：根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
在本实施例中，通过对目标图像进行颜色聚类、归一化处理后，获得发音点图像，并将该发音点图像映射到预设的网格中，建立发音点与音阶的映射关系，然后根据颜色类聚图像中的主色调确定演奏乐器的类型；通过该映射关系采用与所述演奏乐器的类型对应的虚拟乐器按照网格的时间轴方向可以将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，同时降低音乐制作的难度，满足人们对音乐旋律的定制性需求，从而使得上述方法在个性化***、电子相册背景音乐、屏幕保护背景音乐、影视作品配乐等方面具有广泛的应用前景。
其中，步骤S400：根据所述颜色聚类图像，提取所述目标图像的主色调，具体是：采用聚类算法将颜色聚类图像进行颜色聚类，具体为将主色调分块，通过不断将相邻的HSB值色差接近的点取平均值聚合为同一色块，将目标图像处理成各种主色调的色块组合，如三角形、圆形、矩形等图形组合，得到目标图像的主色调的色块组合。提取出各个色块的颜色值即为目标图像的主色调，并分别计算各色块在目标图像中的面积占比。进一步地，将所述颜色聚类图像中色块的面积占比大于设定阈值的色块确定为所述目标图像的主色调。
在一种可选的实施例中，所述图像至旋律的转换方法还包括：
采集多个演奏乐器的音乐作品对应的封面图像；
提取任意一个所述封面图像中各像素点的HSB值，并根据所述HSB值对任意一个所述封面图像的各像素点进行颜色聚类处理，获得任意一个所述封面图像对应的模板颜色聚类图像，共获得N个模板颜色聚类图像；
计算所述模板颜色聚类图像中各色块的面积占比，获得所述模板颜色聚类图像对应的主色调和主色调面积占比，作为所述模板颜色聚类图像的颜色分布；
对N个所述模板颜色聚类图像的颜色分布以及所述模板颜色聚类图像对应的演奏乐器进行统计分析，建立所述模板颜色聚类图像的颜色分布与所述模板颜色聚类图像对应的演奏乐器的映射关系，生成所述色调乐器对照表。
在本实施例中，通过采集大量的演奏乐器的音乐作品(例如CD、DVD、数字音源等音乐作品)对应的封面图像，提取所述封面图像的HSB值，不断将所述封面图像中相邻的HSB值色差接近的点取平均值聚合，分别对采集的封面图像进行颜色聚类，将封面图像处理成不同色块组合区域，提取各个色块的颜色值并计算各色块在封面图像中的面积占比，得到封面图像的主色调及面积占比。通过统计学规律分析，得出不同演奏乐器与封面图像的主色调和面积占比的规律，得到大量的演奏乐器对应封面图像的主色调、各主色调面积占比的统计数据，即所述封面图像的颜色分布。
在一种可选的实施例中，S500：根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型，具体包括：
计算所述目标图像对应的颜色聚类图像中各色块的面积占比，获得所述目标图像的主色调对应的主色调面积占比；
将所述目标图像的主色调以及主色调面积占比与所述色调乐器对照表中的多个颜色分布比进行比较，确定所述色调乐器对照表中与所述目标图像的主色调以及主色调面积占比的差值最小的颜色分布对应的演奏乐器，作为所述颜色聚类图像中主色调对应的演奏乐器的类型；
根据所述目标图像的主色调以及所述主色调面积占比，确定所述颜色聚类图像中各色块对应的演奏乐器的音量占比。
在本实施例中，具体地，提取用于生成音乐旋律的目标图像的主色调，根据目标图像的主色调和该主色调在目标图像中的面积占比确定对应的演奏乐器的类型及其演奏时的音量。因为每个图片的色彩分布情况不同，有的表达的内容多、颜色分布比较丰富，有的表达的内容少、色彩分布比较单一，因此设定一个阀值来确定目标图像的主色调的数量，并根据各主色调的面积占比来确定单独或组合使用演奏乐器。将得到的目标图像的主色调和主色调面积占比，比对预先统计并存储在服务器的各种演奏乐器与颜色分布的对应关系数据，即所述色调乐器对照表，查找出与目标图像主色调组合最接近的颜色分布所对应的演奏乐器，得到待生成旋律的演奏乐器组合方式。例如，所述目标图像的包括M种主色调，根据这M种主色调以及这M种主色调对应的主色调面积占比，可以确定对应的M种演奏乐器，并采用这M种演奏乐器来合并生成旋律。
例如，当目标图像中某一色块的面积占比达到80％以上时，使用单一乐器演奏。又例如，当目标图像对应的主色调和主色调分布占比为：天空部分的蓝色40％、雪山山脉部分的紫灰色30％、枯草坡部分橙色20％和树石部分的墨绿色10％，根据所述色调乐器对照表可以得知各种演奏乐器与颜色分布的映射关系，从而得到目标图像中各主色调对应的演奏乐器类型，此时，同时使用40％、30％、20％、10％主色调对应的演奏乐器对网格中标记的音阶进行合奏，相应的音量上也根据主色调面积占比进行音量大小的分配。
在一种可选的实施例中，S100：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像，具体包括：
获取目标图像中各像素点的HSB值；
根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；
计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；
当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。
在本实施例中，所述第一阈值的范围为60度至130度之间，优选地，所述第一阈值为60度。所述第二阈值为15度。例如当所述目标图像中两个像素点的色相距离超过60度时，判定为颜色突变区域。查找出颜色突变区域后，不断分析目标图像中相邻的像素点，把HSB值接近的相邻像素点取平均值聚合为一个色块，例如相邻像素点A、B的HSB值分别为：A点的HSB值为H42°、S43％、B21％，B点的HSB值为H38°、S42％、B25％，由于两个点的H值为A42°、B38°，色相距离在15度以内，将像素点A和像素点B的色相值取平均值后聚合为一个色相值为H40°的色块，重复选取不同的相邻的像素点的HSB值进行分析求色相平均值，直至将相邻的HSB值色差接近的像素点取色相平均值聚合，最后将目标图像处理成多个个不同色块，生成所述颜色聚类图像。
在一种可选的实施例中，S200：对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像，具体包括：
获取所述颜色聚类图像中面积最小的色块，并将所述面积最小的色块设置为一个发音点；
将所述颜色聚类图像中的其他色块调整为所述发音点的整数倍；
根据所述颜色聚类图像中各色块对应的发音点，生成所述发音点图像。
在一种可选的实施例中，S300：将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系，具体包括：
根据所述发音点的面积以及预设比例，设置方格面积并建立所述网格；其中，所述网格的每一行对应一个音阶，所述网格的每一列对应一个时间点；
将所述发音点图像中各发音点映射到所述网格中；
当发音点分布在所述网格的网格线上时，分别计算所述发音点在相接于所述网格线的相邻方格中的面积占比，并将所述发音点分配到所述发音点在相邻方格中面积占比较大的一个方格中；
根据所述发音点图像中各发音点在所述网格中的位置以及所述网格中每行对应的音阶，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系。
在一种可选的实施例中，S400：根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律，具体包括：
所述设定方向为所述网格每列对应的时间点形成的时间轴方向；
根据所述映射关系，按照所述网格对应的时间轴方向提取所述发音点图像中发音点对应的音阶；
当多个发音点位于所述网格中的任意一行相邻的方格中时，将所述多个发音点调整为所述任意一行对应的音阶的长音；
按照所述时间轴方向，提取所述反应点图像中发音点对应的时间点；
根据所述发音点图像中发音点对应的音阶以及时间点，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
在一种可选的实施例中，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律，之后还包括：
调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并采用所述虚拟乐器重新生成所述目标图像对应的旋律，共获得所述目标图像对应的N首旋律；
分别将所述目标图像对应的N首旋律转换为波形图，共获得N个波形图；
分计算任意一个所述波形图与预存在波形图模板数据库中的多个模板波形图的相似度，并提取任意一个所述波形图相对于所述多个模板波形图的相似度的最大值，作为任意一个所述波形图的参考值；
从所述N个波形图中提取最大参考值对应的波形图；
提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律。
在本实施例中，可以调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并重新生成所述目标图像对应的旋律，从而使得根据网格生成多个旋律。每种音乐风格都有独特的音阶组合，根据这些独特的音阶组合中的音阶所创作出来的旋律就一定会具有该民族音乐的特色，因此，根据创作风格的需要设置所述网格中每行的音阶，从而使创作的旋律具有特定的音乐风格。例如，中国五声音阶，包含的音为：123561；日本六声音阶，包含的音为：6712346；罗马尼亚小调音阶，包含的音为：671#234#56。通过改变网格中每行的音阶组合，可以创造出不同的风格的音乐旋律。由此，可以得到所述目标图像对应的N首旋律，然后将N首旋律转换为波形图并与多个模板波形图进行匹配，提取每个所述波形图相对于所述多个模板波形图的相似度的最大值，作为每个所述波形图的参考值，即得到每个波形图分别对应一个参考值；对比每个波形图的参考值的大小，得出最大参考值对应的波形图，并提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律，通过上述方法可以对生成的N首旋律进行有效的筛选，从而得出最接近现有音乐旋律创造风格的旋律，提高旋律创作的质量。
请参阅图2，其是本发明实施例提供的一种图像至旋律的转换装置的示意图，所述图像至旋律的转换装置包括：
颜色聚类模块1，用于获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
归一处理模块2，用于对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
映射关系建立模块3，用于将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
主色调提取模块4，用于根据所述颜色聚类图像，提取所述目标图像的主色调；
乐器类型确定模块5，用于根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型；
第一旋律生成模块6，用于根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
在本实施例中，通过对目标图像进行颜色聚类、归一化处理后，获得发音点图像，并将该发音点图像映射到预设的网格中，建立发音点与音阶的映射关系，通过该映射关系按照网格的时间轴方向可以将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，同时降低音乐制作的难度，满足人们对音乐旋律的定制性需求，从而使得上述装置在个性化***、电子相册背景音乐、屏幕保护背景音乐、影视作品配乐等方面具有广泛的应用前景。
其中，所述主色调提取模块4主要用于根据所述颜色聚类图像，提取所述目标图像的主色调，具体是：采用聚类算法将颜色聚类图像进行颜色聚类，具体为将主色调分块，通过不断将相邻的HSB值色差接近的点取平均值聚合为同一色块，将目标图像处理成各种主色调的色块组合，如三角形、圆形、矩形等图形组合，得到目标图像的主色调的色块组合。提取出各个色块的颜色值即为目标图像的主色调，并分别计算各色块在目标图像中的面积占比。进一步地，将所述颜色聚类图像中色块的面积占比大于设定阈值的色块确定为所述目标图像的主色调。
在一种可选的实施例中，所述图像至旋律的转换装置还包括：
封面图像采集模块，用于采集多个演奏乐器的音乐作品对应的封面图像；
模板聚类图像生成模块，用于提取任意一个所述封面图像中各像素点的HSB值，并根据所述HSB值对任意一个所述封面图像的各像素点进行颜色聚类处理，获得任意一个所述封面图像对应的模板颜色聚类图像，共获得N个模板颜色聚类图像；
颜色分布计算模块，用于计算所述模板颜色聚类图像中各色块的面积占比，获得所述模板颜色聚类图像对应的主色调和主色调面积占比，作为所述模板颜色聚类图像的颜色分布；
色调乐器对照表生成模块，用于对N个所述模板颜色聚类图像的颜色分布以及所述模板颜色聚类图像对应的演奏乐器进行统计分析，建立所述模板颜色聚类图像的颜色分布与所述模板颜色聚类图像对应的演奏乐器的映射关系，生成所述色调乐器对照表。
在本实施例中，通过采集大量的演奏乐器的音乐作品(例如CD、DVD、数字音源等音乐作品)对应的封面图像，提取所述封面图像的HSB值，不断将所述封面图像中相邻的HSB值色差接近的点取平均值聚合，分别对采集的封面图像进行颜色聚类，将封面图像处理成不同色块组合区域，提取各个色块的颜色值并计算各色块在封面图像中的面积占比，得到封面图像的主色调及面积占比。通过统计学规律分析，得出不同演奏乐器与封面图像的主色调和面积占比的规律，得到大量的演奏乐器对应封面图像的主色调、各主色调面积占比的统计数据，即所述封面图像的颜色分布。
在一种可选的实施例中，所述乐器类型确定模块5包括：
面积占比计算单元，用于计算所述目标图像对应的颜色聚类图像中各色块的面积占比，获得所述目标图像的主色调对应的主色调面积占比；
面积占比比较单元，用于将所述目标图像的主色调以及主色调面积占比与所述色调乐器对照表中的多个颜色分布比进行比较，确定所述色调乐器对照表中与所述目标图像的主色调以及主色调面积占比的差值最小的颜色分布对应的演奏乐器，作为所述颜色聚类图像中主色调对应的演奏乐器的类型；
音量分配单元，用于根据所述目标图像的主色调以及所述主色调面积占比，确定所述颜色聚类图像中各色块对应的演奏乐器的音量占比。
在本实施例中，具体地，提取用于生成音乐旋律的目标图像的主色调，根据目标图像的主色调和该主色调在目标图像中的面积占比确定对应的演奏乐器的类型及其演奏时的音量。因为每个图片的色彩分布情况不同，有的表达的内容多、颜色分布比较丰富，有的表达的内容少、色彩分布比较单一，因此设定一个阀值来确定目标图像的主色调的数量，并根据各主色调的面积占比来确定单独或组合使用演奏乐器。将得到的目标图像的主色调和主色调面积占比，比对预先统计并存储在服务器的各种演奏乐器与颜色分布的对应关系数据，即所述色调乐器对照表，查找出与目标图像主色调组合最接近的颜色分布所对应的演奏乐器，得到待生成旋律的演奏乐器组合方式。例如，所述目标图像的包括M种主色调，根据这M种主色调以及这M种主色调对应的主色调面积占比，可以确定对应的M种演奏乐器，并采用这M种演奏乐器来合并生成旋律。
例如，当目标图像中某一色块的面积占比达到80％以上时，使用单一乐器演奏。又例如，当目标图像对应的主色调和主色调分布占比为：天空部分的蓝色40％、雪山山脉部分的紫灰色30％、枯草坡部分橙色20％和树石部分的墨绿色10％，根据所述色调乐器对照表可以得知各种演奏乐器与颜色分布的映射关系，从而得到目标图像中各主色调对应的演奏乐器类型，此时，同时使用40％、30％、20％、10％主色调对应的演奏乐器对网格中标记的音阶进行合奏，相应的音量上也根据主色调面积占比进行音量大小的分配。
在一种可选的实施例中，颜色聚类模块1包括：HSB值获取单元、颜色突变获取单元、色块聚合单元、颜色聚类图像生成单元；
所述HSB值获取单元，用于获取目标图像中各像素点的HSB值；
所述颜色突变获取单元，用于根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；
所述色块聚合单元，用于计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；
所述颜色聚类图像生成单元，用于当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。
在本实施例中，所述第一阈值的范围为60度至130度之间，优选地，所述第一阈值为60度。所述第二阈值为15度。例如当所述目标图像中两个像素点的色相距离超过60度时，判定为颜色突变区域。查找出颜色突变区域后，不断分析目标图像中相邻的像素点，把HSB值接近的相邻像素点取平均值聚合为一个色块，例如相邻像素点A、B的HSB值分别为：A点的HSB值为H42°、S43％、B21％，B点的HSB值为H38°、S42％、B25％，由于两个点的H值为A42°、B38°，色相距离在15度以内，将像素点A和像素点B的色相值取平均值后聚合为一个色相值为H40°的色块，重复选取不同的相邻的像素点的HSB值进行分析求色相平均值，直至将相邻的HSB值色差接近的像素点取色相平均值聚合，最后将目标图像处理成多个个不同色块，生成所述颜色聚类图像。
在一种可选的实施例中，归一处理模块2包括：发音点设置单元、发音点调整单元、发音点图像生成单元；
所述发音点设置单元，用于获取所述颜色聚类图像中面积最小的色块，并将所述面积最小的色块设置为一个发音点；
所述发音点调整单元，用于将所述颜色聚类图像中的其他色块调整为所述发音点的整数倍；
所述发音点图像生成单元，用于根据所述颜色聚类图像中各色块对应的发音点，生成所述发音点图像。
在一种可选的实施例中，映射关系建立模块3包括：网格建立单元、映射单元、发音点分配单元、映射关系建立单元；
所述网格建立单元，用于根据所述发音点的面积以及预设比例，设置方格面积并建立所述网格；其中，所述网格的每一行对应一个音阶，所述网格的每一列对应一个时间点；
所述映射单元，用于将所述发音点图像中各发音点映射到所述网格中；
所述发音点分配单元，用于当发音点分布在所述网格的网格线上时，分别计算所述发音点在相接于所述网格线的相邻方格中的面积占比，并将所述发音点分配到所述发音点在相邻方格中面积占比较大的一个方格中；
所述映射关系建立单元，用于根据所述发音点图像中各发音点在所述网格中的位置以及所述网格中每行对应的音阶，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系。
在一种可选的实施例中，第一旋律生成模块4包括：音阶提取单元、音长设置单元、时间点提取单元、旋律生成单元；
所述设定方向为所述网格每列对应的时间点形成的时间轴方向；
所述音阶提取单元，用于根据所述映射关系，按照所述网格对应的时间轴方向提取所述发音点图像中发音点对应的音阶；
所述音长设置单元，用于当多个发音点位于所述网格中的任意一行相邻的方格中时，将所述多个发音点调整为所述任意一行对应的音阶的长音；
所述时间点提取单元，用于按照所述时间轴方向，提取所述反应点图像中发音点对应的时间点；
所述旋律生成单元，用于根据所述发音点图像中发音点对应的音阶以及时间点，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
在一种可选的实施例中所述图像至旋律的转换装置还包括：
网格音阶调整模块，用于调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并采用所述虚拟乐器重新生成所述目标图像对应的旋律，共获得所述目标图像对应的N首旋律；
波形图生成模块，用于分别将所述目标图像对应的N首旋律转换为波形图，共获得N个波形图；
相似度计算模块，用于分计算任意一个所述波形图与预存在波形图模板数据库中的多个模板波形图的相似度，并提取任意一个所述波形图相对于所述多个模板波形图的相似度的最大值，作为任意一个所述波形图的参考值；
波形图提取模块，用于从所述N个波形图中提取最大参考值对应的波形图；
旋律提取模块，用于提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律。
在本实施例中，可以调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并重新生成所述目标图像对应的旋律，从而使得根据网格生成多个旋律。每种音乐风格都有独特的音阶组合，根据这些独特的音阶组合中的音阶所创作出来的旋律就一定会具有该民族音乐的特色，因此，根据创作风格的需要设置所述网格中每行的音阶，从而使创作的旋律具有特定的音乐风格。例如，中国五声音阶，包含的音为：123561；日本六声音阶，包含的音为：6712346；罗马尼亚小调音阶，包含的音为：671#234#56。通过改变网格中每行的音阶组合，可以创造出不同的风格的音乐旋律。由此，可以得到所述目标图像对应的N首旋律，然后将N首旋律转换为波形图并与多个模板波形图进行匹配，提取每个所述波形图相对于所述多个模板波形图的相似度的最大值，作为每个所述波形图的参考值，即得到每个波形图分别对应一个参考值；对比每个波形图的参考值的大小，得出最大参考值对应的波形图，并提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律，通过上述方法可以对生成的N首旋律进行有效的筛选，从而得出最接近现有音乐旋律创造风格的旋律，提高旋律创作的质量。
本发明实施例还提供了一种图像至旋律的转换装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像至旋律的转换方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述图像至旋律的转换装置中的执行过程。例如，所述计算机程序可以被分割成如图2所示的颜色聚类模块1、归一处理模块2、映射关系建立模块3、主色调提取模块4、乐器类型确定模块5、第一旋律生成模块6，各模块具体功能如下：颜色聚类模块1，用于获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；归一处理模块2，用于对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；映射关系建立模块3，用于将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；主色调提取模块4，用于根据所述颜色聚类图像，提取所述目标图像的主色调；乐器类型确定模块5，用于根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型；第一旋律生成模块6，用于根据所述发音点图像中发音点对应的音阶以及时间点，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
所述图像至旋律的转换装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像至旋律的转换装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是图像至旋律的转换装置的示例，并不构成对图像至旋律的转换装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像至旋律的转换装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述图像至旋律的转换装置的控制中心，利用各种接口和线路连接整个图像至旋律的转换装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述图像至旋律的转换装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述图像至旋律的转换装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述的图像至旋律的转换方法。
相对于现有技术，本发明实施例提供的一种图像至旋律的转换方法的有益效果在于：所述图像至旋律的转换方法，包括：获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；根据所述颜色聚类图像，提取所述目标图像的主色调；根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型；根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。通过上述方法能够将目标图像转换为一段特定的音乐旋律，极大地降低音乐旋律制作的时长和成本，满足人们对音乐旋律的定制性需求。本发明实施例还提供了一种图像至旋律的转换装置与计算机可读存储介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种图像至旋律的转换方法，其特征在于，包括：
获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像；
对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像；
将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系；
根据所述颜色聚类图像，提取所述目标图像的主色调；
根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型；
根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
2.如权利要求1所述的图像至旋律的转换方法，其特征在于，所述图像至旋律的转换方法还包括：
采集多个演奏乐器的音乐作品对应的封面图像；
提取任意一个所述封面图像中各像素点的HSB值，并根据所述HSB值对任意一个所述封面图像的各像素点进行颜色聚类处理，获得任意一个所述封面图像对应的模板颜色聚类图像，共获得N个模板颜色聚类图像；
计算所述模板颜色聚类图像中各色块的面积占比，获得所述模板颜色聚类图像对应的主色调和主色调面积占比，作为所述模板颜色聚类图像的颜色分布；
对N个所述模板颜色聚类图像的颜色分布以及所述模板颜色聚类图像对应的演奏乐器进行统计分析，建立所述模板颜色聚类图像的颜色分布与所述模板颜色聚类图像对应的演奏乐器的映射关系，生成所述色调乐器对照表。
3.如权利要求2所述的图像至旋律的转换方法，其特征在于，所述根据所述目标图像的主色调以及预设的色调乐器对照表，确定演奏乐器的类型，具体包括：
计算所述目标图像对应的颜色聚类图像中各色块的面积占比，获得所述目标图像的主色调对应的主色调面积占比；
将所述目标图像的主色调以及主色调面积占比与所述色调乐器对照表中的多个颜色分布比进行比较，确定所述色调乐器对照表中与所述目标图像的主色调以及主色调面积占比的差值最小的颜色分布对应的演奏乐器，作为所述颜色聚类图像中主色调对应的演奏乐器的类型；
根据所述目标图像的主色调以及所述主色调面积占比，确定所述颜色聚类图像中各色块对应的演奏乐器的音量占比。
4.如权利要求1所述的图像至旋律的转换方法，其特征在于，所述获取目标图像中各像素点的HSB值，并根据所述HSB值对所述目标图像的各像素点进行颜色聚类处理，获得所述目标图像对应的颜色聚类图像，具体包括：
获取目标图像中各像素点的HSB值；
根据所述目标图像中各像素点的HSB值，获取所述目标图像中色相距离超过第一阈值的像素点，并获得多个颜色突变区域；
计算所述颜色突变区域内HSB值的差值小于第二阈值的相邻像素点的色相平均值，并将所述相邻像素点聚合成对应于所述色相平均值的色块；
当所述颜色突变区域内相邻像素点的色相距离为零时，根据聚合后的色块，生成所述颜色聚类图像。
5.如权利要求4所述的图像至旋律的转换方法，其特征在于，所述对所述颜色聚类图像中的各色块进行归一化处理，获得所述目标图像对应的发音点图像，具体包括：
获取所述颜色聚类图像中面积最小的色块，并将所述面积最小的色块设置为一个发音点；
将所述颜色聚类图像中的其他色块调整为所述发音点的整数倍；
根据所述颜色聚类图像中各色块对应的发音点，生成所述发音点图像。
6.如权利要求5所述的图像至旋律的转换方法，其特征在于，所述将所述发音点图像映射到预先建立的网格中，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系，具体包括：
根据所述发音点的面积以及预设比例，设置方格面积并建立所述网格；其中，所述网格的每一行对应一个音阶，所述网格的每一列对应一个时间点；
将所述发音点图像中各发音点映射到所述网格中；
当发音点分布在所述网格的网格线上时，分别计算所述发音点在相接于所述网格线的相邻方格中的面积占比，并将所述发音点分配到所述发音点在相邻方格中面积占比较大的一个方格中；
根据所述发音点图像中各发音点在所述网格中的位置以及所述网格中每行对应的音阶，建立所述发音点图像中各发音点与所述网格中各音阶的映射关系。
7.如权利要求6所述的图像至旋律的转换方法，其特征在于，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律，具体包括：
所述设定方向为所述网格每列对应的时间点形成的时间轴方向；
根据所述映射关系，按照所述网格对应的时间轴方向提取所述发音点图像中发音点对应的音阶；
当多个发音点位于所述网格中的任意一行相邻的方格中时，将所述多个发音点调整为所述任意一行对应的音阶的长音；
按照所述时间轴方向，提取所述反应点图像中发音点对应的时间点；
根据所述发音点图像中发音点对应的音阶以及时间点，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律。
8.如权利要求7所述的图像至旋律的转换方法，其特征在于，所述根据所述映射关系，沿所述网格的设定方向提取所述发音点图像中发音点对应的音阶，并采用与所述演奏乐器的类型对应的虚拟乐器将所述发音点图像中发音点对应的音阶转换为音频，生成所述目标图像对应的旋律，之后还包括：
调整所述网格每一行对应的音阶，重新建立所述发音点图像中各发音点与所述网格中各音阶的映射关系并采用所述虚拟乐器重新生成所述目标图像对应的旋律，共获得所述目标图像对应的N首旋律；
分别将所述目标图像对应的N首旋律转换为波形图，共获得N个波形图；
分计算任意一个所述波形图与预存在波形图模板数据库中的多个模板波形图的相似度，并提取任意一个所述波形图相对于所述多个模板波形图的相似度的最大值，作为任意一个所述波形图的参考值；
从所述N个波形图中提取最大参考值对应的波形图；
提取所述最大参考值对应的波形图对应的旋律作为所述目标图像的目标旋律。
9.一种图像至旋律的转换装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的图像至旋律的转换方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至8中任意一项所述的图像至旋律的转换方法。
CN201810427683.7A 2018-05-07 2018-05-07 图像至旋律的转换方法、装置与计算机可读存储介质 Active CN108960250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810427683.7A CN108960250B (zh) 2018-05-07 2018-05-07 图像至旋律的转换方法、装置与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810427683.7A CN108960250B (zh) 2018-05-07 2018-05-07 图像至旋律的转换方法、装置与计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108960250A true CN108960250A (zh) 2018-12-07
CN108960250B CN108960250B (zh) 2020-08-25

Family

ID=64498915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810427683.7A Active CN108960250B (zh) 2018-05-07 2018-05-07 图像至旋律的转换方法、装置与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108960250B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872340A (zh) * 2019-01-03 2019-06-11 广东智媒云图科技股份有限公司 构图方法及其电子设备、计算机可读存储介质
CN110322520A (zh) * 2019-07-04 2019-10-11 厦门美图之家科技有限公司 图像主色提取方法、装置、电子设备及存储介质
CN112652030A (zh) * 2020-12-11 2021-04-13 浙江工商大学 一种基于特定场景的色彩空间位置布局推荐的方法
CN113160781A (zh) * 2021-04-12 2021-07-23 广州酷狗计算机科技有限公司 音频生成方法、装置、计算机设备及存储介质
CN113885829A (zh) * 2021-10-25 2022-01-04 北京字跳网络技术有限公司 一种音效展示方法及终端设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165194A (ja) * 2003-12-05 2005-06-23 Nippon Hoso Kyokai <Nhk> 音楽データ変換装置及び音楽データ変換プログラム
CN1862656A (zh) * 2005-05-13 2006-11-15 杭州波导软件有限公司 一种将乐谱转换成音乐输出的方法及其装置
KR20070059253A (ko) * 2005-12-06 2007-06-12 최종민 언어를 상징적 선율로 변환시키는 방법
KR20080083433A (ko) * 2007-03-12 2008-09-18 주식회사 하모니칼라시스템 영상을 음향으로 변환하는 방법과 장치
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
CN104918059A (zh) * 2015-05-19 2015-09-16 京东方科技集团股份有限公司 图像传输方法及装置、终端设备
CN105205047A (zh) * 2015-09-30 2015-12-30 北京金山安全软件有限公司 乐器乐谱文件的播放方法、转换方法、装置及电子设备
CN106203465A (zh) * 2016-06-24 2016-12-07 百度在线网络技术（北京）有限公司 一种基于图像识别生成曲谱的方法及装置
CN107239482A (zh) * 2017-04-12 2017-10-10 中国科学院光电研究院 一种将图像转换为音乐的处理方法及服务器
CN107967476A (zh) * 2017-12-05 2018-04-27 北京工业大学 一种图像转声音的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165194A (ja) * 2003-12-05 2005-06-23 Nippon Hoso Kyokai <Nhk> 音楽データ変換装置及び音楽データ変換プログラム
CN1862656A (zh) * 2005-05-13 2006-11-15 杭州波导软件有限公司 一种将乐谱转换成音乐输出的方法及其装置
KR20070059253A (ko) * 2005-12-06 2007-06-12 최종민 언어를 상징적 선율로 변환시키는 방법
KR20080083433A (ko) * 2007-03-12 2008-09-18 주식회사 하모니칼라시스템 영상을 음향으로 변환하는 방법과 장치
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
CN104918059A (zh) * 2015-05-19 2015-09-16 京东方科技集团股份有限公司 图像传输方法及装置、终端设备
CN105205047A (zh) * 2015-09-30 2015-12-30 北京金山安全软件有限公司 乐器乐谱文件的播放方法、转换方法、装置及电子设备
CN106203465A (zh) * 2016-06-24 2016-12-07 百度在线网络技术（北京）有限公司 一种基于图像识别生成曲谱的方法及装置
CN107239482A (zh) * 2017-04-12 2017-10-10 中国科学院光电研究院 一种将图像转换为音乐的处理方法及服务器
CN107967476A (zh) * 2017-12-05 2018-04-27 北京工业大学 一种图像转声音的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872340A (zh) * 2019-01-03 2019-06-11 广东智媒云图科技股份有限公司 构图方法及其电子设备、计算机可读存储介质
CN109872340B (zh) * 2019-01-03 2023-06-27 广东智媒云图科技股份有限公司 构图方法及其电子设备、计算机可读存储介质
CN110322520A (zh) * 2019-07-04 2019-10-11 厦门美图之家科技有限公司 图像主色提取方法、装置、电子设备及存储介质
CN112652030A (zh) * 2020-12-11 2021-04-13 浙江工商大学 一种基于特定场景的色彩空间位置布局推荐的方法
CN112652030B (zh) * 2020-12-11 2023-09-19 浙江工商大学 一种基于特定场景的色彩空间位置布局推荐的方法
CN113160781A (zh) * 2021-04-12 2021-07-23 广州酷狗计算机科技有限公司 音频生成方法、装置、计算机设备及存储介质
CN113160781B (zh) * 2021-04-12 2023-11-17 广州酷狗计算机科技有限公司 音频生成方法、装置、计算机设备及存储介质
CN113885829A (zh) * 2021-10-25 2022-01-04 北京字跳网络技术有限公司 一种音效展示方法及终端设备
CN113885829B (zh) * 2021-10-25 2023-10-31 北京字跳网络技术有限公司 一种音效展示方法及终端设备

Also Published As

Publication number Publication date
CN108960250B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN108960250A (zh) 图像至旋律的转换方法、装置与计算机可读存储介质
CN108805171A (zh) 图像至音乐旋律的转换方法、装置与计算机可读存储介质
CN105118082B (zh) 个性化视频生成方法及***
RU2636668C2 (ru) Способ и устройство для отображения изображений
US10410392B2 (en) Data structure for computer graphics, information processing device, information processing method and information processing system
Dixon et al. The Performance Worm: Real time visualisation of expression based on Langner's tempo-loudness animation
CN109783178A (zh) 一种界面组件的颜色调整方法、装置、设备和介质
CN107621966B (zh) 图形用户界面显示方法、装置和终端设备
KR20150079763A (ko) 비동기 코러스 방법, 장치, 프로그램 및 기록매체
CN110444185B (zh) 一种音乐生成方法及装置
CN107437272B (zh) 基于增强现实的互动娱乐方法、装置及终端设备
KR20150112048A (ko) 모바일 앱 기반의 실시간 영상의 배경음악 생성방법
CN103024634B (zh) 一种音频信号的处理方法及装置
US11568857B2 (en) Machine learning method, audio source separation apparatus, and electronic instrument
CN105118444B (zh) 一种信息处理方法及电子设备
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
CN108737878A (zh) 用于结合视频呈现来修改用户界面颜色的方法和***
CN112967705A (zh) 一种混音歌曲生成方法、装置、设备及存储介质
US10121249B2 (en) Enhanced visualization of areas of interest in image data
CN109993835A (zh) 一种舞台互动投影方法、装置以及***
KR20160074958A (ko) 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법
CN103369254A (zh) 图像处理装置、图像处理方法及计算机程序
Worrall Space in sound: sound of space
CN111552836A (zh) 歌词显示方法、装置及存储介质
CN110602827A (zh) 卡拉ok光效实现方法、智能投影仪及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant