CN110598013A - 一种数字音乐绘画互动融合方法 - Google Patents

一种数字音乐绘画互动融合方法 Download PDF

Info

Publication number
CN110598013A
CN110598013A CN201910996562.9A CN201910996562A CN110598013A CN 110598013 A CN110598013 A CN 110598013A CN 201910996562 A CN201910996562 A CN 201910996562A CN 110598013 A CN110598013 A CN 110598013A
Authority
CN
China
Prior art keywords
music
painting
information
fusion method
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910996562.9A
Other languages
English (en)
Other versions
CN110598013B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Puzanga Information Technology Nanjing Co Ltd
Original Assignee
Puzanga Information Technology Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Puzanga Information Technology Nanjing Co Ltd filed Critical Puzanga Information Technology Nanjing Co Ltd
Priority to CN202310560279.8A priority Critical patent/CN116501901A/zh
Priority to CN201910996562.9A priority patent/CN110598013B/zh
Publication of CN110598013A publication Critical patent/CN110598013A/zh
Application granted granted Critical
Publication of CN110598013B publication Critical patent/CN110598013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02—Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022—Control panels
    • G11B19/025—'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B3/00—Recording by mechanical cutting, deforming or pressing, e.g. of grooves or pits; Reproducing by mechanical sensing; Record carriers therefor
    • G11B3/02—Arrangements of heads
    • G11B3/10—Arranging, supporting, or driving of heads or of transducers relatively to record carriers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于音乐与图像数字信息的图像音乐融合方法以及互动装置。所述方法包括获取用于融合的音乐、图像文件；将音乐的时序数字信息，与图像中的空间数字信息进行巧妙的映射与融合；创造性的结合了传统唱片机的样式，模拟出“画笔”随着音乐在“唱片”上面绘画的效果，整个过程有非常好的娱乐观赏性。***“绘画”出来的作品既包含了图像信息，也包含了音乐信息，大众非常容易理解和接受，实用性较强。

Description

一种数字音乐绘画互动融合方法
技术领域
本发明涉及一种数字多媒体娱乐互动融合方法，具体是一种实现音乐和图片融合的互动娱乐方法。
背景技术
绘画与音乐是表达人类思想与情感的重要艺术形式：音乐是听觉艺术、时间艺术、动态艺术；绘画是视觉艺术、空间艺术、静态艺术；如果能将两者相互融合、那么将给用户带来全新的体验。目前的相关研究与产品往往实用性不够，缺乏直观的逻辑关联，用户体验需要提高。例如“音乐视频的生成方法和***”（申请（专利）号201310142642）中介绍了一种将音乐生成视频的方法，***根据用户输入的音乐，自动生成对应的图像以及视频，由于匹配算法与人对音乐图像的理解力相比还有很大差距，***生成的图像、视频与音乐的匹配度还不高，关联性不强。
发明内容
基于此，有必要针对音乐、绘画融合产品用户体验不佳，产品选择少的问题，提供一种更加直观的、有趣的音乐绘画融合方法。
此外，还有必要提供一种能够展示音乐绘画融合效果的装置。
一种数字音乐绘画融合方法，包括如下步骤：音乐获取模块，获取用于合成的音乐文件；音乐预处理模块，根据数字音乐文件获取音乐随时序变化的音高、音强、音乐持续时间等数字信息；图像获取模块，获取用于处理的图像文件；图像预处理模块，首先对图像进行大小归一化处理，再对图像进行灰度处理以及直方图均衡化处理。
计算模块，根据设定的显示区域旋转速度，以及音乐时长，计算每个采样时间点对应的画笔杆终端在显示区域平面上的位置，根据该位置信息映射到对应的图像采样点的灰度值计算画笔杆与垂直中心轴偏移的倾斜角度，以及画笔杆振动幅度。
绘画控制模块，***根据计算模块计算好的数据，播放音乐，并控制显示区域转动，画笔杆从显示区域的中心逐渐移动到显示区域***，并按照计算好的数据改变倾斜角度以及振动幅度，显示模块按照计算好的线条宽度、颜色显示对应的线条。伴随着用户设置音乐，装置模拟出在唱片机上，虚拟画笔（该画笔仅作模拟，线条由显示模块显示）随着唱片的转动，以及音乐的节奏“画出”用户设定的图像，呈现了音乐和绘画动态融合的效果。
附图说明
图1为一个实施例中一种音乐绘画融合处理的流程图。
图2为一个实施例中图1步骤S120的具体流程图。
图3为一个实施例中图1步骤S140的具体流程图。
图4为一个实施例中图1步骤S210的具体流程图。
图5为本发明的结构示意图。
图6为一个实施例中绘画输出效果与原输入图像的对比图。
具体实施方式
如图5所示，该***的控制核心处理单元1，主要包括了电源模块、处理器芯片、通讯芯片、存储芯片、多媒体芯片，用户通过手机经过无线传输模块或者物理接口将需要处理的音乐、图片文件、以及用户配置参数传输给***。
用户配置参数主要有图5中显示区域3的旋转角速度 ω，及相关计算参数L1 ，L2，L3 ，L4，L5 ，L6，L7 ，L8，L9 ，L10，L11，L12 。
***收到图像、音乐文件后分别对他们进行预处理。
***对音乐文件进行预处理，获取音乐文件的持续时长T，以及在每个时间点t该音乐文件内容对应的音高 H（t），音强 E（t），进行归一化处理；
（1）
（2）
特别的在本实施例中按照公式(1)，(2)进行归一化处理，在其他实施例中也可以采用其他常见的归一化方法进行处理方式。
***对图像文件进行预处理，首先将图像归一化到合适的大小，在本实施例中图像归一化到800*800像素大小；将完成归一化的图像转为灰度格式；针对对比度较差的图像，对图像进行直方图均衡化处理增强对比度；获取图像灰度值信息，以图像中心为原点，建立平面坐标系，像素的坐标为(x, y)，则该像素对应的灰度值为 P(x, y)。
综合音乐、图像信息，***计算模块依次进行计算，根据音乐文件的持续时长 T，旋转角速度 ω，通过数学运算计算绘画总圈数 N，线条最大宽度 A；
（3）
（4）
在本实施例中我们采用公式(3)计算图5中绘画图像对应的绘画总圈数N，按照公式(4)计算获得对应的线条最大宽度 A，其中L1为比例系数，根据实际需要设置不同的值，特别的在本实施例中取值为1。
在音乐文件时间范围内的任意时间点 t；
(5)
(6)
***根据公式(5)，公式(6)计算图5中画笔杆控制单元4在图像中对应的坐标位置 (x(t), y(t))；根据坐标信息(x(t), y(t))，结合图形信息***获得该位置对应的图像灰度值P(x(t), y(t)) ；
(7)
(8)
然后通过数学计算获得对应的线条宽度D(t)，笔杆夹角θ(t)。
特别的在本实施例中按照公式(7)，计算获得该位置在时间t，图5中绘画图像显示的线条宽度D(t)，按照公式(8)计算获得图5中画笔杆2与中垂线的夹角θ(t)，其中L2，L3为比例系数，根据实际需要设置不同的值，特别的在本实施例中 L2取值为1， L3取值为1。
根据音乐的音高H(t)，音强E(t)，通过数学计算获得画笔杆的实时振幅Υ(t)；
(9)
特别的在本实施例中按照公式(9)计算获得图5中画笔杆2的实时振幅Υ(t)，其中 L4，L5 ，L6为比例系数，根据实际需要设置不同的值，特别的在本实施例中L4取值为0.28， L5取值为0.72，L6取值为1。
根据音乐的音高H(t)，音强E(t)，通过数学计算获得当前位置的线条颜色C(t)；
(10)
(11)
(12)
特别的在本实施例中按照公式(10)，公式(11)，公式(12)计算线条的颜色C(t)对应的红R(t)，绿G(t)，蓝B(t)三个分量，其中L7 ，L8，L9 ，L10，L11，L12为比例系数，根据实际需要设置不同的值，特别的在本实施例中L7取值为2， L8取值为4， L9取值为1，L10取值为4， L11取值为2， L12的取值为55。
***根据计算结果控制装置运行： (1)***播放用户设置的音乐；(2)类似于唱片机，图5中的链接杆5控制画笔杆控制单元4从中心位置逐渐移动到显示区域外圈直到音乐结束；(3)在音乐播放的时刻t，图5中的画笔控制单元4将画笔杆2倾角调整为θ(t)，倾角越大，线条越宽，从而形成虚拟画笔在显示区域上画出线条的效果；(4)图5中的画笔控制单元4控制画笔杆2垂直于笔杆与中垂线所在平面的内以幅度γ(t)摆动；(5)图5显示模块3，显示线条的颜色为C(t)，对应位置为(x(t), y(t))，线条宽度为D(t)。
随着音乐的播放，我们就可以看到图5中画笔杆2在显示模块3上跟着音乐的节奏“画”出了用户设置的图像，对比示意结果如图6所示，左边为用户设置的原图，右边为显示的结果。
音乐播放结束后，显示模块显示完整的绘画图形，***控制绘画杆自动恢复到初始的位置或者用户通过手动进行复位。

Claims (10)

1.一种数字音乐绘画融合方法，包括以下步骤：获取用于融合的音乐、图片文件；对音乐及图片文件进行预处理，获取对应的数字信息；根据音乐、图像数字信息进行映射、计算，获取绘画线条的宽度、颜色，绘画杆的移动、振动数据；***根据计算数据，播放音乐，控制显示模块按计算好的数据显示绘画线条、控制绘画杆按计算好的运动数据运动。
2.根据权利要求1所述的一种数字音乐绘画融合方法，其特征在于，所述获取用于融合的音乐、图片文件，、通过物理数据接口或者无线信号获取用户需要融合的音乐、图片文件。
3.根据权利要求1所述的一种数字音乐绘画融合方法，其特征在于，所述对图片文件的预处理步骤，包括对图片进行归一化、灰度转化、直方图均衡化处理，经过处理获取黑白的、大小统一、对比鲜明的图像文件。
4.根据权利要求1所述的一种数字音乐绘画融合方法，其特征在于，所述对音乐文件的预处理步骤，包括获取音乐文件的时长、音高、音强数据信息，并进行归一化处理。
5.根据权利要求1所述的一种数字音乐绘画融合方法，其特征在于，所述信息映射方式，是以图片中心为坐标系原点，显示模块中心为对应的坐标系原点，图片边缘与显示模块显示边缘一一对齐，则图片中的每个位置都能与显示模块中的位置一一对应。
6.根据权利要求1所述的一种数字音乐绘画融合方法，其特征在于，所述根据图片的数字信息进行计算，使用了图像的颜色、坐标信息，通过数学计算，获得显示绘画线条当前坐标对应的宽度、颜色信息。
7.根据权利要求1所述的一种数字音乐绘画融合方法，其特征在于，所述使用音乐的数字信息进行计算，使用了音乐的音高、音强信息，通过数学计算，获得绘画杆与中垂线的倾斜角度、振动幅度信息。
8.根据权利要求1所述的一种数字音乐绘画融合方法，其特征在于，所述显示模块显示绘画线条，根据设定绘画线条的显示速度以及计算图片信息获得的当前时间点显示线条的粗细、颜色数据，显示模块随着音乐的播放进行显示。
9.根据权利要求1所述的一种数字音乐绘画融合方法，其特征在于，所述控制绘画杆运动，根据计算音乐信息获得的当前时间点绘画杆的倾斜角度、振动幅度、坐标位置数据进行控制。
10.根据权利要求 1所述的一种数字音乐绘画融合方法，其特征在于，播放完音乐，并显示完整的绘画图形后，有两种复位方法，一种是***自动控制绘画杆恢复到初始位置，显示模块清除前面显示的线条；另一种是绘画杆保留在绘画终点位置，显示线条保持不变，需要通过手动将画杆拨动到初始位置，同时显示模块清除前面显示的线条。
CN201910996562.9A 2019-10-19 2019-10-19 一种数字音乐绘画互动融合方法 Active CN110598013B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310560279.8A CN116501901A (zh) 2019-10-19 2019-10-19 一种数字音乐图像展示方法、***及装置
CN201910996562.9A CN110598013B (zh) 2019-10-19 2019-10-19 一种数字音乐绘画互动融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910996562.9A CN110598013B (zh) 2019-10-19 2019-10-19 一种数字音乐绘画互动融合方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310560279.8A Division CN116501901A (zh) 2019-10-19 2019-10-19 一种数字音乐图像展示方法、***及装置

Publications (2)

Publication Number Publication Date
CN110598013A true CN110598013A (zh) 2019-12-20
CN110598013B CN110598013B (zh) 2023-08-01

Family

ID=68851133

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910996562.9A Active CN110598013B (zh) 2019-10-19 2019-10-19 一种数字音乐绘画互动融合方法
CN202310560279.8A Pending CN116501901A (zh) 2019-10-19 2019-10-19 一种数字音乐图像展示方法、***及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310560279.8A Pending CN116501901A (zh) 2019-10-19 2019-10-19 一种数字音乐图像展示方法、***及装置

Country Status (1)

Country Link
CN (2) CN110598013B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035686A (zh) * 2020-09-02 2020-12-04 北京字节跳动网络技术有限公司 播放控制方法及装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
CN104978329A (zh) * 2014-04-04 2015-10-14 庄婷婷 一种以线条绘画的形式生成音乐旋律的方法
CN207752778U (zh) * 2017-10-20 2018-08-21 北京星际元会展有限公司 色彩涂绘转换音乐旋律的互动装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
CN104978329A (zh) * 2014-04-04 2015-10-14 庄婷婷 一种以线条绘画的形式生成音乐旋律的方法
CN207752778U (zh) * 2017-10-20 2018-08-21 北京星际元会展有限公司 色彩涂绘转换音乐旋律的互动装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035686A (zh) * 2020-09-02 2020-12-04 北京字节跳动网络技术有限公司 播放控制方法及装置、电子设备和计算机可读存储介质
WO2022048537A1 (zh) * 2020-09-02 2022-03-10 北京字节跳动网络技术有限公司 播放控制方法及装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN110598013B (zh) 2023-08-01
CN116501901A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US10489956B2 (en) Robust attribute transfer for character animation
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
US7227544B2 (en) Image data processing using depth image data for realistic scene representation
CN109151540B (zh) 视频图像的交互处理方法及装置
CN106527857A (zh) 一种基于虚拟现实的全景视频交互方法
US10484599B2 (en) Simulating depth of field
US8274567B2 (en) Image processing method, apparatus and system
AU2006217569A1 (en) Automatic scene modeling for the 3D camera and 3D video
US20190080510A1 (en) Creating a synthetic model with organic veracity
CN106447604B (zh) 一种变换视频中面部画面的方法和装置
WO2024022065A1 (zh) 虚拟表情生成方法、装置、电子设备和存储介质
WO2023077742A1 (zh) 视频处理方法及装置、神经网络的训练方法及装置
WO2024012459A1 (zh) 一种vr端端云结合的虚拟演唱会渲染方法及***
WO2022166896A1 (zh) 视频生成方法、装置、设备及可读存储介质
CN105791390A (zh) 数据传输方法、装置及***
CN105787951A (zh) 鱼眼镜头拍摄图像的3d特效全景显示方法和***
US20130336640A1 (en) System and method for distributing computer generated 3d visual effects over a communications network
US20210144283A1 (en) An apparatus, method, and system for capturing 360/virtual reality video using a mobile phone add-on
CN110598013B (zh) 一种数字音乐绘画互动融合方法
WO2005088966A1 (fr) Procede de substitution pour la modification d'un programme tv numerique
JP4244352B2 (ja) 画像生成装置、画像生成方法、ならびに、プログラム
JP7386888B2 (ja) 画面上の話者のフューショット合成
CN114845148B (zh) 虚拟演播室中主持人对虚拟物体的交互控制方法及装置
WO2023030107A1 (zh) 合拍方法、装置、电子设备及可读介质
WO2022127852A1 (zh) 手指触摸操作显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Feng Yi

Inventor after: Cao Qiuqing

Inventor after: Yin Yixiao

Inventor before: Request for anonymity

GR01 Patent grant
GR01 Patent grant