CN115205984A - 基于视觉感知的吉他指法教学辅助方法及*** - Google Patents

基于视觉感知的吉他指法教学辅助方法及*** Download PDF

Info

Publication number
CN115205984A
CN115205984A CN202211125536.7A CN202211125536A CN115205984A CN 115205984 A CN115205984 A CN 115205984A CN 202211125536 A CN202211125536 A CN 202211125536A CN 115205984 A CN115205984 A CN 115205984A
Authority
CN
China
Prior art keywords
guitar
fingering
evaluation result
finger
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211125536.7A
Other languages
English (en)
Inventor
韩小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Future Culture Technology Co ltd
Original Assignee
Nantong Future Culture Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Future Culture Technology Co ltd filed Critical Nantong Future Culture Technology Co ltd
Priority to CN202211125536.7A priority Critical patent/CN115205984A/zh
Publication of CN115205984A publication Critical patent/CN115205984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于视觉感知的吉他指法教学辅助方法及***。该方法包括：获取吉他区域图像，对吉他区域图像进行边缘检测获取吉他的弦与品的位置；获取手部关键点的位置，得到指法信息；将指法信息与标准指法比较获取任意手指的第一评估结果；获取每段实时音频与标准音频的差异为任意手指的第二评估结果；计算第一评估结果与第二评估结果的均值为质量评估结果，当质量评估结果小于预设阈值时，手指的指法需加强练习。在确保每个手指位置正确的基础上，利用音频信息进一步判断弹奏时的手指力度，提高了对指法分析的准确性。

Description

基于视觉感知的吉他指法教学辅助方法及***
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于视觉感知的吉他指法教学辅助方法及***。
背景技术
音乐教育是学校教学中很受欢迎的一部分，其中吉他作为最常见的乐器之一也广受欢迎，在吉他的教学过程中，指法教学作为基础教学中不可缺少的一部分，其教学质量直接影响到学员后续的学习进度以及学习效果，因此对吉他指法教学的质量应当格外重视。
现有技术中对吉他指法教学的辅助方法有在特定位置上部署传感器，或者是将学员练习的音频与标准音频进行对比，利用传感器的示数对吉他指法进行辅助教学所用成本较高，且容易出现误差。而利用练习音频与标准音频进行对比则很容易忽略在弹奏过程中每个手指的力度以及位置信息，指法分析的准确性不高。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于视觉感知的吉他指法教学辅助方法及***，所采用的技术方案具体如下：
第一方面，本发明一个实施例提供了一种基于视觉感知的吉他指法教学辅助方法，该方法包括以下步骤：
获取吉他的初始图像，将所述初始图像输入语义分割网络得到吉他的掩膜图像；根据所述掩膜图像和所述初始图像确定吉他区域图像，对所述吉他区域图像进行边缘检测获取所述吉他的弦与品的位置；
将所述初始图像输入关键点检测网络得到手部关键点的位置，将所述手部关键点的位置与所述吉他的弦与品的位置对应，得到指法信息；将所述指法信息与标准指法比较获取任意所述手指的第一评估结果；
当任意所述手指的光流信息突变时，对学员练习的实时音频进行分段采集，获取每段所述实时音频与标准音频的差异为任意所述手指的第二评估结果；
计算所述第一评估结果与所述第二评估结果的均值为质量评估结果，当所述质量评估结果小于预设阈值时，所述手指的指法需加强练习。
优选的，所述对所述吉他区域图像进行边缘检测获取所述吉他的弦与品的位置的步骤，包括：
获取所述吉他区域图像的外接矩形，根据所述外接矩形获取所述吉他的头部位置，以所述头部位置为起点进行边缘检测获取所述吉他的弦与品的位置。
优选的，所述边缘检测的算法采用
Figure DEST_PATH_IMAGE001
算子。
优选的，所述
Figure 916848DEST_PATH_IMAGE001
算子还包括以下优化步骤：
所述
Figure 836656DEST_PATH_IMAGE001
算子包括水平方向的
Figure 66780DEST_PATH_IMAGE001
算子和竖直方向的
Figure 595982DEST_PATH_IMAGE001
算子；
获取所述外接矩形与像素坐标系的夹角，根据所述夹角调整水平方向的
Figure 227951DEST_PATH_IMAGE001
算 子和竖直方向的
Figure 50151DEST_PATH_IMAGE001
算子的分量得到新的
Figure 33151DEST_PATH_IMAGE001
算子为：
Figure DEST_PATH_IMAGE003
其中，
Figure 303726DEST_PATH_IMAGE004
表示新的
Figure 26088DEST_PATH_IMAGE001
算子；
Figure DEST_PATH_IMAGE005
表示水平方向的
Figure 723917DEST_PATH_IMAGE001
算子；
Figure 427168DEST_PATH_IMAGE006
表示竖直方向的
Figure 563752DEST_PATH_IMAGE001
算子；
根据新的
Figure 639155DEST_PATH_IMAGE001
算子对吉他区域图像进行边缘检测；
在
Figure DEST_PATH_IMAGE007
时，检测到的边缘信息为吉他品的直线；
在
Figure 9350DEST_PATH_IMAGE008
时，检测到的边缘信息为吉他弦的直线；
其中，
Figure DEST_PATH_IMAGE009
表示所述外接矩形与像素坐标系的夹角。
优选的，所述根据所述外接矩形获取所述吉他的头部位置的步骤，还包括：
从所述外接矩形长边的一端作直线，所述直线与所述外接矩形的长边垂直，获取每个所述直线与所述掩膜图像的交集区域，所述交集区域的像素点数量少的一端为所述吉他的头部位置。
优选的，所述将所述指法信息与标准指法比较获取任意所述手指的第一评估结果的步骤，包括：
当任意所述手指的指法信息与所述标准指法一致时，所述手指的第一评估结果为1；
当任意所述手指的指法信息与所述标准指法不一致时，所述手指的第一评估结果为0。
优选的，所述根据所述实时音频与标准音频的差异得到任意所述手指的第二评估结果的步骤，包括：
计算所述实时音频与所述标准音频的距离值为差异，所述第二评估结果与所述差异呈负相关关系。
第二方面，本发明另一个实施例提供了一种基于视觉感知的吉他指法教学辅助***，该***包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明具有如下有益效果：通过获取学员利用吉他演奏时的初始图像，进一步获 取吉他掩膜图像的最小外接矩形，利用最小外接矩形与像素坐标系的夹角对
Figure 107887DEST_PATH_IMAGE001
算子的 方向进行确定，从而利用
Figure 281117DEST_PATH_IMAGE001
边缘检测算法获取吉他上所有弦与品的位置信息；将该初始 图像输入关键点检测网络得到演奏学员手部关键点信息，将手部关键点所在的品和弦的位 置信息与标准指法进行比较获取第一评估结果，由手部关键点的光流信息作为依据采集实 时演奏音频，将采集的实时音频与标准音频的差异作为第二评估结果，根据第一评估结果 与第二评估结果的均值获得每个手部关键点对应手指的质量评估结果，根据质量评估结果 判断该手指的指法是否正确，在确保每个手指位置正确的基础上，利用音频信息进一步判 断弹奏时的手指力度，提高了对指法分析的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于视觉感知的吉他指法教学辅助的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知的吉他指法教学辅助方法及***，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例适用于吉他指法的辅助教学，为了解决现有利用整段音频信息进行 对比分析时不准确的问题，本发明实施例中通过获取学员利用吉他演奏时的初始图像，进 一步获取吉他掩膜图像的最小外接矩形，利用最小外接矩形与像素坐标系的夹角对
Figure 476606DEST_PATH_IMAGE001
算子的方向进行确定，从而利用
Figure 844134DEST_PATH_IMAGE001
边缘检测算法获取吉他上所有弦与品的位置信息；将 该初始图像输入关键点检测网络得到演奏学员手部关键点信息，将手部关键点所在的品和 弦的位置信息与标准指法进行比较获取第一评估结果，由手部关键点的光流信息作为依据 采集实时演奏音频，将采集的实时音频与标准音频的差异作为第二评估结果，根据第一评 估结果与第二评估结果的均值获得每个手部关键点对应手指的质量评估结果，根据质量评 估结果判断该手指的指法是否正确，在确保每个手指位置正确的基础上，利用音频信息进 一步判断弹奏时的手指力度，提高了对指法分析的准确性。
下面结合附图具体的说明本发明所提供的一种基于视觉感知的吉他指法教学辅助方法及***的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于视觉感知的吉他指法教学辅助的方法流程图，该方法包括以下步骤：
步骤S100，获取吉他的初始图像，将初始图像输入语义分割网络得到吉他的掩膜图像；根据掩膜图像和初始图像确定吉他区域图像，对吉他区域图像进行边缘检测获取吉他的弦与品的位置。
在学员实际弹奏过程中，学员的手指会遮挡吉他上弦和品的位置信息，且在进行弹奏时吉他的位置也会发生变化，为了避免对吉他上品和弦的位置进行实时监测的误差较大，本发明实施例中利用吉他特征明显的轮廓信息对吉他中所有的弦和品的位置进行定位。
具体的，根据RGB相机采集学员在演奏时的初始图像，将该初始图像作为语义分割网络的输入，得到吉他的掩膜图像，语义分割网络的结构为编码器-解码器结构，本发明实施例中的语义分割网络采用Unet，在其他实施例中可以采用FCN等方法实现，具体训练过程为：
（1）语义分割网络的输入为初始图像；
（2）人为对该初始图像进行标注，将初始图像中吉他区域的像素点标注为1，其余像素点标注为0；
（3）语义分割网络的输出为吉他的掩膜图像。
进一步的，获取吉他区域图像的外接矩形，根据外接矩形获取吉他的头部位置，以头部位置为起点进行边缘检测获取吉他的弦与品的位置。
具体的，对获取到的吉他的掩膜图像进行连通域分析，本发明实施例中通过连通域得到吉他区域的最小外接矩形，并获取该最小外接矩形与像素坐标系的夹角。
将吉他的掩膜图像与初始图像相乘得到吉他区域图像，根据吉他区域图像获取吉他上弦和品的具体的位置信息。一个吉他上一共有6根弦，弦为绷直的状态与最小外接矩形的长边平行；而品是让弦发出不同频率的声音的基本位置，不同的品可以使弦发出不同的声音，品为垂直于弦的竖直线段之间的区域，一般的古典吉他有18品，而民谣吉他可能有18-21品。
从外接矩形长边的一端作直线，直线与外接矩形的长边垂直，获取每个直线与掩膜图像的交集区域，交集区域的像素点数量少的一端为吉他的头部位置。
具体的，在获取吉他具体的弦和品的位置信息之前，需要获取吉他头部的位置，在 吉他区域的最小外接矩形的长边的一端
Figure 492284DEST_PATH_IMAGE010
开始作直线，该直线与最小外接矩形的短边平行， 统计该直线与吉他的掩膜图像的交集区域的像素点数量记为
Figure DEST_PATH_IMAGE011
，按照同样的方法，每间隔 一定距离作一条直线并统计对应交集区域的像素点数量，得到固定长度的序列
Figure 155957DEST_PATH_IMAGE012
，而直线的数量
Figure DEST_PATH_IMAGE013
为：
Figure DEST_PATH_IMAGE015
其中，
Figure 48696DEST_PATH_IMAGE013
表示在吉他上所作直线的数量；
Figure 55966DEST_PATH_IMAGE016
表示每个直线之间间隔的距离；
Figure DEST_PATH_IMAGE017
表示 最小外接矩形长边的长度；
Figure 630560DEST_PATH_IMAGE018
为向上取整符号，获取比
Figure DEST_PATH_IMAGE019
大的最小的整数。
比较第一条直线和吉他的掩膜图像的交集区域的像素点数量
Figure 286538DEST_PATH_IMAGE011
与最后一条直线 和吉他的掩膜图像的交集区域的像素点数量
Figure 456620DEST_PATH_IMAGE020
，若
Figure DEST_PATH_IMAGE021
，则最小外接矩形的长边的一端
Figure 73939DEST_PATH_IMAGE010
为吉他的头部，否则
Figure 696682DEST_PATH_IMAGE010
为吉他的尾部，最小外接矩形的场边的另一端为头部。
在确定吉他的头部位置之后，对吉他区域图像的弦和品的位置信息进行检测，本 发明实施例中利用
Figure 516870DEST_PATH_IMAGE001
边缘检测算法进行检测，
Figure 774414DEST_PATH_IMAGE001
算子包括水平方向的
Figure 654645DEST_PATH_IMAGE001
算子和 竖直方向的
Figure 764684DEST_PATH_IMAGE001
算子；获取外接矩形与像素坐标系的夹角，根据夹角调整水平方向的
Figure 857404DEST_PATH_IMAGE001
算子和竖直方向的
Figure 503543DEST_PATH_IMAGE001
算子的分量得到新的
Figure 289096DEST_PATH_IMAGE001
算子为：
Figure 886431DEST_PATH_IMAGE003
其中，
Figure 546957DEST_PATH_IMAGE004
表示新的
Figure 280558DEST_PATH_IMAGE001
算子；
Figure 237013DEST_PATH_IMAGE005
表示水平方向的
Figure 545810DEST_PATH_IMAGE001
算子；
Figure 245913DEST_PATH_IMAGE006
表示竖直方向的
Figure 99599DEST_PATH_IMAGE001
算子。
作为优选，本发明实施例中
Figure 226955DEST_PATH_IMAGE022
。
需要说明的是，
Figure 562996DEST_PATH_IMAGE001
边缘检测算法中只有当
Figure 801211DEST_PATH_IMAGE004
算子的方向于待测边缘的 方向垂直时才会得到最优的检测效果，因此利用最小外接矩形与像素坐标系的夹角
Figure 509404DEST_PATH_IMAGE009
确定 边缘检测的方向。
具体的，当
Figure 309126DEST_PATH_IMAGE007
时，得到的边缘检测算子
Figure 633928DEST_PATH_IMAGE004
检测到的边缘 信息为吉他品的直线，从吉他头部开始检测，按照检测结果的先后顺序对直线进行编号，得 到品的直线集合
Figure DEST_PATH_IMAGE023
；当
Figure 315314DEST_PATH_IMAGE008
时，得到的边缘检测算子
Figure 143593DEST_PATH_IMAGE004
检测到的边缘信息为吉他弦的直线，按照纵坐标从小到大进行编号得到弦的直线 集合
Figure 612751DEST_PATH_IMAGE024
。
进一步的，获取吉他品的直线集合中各个直线与最小外接矩形的长边的交点，将该最小外接矩形分为多个矩形段，每一个矩形段为吉他中一个品的位置，靠近吉他头部位置的第一个矩形段为第一个品，以此类推，获取吉他的所有品的位置。
基于相同的原理，获取吉他弦的直线集合中各个直线与各矩形段的交点，每一个矩形段上均获得6条直线，根据直线的纵坐标的值从小到大的顺序得到每一个矩形段中第一个弦到第六个弦的位置信息。
步骤S200，将初始图像输入关键点检测网络得到手部关键点的位置，将手部关键点的位置与吉他的弦与品的位置对应，得到指法信息；将指法信息与标准指法比较获取任意手指的第一评估结果。
由步骤S100中获取到吉他的每个弦与品的位置信息，根据获取到的吉他的弦与品的位置信息以及实际演奏过程中学员手指的位置信息进行指法分析。
具体的，将获取到的初始图像输入关键点检测网络中，本发明实施例中采用CPM关键点检测网络实现，根据关键点检测网络获取学员手部所有的关键点信息，选取的人体手部关键点为5个手指的关键点，关键点检测网络的结构为编码器-解码器结构，在其他实施例中可以选用OponePose等方法进行关键点检测。将人体手部关键点检测网络的输出结果经过softArgmax函数处理后得到各关键点的位置信息。
进一步的，由步骤S100中已经获取到吉他的品与弦的位置信息，结合人体手部关 键点的位置信息对学员弹奏时的指法信息进行分析，将按压吉他弦与品的手部记为
Figure DEST_PATH_IMAGE025
，不 断拨动吉他弦的手部记为
Figure 67260DEST_PATH_IMAGE026
。
对手部
Figure 178435DEST_PATH_IMAGE025
进行实时监测，获取该手部中每个手部关键点与吉他的弦和品的位置 关系，将该位置关系与标准指法中手指的位置关系进行对比，当任意手指的位置关系与标 准指法的手指位置关系一致时，手指的第一评估结果为1；当任意手指的位置关系与标准指 法的手指位置关系不一致时，手指的第一评估结果为0。即实时采集的某一手指
Figure DEST_PATH_IMAGE027
的关键点 与标准指法中手指位于相同的弦和品，则该手指对应的第一评估结果
Figure 31860DEST_PATH_IMAGE028
，否则
Figure DEST_PATH_IMAGE029
；第一评估结果可用于反映各个手指的位置准确性。
需要说明的是，标准指法是指专业演奏时的标准的指法，在进行指法学习时，为了保证学习者能够养成良好的习惯，对每个指法的要求标准应较为严格，默认学员在演奏整首曲子时不受外界因素的影响；虽然不同指法对各个手指的要求不同，但对于各个手指上每个关键点的位置要求应尽可能严格。
步骤S300，当任意手指的光流信息突变时，对学员练习的实时音频进行分段采集，获取每段实时音频与标准音频的差异为任意手指的第二评估结果。
对于步骤S200中不断变化的手部
Figure 344023DEST_PATH_IMAGE026
，本发明实施例中利用LKT光流法获得当前帧 手部
Figure 613724DEST_PATH_IMAGE026
上个各关键点的光流信息，即手指上每个关键点对应的瞬时速度；获得当前帧拨 动的弦
Figure 731853DEST_PATH_IMAGE030
；根据步骤S200中的标准指法获取该弦所对应的手指，由于在实际演奏的过程中， 即使此时每一根手指均对应正常的弦与品的位置，但在实际演奏的过程中，由于每一根手 指的力度以及发力方法的不一致，会出现按弦不稳的情况，因此仅仅根据手指与吉他弦和 品的位置关系并不能得到准确的指法分析结果，所以对吉他弹奏的实时音频信息进行采 集。
在练习某一指法时，手指会呈现出该指法的位置，通过关键点检测网络可识别手指的关键点对应的指法，此时开始进行获取音频，由于按压对应的弦和品一定是在手指对应到位置之后，因此获取到的音频信息包含完整的联系该指法所对应的音频。
具体的，对于任意一个关键点，将其在每个时刻获得的光流信息的数据依次排列 得到一组数列，本发明实施例中使用Mann-Kendall突变点对手部
Figure 800303DEST_PATH_IMAGE026
的光流信息对应的数 列进行检测，从而得到数列中的突变点，根据突变点的位置可对应检测到光流信息突变的 时刻，此时表明该手部关键点开始运动，即该手部关键点对应的手指拨动了新的弦，此时停 止对音频信息的采集，得到任意手指
Figure 109799DEST_PATH_IMAGE027
所对应的实时音频信息
Figure DEST_PATH_IMAGE031
。
标准音频是指学员练习内容对应的标准的音频信息，标准音频包含了每个指法在每个时间对应每根手指的每个关键点应如何运动，当此刻某个手指的某个关键点开始运动时，通过光流信息突变的情况可检测出来，当检测出确实为运动时，即开始采集音频；若同时要求多根手指同时运动时，则以任意一根手指运动时即开始采集。对于相同的指法而言，其弹奏的流程一致规律相同，当该指法练习完成后，各个手指会改变对应的位置，其运动方式和轨迹也会相应变动，而光流信息可反映出其中手指的变化情况，因此当检测到光流信息再次出现突变时，也即是指法发生改变时，此时表明手指拨动了新的弦，此时停止对音频信息的采集；为了避免最终采集的实时音频信息过长，将该实时音频的采集时长与标准音频的时长相同，标准音频表示的是标准指法中每一根弦所对应的音频信息。
根据实时音频与标准音频的差异获取第二评估结果：
Figure DEST_PATH_IMAGE033
其中，
Figure 975118DEST_PATH_IMAGE034
表示手指
Figure 410121DEST_PATH_IMAGE027
第二评估结果；
Figure DEST_PATH_IMAGE035
表示弦
Figure 739603DEST_PATH_IMAGE030
对应手指
Figure 220000DEST_PATH_IMAGE027
的标准音频；
Figure 962828DEST_PATH_IMAGE031
表 示采集到的弦
Figure 688339DEST_PATH_IMAGE030
对应的手指
Figure 436109DEST_PATH_IMAGE027
的实时音频；
Figure 588872DEST_PATH_IMAGE036
表示弦
Figure 287838DEST_PATH_IMAGE030
对应的手指
Figure 581154DEST_PATH_IMAGE027
实时采集的音 频信息与标准音频的
Figure DEST_PATH_IMAGE037
距离值。
需要说明的是，
Figure 619648DEST_PATH_IMAGE037
为动态时间规整算法，用与计算两个时序序列的距离值，本 发明实施例中将该距离值认为实时音频与标准音频的差异。
步骤S400，计算第一评估结果与第二评估结果的均值为质量评估结果，当质量评估结果小于预设阈值时，手指的指法需加强练习。
由步骤S200和步骤S300获取到任意手指的第一评估结果和第二评估结果，计算实时音频与标准音频的距离值为差异，第二评估结果与差异呈负相关关系，根据第一评估结果和第二评估结果的均值获取最终的质量评估结果：
Figure DEST_PATH_IMAGE039
其中，
Figure 382461DEST_PATH_IMAGE040
表示手指
Figure 99881DEST_PATH_IMAGE027
的质量评估结果；
Figure DEST_PATH_IMAGE041
表示手指
Figure 337834DEST_PATH_IMAGE027
的第一评估结果；
Figure 824310DEST_PATH_IMAGE034
表示手指
Figure 584455DEST_PATH_IMAGE027
的第二评估结果。
根据相同的计算原理获取每一个手指所对应的质量评估结果；在指法的练习过程中，由于对每个手指的位置都有要求，即使某个手指的动作不影响关键的发音，其对应的位置也基本是固定的，因此每一个手指均需要获取对应的质量评估结果；同时，每根手指的质量评估结果不受其他手指的影响，例如当某个指法需要多个手指同时按压同一根弦时，手指之间的质量评估结果互不影响。
本发明实施例中设定预设阈值，将每一个手指的质量评估结果与预设阈值进行比 较，当任意手指
Figure 25057DEST_PATH_IMAGE027
的质量评估结果小于预设阈值时，则表示该手指未能达到标准，需要注意 该手指的位姿与发力。
作为优选，本发明实施例中将预设阈值取经验值
Figure 630482DEST_PATH_IMAGE042
。
综上所述，本发明实施例通过获取学员利用吉他演奏时的初始图像，进一步获取 吉他掩膜图像的最小外接矩形，利用最小外接矩形与像素坐标系的夹角对
Figure 971465DEST_PATH_IMAGE001
算子的方 向进行确定，从而利用
Figure 168091DEST_PATH_IMAGE001
边缘检测算法获取吉他上所有弦与品的位置信息；将该初始图 像输入关键点检测网络得到演奏学员手部关键点信息，将手部关键点所在的品和弦的位置 信息与标准指法进行比较获取第一评估结果，由手部关键点的光流信息作为依据采集实时 演奏音频，将采集的实时音频与标准音频的差异作为第二评估结果，根据第一评估结果与 第二评估结果的均值获得每个手部关键点对应手指的质量评估结果，根据质量评估结果判 断该手指的指法是否正确，在确保每个手指位置正确的基础上，利用音频信息进一步判断 弹奏时的手指力度，提高了对指法分析的准确性。
基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于视觉感知的吉他指法教学辅助***，该***包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于视觉感知的吉他指法教学辅助方法实施例中的步骤，例如图1所示的步骤。该一种基于视觉感知的吉他指法教学辅助方法在上述实施例中已经详细说明，不再赘述。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于视觉感知的吉他指法教学辅助方法，其特征在于，该方法包括以下步骤：
获取吉他的初始图像，将所述初始图像输入语义分割网络得到吉他的掩膜图像；根据所述掩膜图像和所述初始图像确定吉他区域图像，对所述吉他区域图像进行边缘检测获取所述吉他的弦与品的位置；
将所述初始图像输入关键点检测网络得到手部关键点的位置，将所述手部关键点的位置与所述吉他的弦与品的位置对应，得到指法信息；将所述指法信息与标准指法比较获取任意所述手指的第一评估结果；
当任意所述手指的光流信息突变时，对学员练习的实时音频进行分段采集，获取每段所述实时音频与标准音频的差异为任意所述手指的第二评估结果；
计算所述第一评估结果与所述第二评估结果的均值为质量评估结果，当所述质量评估结果小于预设阈值时，所述手指的指法需加强练习。
2.根据权利要求1所述的方法，其特征在于，所述对所述吉他区域图像进行边缘检测获取所述吉他的弦与品的位置的步骤，包括：
获取所述吉他区域图像的外接矩形，根据所述外接矩形获取所述吉他的头部位置，以所述头部位置为起点进行边缘检测获取所述吉他的弦与品的位置。
3.根据权利要求2所述的方法，其特征在于，所述边缘检测的算法采用
Figure DEST_PATH_IMAGE002
算子。
4.根据权利要求3所述的方法，其特征在于，所述
Figure 263515DEST_PATH_IMAGE002
算子还包括以下优化步骤：
所述
Figure 361047DEST_PATH_IMAGE002
算子包括水平方向的
Figure 743486DEST_PATH_IMAGE002
算子和竖直方向的
Figure 235648DEST_PATH_IMAGE002
算子；
获取所述外接矩形与像素坐标系的夹角，根据所述夹角调整水平方向的
Figure 572213DEST_PATH_IMAGE002
算子和竖直方向的
Figure 706391DEST_PATH_IMAGE002
算子的分量得到新的
Figure 444802DEST_PATH_IMAGE002
算子为：
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
表示新的
Figure 112458DEST_PATH_IMAGE002
算子；
Figure DEST_PATH_IMAGE008
表示水平方向的
Figure 998637DEST_PATH_IMAGE002
算子；
Figure DEST_PATH_IMAGE010
表示竖直方向的
Figure 795560DEST_PATH_IMAGE002
算子；
根据新的
Figure 388478DEST_PATH_IMAGE002
算子对吉他区域图像进行边缘检测；
在
Figure DEST_PATH_IMAGE012
时，检测到的边缘信息为吉他品的直线；
在
Figure DEST_PATH_IMAGE014
时，检测到的边缘信息为吉他弦的直线；
其中，
Figure DEST_PATH_IMAGE016
表示所述外接矩形与像素坐标系的夹角。
5.根据权利要求2所述的方法，其特征在于，所述根据所述外接矩形获取所述吉他的头部位置的步骤，还包括：
从所述外接矩形长边的一端作直线，所述直线与所述外接矩形的长边垂直，获取每个所述直线与所述掩膜图像的交集区域，所述交集区域的像素点数量少的一端为所述吉他的头部位置。
6.根据权利要求1所述的方法，其特征在于，所述将所述指法信息与标准指法比较获取任意所述手指的第一评估结果的步骤，包括：
当任意所述手指的指法信息与所述标准指法一致时，所述手指的第一评估结果为1；
当任意所述手指的指法信息与所述标准指法不一致时，所述手指的第一评估结果为0。
7.根据权利要求1所述的方法，其特征在于，所述根据所述实时音频与标准音频的差异得到任意所述手指的第二评估结果的步骤，包括：
计算所述实时音频与所述标准音频的距离值为差异，所述第二评估结果与所述差异呈负相关关系。
8.一种基于视觉感知的吉他指法教学辅助***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述方法的步骤。
CN202211125536.7A 2022-09-16 2022-09-16 基于视觉感知的吉他指法教学辅助方法及*** Pending CN115205984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211125536.7A CN115205984A (zh) 2022-09-16 2022-09-16 基于视觉感知的吉他指法教学辅助方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211125536.7A CN115205984A (zh) 2022-09-16 2022-09-16 基于视觉感知的吉他指法教学辅助方法及***

Publications (1)

Publication Number Publication Date
CN115205984A true CN115205984A (zh) 2022-10-18

Family

ID=83573032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211125536.7A Pending CN115205984A (zh) 2022-09-16 2022-09-16 基于视觉感知的吉他指法教学辅助方法及***

Country Status (1)

Country Link
CN (1) CN115205984A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968675A (zh) * 2020-07-10 2020-11-20 南京邮电大学 一种基于手部识别的弦乐器音符比对***及其使用方法
CN113657184A (zh) * 2021-07-26 2021-11-16 广东科学技术职业学院 一种钢琴弹奏指法的评估方法及装置
CN113723264A (zh) * 2021-08-25 2021-11-30 桂林智神信息技术股份有限公司 一种用于辅助钢琴教学的智能识别弹奏错误的方法及***
CN114677431A (zh) * 2022-02-23 2022-06-28 福建星网视易信息***有限公司 钢琴指法识别方法及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968675A (zh) * 2020-07-10 2020-11-20 南京邮电大学 一种基于手部识别的弦乐器音符比对***及其使用方法
CN113657184A (zh) * 2021-07-26 2021-11-16 广东科学技术职业学院 一种钢琴弹奏指法的评估方法及装置
CN113723264A (zh) * 2021-08-25 2021-11-30 桂林智神信息技术股份有限公司 一种用于辅助钢琴教学的智能识别弹奏错误的方法及***
CN114677431A (zh) * 2022-02-23 2022-06-28 福建星网视易信息***有限公司 钢琴指法识别方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106485984B (zh) 一种钢琴的智能教学方法和装置
CN106847260B (zh) 一种基于特征融合的英语口语自动评分方法
Akbari et al. Real-time piano music transcription based on computer vision
CN109461441B (zh) 一种自适应、无监督式的课堂教学活动智能感知方法
CN112949408B (zh) 一种过鱼通道目标鱼类实时识别方法和***
Dong Application of artificial intelligence software based on semantic web technology in english learning and teaching
CN108038146B (zh) 音乐演奏人工智能分析方法、***及设备
US9613542B2 (en) Sound source evaluation method, performance information analysis method and recording medium used therein, and sound source evaluation apparatus using same
WO2022052941A1 (zh) 用于辅助钢琴教学的智能识别方法及***、智能钢琴训练方法及***
CN113052138A (zh) 一种舞蹈与运动动作的智能对比矫正的方法
Lee et al. Observing pianist accuracy and form with computer vision
Barreto et al. A stylus-driven intelligent tutoring system for music education instruction
Zhou et al. Optimization of multimedia computer-aided interaction system of vocal music teaching based on voice recognition
CN117151548A (zh) 以手部动作判断为基础的音乐线上学习方法及***
CN114170868A (zh) 智能钢琴训练的方法和***
CN115205984A (zh) 基于视觉感知的吉他指法教学辅助方法及***
US9040799B2 (en) Techniques for analyzing parameters of a musical performance
CN116386424A (zh) 一种用于音乐教学的方法、设备和计算机可读存储介质
CN110956870A (zh) 一种视唱练耳教学方法及装置
CN114677431A (zh) 钢琴指法识别方法及计算机可读存储介质
CN113255470B (zh) 基于手部姿态估计的多模态钢琴陪练***及方法
Yamamoto et al. Livo: Sing a song with a vowel keyboard
Kerdvibulvech et al. Real-time guitar chord estimation by stereo cameras for supporting guitarists
Wu et al. Assessment of percussive music performances with feature learning
Ariga et al. Strummer: An interactive guitar chord practice system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221018

RJ01 Rejection of invention patent application after publication