CN102708907B - 一种基于图片分割和同步标签的线性多媒体定位方法 - Google Patents

Abstract

一种基于图片分割和同步标签的线性多媒体定位方法，包括以下四个步骤：运用影印图片并基于小节快速确定播放顺序；多媒体在图片上基于同步标签进行实时线性定位；通过点击图片实现多媒体跳转；线性多媒体定位信息的保存和读取。本发明提供了一种在图片上快速确定多媒体播放顺序的方法，并运用同步标签和线性插值的办法，可得到任意时刻多媒体在图片上的位置，并且实现了将多媒体定位信息进行保存，以供以后多次载入使用。

Description

一种基于图片分割和同步标签的线性多媒体定位方法

技术领域

本发明涉及一种在图片（乐谱、简谱）上快速确定多媒体（音频、视频）播放顺序的方法。

背景技术

为了方便的给用户指示多媒体播放的位置，歌词技术为现阶段成熟的一种解决方案。以lrc格式歌词为例，lrc文件是通过编辑器把歌词按歌曲歌词出现的时间编辑到一起，然后在播放歌曲时同步依次将歌词显示出来的。标准格式为：[分钟:秒.毫秒]歌词。一些专业的软件如lrc歌词编辑器2010可以辅助编辑歌词。

歌词技术虽然比较成熟，但存在编辑不便、指示内容单一的弱点。此外还受到歌词来源的限制。

此外在苹果公司在Mac OS操作***下有一款叫ianalyse的软件能够编辑电子乐谱，能够实现播放音乐的同时在乐谱上显示播放的位置。但该软件存在针对性强的弱点，即每一个多媒体需要音乐专业人士为其制作乐谱，才能实现乐谱上显示播放的位置。此外该软件不容易找到节奏重音；仅支持五线谱，不支持简谱；不能够即点即播；而且该软件使用方法复杂，非专业人士难以使用。

发明内容

本发明要解决的技术问题是：在播放多媒体（音频、视频）时，实时的在图片（乐谱、简谱）上显示对应的正在播放的位置，并在点击图片时将多媒体跳转到相应位置。

本发明采用的技术方案为：一种基于图片分割和同步标签的线性多媒体定位方法，在图片（乐谱、简谱）上快速确定多媒体（音频、视频）播放顺序，并运用同步标签和线性插值的办法，得到任意时刻多媒体在图片上的位置，并且实现了将多媒体定位信息进行保存，以供以后多次载入使用，其包括了以下四个步骤：

（1）运用影印图片并基于小节快速确定播放顺序；运用多张影印图片，快速将乐谱分割为页、行、小节；每页多行，每行多小节，并确定页、行、小节的位置以及大小，并设置少许跳转标记，得到小节每一次播放的下一小节，这样确定了播放顺序；

（2）多媒体在图片上基于同步标签进行实时线性定位；基于（1）中确定的播放顺序，歌曲每一小节的时间是固定的，根据线性插值的办法，计算多媒体任意时刻在乐谱上的位置，同时在乐谱中加入同步标签，对线性插值不准确的地方进行精确调整；

（3）通过点击图片实现多媒体跳转;在步骤（2）中加入同步标签后，用户点击第i页，j行，k小节的偏移量x位置时，计算得到多媒体的时间t，并实现多媒体跳转；

（4）线性多媒体定位信息的保存和读取；将页、行、小节、跳转、同步标签的信息进行保存，并可多次载入使用。

所述运用影印图片并基于小节快速确定播放顺序包括快速确定页、行、小节的位置以及大小，设置跳转，最后计算任意一小节每一次播放时的下一小节。

一个多媒体对应了多页图片（乐谱），一张图片有一至多行，一行中有一至多个小节。首先将每一张图片按照顺序排好，每一张图片对应了一页。然后将每一页中有乐谱标记的地方用拖拽的方式用矩形标记，如图1(a)所示。一个矩形对应了多个行，每一行中有多个小节。本发明中设计了一种快速确定行、小节的位置以及大小的方法：对于每一个矩形，输入行数和列数，如图1（b）所示。即可生成大致的结果，如图1（c）所示。最后经过细微调整，即可生成最终的结果，如图1（d）所示。细微调整操作包括：调整行的位置、大小，调整小节线的位置，***删除小节等。这些都可通过鼠标拖拽操作快速实现。

假设一个多媒体有NP页，一页有多行，一行有多个小节。P_i（0≤i≤NP-1）为第i页，NR（P_i）为第i页的行数，R_i，j（0≤i≤NP-1，0≤j≤NR（P_i）-1）代表第i页的第j行。类似的NB（R_i，j）为第i页的第j行的小节数，B_i,j,k（0≤i≤NP-1，0≤j≤NR（P_i）-1,0≤k≤NB（R_i，_j）-1）代表第i页，j行，的第k个小节。对于任意的小节B_i，j,k，定义它从上到下从左到右物理位置上的下一小节NextPhBar（B_i，j，k）如下

$\mathrm{NextPhBar}\left(B_{i,j,k}\right)=\left\{\begin{array}{c}{B}_{i,j,k+1}(k\≠\mathrm{NB}\left(R_{i,j}\right)-1)\\ B_{i,j+\mathrm{1,0}}(k=\mathrm{NB}\left(R_{i,j}\right)-1,j\≠\mathrm{NR}\left(P_t\right)-1)\\ B_{i+\mathrm{1,0,0}}(k=\mathrm{NB}\left(R_{i,j}\right)-1,j=\mathrm{NR}\left(P_i\right)-1)\end{array}\right.---\left(1\right)$

播放的时候，在大多数情况下从上到下从左到右物理位置上的下一小节即逻辑上的下一小节。在遇到反复标记，跳转符号时，可设置跳转，一个跳转记录了对于一个小节B_i,j，k，第w次播放(从0开始计数，下同)到此处时，下一小节为BarJump（B_i，j,k,w）。

根据物理位置和跳转，可以求得任意小节第w次播放的下一逻辑小节NextLgBar（B_i，j,k,w）,并且是下一小节的NextBTime（B_i,j，k,w）次播放。并且，该小节第w次播放之前已经播放了PreBar（B_i，j，k,w）个小节。

假设每一小节的播放次数为BT（B）。LB（i）为按照实际多媒体的播放顺序第i次播放的小节，TLB（i）为按照实际多媒体的播放顺序播放第i个小节时该小节的播放次数。NLB为整个播放的小节数。计算NextLgBar，NextBTime和PreBar的伪代码如下

以上伪代码的步骤如下：

1.一开始将每一小节的播放次数为BT、变量NLB清空为0，TB为一个小节的临时变量，代表当前处理的小节，初始化为第一个小节。

2.从头到尾遍历每一个小节：首先计算下一小节，如果当前小节TB本次播放时没有跳转则下一小节为物理上的下一小节，否则下一小节为跳转小节；

3.将下一小节的播放次数记录在NextBTime中；

4.计算PreBar、LB、TLB等信息，并将总共的小节数加1，代表处理完成一个小节。

5.最后将当前小节赋值为下一小节，并判断是否结束，如果没有结束跳转到步骤2，否则结束

通过以上计算便可以快速得到所有播放小节数NLB，以及第i次播放的小节LB（i），任意小节B_ijk的播放次数BT（B_ijk）。并且可以快速得到某一小节B_ijk第w次播放时，下一小节为NextLgBar(B_ijk,w)，且下一小节为第NextBTime(B_ijk,w)次播放。这样实现了快速得到小节每一次播放的下一小节。

所述多媒体在图片上基于同步标签进行实时线性定位，即基于同步标签的计算多媒体任意时刻在乐谱上的位置。

同步标签为人工在乐谱上标记的标签，对于任意的标签M，它记录的信息有一个位置信息和一个时间信息。位置信息记录了第i页，j行，k小节第w次播放到偏移量x的位置。这一位置信息将转化为从起始点播放到此处经过的小节数L。假如一个小节B的长度为LX（B）则计算L的公式如下

L(M)＝PreBar(B_i，j，k，w)+x/LX(B_i，j，k)       (2)

L(M)代表标签M从起始点播放到此处的小节数,可以为小数。时间信息T（M）代表这一点在多媒体中的时间。

假如一个多媒体总共时长为TT，其中中对应了NM+1个标签，按照时间依次排序分别为M₀…M_NM。对于任意的i>j，M一定满足T(M_i)>T(M_j)L(M_i)>L(M_j)。即便是不人工标注，在一个多媒体中至少也存在了两个同步标签M₀和M_NM。分别代表了开始标签和结束标签，即L(M₀)=0,T(M₀)=0;L(M_NM)=NLB,T(M_NM)=TT。

对于任意时间0<t<TT，对应的标签区间MT1(t)=M_k,MT2(t)=M_k+1。时间t对应的标签区间[MT1(t),MT2(t)]的定义为T(M_k)<t<T(M_k+1)。下面给出任意时间t对应从开始算起,经过的小节数LT的公式：

LT(t)=L(MT1(t))+(L(MT2(t))-L(MT1(t)))×(t-T(MT1(t)))/(T(MT2(t))-T(MT1(t)))

LT(t)的整数部分为ILT，小数部分为RLT，则时间t对应的小节为LB(ILB),在小节中的偏移量为LX（LB(ILB)）×RLT，为该小节的第TLB（ILB）次播放。这样就得到了任意时间t多媒体在图片中的指示位置。当前的播放速度为

Speed(t)=LX（LB(ILB)）×(L(MT2(t))-L(MT1(t)))/(T(MT2(t))-T(MT1(t)))   (3)

若LX的单位为像素，T的单位为秒，Speed的单位为像素/秒，即在t时刻光标在图片上前进的速度为Speed(t)像素每秒。

用户可利用播放多媒体，观察进度条位置的方法，实时调整的同步标签，用户上在乐谱上点击小节以添加标签，如果一个小节需要播放n次，则从上到下出现n个小圆点（如图2所示）,这些小圆点依次代表第0~n-1次播放到该处时的同步标签。

一开始点击播放的时候，只有默认头尾两个标签有效，所有进度按照线性插值的方法进行定位。当多媒体实际播放到同步标签处时，用户点击对应的同步标签，在程序中加入一个同步标签，通过上述算法，重新计算当前指示器的位置，校准信息实时的反馈到乐谱上。

用户可以实时的添加删除同步标签，反复对比音乐改变同步标签，以达到校准每一时刻指示器位置的办法。

所述通过点击图片实现多媒体跳转：加入同步标签后，用户点击第i页，j行，k小节的偏移量x位置时，若鼠标按下弹起的时间为w秒则确定该小节的播放次数w。通过该方法计算得到多媒体的时间t，并实现多媒体跳转。

这一次点击对应的位置，从起始点播放到此处经过的小节数s公式如下：

s＝PreBar(B_i，j，k，w)+x/LX(B_i，j，k)       (4)

对于任意长度0<s<NLB，对应的标签区间ML1(s)=M_k,ML2(s)=M_k+1。长度s对应的标签区间[ML1(s),ML2(s)]的定义为L(M_k)<t<L(M_k+1)。s对应的时间t的公式如下：

t=T（ML1(s)）+(s-L(ML1(s)))(T(MT2(s))-T(MT1(s)))/(L(MT2(s))-L(MT1(s)))(5)

以上两个公式即用户点击第i页，j行，k小节的偏移量x位置时，计算得到多媒体的时间t的公式。继而将多媒体快进到t时间，实现所点即所得的效果。

所述线性多媒体定位信息的保存和读取技术，即一种将上述将乐谱分割为页、行、小节，每页多行，每行多小节，并确定页、行、小节的位置以及大小，设置跳转标记，标记同步标签等过程记录下来，保存以便以后载入使用的技术。

记录的信息有：

页信息：依次记录的0…PN-1号页的号码

行信息：依次记录每一行的信息，一行即一个矩形，保存的内容有对应矩形的左上角点的坐标x、y，宽度、高度共四个值。以及该行属于的页的编号。

小节信息：一个小节也是一个矩形，本发明中记录了小节前面对应小节线的位置，以及该小节对应行的编号。

跳转信息：记录了两个小节b1、b2的编号和一个次数t，说明b1在第t次播放结束后跳转到b2。

同步标签信息：记录了对应小节的编号，小节中的偏移像素、播放次数、对应时间、以及是否有效。

通过以上信息保存为XML文件,如图3所示，即可将全部图片分割、同步标签等信息进行记录，下次使用的时候载入这一xml，重新计算NextLgBar，NextBTime和PreBar等信息，并运用计算LT(t)Speed(t)的公式，即可重新得到小节每一次播放的下一小节，以及任意时刻t对应多媒体在图片上的位置和指示器的速度，继而实现点击图片使得多媒体跳转。

附图说明

图1(a)为本发明中用矩形标记乐谱位置的示意图；

图1(b)为输入小节行数列数的示意图；

图1(c)为按照行数列数生成的小节标记；

图1(d)为经过细微调整，生成的最终的小节标记结果；

图2为加入同步标签后播放的实例；

图3保存结果试例；

图4七彩旋律互动音乐教学专用软件运行效果图。

具体实施方式

七彩旋律互动音乐教学专用软件V1.0是一款针对音乐教育的***，该***实现了将科技，音乐，教育相结合。在该***中实现了本发明中的方法。图4为七彩旋律互动音乐教学专用软件运行效果图。

七彩旋律互动音乐教学专用软件V1.0采用C/C++作为开发语言进行开发，研发过程中使用了QT技术。

Qt是一个1991年由奇趣科技开发的跨平台C++图形用户界面应用程序开发框架。现在为诺基亚旗下的编程语言工具。

七彩旋律互动音乐教学专用软件实现了运用影印图片并基于小节快速确定播放顺序。在***中先载入多张图片作为乐谱，在每一张图上点击“画方框”将每一页中有乐谱标记的地方用矩形标记，如图1(a)所示。然后点击“拆分方框”输入行数和列数，将方框拆分成行和小节。然后用户可以使用“拆分小节”、“删除小节”、“移动小节线”等功能对行和小节进行细微调整，这些都可通过鼠标拖拽操作快速实现。然后，用户双击某一小节设置跳转，最后点击“生成播放顺序”***采用本方法中的运用影印图片并基于小节快速确定播放顺序，确定播放顺序。

七彩旋律互动音乐教学专用软件实现了基于同步标签的多媒体在乐谱上实时线性定位算法，用户点击“添加同步标签”可在图片上以小圆点的形式加入同步标签，一开始只有两个默认的同步标签，点击播放后，指示器依照线性插值的办法进行移动。用户一边听音乐一边点击同步标签，对同步标签对应的时间进行校准，多次校准后得到最后的结果。实现了基于同步标签的多媒体在乐谱上实时线性定位算法。

此外在本***中，多次校准后得到最后的结果后，用户可点击第i页，j行，k小节的偏移量x位置时，本***实现了本专利中通过点击图片实现多媒体跳转的方法，将点击位置转化为时间信息，实现多媒体的跳转。

然后本***实现了线性多媒体定位信息的保存和读取，运用xml技术，可以将用户的编辑保存为xml格式的文件，如图3所示，并且可以将保存的xml重新载入使用，实现了一次编辑多人使用。

最后本***的多媒体定位技术模块还实现了多人协同编辑、网络同步播放、设置重复播放等功能。多人协同编辑功能在乐谱比较大的时候可以将乐谱拆分为多个模块，多人进行听音校准同步标签，最后将多个同步标签结果汇总起来实现整个歌曲的校准。网络同步播放技术基于QT的socket进行开发，在本***中分为教师机和学生机，教师机上可以通过网络控制学生机的播放，当教师机上点击播放、暂停、停止等，每一个学生机上的指示器所在的位置都是一致的，这样实现了同步播放的功能。设置重复播放利用“通过点击图片实现多媒体跳转的方法”，实现了用点击拖拽图片的方式标记重复区间，教师可以通过该功能标记重点，反复进行听音。

七彩旋律互动音乐教学专用软件V1.0通过以上方式实现了本发明中的全部方法。

Claims (2)

1.一种基于图片分割和同步标签的线性多媒体定位方法，其特征在于包括以下四个步骤:

(1)运用影印图片并基于小节快速确定播放顺序；运用多张影印图片，快速将乐谱分割为页、行、小节；每页多行，每行多小节，并确定页、行、小节的位置以及大小，并设置少许跳转标记，得到小节每一次播放的下一小节，这样确定了播放顺序；

(2)多媒体在图片上基于同步标签进行实时线性定位；基于步骤(1)中确定的播放顺序，歌曲每一小节的时间是固定的，根据线性插值的办法，计算多媒体任意时刻在乐谱上的位置，同时在乐谱中加入同步标签，对线性插值不准确的地方进行精确调整；

(3)通过点击图片实现多媒体跳转；在步骤(2)中加入同步标签后，用户点击第i页，j行，k小节的偏移量x位置时，计算得到多媒体的时间t，并实现多媒体跳转；

(4)线性多媒体定位信息的保存和读取；将页、行、小节、跳转标记、同步标签的信息进行保存，并能多次载入使用；

所述步骤(1)确定播放顺序具体包括：

(1.1)根据实际情况输入每一页的行数和小节数，并进行小节的***和删除，快速确定页、行、小节的位置以及大小；

(1.2)从上到下从左到右物理位置上的下一小节即逻辑上的下一小节；在遇到跳转标记时，设置跳转，一个跳转记录了对于一个小节B，第w次播放到此处时的下一小节；

(1.3)计算小节每一次播放的下一小节的播放次数：根据小节物理位置和跳转，计算任意第i页第j行第k小节第w次播放时的下一小节和下一小节的播放次数。

2.根据权利要求1所述的基于图片分割和同步标签的线性多媒体定位方法，其特征在于：步骤(2)具体包括：

(2.1)根据线性插值的方法，计算多媒体任意时刻在图片上的位置；每个小节的时长是固定的，计算出总小节数，然后计算出当前时刻对应了第几个小节，继而找到该小节在图片中的位置，最后加上线性偏移量得到在图片上的位置；

(2.2)加入同步标签，对线性插值不准确的地方进行精确调整；每个同步标签精确指定了第i页，j行，k小节的偏移量x位置的标签对应的时间；在连续的两个同步标签中利用步骤(2.1)中的方法进一步确定任意时刻在乐谱上的位置；

(2.3)利用反馈信息实时调整的同步标签；在乐谱上点击标记多个同步标签，用户能根据听到的音乐和乐谱上播放进度条实时对同步标签进行校准，校准信息实时的反馈到乐谱上。