JP2023534975A - ユーザーインタラクションに基づく音楽再生方法、装置、機器及び記憶媒体 - Google Patents

Abstract

ユーザーインタラクションに基づく音楽再生方法、装置、機器及び記憶媒体であって、音楽ビデオの技術分野に関する。該方法は、ビデオキャプチャ装置によって目標ビデオを収集するステップと、前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するステップと、前記オーディオ処理方式に応じて音楽を再生するステップとを含む。ビデオキャプチャ装置によって目標ビデオを収集し、目標ビデオ中の目標対象が目標動作を行うことを識別した場合、該目標動作に基づき対応するオーディオ処理方式を決定し、かつ該オーディオ処理方式に応じて音楽を再生することにより、ユーザーはビデオによって自分の操作に基づき個人化された音楽を自由に創作することができ、音楽の創作が制限されないとともに、音楽の創作の興趣性を増加し、ユーザー体験を向上させる。

Description

本願は２０２０年１０月２７日に提出された中国特許出願第２０２０１１１６３８４６．９号の優先権を主張し、該中国特許出願の全内容は援用により本願の一部として組み込まれている。

本開示はユーザーインタラクションに基づく音楽再生方法、装置、機器及び記憶媒体に関する。

現在、マルチメディアインタラクションプラットフォームは人々の生活の重要な一部になっており、ユーザーはこれらのプラットフォームにおいてビデオを録画したり、異なる音楽に応じて異なるビデオコンテンツを創作したりすることができる。

しかし、これらの知られているプラットフォームでは、ユーザーはビデオを録画するときに、ユーザーが選択した音楽に基づいてビデオコンテンツを創作することしかできず、すべてのユーザーに対して、システムにより提供された、又は自分がローカルから選択した若しくはインターネットからダウンロードした音楽に基づいてビデオを創作することしかできず、音楽愛好家が自分の好みに応じて音楽を自由に編集し、自分に属する個人化された音楽を創作したいというニーズを満たすことができない。

これから分かるように、ユーザーはマルチメディアインタラクションプラットフォームを介して音楽を選択し創作する際に、選択した音楽がすべて知られているものであり、その結果、ユーザーが創作した音楽の個人化が不十分であり、ユーザー体験が悪い。

本開示の目的は、上記技術的欠陥の１つ、特にユーザーがマルチメディアインタラクションプラットフォームを介して音楽を選択し創作する際に、選択した音楽がすべて知られているものであり、その結果、ユーザーが創作した音楽の個人化が不十分であり、ユーザー体験が悪いという技術的欠陥を少なくとも解決できることである。

第１態様では、ユーザーインタラクションに基づく音楽再生方法を提供し、該方法は、
ビデオキャプチャ装置によって目標ビデオを収集するステップと、
前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するステップと、
前記オーディオ処理方式に応じて音楽を再生するステップとを含む。

第２態様では、ユーザー操作に基づく音楽再生装置を提供し、該装置は、
ビデオキャプチャ装置によって目標ビデオを収集するための目標ビデオ収集モジュールと、
前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するための目標動作識別モジュールと、
前記オーディオ処理方式に応じて音楽を再生するための音楽再生モジュールとを含む。

第３態様では、電子機器を提供し、該電子機器は、
１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のアプリケーションプログラムであって、前記メモリに記憶され、かつ前記１つ又は複数のプロセッサによって実行されるように構成され、かつ上記ユーザーインタラクションに基づく音楽再生方法を実行するように構成される１つ又は複数のアプリケーションプログラムとを含む。

第４態様では、記憶媒体を提供し、前記記憶媒体には少なくとも１つの指令、少なくとも１セグメントのプログラム、コードセット又は指令セットが記憶され、前記少なくとも１つの指令、前記少なくとも１セグメントのプログラム、前記コードセット又は指令セットはプロセッサによりアップロードされ実行されて上記ユーザーインタラクションに基づく音楽再生方法を実現する。

本開示の実施例は、ビデオキャプチャ装置によって目標ビデオを収集し、目標ビデオ中の目標対象が目標動作を行うことを識別した場合、該目標動作に基づき対応するオーディオ処理方式を決定し、かつ該オーディオ処理方式に応じて音楽を再生することにより、ユーザーはビデオによって自分の操作に基づき個人化された音楽を自由に創作することができ、音楽の創作が制限されないとともに、音楽の創作の興趣性を増加し、ユーザー体験を向上させる。

本開示の実施例における技術的解決手段をより明確に説明するために、以下、本開示の実施例の説明に使用される必要のある図面を簡単に説明する。

図１は本開示の実施例に係るユーザーインタラクションに基づく音楽再生方法のフローチャートである。 図２は本開示の実施例に係る音楽素材の識別子表示模式図である。 図３は本開示の実施例に係る音楽素材の識別子選択方法のフローチャートである。 図４は本開示の実施例に係る音楽素材の選択肢模式図である。 図５は本開示の実施例に係るインタラクティブ操作取得模式図である。 図６は本開示の実施例に係るユーザーインタラクションに基づく音楽再生装置の構造模式図である。 図７は本開示の実施例に係る機器の構造模式図である。

図面と併せて以下の具体的な実施形態を参照することにより、本開示の各実施例の上記及び他の特徴、利点及び態様はより明らかになる。図面全体を通して、同じ又は類似する符号は同じ又は類似する要素を表す。理解できるように、図面は例示的なものであり、実物及び要素は必ずしも実寸通りに描かれるものではない。

以下、図面を参照しながら本開示の実施例をより詳細に説明する。図面には本開示のいくつかの実施例が示されているが、本開示は様々な形態で実現されてもよく、ここで説明される実施例に限定されるものとして理解されるべきではなく、むしろ、これらの実施例は本開示をより徹底的かつ完全に理解するために提供されることを理解すべきである。本開示の図面及び実施例は例示的なものに過ぎず、本開示の保護範囲を制限するものではないことを理解すべきである。

理解できるように、本開示の方法実施形態に記載される各ステップは異なる順序で実行されてもよく、及び／又は並行して実行されてもよい。また、方法の実施形態は付加的なステップを含んでもよく及び／又は示されているステップの実行を省略してもよい。本開示の範囲はこの点に制限されない。

本明細書で使用される用語「含む」及びその変形は、非限定的なものであり、すなわち「…を含むが、これらに限定されない」ことである。「に基づく」という用語は「少なくとも部分的に基づく」ことを意味する。「１つの実施例」という用語は「少なくとも１つの実施例」を意味し、「別の実施例」という用語は「少なくとも１つの別の実施例」を意味し、「いくつかの実施例」という用語は「少なくともいくつかの実施例」を意味する。他の用語の関連定義は以下の説明で与えられている。

なお、本開示で言及される「第１」、「第２」などの概念は、装置、モジュール又はユニットを区別するためのものに過ぎず、これらの装置、モジュール又はユニットが必ず異なる装置、モジュール又はユニットであることを限定するものではなく、これらの装置、モジュール又はユニットが実行する機能の順序又は相互依存関係を限定するものでもない。

なお、本開示で言及される「１つ」、「複数」の修飾は限定的ではなく例示的なものであり、当業者であれば理解できるように、文脈で特に明確に指摘されない限り、「１つ又は複数」として理解されるべきである。

本開示の実施形態における複数の装置の間のインタラクティブメッセージ又は情報の名称は、説明するためのものに過ぎず、これらのメッセージ又は情報の範囲を制限するためのものではない。

本開示に係るユーザーインタラクションに基づく音楽再生方法、装置、電気機器及び記憶媒体は、従来技術の上記の技術的課題を解決することを目的とする。

以下、具体的な実施例を用いて、本開示の技術的解決手段及び本開示の技術的解決手段がどのように上記技術的課題を解決するかについて詳細に説明する。以下のいくつかの具体的な実施例を互いに組み合わせることができ、同じ又は類似する概念又は過程については、いくつかの実施例で詳細な説明を省略する可能性がある。以下、図面を参照しながら、本開示の実施例を説明する。

本開示の実施例は、ユーザーインタラクションに基づく音楽再生方法を提供し、図１に示すように、該方法は、
ビデオキャプチャ装置によって目標ビデオを収集するステップＳ１０１と、
前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するステップＳ１０２と、
前記オーディオ処理方式に応じて音楽を再生するステップＳ１０３とを含む。

本開示の実施例に係るユーザーインタラクションに基づく音楽再生方法は端末機器に適用され、該端末機器における１つのＡＰＰ（Ａｐｐｌｉｃａｔｉｏｎ、アプリケーション）であってもよく、あるＡＰＰにおける１つの機能であってもよく、該ユーザー端末にはビデオキャプチャ装置が配置されてもよく、選択的に、フロントカメラであってもよく、ユーザーは該端末機器によって該音楽再生方法の音楽再生トリガー操作をトリガーすることができ、該端末機器は該音楽再生トリガー操作に基づいてビデオキャプチャ装置によって目標ビデオをキャプチャし、該目標ビデオに目標対象が目標動作を示すことを識別した場合、該目標動作に基づき対応するオーディオ処理方式を決定し、かつ該オーディオ処理方式に応じて音楽を再生することにより、ユーザーは自分の操作に基づき個人化された音楽を自由に創作することができ、音楽の創作が制限されないとともに、音楽の創作の興趣性を増加し、ユーザー体験を向上させる。

本開示の実施例では、音楽再生トリガー操作とはユーザーが本開示に係るユーザーインタラクションに基づく音楽再生方法を実現するためのＡＰＰを開く操作を指し、又は該ＡＰＰ中の該方法に基づき実現されるある機能を起動する操作を指し、ここで、該機能は本開示に係るユーザー操作に基づく音楽再生方法を実現することができる。本開示の実施例では、目標対象は目標ビデオにおける人の体のある部位、例えば手、足、口等であってもよく、目標動作は手、足の動き又は口の開閉等であってもよい。本開示の実施例では、目標対象の示されている目標動作に基づき対応するオーディオ処理方式を決定し、かつ該オーディオ処理方式に応じて音楽を再生することができる。

本開示の実施例について、説明を容易にするために、１つの具体的な実施例を例とし、本開示の実施例に係る該ユーザーインタラクションに基づく音楽再生方法を、あるＡＰＰにおける音楽編集機能として実現することができ、ユーザーの音楽生成トリガー操作は該ＡＰＰの該機能を開く操作であってもよく、例えば該ＡＰＰインタフェースの該機能の対応する仮想ボタンをクリックし、又は音声若しくはジェスチャー等の操作によって該機能を起動し、端末機器は該音楽生成トリガー操作に応答して、ビデオキャプチャ装置によって目標ビデオを収集し、選択的に、端末機器の表示インタフェースによって該目標ビデオを表示し、かつ目標ビデオにおけるコンテンツを識別する。本開示の１つの実施例として、目標ビデオに目標対象があり、かつ目標対象が目標動作を示すことを識別した場合に、該目標動作の対応するオーディオ処理方式を決定し、選択的に、目標対象は目標ビデオにおける人の体のある部位、例えば手、足、口等であってもよく、目標動作は手、足の動き又は口の開閉等であってもよい。本開示の１つの実施例として、目標対象が目標動作を示すことは、目標ビデオにおける人の手がビデオにおいて再生インタフェースのある部位をタッチすることであってもよく、選択的に、該目標動作の対応するオーディオ処理方式を決定するときに、該目標に対応する部位に基づき、該部位に関連するオーディオ処理方式を決定することができ、選択的に、異なる部位に対応するオーディオ処理方式が異なり、対応するオーディオ処理方式を決定した後、該オーディオ処理方式に応じて音楽を再生する。

本開示の実施例はビデオキャプチャ装置によって目標ビデオをキャプチャし、該目標ビデオに目標対象が目標動作を示すことを識別した場合、該目標動作に基づき対応するオーディオ処理方式を決定し、かつ該オーディオ処理方式に応じて音楽を再生することにより、ユーザーは自分の操作に基づき個人化された音楽を自由に創作することができ、音楽の創作が制限されないとともに、音楽の創作の興趣性を増加し、ユーザー体験を向上させる。

本開示の実施例は１つの可能な実現形態を提供し、該実現形態では、前記オーディオ処理方式は、具体的に、前記音楽に前記目標動作の対応する目標サウンドトラックを追加して再生することである。

本開示の実施例では、サウンドトラック処理方式に応じて音楽を再生するときに、音楽に該目標動作の対応する目標サウンドトラックを追加して再生することであってもよい。

本開示の実施例について、異なる目標動作は異なるオーディオ処理方式に対応することができ、異なるオーディオ処理方式は対応して異なるサウンドトラックを再生し、選択的に、オーディオ処理方式に応じて音楽を再生するときに、音楽に該オーディオ処理方式の対応するサウンドトラックを追加して再生することであってもよい。本開示の１つの実施例として、サウンドトラックは予め設定された一つの音楽であってもよく、又は予め設定された楽器で演奏された音楽であってもよく、選択的に、予め設定された音楽中のある楽器で演奏された部分であり、目標動作に基づき対応するオーディオ処理方式を決定するときに、目標動作に基づき対応するサウンドトラックを決定し、かつ音楽に該サウンドトラックを追加して再生することであってもよい。本開示の１つの実施例として、目標動作に基づき決定されるサウンドトラックがピアノで演奏された一つの音楽であると、オーディオ処理方式に応じて音楽を再生するときに、音楽に該一つのピアノで演奏された音楽を追加して再生することができる。

本開示の実施例は目標動作に基づき対応するオーディオ処理方式を決定し、かつ対応するサウンドトラックを決定し、オーディオ処理方式に応じて音楽を再生するときに、対応するサウンドトラックを音楽に追加して再生し、ユーザーは動作によって音楽に異なるサウンドトラックを追加することができ、音楽の創作可能性が高い。

本開示の実施例は１つの可能な実現形態を提供し、該実現形態では、前記目標動作は、具体的に、前記目標ビデオの再生インタフェースにおける、前記再生インタフェースでの目標位置に対する前記目標対象のタッチ動作であり、前記目標位置は前記目標サウンドトラックと対応する。

本開示の実施例では、目標ビデオは再生インタフェースを介して表示され、目標対象は目標ビデオにおける人の手であり、対応して、目標動作は手が再生インタフェースにおけるある位置をタッチすることであり、選択的に、目標動作が異なる位置をタッチすると、対応する目標サウンドトラックが異なる。

本開示の実施例について、目標サウンドトラックは再生インタフェースの目標位置に対応し、選択的に、目標動作が再生インタフェースのある位置にタッチすることである場合、該目標動作の対応するオーディオ処理方式を該位置の対応するサウンドトラックを再生することに決定する。本開示の１つの実施例として、再生インタフェースの左上隅の対応するサウンドトラックがギターで演奏された一つの音楽であると、目標動作が再生インタフェースの左上隅にタッチすることであることを識別した場合、音楽に該一つのギターで演奏された音楽を追加して再生する。

本開示の実施例はサウンドトラックを再生インタフェースと位置合わせして、ビデオにおける目標対象が再生インタフェースにタッチすることにより、サウンドトラック再生をトリガーして、音楽を創作する。

本開示の実施例は１つの可能な実現形態を提供し、該実現形態では、前記目標サウンドトラックは目標音楽素材のオーディオを搭載することに用いられ、前記再生インタフェースの目標位置には前記目標音楽素材の識別子がマークされる。

本開示の実施例では、再生インタフェースについては、図２に示すように、再生インタフェース２０１に少なくとも１種の音楽素材の識別子２０２が表示され、１種の音楽素材の識別子が１種の楽器を表し、例えばピアノ、ドラムセット、ハーモニカ等であり、目標ビデオにおける目標対象の目標動作に基づきその対応する音楽識別子を決定し、本開示の実施例では、再生インタフェースに表示される音楽素材の識別子は予め設定されたものであってもよく、該予め設定された音楽素材の識別子は固定化された１種又は複数種の音楽素材の識別子であってもよく、異なる音楽又は異なる音楽タイプに基づき自動に設定された１種又は複数種の音楽素材の識別子であってもよく、例えばユーザーはその編集したい音楽又は音楽タイプを選択し、端末機器はユーザーの選択操作を受信した後、その選択された音楽又は音楽タイプに基づき、対応する少なくとも１種の音楽素材の識別子を表示する。選択的に、再生される音楽はユーザーが予め選択された一曲の歌、又はＡＰＰが提供した予め設定された歌であってもよく、目標動作は再生インタフェースにおけるピアノの識別子に対応する場合、該音楽におけるピアノのサウンドトラックを音楽に追加して再生し、選択的に、ユーザーは音楽を選択し、ユーザーによる音楽選択操作に基づき、選択対象の音楽が表示されている音楽選択インタフェースを表示し、ユーザーは該選択対象の音楽の少なくとも一曲を選択することができ、音楽素材の識別子は、ユーザーが選択した音楽に含まれるサウンドトラックの対応する音楽素材の識別子を含んでもよく、かつ、該音楽素材の識別子は他の音楽素材の識別子をさらに含んでもよい。選択的に、ユーザーは複数の音楽素材の識別子を同時にクリックすることができ、このとき、複数の音楽素材の対応するサウンドトラックが出力される。

本開示の実施例は再生インタフェースの目標位置に音楽素材の識別子を表示することにより、ユーザーは音楽ニーズに応じて、異なる音楽素材の対応するサウンドトラックを選択して音楽を処理することができる。

本開示の実施例は１つの可能な実現形態を提供し、該実現形態では、前記オーディオ処理方式は、具体的に、前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生することであり、前記目標動作は、具体的に、予め設定された姿勢にマッチングする動作であり、前記予め設定された姿勢は前記目標効果音に対応する。

本開示の実施例では、ユーザービデオにおける目標動作を識別することにより、音楽に特定の特殊効果を追加することができる。

本開示の実施例について、説明を容易にするために、１つの具体的な実施例を例とし、目標対象はユーザーの手、口、頭、眼球等であってもよく、目標対象の目標動作に基づき音楽に音楽の特殊効果を追加する。選択的に、該目標対象の動作に基づき、該目標対象の対応する音楽素材の識別子の対応する音楽に対して特定の処理を行うことができ、例えばユーザーの手がピアノの識別子の表示領域に止まっているとき、指が伸張動作を行い、該伸張動作に基づきピアノサウンドトラックの音量、トーン等を調整する。又は、目標対象がユーザーの口である場合、ユーザーの口の開閉に基づき、音楽にビブラート効果を追加し、例えばユーザーの口が開状態にある場合、音楽にビブラート効果を追加する。勿論、音楽特殊効果の追加方式は本開示に係る実施例に限定されない。

本開示の実施例は目標動作により音楽に音楽特殊効果を追加し、音楽の創作がより多様化する。

本開示の実施例は可能な実現形態を提供し、図３に示すように、該実現形態では、再生インタフェースに音楽素材選択肢が表示され、該方法は、
ユーザーによる音楽素材の選択肢へのトリガー操作を受信した場合、各候補音楽素材の識別子リストを表示するステップＳ３０１と、
各候補音楽素材の識別子リストによってユーザーの音楽素材選択操作を受信し、音楽素材選択操作の対応する候補音楽素材の識別子に基づき、少なくとも１種の音楽素材の識別子を決定するステップＳ３０２とをさらに含む。

本開示の実施例では、再生インタフェースに表示される音楽素材の識別子はユーザーが選択したものであってもよい。

本開示の実施例について、説明を容易にするために、１つの具体的な実施例を例とし、図４に示すように、端末機器は再生インタフェース４０１を表示する場合、該再生インタフェース４０１に音楽素材選択肢４０２が表示され、ユーザーによる該音楽素材選択肢に対するトリガー操作を受信したときに、各候補音楽素材の識別子リストを表示し、かつ該候補音楽素材の識別子リストによってユーザーの音楽素材選択操作を受信し、かつ該音楽素材選択操作の対応する音楽素材の識別子に基づき、少なくとも１種の音楽素材の識別子を決定する。具体的には、ユーザーの選択操作に基づき、ユーザーが選択したあらゆる音楽素材の識別子を音楽生成インタラクションインタフェースに表示される音楽素材とすることができ、ユーザーが音楽を選択した前提で、ユーザーが選択した音楽に含まれる音楽素材に基づいて行ってもよく、ユーザーが選択した音楽素材には、該音楽に含まれている音楽素材がすべて含まれていない場合、ユーザーが選択した音楽素材の識別子を再生インタフェースに表示するとともに、ユーザーが選択しないが該音楽に含まれている音楽素材を同様に再生インタフェースに表示することができる。本開示の実施例について、説明を容易にするために、１つの具体的な実施例を例とし、端末機器はユーザーの音楽生成トリガー操作に応答するとき、ビデオキャプチャ装置を起動し、かつ該ビデオキャプチャ装置によってユーザービデオを取得し、かつ該ユーザービデオを再生インタフェースに表示し、図５に示すように、再生インタフェース５０１にはユーザービデオ５０２及び少なくとも１つの音楽素材の識別子５０３が表示され、該ユーザービデオにおける目標対象５０４を識別し、かつ該目標対象５０４と音楽素材の識別子５０３とのインタラクティブ操作を取得する。選択的に、該目標対象と音楽素材の識別子との間のインタラクティブ操作は目標対象が該音楽素材の識別子の表示領域に止まっていることであってもよく、又は該目標対象の音楽素材の識別子の表示領域での動作であってもよく、該インタラクティブ操作に関する音楽素材の識別子の対応するサウンドトラックに基づき音楽を生成する。

本開示の実施例では、再生インタフェースに音楽素材選択肢を表示し、かつユーザーによる音楽素材の選択操作を受信し、該選択操作に基づき再生インタフェースに表示する必要のある音楽素材の識別子を決定することにより、ユーザーは自分の好みに応じて異なる音楽素材を選択して音楽を生成することができ、個人化がより高い。

本開示の実施例は可能な実現形態を提供し、該実施形態では、前記タッチ動作の持続時間が予め設定された閾値に達する場合、前記タッチ動作を目標動作として決定する。

本開示の実施例では、目標対象のタッチ動作の持続時間により該タッチ動作が目標動作であるか否かを判定する。

本開示の実施例について、説明を容易にするために、１つの具体的な実施例を例とし、目標対象がユーザービデオにおけるユーザーの両手である場合、音楽素材の識別子の表示領域でのユーザーの手の止まっている時間に基づいて、該音楽素材の識別子の対応するサウンドトラックを音楽として出力するか否かを判定し、具体的には、該音楽素材の識別子の表示領域でのユーザーの手の止まっている時間が０．３秒よりも大きい場合、該音楽素材の識別子のサウンドトラックに基づき音楽を生成する。勿論、該時間閾値は当業者が実際の状況に応じて設定でき、これについて、本開示は限定しない。

本開示の実施例は可能な実現形態を提供し、該実施形態では、インタラクティブ操作の対応する目標音楽素材の識別子のサウンドトラックに基づき音楽を生成するステップは、
同一のタイミングで前記目標動作の対応する目標効果音が少なくとも２つであれば、前記少なくとも２つの目標効果音の拍子を合わせ、拍子を合わせられた前記少なくとも２つの目標効果音を同時に再生するステップを含む。

本開示の実施例では、目標対象のインタラクティブ操作の対象が同時に複数である可能性があり、目標対象とインタラクティブ操作を行う音楽素材の識別子が複数である場合、該複数の音楽素材の識別子の対応するサウンドトラックの拍子を合わせ、かつ拍子を合わせられたサウンドトラックを音楽に合成する。

本開示の実施例について、説明を容易にするために、１つの具体的な実施例を例とし、端末機器はビデオキャプチャ装置によってユーザービデオをキャプチャした後、再生インタフェースに該ユーザービデオを表示し、ここで、ユーザービデオにおける目標対象がユーザーの両手であり、ユーザーの両手が２つの音楽素材の識別子と同時にインタラクティブ操作を行う可能性があり、この場合、該２つの音楽素材の識別子の対応するサウンドトラックの拍子を合わせ、拍子が合わせられた後の２つのサウンドトラックを音楽に合成する。具体的には、ユーザーの両手がピアノ及びドラムセットの識別子と同時にインタラクティブ操作を行うと、ユーザーが該２つの識別子とインタラクティブ操作を行う開始時点に基づき、ピアノとドラムセットのサウンドトラックの拍子を合わせ、具体的には、ユーザーがまずピアノの識別子とインタラクティブ操作を行うと、ピアノの対応するサウンドトラックを再生し始め、ピアノの対応するサウンドトラックを再生するときに、ユーザーの手がさらにドラムセットの識別子とインタラクティブ操作を行うと、ピアノのサウンドトラックにおいて、ユーザーの手がドラムセットとインタラクティブ操作を行う次の拍子からドラムセットの対応するサウンドトラックを再生し、２つのサウンドトラックの拍子の合わせを完了し、拍子が合わせられた後の２つのサウンドトラックを音楽に合成する。

本開示の実施例では、インタラクティブ操作に対応する音楽素材の識別子が同時に複数である場合、複数の音楽素材の識別子の対応する音楽の拍子を合わせ、かつ拍子が合わせられた後のサウンドトラックを音楽に合成し、ユーザーが複数の音楽素材の識別子と同時にインタラクションすることができ、より多様な音楽が形成される。

本開示の実施例はユーザーインタラクションに基づく音楽再生装置を提供し、図６に示すように、該ユーザーインタラクションに基づく音楽再生装置６０は、インタフェース表示モジュールと、目標ビデオ収集モジュール６０１と、目標動作識別モジュール６０２と、音楽再生モジュール６０３とを含んでもよく、
インタフェース表示モジュールは、ユーザーの音楽生成トリガー操作に応答して、少なくとも１種の音楽素材の識別子が表示されている再生インタフェースを表示することに用いられ、
目標ビデオ収集モジュール６０１は、ビデオキャプチャ装置によって目標ビデオを収集することに用いられ、
目標動作識別モジュール６０２は、前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定することに用いられ、
音楽再生モジュール６０３は、前記オーディオ処理方式に応じて音楽を再生することに用いられる。

選択的に、音楽再生モジュール６０３が前記オーディオ処理方式に応じて音楽を再生するときに、前記オーディオ処理方式は、具体的に、前記音楽に前記目標動作の対応する目標サウンドトラックを追加して再生することである。

選択的に、目標動作識別モジュール６０２が、前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するときに、前記目標動作は、具体的に、前記目標ビデオの再生インタフェースにおける、前記再生インタフェースでの目標位置に対する前記目標対象のタッチ動作であり、
前記目標位置は前記目標サウンドトラックと対応する。

選択的に、前記目標サウンドトラックは目標音楽素材のオーディオを搭載することに用いられ、
前記再生インタフェースの目標位置には前記目標音楽素材の識別子がマークされる。

選択的に、音楽再生モジュール６０３が前記オーディオ処理方式に応じて音楽を再生するときに、前記オーディオ処理方式は、具体的に、前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生することである。

選択的に、目標動作識別モジュール６０２が、前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するときに、前記目標動作は、具体的に、予め設定された姿勢にマッチングする動作であり、
前記予め設定された姿勢は前記目標効果音に対応する。

選択的に、目標動作識別モジュール６０２はさらに、
ユーザーによる音楽素材の選択肢へのトリガー操作を受信した場合、各候補音楽素材の識別子リストを表示することと、
前記各候補音楽素材の識別子リストによってユーザーによる音楽素材選択操作を受信し、前記音楽素材選択操作の対応する候補音楽素材の識別子に基づき、前記目標音楽素材の識別子を決定することとに用いられる。

選択的に、前記タッチ動作の持続時間が予め設定された閾値に達する場合、前記タッチ動作を目標動作として決定する。

選択的に、音楽再生モジュール６０３は、前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生するときに、
同一のタイミングで前記目標動作の対応する目標効果音が少なくとも２つであれば、前記少なくとも２つの目標効果音の拍子を合わせ、拍子を合わせられた前記少なくとも２つの目標効果音を同時に再生することに用いられる。

本開示の実施例のユーザーインタラクションに基づく音楽再生装置は本開示の上記実施例に示されるユーザーインタラクションに基づく音楽再生方法を実行することができ、その実現原理は類似するため、ここで詳細な説明を省略する。

本開示の実施例では、ユーザーの音楽生成トリガー操作に基づき再生インタフェースを表示し、該再生インタフェースに音楽素材の識別子を表示し、該再生インタフェースに基づきユーザーによる表示された音楽素材の識別子へのインタラクティブ操作を取得し、該インタラクティブ操作の対応する目標音楽素材の識別子のサウンドトラックに基づき音楽を生成することにより、ユーザーは自分の操作に基づき個人化された音楽を自由に創作することができ、音楽の創作が制限されないとともに、音楽の創作の興趣性を増加し、ユーザー体験を向上させる。

以下、図７を参照すると、本開示の実施例を実現するのに適する電子機器７００の構造模式図を示している。本開示の実施例における端末機器は、例えば、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（可搬式マルチメディア再生機）、車載端末（例えば車載ナビゲーション端末）などの移動端末、及びデジタルＴＶ、デスクトップコンピュータなどの固定端末を含むが、これらに限定されない。図７に示される電子機器は単なる一例であり、本開示の実施例の機能及び使用範囲を制限するものではない。

電子機器は、メモリと、プロセッサとを含み、ここでのプロセッサは以下の処理装置７０１と呼ばれてもよく、メモリは以下の読み取り専用メモリ（ＲＯＭ）７０２、ランダムアクセスメモリ（ＲＡＭ）７０３及び記憶装置７０８のうちの少なくとも１つを含んでもよく、具体的には以下のとおりである。

図７に示すように、電子機器７００は、処理装置（例えば中央プロセッサ、グラフィックプロセッサなど）７０１を含んでもよく、読み取り専用メモリ（ＲＯＭ）７０２に記憶されたプログラム又は記憶装置７０８からランダムアクセスメモリ（ＲＡＭ）７０３にアップロードされたプログラムに基づいて様々な適切な動作及び処理を実行することができる。ＲＡＭ７０３には、電子機器７００の操作に必要な様々なプログラム及びデータがさらに記憶される。処理装置７０１、ＲＯＭ７０２及びＲＡＭ７０３はバス７０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続される。

通常、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどを含む入力装置７０６、例えば液晶ディスプレイ（ＬＣＤ）、スピーカ、発振器などを含む出力装置７０７、例えば磁気テープ、ハードディスクなどを含む記憶装置７０８、及び通信装置７０９などの装置はＩ／Ｏインタフェース７０５に接続できる。通信装置７０９は、電子機器７００が他の機器と無線又は有線通信を行ってデータを交換することを可能にする。図７には様々な装置を有する電子機器７００が示されるが、理解できるように、示された全ての装置を実施するか又は備えることが要求されるわけではない。より多くの又はより少ない装置を代替的に実施するか又は備えることができる。

特に、本開示の実施例によれば、フローチャートを参照して説明された上記過程はコンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは非一時的コンピュータ可読媒体上に搭載されたコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは通信装置７０９を介してネットワークからダウンロードされインストールされてもよく、又は記憶装置７０８からインストールされてもよく、又はＲＯＭ ７０２からインストールされてもよい。該コンピュータプログラムが処理装置７０１により実行されるとき、本開示の実施例の方法で限定される上記機能を実行する。

説明されるように、本開示の上記コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両方の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又はこれらの任意の組み合わせを含むが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上記任意の適切な組み合わせを含んでもよいが、これらに限定されない。本開示では、コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する任意の有形媒体であってもよく、該プログラムは指令実行システム、装置又はデバイスにより使用されてもよく、又はそれと組み合わせて使用されてもよい。本開示では、コンピュータ可読信号媒体は、ベースバンド中の又は搬送波の一部として伝播されるデータ信号を含んでもよく、コンピュータ可読プログラムコードが搭載される。このように伝播されるデータ信号は様々な形式を用いてもよく、電磁信号、光信号又は上記任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体はさらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、指令実行システム、装置又はデバイスにより使用されるか又はそれと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、任意の適切な媒体で伝送されてもよく、ワイヤー、ケーブル、ＲＦ（無線周波数）など、又は上記任意の適切な組み合わせを含むが、これらに限定されない。

いくつかの実施形態では、クライアント、サーバは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト伝送プロトコル）のような任意の現在知られている又は将来研究開発されるネットワークプロトコルを利用して通信することができ、かつ任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と互いに接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、インターネット（例えば、国際ネットワーク）及びエンドツーエンドネットワーク（例えば、ａｄ ｈｏｃエンドツーエンドネットワーク）、及び任意の現在知られている又は将来研究開発されるネットワークを含む。

上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよく、該電子機器に組み込まれることなく単独で存在するものであってもよい。

上記コンピュータ可読媒体には１つ又は複数のプログラムが搭載され、上記１つ又は複数のプログラムが該電子機器により実行されると、該電子機器は、ユーザーの音楽生成トリガー操作に応答して、少なくとも１種の音楽素材の識別子が表示されている再生インタフェースを表示し、再生インタフェースに基づき、ユーザーによる表示されている音楽素材の識別子に対するインタラクティブ操作を取得し、インタラクティブ操作の対応する目標音楽素材の識別子のサウンドトラックに基づき音楽を生成する。

１種又は複数種のプログラミング言語又はそれらの組み合わせで本開示の操作を実行するためのコンピュータプログラムコードを作成することができ、上記プログラミング言語は、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト向けのプログラミング言語を含むが、これらに限定されず、例えば「Ｃ」言語などの通常の手続き型プログラミング言語又は類似するプログラミング言語をさらに含む。プログラムコードは、ユーザーコンピュータ上で完全に実行されてもよく、ユーザーコンピュータ上で部分的に実行されてもよく、１つの独立したソフトウェアパッケージとして実行されてもよく、一部がユーザーコンピュータ上で実行され一部がリモートコンピュータ上で実行されてもよく、又はリモートコンピュータ又はサーバ上で完全に実行されてもよい。リモートコンピュータに関連する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザーコンピュータに接続されてもよく、又は、外部コンピュータに接続されてもよい（例えばインターネットサービスプロバイダを利用してインターネットを介して接続される）。

図面におけるフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を示している。この点で、フローチャート又はブロック図における各ボックスは１つのモジュール、プログラムセグメント、又はコードの一部を代表してもよく、該モジュール、プログラムセグメント、又はコードの一部は、規定された論理機能を実現するための１つ又は複数の実行可能指令を含む。なお、いくつかの代替的な実現では、ボックスにマークされた機能は図面にマークされた順序とは異なる順序で実行されてもよい。例えば、連続して示された２つのボックスは、実際にほぼ並行して実行できるが、逆の順序で実行される場合もあり、これは関連する機能に応じて決められる。なお、ブロック図及び／又はフローチャートにおける各ボックス、及びブロック図及び／又はフローチャートにおけるボックスの組み合わせは、規定された機能又は操作を実行するハードウェアに基づく専用システムで実現されてもよく、又は専用ハードウェアとコンピュータの指令との組み合わせで実現されてもよい。

本開示の実施例に説明される、関連するモジュール又はユニットはソフトウェアの形態で実現されてもよく、又はハードウェアの形態で実現されてもよい。モジュール又はユニットの名称は、ある場合には、該ユニット自体を限定するものではない。

本明細書で説明された上記機能は、１つ又は複数のハードウェア論理部材で少なくとも部分的に実行されてもよい。例えば、非限定的に使用可能な例示的なタイプのハードウェア論理部材は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

本開示の文脈では、機械可読媒体は有形媒体であってもよく、指令実行システム、装置又は機器が使用するか又は指令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか又は記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置又は機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のワイヤーに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記内容の任意の適切な組み合わせを含む。

本開示に係る１つ又は複数の実施例によれば、可能な実現形態を提供し、ユーザーインタラクションに基づく音楽再生方法を提供し、該方法は、
ビデオキャプチャ装置によって目標ビデオを収集するステップと、
前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するステップと、
前記オーディオ処理方式に応じて音楽を再生するステップとを含む。

さらに、前記オーディオ処理方式については、具体的に、前記音楽に前記目標動作の対応する目標サウンドトラックを追加して再生する。

さらに、前記目標動作は、具体的に、前記目標ビデオの再生インタフェースにおける、前記再生インタフェースでの目標位置に対する前記目標対象のタッチ動作であり、
前記目標位置は前記目標サウンドトラックと対応する。

さらに、前記目標サウンドトラックは目標音楽素材のオーディオを搭載することに用いられ、
前記再生インタフェースの目標位置には前記目標音楽素材の識別子がマークされる。

さらに、前記オーディオ処理方式は、具体的に、前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生することである。

さらに、前記目標動作は、具体的に、予め設定された姿勢にマッチングする動作であり、
前記予め設定された姿勢は前記目標効果音に対応する。

さらに、前記方法は、
ユーザーによる音楽素材の選択肢へのトリガー操作を受信した場合、各候補音楽素材の識別子リストを表示するステップと、
前記各候補音楽素材の識別子リストによってユーザーによる音楽素材選択操作を受信し、前記音楽素材選択操作の対応する候補音楽素材の識別子に基づき、前記目標音楽素材の識別子を決定するステップとをさらに含む。

さらに、前記タッチ動作の持続時間が予め設定された閾値に達する場合、前記タッチ動作を目標動作として決定する。

さらに、前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生する前記ステップは、
同一のタイミングで前記目標動作の対応する目標効果音が少なくとも２つであれば、前記少なくとも２つの目標効果音の拍子を合わせ、拍子を合わせられた前記少なくとも２つの目標効果音を同時に再生するステップを含む。

本開示の実施例に係る１つ又は複数の実施例によれば、可能な実現形態を提供し、
ビデオキャプチャ装置によって目標ビデオを収集するための目標ビデオ収集モジュールと、
前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するための目標動作識別モジュールと、
前記オーディオ処理方式に応じて音楽を再生するための音楽再生モジュールとを含む、ユーザーインタラクションに基づく音楽再生装置を提供する。

選択的に、音楽再生モジュール６０３が前記オーディオ処理方式に応じて音楽を再生するときに、前記オーディオ処理方式は、具体的に、前記音楽に前記目標動作の対応する目標サウンドトラックを追加して再生することである。

選択的に、目標動作識別モジュール６０２が、前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するときに、前記目標動作は、具体的に、前記目標ビデオの再生インタフェースにおける、前記再生インタフェースでの目標位置に対する前記目標対象のタッチ動作であり、
前記目標位置は前記目標サウンドトラックと対応する。

選択的に、前記目標サウンドトラックは目標音楽素材のオーディオを担持することに用いられ、
前記再生インタフェースの目標位置には前記目標音楽素材の識別子がマークされる。

選択的に、音楽再生モジュール６０３が前記オーディオ処理方式に応じて音楽を再生するときに、前記オーディオ処理方式は、具体的に、前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生することである。

選択的に、目標動作識別モジュール６０２が、前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するときに、前記目標動作は、具体的に、予め設定された姿勢にマッチングする動作であり、
前記予め設定された姿勢は前記目標効果音に対応する。

選択的に、目標動作識別モジュール６０２はさらに、
ユーザーによる音楽素材の選択肢へのトリガー操作を受信した場合、各候補音楽素材の識別子リストを表示することと、
前記各候補音楽素材の識別子リストによってユーザーによる音楽素材選択操作を受信し、前記音楽素材選択操作の対応する候補音楽素材の識別子に基づき、前記目標音楽素材の識別子を決定することとに用いられる。

選択的に、前記タッチ動作の持続時間が予め設定された閾値に達する場合、前記タッチ動作を目標動作として決定する。

選択的に、音楽再生モジュール６０３は、前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生するときに、
同一のタイミングで前記目標動作の対応する目標効果音が少なくとも２つであれば、前記少なくとも２つの目標効果音の拍子を合わせ、拍子を合わせられた前記少なくとも２つの目標効果音を同時に再生することに用いられる。

本開示に係る１つ又は複数の実施例によれば、
１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のアプリケーションプログラムであって、メモリに記憶され、かつ１つ又は複数のプロセッサによって実行されるように構成され、かつ上記ユーザーインタラクションに基づく音楽再生方法を実行するように構成される１つ又は複数のアプリケーションプログラムと、を含む、機器を提供する。

本開示に係る１つ又は複数の実施例によれば、記憶媒体を提供し、記憶媒体には少なくとも１つの指令、少なくとも１セグメントのプログラム、コードセット又は指令セットが記憶され、少なくとも１つの指令、少なくとも１セグメントのプログラム、コードセット又は指令セットはプロセッサによりアップロードされて上記ユーザーインタラクションに基づく音楽再生方法を実行する。

以上の説明は本開示の好ましい実施例及び使用される技術原理に対する説明に過ぎない。当業者であれば理解できるように、本開示に係る開示範囲は上記技術的特徴の特定の組み合わせからなる技術的解決手段に限定されず、上記開示の構想を逸脱することなく、上記技術的特徴又はその同等の特徴を任意に組み合わせて形成された他の技術的解決手段も含むべきである。例えば、上記特徴と、本開示に開示されており（これらに限定されない）類似する機能を有する技術的特徴とを互いに置き換えて形成された技術的解決手段が挙げられる。

また、特定の順序で各操作は説明されたが、これらの操作が示された特定の順序で実行されるか又は順次実行されることを要求するものとして理解されるべきではない。場合によって、マルチタスク及び並行処理は有利である可能性がある。同様に、以上の論述にはいくつかの具体的な実現の詳細が含まれるが、これらは本開示の範囲を制限するものとして解釈されるべきではない。個別の実施例の文脈で説明されたいくつかの特徴は単一の実施例において組み合わせて実現されてもよい。逆に、単一の実施例の文脈で説明された様々な特徴は複数の実施例において別々に又は任意の適切なサブ組み合わせの方式で実現されてもよい。

構造的特徴及び／又は方法の論理的動作に固有の言語で本主題を説明したが、理解できるように、添付の特許請求の範囲で限定される主題は必ずしも上記説明された特定の特徴又は動作に限定されるものではない。逆に、上記説明された特定の特徴及び動作は特許請求の範囲を実現する例示的な形態に過ぎない。

Claims (12)

1. ユーザーインタラクションに基づく音楽再生方法であって、
   ビデオキャプチャ装置によって目標ビデオを収集するステップと、
   前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するステップと、
   前記オーディオ処理方式に応じて音楽を再生するステップとを含む、ユーザーインタラクションに基づく音楽再生方法。
2. 前記オーディオ処理方式は、前記音楽に前記目標動作の対応する目標サウンドトラックを追加して再生するステップを含む、請求項１に記載の方法。
3. 前記目標動作は、前記目標ビデオの再生インタフェースにおける、前記再生インタフェースでの目標位置に対する前記目標対象のタッチ動作を含み、
   前記目標位置は前記目標サウンドトラックと対応する、請求項２に記載の方法。
4. 前記目標サウンドトラックは目標音楽素材のオーディオを搭載することに用いられ、
   前記再生インタフェースの目標位置には前記目標音楽素材の識別子がマークされる、請求項３に記載の方法。
5. 前記オーディオ処理方式は、前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生するステップを含む、請求項１に記載の方法。
6. 前記目標動作は予め設定された姿勢にマッチングする動作を含み、
   前記予め設定された姿勢は前記目標効果音に対応する、請求項５に記載の方法。
7. ユーザーによる音楽素材の選択肢へのトリガー操作を受信した場合、各候補音楽素材の識別子リストを表示するステップと、
   前記各候補音楽素材の識別子リストによってユーザーによる音楽素材選択操作を受信し、前記音楽素材選択操作の対応する候補音楽素材の識別子に基づき、前記目標音楽素材の識別子を決定するステップとをさらに含む、請求項４に記載の方法。
8. 前記タッチ動作の持続時間が予め設定された閾値に達する場合、前記タッチ動作を目標動作として決定する、請求項３に記載の方法。
9. 前記目標動作の対応する目標効果音に応じて前記音楽を処理した後に再生する前記ステップは、
   同一のタイミングで前記目標動作の対応する目標効果音が少なくとも２つであれば、前記少なくとも２つの目標効果音の拍子を合わせ、拍子を合わせられた前記少なくとも２つの目標効果音を同時に再生するステップを含む、請求項５に記載の方法。
10. ユーザーインタラクションに基づく音楽再生装置であって、
    ビデオキャプチャ装置によって目標ビデオを収集するための目標ビデオ収集モジュールと、
    前記目標ビデオに目標対象が目標動作を示すことを識別した場合、前記目標動作の対応するオーディオ処理方式を決定するための目標動作識別モジュールと、
    前記オーディオ処理方式に応じて音楽を再生するための音楽再生モジュールとを含む、ユーザーインタラクションに基づく音楽再生装置。
11. 機器であって、
    １つ又は複数のプロセッサと、
    メモリと、
    １つ又は複数のアプリケーションプログラムであって、前記メモリに記憶され、かつ前記１つ又は複数のプロセッサによって実行されるように構成され、かつ請求項１～９のいずれか一項に記載のユーザーインタラクションに基づく音楽再生方法を実行するように構成される１つ又は複数のアプリケーションプログラムと、を含む、機器。
12. 少なくとも１つの指令、少なくとも１セグメントのプログラム、コードセット又は指令セットが記憶されている記憶媒体であって、前記少なくとも１つの指令、前記少なくとも１セグメントのプログラム、前記コードセット又は指令セットはプロセッサによりアップロードされ実行されて、請求項１～９のいずれか一項に記載のユーザーインタラクションに基づく音楽再生方法を実現する、記憶媒体。

Images