JP4198615B2 - Apparatus and program for creating a dance model - Google Patents
Apparatus and program for creating a dance model Download PDFInfo
- Publication number
- JP4198615B2 JP4198615B2 JP2004045745A JP2004045745A JP4198615B2 JP 4198615 B2 JP4198615 B2 JP 4198615B2 JP 2004045745 A JP2004045745 A JP 2004045745A JP 2004045745 A JP2004045745 A JP 2004045745A JP 4198615 B2 JP4198615 B2 JP 4198615B2
- Authority
- JP
- Japan
- Prior art keywords
- dance
- information
- music
- data
- dance model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は舞踊手本作成用装置、及び舞踊手本作成用プログラムに係り、詳細には、音楽のテンポに同期し歌詞に合わせた意味があり、違和感のない舞踊の手本を機械的に作成する技術に関する。 The present invention relates to an apparatus for creating a dance model and a program for creating a dance model, and more specifically, mechanically creates a dance model that is synchronized with the tempo of the music and has a meaning that matches the lyrics, and has no sense of incongruity. Related to technology.
近年、文化財が深刻な危機に瀕している。現代の社会構造の変化と科学技術の進歩の中で古いものが捨て去られていくといった風潮がある。文化財もそういった流れで衰退、廃絶、消滅等の一途を辿っている。しかし、これまで人類が築き上げてきた文化遺産はどれも歴史的にも芸術的にも非常に価値が高いものばかりであり、その保存は人類においてとても重要な課題となっている。 In recent years, cultural properties are in serious danger. There is a trend that old things are thrown away in the changing social structure and advances in science and technology. Cultural assets are also steadily declining, abolishing, and disappearing. However, all the cultural heritage that has been built up by mankind has been very valuable both historically and artistically, and its preservation has become a very important issue for mankind.
その中、近年無形文化財のアーカイブ、コンテンツ化が盛んに行なわれている。無形文化財とは形のない文化財、具体的には古来伝統的に伝わる舞踊、演劇、音楽等である。無形文化財は有形の文化財に比べて形がないため保存が困難である。無形文化財をアーカイブ、コンテンツ化することで、無形文化財にデジタル化の利点を加えることができる。それらは主に記録、保存性、安定性の向上、伝達、利用のし易さ等であり、それらを生かすことにより無形文化財の記録、保存伝承、更なる発展等が可能になると考えることができる。 In recent years, intangible cultural assets have been actively archived and made into contents. An intangible cultural property is an intangible cultural property, specifically dances, theater, music, etc. that are traditionally transmitted from ancient times. Intangible cultural properties are difficult to preserve because they have no shape compared to tangible cultural properties. By archiving and converting intangible cultural properties into intangible cultural properties, the benefits of digitization can be added to intangible cultural properties. These are mainly records, preservation, stability improvement, transmission, ease of use, etc., and it can be considered that intangible cultural properties can be recorded, preserved, passed on, and further developed. it can.
無形文化財の一つに日本の伝統舞踊がある。これも、近年後継者が不足し存続が危ぶまれているものの一つである。加えて舞踊は演舞する人の技術によって成り立っているので、楽譜、台本等である程度の形態を残せる音楽、演劇に比べて更に保存、伝承が難しい。現在舞踊のコンテンツ化は他の無形文化財同様盛んに行なわれている。代表的なものに舞踊譜を利用する方法がある。 One of the intangible cultural properties is Japanese traditional dance. This is one of the things that have been in danger of survival due to lack of successors in recent years. In addition, since dance is based on the skills of the performers, it is more difficult to preserve and pass on than music and theatrical performances that can leave a certain form in music scores and scripts. Currently, dance content is being actively promoted like other intangible cultural properties. A typical method is to use a dance score.
舞踊譜とは音楽で言う楽譜のようなものである。主に演舞者の動くべき動作を音楽の音符のように、図形や記号の羅列によって記述、保存しようというものである。日本ではこれまであまり用いられなかったが、海外ではバレエ等の世界で古くから用いられている方法である。現在、最も広く用いられている記譜法は、ラバン式身体運動記譜法である（非特許文献１参照）。この方法は、体のそれぞれの部分にそれぞれの譜面が用意されていて、舞踊を定式化できる。ただし、最初に見ると複雑なので、それを見てすぐに踊るということは難しい。 A dance score is like a musical score. It is mainly intended to describe and save the performer's actions that should be performed using a series of figures and symbols like musical notes. This method has not been used so far in Japan, but has been used overseas since ancient times in the world such as ballet. Currently, the most widely used notation is Laban type body movement notation (see Non-Patent Document 1). In this method, each musical score is prepared for each part of the body, and the dance can be formulated. However, since it is complicated at first, it is difficult to dance immediately after seeing it.
確かに、踊りの保存だけを目的としているのであればこのような方法が最適で、最も好ましい。しかし、踊りの本質を考えた場合、本来踊りとは人の技術によって成り立っており、無形文化財の保存とは単に踊りを形的に保存することの他に、新しい踊りの創作、伝承も重要であるが、上述した舞踊譜を用いた方法では、舞踊譜を作成するために有識者の手間と時間が掛かる割には、作成された舞踊譜を初心者が理解するのに知識と慣れを必要とするため効率的ではない。 Certainly, such a method is optimal and most preferred if it is only for preservation of dances. However, when considering the essence of dance, dance originally consists of human skills, and the preservation of intangible cultural properties is not only the simple preservation of dance, but the creation and transmission of new dance is also important. However, in the method using the above-described dance score, knowledge and familiarity are required for beginners to understand the created dance score, although it takes time and effort for experts to create a dance score. Is not efficient.
本発明は、上記実情に鑑みてなされたもので、音楽のテンポに同期し且つ歌詞に合った、意味のある違和感のない舞踊手本を自動生成することができる舞踊手本作成用装置及び舞踊手本作成用プログラムを提供することを課題とする。 The present invention has been made in view of the above circumstances, and an apparatus for creating a dance model and a dance that can automatically generate a meaningful and comfortable dance model that is synchronized with the tempo of music and that matches the lyrics. It is an object to provide a program for creating a model.
請求項１に記載した発明では、舞踊手本の音楽として指定された音楽データのテンポ情報と、その音楽データの歌詞情報とから成る音楽情報を取得する音楽情報取得手段と、前記音楽情報取得手段により取得されたテンポ情報及び歌詞情報に基づき格納部からモーションデータを抽出する動作情報抽出手段と、前記動作情報抽出手段により抽出されたモーションデータ編集して一連の舞踊手本データを作成する舞踊手本作成手段と、を備えたことにより前記課題を解決する。 According to the first aspect of the present invention, music information acquisition means for acquiring music information composed of tempo information of music data designated as music of a dance model and lyrics information of the music data, and the music information acquisition means Motion information extracting means for extracting motion data from a storage unit based on tempo information and lyric information obtained by the above, and a dancer for creating a series of dance model data by editing motion data extracted by the motion information extracting means This problem is solved by providing the creation means.
請求項２に記載した発明では、舞踊手本の音楽として指定された音楽データのテンポ情報と、その音楽データの歌詞情報とから成る音楽情報を取得する音楽情報取得機能と、前記音楽情報取得機能により取得されたテンポ情報及び歌詞情報に基づき格納部からモーションデータを抽出する動作情報抽出機能と、前記動作情報抽出機能により抽出されたモーションデータ編集して一連の舞踊手本データを作成する舞踊手本作成機能と、を備えたことにより前記課題を解決する。 According to a second aspect of the present invention, there is provided a music information acquisition function for acquiring music information composed of tempo information of music data designated as music of a dance model and lyrics information of the music data, and the music information acquisition function A motion information extraction function for extracting motion data from a storage unit based on tempo information and lyric information acquired by the above, and a dancer who creates a series of dance model data by editing the motion data extracted by the motion information extraction function This creation function is provided to solve the above problem.
本発明によれば、格納部に、歌詞に合致するレコードが存在した場合において、音楽のタイムライン上にその舞踊の適当なモーションデータを配置することにより、音楽のテンポに同期し且つ歌詞に合った意味のある舞踊手本を自動生成できる。 According to the present invention, when there is a record that matches the lyrics in the storage unit, the appropriate motion data of the dance is arranged on the music timeline to synchronize with the music tempo and match the lyrics. A meaningful dance model can be automatically generated.
以下、本発明の舞踊手本作成用装置、及び舞踊手本作成用プログラムを実施するための最良の形態について、図１から図５を参照して説明する。図１は、本実施の形態に係る、舞踊手本作成用装置の機能を備えた舞踊手本作成システムのハードウエアの構成図である。舞踊手本作成システムは、図１に示すように装置全体を制御するための制御部１を備えている。この制御部１には、データバス等のバス２を介して、舞踊手本作成システムにおける各装置に対して各種データを入力するためのキーボード３、マウス４、表示装置５、通信制御装置６、記憶装置７、記憶媒体駆動装置８、入出力インタフェース９が接続されている。制御部１は、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２を備えている。
BEST MODE FOR CARRYING OUT THE INVENTION The best mode for carrying out the dance sample creating apparatus and the dance sample creating program of the present invention will be described below with reference to FIGS. FIG. 1 is a hardware configuration diagram of a dance model creation system provided with a function of a dance model creation device according to the present embodiment. As shown in FIG. 1, the dance model creation system includes a control unit 1 for controlling the entire apparatus. The control unit 1 includes a
ＲＯＭ１１は、読み出し専用メモリーである。ＲＡＭ１２は、データの書き込みと読み出しが随時可能な半導体メモリーである。このＲＡＭ１２には、本実施形態による舞踊手本作成処理を行なうための各種エリアが確保されるようになっている。 The ROM 11 is a read-only memory. The RAM 12 is a semiconductor memory capable of writing and reading data at any time. In the RAM 12, various areas for performing the dance model creation process according to the present embodiment are secured.
表示装置５には、例えばＣＲＴやＬＣＤ等が使用される。この表示装置５には、キーボード３やマウス４による入力結果が表示されたり、舞踊手本作成処理における、舞踊手本等が表示されたりするようになっている。
For the display device 5, for example, a CRT or LCD is used. The display device 5 displays input results from the
通信制御装置６は、舞踊手本作成システムと他のパーソナルコンピューター等の各種電子機器との間をネットワーク接続するための制御装置である。 The communication control device 6 is a control device for network connection between the dance model creation system and various electronic devices such as other personal computers.
記憶装置７は、扱うプログラムやデータを保存しておく装置である。記憶装置７は、プログラム格納部１３、データ格納部１４、生成情報データベース格納部１５、振り情報データベース格納部１６、動作情報データベース格納部１７、図示しないその他の格納部等を有している。 The storage device 7 is a device for storing programs and data to be handled. The storage device 7 includes a program storage unit 13, a data storage unit 14, a generation information database storage unit 15, a swing information database storage unit 16, an operation information database storage unit 17, other storage units (not shown), and the like.
プログラム格納部１３には、本実施形態における舞踊手本作成処理プログラム等の各種プログラムが格納されている。プログラム格納部１３に格納されているプログラムの詳細な内容については、後に説明する。データ格納部１４には、ユーザーに関するデータ等のシステムが必要とする各種データが格納されている。 The program storage unit 13 stores various programs such as a dance model creation processing program in the present embodiment. Detailed contents of the program stored in the program storage unit 13 will be described later. The data storage unit 14 stores various data required by the system such as data related to users.
生成情報データベース格納部１５には、生成情報が格納されている。この生成情報データベースは、登録されている「季節、時間、天候、感情」等の生成情報別に格納されている。この生成情報は、人間により対話的に登録する方法等を用いて作成される。 The generation information database storage unit 15 stores generation information. This generation information database is stored for each generation information registered such as “season, time, weather, emotion”. This generated information is created using a method of interactively registering by a human.
振り情報データベース格納部１６には、複数のフィールドの振りレコードが多数格納されている。必要に応じてこの振りレコードの中から所定のモーション検索用キーワード等と一致している振りレコードが抽出される。また、連続して踊ることにより意味を持つ振りを作成するときに、この振り情報データベース格納部１６の中から「後続する振りフィールド」にある、後ろに続く振り情報の振りレコードを連続して使用する。 The swing information database storage unit 16 stores a large number of swing records for a plurality of fields. As needed, a swing record that matches a predetermined motion search keyword or the like is extracted from the swing record. In addition, when creating a meaningful swing by continuously dancing, the subsequent swing information swing record in the “following swing field” in the swing information database storage unit 16 is used continuously. To do.
動作情報データベース格納部１７には、動作情報が格納されている。この動作情報は、振り情報データベース格納部１６に格納されている振り情報データベースの振りレコード毎に対応している。この動作情報は、モーションキャプチャーにより３次元空間での長期舞踊経験者の動きを測定する方法等を用いて作成される。 Operation information is stored in the operation information database storage unit 17. This operation information corresponds to each swing record of the swing information database stored in the swing information database storage unit 16. This motion information is created using a method of measuring the movement of a person who has experienced long-term dance in a three-dimensional space by motion capture.
記憶媒体駆動装置８は、ＣＰＵ１０が外部の記憶媒体から音楽データやプログラム等を読み込むための駆動装置である。記憶媒体に記憶されているプログラム等には、本実施形態の舞踊手本作成用システムにより実行される舞踊手本作成処理等の各種プログラム、及び、そこで使用される生成情報、振り情報、動作情報、データ等も含まれる。 The storage medium driving device 8 is a driving device for the CPU 10 to read music data, a program, and the like from an external storage medium. The programs and the like stored in the storage medium include various programs such as dance sample creation processing executed by the dance sample creation system of the present embodiment, and generation information, swing information, and operation information used there. , Data, etc. are also included.
ここで、記憶媒体とは、音楽データやプログラムやデータ等が記憶される記憶媒体をいい、具体的には、ハードディスク、磁気テープ等の磁気記憶媒体、メモリーカードやＩＣカード等の半導体記憶媒体、ＣＤやＣＤ−ＲＯＭ、ＭＯ、ＰＤ等の光学的に情報が読み取られる記憶媒体、その他各種方法で音楽データやプログラム等が記憶される記憶媒体が含まれる。記憶媒体駆動装置８は、これらの各種記憶媒体から音楽データやプログラムを読み込む他に、書き込み可能な記憶媒体に対してＲＡＭ１２や記憶装置７に格納されているデータ等を書き込むことが可能である。 Here, the storage medium refers to a storage medium that stores music data, programs, data, and the like. Specifically, a magnetic storage medium such as a hard disk and a magnetic tape, a semiconductor storage medium such as a memory card and an IC card, Examples include storage media such as CDs, CD-ROMs, MOs, and PDs that optically read information, and other storage media that store music data, programs, and the like by various methods. In addition to reading music data and programs from these various storage media, the storage medium driving device 8 can write data stored in the RAM 12 or the storage device 7 to a writable storage medium.
本実施形態の舞踊手本作成システムでは、制御部１のＣＰＵ１０が、記憶媒体駆動装置８にセットされた外部の記憶媒体からプログラムを読み込んで、記憶装置７の各部にインストールする。そして、本実施形態による舞踊手本作成処理等の各種処理を実行する場合、記憶装置７から該当プログラムをＲＡＭ１２に読み込み、実行するようになっている。但し、記憶装置７からではなく、記憶媒体駆動装置８により外部の記憶媒体から直接ＲＡＭ１２にプログラムを読み込んで実行することも可能である。また、舞踊手本作成システムによっては、本実施形態の舞踊手本作成処理プログラム等を予めＲＯＭ１１に記憶させておき、これをＣＰＵ１０が実行するようにしてもよい。更に、本実施形態の舞踊手本作成処理プログラム等の各種プログラムやデータを、通信制御装置６を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。 In the dance model creation system of this embodiment, the CPU 10 of the control unit 1 reads a program from an external storage medium set in the storage medium driving device 8 and installs it in each unit of the storage device 7. And when performing various processes, such as the dance sample creation process by this embodiment, a corresponding program is read from the memory | storage device 7 to RAM12, and is performed. However, it is also possible to read the program from the external storage medium directly into the RAM 12 and execute it by the storage medium driving device 8 instead of from the storage device 7. Further, depending on the dance model creation system, the dance model creation processing program and the like of this embodiment may be stored in the ROM 11 in advance and executed by the CPU 10. Furthermore, various programs and data such as the dance model creation processing program of the present embodiment may be downloaded from another storage medium via the communication control device 6 and executed.
入出力インタフェース９は、音声や音楽等の出力を行なうスピーカー等の各種機器を接続するためのインタフェースである。 The input / output interface 9 is an interface for connecting various devices such as a speaker for outputting voice or music.
本実施形態の舞踊手本作成システムは、パーソナルコンピューター等を含むコンピューターシステムで構成するだけでなく、ＬＡＮのサーバー、ホストコンピューター、インターネット上に接続されたコンピューターシステム等によって構成することも可能である。 The dance model creation system according to the present embodiment can be configured not only by a computer system including a personal computer but also by a LAN server, a host computer, a computer system connected to the Internet, and the like.
次にこのように構成された本実施形態の舞踊手本作成システムによる舞踊手本作成処理の動作について説明する。図３は、舞踊手本作成処理の動作を表したフローチャートである。本実施形態による舞踊手本作成処理では、舞踊手本作成を希望する対象音楽がＣＤに記録されており、これをベースに作成する場合を例に説明する。 Next, the operation of the dance sample creation process by the dance sample creation system of the present embodiment configured as described above will be described. FIG. 3 is a flowchart showing the operation of the dance model creation process. In the dance model creation process according to the present embodiment, target music for which dance model creation is desired is recorded on a CD, and a case where the music is created based on this will be described as an example.
ＣＰＵ１０は、まず舞踊手本作成を希望する対象音楽のテンポデータを取得し、ＲＡＭ１２内のテンポデータ格納エリア１８に格納する。本実施形態では、マウス４のクリックにより作成されたテンポデータの他、記憶媒体駆動装置８により記憶媒体から読み出した外部で作成されたテンポデータ、予め図示しないデータベースに格納されているテンポデータ、通信制御装置６からダウンロードしたテンポデータ等の各種テンポデータを舞踊手本作成の対象となる音楽のテンポデータとして取得することができる。 The CPU 10 first acquires tempo data of the target music for which a dance model is desired to be created and stores it in the tempo data storage area 18 in the RAM 12. In the present embodiment, in addition to the tempo data created by clicking the mouse 4, tempo data created externally read from the storage medium by the storage medium driving device 8, tempo data stored in a database (not shown), communication Various tempo data such as tempo data downloaded from the control device 6 can be acquired as tempo data of music that is the subject of dance model creation.
ＣＰＵ１０は、次に舞踊手本作成を希望する対象音楽の歌詞データを取得し、ＲＡＭ１２内の歌詞データ格納エリア１９に格納する。本実施形態では、キーボード３の入力操作により作成された歌詞データの他、記憶媒体駆動装置８により記憶媒体から読み出した外部で作成された歌詞データ、予め図示しないデータベースに格納されている歌詞データ、通信制御装置６からダウンロードした歌詞データ、及び図示しない文字認識装置で文字認識した歌詞データ等の各種歌詞データを、舞踊手本作成の対象となる音楽の歌詞データとして取得することができる。
The CPU 10 acquires the lyrics data of the target music for which a dance model is desired to be created next, and stores it in the lyrics data storage area 19 in the RAM 12. In the present embodiment, in addition to the lyric data created by the input operation of the
そして、ＣＰＵ１０は、取得した歌詞データを解析して単語の特定を行ない、辞書検索プログラムを起動して歌詞データの解析を行なう。ここでは、歌詞データの単語解析及び補足情報解析を実行して歌詞データの解析を行なう。 Then, the CPU 10 analyzes the acquired lyric data to specify a word, activates a dictionary search program, and analyzes the lyric data. Here, the lyric data is analyzed by executing word analysis and supplementary information analysis of the lyric data.
補足情報解析とは、具体的には、踊りの性別の選択、曲のイメージの選択、及び季節の指定を行なう。踊りの性別の選択、曲のイメージの選択、季節の指定は、予め用意された選択肢の中からユーザーが選択し得るユーザーインターフェースを設ける等する。踊りの性別の選択に関する選択肢には、例えば、「男踊り／女踊り」を設ける。曲のイメージの選択に関する選択肢には、例えば、「指定しない／普通／明るい／元気な／勇ましい／粋な／いなせな」等を設ける。季節の指定に関する選択肢には、例えば、「季節の指定をしない／早春／春／晩春／初夏／梅雨／夏／晩夏／初秋／秋／晩秋／初冬／冬」等を設ける。 More specifically, supplementary information analysis involves selecting the gender of a dance, selecting an image of a song, and specifying a season. The selection of the sex of dance, the selection of the image of the song, and the designation of the season are provided with a user interface that allows the user to select from previously prepared options. For example, “male dance / female dance” is provided as an option related to the selection of sex of dance. For example, “not specified / ordinary / bright / energetic / encouraged / smart / inasena” is set as an option related to the selection of the image of the song. For example, “no season designation / early spring / spring / late spring / early summer / rainy season / summer / late summer / early autumn / autumn / late autumn / early winter / winter” is set as an option regarding the season designation.
ここで、自動生成される踊りが単調化しないように、踊りの性別毎のイメージを、更にいくつか選択して優先順位を割り当てるようにすることができる。例えば、女踊りを選択した場合には、「真面目／可愛い／普通／可憐／粋／艶っぽい／はねる」等のイメージを選択できるようにし、男踊りを選択した場合には「真面目／普通／勇ましい／粋／いなせ／元気／はねる」等のイメージを選択できるようにする。 Here, in order to prevent the automatically generated dance from becoming monotonous, it is possible to select several images for each sex of the dance and assign priority. For example, when a female dance is selected, an image such as “serious / cute / ordinary / pretty / pure / smooth / splashing” can be selected, and when a male dance is selected, “serious / normal / Be able to select images such as “Brave / Spiral / Inase / Energetic / Splashing”.
このようにしてユーザーによって入力された設定に従い、生成情報格納部を対象に検索が行なわれる。具体的には、特定の季節を表す振りの場合、生成情報格納部中の季節フィールドに、「早春／春／晩春／初夏／梅雨／夏／晩夏／初秋／秋／晩秋／初冬／冬」といった季節の名前が格納されており、ユーザー設定で季節が指定された場合は、それと一致するデータを持つレコードが抽出される。 In this way, the generated information storage unit is searched according to the setting input by the user. Specifically, in the case of a swing representing a specific season, the season field in the generation information storage section may be “early spring / spring / late spring / early summer / rainy season / summer / late summer / early autumn / autumn / late autumn / early winter / winter”. If the name of the season is stored and the season is specified in the user settings, a record having data that matches it is extracted.
特定の時間帯を表す振りの場合、生成情報格納部中の時間フィールドに、「早朝／朝／昼／夕方／晩／夜／深夜」といった時間帯名が格納されており、歌詞中に時間帯名が含まれていた場合は、それと一致するデータを持つレコードが抽出される。 In the case of a predicate representing a specific time zone, a time zone name such as “early morning / morning / daytime / evening / night / night / midnight” is stored in the time field in the generation information storage, and the time zone is included in the lyrics. If the name is included, a record having data matching it is extracted.
特定の天候を表す振りの場合、生成情報格納部中の天候フィールドに、「晴れ／曇り／雨／雪／暑い／寒い／暖かい／涼しい」といった天候の名前が格納されており、歌詞中に天候名が含まれていた場合は、それと一致するデータを持つレコードが抽出される。 In the case of a swing that represents a specific weather, the weather field in the generation information storage section stores the name of the weather such as “sunny / cloudy / rain / snow / hot / cold / warm / cool”, and the weather in the lyrics If the name is included, a record having data matching it is extracted.
特定の感情を表す振りの場合、生成情報格納部中の感情フィールドに感情の度合いが格納されている。感情フィールドは、「愛憎、喜怒、哀楽、欲求」の４つのフィールドから構成され、データはそれぞれ−１００〜１００の数値で定義され、１つのレコードが複数の感情を含むことができる。 In the case of a swing representing a specific emotion, the degree of emotion is stored in the emotion field in the generation information storage unit. The emotion field is composed of four fields of “love, hate, anger, sorrow, desire”, the data is defined by numerical values of −100 to 100, and one record can include a plurality of emotions.
次に、生成情報格納部から抽出された複数のレコードから、最も歌詞に合致するレコードが選択され、その選択されたレコードのモーション検索用キーワードがモーション検索部に引き渡される。 Next, the record that most closely matches the lyrics is selected from the plurality of records extracted from the generation information storage unit, and the motion search keyword of the selected record is delivered to the motion search unit.
モーション検索部は、辞書検索プログラムより渡された、モーション検索用キーワードに一致するキーワードを持つ振り情報データベース１６中の振りレコードを抽出する（Ｓ１０１）。振りレコードは動作情報格納部に格納された動作情報と１対１に対応している。 The motion search unit extracts a swing record in the swing information database 16 having a keyword that matches the motion search keyword passed from the dictionary search program (S101). The swing record has a one-to-one correspondence with the motion information stored in the motion information storage unit.
各フィールドの何れかがモーション検索用キーワードと一致していれば、その振りレコードは振り候補として抽出される（Ｓ１０２）。例えば、ユーザー設定で小道具が指定されている場合は、小道具を使用する振りレコードのみ検索対象となる。また、踊りの性別が指定されている場合、女踊りの場合は性別フィールドが女のデータのみが検索の対象となり、男踊りの場合は性別フィールドが男のデータのみが検索の対象となる。 If any one of the fields matches the keyword for motion search, the swing record is extracted as a swing candidate (S102). For example, when a prop is specified in the user settings, only the swing record that uses the prop is searched. In addition, when the sex of dance is specified, in the case of female dance, only the data of the female in the gender field is searched, and in the case of male dance, only the data of the male in the gender field is searched.
同じ振りが何度も続けて生成されることを防ぐため、一度確定された振りは採用時の優先度が下げられる。なお、各カテゴリが指定された場合は、カテゴリが一致する振りレコードが検索の対象となる。 In order to prevent the same swing from being generated many times in succession, once a swing is confirmed, the priority at the time of adoption is lowered. When each category is specified, a swing record with the matching category is a search target.
そして、モーション検索部の処理によって選出された動きデータがタイムライン上に配置されて最終的な舞踊が生成される（Ｓ１０３）。ここで、歌詞に合致するレコードが存在しなかった場合、モーションパートには特定の意味を持たないレコードが、後述する連結可能性に基づいて配置される。１つのモーションが決定すると、他にモーションが決まっていないものがあるかどうかの判断が成され（Ｓ１０４）、他にモーションが決まっていないものがあれば（Ｓ１０５）、上述した処理が、全てのモーションが決定されるまで繰返し行なわれる。 Then, the motion data selected by the processing of the motion search unit is arranged on the timeline, and a final dance is generated (S103). Here, when there is no record that matches the lyrics, a record that does not have a specific meaning in the motion part is arranged based on the possibility of connection described later. When one motion is determined, a determination is made as to whether there are other motions that have not been determined (S104). Repeated until motion is determined.
上記連結可能性とは、複数のレコードが抽出された場合に、既に確定された前後の振りと連結が可能かどうかの評価のことである。例えば、小道具を持っている振りの場合、扇子の状態や持ち方、或いは袖や袂の状態等が、既に確定された前後の振りとスムーズに繋がるかどうかが評価された上で決定される。 The connection possibility is an evaluation of whether or not a previous and subsequent swing and connection are possible when a plurality of records are extracted. For example, in the case of swinging with props, it is determined after evaluating whether or not the state of the fan, how to hold it, or the state of the sleeves and heels, etc., can be smoothly connected to the previously determined swing.
評価は、振りの長さと各関節の位置についてなされる。振りの長さは、挿入可能な長さかどうかを評価する。各関節の位置は、既に確定された振りと連結可能な位置にあるかどうかを評価する。各レコードには、開始時及び終了時の関節の状態がＸ軸、Ｙ軸、及びＺ軸それぞれの回転角として格納されており、これらの情報から振りの開始時及び終了時の各関節の位置及び姿勢を求めることができる。前後の振りの若干のズレは、２つの姿勢を計算により補完することで繋ぎの振りを生成している。このような処理が実行され、歌詞に最適なレコードが抽出され、動作情報格納部から動きデータが取得されて各パートのモーションが確定される。 Evaluation is made on the length of the swing and the position of each joint. The swing length is evaluated to determine whether it can be inserted. It is evaluated whether or not the position of each joint is in a position that can be connected to the already determined swing. Each record stores the joint state at the start and end as the rotation angles of the X, Y, and Z axes. From these information, the position of each joint at the start and end of the swing And the posture can be obtained. The slight deviation of the back and forth swing generates a joint swing by complementing the two postures by calculation. Such processing is executed, a record optimal for the lyrics is extracted, motion data is acquired from the motion information storage unit, and the motion of each part is determined.
また、振りの中には一部、連続して踊ることにより意味を持つ振りが存在する。このような振りのレコードには後続する振りフィールドに、後に続く振り情報が格納されている。検索を行なう際には、この連続する振りを１つの長い振りとして取り扱うものとする。小道具、関節位置等の連続する振りは、予め振り情報格納部を構築する際に既に連続しているため、振りの長さのみ評価を行なうことになる。 In addition, there are some swings that make sense by dancing continuously. In such a swing record, subsequent swing information is stored in a subsequent swing field. When performing a search, the continuous swing is handled as one long swing. Since continuous swings of props, joint positions, etc. are already continuous when the swing information storage unit is constructed in advance, only the swing length is evaluated.
舞踊の自動作成後、図４に示すようなプレビュー画面にて３ＤＣＧキャラクタを用いて舞踊を再生し、作成された舞踊全体を３Ｄ空間内の任意の視点から確認できる。作成された舞踊を好みに合わせて手動で編集を行なう場合には、図５の編集画面上で、希望の振りを条件検索で格納部から呼び出すことができ、振り単位で入れ替え、追加、削除を行なうこともできる。 After the dance is automatically created, the dance is played back using the 3DCG character on the preview screen as shown in FIG. 4, and the created dance can be confirmed from any viewpoint in the 3D space. If you want to manually edit the created dance to your liking, you can call the desired swing from the storage unit by conditional search on the editing screen of FIG. It can also be done.
この発明をある程度詳細にその最も好ましい実施態様について説明してきたが、この発明の精神と範囲に反することなしに広範に異なる実施態様を構成することができることは明白なので、この発明は添付請求の範囲において限定した以外はその特定の実施態様に制約されるものではない。 Although the present invention has been described in some detail with respect to its most preferred embodiments, it is clear that the invention can be embodied in a wide variety of embodiments without departing from the spirit and scope of the invention. It is not restricted to the specific embodiment other than limiting in.
１ 制御部
２ バス
３ キーボード
４ マウス
５ 表示装置
６ 通信制御装置
７ 記憶装置
８ 記憶媒体駆動装置
９ 入出力インタフェース
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１３ プログラム格納部
１４ データ格納部
１５ 生成情報データベース格納部
１６ 振り情報データベース格納部
１７ 動作情報データベース格納部
１８ テンポ格納エリア
１９ 歌詞格納エリア
DESCRIPTION OF SYMBOLS 1
11 ROM
12 RAM
13 program storage unit 14 data storage unit 15 generated information database storage unit 16 swing information database storage unit 17 motion information database storage unit 18 tempo storage area 19 lyrics storage area
Claims (3)
前記音楽情報取得手段により取得されたテンポ情報及び歌詞情報に基づき格納部からモーションデータを抽出する動作情報抽出手段と、
前記動作情報抽出手段により抽出されたモーションデータを編集して一連の舞踊手本データを作成する舞踊手本作成手段とを有し、
前記動作情報抽出手段による処理が、前記音楽データの各パート毎に行なわれることを特徴とする舞踊手本創作装置。 Music information acquisition means for acquiring music information composed of tempo information of music data designated as music of the dance model and lyrics information of the music data;
Motion information extraction means for extracting motion data from a storage unit based on tempo information and lyrics information acquired by the music information acquisition means;
And a dance model creating means for creating a series of dance model data by editing the motion data extracted by said operation information extracting means,
The dance model creation device , wherein the process by the motion information extraction means is performed for each part of the music data .
前記制御部が前記舞踊手本創作プログラムに基づいて、
舞踊手本の音楽として指定された音楽データのテンポ情報と、その音楽データの歌詞情報とから成る音楽情報を取得する音楽情報取得ステップと、
前記音楽情報取得ステップにより取得されたテンポ情報及び歌詞情報に基づき前記記憶装置からモーションデータを抽出する処理を、前記音楽データのパート毎に行なう動作情報抽出ステップと、
前記動作情報抽出ステップにより抽出されたモーションデータを編集して一連の舞踊手本データを作成する舞踊手本作成ステップと、
を実行することを特徴とする舞踊手本創作方法をコンピュータに実行させるためのプログラムが記録された記録媒体。 A dance model creation device having a storage device and a control unit in which motion data and a dance model creation program are recorded is processed to output the movement of a character dancing in 3D space from an arbitrary viewpoint to a display device. In the dance model creation method
Based on the dance model creation program,
A music information acquisition step of acquiring music information composed of tempo information of music data designated as music of the dance model and lyrics information of the music data;
An operation information extraction step for performing, for each part of the music data, a process of extracting motion data from the storage device based on the tempo information and lyrics information acquired by the music information acquisition step ;
A dance model creating step of creating a series of dance model data by editing the motion data extracted by the motion information extracting step ;
A recording medium on which is recorded a program for causing a computer to execute a dance model creation method characterized by
前記制御部が前記舞踊手本創作プログラムに基づいて、
舞踊手本の音楽として指定された音楽データのテンポ情報と、その音楽データの歌詞情報とから成る音楽情報を取得する音楽情報取得ステップと、
前記音楽情報取得ステップにより取得されたテンポ情報及び歌詞情報に基づき前記記憶装置からモーションデータを抽出する処理を、前記音楽データのパート毎に行なう動作情報抽出ステップと、
前記動作情報抽出ステップにより抽出されたモーションデータを編集して一連の舞踊手本データを作成する舞踊手本作成ステップと、
を実行することを特徴とする舞踊手本創作方法。 A dance model creation device having a storage device and a control unit in which motion data and a dance model creation program are recorded is processed to output the movement of a character dancing in 3D space from an arbitrary viewpoint to a display device. In the dance model creation method
Based on the dance model creation program,
A music information acquisition step of acquiring music information composed of tempo information of music data designated as music of the dance model and lyrics information of the music data;
An operation information extraction step for performing, for each part of the music data, a process of extracting motion data from the storage device based on the tempo information and lyrics information acquired by the music information acquisition step ;
A dance model creating step of creating a series of dance model data by editing the motion data extracted by the motion information extracting step ;
A dance model creation method characterized by performing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004045745A JP4198615B2 (en) | 2004-02-23 | 2004-02-23 | Apparatus and program for creating a dance model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004045745A JP4198615B2 (en) | 2004-02-23 | 2004-02-23 | Apparatus and program for creating a dance model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005235039A JP2005235039A (en) | 2005-09-02 |
| JP4198615B2 true JP4198615B2 (en) | 2008-12-17 |
Family
ID=35017920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004045745A Expired - Fee Related JP4198615B2 (en) | 2004-02-23 | 2004-02-23 | Apparatus and program for creating a dance model |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4198615B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4550099B2 (en) * | 2007-09-19 | 2010-09-22 | 株式会社コナミデジタルエンタテインメント | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM |
| JP5778523B2 (en) * | 2011-08-25 | 2015-09-16 | Kddi株式会社 | VIDEO CONTENT GENERATION DEVICE, VIDEO CONTENT GENERATION METHOD, AND COMPUTER PROGRAM |
-
2004
- 2004-02-23 JP JP2004045745A patent/JP4198615B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005235039A (en) | 2005-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10998005B2 (en) | Method and apparatus for presenting media information, storage medium, and electronic apparatus | |
| US10699684B2 (en) | Method for creating audio tracks for accompanying visual imagery | |
| US9992556B1 (en) | Automated creation of storyboards from screenplays | |
| US9332100B2 (en) | Portable communications device | |
| US20160004911A1 (en) | Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics | |
| US20130246063A1 (en) | System and Methods for Providing Animated Video Content with a Spoken Language Segment | |
| CN104166851B (en) | The interactive multimedia learning system and method for a kind of papery teaching material | |
| US20150032766A1 (en) | System and methods for the presentation of media in a virtual environment | |
| RU2322654C2 (en) | Method and system for enhancement of audio signal | |
| US20160139786A1 (en) | System, apparatus and method for the creation and visualization of a manuscript from text and/or other media | |
| US9646585B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2009217802A (en) | Document processor, document processing program and recording medium | |
| Pistola et al. | Creating immersive experiences based on intangible cultural heritage | |
| Ben-Tal et al. | How music AI is useful: engagements with composers, performers and audiences | |
| Park et al. | Finding syntactic structures from human motion data | |
| JP2009261533A (en) | Operation object control device, system, method and program | |
| JP4198615B2 (en) | Apparatus and program for creating a dance model | |
| JP2003208083A (en) | Method and device for generating teaching material, teaching material generating program, and storage medium with the teaching material generating program stored therein | |
| CN109802987A (en) | For the content delivery method of display device, driving means and display equipment | |
| JP2010039851A (en) | Apparatus, method and program for reproducing image with effect, and recording medium | |
| Chong et al. | SoundToons: Exemplar-Based Authoring of Interactive Audio-Driven Animation Sprites | |
| KR102287325B1 (en) | Method and apparatus for generating a voice suitable for the appearance | |
| Moghaddam et al. | Sketch-based dance choreography | |
| KR100383019B1 (en) | Apparatus for authoring a music video | |
| US10489450B1 (en) | Selecting soundtracks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080612 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081001 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |