JP5014184B2 - Data editing apparatus, data editing program, and reproducing apparatus - Google Patents
Data editing apparatus, data editing program, and reproducing apparatus Download PDFInfo
- Publication number
- JP5014184B2 JP5014184B2 JP2008020756A JP2008020756A JP5014184B2 JP 5014184 B2 JP5014184 B2 JP 5014184B2 JP 2008020756 A JP2008020756 A JP 2008020756A JP 2008020756 A JP2008020756 A JP 2008020756A JP 5014184 B2 JP5014184 B2 JP 5014184B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- display
- text
- time
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Document Processing Apparatus (AREA)
- Studio Circuits (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、音声の再生に合わせてテキストを所定の形態で表示するための連動表示用データを編集可能なデータ編集装置、データ編集プログラム及び再生装置に関する。 The present invention relates to a data editing apparatus , a data editing program, and a reproducing apparatus that can edit linked display data for displaying text in a predetermined form in accordance with the reproduction of sound.
音楽に合わせて画面に表示される歌詞を見ながら歌を歌うためのカラオケ機器が広く普及している。多くのカラオケ機器は、音楽の再生に合わせて歌詞を画面に表示し、歌われる部分の歌詞の表示色を適当なタイミングで滑らかに変えていく。例えば、グレーから白に歌詞の表示色を変えていく。このようなカラオケ機器は、音楽データ及び歌詞データの他に、音楽の再生に合わせて歌詞の表示色を変えるための連動表示用データを用いる。連動表示用データは、歌詞データと、歌詞を細分化した各区分に割り当てられたタイムスタンプ情報とを含む。タイムスタンプ情報は、各区分の歌詞の表示色を変える開始時間と、その区分の歌詞の表示色を変え終わるまでの時間長又は終了時間とを含む。なお、各区分の開始時間及び終了時間は、音楽の再生開始からの経過時間によって表わされる。 Karaoke devices for singing songs while watching the lyrics displayed on the screen according to the music are widely used. Many karaoke devices display lyrics on the screen as music is played, and smoothly change the display color of the lyrics to be sung at an appropriate timing. For example, the display color of the lyrics is changed from gray to white. Such karaoke equipment uses linked display data for changing the display color of lyrics in accordance with music reproduction, in addition to music data and lyrics data. The interlocking display data includes lyric data and time stamp information assigned to each segment obtained by subdividing the lyrics. The time stamp information includes a start time for changing the display color of the lyrics for each section and a time length or an end time until the display color of the lyrics for the section is changed. Note that the start time and end time of each section are represented by the elapsed time from the start of music playback.
連動表示用データの生成方法には、大別して、歌及び伴奏を含む楽曲を人が実際に聴きながら生成する方法と、歌及び伴奏を含む楽曲の楽譜データ又は音声データ、及びこの楽曲の歌詞データを用いてコンピュータが生成する方法とがある。前者の方法によれば、操作者が楽曲を聴きながら手動で連動表示用データを生成するため、コストや時間がかかる。このため、後者の方法が開発された(特許文献1、特許文献2を参照)。
The method for generating linked display data is roughly divided into a method in which a person actually listens to a song including a song and accompaniment, a score data or voice data of a song including a song and an accompaniment, and lyrics data of the song And a computer-generated method using According to the former method, since the operator manually generates the interlocking display data while listening to the music, it takes cost and time. For this reason, the latter method was developed (see
特許文献1(特許第3787545号明細書)に開示された方法によれば、コンピュータが、楽譜情報に基づく楽譜の画像を画面に表示するとともに、文字情報に基づく歌詞の文字列を画面に表示し、歌詞の各文字の位置を楽譜上の音符に対応させるように画面上のレイアウトを設定し、楽譜の横軸を時間座標として扱うことによって楽譜上の音符に対応して配置された歌詞の各文字情報に歌唱時間情報を付加する。当該方法によって生成される連動表示用データは、主に歌詞の各一文字に時間情報を付加した情報である。 According to the method disclosed in Patent Document 1 (Japanese Patent No. 3787545), a computer displays a score image based on musical score information on a screen and a text string of lyrics based on character information on the screen. , Set the layout on the screen so that the position of each character in the lyrics corresponds to the note on the score, and treat the horizontal axis of the score as the time coordinate to each of the lyrics arranged corresponding to the note on the score Singing time information is added to the text information. The interlocking display data generated by the method is mainly information in which time information is added to each character of the lyrics.
特許文献2(特開2001−175267号公報)に開示された方法によれば、コンピュータが、楽曲の音声データから歌音声データを抽出して文字データに変換し、この文字データと歌詞データとを照合し、文字データを補正して第1の照合結果を出力する。また、コンピュータは、歌詞データを音声に変換し、音声データから抽出した歌音声データと照合し、歌音声データを補正して第2の照合結果を出力する。コンピュータは、第1の照合結果と第2の照合結果から、表示歌詞に表示時間情報を割り付けた表示歌詞データを作成する。当該方法によって生成される連動表示用データは、歌詞の一部である各区分に時間情報を割り付けた情報である。 According to the method disclosed in Patent Document 2 (Japanese Patent Application Laid-Open No. 2001-175267), a computer extracts song voice data from voice data of music and converts it into character data. Collate, correct the character data, and output the first collation result. Further, the computer converts the lyrics data into speech, collates with the song speech data extracted from the speech data, corrects the song speech data, and outputs a second collation result. The computer creates display lyrics data in which display time information is assigned to the display lyrics from the first matching result and the second matching result. The interlocking display data generated by the method is information in which time information is assigned to each section that is part of the lyrics.
上記説明した特許文献1や特許文献2に開示の方法を利用することによって、必要なデータを用意すればコンピュータが自動的に連動表示用データを生成するため、手動での生成方法に比べてコストや時間を削減できる。
By using the methods disclosed in
従来は、カラオケ機器が歌詞をテレビ画面に表示する形態が一般的であった。このため、テレビ画面中の歌詞が表示される領域に適したレイアウトで歌詞を表示する連動表示用データが生成されていた。しかし、最近では、携帯電話や携帯情報端末(Personal Digital Assistant: PDA)等の画面に歌詞を表示して伴奏を再生する形態も実現されている。携帯電話やPDAの画面とテレビ画面とでは画面比率や画面サイズが異なる。このため、テレビ画面表示用に生成された連動表示用データに基づいて携帯電話やPDAの画面に歌詞を表示すると、歌詞の一部が表示されない等といった問題が生じ得る。したがって、携帯電話やPDAの画面に対応した連動表示用データを別途生成する必要があった。 Conventionally, a form in which karaoke equipment displays lyrics on a television screen has been common. For this reason, linked display data for displaying lyrics in a layout suitable for the area on the television screen where the lyrics are displayed has been generated. However, recently, a form in which lyrics are displayed on a screen of a mobile phone, a personal digital assistant (PDA) or the like to reproduce accompaniment has been realized. The screen ratio and screen size differ between the screen of a mobile phone or PDA and the television screen. For this reason, when lyrics are displayed on the screen of the mobile phone or PDA based on the interlocking display data generated for the television screen display, there may be a problem that a part of the lyrics is not displayed. Therefore, it has been necessary to separately generate interlocking display data corresponding to the screen of the mobile phone or PDA.
また、連動表示用データを利用した技術は、カラオケだけでなく、外国語を習得するための教材にも適用可能である。例えば、外国語の文章を発声した音声の再生に合わせて、その文章を画面に表示するといった教材のために連動表示用データを活用できる。なお、このような教材では、カラオケと異なり、音声の再生に合わせて文字の表示色を滑らかに変えていく必要はなく、音声の再生箇所に対応する文章を行毎又はページ毎に表示すれば良い。このように、外国語を習得するための教材とカラオケとでは、テキストの適した表示形態が異なるといった違いがある。 Moreover, the technology using the interlocking display data can be applied not only to karaoke but also to teaching materials for learning a foreign language. For example, the linked display data can be used for teaching materials such as displaying a sentence on a screen in accordance with the reproduction of a voice uttered in a foreign language. Note that with such teaching materials, unlike karaoke, it is not necessary to smoothly change the display color of the characters in accordance with the playback of the voice. If the text corresponding to the playback position of the voice is displayed for each line or page, good. As described above, there is a difference that the suitable display form of the text is different between the teaching material for learning a foreign language and karaoke.
以上説明したように、音楽や外国語等の音声の再生に合わせて歌詞や文章等のテキストを所望の形態で表示する際には、画面中のテキストの表示領域や表示形態に適した連動表示用データが用いられる必要がある。しかし、複数の表示領域又は表示形態のそれぞれに適した連動表示用データを個々に生成するのは非常に手間であり、コスト及び時間がかかる。 As described above, when displaying text such as lyrics and sentences in a desired format in accordance with the playback of audio such as music and foreign languages, linked display suitable for the text display area and display format on the screen Data needs to be used. However, it is very laborious and costly and time-consuming to individually generate interlocking display data suitable for each of a plurality of display areas or display forms.
なお、特許文献3(特開平7−046462号公報)には、映像クリップをメモリにデジタルデータとして記憶し、選択したクリップを画面上に引き伸ばしたトラックに表示し、表示されたカーソルとアイコンの操作に対応してクリップに対して編集作業を行い、編集映像プログラムを組み合わせて試写する映像編集方法と装置が開示されている。しかし、この方法及び装置においても、音声クリップを画面上に表示し、そのクリップを参照しながら歌詞や文章等のテキストを音声と関係付け、連動表示用データを生成する事は可能ではあるが、複数の表示領域又は表示形態のそれぞれに適した連動表示用データを個々に生成するのは非常に手間であり、コスト及び時間がかかる。 In Patent Document 3 (Japanese Patent Laid-Open No. 7-046462), a video clip is stored as digital data in a memory, the selected clip is displayed on a stretched track on the screen, and the displayed cursor and icon are operated. And a video editing method and apparatus for previewing a clip by combining an edited video program. However, even in this method and apparatus, it is possible to display a voice clip on the screen, relate text such as lyrics and sentences with the voice while referring to the clip, and generate linked display data. It is very laborious and costly and time-consuming to individually generate interlocking display data suitable for each of a plurality of display areas or display forms.
本発明の目的は、音声の再生に合わせてテキストを所定の形態で表示するための連動表示用データを、テキストの表示領域又は表示形態に応じて容易に編集可能なデータ編集装置、データ編集プログラム及び再生装置を提供することである。 An object of the present invention is to provide a data editing apparatus and a data editing program capable of easily editing linked display data for displaying a text in a predetermined form in accordance with the reproduction of sound according to the display area or display form of the text. And providing a playback device .
本発明は、音声の内容が記載されているテキストを音声の再生に合わせて所定の形態で表示するための連動表示用データを編集するデータ編集装置であって、前記連動表示用データを加工するデータ加工部と、前記連動表示用データを所定の表示形態で表示するための表示データを生成する表示制御部と、を備え、前記表示制御部は、前記テキストの少なくとも一部を表示する表示領域のサイズを設定し、前記連動表示用データは、前記テキストと、1文字以上の文字で構成される文字列の各々に付された、前記音声の所定の再生経過時間によって示されるタイムスタンプ情報とを有し、前記データ加工部は、前記連動表示用データの編集に関する指示に応じて、前記タイムスタンプ情報を変更することを特徴とするデータ編集装置を提供する。 The present invention is a data editing apparatus for editing linked display data for displaying a text describing the contents of a voice in a predetermined form in accordance with the playback of the voice, and processes the linked display data. comprising a data processing unit, and a display control unit for generating display data for displaying the linked display data in a predetermined display form, the display control unit, a display area for displaying at least a portion of the text The interlocking display data includes time stamp information indicated by a predetermined elapsed playback time of the sound, attached to each of the text and a character string composed of one or more characters. have a, the data processing unit, in response to an instruction about editing of the interlocking display data, to provide a data editing apparatus and changes the time stamp information .
上記データ編集装置では、前記タイムスタンプ情報は、前記テキストの表示形態または表示領域の設定値によって変わらない固有の時間情報である。 In the data editing apparatus, the time stamp information is unique time information that does not change depending on a display form of the text or a set value of the display area.
上記データ編集装置では、前記データ編集装置は、前記連動表示用データを加工するデータ加工部を備え、前記データ加工部は、前記タイムスタンプ情報を変更する。 In the data editing apparatus, the data editing apparatus includes a data processing unit that processes the interlocking display data, and the data processing unit changes the time stamp information.
上記データ編集装置では、前記データ加工部は、前記連動表示用データに含まれる前記テキストを、複数の、1文字以上の文字で構成される文字列の集合であるブロックに区分けする。 In the data editing apparatus, the data processing unit divides the text included in the interlocking display data into blocks that are sets of character strings composed of a plurality of one or more characters.
上記データ編集装置では、前記連動表示用データは、前記データ加工部で区分けされた各ブロックの区画を前記音声の再生経過時間によって示すブロック情報を有し、前記ブロック情報は、前記タイムスタンプ情報の一部である、各ブロックに含まれる最初の文字列を表示し始める開始時間と、各ブロックに含まれる最後の文字列を表示し終える終了時間又は各ブロックに含まれる最後の文字列を表示し終えるまでの時間長と、を含む。 Above data editing apparatus, the interlocking display data, a section of each block divided by the data processing unit have a block information indicating the elapsed playback time of the voice, the block information, the time stamp information The start time to start displaying the first character string included in each block and the end time to finish displaying the last character string included in each block or the last character string included in each block are displayed. And the length of time to finish .
上記データ編集装置では、前記テキストの表示形態は、1つの文字列を1つのブロックに含める第1の形態、前記テキストの一行に含まれる文字列を1つのブロックに含める第2の形態、及び前記テキストの表示領域に応じた一ページに含まれる文字列を1つのブロックに含める第3の形態の内、いずれか1つ以上を有する。 In the data editing apparatus, the text display form is a first form in which one character string is included in one block, a second form in which a character string included in one line of the text is included in one block, and One or more of the third forms in which a character string included in one page corresponding to a text display area is included in one block are included.
上記データ編集装置では、前記テキストの表示形態の内の1つが設定されると、設定後のブロックに対応して前記ブロック情報が更新される。 In the data editing apparatus, when one of the text display forms is set, the block information is updated corresponding to the set block.
上記データ編集装置では、前記タイムスタンプ情報は、文字列を表示し始める開始時間と、当該文字列を表示し終える終了時間又は当該文字列を表示し終えるまでの時間長と、を含む。 In the data editing apparatus, the time stamp information includes a start time at which the display of the character string is started, and an end time at which the display of the character string is completed or a time length until the display of the character string is completed.
上記データ編集装置では、前記ブロック情報は、各ブロックに含まれる最初の文字列を表示し始める開始時間と、各ブロックに含まれる最後の文字列を表示し終える終了時間又は各ブロックに含まれる最後の文字列を表示し終えるまでの時間長と、を含む。 In the data editing apparatus, the block information includes a start time for starting to display the first character string included in each block, an end time for displaying the last character string included in each block, or the last time included in each block. And the length of time until the character string is completely displayed.
上記データ編集装置では、前記ブロック情報は、前記テキストの表示領域の大きさが設定されると、設定後の大きさに対応して前記ブロック情報が更新される。 In the data editing apparatus, when the size of the text display area is set, the block information is updated according to the set size.
上記データ編集装置では、前記テキストの表示領域は、行数及び一行当たりの最大バイト数によって設定される。 In the data editing apparatus, the text display area is set by the number of lines and the maximum number of bytes per line.
上記データ編集装置では、前記テキストの表示領域は、行数及び一行当たりの最大文字数によって設定される。 In the data editing apparatus, the text display area is set by the number of lines and the maximum number of characters per line.
上記データ編集装置では、前記表示制御部で生成された表示データに基づく前記所定の表示形態で表示される編集画面は、前記テキストの少なくとも一部を表示する第1の領域と、前記複数のブロックに区分けされた前記テキストの文字列を、前記ブロック情報に基づいて、各ブロック毎に前記再生経過時間の時間軸上に並べて表示する第2の領域と、を含む。 In the data editing apparatus, the editing screen displayed in the predetermined display form based on the display data generated by the display control unit includes a first area displaying at least a part of the text, and the plurality of blocks And a second area for displaying the character strings of the text divided into two on the time axis of the elapsed playback time for each block based on the block information.
上記データ編集装置では、前記テキストの表示形態として前記第1の形態又は前記第2の形態が設定されたとき、前記第1の領域には、前記テキストの一部が行毎に表示され、前記テキストの表示形態として前記第3の形態が設定されたとき、前記第1の領域には、前記テキストの一部がページ毎に表示される。 In the data editing apparatus, when the first form or the second form is set as the display form of the text, a part of the text is displayed for each line in the first region, When the third form is set as the text display form, a part of the text is displayed for each page in the first area.
上記データ編集装置では、前記編集画面は、前記テキストの表示領域を示す情報又は前記テキストの表示形態を示す情報を表示する。 In the data editing apparatus, the editing screen displays information indicating a display area of the text or information indicating a display form of the text.
上記データ編集装置では、前記表示制御部は、1つのブロックが含む全ての文字列を前記第2の領域に表示できないとき、前記ブロック内に所定のイメージ又は文字列を表示するよう前記表示データを処理し、前記所定のイメージ又は文字列又は前記ブロックが選択されたとき、前記全ての文字列を異なる画面に表示する表示データを生成する。 In the data editing apparatus, when the display control unit cannot display all the character strings included in one block in the second area, the display control unit displays the display data so as to display a predetermined image or character string in the block. When the predetermined image or character string or the block is selected, display data for displaying all the character strings on different screens is generated.
上記データ編集装置では、前記表示制御部で生成された表示データに基づく前記所定の表示形態で表示される編集画面上の前記第1の領域又は第2の領域が選択されたとき、各々の領域に含まれる連動表示用データの再生経過時間に基づき、音声の再生を行う。 In the data editing apparatus, when the first area or the second area on the editing screen displayed in the predetermined display form based on the display data generated by the display control unit is selected, each area is selected. The audio is reproduced based on the elapsed reproduction time of the interlocking display data included in.
上記データ編集装置では、前記連動表示用データの編集に関する指示が禁止されている内容かを判定する判定部を備え、前記禁止されている前記連動表示用データの編集に関する指示は、時間軸上でブロックの順序を変更する指示、又は時間軸上で隣接する複数のブロックを重ねる指示である。 The data editing apparatus includes a determination unit that determines whether an instruction regarding editing of the interlocking display data is prohibited, and the instruction regarding editing of the prohibited interlocking display data is on a time axis. This is an instruction to change the order of blocks, or an instruction to overlap a plurality of blocks adjacent on the time axis .
上記データ編集装置では、前記連動表示用データの編集に関する指示が、前記時間軸上で隣接する複数のブロックを重ねる指示である場合、前記データ加工部は、時間的に先のブロックの前記終了時間又は時間的に先のブロックの前記時間長と時間的に後のブロックの前記開始時間を同時間に保ったまま前記連動表示用データを加工する。 Above data editing apparatus, an instruction about editing of the interlocking display data, when an instruction to overlay a plurality of blocks adjacent on the time axis, the data processing unit, the end time of the temporally preceding block or temporally processing the interlocking display data while keeping the same time the start time of the time length and the temporally subsequent block of the previous block.
上記データ編集装置では、前記連動表示用データに基づいて前記音声の再生に合わせて前記テキストを前記所定の形態で表示中に一時停止されたとき、前記データ加工部は、一時停止されたときの再生経過時間に前記所定の形態で表示されていた文字列が含まれるブロックの開始時間又は終了時間又は時間長を前記再生経過時間に変更する。 In the data editing device, when the text is paused while being displayed in the predetermined form in accordance with the playback of the voice based on the interlocking display data, the data processing unit is The start time or end time or time length of the block including the character string displayed in the predetermined form in the playback elapsed time is changed to the playback elapsed time.
上記データ編集装置では、前記音声の再生時間の一部の範囲のデータと前記テキストのデータとを用いて、前記一部の範囲の連動表示用データを生成するデータ生成部を備えた。 The data editing apparatus includes a data generation unit that generates data for interlocking display of the partial range using the partial data of the audio reproduction time and the text data.
上記データ編集装置では、前記表示制御部は、文字列毎に信頼度が付された連動表示用データに基づいて、各文字列の表示色又は模様が信頼度によって異なるよう表示データを生成する。 In the data editing apparatus, the display control unit generates display data based on the interlocking display data to which the reliability is given for each character string so that the display color or pattern of each character string varies depending on the reliability.
上記データ編集装置では、前記データ加工部は、1つの音声データ及びこれに対応するテキストデータに基づいて生成された複数の連動表示用データを用いて、指定された範囲の連動表示用データを別の連動表示用データの同範囲のデータに置き換える。 In the data editing device, the data processing unit separates the linked display data within a specified range using a plurality of linked display data generated based on one audio data and corresponding text data. Replace the data with the same range of the linked display data.
上記データ編集装置では、前記連動表示用データは、1文字以上の文字で構成される文字列の各々に付された、前記第1の領域に表示されるテキストの行番号を示す行情報を有し、前記表示制御部は、前記第2の領域に表示される文字列に対応した行情報が示す行番号を前記第2の領域に表示するための表示データを生成する。 In the data editing apparatus, the linked display data includes line information indicating the line number of the text displayed in the first area, which is attached to each character string including one or more characters. The display control unit generates display data for displaying the line number indicated by the line information corresponding to the character string displayed in the second area in the second area.
上記データ編集装置では、前記第2の領域に表示されている行番号はブロックによって表示され、各ブロックの幅が、当該データ編集装置のユーザによる操作によって変更されると、前記データ加工部は、前記連動表示用データに含まれる前記行情報を加工する。 In the data editing apparatus, when the row number displayed in the second area is displayed by a block, and the width of each block is changed by an operation by the user of the data editing apparatus, the data processing unit The line information included in the interlocking display data is processed.
上記データ編集装置では、前記第2の領域には、前記第1の領域が有する行数と同数の時間軸が表示され、各時間軸には異なる行番号が付されている。 In the data editing apparatus, the second area displays the same number of time axes as the number of lines of the first area, and each time axis is assigned a different line number.
上記データ編集装置では、前記テキストの文字列の時間的な位置が変更される際、前記表示制御部は、当該変更によって影響を受ける時間軸の値を変更する。 In the data editing apparatus, when the temporal position of the character string of the text is changed, the display control unit changes the value of the time axis affected by the change.
上記データ編集装置では、前記連動表示用データの編集に関する指示が禁止されている内容かを判定する判定部を備え、前記禁止されている前記連動表示用データの編集の指示は、時間軸上でブロックの順序を変更する指示、又は時間軸上で隣接する複数のブロックを重ねる指示である。 The data editing apparatus includes a determination unit that determines whether an instruction relating to editing of the linked display data is prohibited, and the prohibited editing instruction of the linked display data is on a time axis. This is an instruction to change the order of blocks, or an instruction to overlap a plurality of blocks adjacent on the time axis.
上記データ編集装置では、前記表示制御部は、前記第2の領域に表示される文字列に対応した行情報が示す行番号及び前記第1の領域が有する行数から導出されるページ番号を前記第2の領域に表示するための表示データを生成する。 In the above data editing apparatus, the display control unit calculates the page number derived from the line number indicated by the line information corresponding to the character string displayed in the second area and the number of lines included in the first area. Display data to be displayed in the second area is generated.
上記データ編集装置では、前記表示制御部は、前記連動表示用データの1文字以上の文字で構成される文字列の各々の大きさと前記表示領域の大きさを比較し、前記第1の領域及び前記第2の領域に表示するための表示データを生成する。 In the data editing apparatus, the display control unit compares the size of the display area with the size of each character string composed of one or more characters of the linked display data, and the first area and Display data to be displayed in the second area is generated.
上記データ編集装置では、前記連動表示用データは、前記テキストの表示領域の大きさ及び、表示形態に対応した前記ブロック情報をそれぞれの設定に応じて複数保持する。 In the data editing apparatus, the interlocking display data holds a plurality of block information corresponding to the size of the display area of the text and the display form in accordance with each setting.
上記データ編集装置では、前記データ加工部は、前記タイムスタンプ情報に含まれる前記終了時間から前記開始時間を引いた値、または、前記タイムスタンプ情報に含まれる前記時間長、が0の文字列に付されたタイムスタンプ情報を編集して、当該文字列の前記タイムスタンプ情報に含まれる前記終了時間から前記開始時間を引いた値、または、前記タイムスタンプ情報に含まれる前記時間長が所定値以上の時間となるよう前記連動表示用データを加工する。 In the data editing apparatus, the data processing unit converts a value obtained by subtracting the start time from the end time included in the time stamp information or the time length included in the time stamp information into a character string of 0. A value obtained by editing the attached time stamp information and subtracting the start time from the end time included in the time stamp information of the character string , or the time length included in the time stamp information is a predetermined value or more. The interlocking display data is processed so that the time becomes.
上記データ編集装置では、前記タイムスタンプ情報に含まれる前記終了時間から前記開始時間を引いた値、または前記タイムスタンプ情報に含まれる前記時間長、が0の文字列は、句読点又は特殊文字である。
In the data editing apparatus, a character string in which a value obtained by subtracting the start time from the end time included in the time stamp information or the time length included in the time stamp information is a punctuation mark or a special character. .
本発明は、コンピュータを、上記データ編集装置が備える各部として機能させるためのデータ編集プログラムを提供する。 The present invention provides a data editing program for causing a computer to function as each unit included in the data editing apparatus.
本発明は、音声の再生に合わせて、上記データ編集装置又は上記データ編集プログラムにより編集された連動表示用データに基づくテキストを所定のタイミングで表示する再生装置を提供する。 The present invention provides a playback device that displays text based on linked display data edited by the data editing device or the data editing program at a predetermined timing in accordance with the playback of audio.
本発明は、上記データ編集装置又は上記データ編集プログラムにより編集された連動表示用データに基づき、音声の再生に合わせてテキストを表示し、その表示部分を利用してユーザの選択箇所を取得する事により、その文字列から再生を開始する再生装置を提供する。 The present invention displays text in accordance with voice reproduction based on the interlocking display data edited by the data editing apparatus or the data editing program, and acquires a user's selection location using the display portion. Thus, a playback device that starts playback from the character string is provided.
本発明に係るデータ編集装置、データ編集プログラム及び再生装置によれば、連動表示用データを表示領域又は表示形態に応じて容易に編集することができる。 According to the data editing device , the data editing program, and the playback device according to the present invention, the interlocking display data can be easily edited according to the display area or the display form.
以下、本発明の実施形態について、図面を参照して説明する。以下説明する実施形態のデータ編集装置は、音声の再生に合わせてテキストを所定の形態で表示するための、予め生成された連動表示用データを編集するために用いられる。なお、音声とは、カラオケの伴奏、バックコーラス、歌声や外国語の音声教材等である。テキストは、句読点や特殊文字を含む日本語又は外国語の文章、歌詞等である。また、所定の形態でテキストを表示するとは、例えば、テキストの表示色の透過率を50%から0%に変更したり、テキストの表示色を別の見やすい色に変更することや、テキストが全く表示されていない状態から表示することである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. A data editing apparatus according to an embodiment described below is used for editing linked display data generated in advance for displaying text in a predetermined form in accordance with the reproduction of sound. Note that “speech” means karaoke accompaniment , back chorus , singing voice, foreign language audio teaching materials, and the like. The text is a Japanese or foreign sentence, lyric, etc. including punctuation marks and special characters. In addition, displaying text in a predetermined form means, for example, changing the transparency of the text display color from 50% to 0%, changing the text display color to another easy-to-see color, It is to display from a state that is not displayed.
また、データ編集装置にはモニターが接続されている。データ編集装置は、編集中の連動表示用データをユーザが視覚的かつ直感的に把握できる画面をモニターに表示するよう動作する。 A monitor is connected to the data editing apparatus. The data editing apparatus operates to display on the monitor a screen on which the user can visually and intuitively grasp the interlocking display data being edited.
連動表示用データが生成される際、テキストは1文字以上の文字で構成される文字列に分けられる。この文字列は、形態素(言語で意味を持つ最小単位)でも文字1つでも音素(言語の持つ音の最小単位)でも構わない。以降の説明においては、形態素を例として用いるものとする。生成された連動表示用データは、テキストデータと、テキストを細分化した各形態素に割り当てられた固有の時間情報であるタイムスタンプ情報とを含む。タイムスタンプ情報は、各形態素を所定の形態で表示する開始時間と、その形態素を所定の形態で表示し終えるまでの時間長又は終了時間とを含む。これら開始時間及び終了時間は、音声の所定の再生経過時間によって示される。 When the interlocking display data is generated, the text is divided into character strings composed of one or more characters. This character string may be a morpheme (minimum unit having meaning in the language), a single character, or a phoneme (minimum unit of sound possessed by the language). In the following description, morphemes are used as examples. The generated interlocking display data includes text data and time stamp information that is unique time information assigned to each morpheme obtained by subdividing the text. The time stamp information includes a start time for displaying each morpheme in a predetermined form, and a time length or an end time until the morpheme is displayed in a predetermined form. These start time and end time are indicated by a predetermined playback elapsed time of the sound.
また、連動表示用データには、複数の形態素から構成される各グループの先頭の形態素を所定の形態で表示する開始時間と、そのグループの全ての形態素を所定の形態で表示し終えるまでの時間長又はそのグループの最後の形態素を所定の形態で表示する終了時間とを含むブロック情報も含まれる。ブロック情報の詳細については後述する。 The linked display data includes a start time for displaying the first morpheme of each group composed of a plurality of morphemes in a predetermined form, and a time until all the morphemes in the group are displayed in a predetermined form. Also included is block information including an end time for displaying the last or the last morpheme of the group in a predetermined form. Details of the block information will be described later.
(第1の実施形態)
図1は、第1の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。図1に示す連動表示用データを編集中の画面(以下「編集画面」という。)10には、テキストの表示領域を示す情報11と、テキストの表示形態を示す情報13と、テキストの実際の表示を示すテキスト部15と、テキストの形態素の一部をブロックで囲んだ状態で時系列に並べて表示するタイムライン部17とが表示される。なお、テキスト部15は、連動表示用データに含まれるテキストデータに基づく。また、タイムライン部17は、連動表示用データに含まれるタイムスタンプ情報及びブロック情報に基づく。さらに、図1に示した画面例では、表示領域として「6行30バイト」が選択され、表示形態として「カラオケモード」が選択されている。(なお、日本語の1文字は2バイトである。)
(First embodiment)
FIG. 1 is a diagram illustrating an example of a screen during editing of interlocking display data displayed on a monitor by the data editing apparatus according to the first embodiment. A
本実施形態のデータ編集装置の操作者は、表示領域として、「10行30バイト」や「3行20バイト」といったように、行数及び一行当たりの最大バイト数を設定する。編集画面のテキスト部15には、表示領域として設定された行数及び最大バイト数内に収まるテキストが表示される。なお、最大バイト数の代わりに、一行当たりの最大文字数と行数とによって表示領域を設定しても良い。
The operator of the data editing apparatus of this embodiment sets the number of lines and the maximum number of bytes per line, such as “10
また、操作者は、表示形態として、「カラオケモード」、「スクロールモード」及び「ページ切替モード」の中から1つを選択する。「カラオケモード」が選択された場合、編集画面のタイムライン部17には、1つの形態素が1つのブロックで囲まれた状態で表示される。このため、カラオケモード時の連動表示用データに含まれるブロック情報は、対応する形態素のタイムスタンプ情報が示す時間情報と同一である。
Further, the operator selects one of “karaoke mode”, “scroll mode”, and “page switching mode” as the display form. When “Karaoke Mode” is selected, one morpheme is displayed in a state surrounded by one block on the
編集画面のテキスト部15には、音声の指定された再生経過時間におけるテキストの実際の表示が示される。すなわち、テキスト部15には、指定された再生経過時間に対応する形態素を含む前後のテキストが表示され、かつ、指定された再生経過時間に対応する形態素の表示色が変わる状態が表示される。このように、カラオケモードが表示形態として選択された連動表示用データを用いて音声を再生した際は、音声の再生に合わせて、テキスト部15に表示されるテキストの再生経過時間に対応する形態素の表示色が変わる。
The
「スクロールモード」が選択された場合、編集画面のタイムライン部17には、テキスト部15に表示されるテキストの一行に含まれる形態素が1つのブロックで囲まれた状態で表示される。このため、スクロールモード時の連動表示用データに含まれるブロック情報は、各行の先頭の形態素のタイムスタンプ情報が示す開始時間と、その行の最後の形態素のタイムスタンプ情報が示す終了時間とを含む。
When “scroll mode” is selected, the morpheme included in one line of text displayed in the
編集画面のテキスト部15には、音声の指定された再生経過時間におけるテキストの実際の表示が示される。すなわち、テキスト部15には、指定された再生経過時間に対応する行を含む前後のテキストが表示され、かつ、指定された再生経過時間に対応する行の表示色が変わる状態が表示される。なお、一行当たりの文字数及び一ページ当たりの行数は、設定された表示領域に基づく。スクロールモードが選択された場合、音声の再生に合わせて、テキスト部15に表示されるテキストが行方向にスクロールされる。このように、スクロールモードが表示形態として選択された連動表示用データを用いて音声を再生した際は、音声の再生に合わせて、テキスト部15に表示されるテキストの再生経過時間に対応する行の表示色が変わる。
The
「ページ切替モード」が選択された場合、編集画面のタイムライン部17には、一ページに含まれる形態素が1つのブロックで囲まれた状態で表示される。このため、ページ切替モード時の連動表示用データに含まれるブロック情報は、各ページの先頭の形態素のタイムスタンプ情報が示す開始時間と、そのページの最後の形態素のタイムスタンプ情報が示す終了時間とを含む。
When “page switching mode” is selected, the morpheme included in one page is displayed in a state surrounded by one block on the
編集画面のテキスト部15には、音声の指定された再生経過時間におけるテキストの実際の表示が示される。すなわち、テキスト部15には、指定された再生経過時間に対応するページのテキストが表示される。なお、一ページ当たりの行数及び一行当たりの文字数は、設定された表示領域に基づく。このように、ページ切替モードが表示形態として選択された連動表示用データを用いて音声を再生した際は、音声の再生に合わせて、テキスト部15に表示されるテキストがページ毎に切り替わる。
The
以上説明したように、本実施形態では、設定された表示領域に応じて、編集画面のテキスト部15に表示可能な行数及び文字数が変更され、設定された表示形態に応じて、テキスト部15に表示されるテキストの音声の再生に合わせた表示の仕方及び複数のブロックによるテキストの区分けの仕方が変更される。
As described above, in the present embodiment, the number of lines and the number of characters that can be displayed in the
なお、編集画面中のタイムライン部17に表示される各ブロック内には、図1に示すように、表示形態のモードに応じたテキスト(形態素、一行に含まれるテキスト、一ページに含まれるテキスト)が表示される。しかし、一ブロックに収めるべきテキストの量が多く収まらない場合は、テキストの代わりにアイコン等のイメージをブロック中に表示する。この場合、データ編集装置の操作者が、マウスによって操作可能な表示画面中のポインタをアイコンに位置させたとき、データ編集装置はこのアイコンのブロックに対応するテキストを別ウインドウ又は吹き出しに表示する。
In each block displayed on the
図2は、第1の実施形態のデータ編集装置を示すブロック図である。図2に示すように、第1の実施形態のデータ編集装置100は、入力部101と、データ記憶部103と、設定記憶部105と、受信部107と、データ加工部109と、表示制御部111とを備える。なお、受信部107、データ加工部109及び表示制御部111はプログラムを実行することによって動作する。上述したように、データ編集装置100にはモニター151が接続されている。モニター151には、表示制御部111によって生成された表示データ基づく画面が表示される。
FIG. 2 is a block diagram illustrating the data editing apparatus according to the first embodiment. As shown in FIG. 2, the
入力部101は、音声データ及びこの音声データに対応した連動表示用データをデータ記憶部103に格納するための入力インタフェースである。データ記憶部103は、入力部101を介して入力された音声データ及び連動表示用データを記憶する。設定記憶部105は、行数及び一行当たりの最大バイト数に応じた表示領域に関する情報と、カラオケモード、スクロールモード及びページ切替モードの各モードに応じた表示形態に関する情報とを記憶する。
The
受信部107は、データ編集装置100の操作者による表示領域又は表示形態の設定及び連動表示用データの編集のための操作を受け付ける。操作者は、モニター151に表示された編集画面を参照しながらGUIで編集できる。表示領域は、操作者が編集画面中の表示領域を示す情報11の部分をクリックして、新たに表示されるウインドウに行数やバイト数を入力又は変更することによって設定される。また、表示形態は、操作者が編集画面中の表示形態を示す情報13の部分をクリックして、1つのモードを選択することによって設定される。さらに、連動表示用データのタイムスタンプ情報は、編集画面中のタイムライン部17に表示されたブロックを操作者がポインタで選択して時間方向(図1では横方向)に動かしたり、ブロックの時間方向の長さを変えることによって編集される。受信部107は、受け付けた操作を解析して、その操作が示す指示をデータ加工部109に送る。
The receiving
データ加工部109は、データ記憶部103から読み出した連動表示用データを、受信部107から送られた指示に基づいて加工する。表示形態が設定された際、データ加工部109は、設定された表示形態に関する情報を設定記憶部105から読み出して、当該設定された表示形態に応じて、1つの形態素、一行に含まれる形態素、又は一ページに含まれる形態素を含む複数のブロックに区分けする。すなわち、データ加工部109は、設定された表示形態に応じて、各ブロックの開始時間及び終了時間を含むブロック情報を作成又は更新する。但し、表示形態として「スクロールモード」又は「ページ切替モード」が選択された場合、一行又は一ページ(一ブロック)に含まれる形態素は表示領域によって異なる。このため、データ加工部109は、設定された表示領域に関する情報を設定記憶部105から読み出して、一行又は一ページに含まれる形態素を、当該設定された表示領域に応じて、行又はページ毎に決定し、ブロック情報を作成又は更新する。
The
また、データ加工部109による表示形態及び表示領域に応じた処理の後、受信部107からタイムスタンプ情報の変更指示が送られると、データ加工部109は、当該指示に応じてタイムスタンプ情報を変更する。例えば、表示形態として「カラオケモード」が選択され、指定されたブロックに対応する形態素の開始タイミングをずらす指示を受け取った場合、データ加工部109は、タイムスタンプ情報中のその形態素に対応する開始時間を変更する。
Also, after the processing according to the display form and display area by the
さらに、データ加工部109は、図示しないキャッシュメモリを有し、加工した連動表示用データをこのキャッシュメモリに一時格納する。加工した連動表示用データをデータ記憶部103に書き込むよう指示されると、データ加工部109は、キャッシュメモリに格納された連動表示部データをデータ記憶部103に保存する。
Further, the
表示制御部111は、データ加工部109によって加工された連動表示用データ(テキスト、タイムスタンプ情報及びブロック情報)、並びに、表示領域及び表示形態を示す各情報を、上述した編集画面の形態でモニター151に表示するための表示データを生成する。また、表示制御部111は、受信部107が操作者からの表示領域の変更指示を受け付けると、設定された表示領域に関する情報を設定記憶部105から読み出して、編集画面のテキスト部15が所望の表示領域となるよう表示データを変更する。
The
さらに、表示制御部111は、一ブロックに収めるべきテキストの量が多く収まらない場合は、テキストの代わりにアイコンをブロック中に表示するよう表示データを変更する。当該表示データによる編集画面がモニターに表示されている際、ポインタがアイコンの位置に動かされると、表示制御部111は、このアイコンのブロックに対応するテキストを別ウインドウ又は吹き出しに表示するよう表示データを変更する。
Furthermore, when the amount of text that should be contained in one block does not fit, the
本実施形態では、データ加工部109は、連動表示用データの編集中に行ったタイムスタンプ情報の変更内容を、表示形態が変更されても保持する。例えば、表示形態としてページ切替モードが選択されている際に、あるページの先頭の形態素の開始時間が変更された場合、この後に表示形態がページ切替モードからカラオケモードに変更されても、カラオケモードにおけるこの形態素の開始時間は変更された時間である。
In the present embodiment, the
これは、表示形態にかかわらず、形態素毎にタイムスタンプ情報が固有に割り当てられ、ブロック情報は形態素のタイムスタンプ情報を利用しているためである。 This is because time stamp information is uniquely assigned to each morpheme regardless of the display form, and the block information uses time stamp information of the morpheme.
しかし、例えば、カラオケモードが選択されている際に形態素の開始時間を変更した後、表示形態をスクロールモード又はページ切替モードに変更し、かつ開始時間を変更した形態素が各モードにおけるブロックで先頭及び最後以外の途中に位置する場合、編集画面中のタイムライン部17に表示されるブロックは開始時間、終了時間に基づき表示されるため、前記形態素の開始時間変更前と変更後において表示上、変化がないように見える。
However, for example, after changing the start time of the morpheme when the karaoke mode is selected, the display form is changed to the scroll mode or the page switching mode, and the morpheme whose start time is changed is Since the block displayed on the
(第2の実施形態)
第2の実施形態では、時間軸上でブロックの順序を変更する操作、及び時間軸上で隣接する複数のブロックを重ねる操作を禁止する。すなわち、データ編集装置の操作者は、編集画面を参照してブロックを動かす際に、時間軸上でブロックの順序を変更したり、時間軸上で隣接する複数のブロックを重ねる操作ができない。この機能を実現するため、本実施形態のデータ編集装置は、第1の実施形態のデータ編集装置100が備える構成要素に加えて、受信部107とデータ加工部109との間に判定部113を備える。
(Second Embodiment)
In the second embodiment, an operation of changing the order of blocks on the time axis and an operation of overlapping a plurality of adjacent blocks on the time axis are prohibited. That is, the operator of the data editing apparatus cannot change the order of the blocks on the time axis or superimpose a plurality of adjacent blocks on the time axis when moving the blocks with reference to the editing screen. In order to realize this function, the data editing apparatus according to the present embodiment includes a
図3は、第2の実施形態のデータ編集装置を示すブロック図である。判定部113は、受信部107によって解析された操作の指示が禁止された操作か否かを判定する。判定部113は、禁止されていない操作に係る指示だけをデータ加工部109に送り、禁止されている操作に係る指示は送らない。例えば、操作者によって選択されたブロックが動かされる場合、判定部113は、このブロックと隣りのブロックとが互いに接するまでは、この操作に係る指示をデータ加工部109に送る。しかし、これら2つのブロックの少なくとも一部を重ねる操作が行われたとき、判定部113は、この操作に係る指示をデータ加工部109には送らない。
FIG. 3 is a block diagram illustrating a data editing apparatus according to the second embodiment. The
本実施形態では、編集画面のタイムライン部17に表示されている2つのブロックを重ねる操作が行われたとき、判定部113は、この操作に係る指示の代わりに、これら2つのブロックが接した状態でまとめて動かす指示をデータ加工部109に送る。図4は、表示形態としてカラオケモードが選択された状態で、空白の時間帯を挟んで隣り合う形態素のブロックの1つを動かすときの、タイムライン部17に表示される画面の一部を示す図である。図4に示すように、時間的に後のブロック21が時間的に前に動かされる場合、後のブロック21の開始時間が先のブロック23の終了時間に一致するまで後のブロック21は動かされる。しかし、後のブロック21をさらに前に動かそうとした場合、これら2つのブロック21,23が接したまま先のブロック23も動く。
In this embodiment, when an operation of overlapping two blocks displayed on the
このように、2つのブロックが接した状態でまとめて動かす指示を受け取ったデータ加工部109は、先のブロックの終了時間と後のブロックの開始時間を同時間に保ったまま、各ブロックの開始時間及び終了時間を変更するよう連動表示用データに含まれるタイムスタンプ情報及びブロック情報を加工する。なお、本実施形態では、隣り合う2つのブロックについて説明したが、時系列的に隣接する3つ以上のブロックについても同様である。また、図4では表示形態としてカラオケモードが選択されているときについて説明したが、スクロールモード及びページ切替モードについても同様である。
In this way, the
(第3の実施形態)
第3の実施形態では、音声の再生に合わせたテキストの表示を操作者が一時停止したとき、一時停止されたときの再生経過時間に所定の形態で表示されていた形態素の開始時間又は終了時間を当該再生経過時間に変更する。なお、本実施形態のデータ編集装置は、音声の再生及び連動表示用データに基づくテキストの所定の形態での表示(以下、これらをまとめて単に「再生」という。)を行う機能を有する。この機能を実現するため、本実施形態のデータ編集装置は、第1の実施形態のデータ編集装置100が備える構成要素に加えて、さらに再生部115を備える。
(Third embodiment)
In the third embodiment, when the operator pauses the display of the text in accordance with the playback of the voice, the start time or the end time of the morpheme displayed in a predetermined form during the playback elapsed time when the pause is performed Is changed to the playback elapsed time. Note that the data editing apparatus according to the present embodiment has a function of reproducing sound and displaying text in a predetermined form based on data for linked display (hereinafter, these are collectively referred to as “reproduction”). In order to realize this function, the data editing apparatus according to the present embodiment further includes a reproducing
図5は、第3の実施形態のデータ編集装置を示すブロック図である。再生部115は、データ記憶部103から音声データ及び連動表示用データを読み出して再生する。テキストは表示制御部111を介してモニター151に表示され、音声は外部に設けられたスピーカ153から出力される。本実施形態の受信部307は、操作者による再生のための操作を受け付ける。受信部307は、この操作を解析して、再生指示を再生部115に送る。再生部115は、受信部307から再生指示を受け取ると再生処理を開始する。また、受信部307は、再生を一時停止するための操作も受け付ける。再生部115は、受信部307から一時停止の指示を受け取ると再生を一時停止する。
FIG. 5 is a block diagram illustrating a data editing apparatus according to the third embodiment. The
本実施形態の受信部307は、一時停止されたときの再生経過時間に表示されていた形態素の開始時間又は終了時間を当該再生経過時間に変更するための操作も受け付ける。受信部307は、この操作が示す指示をデータ加工部109に送る。データ加工部109は、この指示に応じて連動表示用データを加工する。図6は、表示形態としてカラオケモードが選択された状態で、一時停止されたときの再生経過時間に表示されていた形態素の開始時間(a)及び終了時間(b)を当該再生経過時間に変更するときの様子を示す図である。図6(a)及び図6(b)に示すように、データ加工部109は、一時停止されたときの形態素31の開示時間又は終了時間を一時停止時の再生経過時間に変更する。なお、データ加工部109は、開始時間を変更した形態素の終了時間は変更しない。同様に、データ加工部109は、終了時間を変更した形態素の開始時間は変更しない。
The receiving
図6では、カラオケモードが選択された状態での例について説明したが、スクロールモード及びページ切替モードの場合も同様である。但し、スクロールモード及びページ切替モードの場合は、一時停止されたときの形態素が含まれるブロックの開始時間又は終了時間が変更される。 Although FIG. 6 illustrates an example in a state where the karaoke mode is selected, the same applies to the scroll mode and the page switching mode. However, in the case of the scroll mode and the page switching mode, the start time or end time of the block including the morpheme when temporarily stopped is changed.
また、本実施形態において、操作者が所定の形態で表示されているブロックを選択した場合に、受信部307は、上記ブロックに含まれる形態素を再生部115に通知し、再生部115は、上記形態素の開始時間及び終了時間を取得し、上記ブロックに含まれる形態素が該当する音声を再生するようにしてもよい。
In this embodiment, when the operator selects a block displayed in a predetermined form, the
(第4の実施形態)
第4の実施形態では、音声の再生時間の一部の範囲に対応する連動表示用データを再生成する。なお、音声の再生時間の一部の範囲は操作者によって指定される。この機能を実現するため、本実施形態のデータ編集装置は、第1の実施形態のデータ編集装置100が備える構成要素に加えて、データ生成部117を備える。
(Fourth embodiment)
In the fourth embodiment, the interlocking display data corresponding to a partial range of the audio reproduction time is regenerated. Note that the range of a part of the audio playback time is specified by the operator. In order to realize this function, the data editing apparatus according to the present embodiment includes a
図7は、第4の実施形態のデータ編集装置を示すブロック図である。データ生成部117は、操作者によって指定された範囲の連動表示用データを、この範囲の音声データとテキストデータとを用いて生成する。連動表示用データの生成方法としては、関連技術(特開2001−175267号公報)を使用しても、Web等にあらかじめ用意されている連動表示用データから該当するデータを検索し、取得しても良い。本実施形態の受信部407は、操作者による範囲を指定するための操作及びこの範囲の連動表示用データの生成を指示するための操作を受け付ける。受信部407は、これら操作を解析して、指定範囲の連動表示用データの生成指示をデータ生成部117に送る。データ生成部117は、この生成指示を受け取るとデータ記憶部103から音声データ及びテキストデータを読み出して生成処理を開始する。データ生成部117は、生成した連動表示用データをデータ記憶部103に記憶されている元の連動表示用データの該当する箇所に上書きする。
FIG. 7 is a block diagram showing a data editing apparatus according to the fourth embodiment. The
(第5の実施形態)
第5の実施形態では、データ記憶部103に格納されている連動表示用データには形態素毎に信頼度が付されている。各形態素の信頼度の導出方法は1つに限定されない。例えば、異なる者によって手動で生成された複数の連動表示用データを利用して、各形態素のタイムスタンプ情報の平均と標準偏差に基づいて信頼度を導出しても良い。なお、第5の実施形態のデータ編集装置は第1の実施形態のデータ編集装置100と構成が同じであるため、図示を省略する。
(Fifth embodiment)
In the fifth embodiment, the interlocking display data stored in the
本実施形態の表示制御部は、連動表示用データに含まれるタイムスタンプ情報を編集画面のタイムライン部17に表示するための表示データを生成する際、ブロック内に表示される形態素の表示色又は模様が信頼度によって異なるよう表示データを生成する。尚、全ての形態素毎の信頼度を合計した値がある定められた閾値より低かった場合等、その連動表示用データまたは連動表示用データの該当する音声データの名前をモニター151に表示しても良い。
When the display control unit of the present embodiment generates display data for displaying the time stamp information included in the interlocking display data on the
(第6の実施形態)
第6の実施形態では、1つの音声データ及びこれに対応するテキストデータに基づいて生成された複数の連動表示用データがデータ記憶部103に格納されており、図8に示すように、操作者によって指定された範囲の連動表示用データ41を別の連動表示用データの同範囲のデータ43に置き換える。
(Sixth embodiment)
In the sixth embodiment, a plurality of interlocking display data generated based on one voice data and corresponding text data is stored in the
この機能を実現するため、本実施形態の受信部107は、操作者による音声の再生時間の一部の範囲を指定するための操作及び当該範囲の指定された連動表示用データを別の連動表示用データのデータに置き換えるための操作を受け付ける。受信部107は、これら操作を解析して、指定範囲の指定された連動表示用データを別の連動表示用データのデータに置き換える指示をデータ加工部109に送る。データ加工部109は、データ記憶部103から連動表示用データを読み出して、受信部107から送られた指示に応じて連動表示用データを加工する。なお、第6の実施形態のデータ編集装置は第1の実施形態のデータ編集装置と構成が同じであるため、図示を省略する。
In order to realize this function, the receiving
なお、各連動表示用データに第4の実施形態で説明した信頼度が付されている場合、操作者は信頼度を参照して置き換える範囲及び置き換え元の連動表示用データを決定しても良い。 When the reliability described in the fourth embodiment is attached to each linked display data, the operator may determine the replacement range and the linked linked display data with reference to the reliability. .
(第7の実施形態)
第7の実施形態では、上記説明した実施形態の構成に加えて、連動表示用データが、各形態素に割り当てられる情報として、タイムスタンプ情報だけでなく、設定された表示領域に基づいてテキスト部15に表示されるテキストの行番号を示す情報(以下「行情報」という。)を含む。図9は、第7の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。図9に示すように、表示制御部111は、連動表示用データに含まれる各形態素に割り当てられた行情報及び表示領域に基づいて、本実施形態の編集画面20のタイムライン部27に、タイムライン271と平行にして、行ブロック273及びページブロック275をモニター151に表示するよう制御する。行ブロック273は、各形態素が何行目に表示されるかを示し、ページブロック275は、各形態素が何ページ目に表示されるかを示す。なお、本実施形態における行及びページは、テキスト部15に表示される実際の行及びページではなく、テキスト部15に表示され得るテキスト全体の内の行及びページをいう。
(Seventh embodiment)
In the seventh embodiment, in addition to the configuration of the above-described embodiment, the linked display data is not only time stamp information but also a
ページブロック275が示すページ番号は、形態素に割り当てられた行番号と表示領域が示す行数とから導出できる。図9に示した例では、表示領域として「2行16バイト」が選択されているため、テキスト部15には1ページ当たり2行が表示される。したがって、1行目又は2行目として割り当てられた形態素は1ページ目に表示され、3行目又は4行目として割り当てられた形態素は2ページ目に表示される。
尚、各表示領域が示す行数とバイト数により導出される上記複数のページ番号を連動表示用データに保持してもよい。
The page number indicated by the
The plurality of page numbers derived from the number of lines and the number of bytes indicated by each display area may be held in the interlocking display data.
本実施形態のデータ編集装置の操作者は、タイムライン部27中の行ブロック273の左右の端のいずれかを、マウスによって操作可能な表示画面中のポインタを用いて左右にスライドすることができる。行ブロック273の端がスライドされることによって、データ加工部109は、当該端にかかる形態素に割り当てられている行情報を変更する。
The operator of the data editing apparatus according to the present embodiment can slide either the left or right end of the
例えば、図9に示す編集画面20で、操作者が、2行目を示す行ブロックの右端(3行目を示す行ブロックの左端)を点線で示す位置まで左にスライドすると、2行目の最後の形態素である「の」の行情報が、2行目から3行目に変更される。なお、当該例では、2行目を示す行ブロックの右端(3行目を示す行ブロックの左端)と1ページ目を示すページブロックの右端(2ページ目を示すページブロックの左端)は同一時間上に位置すべきであるため、上記スライドを行うと、1ページ目を示すページブロックの右端(2ページ目を示すページブロックの左端)も同様にスライドされる。
For example, on the
また、行情報は、形態素の途中で切り替わることはないため、操作者が行ブロックの端を形態素の中間までスライドした場合には、当該形態素の開始時間及び終了時間とスライドした位置の時間を比較し、近い位置へ自動的に行ブロックの端をスライドし、該当する形態素の行情報についても上記行ブロックの端をスライド後の値に変更してもよい。尚、頁情報においても前記行情報の操作時と同様である。 In addition, since the line information does not change in the middle of the morpheme, when the operator slides the end of the line block to the middle of the morpheme, the start time and end time of the morpheme are compared with the time of the slide position. Then, the end of the row block may be automatically slid to a close position, and the end of the row block may be changed to the value after the slide for the corresponding morpheme row information. The page information is the same as that when the row information is operated.
本実施形態によれば、データ編集装置の操作者は、各形態素が表示される行及びページをタイムライン部27の表示によって視覚的に認識しながらデータを編集できる。特に、テキスト部15上での改行位置を視覚的に認識することができる。
According to the present embodiment, the operator of the data editing apparatus can edit data while visually recognizing the row and page on which each morpheme is displayed by the display of the
尚、本実施形態ではすでに連動表示用データに行番号を示す情報を含んだ例を説明しているが、表示制御部111において連動表示用データの各形態素のバイト数と表示領域11に設定されたバイト数及び行数を比較する事で、必要な行数及びページ数を計算し、前記行数及びページ数の計算結果を連動表示用データに保存し、テキスト部15及びタイムライン部27に表示してもよい。また、前記連動表示用データに含まれる行情報は、前記表示領域11に設定されたバイト数及び行数に基づき複数保持していてもよい。尚、本実施形態では行ブロック273及びページブロック275をタイムライン部27内にそれぞれ上下に配置しているが、行、ページを示す範囲毎に該当する形態素を枠で囲い、その枠の大きさを変更する事で操作者に編集させても良い。
In this embodiment, the example in which the information indicating the row number is already included in the interlocking display data has been described. However, the
(第8の実施形態)
第8の実施形態では、連動表示用データは第7の実施形態と同様であるが、モニター151によって表示される編集画面が異なる。図10は、第8の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。図10に示すように、表示制御部111は、本実施形態の編集画面30のタイムライン部37に、表示領域11に設定された行数、すなわち、テキスト部15に表示された行数と同数のタイムライン及び各タイムラインに割り当てられた形態素をモニター151に表示するよう制御する。また、各タイムラインには、該当する行番号373が示されている。さらに、各タイムラインには、該当するページ番号375も表示されている。
(Eighth embodiment)
In the eighth embodiment, the interlocking display data is the same as in the seventh embodiment, but the editing screen displayed on the
図10に示した例では、表示領域として「3行30バイト」が選択されているため、テキスト部15には1ページ当たり3行が表示される。したがって、1行目、2行目又は3行目として割り当てられた形態素は1ページ目に表示され、4行目、5行目又は6行目として割り当てられた形態素は2ページ目に表示される。
In the example shown in FIG. 10, since “3 rows and 30 bytes” is selected as the display area, three lines per page are displayed in the
本実施形態のデータ編集装置の操作者は、マウスによって操作可能な表示画面中のポインタを用いて、タイムライン部37中のブロックを左右に動かすことにより当該ブロックの時間情報を修正することができる。さらに、当該ブロックを別の行に動かすことができ、当該ブロックを別の行に動かすことによって、データ加工部109は、当該ブロックに含まれる形態素に割り当てられている行情報を変更する。また、動かされたブロックに含まれる形態素に割り当てられているタイムスタンプ情報に基づいて、表示制御部111は、移動先の行及び移動元の行の各タイムラインが変更される。
なお、上記ブロックを別の行に移動に移動する際、当該ブロックの時間情報は変更されない。
The operator of the data editing apparatus according to the present embodiment can correct the time information of the block by moving the block in the
When moving the block to another line, the time information of the block is not changed.
図10に示す編集画面30で、操作者が、例えば2行目の最後の形態素「は」を含むブロックを指定して3行目に動かすと、当該ブロックは3行目の先頭に移動する。また、当該移動によって、2行目及び3行目のタイムラインが変更される。2行目のタイムラインは、5秒〜9秒であったのが5秒〜8秒に変更され、3行目のタイムラインは、9秒〜12秒であったのが8秒〜12秒に変更される。すなわち、2行目のタイムラインは、動かされたブロックに含まれる形態素のタイムスタンプ情報が示す時間を除いた時間に変更され、3行目のタイムラインは、当該形態素のタイムスタンプ情報が示す時間を追加した時間に変更される。
In the
また、図10に示す編集画面30で、操作者が、例えば2行目の最後から2番目に位置する形態素「とり」を含むブロックを指定して3行目に動かした場合、本実施形態では、当該ブロックと共に、2行目の最後の形態素「は」を含むブロックも3行目の先頭に移動される。なお、移動された2つのブロックの時間的な前後関係は変わらない。当該移動の際も、2行目及び3行目のタイムラインは変更される。
Also, in the present embodiment, when the operator designates a block including the morpheme “Tori” located second from the end of the second row and moves it to the third row on the
なお、上記説明は、若い行番号から古い行番号へのブロックの移動について説明したが、その逆の場合、移動されたブロックは移動先の行の最後尾に移動する。 In the above description, the block movement from the young line number to the old line number has been described. In the opposite case, the moved block moves to the end of the destination line.
本実施形態によれば、データ編集装置の操作者は、各形態素が表示される行及びページをタイムライン部37の表示によって視覚的に認識しながらデータを編集できる。特に、テキスト部15上での改行位置を視覚的に認識することができる。
According to this embodiment, the operator of the data editing apparatus can edit data while visually recognizing the row and page on which each morpheme is displayed by the display of the
(第9の実施形態)
図11は、第9の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。図11に示すように、表示制御部111は、第9の実施形態の編集画面40に、タイムライン部17のタイムラインと平行して、同じ時間スケールで、伴奏音等を含む音声を示す波形18もしくは歌唱音声のみを示す波形19を表示する。なお、波形データはデータ記憶部103に格納されている。本実施形態によれば、波形18及び19の変化に基づいて、視覚的な判断によってブロックを動かすことができる。
(Ninth embodiment)
FIG. 11 is a diagram illustrating an example of a screen during editing of the interlocking display data displayed on the monitor by the data editing apparatus according to the ninth embodiment. As illustrated in FIG. 11, the
(第10の実施形態)
上述したように、テキストには、句読点や特殊文字が含まれ得る。但し、句読点や?、!等の特殊文字は1つの形態素であるが、音がない。このため、当該形態素に割り当てられるタイムスタンプ情報を生成する際に音声認識技術を用いた場合、開始時間には音声の所定の再生経過時間が設定されるが、時間長には0が設定され、終了時間には開始時間と同じ時間が設定される可能性がある。このため、当該形態素は、編集画面10中のタイムライン部17には、全く幅を持たない線として表される。すなわち、当該形態素は、タイムライン部17中に操作可能な形態素として表示されない。
(Tenth embodiment)
As described above, the text may include punctuation marks and special characters. However, punctuation marks? ,! Special characters such as are one morpheme but have no sound. For this reason, when voice recognition technology is used when generating time stamp information assigned to the morpheme, a predetermined playback elapsed time of the voice is set as the start time, but 0 is set as the time length. The end time may be set to the same time as the start time. For this reason, the morpheme is represented as a line having no width at all in the
第10の実施形態では、データ加工部109が、このような形態素のタイムスタンプ情報として含まれる時間長を例えば0.5秒に変更し、開始時間と終了時間の時間差が例えば0.5秒となるようタイムスタンプ情報を変更する。図12は、第10の実施形態のデータ編集装置による編集前後のモニターに表示されるタイムライン部の一例を示す図である。例えば、図12(a)に示すように、テキストとしては形態素「やる」の後ろに形態素「?」が存在するが、形態素「?」には音がないため、当該形態素はタイムライン部17中に表示されない。しかし、本実施形態では、当該形態素が約0.5秒の時間長を持つよう、当該形態素のタイムスタンプ情報が変更される。すなわち、変更前の形態素「?」のタイムスタンプ情報としては、開始時間が11.7秒、時間長が0秒(終了時間が11.7秒)に設定されているが、時間長が0.5秒(終了時間が12.2秒)に変更される。したがって、図12(b)に示すように、形態素「やる」の後ろに形態素「?」が表示される。
In the tenth embodiment, the
なお、このような形態素の時間的前後に別の形態素が設定されており、当該形態素に時間幅を持たせると、隣接する形態素と重なってしまう場合があり得る。このような場合は、データ加工部109が、隣接する形態素の時間長を短くして、表示させたい形態素の時間長を上述のように設定することによって、表示制御部111は、当該表示させたい形態素をタイムライン部17に表示させることができる。
なお、本実施の形態では、上記表示されない形態素を単独で表示させる方法を記述したが、当該形態素に隣接する形態素に含めて表示してもよい。
例えば、当該形態素の直前の形態素の終了時間を当該形態素の終了時間にすることにより、直前の形態素に含めることができる。また、当該形態素の直後の形態素の開始時間を当該形態素の開始時間にすることにより、直前の形態素に含めることができる。
In addition, when another morpheme is set before and after such a morpheme and the time width is given to the morpheme, it may overlap with an adjacent morpheme. In such a case, the
In the present embodiment, the method of displaying the morpheme that is not displayed alone is described. However, the morpheme adjacent to the morpheme may be displayed.
For example, by making the end time of the morpheme immediately before the morpheme the end time of the morpheme, it can be included in the immediately preceding morpheme. Further, by making the start time of the morpheme immediately after the morpheme the start time of the morpheme, it can be included in the immediately preceding morpheme.
(第11の実施形態)
図13は、第7の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。第11の実施形態では、図13に示すように、編集画面10のテキスト部15に表示されている形態素が、マウスによって操作可能な表示画面中のポインタによって特定されると、表示制御部111は、ポインタによって特定された形態素をタイムライン部17中に異なる色で表示するよう制御する。なお、ポインタによって特定された形態素が含まれるブロックを表示形態に応じて認識した後に、当該認識されたブロックに含まれる全ての形態素をタイムライン部17中に色で表示しても良い。
(Eleventh embodiment)
FIG. 13 is a diagram illustrating an example of a screen during editing of the interlocking display data displayed on the monitor by the data editing apparatus according to the seventh embodiment. In the eleventh embodiment, as shown in FIG. 13, when the morpheme displayed in the
さらに、本実施形態では、ポインタによって特定された形態素が含まれるブロックを表示形態に応じて認識した後、当該認識されたブロックに含まれる先頭の形態素から最後の形態素までの音声を再生して、図示しないスピーカから出力する。
尚、表示制御部111は、表示領域11の行数、バイト数に基づき、テキスト部15及びタイムライン部17に各形態素を表示する際に、形態素毎に編集画面内の位置を計算し、その位置と形態素の関係を前記連動表示用データに記憶しておいても良い。
Furthermore, in the present embodiment, after recognizing a block including the morpheme specified by the pointer according to the display form, the sound from the first morpheme included in the recognized block to the last morpheme is reproduced, Output from a speaker (not shown).
The
本発明に係るデータ編集装置は、伴奏等の音声の再生に合わせて歌詞等のテキストを所定の形態で表示するための連動表示用データを、テキストの表示領域又は表示形態に応じて容易に編集できる装置又はプログラム等として有用である。 The data editing apparatus according to the present invention easily edits linked display data for displaying text such as lyrics in a predetermined form in accordance with the reproduction of sound such as accompaniment according to the display area or display form of the text. It is useful as a device or program that can be used.
101 入力部
103 データ記憶部
105 設定記憶部
107,307,407 受信部
109 データ加工部
111 表示制御部
113 判定部
115 再生部
117 データ生成部
DESCRIPTION OF
Claims (31)
前記連動表示用データを加工するデータ加工部と、
前記連動表示用データを所定の表示形態で表示するための表示データを生成する表示制御部と、
を備え、
前記表示制御部は、前記テキストの少なくとも一部を表示する表示領域のサイズを設定し、
前記連動表示用データは、前記テキストと、1文字以上の文字で構成される文字列の各々に付された、前記音声の所定の再生経過時間によって示されるタイムスタンプ情報とを有し、
前記タイムスタンプ情報は、前記テキストの表示形態または表示領域の設定値によって変わらない固有の時間情報であり、
前記データ加工部は、前記タイムスタンプ情報を変更することを特徴とするデータ編集装置。 A data editing device for editing linked display data for displaying a text describing the contents of a sound in a predetermined form in accordance with the reproduction of the sound,
A data processing unit for processing the linked display data;
A display control unit for generating display data for displaying the interlocking display data in a predetermined display form ;
With
The display control unit sets a size of a display area for displaying at least a part of the text;
The interlocking display data, possess the text, attached to each of the configured string one or more characters, and a time stamp information indicated by the predetermined elapsed playback time for the audio,
The time stamp information is unique time information that does not change depending on the display form of the text or the setting value of the display area,
The data editing device , wherein the data processing unit changes the time stamp information .
前記タイムスタンプ情報は、文字列を表示し始める開始時間と、当該文字列を表示し終える終了時間又は当該文字列を表示し終えるまでの時間長と、を含むことを特徴とするデータ編集装置。 The data editing device according to claim 1 ,
The time stamp information includes a start time at which a character string starts to be displayed and an end time at which the character string has been displayed or a time length until the character string has been displayed.
前記データ加工部は、前記連動表示用データに含まれる前記テキストを、複数の、1文字以上の文字で構成される文字列の集合であるブロックに区分けすることを特徴とするデータ編集装置。 The data editing device according to claim 1 or 2 ,
The data editing apparatus, wherein the data processing unit divides the text included in the interlocking display data into a plurality of blocks that are sets of character strings including one or more characters.
前記連動表示用データは、前記データ加工部で区分けされた各ブロックの区画を前記音声の再生経過時間によって示すブロック情報を有し、
前記ブロック情報は、前記タイムスタンプ情報の一部である、各ブロックに含まれる最初の文字列を表示し始める開始時間と、各ブロックに含まれる最後の文字列を表示し終える終了時間又は各ブロックに含まれる最後の文字列を表示し終えるまでの時間長と、を含むことを特徴とするデータ編集装置。 The data editing device according to claim 3 , wherein
The interlocking display data, a section of each block divided by the data processing unit have a block information indicating the elapsed playback time for the audio,
The block information is a part of the time stamp information, the start time to start displaying the first character string included in each block, and the end time to finish displaying the last character string included in each block or each block And a time length until the last character string included in is displayed .
前記表示制御部で生成された表示データに基づく前記所定の表示形態で表示される編集画面は、
前記テキストの少なくとも一部を表示する第1の領域と、
前記複数のブロックに区分けされた前記テキストの文字列を、前記ブロック情報に基づいて、各ブロック毎に前記再生経過時間の時間軸上に並べて表示する第2の領域と、を含むことを特徴とするデータ編集装置。 The data editing apparatus according to claim 4 , wherein
The editing screen displayed in the predetermined display form based on the display data generated by the display control unit,
A first region displaying at least a portion of the text;
A second region for displaying the character string of the text divided into the plurality of blocks side by side on the time axis of the elapsed playback time for each block on the basis of the block information. Data editing device.
前記テキストの表示形態は、
1つの文字列を1つのブロックに含める第1の形態、
前記テキストの一行に含まれる文字列を1つのブロックに含める第2の形態、及び
前記テキストの表示領域に応じた一ページに含まれる文字列を1つのブロックに含める第3の形態の内、いずれか1つ以上を有することを特徴とするデータ編集装置。 The data editing device according to claim 5 ,
The display form of the text is:
A first form in which one character string is included in one block;
Any of the second form in which the character string included in one line of the text is included in one block and the third form in which the character string included in one page corresponding to the display area of the text is included in one block A data editing apparatus comprising one or more of them.
前記テキストの表示形態の内の1つが設定されると、設定後のブロックに対応して前記ブロック情報が更新されることを特徴とするデータ編集装置。 The data editing device according to claim 6 ,
When one of the display forms of the text is set, the block information is updated corresponding to the set block.
前記テキストの表示形態として前記第1の形態又は前記第2の形態が設定されたとき、前記第1の領域には、前記テキストの一部が行毎に表示され、
前記テキストの表示形態として前記第3の形態が設定されたとき、前記第1の領域には、前記テキストの一部がページ毎に表示されることを特徴とするデータ編集装置。 The data editing device according to claim 6 or 7 , wherein
When the first form or the second form is set as the display form of the text, a part of the text is displayed for each line in the first area,
When the third form is set as the text display form, a part of the text is displayed for each page in the first area.
前記編集画面は、前記テキストの表示領域を示す情報又は前記テキストの表示形態を示す情報を表示することを特徴とするデータ編集装置。 The data editing device according to any one of claims 5 to 8 ,
The data editing apparatus, wherein the editing screen displays information indicating a display area of the text or information indicating a display form of the text.
前記表示制御部は、1つのブロックが含む全ての文字列を前記第2の領域に表示できないとき、前記ブロック内に所定のイメージ又は文字列を表示するよう前記表示データを処理し、前記所定のイメージ又は文字列又は前記ブロックが選択されたとき、前記全ての文字列を異なる画面に表示する表示データを生成することを特徴とするデータ編集装置。 The data editing device according to any one of claims 5 to 9 ,
When the display control unit cannot display all the character strings included in one block in the second area, the display control unit processes the display data to display a predetermined image or character string in the block, and A data editing apparatus for generating display data for displaying all the character strings on different screens when an image, a character string, or the block is selected.
前記表示制御部で生成された表示データに基づく前記所定の表示形態で表示される編集画面上の前記第1の領域又は第2の領域が選択されたとき、各々の領域に含まれる連動表示用データの再生経過時間に基づき、音声の再生を行うことを特徴とするデータ編集装置。 The data editing device according to any one of claims 5 to 10 ,
When the first area or the second area on the editing screen displayed in the predetermined display form based on the display data generated by the display control unit is selected, for the interlocking display included in each area A data editing apparatus for performing audio reproduction based on an elapsed reproduction time of data.
前記連動表示用データは、1文字以上の文字で構成される文字列の各々に付された、前記第1の領域に表示されるテキストの行番号を示す行情報を有し、
前記表示制御部は、前記第2の領域に表示される文字列に対応した行情報が示す行番号を前記第2の領域に表示するための表示データを生成することを特徴とするデータ編集装置。 The data editing device according to claim 6 ,
The interlocking display data has line information indicating the line number of the text displayed in the first area, attached to each of a character string composed of one or more characters,
The display control unit generates display data for displaying a line number indicated by line information corresponding to a character string displayed in the second area in the second area. .
前記第2の領域に表示されている行番号はブロックによって表示され、各ブロックの幅が、当該データ編集装置のユーザによる操作によって変更されると、前記データ加工部は、前記連動表示用データに含まれる前記行情報を加工することを特徴とするデータ編集装置。 The data editing apparatus according to claim 12 , wherein
The row number displayed in the second area is displayed by a block, and when the width of each block is changed by an operation by the user of the data editing device, the data processing unit displays the linked display data. A data editing apparatus, wherein the line information included is processed.
前記第2の領域には、前記第1の領域が有する行数と同数の時間軸が表示され、各時間軸には異なる行番号が付されていることを特徴とするデータ編集装置。 The data editing device according to claim 12 or 13 ,
In the second area, the same number of time axes as the number of lines of the first area are displayed, and different time numbers are assigned to the respective time axes.
前記テキストの文字列の時間的な位置が変更される際、前記表示制御部は、当該変更によって影響を受ける時間軸の値を変更することを特徴とするデータ編集装置。 The data editing device according to claim 14 , wherein
When the temporal position of the text string is changed, the display control unit changes the value of the time axis affected by the change.
前記表示制御部は、前記第2の領域に表示される文字列に対応した行情報が示す行番号及び前記第1の領域が有する行数から導出されるページ番号を前記第2の領域に表示するための表示データを生成することを特徴とするデータ編集装置。 The data editing device according to any one of claims 12 to 15 ,
The display control unit displays, in the second area, a page number derived from the line number indicated by the line information corresponding to the character string displayed in the second area and the number of lines in the first area. A data editing apparatus for generating display data for performing the operation.
前記表示制御部は、前記連動表示用データの1文字以上の文字で構成される文字列の各々の大きさと前記表示領域の大きさを比較し、前記第1の領域及び前記第2の領域に表示するための表示データを生成することを特徴とするデータ編集装置。 The data editing device according to claim 5 ,
The display control unit compares the size of the display area with the size of each character string composed of one or more characters of the interlocking display data, and stores the size in the first area and the second area. A data editing apparatus for generating display data for display.
前記連動表示用データの編集に関する指示が禁止されている内容かを判定する判定部を備え、
前記禁止されている前記連動表示用データの編集に関する指示は、時間軸上でブロックの順序を変更する指示、又は時間軸上で隣接する複数のブロックを重ねる指示であることを特徴とするデータ編集装置。 The data editing device according to any one of claims 4 to 17 ,
A determination unit that determines whether an instruction relating to editing of the linked display data is prohibited ;
The instruction relating to the editing of the prohibited linked display data is an instruction to change the order of blocks on the time axis, or an instruction to overlap a plurality of adjacent blocks on the time axis. apparatus.
前記連動表示用データの編集に関する指示が、前記時間軸上で隣接する複数のブロックを重ねる指示である場合、
前記データ加工部は、時間的に先のブロックの前記終了時間又は時間的に先のブロックの前記時間長と時間的に後のブロックの前記開始時間を同時間に保ったまま前記連動表示用データを加工することを特徴とするデータ編集装置。 The data editing apparatus according to claim 18 , wherein
When the instruction relating to the editing of the interlocking display data is an instruction to overlap a plurality of blocks adjacent on the time axis,
Wherein the data processing unit, temporally preceding the end time or temporally preceding the time length and the temporally subsequent the interlocking display data while the start time was maintained at the same time the block of the block of the block A data editing device characterized by processing the data.
前記ブロック情報は、前記テキストの表示領域の大きさが設定されると、設定後の大きさに対応して前記ブロック情報が更新されることを特徴とするデータ編集装置。 The data editing device according to any one of claims 4 to 19 ,
The data editing apparatus according to claim 1, wherein when the size of the display area of the text is set, the block information is updated according to the size after the setting.
前記連動表示用データに基づいて前記音声の再生に合わせて前記テキストを前記所定の形態で表示中に一時停止されたとき、前記データ加工部は、一時停止されたときの再生経過時間に前記所定の形態で表示されていた文字列が含まれる前記ブロックの前記開始時間又は前記終了時間又は前記時間長を、前記再生経過時間に変更することを特徴とするデータ編集装置。 The data editing device according to any one of claims 4 to 20,
When the text is paused while the text is being displayed in the predetermined form in accordance with the playback of the voice based on the interlocking display data, the data processing unit is configured to perform the predetermined elapsed time when the text is paused. of the start time or the end time or the time length of the block including the character string is displayed in a form, the data editing apparatus and changes to the playback elapsed time.
前記データ加工部は、前記タイムスタンプ情報に含まれる前記終了時間から前記開始時間を引いた値、または、前記タイムスタンプ情報に含まれる前記時間長、が0の文字列に付されたタイムスタンプ情報を編集して、当該文字列の前記タイムスタンプ情報に含まれる前記時間長が所定値以上の時間となるよう前記連動表示用データを加工することを特徴とするデータ編集装置。 The data editing device according to any one of claims 2 to 21 ,
The data processing unit includes time stamp information in which a value obtained by subtracting the start time from the end time included in the time stamp information or the time length included in the time stamp information is attached to a character string of 0. The data editing apparatus is characterized in that the linked display data is processed so that the time length included in the time stamp information of the character string is equal to or longer than a predetermined value.
前記タイムスタンプ情報に含まれる前記終了時間から前記開始時間を引いた値、または前記タイムスタンプ情報に含まれる前記時間長、が0の文字列は、句読点又は特殊文字であることを特徴とするデータ編集装置。 The data editing apparatus according to claim 22 , wherein
A character string in which a value obtained by subtracting the start time from the end time included in the time stamp information or the time length included in the time stamp information is a punctuation mark or a special character. Editing device.
前記テキストの表示領域は、行数及び一行当たりの最大バイト数によって設定されることを特徴とするデータ編集装置。 The data editing device according to any one of claims 1 to 23 , wherein:
The text editing area is set by the number of lines and the maximum number of bytes per line.
前記テキストの表示領域は、行数及び一行当たりの最大文字数によって設定されることを特徴とするデータ編集装置。 The data editing device according to any one of claims 1 to 23 , wherein:
The text editing area is set by the number of lines and the maximum number of characters per line.
前記音声の再生時間の一部の範囲のデータと前記テキストのデータとを用いて、前記一部の範囲の連動表示用データを生成するデータ生成部を備えたことを特徴とするデータ編集装置。 A data editing apparatus according to any one of claims 1 to 25 , wherein
A data editing apparatus, comprising: a data generation unit configured to generate data for interlocking display of the partial range using the partial data of the audio reproduction time and the text data.
前記表示制御部は、文字列毎に信頼度が付された連動表示用データに基づいて、各文字列の表示色又は模様が信頼度によって異なるよう表示データを生成することを特徴とするデータ編集装置。 A data editing apparatus according to any one of claims 1 to 26 ,
The display control unit generates display data based on the interlocking display data to which the reliability is given for each character string so that the display color or pattern of each character string varies depending on the reliability. apparatus.
前記データ加工部は、1つの音声データ及びこれに対応するテキストデータに基づいて生成された複数の連動表示用データを用いて、指定された範囲の連動表示用データを別の連動表示用データの同範囲のデータに置き換えることを特徴とするデータ編集装置。 A data editing apparatus according to any one of claims 1 to 27 , wherein
The data processing unit uses a plurality of linked display data generated based on one audio data and text data corresponding thereto, and converts the linked display data in a specified range into another linked display data. A data editing device characterized by replacing data with the same range.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008020756A JP5014184B2 (en) | 2007-01-31 | 2008-01-31 | Data editing apparatus, data editing program, and reproducing apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007021161 | 2007-01-31 | ||
JP2007021161 | 2007-01-31 | ||
JP2008020756A JP5014184B2 (en) | 2007-01-31 | 2008-01-31 | Data editing apparatus, data editing program, and reproducing apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008210500A JP2008210500A (en) | 2008-09-11 |
JP2008210500A5 JP2008210500A5 (en) | 2011-08-18 |
JP5014184B2 true JP5014184B2 (en) | 2012-08-29 |
Family
ID=39786667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008020756A Active JP5014184B2 (en) | 2007-01-31 | 2008-01-31 | Data editing apparatus, data editing program, and reproducing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5014184B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6605995B2 (en) | 2016-03-16 | 2019-11-13 | 株式会社東芝 | Speech recognition error correction apparatus, method and program |
JP6678545B2 (en) | 2016-09-12 | 2020-04-08 | 株式会社東芝 | Correction system, correction method and program |
JP6672209B2 (en) | 2017-03-21 | 2020-03-25 | 株式会社東芝 | Information processing apparatus, information processing method, and information processing program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3319985B2 (en) * | 1997-07-15 | 2002-09-03 | 株式会社第一興商 | Karaoke lyrics display system and lyrics display method |
JP3684125B2 (en) * | 2000-01-19 | 2005-08-17 | 株式会社東芝 | How to play, record, and edit display information synchronized with audio information |
JP2002023774A (en) * | 2000-07-13 | 2002-01-25 | Yamaha Corp | Device and method for inputting lyrics information and recording medium |
JP4161714B2 (en) * | 2002-12-27 | 2008-10-08 | ヤマハ株式会社 | Karaoke equipment |
JP4314201B2 (en) * | 2005-02-15 | 2009-08-12 | シャープ株式会社 | Synchronous data creation method, apparatus, program, and recording medium for recording program for lyrics and music |
-
2008
- 2008-01-31 JP JP2008020756A patent/JP5014184B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008210500A (en) | 2008-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5007563B2 (en) | Music editing apparatus and method, and program | |
US8933312B2 (en) | Distribution of audio sheet music as an electronic book | |
JP5045670B2 (en) | Audio data summary reproduction apparatus, audio data summary reproduction method, and audio data summary reproduction program | |
JP5895740B2 (en) | Apparatus and program for performing singing synthesis | |
US20150310850A1 (en) | System and method for singing synthesis | |
JP6665446B2 (en) | Information processing apparatus, program, and speech synthesis method | |
JP2007295218A (en) | Nonlinear editing apparatus, and program therefor | |
JP5014184B2 (en) | Data editing apparatus, data editing program, and reproducing apparatus | |
JP2017032693A (en) | Video recording/playback device | |
JP2008210500A5 (en) | ||
JP2018180519A (en) | Voice recognition error correction support device and program therefor | |
JP2013024967A (en) | Display device, method for controlling the device, and program | |
JPH06318235A (en) | Materials presenting device | |
JP2013092912A (en) | Information processing device, information processing method, and program | |
JP2002008052A (en) | Presentation system and recording medium | |
JP2010039851A (en) | Apparatus, method and program for reproducing image with effect, and recording medium | |
JP6528473B2 (en) | Karaoke apparatus and program for karaoke | |
JP4720974B2 (en) | Audio generator and computer program therefor | |
JP2006284645A (en) | Speech reproducing device, and reproducing program and reproducing method therefor | |
KR102215256B1 (en) | multimedia authoring apparatus with synchronized motion and voice feature and method for the same | |
JP4161714B2 (en) | Karaoke equipment | |
JP6260176B2 (en) | Performance practice apparatus, method, and program | |
CN112988018B (en) | Multimedia file output method, device, equipment and computer readable storage medium | |
WO2011060504A1 (en) | Music tuition or practice method and apparatus | |
JP2014026232A (en) | Lyric character image display control device, lyric character image display control program and lyric character image display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120605 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5014184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |