KR101992572B1 - Audio editing apparatus providing review function and audio review method using the same - Google Patents

Audio editing apparatus providing review function and audio review method using the same Download PDF

Info

Publication number
KR101992572B1
KR101992572B1 KR1020180102708A KR20180102708A KR101992572B1 KR 101992572 B1 KR101992572 B1 KR 101992572B1 KR 1020180102708 A KR1020180102708 A KR 1020180102708A KR 20180102708 A KR20180102708 A KR 20180102708A KR 101992572 B1 KR101992572 B1 KR 101992572B1
Authority
KR
South Korea
Prior art keywords
sound
sound data
data
user
pitch
Prior art date
Application number
KR1020180102708A
Other languages
Korean (ko)
Inventor
유영재
엄창진
Original Assignee
유영재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유영재 filed Critical 유영재
Priority to KR1020180102708A priority Critical patent/KR101992572B1/en
Application granted granted Critical
Publication of KR101992572B1 publication Critical patent/KR101992572B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/44—Tuning means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

Disclosed is an audio editing apparatus for editing an audio signal generated by a user with an audio signal played in a music accompaniment device (M) and providing an audio signal to a user. According to one embodiment of the present invention, the audio editing apparatus comprises: an audio data input unit to which first audio data corresponding to an audio signal played from a music accompaniment device (M) is inputted; an audio input unit to which an audio signal generated from a user is inputted; a data conversion unit converting the audio signal inputted from the audio input unit into second audio data; a storage unit storing the first audio data and second audio data; and a control unit generating third audio data by synthesizing the first and second audio data.

Description

음향 리뷰 기능을 갖는 음향 편집 장치 및 이를 이용한 음향 리뷰 방법 {Audio editing apparatus providing review function and audio review method using the same}Audio editing apparatus having a sound review function and a sound review method using the same {Audio editing apparatus providing review function and audio review method using the same}

본 발명은 음향 리뷰 기능을 갖는 음향 편집 장치 및 이를 이용하는 음향 리뷰 방법에 관한 것으로서, 보다 구체적으로 녹음된 음향 신호를 악보, 가사 등이 나와있는 관련 영상과 동시에 확인 가능하고, 녹음된 음향 신호의 일부 구간에 대한 음향 신호의 편집이 가능하며, 녹음된 음향의 확인을 통해 학습이 가능한 리뷰 기능이 추가된 음향 편집 장치에 관한 것이다.The present invention relates to a sound editing apparatus having a sound review function and a sound review method using the same. More specifically, it is possible to check a recorded sound signal at the same time with a related image including a score, lyrics, and the like, and a part of the recorded sound signal. The present invention relates to a sound editing apparatus capable of editing a sound signal for a section, and including a review function for learning by checking recorded sound.

일반적으로 음악반주장치는 반주 음악의 재생과 함께 가사 및/또는 악보가 제공되며, 정해진 빠르기로 소정의 음정에 맞춰 노래를 따라 부르거나 악기를 연주할 수 있는 서비스를 제공한다. 저장부에 데이터 베이스화된 반주 음악들에는 각각 재생 번호가 할당되며, 사용자가 음악반주장치에 할당 번호를 입력하는 경우 반주음악이 재생된다.In general, the music accommodating device is provided with lyrics and / or sheet music along with the playback of the accompaniment music, and provides a service that can sing along to a predetermined pitch or play a musical instrument at a predetermined pace. The accompaniment music, which is databased in the storage unit, is assigned a play number, and the accompaniment music is played when the user inputs an assignment number into the music accommodating device.

한편, 음악반주장치는 다양한 사용자 및 사용환경에서 이용하는 서비스로서, 사용자 및 사용환경에 따라 동일한 반주 음악에 대해 상이한 음향 신호가 입력될 수 있다. On the other hand, the music accommodating apparatus is a service used in various users and use environments, and different sound signals may be input for the same accompaniment music according to the user and the use environment.

음악반주장치에서 재생되는 반주음악을 배경으로, 사용자는 노래를 부르거나 악기를 연주하여 녹음할 수 있다. 그리고 사용자는 그 결과인 녹음 데이터를 다시 재생하여 녹음된 데이터를 확인할 수 있다.In the background of accompaniment music played by the music accommodating device, the user may sing or play an instrument to record the music. The user can check the recorded data by playing back the recorded data.

종래에는 사용자에 의해 입력되는 음향 신호와 반주 음악에 의한 음향 신호가 하나의 마이크를 통해 동시에 녹음되어 하나의 음향 데이터로 처리되었다. 이에 따라 녹음된 하나의 음향 데이터를 리뷰하는 과정에서 재생속도 변경, 음정 변경이나 점프 기능 등을 쓰는 경우 합성된 음향 신호에 왜곡이 발생되어 노이즈가 발생하거나 피치가 변하는 등의 문제점이 있었다.Conventionally, an acoustic signal input by a user and an acoustic signal by accompaniment music are simultaneously recorded through one microphone and processed into one acoustic data. Accordingly, when the playback speed is changed, the pitch is changed, or the jump function is used in the process of reviewing the recorded sound data, distortion occurs in the synthesized sound signal, causing noise or a pitch change.

본 발명은 전술한 문제점을 감안하여 안출된 것으로서, 본 발명의 목적은 사용자에 의해 입력되는 음향 신호와 반주 음악에 대한 음향 신호를 각각 처리하여, 이를 별도의 음향 데이터로 변환시킴으로써 리뷰나, 음향 편집에 의해 음향 신호가 왜곡되는 현상을 방지할 수 있는 음향 편집 장치 및 이를 이용하는 음향 리뷰 방법을 제공하는 것이다. 또한, 사용자에 의해 입력되는 음향 신호를 반주 음악에 대한 음향 신호와 비교하여 디스플레이에 표시할 수 있는 음향 편집 장치 및 이를 이용한 리뷰 방법을 제공한다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and an object of the present invention is to process a sound signal input by a user and an acoustic signal for accompaniment music, respectively, and convert it into separate sound data to review or edit sound. The present invention provides a sound editing apparatus and a sound review method using the same, which can prevent the sound signal from being distorted. In addition, the present invention provides a sound editing apparatus and a review method using the same, which can display a sound signal input by a user on a display in comparison with the sound signal for the accompaniment music.

일 예시에 따른 음향 리뷰 기능을 갖는 음향 편집 장치는, 음악반주장치에서 재생되는 음향 신호와 함께 사용자에 의해 생성되는 음향 신호를 확인하고 편집하여 사용자에게 제공하는 음향 편집 장치로서, 상기 음악반주장치로부터 재생되는 음향 신호에 대응되는 제1 음향 데이터가 입력되는 음향 데이터 입력부; 상기 사용자로부터 생성되는 음향 신호가 입력되는 음향 입력부; 상기 음향 입력부로부터 입력된 음향 신호를 제2 음향 데이터로 변환하는 데이터 변환부; 상기 제1 음향 데이터와 상기 제2 음향 데이터를 저장하는 저장부; 및 상기 제1 음향 데이터와 상기 제2 음향 데이터를 합성하여 제3 음향 데이터를 생성하는 제어부를 포함한다.A sound editing apparatus having a sound review function according to an example is a sound editing apparatus for checking and editing a sound signal generated by a user together with a sound signal reproduced in a music accommodating device and providing the same to a user. A sound data input unit to which first sound data corresponding to the reproduced sound signal is input; A sound input unit to which a sound signal generated from the user is input; A data converter converting a sound signal input from the sound input unit into second sound data; A storage unit which stores the first sound data and the second sound data; And a controller configured to synthesize the first sound data and the second sound data to generate third sound data.

일 예시에 따른 음향 리뷰 기능을 갖는 음향 편집 장치는, 상기 제1 음향 데이터, 상기 제2 음향 데이터 중 하나 이상의 음향 데이터를 시각적으로 표시하는 디스플레이부; 및 상기 제1 음향 데이터, 상기 제2 음향 데이터, 및 상기 제3 음향 데이터 중 어느 하나의 음향 데이터를 청각적으로 출력하는 스피커부를 더 포함할 수 있다.According to an exemplary embodiment, a sound editing apparatus having a sound review function may include: a display unit configured to visually display one or more sound data among the first sound data and the second sound data; And a speaker unit which acoustically outputs any one of the first sound data, the second sound data, and the third sound data.

바람직하게는 상기 제어부는 상기 제1 음향 데이터와 상기 제2 음향 데이터를 비교하고, 상기 제1 음향 데이터와 상기 제2 음향 데이터가 상이한 구간을 상기 디스플레이부에 표시할 수 있다.Preferably, the controller compares the first sound data with the second sound data and displays a section in which the first sound data and the second sound data are different from each other.

또한, 음향 입력부에는, 상기 제1 음향 데이터와 상기 제2 음향 데이터가 상이한 구간에서 상기 사용자로부터 새롭게 생성되는 음향 신호가 입력될 수 있다.In addition, a sound signal newly generated by the user may be input to the sound input unit in a section in which the first sound data and the second sound data are different.

또한, 데이터 변환부는 상기 새롭게 생성되는 음향 신호를 제2-1 음향 데이터로 변환하며, 상기 제1 음향 데이터 및 상기 제2 음향 데이터 및 상기 제2-1 음향 데이터 중 하나 이상을 합성하여 제3-2 음향 데이터를 생성할 수 있다. The data converter may convert the newly generated sound signal into 2-1 sound data, and synthesize one or more of the first sound data, the second sound data, and the 2-1 sound data to form a 3- 2 Sound data can be generated.

상기 제1 음향 데이터가 입력되는 경우, 상기 제1 음향 데이터가 상기 디스플레이부 및 상기 스피커부를 통해 시각적 및 청각적으로 출력될 수 있다.When the first sound data is input, the first sound data may be visually and audibly output through the display unit and the speaker unit.

이때, 상기 제1 음향 데이터가 상기 디스플레이부 및 상기 스피커부를 통해 시각적 및 청각적으로 출력되는 시점은, 사용자가 재 녹음구간으로 지정한 시작시점 보다 소정의 시간이 앞설 수 있다.In this case, the time point at which the first sound data is visually and audibly output through the display unit and the speaker unit may be a predetermined time earlier than a start time designated by the user as the re-recording section.

또한, 디스플레이부는 음표, 문자, 색상 중 하나 이상을 이용하여 박자, 가사 및 음정 중 하나 이상을 표시할 수 있다.In addition, the display unit may display one or more of beat, lyrics, and pitch by using one or more of notes, characters, and colors.

일 예시에 따른 음악반주장치에서 재생되는 음향 신호와 함께 사용자에 의해 생성되는 음향 신호를 확인하고 편집하는 음향 리뷰 방법은 상기 음악반주장치로부터 생성되는 음향 신호에 대응되는 제1 음향 데이터가 음향 데이터 입력부에 입력되고, 상기 사용자에 의해 생성되는 음향 신호가 음향 입력부에 입력되는 단계; 상기 음향 입력부로 입력된 음향 신호를 제2 음향 데이터로 변환하는 단계; 상기 제1 음향 데이터와 상기 제2 음향 데이터를 저장부에 저장하는 단계; 상기 제1 음향 데이터 및 상기 제2 음향 데이터에 대응하는 실시간 악보를 디스플레이부에 표시하고, 상기 제1 음향 데이터 및 상기 제2 음향 데이터 중 적어도 하나를 재생하는 단계; 사용자의 저장 요청에 따라 상기 제1 음향 데이터 및 상기 제2 음향 데이터를 합성하여 저장하거나, 사용자의 편집 요청에 따라 상기 제2 음향 데이터를 재편집하는 단계를 포함한다.According to an exemplary embodiment, a sound review method of checking and editing a sound signal generated by a user together with a sound signal reproduced in a music accommodating device may include first sound data corresponding to a sound signal generated from the music accommodating device. Inputting a sound signal generated by the user to the sound input unit; Converting a sound signal input to the sound input unit into second sound data; Storing the first sound data and the second sound data in a storage unit; Displaying real-time scores corresponding to the first sound data and the second sound data on a display unit, and reproducing at least one of the first sound data and the second sound data; Synthesizing and storing the first sound data and the second sound data according to a user's storage request, or re-editing the second sound data according to a user's editing request.

본 발명의 일 실시예에 따른 리뷰 기능을 갖는 음향 편집 장치는 사용자에 의해 입력되는 음향 신호와 반주 음악에 대한 음향 신호를 각각 입력 받고, 이를 별도의 음향 데이터로 변환시킴으로써 사용자에 의해 입력되는 음향 신호에 대한 편집에 의해 반주 음악에 의한 음향 신호가 왜곡되는 현상을 방지할 수 있다.According to an embodiment of the present invention, a sound editing apparatus having a review function receives sound signals input by a user and sound signals for accompaniment music, and converts them into separate sound data so as to be inputted by the user. It is possible to prevent the distortion of the acoustic signal due to the accompaniment music by editing the.

또한, 일 실시예에 따른 리뷰 기능을 갖는 음향 편집 장치는 반주 음악에 대한 악보와 함께 사용자가 연주하거나 노래하는 음향 정보에 대한 악보를 디스플레이에 표시하여 사용자에게 즉각적인 피드백을 줄 수 있다.In addition, the sound editing apparatus having a review function according to an embodiment may give a user immediate feedback by displaying a score on the display of the musical information along with the score of the accompaniment music on the display.

또한, 일 실시예에 따른 리뷰 기능을 갖는 음향 편집 장치는 저장부에 데이터베이스화된 음악의 음향 정보와 사용자의 음향 정보를 비교 분석하여, 저장부에 저장된 음향 정보와 사용자에 의해 입력된 음향 정보 사이의 차이점을 디스플레이에 비교 표시할 수 있다. 따라서 본 발명에 따르면 사용자는 저장부에 저장된 음향 정보와 사용자에 의해 입력된 음향 신호 사이의 차이점을 확인한 후, 해당 부분에 대한 음향 신호만을 보다 용이하게 수정할 수 있다.In addition, the sound editing apparatus having a review function according to an embodiment compares and analyzes the sound information of the music databased in the storage unit with the user's sound information, and thus, between the sound information stored in the storage unit and the sound information input by the user. The difference between can be shown on the display. Therefore, according to the present invention, after checking the difference between the sound information stored in the storage unit and the sound signal input by the user, the user can more easily modify only the sound signal for the corresponding portion.

또한, 본 발명에 따르면 사용자에 의해 입력되는 음향 신호와 반주 음악에 대한 음향 신호를 각각 녹음하고, 이를 활용하기 위한 리뷰 기능을 사용할 때 녹음된 반주 음악을 사용하지 않고 미디 음원을 사용함으로써 전체 음정을 변경하거나 템포를 변경할 경우 반주음악의 음의 변색을 방지할 수 있다.In addition, according to the present invention, the sound signal input by the user and the acoustic signal for the accompaniment music are respectively recorded, and when using the review function to utilize the entire accompaniment by using the MIDI sound source without using the recorded accompaniment music. Changing the tempo or changing the tempo can prevent discoloration of the accompaniment music.

도 1은 일 실시예에 따른 음향 편집 장치를 개념적으로 도시한 도면이다.
도 2는 일 실시예에 따라 사용자에 의한 음향 신호와 음악반주장치에 의한 음향 신호가 입력되는 상태를 설명하기 위한 개념도이다.
도 3은 일 실시예에 따라 선곡된 음악 정보가 표시되는 디스플레이부를 설명하는 개략도이다.
도 4는 일 실시예에 따른 음향 편집 장치를 이용한 음향 리뷰 방법을 설명하는 흐름도이다.
도 5는 다른 실시예에 따른 음향 편집 장치를 이용한 음향 리뷰 방법을 설명하는 흐름도이다.
도 6a는 일 실시예에 따라 제1 음향 신호와 제2 음향 신호 정보가 표시되는 디스플레이부를 설명하는 개략도이다.
도 6b는 일 실시예에 따라 재녹음된 음향 신호 정보가 표시되는 디스플레이부를 설명하는 개략도이다.
도 7은 일 실시예에 따른 음악 편집 장치를 이용한 음향 리뷰 방법을 설명하는 흐름도이다.
도 8은 일 실시예에 따른 음악 편집 장치를 이용한 음향 리뷰에서 일부 구간을 편집하는 방법을 설명하는 흐름도이다.1 is a diagram conceptually illustrating a sound editing apparatus according to an exemplary embodiment.
2 is a conceptual diagram illustrating a state in which a sound signal by a user and a sound signal by a music accommodating device are input, according to an exemplary embodiment.
3 is a schematic diagram illustrating a display unit displaying selected music information according to an exemplary embodiment.
4 is a flowchart illustrating a sound review method using a sound editing apparatus according to an embodiment.
5 is a flowchart illustrating a sound review method using a sound editing apparatus according to another exemplary embodiment.
6A is a schematic diagram illustrating a display unit on which first sound signals and second sound signal information are displayed, according to an exemplary embodiment.
6B is a schematic diagram illustrating a display unit in which re-recorded sound signal information is displayed, according to an exemplary embodiment.
7 is a flowchart illustrating a sound review method using a music editing apparatus according to an embodiment.
8 is a flowchart illustrating a method of editing a partial section in a sound review using a music editing apparatus according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 도면에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 각 구성요소의 크기나 두께는 설명의 명료성을 위하여 과장되어 있을 수 있다. Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention; Like reference numerals in the drawings refer to like elements, and the size or thickness of each element may be exaggerated for clarity.

“제1”, “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는” 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.Terms including ordinal numbers such as “first” and “second” may be used to describe various components, but the components are not limited by the terms. The terms are only used to distinguish one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term “and / or” includes any combination of a plurality of related items or any one of a plurality of related items.

본 명세서에서 음악반주장치는 가수가 노래를 부르기 위한 반주 음악과 악보를 제공하거나, 악기 연주자가 악기를 연주하기 위해 필요한 반주 음악과 악보를 제공할 수 있는 시스템을 의미한다.In the present specification, the music accommodating apparatus means a system capable of providing accompaniment music and sheet music for a singer to sing a song, or providing accompaniment music and sheet music necessary for a musical instrument player to play a musical instrument.

본 발명의 일 실시예에 따른 음향 편집 장치는 음악반주장치와 하나의 장치로서 통합될 수 있으며, 별개로서 존재할 수도 있다.The sound editing apparatus according to the exemplary embodiment of the present invention may be integrated with the music accommodating apparatus as one apparatus or may exist separately.

도 1은 일 실시예에 따른 음향 편집 장치를 개념적으로 도시한 도면이다. 도 2는 일 실시예에 따라 사용자에 의한 음향 신호와 음악반주장치에 의한 음향 신호가 입력되는 상태를 설명하기 위한 개념도이다.1 is a diagram conceptually illustrating a sound editing apparatus according to an exemplary embodiment. 2 is a conceptual diagram illustrating a state in which a sound signal by a user and a sound signal by a music accommodating device are input, according to an exemplary embodiment.

본 발명의 일 실시예에 따른 음향 편집 장치(1)는, 사용자(U)로부터 연주나 노래가 생성되고 음악반주장치(M)로부터 반주 음악이 생성되는 경우, 사용자(U)로부터 생성되는 노래나 연주에 의한 음향 신호와 음악반주장치(M)로부터 생성되는 음향 신호를 확인하고 편집할 수 있는 편집 및 리뷰 장치이다. The sound editing apparatus 1 according to an exemplary embodiment of the present invention may include a song generated from the user U when a performance or a song is generated from the user U and an accompaniment music is generated from the music accommodating device M. FIG. An editing and reviewing device capable of checking and editing the sound signal generated by the performance and the sound signal generated from the music accommodating device M.

도 1 및 도 2를 참조하면, 일 실시예에 따른 음향 편집 장치(1)는 사용자(U)로부터 생성되는 음향 신호가 입력되는 음향 입력부(20), 음악반주장치(M)로부터 생성되는 음향 신호에 대응되는 음향 데이터가 입력되는 음향 데이터 입력부(30), 음향 입력부(20)로부터 입력된 음향 신호를 디지털변환 시킬 수 있는 데이터 변환부(11), 음악반주장치(M)로부터 음향 데이터를 입력받을 수 있는 음향 데이터 입력부(30), 음향 편집 장치(1)를 전체적으로 제어할 수 있는 제어부(12) 및 음향 정보를 저장할 수 있는 저장부(13)를 포함할 수 있다.1 and 2, the sound editing apparatus 1 according to an exemplary embodiment may include a sound input unit 20 through which a sound signal generated from a user U is input, and a sound signal generated from a music accommodating device M. FIG. Acoustic data input unit 30 for receiving the sound data corresponding to the data input unit 30, a data converter 11 for digitally converting the sound signal input from the sound input unit 20, and receives the sound data from the music accommodating device (M) It may include a sound data input unit 30, a control unit 12 for controlling the sound editing apparatus 1 as a whole, and a storage unit 13 for storing sound information.

데이터 변환부(11)는 사용자(U)로부터 생성되는 음향 신호를 음향 데이터, 예를 들어 디지털 신호로　변환할 수 있는 변환 장치이다. 일 예로서, 데이터 변환부(11)는 상술한 음향 입력부(20)에 전기적으로 연결될 수 있으며, 이때 데이터 변환부(11)는 음향 입력부(20)에 의해 집음된 음향 신호를 디지털 신호로　변환하여 출력할 수 있다. The data converter 11 is a converter capable of converting an acoustic signal generated from the user U into acoustic data, for example, a digital signal. As an example, the data converter 11 may be electrically connected to the above-described sound input unit 20. In this case, the data converter 11 converts the sound signal collected by the sound input unit 20 into a digital signal. You can print

일 실시예에 따른 데이터 변환부(11)는 증폭기(Amplifier) 및 ADC(Analog Digital Converter)를 포함할 수 있다. 이때, 음향 입력부(20)는 사용자(U) 로부터 생성되는 음향신호를 집음할 수 있으며, 일 예시에 따른 증폭기는　집음된　음향 신호를 증폭하고, ADC 는 증폭된　음향신호를 디지털의　음향　데이터　스트림으로　변환하여 출력할 수 있다.The data converter 11 according to an embodiment may include an amplifier and an analog digital converter (ADC). In this case, the sound input unit 20 may collect a sound signal generated from the user U. The amplifier according to an example may amplify the collected sound signal, and the ADC may convert the amplified sound signal into a digital sound data stream. Can be converted and output.

제어부(12)는 음향 편집 장치(1)의 적어도 하나의 다른 구성요소들의 제어 및/또는 연산이나　데이터　처리를 실행할 수 있다. 일 실시예에 따른 제어부 (12)는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 MPU(Micro Processor Unit 중 하나 또는 그 이상을 포함할 수 있다. The control unit 12 may control and / or perform calculation or data processing of at least one other component of the sound editing apparatus 1. The controller 12 according to an exemplary embodiment may include one or more of a central processing unit (CPU), an application processor (AP), or a microprocessor unit (MPU).

저장부(13)는 제어부(12)에서 이용되는 제어 프로그램, 데이터 변환부(11)로부터 전달되는 음향 신호에 대응하는 음향 데이터 및 사용자(U)가 선택하는 음악 정보에 대한 데이터를 저장할 수 있다. 일 예시에 따른 저장부(13)는 휘발성 메모리, 비휘발성 메모리 및/또는 하드디스크 등을 포함할 수 있으나, 본 개시가 이에 제한되는 것은 아니다.The storage unit 13 may store data about the control program used by the controller 12, the sound data corresponding to the sound signal transmitted from the data converter 11, and the music information selected by the user U. The storage unit 13 according to an example may include a volatile memory, a nonvolatile memory and / or a hard disk, but the present disclosure is not limited thereto.

음향 입력부(20) 는 사용자(U)로부터의 음향 신호만을 선택적으로 집음할 수 있는 음향 수신 장치이다. 일 예로서, 음향 입력부(20)는 사용자(U)로부터의 음향 신호에 따르는 진동 신호를 전기 신호로 변환하여 출력할 수 있는 마이크 모듈일 수 있다. 이때, 음향 입력부(20)는 다이나믹 레인지 방식을 이용하는 다이나믹 마이크(dynamic mic) 및/또는 콘덴서마이크(Condenser Mic) 등으로 구현되어 사용자로부터의 음향 신호를 선택적으로 집음할 수 있다.The sound input unit 20 is a sound receiving device capable of selectively collecting only a sound signal from the user U. As an example, the sound input unit 20 may be a microphone module capable of converting and outputting a vibration signal according to the sound signal from the user U into an electrical signal. In this case, the sound input unit 20 may be implemented as a dynamic microphone and / or a condenser microphone using a dynamic range method to selectively collect sound signals from a user.

음향 데이터 입력부(30)는 음악반주장치(M)로부터 생성되는 음향 신호에 대응되는 음향 데이터를 수신할 수 있는 장치이다. 일 예로서, 음향 데이터 입력부(30)는 음악반주장치(M)에서 재생되는 음향 데이터를 수신하는 회로일 수 있다. 예를 들면, 음악반주장치(M)의 출력단에서 재생되는 반주음악의 디지털 출력을 분기하여 반주 음악에 대한 음향 데이터를 음향 데이터 입력부(30)를 통해 수신할 수 있다.The sound data input unit 30 is a device capable of receiving sound data corresponding to sound signals generated from the music accommodating device M. FIG. As an example, the sound data input unit 30 may be a circuit that receives sound data reproduced by the music accommodating device M. FIG. For example, the digital output of the accompaniment music reproduced at the output terminal of the music accommodating device M may be received through the sound data input unit 30.

또한, 일 실시예에 따른 음향 편집 장치(1)는 음향 신호를 시각적으로 표시하는 디스플레이부(40), 음향 신호를 청각적으로 출력하는 스피커부(50) 및 사용자(U)에 의해 음악 선택 정보가 입력될 수 있는 키패드(60)를 더 포함할 수 있다.In addition, the sound editing apparatus 1 according to an embodiment may include music display information by the display unit 40 for visually displaying the sound signal, the speaker unit 50 for audibly outputting the sound signal, and the user U. FIG. It may further include a keypad 60 that can be input.

사용자(U)가 음악반주장치(M)의 연주에 맞추어 노래를 하거나 악기를 연주하는 경우, 사용자(U)로부터 노래나 악기 연주에 의한 음향 신호가 생성되고, 음악반주장치(M)로부터 반주 음악에 의한 음향 신호가 동시에 생성될 수 있다. When the user U sings or plays a musical instrument in accordance with the performance of the music accommodating device M, an acoustic signal is generated from the user U by performing a song or musical instrument, and the accompaniment music is received from the music accommodating device M. The acoustic signal by can be generated simultaneously.

디스플레이부(40)는 음향 입력부(20)나 음향 데이터 입력부(30)를 통해 입력된 음향 데이터 및 저장부(13)에 저장된 음악 정보에 대한 데이터를 시각적으로 표시하는 표시 장치이다. 예를 들어, 디스플레이부(40)는 음표, 문자, 색상 중 하나 이상을 이용하여 음향 데이터에 대한 박자, 가사 및 음정 중 하나 이상을 표시할 수 있다. 일 예시에 따른 디스플레이부(40)는 브라운관(Cathode Ray Tube; CRT), 액정 표시 장치(Liquid Crystal Display; LCD) 등 알려진 다양한　디스플레이　방식으로 구현될 수 있다.The display unit 40 is a display device that visually displays data about sound data input through the sound input unit 20 or the sound data input unit 30 and music information stored in the storage unit 13. For example, the display unit 40 may display one or more of the beat, lyrics, and pitch of the sound data by using one or more of notes, letters, and colors. The display unit 40 according to an example may be implemented by various known display methods such as a cathode ray tube (CRT) and a liquid crystal display (LCD).

스피커부(50)는 음향 입력부(20) 및 음향 데이터 입력부(30)에 입력된 음향 데이터 및 저장부(13)에 저장된 음악 정보에 대한 데이터를 청각적으로 출력하는 출력 장치이다. 예를 들어, 스피커부(50)는 음향 입력부(20) 및 음향 데이터 입력부(30)에 입력된 음향 데이터의 상태를 확인하기 위해 디지털화된 음향 데이터를 아날로그 형태의 음향 신호로 변환하여 출력할 수 있다. The speaker unit 50 is an output device that audibly outputs data about sound data input to the sound input unit 20 and the sound data input unit 30 and music information stored in the storage unit 13. For example, the speaker unit 50 may convert the digitized sound data into an analog type sound signal and output the sound data in order to check the state of the sound data input to the sound input unit 20 and the sound data input unit 30. .

키패드(60)는 사용자(U)로부터 입력 신호를 수신할 수 있는 수신장치이다. 일 예로서, 키패드(60)는 저장부(20)에 입력된 음악을 식별할 수 있는 식별 정보, 예를 들어 음악의 제목이나 식별 번호를 입력할 수 있는 버튼, 터치 센서 등을 포함할 수 있다. 또한, 키패드(60)는 일 실시예에 따른 음향 편집 장치(1)를 이용하여 녹음된 음향을 리뷰하고 편집하는 과정에서, 재생, 빨리감기, 건너뛰기(소절이동, 절 이동, 간주 건너뛰기, 엔딩 연주), 뒤로감기, 다음재생, 반복재생(구간반복, 절 반복) 일시정지와 같은 재생/녹음/편집 등에 관한 입력을 할 수 있다.The keypad 60 is a receiving device capable of receiving an input signal from the user U. For example, the keypad 60 may include identification information for identifying music input to the storage unit 20, for example, a button for inputting a title or identification number of the music, a touch sensor, and the like. . In addition, the keypad 60, in the process of reviewing and editing the recorded sound using the sound editing apparatus 1 according to an embodiment, play, fast-forward, skip (move a measure, move a section, skip a consideration, You can input playback / recording / editing, such as ending play), rewind, next play, repeat play (pause repeat, repeat section), and so on.

다만, 본 개시가 이에 제한되는 것은 아니며, 음향 편집 장치(1)를 구동하기 위한 일련의 명령 신호를 입력 받을 수 있는 다양한 수단 및 구성으로 구현될 수도 있다. However, the present disclosure is not limited thereto and may be implemented in various means and configurations capable of receiving a series of command signals for driving the sound editing apparatus 1.

도 2에서 일 실시예에 따른 음향 편집 장치(1)가 음악반주장치(M) 내에 포함되는 것으로 도시되었지만, 본 개시가 이에 한정되는 것은 아니며, 음악 리뷰 장치(1)는 음악반주장치(M)와 별개의 장치로서 존재할 수도 있다.In FIG. 2, the sound editing apparatus 1 according to the exemplary embodiment is illustrated as being included in the music accommodating apparatus M, but the present disclosure is not limited thereto, and the music review apparatus 1 may include the music accommodating apparatus M. In FIG. It may also be present as a separate device.

도 2를 참조하면, 사용자(U)가 노래를 부르거나 악기를 연주하는 경우 그 음향을 마이크(20)를 통해 음향 편집 장치(1)에 입력되어 녹음될 수 있다.Referring to FIG. 2, when the user U sings or plays an instrument, the sound may be input to the sound editing apparatus 1 through the microphone 20 and recorded.

이하에서는, 일 실시예에 따른 음향 편집 장치(1)를 이용하여, 음향 입력부(20) 및 음향 데이터 입력부(30)를 통해 입력된 음향 데이터를 리뷰하고 편집하는 방법에 대해 보다 구체적으로 서술한다.Hereinafter, a method of reviewing and editing sound data input through the sound input unit 20 and the sound data input unit 30 using the sound editing apparatus 1 according to an embodiment will be described in more detail.

도 3은 일 실시예에 따라 선곡된 음악 정보가 표시되는 디스플레이부를 설명하는 개략도이다. 3 is a schematic diagram illustrating a display unit displaying selected music information according to an exemplary embodiment.

우선, 사용자(U)는 키패드(60)를 이용하여 특정 곡을 선곡할 수 있으며, 디스플레이부(40)에는, 도 3에 도시된 바와 같이 사용자(U)가 노래를 부르거나 악기를 연주하는 과정에서 참조할 수 있도록 선곡된 곡의 가사 및 실시간 악보가 표시될 수 있다.First, the user U may select a specific song by using the keypad 60, and the display unit 40 may process the user U singing or playing an instrument as shown in FIG. 3. Lyrics and live scores of songs selected for reference at may be displayed.

이때, 사용자(U)가 노래를 부르거나 악기를 연주하는 과정에서 녹음된 음향에 따라 실시간 악보가 새롭게 생성되어 녹음된 곡의 실시간 악보가 표시될 수 있다.In this case, the real time sheet music is newly generated according to the recorded sound while the user U sings a song or plays an instrument, and the real time score of the recorded song may be displayed.

후술할 도 6a에 도시된 바와 같이, 선곡된 원곡의 악보와 사용자에 의해 녹음된 곡의 실시간 악보가 하나의 화면에 표시되어, 사용자는 녹음된 음향의 음정이나 박자를 원곡과 비교하는 등으로 리뷰할 수 있다.As shown in FIG. 6A to be described later, the score of the selected original song and the real time score of the song recorded by the user are displayed on one screen, and the user reviews the pitch or beat of the recorded sound by comparing with the original song. can do.

도 4는 일 실시예에 따른 음향 편집 방법을 설명하는 흐름도이다. 4 is a flowchart illustrating a sound editing method according to an exemplary embodiment.

우선, 음악반주장치(M)로부터 생성되는 음향 신호에 대응되는 제1 음향 데이터가 음향 데이터 입력부(30)에 입력되고, 사용자(U)로부터 생성되는 음향 신호가 음향 입력부(20)에 입력된다(S210). First, first sound data corresponding to a sound signal generated from the music accommodating device M is input to the sound data input unit 30, and a sound signal generated from the user U is input to the sound input unit 20 ( S210).

일 예로서, 음향 입력부(20)는 사용자(U)의 노래나 악기 연주에 의한 음향 신호와 음악반주장치(M)로부터 반주 음악에 의한 음향 신호가 동시에 생성되는 경우, 사용자(U)로부터 생성되는 음향 신호를　선택적으로 집음할 수 있다. 예를 들면, 다이나믹 레인지를 가지는 마이크를 이용하여 사용자(U)로부터의 음향 신호를 주로 녹음할 수 있다.As an example, the sound input unit 20 is generated from the user U when a sound signal generated by a song or a musical instrument of the user U and an acoustic signal generated by the accompaniment music from the music accommodating device M are simultaneously generated. The sound signal can be selectively collected. For example, an audio signal from the user U may be mainly recorded using a microphone having a dynamic range.

이와 동시에 음향 편집 장치(1)는 음악반주장치(M)로부터 생성되는 음향 신호에 대한 제1 음향 데이터를 음향 데이터 입력부(30)를 통해 수신할 수 있다. 예를 들어, 음향 데이터 입력부(30)는 음악반주장치(M)의 출력단과 직접적으로 연결되어 디지털 출력되는 제1 음향 데이터를 가져올 수 있다. At the same time, the sound editing apparatus 1 may receive first sound data for the sound signal generated from the music accommodating device M through the sound data input unit 30. For example, the sound data input unit 30 may be directly connected to an output terminal of the music accommodating device M to bring first sound data that is digitally output.

음악반주장치(M)로부터 수신된 제1 음향 데이터는 미디음원에 해당하고, 음향 입력부로 입력되는 음향 신호는 별개로 녹음되어 제2 음향 데이터로 저장되므로, 리뷰 과정에서 음정변화, 템포변화, 건너뛰기, 반복, 책갈피, 일시정지 등의 기능을 수행하더라도, 음정변화나 음질변화에서 자유로울 수 있다.Since the first sound data received from the music accommodating device M corresponds to the MIDI sound source, and the sound signal input to the sound input unit is separately recorded and stored as the second sound data, the pitch change, the tempo change, and the crossing are performed during the review process. Even if you perform functions such as running, repeating, bookmarking, pausing, etc., you can be free from pitch change or sound quality change.

일 실시예에 따르면, 음악반주장치(M)에 저장되어 있던 반주음악들은 시퀀스 소프트웨어를 사용해서 음을 울리는 미디 음원일 수 있다. 따라서, 음향 리뷰 중 음정이나 템포 등의 변화를 줄 때 음향데이터입력부(30)를 통해 녹음된 음향 데이터를 사용하지 않고 음악반주장치(M)에서 입력되는 제 1음향 데이터를 사용함으로써 음질이 저하되거나 왜곡되는 문제에서 자유로울 수 있다.According to an embodiment, the accompaniment music stored in the music accommodating device M may be a MIDI sound source that sounds using sequence software. Therefore, the sound quality is degraded by using the first sound data input from the music accommodating device M without using the sound data recorded through the sound data input unit 30 when the pitch or the tempo is changed during the sound review. It can be free from distortion problems.

다음으로, 음향 편집 장치(1)는 음향 입력부(20)로 입력된 음향 신호를 제2 음향 데이터로 변환할 수 있다(S220). 일 예로서, 음향 입력부(20)를 이용하여 입력된 사용자(U)의 음향 신호는 데이터 변환부(11)에 포함된 증폭기 및 ADC를 이용하여 제2 음향 데이터로 변환될 수 있다. Next, the sound editing apparatus 1 may convert the sound signal input to the sound input unit 20 into second sound data (S220). As an example, the sound signal of the user U input using the sound input unit 20 may be converted into second sound data using an amplifier and an ADC included in the data converter 11.

다음으로, 음향 편집 장치(1)는 제1 음향 데이터와 제2 음향 데이터를 저장부(13)에 저장할 수 있다(S230). 일 예로서, 데이터 변환부(11)에 의해 변환된 제2 음향 데이터는 저장부(13)에 실시간으로 저장될 수 있다. 이때, 상기 제1 음향 데이터와 상기 제2 음향 데이터는 mp3, wav 등을 포함하는 다양한 형식의 음악 파일 중 하나로 상기 저장부(20)에 저장된다. Next, the sound editing apparatus 1 may store the first sound data and the second sound data in the storage unit 13 (S230). As an example, the second sound data converted by the data converter 11 may be stored in the storage 13 in real time. In this case, the first sound data and the second sound data are stored in the storage unit 20 as one of various types of music files including mp3, wav, and the like.

다음으로, 음향 편집 장치(1)는 제1 음향 데이터와 제2 음향 데이터를 각각 편집하고, 합성하여 제3 음향 데이터를 생성할 수 있다(S240). 일 예로서, 제어부(12)는 저장부(13)에 저장된 제1 음향 데이터와 제2 음향 데이터를 각각 편집하여 합성할 수 있다. 예를 들어 제어부(12)는 저장부(13)에 저장된 제2 음향 데이터를 선택하여 디코딩하고, 디코딩된 제2 음향 데이터를 편집하여 다시 저장할 수 있다. 이후, 제어부(12)는 편집된 제2 음향 데이터와 제1 음향 데이터를 디코딩하고, 디코딩이 이루어진 편집된 제2 음향 데이터와 제1 음향 데이터를 합성하여 제3 음향 데이터를 생성할 수 있다. 이때, 제3 음향 데이터는, 예를 들어 사용자(U)의 노래나 연주를 편집한 편집 음향과 음악반주장치(M)의 반주 음악이 합성된 음향 데이터일 수 있다.Next, the sound editing apparatus 1 may edit and synthesize the first sound data and the second sound data, respectively, to generate third sound data (S240). As an example, the controller 12 may edit and synthesize the first sound data and the second sound data stored in the storage 13, respectively. For example, the controller 12 may select and decode second sound data stored in the storage 13, and edit and decode the decoded second sound data. Thereafter, the controller 12 may decode the edited second sound data and the first sound data, and generate the third sound data by synthesizing the decoded edited second sound data and the first sound data. In this case, the third sound data may be, for example, sound data obtained by synthesizing an edited sound obtained by editing the song or performance of the user U and the accompaniment music of the music accommodating device M. FIG.

상술한 바와 같이, 음악반주장치(M) 및 사용자(U)로부터 생성되는 음향 신호를 제1 음향 데이터 및 제2 음향 데이터로 각각 저장함으로써, 사용자(U)에 의해 생성되는 음향 신호에 대한 편집이 보다 용이하게 수행될 수 있다. 또한, 이때, 음악반주장치(M)로부터의 음향 데이터가 개별적으로 관리됨에 따라 사용자(U)에 의해 생성되는 음향 신호에 대한 편집이 수행되는 경우에도 음악반주장치(M)로부터 생성되는 음향 신호에 대한 손상 및 왜곡을 방지할 수 있다.As described above, by storing the sound signals generated from the music accommodating device M and the user U as the first sound data and the second sound data, respectively, editing of the sound signals generated by the user U is performed. It can be done more easily. In addition, in this case, the sound data generated from the music accommodating device M may be applied to the sound signal generated from the music accommodating device M even when the editing of the sound signal generated by the user U is performed as the sound data from the music accommodating device M are individually managed. Damage and distortion can be prevented.

본 발명의 일 실시예에 따른 리뷰 기능을 갖는 음향 편집 장치(1)를 이용하면, 사용자(U)가 연주를 하거나 노래를 부를 때 이를 녹음한 후 그 결과를 실시간 악보와 가사와 같이 재생하여 확인할 수 있다. 이러한 기능을 본 명세서에서 리뷰(review)라고 호칭한다. 나아가 리뷰 기능을 갖는 음향 편집 장치(1)에서는 녹음편집 기능을 이용하여 마음에 들지 않는 부분을 다시 녹음할 수도 있다.When using the sound editing apparatus 1 having a review function according to an embodiment of the present invention, when the user U plays or sings, the sound is recorded and then the result is reproduced and checked with real-time score and lyrics. Can be. This function is referred to herein as a review. Furthermore, in the sound editing apparatus 1 having a review function, it is also possible to re-record a portion which is not desired by using the recording editing function.

도 5는 일 실시예에 따른 음향 편집 장치(1)를 이용한 음향 리뷰 방법을 설명하는 흐름도이다. 도 6a는 일 실시예에 따라 음악반주장치(M)로부터의 음향 신호와 사용자(U)로부터의 음향 신호가 표시되는 디스플레이부를 설명하는 개략도이다. 도 6b는 일 실시예에 따라 수정된 사용자(U)로부터의 음향 신호 정보가 표시되는 디스플레이부를 설명하는 개략도이다. 5 is a flowchart illustrating a sound review method using the sound editing apparatus 1 according to an embodiment. 6A is a schematic diagram illustrating a display unit in which sound signals from the music accommodating device M and sound signals from the user U are displayed, according to an exemplary embodiment. 6B is a schematic diagram illustrating a display unit in which acoustic signal information from a modified user U is displayed, according to an exemplary embodiment.

도 5를 참조하면, 일 실시예에 따른 음향 리뷰 방법은 음악반주장치(M)로부터 생성되는 음향 신호에 대응되는 제1 음향 데이터가 음향 데이터 입력부에 입력되고, 사용자(U)로부터 생성되는 음향 신호가 음향 입력부(20)에 입력되는 단계(S310) 다음으로, 음향 입력부(20)로 입력된 음향 신호를 제2 음향 데이터로 변환하는 단계 (S320) 다음으로, 제1 음향 데이터와 상기 제2 음향 데이터를 저장부(13)에 저장하는 단계를 포함할 수 있다(S330). 상술한 단계는 도 4에 개시된 음향 편집 방법과 실질적으로 동일하므로 서술의 편의상 여기서는 설명을 생략한다.Referring to FIG. 5, in the sound reviewing method according to an exemplary embodiment, first sound data corresponding to a sound signal generated from the music accommodating device M is input to the sound data input unit, and a sound signal generated from the user U is generated. Is input to the sound input unit 20 (S310) Next, the step of converting the sound signal input to the sound input unit 20 into the second sound data (S320) Next, the first sound data and the second sound It may include storing the data in the storage unit (13) (S330). Since the above-described steps are substantially the same as the sound editing method disclosed in FIG. 4, description thereof is omitted here for convenience of description.

다음으로, 제1 음향 데이터와 제2 음향 데이터를 비교할 수 있다(S340). 일 예로서, 키패드(60)에는 사용자(U)에 의해 선택되는 특정 노래에 대한 입력 신호가 입력될 수 있으며, 저장부(13)에는 사용자(U)가 선택하는 곡에 대한 제1 음향 데이터가 저장될 수 있다. 이때, 제1 음향 데이터는 특정 노래의 가사, 음정 및 박자 정보를 기반으로 미리 생성하여 저장된 음향 파일일 수 있다. 이때, 제어부(12)는 저장부(13)에 저장된 제1 음향 데이터와 제2 음향 데이터를 비교하여 음정 및 박자 중 하나 이상이 상이한 영역을 확인할 수 있다.Next, the first sound data and the second sound data may be compared (S340). As an example, an input signal for a specific song selected by the user U may be input to the keypad 60, and the storage unit 13 may include first sound data about a song selected by the user U. Can be stored. In this case, the first sound data may be a sound file previously generated and stored based on lyrics, pitch, and beat information of a specific song. In this case, the controller 12 may compare the first sound data and the second sound data stored in the storage unit 13 to identify an area in which one or more pitches and beats differ.

또한, 제1 음향 데이터와 제2 음향 데이터를 비교하는 방법은 제1 음향 데이터에 기초하여 분석한 음정과 박자를 포함하는 제1 분석 데이터와, 제2 음향 데이터에 기초하여 분석한 음정과 박자를 포함하는 제2 분석 데이터를 비교하는 방법을 포함할 수 있다. 예를 들어, 제1 음향 데이터에 기초한 음정과 박자를 분석하고, 제2 음향 데이터에 기초한 음정과 박자를 분석하여 제1 음향과 제2 음향 사이의 음정의 차이나 박자의 차이를 파악할 수 있다.In addition, the method of comparing the first sound data and the second sound data includes first analysis data including a pitch and a beat analyzed based on the first sound data, and a pitch and a beat analyzed based on the second sound data. It may include a method of comparing the second analysis data comprising. For example, the pitch and time signature based on the first sound data may be analyzed, and the pitch and time signature based on the second sound data may be analyzed to determine a difference in pitch or time difference between the first sound and the second sound.

또한, 제1 음향 데이터와 제2 음향 데이터를 비교하는 방법은 제1 음향 데이터에 기초하여 분석한 음정과 박자를 포함하는 제1 분석 화면과, 제2 음향 데이터에 기초하여 분석한 음정과 박자를 포함하는 제2 분석 화면을 사용자(U)에게 표시하고, 사용자(U)에게 분석을 맡기는 방법일 수 있다. 예를 들어, 사용자(U)는 제1 분석 화면 및 제2 분석 화면을 보면서 제1 음향 데이터와 제2 음향 데이터를 동시에 또는 개별적으로 청음하여, 음정 및/또는 박자가 상이한 구간을 파악하여 지정할 수 있다.The method of comparing the first sound data with the second sound data includes a first analysis screen including a pitch and a beat analyzed based on the first sound data, and a pitch and a beat analyzed based on the second sound data. It may be a method of displaying the second analysis screen including the user U and entrusting the analysis to the user U. For example, the user U may listen to the first sound data and the second sound data simultaneously or separately while viewing the first analysis screen and the second analysis screen to identify and designate a section in which the pitch and / or beat are different. have.

다음으로, 제1 음향 데이터와 제2 음향 데이터가 상이하거나 어울리지 않아 재녹음을 원하는 구간을 디스플레이부(40)에 표시할 수 있다 (S350). 일 예로서, 제어부(12)는 제1 음향 데이터와 제2 음향 데이터의 출력 시점을 알 수 있도록 하는 동기화 데이터를 생성할 수 있다. 이와 같은 동기화 데이터는 제1 음향 데이터와 제2 음향 데이터의 변환에 따라 제1 음향 데이터와 제2 음향 데이터의 출력 시점을 알 수 있도록 하는, 예를 들어　시간　정보나 악보를 포함할 수 있다. 이에 따라 제1 음향 데이터와 제2 음향 데이터가 상이한 구간의 시간 정보나 악보 위치가 확인될 수 있다. 이때, 디스플레이부(40)에는 도 6a에 도시된 바와 같이 제1 음향 데이터와 제2 음향 데이터에 따른 음악 정보(예, 재구성된 악보) 및 제1 음향 데이터와 제2 음향 데이터가 상이한 구간이 표시될 수 있다. 예를 들어, 디스플레이부(40)에는 원곡의 악보와 사용자에 의해 녹음된 곡의 실시간 악보가 동시에 표시될 수 있고, 그 중에서 음정이나 박자에 차이가 있는 부분이 추가로 표시될 수 있다. 즉, 리뷰재생시 음향 입력부를 통해 녹음된 음향을 분석하여 실시간 악보에 표현함으로써, 사용자가 원곡과의 차이점을 쉽게 파악할 수 있다.Next, since the first sound data and the second sound data are different or do not match, a section for re-recording may be displayed on the display unit 40 (S350). As an example, the controller 12 may generate synchronization data for identifying an output time point of the first sound data and the second sound data. Such synchronization data may include, for example, 'time' information or sheet music so that an output time point of the first sound data and the second sound data can be known according to the conversion of the first sound data and the second sound data. Accordingly, the time information or the score position of the section in which the first sound data and the second sound data are different can be confirmed. In this case, as illustrated in FIG. 6A, the display unit 40 displays music information (eg, reconstructed score) according to the first sound data and the second sound data, and a section in which the first sound data and the second sound data are different from each other. Can be. For example, the display unit 40 may simultaneously display the sheet music of the original song and the real-time sheet music of the song recorded by the user, and may additionally display a portion having a difference in pitch or beat. That is, by analyzing the sound recorded through the sound input unit during review playback and expressing it in the real-time score, the user can easily grasp the difference from the original song.

이에 따라, 사용자는 자신이 녹음한 노래나 연주를 시각적으로 그리고 청각적으로 리뷰할 수 있게 된다. 결국 사용자는 녹음 내용을 관련된 영상과 함께 확인하여 편집하고 학습할 수 있다.Accordingly, the user can visually and audibly review the song or performance recorded by the user. Eventually, the user can check, edit and learn the recording along with the related video.

다음으로, 제1 음향 데이터와 제2 음향 데이터가 상이한 구간에서 사용자(U)로부터 생성되는 음향 신호에 기초한 제2-1 음향 데이터가 입력될 수 있다(S360). 예를 들어, 리뷰기능을 이용하는 사용자는 녹음편집 기능을 이용하여 재녹음을 원하는 구간을 다시 녹음할 수도 있다.Next, in the section in which the first sound data and the second sound data are different, the 2-1 sound data based on the sound signal generated from the user U may be input (S360). For example, a user using the review function may re-record a desired section for re-recording using the recording edit function.

일 예로서, 사용자(U)가 디스플레이부(40)를 통해 제1 음향 데이터와 제2 음향 데이터가 상이하거나 어울리지 않아 재녹음을 원하는 구간을 확인한 경우, 사용자(U)는, 변경을 원하는 구간에 수정된 새로운 음향을 음향 입력부(20)를 통해 입력하고, 음향 데이터 변환부(11)를 통해 제2-1 음향 데이터로 변환할 수 있다. 일 실시예에 따르면, 제2-1 음향 데이터가 입력될 때, 제1 음향 데이터가 디스플레이부(40) 및 스피커부(50)를 통해 출력될 수 있다. 이때, 제1 음향 데이터가 스피커부(50)를 통해 청각적으로 출력되는 시점은, 예를 들어 도 6b에 도시된 바와 같이, 제1 음향 데이터와 제2 음향 데이터가 상이한 최초의 시점 보다 소정의 시간이 앞선 시점일 수 있다. 상대적으로 음향 입력부를(20)를 통해 녹음되는 시점은 제1 음향 데이터의 출력시점보다 조금 늦을 수 있다. 이에 따라 사용자(U)는 보다 용이하게 제2-1 음향 데이터가 입력되는 시점을 확인하여 음향 입력을 시작할 수 있다. 노래나 악기 연주 모두 감정을 표현하는 것이 중요한데, 감정을 유지하기 위한 반주 재생 구간과 녹음 편집 구간은 다를 수 있기 때문이다. 제1 음향 데이터를 녹음 편집 구간보다 소정의 시간 먼저 재생하는 이 기능을 이용하면, 노래나 연주 시에 감정 표현을 용이하게 할 수 있다. As an example, when the user U checks a section for re-recording because the first sound data and the second sound data are different or do not match through the display unit 40, the user U may select a section to be changed. The modified new sound may be input through the sound input unit 20 and converted into 2-1 sound data through the sound data converter 11. According to an embodiment, when the 2-1 sound data is input, the first sound data may be output through the display unit 40 and the speaker unit 50. In this case, the time point at which the first sound data is audibly output through the speaker unit 50 is, for example, as shown in FIG. 6B, rather than the first time point at which the first sound data and the second sound data are different. The time may be earlier. Relatively, the time point recorded through the sound input unit 20 may be slightly later than the time point at which the first sound data is output. Accordingly, the user U may easily check the time point at which the 2-1 sound data is input and start the sound input. It is important to express emotions in both songs and musical instruments, because the accompaniment playback section and the recording editing section may be different to maintain the emotions. By using this function of reproducing the first sound data a predetermined time before the recording and editing section, it is possible to facilitate the expression of emotions when singing or playing.

예를 들어, 제1 음향 데이터를 녹음 편집 구간보다 자동으로 먼저 재생하는 시간 간격은 사용자에 의해 지정될 수 있다. 또한, 사용자는 녹음 편집 구간과 별개로, 재생구간을 수동으로 직접 설정할 수 있다.For example, a time interval for automatically reproducing the first sound data before the recording editing section may be designated by the user. In addition, the user may manually set the playback section separately from the recording edit section.

다음으로, 제1 음향 데이터, 제2-1 음향 데이터, 제2 음향 데이터를 합성하여 제3-2 음향 데이터를 생성될 수 있다(S370). 예를 들어 제어부(12)는, 제1 음향 데이터와 제2 음향 데이터가 상이한 구간에서 제2-1 음향 데이터로 제2 음향 데이터를 대체하여 제2 음향 데이터와 제2-1 음향 데이터가 매끄럽게 연결되도록 합성하고, 편집된 음향 데이터에 다시 제1 음향 데이터를 합성하여 제3-2 음향 데이터를 생성할 수 있다. 이때, 제3-2 음향 데이터는, 예를 들어 사용자(U)의 노래나 연주 중 일부 구간이 재녹음된 노래나 재녹음된 연주로 편집된 편집 음향과 음악반주장치(M)의 반주 음악이 합성된 음향 데이터일 수 있다.Next, the 3-2 sound data may be generated by synthesizing the first sound data, the 2-1 sound data, and the second sound data (S370). For example, the controller 12 seamlessly connects the second sound data and the 2-1 sound data by replacing the second sound data with the 2-1 sound data in a section where the first sound data and the second sound data are different. Synthesis may be performed as much as possible, and the second acoustic data may be generated by combining the first acoustic data with the edited sound data. In this case, the 3-2 sound data may include, for example, a song in which a portion of the song or performance of the user U is re-recorded or an edited sound edited by the re-recorded performance and the accompaniment music of the music accommodating device M. It may be synthesized acoustic data.

상술한 바와 같이, 사용자(U)는 제1 음향 데이터와 제2 음향 데이터가 상이한 구간을 미리 확인하고, 제1 음향 데이터와 제2 음향 데이터가 상이한 구간에 새로운 음향 신호를 입력하고 합성할 수 있다. 이에 따라 사용자(U)는 녹음 과정에서 녹음된 음향 데이터를 분석하여 미리 저장된 참조 음향 데이터와 상이한 구간을 확인하여 즉시 수정할 수 있다. 또한, 이때, 음악반주장치(M)로부터 생성되는 음향 신호가 개별적으로 관리됨에 따라 사용자(U)에 의해 생성되는 음향 신호에 대한 편집이 수행되는 경우에도 음악반주장치(M)로부터 생성되는 음향 신호에 대한 손상 및 왜곡을 방지할 수 있다.As described above, the user U may confirm in advance a section in which the first sound data and the second sound data are different, and input and synthesize a new sound signal in a section in which the first sound data and the second sound data are different. . Accordingly, the user U may analyze the sound data recorded in the recording process, identify a section different from the previously stored reference sound data, and immediately correct it. In addition, at this time, the sound signal generated from the music accommodating device M is managed even when the editing of the sound signal generated by the user U is performed as the sound signals generated from the music accommodating device M are individually managed. Damage and distortion can be prevented.

도 6c는 일 실시예에 따른 음향 편집 장치(1)를 이용한 재녹음 과정을 설명하는 흐름도이다. 6C is a flowchart illustrating a re-recording process using the sound editing apparatus 1 according to an embodiment.

사용자는 재 녹음 과정에서, 다시 녹음할 구간(녹음 편집할 구간)을 설정할 수 있다(S610). 이후, 음향 편집 장치는 사용자에게 재생구간 설정이 필요한지 여부를 확인할 수 있다(S620).In the re-recording process, the user may set a section to be rerecorded (a section to be recorded and edited) (S610). Thereafter, the sound editing apparatus may check whether the user needs to set the playback section (S620).

만약 재생구간 설정이 필요한 경우, 사용자는 입력장치를 이용하여 수동으로 재생구간을 설정할 수 있다(S630). 이때 재생구간은 녹음 편집할 구간과 상이할 수 있다.If it is necessary to set the playback section, the user can manually set the playback section using the input device (S630). At this time, the playback section may be different from the section to be recorded and edited.

만약 재생구간 설정이 필요하지 않은 경우, 재생구간은 녹음구간 전 미리 설정된 시간 앞으로 자동으로 설정된다(S640). 예를 들어, 녹음 구간에 앞선 소정의 시간(예, 5초, 10초, …)또는 소정의 소절 전(예, 1 소절 전, 2 소절 전, …)에서 재생구간이 미리 설정된 값으로 자동으로 설정될 수 있다. 이때 소정의 시간 또는 소정의 소절은 사용자에 의해 수동으로 변경될 수 있다.If it is not necessary to set the playback section, the playback section is automatically set before the preset time before the recording section (S640). For example, the playback section is automatically set to a preset value at a predetermined time (eg 5 seconds, 10 seconds,…) or before a predetermined measure (eg before 1 measure, before 2 measures,…) before the recording section. Can be set. At this time, the predetermined time or predetermined measure may be manually changed by the user.

이후, 녹음 구간에 대하여 녹음이 진행된다(S650). 녹음된 파일(제2-1 음향 데이터)은 기존의 파일(제2 음향 데이터)과 병합되어 저장된다(S660). 이후, 음향 편집 장치는 종료 확인 메시지를 출력한다(S670). 이때, 사용자가 종료를 요청하는 경우 종료되고, 그 외의 경우에는 다시 녹음편집할 구간을 설정하게 된다.Thereafter, recording is performed for the recording section (S650). The recorded file (2-1 sound data) is merged with an existing file (second sound data) and stored (S660). Thereafter, the sound editing apparatus outputs an end confirmation message (S670). At this time, if the user requests termination, it is terminated. Otherwise, the interval to be recorded and edited is set again.

이하, 본 발명의 일 실시예에 따른 음악 편집 장치(1)를 이용한 음향 리뷰 방법을 도 7과 8을 참조하여 설명한다.Hereinafter, a sound review method using the music editing apparatus 1 according to an embodiment of the present invention will be described with reference to FIGS. 7 and 8.

도 7은 일 실시예에 따른 음악 편집 장치(1)를 이용한 음향 리뷰 방법을 설명하는 흐름도이다. 7 is a flowchart illustrating a sound review method using the music editing apparatus 1 according to an embodiment.

도 7을 참조하면, 음악 편집 장치(1)는 음악의 선곡 후, 음악반주장치(M)로부터 생성되는 제1 음향 데이터를 수신하고, 사용자(U)로부터 생성되는 음향 신호를 음향 입력부(20)를 통해 녹음하여 제2 음향 데이터를 생성한다(S710). Referring to FIG. 7, after selecting music, the music editing apparatus 1 receives first sound data generated from the music accommodating device M, and outputs a sound signal generated from the user U to the sound input unit 20. Recording through the second sound data is generated (S710).

이 과정에서 사용자(U)로부터 생성되는 음향신호를 녹음하는 중에 실행되는 기능은 리뷰시에 실행될 수 있도록 모두 저장할 수 있다. 예를 들어, 녹음 중에 키나 템포를 변경하는 경우, 이 기능이 실행된 로그(log)가 음악 편집 장치(1)의 저장부에 저장될 수 있다.In this process, all the functions executed while recording the sound signal generated from the user U can be stored so that they can be executed at the time of review. For example, when changing a key or tempo during recording, a log in which this function is executed may be stored in the storage of the music editing apparatus 1.

다음으로, 음향 편집 장치(1)는 제2 음향 데이터를 재생하고, 화면에 표시하여 사용자(U)에게 제공할 수 있다(S720). 이를 리뷰 재생이라고 한다. 이때 음향 편집 장치(1)는 제1 음향 데이터를 함께 재생하고 표시하여 사용자(U)의 확인을 구할 수 있다. 예를 들어, 제1 음향 데이터 및 제2 음향 데이터는 동시에 스피커에서 재생될 수 있으며, 실시간 악보로서 화면에 표시되어 차이점을 쉽게 확인할 수 있다.Next, the sound editing apparatus 1 may reproduce the second sound data, display the second sound data on the screen, and provide the same to the user U (S720). This is called review playback. In this case, the sound editing apparatus 1 may obtain confirmation of the user U by playing and displaying the first sound data together. For example, the first sound data and the second sound data can be simultaneously reproduced in the speaker, and displayed on the screen as real-time score so that the difference can be easily identified.

일 실시예에 따르면, 음향 편집 장치(1)는 입력된 소리의 음정과 박자를 인식하여 대응되는 실시간 악보를 표기할 수 있다. 이때, 원곡의 악보에 음표로서 표현할 수 있고, 원곡의 악보 주변에 별도의 악보로서 해당되는 음정과 박자에 맞는 음표로서 표현할 수도 있다.According to an embodiment, the sound editing apparatus 1 may recognize a pitch and a beat of an input sound and display a corresponding real time score. At this time, the score of the original song may be expressed as a note, or may be expressed as a note corresponding to a pitch and a beat corresponding to a separate score around the score of the original song.

음향 편집 장치(1)에서는 리뷰기능의 실행 중에도 음악반주장치에서 가능한 음정변화, 템포변화, 건너뛰기, 반복, 책갈피, 일시정지 등의 기능 등이 모두 수행가능하다. 따라서, 녹음 중의 환경이나 녹음 중에 실행된 기능이 리뷰 재생시에 그대로 다시 실행될 수 있다. 예를 들어, 녹음 중에 키나 템포를 변경하거나 특정 구간을 점프한 경우, 저장부에 log로서 남고, 리뷰 재생시에 그대로 반영될 수 있다.The sound editing apparatus 1 can perform all the functions such as pitch change, tempo change, skip, repeat, bookmark, pause, and the like that are possible in the music accommodating device even while the review function is executed. Therefore, the environment during recording or the function executed during recording can be executed again as it is at the time of review reproduction. For example, if a key or tempo is changed during a recording or a certain section is jumped, it may remain as a log in the storage unit and may be reflected as it is during review playback.

다음으로, 사용자(U)는 제2 음향 데이터를 편집하여 제2-1 음향 데이터를 생성한다(S730). 예를 들어, 사용자(U)는 S720 단계에서 녹음된 제2 음향 데이터에서 재녹음되어야 할 부분을 발견하는 경우 제2 음향 데이터를 재녹음할 수 있다. 음향 입력부(20)를 통해 사용자(U)로부터 새로운 음향이 입력되면, 음향 데이터 변환부(11)를 통해 제2-1 음향 데이터로 저장될 수 있다.Next, the user U edits the second sound data to generate the 2-1 sound data (S730). For example, if the user U finds a part to be re-recorded in the second sound data recorded in operation S720, the user U may re-record the second sound data. When a new sound is input from the user U through the sound input unit 20, the sound may be stored as the 2-1 sound data through the sound data converter 11.

다음으로, 음향 편집 장치(1)는 제2-1 음향 데이터를 재생하고, 화면에 표시하여 사용자(U)의 확인을 얻을 수 있다(S740). 이때 음향 편집 장치(1)는 제2-1 음향 데이터와 함께 제1 음향 데이터를 재생할 수 있다.Next, the sound editing apparatus 1 may reproduce the 2-1th sound data and display the same on the screen to obtain confirmation of the user U (S740). In this case, the sound editing apparatus 1 may reproduce the first sound data together with the 2-1 sound data.

다음으로, 사용자(U)의 선택에 의해, 음향 편집 장치(1)는 파일을 저장하거나 전의 단계를 반복할 수 있다(S750). 만약, 사용자(U)가 결과물에 대해 만족하지 않는 경우 음향 편집 장치(1)는 S730 단계에서 다시 제2 음향 데이터를 편집할 수 있다. 만약, 사용자(U)가 결과물에 대해 만족하는 경우 음향 편집 장치(1)는 파일을 저장할 수 있다(S760).Next, by the selection of the user U, the sound editing apparatus 1 may store a file or repeat the previous step (S750). If the user U is not satisfied with the result, the sound editing apparatus 1 may edit the second sound data again in operation S730. If the user U is satisfied with the result, the sound editing apparatus 1 may store a file (S760).

도 8은 일 실시예에 따른 음악 편집 장치(1)를 이용한 음향 리뷰 방법에서 일부 구간을 편집하는 방법을 설명하는 흐름도이다. 8 is a flowchart illustrating a method of editing a partial section in the sound review method using the music editing apparatus 1 according to an embodiment.

도 8을 참조하면, 음악 편집 장치(1)는 사용자(U)로부터 녹음된 음향을 확인할 수 있도록 스피커 및/또는 디스플레이를 통해 출력할 수 있다(S810). 예를 들어, 음악 리뷰 장치(1)는 음악반주장치(M)로부터 생성되는 제1 음향 데이터와 사용자(U)로부터 생성되는 음향 신호를 녹음하여 변환한 제2 음향 데이터 중 하나 이상을 스피커 및/또는 디스플레이를 통해 출력할 수 있다.Referring to FIG. 8, the music editing apparatus 1 may output the speaker and / or the display so as to check the recorded sound from the user U (S810). For example, the music review apparatus 1 may include a speaker and / or at least one of first sound data generated from the music accommodating device M and second sound data obtained by recording and converting sound signals generated from the user U. Or output via the display.

다음으로, 음향 편집 장치(1)는 사용자(U)의 선택에 의한 편집 구간을 설정할 수 있다(S820). 예를 들어, 사용자(U)는 키패드(60)나 디스플레이부에 구비된 터치패드를 이용하여, 녹음된 제2 음향 데이터 중에서 일정 구간만을 또는 전체 구간을 다시 녹음하도록 설정할 수 있다.Next, the sound editing apparatus 1 may set an editing section by the selection of the user U (S820). For example, the user U may set to re-record only a predetermined section or the entire section of the recorded second sound data using the keypad 60 or the touch pad provided in the display unit.

다음으로, 음향 편집 장치(1)는 설정된 편집 구간에서 사용자(U)에 의한 음향을 다시 녹음할 수 있다(S830). Next, the sound editing apparatus 1 may re-record the sound by the user U in the set editing section (S830).

다음으로, 음향 편집 장치(1)는 녹음된 음향이 저장된 파일을 기존 파일과 병합할 수 있다(S840). 예를 들어, 음향 편집 장치(1)는 음향 입력부(20)를 통해 일부 구간에 대해 새로운 음향이 입력되면, 음향 데이터 변환부(11)를 통해 변환 후 기존 제2 음향 데이터와 합성하여 제2-1 음향 데이터로 저장할 수 있다. Next, the sound editing apparatus 1 may merge the file in which the recorded sound is stored with the existing file (S840). For example, when a new sound is input for a certain section through the sound input unit 20, the sound editing apparatus 1 converts the sound through the sound data converter 11 and synthesizes the existing sound data with the second sound data. 1 Can be stored as sound data.

다음으로, 음향 편집 장치(1)는 병합된 파일을 스피커부를 통해 재생하고, 디스플레이부에 표시하여 사용자(U)의 확인을 얻을 수 있다(S850). 이때 음향 편집 장치(1)는 상기 병합된 파일과 함께 제1 음향 데이터를 재생할 수 있다.Next, the sound editing apparatus 1 may reproduce the merged file through the speaker unit and display the merged file on the display unit to obtain confirmation of the user U (S850). In this case, the sound editing apparatus 1 may play first sound data together with the merged file.

다음으로, 사용자(U)의 선택에 의해, 음향 편집 장치(1)는 파일을 저장하거나 전의 단계를 반복할 수 있다(S860). 만약, 사용자(U)가 결과물을 다시 편집하기를 원하는 경우 음향 편집 장치(1)는 S830 단계에서 다시 사용자(U)에 의한 음향을 녹음할 수 있다. 만약, 사용자(U)가 결과물에 대해 저장요청을 하면 음향 편집 장치(1)는 파일을 저장할 수 있다(S870).Next, by the selection of the user U, the sound editing apparatus 1 may store a file or repeat the previous step (S860). If the user U wants to edit the result again, the sound editing apparatus 1 may re-record the sound by the user U in operation S830. If the user U makes a request for storing the result, the sound editing apparatus 1 may store a file (S870).

이와 같이, 일 실시예에 따른 음향 리뷰 기능을 갖는 음향 편집 장치(1)를 이용하면, 사용자가 연주를 하거나 노래를 부를 때 이를 녹음한 후 그 결과를 실시간 악보와 가사와 같이 재생하여 리뷰할 수 있다. 이때, 녹음편집 기능을 이용하여 마음에 들지 않는 부분을 다시 녹음할 수 있다. 또한, 학습의 효과를 높이기 위해 녹음과정과 녹음 후에도 녹음 내용을 분석하여 음정이나 박자가 맞는지 악보에 표기하여, 정확한 연주나 노래능력 향상에 도움을 줄 수 있다.As such, when the sound editing apparatus 1 having a sound review function according to an embodiment of the present invention is recorded, when the user plays or sings, the sound is recorded and then the result is reviewed by real-time score and lyrics. have. At this time, it is possible to re-record a portion that you do not like using the recording editing function. In addition, in order to enhance the effect of learning, after recording and analyzing the recording contents after the recording and whether the notes or beats on the score, it can help to improve the correct performance or singing ability.

또한, 일반적인 음향 편집 장치나 음향 리뷰 장치는 음향 리뷰 시에 재생속도의 변화를 줄 경우 음색이나 음정이 변하는 문제가 있는데, 음향 편집 장치(1)에서는 배경음악을 미디음원에서 출력하기 때문에 이런 문제에서 자유로워질 수 있다.In addition, the general sound editing device or sound review device has a problem that the tone or pitch changes when the playback speed is changed during the sound review. The sound editing device 1 outputs background music from the MIDI sound source. Can be free.

이상에서 본 발명의 실시예가 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although embodiments of the present invention have been described above, these are merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom.

Claims (8)

음악반주장치에서 재생되는 음향 신호와 함께 사용자에 의해 생성되는 음향 신호를 이용하여 리뷰기능을 제공하는 음향 편집 장치로서,
상기 음악반주장치로부터 재생되는 음향 신호에 대응되는 제1 음향 데이터가 입력되는 음향 데이터 입력부;
상기 사용자로부터 생성되는 음향 신호가 입력되는 음향 입력부;
상기 음향 입력부로부터 입력된 음향 신호를 제2 음향 데이터로 변환하는 데이터 변환부;
상기 제1 음향 데이터와 상기 제2 음향 데이터를 저장하는 저장부;
상기 제1 음향 데이터와 상기 제2 음향 데이터를 합성하여 제3 음향 데이터를 생성하는 제어부;
상기 제1 음향 데이터, 상기 제2 음향 데이터 중 하나 이상의 음향 데이터를 시각적으로 표시하는 디스플레이부; 및
상기 제1 음향 데이터, 상기 제2 음향 데이터, 및 상기 제3 음향 데이터 중 어느 하나의 음향 데이터를 청각적으로 출력하는 스피커부를 포함하고,
상기 제어부는,
상기 디스플레이부로 하여금 상기 제1 음향 데이터에 대응하는 음정과 박자를 기초로 하는 실시간 악보 및 상기 제2 음향 데이터에 대응하는 음정과 박자를 기초로 하는 실시간 악보를 하나의 화면에 표시하게 하고,
상기 제1 음향 데이터 및 상기 제2 음향 데이터 각각의 음정 또는 박자를 기초로 상기 제1 음향 데이터와 상기 제2 음향 데이터의 상이한 구간이 상기 디스플레이부를 통해 출력되는 상태에서, 상기 상이한 구간을 편집하고자 하는 사용자의 입력을 감지하면,
상기 스피커부를 통해 상기 상이한 구간의 시작 시점 보다 소정의 시간이 앞선 시점에 상기 제1 음향 데이터를 출력하고,
상기 음향 입력부를 통해 상기 제2 음향 데이터 중 상기 제1 음향 데이터와 상이한 구간에 상기 사용자로부터 새롭게 생성되는 음향 신호를 입력받으며,
상기 데이터 변환부를 통해 상기 새롭게 생성되는 음향 신호를 제2-1 음향 데이터로 변환하고,
상기 제1 음향 데이터, 상기 제2 음향 데이터, 및 상기 제2-1 음향 데이터를 합성하여 제3-2 음향 데이터를 생성하고,
상기 제1 음향 데이터는 미디음원에 해당하여 음정 또는 템포의 변화에서 자유로우며,
상기 제어부는 상기 사용자로부터의 음향 신호를 입력받는 녹음 중에 상기 사용자가 상기 제1 음향 데이터의 음정 또는 템포를 변화시킨 경우 상기 저장부에 로그(log)로서 기록하여, 상기 제2 음향 데이터 또는 상기 제2-1 음향 데이터의 리뷰 재생시에 상기 제1 음향 데이터에 상기 음정 또는 템포의 변화를 반영하여 재생하는,
음향 편집 장치.A sound editing device that provides a review function using a sound signal generated by a user together with a sound signal reproduced by a music accommodating device,
A sound data input unit to receive first sound data corresponding to a sound signal reproduced from the music accommodating device;
A sound input unit to which a sound signal generated from the user is input;
A data converter converting a sound signal input from the sound input unit into second sound data;
A storage unit which stores the first sound data and the second sound data;
A controller configured to synthesize the first sound data and the second sound data to generate third sound data;
A display unit for visually displaying at least one of the first sound data and the second sound data; And
And a speaker unit which acoustically outputs any one of the first sound data, the second sound data, and the third sound data.
The control unit,
Causing the display to display real-time score based on the pitch and beat corresponding to the first sound data and real-time score based on the pitch and beat corresponding to the second sound data on one screen;
On the basis of the pitch or time signature of each of the first sound data and the second sound data, different sections of the first sound data and the second sound data are output through the display unit, and the different sections are to be edited. When we detect user input,
Outputting the first sound data at a time earlier than a start time of the different section through the speaker unit;
Receiving a newly generated sound signal from the user in a section different from the first sound data among the second sound data through the sound input unit,
Converting the newly generated sound signal into 2-1 sound data through the data converter,
Synthesizes the first sound data, the second sound data, and the 2-1 sound data to generate a 3-2 sound data,
The first sound data is free from a change in pitch or tempo corresponding to the MIDI sound source,
The controller records the second sound data or the second sound as a log in the storage unit when the user changes the pitch or tempo of the first sound data while recording the sound signal from the user. 2-1 during playback of review of the sound data, reflecting the change in the pitch or tempo in the first sound data,
Sound editing device. 삭제delete 제1 항에 있어서,
상기 제어부는 상기 제1 음향 데이터와 상기 제2 음향 데이터를 비교하고, 상기 제1 음향 데이터와 상기 제2 음향 데이터가 상이한 구간을 상기 디스플레이부에 표시하는,
음향 편집 장치.According to claim 1,
The controller compares the first sound data with the second sound data, and displays a section in which the first sound data and the second sound data are different from each other on the display unit.
Sound editing device. 삭제delete 제1 항에 있어서,
상기 새롭게 생성되는 음향 신호가 입력되는 경우, 상기 제1 음향 데이터가 상기 디스플레이부 및 상기 스피커부를 통해 시각적 및 청각적으로 출력되는,
음향 편집 장치. According to claim 1,
When the newly generated sound signal is input, the first sound data is visually and audibly output through the display unit and the speaker unit.
Sound editing device. 제5 항에 있어서,
상기 제1 음향 데이터가 상기 스피커부를 통해 청각적으로 출력되는 시점은, 상기 사용자가 상기 제2 음향 데이터의 변경을 요청하는 구간의 시작시점과 상이한,
음향 편집 장치. The method of claim 5,
A point in time at which the first sound data is audibly output through the speaker unit is different from a start point of a section in which the user requests to change the second sound data.
Sound editing device. 제1 항에 있어서,
상기 디스플레이부는 음표, 문자, 색상 중 하나 이상을 이용하여 박자, 가사 및 음정 중 하나 이상을 표시하는,
음향 편집 장치.According to claim 1,
The display unit displays one or more of beat, lyrics, and pitch by using one or more of notes, characters, and colors.
Sound editing device. 제1항에 따른 음향 편집 장치를 이용한 음향 리뷰 방법으로서,
상기 음악반주장치로부터 생성되는 음향 신호에 대응되는 제1 음향 데이터가 음향 데이터 입력부에 입력되고, 상기 사용자에 의해 생성되는 음향 신호가 음향 입력부에 입력되는 단계;
상기 음향 입력부로 입력된 음향 신호를 제2 음향 데이터로 변환하는 단계;
상기 제1 음향 데이터와 상기 제2 음향 데이터를 저장부에 저장하는 단계;
상기 제1 음향 데이터에 대응하는 음정과 박자를 기초로 하는 실시간 악보 및 상기 제2 음향 데이터에 대응하는 음정과 박자를 기초로 하는 실시간 악보를 디스플레이부에 표시하고, 상기 제1 음향 데이터 및 상기 제2 음향 데이터 중 적어도 하나를 재생하는 단계;
사용자의 저장 요청에 따라 상기 제1 음향 데이터 및 상기 제2 음향 데이터를 합성하여 생성된 제3 음향 데이터를 저장하거나, 사용자의 편집 요청에 따라 상기 제2 음향 데이터를 재편집하는 단계를 포함하며,
상기 제1 음향 데이터 및 상기 제2 음향 데이터 각각의 음정 또는 박자를 기초로 상기 제1 음향 데이터와 상기 제2 음향 데이터의 상이한 구간이 상기 디스플레이부를 통해 서로 다른 음표로서 출력되는 상태에서, 상기 상이한 구간을 편집하고자 하는 사용자의 입력을 감지하면,
상기 제어부는,
상기 스피커부를 통해 상기 상이한 구간의 시작 시점 보다 소정의 시간이 앞선 시점에 상기 제1 음향 데이터를 출력하고,
상기 음향 입력부를 통해 상기 제2 음향 데이터 중 상기 제1 음향 데이터와 상이한 구간에 상기 사용자로부터 새롭게 생성되는 음향 신호를 입력받으며,
상기 데이터 변환부를 통해 상기 새롭게 생성되는 음향 신호를 제2-1 음향 데이터로 변환하고,
상기 제1 음향 데이터, 상기 제2 음향 데이터, 및 상기 제2-1 음향 데이터를 합성하여 제3-2 음향 데이터를 생성하고,
상기 제1 음향 데이터는 미디음원에 해당하여 음정 또는 템포의 변화에서 자유로우며,
상기 제어부는 상기 사용자로부터의 음향 신호를 입력받는 녹음 중에 상기 사용자가 상기 제1 음향 데이터의 음정 또는 템포를 변화시킨 경우 상기 저장부에 로그(log)로서 기록하여, 상기 제2 음향 데이터 또는 상기 제2-1 음향 데이터의 리뷰 재생시에 상기 제1 음향 데이터에 상기 음정 또는 템포의 변화를 반영하여 재생하는,
음향 리뷰 방법.A sound review method using the sound editing apparatus according to claim 1,
Inputting first sound data corresponding to a sound signal generated from the music accommodating device into a sound data input unit, and inputting a sound signal generated by the user to the sound input unit;
Converting a sound signal input to the sound input unit into second sound data;
Storing the first sound data and the second sound data in a storage unit;
A real-time score based on a pitch and a beat corresponding to the first sound data and a real-time score based on a pitch and a beat corresponding to the second sound data are displayed on a display unit, and the first sound data and the first score are displayed on the display unit. Reproducing at least one of the two acoustic data;
Storing third sound data generated by synthesizing the first sound data and the second sound data according to a user's storage request, or re-editing the second sound data according to a user's editing request;
On the basis of the pitch or beat of each of the first sound data and the second sound data, different sections of the first sound data and the second sound data are output as different notes through the display unit; When we detect the user's input we want to edit
The control unit,
Outputting the first sound data at a time earlier than a start time of the different section through the speaker unit;
Receiving a newly generated sound signal from the user in a section different from the first sound data among the second sound data through the sound input unit,
Converting the newly generated sound signal into 2-1 sound data through the data converter,
Synthesizes the first sound data, the second sound data, and the 2-1 sound data to generate a 3-2 sound data,
The first sound data is free from a change in pitch or tempo corresponding to the MIDI sound source,
The controller records the second sound data or the second sound as a log in the storage unit when the user changes the pitch or tempo of the first sound data while recording the sound signal from the user. 2-1 during playback of review of the sound data, reflecting the change in the pitch or tempo in the first sound data,
How to review sound.
KR1020180102708A 2018-08-30 2018-08-30 Audio editing apparatus providing review function and audio review method using the same KR101992572B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180102708A KR101992572B1 (en) 2018-08-30 2018-08-30 Audio editing apparatus providing review function and audio review method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180102708A KR101992572B1 (en) 2018-08-30 2018-08-30 Audio editing apparatus providing review function and audio review method using the same

Publications (1)

Publication Number Publication Date
KR101992572B1 true KR101992572B1 (en) 2019-09-30

Family

ID=68098415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180102708A KR101992572B1 (en) 2018-08-30 2018-08-30 Audio editing apparatus providing review function and audio review method using the same

Country Status (1)

Country Link
KR (1) KR101992572B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053251A (en) * 2007-09-18 2008-06-12 테크온팜 주식회사 The karaoke system which has a song studying function
JP2012194241A (en) * 2011-03-15 2012-10-11 Yamaha Corp Evaluation device
KR20160066879A (en) * 2014-12-03 2016-06-13 엘지전자 주식회사 Video display device and operating method thereof
JP6083764B2 (en) * 2012-12-04 2017-02-22 国立研究開発法人産業技術総合研究所 Singing voice synthesis system and singing voice synthesis method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053251A (en) * 2007-09-18 2008-06-12 테크온팜 주식회사 The karaoke system which has a song studying function
JP2012194241A (en) * 2011-03-15 2012-10-11 Yamaha Corp Evaluation device
JP6083764B2 (en) * 2012-12-04 2017-02-22 国立研究開発法人産業技術総合研究所 Singing voice synthesis system and singing voice synthesis method
KR20160066879A (en) * 2014-12-03 2016-06-13 엘지전자 주식회사 Video display device and operating method thereof

Similar Documents

Publication Publication Date Title
JP5119932B2 (en) Keyboard instruments, piano and auto-playing piano
US9601029B2 (en) Method of presenting a piece of music to a user of an electronic device
US20050257667A1 (en) Apparatus and computer program for practicing musical instrument
JP4926756B2 (en) Karaoke sound effect output system
US5410100A (en) Method for recording a data file having musical program and video signals and reproducing system thereof
JP2008020798A (en) Apparatus for teaching singing
JP2004233698A (en) Device, server and method to support music, and program
JP7367835B2 (en) Recording/playback device, control method and control program for the recording/playback device, and electronic musical instrument
JP2009063714A (en) Audio playback device and audio fast forward method
KR101992572B1 (en) Audio editing apparatus providing review function and audio review method using the same
JP4873162B2 (en) Video content playback device
JP4595948B2 (en) Data reproducing apparatus, data reproducing method and program
JP4107212B2 (en) Music playback device
JP5338312B2 (en) Automatic performance synchronization device, automatic performance keyboard instrument and program
JPH1115481A (en) Karaoke device
JPH11305772A (en) Electronic instrument
JP4537490B2 (en) Audio playback device and audio fast-forward playback method
JP6168649B2 (en) Code detection apparatus and program
JP6920489B1 (en) Karaoke equipment
JP2000137490A (en) Karaoke sing-along machine
JP2007233078A (en) Evaluation device, control method, and program
JP4501639B2 (en) Acoustic signal reading apparatus and program
JP7312683B2 (en) karaoke device
JP6699137B2 (en) Data management device, content playback device, content playback method, and program
JP4496927B2 (en) Acoustic signal recording apparatus and program