KR102673570B1 - Methods and Apparatus for calculating song scores - Google Patents

Abstract

본 발명은 장치에 의해서 노래 점수를 측정하는 방법, 및 장치에 관한 것으로, 보다 구체적으로, 상기 방법, 및 장치는 원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하고, 마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득할 수 있다. 이후, 상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하고, 도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출할 수 있다.The present invention relates to a method and device for measuring a song score by a device, and more specifically, the method and device separate the first voice part and the MR (Instrumental) part from the first sound source of the original song and 1 voice part can be acquired, and a second voice part can be obtained from the user's second sound source obtained from the microphone. Thereafter, the first voice part and the second voice part are compared to derive an energy score, a pitch score, and a beat score, and a comprehensive score can be calculated based on the derived energy score, the pitch score, and the beat score. .

Description

노래 점수를 산출하기 위한 방법, 및 장치{Methods and Apparatus for calculating song scores}Methods and Apparatus for calculating song scores}

본 발명은 사용자의 노래 점수를 산출하기 위한 방법 및 장치로서, 더욱 상세하게는 노래방에서 사용자의 노래에 대한 점수를 미디어 데이터가 아닌 원곡에 기초하여 다양한 타입의 점수를 종합하여 산출하기 위한 방법 및 장치에 관한 것이다.The present invention is a method and device for calculating a user's song score, and more specifically, a method and device for calculating the score for a user's song in a karaoke room by combining various types of scores based on the original song rather than media data. It's about.

일반적으로, 노래방은 노래를 통해 가족, 친구, 회사 동료 등과의 친목을 다지거나 스트레스를 풀기 위한 곳으로, 사용자로부터 특정 번호가 선택되면 특정 번호에 저장된 노래의 반주를 제공하도록 구성된다.Generally, karaoke is a place to socialize with family, friends, co-workers, etc. or to relieve stress through singing. When a specific number is selected by the user, karaoke is configured to provide accompaniment to the song stored in that specific number.

이러한 노래방은 사용자가 노래의 반주에 따라 마이크를 통해서 노래를 부르면 이에 대한 점수를 화면에 출력하게 된다.In these karaoke rooms, when a user sings through a microphone to the accompaniment of a song, the score is displayed on the screen.

하지만, 기존 노래방의 점수 측정 방식은 박자 요소만 반영하여, 템포에 맞게 목소리를 크게 하여 부르면 고득점이 나오는 구조이기 때문에 점수 결과가 의미가 퇴색되며 점수에 대한 사용자들의 기대 및 흥미를 도출하기 어렵다.However, the existing method of measuring scores in karaoke rooms only reflects the beat factor, and a high score is obtained by singing with a loud voice according to the tempo. Therefore, the meaning of the score results fades and it is difficult to derive users' expectations and interest in the score.

최근에는 퍼펙트 스코어 모드 등을 통해서, 이전보다 유의미한 노래방 점수 산출 방식이 보급되고 있어, 템포 요소에 음정과 바이브레이션, 내리기/올리기 등의 요소를 점수 산출에 반영되고 있다.Recently, more meaningful karaoke score calculation methods have become popular than before, such as through the perfect score mode, and tempo elements such as pitch, vibration, and lowering/raising are being reflected in the score calculation.

하지만 이 방법은 가창한 음원의 비교대상이 미디로 제작된 음정 데이터에만 의존하므로, 미디 악보로 표현한 것 이외의 디테일한 음정 변화가 점수가 반영되지 않는다. 특히 보컬의 발성 에너지 특성을 점수로 산출하는 방법은 현재 없다. 즉 디테일한 음정 변화와 에너지 변화를 반영하는 방법은 현재 없다.However, since this method relies only on pitch data produced by MIDI for comparison of sung sound sources, detailed pitch changes other than those expressed in MIDI scores are not reflected in the score. In particular, there is currently no way to calculate the vocal energy characteristics of a vocalist as a score. In other words, there is currently no way to reflect detailed pitch changes and energy changes.

그리고 기계적으로 미디에 입력된 음정만을 로보트처럼 따라가야 고득점이 나오기 때문에, 원곡이 아닌 미디로 입력된 데이터를 기반으로 연습해야 더 고득점이 나오는 구조이며, 이러한 미디기반 점수 측정방식은 정확한 노래실력 측정이라는 목적에 부합하는데 근본적인 한계가 있다.And since high scores are obtained only by mechanically following the pitches entered into the MIDI like a robot, higher scores are achieved by practicing based on data input through the MIDI rather than the original song. This MIDI-based score measurement method is an accurate measurement of singing skills. There are fundamental limitations in meeting the purpose.

이에 따라 본 발명은 상기한 문제점을 해결하기 위해 착안된 것으로서, 더욱 상세하게는 원곡에 기초하여 노래 점수를 산출하기 위한 방법 및 장치를 제공하는데 그 목적이 있다.Accordingly, the present invention was conceived to solve the above problems, and more specifically, its purpose is to provide a method and device for calculating song scores based on the original song.

또한, 본 발명은, 원곡에 기초하여 마이크로부터 획득된 사용자의 음원에 대한 다양한 타입의 점수(특히, 발성 에너지 등)를 반영하여 종합 점수를 산출하기 위한 방법 및 장치를 제공하는데 그 목적이 있다.In addition, the purpose of the present invention is to provide a method and device for calculating a comprehensive score by reflecting various types of scores (particularly vocal energy, etc.) for the user's sound source obtained from a microphone based on the original song.

본 명세서에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in this specification are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.

본 발명은 상술한 문제점을 해결하기 위한 장치에 의해서 노래 점수를 측정하는 방법 및 장치를 제공한다. 구체적으로, 본 발명은 원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하는 단계; 마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하는 단계; 상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하는 단계; 및 도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하는 단계를 포함하되, 상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며, 상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고, 상기 박자 점수는 상기 원음에서의 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득된다.The present invention provides a method and device for measuring song scores by means of a device for solving the above-described problems. Specifically, the present invention includes the steps of separating a first voice part and an MR (Instrumental) part from a first sound source of an original song to obtain the first voice part; Obtaining a second voice portion from a user's second sound source obtained from a microphone; Comparing the first voice part and the second voice part to derive an energy score, a pitch score, and a beat score; and calculating a comprehensive score based on the derived energy score, the pitch score, and the beat score, wherein the energy score is generated based on energy according to a first time unit from the first voice part. 1 is obtained according to the correlation between the energy array and the second energy array generated based on the energy according to the first time unit from the second voice part, and the pitch score is obtained according to the correlation between the energy array according to the first time unit from the first voice part The beat score is obtained according to the correlation between the first pitch arrangement generated based on the pitch according to the second voice part and the second pitch arrangement generated based on the pitch according to the second time unit from the second voice part, and the beat score is obtained from the original sound. From the average data accumulating the error times of the first voice part and the second voice part and the third energy array generated based on the energy according to the third time unit from the first voice part and the second voice part It is obtained based on the correlation between the fourth energy array generated based on the energy according to the third time unit.

또한, 본 발명은 메모리; 및 프로세서를 포함하되, 상기 프로세서는, 원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하고, 마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하며, 상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하고, 도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하되, 상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며, 상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고, 상기 박자 점수는 상기 원음에서의 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득되는 장치를 제공한다.In addition, the present invention relates to memory; And a processor, wherein the processor separates the first voice part and the MR (Instrumental) part from the first sound source of the original song to obtain the first voice part, and obtains the second sound source from the user's second sound source obtained from the microphone. Obtain a voice part, compare the first voice part and the second voice part to derive an energy score, a pitch score, and a beat score, and calculate a comprehensive score based on the derived energy score, the pitch score, and the beat score. Calculated, wherein the energy score is a first energy array generated based on energy according to a first time unit from the first voice part and a first energy array generated based on energy according to the first time unit from the second voice part. It is obtained according to the correlation between the two energy arrangements, and the pitch score is a first pitch arrangement generated based on a pitch according to a second time unit from the first voice part and a second time unit from the second voice part. It is obtained according to the degree of correlation between the second pitch arrangement generated based on the corresponding pitch, and the beat score is the average data accumulating the error time of the first voice part and the second voice part in the original sound and the first Obtained based on the correlation between the third energy array generated based on the energy according to the third time unit from the voice portion and the fourth energy array generated based on the energy according to the third time unit from the second voice portion. Provides a device that can

이상의 구성 및 작용에 의하면, 본 발명은 원곡에 기초하여 노래 점수를 산출하기 때문에 원곡에 기초한 점수를 산출할 수 있는 효과가 있다.According to the above configuration and operation, the present invention has the effect of calculating a score based on the original song because it calculates the song score based on the original song.

또한, 본 발명은 원곡에 기초하여 마이크로부터 획득된 사용자의 음원에 대한 다양한 타입의 점수(특히, 발성 에너지 등)를 반영하여 종합 점수를 산출하기 때문에 사용자의 노래 점수를 보다 정확하고 신뢰성 있게 산출할 수 있는 효과가 있다.In addition, the present invention calculates a comprehensive score by reflecting various types of scores (particularly vocal energy, etc.) for the user's sound source obtained from the microphone based on the original song, so that the user's song score can be calculated more accurately and reliably. There is a possible effect.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained from the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시 예에 따른 노래 점수를 측정하기 위한 장치의 구조도이다.
도 2는 본 발명의 일 실시 예에 따른 음원에서 음성 부분을 분리하기 위한 알고리즘의 일 예를 나타내는 도이다.
도 3은 본 발명의 일 실시 예에 따른 원곡에 기초하여 노래 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 원곡에 기초하여 에너지 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 원곡에 기초하여 에너지 점수를 산출하기 위한 에너지 배열 그래프의 일 예를 나타내는 도이다.
도 8은 본 발명의 일 실시 예에 따른 원곡에 기초하여 음정 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 원곡에 기초하여 박자 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 에너지 점수, 음정 점수 및 박자 점수에 기초하여 종합 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.The accompanying drawings, which are included as part of the detailed description to aid understanding of the present invention, provide examples of the present invention and explain technical features of the present invention along with the detailed description.
1 is a structural diagram of a device for measuring song scores according to an embodiment of the present invention.
Figure 2 is a diagram illustrating an example of an algorithm for separating voice parts from a sound source according to an embodiment of the present invention.
Figure 3 is a flowchart showing an example of a method for calculating a song score based on an original song according to an embodiment of the present invention.
Figure 4 is a flowchart showing an example of a method for calculating an energy score based on an original song according to an embodiment of the present invention.
Figures 5 to 7 are diagrams illustrating an example of an energy arrangement graph for calculating an energy score based on an original song according to an embodiment of the present invention.
Figure 8 is a flowchart showing an example of a method for calculating a pitch score based on an original song according to an embodiment of the present invention.
Figure 9 is a flowchart showing an example of a method for calculating a beat score based on an original song according to an embodiment of the present invention.
Figure 10 is a flowchart showing an example of a method for calculating a comprehensive score based on the energy score, pitch score, and beat score according to an embodiment of the present invention.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예들을 가질 수 있는 바, 이하에서는 특정 실시 예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.The above-described objects, features and advantages of the present invention will become more apparent through the following detailed description in conjunction with the accompanying drawings. However, since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail below. Like reference numerals throughout the specification in principle refer to the same elements. Additionally, if it is determined that a detailed description of a known function or configuration related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.

본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다. 이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다. 이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다. 그러나 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형 태로 구체화될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다. The terms used in the present invention are general terms that are currently widely used as much as possible, but in certain cases, there are terms arbitrarily selected by the applicant. In this case, the meaning described or used in the detailed description of the invention rather than the simple name of the term is considered. Therefore, its meaning must be understood. Hereinafter, the technical configuration of the present invention will be described in detail with reference to preferred embodiments shown in the attached drawings. Hereinafter, the technical configuration of the present invention will be described in detail with reference to preferred embodiments shown in the attached drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Like reference numerals refer to like elements throughout the specification.

도 1은 본 발명의 일 실시 예에 따른 노래 점수를 측정하기 위한 장치의 구조도이다.1 is a structural diagram of a device for measuring song scores according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 의한 노래 점수를 측정하기 위한 장치는 출력부(100), 입력부(200), 제어부(300) 및 메모리(400) 등으로 구성될 수 있다.Referring to Figure 1, the device for measuring song scores according to the present invention may be composed of an output unit 100, an input unit 200, a control unit 300, and a memory 400.

도 1에 도시된 구성은 일 예이며, 도 1에 도시되지 않은 구성이 추가되거나 도 1에 도시된 구성이 삭제될 수 있다.The configuration shown in FIG. 1 is an example, and configurations not shown in FIG. 1 may be added or configurations shown in FIG. 1 may be deleted.

구체적으로, 출력부(100)는 노래와 관련된 정보가 출력될 수 있다. 예를 들면, 출력부(100)는 입력부(200)를 통해 노래를 선곡하기 위해서 입력되는 정보, 노래 리스트, 검색을 위한 검색 정보, 선택된 노래의 노래 가사 및 노래가 종료된 뒤에 노래의 점수 등이 출력될 수 있다.Specifically, the output unit 100 may output information related to a song. For example, the output unit 100 displays information input to select a song through the input unit 200, a list of songs, search information for searching, lyrics of the selected song, and the score of the song after the song is finished. can be printed.

입력부(200)는 장치에 노래와 관련된 정보를 입력하기 위한 것으로, 리모컨, 및 마이크 등을 의미할 수 있다. 입력부(200)가 리모컨인 경우, 장치는 입력부(200)를 통해서 노래의 선곡 및 노래와 관련된 정보를 입력 받을 수 있다. 예를 들면, 리모컨을 통해서 노래를 검색하기 위한 각종 정보(예를 들면, 가수 정보, 노래 제목 정보, 인기 곡 및 월별 곡 정보 등) 및 노래를 부르기 위한 정보(예를 들면, 노래의 음정, 템포, 간주 점프, 점수 출력/미출력, 출력되는 노래의 길이 등)이 입력될 수 있다. 입력부(200)가 마이크인 경우, 장치는 입력부(200)를 통해서 사용자의 음원 정보(예를 들면, 사용자가 마이크를 통해서 노래를 부르면 보컬 음원 등)를 획득할 수 있다.The input unit 200 is used to input song-related information into the device, and may include a remote control, a microphone, etc. If the input unit 200 is a remote control, the device can receive song selection and song-related information through the input unit 200. For example, various information for searching songs through the remote control (e.g., singer information, song title information, popular song and monthly song information, etc.) and information for singing (e.g., song pitch, tempo, etc.) , interrogation jump, score output/not output, length of song to be output, etc.) can be input. When the input unit 200 is a microphone, the device can acquire the user's sound source information (for example, a vocal sound source when the user sings through the microphone) through the input unit 200.

제어부(300)는 장치를 통해 노래를 출력하기 위한 기능 제어 및 연산을 수행할 수 있다. The control unit 300 can control functions and perform calculations to output songs through the device.

예를 들면, 본 발명은 제어부(300)를 통해서 원곡의 음원을 이용하여 사용자의 노래 점수를 산출할 수 있다. 구체적으로, 제어부(300)는 원곡으로부터 MR(Instrumental)(또는, 배경음, 반주 음원 등)과 음성 부분(또는, 보컬 부분)을 추출하여 메모리(400)에 저장할 수 있다. 이때, 음성 부분이 분리된 음원이 존재하는 경우, 이러한 추출 과정은 생략될 수 있으며, MR과 음성 부분의 분리는 SpectraLayers 등의 프로그램 또는 도 2에 도시된 “커널 스펙트럼 모델” backfitting 등과 같은 알고리즘을 통해서 획득될 수 있다.For example, the present invention can calculate the user's song score using the sound source of the original song through the control unit 300. Specifically, the control unit 300 may extract MR (Instrumental) (or background sound, accompaniment sound source, etc.) and voice part (or vocal part) from the original song and store them in the memory 400. At this time, if there is a sound source with a separated voice part, this extraction process can be omitted, and the separation of the MR and voice parts is done through a program such as SpectraLayers or an algorithm such as the “kernel spectrum model” backfitting shown in Figure 2. can be obtained.

이후, 제어부(300)는 사용자가 해당 노래를 선곡하여 부르는 경우, 사용자가 부른 음원의 음성 부분과 메모리(400)에 저장된 원곡의 음성 부분을 비교하여 에너지 점수(또는, 성량 점수, 발성 에너지 점수 등), 음정 점수 및 박자 점수를 산출하고, 산출된 에너지 점수, 음정 점수 및 박자 점수를 합하여 종합 점수를 산출할 수 있다.Thereafter, when the user selects and sings the song, the control unit 300 compares the voice portion of the sound source sung by the user with the voice portion of the original song stored in the memory 400 to provide an energy score (or vocal quality score, vocal energy score, etc.). ), the pitch score and beat score can be calculated, and the overall score can be calculated by adding the calculated energy score, pitch score, and beat score.

에너지 점수는 사용자의 발성 및 성량과 관련된 점수로 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 평균 에너지 배열, 또는, 제1 에너지 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제2 에너지 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다.The energy score is a score related to the user's vocalization and voice volume, and is an energy array generated based on the voice part separated from the sound source of the original song (e.g., average energy array, or first energy array) and the energy array separated from the user's sound source. It is obtained by calculating a correlation by comparing the energy array (for example, a second energy array) generated based on the voice part, and then calculating a score between 0 and 100 according to the calculated correlation.

음정 점수는 사용자의 음정과 관련된 점수로 원곡의 음원(예를 들면, 제1 음원)으로부터 분리된 음성 부분에 기초하여 생성된 음정 배열(예를 들면, 제1 음정 배열)과 사용자의 음원(예를 들면, 제2 음원)으로부터 분리된 음성 부분에 기초하여 생성된 음정 배열(예를 들면, 제2 음정 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다. 이때, 원곡의 음정과 사용자가 선택하여 부른 음원의 음정이 다른 경우(예를 들면, 사용자가 입력부(200)를 통해서 음정을 바꾼 경우)에는 원곡의 음정 배열을 변경된 피치만큼 음정을 쉬프트 시킨다.The pitch score is a score related to the user's pitch. The pitch score is a score related to the pitch arrangement (e.g., the first pitch arrangement) generated based on the voice part separated from the sound source of the original song (e.g., the first sound source) and the user's sound source (e.g. For example, the correlation is calculated by comparing the pitch arrangement (e.g., the second pitch arrangement) generated based on the voice part separated from the second sound source, and then the correlation is between 0 and 100 according to the calculated correlation. It is obtained by calculating the score. At this time, if the pitch of the original song is different from the pitch of the sound source selected by the user (for example, when the user changes the pitch through the input unit 200), the pitch arrangement of the original song is shifted by the changed pitch.

박자 점수는 사용자의 박자와 관련된 점수로 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제3 에너지 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제4 에너지 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다. 이때, 박자 점수는 에너지 점수와는 다른 시간 단위 및 다른 상관도 범위에 기초하여 산출될 수 있다.The beat score is a score related to the user's beat, and the energy arrangement (e.g., third energy arrangement) generated based on the voice part separated from the sound source of the original song and the energy generated based on the voice part separated from the user's sound source. It is obtained by calculating the correlation by comparing arrays (for example, the fourth energy array) and then calculating a score between 0 and 100 according to the calculated correlation. At this time, the beat score may be calculated based on a different time unit and a different correlation range than the energy score.

제어부(300)는 산출된 에너지 점수, 음정 점수, 및 박자 점수를 합쳐서 종합 점수를 산출하여 출력부(100)를 통해서 출력할 수 있다. 이때, 종합 점수는 에너지 점수, 음정 점수 및 박자 점수 각각에 개별적인 가중치를 곱한 값을 더하여 산출될 수 있으며, 각각의 가중치를 모두 더한 값은 '1'일 수 있다.The control unit 300 may combine the calculated energy score, pitch score, and beat score to calculate a comprehensive score and output it through the output unit 100. At this time, the overall score may be calculated by adding the energy score, pitch score, and beat score multiplied by the individual weights, and the sum of each weight may be '1'.

도 2는 본 발명의 일 실시 예에 따른 음원에서 음성 부분을 분리하기 위한 알고리즘의 일 예를 나타내는 도이다.Figure 2 is a diagram illustrating an example of an algorithm for separating voice parts from a sound source according to an embodiment of the present invention.

도 2를 참조하면, 원곡의 음원 및/또는 사용자의 음원으로부터 특정 알고리즘을 통해서 MR 부분과 음성 부분을 분리하여 각각 추출할 수 있다.Referring to Figure 2, the MR part and the voice part can be separately extracted from the original song sound source and/or the user's sound source through a specific algorithm.

구체적으로, 도 2에 도시된 바와 같은 로그 스펙트럼 진폭 추정을 적용한 배경음과 보컬음 분리커널 스펙트럼 모델 backfitting 기반의 로그 스펙트럼 진폭 추정을 적용한 배경음과 보컬음을 분리하기 위한 커널 스펙트럼 모델 backfitting은 STFT(Short Time Fourier Transform),　커널 스펙트럼 backfitting 기반의 로그 스펙트럼 진폭 추정부, ISTFT(Inverse Short Time Fourier Transform), 배경음 믹싱부, 4개의 모듈로 구성될 수 있다.Specifically, the kernel spectrum model backfitting for separating background sounds and vocal sounds using log spectrum amplitude estimation based on kernel spectrum model backfitting for separating background sounds and vocal sounds using log spectrum amplitude estimation as shown in Figure 2 is STFT (Short Time It can be composed of four modules: Fourier Transform), log spectrum amplitude estimation unit based on kernel spectrum backfitting, ISTFT (Inverse Short Time Fourier Transform), and background sound mixing unit.

먼저, 입력된 음원(또는, 오디오 신호) s(n)은 STFT 과정을 거쳐 시간축 영역의 신호가 주파수 축 영역의 신호로 변환될 수 있다. 변환된 오디오 스펙트럼 S(f,l)은 아래 수학식 1과 같이 주기성과 하모닉한 특정을 지닌 여러 악기음과 하나의 보컬음이 혼합된 스펙트럼이며, 하나의 소스를 객체라 가정하고 주기, 하모닉, 보컬에 대한 객체로 구성될 수 있다.First, the input sound source (or audio signal) s(n) can be converted from a signal in the time domain to a signal in the frequency domain through an STFT process. The converted audio spectrum S(f,l) is a spectrum that is a mixture of several instrumental sounds and one vocal sound with periodicity and harmonic characteristics as shown in Equation 1 below. Assuming one source is an object, the period, harmonic, and It can be composed of objects for vocals.

[수학식 1][Equation 1]

수학식 1에서 j는 객체에 대한 인덱스를 의미하며, J는 전체 객체의 개수이고, f는 주파수 빈, l은 시간 인덱스를 의미한다. O_j(f,l)은 객체에 대한 스펙트럼이다.In Equation 1, j means the index for the object, J is the total number of objects, f is the frequency bin, and l is the time index. O _j (f,l) is the spectrum for the object.

변환된 오디오 스펙트럼은 커널 스펙트럼 backfitting 기반의 로그 스펙트럼 진폭 추정부에 입력되어 각각의 객체(주기, 하모닉, 보컬)를 추정하고 객체로부터 추정된 스펙트럼들은 ISTFT 과정을 거쳐 시간축 신호로 다시 전환된다. 이때 주기 신호와 하모닉 신호는 배경음 믹서에 입력되어 하나의 배경음 신호로 출력되며 추정된 보컬음 스펙트럼은 독립적으로 ISTFT가 수행되어 최종적으로 분리된 보컬음 신호가 출력되어 획득될 수 있다.The converted audio spectrum is input to the log spectrum amplitude estimation unit based on kernel spectrum backfitting to estimate each object (period, harmonic, vocal), and the spectra estimated from the object are converted back into time-axis signals through the ISTFT process. At this time, the periodic signal and the harmonic signal are input to the background sound mixer and output as one background sound signal, and the estimated vocal sound spectrum can be obtained by performing ISTFT independently and finally outputting the separated vocal sound signal.

이와 같은 방법을 통해서 장치는 원곡의 음원 및/또는 사용자의 음원으로부터 MR 부분과 음성 부분을 분리하여 각각 추출할 수 있다.Through this method, the device can separate and extract the MR part and the voice part from the original song sound source and/or the user's sound source.

도 3은 본 발명의 일 실시 예에 따른 원곡에 기초하여 노래 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.Figure 3 is a flowchart showing an example of a method for calculating a song score based on an original song according to an embodiment of the present invention.

도 3을 참조하면, 원곡의 음원을 이용하여 사용자의 노래에 대한 에너지 점수, 음정 점수 및 박자 점수를 산출하여 종합 점수를 산출할 수 있다.Referring to Figure 3, a comprehensive score can be calculated by calculating the energy score, pitch score, and beat score for the user's song using the sound source of the original song.

구체적으로, 장치는 원곡의 음원으로부터 음성 부분과 MR(Instrumental) 부분을 분리할 수 있다(S3010). 이때, 장치는 앞에서 설명한 특정 알고리즘(예를 들면, 커널 스펙트럼 backfitting 등) 및/또는 프로그램(예를 들면, SpectraLayers 등)을 이용하여 원곡의 음원으로부터 MR 부분 및 음성 부분을 분리하여 추출할 수 있다.Specifically, the device can separate the voice part and the MR (Instrumental) part from the sound source of the original song (S3010). At this time, the device can separate and extract the MR part and the voice part from the sound source of the original song using a specific algorithm (eg, kernel spectrum backfitting, etc.) and/or program (eg, SpectraLayers, etc.) described above.

이후, 장치는 사용자가 입력부인 리모컨을 이용하여 곡을 선택하고, 선택된 곡을 마이크를 통해서 부른 경우, 마이크를 통해서 획득된 사용자의 음원으로부터 원곡과 동일한 방법을 통해 사용자의 음성 부분을 획득할 수 있다(3020). 이때, 사용자의 음성 부분은 특정 알고리즘이나 특정 프로그램을 사용하지 않아도 마이크를 통해서 직접 획득될 수 있다.Afterwards, when the user selects a song using the remote control, which is an input unit, and sings the selected song through the microphone, the device can obtain the user's voice part from the user's sound source acquired through the microphone through the same method as the original song. (3020). At this time, part of the user's voice can be obtained directly through the microphone without using a specific algorithm or specific program.

이후, 원곡의 음성 부분으로부터 획득된 음성 부분과 사용자의 음원으로부터 획득된 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수가 도출될 수 있다(S3030).Thereafter, the energy score, pitch score, and beat score can be derived by comparing the voice part obtained from the voice part of the original song with the voice part obtained from the user's sound source (S3030).

에너지 부분은 앞에서 설명한 바와 같이 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제1 에너지 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제2 에너지 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다.As described above, the energy portion includes an energy array (e.g., first energy array) generated based on a voice portion separated from the sound source of the original song (e.g., a first energy array) and an energy array generated based on a voice portion separated from the user's sound source (e.g. For example, it is obtained by comparing the second energy array) to calculate the correlation, and then calculating a score between 0 and 100 according to the calculated correlation.

음정 점수는 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 음정 배열(예를 들면, 제1 음정 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 음정 배열(예를 들면, 제2 음정 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다. 이때, 원곡의 음정과 사용자가 선택하여 부른 음원의 음정이 다른 경우(예를 들면, 사용자가 입력부(200)를 통해서 음정을 바꾼 경우)에는 원곡의 음정 배열을 변경된 피치만큼 음정을 쉬프트 시킨다.The pitch score is a pitch array generated based on a voice part separated from the sound source of the original song (e.g., the first pitch array) and a pitch array generated based on the voice part separated from the user's sound source (e.g., the first pitch array). 2 pitch arrangement) is compared to calculate the correlation, and then a score between 0 and 100 is obtained according to the calculated correlation. At this time, if the pitch of the original song is different from the pitch of the sound source selected by the user (for example, when the user changes the pitch through the input unit 200), the pitch arrangement of the original song is shifted by the changed pitch.

박자 점수는 원곡의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제3 에너지 배열)과 사용자의 음원으로부터 분리된 음성 부분에 기초하여 생성된 에너지 배열(예를 들면, 제4 에너지 배열)을 비교하여 상관도를 산출한 뒤, 산출된 상관도에 따라 0 부터 100 사이의 점수를 산출함으로써 획득된다. 이때, 박자 점수는 에너지 점수와는 다른 시간 단위 및 다른 상관도 범위에 기초하여 산출될 수 있다.The beat score is an energy array generated based on a voice part separated from the sound source of the original song (e.g., the third energy array) and an energy array generated based on the voice part separated from the user's sound source (e.g., the third energy array). 4 energy array), calculate the correlation, and then calculate a score between 0 and 100 according to the calculated correlation. At this time, the beat score may be calculated based on a different time unit and a different correlation range than the energy score.

이후, 장치는 산출된 에너지 점수, 음정 점수, 및 박자 점수를 합쳐서 종합 점수를 산출할 수 있다(S3040). 이때, 종합 점수는 에너지 점수, 음정 점수 및 박자 점수 각각에 개별적인 가중치를 곱한 값을 더하여 산출될 수 있으며, 각각의 가중치를 모두 더한 값은 '1'일 수 있다.Afterwards, the device can calculate a comprehensive score by combining the calculated energy score, pitch score, and beat score (S3040). At this time, the overall score may be calculated by adding the energy score, pitch score, and beat score multiplied by the individual weights, and the sum of each weight may be '1'.

이와 같은 방법을 통해서 장치는 원곡의 음원과 사용자의 음원을 각각 다양한 방법으로 비교하여 점수를 정확히 산출할 수 있다.Through this method, the device can accurately calculate the score by comparing the original song's sound source and the user's sound source in various ways.

도 4는 본 발명의 일 실시 예에 따른 원곡에 기초하여 에너지 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.Figure 4 is a flowchart showing an example of a method for calculating an energy score based on an original song according to an embodiment of the present invention.

도 4를 참조하면, 장치는 원곡의 음원과 사용자의 음원을 비교하여 사용자의 발성 또는 성량과 관련된 점수인 에너지 점수를 획득할 수 있다.Referring to FIG. 4, the device can obtain an energy score, which is a score related to the user's vocalization or voice volume, by comparing the sound source of the original song and the user's sound source.

구체적으로, 원곡의 음원으로부터 분리된 음성 부분으로부터 일정 시간 단위로 에너지 배열(예를 들면, 제1 에너지 배열)이 생성될 수 있다(S4010). 이때, 에너지 배열을 생성하기 위한 샘플 에너지 해상도의 기준은 16비트이며, 진폭 단위는 1일 수 있다(샘플 당 최대 값은 2¹⁵인 32768일 수 있다).Specifically, an energy array (for example, a first energy array) may be generated in a certain time unit from the voice part separated from the sound source of the original song (S4010). At this time, the standard of sample energy resolution for generating the energy array is 16 bits, and the amplitude unit may be 1 (the maximum value per sample may be 32768, which is 2 ¹⁵ ).

이후, 장치의 마이크로부터 획득되어 녹음된 사용자의 음원의 음성 부분으로부터 동일한 방법을 통해서 일정 시간 단위의 에너지 배열(예를 들면, 제2 에너지 배열)이 생성될 수 있다(S4020).Thereafter, an energy array (for example, a second energy array) in a certain time unit can be generated from the voice portion of the user's sound source recorded and obtained from the microphone of the device through the same method (S4020).

예를 들면, 마이크나 원곡의 음성 부분은 시간축 상으로 연속된 파형으로 획득되기 때문에, 이를 일정한 시간 간격(시간 블록 간격)으로 분류하여 일정한 시간간격에 따른 에너지 레벨로 변경하여 에너지 배열이 생성될 수 있다.For example, since the voice part of a microphone or original song is acquired as a continuous waveform on the time axis, an energy array can be created by classifying it into regular time intervals (time block intervals) and changing the energy level according to the regular time interval. there is.

이때, 원곡의 음원으로부터 분리된 음성 정보로부터 생성된 에너지 배열과 마이크로부터 획득되어 녹음된 사용자의 음원의 음성 부분으로부터 생성된 에너지 배열은 시작점부터 끝까지 1대1로 매칭될 수 있으며, 일정 시간 간격은 0.1초일 수 있다.At this time, the energy array generated from the voice information separated from the sound source of the original song and the energy array generated from the voice part of the user's sound source obtained and recorded from the microphone can be matched one-to-one from start to finish, and a certain time interval is It could be 0.1 second.

원곡의 음원으로부터 추출되어 획득된 음성 부분은 대부분 컴프레서와 리미터를 이용하여 기준 점 이상의 파형은 압축될 수 있다. 하지만, 장치의 입력부를 통해서 획득되어 녹음된 음성 부분은 압축되어 저장되지 않기 때문에 측정된 최대 에너지를 기준으로 일정 범위(예를 들면, -30% 영역까지)의 영역까지는 해당 에너지의 70% 값으로 감소시켜 원곡의 에너지와 그대로 비교하는 경우 발생할 수 있는 과다한 에너지 차이를 완화시킬 수 있다. 즉, 마이크를 통해 획득된 사용자의 음성 부분으로부터 측정된 에너지의 최대 에너지로부터 -30% 영역까지는 측정된 에너지의 70% 값으로 감소시켜 에너지 배열을 생성할 수 있다.Most voice parts extracted from the original sound source can be compressed using a compressor and limiter to compress the waveform above the reference point. However, since the voice part acquired and recorded through the input unit of the device is not compressed and stored, it is stored as 70% of the energy up to a certain range (for example, up to -30%) based on the measured maximum energy. By reducing the energy, it is possible to alleviate the excessive difference in energy that may occur when comparing it with the energy of the original song. In other words, an energy array can be created by reducing the -30% area from the maximum energy measured from the user's voice acquired through the microphone to a value of 70% of the measured energy.

이러한 과정은 장치의 입력부(예를 들면, 마이크 시스템)나 A/D 변환 후 컴프레서가 적용된 경우 생략될 수 있다.This process can be omitted if a compressor is applied to the input part of the device (for example, a microphone system) or after A/D conversion.

또한, 원곡과 장치인 노래방 장치의 마이크를 통해서 획득되어 녹음된 음원은 에너지 기준 값이 다를 수 있기 때문에, 전체 평균 에너지를 기준으로 하는 +,- 배열로 기준이 변경될 수 있다. 즉, 사용자의 음원으로부터 획득된 음성 부분의 에너지 배열은 전체 영역의 평균 에너지를 기준으로 평균보다 높은지 낮은지에 따라 + 또는 -의 값으로 변경될 수 있다.In addition, since the original song and the sound source acquired and recorded through the microphone of the karaoke device may have different energy reference values, the reference may be changed to a +, - arrangement based on the overall average energy. In other words, the energy arrangement of the voice part obtained from the user's sound source can be changed to a + or - value depending on whether it is higher or lower than the average energy of the entire area.

이후, 에너지 배열의 배열 단위가 정수에서 데시벨(dB)로 전환된다. 16비트 음원에 샘플 최소 진폭 단위가 '1'인 경우, 샘플 당 최대 에너지는 90.31dB이 될 수 있다.Afterwards, the array unit of the energy array is converted from integer to decibel (dB). If the sample minimum amplitude unit of a 16-bit sound source is '1', the maximum energy per sample can be 90.31 dB.

이후, 장치는 원곡의 음원으로부터 생성된 에너지 배열인 제1 에너지 배열과 마이크를 통해 획득된 사용자의 음원으로부터 생성된 에너지 배열인 제2 에너지 배열을 비교하여 상관도를 도출할 수 있다(S4030). 이때 상관도는 코릴레이션을 이용하여 측정될 수 있다.Afterwards, the device can derive a correlation by comparing the first energy array, which is the energy array generated from the sound source of the original song, and the second energy array, which is the energy array generated from the user's sound source obtained through the microphone (S4030). At this time, correlation can be measured using correlation.

원곡에서 가사가 없는 부분의 배열 데이터는 코릴레이션 대상(점수 측정 대상)에서 제외될 수 있다.Arrangement data for parts without lyrics in the original song may be excluded from correlation (score measurement).

장치는 도출된 상관도에 따라 에너지 점수를 산출할 수 있다(S4040).The device can calculate the energy score according to the derived correlation (S4040).

구체적으로, 상관도에 따라 0 부터 100까지의 점수가 산출될 수 있다. 이때, 상관도의 최소 값은 '0'의 값에 대응되고, 상관도의 최대 값은 '100'의 값에 대응됨으로써 상관도에 따른 점수가 산출될 수 있다. 예를 들면, 상관도의 최소 값은 '0'일 수 있으며, 최대 값은 '0.8'일 수 있다.Specifically, a score from 0 to 100 can be calculated depending on the degree of correlation. At this time, the minimum value of correlation corresponds to the value of '0', and the maximum value of correlation corresponds to the value of '100', so that a score according to the correlation can be calculated. For example, the minimum value of correlation may be '0' and the maximum value may be '0.8'.

상관도의 최대 값이 '1'(원곡과 완전히 일치)가 아닌 '0.8'이 '100'의 값에 대응되는 이유는 원곡과 노래방의 마이크는 기본적인 음향 특성이 다를 수 있어서 완전히 같을 수가 없기 때문에 노래실력을 판단하기 위한 점수를 산출할 때, 에너지 변화는 음정변화보다 상대적으로 자유도가 높기 때문이다. 이때, 상관도의 최대 값은 노래방 기기인 장치의 설정을 통해서 사용자가 변경시킬 수 있다.The reason why the maximum value of correlation is '0.8', which corresponds to the value of '100', rather than '1' (which is completely identical to the original song), is because the basic sound characteristics of the original song and karaoke microphones may be different, so they cannot be completely the same. This is because energy changes have a relatively higher degree of freedom than pitch changes when calculating scores to judge skill. At this time, the maximum value of correlation can be changed by the user through the settings of the karaoke device.

아래 수학식 2는 상관도를 도출하기 위한 코릴레이션의 일 예이다.Equation 2 below is an example of correlation to derive correlation.

[수학식 2][Equation 2]

수학식 2에서 f는 원곡의 음원에서 분리되어 추출된 음성 부분에 대한 보컬의 피치(음정)이고, g는 노래방 기기인 장치의 마이크를 통해서 획득되어 녹음된 음원의 음성 부분에 대한 피치(음정)이다.In Equation 2, f is the pitch of the vocal for the voice part extracted separately from the sound source of the original song, and g is the pitch for the voice part of the sound source acquired and recorded through the microphone of the device, which is a karaoke device. am.

도 5 내지 도 7은 본 발명의 일 실시 예에 따른 원곡에 기초하여 에너지 점수를 산출하기 위한 에너지 배열 그래프의 일 예를 나타내는 도이다.Figures 5 to 7 are diagrams illustrating an example of an energy arrangement graph for calculating an energy score based on an original song according to an embodiment of the present invention.

도 5 내지 도 7을 참조하면, 연속적인 에너지 분포도는 빈도수에 따라 에너지 분포도를 통해서 도시될 수 있다.Referring to Figures 5 to 7, a continuous energy distribution diagram can be shown through an energy distribution diagram according to frequency.

도 5 내지 도 7에 도시된 바와 같이 에너지 분포도는 에너지 변동 포락선의 결과를 토대로 분포를 정규화 하여 각각의 빈도수를 나타낸다. 에너지 분포도에 대한 분석은 결국 진폭통계를 포함하는 것이며, 사람이 실제로 느끼는 음량을 예측하는데 중요한 가중치로 활용된다.As shown in Figures 5 to 7, the energy distribution diagram normalizes the distribution based on the results of the energy variation envelope and indicates each frequency. Analysis of energy distribution ultimately includes amplitude statistics, which are used as important weights in predicting the sound volume that people actually feel.

에너지 분포도의 에너지 빈도수는 음량에 개별적인 영향을 미치며, 분포의 전체 형태에 따라서 음량에 미치는 영향이 다르다. 사람이 음량을 인지하는 감각은 에너지에 대한 로그 스케일이므로, 일반적으로 dB단위로 표현될 수 있다. 하지만 연속적으로 변화하는 개별 에너지의 분포일 경우, 각각의 개별 에너지가 클수록 인지음량에 미치는 영향력은 일반적인 에너지 합산보다 추가로 가산될 수 있다. 이때, 제안된 인지가중에너지 λ _e 는 아래의 수학식 3에 의해서 획득될 수 있다. 분모의 상수는 수치를 다루기 용이한 단위로 바꾸는 역할을 하며, 소수점 이하는 반올림될 수 있다. 즉, 기존의 에너지 분포도의 빈도를 인지가중 에너지로 대처한 것이 인지가중 에너지 분포 도이다. λ _E 는 전체 인지가중에너지의 합산으로 가중치 정규화 식에 사용된다.The energy frequency of the energy distribution diagram has an individual effect on the sound volume, and the effect on the sound volume varies depending on the overall shape of the distribution. A person's sense of loudness is a logarithmic scale for energy, so it can generally be expressed in dB units. However, in the case of a continuously changing distribution of individual energies, the larger each individual energy, the more influence it has on the perceived loudness than the general sum of energies. At this time, the proposed cognitive weighted energy λ _e can be obtained by Equation 3 below. The constant in the denominator serves to convert the number into manageable units, and decimals may be rounded off. In other words, the perception-weighted energy distribution is a way to respond to the frequency of the existing energy distribution with perception-weighted energy. λ _E is the sum of all cognitive weight energies and is used in the weight normalization equation.

[수학식 3][Equation 3]

수학식 3에서 dB _E 는 가중된 에너지(Weighted Energy)이며, N은 dB의 전체 개수이다.In Equation 3, dB _E is Weighted Energy, and N is the total number of dB.

에너지 변동 포락선은 앞에서 설명한 에너지 변동 계수를 직관적으로 나타낸다. 에너지 변동 포락선의 변화가 크다는 것은 청각의 자극하는 에너지의 움직임이 역동적이라는 뜻이다. 변동 계수가 작은 가장 전형적인 음원은 백색잡음과 핑크잡음이 있으며, 이런 음원은 청각을 일정한 에너지로 집중적으로 자극 하므로 인지음량도 크게 상승한다. 인지가중 에너지 분포도는 에너지 빈도에 추가적인 가중치가 부여하여, 에너지 합산 시 실제 인지하는 음량을 유사하게 추정한다.The energy variation envelope intuitively represents the energy variation coefficient described previously. A large change in the energy fluctuation envelope means that the movement of auditory stimulating energy is dynamic. The most typical sound sources with a small coefficient of variation are white noise and pink noise. These sound sources stimulate the hearing intensively with a certain amount of energy, so the perceived sound level increases significantly. The perception-weighted energy distribution diagram assigns additional weight to the energy frequency and similarly estimates the actual perceived sound volume when adding up the energy.

본 발명의 또 다른 실시 예는 도 5 내지 도 7에서 설명한 방법을 통해 각각의 음원(원곡의 음원 및 사용자의 음원)의 에너지 배열(또는 에너지 변동 포락선)을 인지 가중 에너지에 대한 전체 인지 가중 에너지(또는 전체 인지 가중 에너지 배열)로 변환하여 비교함으로써 에너지 점수를 산출할 수 있다.Another embodiment of the present invention is to calculate the total cognitive weighted energy (or energy variation envelope) of each sound source (original song sound source and user's sound source) to the cognitive weighted energy through the method described in FIGS. 5 to 7. Alternatively, the energy score can be calculated by converting to the entire cognitive weighted energy array and comparing.

즉, 원곡의 음원에 대한 에너지 배열을 도 5 내지 도 7에서 설명한 방법을 통해서 인지 가중 에너지들에 대한 배열로 변경하고, 사용자의 음원에 대한 에너지 배열도 동일한 방법을 통해 인지 가중 에너지로 변경하여 비교함으로써, 앞에서 설명한 에너지 점수를 산출할 수 있다.In other words, the energy arrangement for the original song's sound source is changed to an arrangement for perceptually weighted energies through the method described in FIGS. 5 to 7, and the energy arrangement for the user's sound source is changed to perceptually weighted energy through the same method for comparison. By doing so, the energy score described above can be calculated.

도 8은 본 발명의 일 실시 예에 따른 원곡에 기초하여 음정 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.Figure 8 is a flowchart showing an example of a method for calculating a pitch score based on an original song according to an embodiment of the present invention.

도 8을 참조하면, 장치는 원곡의 음원과 사용자의 음원을 비교하여 사용자의 음정과 관련된 음정 점수를 획득할 수 있다.Referring to Figure 8, the device can obtain a pitch score related to the user's pitch by comparing the sound source of the original song and the user's sound source.

구체적으로, 장치는 원곡의 음원으로부터 획득된 음성 부분으로부터 음정 배열(예를 들면, 평균 음정 배열, 또는 제1 음정 배열)을 생성한다(S8010).Specifically, the device generates a pitch array (for example, an average pitch array, or a first pitch array) from the voice portion obtained from the sound source of the original song (S8010).

예를 들면, 장치는 원곡의 음원으로부터 분리되어 획득된 음성 부분에서 일정 시간 단위로 피치(음정)을 추출하여 음정 배열을 생성할 수 있다. 이때, 일정 시간 단위는 0.1초일 수 있다.For example, the device can generate a pitch array by extracting the pitch in a certain time unit from the voice part obtained separately from the sound source of the original song. At this time, the certain time unit may be 0.1 second.

이때, 피치(음정)은 ACF(Auto Correlation Function) 등과 같은 방법을 통해서 검출될 수 있으며, Average Magnitude Difference Function (AMDF)를 비롯한 모든 파형영역에서의 피치 검출 알고리즘은 ACF에서 파생 및 다른 기법이 추가된 것이다. 여기서는 현재 많이 사용되는 단선율 음정 추출 알고리즘 중 하나인 YIN가 적용되어, 0.1초 단위로 음정정보가 추출될 수 있으며, 배열 정보로 저장될 수 있다. YIN 알고리즘은 6개의 스텝을 거치며, 1번째 단계에서 피치 검출의 가장 기본이 되는 알고리즘은 아래의 수학식 4를 이용하는 ACF(Auto Correlation Function) 연산이 포함될 수 있다.At this time, pitch can be detected through methods such as ACF (Auto Correlation Function), and the pitch detection algorithm in all waveform areas, including Average Magnitude Difference Function (AMDF), is derived from ACF and other techniques are added. will be. Here, YIN, one of the currently widely used monophonic pitch extraction algorithms, is applied, and pitch information can be extracted in 0.1 second units and stored as array information. The YIN algorithm goes through six steps, and in the first step, the most basic algorithm for pitch detection may include ACF (Auto Correlation Function) operation using Equation 4 below.

[수학식 4][Equation 4]

ACF는 아래와 같은 방법을 통해서 수행될 수 있다.ACF can be performed through the following methods.

① 음성 부분인 음성 데이터를 normalize,① Normalize the voice data, which is the voice part,

② normalize된 데이터를 여러 개의 프레임으로 나눈 뒤 각각의 프레임의 유성음, 무성음 판별을 위한 프레임 크기를 설정② Divide the normalized data into several frames and set the frame size for distinguishing voiced and unvoiced sounds in each frame.

③ Autocorrelation을 계산하여 그래프를 그림③ Calculate autocorrelation and draw a graph

④ Successive한 peak들을 통해 피치 값을 찾음.④ Find the pitch value through successful peaks.

이후, 장치는 마이크를 통해 획득되어 녹음된 사용자의 음원으로부터 획득된 음성 부분으로부터 음정 배열(예를 들면, 제2 음정 배열)을 생성할 수 있다(S8020).Thereafter, the device may generate a pitch array (for example, a second pitch array) from the voice portion obtained from the user's sound source obtained and recorded through the microphone (S8020).

이때, 음정 배열은 단계 S8010에서 설명한 제1 음정 배열과 동일한 시간 단위 및 방법을 통해서 획득될 수 있으며, 시작점부터 끝점까지 1대1로 매칭될 수 있다.At this time, the pitch arrangement can be obtained through the same time unit and method as the first pitch arrangement described in step S8010, and can be matched one-to-one from the start point to the end point.

만약, 사용자가 선택된 노래의 음정을 변경(예를 들면, 남자에서 여자로, 동일 성별의 다른 음정으로 등)한 경우, 변경된 피치만큼 음정을 쉬프트 시켜서 배열에 저장된 음정 값을 변경시킬 수 있다.If the user changes the pitch of the selected song (for example, from male to female, to a different pitch of the same gender, etc.), the pitch value stored in the array can be changed by shifting the pitch by the changed pitch.

이후, 원곡의 음원에 대한 음정 배열인 제1 음정 배열과 마이크를 통해서 획득된 사용자의 음원에 대한 음정 배열인 제2 음정 배열을 비교하여 상관도를 도출할 수 있다(S8030). 이때, 상관도는 도 4에서 설명한 것과 같이 코릴레이션을 이용하여 측정될 수 있다.Thereafter, a correlation can be derived by comparing the first pitch array, which is the pitch array for the sound source of the original song, with the second pitch array, which is the pitch array for the user's sound source obtained through the microphone (S8030). At this time, correlation can be measured using correlation as described in FIG. 4.

장치는 도출된 상관도에 따라 에너지 점수를 산출할 수 있다(S8040).The device can calculate the energy score according to the derived correlation (S8040).

구체적으로, 상관도에 따라 0 부터 100까지의 점수가 산출될 수 있다. 이때, 상관도의 최소 값은 '0'의 값에 대응되고, 상관도의 최대 값은 '100'의 값에 대응됨으로써 상관도에 따른 점수가 산출될 수 있다. 예를 들면, 상관도의 최소 값은 '0'일 수 있으며, 최대 값은 '0.9'일 수 있다.Specifically, a score from 0 to 100 can be calculated depending on the degree of correlation. At this time, the minimum value of correlation corresponds to the value of '0', and the maximum value of correlation corresponds to the value of '100', so that a score according to the correlation can be calculated. For example, the minimum value of correlation may be '0' and the maximum value may be '0.9'.

상관도의 최대 값이 '1'(원곡과 완전히 일치)가 아닌 '0.9'가 '100'의 값에 대응될 수 있다. 이때, 에너지 점수와는 다르게 상관도의 최대 값이 '0.9'인 이유는 노래 실력에 있어서 음정은 에너지 변화 특정 구현보다 엄격하므로 음정 점수의 만점 기준은 에너지 점수의 만점 기준인 0.8보다 0.1점이 높은 값으로 기본 값이 설정될 수 있다.The maximum value of correlation may not be '1' (completely identical to the original song) but '0.9', which may correspond to the value of '100'. At this time, unlike the energy score, the maximum value of correlation is '0.9' because the pitch in singing skills is more stringent than the specific implementation of energy change, so the full score standard for the pitch score is 0.1 points higher than the full score standard for the energy score, 0.8. The default value can be set.

이때, 상관도의 최대 값은 에너지 점수와 유사하게 노래방 기기인 장치의 설정을 통해서 사용자가 변경시킬 수 있다.At this time, the maximum value of correlation can be changed by the user through the settings of the karaoke device, similar to the energy score.

원곡의 음원에 대한 사용자의 음원의 피치 검출 결과가 사람이 음정으로 표현할 수 있는 최저음(예를 들면, 2옥타브 3도(65Hz))과 최고음(예를 들면, 6옥타브 솔(1568Hz)) 사이의 영역을 넘을 경우(및/또는 사람이 인지할 수 있는 최저음과 최고음 사이의 영역을 넘을 경우), 최저음과 최고음 사이의 범위를 넘어서는(예를 들면, 최저음보다 낮거나, 최고음보다 높은 경우) 피치는 정상적인 음정이 아닌 무성음이라 치찰음 등의 영향일 가능성이 크기 때문에 점수 측정 구간에서 제외될 수 있다.The pitch detection result of the user's sound source relative to the original song's sound source is between the lowest note that a person can express as a pitch (e.g., 2 octave third (65Hz)) and the highest note (e.g., 6 octave sol (1568Hz)). (and/or exceeding the range between the lowest and highest notes that can be perceived by humans), or exceeding the range between the lowest and highest notes (e.g., lower than the lowest or higher than the highest). Case) Since the pitch is a voiceless sound and not a normal pitch, it is likely to be affected by sibilance, etc., so it can be excluded from the score measurement section.

또한, 원곡에서 가사가 없는 부분의 데이터는 코릴레이션 대상에서 일괄적으로 제외될 수 있다.Additionally, data from portions of the original song without lyrics may be collectively excluded from correlation.

도 9는 본 발명의 일 실시 예에 따른 원곡에 기초하여 박자 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.Figure 9 is a flowchart showing an example of a method for calculating a beat score based on an original song according to an embodiment of the present invention.

도 9를 참조하면, 장치는 원곡의 음원과 사용자의 음원을 비교하여 사용자의 박자와 관련된 점수인 박자 점수를 획득할 수 있다.Referring to FIG. 9, the device can obtain a beat score, which is a score related to the user's beat, by comparing the sound source of the original song and the user's sound source.

구체적으로, 에너지 점수 측정 방법 및 음정 점수 측정 과정에는 박자의 요소들도 어느정도 포함될 수 있다. 하지만 0.1초 단위로 모든 시간대를 동등하게 비교하는 것은 너무 미시적이고 다른 요소들에 종속된 상태이기 때문에, 기본박자 및 전반적인 비트의 중요성과는 구별할 수 없다. 따라서 이러한 기본 박자 및 비트 요소가 점수에 강하게 반영될 필요가 있다.Specifically, the energy score measurement method and pitch score measurement process may also include elements of beat to some extent. However, comparing all time zones equally in 0.1 second units is too microscopic and dependent on other factors, so it cannot be distinguished from the importance of the basic beat and overall beat. Therefore, these basic tempo and beat elements need to be strongly reflected in the score.

먼저, 장치는 도 4에서 설명한 방법을 통해 박자 정보를 산출하기 위한 에너지 배열(예를 들면, 제3 에너지 배열)을 생성할 수 있다(S9010). 이때, 제3 에너지 배열은 제1 에너지 배열과는 다르게 더 긴 시간 단위(예를 들면, 0.5초)에 기초하여 생성될 수 있다.First, the device may generate an energy array (for example, a third energy array) for calculating beat information through the method described in FIG. 4 (S9010). At this time, the third energy array may be generated based on a longer time unit (eg, 0.5 seconds), unlike the first energy array.

이후, 장치는 마이크로부터 획득되어 녹음된 사용자의 음원의 음성 부분으로부터 동일한 방법을 통해서 일정 시간 단위의 에너지 배열(예를 들면, 제4 에너지 배열)이 생성할 수 있다(S8020). 이때, 제4 에너지 배열은 제2 에너지 배열과는 다르게 더 긴 시간 단위(예를 들면, 0.5초)에 기초하여 생성될 수 있다.Thereafter, the device can generate an energy array (for example, a fourth energy array) in a certain time unit through the same method from the voice portion of the user's sound source obtained from the microphone and recorded (S8020). At this time, the fourth energy array may be generated based on a longer time unit (eg, 0.5 seconds), unlike the second energy array.

이후, 장치는 원곡의 음원으로부터 생성된 에너지 배열인 제3 에너지 배열과 마이크를 통해 획득된 사용자의 음원으로부터 생성된 에너지 배열인 제4 에너지 배열을 비교하여 도 4에서 설명한 것과 유사한 방법을 통해 상관도를 도출할 수 있다(S9030). 이때 상관도는 코릴레이션을 이용하여 측정될 수 있다.Afterwards, the device compares the third energy array, which is the energy array generated from the sound source of the original song, and the fourth energy array, which is the energy array generated from the user's sound source acquired through the microphone, and determines the correlation through a method similar to that described in FIG. 4. can be derived (S9030). At this time, correlation can be measured using correlation.

또한, 장치는 원곡의 음원과 사용자의 음원 간에 오차 시간을 누적하여 평균 오차 시간을 측정할 수 있다(S9040).Additionally, the device can measure the average error time by accumulating the error time between the original song's sound source and the user's sound source (S9040).

예를 들면, 0.5초 이상의 무음 구간 이후, 사용자의 보컬이 시작되는 시점들만 디텍팅하여 원음과의 오차 시간을 누적하여 장치는 평균 오차 시간을 측정할 수 있다. 이때, 음수/양수가 구별되지 않을 수 있으며, 음수의 오차도 모두 양수로 가정하여 평균 오차 시간이 측정될 수 있다.For example, after a silence period of 0.5 seconds or more, the device can measure the average error time by detecting only the points where the user's vocals start and accumulating the error time from the original sound. At this time, negative and positive numbers may not be distinguished, and the average error time can be measured by assuming that all negative errors are positive.

이후, 장치는 도출된 상관도에서 평균 오차 시간의 일정 비율을 제한 값에 따라 박자 점수 산출할 수 있다(S9050).Afterwards, the device can calculate the beat score according to the limit value of a certain percentage of the average error time in the derived correlation (S9050).

예를 들면, 장치는 단계 S9030을 통해서 산출된 상관도에서 평균 오차 시간의 일정 비율을 뺄 수 있다. 이후, 평균 오차 시간의 일정 비율이 감소된 상관도에 따라 0 부터 100까지의 점수가 산출될 수 있다. 이때, 상관도의 최소 값은 '0'의 값에 대응되고, 상관도의 최대 값은 '100'의 값에 대응됨으로써 상관도에 따른 점수가 산출될 수 있다. 예를 들면, 상관도의 최소 값은 '0'일 수 있으며, 최대 값은 '0.7'일 수 있다. 이때, 상관도의 최대 값은 노래방 기기인 장치의 설정을 통해서 사용자가 변경시킬 수 있다.For example, the device may subtract a certain percentage of the average error time from the correlation calculated through step S9030. Thereafter, a score from 0 to 100 can be calculated according to the correlation in which a certain percentage of the average error time is reduced. At this time, the minimum value of correlation corresponds to the value of '0', and the maximum value of correlation corresponds to the value of '100', so that a score according to the correlation can be calculated. For example, the minimum value of correlation may be '0' and the maximum value may be '0.7'. At this time, the maximum value of correlation can be changed by the user through the settings of the karaoke device.

이와 같은 방법을 통해서 장치는 사용자의 노래에 대한 박자와 관련된 박자 점수를 산출할 수 있다.Through this method, the device can calculate a beat score related to the beat of the user's song.

도 10은 본 발명의 일 실시 예에 따른 에너지 점수, 음정 점수 및 박자 점수에 기초하여 종합 점수를 산출하기 위한 방법의 일 예를 나타내는 순서도이다.Figure 10 is a flowchart showing an example of a method for calculating a comprehensive score based on the energy score, pitch score, and beat score according to an embodiment of the present invention.

도 10을 참조하면, 장치는 도 4 내지 도 9를 통해서 획득된 에너지 점수, 음정 점수 및 박자 점수를 더하여 종합 점수를 산출할 수 있다.Referring to FIG. 10, the device can calculate a comprehensive score by adding the energy score, pitch score, and beat score obtained through FIGS. 4 to 9.

구체적으로, 장치는 도 4 내지 도 9에서 설명한 방법을 통해 산출된 에너지 점수, 음정 점수 및 박자 점수에 각각 개별적인 가중치를 곱할 수 있다(S10010). 에너지 점수, 음정 점수 및 박자 점수에 각각 곱해진 가중치들의 합은 '1'이다.Specifically, the device may multiply the energy score, pitch score, and beat score calculated through the method described in FIGS. 4 to 9 by individual weights (S10010). The sum of the weights multiplied by the energy score, pitch score, and beat score is '1'.

이후, 장치는 가중치를 각각 개별적으로 곱한 에너지 점수, 음정 점수 및 박자 점수를 합산하여 종합 점수 산출할 수 있다(S10020).Afterwards, the device can calculate a comprehensive score by adding up the energy score, pitch score, and beat score that are individually multiplied by the weights (S10020).

예를 들면, 아래의 수학식 5와 같이 음정 점수, 에너지 점수, 박자 점수를 각각 6:2:2 비율로 합산한 값이 종합점수(또는, 최종 점수)(100점 만점)일 수 있다. For example, as shown in Equation 5 below, the total score (or final score) (out of 100) can be the sum of the pitch score, energy score, and beat score at a ratio of 6:2:2.

[수학식 5][Equation 5]

수학식 5에서 각각의 가중치는 0.6, 0.2 및 0.2이며 가중치들의 합은 1이다.In Equation 5, each weight is 0.6, 0.2, and 0.2, and the sum of the weights is 1.

또한, 사용자의 설정에 따라 음정 점수, 에너지 점수 및 박자 점수가 모두 화면에 출력될 수 있으며, 이를 통해, 사용자가 잘한 부분과 부족한 부분을 보여줌으로서 추가적인 흥미를 부여할 수 있다.Additionally, depending on the user's settings, the pitch score, energy score, and beat score can all be displayed on the screen, which can provide additional interest by showing the user's strengths and weaknesses.

또한, 관리자 옵션을 통해서, 에너지 점수, 음정 점수 및 박자 점수에 곱해지는 가중치의 값을 조절하거나, 한가지 점수만 선택할 수 있다.Additionally, through administrator options, you can adjust the value of the weight multiplied by the energy score, pitch score, and beat score, or select only one score.

또한, 사용자가 노래를 중간에 중단하더라도 중단 전까지의 진행 결과에 기초하여 에너지 점수, 음정 점수 및 박자 점수가 산출될 수 있으며, 산출된 에너지 점수, 음정 점수 및 박자 점수에 기초하여 종합 점수가 산출될 수 있다.In addition, even if the user stops singing in the middle, the energy score, pitch score, and beat score can be calculated based on the progress until the interruption, and a comprehensive score can be calculated based on the calculated energy score, pitch score, and beat score. You can.

즉, 중단 전까지의 사용자 음원을 원곡의 음원과 비교하여 각각의 에너지 점수, 음정 점수 및 박자 점수가 산출될 수 있다.That is, the energy score, pitch score, and beat score can be calculated by comparing the user sound source before the interruption with the sound source of the original song.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as single may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

100: 출력부 200: 입력부
300: 제어부 400: 메모리 100: output unit 200: input unit
300: Control unit 400: Memory

Claims (7)

장치에 의해서 노래 점수를 측정하는 방법에 있어서, 상기 방법은,
원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하는 단계;
마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하는 단계;
상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하는 단계; 및
도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하는 단계를 포함하되,
상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며,
상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고,
상기 박자 점수는 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득되되,
상기 종합 점수는 상기 에너지 점수에 제1 가중치를 곱한 값, 상기 음정 점수에 제2 가중치를 곱한 값 및 상기 박자 점수에 제3 가중치를 곱한 값을 모두 더하여 획득되며,
상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치의 합은 1이고,
상기 음정 점수는 상기 사용자의 상기 제2 음원에서 사람이 음정으로 표현할 수 있는 최저 음과 최고 음 사이에 포함되지 않는 부분 및 가사가 없는 부분은 제외되고 산출되는 방법.
In the method of measuring a song score by a device, the method includes:
Obtaining the first voice part by separating the first voice part and the MR (Instrumental) part from the first sound source of the original song;
Obtaining a second voice portion from a user's second sound source obtained from a microphone;
Comparing the first voice part and the second voice part to derive an energy score, a pitch score, and a beat score; and
Comprising a step of calculating a comprehensive score based on the derived energy score, the pitch score, and the beat score,
The energy score includes a first energy array generated based on energy according to a first time unit from the first voice part and a second energy array generated based on energy according to the first time unit from the second voice part. It is obtained according to the degree of correlation between
The pitch score may include a first pitch array generated based on a pitch according to a second time unit from the first voice part and a second pitch arrangement generated based on the pitch according to the second time unit from the second voice part. Obtained according to the degree of correlation between
The beat score is a third energy array generated based on average data accumulating error times of the first voice part and the second voice part and energy according to a third time unit from the first voice part, and the second Obtained based on the correlation between the fourth energy arrangement generated from the voice portion based on the energy according to the third time unit,
The overall score is obtained by adding the energy score multiplied by the first weight, the pitch score multiplied by the second weight, and the beat score multiplied by the third weight,
The sum of the first weight, the second weight, and the third weight is 1,
A method in which the pitch score is calculated by excluding parts that are not included between the lowest note and the highest note that can be expressed as a pitch by a person in the user's second sound source and parts without lyrics.
삭제delete 제1 항에 있어서,
상기 제1 가중치는 상기 제2 가중치 및 상기 제3 가중치보다 크며,
상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치는 가변적인 값이고,
상기 최저 음은 2옥타브 도인 65Hz이며,
상기 최고 음은 6옥타브 솔인 1568Hz인 방법.
According to claim 1,
The first weight is greater than the second weight and the third weight,
The first weight, the second weight, and the third weight are variable values,
The lowest note is 65Hz, which is 2 octaves,
The highest note is 1568Hz, which is a 6-octave sound.
제1 항에 있어서,
상기 에너지 점수는 상기 제1 에너지 배열과 상기 제2 에너지 배열 간의 상기 상관도를 0 부터 100까지의 점수로 환산한 점수이고,
상기 음정 점수는 상기 제1 음정 배열과 상기 제2 음정 배열 간의 상기 상관도를 0 부터 100까지의 점수로 환산한 점수이며,
상기 박자 점수는 상기 제3 에너지 배열과 상기 제4 에너지 배열 간의 상기 상관도에서 상기 평균 데이터의 일정 비율을 제한 값을 0 부터 100까지의 점수로 환산한 점수인 방법.
According to claim 1,
The energy score is a score obtained by converting the correlation between the first energy arrangement and the second energy arrangement into a score from 0 to 100,
The pitch score is a score obtained by converting the correlation between the first pitch arrangement and the second pitch arrangement into a score from 0 to 100,
The beat score is a score obtained by subtracting a certain percentage of the average data from the correlation between the third energy arrangement and the fourth energy arrangement and converting it into a score from 0 to 100.
장치에 의해서 노래 점수를 측정하는 방법에 있어서, 상기 방법은,
원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하는 단계;
마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하는 단계;
상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하는 단계; 및
도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하는 단계를 포함하되,
상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며,
상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고,
상기 박자 점수는 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득되되,
상기 제1 음정 배열 및 상기 제2 음정 배열 각각은 상기 원곡의 상기 제1 음원에서 분리된 상기 제1 음성 부분 및 상기 사용자의 상기 제2 음원에서 분리된 상기 제2 음성 부분 각각에서 일정 시간단위로 음정을 추출함으로써 생성되며,
상기 제2 에너지 배열은 상기 제2 음성 부분의 측정된 최대 에너지를 기준으로 일정 범위 이하의 에너지는 일정 비율로 감소시킴으로써 획득되는 방법.
In the method of measuring a song score by a device, the method includes:
Obtaining the first voice part by separating the first voice part and the MR (Instrumental) part from the first sound source of the original song;
Obtaining a second voice portion from a user's second sound source obtained from a microphone;
Comparing the first voice part and the second voice part to derive an energy score, a pitch score, and a beat score; and
Comprising a step of calculating a comprehensive score based on the derived energy score, the pitch score, and the beat score,
The energy score includes a first energy array generated based on energy according to a first time unit from the first voice part and a second energy array generated based on energy according to the first time unit from the second voice part. It is obtained according to the degree of correlation between
The pitch score may include a first pitch array generated based on a pitch according to a second time unit from the first voice part and a second pitch arrangement generated based on the pitch according to the second time unit from the second voice part. Obtained according to the degree of correlation between
The beat score is a third energy array generated based on average data accumulating error times of the first voice part and the second voice part and energy according to a third time unit from the first voice part, and the second Obtained based on the correlation between the fourth energy arrangement generated from the voice portion based on the energy according to the third time unit,
Each of the first pitch arrangement and the second pitch arrangement is performed in a predetermined time unit in each of the first voice part separated from the first sound source of the original song and the second voice part separated from the second sound source of the user. It is created by extracting the pitch,
A method in which the second energy arrangement is obtained by reducing energy below a certain range at a certain rate based on the measured maximum energy of the second voice part.
장치에 의해서 노래 점수를 측정하는 방법에 있어서, 상기 방법은,
원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하는 단계;
마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하는 단계;
상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하는 단계; 및
도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하는 단계를 포함하되,
상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며,
상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고,
상기 박자 점수는 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득되되,
상기 제1 에너지 배열 및 상기 제2 에너지 배열은 아래 수학식을 통해 인지가중 에너지 배열로 변환되어 비교되는 방법.
아래 수학식에서 λ _e 는 인지가중 에너지, λ _E 는 전체 인지가중 에너지, dB _E 는 가중된 에너지(Weighted Energy)이며, N은 dB의 전체 개수이다.

In the method of measuring a song score by a device, the method includes:
Obtaining the first voice part by separating the first voice part and the MR (Instrumental) part from the first sound source of the original song;
Obtaining a second voice portion from a user's second sound source obtained from a microphone;
Comparing the first voice part and the second voice part to derive an energy score, a pitch score, and a beat score; and
Comprising a step of calculating a comprehensive score based on the derived energy score, the pitch score, and the beat score,
The energy score includes a first energy array generated based on energy according to a first time unit from the first voice part and a second energy array generated based on energy according to the first time unit from the second voice part. It is obtained according to the degree of correlation between
The pitch score may include a first pitch array generated based on a pitch according to a second time unit from the first voice part and a second pitch arrangement generated based on the pitch according to the second time unit from the second voice part. Obtained according to the degree of correlation between
The beat score is a third energy array generated based on average data accumulating error times of the first voice part and the second voice part and energy according to a third time unit from the first voice part, and the second Obtained based on the correlation between the fourth energy arrangement generated from the voice portion based on the energy according to the third time unit,
A method in which the first energy array and the second energy array are converted to a cognitive weighted energy array and compared through the equation below.
In the equation below, λ _e is the perception weighted energy, λ _E is the total perception weight energy, dB _E is the weighted energy, and N is the total number of dB.

노래 점수를 측정하기 위한 장치에 있어서, 상기 장치는,
메모리; 및
프로세서를 포함하되, 상기 프로세서는,
원곡의 제1 음원에서 제1 음성 부분과 MR(Instrumental) 부분을 분리하여 상기 제1 음성 부분을 획득하고,
마이크로부터 획득된 사용자의 제2 음원으로부터 제2 음성 부분을 획득하며,
상기 제1 음성 부분과 제2 음성 부분을 비교하여 에너지 점수, 음정 점수 및 박자 점수를 도출하고,
도출된 상기 에너지 점수, 상기 음정 점수 및 상기 박자 점수에 기초하여 종합 점수를 산출하되,
상기 에너지 점수는 상기 제1 음성 부분으로부터 제1 시간단위에 따른 에너지에 기초하여 생성된 제1 에너지 배열과 상기 제2 음성 부분으로부터 상기 제1 시간 단위에 따른 에너지에 기초하여 생성된 제2 에너지 배열 간의 상관도에 따라 획득되며,
상기 음정 점수는 상기 제1 음성 부분으로부터 제2 시간 단위에 따른 음정에 기초하여 생성된 제1 음정 배열과 상기 제2 음성 부분으로부터 상기 제2 시간 단위에 따른 음정에 기초하여 생성된 제2 음정 배열 간의 상관도에 따라 획득되고,
상기 박자 점수는 상기 제1 음성 부분과 상기 제2 음성 부분의 오차 시간을 누적한 평균 데이터 및 상기 제1 음성 부분으로부터 제3 시간단위에 따른 에너지에 기초하여 생성된 제3 에너지 배열과 상기 제2 음성 부분으로부터 상기 제3 시간 단위에 따른 에너지에 기초하여 생성된 제4 에너지 배열 간의 상관도에 기초하여 획득되되,
상기 종합 점수는 상기 에너지 점수에 제1 가중치를 곱한 값, 상기 음정 점수에 제2 가중치를 곱한 값 및 상기 박자 점수에 제3 가중치를 곱한 값을 모두 더하여 획득되며,
상기 제1 가중치, 상기 제2 가중치 및 상기 제3 가중치의 합은 1이고,
상기 음정 점수는 상기 사용자의 상기 제2 음원에서 사람이 음정으로 표현할 수 있는 최저 음과 최고 음 사이에 포함되지 않는 부분 및 가사가 없는 부분은 제외되고 산출되는 장치.In the device for measuring song scores, the device includes:
Memory; and
Including a processor, wherein the processor includes:
Obtaining the first voice part by separating the first voice part and the MR (Instrumental) part from the first sound source of the original song,
Obtaining a second voice part from the user's second sound source obtained from the microphone,
Compare the first voice part and the second voice part to derive energy score, pitch score, and beat score,
A comprehensive score is calculated based on the derived energy score, pitch score, and beat score,
The energy score includes a first energy array generated based on energy according to a first time unit from the first voice part and a second energy array generated based on energy according to the first time unit from the second voice part. It is obtained according to the degree of correlation between
The pitch score may include a first pitch array generated based on a pitch according to a second time unit from the first voice part and a second pitch arrangement generated based on the pitch according to the second time unit from the second voice part. Obtained according to the degree of correlation between
The beat score is a third energy array generated based on average data accumulating error times of the first voice part and the second voice part and energy according to a third time unit from the first voice part, and the second Obtained based on the correlation between the fourth energy arrangement generated from the voice portion based on the energy according to the third time unit,
The overall score is obtained by adding the energy score multiplied by the first weight, the pitch score multiplied by the second weight, and the beat score multiplied by the third weight,
The sum of the first weight, the second weight, and the third weight is 1,
The pitch score is calculated by excluding parts that are not included between the lowest note and the highest note that can be expressed as a pitch by a person in the user's second sound source and parts without lyrics.