KR100702059B1 - Ubiquitous music information retrieval system and method based on query pool with feedback of customer characteristics - Google Patents
Ubiquitous music information retrieval system and method based on query pool with feedback of customer characteristics Download PDFInfo
- Publication number
- KR100702059B1 KR100702059B1 KR1020050071701A KR20050071701A KR100702059B1 KR 100702059 B1 KR100702059 B1 KR 100702059B1 KR 1020050071701 A KR1020050071701 A KR 1020050071701A KR 20050071701 A KR20050071701 A KR 20050071701A KR 100702059 B1 KR100702059 B1 KR 100702059B1
- Authority
- KR
- South Korea
- Prior art keywords
- customer
- music
- query
- terminal
- search
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 239000000203 mixture Substances 0.000 claims abstract description 5
- 238000000926 separation method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 2
- 238000010295 mobile communication Methods 0.000 claims description 2
- 238000010835 comparative analysis Methods 0.000 claims 2
- 208000006930 Pseudomyxoma Peritonei Diseases 0.000 claims 1
- 230000009268 pathologic speech processing Effects 0.000 claims 1
- 229920001690 polydopamine Polymers 0.000 claims 1
- 229920000306 polymethylpentene Polymers 0.000 claims 1
- 208000032207 progressive 1 supranuclear palsy Diseases 0.000 claims 1
- 230000002269 spontaneous effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 3
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910016077 MP3P Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Marketing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 유무선 네트워크에 접속된 고객 단말기틀 통해 입력되는 고객의 질의(query)에 대해 질의 풀(query pool)을 운영하여, 질의 풀이 우선적으로 검색되며, 검색 결과로 제시된 복수의 후보 음악으로부터 고객에 의해 정답으로 확인된 음악에 대해 원래의 질의 입력 음악과 매칭 분석을 행한 후, 이를 피드백 적용함으로써, 추후 새로운 고객 질의에 대해 검색의 효율성을 높이고자 하는 것을 목적으로 한다. 고객이 입력한 질의 음악과 정답으로 확인된 음악 사이에 존재하는 오차를 분석하여 고객이 질의하는 특성을 파악하여 추후 동일 고객의 질의에 대해 고객의 특성을 고려한 검색이 가능하도록 하고 있다. 또한 위치기반서비스에 의해 제공되는 고객의 위치 정보에 따른 고객의 노출 환경을 음악 정보 검색에 고려함으로써 검색을 더 효율적으로 할 수 있다. 또한 단말기 자체만으로도 검색 엔진과 데이터베이스를 모두 내장하여 음악 검색을 할 수도 있고, 별도의 음악 전용 공간이나 장비 또는 시설이 없는 경우에, 고객의 단말기만으로도 작곡이나 작곡에 의한 연주, 청음 연습, 시창 연습 등이 가능한 방법을 제시하고 있다.The present invention operates a query pool for a customer's query input through a customer terminal frame connected to a wired or wireless network, so that the query pool is searched first, and the customer is searched for from a plurality of candidate music presented as a search result. The purpose of the present invention is to improve the efficiency of the search for new customer queries by performing a matching analysis on the original query input music and then applying feedback to the music identified as the correct answer. By analyzing the error existing between the music entered by the customer and the music identified by the correct answer, the customer is asked to identify the characteristics of the query so that the search can be made in consideration of the characteristics of the customer for the same customer's query. In addition, it is possible to perform the search more efficiently by considering the exposure environment of the customer according to the location information of the customer provided by the location-based service in the music information search. In addition, you can search music by embedding both search engine and database by using the terminal itself, or when there is no separate space, equipment or facility for music only, you can compose or play music, practice listening to music, and practice using only your terminal. This suggests a possible way.
질의 풀(query pool), 가중치, 매칭, 허밍, 음성 인식, 선율, 음악 정보 검 색, 위치기반, 유비쿼터스, 작곡 Query pool, weights, matching, humming, speech recognition, melody, music information retrieval, location-based, ubiquitous, composition
Description
도 1 은 본 발명에 따른 음악 정보 검색 시스템의 구성도.1 is a block diagram of a music information retrieval system according to the present invention;
도 2 는 본 발명에 따른 음악 정보 검색 시스템 및 방법의 흐름도.2 is a flowchart of a music information retrieval system and method according to the present invention;
도 3 은 매칭 분석 및 가중치 조정 피드백의 흐름도3 is a flow chart of matching analysis and weight adjustment feedback.
[도면의 주요 부분에 대한 부호의 설명][Description of Symbols for Main Parts of Drawing]
100. 고객의 단말기100. Customer's terminal
200. 음악 검색 서버(server)200. Music Search Server
300. 질의 풀(query pool)300. query pool
400. 음악파일 데이터베이스400. Music File Database
500. 고객 데이터베이스500. Customer Database
600. 악기 데이터베이스600. Instrument Database
최근 인터넷이나 통신 기술의 발달과 더불어 디지털 음악 컨텐츠의 증가와 네트워크의 고속화 및 음악 컨텐츠 압축 기술의 발전으로 인해 음악 정보의 사용과 검색이 폭발적으로 확대됨에 따라, 음악 정보 검색의 효율성이 더욱 강조되고 있는 실정이다. 대부분의 디지털 음악 컨텐츠는 제목, 장르, 작사자, 작곡자, 가사 등에 의해 체계적으로 목록화 되어 있다. 그러나, 사용자의 입장에서는 이러한 목록의 내용을 구체적으로 알 수 없는 경우, 원하는 음악을 검색하기란 쉽지 않고, 만일 사용자가 실수로 잘못 목록의 내용을 입력할 경우에는 정확한 검색이 불가능한 문제가 발생한다. 바람직하게는 임의로 들려오는 음악이나 사용자의 허밍, 노래 등을 통한 검색은 사용자의 지식에 그다지 의존하지 않고, 단지 음악의 선율이나 음악의 일부만을 통해서 검색하는 것이기 때문에 그 필요성과 효과 측면에 비추어 매우 시급히 요구되는 기술이다. 일부 실용화 되어 있는 기술 가운데에는 가사를 단순히 음성으로 발음하여 인식하게 한다거나, CD로 저장된 음악을 들려주어 인식을 하는 경우가 있긴 하나, 모는 형태의 음악적 요소가 섞여 있는 경우에 대한 일반적인 해결 방안은 아직 제시되지 않고 있다.Recently, with the development of internet and communication technology, the increase of digital music contents, network speed, and the development of music content compression technology have explosively expanded the use and retrieval of music information. It is true. Most digital music contents are systematically cataloged by title, genre, lyricist, composer and lyrics. However, if the user cannot know the contents of the list in detail, it is not easy to search for the desired music, and if the user mistakenly inputs the contents of the list by mistake, the user cannot accurately search. Preferably, search through randomly heard music, user's hum, song, etc. is not very dependent on user's knowledge, but only through music melody or part of music. This is a required skill. Some of the technologies that have been put to practical use are simply pronounced by voice, or recognized by listening to music stored on a CD. However, there is still a general solution for the case where mixed musical elements are mixed. It is not.
본 고안은 상기의 문제점을 해결하기 위하여 새로운 음악 정보 검색 시스템과 방법을 제시하고자 한다. 고객의 단말기를 통하여 입력되는 질의(query)는 다양한 형태를 띠게 된다. 고객이 단순히 허밍하거나 가사가 혼합된 노래이거나 오케스트라 반주가 포함된 것일 수도 있다. 본 발명에서는 이러한 형태의 질의 입력(query input)을 음성(speech)과 선율(melody)로 분리하고, 선율은 다시 주 선 율(main melody)와 보조 선율(sub melody)로 분리하여 정보 검색에 사용한다. 또한 고객이 질의한 음악이 일단 검색되어 고객으로부터 확인되면, 질의 음악과 기존에 저장된 정답에 해당하는 음악과의 상호 유사성을 분석하여 그에 대한 수치를 가중치로 부여하여 질의 풀(query pool)에 피드백(feedback)시키는 방법을 제시한다. 또한 고객의 위치 정보를 활용하여 고객의 질의 환경을 검색에 활용함으로써 검색의 효율을 높이고자 한다. 본 발명에 있어서 음악 검색 순위는 질의 풀을 우선 검색하고, 그 이후에 필요시 전체 음악파일 데이터베이스를 검색하는 순으로 한다.The present invention proposes a new music information retrieval system and method to solve the above problems. Queries input through the terminal of the customer may take various forms. The customer may simply be humming, a song with lyrics, or an orchestral accompaniment. In the present invention, this type of query input is divided into speech and melody, and the melody is divided into main melody and sub melody and used for information retrieval. do. In addition, once the music that the customer has queried is searched and confirmed by the customer, it analyzes the mutual similarity between the music of the query and the music corresponding to the previously stored correct answer and assigns a weighted value to the feedback to the query pool. It suggests how to feedback. In addition, by using the customer's location information to improve the efficiency of the search by using the customer's query environment for the search. In the present invention, the music search order is to search the query pool first, and then search the entire music file database if necessary.
본 발명은 고객이 음악을 검색하는 경우, 대부분 본인이 찾고자 하는 곡에서 가장 특징적인 부분을 유사하게 반복해서 질의 입력한다는 점과 고객의 질의는 대체로 일정한 패턴이나 특성이 존재한다는 데에서 착안한 것으로, 고객의 질의를 매번 저장하는 풀(pool)을 구비하고, 검색 결과로 최종 제시된 단수 혹은 복수의 후보 결과에 대해 고객이 최종 선택 혹은 확정한 음악에 대해 고객이 최초 질의한 음악과 상호 매칭 분석하게 된다. 이로써, 현재 입력된 음악의 질의 특성을 반영하여 매칭 가중치를 변경하고, 이를 질의 풀에 피드백시켜 추후 검색시 이를 반영하는 방법을 제시하고 있다. 즉, 고객이 결과로 선택한 곡은 정답에 해당하므로, 현재의 고객 질의 입력은 정답에 가장 가까운 샘플이라 가정하여, 현재의 샘플과 정답 사이의 음악 특징 요소를 분석하여 이로부터, 고객 고유의 성향에 해당하는 음정, 음색, 박자 등의 제 음악 특성치를 고객별로 분석하고 매칭 분석으로 얻어진 결과로부터 매칭 가중치를 매 검색 시마다 갱신 반영함으로써 질의 풀에 대한 대중적 선 호도(preference)를 가장 최근의 것으로 유지하는 것이다.The present invention has been conceived that when a customer searches for music, most of the time, the most characteristic part of the song he or she is looking for is repeatedly inputted in a similar way and that the customer's query generally has a certain pattern or characteristic. It has a pool that stores the customer's query every time, and matches the music first asked by the customer for the music selected or finalized by the customer for the singular or plural candidate results finally presented as a search result. . As a result, a matching weight is changed to reflect the query characteristics of the currently input music, and the feedback is fed back to the query pool. That is, since the song selected by the customer corresponds to the correct answer, it is assumed that the current customer question input is the sample closest to the correct answer. It is to maintain the popular preference for the query pool by analyzing the music characteristics of the corresponding pitch, tone, and beat by customer, and reflecting the matching weight in each search from the results obtained from the matching analysis. .
이하 도면을 참조하여 더 상세히 설명하되, 도면은 예시를 위하여 사용될 뿐, 본 고안의 권리범위가 이러한 도면에 제한되지는 않는다.Hereinafter, with reference to the drawings in more detail, the drawings are used for illustration only, the scope of the present invention is not limited to these drawings.
도 1 은 본 발명에서 제시하는 음악 검색 시스템 및 방법에 대한 시스템 구성도이다.1 is a system configuration diagram of a music search system and method according to the present invention.
고객의 단말기(100)를 통하여 다양한 형태의 음악이 질의(query)로 입력된다. 이 때 음악의 형태로는 인간의 육성, 음성, 악기 연주, 노래, 오케스트라 반주 등 모든 종류의 아날로그 음파(analog sound wave)가 된다. 고객의 단말기는 휴대폰 뿐 아니라, PDA, PSP, MP3P, PMP, 노트북, PC, DTV 등 유무선 인터넷망이나 이동통신망, 디지털방송망에 접속 가능한 모든 형태의 단말기를 의미한다. 고객의 단말기는 네트워크를 통해 음악 검색 서버(200)에 접속하고, 음악 검색 서버에는 질의 풀(300)과 음악파일 데이터베이스(400) 및 고객 데이터베이스(500) 및 악기 데이터베이스(600)가 연결되어 있다. 상기 악기 데이터베이스(600)에는 여러 가지 악기의 고유 주파수와 음색 관련한 정보가 분류 저장되어 있다. 또한 최근에는 단말기의 성능이 급격히 발전하여 단말기 자체에 가상머신(VM) 또는 애플릿(Applet) 또는 소프트웨어 프로그램의 형태로 검색 엔진을 탑재할 수 있고, 검색에 관련된 모든 데이터베이스 자료도 단말기 내에 탑재하여 굳이 네트워크를 통하지 않고도 단말기 독립서버(stand alone)의 형태로 하여 본 발명에서 제시된 음악 정보 검색 시 스템을 운영하는 것도 가능하다.Various types of music are input by a query through the
도 2 은 본 발명에서 제시하는 음악 검색 시스템 및 방법에 대한 흐름도이다.2 is a flowchart illustrating a music search system and method according to the present invention.
먼저 고객의 단말기(100)를 통하여 음악 검색 서버(200)에 접속한 후, 고객의 위치 정보가 서버에 의해 확인된 후, 고객 단말기(100)를 통해 다양한 형태의 음악이 질의(query) 입력된다. 상기 다양한 형태의 음악이란, 음성, 허밍, 노래, 연주, 오케스트라 등의 종합적인 음악의 모든 형태를 말한다. 즉, 어떠한 음악이라도 질의로 입력될 수 있음을 의미한다. 입력된 질의는 아날로그 음파(analog sound wave)이므로 이를 디지털 신호 처리하게 된다. 먼저 신호 처리된 원음 디지털 데이터는 질의 풀(300)의 원음 데이터베이스(DB)에 저장된다. 질의 입력된 신호는 음성 인식 모듈에 입력되어 음성(speech)만 분리되어 신호 처리된 후 질의 풀의 음성 DB에 저장된다. 음성 인식 모듈을 거친 신호는 선율 분리 모듈에 입력되어 주 선율(main melody)와 보조 선율(sub melody)로 분리되어 각각 질의 풀의 주 선율 DB와 보조 선율 DB에 저장된다. 질의 풀에 저장된 각각의 데이터베이스는 음악별로 제목, 가사, 작사가, 작곡가, 장르 등의 음악 정보와 음색, 음정, 박자, 멜로디 등의 음악 특성치 정보들이 미디(MIDI) 포맷의 형태로 모두 저장되어 있다. 따라서 음성 정보나 주 멜로디 정보 또는 혼합된 원음 정보 중의 어느 한가지 또는 복수의 정보를 이용해서 원하는 곡을 검색해 낼 수 있다. 질의 풀(300)에는 항상 질의가 입력될 때 마다 그 질의가 축적되게 되고, 이 정보를 우선 검색하여 여기서 고객이 찾 고자 하는 곡이 검색되면 즉시 검색을 종료하고, 만일 이 질의 풀에서 검색되지 않을 경우에는 전체 음악파일 데이터베이스(400)를 추가적으로 검색한다. 예를 들면, 고객이 제목 “아리랑”인 노래를 가사 있는 허밍으로 첫 소절에 해당하는 “아 리 라 앙”을 부를 경우, 이것이 즉시 질의 풀에 저장되고, 이 질의 풀은 추후 검색시에 최우선 검색 대상 DB가 되며, 추후 새로운 고객이 다른 음색이나 박자로 또다시 제목 “아리랑”을 부를 경우에도, 아마도, 또 “아 리 라 앙”을 부를 것이다. 그 경우 두 번째 고객이 부른 입력도 마찬가지로 질의 풀에 저장되어 새로운 데이터베이스를 구성하게 된다. 이 경우에는 가중치 중에서 음색이나 박자와 관련된 가중치만 일부 조정된다. 만일 두 번째 고객이 “나~를 버~리~고~” 라고 질의 입력 한다고 하면, 이 입력이 제목 “아리랑” 노래의 또 하나의 질의 풀의 데이터가 되는 것이다. 이렇게 질의 풀을 운영하는 이유는, 고객이 입력하는 질의는 대체로 대중적으로 잘 알려진 몇 구절에 한해 제한되는 경향을 보이기 때문에 굳이 자주 질의 입력 되지 않는 “발~병~난다” 와 같은 소절을 검색 우선 순위에서 배제시킴으로써 검색속도를 월등히 향상시키는 효과가 있는 것이다. 또한 정답과 질의 사이에 존재하는 노래 오차(singing error)도 결국 데이터가 축적됨에 따라 가중치로서 모두 제어될 수 있게 되어 정확한 노래가 아니더라도 유사한 질의 입력에 대해 빠른 검색이 가능한 것이다. 그러나, 고객의 질의가 질의 풀에 존재하지 않는 새로운 입력인 경우에는 전체 음악파일DB(400)를 모두 검색해야 하는 부분은 불가피하다. First, after accessing the
여기에서 쿼리 풀이나 여러가지 데이터베이스는 반드시 네트워크 상에 존재해야 하는 것은 아니고, 고객의 단말기 내에 모두 포함되어 고객의 단말기 자체 만 의 독립서버(stand alone) 형태로 운용하는 것도 물론 가능하다. 또한, 검색 서버에서 검색한 결과 리스트를 고객의 단말기상에 단문메시지(SMS) 또는 멀티미디어메시지(MMS)의 형태로 제시하여 고객이 상기 리스트 중에서 원하는 곡을 선택하여 서버에 회신 또는 재전송(call back)하는 방식으로 하는 것도 가능하다.Here, the query pool or various databases do not have to exist on the network, but it is also possible to be included in the customer's terminal and operate as a stand alone server of the customer's own terminal. In addition, the list of results retrieved from the search server is presented on the client's terminal in the form of a short message (SMS) or multimedia message (MMS), so that the customer selects a desired song from the list and returns it to the server. It is also possible to do so.
도 3 은 본 발명에 따른 매칭 분석 및 가중치 조정 피드백에 대한 흐름도이다.3 is a flow chart for matching analysis and weighted adjustment feedback in accordance with the present invention.
고객이 질의 입력한 음악을 함수 F라 하고, 검색 완료하여 고객이 정답으로 확인한 음악을 함수 G라 한다. 함수 F와 G는 N개의 음악 특성치의 조합으로 구성되었으며 각 음악 특성치는 음색, 음정, 박자, 피치 등이 될 수 있다. 여기서는 각 음악을 이루는 음악 특성치가 어떠한 함수로 구성되는가는 중요치 않고, 반드시 그 관계가 수학적일 필요도 없으며, 다만 개별 음악 특성치가 모여서 하나의 완성된 음악을 이룬다는 상관관계의 개념에서 함수로 볼 수 있다. 대부분의 검색에 있어서, F와 G는 완전히 같을 수 없으며 어느 정도는 유사한 값을 가지게 된다. 예를 들어 고객이 노래의 한 소절을 불러 질의 입력하고, 검색 시스템이 그 입력을 기반으로 정답을 찾은 경우, 질의 입력과 정답 사이에 존재하는 매칭(matching)의 오차(error)는 고객이 일개 또는 다수의 후보 검색 리스트 중에서 정답 곡을 확인해 줌으로써 정확히 계산할 수 있다. 만일, 고객이 입력한 노래와 정답인 노래 사이에는 음정은 거의 일치하나 박자는 차이가 많다고 가정할 경우, 음정이라는 특성치가 박자라는 특성치보다는 더 높은 가중치를 갖고 검색에 반영되어야 함을 유추 가능하 다. 즉, 상기 고객은 음정은 비교적 정확하게 질의 입력하나 박자는 대체로 틀리게 입력한다고 보아지므로, 추후 동일 고객이 새로운 곡을 입력함에 있어서, 노래의 음정에 대한 일치성을 박자에 대한 일치성보다 더 큰 비중을 두고 검색하면 된다. 이러한 방식은 고객의 단말기로 입력되는 모든 형태의 질의 음악에 항상 적용되는 것은 아니나, 적어도 고객의 육성이나 허밍 등의 입력 형태에 대해서는 그 가중치 적용이 가능할 것이다. 결국 추후 새로운 질의 입력에 대해 음정에 대한 가중치를 더 높게 책정하여 동일 고객의 성향을 분석 반영함으로써 검색의 효율성을 높일 수 있게 된다. 또한 본 발명에 따르면, 고객이 질의 입력하는 환경이 음악 검색 서버에 의해 항상 파악될 수 있어서, 고객 환경에 따른 잡음의 특성 등 질의 입력과 관련된 제반 요소를 고객별로 분류 적용할 수 있는 것도 가능하다. 즉 과거에 질의 입력한 장소와 동일한 장소에서 반복해서 질의 입력하는 경우에는, 음악 정보 검색 시 고려되는 잡음 요소 중에서 환경적인 부분을 미리 고려하여 제거할 수 있게 되어, 검색의 속도를 훨씬 더 개선시키는 효과를 가져올 수 있다. The music that the customer has entered into the query is called function F, and the music that the customer completes after confirming the answer is called the function G. Functions F and G are composed of a combination of N musical characteristic values, and each musical characteristic value may be a tone, a pitch, a beat, a pitch, and the like. In this case, it is not important what function the musical characteristic values make up each music, and the relationship does not necessarily need to be mathematical, but it can be viewed as a function in the concept of correlation that individual musical characteristic values are gathered together to form a complete music. have. For most searches, F and G cannot be exactly the same and to some extent have similar values. For example, if a customer calls a measure of a song and enters a query, and the search system finds the correct answer based on that input, the error in the matching between the query input and the correct answer is one or more times. Accurate calculation can be performed by confirming the correct answer song from a plurality of candidate search lists. If the pitch is almost identical between the song entered by the customer and the song with the correct answer, but it is assumed that the beat has many differences, it can be inferred that the pitch value should be reflected in the search with a higher weight than the beat value. . In other words, the customer inputs the pitch relatively accurately, but the beat is generally incorrectly input. Therefore, when the same customer inputs a new song, the correspondence of the pitch of the song is greater than that of the beat. Just search for it. Such a method is not always applied to all types of query music input to the terminal of the customer, but at least the weight may be applied to the input form such as the development or humming of the customer. As a result, the weight of the pitch is higher for new query inputs, and the search efficiency can be improved by analyzing and reflecting the propensity of the same customer. In addition, according to the present invention, the environment in which the customer inputs a query can always be grasped by the music search server, so that it is possible to classify and apply various elements related to the query input such as noise characteristics according to the customer environment for each customer. In other words, if a query is repeatedly input at the same place as a query input in the past, the environmental part of noise factors considered when searching for music information can be removed in advance, thereby further improving the speed of the search. Can be imported.
도 4 는 도 3 에서 설명한 함수 사이의 매칭 오차를 그림으로 예를 든 것이다.FIG. 4 exemplarily illustrates a matching error between the functions described with reference to FIG. 3.
그림에서는 고객이 질의 입력한 음악 중에서 음정, 박자, 음색, 감정, 발음이 음악 특성치로 환산한 것으로, 질의 음악 F 와 정답 음악 G 사이에는 각 특성 별로 오차가 존재한다. 본 예에서는 발음 부분이 차이가 크므로 본 고객에 대한 검색 시 발음에 대한 가중치는 상대적으로 낮게 적용하여 검색하는 원리를 적용할 수 있다.In the figure, the pitch, beat, tone, emotion, and pronunciation of the music entered by the customer are converted into music characteristic values. There is an error for each characteristic between the query music F and the correct answer music G. In this example, the pronunciation part is largely different, and thus the weighting factor of the pronunciation may be relatively low when searching for the customer.
지금까지 설명한 상기 발명은 기술적으로 응용 가능한 훨씬 방대한 범위까지 그 권리가 인정됨을 유추할 수 있는 바이다.The invention described so far can be deduced that the rights are recognized to a far greater extent which is technically applicable.
이상에서 설명한 바와 같이 본 발명은 고객이 보유한 단말기로 고객이 원하는 언제 어디서나 음악을 검색할 수 있는 유비쿼터스 음악 정보 검색 시스템 및 방법을 소개하고 있다. 본 발명에 의하면, 고객이 입력한 음악과 최종 검색 결과 음악 사이의 매칭 정도를 분석하여 고객의 음악 질의에 대한 취향 또는 특성이 파악되어 이를 기반으로 각 음악 특성치에 대한 가중치가 부여 또는 갱신되어 피드백됨으로써, 추후 새로운 고객의 질의에 대해서는 고객의 특성이 반영되어 최신의 것으로 유지 또는 갱신된 고객 질의 풀(query pool)을 우선 검색함으로써 검색의 효율성과 속도를 개선하게 된다. 또한 고객의 단말기 위치 정보가 검색 서버에 전송되어 고객의 질의 입력 환경을 추가적으로 고려함으로써 추가적인 질의 입력시의 신호 처리나 음악 검색에 있어서 검색이 훨씬 더 용이해 질 수 있게 된다. 이를 응용하면, 휴대단말기를 이용한 유비쿼터스 노래방이나 음악감상의 경우, 고객이 단말기를 통해 노래를 검색하는 경우 매우 유용할 것이다. 또한, 별도의 음악 전용 공간이나 장비 또는 시설이 없는 경우에, 고객의 단말기만으로도 작곡이나 작곡에 의한 연주, 청음 연습, 시창 연습 등이 가능해짐에 따라, 음악 창작 분야, 음악 학습 분야 등 에듀테인먼트(edutainment) 산업에서의 파급 효과가 더욱 클 것으로 기대되는 바이다.As described above, the present invention introduces a ubiquitous music information retrieval system and method for retrieving music whenever and wherever a customer wants with a terminal possessed by a customer. According to the present invention, by analyzing the degree of matching between the music input by the customer and the final search result music is grasped the taste or characteristics of the customer's music query, and based on this weighted or updated for each music characteristic value is fed back In the future, the query of new customer is reflected to customer's characteristics, so that the search and update of customer's query pool is updated first, thereby improving the efficiency and speed of the search. In addition, the terminal location information of the customer is transmitted to the search server to further consider the customer's query input environment, so that the search can be much easier in the signal processing or music search for additional query input. Application of this, in the case of ubiquitous karaoke or listening to music using a mobile terminal, it will be very useful when a customer searches for a song through the terminal. In addition, if there is no separate space for exclusive music, equipment, or facilities, it is possible to perform compositions, performances by listening to music, practice listening to music, and practice music using only the terminal of the customer. The ripple effect in the edutainment industry is expected to be even greater.
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050071701A KR100702059B1 (en) | 2005-08-05 | 2005-08-05 | Ubiquitous music information retrieval system and method based on query pool with feedback of customer characteristics |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050071701A KR100702059B1 (en) | 2005-08-05 | 2005-08-05 | Ubiquitous music information retrieval system and method based on query pool with feedback of customer characteristics |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070016750A KR20070016750A (en) | 2007-02-08 |
KR100702059B1 true KR100702059B1 (en) | 2007-04-03 |
Family
ID=41624252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050071701A KR100702059B1 (en) | 2005-08-05 | 2005-08-05 | Ubiquitous music information retrieval system and method based on query pool with feedback of customer characteristics |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100702059B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020135822A (en) * | 2019-02-26 | 2020-08-31 | 富士ゼロックス株式会社 | Information processing device and program |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101041602B1 (en) * | 2008-11-14 | 2011-06-15 | (주) 다이퀘스트 | Information display system and information display method based on network |
US20140229894A1 (en) * | 2013-02-12 | 2014-08-14 | Daisy, Llc | Systems and methods for generating playlists based on user feedback |
CN107368609B (en) * | 2017-08-10 | 2018-09-04 | 广州酷狗计算机科技有限公司 | Obtain the method, apparatus and computer readable storage medium of multimedia file |
-
2005
- 2005-08-05 KR KR1020050071701A patent/KR100702059B1/en not_active IP Right Cessation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020135822A (en) * | 2019-02-26 | 2020-08-31 | 富士ゼロックス株式会社 | Information processing device and program |
JP7302200B2 (en) | 2019-02-26 | 2023-07-04 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
Also Published As
Publication number | Publication date |
---|---|
KR20070016750A (en) | 2007-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6476306B2 (en) | Method and a system for recognizing a melody | |
Dannenberg et al. | A comparative evaluation of search techniques for query‐by‐humming using the MUSART testbed | |
KR100952186B1 (en) | Method of identifying pieces of music | |
KR100895009B1 (en) | System and method for recommending music | |
US6307139B1 (en) | Search index for a music file | |
US20060065105A1 (en) | Music search system and music search apparatus | |
US20060224260A1 (en) | Scan shuffle for building playlists | |
JP2010521021A (en) | Song-based search engine | |
CN110010159B (en) | Sound similarity determination method and device | |
JPH09138691A (en) | Musical piece retrieval device | |
JP2009210790A (en) | Music selection singer analysis and recommendation device, its method, and program | |
KR100512143B1 (en) | Method and apparatus for searching of musical data based on melody | |
JP2000187671A (en) | Music retrieval system with singing voice using network and singing voice input terminal equipment to be used at the time of retrieval | |
KR100702059B1 (en) | Ubiquitous music information retrieval system and method based on query pool with feedback of customer characteristics | |
JP6288197B2 (en) | Evaluation apparatus and program | |
JP2003044082A (en) | Device and method for retrieving similar music, similar music retrieval program, and recording medium therefor | |
JP2002055695A (en) | Music search system | |
JP2003131674A (en) | Music search system | |
Song et al. | Implementation of a practical query-by-singing/humming (QbSH) system and its commercial applications | |
WO2019180830A1 (en) | Singing evaluating method, singing evaluating device, and program | |
JP2006195384A (en) | Musical piece tonality calculating device and music selecting device | |
KR101546331B1 (en) | Method for reproducing music using musical scales and apparatus using the method | |
JP2007241015A (en) | Voice evaluation system | |
JP5552968B2 (en) | Music search apparatus and music search method | |
KR20020053979A (en) | Apparatus and method for contents-based musical data searching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |